7. Chuẩn hóa, trích xuất BibTeX và khử trùng 2 tầng#
7.1 Chuẩn hóa LaTeX & Toán học (normalize.py)#
Gỡ các wrapper trình bày (
\textbf,\emph, ...) giữ lại ngữ nghĩa bên trong; xóa các lệnh bố cục (\centering,\toprule,\midrule,\bottomrule, tùy chọn[htpb]...).Chuẩn hóa toàn bộ inline math (
$...$,$...$) về$...$, và toàn bộ block math ($$...$$,$$ ... $$,equation*,align,gather,multline, ...) về\begin{equation}...\end{equation}.
7.2 Khử trùng 2 tầng xuyên version (bibliography.py & deduplicate.py)#
Tầng 1 - Reference entries: hợp nhất các bản ghi từ
.bib,\bibitemvà fallback.bbltheo định danh mạnh (doi,eprintarXiv) hoặc chữ ký(title, authors), gộp (union) trường mới từ các version sau và đổi tên mọi lệnh\cite{}(kể cả trong môi trường toán) về khóa đại diện duy nhất.Tầng 2 - Full-text elements: chuẩn hóa từng nút trước khi băm SHA-256 theo
(arxiv_id, kind, normalized_content)để dùng chungelement_idở bảngelements, giữ riêng từng cạnh(version, element_id, parent_id)ở bảnghierarchy.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
Citation mapping sau gộp 2 version: {1: {'vaswani2017': 'vaswani2017'}, 2: {'vit_transformer': 'vaswani2017'}}
| citation_key | entry_type | title | authors | year | doi | journal | url | |
|---|---|---|---|---|---|---|---|---|
| 0 | vaswani2017 | misc | Attention Is All You Need | [A. Vaswani] | 2017 | 10.48550/arxiv.1706.03762 | None | None |
Elements trước dedup: 11 -> sau dedup: 7 | Cạnh hierarchy 2 version: 9
Bảng 7.1. Hiệu quả khử trùng xuyên version trên toàn bộ 25.000 bài.
| before | after | removed | reduction_% | |
|---|---|---|---|---|
| elements | 23099589.0 | 15006000.0 | 8093589.0 | 35.04 |
| bibtex | 1834650.0 | 1177293.0 | 657357.0 | 35.83 |
Trên toàn tập 25.000 bài ghi nhận 40,179 citation key chưa resolve theo version và 64,021 sự kiện xung đột trường bibliography (giữ nguyên giá trị đầu kèm bản ghi xung đột).
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/parser/normalize.py.
Mã nguồn triển khai: src/parser/bibliography.py.
Mã nguồn triển khai: src/parser/deduplicate.py.
Mã nguồn triển khai: src/parser/statistics.py.