Thảo luận, phân tích lỗi và kết luận#
Những kết quả đạt được trên đủ 25.000 bài báo#
Phủ trọn dải 25.000 bài của cả 5 thành viên: sau khi chạy
--resumeM1 cho TRI trên Google Colab CPU-only, tập hợp nhất đạt25.000publication duy nhất (0trùng lặp chéo thành viên),41.498version (41.487đã audit xác minh),976.351working references (0mồ côi) và456.149cạnh arXiv trongcourse_export.Chất lượng parser & khử trùng M2: trên
38.554version TeX đã xác minh, parser đạt 85,66%success(33.025version) và 97,34% parse được vào cấu trúc (37.528gồm cả4.503partial), còn2,66%(1.026version) lỗi; cả2.764versionempty_no_textrùng khớp với bằng chứng kiểm toán M1. Khử trùng xuyên version giảm35,04%số phần tử (23.099.589 -> 15.006.000) và35,83%số mục BibTeX (1.834.650 -> 1.177.293).Tính hợp lệ 5 bảng & hiệu năng Colab CPU-only:
validate_projectxác nhậnstructural_valid=Truevới0lỗi khóa/graph trên22.532.299cạnhhierarchy. Tổng thời gian parse và validate 25.000 bài cold là 18.692,09 giây (~5 giờ 12 phút, trung bình 0,7477 giây/bài), đỉnh RSS toàn phiên 845,34 MiB (< 7% giới hạn 12,67 GiB của Colab Free) và output 3 bảng Parquet chuẩn còn 3,93 GiB (4,22 GB).
Phân tích nguyên nhân top diagnostics còn lại#
Dưới đây là 15 diagnostic phổ biến nhất trên toàn bộ 41.498 version, cho thấy nguyên nhân processing_complete=false dù structural_valid=True:
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
| message | versions | |
|---|---|---|
| 0 | item outside supported list | 9087 |
| 1 | Unclosed TeX group | 285 |
| 2 | unsupported/empty compiled bibliography: main.... | 209 |
| 3 | dynamic/unsupported include in main.tex | 164 |
| 4 | unmatched end environment: multline | 90 |
| 5 | duplicate citation key in inline bibliography:... | 76 |
| 6 | missing/unsafe bibliography: references.bib | 57 |
| 7 | unreadable compiled bibliography main.bbl: Unc... | 57 |
| 8 | missing include: sample.tikzstyles | 54 |
| 9 | dynamic/unsupported include in hcbc.tex | 52 |
| 10 | duplicate citation key in inline bibliography: AM | 41 |
| 11 | Publication pipeline failed: Deduplication wou... | 40 |
| 12 | duplicate citation key in inline bibliography:... | 38 |
| 13 | dynamic/unsupported include in paper.tex | 36 |
| 14 | duplicate citation key in inline bibliography:... | 36 |
item outside supported list(9.087 version): phần lớn đến từ macro hoặc gói định nghĩa danh sách/thuật toán không chuẩn ngoài nhómitemize/enumerate/description/compactitem/inparaenum/list/trivlist; parser chuyển trạng thái sangpartialđể giữ lại phần nội dung parse được thay vì bỏ cả version.Unclosed TeX group(285 version) vàunmatched end environment: multline(90 version): dấu ngoặc nhọn không cân bằng trong macro hoặc môi trường toán viết tắt từ tác giả làm dừng nhánh con hiện tại.dynamic/unsupported include in main.tex(164 version) vàmissing/unsafe bibliography: references.bib(57 version): macro truyền đường dẫn include động không phải chuỗi tĩnh, hoặc tệp bibliography khai báo trong.texkhông có mặt trong gói nguồn.11 version
source_pending_or_failedcủa TRIET từ M1 và 169 version HTTP 404 đã xác minh: được ghi làerror_missing_source(180version), không tạo phần tử giả.
Kết luận và hướng cho Milestone 3#
Bộ 5 bảng Parquet (papers, references, elements, hierarchy, bibtex) của toàn bộ 25.000 bài báo đã hợp lệ về cấu trúc và khóa ngoại, đủ điều kiện làm đầu vào cho bài toán Reference Matching ở Milestone 3.
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/parser/validation.py.
Mã nguồn triển khai: tools/m2_team_consolidator.py.
Mã nguồn triển khai: tools/build_team_25000_book.py.