Milestone 1: Thu thập dữ liệu (25.000 bài báo)#
Mục tiêu và quy mô toàn nhóm#
Milestone 1 thu thập metadata theo từng paper (đơn vị thống kê citation/metadata), mã nguồn LaTeX/BibTeX/BBL theo từng (paper, version) (đơn vị tải nguồn và audit), cùng mạng lưới trích dẫn từ Semantic Scholar cho toàn bộ 25.000 arXiv ID của 5 thành viên (5.000 bài/thành viên).
Trước khi chạy Milestone 2, thành viên TRI (24120470) vốn mới có 4.425/5.000 bài do hết ngân sách thời gian 11,5 giờ ở lần crawl trước đã được chạy tiếp --resume hoàn toàn trên Google Colab CPU-only, kéo đủ 5.000/5.000 bài và xác minh 8.338/8.338 version nguồn.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
Bảng M1.1. Tổng quan corpus hợp nhất 5 thành viên sau khử trùng.
| Chỉ tiêu | Số lượng | Đơn vị | |
|---|---|---|---|
| 0 | Tổng ID được giao (5 thành viên) | 25000 | paper |
| 1 | Số publication hợp nhất (0 trùng lặp) | 25000 | paper |
| 2 | Tổng số version ghi nhận | 41498 | version |
| 3 | Chuỗi archive backup đã xác minh SHA-256 | 1713 | archive |
| 4 | Working references (0 mồ côi) | 976351 | cạnh trích dẫn |
| 5 | Course export references (có đích arXiv) | 456149 | cạnh trích dẫn |
Bảng M1.2. Độ phủ nguồn và references trên toàn bộ 25.000 bài.
| Chỉ tiêu | Đạt | Mẫu số | Tỷ lệ (%) | |
|---|---|---|---|---|
| 0 | Version có TeX đã xác minh | 38554 | 41498 | 92.91 |
| 1 | Version xác minh hợp lệ (gồm empty PDF-only/no... | 41487 | 41498 | 99.97 |
| 2 | Paper đủ 100% version nguồn xác minh | 24997 | 25000 | 99.99 |
| 3 | Paper có kết quả S2 (success hoặc empty xác nhận) | 24277 | 25000 | 97.11 |
| 4 | Paper đủ cả nguồn xác minh lẫn S2 | 24277 | 25000 | 97.11 |
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/crawler/main.py.
Mã nguồn triển khai: src/crawler/merge_shards.py.
Mã nguồn triển khai: src/crawler/validate_sources.py.