1. Discovery và phân bố version (25.000 bài)#
1.1 Phân giải arXiv ID và lịch sử revision#
arXiv Atom API được truy vấn theo lô 50-100 ID/lần (tối thiểu 3 giây/request). Mỗi paper giữ danh sách versions từ v1 tới vN; published gắn cho v1 và updated cho version mới nhất. Với các revision trung gian chưa biết timestamp, pipeline giữ null thay vì suy đoán.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
Bảng 1.1. Phân bố số version trên mỗi publication (25.000 bài).
| Số bài báo | |
|---|---|
| Số version/bài | |
| 1 | 14067 |
| 2 | 7266 |
| 3 | 2492 |
| 4 | 765 |
| 5 | 246 |
| 6 | 93 |
| 7 | 40 |
| 8 | 18 |
| 9 | 2 |
| 10 | 4 |
| 11 | 2 |
| 13 | 2 |
| 14 | 2 |
| 17 | 1 |
| Tỷ lệ thiếu (0-1) | |
|---|---|
| title | 0.00000 |
| authors | 0.00000 |
| published | 0.00000 |
| doi | 0.77696 |
| venue | 0.82544 |
Trung bình 1.66 version/bài (5,565 / 41,498 mốc ngày revision trung gian chưa có từ Atom API).
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/crawler/id_range.py.
Mã nguồn triển khai: src/crawler/discovery.py.
Mã nguồn triển khai: src/crawler/version_history.py.