2. Tải nguồn, lọc nội dung và audit độc lập#
2.1 Chuẩn hóa tập nguồn TeX/BibTeX/BBL#
Mỗi revision vN được tải riêng bằng src/<id>vN với nhịp tối thiểu 3 giây. Downloader giải nén qua staging, chỉ giữ mã nguồn văn bản (.tex, .bib và .bbl phụ trợ theo QA) và loại bỏ file ảnh/PDF nhị phân để giảm dung lượng lưu trữ trong khi vẫn giữ nguyên các lệnh \figure/\table.
2.2 Kết quả source audit toàn nhóm (41.498 version)#
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
| Số version | |
|---|---|
| tex_verified | 38554 |
| empty_verified | 2764 |
| not_found_verified | 169 |
| source_pending_or_failed | 11 |
| Giá trị | |
|---|---|
| Số bài đủ TeX để đo giảm dung lượng | 22748 |
| TB trước lọc (MiB/bài) | 9.484 |
| TB sau lọc TeX/Bib (MiB/bài) | 1.015 |
| Tỷ lệ giảm dung lượng | 89.30% |
| Tổng corpus sau lọc (GiB) | 22.72 |
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/crawler/source_downloader.py.
Mã nguồn triển khai: src/crawler/validate_sources.py.
Mã nguồn triển khai: src/crawler/drive_backup.py.