3. Thu thập references và độ phủ Semantic Scholar#
3.1 Kết quả truy vấn và tách hai lớp bảng references#
Semantic Scholar được truy vấn theo batch kèm phân trang kiểm chứng với referenceCount. Bảng working references.parquet giữ mọi trích dẫn (976.351 dòng), còn bảng course_export/references.parquet lọc các cạnh có ref_arxiv_id hợp lệ (456.149 cạnh) theo chuẩn 6+6 cột của môn học.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
| Số bài báo | |
|---|---|
| success | 21032 |
| empty | 3245 |
| partial | 93 |
| not_indexed | 4 |
| bib_fallback | 14 |
| api_error | 167 |
| bib_pending | 445 |
| Tỷ lệ thiếu (trên 976.351 dòng) | |
|---|---|
| ref_arxiv_id | 0.532802 |
| ref_title | 0.004403 |
| ref_authors | 0.112307 |
| ref_submission_date | 0.210262 |
| ref_s2_id | 0.131164 |
24.277 / 25.000 bài (97.11%) có kết quả S2 xác minh (success/empty), trung bình 38.92 references/bài.
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/crawler/reference_scraper.py.
Mã nguồn triển khai: src/crawler/reference_batch.py.
Mã nguồn triển khai: src/crawler/observations.py.