3. Thu thập references và độ phủ Semantic Scholar

3. Thu thập references và độ phủ Semantic Scholar#

3.1 Kết quả truy vấn và tách hai lớp bảng references#

Semantic Scholar được truy vấn theo batch kèm phân trang kiểm chứng với referenceCount. Bảng working references.parquet giữ mọi trích dẫn (976.351 dòng), còn bảng course_export/references.parquet lọc các cạnh có ref_arxiv_id hợp lệ (456.149 cạnh) theo chuẩn 6+6 cột của môn học.

Hide code cell source

from pathlib import Path
import json
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import display, Markdown
data = json.loads((Path.cwd().parent / 'report_summary.json').read_text(encoding='utf-8'))
scope, m1, m2, bench = data['scope'], data['m1'], data['m2'], data['m2_benchmark']
plt.rcParams.update({'figure.figsize': (9.2, 4.2), 'axes.spines.top': False, 'axes.spines.right': False, 'figure.dpi': 120})
print(f"Toàn nhóm (5 thành viên): {scope['papers']:,} paper / {scope['versions']:,} version | Cập nhật: {data['report_date']}")
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22

Hide code cell source

rs = pd.Series(m1['reference_status'], name='Số bài báo')
display(rs.to_frame())
ax = rs.plot.barh(color='#2f628e', title='Trạng thái thu thập references theo publication', xlabel='Số bài báo')
for i, val in enumerate(rs):
    ax.text(val + 150, i, f'{val:,}', va='center', fontsize=9)
ax.set_xlim(0, max(rs) * 1.15)
plt.tight_layout(); plt.show()
miss = pd.Series(m1['references_missing_fraction'], name='Tỷ lệ thiếu (trên 976.351 dòng)')
display(miss.to_frame())
miss.plot.bar(ylim=(0, 1.0), color='#b57b36', title='Tỷ lệ trường null trên bảng working references', ylabel='Tỷ lệ thiếu')
plt.tight_layout(); plt.show()
display(Markdown(f"**24.277 / 25.000 bài ({m1['verified_reference_papers']/scope['papers']:.2%})** có kết quả S2 xác minh (`success`/`empty`), "
                 f"trung bình **{m1['mean_references_verified_papers']:.2f} references/bài**."))
Số bài báo
success 21032
empty 3245
partial 93
not_indexed 4
bib_fallback 14
api_error 167
bib_pending 445
../_images/20c62b0d1ce63f1b6dd6962e298e7fc0ef2c0eb0d2d7e849b4b6f11ebd001971.png
Tỷ lệ thiếu (trên 976.351 dòng)
ref_arxiv_id 0.532802
ref_title 0.004403
ref_authors 0.112307
ref_submission_date 0.210262
ref_s2_id 0.131164
../_images/dd358b974402d7196cc7599b9615d1676b03807a30aa0b1771ae870d192c7ef6.png

24.277 / 25.000 bài (97.11%) có kết quả S2 xác minh (success/empty), trung bình 38.92 references/bài.

Tài liệu và mã nguồn tham chiếu#