Milestone 2: Phân tích cấu trúc, chuẩn hóa và khử trùng (25.000 bài)

Milestone 2: Phân tích cấu trúc, chuẩn hóa và khử trùng (25.000 bài)#

Kết quả toàn nhóm trên Google Colab CPU-only#

Toàn bộ 25.000 bài báo / 41.498 version của 5 thành viên đã được chạy parser cold (0 reuse, code_hash=cf2de7a143c8...) qua 5 phiên Google Colab CPU-only tuần tự, sau đó gộp và kiểm chuẩn 5 bảng bằng m2_team_consolidator.py.

Hide code cell source

from pathlib import Path
import json
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import display, Markdown
data = json.loads((Path.cwd().parent / 'report_summary.json').read_text(encoding='utf-8'))
scope, m1, m2, bench = data['scope'], data['m1'], data['m2'], data['m2_benchmark']
plt.rcParams.update({'figure.figsize': (9.2, 4.2), 'axes.spines.top': False, 'axes.spines.right': False, 'figure.dpi': 120})
print(f"Toàn nhóm (5 thành viên): {scope['papers']:,} paper / {scope['versions']:,} version | Cập nhật: {data['report_date']}")
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22

Hide code cell source

labels = {'success': 'Success', 'partial': 'Partial', 'empty_no_tex': 'Empty (PDF-only / no-LaTeX)',
          'error': 'Lỗi parser / root', 'error_missing_source': 'Thiếu nguồn M1 (404/pending)'}
st_df = pd.DataFrame([{'Trạng thái': lbl, 'Số version': m2['status_counts'].get(k, 0)} for k, lbl in labels.items()])
st_df['Tỷ lệ (%)'] = (100 * st_df['Số version'] / scope['versions']).round(2)
display(Markdown('**Bảng M2.1. Phân bố trạng thái parser trên 41.498 version.**'))
display(st_df)
ax = st_df.plot.barh(x='Trạng thái', y='Số version', legend=False, color=['#34785a', '#bd8b25', '#768a9a', '#b5534a', '#9b6259'])
for i, r in enumerate(st_df.to_dict('records')):
    ax.text(r['Số version'] + 500, i, f"{r['Số version']:,} ({r['Tỷ lệ (%)']}%)", va='center', fontsize=9)
ax.set_xlim(0, max(st_df['Số version']) * 1.24); ax.set_ylabel('')
plt.tight_layout(); plt.show()

Bảng M2.1. Phân bố trạng thái parser trên 41.498 version.

Trạng thái Số version Tỷ lệ (%)
0 Success 33025 79.58
1 Partial 4503 10.85
2 Empty (PDF-only / no-LaTeX) 2764 6.66
3 Lỗi parser / root 1026 2.47
4 Thiếu nguồn M1 (404/pending) 180 0.43
../_images/c83ab3a2861db2314910ab425f79451590756a0ebeaa180c9dc41b44842576be.png

Hide code cell source

pm = pd.DataFrame(m2['per_member'])
cols = ['member', 'id_range', 'publications', 'versions', 'success', 'partial', 'empty_no_tex', 'error', 'tex_success_rate', 'tex_parsed_rate', 'runtime_sec', 'avg_sec_per_pub', 'peak_rss_mib']
view = pm[cols].copy()
view['tex_success_rate'] = (100 * view['tex_success_rate']).round(2)
view['tex_parsed_rate'] = (100 * view['tex_parsed_rate']).round(2)
display(Markdown('**Bảng M2.2. Kết quả và hiệu năng M2 theo từng thành viên (Colab CPU-only).**'))
display(view)
dd = pd.DataFrame(m2['deduplication']).T
dd['removed'] = dd['before'] - dd['after']
display(Markdown('**Bảng M2.3. Khử trùng toàn bộ 25.000 bài sau chuẩn hóa.**'))
display(dd)

Bảng M2.2. Kết quả và hiệu năng M2 theo từng thành viên (Colab CPU-only).

member id_range publications versions success partial empty_no_tex error tex_success_rate tex_parsed_rate runtime_sec avg_sec_per_pub peak_rss_mib
0 DAT 2412.18848 - 2501.02641 5000 8149 6470 853 621 156 86.51 97.91 3350.243 0.670049 845.34
1 TUAN 2502.03235 - 2502.08234 5000 8550 6782 990 505 220 84.86 97.25 3777.627 0.755525 789.36
2 TAN 2407.12839 - 2407.17838 5000 8093 6420 876 588 192 85.74 97.44 3740.636 0.748127 498.27
3 TRI 2406.17938 - 2407.02838 5000 8338 6668 893 493 257 85.29 96.71 3924.095 0.784819 512.07
4 TRIET 2406.12938 - 2406.17937 5000 8368 6685 891 557 201 85.96 97.42 3899.487 0.779897 546.96

Bảng M2.3. Khử trùng toàn bộ 25.000 bài sau chuẩn hóa.

before after reduction_rate removed
elements 23099589.0 15006000.0 0.350378 8093589.0
bibtex 1834650.0 1177293.0 0.358301 657357.0

Tài liệu và mã nguồn tham chiếu#