2. Tải nguồn, lọc nội dung và audit độc lập#

2.1 Chuẩn hóa tập nguồn TeX/BibTeX/BBL#

Mỗi revision vN được tải riêng bằng src/<id>vN với nhịp tối thiểu 3 giây. Downloader giải nén qua staging, chỉ giữ mã nguồn văn bản (.tex, .bib và .bbl phụ trợ theo QA) và loại bỏ file ảnh/PDF nhị phân để giảm dung lượng lưu trữ trong khi vẫn giữ nguyên các lệnh \figure/\table.

2.2 Kết quả source audit toàn nhóm (41.498 version)#

Hide code cell source

from pathlib import Path
import json
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import display, Markdown
data = json.loads((Path.cwd().parent / 'report_summary.json').read_text(encoding='utf-8'))
scope, m1, m2, bench = data['scope'], data['m1'], data['m2'], data['m2_benchmark']
plt.rcParams.update({'figure.figsize': (9.2, 4.2), 'axes.spines.top': False, 'axes.spines.right': False, 'figure.dpi': 120})
print(f"Toàn nhóm (5 thành viên): {scope['papers']:,} paper / {scope['versions']:,} version | Cập nhật: {data['report_date']}")
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22

Hide code cell source

sa = pd.Series(m1['source_audit'], name='Số version')
display(sa.to_frame())
cmap = {'tex_verified': '#34785a', 'empty_verified': '#768a9a', 'not_found_verified': '#b5534a', 'source_pending_or_failed': '#bd8b25'}
ax = sa.plot.bar(color=[cmap.get(k, '#2f628e') for k in sa.index], title='Phân loại source audit trên 41.498 version', ylabel='Số version')
for i, val in enumerate(sa):
    ax.text(i, val + 400, f'{val:,}', ha='center', fontsize=9)
ax.set_ylim(0, max(sa) * 1.12)
plt.tight_layout(); plt.show()
df_size = pd.DataFrame([{
    'Số bài đủ TeX để đo giảm dung lượng': m1['eligible_size_papers'],
    'TB trước lọc (MiB/bài)': round(m1['mean_before_bytes'] / 1048576, 3),
    'TB sau lọc TeX/Bib (MiB/bài)': round(m1['mean_after_bytes'] / 1048576, 3),
    'Tỷ lệ giảm dung lượng': f"{m1['source_reduction']:.2%}",
    'Tổng corpus sau lọc (GiB)': round(m1['total_source_size_after_bytes'] / 1024**3, 2),
}])
display(df_size.T.rename(columns={0: 'Giá trị'}))
Số version
tex_verified 38554
empty_verified 2764
not_found_verified 169
source_pending_or_failed 11
../_images/802d6bbe0dd19b0a9a3c71e7ebda32d2dfc52e888af90950ec39de4cd46d6d94.png
Giá trị
Số bài đủ TeX để đo giảm dung lượng 22748
TB trước lọc (MiB/bài) 9.484
TB sau lọc TeX/Bib (MiB/bài) 1.015
Tỷ lệ giảm dung lượng 89.30%
Tổng corpus sau lọc (GiB) 22.72

Tài liệu và mã nguồn tham chiếu#