Phụ lục A. Tái lập thực nghiệm và cấu hình Colab CPU-only#

A.1 Tái lập báo cáo Jupyter Book#

Notebook đọc số liệu trực tiếp từ report_summary.json (chỉ chứa số liệu tổng hợp và ví dụ code minh họa) nên có thể dựng lại ở mọi máy mà không cần tải 22,72 GiB corpus hay khóa API:

python -m pip install -r requirements.txt
jupyter-book build . --all -W

A.2 Tái lập xử lý M2 trên Google Colab CPU-only (từng thành viên & gộp 25.000 bài)#

  1. Khởi chạy lần lượt từng thành viên qua colab_parser_full.ipynb hoặc tools/m2_colab_runner.py trên runtime Colab CPU Standard (nvidia0=False, COLAB_TPU_ADDR=None), cấu hình config_<MSSV>_full.json.

  2. Chạy tools/m2_team_consolidator.py trên Colab CPU để gộp M1 merge_shards, trích batch M2, tính stats.json hợp nhất, chạy src.parser.validation.validate_project toàn cục 25.000 bài và tổng hợp benchmark nhiều phiên qua src.crawler.benchmark_sessions.

Hide code cell source

from pathlib import Path
import json
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import display, Markdown
data = json.loads((Path.cwd().parent / 'report_summary.json').read_text(encoding='utf-8'))
scope, m1, m2, bench = data['scope'], data['m1'], data['m2'], data['m2_benchmark']
plt.rcParams.update({'figure.figsize': (9.2, 4.2), 'axes.spines.top': False, 'axes.spines.right': False, 'figure.dpi': 120})
print(f"Toàn nhóm (5 thành viên): {scope['papers']:,} paper / {scope['versions']:,} version | Cập nhật: {data['report_date']}")
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22

Hide code cell source

import sys, importlib.metadata
print('Python biên dịch Book:', sys.version.split()[0])
pkgs = ['jupyter-book', 'pandas', 'pyarrow', 'matplotlib', 'nbformat', 'arxiv-harvester']
rows = []
for p in pkgs:
    try:
        ver = importlib.metadata.version(p)
    except importlib.metadata.PackageNotFoundError:
        ver = 'editable/PYTHONPATH'
    rows.append({'package': p, 'version': ver})
display(pd.DataFrame(rows))
Python biên dịch Book: 3.12.16
package version
0 jupyter-book 1.0.4.post1
1 pandas 3.1.1
2 pyarrow 26.0.1
3 matplotlib 3.11.2
4 nbformat 5.11.1
5 arxiv-harvester 0.2.0

Tài liệu và mã nguồn tham chiếu#