8. Benchmark chính thức Milestone 2 trên Google Colab CPU-only#
8.1 Môi trường đo và tổng hợp 5 phiên liên tiếp#
Toàn bộ 5 phiên full (mỗi phiên chạy cold 5.000 bài, reused=0) được thực thi tuần tự trên Google Colab Standard CPU-only (is_google_colab=True, cpu_only=True, 2 logical vCPU Intel x86_64, RAM 12.975,52 MB, Python 3.13.18) và tổng hợp bằng src/crawler/benchmark_sessions.py.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
| Giá trị | |
|---|---|
| platform | Linux x86_64 (Google Colab CPU Standard) |
| python_version | 3.13.18 |
| is_google_colab | True |
| cpu_only | True |
| cpu_count_logical | 2 |
| total_memory_mb | 12975.52 |
| code_hash | cf2de7a143c80d55d4744293ccd8828290490a00a9ca8d... |
Bảng 8.1. Tổng hợp benchmark Milestone 2 trên Google Colab CPU-only (25.000 bài).
| Chỉ tiêu | Kết quả đo | |
|---|---|---|
| 0 | Mọi phiên đều là Colab CPU-only | True |
| 1 | Phiên chạy gối giờ / trùng file stats | False / 0 |
| 2 | Tổng bài parse mới (cold, reused=0) | 25,000 bài |
| 3 | Tổng thời gian xử lý + validate (5 phiên) | 18,692.088 giây (~5.19 giờ) |
| 4 | Thời gian trung bình mỗi publication | 0.7477 giây/bài |
| 5 | Peak RSS lớn nhất quan sát được | 845.34 MiB |
| 6 | RSS trung bình trọng số thời gian | 240.00 MiB |
| 7 | Peak disk workspace lớn nhất | 7.84 GiB |
| 8 | Dung lượng 3 bảng Parquet chuẩn hợp nhất | 4,215,352,479 byte (3.93 GiB) |
Bảng 8.2. Chi tiết từng phiên Colab CPU của 5 thành viên.
| session | processed_attempts | profiler_sec | avg_sec_per_pub | peak_rss_mib | avg_rss_mib | final_output_bytes | |
|---|---|---|---|---|---|---|---|
| 0 | S1 (DAT) | 5000 | 3350.243 | 0.670049 | 845.34 | 237.55 | 858474021 |
| 1 | S2 (TUAN) | 5000 | 3777.627 | 0.755525 | 789.36 | 225.74 | 888903596 |
| 2 | S3 (TAN) | 5000 | 3740.636 | 0.748127 | 498.27 | 243.59 | 814769667 |
| 3 | S4 (TRI) | 5000 | 3924.095 | 0.784819 | 512.07 | 241.44 | 813940985 |
| 4 | S5 (TRIET) | 5000 | 3899.487 | 0.779897 | 546.96 | 251.04 | 803680178 |
Bảng 8.3. Phân bổ thời gian các pha xử lý M2 (cộng dồn 5 phiên).
| elapsed_sec | calls | |
|---|---|---|
| parse_publication | 16065.461 | 25000.0 |
| validation | 1171.534 | 5.0 |
| storage | 892.678 | 25000.0 |
Hình 8.2. Chuỗi thời gian RSS và đĩa đo từ resource_samples.jsonl (4 phiên bật sync đầy đủ: TUAN, TAN, TRI, TRIET; cửa sổ 60s).
Dung lượng đĩa đỉnh của workspace trên Google Colab CPU-only đạt 7.84 GiB (8,415,823,340 byte) và 3 bảng Parquet đầu ra cuối còn 3.93 GiB (4.22 GB), nằm trong giới hạn đĩa của Colab.
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/parser/main.py.
Mã nguồn triển khai: src/crawler/profiler.py.
Mã nguồn triển khai: src/crawler/benchmark_sessions.py.
Mã nguồn triển khai: tools/m2_colab_runner.py.