4. Mô hình dữ liệu 5 bảng và kiểm chuẩn toàn cục (25.000 bài)#
4.1 Cấu trúc 5 bảng M1-M2 và kết quả validate_project#
Toàn bộ dữ liệu hợp nhất của 5 thành viên gồm 2 bảng M1 (papers, references) và 3 bảng M2 (elements, hierarchy, bibtex) được kiểm tra đồng thời bởi src/parser/validation.py bằng SQLite key-index trên đĩa cho toàn bộ 25.000 bài báo / 41.498 version.
Toàn nhóm (5 thành viên): 25,000 paper / 41,498 version | Cập nhật: 2026-11-22
Schema bảng papers
| column | type | nullable | |
|---|---|---|---|
| 0 | arxiv_id | string | False |
| 1 | title | string | True |
| 2 | authors | list<element: string> | True |
| 3 | submission_date | string | True |
| 4 | revised_dates | list<element: string> | True |
| 5 | venue | string | True |
Schema bảng references
| column | type | nullable | |
|---|---|---|---|
| 0 | arxiv_id | string | False |
| 1 | ref_arxiv_id | string | False |
| 2 | ref_title | string | True |
| 3 | ref_authors | list<element: string> | True |
| 4 | ref_submission_date | string | True |
| 5 | ref_s2_id | string | True |
Schema bảng elements
| column | type | nullable | |
|---|---|---|---|
| 0 | element_id | string | False |
| 1 | arxiv_id | string | False |
| 2 | kind | dictionary<values=string, indices=int32, order... | True |
| 3 | content | string | True |
Schema bảng hierarchy
| column | type | nullable | |
|---|---|---|---|
| 0 | arxiv_id | string | False |
| 1 | version | int32 | True |
| 2 | element_id | string | False |
| 3 | parent_id | string | False |
Schema bảng bibtex
| column | type | nullable | |
|---|---|---|---|
| 0 | arxiv_id | string | False |
| 1 | citation_key | string | False |
| 2 | entry_type | dictionary<values=string, indices=int32, order... | True |
| 3 | title | string | True |
| 4 | authors | list<item: string> | True |
| 5 | year | int32 | True |
| 6 | doi | string | True |
| 7 | journal | string | True |
| 8 | url | string | True |
Bảng 4.1. Tổng số bản ghi của 5 bảng hợp nhất (25.000 bài).
| Giai đoạn | Bảng | Số dòng | |
|---|---|---|---|
| 0 | M1 | papers (course) | 25000 |
| 1 | M1 | references (course) | 456149 |
| 2 | M2 | elements | 15006000 |
| 3 | M2 | hierarchy | 22532299 |
| 4 | M2 | bibtex | 1177293 |
| structural_valid | processing_complete | expected_versions | recorded_versions | missing_versions | validation_errors | |
|---|---|---|---|---|---|---|
| 0 | True | False | 41498 | 41498 | 0 | 0 |
Tài liệu và mã nguồn tham chiếu#
Mã nguồn triển khai: src/crawler/storage.py.
Mã nguồn triển khai: src/parser/storage.py.
Mã nguồn triển khai: src/parser/validation.py.
Mã nguồn triển khai: tools/m2_team_consolidator.py.