NGHIÊN CỨU 001 · BẢN THẢO ARXIV
GoiBERT: Mô hình ngôn ngữ tiếng Việt nhỏ gọn qua chưng cất tri thức hai giai đoạn
21/10/2026 · Cập nhật 22/10/2026 · v2
Một mô hình nhỏ hơn có thể giữ lại bao nhiêu năng lực của mô hình ngôn ngữ lớn? GoiBERT tìm hiểu câu hỏi này qua hai bộ mã hóa tiếng Việt nhỏ gọn, học từ hai mô hình thầy. Chúng xử lý trực tiếp văn bản tiếng Việt, không cần bước tách từ riêng, và được phát hành để tinh chỉnh cho từng tác vụ.
01 / NGHIÊN CỨU
Học nhiều hơn.
Gọn nhẹ hơn.
Tóm lược nội dung bài báo
Quá trình huấn luyện gồm hai giai đoạn. Một bộ mã hóa tiếng Việt dùng chung bộ tách token truyền đạt các biểu diễn tổng quát. Sau đó, một mô hình thầy lớn hơn hướng dẫn từng tác vụ thông qua nhãn mềm. Trên tám bộ đánh giá, bài báo cho thấy việc nén mô hình giữ được hiệu quả phân tích cảm xúc và phân loại tốt hơn so với suy luận và nhận dạng thực thể. Những khoảng cách còn lại mở ra các câu hỏi nghiên cứu tiếp theo.
02 / CÁC BỘ MÃ HÓA
Hai kích thước.
Một ý tưởng.
Đây là các bộ mã hóa nền cần được tinh chỉnh cho từng tác vụ. Hãy chọn mô hình và đánh giá trên tác vụ, dữ liệu của bạn.
Bài báo được cấp phép theo CC BY 4.0. Trọng số mô hình có điều khoản sử dụng riêng. Vui lòng đọc giấy phép mô hình trước khi sử dụng.
03 / TRÍCH DẪN
Tiếp nối nghiên cứu.
Quang Anh Kiet Tran, Nam Anh Tran, Manh Hung Trinh, Thanh Danh Le, Khang Nhat Hoang Vo, and Huynh Dai Nhan Tran. GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation. arXiv:2610.30067, 2026. DOI
BibTeX
@misc{goibert,
title = {GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation},
author = {Quang Anh Kiet Tran and Nam Anh Tran and Manh Hung Trinh and Thanh Danh Le and Khang Nhat Hoang Vo and Huynh Dai Nhan Tran},
year = {2026},
eprint = {2610.30067},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/2610.30067},
doi = {10.48550/arXiv.2610.30067},
}