Instruction tuning: cách mô hình học làm theo yêu cầu
Khi bạn yêu cầu “chỉ trả lời bằng ba gạch đầu dòng”, một trợ lý AI thường cố gắng làm đúng định dạng. Khả năng ấy không đơn giản là tìm thấy từ khóa. Instruction tuning là một cách huấn luyện mô hình bằng các nhiệm vụ được mô tả dưới dạng yêu cầu.
Hiểu kỹ thuật này giúp bạn phân biệt việc sửa prompt với việc thực sự huấn luyện thêm mô hình.
🧠 1. Học từ yêu cầu và câu trả lời mẫu
Nghiên cứu FLAN mô tả instruction tuning là tinh chỉnh mô hình trên tập nhiệm vụ được diễn đạt bằng chỉ dẫn. Trong các thí nghiệm của nhóm, cách làm này cải thiện kết quả trên những loại nhiệm vụ chưa xuất hiện trong phần tinh chỉnh. Đó là kết quả thực nghiệm, không phải bảo đảm mô hình luôn làm đúng mọi lệnh. Nghiên cứu FLAN.
Một ví dụ có thể gồm yêu cầu, dữ liệu đầu vào và đầu ra mong đợi. Khi huấn luyện, mô hình được điều chỉnh để tạo câu trả lời phù hợp hơn với các ví dụ đó.
📨 2. Một ví dụ phân loại yêu cầu hỗ trợ
Giả sử đội hỗ trợ muốn phân biệt ba nhóm: thanh_toan, ky_thuat và can_lam_ro. Đây là mẫu minh họa về cấu trúc dữ liệu, không phải định dạng tải lên bắt buộc của nền tảng nào:
{
"instruction": "Chọn đúng một nhãn. Thiếu dữ kiện thì dùng can_lam_ro.",
"input": "Tôi đã trả tiền nhưng tài khoản chưa được kích hoạt.",
"output": "thanh_toan"
}
Nhóm cần thống nhất quy tắc trước: một lỗi kích hoạt sau thanh toán sẽ vào hàng đợi nào? Nếu hai người gán hai nhãn khác nhau cho cùng tình huống, hãy xử lý bất đồng ấy trước khi nhân rộng dữ liệu.
Ví dụ tốt thể hiện một quyết định nhất quán, không chỉ một câu trả lời nghe trôi chảy.
🔧 3. Sửa prompt khác với huấn luyện thêm
Prompt engineering đưa chỉ dẫn hoặc ví dụ vào đầu vào để sử dụng khả năng sẵn có của mô hình; nó không thay đổi tham số mô hình. Fine-tuning là một quá trình huấn luyện thêm trên dữ liệu tác vụ. Giải thích của Google.
Vì vậy, dán mười ví dụ vào một cuộc chat không tự tạo ra phiên bản mô hình đã được tinh chỉnh. Bạn đang cung cấp ngữ cảnh cho lần xử lý đó.
Trong một thử nghiệm nhỏ, hãy bắt đầu bằng prompt rõ và vài mẫu đã duyệt. Chỉ cân nhắc huấn luyện khi đã xác định được lỗi lặp lại, dữ liệu đủ chất lượng và cách đánh giá riêng.
🗃️ 4. Chuẩn bị ví dụ có ranh giới rõ
Với bài toán hỗ trợ trên, bộ ví dụ nên có câu rõ nghĩa, câu thiếu thông tin và câu chứa nhiều vấn đề. Định nghĩa một cách xử lý cho trường hợp cần người xem lại.
Đừng tự tạo hàng nghìn mẫu rồi coi tất cả là đáp án đúng. Chọn một phần để người hiểu nghiệp vụ kiểm tra, ghi loại lỗi và sửa quy tắc gán nhãn khi cần.
Tách câu hỏi dùng để xây dựng ví dụ khỏi câu hỏi dùng để đánh giá. Nếu chỉ kiểm tra những câu đã chỉnh đi chỉnh lại, kết quả sẽ ít cho biết khả năng xử lý tình huống mới.
💬 5. Prompt giúp rà soát bộ mẫu
Đây là quy tắc phân loại và các ví dụ đã soạn. Hãy rà soát trước khi dùng làm dữ liệu huấn luyện: - Có hai ví dụ tương đương nhưng khác nhãn không? - Ví dụ nào thiếu thông tin để xác định nhãn? - Quy tắc nào đang mâu thuẫn hoặc chưa đủ rõ? - Cần người phụ trách quyết định trường hợp nào? Không tự sửa nhãn khi chưa có quy tắc làm căn cứ. Trả về mã ví dụ, vấn đề và câu hỏi cần xác nhận.
Prompt này phục vụ kiểm dữ liệu; bản thân nó không thực hiện một lượt training.
✅ 6. Đo điều mình muốn cải thiện
Chốt các tiêu chí như đúng nhãn, đúng định dạng và biết chuyển trường hợp mơ hồ cho người phụ trách. Ghi riêng từng loại lỗi để thấy mô hình đang thất bại ở đâu.
Làm theo chỉ dẫn tốt không đồng nghĩa mọi thông tin đều chính xác. Hãy kiểm cả nội dung lẫn hành vi. Với đội hỗ trợ, một câu trả lời dài và lịch sự vẫn chưa đạt nếu bị chuyển sai hàng đợi.