Trong bài này
Context là những thông tin mô hình đang được cung cấp để tạo câu trả lời ở thời điểm hiện tại. Context window là giới hạn về lượng thông tin mô hình có thể xử lý trong phạm vi đó.
Context gồm những gì?
Context có thể bao gồm yêu cầu hiện tại, lịch sử chat, file, nội dung truy xuất từ công cụ và kết quả các bước trước.
Context window là hữu hạn
Mỗi mô hình và hệ thống có giới hạn khác nhau; khi vượt phạm vi, nội dung có thể cần được rút gọn hoặc tổ chức lại.
Quá nhiều context có thể tạo nhiễu
Nội dung dư thừa, mâu thuẫn hoặc không liên quan có thể làm mô hình khó tập trung vào tín hiệu quan trọng.
Context khác memory
Context là thông tin đang có trong phạm vi xử lý hiện tại. Memory thường chỉ cơ chế sản phẩm để lưu hoặc tái sử dụng thông tin qua nhiều phiên.
Điều cần nhớ
- Context là dữ liệu mô hình đang nhìn thấy.
- Context window có giới hạn.
- Context nhiều hơn không phải lúc nào cũng tốt hơn.
Kiểm tra nhanh
- File đính kèm có thể chiếm context không?
- Context window có vô hạn không?
- Vì sao quá nhiều context gây nhiễu?
- Context và memory có phải cùng một khái niệm không?