Trong bài này
Training và inference là hai giai đoạn rất khác nhau. Training là lúc mô hình học từ dữ liệu; inference là lúc một mô hình đã huấn luyện nhận dữ liệu mới và tạo kết quả.
Training là gì?
Trong training, dữ liệu được đưa qua mô hình và các tham số được điều chỉnh để mô hình thực hiện nhiệm vụ tốt hơn.
Inference là gì?
Inference xảy ra khi người dùng hoặc một hệ thống gửi đầu vào mới cho mô hình đã huấn luyện. Mô hình dùng các tham số hiện có để tạo đầu ra.
Dữ liệu huấn luyện và dữ liệu người dùng
Dữ liệu dùng để xây mô hình và dữ liệu được gửi vào lúc sử dụng là hai khái niệm khác nhau; không nên mặc định chúng là một.
Vì sao inference vẫn tốn tài nguyên?
Dù không huấn luyện lại toàn bộ mô hình, inference vẫn cần nhiều phép tính để xử lý đầu vào và sinh kết quả.
Điều cần nhớ
- Training là học; inference là sử dụng mô hình đã học.
- Dữ liệu huấn luyện không đồng nghĩa với dữ liệu người dùng đang nhập.
- Inference vẫn cần tài nguyên tính toán.
Kiểm tra nhanh
- Điều chỉnh tham số từ dữ liệu là training hay inference?
- Gửi câu hỏi cho model đã huấn luyện thuộc giai đoạn nào?
- Dữ liệu người dùng có tự động là dữ liệu huấn luyện không?
- Vì sao inference vẫn có chi phí?