Nếu tương tác với thế giới đủ để học, vì sao con người vẫn cần thầy? Vì thế giới trả lời trung thực nhưng không chọn lọc — nó không nói cho ta biết nên chú ý vào đâu, và không sắp xếp bài học theo thứ tự dễ trước khó sau.
Cách một: chọn tình huống
Người dạy quyết định người học gặp gì và theo thứ tự nào.
Thay vì để người học tự lang thang trong không gian rộng, thầy chọn các tình huống ở đúng mức khó phù hợp và sắp xếp chúng theo thứ tự tăng dần.
Điều này tiết kiệm rất nhiều thời gian, vì phần lớn không gian hành động là vô ích để học — quá dễ hoặc quá khó.
Trong huấn luyện hệ thống nhân tạo, ý tưởng tương ứng là sắp xếp dữ liệu hoặc nhiệm vụ theo độ khó tăng dần thay vì đưa vào ngẫu nhiên. Cách này thường giúp hội tụ nhanh hơn và đạt kết quả tốt hơn, đặc biệt với các nhiệm vụ khó.
Cách hai: hướng chú ý
Trong một cảnh có vô số thứ để chú ý. Người dạy chỉ ra cái nào quan trọng.
Điều này giải quyết một bài toán khó: từ dữ liệu thô, làm sao biết đặc trưng nào liên quan tới kết quả. Nếu phải tự tìm, cần rất nhiều ví dụ. Nếu được chỉ, cần rất ít.
Con người truyền tín hiệu này rất tự nhiên qua ánh mắt, cử chỉ chỉ trỏ và ngôn ngữ.
Với robot, tương ứng là các cách đánh dấu phần quan trọng của dữ liệu: khoanh vùng ảnh cần chú ý, chỉ rõ đại lượng nào là mục tiêu, hoặc đơn giản là thiết kế đầu vào sao cho chỉ chứa thông tin liên quan.
Cách cuối thường bị xem nhẹ nhưng rất hiệu quả: bớt thông tin nhiễu trong đầu vào có tác dụng tương tự như chỉ ra cái gì quan trọng.
Cách ba: làm mẫu
Xem người khác làm cho biết ngay một cách làm hiệu quả, thay vì phải tự tìm ra trong vô số cách.
Đây là cơ chế mạnh nhất trong bốn cách, vì nó bỏ qua toàn bộ giai đoạn tìm kiếm.
Nhưng nó có một giới hạn quan trọng: người học chỉ thấy hành động, không thấy lý do. Nếu sao chép mà không hiểu, họ sẽ lặp lại cả những chi tiết không cần thiết và sẽ bối rối khi tình huống đổi.
Hiện tượng này xuất hiện rõ trong học bắt chước ở máy: chính sách học được có thể sao chép cả các thói quen vô nghĩa của người làm mẫu.
Cách khắc phục là kết hợp làm mẫu với thực hành có sửa lỗi, để người học gặp các tình huống lệch khỏi mẫu và phải tự xử lý.
Cách bốn: sửa lỗi đúng lúc
Đây là cách hiệu quả nhất về mặt dữ liệu, và cũng ít được dùng nhất.
Khi người học sắp làm sai, thầy can thiệp và chỉ ra cách đúng ngay tại tình huống đó.
Điều làm nó hiệu quả: phản hồi đến đúng ở trạng thái mà người học gặp khó, không phải ở trạng thái lý tưởng mà thầy tự chọn.
Đây chính là lời giải cho vấn đề lệch phân bố trong học bắt chước: dữ liệu được thu tại các trạng thái mà chính sách dẫn tới, chứ không phải các trạng thái người làm mẫu đi qua.
Với robot, cách triển khai là để chính sách chạy và người sẵn sàng can thiệp sửa. Mỗi lần can thiệp tạo ra một mẫu dữ liệu có giá trị cao hơn nhiều so với một lần làm mẫu thông thường.
Cân bằng giữa dạy và để tự khám phá
Dạy quá nhiều cũng có hại.
Nếu mọi tình huống đều được sắp sẵn và mọi lỗi đều được sửa ngay, người học không bao giờ gặp tình huống ngoài dự kiến và không phát triển được khả năng tự xoay xở.
Trong học máy, điều này biểu hiện thành chính sách rất giỏi trong điều kiện huấn luyện và rất giòn khi ra ngoài.
Cân bằng thực dụng thường là: dạy nhiều ở giai đoạn đầu để vượt qua ngưỡng cơ bản, rồi giảm dần và để tự khám phá nhiều hơn.
Cách này khớp với cả trực giác sư phạm lẫn các phương pháp huấn luyện hiệu quả trong máy: bắt đầu bằng học bắt chước để có nền, sau đó chuyển sang cải thiện bằng thử nghiệm có phản hồi.
Câu hỏi thường gặp
Vì sao dữ liệu can thiệp sửa lỗi lại giá trị hơn dữ liệu làm mẫu?
Vì nó nằm đúng ở các trạng thái mà chính sách gặp khó, không phải ở các trạng thái lý tưởng do người làm mẫu chọn. Đây chính là cách giải quyết vấn đề lệch phân bố trong học bắt chước.
Học bắt chước có nhược điểm gì?
Người học chỉ thấy hành động mà không thấy lý do, nên có thể sao chép cả các chi tiết không cần thiết và bối rối khi tình huống đổi. Cần kết hợp với thực hành có sửa lỗi để xử lý các trường hợp lệch khỏi mẫu.
Sắp xếp nhiệm vụ theo độ khó tăng dần có thật sự giúp không?
Với các nhiệm vụ khó thì thường có, vì nó giúp hệ thống vượt qua giai đoạn đầu khi phần thưởng còn thưa. Với nhiệm vụ đơn giản thì lợi ích ít hơn và chi phí thiết kế thứ tự có thể không đáng.
Dạy quá nhiều gây hại thế nào?
Hệ thống chỉ gặp các tình huống được sắp sẵn nên không phát triển khả năng xử lý tình huống ngoài dự kiến. Kết quả là nó rất giỏi trong điều kiện huấn luyện và rất giòn khi ra ngoài điều kiện đó.
Đọc thêm trong Nhận thức qua cơ thể và Mô hình thế giới.
