Trẻ em dành phần lớn thời gian làm những việc không ai yêu cầu: mở nắp hộp, đổ nước ra sàn, ném đồ xuống để xem chuyện gì xảy ra. Nhìn từ góc độ nhiệm vụ thì vô ích. Nhìn từ góc độ học tập thì đó là toàn bộ quá trình.
Vì sao cần động lực khám phá
Một hệ thống chỉ hành động khi có nhiệm vụ cụ thể sẽ gặp hai vấn đề.
Không học được gì ngoài nhiệm vụ. Khi gặp nhiệm vụ mới, nó phải bắt đầu từ đầu vì chưa từng khám phá vùng đó.
Bế tắc khi phần thưởng thưa. Với các nhiệm vụ mà thành công chỉ đến sau một chuỗi dài hành động đúng, hệ thống hành động ngẫu nhiên gần như không bao giờ chạm tới thành công, nên không có tín hiệu nào để học.
Động lực khám phá giải cả hai: hệ thống hành động ngay cả khi không có nhiệm vụ, tích luỹ hiểu biết về thế giới, và hiểu biết đó dùng được cho nhiều nhiệm vụ về sau.
Định nghĩa tò mò cho máy
Ý tưởng phổ biến: thưởng cho việc gặp điều bất ngờ.
Cụ thể, hệ thống dự đoán hệ quả của hành động. Nếu dự đoán sai nhiều, đó là dấu hiệu vùng này chưa được hiểu — và chính chỗ đó đáng khám phá.
Cách này có một tính chất đẹp: khi một vùng đã được học kỹ, dự đoán trở nên chính xác, phần thưởng giảm, và hệ thống tự chuyển sang vùng khác.
Nói cách khác, sự chán tự động xuất hiện, và nó đẩy hệ thống đi tiếp. Đây là cơ chế tự điều chỉnh mà không cần ai lập lịch khám phá.
Có các biến thể khác: thưởng cho việc tới trạng thái ít gặp, thưởng cho việc học được kỹ năng mới, thưởng cho việc tăng khả năng kiểm soát môi trường. Mỗi cách dẫn tới hành vi khám phá hơi khác nhau.
Bẫy kinh điển: bị hút vào cái ngẫu nhiên
Cách thưởng cho bất ngờ có một điểm yếu nghiêm trọng và rất dễ gặp.
Nếu trong môi trường có thứ gì đó ngẫu nhiên thuần tuý — nhiễu, lá cây lay động, màn hình nhấp nháy — thì dự đoán về nó không bao giờ chính xác được. Phần thưởng cho bất ngờ luôn cao ở đó.
Kết quả: hệ thống đứng nhìn thứ ngẫu nhiên đó mãi, vì đó là nơi cho nhiều phần thưởng nhất, dù không học được gì.
Hiện tượng này là ví dụ điển hình của việc tối ưu đúng thứ được yêu cầu nhưng sai ý định.
Cách khắc phục thường dùng: chỉ thưởng cho phần bất ngờ có thể giảm được — tức là phần mà nếu học thêm thì dự đoán sẽ tốt lên. Nhiễu thuần tuý không giảm được nên không được thưởng.
Một cách khác là chỉ thưởng cho bất ngờ ở những khía cạnh mà hành động của hệ thống ảnh hưởng được, bỏ qua phần thay đổi độc lập với nó.
Khám phá có cấu trúc
Khám phá ngẫu nhiên kém hiệu quả. Quan sát trẻ em cho thấy khám phá của chúng có cấu trúc rõ.
Lặp lại có biến đổi. Không làm một việc một lần rồi bỏ, mà lặp lại với thay đổi nhỏ: thả từ độ cao khác, đẩy mạnh hơn. Đây chính là cách cô lập biến số.
Tăng dần độ khó. Chọn thứ hơi khó hơn khả năng hiện tại — không quá dễ đến nhàm, không quá khó đến bế tắc.
Chuyển khi đã hiểu. Khi một hiện tượng trở nên dự đoán được, hứng thú giảm và chuyển sang thứ khác.
Ba đặc điểm này đều tái tạo được trong hệ thống nhân tạo, và chúng làm khám phá hiệu quả hơn nhiều so với hành động ngẫu nhiên.
Đặc điểm thứ hai đặc biệt đáng chú ý: nó tương ứng với ý tưởng chọn nhiệm vụ ở đúng ranh giới năng lực hiện tại, nơi việc học diễn ra nhanh nhất.
Ứng dụng trong robot
Ba cách áp dụng thực tế.
Giai đoạn làm quen. Trước khi giao nhiệm vụ, cho robot một khoảng thời gian tự tương tác với môi trường và với vật thể. Dữ liệu thu được trong giai đoạn này cải thiện hiệu năng ở các nhiệm vụ sau.
Thu dữ liệu có định hướng. Thay vì thu ngẫu nhiên, ưu tiên các tình huống mà mô hình dự đoán kém. Điều này dùng chính nguyên lý tò mò để phân bổ công sức thu dữ liệu.
Phát hiện thay đổi môi trường. Nếu sai lệch dự đoán đột nhiên tăng ở một vùng vốn đã quen, đó là dấu hiệu môi trường đã đổi — và cũng là lúc cần khám phá lại.
Ứng dụng thứ ba đáng chú ý vì nó biến cơ chế tò mò thành một dạng giám sát vận hành: hệ thống tự nhận ra khi thế giới không còn giống thứ nó đã học.
Câu hỏi thường gặp
Vì sao hệ thống tò mò lại bị hút vào nhiễu ngẫu nhiên?
Vì dự đoán về thứ ngẫu nhiên thuần tuý không bao giờ chính xác được, nên phần thưởng cho bất ngờ luôn cao ở đó. Hệ thống tối ưu đúng thứ được yêu cầu nhưng kết quả trái ý định, và cách sửa là chỉ thưởng cho phần bất ngờ có thể giảm được.
Tò mò khác gì với hành động ngẫu nhiên?
Hành động ngẫu nhiên rải đều công sức khắp nơi. Tò mò tập trung vào những vùng mà hệ thống dự đoán kém, tức là nơi còn nhiều thứ để học, nên hiệu quả cao hơn nhiều với cùng số lần thử.
Vì sao nên chọn nhiệm vụ hơi khó hơn khả năng hiện tại?
Vì quá dễ thì không học được gì mới, quá khó thì không bao giờ thành công nên không có tín hiệu học. Vùng ngay ở ranh giới năng lực là nơi mỗi lần thử mang lại nhiều thông tin nhất.
Có nên cho robot thời gian tự khám phá trước khi làm việc không?
Với hệ thống học từ dữ liệu thì rất nên, vì dữ liệu thu trong giai đoạn này cải thiện hiệu năng ở các nhiệm vụ sau. Cần giới hạn phạm vi và có giám sát, vì hành vi khám phá theo định nghĩa là chưa đoán trước được.
Đọc thêm trong Mô hình thế giới và Trí tuệ hiện thân là gì.
