Nhìn từ bên ngoài, chơi là hoạt động lãng phí: không tạo ra gì, không đạt mục tiêu nào. Nhưng nó phổ biến ở mọi loài có khả năng học, và cấu trúc của nó giải thích vì sao.
Ba đặc điểm cấu trúc của chơi
Hậu quả thấp. Trong khi chơi, sai không tốn gì. Điều này cho phép thử những thứ mà trong tình huống thật sẽ quá rủi ro.
Đây là đặc điểm quan trọng nhất: nó mở rộng không gian hành động có thể thử ra rất nhiều.
Lặp lại có biến đổi. Cùng một hành động được làm đi làm lại với thay đổi nhỏ mỗi lần. Thả khối gỗ từ độ cao khác nhau, đẩy với lực khác nhau.
Đây chính là cách cô lập biến số — làm cùng mọi thứ trừ một yếu tố để thấy yếu tố đó ảnh hưởng thế nào.
Không có mục tiêu cố định. Mục tiêu thay đổi liên tục trong lúc chơi. Điều này khiến hoạt động phủ được nhiều vùng của không gian hành động hơn so với việc theo đuổi một mục tiêu duy nhất.
Vì sao chơi hiệu quả cho việc học
Ba đặc điểm trên cộng lại tạo ra điều kiện gần như lý tưởng để thu thập dữ liệu về thế giới.
Hậu quả thấp cho phép khám phá rộng. Lặp lại có biến đổi cho phép tách được quan hệ nhân quả. Không mục tiêu cố định cho phép phủ đều không gian.
So sánh với việc học trong lúc thực hiện nhiệm vụ thật: ở đó phải tối ưu kết quả, nên không dám thử điều lạ, và chỉ đi qua một đường hẹp trong không gian hành động.
Nói cách khác, chơi và làm việc thu thập hai loại dữ liệu khác nhau. Làm việc cho dữ liệu chất lượng cao về một vùng hẹp; chơi cho dữ liệu đa dạng về vùng rộng.
Cả hai đều cần, và chúng không thay thế được nhau.
Xây kỹ năng nền dùng lại được
Một quan sát về chơi: các kỹ năng học được trong lúc chơi thường tổng quát hơn so với kỹ năng học được khi làm một nhiệm vụ cụ thể.
Một đứa trẻ xếp khối gỗ không học cách xếp đúng một tháp cụ thể mà học về cân bằng, về đỡ, về thứ tự — những thứ dùng được ở vô số tình huống khác.
Lý do có lẽ nằm ở chỗ không có mục tiêu cố định: khi không tối ưu cho một kết quả, hệ thống học được cấu trúc chung thay vì học đường tắt tới một đáp án.
Với hệ thống nhân tạo, đây là lập luận cho việc dành một giai đoạn huấn luyện không gắn với nhiệm vụ cụ thể, trước khi tinh chỉnh cho nhiệm vụ mục tiêu.
Cách này tương ứng khá sát với cách huấn luyện trước rồi tinh chỉnh vốn đã thành chuẩn mực trong nhiều lĩnh vực.
Áp dụng vào robot
Ba cách cụ thể.
Giai đoạn chơi trong mô phỏng. Cho robot ảo tương tác tự do với nhiều vật thể trong môi trường ngẫu nhiên hoá, không có nhiệm vụ. Dữ liệu thu được dùng để học mô hình về động lực học và về tiếp xúc.
Cách này rẻ vì mô phỏng, và an toàn vì không có gì hỏng thật.
Giai đoạn làm quen trên máy thật. Cho robot tương tác với các vật sẽ gặp trong công việc, ở tốc độ thấp và trong vùng an toàn, trước khi giao nhiệm vụ chính thức.
Đặt lại nhiệm vụ thành trò chơi. Thay vì thưởng cho việc hoàn thành, thưởng cho việc đạt được nhiều trạng thái khác nhau. Điều này khuyến khích hệ thống học một tập kỹ năng thay vì một đường tắt.
Cách thứ ba có tên riêng trong lĩnh vực và đang được nghiên cứu tích cực, vì nó giải quyết được bài toán phần thưởng thưa một cách tự nhiên.
Giới hạn và điều kiện
Chơi chỉ có giá trị khi ba điều kiện được thoả.
Môi trường phải an toàn. Nếu hành động ngẫu nhiên có thể làm hỏng thiết bị hoặc gây nguy hiểm, không thể để hệ thống tự do. Đây là lý do mô phỏng gần như bắt buộc cho giai đoạn này.
Phải có gì đó để học. Chơi trong môi trường trống rỗng không cho dữ liệu gì. Cần đủ vật thể và đủ hiện tượng để tương tác.
Phải chuyển được sang nhiệm vụ. Kỹ năng học trong lúc chơi chỉ có giá trị nếu dùng lại được. Nếu môi trường chơi khác quá xa môi trường làm việc, phần chuyển giao rất ít.
Điều kiện cuối là ràng buộc thực dụng quan trọng nhất: giai đoạn chơi nên diễn ra với các vật thể và điều kiện gần với công việc thật, chứ không phải trong một môi trường tuỳ ý.
Câu hỏi thường gặp
Vì sao kỹ năng học khi chơi lại tổng quát hơn?
Vì không có mục tiêu cố định để tối ưu, hệ thống không tìm được đường tắt tới một đáp án cụ thể mà buộc phải nắm cấu trúc chung. Cấu trúc chung đó dùng lại được ở nhiều tình huống khác nhau.
Giai đoạn chơi nên diễn ra ở đâu?
Chủ yếu trong mô phỏng vì hành động chưa đoán trước được và có thể gây hỏng hóc. Trên máy thật thì nên giới hạn tốc độ, giới hạn vùng và có giám sát, đồng thời dùng đúng loại vật thể sẽ gặp trong công việc.
Chơi có thay được huấn luyện theo nhiệm vụ không?
Không, hai cách thu hai loại dữ liệu khác nhau. Chơi cho dữ liệu đa dạng về vùng rộng, làm nhiệm vụ cho dữ liệu chất lượng cao về vùng hẹp. Thứ tự hiệu quả thường là chơi trước để có nền, rồi tinh chỉnh theo nhiệm vụ.
Thưởng cho việc đạt nhiều trạng thái khác nhau nghĩa là gì?
Thay vì chỉ thưởng khi hoàn thành nhiệm vụ, hệ thống được thưởng khi đưa môi trường tới các trạng thái mà nó chưa từng đạt tới. Cách này khuyến khích học một tập kỹ năng rộng và giải quyết được bài toán phần thưởng quá thưa.
Đọc thêm trong Không gian, thời gian & vật lý trực giác và Cảm biến & tri giác máy.
