Một hệ thống xem một triệu bức ảnh về nước đổ và một đứa trẻ tự làm đổ một cốc nước — hai bên học được những thứ khác nhau. Khác biệt không nằm ở số lượng dữ liệu mà ở cấu trúc của quá trình học.
Khác biệt một: dữ liệu do chính mình tạo ra
Trong học từ dữ liệu quan sát, tập dữ liệu có sẵn và cố định. Hệ thống không ảnh hưởng được nó thấy gì.
Trong học từ tương tác, mỗi hành động quyết định dữ liệu tiếp theo. Nếu chọn khám phá một góc, ta thu được dữ liệu về góc đó; chọn góc khác thì thu được thứ khác.
Điều này vừa là cơ hội vừa là rủi ro.
Cơ hội: có thể chủ động thu dữ liệu ở nơi mình còn kém, thay vì chờ nó xuất hiện ngẫu nhiên.
Rủi ro: nếu chỉ làm những gì đã biết làm, sẽ chỉ thu được dữ liệu về vùng đã biết, và không bao giờ học được gì mới. Đây là bài toán cân bằng giữa khai thác và khám phá, và nó không tồn tại trong học từ dữ liệu tĩnh.
Khác biệt hai: phản hồi trực tiếp và không mơ hồ
Khi học từ mô tả, người học phải tin vào lời người khác. Khi hành động, thế giới trả lời trực tiếp.
Đẩy một vật, nó đổ hay không đổ — không có tranh cãi, không có diễn giải. Đây là loại phản hồi sạch nhất có thể có.
Quan trọng hơn, phản hồi này gắn liền với hành động cụ thể vừa thực hiện. Không phải là biết chung chung rằng vật nặng thì khó đẩy, mà là biết chính xác lực này lên vật này cho kết quả này.
Với hệ thống nhân tạo, đặc điểm này rất giá trị: nó cung cấp tín hiệu học tập không cần người gán nhãn. Thế giới tự nó là bộ chấm điểm.
Đây cũng là lý do các phương pháp học dựa trên dự đoán hệ quả rồi so với thực tế thu hút nhiều quan tâm — chúng biến mọi giây tương tác thành dữ liệu học được.
Khác biệt ba: vòng lặp tự củng cố
Khi kỹ năng khá hơn, những gì có thể làm cũng mở rộng, và điều đó lại tạo ra dữ liệu mới.
Một đứa trẻ chưa biết cầm chỉ tương tác được với vật ở tầm với. Khi biết bò, cả căn phòng mở ra. Khi biết đi, thế giới lại rộng thêm.
Mỗi mốc vận động mở ra một lớp trải nghiệm mới, và trải nghiệm đó lại thúc đẩy các kỹ năng tiếp theo.
Trong hệ thống nhân tạo, hiện tượng tương ứng xuất hiện khi năng lực thao tác cải thiện: robot cầm được nhiều loại vật hơn thì thu được dữ liệu về nhiều loại vật hơn.
Hệ quả thiết kế: giai đoạn đầu quan trọng hơn vẻ ngoài. Một hệ thống vượt qua ngưỡng cơ bản sẽ tự mở rộng dần; một hệ thống chưa vượt qua thì đứng yên vì không thu được dữ liệu mới.
Vì sao học từ tương tác lại đắt
Bù lại các ưu điểm trên, cách học này có ba chi phí lớn.
Thời gian thực. Mỗi mẫu dữ liệu cần một hành động vật lý diễn ra trong thời gian thật. Không tăng tốc được như xử lý dữ liệu có sẵn.
Hậu quả. Một số hành động làm hỏng thứ gì đó. Không thể tự do thử mọi thứ.
Không song song hoá được dễ dàng. Một robot chỉ có một cơ thể. Đây chính là lý do mô phỏng quan trọng đến vậy — nó là cách duy nhất để có nhiều cơ thể cùng lúc.
Ba chi phí này giải thích vì sao dữ liệu tương tác là nút thắt của lĩnh vực robot, trong khi dữ liệu quan sát thì dồi dào.
Kết hợp hai cách học
Cách làm hiệu quả hiện nay không chọn một trong hai mà xếp chúng theo thứ tự.
Học từ dữ liệu quan sát trước để có tri thức nền rộng: vật thể trông thế nào, thế giới thường vận hành ra sao, các nhiệm vụ thường có cấu trúc gì.
Học từ tương tác sau để bổ sung những gì chỉ biết được bằng cách làm: lực cần bao nhiêu, ma sát ra sao, thao tác này có ổn định không.
Thứ tự này quan trọng. Bắt đầu bằng tri thức nền giúp giai đoạn tương tác hiệu quả hơn nhiều, vì hệ thống không phải mò từ đầu.
Đây cũng gần với cách con người học một kỹ năng mới khi đã trưởng thành: đọc hoặc xem trước để hiểu đại ý, rồi thực hành để nắm phần không nói ra được.
Câu hỏi thường gặp
Vì sao học từ tương tác không song song hoá được?
Vì mỗi hệ thống chỉ có một cơ thể vật lý và mỗi hành động diễn ra trong thời gian thật. Đây chính là lý do mô phỏng quan trọng đến vậy: nó là cách duy nhất để có hàng nghìn bản sao cùng luyện tập.
Bài toán cân bằng giữa khai thác và khám phá là gì?
Là lựa chọn giữa làm những gì đã biết hiệu quả và thử những gì chưa biết để học thêm. Nếu chỉ khai thác thì không bao giờ thu được dữ liệu mới; nếu chỉ khám phá thì không hoàn thành nhiệm vụ nào.
Vì sao nên học từ dữ liệu quan sát trước?
Vì tri thức nền rộng giúp giai đoạn tương tác hiệu quả hơn nhiều: hệ thống không phải mò từ đầu mà chỉ cần bổ sung những gì dữ liệu quan sát không chứa, chủ yếu là thông tin về lực và tiếp xúc.
Vòng lặp tự củng cố có ý nghĩa gì với thiết kế?
Nó cho thấy giai đoạn đầu quan trọng hơn vẻ ngoài. Hệ thống vượt qua ngưỡng năng lực cơ bản sẽ tự mở rộng vì thu được dữ liệu ngày càng đa dạng; hệ thống chưa vượt qua thì đứng yên vì không tạo ra được dữ liệu mới.
Đọc thêm trong Trí tuệ hiện thân là gì và Nhận thức qua cơ thể.
