Nếu mô hình thế giới là thứ cho phép dự đoán hệ quả của hành động, thì có ba cách rất khác nhau để xây nó — và lựa chọn giữa chúng quyết định hệ thống mạnh ở đâu và yếu ở đâu.
Cách một: viết tay từ vật lý
Con người mô tả thế giới bằng phương trình: khối lượng, lực, ma sát, va chạm. Hệ thống dùng các phương trình đó để dự đoán.
Ưu điểm: giải thích được từng bước, tổng quát hoá tốt sang tình huống mới miễn là vẫn trong phạm vi các giả định, và cần rất ít dữ liệu — chỉ cần đo vài tham số.
Nhược điểm: chỉ mô tả được những gì viết ra được thành phương trình. Ma sát tiếp xúc, vật biến dạng, chất lỏng — các hiện tượng này hoặc quá phức tạp hoặc chưa có mô hình đủ tốt.
Đây là cách được dùng cho phần chuyển động của robot, nơi động lực học cơ cấu mô tả được khá chính xác. Nó thất bại đúng ở chỗ có tiếp xúc phức tạp.
Cách hai: học từ dữ liệu
Không viết phương trình. Cho hệ thống xem rất nhiều cặp trạng thái và hành động cùng kết quả, để nó tự học quan hệ.
Ưu điểm: nắm được các hiện tượng không viết ra được thành công thức. Đây chính là điểm mạnh bổ sung cho cách một.
Nhược điểm: cần rất nhiều dữ liệu, chỉ đáng tin trong vùng đã thấy, và không giải thích được.
Một biến thể quan trọng là mô hình trong không gian tiềm ẩn: thay vì dự đoán trực tiếp khung hình tiếp theo, hệ thống nén trạng thái xuống một biểu diễn gọn rồi dự đoán trong không gian đó.
Cách này hiệu quả hơn nhiều vì nó bỏ được các chi tiết không ảnh hưởng tới kết quả — đúng theo nguyên tắc mô hình nên vứt bớt đã bàn ở phần khác.
Cách ba: lai giữa hai
Dùng mô hình vật lý cho phần mô tả được, dùng mô hình học từ dữ liệu cho phần còn lại.
Cấu trúc phổ biến: mô hình vật lý dự đoán phần chính, và một thành phần học từ dữ liệu học phần sai lệch giữa dự đoán vật lý và thực tế.
Cách này có mấy ưu điểm cộng dồn. Thành phần học chỉ phải học phần dư nên cần ít dữ liệu hơn nhiều. Nếu thành phần học gặp tình huống lạ và cho kết quả vô lý, phần vật lý vẫn giữ dự đoán trong khoảng hợp lý. Và phần lớn hành vi vẫn giải thích được.
Đây là hướng thực dụng nhất cho robot hiện nay, và nó phản ánh một mô típ lặp lại trong toàn bộ lĩnh vực: giữ phần kiểm chứng được bằng phương pháp cổ điển, dùng học máy cho phần không mô tả được.
Dùng mô hình để lập kế hoạch
Có mô hình rồi thì dùng thế nào? Cách phổ biến là thử trong đầu trước khi làm thật.
Hệ thống sinh ra nhiều phương án hành động, dùng mô hình dự đoán kết quả của từng phương án, chọn phương án tốt nhất, thực hiện bước đầu tiên, rồi tính lại.
Việc tính lại liên tục rất quan trọng: nó cho phép sửa sai khi mô hình dự đoán lệch, thay vì cam kết vào một kế hoạch dài dựa trên dự đoán có thể sai.
Giới hạn của cách này là sai số tích luỹ. Dự đoán một bước thường khá tốt; dự đoán mười bước liên tiếp thì sai số dồn lại và kết quả có thể vô nghĩa.
Vì vậy trong thực tế, các hệ thống chỉ dự đoán trước một đoạn ngắn, và dựa vào việc tính lại thường xuyên thay vì vào độ chính xác của dự đoán dài hạn.
Trạng thái hiện tại và hướng đi
Cân bằng lại: đây là một trong những hướng sôi động nhất và cũng nhiều tuyên bố quá mức nhất.
Đã làm được: mô hình dự đoán khá tốt cho các hệ có động lực học mô tả được, và mô hình học từ dữ liệu cho kết quả đáng chú ý trong các môi trường có cấu trúc.
Chưa làm được: dự đoán đáng tin cho tiếp xúc phức tạp và vật biến dạng; dự đoán dài hạn mà không tích luỹ sai số; và mô hình dùng chung được cho nhiều môi trường khác nhau.
Với người xây hệ thống, lời khuyên thực dụng là: dùng mô hình cho những gì nó dự đoán tốt, và dùng phản hồi cho phần còn lại. Đo trực tiếp luôn đáng tin hơn dự đoán, nên chỗ nào đo được thì đừng suy ra.
Mô hình có giá trị nhất ở chỗ không đo được: dự đoán trước khi hành động, và loại bỏ các phương án tồi mà không phải trả giá thật.
Câu hỏi thường gặp
Vì sao mô hình trong không gian tiềm ẩn hiệu quả hơn?
Vì nó nén trạng thái xuống một biểu diễn gọn chỉ giữ những gì ảnh hưởng tới kết quả, bỏ đi các chi tiết không liên quan. Dự đoán trong không gian nhỏ hơn vừa nhanh hơn vừa ít bị nhiễu bởi các biến thiên không quan trọng.
Mô hình lai học phần sai lệch nghĩa là gì?
Mô hình vật lý dự đoán phần chính, và thành phần học từ dữ liệu chỉ học phần chênh lệch giữa dự đoán đó và thực tế. Cách này cần ít dữ liệu hơn nhiều và giữ được dự đoán trong khoảng hợp lý ngay cả khi thành phần học gặp tình huống lạ.
Vì sao không dự đoán trước thật nhiều bước?
Vì sai số tích luỹ theo từng bước. Dự đoán một bước thường khá chính xác nhưng sau nhiều bước liên tiếp thì sai số dồn lại và kết quả mất ý nghĩa. Các hệ thống thực tế chỉ dự đoán một đoạn ngắn rồi tính lại liên tục.
Khi nào nên dùng mô hình, khi nào nên đo trực tiếp?
Đo trực tiếp luôn đáng tin hơn nên chỗ nào đo được thì nên đo. Mô hình có giá trị nhất ở chỗ không đo được, đặc biệt là dự đoán hệ quả trước khi hành động để loại bỏ phương án tồi mà không phải trả giá thật.
Đọc thêm trong Không gian, thời gian & vật lý trực giác và Học từ tương tác.
