Một hệ thống trả lời đúng câu hỏi về việc thả vật gì thì rơi thế nào. Điều đó chứng minh gì? Có thể nó hiểu vật lý, hoặc có thể nó đã đọc câu tương tự vài triệu lần. Cần cách kiểm phân biệt được hai khả năng.
Vì sao hỏi bằng lời không đủ
Ba lý do.
Câu hỏi phổ biến đã có trong dữ liệu. Các tình huống vật lý thường gặp được viết đi viết lại, nên trả lời đúng chỉ chứng minh đã ghi nhớ được mối liên hệ trong văn bản.
Ngôn ngữ cho phép trả lời chung chung. Câu trả lời mơ hồ vẫn có vẻ đúng mà không cam kết vào một dự đoán cụ thể nào.
Không phân biệt được biết và làm được. Người biết lý thuyết xe đạp vẫn có thể ngã. Với máy cũng vậy: trả lời đúng và thao tác đúng là hai năng lực khác nhau.
Vì vậy các bài kiểm dựa trên hỏi đáp đo được một thứ có thật nhưng không phải thứ ta quan tâm khi cần hệ thống hành động.
Kiểm bằng dự đoán tình huống mới
Cách kiểm tốt hơn: đưa ra một tình huống chưa từng xuất hiện trong văn bản thông thường và yêu cầu dự đoán cụ thể.
Cấu hình vật thể bất thường, kết hợp lạ giữa các vật liệu, tình huống mà trực giác thông thường cho kết quả sai.
Yêu cầu quan trọng là dự đoán phải cụ thể và kiểm chứng được: cái nào đổ trước, vật rơi về phía nào, cần lực nhiều hơn hay ít hơn.
Cách này phân biệt được giữa việc nhớ mối liên hệ đã thấy và việc suy ra từ nguyên lý.
Một biến thể mạnh hơn nữa: hỏi vì sao, và kiểm xem lý do đưa ra có nhất quán khi áp vào một tình huống liên quan hay không. Hiểu thật thì lý do dùng lại được; nhớ thuộc thì không.
Kiểm bằng hành động
Cách kiểm dứt khoát nhất là để hệ thống thực hiện trên vật thật.
Nó phải cam kết vào một lực cụ thể, một điểm cầm cụ thể, một tốc độ cụ thể. Không có chỗ cho câu trả lời mơ hồ, và thế giới chấm điểm ngay lập tức.
Ba dạng bài kiểm thuộc nhóm này.
Thao tác với vật chưa từng thấy. Đo tỉ lệ thành công trên nhóm vật mới hoàn toàn.
Thích ứng khi điều kiện đổi. Đổi ma sát bề mặt hoặc khối lượng vật giữa chừng và xem hệ thống có nhận ra và điều chỉnh không.
Phục hồi sau sai sót. Cố tình tạo ra tình huống nửa chừng bị hỏng và xem hệ thống xử lý ra sao.
Dạng thứ ba cho nhiều thông tin nhất, vì nó đòi hệ thống hiểu trạng thái hiện tại chứ không chỉ thực hiện một chuỗi đã học.
Thiết kế bài kiểm công bằng
Bốn nguyên tắc để kết quả có ý nghĩa.
Tách rõ tập huấn luyện và tập kiểm. Nghe hiển nhiên nhưng với dữ liệu lớn thì khó đảm bảo — tình huống trong bài kiểm có thể đã xuất hiện đâu đó trong dữ liệu huấn luyện.
Đủ số lần thử. Với thao tác vật lý, kết quả dao động nhiều, nên vài lần thử không kết luận được gì.
Ghi kiểu thất bại, không chỉ tỉ lệ. Thất bại theo cách hợp lý và thất bại theo cách vô lý nói lên hai điều khác nhau.
So với chuẩn tham chiếu. Con người làm cùng bài đó đạt bao nhiêu, và một phương pháp đơn giản không dùng học máy đạt bao nhiêu. Không có hai mốc này thì con số đơn lẻ khó diễn giải.
Mốc thứ hai đặc biệt hữu ích và hay bị bỏ qua: nhiều bài toán mà một phương pháp cổ điển đơn giản đã đạt kết quả tốt, và biết điều đó thay đổi hẳn cách đánh giá.
Điều các bài kiểm không đo được
Cần thành thật về giới hạn của chính việc kiểm tra.
Không bài kiểm nào chứng minh được hệ thống hiểu theo nghĩa triết học. Chúng chỉ đo được năng lực trên tập nhiệm vụ đã chọn.
Ngoài ra, một hệ thống có thể đạt điểm cao bằng cách khai thác đặc điểm của chính bài kiểm chứ không phải bằng năng lực chung — hiện tượng này lặp lại thường xuyên khi một bài kiểm trở nên phổ biến.
Vì vậy cách dùng hợp lý: coi bài kiểm là công cụ so sánh tương đối giữa các phương án, không phải thước đo tuyệt đối của hiểu biết.
Và với quyết định triển khai, không gì thay được việc thử trên chính nhiệm vụ và chính vật thể của bạn — vì đó mới là bài kiểm mà kết quả thật sự quan trọng.
Câu hỏi thường gặp
Vì sao trả lời đúng câu hỏi vật lý không chứng minh được nhiều?
Vì các tình huống vật lý thường gặp đã được viết đi viết lại trong văn bản, nên trả lời đúng có thể chỉ phản ánh việc ghi nhớ mối liên hệ đã thấy chứ không phải suy ra từ nguyên lý.
Bài kiểm nào cho nhiều thông tin nhất?
Kiểm khả năng phục hồi sau sai sót: tạo ra tình huống nửa chừng bị hỏng và xem hệ thống xử lý ra sao. Nó đòi hệ thống hiểu trạng thái hiện tại chứ không chỉ thực hiện lại một chuỗi đã học.
Vì sao cần so với phương pháp cổ điển đơn giản?
Vì nhiều bài toán mà một phương pháp đơn giản không dùng học máy đã đạt kết quả tốt. Biết mốc đó thay đổi hẳn cách diễn giải kết quả, và tránh việc kết luận rằng một hệ phức tạp là cần thiết trong khi không phải.
Bài kiểm có đo được hiểu biết thật không?
Không, chúng chỉ đo năng lực trên tập nhiệm vụ đã chọn. Ngoài ra hệ thống có thể đạt điểm cao bằng cách khai thác đặc điểm của chính bài kiểm. Nên coi chúng là công cụ so sánh tương đối chứ không phải thước đo tuyệt đối.
Đọc thêm trong Cảm biến & tri giác máy và Nền tảng triết học & khoa học nhận thức.