Vì sao học từ rất ít ví dụ lại khả thi

Cho một đứa trẻ xem một con vật lạ hai ba lần, nó nhận ra lần sau, kể cả khi con vật đứng ở tư thế khác hoặc nhìn từ góc khác. Hệ thống nhân tạo thường cần nhiều ví dụ hơn hẳn. Khác biệt không nằm ở khả năng học mà ở những gì đã có trước khi bắt đầu.

Học ít ví dụ không phải phép màu

Về mặt toán học, không thể suy ra một quy luật tổng quát từ vài ví dụ nếu không có ràng buộc nào. Vô số quy luật khớp với bất kỳ tập ví dụ hữu hạn nào.

Vậy nên khi ai đó học được từ ít ví dụ, điều đó nghĩa là họ đã có sẵn ràng buộc thu hẹp không gian các quy luật khả dĩ.

Đứa trẻ nhận ra con vật mới không phải vì nó suy diễn giỏi hơn, mà vì nó đã biết rất nhiều thứ trước đó: vật thể có hình dạng bền vững, sinh vật có phần đầu và phần thân, màu sắc ít quan trọng hơn hình dáng khi phân loại sinh vật.

Các ràng buộc này biến bài toán từ vô định thành xác định được với ít dữ liệu.

Tri thức nền đến từ đâu

Ba nguồn, và cả ba đều liên quan tới việc có một cơ thể trong một thế giới.

Cấu trúc có sẵn từ sinh học. Một số thiên hướng có từ rất sớm: chú ý tới khuôn mặt, kỳ vọng vật thể di chuyển liên tục chứ không biến mất rồi hiện ra chỗ khác.

Kinh nghiệm tương tác tích luỹ. Hàng nghìn giờ chạm, đẩy, thả, nhìn. Từ đó hình thành hiểu biết chung về vật thể vận hành ra sao.

Cấu trúc từ ngôn ngữ và văn hoá. Được chỉ cho biết cái gì quan trọng, cái gì đáng phân biệt.

Nguồn thứ hai là nguồn mà hệ thống chỉ học từ dữ liệu tĩnh thiếu hoàn toàn, và cũng là nguồn mà luận điểm hiện thân nhấn mạnh.

Cách áp dụng cho hệ thống nhân tạo

Nếu học ít ví dụ đòi tri thức nền, thì cách để hệ thống học nhanh là cung cấp tri thức nền trước. Có ba đường.

Huấn luyện trước trên dữ liệu rộng. Đây là cách phổ biến nhất hiện nay và nó hiệu quả: mô hình đã học từ dữ liệu lớn chỉ cần ít ví dụ để thích ứng với nhiệm vụ mới.

Đưa cấu trúc vào kiến trúc. Thiết kế hệ thống sao cho nó vốn đã giả định một số điều đúng, ví dụ vật thể giữ nguyên khi xoay góc nhìn. Cách này giảm mạnh lượng dữ liệu cần.

Cho tương tác. Kinh nghiệm vật lý cung cấp một loại tri thức nền mà hai cách trên khó tạo ra.

Trong thực tế, các hệ thống hiệu quả nhất dùng cả ba, và tỉ trọng giữa chúng là quyết định thiết kế chứ không phải chuyện đúng sai.

Bẫy: tri thức nền sai còn tệ hơn không có

Ràng buộc giúp học nhanh, nhưng ràng buộc sai làm hệ thống học nhanh về hướng sai.

Nếu một hệ thống đã học rằng vật trên bàn luôn đứng thẳng, nó sẽ diễn giải mọi cảnh theo giả định đó, kể cả khi vật nằm nghiêng. Càng ít ví dụ mới, giả định cũ càng chi phối.

Đây là lý do các hệ thống học nhanh thường khó sửa: chúng khớp dữ liệu mới vào khung có sẵn thay vì đổi khung.

Hiện tượng tương tự có ở người: một người có nhiều kinh nghiệm trong một lĩnh vực đôi khi khó tiếp nhận cách làm mới hơn người mới, vì kinh nghiệm cũ tạo ra ràng buộc mạnh.

Hệ quả thực dụng: khi hệ thống liên tục sai theo cùng một kiểu dù đã thêm dữ liệu, nên nghi ngờ một giả định nền chứ không phải thiếu dữ liệu.

Đo hiệu quả dữ liệu

Nếu mục tiêu là học từ ít ví dụ, thì cần đo được điều đó. Cách làm là vẽ đường cong hiệu năng theo lượng dữ liệu.

Huấn luyện lần lượt trên các phần dữ liệu tăng dần, đo hiệu năng trên cùng tập kiểm thử, vẽ đường cong.

Từ đường cong này đọc được hai thứ quan trọng.

Điểm bắt đầu: với rất ít dữ liệu, hệ thống đã đạt mức nào. Điểm này phản ánh chất lượng tri thức nền.

Độ dốc: thêm dữ liệu cải thiện nhanh tới đâu.

Hai hệ thống có cùng hiệu năng cuối nhưng khác nhau ở điểm bắt đầu sẽ rất khác nhau về mặt thực dụng: hệ có điểm bắt đầu cao thích ứng nhanh hơn nhiều với nhiệm vụ mới.

Câu hỏi thường gặp

Đọc thêm trong Cảm biến & tri giác máy và Nhận thức qua cơ thể.