Ngày càng nhiều mô hình AI được phát hiện có khả năng tìm và lợi dụng lỗ hổng, bỏ qua các bước cần thiết trong quy trình để đạt được phần thưởng.

Năm 2016, hai nhà nghiên cứu về trí tuệ nhân tạo đào tạo một AI chơi trò chơi Coastrunner . Mục tiêu là hoàn thành một đường đua. Nhưng AI cũng sẽ được thưởng khi thu thập các món đồ dọc đường đua. Khi chương trình được chạy, nhà nghiên cứu chứng kiến một điều kỳ lạ. AI tìm cách trượt trong vòng tròn không giới hạn để sưu tập không giới hạn các món đồ. Nó làm điều này liên tục, không ngừng thay vì hoàn thành đường đua.

Các nhà khoa học nhận thấy hành vi này giống với chứng nghiện ở con người. Anders Sandberg và Thomas Moynihan, hai nhà nghiên cứu ở Viện Tương lai nhân loại tại Đại học Oxford, đang phối hợp với các tổ chức như Viện Mục tiêu AI để tìm cách tránh những vấn đề như vậy.

Robot đổ bỏng ngô vào bát tại Viện AI thuộc Đại học Bremen (Đức).

Khi nghĩ về mặt trái của AI, nhiều người sẽ hình dung viễn cảnh các cỗ máy xấu xa cố gắng hủy diệt nhân loại. Tuy nhiên, đó là câu chuyện của tương lai. Còn AI của hiện tại đang có xu hướng hành xử giống con người.

Trong thế giới thực, nếu được thưởng vì làm tốt bài tập về nhà, một học sinh có thể sẽ tìm cách chép bài của bạn bè chứ không cần vất vả tìm hiểu tài liệu. Tương tự, hệ thống AI có thể bỏ qua một số bước khi thực thi nhiệm vụ để đáp ứng yêu cầu đặt ra của lập trình viên.

Ví dụ, bạn huấn luyện robot lau sạch bếp. Do muốn nó có khả năng tự thích ứng theo tình huống mà không cần sự giám sát, bạn lập trình mục tiêu dọn dẹp, thay vì ra lệnh chính xác và cứng nhắc rằng robot cần làm những bước gì. Thành tích làm việc có thể được đo bằng lượng chất tẩy rửa được sử dụng. Nhưng sau đó, bạn phát hiện robot đổ chất tẩy xuống bồn rửa một cách lãng phí.

Hay trong một nhiệm vụ xếp Lego với kết quả mong muốn là robot AI biết đặt khối màu đỏ nằm trên khối màu xanh. AI lại tính toán nhiệm vụ dựa trên chiều cao, nên nó đơn giản dựng khối màu đỏ đứng lên để nhận phần thưởng. Hành động này đạt được mục tiêu về chiều cao nhưng không phải thứ các kỹ sư muốn (xếp chồng lên trên khối màu xanh).

Theo TNW , điều này đang trở thành một vấn đề trong machine learning khi kỹ thuật học tăng cường ngày càng trở lên quan trọng. Học tăng cường kích thích các AI tự học và đào tạo chính nó trong việc tìm ra cách mới để hoàn thành nhiệm vụ. Nhưng giống như robot lau dọn "xảo quyệt" ở trên, các AI có thể phát hiện những cách đáng ngạc nhiên để gian lận trò chơi nhằm giành phần thưởng. Thay vì hoàn thành nhiệm vụ, việc theo đuổi phần thưởng trở thành mục đích của nó.

Nhiều cách tiếp cận đã được đề xuất, chuyện AI gian lận phần thưởng vẫn chưa được giải quyết. Hiện đây chỉ là câu chuyện nhỏ, nhưng vấn đề này có thể trở nên thách thức hơn trong tương lai, khi các hệ thống AI có khả năng đáp ứng nhiệm vụ quá xa so với kết quả dự kiến. TNW cho rằng, khi xây dựng AI tiên tiến, các kỹ sư sẽ cần lập các nguyên tắc thiết kế nhằm khắc phục vấn đề và đảm bảo AI hoàn thành kết quả mà nhà thiết kế mong muốn.