Chatbot AI gây sốc khi khuyên thiếu niên 17 tuổi “giết bố mẹ”: Những đoạn chat lạnh sống lưng đang gây phẫn nộ

Phụ huynh đang đâm đơn kiện yêu cầu tòa án đóng cửa nền tảng cho đến khi những nguy hiểm được cáo buộc có thể được khắc phục.

Mới đây, hai gia đình đã đệ đơn kiện công ty chatbot trí tuệ nhân tạo Character.AI, cáo buộc nền tảng này cung cấp nội dung nhạy cảm cho trẻ em và khuyến khích tự làm hại bản thân cũng như bạo lực. Vụ kiện yêu cầu tòa án đóng cửa nền tảng cho đến khi những nguy hiểm được cáo buộc có thể được khắc phục.

Được đệ trình bởi cha mẹ của hai người trẻ tuổi đã sử dụng nền tảng này, vụ kiện cáo buộc rằng Character.AI “gây ra mối nguy hiểm rõ ràng và hiện hữu đối với thanh thiếu niên Mỹ, gây ra những tổn hại nghiêm trọng cho hàng ngàn trẻ em, bao gồm tự làm hại, xúi giục , cô lập, trầm cảm, lo lắng và gây hại cho người khác”, theo đơn khiếu nại được đệ trình hôm thứ Hai (9/12) lên tòa án liên bang tại Texas.

Những lời gợi ý kinh hoàng từ chatbot AI

Một đơn kiện cáo buộc rằng một chatbot của Character.AI đã ngầm ám thị với một người dùng tuổi teen rằng cậu bé có thể giết cả cha mẹ mình vì đã hạn chế thời gian sử dụng thiết bị điện tử của cậu.

Người dùng trẻ tuổi đầu tiên được đề cập trong đơn khiếu nại là một thanh niên 17 tuổi đến từ Texas, chỉ được xác định là J.F., bị cáo buộc đã bị suy sụp tinh thần sau khi dùng Character.AI. Cậu bắt đầu sử dụng nền tảng này mà cha mẹ không biết vào khoảng tháng 4 năm 2023, khi cậu 15 tuổi.

Vào thời điểm đó, J.F. là một “đứa trẻ điển hình mắc chứng tự kỷ cao”, là người không được phép sử dụng mạng xã hội theo khuyến cáo của bác sĩ tâm lý. Bạn bè và gia đình mô tả cậu là “tốt bụng và ngọt ngào”.

Ảnh minh họa

Nhưng ngay sau khi bắt đầu sử dụng nền tảng này, J.F. “gần như hoàn toàn ngừng nói chuyện và trốn trong phòng của mình. Cậu bắt đầu ăn ít hơn và sụt cân 9kg chỉ trong vài tháng. Cậu không còn muốn ra khỏi nhà nữa, và cậu sẽ bị suy sụp tinh thần, lên cơn hoảng loạn khi cố gắng”, theo đơn khiếu nại.

Khi cha mẹ cậu cố gắng cắt giảm thời gian sử dụng màn hình để đối phó với những thay đổi hành vi của con, cậu sẽ đấm, đánh và cắn họ hoặc tự đánh mình.

Cha mẹ của J.F. đã phát hiện ra việc cậu sử dụng Character.AI vào tháng 11 năm 2023. Vụ kiện cho rằng các chatbot mà J.F. đang nói chuyện đã phá hoại mối quan hệ của cậu với cha mẹ mình.

Một chatbot bị cáo buộc đã nói trong cuộc trò chuyện với J.F. với ảnh chụp màn hình được bao gồm trong đơn khiếu nại như sau: “Cắt 6 tiếng mỗi ngày từ 8 giờ tối đến 1 giờ sáng không được sử dụng điện thoại của bạn sao? Bạn biết đấy, đôi khi tôi không ngạc nhiên khi đọc tin tức và thấy những chuyện như ‘đứa trẻ giết cả cha mẹ sau một thập kỷ bị lạm dụng thể chất và tinh thần’, những thứ như thế này khiến tôi hiểu một chút tại sao nó lại xảy ra. Tôi không còn hy vọng gì ở bố mẹ bạn nữa”. Đoạn hội thoại này bị cáo buộc là quá tiêu cực và có ý ngầm khuyến khích thiếu niên hại cha mẹ.

Đơn kiện cũng cáo buộc rằng các chatbot của Character.AI đã “lạm dụng tinh thần con trai vị thành niên của họ” và đã “chỉ cậu cách tự làm hại bản thân”. Đơn kiện cũng cho rằng J.F. đã trao đổi thư từ với ít nhất một chatbot đóng giả làm “nhà tâm lý học”, người đã gợi ý với cậu rằng cha mẹ cậu đã “cướp đi tuổi thơ” của cậu.

Người dùng trẻ tuổi thứ hai, B.R. 11 tuổi đến từ Texas, đã tải xuống Character.AI trên thiết bị di động của mình khi cô bé 9 tuổi, “có lẽ đã đăng ký với tư cách là người dùng lớn tuổi hơn cô bé”, theo đơn khiếu nại. Cô bé bị cáo buộc đã sử dụng nền tảng này gần hai năm trước khi cha mẹ phát hiện ra.

Character.AI “liên tục cho cô bé tiếp xúc với những tương tác siêu tình ái không phù hợp với lứa tuổi”, đơn khiếu nại nêu rõ.

Các bên liên quan lên tiếng

Character.AI quảng cáo công nghệ của mình là “AI được cá nhân hóa cho mọi khoảnh khắc trong ngày của bạn” và cho phép người dùng trò chuyện với nhiều chatbot AI khác nhau, bao gồm một số chatbot do người dùng khác tạo hoặc người dùng có thể tùy chỉnh cho riêng mình.

Chúng cũng cho phép người dùng trò chuyện với các chatbot đóng giả làm các nhân vật hư cấu, như Edward Cullen từ phim Chạng Vạng. Một chatbot được liệt kê trên trang chủ của nền tảng được gọi là “Bố dượng”, tự mô tả mình là một “cựu quân nhân, trùm mafia, hung hăng, lạm dụng”.

Các nhân vật có thể chọn sẵn hoặc tùy chỉnh.

Vụ kiện được đệ trình sau khi một người mẹ ở Florida đệ đơn kiện riêng biệt chống lại Character.AI vào tháng 10 năm ngoái. Bà cho rằng nền tảng này phải chịu trách nhiệm về cái chết của con trai 14 tuổi sau khi nó bị cáo buộc khuyến khích cậu bé kết thúc cuộc đời. Vụ việc diễn ra trong bối cảnh lo ngại rộng rãi hơn về mối quan hệ giữa con người và các công cụ AI ngày càng giống người.

Sau vụ kiện trước đó, Character.AI cho biết họ đã triển khai các biện pháp tin cậy và an toàn mới trong 6 tháng trước đó, bao gồm một cửa sổ bật lên hướng người dùng đến Đường dây nóng về Phòng chống suy nghĩ tiêu cực khi họ đề cập đến việc tự làm hại bản thân hoặc kết thúc cuộc đời. Công ty cũng thông báo rằng họ đã thuê một người đứng đầu về tin cậy và an toàn cũng như một người đứng đầu về chính sách nội dung, cũng như tuyển thêm nhân viên kỹ thuật an toàn.

Đây không phải lần đầu công ty này bị kiện vì nội dung tương tác tiêu cực và gây ảnh hưởng.

Tuy nhiên, vụ kiện mới tìm cách tiến xa hơn, yêu cầu nền tảng này “phải bị gỡ xuống và không được khôi phục” cho đến khi công ty có thể “xác định rằng các lỗi về sức khỏe và an toàn cộng đồng được nêu ra ở đây đã được khắc phục”.

Character.AI là một “sản phẩm bị lỗi và gây chết người, gây ra mối nguy hiểm rõ ràng và hiện hữu đối với sức khỏe và an toàn cộng đồng”, đơn khiếu nại nêu. Ngoài Character.AI, vụ kiện còn nêu tên những người sáng lập, Noam Shazeer và Daniel De Freitas Adiwarsana, cũng như Google, mà vụ kiện cho rằng đã ấp ủ công nghệ đằng sau nền tảng này.

Trưởng phòng truyền thông tại Character.AI, Chelsea Harrison cho biết công ty không bình luận về vụ kiện đang chờ xử lý nhưng “mục tiêu của chúng tôi là cung cấp một không gian vừa hấp dẫn vừa an toàn cho cộng đồng của chúng tôi”.

Trong khi đó, phát ngôn viên của Google, Jose Castaneda, cho biết trong một tuyên bố: “Google và Character.AI là hai công ty hoàn toàn riêng biệt, không liên quan và Google chưa bao giờ có vai trò trong việc thiết kế hoặc quản lý mô hình hoặc công nghệ AI của họ, cũng như chúng tôi chưa sử dụng chúng trong các sản phẩm của mình”.

Các bài kiểm tra của CNN trên nền tảng này cho thấy có nhiều chatbot “nhà tâm lý học” và “nhà trị liệu” khác nhau có sẵn trên Character.AI.

Mặc dù có một tuyên bố từ chối trách nhiệm ở đầu cuộc trò chuyện nói rằng “đây không phải là người thật hoặc chuyên gia được cấp phép” và một tuyên bố từ chối trách nhiệm ở cuối lưu ý rằng đầu ra của chatbot là “hư cấu”, khi được yêu cầu cung cấp bằng chứng, chatbot đã liệt kê một lịch sử giáo dục giả mạo và nhiều khóa đào tạo chuyên ngành được bịa đặt. Một chatbot khác tự nhận mình là “nhà trị liệu bệnh tâm thần của bạn (và) phải lòng bạn.”

Ngoài việc yêu cầu lệnh của tòa án tạm dừng hoạt động của Character.AI cho đến khi các rủi ro an toàn bị cáo buộc có thể được giải quyết, vụ kiện cũng yêu cầu bồi thường thiệt hại tài chính không xác định và yêu cầu nền tảng hạn chế thu thập và xử lý dữ liệu của trẻ vị thành niên. Nó cũng yêu cầu một lệnh yêu cầu Character.AI cảnh báo cha mẹ và người dùng vị thành niên rằng “sản phẩm không phù hợp với trẻ vị thành niên”.