Wu Dao – ’siêu AI’ của Trung Quốc

“Siêu AI” Wu Dao của Trung Quốc có sức mạnh vượt trội so với GPT-3 – một trong những AI tốt nhất hiện nay của Mỹ.

Tháng 5/2020, GPT-3 được Open AI – phòng nghiên cứu có trụ sở tại San Francisco do tỷ phú Elon Musk, Peter Thiel và công ty Microsoft sáng lập – trình làng và được giới thiệu là AI thông minh nhất từ trước đến nay. Khi ra mắt, GPT-3 cũng là mô hình đào tạo AI có quy mô lớn nhất với 175 tỷ tham số cấu thành. Điều này giúp “siêu AI” đạt được hiệu suất tuyệt vời trong nhiều tác vụ xử lý ngôn ngữ tự nhiên (NLP), như tự sáng tác thơ, sản xuất âm nhạc, tự học và viết văn chuyên nghiệp như con người.

Wu Dao là “siêu AI” với khả năng xử lý ngôn ngữ tự nhiên linh hoạt nhất hiện nay.

Tuy nhiên, bất chấp quy mô và sức mạnh to lớn, những “siêu AI” như GPT-3 vẫn thiếu các khả năng nhận thức linh hoạt. Thực tế, các mô hình như GPT-3 chỉ có thể “học” được những thứ đơn giản, khó thực hiện các nhiệm vụ lý luận phức tạp, như đối thoại mở, hỏi đáp dựa trên kiến thức, lý luận trực quan… hoặc nhiều tác vụ đồng thời.

Để giải quyết vấn đề này, các nhà nghiên cứu tại Học viện Trí tuệ nhân tạo Bắc Kinh (BAAI) bắt đầu nghĩ đến AI có thể tự động thực hiện mọi thứ như con người. Wu Dao (Ngộ Đạo) phiên bản 1.0 ra đời. Công trình là kết quả đóng góp của BAAI cùng hơn 100 nhà khoa học AI khác từ đại học Bắc Kinh, Thanh Hoa, Renmin, học viện Khoa học Trung Quốc và nhiều học viện khác.

Wu Dao 1.0 được giới thiệu chính thức hồi tháng 3 và đã khởi xướng các dự án nghiên cứu quy mô lớn ở các lĩnh vực khác nhau thông qua bốn mô hình: Wu Dao – Wen Yuan, Wu Dao – Wen Lan, Wu Dao – Wen Hui và Wu Dao – Wen Su.

Trong đó, Wu Dao – Wen Yuan là mô hình tiền đào tạo ngôn ngữ lớn nhất từ trước đến nay của Trung Quốc, với khả năng xử lý tốt nhất trong các ngôn ngữ chính thống, bao gồm tiếng Trung và tiếng Anh. AI này có thể đạt hiệu suất phân loại văn bản, phân tích tình cảm, suy luận ngôn ngữ tự nhiên, đọc hiểu… tương đương một người bình thường. Với 2,6 tỷ tham số, Wen Yuan có thể đạt hiệu suất như GPT-3 trong các hoạt động nhận thức,như ghi nhớ, hiểu, truy xuất, tính toán số, đa ngôn ngữ.

Wu Dao – Wen Lan là mô hình đào AI chuyên về đồ họa đa phương tiện. Chúng tự học tập và phân tích dựa trên sự kết hợp của đồ họa, văn bản và video, sau đó tạo ra các mô hình và ứng dụng đồ họa cấp công nghiệp của Trung Quốc. Hiện mô hình này có hơn 1 tỷ tham số, được đào tạo trên 50 triệu dữ liệu đồ họa thu thập từ các nguồn mở.

Wu Dao – Wen Hui là mô hình AI định hướng nhận thức quy mô cực lớn, tập trung vào một loạt vấn đề thiết yếu trong lĩnh vực AI nói chung. Mục tiêu của hệ thống này là phát triển và nâng cao nhận thức dựa trên logic, ý thức và khả năng lý luận của các mô hình AI cũ hơn. Wen Hui đã đạt 11,3 tỷ tham số. Hiện nó đã có khả năng tự sáng tác thơ, tạo video, vẽ hình, truy xuất văn bản và thực hiện các bài luận phức tạp. BAAI cho biết mô hình này đạt hiệu suất gần bằng con người ở khả năng tự sáng tác thơ.

Cuối cùng, Wu Dao – Wen Su là mô hình AI quy mô lớn về dự đoán cấu trúc phân tử sinh học. AI này có thể xử lý các cấu trúc phân tử sinh học siêu dài với hiệu suất cực nhanh. Wen Su đã hoàn thành khóa học về protein dựa trên cơ sở dữ liệu UNIPARC 100 GB, được đào tạo về dữ liệu gen trên 5 đến 100.000 tế bào miễn dịch của con người (25 – 30 loại tế bào) và 10.000 vi khuẩn kháng thuốc.

Wu Dao 2.0

Ba tháng sau khi Wu Dao 1.0 ra đời, BAAI cho ra phiên bản 2.0 thông minh hơn hẳn. Với 1.750 tỷ tham số, Wu Dao 2.0 lớn gấp 10 lần GPT-3 và cũng vượt trội so với con số 150 tỷ tham số của Switch Transformers do Google phát triển.

Với lượng tham số khổng lồ, các nhà khoa học cần phải chuẩn bị một lượng lớn dữ liệu cho Wu Dao 2.0 học. Do cơ sở dữ liệu đào tạo AI hiện có trên thị trường chưa đủ, BAAI phải tìm cách mới.

BAAI sau đó đã phát triển một hệ thống học tập mã nguồn mở có tên FastMoE – tương tự Mixture of Experts của Google. Hệ thống này có thể hoạt động trên PyTorch, cho phép một mô hình AI được đào tạo cả trên các cụm siêu máy tính lẫn GPU thông thường, cũng như không yêu cầu phần cứng độc quyền.

Kết quả là nhóm nghiên cứu đã tạo nên một Wu Dao vượt trội so với hầu hết AI hiện tại. Không giống các mô hình deep learning khác chỉ thực hiện một tác vụ duy nhất trong một thời điểm, chẳng hạn viết văn bản, tạo ảnh deepfake, nhận diện khuôn mặt hay đánh cờ vây…, Wu Dao là mô hình đa phương thức. Trong đó, nó có thể vừa tạo văn bản, xử lý hình ảnh, vừa xử lý và tương tác với người thật bằng ngôn ngữ tự nhiên.

Theo thí nghiệm của BAAI, Wu Dao 2.0 đã có thể viết các bài luận, thơ và câu đối bằng tiếng Trung theo ngôn ngữ tự nhiên, tự viết và tạo các văn bản thay thế trên ảnh, thậm chí tự tạo một bức ảnh dựa trên mô tả của một người nào đó bằng ngôn ngữ tự nhiên.

“So với GPT-3, WuDao thông minh hơn, có thể hiểu và tạo ra hình ảnh cũng như các định dạng nội dung khác”, Tang Jie, giáo sư Đại học Thanh Hoa, cho biết. “Wudao 2.0 giúp người máy suy nghĩ như con người, thúc đẩy hình thành một hệ sinh thái thông minh và tự học hỏi”.

“Sinh viên ảo” đầu tiên

Hôm 6/6, BAAI đã phát hành người ảo mang tên Hua Zhibing. “Cô gái” này vừa nhập học để trở thành sinh viên của khoa Khoa học máy tính và công nghệ của Đại học Thanh Hoa, Bắc Kinh, hôm 3/6.

Tạo hình của “sinh viên ảo” Hua Zhibing.

Trong đoạn video ngắn, một “cô gái” có ngoại hình xinh xắn và giọng nói truyền cảm tự giới thiệu bản thân thích hội họa, thư pháp, có thể sáng tác thơ và nhạc, đồng thời có một số khả năng về lý luận và tương tác cảm xúc. Zhibing chính là “sinh viên ảo” đầu tiên tại Trung Quốc nhập học một trường Đại học danh tiếng.

Theo BAAI, Zhibing là kết quả đầu tiên trong việc ứng dụng Wu Dao 2.0 được công khai. Zhibing có hàng loạt ưu điểm mà những “người ảo” khác không có, như sử dụng đa ngôn ngữ, bao gồm tiếng Anh và tiếng Trung, được tích hợp hệ thống đa ngữ cảnh cho phép vận dụng AI linh hoạt, giảm chi phí đào tạo AI và nhiều vấn đề liên quan đến kỹ thuật khác.

Tiến sĩ Zhang Hongjiang, chủ tịch BAAI, nhấn mạnh, Wu Dao sẽ liên tục được nâng cấp. “Những gì chúng tôi đang xây dựng sẽ là tương lai của AI, nơi chúng có khả năng khai thác dữ liệu khổng lồ, sức mạnh tính toán lớn và linh hoạt. Đây sẽ là tiền đề cho các ứng dụng AI thực tiễn thời gian tới”, Hongjiang nói.