Vòng tay AI điều khiển cánh tay robot thời gian thực

Viện Công nghệ Massachusetts (MIT) vừa phát minh một chiếc vòng đeo có khả năng theo dõi chính xác chuyển động tay của người đeo, thông qua AI điều khiển cánh tay robot theo thời gian thực.

Bàn tay là bộ phận linh hoạt nhất trên cơ thể con người. Từng hành động tưởng chừng đơn giản đều nhờ đến sự phối hợp của 34 cơ, 27 khớp cùng hơn 100 gân và dây chằng. Mô phỏng cử chỉ tinh tế của bàn tay từ lâu đã là thách thức trong lĩnh vực robot và thực tế ảo.

Mới đây đội ngũ kỹ sư MIT thiết kế nên vòng đeo siêu âm theo dõi chính xác chuyển động tay người đeo. Chiếc vòng tạo ra hình ảnh siêu âm của cơ, gân, dây chằng ở phần cổ tay khi tay chuyển động. Thuật toán trí tuệ nhân tạo (AI) tích hợp liên tục chuyển đổi hình ảnh đó thành vị trí 5 ngón tay lẫn lòng bàn tay tương ứng.

Nhóm nghiên cứu có thể huấn luyện chiếc vòng học cử chỉ tay của người đeo, truyền đạt cử động đến robot hay môi trường ảo.

Trong thử nghiệm, khi tình nguyện viên ra hiệu hoặc chỉ tay thì robot cũng làm tương tự. Thậm chí họ còn điều khiển robot chơi điệu nhạc đơn giản hoặc ném quả bóng rổ nhỏ. Với cùng chiếc vòng tay, người đeo còn điều khiển đối tượng trên màn hình máy tính, chẳng hạn dùng 2 ngón tay chụm lại để phóng to – thu nhỏ vật thể ảo.

Nhóm đang dùng vòng đeo thu thập dữ liệu chuyển động tay từ nhiều người dùng với kích thước bàn tay, hình dạng ngón tay cùng cử chỉ khác nhau. Dữ liệu lớn sẽ được sử dụng để huấn luyện robot hình người thực hiện nhiệm vụ đòi hỏi sự khéo léo, chẳng hạn thực hiện một số thủ thuật phẫu thuật nhất định. Vòng cũng có thể đóng vai trò thiết bị điều khiển trong trò chơi điện tử hoặc ứng dụng thiết kế.

Theo giáo sư kỹ thuật cơ khí MIT Triệu Tuyển Hạ: “Công trình nghiên cứu này đem lại tác động tức thời, có tiềm năng thay thế các kỹ thuật theo dõi bàn tay hiện tại bằng vòng đeo siêu âm. Nó cũng có thể cung cấp lượng dữ liệu huấn luyện khổng lồ cho robot hình người khéo léo.

Mô phỏng cử chỉ tinh tế của bàn tay từ lâu đã là thách thức trong lĩnh vực robot và thực tế ảo – Ảnh: MIT News

Thách thức mô phỏng bàn tay người

Hiện nay giới khoa học có một số phương pháp thu thập và mô phỏng sự khéo léo của bàn tay con người: dùng camera ghi lại chuyển động khi một người thực hiện nhiệm vụ hay thao tác với vật thể khác; hay đeo găng lắp đặt cảm biến thu thập dữ liệu rồi truyền đến robot nhận.

Tuy nhiên thiết lập hệ thống camera phức tạp cho nhiều ứng dụng khác nhau không khả thi và dễ bị cản trở về mặt thị giác. Còn găng tay đầy cảm biến có thể hạn chế chuyển động đồng thời làm mất cảm giác tự nhiên của tay.

Phương pháp thứ ba ghi nhận tín hiệu điện từ cơ ở cổ tay hoặc cẳng tay, sau đó đối chiếu chúng với chuyển động cụ thể của bàn tay. Cách này đã đạt được tiến bộ đáng kể, nhưng tín hiệu dễ ảnh hưởng bởi nhiễu trong môi trường. Chúng cũng không đủ nhạy để phân biệt thay đổi tinh tế. Ví dụ chuyển động khép lại hay tách ngón cái và ngón trỏ rất dễ phân biệt, nhưng các chuyển động “ở giữa” dạng chuyển động này lại không được nhận ra.

Nhóm của giáo sư Triệu nghĩ đến giải pháp hình ảnh siêu âm, và họ phát triển nhiều dạng miếng dán siêu âm (phiên bản thu nhỏ của đầu dò thường thấy ở phòng xét nghiệm) kết hợp vật liệu hydrogel dính an toàn vào da. Vòng đeo tích hợp miếng dán để liên tục chụp ảnh gân, cơ phần cổ tay vốn đóng vai trò “sợi dây kéo” điều khiển ngón tay.

Diễn giải hình ảnh

Vòng đeo có kích thước bằng đồng hồ thông minh, tạo ra hình ảnh rõ nét và liên tục khi tình nguyện viên cử động ngón tay theo nhiều tư thế khác nhau.

Thử thách đặt ra là làm sao liên hệ hình ảnh siêu âm đen trắng với vị trí bàn tay cụ thể. Hóa ra các ngón tay có khả năng chuyển động đến 22 bậc tự do, nhóm phát hiện họ có thể xác định từng vùng cụ thể trong hình ảnh siêu âm tương ứng với một bậc tự do.

Để thiết lập kết nối, tình nguyện viên đeo vòng thực hiện nhiều tư thế thay khác nhau còn nhóm nghiên cứu ghi lại cử chỉ bằng hàng loạt camera đặt xung quanh, đối chiếu thay đổi ở từng vùng cụ thể với vị trí tay mà camera ghi hình rồi dán nhãn với bậc tự do tương ứng.

Nhưng chuyển đổi liên tục như vậy theo thời gian thực là nhiệm vụ bất khả thi với con người. Do đó nhóm tìm đến trí tuệ nhân tạo, sử dụng thuật toán AI được huấn luyện để nhận dạng và liên kết. Sau khi kết hợp thành công thuật toán với vòng đeo, họ thử nghiệm thiết bị trên nhiều tình nguyện viên hơn.

Ở lần thử nghiệm mới, 8 tình nguyện viên với kích thước bàn tay cùng cổ tay khác nhau thực hiện hàng loạt cử chỉ lẫn động tác cầm nắm. Kết quả vòng theo dõi và dự đoán chính xác vị trí tay ở mọi tình huống.

Sau đó nhóm còn thử dùng vòng đeo thực hiện thao tác máy tính hay điều khiển cánh tay robot thương mại đơn giản. Cánh tay được điều khiển bắt chước động tác tay người theo thời gian thực để chơi nhạc trên đàn piano, chơi bóng rổ trên máy tính.

Giáo sư Triệu lên kế hoạch thu nhỏ vòng đeo và huấn luyện thuật toán AI bằng nhiều tình nguyện viên hơn nữa. Nhóm hướng đến một thiết bị siêu nhỏ gọn mà ai cũng đeo được, đem lại khả năng điều khiển không dây robot hình người hoặc vật thể ảo một cách khéo léo.