Máy học có thể biến âm thanh đơn sắc thành âm thanh 2.5D

Mới đây, các nhà nghiên cứu của Đại học Texas tại Austin và nhóm nghiên cứu AI của Facebook đã sử dụng máy học để biến âm thanh đơn âm (mono) thành âm thanh 2 tai ( binaural).

Trước tiên, nhờ sự kết hợp của đôi tai và khoảng cách giữa chúng, con người có khả năng nhận biết khoảng cách và vị trí của những tiếng động trong không gian 3D. Chúng ta phân biệt được hướng và khoảng cách của các vật thể tạo ra tiếng ồn, chẳng hạn như tiếng ồn đó lớn đến mức nào và tai nào chạm đến âm thanh trước.

Video minh họa âm đơn sắc (mono) và âm 2 tai (binaural)

Trải nghiệm âm thanh 3D nói trên có thể được tái hiện bằng cách đặt 2 micrô ở khoảng cách gần bằng với tai người để ghi âm. Kết quả là tệp âm thanh duy nhất khi được nghe bằng tai nghe sẽ trở nên chân thực, sống động.

Tuy nhiên, phần lớn âm thanh là đơn âm, có nghĩa là nó được ghi bằng 1 micrô từ 1 vị trí duy nhất. Âm thanh đơn sắc không bắt được các hiệu ứng cho phép con người nhận biết khoảng cách và vị trí của các vật thể.

Rất khó để chuyển đổi âm thanh đơn sắc thành âm thanh 2 tai, nhưng các nhà nghiên cứu vừa tìm ra một phương pháp để tiến gần hơn đến thành tựu này. Họ tạo ra âm thanh được gọi là 2.5D nhờ sử dụng máy học cộng với video xác định cấu hình đối tượng và cảnh, mang lại trải nghiệm chân thực hơn.

Video sẽ được xử lý để cho các tín hiệu thị giác có thể kết hợp với âm thanh để điều chỉnh mức độ cũng như mô phỏng vị trí của các đối tượng tạo ra tiếng ồn trong không gian 3D.

Công nghệ mới giúp âm thanh đơn âm trở nên phù hợp hơn cho tai nghe VR (thực tế ảo). Tuy nhiên, ở thời điểm hiện tại, phương pháp vừa nêu vẫn còn một số hạn chế, chẳng hạn như nó không thể xử lý bất kỳ đối tượng nào không hiện diện trực quan trong video.

Nguồn: Slash Gear