Đây là tính năng sẽ thay đổi nhiếp ảnh di động trong tương lai

Ngoài chụp ảnh điện toán, phần cứng camera chất lượng cao và bộ xử lý tín hiệu hình ảnh, nhiếp ảnh di động hiện đại trên smartphone còn được hỗ trợ bởi các thuật toán machine learning – được biết đến như là AI.

Điều này hứa hẹn sẽ cải thiện và tiệm cận với chất lượng như máy ảnh DSLR, đồng thời cung cấp thêm những cách mới để chụp, điều chỉnh ảnh/ video.

ĐIểm cốt lõi của machine learning là sử dụng mạng lưới thần kinh. Đây là loại thuật toán thường được ví như bộ não con người. Sự so sánh này được tạo ra nhờ khả năng của mạng lưới thần kinh, có thể được đào tạo bằng cách sử dụng dữ liệu để nhận biết các hình mẫu, cho phép phân loại rất chính xác các dữ liệu phức tạp như âm thanh và hình ảnh.

Áp dụng trong lĩnh vực nhiếp ảnh, mạng lưới này có khả năng quan sát, học tập, phân loại và tạo ra nội dung mới. Những ứng dụng này bao gồm những tính năng như xây dựng kỹ thuật chụp ảnh điện toán để cải thiện thuật toán xử lý hậu kỳ, phần mềm bokeh thời gian thực trên video 4K, hoặc thậm chí là thay đổi hoàn toàn màu sắc của quần áo bạn đang mặc.

Mạng lưới thần kinh hoạt động ra sao?

(*Mạng lưới thần kinh là một chủ đề cực kì phức tạp, vì thế bài viết sẽ chỉ bao quát những điều cơ bản).

Mạng lưới thần kinh được tạo thành từ các nút, thực hiện những sự tính toán. Mỗi nút gồm đầu vào chứa được một lượng dữ liệu, có thể khuyếch đại hoặc giảm thiểu lượng dữ liệu này. Nhiều nút thường hoạt động song song để tạo ra một lớp nút thực hiện các tác vụ lớn hơn như nhận diện trong hình ảnh. Nhiều nút và các lớp nút này có thể được gộp lại với nhau và truyền sang các nút và lớp nút khác, tạo thành một mạng lưới sâu hơn với khả năng mạnh mẽ hơn.

Đầu ra từ mỗi nút và lớp nút có thể xem như là một hàm xác suất. Bằng cách xem xét rất nhiều yếu tố và thuộc tính khác nhau, mạng lưới thần kinh có thể so sánh đầu vào như là một khả năng với các đầu ra tiềm năng dự kiến còn lại. Đây chính là cách thuật toán nhận diện hình ảnh có thể quyết định xem một bức ảnh trông giống con mèo hay quả cam, nhưng tất nhiên bạn phải nói cho mạng lưới biết nên tìm yếu tố nào trước tiên.

Các mạng lưới thần kinh không được lập trình như các thuật toán máy tính truyền thống. Thay vào đó, chúng được đào tạo dựa trên các bộ dữ liệu như hình ảnh, âm thanh, tập tin,… Lượng dữ liệu của mỗi nút sẽ được điều chỉnh theo thời gian thông qua một vòng phản hồi, dựa trên kết quả làm việc của mạng lưới, để có thể ghép đúng đầu vào với đầu ra.

Giai đoạn học tập dần dần các dữ liệu cần thiết yêu cầu nhiều sự chuẩn bị, thời gian cũng như sức mạnh tính toán nhưng sẽ mang lại kết quả cực kì chính xác.

Mạng lưới thần kinh bên trong smartphone

Mạng lưới thần kinh có thể chạy dựa trên nhiều thành phần phần cứng, bao gồm cả các bộ phận chung của CPU và GPU bên trong nhiều thiết bị máy tính, bao gồm cả smartphone. Tuy nhiên, có một số mạng lưới thần kinh đòi hỏi nhiều sức mạnh xử lý hơn các bộ phận phần cứng có thể đáp ứng, do đó cần có phần cứng chuyên dụng để mang lại sức mạnh xử lý tối ưu nhất mà mạng lưới yêu cầu.

Ví dụ như bên trong chip Qualcomm Snapdragon 855 là bộ xử lý tín hiệu kỹ thuật số (DSP) Hexagon 690 mới nhất, mang đến bộ xử lý đơn vị Vector đã được cải thiện và bộ tăng tốc Tensor mới chuyên dụng để xử lý các tác vụ machine learning. Các nền tảng di động Snapdragon khác cũng có DSP Hexagon với các khả năng khác nhau.

Qualcomm cũng chia sẻ DSP của hãng và các khả năng học máy cho các nhà phát triển bên thứ ba bằng SDK Neural Processing. Ngoài ra thì hãng cũng hợp tác với các nhà cung cấp phần mềm như Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho để hỗ trợ các tính năng từ hiệu ứng bokeh video cho đến tạo ra avatar dựa trên machine learning chạy trên DSP.

AI sẽ là nền tảng cho tương lai của nhiếp ảnh di động

Mạng lưới thần kinh được sử dụng để cải thiện một loạt các thuật toán nhiếp ảnh phổ biến. Ví dụ như khử nhiểu, có thể được cải thiện bằng cách đào tạo để tạo ra hình ảnh siêu rõ. Tương tự như vậy, trong điều kiện ánh sáng yếu, mạng lưới thần kinh có thể nhận diện mảng sáng và tối của hình ảnh, cho phép tăng cường ánh sáng và màu sắc trong các mảng cụ thể của hình ảnh.

Zoom siêu phân giải cũng sử dụng mạng lưới thần kinh để kết hợp nhiều hình ảnh thành thành một tấm ảnh zoom kỹ thuật số có độ phân giải cao. Mạng lưới thần kinh cũng có thể được đào tạo để ghép nhiều hình ảnh lại để cải thiện HDR và khi chụp trong điều kiện thiếu sáng.

Khả năng quay video cũng được hưởng lợi từ công nghệ này. Nhận diện vật thể thời gian thực được thiết kế để cho phép các ứng dụng có thể áp dụng hiệu ứng bokeh vào ngay đoạn video bạn đang quay.

Những kỹ thuật tương tự cũng hỗ trợ việc thay đổi hoặc loại bỏ các đối tượng trong thời gian thực. Bao gồm đổi phông nền trong đoạn video, thay đổi hoặc loại bỏ màu sắc, thậm chí là thay đổi quần áo hay áp dụng các avatar kỹ thuật số trực tiếp vào đoạn video.

Sức mạnh của mạng lưới thần kinh và nhiếp ảnh AI không những vừa giúp cải thiện chất lượng hình ảnh, thu hẹp khoảng cách so với máy ảnh DSLR mà còn là công cụ sáng tạo mạnh mẽ cho phép tạo ra các nội dung độc đáo. Công cụ này sẽ là nền tảng cho những cải tiến trong tương lai của nhiếp ảnh di động.

Theo Thế Giới Di Động