Google đã làm cho zoom số của Pixel 3 đẹp gần bằng zoom quang như thế nào

Super Res Zoom là tính năng zoom số của Pixel 3 và Pixel 3 XL. Bình thường khi nhắc tới zoom số chúng ta thường hay khin.h b.ỉ nó vì hình chắc chắn sẽ vỡ nát, nhưng Google sử dụng cách ghép nhiều khung ảnh lại với nhau để tạo ra một tấm ảnh độ phân giải lớn hơn lúc bạn zoom.

Cũng vì lý do này mà nếu bạn dùng tính năng zoom của Pixel 3 thì ảnh sẽ ngon hơn so với khi bạn đã chụp rồi mới crop sát lại chủ thể bạn cần tập trung. Google nói Super Res Zoom của họ có thể cho chất lượng đạt gần bằng cơ chế zoom quang học 2x trên những chiếc điện thoại khác.

Thách thức của zoom số

Zoom số khó ở chỗ bạn cần 1 thuật toán tốt. Zoom số bắt đầu bằng việc zoom vào 1 khu vực trên tấm ảnh, khu vực này sẽ có độ phân giải thấp hơn so với khi bạn chụp không zoom. Kế tiếp, máy phải dựng lại các chi tiết bị mất ở mức đủ tốt khi ảnh bị phóng to trở ra trước khi lưu xuống bộ nhớ.

Thuật toán truyền thống thường dùng cho zoom số là nội suy tuyến tính, tức là máy sẽ cố gắng dựng lại các chi tiết thiếu bằng cách sử dụng những pixel mới hơi mờ và nhìn khá bệt, phẳng, thêm những pixel này vào ảnh rồi lưu xuống bộ nhớ.

Trong khi đó, các thuật toán hiện đại ngày nay sử dụng machine learning (Google dùng một nghiên cứu tên là RAISR để chạy). Thuật toán mới sẽ nhận biết được viền và một số bề mặt nhất định của các điểm ảnh rồi phóng to nó ra. Tất nhiên machine learning cũng không thể nào phục hồi nguyên dạng và đầy đủ, tự nhiên được. Trên Pixel 2 và Pixel 3, Google vẫn dùng RAISR nhưng cho mục đích tăng chất lượng mà thôi, còn tính năng zoom 2x, 3x Super Res Zoom thì sử dụng cơ chế multi frame.

Ảnh zoom so sánh giữa Pixel 2 và Pixel 3

Ngoài ra, nhiếp ảnh còn khó ở chỗ bản thân ảnh khi chụp lại bằng cảm biến là đã có thông tin bị mất mát rồi. Hãy nhìn bức ảnh bên dưới, khi dữ liệu được cảm biến ghi nhận, máy phải dùng phần mềm để đoán xem màu của những chỗ bị trống là gì.

Ở ngoài cùng bên trái là lưới Bayer, bộ lưới lọc được lắp lên trên cảm biến ảnh. Mỗi ô sẽ ghi nhận được 1 màu khác nhau trong số ba màu cơ bản là R, G, B. Điều này cũng có nghĩa là khi kết xuất dữ liệu xuống file, ô đỏ chỉ biết vị trí của ô đỏ, xanh chỉ biết xanh. Những ô nằm giữa thì không biết, đó chính là tình trạng missing information.

Từ lâu người ta đã làm ra thuật toán tính giá trị trung bình của các điểm ảnh xung quanh để tìm ra giá trị của pixel không ghi nhận thông tin. Theo Google, 2/3 tấm ảnh bạn chụp thực chất là ảnh được dựng lại chứ không phải giá trị gốc của ánh sáng. Kĩ thuật này gọi là demoisac.

Dù các thuật toán demoisac ngày nay đã trở nên phức tạp hơn và chính xác hơn nhưng về cơ bản kết quả vẫn chưa thật sự tốt. Với cảm biến di động vốn có kích thước nhỏ, lượng thông tin ghi nhận được đã ít lại còn bị mất nên khá là khó khăn. Các máy chụp ảnh DSLR thì đỡ hơn do cảm biến lớn hơn, kích thước mỗi pixel to hơn nên ghi nhận được nhiều thông tin hơn, nhờ vậy thuật toán xử lý tốt hơn.

Khi bạn pinch to zoom, thuật toán lại càng phải đoán nhiều thông tin hơn nữa.

Sử dụng multi frame để giải quyết vấn đề

1 khung hình không chứ đủ thông tin, nhưng nếu dùng nhiều khung hình chụp liên tiếp nhau và hơi xê dịch nhau một tí thì sao? Đây là cách mà các nhiếp ảnh gia đã tạo ra ảnh HDR. Thuật toán HDR rất tốt đang dùng cho Pixel hiện nay cũng như Nexus ngày xưa cũng hoạt động dựa trên cùng nguyên lý.

Khoảng hơn 10 năm nay các cơ quan vũ trụ đã sử dụng kĩ thuật gọi là drizzle, tức gom hình ảnh từ nhiều góc khác nhau để tạo ra một tấm ảnh lớn hơn. Nó có thể tạo ra ảnh chất lượng ngang với lúc chụp zoom quang 2x hoặc 3x trong điều kiện đủ sáng. Và thay vì phải đi tính toán, suy luận để ra được giá trị màu của các ô bị thiếu thì giờ chúng ta tổng hợp nó trực tiếp từ nhiều tấm ảnh khác nhau luôn cho nhanh.

Trong ví dụ bên trên, mỗi tấm ảnh hơi xê dịch lên trên, sang trái, sang phải, xuống dưới 1 pixel. Dần dần các pixel bị thiếu thông tin sẽ được “điền” vào, vậy là không cần phải chạy thuật toán demosaic nữa. Một số camera đời mới với tính năng Sensor Shift cũng đã áp dụng kĩ thuật tương tự để chụp ảnh nhưng yêu cầu phải có tripod để đảm bảo ảnh không bị dịch chuyển nhiều. Kĩ thuật này còn có một tên gọi khác là microstepping.

Kĩ thuật này tính ra cũng khó, vì nếu chủ thể chuyển động nhanh, rung tay làm máy dịch chuyển… thì khi cảm biến dịch chuyển sẽ chụp một khung ảnh quá khác biệt so với khung gốc, lúc ghép lại không còn chính xác nữa. Đó là lý do vì sao trước giờ microstepping chỉ được áp dụng trong phòng lab, trong những điều kiện chụp ảnh được kiểm soát ngặt nghèo.

Cách giải quyết của Google

Để ghép khung ảnh một cách hiệu quả và có thể tạo ra giá trị RGB cho mỗi pixel mà không cần chạy demosaic, Google phát triển một phương pháp tích hợp dữ liệu xuyên suốt nhiều khung ảnh dựa trên viền của chủ thể. Cụ thể hơn, thuật toán AI sẽ phân tích các khung hình và điều chỉnh cách ghép tùy tình huống. Điều này làm ảnh không bị mờ, nhòe, ít noise, bù lại độ phân giải giảm đi một chút. Đây là sự đán đổi cần thiết và Google đã điều chỉnh cách ghép ảnh dựa theo viền để tạo ra sự cân bằng giữa độ nét và độ noise cũng như sự sai lệch ảnh.

Đán.h đổi giữa chất lượng, độ nét với noise, chi tiết

Để giúp thuật toán xử lý được các cảnh có chủ thể chuyển động, ví dụ như người hay xe đang di chuyển, Google phát triển thêm một mô hình phát hiện và giảm thiểu sự sai khác. Cách mô hình này hoạt động đó là chọn 1 khung hình làm khung tham chiếu, sau đó trộn thông tin từ các khung khác vào đây với điều kiện dữ sắp được trộn không phải là đối tượng đang di chuyển. Bằng cách này, Google loại bỏ được tình trạng bóng ma hay còn gọi là mờ chuyển động.

Ảnh ghép từ nhiều khung bị mờ, và ảnh ghép sử dụng model của Google

Theo Tinh Te