Chúng ta có nên tin vào điểm benchmark trên Android nữa không?

Scandal đánh lừa người dùng bằng chiêu “tối ưu” phần mềm hiệu năng nhằm đạt điểm số cao hơn hiệu năng hoạt động thực tế của Samsung đang càng trơ nên trầm trọng, dù nhà sản xuất Hàn Quốc đã cố hết sức tự bào chữa cho mình.

Thế nhưng hóa ra, Samsung không phải là công ty duy nhất đang lừa đảo người dùng.

Sau khi điều tra việc Samsung cố tình hiệu chỉnh VXL và nhân đồ họa của Galaxy S4 khi để có kết quả đo hiêu năng (benchmark) cao hơn bình thường, các biên tập viên trang công nghệ AnandTech đã đưa ra những kết luận sau:

1. Trên phiên bản Galaxy S4 sử dụng chipset Exynos 5410, Samsung thiết kế phần mềm để máy nhận diện các ứng dụng benchmark, sau đó nâng giới hạn nhiệt (đồng nghĩa với nâng tốc độ xung nhịp tối đa của nhân đồ họa) khiến kết quả đưa ra từ các ứng dụng benchmark này trở nên cao hơn quá trình hoạt động thực tế.

2. Ở cả 2 phiên bản Galaxy S4 sử dụng Snapdragon 600 và Exynos 5410, máy sẽ nhận diện một số ứng dụng benchmark nhất định rồi tự động đưa điện áp/tốc độ xung nhịp lên mức cao nhất ngay lập tức. Ở phiên bản Snapdragon, tất cả các lõi được kích hoạt ngay sau khi nhận diện được ứng dụng benchmark khởi chạy.

Kết luận số 1 chỉ áp dụng cho phiên bản Exynos 5410 của Galaxy S4. Trên phiên bản Snapdragon 600, giới hạn tốc độ xung nhịp 450 MHz của nhân đồ họa không bao giờ bị phá vỡ. Tuy nhiên, điểm kết luận thứ 2 lại đúng với tất cả các phiên bản của Galaxy S4.

Bảng dưới đây liệt kê các thiết bị đã được thử nghiệm va liêu đối với một số ứng dụng benchmark nhất định, các thiết bị này có nâng tốc độ xung nhịp của VXL lên mức cao nhất và kích hoạt tất cả các lõi ngay lập tức hay không:

Trang công nghệ AnandTech đã liên hệ với các hãng sản xuất và đề nghị chấm dứt những hiệu chỉnh về VXL để đánh lừa benchmark. Ngoại trừ Apple và Motorola, tất cả các hãng sản xuất đều có ít nhất một thiết bị áp dụng chiêu trò gian lận kết quả benchmark này. Có thể các thiết bị cũ của Motorola cũng làm điều tương tự nhưng đến thế hệ các thiết bị mới thì điều này đã không còn. Đây là một trò lừa đảo mang tính hệ thống đã có mặt trong khoảng 2 năm qua: Samsung không phải là đối tượng duy nhất.

Theo bảng trên, có thể thấy rằng cách áp dụng phương pháp gian lận giữa các thiết bị/nhà sản xuất cũng không giống nhau. Không một thiết bị nào trong dòng Nexus có hành vi này – một điều cũng dễ hiệu bởi hiệu chỉnh phần mềm không thực sự là một điều được quan tâm trong dự án Android mã nguồn mở AOSP. Điều đó cũng giải thích tại sao chiếc Nexus 4 lại hoạt động khá chậm chạp trên cac phân mêm benchmark: Google không tham gia vào trò lừa đảo này. Các phiên bản Google Play Edition của HTC One và Galaxy S4 cũng không “trong sạch” do chúng vẫn sử dụng phần mềm từ hãng mẹ trên nền Android gốc.

LG G2 cũng có một vài hiệu chỉnh nhưng là đối với các trình benchmark khác. Những hiệu chỉnh phần mềm của LG không toàn diện như của Samsung. LG cho biết phần mềm của hãng cần một số hiệu chỉnh để tăng cường hiệu năng và điều này có thể giải thích cho khoảng cách về khả năng xử lí giữa LG G2 với Samsung Galaxy Note 3.

Cách hoạt động của VXL Exynos 5420 cũng khá thú vị. Thay vì chuyển sang sử dụng các lõi A15 khi thực hiện tác vụ nặng, 5420 sẽ chuyển qua lại giữa các lõi A7 và A15 đều chạy ở tốc độ tối đa.

Kể cả chiếc Galaxy Tab 3 10.1 với chip CloverTrail cũng có hình thức gian lận benchmark. Theo thông tin có được thì cả Intel và Qualcomm đều không ủng hộ hoặc phản đối hành vi này. Quyết định gian lận đến từ các hãng sản xuất thiết bị chứ không phải từ các hãng sản xuất chip (dù không một hãng nào gây áp lực lên đối tác đòi chấm dứt hành vi này).

Ngoài ra, không phải ứng dụng benchmark nào cũng nằm trong danh sách bị đánh lừa bởi tất cả các thiết bị. Trên chiếc Galaxy S4, 3DMark và Geekbench 3 không phải là đối tượng Samsung nhắm đến, nhưng trên Galaxy Note 3 thì các benchmark này lại bị “tối ưu”. Do bản chất của hiệu chỉnh là để nâng điểm số cao hơn so với đối thủ/thiết bị khác, danh sách các phần mềm benchmark được “tối ưu” cho mỗi thiết bị phải luôn được duy trì. Các bản cập nhật tung ra cũng không chỉ nhằm thêm tính năng mà còn để nâng điểm benchmark nữa.

AndEBench và Vellamo là 2 trong số các ứng dụng bị “tối ưu” để thiết bị đạt điểm benchmark VXL cao hơn. AndEBench là một ứng dụng benchmark áp dụng CoreMark để theo dõi sự khác biệt về hiệu năng giữa lõi native (lõi chạy trên nền hệ điều hành) và lõi java (lõi chạy trên máy ảo java), mục đích không phải để đánh giá tổng bộ hiệu năng của thiết bị. Ứng dụng benchmark này cũng nằm trong danh sách bị đánh lừa trên chiếc Galaxy Note 3. AndEBench V2 vẫn sử dụng các phương pháp benchmark như ở phiên bản cũ V1 nhưng sử dụng tên gói (package name) khác nhau. Do chỉ có phiên bản V1 bị đánh lừa nên với cùng một thiết bị, AndEBench V1 và V2 cho kết quả khác nhau:

Do hiệu chỉnh CPU nên kết quả tăng 4,4%. Một phần của sự chênh lệch này đến từ bản thân ứng dụng (V1 đã được hoàn thiện, trong khi V2 mới chỉ trong giai đoạn phát triển độ tương thích do vẫn ở trạng thái beta). Rõ ràng 4,4% không phải là sự thay đổi quá to lớn bởi Samsung không tăng tốc xung nhịp khi thực hiện bài benchmark này. Những gì diễn ra chỉ là tăng P-State và để trình benchmark tự do tăng điện áp/tốc độ xung nhịp mà không có sự can thiệp phần mềm của máy.

Biểu đồ dưới đây thể hiện sự thay đổi về tốc độ xung nhịp của lõi thứ 4 trong VXL Snapdragon 600 của Galaxy S4 khi chạy AndEBench. Đường màu đỏ là với phiên bản AndEBench khi “bị” máy nhận diện. Trong khi đó đường màu xanh biểu diễn khi AndEBench đã được đổi tên để tránh bị “phát giác”: đây cũng chính là những gì sẽ xảy ra nếu không có hiệu chỉnh về phần mềm của Samsung.

Tốc độ xung nhịp của lõi thứ 4 thay đổi lên xuống rất nhiều khi chạy AndEBench đã được đổi tên. Trong thời gian VXL thay đổi tốc độ thì hiệu năng được tăng lên. Nếu trình benchmark nào đó lặp lại nhiều vòng thử nghiệm thì những khác biệt về hiệu năng sẽ càng thấy rõ. Với việc nhiều hãng sản xuất đều trang bị cùng một loại chip cho thiết bị của mình thì chỉ một sự chênh lệch không quá lớn cũng là một thắng lợi về mặt marketing. Đó cũng là lí do cho những gì được bàn đến trong bài viết này.

Kể cả khi chiếc Galaxy S4 dùng Snapdragon 600 chạy AndEBench, máy cũng không hề thay đổi giới hạn nhiệt của VXL. Sau khi chạy benchmark vài lần, tốc độ VXL có xuống dưới 1.7 GHz trong một khoảng thời gian tương đối dài trước khi tăng trở lại. Hơn nữa khi có hiệu chỉnh thì cài đặt điện áp/nhiệt cũng được thay đổi và gây nên sự khác biệt trong hiệu năng.

Vellamo cũng là ứng dụng benchmark bị nhiều smartphone và tablet đầu bảng đánh lừa:

Điểm benchmark tổng thể trên Vellamo

Điểm benchmark HTML5 trên Vellamo

Kết quả benchmark của Vellamo chỉ có thể được xác nhận khi đối chiếu với một chương trình benchmark khác. Chỉ có thử nghiệm trình duyệt (qua HTML5) của Galaxy Note 3 là không liên quan đến trò gian lận tốc độ CPU. Trình benchmark Kraken (không quá nổi tiếng) được sử dụng để thay thế SunSpider trong bài thử nghiệm củaAnandTech đã xác nhận sức mạnh trình duyệt của Note 3.

Kết quả thử nghiệm HTML5 trên Kraken

Bộ ứng dụng được AnandTech sử dụng để tiến hành benchmark luôn luôn thay đổi: Kraken bắt đầu được sử dụng khi SunSpider có dấu hiệu bị hiệu chỉnh quá nhiều bởi các nhà sản xuất. Giải pháp thực tế nhất nhằm đối phó với tình trạng gian lận benchmark là cập nhật ứng dụng benchmark trước khi các hãng sản xuất kịp thời hiệu chỉnh VXL cho từng ứng dụng đó. Một ứng dụng benchmark càng nổi tiếng thì nó càng dễ bị nhà sản xuất để ý rồi đánh lừa. Cuộc chiến này rất phổ biến trên chiến trường PC nhưng đối với các thiết bị di động, bên nhà sản xuất lại giành lợi thế hơn do có rất ít ứng dụng benchmark tốt được phát triển.

Để phát hiện được sự qua mặt các ứng dụng benchmark của nhà sản xuất là khá khó. Hơn nữa, sau khi chiêu “tối ưu” benchmark bị phát hiện, chỉ một trong hai điều sau có thể xảy ra: 1) Mánh hiệu chỉnh phần mềm sẽ kết thúc, hoặc 2) Các nhà sản xuất sẽ che giấu hành vi của mình kĩ hơn. Và trong thời gian tới có lẽ điều thứ 2 dễ có khả năng xảy ra hơn. Vả lại, sẽ không có giải pháp triệt để nào cho trò lừa đảo này. Những gì giới đam mê công nghệ có thể làm để tìm ra sự thật là phát triển, cập nhật các trình benchmark mới để vượt trước nhà sản xuất, gửi yêu cầu xin chữ kí đòi nhà sản xuất dừng hành vi này. Ngoài ra, các nhà phát triển phần mềm benchmark có thể phát hiện và vô hiệu hóa các hiệu chỉnh. Những điều này cũng đã được thực hiện trên chiến trường PC, vì vậy chúng có lẽ cũng nên được làm đối với ngành di động.

Mối liên hệ giữa tốc độ xung nhịp CPU và hiệu năng lõi đồ họa

Đối với lõi đồ họa (GPU), mọi chuyện trở nên phức tạp hơn so với CPU. Ứng dụng GFXBench tránh việc trở thành đích nhắm của các hãng sản xuất, ít nhất là đối với trò gian lận CPU mà chúng ta đang nói đến. Có rất nhiều mối lo ngại về tính chính xác của việc dựng hình, giảm tốc độ khung hình, v.v. nhưng có vẻ như phiên bản tiếp theo của GFXBench sẽ ngăn chặn mọi hành vi gian lận. Kishonti (nhà phát triển GFX) làm việc rất chặt chẽ với các nhà sản xuất điện thoại và thường cố gắng đảm bảo tính trung thực. Nhưng ngược lại, họ cũng ở một vị trí rất khó xử bởi các nhà sản xuất cũng hỗ trợ việc phát triển của ứng dụng này thông qua phí bản quyền để sử dụng nó. Khi chạy ứng dụng GFXBench đã được đổi tên để tránh phát hiện, LG G2 cho các kết quả có phần lặp lại như Note 3 nhưng điểm số nói chung kém hơn. Tuy nhiên điều này một phần có thể đến từ phiên bản driver VXL khác nhau. Hơn nữa, Note 3 lại có RAM 3G, gấp rưỡi G2.

Ngoài ra chắc chắn LG và Samsung sẽ có những cách hiệu chỉnh VXL khác nhau dù có chung phần cứng. Các hãng hoàn toàn có thể chỉnh giới hạn nhiệt mà họ cho là hợp lí. Tất nhiên ngay cả giới hạn nhiệt cũng có thể được điều chỉnh (ví dụ nhưng tăng giới hạn nhiệt khi chạy benchmark so với khi sử dụng thông thường) nhưng kể cả vậy đôi lúc khi thực hiện benchmark, thiết bị vẫn phải giảm tốc độ xung nhịp tối đa để hạ nhiệt, tránh cháy CPU.

Basemark X là một ứng dụng benchmark tập trung nhiều vào hiệu năng của GPU vì vậy tốc độ xung nhịp cao hơn của CPU sẽ không có nhiều tác dụng. Bảng sau so sánh kết quả của Galaxy Note 3 khi thực hiện benchmark trên Basemark X thông thường và Basemark X đã được đổi tên để gian lận:

Kết quả benchmark onscreen không có gì nổi bật, nhưng với offscreen thì ngược lại. Mức tăng hiệu năng quá thấp, chỉ riêng hiệu chỉnh cho CPU cũng đã làm tăng khoảng 3% hiệu năng như trên bài thử nghiệm onscreen.

3DMark là một ứng dụng benchmark kiểm tra tổng hòa cả CPU và GPU. Vì vậy việc nâng tốc độ CPU cũng sẽ làm tăng điểm số chung.

Đối với GPU, ASUS không đưa ra bất cứ hiệu chỉnh nào. Tất nhiên vẫn có sự khác biệt về driver và bộ nhớ RAM giữa Padfone Infinity và chiếc Galaxy Note 3, song khoảng cách điểm số sau khi chạy benchmark 3DMark Extreme chỉ là khoảng 10%. Padfone cũng có tốc độ xung nhịp VXL 2.2 GHz thấp hơn so với Galaxy Note 3: 2.3 GHz. Rất khó để kết luận chênh lệch 10% kia đến từ hiệu chỉnh CPU của nhà sản xuất hay do khác biệt về cấu hình.

Futuremark là một công cụ benchmark PC nổi tiếng đã rất quen thuộc với việc các hãng sản xuất cố tình nâng cao kết quả so với thực tế sử dụng. Theo Futuremark: “Ngoại trừ việc đặt các thông số bắt buộc dành riêng cho các hệ thống có nhiều GPU như AMD CrossFire hay NVIDIA SLI, driver không được nhận diện khởi động của trình benchmark rồi sau đó thay đổi, thay thế hoặc cài đè các thông số hoặc bộ phận của thử nghiệm dựa trên sự nhận diện đó”.

Có thể thấy rằng HTC và Samsung đang vi phạm điều này. FutureMark là một trong số những nhà phát triển phần mềm benchmark tỏ ý không hài lòng với hành vi gian lận của các nhà sản xuất.

GFXBench, vốn không được nhà sản xuất nào quan tâm hiệu chỉnh CPU, cho thấy Note 3 vượt lên trên Padfone Infinity khoảng 13%. Giống như việc hiệu chỉnh cho VXL Exynos 5410, việc làm này không đem lại nhiều kết quả tích cực và cũng khiến sự thật rằng có rất nhiều nhà sản xuất áp dụng kĩ thuật gian lận trên trở nên khó chịu.

Kết luận

Toàn bộ những việc làm gian lận của các nhà sản xuất là sai trái và kết quả có được thì không xứng với “nỗ lực” của họ. Nếu tiến hành phân tích chi phí/lợi ích từ việc làm của những công ty lớn này thì rõ ràng quyết định tốt nhất sẽ là dừng hành vi này lại, chưa kể tới vấn đề đạo đức. Hơn nữa, hầu hết các nhà sản xuất Android đều góp phần tạo nên mớ hỗn độn này. Chỉ có Samsung không gian lận trên mảng GPU, song hãng này vẫn tiến hành hiệu chỉnh CPU giống như các đối thủ khác.

Hành vi tối ưu hóa tốc độ xung nhịp GPU cho benchmark có mặt trên Galaxy S4 Exynos 5410 không hề tồn tại trên phiên bản Snapdragon 600. Trong khi đó, hành vi hiệu chỉnh tốc độ CPU (vốn có trên Galaxy S4, LG G2, HTC One và các thiết bị Android khác) cũng có mặt trên Galaxy Note 3.

Các hãng Android đều có danh sách các ứng dụng benchmark cần “tối ưu” của riêng mình. Danh sách này sẽ lớn dần, thay đổi theo thời gian và chúng không lặp lại nhau quá nhiều. Với tình hình này, rất khó để khiến một nhà sản xuất nào dám từ bỏ hành vi gian lận trước các đối thủ khác. Hi vọng duy nhất nằm ở các công ty công nghệ hiện không tham gia gian lận.

Có rất nhiều nhà phát triển ứng dụng benchmark đã biết được tình hình và tìm cách ngăn chặn gian lận trong ứng dụng của mình từ rất lâu. Hơn nữa các nhà sản xuất chip cũng có thể gây sức ép lớn lên nhà sản xuất thiết bị, chưa kể quyền năng của Google cũng là rất lớn. Cách tốt nhất để chiến đấu là cập nhật các phần mềm benchmark, tránh sử dụng các phần mềm benchmark dễ dàng bị đánh lừa và yêu cầu các hãng sản xuất chấm dứt những gì họ đang làm.

Tuy nhiên, có một sự thật không may là tình hình sẽ trở nên tồi tệ hơn rất nhiều trước khi bắt đầu chuyển sang chiều hướng tích cực. Trước khi Galaxy Note 3 ra đời với VXL Exynos mới, có nhiều người đã băn khoăn liệu gian lận có tiếp diễn hay không: câu trả lời tới nay đã rõ (mặc dù Galaxy S5 ra đời vào năm sau có thể sẽ là câu trả lời tốt hơn). Từ việc nhận diện ứng dụng, các hãng sản xuất có thể phát triển khả năng nhân diện hành vi của người dùng và thay đổi cấu hình hoạt động của máy.

Điều đáng buồn cười là việc gian lận của các hãng điện thoại đem lại điểm số benchmark được tăng không đáng là bao nhiêu. Hiệu năng của CPU chỉ tăng khoảng 0 – 5%, còn đối với GPU là chưa đến 10%. Nếu muốn đạt được điểm số cao hơn bằng chừng đó, các hãng di động nên đòi hỏi hãng sản xuất chip tăng hiệu năng bằng công nghệ của mình hơn là làm trò vô nghĩa kia. Còn liệu các hãng di động có muốn thay đổi hay không, chúng ta đã biết. Ngành di động ngày nay cũng giống như ngành PC khoảng giữa những năm 90. Intel, Qualcomm, Samsung đều có liên quan đến những việc “làm màu” benchmark và trong thời gian tới sẽ có nhiều tên tuổi nữa lộ diện. Mọi chuyện đã xảy ra từ lâu và sẽ còn tiếp diễn.

Theo VnReview