Oszukiwanie w benchmarkach wciąż w modzie! OnePlus, Meizu i inne firmy sztucznie nabijają „cyferki”

Nie od dzisiaj wiemy, że na benchmarki trzeba patrzeć z przymrużeniem oka. Mogą one pokazywać poziom danego urządzenia, ale równie dobrze dany wynik może mijać się z jego rzeczywistą wydajnością. Jednak wciąż wiele osób zwraca uwagę na „cyferki” i producenci doskonale zdają sobie z tego sprawę.

W 2013 roku głośno było o tym, że większość czołowych producentów specjalnie przygotowywali oprogramowania tak, aby wyniki w benchmarkach były jak najlepsze. Sporo firm przeprosiło za swoje praktyki, ale taki Samsung powiedział, że nie widzi w tym nic złego. Jednak kilka lat już minęło i historia kołem się toczy, ale tym razem to Chińczycy znaleźli się pod ostrzałem. Otóż XDA-Developers razem z wydawcą GeekBench postanowili sprawdzić wybrane smartfony pod kątem oszukiwania w benchmarkach i niestety odkryli wiele oszustw. Przykład z OnePlus 3T idealnie pokazuje o co chodzi.

Otóż cały przekręt sprowadza się do tego, żeby system rozpoznawał jakie aplikacje otwiera i jeśli jest to właśnie benchmark to oprogramowanie zmienia charakterystykę swojej pracy tak, aby pełna moc kierowana była właśnie na procesy mierzące wydajność bez względu na wszelkie nieprzyjemności związane właśnie z nagrzewaniem się urządzenia.

Jednak o ile w przypadku OnePlusa problem objawia się głównie spadkiem wydajności wraz ze wzrostem temperatury to w przypadku Meizu  Pro 6 Plus z Exynosem 8890 na pokładzie zmodyfikowana aplikacja GeekBench, która przez system nie była rozpoznawana jako benchmark odnotowała zdecydowanie niższe wyniki, co zresztą doskonale widać na poniższym wykresie:

Długo na odpowiedź producentów, a dokładniej jednego nie musieliśmy czekać. OnePlus znane jest z tego, że słucha użytkowników i w tym wypadku firma przyznała się do tego typu praktyk i zapewnia, że w kolejnych wydaniach Oxygen OS podobne algorytmy się nie znajdą, aczkolwiek wciąż będą miały podobne zastosowanie w przypadku gier.

To oczywiście nie wszystkie urządzenia, które zostały poddane testom przez XDA-Developers. Jednak inne przypadki nie zostały przedstawione. Portal podaje jedynie, że użytkownicy HTC, Xiaomi, Huawei (z Honor), Sony, Google nie muszą czuć się oszukiwani, gdyż modyfikowana wersja GeekBench przedstawiała podobne wyniki, co aplikacja ze sklepu Play.

Jakie wnioski można wyciągnąć z tego testu? Cóż… Jedynie mogę powtórzyć, żeby nie wierzyć benchmarkom na słowo, gdyż doskonale widać, że cyferki nie zawsze oddają rzeczywistość. Smartfony normalnie nie pracują na pełnych obrotach jak to mają w zwyczaju sztucznie robić w momencie uruchomienia benchmarków toteż jeśli zobaczycie, że urządzenia od Sony są mniej wydajne od właśnie Meizu to wcale nie musi oznaczać, że Japończycy nie potrafią optymalizować swojego oprogramowania. W takim razie jak mierzyć sprawność poszczególnych smartfonów? Nie da się ukryć, że to trudny temat do ugryzienia, ale najlepsze są własne odczucia z użytkowania danych modeli.