Oszukiwanie w benchmarkach wciąż w modzie! OnePlus, Meizu i inne firmy sztucznie nabijają „cyferki”

mm Łukasz Pająk Android 2017-02-01

benchmarkcheating

Nie od dzisiaj wiemy, że na benchmarki trzeba patrzeć z przymrużeniem oka. Mogą one pokazywać poziom danego urządzenia, ale równie dobrze dany wynik może mijać się z jego rzeczywistą wydajnością. Jednak wciąż wiele osób zwraca uwagę na „cyferki” i producenci doskonale zdają sobie z tego sprawę.

W 2013 roku głośno było o tym, że większość czołowych producentów specjalnie przygotowywali oprogramowania tak, aby wyniki w benchmarkach były jak najlepsze. Sporo firm przeprosiło za swoje praktyki, ale taki Samsung powiedział, że nie widzi w tym nic złego. Jednak kilka lat już minęło i historia kołem się toczy, ale tym razem to Chińczycy znaleźli się pod ostrzałem. Otóż XDA-Developers razem z wydawcą GeekBench postanowili sprawdzić wybrane smartfony pod kątem oszukiwania w benchmarkach i niestety odkryli wiele oszustw. Przykład z OnePlus 3T idealnie pokazuje o co chodzi.

OP3T-Score-Comparison

Otóż cały przekręt sprowadza się do tego, żeby system rozpoznawał jakie aplikacje otwiera i jeśli jest to właśnie benchmark to oprogramowanie zmienia charakterystykę swojej pracy tak, aby pełna moc kierowana była właśnie na procesy mierzące wydajność bez względu na wszelkie nieprzyjemności związane właśnie z nagrzewaniem się urządzenia.

Jednak o ile w przypadku OnePlusa problem objawia się głównie spadkiem wydajności wraz ze wzrostem temperatury to w przypadku Meizu  Pro 6 Plus z Exynosem 8890 na pokładzie zmodyfikowana aplikacja GeekBench, która przez system nie była rozpoznawana jako benchmark odnotowała zdecydowanie niższe wyniki, co zresztą doskonale widać na poniższym wykresie:

Meizu-Pro-6-Plus-Score-Comparison

Długo na odpowiedź producentów, a dokładniej jednego nie musieliśmy czekać. OnePlus znane jest z tego, że słucha użytkowników i w tym wypadku firma przyznała się do tego typu praktyk i zapewnia, że w kolejnych wydaniach Oxygen OS podobne algorytmy się nie znajdą, aczkolwiek wciąż będą miały podobne zastosowanie w przypadku gier.

meizu-pro-6-plus-18

To oczywiście nie wszystkie urządzenia, które zostały poddane testom przez XDA-Developers. Jednak inne przypadki nie zostały przedstawione. Portal podaje jedynie, że użytkownicy HTC, Xiaomi, Huawei (z Honor), Sony, Google nie muszą czuć się oszukiwani, gdyż modyfikowana wersja GeekBench przedstawiała podobne wyniki, co aplikacja ze sklepu Play.

oxygenos

Jakie wnioski można wyciągnąć z tego testu? Cóż… Jedynie mogę powtórzyć, żeby nie wierzyć benchmarkom na słowo, gdyż doskonale widać, że cyferki nie zawsze oddają rzeczywistość. Smartfony normalnie nie pracują na pełnych obrotach jak to mają w zwyczaju sztucznie robić w momencie uruchomienia benchmarków toteż jeśli zobaczycie, że urządzenia od Sony są mniej wydajne od właśnie Meizu to wcale nie musi oznaczać, że Japończycy nie potrafią optymalizować swojego oprogramowania. W takim razie jak mierzyć sprawność poszczególnych smartfonów? Nie da się ukryć, że to trudny temat do ugryzienia, ale najlepsze są własne odczucia z użytkowania danych modeli.



  • Gnr

    w pozostałych wiadomościach- woda jest mokra.

  • Sq72

    Aż taka różnica w przypadku Meizu , czy tylko tak mi się wydaje?

    • Łukasz Pająk

      Nie wydaje, średnio 2x przebitka.

      • Sq72

        Takiej różnicy się nie spodziewałem…

        • Łukasz Pająk

          Pokazuje jak urządzenie musi ograniczać wydajność w obawie przed czymś – czy to przegrzaniem, czy to szybkim rozładowywaniem energii. Meizu mogło nie zastosować heat-pipeów jak Samsung i oto pokazuje się oblicze Exynosa.

  • Jumperone

    no a wy nadal co chwilę wrzucacie newsy typu „S8 pojawił się w benczmarkach, zapowiada się bestia!!11one” 😐

    • teges

      Zawsze, to jakieś porównanie wydajności co do modelu zeszłorocznego.

    • Łukasz Pająk

      Rzeczywiście, co chwilę są takie newsy ;). Poza tym fakt, że dany model jest w benchmarku oznacza też poznanie jego specyfikacji, a niekoniecznie wydajności.

      • Jumperone

        no według was chyba tak jest bo ile razy już było dopisywane przy wynikach „nowy król wydajności” itd.

        • Łukasz Pająk

          Zaprzeczam sam sobie? Udowodnij mi to…