Aplikacje do testów AI. Sprawdziłem programy do testowania sztucznej inteligencji

Niezależnie od tego, czy jesteś zwykłym użytkownikiem, który chce sprawdzić jakie podzespoły poradzą sobie najlepiej z zadaniami AI, czy też programistą, który chce znaleźć najlepszą kombinację frameworków i sprzętu do danego zadania, to w wyborze pomogą ci właśnie benchmarki AI.

Jak i czym testować sprzęt pod względem zastosowań AI?

W 2024 roku do naszej dyspozycji mamy prawdziwe zatrzęsienie benchmarków, czyli aplikacji sprawdzających wydajność podzespołów w różnych scenariuszach – czy to procesorów przy generowaniu grafiki 3D (np. Cinebench) lub kart graficznych w grach (np. 3D Mark).

Mimo że momentami boimy się otworzyć lodówki, żeby nie wyskoczyła z niej sztuczna inteligencja, to tutaj sytuacja nie jest tak różowa. W tym przypadku nie znajdziemy bowiem całego wachlarza benchmarków AI. Obecnie mamy już jednak do dyspozycji dwa naprawdę dobre narzędzia, dzięki którym sprawdzimy wydajność naszego sprzętu w tych zastosowaniach.

Nie są to narzędzia idealne, choćby dlatego, że ogólne określenie wydajności w obliczeniach AI jest po prostu trudne – będzie się ona różnić w zależności od scenariusza. Przecież mechanizmy AI możemy wykorzystywać zarówno w modelach językowych, jak i generowaniu obrazów. A to całkowicie różne zestawy obliczeń.

Zaznaczę tu, że nie mówimy tu o testowaniu dedykowanych układów do obliczeń AI, czyli NPU, a przynajmniej nie tylko. Oprogramowanie testujące potrafi sprawdzić zarówno procesor (CPU), układ graficzny (GPU), jak i dedykowane koprocesory (NPU) w zastosowaniach związanych ze sztuczną inteligencją. Zobaczcie najlepsze benchmarki do AI.

Geekbench AI – dawniej Geekbench ML

Aplikacja ta jest całkowicie darmowa i można ją pobrać ze strony producenta. Geekbench AI dostępny jest w wersji na Windows, macOS, Linux, Android i iOS – w każdym przypadku uruchamiane są identyczne testy.

Można tylko zaznaczyć, że wersja na Windows obsługuje zarówno procesory x86 jak i ARM, natomiast na Ubuntu wyłącznie x86 (a więc jak na razie nie uruchomimy go choćby na Raspberry Pi 5 z systemem Ubuntu).

Dość zaskakującym posunięciem autorów było zaprezentowanie nowej aplikacji, zamiast rozwijania jej pod nazwą Geekbench ML, ale tak naprawdę jest to ten sam, chociaż znacznie ulepszony benchmark. Geekbench ML nigdy zresztą nie wyszedł z fazy beta. Ostatnia wersja była oznaczona numerem 0.6.

Pod względem wyglądu interfejsu oba programy nie różnią się zbytnio od siebie, ale zmiany wewnętrzne zaszły tak daleko, że ich wyników nie można porównywać. Mało tego – nie można porównywać nawet wyników Geekbench AI w wersji 1.0 i 1.1 – warto o tym pamiętać. Testy zaprojektowano tak, by oddawały wydajność w rzeczywistych zadaniach AI, z których korzysta się na co dzień.

Obsługa Geekbench AI jest naprawdę nieskomplikowana. Wystarczy wybrać framework (np. ONNX lub OpenVINO), backend (np. DirectML) i urządzenie, które chcemy przetestować pod kątem wydajności obliczeń AI (np. kartę graficzną). Na koniec wystarczy kliknąć przycisk Run AI Benchmark i chwilę poczekać (testy nie trwają długo).

Ze względu na skomplikowanie i różnorodność obliczeń AI finalnie otrzymujemy aż trzy wyniki – single precision, half precision i quantized, które możemy porównywać pomiędzy różnymi platformami.

Fot. Marcin Jaskólski / zrzut ekranu

Oczywiście jeśli najdzie nas ochota, możemy przejść do bardziej drobiazgowych wyników i sprawdzić wydajność algorytmów uczenia maszynowego choćby w detekcji obiektów, czy skalowania obrazów.

UL Procyon – AI Computer Vision i AI Image Generation

UL, czyli producent doskonale znanego benchmarka 3D Mark, jakiś czas temu zaprezentował swój nowy benchmark o nazwie Procyon.

UL Procyon jest już rozwiązaniem płatnym, ale jest też możliwość złożenia wniosku o próbną wersję trial. UL Procyon to potężny kombajn stworzonym przez firmę z wieloletnim doświadczeniem. Benchmark dostępny jest w wersji na Windows, macOS i Android.

W wielu aspektach Procyon zastępuje równie znanego PC Marka, bo można tu znaleźć testy czasu pracy na baterii, wydajności w zastosowaniu aplikacji biurowych czy edycji obrazów lub wideo. Warto zaznaczyć, że Procyon używa do testów rzeczywistych aplikacji zainstalowanych na komputerze jak Microsoft 365 (Office), czy aplikacji Adobe.

Nas jednak interesują testy dotyczące AI, a te są dwa – AI Computer Vision i AI Image Generation.

AI Computer Vision jest testem bardziej ogólnym, który wykorzystuje różne algorytmy i modele, by sprawdzić wydajność w obliczeniach związanych z AI. Benchmark można uruchomić przy użyciu NVIDIA TensorRT (dedykowane rdzenie AI w kartach GeForce RTX), Intel OpenVINO, Qualcomm SNPE, Apple Core ML i oczywiście Microsoft Windows ML.

Sam test wykorzystuje różne modele sieci neuronowych jak MobileNet V3, Inception V4, YOLO V3, DeepLab V3, Real-ESRGAN i ResNet 50. Wyniki można uzyskać w przypadku obliczeń na liczbach całkowitych (integer), jak i zmiennoprzecinkowych (opcje float 32 i float 16).

Test AI Computer Vision można uruchomić praktycznie na każdym sprzęcie, bo ma bardzo niskie wymagania. Praktycznie rzecz biorąc, zadowoli się on 4 GB pamięci RAM – zarówno w przypadku Windows 10/11, jak i macOS Monterey+.

Z kolei AI Image Generation to test generowania obrazów z promptów oparty na popularnym modelu Stable Diffusion. Tutaj wymagania sprzętowe są już wyższe, w zależności od modelu, a mamy ich do dyspozycji trzy: SD 1.5 (INT8), SD 1.5 (FP16) i SD XL.

O ile pierwszy z nich uruchomi się praktycznie na każdym sprzęcie (o ile mamy do dyspozycji co najmniej 16 GB RAM) to SD 1.5 (FP16) wymaga również co najmniej 8 GB pamięci graficznej, a w przypadku kart GeForce RTX już 10 GB VRAM.

Stable Diffusion XL jest naturalnie najbardziej wymagający i dla kart innych niż GeForce RTX wymagane jest co najmniej 16 GB pamięci graficznej (dla modelu wykorzystującego rdzenie Tensor jest to wciąż 10 GB VRAM).

Testy AI w UL Procyon są zaawansowane i mogą trwać około 20 minut. Przy użyciu układów graficznych o małej wydajności (np. starszych zintegrowanych rozwiązań) potrafią po prostu zawiesić program.

Jaki najlepszy program testujący AI?

Oba programy się doskonale uzupełniają, ale osoby poszukujące darmowego oprogramowania testującego AI tak naprawdę nie mają wielkiego wyboru – pozostaje im jedynie Geekbench AI. UL Procyon nadal jest zaś rozwiązaniem dedykowanym dla firm lub prasy technologicznej.

O ile oba programy obsługują naprawdę dużą liczbę różnych podzespołów, to warto podkreślić, że wciąż nie mają obsługi NPU znajdującego się w procesorach AMD. Twórcy Geekbench AI wprawdzie ogłosili już, że pracują nad takim wsparciem, ale kiedy się go doczekamy, tego niestety dokładnie nie wiadomo. Miejmy nadzieję, że podobne prace również przebiegają w siedzibie UL.

Źródło: opracowanie własne. Zdjęcie otwierające: Microsoft Bing Kreator Obrazów / wygenerowane za pomocą AI

Część odnośników to linki afiliacyjne lub linki do ofert naszych partnerów. Po kliknięciu możesz zapoznać się z ceną i dostępnością wybranego przez nas produktu – nie ponosisz żadnych kosztów, a jednocześnie wspierasz niezależność zespołu redakcyjnego.