Boom na ChatGPT powoli opada po tym, gdy w zeszłym roku okazało się, że możemy rozmawiać z komputerem w sposób na pozór naturalny i ten… jest genialny i chętny do każdej pomocy. Oczywiście narzędzie weszło do codziennego życia, ale mniej się już o nim mówi. Niemniej nie chcę, żeby ten tekst był kolejnym zlepkiem teorii o tym, na co pozwala AI, co nas czeka i… jak się przed tym bronić? W tym materiale chciałem pokazać wam, jak sami w domowym zaciszu i w ciągu zaledwie kilku minut możecie uruchomić własne czaty oparte na różnych modelach GPT.
Spis treści
ChatGPT, czyli wyszukiwarka XXI wieku
Na wstępie warto jeszcze wyjaśnić kilka kwestii. Chciałbym, aby niniejszy artykuł skierowany był do osób początkujących, więc należy spodziewać się wielu uproszczeń. Nie planuję na tym etapie wyjaśniać, jak „działają” konkretne modele językowe (LLM), choć wszystko przed nami. Niemniej sam ChatGPT jest już tak popularny, że nie zdziwię się, jak pójdzie drogą Adidasa, Jeepa lub Pampersów. W końcu już dzisiaj ChatGPT nazywa się inne czatboty z namiastką sztucznej inteligencji. Naturalnie produkt OpenAI wyróżnia się na wiele sposobów i można uznać go za topowy w swojej kategorii. W końcu nie bez powodu Microsoft tak wiele inwestuje w jego rozwój, integrując go w swoich narzędziach.
Stwórzmy własnego czatbota na swoim komputerze
ChatGPT jest na co dzień bardzo przydatnym narzędziem, które skrywa w sobie jeszcze ogromny potencjał. Dlatego postanowiłem sprawdzić, jak wyglądają możliwości stworzenia czatbota do własnych zastosowań i czy jest to w ogóle możliwe? Skoro czytacie ten tekst, to naturalnie drugie pytanie jest retoryczne. Jednocześnie musicie wiedzieć, że nie potrzebujecie opłacać potężnych serwerowni, co także stanowi jedno z moich założeń.
Czatbot, z którym zacząłem swoją przygodę, wykorzystywał podzespoły laptopa Acer Swift Edge 16 w postaci:
- procesor AMD Ryzen 7 7840U
- litografia: 4 nm
- 8-rdzeniowy (16-wątkowy)
- 24 MB pamięci cache
- TDP: 28 W
- osobny akcelerator Ryzen AI
- układ graficzny Radeon 780M
- 12-rdzeniowy (2,7 GHz)
- 16 GB LPDDR5 RAM (współdzielony z GPU).
Tym sposobem to lekki i cienki laptop stworzony z myślą o pracy biurowej, więc jak poradzi sobie z obsługą czatbota? Czas się przekonać, więc pobieramy aplikację LM Studio, która występuje również w specjalnej odmianie dla platform z kartami graficznymi z serii Radeon RX 7000 (ROCm):
Po pobraniu pliku uruchamiamy aplikację i gotowe, możemy działać w LM Studio.
Tak naprawdę ten jeden program sprawia, że na bok odchodzą wszelkie aspekty związane z koniecznością zrozumienia, jak uruchamiać i konfigurować modele LLM i inne, typowo informatyczne zagadnienia. Oczywiście to nie jest tak, że całkowicie jesteśmy prowadzeni za rękę, bo w dalszym kroku należy pobrać bota, a tych jest całkiem sporo i nie wszystkie będą działać poprawnie:
Sprawdziłem dwa modele: Mistral (7b) i LLAMA (v2.7b). Oba są od TheBloke, a cały proces sprowadza się do wybrania odpowiednich kompilacji, wersji i innych, bardziej technicznych wariacji, pobrania i uruchomienia. W zależności od połączenia internetowego całość zajmuje kilka minut.
Dlaczego wybór padł na platformę AMD? Z kilku powodów. Przede wszystkim nie ukrywam, że laptop Acer, który wykorzystałem do swoich testów, został udostępniony właśnie przez amerykańską firmę. Niemniej jednocześnie chciałem sprawdzić, czy to w ogóle możliwe, aby uruchomić swojego własnego czatbota na teoretycznie prostym laptopie. W tym wypadku AMD chwali się, że Ryzen AI osiąga znacznie wyższe wartości od swojej konkurencji przy niższym zużyciu energii. Tym sposobem można upiec kilka pieczeni na jednym ogniu. Niemniej nie o tym jest ten materiał, więc przejdźmy do praktycznych odczuć z obcowania z LM Studio na biurowym laptopie.
Zalety takiego rozwiązania
Niewątpliwą zaletą własnego czatbota AI jest sam fakt, że działa on na naszym komputerze. Po pobraniu modelu mogę całkowicie odciąć się od internetu, a ten wciąż będzie wykonywał swoją pracę. Idzie za tym prywatność i możliwość działania w każdych warunkach dokładnie tak samo. Poza tym w każdej chwili to my decydujemy, z którego modelu chcemy korzystać. Oczywiście wymaga to testów i różnych form dostosowywania logiki, ale nie jesteśmy związani tylko z jedną implementacją.
Mało tego, istotną zaletą LM Studio jest fakt, że możemy jednocześnie zadawać pytania kilku modelom i w ten sposób szybko oceniać ich odpowiedzi. Jak już uda nam się dobrać idealne ustawienia, to nic nie stoi na przeszkodzie, żeby… otworzyć nasz model do internetu i mieć dostęp do niego w taki sam sposób, jak zapewne dzisiaj korzystacie z ChatGPT od Open AI. Warunkiem jest stale włączony laptop, bo to on staje się serwerem.
Są też wady, o których musicie wiedzieć
Oczywiście nic nie jest idealne, więc trzeba liczyć się z tym, że nasz czat nie będzie równie rozbudowany i zaawansowany w porównaniu do tego, co oferuje ChatGPT. Prowadzi to m.in. do częstych halucynacji, czyli zmyślanych odpowiedzi, co doskonale obrazuje powyższy przykład – mój model nie był podłączony do internetu.
Drugi kolec w tej róży to wydajność, czyli trwające dialogi nie odbywają się w sposób natychmiastowy i mimo wszystko nasz komputer musi przetworzyć żądania. W tym wypadku istotne znaczenie ma VRAM, czyli pamięć operacyjna naszej karty graficznej. W przypadku laptopa ze zintegrowanym GPU jest to teoretycznie najmniej zalecany scenariusz. Niemniej i tak muszę przyznać, że praca na laptopie z AMD Ryzen AI była zaskakująco sprawna, a oczekiwanie maksymalnie kilkunastu sekund na odpowiedź można uznać za akceptowalne.
Gorąco zachęcam was do sprawdzenia na własnym komputerze, co jesteście w stanie uzyskać. Metoda prób i błędów sprawdza się w tym wypadku doskonale. Jeśli tematyka okaże się dla was interesująca, to niewątpliwie możemy razem się w nią zgłębić, bo kto powiedział, że AI zarezerwowane jest tylko dla najbogatszych?