Mogłoby się wydawać, że boom na sztuczną inteligencję przemija, ale to złudne wrażenie. Po prostu wybrzmiało już echo po pierwszych sukcesach OpenAI, ale wciąż tworzone są nowe modele i narzędzia, które stają się bardzo pomocne w konkretnych potrzebach. Tym samym od kilku miesięcy przedstawiam wam różne podejścia do tego, jak samemu zacząć swoją przygodę z otwartoźródłowymi modelami językowymi, które pozwalają stworzyć własnego czata AI.
Spis treści
Nie tylko LLM Studio. Msty stawia wysoko poprzeczkę
W poprzednich materiałach pokazywałem wam rozwiązania i modele na podstawie programu LM Studio, który wciąż uważam za jeden z najlepszych na rynku, szczególnie po swojej ostatniej aktualizacji. Jednak monopol w tym wypadku nie może istnieć i trzeba poznawać konkurencyjne rozwiązania. W ten sposób trafiłem na aplikację Msty, która również spełnia podstawowe założenie całej serii, a więc wszystko robimy legalnie i za darmo w swoim domowym zaciszu.
Pierwsza rzecz, która już za mnie podjęła decyzję, że na pewno sprawdzę Msty, to sama strona internetowa i jej kompletne podejście do użytkownika. Wszystko jest czytelnie przedstawione i oprócz listy funkcji, zmian oraz linków do pobrania, znajdziemy także ogromną bibliotekę promptów, a więc poleceń z różnych dziedzin.
Zanim przejdziemy do konkretnych możliwości, warto wiedzieć, jak możemy korzystać z Msty, a więc poznajmy licencję:
Jak wspomniałem wcześniej, Msty jest darmową propozycją, ale możemy również wykupić licencję do użytku komercyjnego i z dostępem do płatnych rozwiązań Aurum. Co ważne, nie musimy ograniczać się do rocznej subskrypcji, bo jesteśmy w stanie wykupić dożywotni pakiet. Niemniej w tym materiale skupimy się na darmowym planie.
Możliwości Msty sprawdzisz sam i to za darmo
Jak zawsze na potrzeby materiałów związanych z modelami LLM z licencją open source wykorzystuję uniwersalnego laptopa od Acera z procesorem AMD Ryzen 7, który zawiera dedykowany układ NPU (Ryzen AI). Nie jest to sprzęt, który został stworzony wyłącznie do współpracy ze sztuczną inteligencją, a klasyczny, mobilny komputer. Msty możemy pobrać w jednej z dwóch wersji, a więc właśnie stworzonej z myślą o pracy z CPU lub GPU, gdy nasz komputer jest wyposażony w mocną kartę graficzną.
Tym sposobem przejdźmy do Msty, które na samym początku zdradza nam pierwszą funkcjonalność, czyli możemy korzystać zarówno z darmowych modeli lokalnie lub podłączyć się do popularnych usług online, w tym ChatGPT, Gemini i inne. Stawiamy na modele open source, więc wybieramy lokalną konfigurację i… wszystko dzieje się samo. Nie ma potrzeby manualnego dobierania parametrów, co docenią początkowi użytkownicy. Bardziej zaawansowani oczywiście znajdą dodatkowe opcje w ustawieniach.
Kolejna ważna zaleta to sama baza dostępnych modeli. Msty stawia na wiele źródeł, więc nie mogło zabraknąć Hugging Face (patrz: rankingi modeli LLM), któremu towarzyszą Ollama i Open Router. Po pierwszej konfiguracji od razu mamy dostępu do czatu, który bazuje na Gemma 2B, a więc darmowej propozycji od Google. Możemy go docenić za szybką pracę, dobre zrozumienie języka polskiego i sporą uniwersalność.
Niemniej wróćmy do samego Msty i funkcjonalności samego programu, a właściwie do interfejsu, który pozwala tworzyć przestrzenie robocze i foldery, aby klasyfikować prowadzone konwersacje oraz ukierunkowane w ten sposób modele.
Kolejna, bardzo istotna funkcja Msty to możliwość wprowadzania danych z zewnątrz (RAG), które zostaną wykorzystane do dalszej analizy. W ten sposób możemy chociażby uwzględniać w dyskusjach specyficzne dokumentacje lub… tworzyć napisy do filmów z YouTube. Do tego wspomniana wcześniej biblioteka promptów dostępna jest również w samym narzędziu. Możemy je (i inne) sprawdzać równolegle w ramach kilku modeli i w ten sposób porównywać jakość odpowiedzi. Oczywiście nic nie stoi na przeszkodzie, aby działać bez dostępu do internetu. Niemniej będąc online, jesteśmy w stanie bez problemu konsumować treści z sieci.
Całość zamykają różnorakie preferencje, które dla początkujących częściowo mogą wydawać się niejasne, ale to właśnie ten aspekt docenią bardziej zaawansowani użytkownicy. Tu akurat kłania się zaleta LM Studio, które potrafi dostosować interfejs do doświadczenia operatora. Mimo wszystko Msty swoją funkcjonalnością, przejrzystością i prostotą obsługi wyraźnie wyprzedza wspomnianego konkurenta.
Zdj. otwierające: Shutterstock