Od kilku miesięcy przedstawiam wam różne sposoby na tworzenie własnych czatów AI à la ChatGPT, które są darmowe i na dobrą sprawę nie potrzebują dostępu do internetu. Jednocześnie są to rozwiązania, które nie wymuszają na nas zakupu super sprzętu i całość samemu testuję na teoretycznie prostym laptopie. Podstawą tych wszystkich działań jest jeden program, który właśnie doczekał się nowej wersji, zmieniającej wiele i będącej odpowiedzią na aktualne trendy z tego świata.
Spis treści
LM Studio doczekało się istotnej aktualizacji
Od pierwszego odcinka, w którym pokazywałem wam, jak stworzyć własnego „ChatGPT” na swoim komputerze, podstawą był program LM Studio. Podobnie jak same modele, tak i on jest darmowy oraz dostępny na wiele platform (Windows, Mac, Linux). Tytułowa ogromna aktualizacja oznaczona jest numerem 0.3.0 i została udostępniona 22 sierpnia, ale od razu przejdźmy do wersji 0.3.1, która pojawiła się już dzień później w formie poprawek błędów.
W takim razie zobaczcie, co nowego przygotowali deweloperzy LM Studio:
- Odświeżony i uproszczony interfejs z trzema motywami.
- Czat z obsługą wykrywania literówek i innych błędów językowych.
- Podstawowa obsługa RAG (interakcja z dokumentami).
- Wsparcie dla wyników w JSON (w stylu Open AI).
- Automatyczna konfiguracja parametrów.
- Integracja z zewnętrznymi serwerami w sieci.
- Przetwarzanie obrazów.
To oczywiście tylko wybrane nowości, które w mojej opinii sprawiają, że LM Studio przestaje być już tylko prostym czatem tekstowym. Zainteresowanych, chcących poznać pełną listę zmian, odsyłam do dokumentacji wydania 0.3.0.
Interfejs, który dostosowuje się do poziomu zaawansowania użytkowników
Wcześniejsze wersje LM Studio mogły pochwalić się bardzo prostym interfejsem, ale jednocześnie wymagały od użytkownika, aby ten był już choć trochę zaznajomiony z LLM. Tymczasem wersja 0.3.0 wprowadza jeszcze więcej uproszczeń i automatyzacji, więc wybierając konkretny model, wszelkie parametry są automatycznie dostosowywane do naszego komputera. Jeśli czujemy się bardziej zaawansowanymi użytkownikami, możemy zmienić widok, których w sumie mamy 3 do dyspozycji (User, Power User i Developer).
Ogólnie rzecz biorąc, nawet wyszukiwanie konkretnych modeli jest dużo prostsze. Znamy Llama od Meta, więc wpisujemy po prostu Llama i wybieramy proponowane kompilacje, bez konieczności rozumienia ich wielkości i innych detali.
Obsługa dokumentów i obrazów
Kolejna istotna nowość to natywna obsługa dokumentów. W zależności od wybranego modelu i wielkości przekazywanego pliku ten może zostać przekazany w ramach kontekstu. Jeśli jest za duży, to do gry wchodzi RAG, umożliwiający streszczenie go, aby cały czas móc operować z zawartością. Jest to bardzo istotne w wielu zadaniach, związanych m.in. z analizą dokumentacji lub po prostu generowaniu podsumowań.
Oczywiście nie tylko dokumenty się liczą, ale również obrazy, które także stały się prostsze w obsłudze w połączeniu z LM Studio 0.3.0. Naturalnie trzeba pamiętać, aby dobrać odpowiedni model językowy ze wsparciem dla wizji. Na szczęście nie zabrakło integracji z Hugging Face (patrz: Jak wybrać najlepszy model?), więc możemy skorzystać z rankingu Vision Arena, aby dobrać najlepszy dla siebie LLM.
Cały czas do pracy LM Studio wystarcza zwykły laptop
W tym dużym skrócie możliwości nowego wydania LM Studio warto cały czas pamiętać, że jest to aplikacja, która jest w stanie pracować na każdym komputerze. W moim przypadku jest to niezmiennie laptop Acer z procesorem AMD Ryzen 7 7840U (z Ryzen AI) i zintegrowanym układem graficznym Radeon 780M. Omawiana aktualizacja w sumie sprawiła, że poszczególne modele działają jeszcze sprawniej za sprawą automatycznego dobierania podstawowych parametrów.
Tym sposobem jak zawsze zachęcam was, abyście osobiście sprawdzili możliwości różnorakich modeli do przeróżnych zastosowań we własnym zakresie. Wszystko jest darmowe, a pomoc własnych asystentów AI często okazuje się bardzo przydatna i po prostu ułatwiająca codzienną pracę. W końcu możemy zapisywać swoje integracje i nie tylko.
Zdj. otwierające: oatakoi / Shutterstock
Część odnośników to linki afiliacyjne lub linki do ofert naszych partnerów. Po kliknięciu możesz zapoznać się z ceną i dostępnością wybranego przez nas produktu – nie ponosisz żadnych kosztów, a jednocześnie wspierasz niezależność zespołu redakcyjnego.