Naukowcy z Uniwersytetu Stanforda i Uniwersytetu Kalifornijskiego w Berkeley wykazali, że płatna wersja ChatGPT (tj. ChatGPT Plus, oparty na GPT-4) oferuje znacznie gorszą jakość odpowiedzi w porównaniu z darmowym i ogólnodostępnym GPT-3.5, który poprawił dokładność odpowiedzi w niektórych zadaniach. W obliczu pojawienia się ChatGPT na Androida, dla wielu z potencjalnych klientów może to być kluczowa informacja.
W ostatnich miesiącach pojawiały się opinie, że zauważalnie spadła jakości odpowiedzi ChatGPT. Grupa naukowców z Uniwersytetu Stanforda i Uniwersytetu Kalifornijskiego w Berkeley postanowiła ustalić, czy to prawda. Trójka naukowców — Matei Zaharia, Lingjiao Chen i James Zou — opublikowało artykuł pt. How does ChatGPT behavior change over time? Jak stwierdzono w tekście, GPT-3.5 i GPT-4 to dwie najczęściej używane wersje LLM (Large Language Models). Jednak w stosunkowo krótkim czasie jej zachowanie i jakość udzielanych odpowiedzi może być diametralnie różna.
Naukowcy oceniali wersje z marca 2023 roku i czerwca 2023 roku GPT-3.5 i GPT-4 w czterech różnych zadaniach: 1) rozwiązywanie problemów matematycznych, 2) odpowiadanie na wrażliwe/niebezpieczne pytania, 3) generowanie kodu i 4) rozumowanie wizualne.
Uznali i udowodnili, że zarówno wydajność, jak i zachowanie GPT-3.5 i GPT-4 mogą znacznie różnić się w czasie. Na przykład, wersja GPT-4 z marca 2023 była bardzo dobra w identyfikowaniu liczb pierwszych (dokładność 97,6%), ale GPT-4 z czerwca 2023 była bardzo słaba w tych samych pytaniach (dokładność 2,4%). Co ciekawe, GPT-3.5 (czerwiec 2023) była o wiele lepsza niż GPT-3.5 (marzec 2023) w tym zadaniu.
Wersja GPT-4 była mniej chętna do odpowiadania na wrażliwe pytania w czerwcu niż w marcu, a zarówno GPT-4, jak i GPT-3.5 miały więcej błędów formatowania w generowaniu kodu w czerwcu niż w marcu. Dodajmy, że Open AI twierdzi, że model GPT-4 to najbardziej zaawansowany i funkcjonalny model AI do tej pory. Ale jednocześnie okazuje się, że jest to narzędzie, które trzeba monitorować i analizować.
Źródło: Tech News Space
Część odnośników to linki afiliacyjne lub linki do ofert naszych partnerów. Po kliknięciu możesz zapoznać się z ceną i dostępnością wybranego przez nas produktu – nie ponosisz żadnych kosztów, a jednocześnie wspierasz niezależność zespołu redakcyjnego.