Google Bard już jest dostępny w Polsce. Czysto teoretycznie mamy tutaj do czynienia z czymś znacznie lepszym, niż ChatGPT, nawet w wersji GPT-4. Bard wciąż się uczy, kiedy to ChatGPT skończył swoje szkolenie we wrześniu 2021 roku. AI od Google ma także stały dostęp do internetu, co w przypadku ChatGPT nigdy nie istniało dla wersji 3.5, a w najnowszej, płatnej to tymczasowo wyłączono – chociaż są pewne wtyczki, które pozwalają mu się łączyć z siecią (ukłony w stronę WebPilot). Mimo wszystko produkt od Google teoretycznie prezentuje się lepiej. A jak jest w praktyce? Przekonajmy się!
Spis treści
Google Bard kontra ChatGPT
Tak naprawdę to porównanie obejmie nie dwa, a trzy modele językowe. Zestawienie GPT-4 z Google Bard sprawi, że będziemy mogli zobaczyć, jak radzą sobie konkurencyjne rozwiązania w pełni możliwości. Sęk w tym, że… AI od Google jest darmowe, a o GPT-4 nie można tego powiedzieć. Dlatego do tego równania dodam jeszcze GPT-3.5, dzięki czemu nawet osoby, które nie chcą płacić, będą mogły wybrać to lepsze rozwiązanie.
Google Bard kontra ChatGPT runda 1: pogoda
Zacznijmy od czegoś pozornie prostego: od rozmowy o pogodzie, a dokładniej od pytania: Jaka jest teraz pogoda w Fajsławicach? Dlaczego akurat tam? Ponieważ sam znajduję się właśnie w okolicy i widzę, że jest pochmurnie, mży, a termometr wskazuje 23 stopnie Celsjusza. Co na to czaty? Zacznijmy od GPT-4 z pluginem WebPilot:
Aktualna pogoda w Fajsławicach to:
Temperatura: 74°F (około 23°C)
Opady: 45%
Wilgotność: 74%
Wiatr: 3 mph (około 5 km/h)
Obecne warunki: lekkie deszczowe przeloty
Proszę pamiętać, że warunki pogodowe mogą się szybko zmieniać.
No cóż, lekkie deszczowe przeloty nie brzmią zbyt poprawnie z językowego punktu widzenia, za to niezwykle poetycko. Jednak same dane są raczej poprawne. Co na to GPT 3.5?
Przepraszam, ale jako model językowy GPT-3.5, nie mam dostępu do bieżących informacji pogodowych. Moje dane są zatrzymane na rok 2021 i nie mogę dostarczyć Ci aktualnych informacji o pogodzie w Fajsławicach. Sugeruję skorzystać z popularnych serwisów internetowych, aplikacji pogodowych lub skonsultować się z lokalnym źródłem informacji, aby uzyskać aktualne dane pogodowe dla Fajsławic.
Odpowiedź jest więc jak najbardziej poprawna. Oczywiście, nie dowiedzieliśmy się jaka jest pogoda w Fajsławicach, ale za to nie dostaliśmy błędnej odpowiedzi, czyli nie zaszło tak zwane halucynowanie, które jest poważnym problemem w przypadku modeli językowych. Przejdźmy do Google Bard:
Według prognozy pogody na dziś, 13 lipca 2023 roku, w Fajsławicach będzie słonecznie i ciepło. Temperatura maksymalna wyniesie 24 stopnie Celsjusza, a minimalna 15 stopni Celsjusza. Wiatr będzie słaby, z zachodu.
Zacznijmy od tego, że to nie jest odpowiedź na pytanie: pytałem o obecną pogodę, a nie o prognozę na dziś. Co więcej, nawet jeśli uznamy, że pytanie zostało źle zrozumiane, to i tak odpowiedź jest błędna, ponieważ prognozy na dziś – nawet te wyświetlane w Google – mówią o tym, że pogoda dziś będzie deszczowa.
Google Bard kontra ChatGPT runda 2: Android
Zostawmy jednak pogodę, a przejdźmy do pytań dotyczących nowoczesnych, chociaż niezbyt nowych technologii. Zadałem wszystkim trzem modelom językowym następujące pytanie: Powiedz mi, jaki był pierwszy smartfon z Androidem, oraz podaj mi jego specyfikację, producenta, oraz datę produkcji? Oto odpowiedź jaką otrzymałem od GPT-4:
Pierwszym smartfonem z systemem Android był HTC Dream, również znany jako T-Mobile G1 w Stanach Zjednoczonych. Został wyprodukowany przez tajwańską firmę HTC.
Oto niektóre z jego specyfikacji:
- System operacyjny: Android 1.0
- Ekran: 3,2-calowy ekran dotykowy HVGA
- Procesor: Qualcomm MSM7201A, 528 MHz
- Pamięć: 192 MB RAM, 256 MB ROM
- Slot na karty pamięci: microSD (do 16 GB)
- Kamera: 3,15 MPx
- Łączność: Wi-Fi 802.11b/g, Bluetooth 2.0, GPS
HTC Dream został ogłoszony 23 września 2008 roku, a sprzedaż rozpoczęła się w październiku 2008 roku w Stanach Zjednoczonych, a następnie w innych krajach na całym świecie. Był to kamień milowy dla Androida jako platformy, ponieważ był to początek ekspansji tego systemu operacyjnego, który obecnie jest najpopularniejszym systemem operacyjnym dla smartfonów na świecie.
Jeśli zaś chodzi o GPT-3.5, to ten poradził sobie z tym pytaniem niezwykle dobrze:
Pierwszym smartfonem z systemem Android był model HTC Dream, znany również jako T-Mobile G1. Został wyprodukowany przez firmę HTC Corporation we współpracy z amerykańskim dostawcą usług telekomunikacyjnych T-Mobile. HTC Dream został wprowadzony na rynek w październiku 2008 roku.
Oto podstawowa specyfikacja HTC Dream:
- System operacyjny: Android 1.0 (aktualizowalny do wersji 1.6 Donut)
- Procesor: Qualcomm MSM7201A o częstotliwości 528 MHz
- Pamięć RAM: 192 MB
- Pamięć wewnętrzna: 256 MB (możliwość rozszerzenia za pomocą karty microSD)
- Wyświetlacz: dotykowy ekran TFT o przekątnej 3,2 cala i rozdzielczości 320 x 480 pikseli
- Aparat fotograficzny: 3,15 megapiksela z autofocusem
- Klawiatura: wysuwana, fizyczna klawiatura QWERTY
- Łączność: GSM, Wi-Fi, Bluetooth, GPS
- Bateria: litowo-jonowa o pojemności 1150 mAh
HTC Dream był uznawany za przełomowy model, który przyczynił się do popularności systemu Android i rozwoju rynku smartfonów. Jego fizyczna klawiatura QWERTY i możliwość personalizacji za pomocą aplikacji były jednymi z wyróżniających cech tego urządzenia.
Co na to wszystko Google Bard?
Pierwszym smartfonem z Androidem był HTC Dream, znany również jako T-Mobile G1. Został zaprezentowany w 2008 roku i był pierwszym telefonem z systemem operacyjnym Android. HTC Dream miał 3,2-calowy wyświetlacz o rozdzielczości 320×480 pikseli, procesor Qualcomm Snapdragon o taktowaniu 528 MHz, 256 MB pamięci RAM i 512 MB pamięci wewnętrznej. Telefon miał również aparat 3,2 MP z podwójnym zoomem cyfrowym, gniazdo kart microSD, port microUSB i Bluetooth. HTC Dream działał pod kontrolą systemu operacyjnego Android 1.5 Cupcake. Telefon był dostępny w Stanach Zjednoczonych w sieci T-Mobile.
Odpowiedź AI od Google jest nie dość, że najmniej szczegółowa, to jeszcze… częściowo błędna. Użytkownicy tego smartfona byliby zachwyceni, gdyby ten dostał 256 MB RAM i 512 MB pamięci wewnętrznej, jednak to dane podane przez ChatGPT są prawdziwe.
Google Bard kontra ChatGPT runda 3: poezja
Czas na test ostateczny, czyli wiersz Juliana Tuwima pod tytułem Murzynek Bambo. Tak się składa, że modele językowe od OpenAI mają z nim duży problem, odbierając go jako kontrowersyjny i rasistowski. Dlatego przed zadaniem tego pytania liczyłem na to, że Bard może wyjść z niego obronną ręką. Jeśli ktoś nie zna tego wiersza, lub nie pamięta, to może go sobie odświeżyć:
Tak natomiast wyglądało zadane pytanie: Opowiedz mi wiersz Murzynek Bambo, oraz powiedz mi, kto jest jego autorem i kiedy go napisał. A oto odpowiedź GPT-4:
„Wiersz „Murzynek Bambo” jest dziełem Juliana Tuwima, znanego i szanowanego polskiego poety, który napisał go w 1933 roku. To utwór należący do zbioru „Słopiewnie” i jest często czytany dzieciom w Polsce.
Oto wiersz „Murzynek Bambo”:
Murzynek Bambo w Afryce mieszka,
Czarną ma skórę ten nasz koleżka.
Uczy się pilnie przez całe ranki,
A potem boso biega po łące.
No cóż, wiersz jest z 1935 roku, a nie 1933 roku. Co więcej, już po 3 poprawnych wersach dostaliśmy coś, co zostało po prostu zmyślone przez ChatGPT. Później dostałem jeszcze kilka zwrotek, które można nazwać wesołą twórczością AI, ale z dziełem Juliusza Tuwima nie miały nic wspólnego. Model GPT-3.5 poradził sobie jeszcze gorzej:
Murzynek Bambo, Czarny chłopiec mały, W Afryce się urodził, Tam się wychowywał.
Murzynek Bambo, Był dobry jak chleb, Kochał wszystkie zwierzęta, Wszystko, co żyje na świecie.(…)Autorem wiersza „Murzynek Bambo” jest Maria Konopnicka, jedna z najwybitniejszych polskich poetek, autorka literatury dziecięcej. Wiersz powstał w 1902 roku i jest jednym z jej najbardziej znanych utworów.
Jak więc przez ten test przejdzie Google Bard? Okazuje się, że… jeszcze gorzej, niż ChatGPT:
Murzynek Bambo to wiersz dla dzieci autorstwa Juliana Tuwima, napisany w 1928 roku. Opowiada historię małego murzynka, który mieszka w Afryce. Bambo jest bardzo ciekawskim i sprytnym chłopcem, który lubi się bawić i poznawać świat. Pewnego dnia Bambo wyrusza w podróż w głąb dżungli. Spotyka tam wiele różnych zwierząt, w tym słonia, lwa, zebrę i żyrafę. Bambo bawi się z nimi i uczy się o ich życiu. W końcu Bambo wraca do domu, gdzie wita go jego mama. Bambo jest bardzo szczęśliwy, że jest w domu i że może opowiadać swojej mamie o swoich przygodach.
Wiersz Murzynek Bambo jest bardzo popularny wśród dzieci. Jest krótki, prosty i zabawny. Opowiada o przygodach dziecka, które jest ciekawe świata i które lubi się bawić. Wiersz Murzynek Bambo jest również popularny wśród dorosłych. Jest to wiersz, który uczy dzieci o tolerancji i otwartości na innych.
Poza autorem wszystkie podane informacje są fałszywe — poza wzmianką o tolerancji i otwartości. Dlaczego więc uważam, że ChatGPT wygrał? Otóż Google Bard zwyczajnie nie zrozumiał pytania i nie opowiedział wiersza. I to nie jest tak, że odmówił udzielenia odpowiedzi, jak zrobił to model GPT-3.5 w przypadku pytania o pogodę. Bard zwyczajnie zignorował tę część pytania.
Google Bard kontra ChatGPT: wnioski
Zadałem wszystkim modelom językowym trzy, pozornie bardzo proste pytania: dotyczące aktualnej sytuacji, historii, oraz dzieła literatury, chociaż tak naprawdę tylko to środkowe, dotyczące HTC Dream, czy jak kto woli HTC Era G1, powinno być banalne dla każdego z nich. Efekt jest taki, że GPT-4 z pluginem internetowym był w stanie sprawdzić dokładną pogodę, podać poprawną specyfikację smartfona i wyłożył się całkowicie w przypadku problematycznego wiersza.
GPT-3.5 przyznał się do niewiedzy w przypadku pogody, co jest dość istotne, ponieważ nie halucynował (czyli nie zmyślał odpowiedzi), poprawnie opisał specyfikację smartfona, ale całkowicie zawiódł przy pytaniu dotyczącym poezji.
Google Bard mimo dostępu do sieci udzielił błędnej odpowiedzi na temat pogody, podał fałszywą specyfikację smartfona HTC w kontekście pamięci masowej, oraz operacyjnej, a także udzielił złej odpowiedzi dotyczącej pytania o poezję, ignorując całkowicie prośbę o opowiedzenie wiersza.
I o ile żadnemu modelowi językowemu nie można w pełni zaufać, czego sekcja z poezją jest dobitnym przykładem, to Google Bard halucynuje przy każdym, nawet najprostszym pytaniu, nawet jeśli odpowiedź na nie jest w zasięgu jego ręki. Jest więc obecnie gorszym wyborem, niż GPT-3.5, które co prawda już się nie uczy i nie ma dostępu do sieci, ale przynajmniej szczerze o tym informuje w większości przypadków, zamiast próbować udzielić nam jakiejkolwiek odpowiedzi.
Źródło: chat.openai.com, bard.google.com, YouTube