Rosnąca konkurencja pomiędzy firmami udostępniającymi chatboty sprawiła, że nie tylko użytkownicy, ale także naukowcy zajęli się tworzeniem kolejnych porównań dotyczących dokładności wyników dostarczanych przez wyszukiwarki i czaty napędzane przez AI. A jak wypadają one jeśli chodzi o branżę medyczną? Który z nich dał odpowiedzi najbliższe prawdzie w zderzeniu z wiedzą lekarską?
Google i ChatGPT wiedza medyczna – Spis treści
Konkurencja na rynku chatbotów
Nie da się obecnie uniknąć porównywania dostępnych dla internautów chatbotów. Ich wady i zalety możemy mnożyć, wystawiając je na kolejne „pojedynki” i biorąc pod uwagę różne umiejętności – wyszukiwania informacji, streszczania artykułów, redagowania tekstów czy udzielania prawidłowych odpowiedzi na pytania. Zresztą my zrobiliśmy to już jakiś czas temu, na chatbotowym ringu umieszczając Google Bard i ChatGPT.
Ale chatboty w przyszłości nie mają służyć tylko pojedynczym użytkownikom w ich pracy czy codziennym funkcjonowaniu, ale także być podstawą potężnych systemów wspomagających zatrudnionych z wielu branż, w tym lekarzy i medyków np. w procesie diagnozowania pacjenta. Dlatego ich ulepszanie staje się w branży MedTech tak istotne. Tak samo ważna jest walka z nieprawdziwymi informacjami udostępnianymi w sieci – Google już rozpoczęło na tym polu swoją „krucjatę”, blokując niektóre treści na YouTubie.
Już teraz przeprowadzane są testy dotyczące dokładności wyników dostarczanych przez czaty napędzane przez sztuczną inteligencję nie tylko w celach zapoznawczych, ale także naukowych. To na podstawie takich analiz zapewne stworzone zostanie narzędzie, które pomoże m.in. w diagnostyce pacjentów na szeroką skalę. A jak się mają odpowiedzi chatbota w stosunku do wyników, jakie dostarcza nam wyszukiwarka internetowa? Naukowcy postanowili to sprawdzić, biorąc na tapetę ChatGPT oraz wyszukiwarkę Google.
Zapytania dotyczące zdrowia – ChatGPT czy Google sprawdza się lepiej?
Naukowcy ze Stanów Zjednoczonych opublikowali badanie w Journal of Medical Internet Research, w którym wykorzystali ChatGPT i Google do sprawdzenia, który z nich lepiej poradzi sobie z zapytaniami dotyczącymi medycyny. Przesłali 60 komend zarówno do Google, jak i OpenAI ChatGPT, które są typowymi pytaniami wpisywanymi w wyszukiwarkę przez osoby żyjące z demencją i ich rodziny. Połowa zapytań przesłanych przez badaczy dotyczyła informacji o procesach chorobowych, a druga połowa informacji o usługach, które mogłyby pomóc pacjentom i ich rodzinom.
Naukowcy poinformowali, że skupili się na demencji, ponieważ cierpi na nią ponad 6 mln Amerykanów, a ich opiekunowie należą do najbardziej aktywnych internautów, szukających wiadomości na temat zdrowia swoich bliskich w sieci.
Google kontra ChatGPT – wyniki badań
Badanie miało na celu porównanie jakości wyników uzyskanych za pomocą ChatGPT i Google w odpowiedzi na zapytania związane z demencją i innymi zaburzeniami poznawczymi. Analiza wykazała, że Google dostarcza najbardziej aktualne informacje, ale wyniki zapytań są zniekształcone przez dostawców usług i reklamodawców. Pierwsze z kilku rekordów, które pojawiają się na samej górze, to zazwyczaj nie najlepsze odpowiedzi, tylko opłacone teksty sponsorowane.
Tymczasem ChatGPT dostarcza bardziej obiektywnych informacji, ale może być nieaktualny i brakuje mu źródeł informacji w odniesieniu do kontekstu. Można powiedzieć, że choć chatbot podaje właściwe, to fragmentaryczne dane, które są oderwane od pełnej treści wypowiedzi czy artykułu. Dlaczego tak to wygląda? Twórcy ChatGPT w OpenAI wybierają najbardziej godne zaufania strony internetowe, kiedy przygotowują bazę danych do uczenia przez chatbot. Choć wiadomości są prawdziwe, można odnieść wrażenie, że wypowiedź jest chaotyczna i pozbawiona odniesień, co nie pomaga w znalezieniu wiarygodnych informacji.
Wyszukiwarka czy chatbot – co jest lepsze?
Jeśli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się zapewne stanie w ciągu najbliższych kilku lat
– mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.
Zarówno Google, jak i ChatGPT mają swoje mocne i słabe strony. Google doceniono za większą niezawodność i aktualność, ale ChatGPT zyskał miano bardziej obiektywnego.
ChatGPT rzadko zawiera źródło wyniku, więc nie wydaje się wiarygodny dla potencjalnej osoby, która stara się wyszukać wiadomości. Choć od razu uprzedzam, że po dodaniu komendy „podaj źródło informacji” zazwyczaj reaguje właściwie i do kolejnej odpowiedzi podaje nam link, z którego korzystał. Google częściej podaje aktualny wynik i zgodne z prawdą źródło danych, ale to chatbot od OpenAI dostarcza dokładniejszych i bardziej celowanych odpowiedzi na zapytania. Google czasami pokazuje wyniki oparte na działaniach komercyjnych, co na pewno obniża ich wartość.
Podobieństwo między treścią odpowiedzi ChatGPT a odpowiedziami Google zostało natomiast ocenione jako wysokie dla 13 (21,7%) odpowiedzi, średnie dla 16 (26,7%) odpowiedzi i niskie dla 31 (51,6%) odpowiedzi.
„Doktor Google” – zmora lekarzy
Sądząc po tym, ile osób wyszukuje choroby po symptomach w wyszukiwarce Google, ulepszanie i badanie narzędzi, które dla wielu ludzi są pierwszym źródłem informacji, jest niezmiernie ważne. Kwestie zdrowotne w chatbotach powinny być traktowane priorytetowo, aby potem użytkownicy kierowali się wiedzą medyczną, a nie niepoważnymi informacjami z sieci. Być może dzięki temu kiedyś unikniemy rozpowszechniania szkodliwych treści, tak jak miało to miejsce podczas promowania mody na picie środka do czyszczenia toalet na TikToku.
A jeśli o zdrowie chodzi, przypominamy o tym, jak ważne jest mieć włączoną funkcję lokalizacja telefonu na swoim smartfonie – kilka z tych narzędzi może uratować życie nam i naszym bliskim.
Źródło: JMIR, oprac. własne