Coraz większa liczba osób próbuje znaleźć rozwiązanie problemu rozpoznawania tekstów generowanych przez sztuczną inteligencję. Problem ten dotyczy w dużej mierze nauczycieli, którzy nie mogą określić, czy wypracowanie naprawdę przygotował ich uczeń, czy też zostało ono wygenerowane przez ChatGPT. Naukowcy z University of Maryland opublikowali niedawno badanie, z którego wynika, że problem ten być może nigdy nie zostanie rozwiązany.
Rozpoznawanie ChatGPT może nie być możliwe
Naukowcy z University of Maryland sprawdzili, czy teksty generowane przez modele językowe, takie jak ChatGPT można wiarygodnie wykryć. Ich wnioski są jednak niepokojące: zarówno z teoretycznego, jak i praktycznego punktu widzenia, nie można tego zrobić w praktycznych scenariuszach. To oznacza, że o ile w testach laboratoryjnych jest to wykonywalne, tak te nie przekładają się na rzeczywistą sytuację.
Naukowcy ostrzegają przy tym, że nieregulowane wykorzystanie modeli językowych może prowadzić do negatywnych konsekwencji, takich jak plagiaty, fake newsy, spamowanie. Podkreślają przy tym, że niezawodne wykrywanie tekstu opartego na AI byłoby kluczowym elementem odpowiedzialnego korzystania z usług takich jak ChatGPT czy Google Bard.
W ramach badania naukowcy przeanalizowali najnowsze metody wykrywania modeli językowych. Okazuje się, że wystarczy prosta parafraza, czyli przestawienie, lub wykorzystanie synonimów słów w generowanym tekście, aby oszukać wszystkie z nich. Nawet stosując techniki znakowania wodnego czy skanery oparte na sieciach neuronowych, nie sposób empirycznie wykryć tekstu opartego na modelu językowym. Parafrazowanie może obniżyć skuteczność wykrywania go z 97% do zaledwie 57%, co oznacza, że detektor będzie działał nie lepiej niż zwykły rzut monetą.
Znakowanie wodne, polegające na umieszczaniu niewykrywalnego podpisu na tekście generowanym przez AI, jest całkowicie usuwane przez parafrazowanie. Czy to oznacza załamanie systemu edukacji? No cóż, niekoniecznie. Nieuczciwe praktyki, jak spisywanie od kolegów w toalecie przed lekcją towarzyszyły szkole zawsze. I chociaż wejdą teraz na nowy poziom, to odrabianie prac domowych nie powinno się zmienić w kontekście podziału na tych, co podchodzą do tego uczciwie, a tych, co kombinują.