Sztuczna inteligencja wciąż zaskakuje. Niedawno sparaliżowana kobieta odzyskała głos i przemówiła przy wsparciu AI. O wyjątkowym przedsięwzięciu poinformowali naukowcy z Uniwersytetu Kalifornijskiego z San Francisco i z Berkley.
Spis treści
Telepatia to termin, który znamy głównie z popkultury. Jeszcze jakiś czas temu była raczej nieobecna wśród rozmów poważnych naukowców, nie publikowano artykułów w prestiżowych periodykach w tym temacie. Szybki rozwój technologii sprawił jednak, że naukowcom udało się stworzyć coś bardzo podobnego. Chodzi o interfejs mózg-komputer.
Oczywiście, nazywanie „telepatią” dostępnej technologii jest raczej dużym uproszczeniem ze względu na małą precyzyjność w opisie. O tym, w jaki sposób sprawiono, że kobieta po 18 latach milczenia, wreszcie usłyszała „swój” głoś, przeczytacie poniżej.
Sparaliżowana kobieta otrzymuje pomoc od naukowców i sztucznej inteligencji
Szczęśliwa bohaterka wspomnianego przedsięwzięcia ma na imię Ann. Sparaliżowana kobieta to 47-latka, która w wyniku udaru, 18 lat temu straciła swój głos. Doświadczyła wtedy tzw. zespołu zamknięcia. W jego rezultacie straciła możliwość poruszania kończynami, mówienia, a nawet oddychania. Wszystko to zdarzyło się nagle, a przyczyna wciąż jest nieznana…
Jak wynika z artykułu zaprezentowanego na stronie uniwersyteckiej, gdzie opisywane są między innymi odczucia kobiety, przez 5 lat od udaru, bała się, że umrze we śnie. Wiele lat fizjoterapii pozwoliło jedynie na poruszanie mięśni twarzy na tyle, aby mogła śmiać się lub płakać. Mięśnie odpowiedzialne za mowę pozostawały nieruchome.
Z dnia na dzień wszystko zostało mi odebrane. – napisała Ann, korzystając z urządzenia, które umożliwia jej powolne pisanie na ekranie komputera, dzięki niewielkim ruchom głowy. – Miałam 13-miesięczną córkę, 8-letniego pasierba i męża. Od naszego ślubu minęło zaledwie 26 miesięcy.
Ann opisała też swoje odczucia podczas wspomnianego syndromu zamknięcia. Zaznaczyła, że była w pełni świadoma swojego jestestwa, miała pełne czucie, pięć działających zmysłów. Mimo to była zamknięta w ciele, które stało się swoistą klatką. Ciało przestało działać, nie działały żadne mięśnie. Nadeszły jednak cieplejsze momenty. Sparaliżowana kobieta po jakimś czasie nauczyła się samodzielnie oddychać, miała pełną swobodę ruchu szyi. Na jej twarzy znów zagościł uśmiech, pojawiały się łzy, mrugnięcia powiekami. Ann potrafi również powiedzieć kilka prostych słów.
Dzisiaj Ann pomaga naukowcom z Uniwersytetu Kalifornijskiego w San Francisco i z Berkley w opracowaniu nowej technologii mózgowo-komputerowej, która pewnego, pięknego dnia umożliwi osobom z podobnymi problemami komunikowanie się. W jaki sposób? Wszystko to ma się odbywać za pośrednictwem cyfrowego avatara, który wizualnie będzie przypominał tę osobę.
Jak działa system?
Po raz pierwszy w historii naukowcom udało się zsyntezować mowę lub mimikę na podstawie sygnałów mózgowych. Według doniesień system ma zdolność konwertowanie sygnałów na tekst z szybkością prawie osiemdziesięciu słów na minutę, stanowiąc tym samym ogromną różnicę w porównaniu do ledwie czternastu słów na minutę, które zapewnia kobiecie jej obecne urządzenie do komunikacji.
Edward Chang, lekarz medycyny i kierownik chirurgii neurologicznej na Uniwersytecie Kalifornijskim, od ponad dziesięciu lat zajmuje się technologią znanej jako interfejs mózg-komputer (ang. BCI – Brain-Computer Interface). Specjalista ma nadzieję, że to przełomowe badanie, które doczekało się publikacji w prestiżowym magazynie Nature w najbliższej przyszłości doprowadzi do zatwierdzonego przez amerykańską Agencję Żywności i Leków, FDA (ang. Food and Drug Administration).
Naszym celem jest przywrócenie pełnego, ucieleśnionego sposobu komunikowania się, który jest dla nas najbardziej naturalnym sposobem rozmawiania z innymi. – powiedział Chang, który jest członkiem Instytutu Neurologii Weill na Uniwersytecie Kalifornijskim i profesorem Jeanne Robertson.– Te postępy znacznie przybliżają nas do stworzenia realnego rozwiązania dla pacjentów.
Aby jednak dojść do takich efektów, Chang i jego zespół wszczepił cienki jak papier prostokąt składający się z 253 elektrod na powierzchnię mózgu kobiety. Elektrody ulokowano w tych obszarach, które według jego zespołu mają kluczowe znaczenie dla mowy. Te specjalne narzędzia przechwyciły sygnały mózgowe, które gdyby nie wcześniejsze, udarowe doświadczenia, dotarłyby do jej mięśni, języka, szczęki, krtani, a także do twarzy. Kabel podłączony do portu przymocowanego do jej głowy łączył elektrody z zespołem komputerów.
Sztuczna inteligencja i podejście naukowców
Na przestrzeni tygodni Ann wraz z zespołem naukowców współpracowała nad szkoleniem algorytmów sztucznej inteligencji systemu w zakresie rozpoznawania jej unikalnych sygnałów mózgowych na potrzeby mowy. Szkolenie wyglądało w tej sposób, że sparaliżowana kobieta powtarzała różne wyrażenia ze słownictwa konwersacyjnego. W skład wchodziły 1054 słowa, a zadaniem komputera było rozpoznanie wzorców aktywności mózgu powiązanych ze wszystkimi podstawowymi dźwiękami mowy.
Zespół naukowców, zamiast szkolić sztuczną inteligencję do rozpoznawania całych słów, stworzyli system, który dekoduje słowa z mniejszych elementów zwanych fonemami. Powołując się na encyklopedię PWN, pochodzenia słowa fonem należy szukać w języku greckim, a cytując „w psycholingwistyce fonem jest traktowany jako abstrakcja należąca do tzw. kompetencji językowej; funkcjonalno-semantyczna definicja opiera się na relacjach między formą fonetyczną a znaczeniem; wg koncepcji dystrybucyjnej fonem jest zbiorem głosek, między którymi nie zachodzą różnice dystynktywne”. Przekładając jednak na odrobinę prostszy język, są to podjednostki mowy tworzące słowa mówione w taki sposób, w jaki litery tworzą słowa pisane. Na przykład angielskojęzyczne słowo „hello” zawiera cztery fonemy „HH”, „AH”, „L”, i „OW”.
Wykorzystując opisane wyżej podejście, komputer musiał nauczyć się jedynie 39 fonemów, aby rozszyfrować dowolne sowo w języku angielskim. Cały zabieg zwiększył dokładność systemu i sprawiło, że był on trzykrotnie szybszy.
Jak dzisiaj brzmi głos Ann?
Dekoder tekstu został opracowany przez Sean’a Metzgera we współpracy z Alexem Silvą, absolwentami wspólnego programu bionżynierii na Uniwersytecie Kalifornijskim w Berkley i UCSF. Matzger wyznał, że dokładność, szybkość i słownictwo są kluczowe i to właśnie daje Ann możliwość komunikowania się niemal tak szybko jak my oraz prowadzenia znacznie bardziej naturalnych i normalnych rozmów.
Jak brzmi głos kobiety w formie opisanego narzędzia? Naukowcy odtworzyli głos Ann dzięki archiwalnym filmom z życia kobiety, w tym z jej ślubu. Ann słysząc swój głos po raz pierwszy, stwierdziła, że jest to niezwykle dziwne uczucie, podobne do tego, gdy spotykasz starego przyjaciela.
Kobieta wyznała, że nie może się doczekać, aż jej córka, która teraz ma osiemnaście lat, usłyszy w końcu jej „prawdziwy” głos. Nastolatka nie miała okazji zapamiętać głosu matki sprzed udaru, gdyż miała wtedy zaledwie rok. Dzisiaj bezosobowy głos z brytyjskim akcentem, może zostać zastąpiony jej własnym.
Oprócz odwzorowanego głosu zespół stworzył avatar Ann za pomocą oprogramowania symulującego i animującego ruchy mięśni twarzy. Opracowany przez Speech Graphics avatar stanowi część projektu, który również wykorzystuje sztuczną inteligencję. Jak czytamy na stronie Uniwersytetu „Naukowcy stworzyli dostosowane do indywidualnych potrzeb procesy uczenia maszynowego, które umożliwiły oprogramowaniu firmy połączenie się z sygnałami wysyłanymi z mózgu Ann, gdy próbowała mówić, i przekształcenie ich w ruchy twarzy jej awatara, powodując otwieranie i zamykanie szczęki, wychylanie warg i torebka i język poruszają się w górę i w dół, a także ruchy twarzy wyrażające szczęście, smutek i zaskoczenie”.
Naprawiamy połączenia między jej mózgiem a przewodem głosowym, które zostały przerwane przez udar. – powiedziała Kaylo Littlejohn, absolwentka współpracująca z Changiem i doktorem Gopala Anumanchipalli, profesorem inżynierii elektrycznej i informatyki na Uniwersytecie Kalifornijskim. Berkeley. – Kiedy Ann po raz pierwszy użyła tego systemu do mówienia i jednoczesnego poruszania twarzą awatara, wiedziałem, że to będzie coś, co będzie miało realny wpływ.
O ile całe badanie przyniosło wiele odkryć, zespół nie poprzestaje na dotychczasowych wynikach swojej pracy. Kolejnym istotnym krokiem dla zespołu jest stworzenie bezprzewodowej wersji urządzenia, która nie będzie wymagała fizycznego połączenia Ann z BCI. Dr David Moses, adiunkt w dziedzinie neurologicznej, podkreślił, że ważnym elementem w tworzeniu podobnych rozwiązań jest późniejszy wpływ na niezależność i interakcje społeczne.
Sparaliżowana kobieta zaczęła pomagać innym
Ann nie poddała się i postanowiła zainspirować innych swoimi doświadczeniami. Obecnie marzy o tym, by zostać doradczynią w ośrodku rehabilitacji fizycznej, pokazując, że życie z niepełnosprawnością nie musi spowalniać ani powstrzymywać od spełniania swoich marzeń.
Udział w tym badaniu dał mi poczucie celu, czuję, że wnoszę swój wkład w społeczeństwo. Czuję, jakbym znów miała pracę. To niesamowite, że przeżyłam tak długo. To badania pozwoliło mi naprawdę żyć, póki jeszcze żyję! – wyznała kobieta.
W 2021 roku kobieta usłyszała o sparaliżowanym mężczyźnie, który był uczestnikiem przełomowych badań nad interakcją mózgu i mowy. Pancho, bo tak się nazywał, pomógł zespołowi badawczemu dokonać skomplikowanego przekładu sygnałów z jego mózgu na tekst, podczas gdy próbował mówić. Mężczyzna wiele lat wcześniej przeżył udar pnia mózgu, co stawiało pod znakiem zapytania, czy jego mózg będzie zdolny do generowania sygnałów potrzebnych do mówienia.
Podczas realizowania tego niezwykłego projektu naukowcy odkryli, że nie wystarczy ot tak pomyśleć o słowach, które chcemy wypowiedzieć. Konieczne jest, aby osoba sparaliżowana faktycznie spróbowała je wypowiedzieć — tylko w takim przypadku system będzie w stanie odebrać odpowiednie sygnały i przekonwertować je na mowę.
Pancho jako pierwsza osoba na świecie żyjąca z paraliżem wykazała, że możliwe jest dekodowanie sygnałów z mózgu na pełne słowa. Badanie miało ogromny potencjał, aby zmienić życie wielu ludzi, którzy do tej pory byli pozbawieni możliwości komunikowania się w sposób werbalny z otaczającym ich światem.
Nowe badania udowadniają jednak więcej
O ile przytoczona powyżej historia Pancho była niezwykłym przełomem, ostatnie działania zespołu były nawet ciekawsze z punktu widzenia naukowego. Wcześniej wykazano, że możliwe jest dekodowanie sygnałów mózgowych na tekst u mężczyzny, który wiele lat wcześniej również doświadczył udaru. Obecne badanie określa się jednak jako bardziej ambitne, ponieważ wykazano, że dekodowanie sygnałów mózgowych na mowę wraz z ruchami animującymi twarz osoby podczas rozmowy jest równie prawdopodobne.
To było ekscytujące widzieć, jak od razu powiedziała: «Spróbujemy to zrobić», a potem zobaczyła, jak to się dzieje szybciej, niż ktokolwiek przypuszczał. – powiedział mąż Ann, Bill, który podróżował z nią z Kanady, aby być z nią podczas badania. – Wygląda na to, że naciskają na siebie nawzajem, aby zobaczyć, jak daleko mogą w tym zajść.
Przyszłość zaczyna się dzisiaj.