Przyszłość pod znakiem sztucznej inteligencji już do nas zawitała. To nie jest moda ostatnich miesięcy!

Sztuczna inteligencja (ang. Artificial Intelligence, AI) to szeroka dziedzina zajmująca się wykorzystywaniem komputerów lub maszyn do wykonywania zadań, które zazwyczaj wymagają ludzkiej wiedzy. Imituje ona nasze kompetencje i umiejętności, w tym zdolność do rejestrowania bodźców, rozumowania, podejmowania interakcji i uczenia się, przy tym korzystając z aplikacji z elementami rozpoznawania głosu, przetwarzania języka naturalnego, komputerowego rozpoznawania obrazu, a w obszarze robotyki z planowania i optymalizacji ruchu oraz przechwytywania wiedzy.

Autor: Piotr Ciepiela, Globalny Lider Bezpieczeństwa Architektury i Nowoczesnych Technologii, Partner EY

Sztuczna inteligencja jest dziś obecna niemal we wszystkich obszarach naszego życia – od prowadzenia samochodu do zarządzania cyklem snu. Dlatego coraz więcej firm stara się budować jeszcze bardziej kompleksowe systemy urządzeń połączonych, aby w ten sposób skutecznie konkurować w zakresie doświadczenia klienta, obsługi zasobów fizycznych i doskonałości operacyjnej (ang. operational excellence). Jednocześnie, jak dowodzą badania, około 60% respondentów posiada sporą wiedzę na temat sztucznej inteligencji. W skali ostatnich pięciu lat jest to dwukrotny wzrost, który można tłumaczyć zwiększoną dostępnością urządzeń i usług opartych na AI, takich jak asystenci głosowi, technologie stosowane w smartfonach czy czatach. Równolegle jednak pojawiła się nieufność wobec rozwoju techniki. Ponad jedna trzecia badanych wyraziła sceptycyzm lub stwierdziła, że sztuczna inteligencja ich niepokoi.¹

Czy sztuczna inteligencja jest bezpieczna?

Sztuczna inteligencja może być w różnych branżach wykorzystywana do przyspieszania procesów i automatyzacji czasochłonnych zadań. W cyberbezpieczeństwie może być używana do naśladowania i symulowania potencjalnych zagrożeń oraz wykrywania słabych punktów w systemach komputerowych. Jednak rezygnacja z odpowiednich zabezpieczeń i bezkrytyczne poleganie na sztucznej inteligencji, która niczym magiczne lusterko ma odpowiadać na nasze pytania, może okazać się ryzykowne.

Jednym z głównych zagrożeń związanych z tworzeniem tego modelu jest stronniczość. Systemy o tej specyfice uczą się na podstawie danych. Jeśli dane zawierają uprzedzenia, model może je utrwalać. Na przykład niektóre systemy rozpoznawania twarzy AI okazały się „uprzedzone” wobec osób należących do niektórych ras lub płci, ponieważ zostały przeszkolone na niewystarczająco zróżnicowanych danych.

Innym problemem jest jakość danych wykorzystywanych do trenowania tych modeli. Niska jakość może także skutkować niedokładnymi lub stronniczymi wynikami, co może mieć poważne konsekwencje w takich sektorach, jak opieka zdrowotna czy finanse.

W procesie tworzenia modeli sztucznej inteligencji istotne znaczenie mają również kwestie związane z bezpieczeństwem i prywatnością. Do szkolenia systemów AI potrzebne są duże wolumeny danych, które mogą zawierać informacje o charakterze wrażliwym. Jeśli zatem w systemach czy modelach opartych na sztucznej inteligencji nie wdrożymy z wyprzedzeniem odpowiednich środków bezpieczeństwa, może dochodzić do wycieków danych lub naruszeń prywatności, co prowadzi do poważnego ryzyka oraz strat.

I wreszcie, w przypadku niektórych modeli problematyczna jest nieumiejętność wyjaśnienia mechanizmu ich działania. Nawet twórcom AI coraz trudniej jest tłumaczyć, jak ona działa i dlaczego generuje takie, a nie inne wyniki. Jest to spowodowane złożonością sztucznej inteligencji: głębokie sieci neuronowe, składające się z kolejnych warstw systemów przetwarzania, są szkolone na danych stworzonych przez człowieka, aby osiągnąć zdolność naśladowania sieci neuronowych znajdujących się w ludzkich mózgach.

W rezultacie sposób działania systemów sztucznej inteligencji, zwłaszcza tych opartych na uczeniu maszynowym (ang. machine learning), może być dla nas niejasny. Jeśli dodamy do tego fakt, że proces budowania i wykorzystywania modeli uczenia maszynowego w dużej mierze uzależniony jest od danych, które na każdym jego etapie mogą stać się przedmiotem nieuprawnionej ingerencji – uświadomimy sobie, jak ważne jest zapewnienie bezpieczeństwa tej technologii.

Luki w zabezpieczeniach danych i modeli aplikacji AI

Oprócz powszechnie znanych i omawianych na różnych forach zagrożeń związanych ze stronniczością danych i nieumiejętnością wyjaśnienia działania algorytmu, istnieje zupełnie nowy obszar cyberbezpieczeństwa, dotyczący słabych punktów związanych z tworzeniem i stosowaniem rozwiązań opartych na sztucznej inteligencji. Zagrożenia te rzadko są przedmiotem dyskusji, a jednak stwarzają poważne ryzyko w kontekście praktycznych zastosowań zaawansowanych modeli i technologii. Starając się dostarczać coraz większą wartość i bardziej zaawansowane rozwiązania codziennych problemów, specjaliści ds. danych muszą kłaść nacisk na jakość procesu tworzenia i szkolenia sztucznych sieci neuronowych, a zaniechania na tym polu prowadzą do nieoczekiwanych, czasem wręcz niebezpiecznych sytuacji.

Zidentyfikowaliśmy pięć istotnych zagrożeń dla technologii AI związanych z cyberbezpieczeństwem, o których powinni wiedzieć programiści i specjaliści ds. danych. Uświadomienie sobie tych zagrożeń jest szczególnie ważne zwłaszcza dzisiaj, gdy obserwujemy gwałtowny wzrost liczby nowych zastosowań sztucznej inteligencji, a narzędzia i technologie służące do budowania i trenowania modeli – takie jak zautomatyzowane uczenie maszynowe lub programowanie low-code – stają się coraz bardziej dostępne dla mniej doświadczonych i świadomych zespołów i programistów:

Zniekształcenia danych (Data Elusion)

Modele AI powstają z myślą o konkretnych zastosowaniach. Dane użyte do wytrenowania modelu pozwalają nam wierzyć, że sztuczna inteligencja poprawnie i precyzyjnie zinterpretuje informacje pozyskiwane z realnego świata. Jednak nie zawsze tak się dzieje – dla wielu modeli można opracować takie dane wejściowe, które pozwolą wprowadzić go w błąd. Dotyczy to rozpoznawania obrazów i głosu, ale także danych o charakterze przemysłowym. Badacze udowodnili, że czasami nawet niewielka, całkowicie niezauważalna dla ludzkiego oka modyfikacja danych wizualnych może zupełnie zmienić wyniki generowane przez model rozpoznawania obrazu. Dobrze znanym przykładem takiego zjawiska jest sytuacja, w której odpowiednio rozmieszczone naklejki sprawiają, że funkcja wykrywania sygnalizacji drogowej komputera pokładowego Tesli Model S myli znak „Stop” ze znakiem informującym o dodatkowym pasie ruchu. W realiach ruchu drogowego taka błędna interpretacja najprawdopodobniej spowodowałaby poważne zagrożenie dla kierowcy.

Odwrócenie danych (Data Reversal)

Budując model ukierunkowany na konkretną funkcję – o zastosowaniu komercyjnym, przemysłowym lub innym – często w procesie szkolenia korzystamy ze zbioru danych, zawierającego informacje poufne, które powinny podlegać ochronie. Ponieważ taki zbiór danych jest wykorzystywany wyłącznie na potrzeby szkolenia, często uważamy, że wystarczy go odpowiednio zabezpieczyć i nie upubliczniać. Niestety, nie zawsze jest to prawda. Badając zachowanie modelu na podstawie wielu przetwarzanych danych, możliwe jest przeprowadzenie inżynierii wstecznej modelu i pozyskanie użytych do jego wytrenowania danych, które mogą mieć charakter wrażliwy lub poufny. Dotyczy to zwłaszcza zastosowań przemysłowych, ale także rozwiązań dla inteligentnych miast (ang. smart cities) lub innych newralgicznych obszarów (w tym związanych z bezpieczeństwem fizycznym lub cybernetycznym). Odwrócenie modelu pozwala uzyskać nowe dane wizualne ujawniające wrażliwe informacje, które powinny pozostać chronione. Oprócz nieuprawnionego dostępu do danych technika ta pozwala również na dalsze badanie zachowania modelu w celu wykorzystania zniekształconych danych do skłonienia modelu do wygenerowania niepożądanych wyników.

Kradzież modelu (Model Stealing)

Metoda odwrócenia danych stanowi zagrożenie dla danych wykorzystywanych w procesie szkolenia modelu oraz dla niego samego. Hakerzy mogą przeprowadzić inżynierię wsteczną zachowania modelu i wykorzystać uzyskane w ten sposób informacje do opracowania strategii ataku, która zadziała na dany przypadek. Wyobraźmy sobie połączenie tego mechanizmu z podatnością modeli na manipulację danymi i możliwością wpływania na ich zachowanie poprzez nieznaczną zmianę obrazu lub głosu. Takie podejście pozwoliłoby na opracowanie strategii umożliwiającej wyrządzenie realnych szkód np. poprzez modyfikację znaków drogowych w mieście. Groziłoby również utratą cennej własności intelektualnej związanej z samym modelem AI i danymi, na których pracuje, na przykład opatentowanym procesem przemysłowym, dokumentacją medyczną pacjentów lub innymi wrażliwymi informacjami, których nieuprawnione wykorzystanie mogłoby przynieść szkodę przedsiębiorstwom lub konkretnym osobom. Kluczowe znaczenie ma fakt, że przestępca może korzystać z modelu bez konieczności jego fizycznej kradzieży – może go odtworzyć, po prostu go używając.

Zatruwanie danych (Data Poisoning)

Uczenie modeli w trybie online staje się coraz bardziej popularne, ponieważ często przynosi doskonałe wyniki, zwłaszcza jeśli wiąże się z wchodzeniem w interakcje z ludźmi. Jednak w przypadku modeli, które wykorzystują nowe dane wejściowe lub interakcję z użytkownikiem do uczenia się nowych rzeczy mamy do czynienia z istotnym zagrożeniem. Brak możliwości dokładnego prześledzenia procesu uczenia się modelu prowadzi do sytuacji, w której poprzez zmianę danych wykorzystywanych do szkolenia go, atakujący może zmodyfikować model sztucznej inteligencji/uczenia maszynowego, wpływając na generowane przez niego wyniki. Tak stało się w przypadku niesławnego chatbota Microsoftu – Tay. Według przedstawicieli Microsoftu, dzięki interakcjom z ludźmi Tay miał stawać się mądrzejszy, ucząc się nawiązywać z nimi kontakt poprzez „swobodną i dowcipną rozmowę”. Użytkownicy Twittera potrzebowali niespełna 24 godzin, aby zdeprawować niewinnego chatbota AI, zaszczepiając mu rasizm, seksizm i wiele innych kontrowersyjnych poglądów. Obróciło to eksperyment Microsoftu w ponury żart, ale jednocześnie zrodziło poważne pytanie o bezpieczeństwo. 

Wnioskowanie o przynależności (Membership interference)

Mając do dyspozycji model uczenia maszynowego i rekord danych, można ustalić, czy dany rekord został wcześniej wykorzystany jako część zbioru danych szkoleniowych, czy też nie, nawet jeśli dostęp do modelu osoby atakującej jest ograniczony do zapytań typu „czarna skrzynka”. Skuteczność tej techniki zademonstrowano wobec modeli wyszkolonych przy użyciu rozwiązań „uczenia maszynowego jako usługi” (Machine Learning As a Service – MaaS), takich jak Amazon ML i Google Prediction API, ujawniając kolejny sposób na odtworzenie potencjalnie poufnych danych źródłowych z wykorzystaniem praktycznie wyłącznie modeli typu machine learning. Stanowi to kolejny przykład zagrożenia związanego z pozyskiwaniem informacji potencjalnie poufnych, w tym również danych osobowych pozwalając dla przykładu na identyfikację czy dane osobowe typu imię i nazwisko czy numer dowodu osobistego/paszportu znalazły się w zbiorze danych wykorzystanym do uczenia modelu, przez co ujawniając czy dana osoba korzystała z danej usługi, czy miejsca – na przykład szpitala.

Badacze i specjaliści ds. danych wzywają organy regulacyjne do podjęcia prac na rzecz standaryzacji niektórych procedur i procesów, co pozwoliłoby stworzyć odpowiednie normy i zalecenia. Choć poczyniono już w tym kierunku pierwsze kroki, konieczne są dalsze działania. Jako przykład inicjatyw podejmowanych w tym obszarze można wskazać „Akt Unii Europejskiej w sprawie sztucznej inteligencji” (ang. „European Union AI Act”). Akt ten koncentruje się co prawda w większym stopniu na aspektach dotyczących etycznego i zgodnego z prawem wykorzystania technologii, niż na samym jej bezpieczeństwie, jednak stanowi krok we właściwym kierunku, ponieważ przynajmniej dąży do ograniczenia potencjalnych szkód, jakie sztuczna inteligencja może wyrządzić w naszym codziennym życiu. Mimo to wciąż pozostaje wiele do zrobienia, by zwiększyć powszechną świadomość, że rozwój sztucznej inteligencji wraz z wszystkimi możliwościami, jakie przed nami otwiera, stwarza również zagrożenia, które powinniśmy mieć na uwadze.

Dostosowane do potrzeb mechanizmy obrony

Jak poradzić sobie z istniejącymi zagrożeniami? Trudno się dziwić, że nie istnieje jedna, sprawdzona metoda. Dysponujemy jednak szeregiem narzędzi i technik stworzonych do różnych celów, które mogą znacznie ograniczyć ryzyko i zwiększyć poziom zaufania do rozwiązań opartych na AI. Większość omówionych poniżej technik wywodzi się z branży wytwarzania oprogramowania i inżynierii danych, jest znana, popularna i została sprawdzona na przestrzeni wielu lat użytkowania, a także może błyskawicznie znaleźć zastosowanie w procesie rozwoju sztucznej inteligencji.

Chroń swoje dane 

Ponieważ dane stanowią siłę napędową świata AI, powinny być bezwzględnie chronione. Na poziomie krajowym i międzynarodowym istnieją standardy i najlepsze praktyki w zakresie zabezpieczania danych analitycznych pochodzących z otwartych źródeł (ang. Open-Source Intelligence, OSINT) oraz innych danych wrażliwych lub prywatnych. Zbiory danych wykorzystywane do szkolenia modeli mogą być podpisywane za pomocą podpisu cyfrowego – istniejącej już technologii, która chroni dane przed złośliwymi modyfikacjami, a nawet zwykłymi błędami. Dane powinny być objęte ochroną od źródła ich pochodzenia (z uwzględnieniem kalibracji czujników mających za zadanie zapewnić, że pobierane są właściwe wartości) przez cały proces przetwarzania i przechowywania. Ze względu na złożoność i trudność w wyjaśnianiu modeli AI, już sam fakt, że ktoś miał dostęp do danych i mógł zmienić dowolną informację, sprawia, że cały zestaw staje się bezużyteczny, a jego wykorzystanie potencjalnie niebezpieczne. 

Wprowadź bezpieczne praktyki programowania 

Chronić musimy nie tylko dane, ale i sam model. Bezpieczne metody tworzenia oprogramowania są znane od dawna i znajdują zastosowanie w wielu branżach i dziedzinach. Powszechnie stosowane i dostępne są między innymi techniki bezpiecznego kodowania, modelowania zagrożeń, testowania bezpieczeństwa czy ciągłej integracji i wdrażania. Mają one na celu wykrywanie i zapobieganie powstawaniu w oprogramowaniu luk i słabych punktów, które mogłyby zostać wykorzystane przez atakujących, prowadząc do zagrożenia danych, systemów oraz do innego rodzaju incydentów związanych z bezpieczeństwem. Metody te można w razie potrzeby rozwijać, aby uwzględnić specyficzne aspekty bezpieczeństwa sztucznej inteligencji, jak na przykład projektowanie systemów uczenia maszynowego pod kątem kryminalistyki.

Łańcuch dostaw oprogramowania i zestawienie komponentów oprogramowania (SBOM) 

Łańcuch dostaw oprogramowania i zestawienie komponentów oprogramowania (ang. Software Supply Chain and Software Bill of Materials, SBOM) to wytyczne amerykańskiego Narodowego Instytutu Norm i Technologii (ang. National Institute of Standards and Technology, NIST), które mogą być szczególnie przydatne w kontekście słabych punktów uczenia maszynowego. Odnoszą się do procesów i działań związanych z opracowywaniem, wytwarzaniem i dystrybucją oprogramowania, w tym także do różnych komponentów oprogramowania, bibliotek i narzędzi przeznaczonych do projektowania i utrzymywania aplikacji. Łańcuch dostaw oprogramowania może obejmować wiele podmiotów – producentów, programistów, integratorów i użytkowników – co jest zjawiskiem naturalnym dla procesu rozwoju modeli sztucznej inteligencji. SBOM zyskuje coraz większe znaczenie w procesie tworzenia oprogramowania i zarządzania łańcuchem dostaw, zwłaszcza w branżach podlegających surowym wymogom regulacyjnym lub przetwarzających informacje o charakterze wrażliwym. Na przykład rząd federalny Stanów Zjednoczonych wydał niedawno zarządzenie zobowiązujące agencje federalne do tworzenia i aktualizowania SBOM dla wszystkich kupowanych lub tworzonych przez nie programów. Zarządzanie cyklem życia oprogramowania może okazać się szczególnie przydatne w kontekście kontroli tworzenia kodu, zestawów danych i procesów szkoleniowych oraz zapewnienia przestrzegania procedur i wykluczenia ingerencji osób trzecich.

Testy, weryfikacja i operacje Red Team 

To niewątpliwie najważniejsze z omawianych tutaj rozwiązań. Żadne ulepszenie procesu rozwoju ani żadna technika nie może zastąpić odpowiedniego testowania. W sugerowanych przez NIST minimalnych wymaganiach dotyczących testowania oprogramowania przedstawiono jedenaście metodologii weryfikacji. Według instytutu uczenie maszynowe lub kod sieci neuronowych (ang. neural net code) należą do tych rodzajów oprogramowania, które oprócz zalecanych minimalnych standardów wymagają zastosowania specjalistycznych procedur testowych. Wśród najważniejszych zaleceń dla rozwiązań opartych na sztucznej inteligencji znalazły się:

Testowanie jakości danych: Testowanie danych wykorzystywanych do trenowania modelu uczenia maszynowego pod kątem jakości i dokładności ma kluczowe znaczenie.

• Testowanie wydajności: Modele uczenia maszynowego muszą być testowane między innymi pod kątem dokładności, precyzji, przywołania i wyniku F1 (ang. F1-score).
• Testowanie kontradyktoryjne: Polega ono na sprawdzeniu poprawności działania modelu uczenia maszynowego w konfrontacji z celowo spreparowanymi danymi wejściowymi, które mają spowodować uzyskanie określonego wyniku lub niepowodzenia.
• Testowanie odporności: Modele uczenia maszynowego muszą być testowane pod kątem solidności i odporności na różne dane wejściowe, zwłaszcza spoza danych szkoleniowych.
• Testowanie interpretowalności: Modele uczenia maszynowego mogą być złożone i trudne w interpretacji. Dlatego niezbędne są testy interpretowalności modelu pozwalające zrozumieć, w jaki sposób podejmuje on decyzje, jak i zidentyfikować ewentualne uprzedzenia lub nieścisłości.
• Dodatkowe testy obejmują operacje typu „Red Teaming” wykonywane przez specjalne zespoły symulujące rzeczywiste ataki na model. Zadaniem takich zespołów jest podjąć ofensywną próbę złamania systemów i zmuszenia ich do naruszenia zasad właściwego zachowania.

Omawiane zagrożenia nie są jedynie hipotetyczne. Połączenie wielu czynników – od złożoności technologii po brak bezpieczeństwa danych – niesie ze sobą poważne konsekwencje, zwłaszcza że AI coraz głębiej przenika do naszego codziennego życia, z czego sami często nie zdajemy sobie sprawy. Wadliwe modele uczenia maszynowego mogą mieć wpływ na nasze decyzje zakupowe, bezpieczeństwo samochodów czy elektrowni jądrowych. Pilnie potrzebujemy rozsądnych przepisów i wytycznych standaryzujących proces, dzięki któremu sztuczna inteligencja stałaby się bezpieczną technologią. Jednak już teraz, zdając sobie sprawę z zagrożenia oraz stosując narzędzia i techniki, które mamy pod ręką, możemy znacznie poprawić poziom jej bezpieczeństwa.

1. Badanie Ipsos – w Global Opinions and Expectations about AI, 2022. ↩︎