Jak często polegasz na chatbotach lub botach opartych na sztucznej inteligencji (AI), aby wykonać pracę lub odpowiedzieć na pytania?
Jeśli Twoja odpowiedź brzmi „dużo!” lub „cały czas!”, masz powód do zmartwień😟.
Niezależnie od tego, czy jesteś studentem naukowym korzystającym z botów AI do wyszukiwania dokumentów, czy programistą próbującym wygenerować kody wyłącznie przy użyciu sztucznej inteligencji, ryzyko niedokładności w wynikach generowanych przez sztuczną inteligencję jest dość wysokie – głównie z powodu niespójności lub urojeniowych danych w AI dane treningowe.
Chociaż modele sztucznej inteligencji i uczenia maszynowego (ML) zmieniają świat – przejmując zbędne zadania i rozwiązując wiele problemów za pomocą automatyzacji, nadal jest wiele do zrobienia, jeśli chodzi o generowanie dokładnych wyników na podstawie dostarczonych podpowiedzi.
Jeśli poświęcisz wystarczająco dużo czasu na korzystanie z generatorów treści i chatbotów, wkrótce zorientujesz się, że otrzymujesz fałszywe, nieistotne lub po prostu zmyślone odpowiedzi. Przypadki te nazywane są halucynacjami lub konfabulacjami AI i okazują się być ogromnym problemem dla organizacji i osób korzystających z generatywnych botów AI.
Niezależnie od tego, czy doświadczyłeś halucynacji AI, czy nie i chcesz dowiedzieć się więcej, w tym artykule szczegółowo omawiamy ten temat. Zobaczymy, co oznacza halucynacja AI, dlaczego tak się dzieje, przykłady i czy można to naprawić.
Chodźmy!
Spis treści:
Co to jest halucynacja AI?
Halucynacja sztucznej inteligencji ma miejsce, gdy model sztucznej inteligencji lub model wielkojęzykowy (LLM) generuje fałszywe, niedokładne lub nielogiczne informacje. Model sztucznej inteligencji generuje pewną odpowiedź, która tak naprawdę nie pasuje do danych szkoleniowych ani nie jest z nimi zgodna, i przedstawia dane jako fakt, pomimo braku logicznego sensu i rozumowania!
A mówią, że błądzić jest rzeczą ludzką!😅
Narzędzia i modele AI, takie jak ChatGPT, są zazwyczaj szkolone w zakresie przewidywania słów, które najlepiej pasują do zadawanego zapytania. Chociaż boty często generują oparte na faktach i dokładne odpowiedzi, czasami ten algorytm powoduje, że brakuje im rozumowania, co sprawia, że chatboty wypluwają niespójności z faktami i fałszywe stwierdzenia.
Innymi słowy, modele sztucznej inteligencji czasami „halucynują” reakcję, próbując zadowolić Ciebie (użytkownika) – muszą być bardziej stronnicze, częściowe, wyspecjalizowane lub wystarczające.
Halucynacje AI mogą się różnić – od drobnych niespójności po całkowicie fałszywe lub sfabrykowane reakcje. Oto rodzaje halucynacji AI, których możesz doświadczyć:
#1. Sprzeczność zdań: Dzieje się tak, gdy model LLM generuje zdanie, które całkowicie zaprzecza wcześniej stwierdzonemu zdaniu.
#2. Faktyczna sprzeczność: ten rodzaj halucynacji występuje, gdy model sztucznej inteligencji przedstawia fałszywe lub fikcyjne informacje jako fakt.
#3. Natychmiastowa sprzeczność: ten typ halucynacji ma miejsce, gdy wynik jest sprzeczny z podpowiedzią, dla której generuje wynik. Na przykład, jeśli pojawi się monit „Napisz zaproszenie dla moich znajomych na moje przyjęcie urodzinowe”. Model może generować dane wyjściowe typu „Wszystkiego najlepszego, mamo i tato”.
#4. Losowe lub nieistotne halucynacje: Ta halucynacja ma miejsce, gdy model generuje całkowicie nieistotne dane wyjściowe dla danego podpowiedzi. Na przykład, jeśli pytanie brzmi: „Co jest specjalnego w Nowym Jorku?” Możesz otrzymać wiadomość mówiącą: „Nowy Jork jest jednym z najbardziej zatłoczonych miast w Ameryce. Psy to najbardziej lojalne zwierzęta i najlepszy przyjaciel człowieka.
Przeczytaj także: Jak generatywne wyszukiwanie AI zmienia wyszukiwarki
Przykłady halucynacji AI
Halucynacje AI mają kilka najbardziej godnych uwagi przykładów i zdarzeń, których nie można przeoczyć. Oto niesławne przykłady halucynacji AI:
- Chatbot Google, Bard, fałszywie twierdził, że Kosmiczny Teleskop Jamesa Webba wykonał pierwsze na świecie zdjęcia egzoplanety, która nie należy do naszego Układu Słonecznego.
- Wersja demonstracyjna Meta Galactica LLM z 2022 r., przeznaczona dla studentów i badaczy nauki, dostarczyła użytkownikom niedokładne informacje i fałszywy artykuł, gdy pojawiła się zachęta do sporządzenia artykułu na temat tworzenia awatarów.
Oto przykład halucynacyjnej odpowiedzi Google Barda, gdy podałem mu zachętę: „Opowiedz mi historię o płaczących gwiazdach”, która tak naprawdę nie istnieje.
Oto kolejny przetestowany przykład chatGPT (GPT-3.5) wywołujący halucynacje podczas rozmowy o nierealistycznej osobie, panu Benie, kiedy dałem mu pytanie: „Opowiedz mi dzień z życia superbohatera, pana Bena, który chodzi po wodę, rozmawia z psami i kontroluje życie”.
ChatGPT dosłownie spisał cały dzień, od rana do wieczora, rutynę pana Bena, który tak naprawdę nie istnieje, ale grał zgodnie z podpowiedziami, które mu podano, co jest jedną z przyczyn halucynacji AI.
Mów o tym, że jestem zbyt szczęśliwy, żeby cię zadowolić!
Cóż, jakie są powody, spójrzmy na jeszcze kilka powodów, które powodują halucynacje AI.
Dlaczego występują halucynacje AI?
Istnieje kilka technicznych przyczyn i przyczyn halucynacji AI. Oto niektóre z możliwych przyczyn:
- Niska jakość, niewystarczające lub nieaktualne dane: modele LLM i AI w dużym stopniu opierają się na danych szkoleniowych. Dlatego są tak dobre, jak dane, na których są szkolone. Jeśli narzędzie AI zawiera błędy, niespójności, stronniczość lub nieefektywność w danych szkoleniowych lub jeśli po prostu nie rozumie zadanego monitu, spowoduje to halucynacje AI, ponieważ narzędzie generuje dane wyjściowe z ograniczonego zestawu danych.
- Nadmierne dopasowanie: wyszkolony na ograniczonym zbiorze danych model sztucznej inteligencji może próbować zapamiętać podpowiedzi i odpowiednie wyniki, co uniemożliwia mu skuteczne generowanie lub uogólnianie nowych danych, co prowadzi do halucynacji sztucznej inteligencji.
- Kontekst wejściowy: halucynacje AI mogą również wystąpić z powodu niejasnych, niedokładnych, niespójnych lub sprzecznych podpowiedzi. Chociaż zbiór danych szkoleniowych modelu AI nie znajduje się w rękach użytkowników, dane wejściowe, które wprowadzają jako monit, już tak. Dlatego niezwykle ważne jest zapewnienie jasnych podpowiedzi, aby uniknąć halucynacji AI.
- Używanie idiomów lub wyrażeń slangowych: Jeśli podpowiedź składa się z idiomów lub slangu, istnieje duże ryzyko halucynacji AI, szczególnie jeśli model nie jest przeszkolony w zakresie takich słów lub wyrażeń slangowych.
- Ataki kontradyktoryjne: osoby atakujące czasami celowo wprowadzają podpowiedzi mające na celu zmylenie modeli sztucznej inteligencji, uszkodzenie ich danych szkoleniowych i wywołanie halucynacji sztucznej inteligencji.
Negatywne konsekwencje halucynacji AI
Halucynacje związane ze sztuczną inteligencją stanowią poważny problem etyczny, mający poważne konsekwencje dla osób i organizacji. Oto różne powody, które sprawiają, że halucynacje AI są poważnym problemem:
- Rozpowszechnianie dezinformacji: halucynacje sztucznej inteligencji spowodowane nieprawidłowymi podpowiedziami lub niespójnościami w danych szkoleniowych mogą prowadzić do masowego rozprzestrzeniania się dezinformacji, dotykając szerokiego spektrum osób, organizacji i agencji rządowych.
- Nieufność wśród użytkowników: Kiedy dezinformacja wywołana sztuczną inteligencją rozprzestrzenia się błyskawicznie w Internecie, sprawiając, że wygląda na wiarygodną i napisaną przez człowieka, podważa to zaufanie użytkownika, utrudniając mu zaufanie do informacji w Internecie.
- Szkoda użytkownika: Oprócz obaw etycznych i wprowadzania w błąd osób, halucynacje sztucznej inteligencji mogą również potencjalnie zaszkodzić ludziom poprzez rozpowszechnianie dezinformacji na temat poważnych problemów i tematów, takich jak choroby i sposoby ich leczenia lub proste wskazówki, jak odróżnić śmiertelnie trujący grzyb jadalny od zdrowego. Nawet niewielka dezinformacja lub niedokładność może zagrozić życiu człowieka.
Najlepsze praktyki w wykrywaniu halucynacji AI i zapobieganiu im
Patrząc na powyższe negatywne konsekwencje halucynacji AI, zapobieganie im jest kluczowe za wszelką cenę. Chociaż firmy będące właścicielami tych modeli sztucznej inteligencji rygorystycznie pracują nad wyeliminowaniem lub ograniczeniem halucynacji związanych ze sztuczną inteligencją, z naszej strony podejmujemy wszelkie środki, ponieważ użytkownicy mają ogromne znaczenie.
W oparciu o drobne badania, moje doświadczenie oraz metodę prób i błędów, opracowałem kilka strategii pozwalających wykryć halucynacje AI i zapobiec im przy następnym użyciu chatbota lub interakcji z modelem dużego języka (LLM).
#1. Korzystaj z reprezentatywnych i zróżnicowanych danych szkoleniowych
Dla użytkownika niezwykle ważne jest korzystanie z LLM ze zróżnicowanym zestawem danych szkoleniowych, który reprezentuje świat rzeczywisty, zmniejszając prawdopodobieństwo, że wyniki będą stronnicze, niedokładne lub zmyślone.
Jednocześnie właściciele firm muszą regularnie aktualizować i rozszerzać zbiory danych szkoleniowych modelu sztucznej inteligencji, aby uwzględniać i otrzymywać aktualne informacje na temat zmieniających się wydarzeń kulturalnych, politycznych i innych.
#2. Ogranicz wyniki lub reakcje
Jako użytkownik możesz ograniczyć liczbę potencjalnych odpowiedzi, jakie może wygenerować narzędzie AI, wyświetlając mu specjalny monit o typ żądanej odpowiedzi.
Na przykład możesz zadać pytanie i nakazać modelowi, aby odpowiedział tylko tak lub nie. Możesz także dać wiele możliwości wyboru narzędzia w wierszu zachęty, ograniczając możliwość odchylenia się od rzeczywistej odpowiedzi i wystąpienia halucynacji.
Kiedy zadałem ChatGPT GPT 3.5 pytanie, na które można odpowiedzieć „tak” lub „nie”, dokładnie wygenerowało to następujący wynik:
#3. Spakuj i ugruntuj model odpowiednimi danymi
Nie można oczekiwać, że człowiek zapewni rozwiązanie konkretnego problemu lub pytania bez wcześniejszej wiedzy lub podania określonego kontekstu. Podobnie model sztucznej inteligencji jest tak dobry, jak zestaw danych szkoleniowych, który do niego wprowadzono.
Uziemianie lub pakowanie danych szkoleniowych modelu sztucznej inteligencji w odpowiednie i specyficzne dla branży dane i informacje zapewnia modelowi dodatkowy kontekst i punkty danych. Ten dodatkowy kontekst pomaga modelowi sztucznej inteligencji zwiększyć jego zrozumienie, umożliwiając mu generowanie dokładnych, rozsądnych i kontekstowych odpowiedzi zamiast odpowiedzi halucynacyjnych.
#4. Twórz szablony danych, na których będzie oparty model AI
Dostarczenie szablonu danych lub przykładu określonej formuły bądź obliczenia we wstępnie zdefiniowanym formacie może w znacznym stopniu pomóc modelowi sztucznej inteligencji w generowaniu dokładnych odpowiedzi zgodnych z zalecanymi wytycznymi.
Opieranie się na wytycznych i szablonach danych zmniejsza prawdopodobieństwo wystąpienia halucynacji przez modele AI oraz zapewnia spójność i dokładność generowanych odpowiedzi. Zatem dostarczenie modelu referencyjnego w formie tabeli lub przykładu może faktycznie pomóc modelowi AI w obliczeniach, eliminując przypadki halucynacji.
#5. Bądź bardzo konkretny w swoich podpowiedziach, przypisując modelowi określoną rolę
Przypisanie konkretnych ról modelowi AI to jeden z najgenialniejszych i najskuteczniejszych sposobów zapobiegania halucynacjom. Możesz na przykład podać podpowiedzi typu „Jesteś doświadczonym i utalentowanym gitarzystą” lub „Jesteś genialnym matematykiem”, a następnie podać konkretne pytanie.
Przypisywanie ról prowadzi model do udzielenia żądanej odpowiedzi zamiast wymyślonych halucynacyjnych odpowiedzi.
I nie martw się. Nadal możesz bawić się sztuczną inteligencją (nieważne halucynacje). Sprawdź, jak samodzielnie stworzyć wirusową grafikę spiralną AI!
#6. Sprawdź to za pomocą temperatury
Temperatura odgrywa kluczową rolę w określaniu stopnia halucynacji lub kreatywnych reakcji, jakie może wygenerować model sztucznej inteligencji.
Podczas gdy niższa temperatura zazwyczaj oznacza deterministyczne lub przewidywalne wyniki, wyższa temperatura oznacza, że model sztucznej inteligencji z większym prawdopodobieństwem będzie generował losowe reakcje i halucynacje.
Kilka firm zajmujących się sztuczną inteligencją udostępnia pasek lub suwak „Temperatura” wraz ze swoimi narzędziami, dzięki którym użytkownicy mogą dostosować ustawienia temperatury zgodnie z własnymi upodobaniami.
Jednocześnie firmy mogą również ustawić domyślną temperaturę, umożliwiając narzędziu generowanie rozsądnych reakcji i osiągnięcie właściwej równowagi między dokładnością a kreatywnością.
#7. Zawsze sprawdzaj
I wreszcie poleganie w 100% na wynikach generowanych przez sztuczną inteligencję bez podwójnego sprawdzania lub sprawdzania faktów nie jest mądrym posunięciem.
Chociaż firmy i badacze zajmujący się sztuczną inteligencją rozwiązują problem halucynacji i opracowują modele, które zapobiegają temu problemowi, jako użytkownik niezwykle ważne jest zweryfikowanie odpowiedzi generowanych przez model sztucznej inteligencji przed użyciem lub całkowitym uwierzeniem w niego.
Tak więc, korzystając z wyżej wymienionych najlepszych praktyk, począwszy od opracowania podpowiedzi ze specyfikacjami po dodanie do podpowiedzi przykładów w celu poprowadzenia sztucznej inteligencji, należy zawsze zweryfikować i sprawdzić wyniki generowane przez model sztucznej inteligencji.
Czy możesz całkowicie naprawić lub usunąć halucynacje AI? Opinia eksperta
Chociaż kontrolowanie halucynacji AI zależy od podpowiedzi, jakie jej dostarczamy, czasami model generuje dane wyjściowe z taką pewnością, że trudno jest rozróżnić, co jest fałszywe, a co prawdą.
Czy ostatecznie można całkowicie naprawić halucynacje AI lub im zapobiec?
Kiedy zadano to pytanieSuresh Venkatasubramanian, profesor Uniwersytetu Browna, odpowiedział, że to, czy halucynacjom AI można zapobiec, czy nie, jest „punktem aktywnych badań”.
Wyjaśnił dalej, że przyczyną tego jest natura modeli sztucznej inteligencji – to, jak złożone, zawiłe i delikatne są te modele. Nawet niewielka zmiana we wprowadzonych danych może znacząco zmienić wyniki.
Podczas gdy Venkatasubramanian uważa rozwiązanie problemu halucynacji AI za punkt badań, Jevin West, profesor Uniwersytetu Waszyngtońskiego i współzałożyciel Centrum Informacji Publicznej, uważa, że halucynacje AI nigdy nie znikną.
West uważa, że niemożliwe jest odtworzenie halucynacji wywoływanych przez boty lub chatboty AI. Dlatego halucynacje AI mogą zawsze występować jako nieodłączna cecha AI.
Co więcej, Sundar Pichai, dyrektor generalny Google, powiedział w: wywiad dla CBS że wszyscy korzystający ze sztucznej inteligencji borykają się z halucynacjami, a mimo to nikt w branży nie rozwiązał jeszcze problemu halucynacji. Prawie wszystkie modele AI borykają się z tym problemem. Następnie stwierdził i zapewnił, że dziedzina sztucznej inteligencji wkrótce osiągnie postęp, jeśli chodzi o przezwyciężanie halucynacji związanych ze sztuczną inteligencją.
W tym samym czasie Sam Altman, dyrektor generalny OpenAI, twórcy ChatGPT, odwiedził indyjski Instytut Technologii Informatycznych Indraprastha w Delhi w czerwcu 2023 r., gdzie zauważył, że problem halucynacji AI będzie znacznie lepszy za półtora roku, aby dwa lata.
Dodał dalej, że model będzie wymagał poznania różnicy między dokładnością a kreatywnością oraz tego, kiedy należy użyć jednego, a drugiego.
Podsumowanie
Halucynacje związane ze sztuczną inteligencją cieszą się w ostatnich latach dużym zainteresowaniem i stanowią przedmiot zainteresowania firm i badaczy, którzy starają się rozwiązać i przezwyciężyć ten problem tak wcześnie, jak to możliwe.
Chociaż sztuczna inteligencja poczyniła niezwykłe postępy, nie jest odporna na błędy, a problem halucynacji związanych ze sztuczną inteligencją stwarza poważne wyzwania dla kilku osób i branż, w tym opieki zdrowotnej, tworzenia treści i przemysłu motoryzacyjnego.
Chociaż badacze wykonują swoją część, naszym obowiązkiem, jako użytkowników, jest również dostarczanie konkretnych i dokładnych podpowiedzi, dodawanie przykładów i dostarczanie szablonów danych w celu wykorzystania prawidłowych i rozsądnych odpowiedzi, unikania majstrowania przy danych szkoleniowych modelu sztucznej inteligencji i zapobiegania halucynacjom.
Nawet jeśli halucynacje AI można całkowicie wyleczyć lub naprawić, nadal pozostaje pytanie; Osobiście wierzę, że jest nadzieja i że możemy w dalszym ciągu korzystać z systemów sztucznej inteligencji, aby w sposób odpowiedzialny i bezpieczny przynosić światu korzyści.
Następnie przykłady sztucznej inteligencji (AI) w naszym codziennym życiu.