Spis treści:
- Generalizacja jest niezbędna w głębokim uczeniu się, aby zapewnić dokładne przewidywania na podstawie nowych danych. Uczenie się „zero-shot” pomaga to osiągnąć, umożliwiając sztucznej inteligencji wykorzystanie istniejącej wiedzy do tworzenia dokładnych przewidywań dotyczących nowych lub niewidocznych klas bez oznaczonych danych.
- Uczenie się od zera naśladuje sposób, w jaki ludzie uczą się i przetwarzają dane. Dostarczając dodatkowych informacji semantycznych, wstępnie wytrenowany model może dokładnie identyfikować nowe klasy, tak jak człowiek może nauczyć się identyfikować gitarę z wydrążonym korpusem, poznając jej cechy.
- Uczenie się od zera poprawia sztuczną inteligencję, poprawiając uogólnianie, skalowalność, ograniczając nadmierne dopasowanie i będąc opłacalnym. Umożliwia uczenie modeli na większych zbiorach danych, zdobywanie większej wiedzy poprzez uczenie się transferowe, lepsze zrozumienie kontekstu i zmniejszenie zapotrzebowania na obszerne, oznakowane dane. W miarę rozwoju sztucznej inteligencji uczenie się od zera stanie się jeszcze ważniejsze w stawianiu czoła złożonym wyzwaniom w różnych dziedzinach.
Jednym z największych celów głębokiego uczenia się jest uczenie modeli, które zdobyły wiedzę uogólnioną. Generalizacja jest niezbędna, ponieważ gwarantuje, że model nauczy się znaczących wzorców i będzie mógł dokonywać dokładnych przewidywań lub decyzji w obliczu nowych lub niewidocznych danych. Uczenie takich modeli często wymaga znacznej ilości oznakowanych danych. Jednakże uzyskanie takich danych może być kosztowne, pracochłonne, a czasami niemożliwe.
Aby wypełnić tę lukę, wdrożono uczenie się „zero-shot”, umożliwiając sztucznej inteligencji wykorzystanie istniejącej wiedzy do tworzenia dość dokładnych przewidywań pomimo braku oznakowanych danych.
Co to jest nauka zero-shot?
Uczenie się „zero-shot” to specyficzny rodzaj techniki uczenia się transferowego. Koncentruje się na wykorzystaniu wstępnie wytrenowanego modelu do identyfikowania nowych lub nigdy wcześniej nie widzianych klas, po prostu poprzez dostarczenie dodatkowych informacji opisujących szczegóły nowej klasy.
Wykorzystując ogólną wiedzę modelu na określone tematy i nadając mu dodatkową semantykę dotyczącą tego, czego szukać, powinien on być w stanie dość dokładnie określić, jaki temat ma zidentyfikować.
Powiedzmy, że musimy zidentyfikować zebrę. Nie mamy jednak modelu, który pozwoliłby zidentyfikować takie zwierzęta. Otrzymujemy więc wcześniej istniejący model, przeszkolony w identyfikowaniu koni i informowaniu modelu, że konie w czarno-białe paski to zebry. Kiedy zaczniemy wnioskować o modelu, dostarczając obrazy zebr i koni, istnieje duża szansa, że model poprawnie zidentyfikuje każde zwierzę.
Podobnie jak wiele technik głębokiego uczenia się, uczenie się od zera naśladuje sposób, w jaki ludzie uczą się i przetwarzają dane. Wiadomo, że ludzie są naturalnymi uczniami zero-shot. Jeśli w sklepie muzycznym polecono Ci znaleźć gitarę z wydrążonym korpusem, możesz mieć problemy ze znalezieniem takiej gitary. Ale kiedy powiem Ci, że pusty korpus to w zasadzie gitara z otworem w kształcie litery F po jednej lub obu stronach, prawdopodobnie natychmiast ją znajdziesz.
Jako przykład ze świata rzeczywistego użyjmy aplikacji do klasyfikacji zerowej, opracowanej przez witrynę hostingową LLM typu open source Hugging Face, przy użyciu modelu Clip-vit-large.
To zdjęcie przedstawia chleb w torbie na zakupy przywiązanej do wysokiego krzesełka. Ponieważ model został przeszkolony na dużym zbiorze danych obrazów, prawdopodobnie może zidentyfikować każdy przedmiot na zdjęciu, taki jak chleb, artykuły spożywcze, krzesła i pasy bezpieczeństwa.
Teraz chcemy, aby model sklasyfikował obraz przy użyciu wcześniej niewidocznych klas. W tym przypadku nowatorskimi lub niewidzialnymi zajęciami byłyby „Zrelaksowany chleb”, „Bezpieczny chleb”, „Chleb na siedząco”, „Prowadzenie sklepu spożywczego” i „Bezpieczny sklep spożywczy”.
Należy zauważyć, że celowo użyliśmy nietypowych, niewidocznych klas i obrazów, aby zademonstrować skuteczność klasyfikacji obrazu zerowego.
Po przeanalizowaniu modelu udało się sklasyfikować z około 80% pewnością, że najwłaściwszą klasyfikacją obrazu jest „Bezpieczny chleb”. Dzieje się tak prawdopodobnie dlatego, że modelka uważa, że wysokie krzesełko służy bardziej bezpieczeństwu niż siedzeniu, relaksowi czy prowadzeniu samochodu.
Wspaniały! Osobiście zgodziłbym się z wynikami modelu. Ale jak dokładnie model uzyskał taki wynik? Oto ogólne podejście do działania uczenia się od zera.
Jak działa uczenie się metodą zerową
Uczenie się od zera może pomóc wstępnie wyszkolonemu modelowi zidentyfikować nowe klasy bez dostarczania oznakowanych danych. W najprostszej formie uczenie się od zera odbywa się w trzech krokach:
1. Przygotowanie
Uczenie się od zera rozpoczyna się od przygotowania trzech typów danych
- Widziana klasa: dane używane do trenowania wstępnie wyszkolonego modelu. Model udostępnia już widziane klasy. Najlepsze modele do uczenia się od zera to modele trenowane na zajęciach ściśle powiązanych z nową klasą, którą model ma identyfikować.
- Klasa Unseen/Novel: Dane, które nigdy nie zostały użyte podczas uczenia modelu. Będziesz musiał sam zadbać o te dane, ponieważ nie możesz ich uzyskać z modelu.
- Dane semantyczne/pomocnicze: dodatkowe bity danych, które mogą pomóc modelowi zidentyfikować nową klasę. Mogą to być słowa, frazy, osadzanie słów lub nazwy klas.
2. Mapowanie semantyczne
Następnym krokiem jest zmapowanie cech niewidocznej klasy. Odbywa się to poprzez osadzanie słów i tworzenie mapy semantycznej, która łączy atrybuty lub cechy niewidocznej klasy z dostarczonymi danymi pomocniczymi. Uczenie się transferu AI znacznie przyspiesza ten proces, ponieważ wiele atrybutów związanych z niewidoczną klasą zostało już zmapowanych.
3. Wnioskowanie
Wnioskowanie to wykorzystanie modelu do generowania prognoz lub wyników. W przypadku klasyfikacji obrazów typu zero-shot osadzanie słów jest generowane na podstawie danego obrazu wejściowego, a następnie jest wykreślane i porównywane z danymi pomocniczymi. Poziom pewności będzie zależał od podobieństwa danych wejściowych i dostarczonych danych pomocniczych.
Jak nauka zero-shot poprawia sztuczną inteligencję
Uczenie się od zera ulepsza modele sztucznej inteligencji, rozwiązując kilka wyzwań związanych z uczeniem maszynowym, w tym:
- Ulepszona generalizacja: zmniejszenie zależności od danych oznaczonych etykietami pozwala na uczenie modeli w większych zestawach danych, poprawiając generalizację i czyniąc model bardziej solidnym i niezawodnym. W miarę jak modele staną się bardziej doświadczone i uogólnione, może nawet będzie możliwe, że nauczą się zdrowego rozsądku, a nie typowego sposobu analizowania informacji.
- Skalowalność: modele można stale szkolić i zdobywać większą wiedzę poprzez uczenie się transferowe. Firmy i niezależni badacze mogą stale udoskonalać swoje modele, aby w przyszłości zapewniać większe możliwości.
- Zmniejszone ryzyko nadmiernego dopasowania: Do nadmiernego dopasowania może dojść w wyniku uczenia modelu na małym zestawie danych, który nie zawiera wystarczającej różnorodności, aby reprezentować wszystkie możliwe dane wejściowe. Uczenie modelu poprzez uczenie się od zera zmniejsza ryzyko nadmiernego dopasowania poprzez szkolenie modelu w celu lepszego zrozumienia kontekstu tematów.
- Opłacalność: zapewnienie dużej ilości oznaczonych danych może wymagać czasu i zasobów. Korzystając z uczenia się metodą transferu zerowego, uczenie solidnego modelu można wykonać przy znacznie krótszym czasie i przy użyciu oznaczonych etykiet danych.
W miarę rozwoju sztucznej inteligencji techniki takie jak uczenie się od zera będą jeszcze ważniejsze.
Przyszłość uczenia się od zera
Uczenie się od zera stało się istotną częścią uczenia maszynowego. Umożliwia modelom rozpoznawanie i klasyfikowanie nowych klas bez wyraźnego szkolenia. Dzięki ciągłemu postępowi w architekturze modeli, podejściu opartym na atrybutach i integracji multimodalnej, uczenie się od zera może znacząco pomóc w zwiększeniu możliwości adaptacji modeli w celu sprostania złożonym wyzwaniom w robotyce, opiece zdrowotnej i wizji komputerowej.