Czym jest NPU i jakie ma zastosowania w laptopach?

W dzisiejszym świecie technologii, po CPU i GPU, NPU (jednostka przetwarzania neuronowego) staje się nowym hitem, a wiele firm stara się wykorzystać moc NPU, aby dostarczać innowacyjne funkcje związane z generatywną sztuczną inteligencją. Laptopy Copilot+ wyposażone są w procesory Qualcomm Snapdragon serii X, które zawierają potężne NPU, zdolne do wykonywania do 45 TOPS (bilionów operacji na sekundę). Apple wprowadza nowy silnik neuronowy, który również osiąga do 38 TOPS. Intel i AMD są gotowe do wprowadzenia swoich następnych generacji NPU na platformach Lunar Lake (48 TOPS) i Strix Point (50 TOPS). Z tak dużym zainteresowaniem wokół NPU, pojawia się pytanie: co to jest NPU i co dokładnie potrafi? W tym artykule przyjrzymy się bliżej NPU, jego funkcjom oraz zastosowaniom.

Czym jest NPU?

NPU, czyli Neural Processing Unit, to jednostka zaprojektowana specjalnie do wykonywania zadań związanych ze sztuczną inteligencją. NPU potrafi przetwarzać sieci neuronowe, zadania uczenia maszynowego oraz obciążenia związane z AI. W kontekście zadań AI, istotne są pewne typy obliczeń matematycznych, w tym operacje mnożenia macierzy (znane również jako 'matmul’). NPUs są zaprojektowane tak, aby te operacje wykonywać niezwykle szybko.

Dodatkowo, w przypadku każdego zadania związanego z AI, przetwarzanie równoległe ma kluczowe znaczenie, ponieważ sieci neuronowe przetwarzają wiele operacji jednocześnie. Dlatego NPU posiadają specjalistyczne akceleratory, które odblokowują równoległość na dużą skalę. Połączone z pamięcią o dużej przepustowości, NPU szybko wykonują równoległe operacje matmul na wielu rdzeniach.

Podsumowując, NPU są zaprojektowane specjalnie do zadań AI, gdzie kluczowe znaczenie ma odblokowywanie równoległości, szybkie wykonywanie operacji matmul oraz możliwość skalowania. Warto zauważyć, że różne firmy nazywają NPU inaczej. Google nazywa je TPU (jednostka przetwarzania tensora), a Apple nazywa swoim silnikiem neuronowym.

Jak NPU różni się od CPU i GPU?

NPU, w przeciwieństwie do CPU, który jest wszechstronną jednostką przetwarzającą, jest zaprojektowane specjalnie do zadań związanych z AI. CPU obsługuje różnorodne zadania, takie jak operacje systemowe i aplikacje, ale jest mniej wydajne w zadaniach równoległych. Z drugiej strony, GPU są zaprojektowane do renderowania grafiki, co czyni je idealnymi do gier i symulacji. GPU mogą również wykonywać operacje związane z AI, ale NPU, zaprojektowane wyłącznie do takich operacji, osiągają lepsze wyniki pod względem szybkości i efektywności.

W początkowych czasach komputerów, gdy nie istniały GPU ani NPU, CPU obsługiwało grafikę za pomocą renderowania programowego. Z postępem technologii w latach 90. wprowadzono GPU, które przejęły ten proces. Dziś jesteśmy świadkami rozwoju NPU, które są odpowiedzią na potrzeby współczesnych zadań obliczeniowych.

Jakie są zastosowania NPU w laptopach?

Początkowo NPUs, jako specjalizowane akceleratory sprzętowe AI, były wykorzystywane przez duże firmy do przetwarzania równoległego. Obecnie, również w produktach konsumenckich, takich jak laptopy i smartfony, znajdują zastosowanie NPUs. Przykładem są nowoczesne laptopy Copilot+ od Microsoftu, które posiadają potężne NPU, zdolne do obsługi funkcji takich jak Recall, która już wkrótce zadebiutuje w nadchodzących miesiącach.

Recall wykonuje zrzuty ekranu, przetwarza dane na urządzeniu przy użyciu NPU i tworzy indeks wektorowy. Gdyby dane przetwarzał CPU lub GPU, poważnie wpłynęłoby to na czas pracy na baterii. Dzięki dedykowanemu NPU AI operacje są wykonywane efektywnie, nie obciążając przy tym baterii oraz CPU lub GPU.

Podobnie, dedykowane NPU są odpowiedzialne za energię wielu funkcji, takich jak Cocreator w MS Paint, generowanie obrazów w aplikacji Zdjęcia, usuwanie tła z klipów wideo, stosowanie efektów wizualnych za pomocą Magic Mask w DaVinci Resolve, podnoszenie jakości klatek w grach, wdrażanie efektów Windows Studio, generowanie tłumaczenia w czasie rzeczywistym i wiele innych.

Z czasem zastosowanie NPUs tylko się zwiększy, uwalniając CPU i GPU od obciążających zadań, co przyczyni się do szybszego i bardziej efektywnego działania urządzenia.

Na przykład Apple korzysta ze swojego silnika neuronowego, aby zasilać wiele funkcji inteligencji Apple w systemach iOS, iPadOS i macOS. Modele AI działające na urządzeniach wykorzystują silnik neuronowy do podsumowywania e-maili, priorytetowania powiadomień, generowania podsumowań nagrań rozmów, tworzenia obrazów i nie tylko. Nowy Siri również wykorzystuje silnik neuronowy do przetwarzania wielu zadań związanych z AI.

Podsumowanie

W skrócie, NPU to nowy akcelerator sprzętowy, który otwiera nowe możliwości w erze sztucznej inteligencji. To zaledwie początek, a nowe aplikacje i doświadczenia oparte na NPU będą możliwe w najbliższej przyszłości.