Dane są nieodzowną częścią firm i organizacji i mają wartość tylko wtedy, gdy mają odpowiednią strukturę i są efektywnie zarządzane.
Według statystyk 95% firm ma obecnie problem z zarządzaniem i strukturą nieustrukturyzowanych danych.
W tym miejscu pojawia się eksploracja danych. Jest to proces odkrywania, analizowania i wydobywania znaczących wzorców i cennych informacji z dużych zestawów nieustrukturyzowanych danych.
Firmy używają oprogramowania do identyfikowania wzorców w dużych partiach danych, aby dowiedzieć się więcej o swoich klientach i docelowych odbiorcach oraz opracować strategie biznesowe i marketingowe w celu poprawy sprzedaży i obniżenia kosztów.
Poza tą korzyścią najważniejszymi zastosowaniami eksploracji danych są wykrywanie oszustw i anomalii.
W tym artykule wyjaśniono wykrywanie anomalii i dokładniej zbadano, w jaki sposób może ono pomóc w zapobieganiu naruszeniom danych i włamaniom do sieci w celu zapewnienia bezpieczeństwa danych.
Spis treści:
Co to jest wykrywanie anomalii i jakie są jego rodzaje?
Podczas gdy eksploracja danych obejmuje znajdowanie wzorców, korelacji i trendów, które łączą się ze sobą, jest to świetny sposób na znajdowanie anomalii lub odstających punktów danych w sieci.
Anomalie w eksploracji danych to punkty danych, które różnią się od innych punktów danych w zbiorze danych i odbiegają od normalnego wzorca zachowania zestawu danych.
Anomalie można podzielić na różne typy i kategorie, w tym:
- Zmiany w wydarzeniach: odnoszą się do nagłych lub systematycznych zmian w stosunku do poprzedniego normalnego zachowania.
- Wartości odstające: Małe nieprawidłowe wzorce pojawiające się w sposób niesystematyczny podczas gromadzenia danych. Można je dalej podzielić na wartości odstające globalne, kontekstowe i zbiorowe.
- Dryfy: Stopniowa, jednokierunkowa i długoterminowa zmiana w zbiorze danych.
W związku z tym wykrywanie anomalii jest techniką przetwarzania danych bardzo przydatną do wykrywania nieuczciwych transakcji, obsługi studiów przypadku z niezrównoważeniem wysokiej klasy oraz wykrywania chorób w celu tworzenia solidnych modeli nauki o danych.
Na przykład firma może chcieć przeanalizować swoje przepływy pieniężne, aby znaleźć nietypowe lub powtarzające się transakcje na nieznanym koncie bankowym w celu wykrycia oszustwa i przeprowadzenia dalszego dochodzenia.
Korzyści z wykrywania anomalii
Wykrywanie anomalii w zachowaniu użytkowników pomaga wzmocnić systemy bezpieczeństwa oraz czyni je bardziej precyzyjnymi i dokładnymi.
Analizuje i nadaje sens różnorodnym informacjom dostarczanym przez systemy bezpieczeństwa w celu identyfikacji zagrożeń i potencjalnych zagrożeń w sieci.
Oto zalety wykrywania anomalii dla firm:
- Wykrywanie w czasie rzeczywistym zagrożeń bezpieczeństwa cybernetycznego i naruszeń danych, ponieważ algorytmy sztucznej inteligencji (AI) nieustannie skanują Twoje dane w celu znalezienia nietypowych zachowań.
- Sprawia, że śledzenie nietypowych działań i wzorców jest szybsze i łatwiejsze niż ręczne wykrywanie anomalii, zmniejszając nakład pracy i czas potrzebny do rozwiązania zagrożeń.
- Minimalizuje ryzyko operacyjne, identyfikując błędy operacyjne, takie jak nagłe spadki wydajności, zanim one wystąpią.
- Pomaga wyeliminować poważne szkody biznesowe, szybko wykrywając anomalie, ponieważ bez systemu wykrywania anomalii firmy mogą potrzebować tygodni, a nawet miesięcy na zidentyfikowanie potencjalnych zagrożeń.
W związku z tym wykrywanie anomalii jest ogromnym atutem dla firm przechowujących obszerne zbiory danych klientów i danych biznesowych w celu znajdowania możliwości rozwoju i eliminowania zagrożeń bezpieczeństwa oraz wąskich gardeł operacyjnych.
Techniki wykrywania anomalii
Wykrywanie anomalii wykorzystuje kilka procedur i algorytmów uczenia maszynowego (ML) do monitorowania danych i wykrywania zagrożeń.
Oto główne techniki wykrywania anomalii:
# 1. Techniki uczenia maszynowego
Techniki uczenia maszynowego wykorzystują algorytmy uczenia maszynowego do analizowania danych i wykrywania anomalii. Różne typy algorytmów uczenia maszynowego do wykrywania anomalii obejmują:
- Algorytmy klastrowania
- Algorytmy klasyfikacji
- Algorytmy głębokiego uczenia
Powszechnie stosowane techniki uczenia maszynowego do wykrywania anomalii i zagrożeń obejmują maszyny wektorów nośnych (SVM), grupowanie k-średnich i autoenkodery.
#2. Techniki statystyczne
Techniki statystyczne wykorzystują modele statystyczne do wykrywania nietypowych wzorców (takich jak nietypowe wahania wydajności określonej maszyny) w danych w celu wykrywania wartości wykraczających poza zakres wartości oczekiwanych.
Typowe techniki wykrywania anomalii statystycznych obejmują testowanie hipotez, IQR, wynik Z, zmodyfikowany wynik Z, oszacowanie gęstości, wykres pudełkowy, analizę wartości ekstremalnych i histogram.
#3. Techniki eksploracji danych
Techniki eksploracji danych wykorzystują techniki klasyfikacji i grupowania danych w celu znalezienia anomalii w zbiorze danych. Niektóre popularne techniki eksploracji danych obejmują klastrowanie widmowe, klastrowanie oparte na gęstości i analizę głównych składowych.
Algorytmy klastrowania danych eksploracji służą do grupowania różnych punktów danych w klastry na podstawie ich podobieństwa w celu znajdowania punktów danych i anomalii wykraczających poza te klastry.
Z drugiej strony algorytmy klasyfikacji przydzielają punkty danych do określonych predefiniowanych klas i wykrywają punkty danych, które nie należą do tych klas.
#4. Techniki oparte na regułach
Jak sama nazwa wskazuje, techniki wykrywania anomalii oparte na regułach wykorzystują zestaw z góry określonych reguł do znajdowania anomalii w danych.
Techniki te są stosunkowo łatwiejsze i prostsze w konfiguracji, ale mogą być nieelastyczne i mogą nie być wydajne w dostosowywaniu się do zmieniających się zachowań i wzorców danych.
Na przykład można łatwo zaprogramować system oparty na regułach, aby oznaczał transakcje przekraczające określoną kwotę dolara jako oszukańcze.
#5. Techniki specyficzne dla domeny
Możesz użyć technik specyficznych dla domeny, aby wykryć anomalie w określonych systemach danych. Jednak chociaż mogą być bardzo skuteczne w wykrywaniu anomalii w określonych domenach, mogą być mniej wydajne w innych domenach poza określoną.
Na przykład, używając technik specyficznych dla domeny, możesz zaprojektować techniki specjalnie do wyszukiwania anomalii w transakcjach finansowych. Mogą jednak nie działać w przypadku wykrywania anomalii lub spadków wydajności w maszynie.
Potrzeba uczenia maszynowego do wykrywania anomalii
Uczenie maszynowe jest bardzo ważne i bardzo przydatne w wykrywaniu anomalii.
Obecnie większość firm i organizacji wymagających wykrywania wartości odstających ma do czynienia z ogromnymi ilościami danych, od tekstu, informacji o klientach i transakcjach po pliki multimedialne, takie jak obrazy i treści wideo.
Ręczne przeglądanie wszystkich transakcji bankowych i danych generowanych co sekundę w celu uzyskania sensownego wglądu jest prawie niemożliwe. Ponadto większość firm boryka się z wyzwaniami i poważnymi trudnościami związanymi z ustrukturyzowaniem nieustrukturyzowanych danych i uporządkowaniem danych w zrozumiały sposób do analizy danych.
To tutaj narzędzia i techniki, takie jak uczenie maszynowe (ML), odgrywają ogromną rolę w gromadzeniu, czyszczeniu, strukturyzacji, organizowaniu, analizowaniu i przechowywaniu ogromnych ilości nieustrukturyzowanych danych.
Techniki i algorytmy uczenia maszynowego przetwarzają duże zbiory danych i zapewniają elastyczność w stosowaniu i łączeniu różnych technik i algorytmów w celu uzyskania najlepszych wyników.
Poza tym uczenie maszynowe pomaga również usprawnić procesy wykrywania anomalii w rzeczywistych aplikacjach i oszczędza cenne zasoby.
Oto kilka dodatkowych korzyści i znaczenia uczenia maszynowego w wykrywaniu anomalii:
- Ułatwia skalowanie wykrywania anomalii poprzez automatyzację identyfikacji wzorców i anomalii bez konieczności jawnego programowania.
- Algorytmy uczenia maszynowego można w dużym stopniu dostosować do zmieniających się wzorców zestawów danych, dzięki czemu są one bardzo wydajne i niezawodne w czasie.
- Z łatwością obsługuje duże i złożone zestawy danych, dzięki czemu wykrywanie anomalii jest wydajne pomimo złożoności zestawu danych.
- Zapewnia wczesną identyfikację i wykrywanie anomalii, identyfikując anomalie na bieżąco, oszczędzając czas i zasoby.
- Systemy wykrywania anomalii oparte na uczeniu maszynowym pomagają osiągnąć wyższy poziom dokładności w wykrywaniu anomalii w porównaniu z tradycyjnymi metodami.
W ten sposób wykrywanie anomalii w połączeniu z uczeniem maszynowym pomaga szybciej i wcześniej wykrywać anomalie, aby zapobiegać zagrożeniom bezpieczeństwa i złośliwym naruszeniom.
Algorytmy uczenia maszynowego do wykrywania anomalii
Możesz wykrywać anomalie i wartości odstające w danych za pomocą różnych algorytmów eksploracji danych do klasyfikacji, grupowania lub uczenia się reguł asocjacyjnych.
Zazwyczaj te algorytmy eksploracji danych są podzielone na dwie różne kategorie — nadzorowane i nienadzorowane algorytmy uczenia się.
Nadzorowana nauka
Uczenie nadzorowane to powszechny rodzaj algorytmu uczenia się, który składa się z algorytmów, takich jak maszyny wektorów nośnych, regresja logistyczna i liniowa oraz klasyfikacja wieloklasowa. Ten typ algorytmu jest szkolony na danych z etykietami, co oznacza, że jego zestaw danych szkoleniowych zawiera zarówno normalne dane wejściowe, jak i odpowiednie poprawne dane wyjściowe lub przykłady anomalii w celu skonstruowania modelu predykcyjnego.
Dlatego jego celem jest tworzenie prognoz wyjściowych dla niewidocznych i nowych danych w oparciu o wzorce zestawu danych szkoleniowych. Zastosowania algorytmów uczenia nadzorowanego obejmują rozpoznawanie obrazu i mowy, modelowanie predykcyjne i przetwarzanie języka naturalnego (NLP).
Uczenie się bez nadzoru
Uczenie bez nadzoru nie jest trenowane na żadnych oznaczonych danych. Zamiast tego odkrywa skomplikowane procesy i leżące u ich podstaw struktury danych bez dostarczania wskazówek dotyczących algorytmu szkoleniowego i zamiast dokonywania konkretnych prognoz.
Zastosowania algorytmów uczenia bez nadzoru obejmują wykrywanie anomalii, szacowanie gęstości i kompresję danych.
Teraz przyjrzyjmy się niektórym popularnym algorytmom wykrywania anomalii opartym na uczeniu maszynowym.
Lokalny współczynnik odstający (LOF)
Lokalny współczynnik odstający lub LOF to algorytm wykrywania anomalii, który uwzględnia gęstość danych lokalnych w celu określenia, czy punkt danych jest anomalią.
Źródło: scikit-learn.org
Porównuje lokalną gęstość elementu z lokalnymi gęstościami jego sąsiadów, aby przeanalizować obszary o podobnej gęstości i przedmioty o stosunkowo niższej gęstości niż ich sąsiedzi – które są niczym innym jak anomaliami lub wartościami odstającymi.
Zatem, mówiąc prościej, gęstość otaczająca element odstający lub anomalny różni się od gęstości wokół jego sąsiadów. Dlatego ten algorytm jest również nazywany algorytmem wykrywania wartości odstających opartym na gęstości.
K-najbliższy sąsiad (K-NN)
K-NN to najprostszy algorytm klasyfikacji i nadzorowanego wykrywania anomalii, który jest łatwy do wdrożenia, przechowuje wszystkie dostępne przykłady i dane oraz klasyfikuje nowe przykłady na podstawie podobieństw w metrykach odległości.
Źródło: w kierunkudatascience.com
Ten algorytm klasyfikacji jest również nazywany leniwym uczniem, ponieważ przechowuje tylko oznaczone dane treningowe — nie robiąc nic innego podczas procesu uczenia.
Gdy nadejdzie nowy nieoznaczony punkt danych treningowych, algorytm sprawdza K-najbliższe lub najbliższe punkty danych treningowych, aby użyć ich do sklasyfikowania i określenia klasy nowego nieoznakowanego punktu danych.
Algorytm K-NN wykorzystuje następujące metody wykrywania w celu określenia najbliższych punktów danych:
- Odległość euklidesowa do pomiaru odległości dla danych ciągłych.
- Odległość Hamminga do pomiaru bliskości lub „bliskości” dwóch ciągów tekstowych dla danych dyskretnych.
Załóżmy na przykład, że twoje zestawy danych treningowych składają się z dwóch etykiet klas, A i B. Jeśli pojawi się nowy punkt danych, algorytm obliczy odległość między nowym punktem danych a każdym z punktów danych w zbiorze danych i wybierze punkty których liczba jest najbliższa nowemu punktowi danych.
Załóżmy więc, że K=3, a 2 z 3 punktów danych są oznaczone jako A, wtedy nowy punkt danych jest oznaczony jako klasa A.
Dlatego algorytm K-NN najlepiej sprawdza się w dynamicznych środowiskach z częstymi wymaganiami dotyczącymi aktualizacji danych.
Jest to popularny algorytm wykrywania anomalii i eksploracji tekstu z aplikacjami w finansach i biznesie do wykrywania nieuczciwych transakcji i zwiększania wskaźnika wykrywania oszustw.
Maszyna wektorów nośnych (SVM)
Maszyna wektorów nośnych to nadzorowany algorytm wykrywania anomalii oparty na uczeniu maszynowym, używany głównie w problemach regresji i klasyfikacji.
Wykorzystuje wielowymiarową hiperpłaszczyznę do segregacji danych na dwie grupy (nowe i normalne). Zatem hiperpłaszczyzna działa jako granica decyzyjna, która oddziela normalne obserwacje danych od nowych danych.
Źródło: www.analyticsvidhya.com
Odległość między tymi dwoma punktami danych jest określana jako marginesy.
Ponieważ celem jest zwiększenie odległości między dwoma punktami, SVM określa najlepszą lub optymalną hiperpłaszczyznę z maksymalnym marginesem, aby odległość między dwiema klasami była jak największa.
Jeśli chodzi o wykrywanie anomalii, SVM oblicza margines obserwacji nowego punktu danych z hiperpłaszczyzny, aby go sklasyfikować.
Jeśli margines przekracza ustalony próg, nowa obserwacja jest klasyfikowana jako anomalia. Jednocześnie, jeśli margines jest mniejszy niż próg, obserwacja jest klasyfikowana jako normalna.
Dzięki temu algorytmy SVM są bardzo wydajne w obsłudze wielowymiarowych i złożonych zestawów danych.
Las izolacji
Isolation Forest to nienadzorowany algorytm wykrywania anomalii oparty na uczeniu maszynowym oparty na koncepcji losowego klasyfikatora lasu.
Źródło: Betterprogramming.pub
Algorytm ten przetwarza losowo podpróbkowane dane w zbiorze danych w strukturze drzewa na podstawie losowych atrybutów. Konstruuje kilka drzew decyzyjnych w celu wyizolowania obserwacji. I uważa konkretną obserwację za anomalię, jeśli jest izolowana na mniejszej liczbie drzew w oparciu o stopień zanieczyszczenia.
Tak więc, mówiąc prościej, algorytm lasu izolacyjnego dzieli punkty danych na różne drzewa decyzyjne — zapewniając, że każda obserwacja jest odizolowana od innej.
Anomalie zazwyczaj leżą poza klastrem punktów danych, co ułatwia identyfikację anomalii w porównaniu do normalnych punktów danych.
Algorytmy lasu izolacyjnego mogą z łatwością obsługiwać dane kategorialne i liczbowe. W rezultacie można je szybciej trenować i są bardzo wydajne w wykrywaniu wielowymiarowych i dużych anomalii w zbiorach danych.
Zakres międzykwartylowy
Rozstęp międzykwartylowy lub IQR służy do pomiaru zmienności statystycznej lub rozproszenia statystycznego w celu znalezienia punktów anomalii w zbiorach danych poprzez podzielenie ich na kwartyle.
źródło: morioh.com
Algorytm sortuje dane w porządku rosnącym i dzieli zbiór na cztery równe części. Wartości oddzielające te części to Q1, Q2 i Q3 — pierwszy, drugi i trzeci kwartyl.
Oto rozkład percentylowy tych kwartyli:
- Q1 oznacza 25 percentyl danych.
- Q2 oznacza 50. percentyl danych.
- Q3 oznacza 75. percentyl danych.
IQR to różnica między trzecim (75.) a pierwszym (25.) percentylem zestawem danych, reprezentującym 50% danych.
Używanie IQR do wykrywania anomalii wymaga obliczenia IQR zestawu danych i zdefiniowania dolnej i górnej granicy danych w celu znalezienia anomalii.
- Dolna granica: Q1 – 1,5 * IQR
- Górna granica: Q3 + 1,5 * IQR
Zazwyczaj obserwacje wykraczające poza te granice są uważane za anomalie.
Algorytm IQR jest skuteczny w przypadku zestawów danych z nierównomiernie rozłożonymi danymi i których rozkład nie jest dobrze zrozumiany.
Ostatnie słowa
Ryzyka związane z cyberbezpieczeństwem i naruszenia bezpieczeństwa danych nie wydają się ograniczać w nadchodzących latach — i oczekuje się, że ta ryzykowna branża będzie się dalej rozwijać w 2023 r., a same ataki cybernetyczne IoT mają się podwoić do 2025 r.
Co więcej, do 2025 roku cyberprzestępstwa będą kosztować globalne firmy i organizacje około 10,3 bilionów dolarów rocznie.
Właśnie dlatego potrzeba technik wykrywania anomalii staje się dziś coraz bardziej powszechna i niezbędna do wykrywania oszustw i zapobiegania włamaniom do sieci.
Ten artykuł pomoże Ci zrozumieć, czym są anomalie w eksploracji danych, różne typy anomalii i sposoby zapobiegania włamaniom do sieci za pomocą technik wykrywania anomalii opartych na uczeniu maszynowym.
Następnie możesz zbadać wszystko na temat macierzy nieporozumień w uczeniu maszynowym.