Apache Kafka to usługa przesyłania strumieniowego wiadomości, która umożliwia różnym aplikacjom w systemie rozproszonym komunikację i udostępnianie danych za pośrednictwem wiadomości.
Funkcjonuje jako pub/podsystem, w którym aplikacje producentów publikują komunikaty, a systemy konsumenckie je subskrybują.
Apache Kafka umożliwia przyjęcie luźno powiązanej architektury między częściami systemu, które wytwarzają i zużywają dane. Ułatwia to projektowanie i zarządzanie systemem. Kafka polega na Zookeeper w zakresie zarządzania metadanymi i synchronizacji różnych elementów klastra.
Spis treści:
Cechy Apache Kafki
Apache Kafka stał się popularny między innymi dlatego, że jest
- Skalowalność poprzez klastry i partycje
- Szybki zdolny do wykonywania 2 milionów zapisów na sekundę
- Zachowuje kolejność wysyłania wiadomości
- Niezawodny dzięki systemowi replik
- Można go aktualizować bez przestojów
Przyjrzyjmy się teraz niektórym typowym przypadkom użycia Kafki.
Typowe przypadki użycia Apache Kafka
Kafka jest często używana do przetwarzania dużych zbiorów danych, rejestrowania i agregowania zdarzeń, takich jak kliknięcia przycisków w celu analizy oraz łączenia dzienników z różnych części systemu w jedną centralną lokalizację.
Pomaga w umożliwieniu komunikacji pomiędzy różnymi aplikacjami w systemie oraz przetwarzaniu w czasie rzeczywistym danych z urządzeń IoT.
Teraz sprawdźmy szczegółowe kroki instalacji Kafki w systemach Windows i Linux.
Instalowanie Kafki w systemie Windows
Najpierw sprawdź, czy na komputerze jest zainstalowana Java, aby zainstalować Apache Kafka w systemie Windows. Otwórz wiersz polecenia w trybie administratora i wprowadź polecenie:
java --version
Jeśli zainstalowana jest Java, powinieneś uzyskać numer aktualnie zainstalowanej wersji JDK.
Jeśli pojawi się komunikat o błędzie informujący, że polecenie nie zostało rozpoznane, oznacza to, że Java nie została zainstalowana i należy ją zainstalować. Aby zainstalować Javę, przejdź do Adoptium.net i kliknij przycisk pobierania.
To powinno pobrać plik instalatora Java. Po zakończeniu pobierania uruchom instalator. To powinno otworzyć monit instalacji.
Naciśnij kilkakrotnie Dalej, aby wybrać opcje domyślne. Następnie instalacja powinna się rozpocząć. Sprawdź instalację, zamykając wiersz polecenia, otwierając ponownie inny wiersz polecenia w trybie administratora i wprowadzając polecenie:
java --version
Tym razem powinieneś otrzymać właśnie zainstalowaną wersję JDK. Po zakończeniu instalacji możemy rozpocząć instalację Kafki.
Aby zainstalować Kafkę, najpierw przejdź do strony internetowej Kafki.
Kliknij łącze, które powinno przenieść Cię na stronę pobierania. Pobierz najnowsze dostępne pliki binarne.
Spowoduje to pobranie skryptów i plików binarnych Kafki spakowanych w pliku .tgz. Po pobraniu należy rozpakować pliki z archiwum .tgz. Aby wyodrębnić, użyję programu WinZip, który można pobrać ze strony internetowej WinZip.
Po wyodrębnieniu pliku przenieś go do C: tak, aby ścieżka do pliku stała się C: kafka
Następnie otwórz wiersz polecenia w trybie administratora i uruchom Zookeeper, przechodząc najpierw do katalogu Kafka. Oraz uruchomienie pliku zookeeper-server-start.bat z zookeeper.properties jako plikiem konfiguracyjnym
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Gdy Zookeeper działa, musimy dodać plik wykonywalny wmic, którego Kafka używa w naszym systemie PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Następnie uruchom serwer Apache Kafka, otwierając kolejną sesję wiersza polecenia w trybie administratora i przechodząc do folderu C: kafka
cd C:kafka
Następnie uruchom Kafkę, uruchamiając
binwindowskafka-server-start.bat configserver.properties
Dzięki temu Kafka powinien działać. Można dostosować właściwości serwera, na przykład miejsce zapisywania dzienników w pliku server.properties.
Instalowanie Kafki w systemie Linux
Najpierw upewnij się, że system jest aktualny, aktualizując wszystkie pakiety
sudo apt update && sudo apt upgrade
Następnie sprawdź, czy Java jest zainstalowana na twoim komputerze, uruchamiając
java --version
Jeśli zainstalowana jest Java, zobaczysz numer wersji. Jeśli jednak nie jest, możesz go zainstalować za pomocą apt.
sudo apt install default-jdk
Następnie możemy zainstalować Apache Kafka, pobierając pliki binarne ze strony internetowej.
Otwórz terminal i przejdź do folderu, w którym zapisano pobieranie. W moim przypadku muszę przejść do folderu Pobrane.
cd Downloads
W folderze pobierania rozpakuj pobrane pliki za pomocą tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Przejdź do wyodrębnionego folderu
cd kafka_2.13-3.3.1.tgz
Wypisz katalogi i pliki.
W folderze uruchom serwer Zookeeper, uruchamiając skrypt zookeeper-server-start.sh znajdujący się w katalogu bin wyodrębnionego folderu.
Skrypt będzie wymagał pliku konfiguracyjnego Zookeepera. Domyślny plik nazywa się zookeeper.properties i znajduje się w podkatalogu config.
Aby więc uruchomić serwer, użyj polecenia:
bin/zookeeper-server-start.sh config/zookeeper.properties
Przy uruchomionym Zookeeperze możemy uruchomić serwer Apache Kafka. Skrypt kafka-server-start.sh również znajduje się w katalogu bin. Polecenie oczekuje również pliku konfiguracyjnego. Domyślny to server.properties przechowywany w pliku konfiguracyjnym.
bin/kafka-server-start.sh config/server.properties
To powinno uruchomić Apache Kafka. W katalogu bin znajdziesz wiele skryptów do tworzenia tematów, zarządzania producentami i konsumentami. Możesz także dostosować właściwości serwera w pliku server.properties.
Ostatnie słowa
W tym przewodniku omówiliśmy, jak zainstalować Javę i Apache Kafka. Chociaż klastry Kafka można instalować i zarządzać nimi ręcznie, można również korzystać z opcji zarządzanych, takich jak Amazon Web Services i Confluent.
Następnie możesz nauczyć się przetwarzania danych za pomocą Kafki i Sparka.