Jeśli chcesz pobrać wyniki wyszukiwania, w szczególności te z Google, jednym ze sposobów jest uruchomienie rzeczywistego wyszukiwania na google.com i przetworzenie skomplikowanego kodu HTML, który otrzymasz. Można to zrobić, ale jest to dość skomplikowane. Jeśli chcesz wybrać prostszą trasę, skorzystaj z dedykowanego interfejsu API SERP, który możesz karmić wyszukiwanym hasłem, a który zwróci wyniki w formacie łatwym do analizy. Jednym z takich produktów jest Serpstack API od apilayer. Bierze ciąg zapytania i parametry jako dane wejściowe i zwraca wyniki wyszukiwania w formacie JSON. Przyjrzyjmy się dokładniej temu produktowi.
Zaczniemy, jak to często bywa, od ogólnej dyskusji o SERP. Następnie wyjaśnimy, co to jest, i opiszemy kilka różnych rodzajów wyników, które są zazwyczaj dostępne w wyszukiwarkach. Przeanalizujemy również kilka powodów, dla których warto korzystać z SERP API. A kiedy już będziemy na tej samej stronie, przyjrzymy się dokładniej interfejsowi API Serpstack. Zanim przejdziemy do korzystania z interfejsu API, omówimy niektóre z jego głównych funkcji. I zanim zakończymy, zbadamy strukturę cen usługi i dostępne plany.
SERP w pigułce
Po pierwsze, SERP to skrót od stron wyników wyszukiwania. Są to strony internetowe, które są wyświetlane użytkownikom, gdy szukają czegoś w Internecie za pomocą wyszukiwarki, takiej jak Google lub Bing. Użytkownik określa wyszukiwane hasło za pomocą terminów i fraz, które są powszechnie nazywane słowami kluczowymi, a następnie wyszukiwarka przedstawia je w SERP.
Każdy SERP jest wyjątkowy. Dotyczy to nawet wielu zapytań wykonywanych w tej samej wyszukiwarce przy użyciu tych samych słów kluczowych. Głównym powodem jest fakt, że praktycznie każda wyszukiwarka dostosowuje sposób działania swoich użytkowników, prezentując wyniki w oparciu o szeroki zakres czynników, które wykraczają poza same wyszukiwane hasła. Czynniki te mogą obejmować fizyczną lokalizację użytkownika, jego historię przeglądania i ustawienia społecznościowe. Chociaż dwa SERP mogą wydawać się identyczne i mogą zawierać wiele takich samych wyników, często zawierają subtelne różnice.
Dostawcy wyszukiwarek, tacy jak Google, Bing lub inni, stale rozwijają swoje usługi i technologie oraz eksperymentują z wynikami. Ich celem jest zaoferowanie użytkownikom bardziej responsywnego i intuicyjnego interfejsu. Wraz z wprowadzaniem nowych technologii w przestrzeni wyszukiwania, wygląd SERP zmienia się, a dziś różni się znacznie od tego, czym były kiedyś.
Wyniki organiczne
SERP zwykle zawierają dwa rodzaje treści: wyniki organiczne i wyniki płatne. Wyniki organiczne to wykazy stron internetowych pojawiających się w wyniku działania algorytmu wyszukiwarek. Więcej o tym za chwilę. Optymalizacja witryn pod kątem wyszukiwarek (SEO) to nauka, a raczej sztuka, manipulowania treściami w celu uzyskania lepszej pozycji w wynikach wyszukiwania dla określonego słowa kluczowego.
Informacje o algorytmach wyszukiwania i sygnałach rankingowych
Wróćmy do wyników organicznych. W skrócie, są to wykazy, które zostały zindeksowane przez wyszukiwarkę na podstawie szeregu czynników, które są wspólnie nazywane „sygnałami rankingowymi”. Na przykład algorytm wyszukiwania używany przez Google zawiera setki czynników rankingowych. Operatorzy wyszukiwarek zwykle utrzymują w tajemnicy szczegóły swojego systemu rankingowego. Tak więc, chociaż nikt poza Google nie wie dokładnie, jakie są sygnały rankingu, niektóre są uważane za ważniejsze niż inne.
Dlaczego warto korzystać z SERP API?
Istnieje kilka powodów, dla których warto używać API SERP. Istnieje oczywista potrzeba okresowego pobierania danych SERP dla Twoich produktów i witryn oraz śledzenia ich w czasie, co jest niezbędnym elementem każdej strategii SEO. Ponieważ rankingi stale się zmieniają, a słowa kluczowe stają się z czasem mniej lub bardziej odpowiednie i cenne, istnieje tylko jeden sposób, aby nadążać za tymi zmianami: poleganie na gotowym oprogramowaniu jako usłudze (SaaS), które implementuje dane SERP bezpośrednio we własnych aplikacjach lub witrynach internetowych przy użyciu interfejsu API SERP, takiego jak Serpstack.
Główną różnicą między używaniem przeglądarki do pobierania danych SERP a korzystaniem z interfejsu API SERP, takiego jak Serpstack, jest format odpowiedzi. Interfejs API Serpstack zwróci dane w formacie JSON, które można łatwo przeanalizować. Korzystanie z niego uwalnia Cię od konieczności wydobywania znaczących danych z całego otaczającego formatowania internetowego.
Przedstawiamy Serpstack
W jednym zdaniu, Serpstack to dokładny interfejs API wyników wyszukiwania Google w czasie rzeczywistym. Zaufany przez niektóre z największych marek na świecie, JSON REST API jest szybki i łatwy w użyciu. Produkt jest budowany i obsługiwany przez apilayer, firmę z siedzibą w Londynie w Wielkiej Brytanii oraz Wiedniu w Austrii. Pierwotnie stworzony z wewnętrznej potrzeby automatycznego śledzenia pozycji w wyszukiwarkach, produkt stał się jednym z najbardziej zaufanych interfejsów API SERP dostępnych na rynku. Apilayer jest firmą, która stoi za jednymi z najpopularniejszych produktów API i SaaS na świecie, w tym Currencylayer, Invoicely i Eversign.
Interfejs API Serpstack pobiera dane SERP z wyszukiwarek w sposób zautomatyzowany za pomocą sieci proxy i zastrzeżonej technologii skrobania za każdym razem, gdy wysyłane są żądania API. Wynikowe dane SERP są publicznie dostępne i każdy może uzyskać do nich dostęp. Ponadto Serpstack API obsługuje prawie wszystkie typy wyników wyszukiwania zwracane przez Google, w tym wyniki wyszukiwania w sieci, wyniki obrazów, wyniki wideo, wyniki wiadomości, wyniki zakupów, reklamy sponsorowane, pytania i wiele innych.
Zbudowany na bazie infrastruktury chmurowej apilayer, Serpstack API jest wysoce skalowalny i elastyczny na każdym etapie. Został zaprojektowany, aby oferować sposób na zbieranie danych z Google SERP w czasie rzeczywistym i na dowolną skalę. Wdrożenie usługi zajmuje zaledwie kilka minut przy użyciu prostej struktury adresu URL HTTP GET, a wyniki są zwracane w formacie JSON lub CSV.
Główne cechy Serpstack
Jeśli chodzi o funkcje, Serpstack API nie pozostawia nic do życzenia. Przede wszystkim usługa jest wysoce skalowalna i zawsze pozbawiona kolejkowania. Potężna infrastruktura chmurowa Apilayer została stworzona, aby wytrzymać duże żądania API bez konieczności kolejkowania. Jest również wysoce konfigurowalna. Ponieważ potrzeby różnią się, możesz dostosować automatyczne zapytania do wyszukiwania w oparciu o różne opcje, w tym lokalizację, język, urządzenie i inne.
Dzięki temu produktowi nie musisz już martwić się o globalne adresy IP, klastry przeglądarek czy CAPTCHA. Dzięki potężnej podstawowej sieci proxy, ten interfejs API zgarniający SERP zapewnia wsparcie praktycznie w każdej sytuacji. Jest również łatwy w budżetowaniu. Otrzymujesz do 100 miesięcznych żądań za darmo, a jeśli potrzebujesz więcej, płatne plany zaczynają się już od 29,99 USD miesięcznie. Wkrótce omówimy szczegółowo ceny produktu.
Oto przegląd niektórych najważniejszych funkcji produktu:
Prosta integracja
Korzystanie z interfejsu API Serpstack nie może być łatwiejsze. Tworzenie niestandardowych zapytań zajmuje tylko kilka minut, a rozpoczęcie zgarniania stron SERP na dowolną skalę przy użyciu niestandardowych lokalizacji, urządzeń, języków i innych jest proste.
Wysoki poziom bezpieczeństwa
Wszystkie strumienie danych wysyłane i odbierane z Serpstack API są szyfrowane przy użyciu 256-bitowego szyfrowania SSL. Jest to ten sam rodzaj zabezpieczeń, z którego korzystają strony bankowe lub większość platform handlu elektronicznego. Możesz być pewien, że Twoje dane pozostaną chronione.
Niezrównana szybkość i dostępność
Dzięki prawie idealnej ocenie dostępności, możesz mieć pewność, że interfejs API Serpstack będzie dostępny, gdy będziesz go potrzebować. Żądania interfejsu API są przetwarzane w ciągu milisekund. Oczywiście, jak szybko przychodzą wyniki, zależy również od czasu reakcji Google.
Wybór formatów wyjściowych
Aby jeszcze bardziej ułatwić pozyskiwanie danych SERP, łatwy w użyciu interfejs API REST Serpstack oferuje wybór odpowiedzi JSON lub CSV. Dzięki temu jest kompatybilny z dowolnym językiem programowania.
Wsparcie na światowym poziomie
Często mówi się, że produkt jest tak dobry, jak jego struktura wsparcia technicznego. I to jest miejsce, w którym Serpstack błyszczy. Jeśli masz pytania techniczne, przeszkolony zespół specjalistów jest w stanie pomóc Ci we wszelkich zapytaniach. Odpowiedzi są szybkie, a usługa działa bardzo dobrze.
Obszerna dokumentacja
Dokumentacja, równie ważna jak wsparcie, często będzie Twoim głównym sposobem na naukę korzystania z produktu. Serpstack oferuje obszerną dokumentację API, która czeka na zbadanie. Dzięki niej możesz rozpocząć pracę w ciągu kilku minut i stać się ekspertem w ciągu kilku dni.
Korzystanie z Serpstack
Dość przechwalania się wspaniałymi funkcjami produktu – i tak naprawdę są one imponujące. Rzućmy okiem na to, jak możesz faktycznie korzystać z produktu oraz jakie typy zapytań możesz składać i jakie odpowiedzi możesz się spodziewać.
Podstawy
Aby korzystać z Serpstack API, musisz najpierw założyć konto. Jest to bezpłatne, a w wyniku tego otrzymasz unikalny klucz dostępu do interfejsu API. Tego klucza będziesz używać do uwierzytelniania za pomocą prostych żądań HTTP GET w celu uzyskania dostępu do dostępnych punktów końcowych. Aby użyć interfejsu API, wystarczy dołączyć klucz API do podstawowego adresu URL za pomocą parametru „access_key”. Oto jak wygląda typowa, aczkolwiek bardzo podstawowa prośba:
http://api.serpstack.com/search?access_key=YOUR_ACCESS_KEY
W celu zwiększenia bezpieczeństwa, wszystkie płatne plany pozwalają na użycie 256-bitowego szyfrowania SSL. Aby go użyć, wystarczy wysłać żądanie HTTPS zamiast żądania HTTP. Na przykład powyższy przykład z szyfrowaniem wyglądałby następująco:
https://api.serpstack.com/search?access_key=YOUR_ACCESS_KEY
Ilekroć żądanie API nie powiedzie się, Serpstack API zwróci obiekt JSON zawierający szczegółowe informacje o błędzie. Na przykład, oto co zostanie zwrócone przez API, jeśli maksymalny dozwolony limit żądań API został osiągnięty lub przekroczony:
{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Your monthly API request volume has been reached. Please upgrade your plan." }}
Żądanie i parametry API
O ile nie określono inaczej, Serpstack API zawsze domyślnie dostarcza wyniki wyszukiwania z Google. W związku z tym, jeśli chcesz wysłać zapytanie do interfejsu API wyników wyszukiwania Google, wystarczy dołączyć parametr „query” do podstawowego adresu URL interfejsu API i ustawić go na wybrane zapytanie. Oto, jak wygląda zapytanie zawierające „mcdonalds” jako wyszukiwane hasło z uwierzytelnieniem i szyfrowaniem:
https://api.serpstack.com/search?access_key=YOUR_ACCESS_KEY&query=mcdonalds
Jak widać, jest to dość prosta składnia. Istnieje wiele opcjonalnych parametrów, które można dołączyć do żądania w celu dalszego zawężenia wyników wyszukiwania. Omówimy kilka z nich za chwilę, ale ich szczegółowa lista jest dostępna w dokumentacji online interfejsu API.
Odpowiedzi API
Odpowiedzi, które otrzymasz z interfejsu API Serpstack, będą silnie zależeć od wyszukiwanego hasła i parametrów, które wybierzesz. Podstawowe zapytanie bez określonego filtrowania zwróci tonę danych. Oto pierwsza część odpowiedzi, którą otrzymasz z powyższego przykładowego zapytania:
{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5 }, "search_parameters": { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "en", "gl": "us", "page": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detected_location": null, "no_results_for_original_query": false },
Celem powyższej próbki jest po prostu dać wyobrażenie o tym, jak mogą wyglądać wyniki. Podałem tylko pierwsze 25 linii odpowiedzi, która w całości ma ponad czterysta linii.
Jak można zauważyć podczas korzystania z wyszukiwania Google, typowa strona wyników wyszukiwania ma różne sekcje, z których każda wyświetla inny typ wyników. Otrzymasz płatne wyniki reklam, bezpłatne wyniki, obrazy, filmy itp. Ponadto wstążka u góry strony pozwoli Ci wyświetlać określone rodzaje wyników, takie jak mapy, wiadomości, zakupy lub książki, żeby wymienić tylko kilka. Różne opcjonalne parametry pozwolą ci określić, jaki typ wyników wyszukiwania chcesz uzyskać, dzięki czemu parsowanie wynikowego pliku JSON jest znacznie prostsze. Przyjrzyjmy się bliżej niektórym rodzajom wyników, jakie możesz uzyskać.
Wyniki reklam
Ilekroć w zapytaniu wyszukiwania pojawią się sponsorowane reklamy, odpowiedź interfejsu API będzie zawierać obiekt reklam. Zawiera wszystkie reklamy w kolejności, w jakiej są wyświetlane w wyniku wyszukiwania, zarówno te u góry, jak i na dole.
Wyniki organiczne
Bezpłatne wyniki wyszukiwania są głównymi wynikami wyszukiwania udostępnianymi przez Google i są szczególnie interesujące. Są one determinowane przez szereg czynników, takich jak ruch w sieci, linki zwrotne, obecność w mediach społecznościowych i wiele innych, z dokładnym algorytmem utrzymywanym w tajemnicy przez Google w celu zachowania przewagi konkurencyjnej. Wyniki te są szczegółowo analizowane przez interfejs API i zwracane jako „organic_results”.
Wyniki obrazu
Tak jak istnieją dwa sposoby uzyskania wyników wyszukiwania obrazów w wyszukiwarce Google, istnieją dwa sposoby zwracania obrazów przez interfejs API. Podczas standardowego wyszukiwania w Internecie, niektóre obrazy są dostarczane przez Google. Te obrazy, zwane obrazami wbudowanymi, są zwracane przez interfejs API Serpstack w ramach tablicy „inline_images”.
"image_results": ( { "position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png", "url": "http://rd.com", "source": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width": 1200, "height": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png", "type": "png", "url": "https://en.wikipedia.org/wiki/McDonald%27s", "source": "https://en.wikipedia.org" }, { "position": 3, "title": "Best New Global Menu Items ...", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } )
Jeśli natomiast obrazy są wyszukiwane konkretnie, a parametr type ustawiony jest na obrazy, obrazy są zwracane jako tablica „image_results”. W takich sytuacjach interfejs API domyślnie zwraca 100 obrazów.
Wyniki wideo
Te same zasady, które omówiliśmy w odniesieniu do obrazów, dotyczą również wyników wideo, gdzie dostępne są zarówno wbudowane filmy z globalnymi wynikami wyszukiwania, jak i dedykowane wyniki wideo.
Możemy przejść do stron i podać szczegółowe informacje na temat różnych rodzajów wyników, które może zwrócić interfejs API Serpstack, ale naszym zdaniem otrzymujesz ten obraz. Każdy typ wyników zwracanych przez typową wyszukiwarkę Google jest również dostępny w odpowiedzi interfejsu API. Oprócz typów wyników już opisanych, API zwróci wyniki wiadomości, wyniki zakupów i wyniki lokalne, a także zawartość pola odpowiedzi strony wyników, pola pogody, wydarzeń, najlepszej karuzeli, najlepszych artykułów itp.
Obsługiwane środowiska programowania
Jedną z najlepszych rzeczy w Serpstack API jest to, że można go łatwo używać w większości środowisk. Niezależnie od używanego języka, o ile można wysyłać żądania HTTP, powinieneś być gotowy. Obsługiwane są wszystkie popularne języki internetowe, takie jak PHP czy Python. Dokumentacja API zawiera przykłady użycia z PHP, Python, Node.js, jQuery, Go i Ruby.
Oto przykład kodu PHP do wydrukowania całkowitej liczby wyników wyszukiwania oraz każdego organicznego wyniku zwróconego przez API Serpstack:
$queryString = http_build_query(( 'access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds', )); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, true); echo "Total results: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }
A oto kod do osiągnięcia tego samego w Pythonie:
import requests params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = requests.get('https://api.serpstack.com/search', params) api_response = api_result.json() print("Total results: ", api_response['search_information']['total_results']) for number, result in enumerate(api_response['organic_results'], start=1): print("%s. %s" % (number, result['title']))
Ceny i plany
Interfejs API Serpstack jest dostępny w ramach kilku planów w zależności od Twoich potrzeb. Najbardziej podstawowym planem jest plan bezpłatny, który pozwala na 100 wyszukiwań miesięcznie. Następne trzy poziomy są w pełni funkcjonalne i różnią się tylko maksymalną liczbą miesięcznych wyszukiwań, które możesz uruchamiać. Plan podstawowy daje 5000 wyszukiwań za 29,99 USD miesięcznie, plan biznesowy za 99,99 USD to maksymalnie 20 000, a plan Pro pozwala przeprowadzać aż 50 000 wyszukiwań za 199,99 USD miesięcznie. Jeśli żaden z tych planów Ci nie odpowiada, dostępny jest również plan Enterprise o zmiennej cenie, który można dostosować do specyficznych potrzeb. Wybierając roczne rozliczenia zamiast miesięcznych, możesz uzyskać 20% zniżki, co czyni usługę jeszcze bardziej przystępną.
Podsumowanie
W skrócie, Serpstack API jest łatwym w użyciu, w pełni funkcjonalnym produktem, którego możesz użyć, gdy chcesz pobrać dane SERP z Google. Jego znakomita dostępność i szybki czas reakcji to jedne z największych zalet. Wspierany przez apilayer, który przyniósł nam inne doskonałe interfejsy API, jesteśmy przekonani, że ten zapewni oczekiwane rezultaty. To produkt, który polecamy.
newsblog.pl