JSON Rest API dla wyników wyszukiwania Google

Jeśli chcesz pobrać wyniki wyszukiwania – w szczególności te z Google – jednym ze sposobów jest uruchomienie rzeczywistego wyszukiwania w google.com i próba przetworzenia skomplikowanego kodu HTML, który otrzymasz. Można to zrobić, ale jest to dość przedsięwzięcie. Jeśli chcesz wybrać prostszą trasę, skorzystaj z dedykowanego interfejsu API SERP, który możesz karmić wyszukiwanym hasłem i który zwróci wyniki w formacie, który można łatwo przeanalizować. Jednym z takich produktów jest Serpstack API od warstw. Bierze ciąg zapytania i parametry jako dane wejściowe i zwraca wyniki wyszukiwania w formacie JSON. Przyjrzyjmy się dokładniej produktowi.

Strona główna Serpstack

Zaczniemy, jak to często bywa, od ogólnej dyskusji o SERP. Następnie wyjaśnimy, co to jest i opiszemy kilka różnych rodzajów wyników, które są zazwyczaj dostępne w wyszukiwarkach. Przeanalizujemy również kilka powodów, dla których warto korzystać z SERP API. A kiedy już będziemy na tej samej stronie, przyjrzymy się dokładniej interfejsowi API Serpstack. Zanim przejdziemy do korzystania z interfejsu API, omówimy niektóre z jego głównych funkcji. I zanim zakończymy, zbadamy strukturę cen usługi i dostępne plany.

SERP w pigułce

Po pierwsze, SERP to skrót od stron wyników wyszukiwania. Są to strony internetowe, które są wyświetlane użytkownikom, gdy szukają czegoś w Internecie za pomocą wyszukiwarki, takiej jak Google lub Bing. Użytkownik określa wyszukiwane hasło za pomocą określonych terminów i fraz, które są powszechnie nazywane słowami kluczowymi, a następnie wyszukiwarka przedstawia je SERP.

Każdy SERP jest wyjątkowy. Dotyczy to nawet wielu zapytań wykonywanych w tej samej wyszukiwarce przy użyciu tych samych słów kluczowych lub tekstu zapytania. Głównym tego powodem jest fakt, że praktycznie każda wyszukiwarka dostosowuje sposób działania swoich użytkowników, prezentując wyniki w oparciu o szeroki zakres czynników, które znacznie wykraczają poza wyszukiwane hasła. Czynniki te mogą obejmować fizyczną lokalizację użytkownika, jego historię przeglądania i ustawienia społecznościowe itp. I chociaż dwa serwery SERP mogą wydawać się identyczne i mogą zawierać wiele takich samych wyników, często zawierają subtelne różnice.

Dostawcy wyszukiwarek, tacy jak Google, Bing lub inni gracze, stale rozwijają swoje usługi i technologie oraz eksperymentują z wynikami. Ich celem jest zaoferowanie użytkownikom bardziej responsywnego i intuicyjnego interfejsu. Wraz z wprowadzaniem nowych technologii w przestrzeni wyszukiwania – i są one w niesamowitym tempie, wygląd SERP zmienia się, a dziś różnią się znacznie od tego, czym były kiedyś.

Wyniki organiczne

SERP zwykle zawierają dwa rodzaje treści: wyniki bezpłatne i wyniki płatne. Wyniki bezpłatne to wykazy stron internetowych pojawiających się w wyniku działania algorytmu wyszukiwarki. Więcej o tym za chwilę. Optymalizacja witryn pod kątem wyszukiwarek (SEO) to nauka – czy raczej sztuka – manipulowania treściami w celu oszukiwania wyszukiwarek w celu umieszczenia naszej witryny na liście pod kątem określonego słowa kluczowego lub ciągu wyszukiwania.

Informacje o algorytmach wyszukiwania i sygnałach rankingowych

Wróćmy do wyników organicznych. W skrócie, są to wykazy, które zostały zindeksowane przez wyszukiwarkę na podstawie szeregu czynników, które są wspólnie nazywane „sygnałami rankingowymi”. Na przykład algorytm wyszukiwania używany przez Google zawiera setki czynników rankingowych. Operatorzy wyszukiwarek zwykle utrzymują w tajemnicy szczegóły swojego systemu rankingowego. Tak więc, chociaż nikt poza Google – i być może nie tak wiele osób w środku – dokładnie wie, jakie są sygnały rankingu, niektóre są uważane za ważniejsze niż inne.

Dlaczego warto korzystać z SERP API?

Istnieje kilka powodów, dla których ktokolwiek miałby użyć API SERP. Istnieje oczywista potrzeba okresowego pobierania danych SERP dla Twoich produktów i witryn oraz śledzenia ich w czasie, ponieważ jest to niezbędny element każdej strategii SEO. Ponieważ rankingi stale się zmieniają, a słowa kluczowe wyszukiwania stają się z czasem mniej lub bardziej odpowiednie i cenne, istnieje tylko jeden sposób, aby nadążać za tymi zmianami i polegać na użyciu gotowego oprogramowania jako usługi (SaaS) ) rozwiązanie, które implementuje dane SERP bezpośrednio we własnych aplikacjach lub witrynach internetowych przy użyciu interfejsu API SERP, takiego jak Serpstack.

Krótko mówiąc, główną różnicą między używaniem przeglądarki do pobierania danych SERP a używaniem interfejsu API SERP, takiego jak Serpstack, jest format odpowiedzi. Interfejs API Serpstack zwróci dane JSON, które można łatwo przeanalizować za pomocą oprogramowania wewnętrznego. Korzystanie z niego uwalnia Cię od konieczności wydobywania znaczących danych z całego otaczającego formatowania internetowego.

Przedstawiamy Serpstack

W jednym zdaniu Serpstack to dokładny interfejs API wyników wyszukiwania Google w czasie rzeczywistym. Zaufany przez niektóre z największych marek na świecie, JSON REST API jest błyskawiczny i łatwy w użyciu. Produkt jest budowany i obsługiwany przez apilayer, firmę z siedzibą w Londynie w Wielkiej Brytanii i Wiedniu w Austrii. Pierwotnie stworzony z wewnętrznej potrzeby automatycznego śledzenia pozycji w wyszukiwarkach, produkt stał się jednym z najbardziej zaufanych interfejsów API SERP dostępnych na rynku. Co do warstw, jest to firma, która stoi za jednymi z najpopularniejszych produktów API i SaaS na całym świecie, w tym Currencylayer, Invoicely i Eversign.

Interfejs API Serpstack pobiera dane SERP z wyszukiwarek w sposób zautomatyzowany za pomocą sieci proxy i zastrzeżonej technologii skrobania za każdym razem, gdy wysyłane są żądania API. Wynikowe dane SERP są publicznie dostępne i każdy może uzyskać do nich dostęp. Ponadto Serpstack API obsługuje prawie wszystkie typy wyników wyszukiwania zwracane przez Google, w tym wyniki wyszukiwania w sieci, wyniki obrazów, wyniki wideo, wyniki wiadomości, wyniki zakupów, reklamy sponsorowane, pytania i wiele innych.

Zbudowany na bazie apilayerowej infrastruktury chmurowej, systemu, na którym działają niektóre z najpopularniejszych na świecie usług API w czasie rzeczywistym, Serpstack API jest wysoce skalowalny i elastyczny na każdym etapie. Został zbudowany, aby oferować sposób na zgarnianie danych Google SERP w czasie rzeczywistym i na dowolną skalę. Wdrożenie usługi zajmuje zaledwie kilka minut przy użyciu prostej struktury HTTP GET URL, a wyniki są zwracane w formacie JSON lub CSV.

Główne cechy Serpstack

Jeśli chodzi o funkcje, Serpstack API nie pozostawia nic do życzenia. Przede wszystkim usługa jest wysoce skalowalna i zawsze pozbawiona kolejkowania. Potężna infrastruktura chmurowa Apilayer została po prostu zbudowana, aby wytrzymać duże żądania API bez konieczności kolejki. To był rdzeń kilku produktów firmy. Jest również wysoce konfigurowalny. Ponieważ nie ma dwóch identycznych potrzeb, możesz dostosować automatyczne zapytania do wyszukiwania w oparciu o szereg opcji, w tym lokalizację, język, urządzenie i inne.

Dzięki temu produktowi nie ma już powodów do niepokoju o globalne adresy IP, klastry przeglądarek lub CAPTCHA. Dzięki potężnej podstawowej sieci proxy, ten interfejs API zgarniający SERP zapewnia obsługę praktycznie każdej sytuacji. I to jest również łatwe w budżecie. Otrzymujesz do 100 miesięcznych żądań za darmo, a jeśli potrzebujesz więcej – i najprawdopodobniej będziesz to robić – płatne plany zaczynają się już od 29,99 USD miesięcznie. Wkrótce omówimy bardziej szczegółowo ceny produktu.

Oto przegląd niektórych najważniejszych funkcji produktu:

Prosta integracja

Korzystanie z interfejsu API Scrapestack nie może być łatwiejsze od samego początku. Tworzenie niestandardowych zapytań zajmuje tylko kilka minut i rozpoczęcie zgarniania stron SERP na dowolną skalę przy użyciu niestandardowych lokalizacji, urządzeń, języków i innych.

Wysoki poziom bezpieczeństwa

Wszystkie strumienie danych wysyłane i odbierane z Serpstack API są szyfrowane przy użyciu 256-bitowego szyfrowania SSL. Jest to ten sam rodzaj zabezpieczeń, z którego korzystają strony bankowe lub większość platform handlu elektronicznego. Możesz mieć pewność, że Twoje dane pozostaną chronione.

Niezrównana szybkość i dostępność

Dzięki prawie idealnej ocenie dostępności możesz mieć pewność, że interfejs API Scrapestack będzie dostępny, gdy będziesz go potrzebować. A folia nigdy nie idzie na kompromis w zakresie prędkości. Żądania interfejsu API wysyłane do interfejsu API są przetwarzane w ciągu milisekund. Oczywiście, jak szybko przychodzą wyniki, zależy również od czasu reakcji Google.

Strona statusu Serpstack

Wybór formatów wyjściowych

Aby jeszcze bardziej ułatwić pozywanie danych SERP, łatwy w użyciu interfejs API REST Serpstack oferuje wybór odpowiedzi JSON lub CSV. Dzięki temu jest kompatybilny z dowolnym językiem programowania.

Wsparcie na światowym poziomie

Często mówi się, że produkt jest tak dobry, jak jego struktura wsparcia technicznego. Znów jest to miejsce, w którym świeci Scrapestack. Jeśli masz jakieś pytania techniczne, przeszkolony zespół specjalistów jest w stanie pomóc Ci we wszelkich twoich zapytaniach. Odpowiedź jest szybka, a usługa działa dość dobrze.

Obszerna dokumentacja

Dokumentacja, równie ważna jak wsparcie, często będzie twoim głównym sposobem uczenia się, jak korzystać z produktu. Serpstack oferuje obszerną dokumentację API, która czeka na zbadanie. Korzystanie z niego pozwoli Ci rozpocząć pracę w ciągu zaledwie kilku minut i sprawi, że będziesz ekspertem w ciągu kilku dni, a nie tygodni lub miesięcy.

Dokument Serpstack

Korzystanie z Serpstack

Dość przechwalania się wspaniałymi funkcjami produktu – i tak naprawdę są, rzućmy okiem na to, jak możesz faktycznie korzystać z produktu i jakie typy zapytań możesz składać oraz jakie odpowiedzi możesz się spodziewać.

Podstawy

Aby korzystać z Serpstack API, musisz najpierw założyć konto. Jest to bezpłatne, w wyniku czego otrzymasz unikalny klucz dostępu do interfejsu API. Tego będziesz używać odtąd do uwierzytelniania za pomocą interfejsu API za pomocą prostych żądań HTTP GET w celu uzyskania dostępu do dowolnego z dostępnych punktów końcowych. Aby użyć interfejsu API, wystarczy dołączyć klucz API do podstawowego adresu URL za pomocą „klucz dostępu”Parametr. Oto jak wygląda typowa – aczkolwiek bardzo podstawowa i całkowicie bezużyteczna – prośba:

http://api.serpstack.com/search  ? access_key = YOUR_ACCESS_KEY

W celu zwiększenia bezpieczeństwa wszystkie płatne plany pozwalają na użycie 256-bitowego szyfrowania SSL. Aby go użyć, wystarczy wysłać żądanie HTTPS zamiast żądania HTTP. Na przykład powyższy przykład z szyfrowaniem wyglądałby następująco:

https://api.serpstack.com/search  ? access_key = YOUR_ACCESS_KEY

Ilekroć żądanie API nie powiedzie się, Serpstack API zwróci obiekt JSON zawierający szczegółowe informacje o błędzie. Na przykład oto, co zostanie zwrócone przez API, jeśli maksymalny dozwolony limit żądań API został osiągnięty lub przekroczony. Każdy plan subskrypcji ma inny limit liczby żądań, które można złożyć.

{  "success": false,  "error": {  "code": 104,  "type": "usage_limit_reached",  "info": "Your monthly API request volume has been reached. Please upgrade your plan."  }  }

Żądanie i parametry API

O ile nie określono inaczej, Serpstack API zawsze domyślnie dostarcza wyniki wyszukiwania z Google. W związku z tym, jeśli chcesz wysłać zapytanie do interfejsu API wyników wyszukiwania Google, wystarczy dołączyć „pytanie”Do podstawowego adresu URL interfejsu API i ustaw go na wybrane zapytanie. Oto, jak wygląda zapytanie zawierające „mcdonalds” jako wyszukiwane hasło z uwierzytelnianiem i szyfrowaniem:

https://api.serpstack.com/search  ? access_key = YOUR_ACCESS_KEY  & query = mcdonalds

Jak widać, jest to dość prosta składnia. Istnieje, jak z pewnością sobie wyobrażasz, mnóstwo opcjonalnych parametrów, które można dołączyć do żądania dalszego zawężenia wyników wyszukiwania. Omówimy kilka z nich za chwilę, ale ich szczegółowa lista jest dostępna w dokumentacji online interfejsu API.

Odpowiedzi API

Odpowiedzi, które otrzymasz z interfejsu API Serpstack, będą silnie zależeć od wyszukiwanego hasła i parametrów, których wybierzesz. Podstawowe zapytanie bez określonego filtrowania zwróci tonę danych. Oto pierwsza część odpowiedzi, którą otrzymałeś z powyższego przykładowego zapytania.

{  "request": {  "success": true,  "processed_timestamp": 1566207832,  "search_url": "https://www.google.com/search?q=mcdonalds",  "total_time_taken": 1.5  },  "search_parameters": {  "engine": "google",  "query": "mcdonalds",  "type": "web",  "device": "desktop",  "google_domain": "google.com",  "hl": "en",  "gl": "us",  "page": "1",  "num": "10"  },  "search_information": {  "total_results": 759000000,  "time_taken_displayed": 0.91,  "did_you_mean": null,  "showing_results_for": null,  "query_displayed": "mcdonalds",  "detected_location": null,  "no_results_for_original_query": false  },

Celem powyższej próbki jest po prostu dać wyobrażenie o tym, jak mogą wyglądać wyniki. Podałem tylko pierwsze 25 linii odpowiedzi, która w całości ma ponad czterysta linii.

Jak można zauważyć podczas korzystania z wyszukiwania Google, typowa strona wyników wyszukiwania ma różne sekcje, z których każda wyświetla inny typ wyników. Otrzymasz płatne wyniki reklam, bezpłatne wyniki, obrazy, filmy itp. Ponadto wstążka u góry strony pozwoli Ci wyświetlać określone rodzaje wyników, takie jak mapy, wiadomości, zakupy lub książki, żeby wymienić tylko kilka . Różne opcjonalne parametry pozwolą ci określić, jaki typ wyników wyszukiwania chcesz uzyskać, dzięki czemu parsowanie wynikowego pliku JSON jest znacznie prostsze. Przyjrzyjmy się bliżej niektórym rodzajom wyników, jakie możesz uzyskać.

Wyniki reklam

Ilekroć w zapytaniu wyszukiwania pojawią się sponsorowane reklamy – i najczęściej będą pojawiać się, odpowiedź interfejsu API będzie zawierać obiekt reklamy. Zawiera wszystkie reklamy w kolejności, w jakiej są wyświetlane w wyniku wyszukiwania. Obejmuje zarówno reklamy wyświetlane u góry, jak iu dołu wyniku wyszukiwania.

Wyniki organiczne

Bezpłatne wyniki wyszukiwania są głównymi wynikami wyszukiwania udostępnianymi przez Google i prawdopodobnie są nimi szczególnie zainteresowani. Są one determinowane przez szereg czynników, takich jak ruch w sieci, linki zwrotne, obecność w mediach społecznościowych i wiele innych , z dokładnym algorytmem utrzymywanym w tajemnicy przez Google w celu utrzymania przewagi konkurencyjnej. Wyniki te są szczegółowo analizowane przez interfejs API i zwracane jako „organiczne_wyniki”.

Wyniki obrazu

Tak jak istnieją dwa sposoby uzyskania wyników wyszukiwania obrazów w wyszukiwarce Google, istnieją dwa sposoby zwracania obrazów przez interfejs API. Podczas standardowego wyszukiwania w Internecie niektóre obrazy są dostarczane przez Google w wynikach wyszukiwania. Te obrazy – zwane obrazami wbudowanymi – są zwracane przez interfejs API Scrapestack w ramach „inline_images”Tablica.

"image_results": (  {  "position": 1,  "title": "McDonald's Gold Card: The True Story ...",  "width": 1024,  "height": 683,  "image_url": "https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg",  "type": "png",  "url": "http://rd.com",  "source": "https://rd.com"  },  {  "position": 2,  "title": "McDonald's - Wikipedia",  "width": 1200,  "height": 1051,  "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png",  "type": "png",  "url": "https://en.wikipedia.org/wiki/McDonald%27s",  "source": "https://en.wikipedia.org"  },  {  "position": 3,  "title": "Best New Global Menu Items ...",  "width": 970,  "height": 545,  "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg",  "type": "png",  "url": "https://thrillist.com/",  "source": "https://thrillist.com"  }  )

Jeśli natomiast obrazy są wyszukiwane konkretnie, a parametr type ustawiony jest na obrazy, obrazy są zwracane jako „image_results”Tablica. W takich sytuacjach interfejs API domyślnie zwraca 100 obrazów.

Wyniki wideo

Dokładne te same rozważania, które omówiliśmy w odniesieniu do obrazów, dotyczą również wyników wideo z dostępnością obu wbudowanych filmów z globalnymi wynikami wyszukiwania lub dedykowanymi wynikami wideo

Możemy przejść do stron i podać szczegółowe informacje na temat różnych rodzajów wyników, które może zwrócić interfejs API Serpstack, ale naszym zdaniem otrzymujesz ten obraz. Wystarczy powiedzieć, że każdy typ wyników zwracanych przez typową wyszukiwarkę Google jest również dostępny w odpowiedzi interfejsu API. Oprócz typów wyników już opisanych, API zwróci, wyniki wiadomości, wyniki zakupów i wyniki lokalne, a także zawartość pola odpowiedzi strony wyników, pola pogody, wydarzeń, najlepszej karuzeli, najlepszych artykułów itp.

Obsługiwane środowiska programowania

Jedną z najlepszych rzeczy w Serpstack API jest to, że można go łatwo używać z większości środowisk. Niezależnie od używanego języka, o ile można wysyłać żądania HTTP, powinieneś być gotowy. Obsługiwane są wszystkie popularne języki internetowe, takie jak PHP lub Python. W rzeczywistości dokumentacja API zawiera przykłady użycia z PHP, Python, Nodejs, jQuery, Go i Ruby.

Oto, na przykład, kod PHP do wydrukowania całkowitej liczby wyników wyszukiwania, a także każdego organicznego wyniku wyszukiwania zwróconego przez API Serpstack.

$queryString = http_build_query((  'access_key' => 'YOUR_ACCESS_KEY',  'query' => 'mcdonalds',  ));   $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString));  curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);   $json = curl_exec($ch);  curl_close($ch);  $api_result = json_decode($json, true);   echo "Total results: ", $api_result('search_information')('total_results'), PHP_EOL;   foreach ($api_result('organic_results') as $number => $result) {  echo "{$number}. {$result('title')}", PHP_EOL;  }

A oto kod do osiągnięcia tego samego w Pythonie:

import requests   params = {  'access_key': 'YOUR_ACCESS_KEY',  'query': 'mcdonalds'  }   api_result = requests.get('https://api.serpstack.com/search', params)   api_response = api_result.json()   print "Total results: ", api_response('search_information')('total_results')   for number, result in enumerate(api_response('organic_results'), start=1):  print "%s. %s" % (number, result('title'))

Ceny i plany

Interfejs API Serpstack jest dostępny w ramach kilku planów w zależności od twoich potrzeb. Najbardziej podstawowym planem jest bezpłatny. Jak sama nazwa wskazuje, jest darmowy, ale chociaż nie jest ograniczony czasowo, jak typowe wersje próbne, jest ograniczony zarówno pod względem funkcji, jak i użytkowania. Będziesz mógł uruchomić do 100 wyszukiwań miesięcznie.

Struktura cen Serpstack

Następne trzy poziomy są w pełni funkcjonalne i różnią się tylko maksymalną liczbą miesięcznych wyszukiwań, które możesz uruchamiać. Plan podstawowy daje 5000 za 29,99 USD / miesiąc, biznesplan za 99,99 USD / miesiąc to maksymalnie 20 000, a plan biznesowy Pro pozwala przeprowadzać aż 50 000 wyszukiwań za 199,99 USD miesięcznie. Jeśli żaden z tych planów Ci nie odpowiada, dostępny jest również plan Enterprise o zmiennej cenie, który można dostosować do konkretnych potrzeb. Jeśli wybierzesz rozliczenia roczne zamiast miesięcznego, masz prawo do 20% zniżki, dzięki czemu usługa jest jeszcze bardziej przystępna.

Podsumowanie

W skrócie, Serpstack API jest łatwym w użyciu, w pełni funkcjonalnym produktem, z którego możesz skorzystać, gdy chcesz pobrać dane SERP z Google. Gwiezdny czas sprawności i imponujący czas reakcji to jedne z jego najlepszych zalet. Wspierany przez apilayer, który przyniósł nam inne doskonałe interfejsy API, jesteśmy przekonani, że ten zapewni oczekiwane rezultaty. To produkt, który możemy jedynie polecić.