Jak używać proxy z cURL i wget?

Masz dość ograniczeń w dostępie do niektórych stron internetowych czy usług online?

Chcesz obejść te bariery i swobodnie korzystać z pożądanych treści?

Jeśli odpowiedziałeś twierdząco, warto rozważyć użycie serwera proxy za pośrednictwem linii komend, wykorzystując narzędzia takie jak cURL lub wget.

Na początku przyjrzyjmy się, czym dokładnie jest serwer proxy i jak on działa.

Czym jest serwer proxy?

Serwer proxy pełni rolę pośrednika pomiędzy Twoim urządzeniem (komputerem, smartfonem) a globalną siecią Internet.

Kiedy chcesz wejść na stronę internetową lub skorzystać z usługi, Twoje żądanie w pierwszej kolejności trafia do serwera proxy, a nie bezpośrednio do docelowego serwera.

Następnie serwer proxy, działając w Twoim imieniu, wysyła zapytanie do serwera docelowego i odbiera od niego odpowiedź. Ostatecznie serwer proxy przesyła tę odpowiedź z powrotem do Twojego urządzenia.

Można to porównać do posiadania osobistego asystenta, który zajmuje się całą komunikacją pomiędzy Tobą a serwerem, z którym chcesz się połączyć.

Ale po co właściwie korzystać z serwera proxy?

Istnieje kilka ważnych powodów.

Przede wszystkim, korzystanie z serwera proxy pomaga chronić Twoją prywatność i anonimowość. Gdy łączysz się ze stroną lub usługą przez serwer proxy, Twój adres IP jest ukrywany przed serwerem docelowym. Zamiast tego, serwer widzi jedynie adres IP serwera proxy, co utrudnia śledzenie Twojej aktywności online.

Ponadto…

Kolejnym zastosowaniem serwerów proxy jest filtrowanie treści. Jest to szczególnie istotne dla organizacji, które chcą kontrolować dostęp do pewnych rodzajów treści.

Serwery proxy mogą być skonfigurowane tak, aby blokowały dostęp do konkretnych stron internetowych na podstawie zadanych kryteriów, takich jak słowa kluczowe czy kategorie adresów URL. Pomaga to zapobiegać pracownikom przed dostępem do nieodpowiednich lub rozpraszających stron internetowych podczas godzin pracy.

Jeśli chcesz dowiedzieć się więcej o różnicach między proxy a VPN, zachęcamy do zapoznania się z tym artykułem.

Jak używać serwera proxy z cURL?

cURL to narzędzie wiersza poleceń o otwartym kodzie, służące do przesyłania danych między serwerami. Jest to popularny wybór wśród programistów i entuzjastów technologii na całym świecie, dzięki szerokiemu wsparciu dla różnych protokołów, takich jak HTTP, FTP i SMTP.

cURL radzi sobie nawet ze skomplikowanymi zadaniami przesyłania danych. Dodatkowo, to zaawansowane narzędzie oferuje szereg bezpiecznych metod szyfrowania, które chronią Twoje dane podczas transferu.

cURL jest łatwo dostępne dla większości systemów operacyjnych. Jeśli nie jest zainstalowany w Twoim systemie, możesz go łatwo pobrać ręcznie. Postępuj zgodnie z poniższymi krokami, aby zainstalować cURL i korzystać z jego pełnego potencjału.

Windows

• Pobierz plik wykonywalny cURL z oficjalnej strony internetowej.
• Rozpakuj archiwum ZIP do wybranego folderu.
• Dodaj ścieżkę do tego folderu do zmiennej środowiskowej PATH w systemie.

macOS

• Uruchom aplikację Terminal.
• Zainstaluj Homebrew (jeśli jeszcze go nie masz), wpisując poniższe polecenie:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

• Teraz zainstaluj cURL, używając następującego polecenia:

brew install curl

Linux

W większości dystrybucji Linuksa, cURL jest już zainstalowany domyślnie. Jeśli go brakuje, zainstaluj go za pomocą menedżera pakietów odpowiedniego dla Twojej dystrybucji.

Na przykład, w systemie Ubuntu lub Debian, możesz zainstalować cURL, wydając poniższe polecenie:

sudo apt-get install curl

W systemach CentOS lub Fedora użyj tego polecenia:

sudo yum install curl

Po zainstalowaniu cURL możesz go przetestować, wpisując w terminalu/wierszu poleceń „curl –version”.

Przejdźmy teraz do sedna sprawy.

Aby użyć serwera proxy z cURL, określ adres serwera proxy i numer portu za pomocą opcji -x lub –proxy w poleceniu cURL.

Oto podstawowa składnia polecenia cURL z serwerem proxy:

curl -x <adres-serwera-proxy>:<numer-portu> <url>

Zastąp `<adres-serwera-proxy>` nazwą hosta lub adresem IP serwera proxy, `<numer-portu>` numerem portu używanym przez serwer proxy, a `<url>` adresem URL strony lub punktu końcowego API, do którego chcesz uzyskać dostęp.

Oto przykładowe użycie:

curl -x 5.189.184.6:80  ipinfo.io

To polecenie wysyła żądanie do strony ipinfo.io przez serwer proxy o adresie 5.189.184.6 na porcie 80. Ten przykładowy adres proxy został pobrany z ogólnodostępnej listy proxy. Jeśli potrzebujesz tymczasowego adresu proxy, możesz znaleźć go na tej stronie. Używasz go na własne ryzyko! ☢️

Pamiętaj, że czasami konieczne może być podanie danych uwierzytelniających do serwera proxy. W takiej sytuacji użyj opcji „–proxy-user” i „–proxy-password”, aby dołączyć swoją nazwę użytkownika i hasło. Na przykład:

curl -x  5.189.184.6:80 --proxy-user nazwa_użytkownika:hasło  <docelowy-url>

Zastąp „nazwa_użytkownika” i „hasło” rzeczywistymi danymi uwierzytelniającymi do serwera proxy.

Testowanie połączenia proxy z cURL

Przed użyciem proxy

Możesz zobaczyć, że cURL wyświetla mój oryginalny adres IP i lokalizację. Ze względów bezpieczeństwa mój adres IP został ukryty.

Po użyciu proxy

W tym przypadku cURL wyświetla adres proxy zamiast mojego oryginalnego IP.

Jak używać proxy z wget?

wget to narzędzie wiersza poleceń, które służy do pobierania plików z internetu. Jest preinstalowane w większości systemów Linux, Unix i macOS, a także jest dostępne dla systemu Windows.

Aby zainstalować wget w systemie Linux, użyj menedżera pakietów Twojej dystrybucji.

Na przykład, w Debianie lub Ubuntu, użyj polecenia:

sudo apt-get install wget

W systemach CentOS lub Fedora:

sudo yum install wget

W systemie macOS możesz zainstalować wget za pomocą Homebrew:

brew install wget

W systemie Windows zainstaluj wget, pobierając plik binarny z oficjalnej strony GNU i dodając go do zmiennej systemowej PATH.

Po instalacji, wget można użyć do pobierania plików z linii komend, podając adres URL pliku do pobrania. Na przykład, aby pobrać plik „example.zip” ze strony internetowej, użyjemy polecenia:

wget http://example.com/example.zip

Możesz użyć dodatkowych opcji, aby dostosować proces pobierania, na przykład: określić nazwę pliku wyjściowego, limit prędkości czy wznowić przerwane pobieranie. Aby poznać dostępne opcje, wpisz „man wget” w terminalu, aby wyświetlić instrukcję.

Spójrzmy teraz, jak skonfigurować serwer proxy z użyciem wget.

Najpierw ustaw zmienne środowiskowe dla serwera proxy, wpisując następujące polecenie w terminalu:

export http_proxy=http://<adres_serwera_proxy>:<port>
export https_proxy=https://<adres_serwera_proxy>:<port>

Sprawdź, czy serwer proxy jest poprawnie skonfigurowany, wpisując:

wget <docelowy-url>

Zastąp `<docelowy-url>` adresem URL pliku lub strony internetowej, którą chcesz pobrać za pośrednictwem serwera proxy. Jeśli polecenie pobierze plik lub stronę bez problemu, znaczy to, że serwer proxy został poprawnie skonfigurowany. W przeciwnym razie sprawdź ustawienia serwera proxy.

(Opcjonalnie) Aby ustawienia serwera proxy były trwałe, możesz dodać zmienne środowiskowe do pliku profilu powłoki, np. ~/.bashrc lub ~/.bash_profile. Na końcu pliku dodaj:

export http_proxy=http://<adres_serwera_proxy>:<port>
export https_proxy=https://<adres_serwera_proxy>:<port>

Jeśli serwer proxy wymaga uwierzytelniania, podaj swoją nazwę użytkownika i hasło w zmiennych „http_proxy” i „https_proxy”.

export http_proxy=http://<nazwa_użytkownika>:<hasło>@<adres_serwera_proxy>:<port>
export https_proxy=https://<nazwa_użytkownika>:<hasło>@<adres_serwera_proxy>:<port>

Uwaga: niektóre serwery proxy mogą używać innych schematów protokołów, np. SOCKS zamiast „http” lub „https”. Dostosuj schemat w zmiennych środowiskowych i adresach URL odpowiednio.

Testowanie połączenia proxy z wget

Przed użyciem proxy

wget pokazuje mój oryginalny adres IP przed użyciem serwera proxy. Ze względów bezpieczeństwa adres IP został ukryty.

Po użyciu proxy

wget próbuje połączyć się z serwerem proxy, zanim przejdzie do strony docelowej.

Rozwiązywanie typowych problemów

Korzystanie z serwera proxy z cURL i wget może czasami przysporzyć trudności. Nie martw się, przedstawiamy listę wskazówek, które pomogą Ci szybko rozwiązać problemy i wrócić na właściwe tory!

#1. Serwer proxy nie odpowiada

Jeśli serwer proxy nie reaguje, prawdopodobnie jest wyłączony lub występują inne problemy. Spróbuj wykonać poniższe czynności, aby ustalić przyczynę:

• Sprawdź, czy serwer proxy działa, wysyłając ping na adres IP.
• Upewnij się, że wprowadziłeś poprawny adres serwera i numer portu.
• Spróbuj skorzystać z innego serwera proxy, aby sprawdzić, czy problem nadal występuje.

#2. Połączenie odrzucone

O nie, połączenie zostało odrzucone?

To nie jest dobrze.

Błąd ten wskazuje zazwyczaj, że serwer proxy nie akceptuje połączeń. Oto kroki, które mogą pomóc w rozwiązaniu problemu:

• Sprawdź, czy serwer proxy jest skonfigurowany tak, aby akceptował połączenia z Twojego adresu IP lub podsieci.
• Upewnij się, że serwer proxy nie jest blokowany przez zaporę sieciową lub program antywirusowy.
• Sprawdź, czy serwer proxy wymaga danych uwierzytelniających i upewnij się, że wprowadziłeś poprawne dane.

Nie zapomnij przetestować innego serwera proxy, jeśli żadna z powyższych wskazówek nie pomoże.

#3. Weryfikacja certyfikatu SSL/TLS nie powiodła się

Weryfikacja certyfikatu nie przeszła?

Wygląda to na problem z certyfikatem SSL/TLS serwera proxy.

Aby rozwiązać ten problem, wykonaj te kroki:

• Sprawdź certyfikat serwera proxy, upewnij się, że jest ważny i nie wygasł.
• Jeśli certyfikat jest nieważny, skontaktuj się z administratorem serwera proxy w celu uzyskania nowego certyfikatu SSL/TLS.
• Jeśli certyfikat jest ważny i błąd nadal występuje, możesz wyłączyć weryfikację certyfikatu SSL/TLS, ale pamiętaj, że może to zagrażać bezpieczeństwu.

#4. Uwierzytelnianie nie powiodło się

Jeśli serwer proxy wymaga uwierzytelnienia i nie możesz się uwierzytelnić, prawdopodobnie wprowadziłeś niepoprawną nazwę użytkownika i hasło, lub serwer proxy używa innej metody uwierzytelniania.

Spróbuj dostosować dane uwierzytelniające lub skontaktuj się z administratorem serwera proxy po pomoc.

Notka autorska ✍️

W internecie dostępne jest wiele darmowych i płatnych usług proxy, ale jednym z zalecanych rozwiązań do użytku komercyjnego jest IPRoyal. Oferują szeroki zakres usług proxy dla firm, w tym serwery proxy typu residential i data center, z wieloma lokalizacjami i typami adresów IP do wyboru.

Zapewniają niezawodne i bezpieczne usługi proxy dla wielu zastosowań, takich jak web scraping, eksploracja danych i automatyzacja.

Mam nadzieję, że ten artykuł pomógł Ci w nauce korzystania z serwera proxy za pomocą narzędzi wiersza poleceń cURL i wget. Możesz także zainteresować się artykułem o tym, jak anonimizować ruch w Linuxie za pomocą łańcuchów proxy i sieci Tor.