Jak używać proxy z cURL i wget?

Czy jesteś zmęczony blokowaniem dostępu do niektórych stron internetowych lub usług?

Czy chcesz ominąć te ograniczenia i uzyskać dostęp do żądanych treści?

Jeśli Twoja odpowiedź brzmi „tak”, możesz rozważyć użycie serwera proxy za pośrednictwem interfejsu wiersza poleceń za pomocą narzędzi cURL lub wget.

Najpierw zobaczmy, czym dokładnie jest serwer proxy i jak działa.

Co to jest serwer proxy?

Serwer proxy działa jako pośrednik między Twoim urządzeniem (takim jak komputer lub telefon) a Internetem.

Gdy chcesz uzyskać dostęp do strony internetowej lub usługi, Twoje żądanie trafia najpierw do serwera proxy zamiast bezpośrednio do miejsca docelowego.

Następnie serwer proxy wysyła w Twoim imieniu żądanie do serwera docelowego i otrzymuje odpowiedź zwrotną od serwera docelowego. Na koniec serwer proxy wysyła tę odpowiedź z powrotem do Twojego urządzenia.

To trochę tak, jakby mieć osobistego asystenta, który zajmuje się całą komunikacją między tobą a serwerem docelowym.

Ale po co w ogóle używać serwera proxy?

Cóż, jest kilka powodów.

Korzystanie z serwera proxy może pomóc w ochronie prywatności i anonimowości. Gdy łączysz się ze stroną internetową lub usługą za pośrednictwem serwera proxy, Twój adres IP jest ukryty przed serwerem docelowym. Zamiast tego serwer widzi tylko adres IP serwera proxy. Może to utrudnić witrynom śledzenie Twojej aktywności online.

I…

Innym powodem korzystania z serwera proxy jest filtrowanie treści. Może to być szczególnie przydatne dla organizacji, które chcą kontrolować lub ograniczać dostęp do określonych typów treści.

Serwery proxy można skonfigurować tak, aby blokowały dostęp do niektórych witryn internetowych na podstawie określonych kryteriów, takich jak słowa kluczowe lub kategorie adresów URL. Może to pomóc w zapewnieniu, że pracownicy nie będą uzyskiwać dostępu do nieodpowiednich lub rozpraszających uwagę stron internetowych w godzinach pracy.

Jeśli chcesz poznać kluczowe różnice między proxy a VPN, zapraszamy do odwiedzenia tego artykułu.

Jak korzystać z serwera proxy z cURL?

cURL to narzędzie wiersza poleceń typu open source przeznaczone do przesyłania danych między serwerami, co sprawia, że ​​jest to wybór dla kreatorów technologii na całym świecie. Dzięki imponującej kompatybilności z szeroką gamą protokołów, takich jak HTTP, FTP i SMTP.

Z łatwością poradzi sobie nawet z najbardziej złożonymi zadaniami przesyłania danych. Dodatkowo to innowacyjne narzędzie jest wyposażone w szereg bezpiecznych metod szyfrowania, które pomagają zapewnić bezpieczeństwo danych podczas całego procesu przesyłania.

cURL jest łatwo dostępny do użytku w większości systemów operacyjnych. Jeśli okaże się, że nie jest zainstalowany w twoim systemie, nie martw się – możesz łatwo pobrać go ręcznie. Wystarczy wykonać poniższe czynności, aby zainstalować cURL i odblokować jego pełny potencjał.

Okna

  • Pobierz plik wykonywalny curl z oficjalnej strony internetowej.
  • Rozpakuj plik zip do folderu na komputerze.
  • Dodaj ścieżkę folderu do systemowej zmiennej środowiskowej PATH.

System operacyjny Mac

  • Otwórz aplikację terminala.
  • Zainstaluj Homebrew (jeśli jeszcze tego nie zrobiłeś), uruchamiając następujące polecenie.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Teraz zainstaluj cURL, uruchamiając następujące polecenie.
brew install curl

Linuks

W większości dystrybucji Linuksa cURL jest instalowany domyślnie. Jeśli go brakuje, musisz go zainstalować za pomocą menedżera pakietów specyficznego dla twojej dystrybucji.

Na przykład w systemie Ubuntu lub Debian możesz zainstalować cURL, uruchamiając następujące polecenie.

sudo apt-get install curl

W CentOS lub Fedorze możesz użyć poniższego polecenia.

sudo yum install curl

Po zainstalowaniu cURL możesz go przetestować, uruchamiając polecenie „curl –version” w terminalu / wierszu polecenia.

Przejdźmy do naszego głównego tematu.

Możesz użyć serwera proxy z cURL, określając serwer proxy i numer portu w poleceniu cURL, używając opcji -x lub –proxy.

Oto podstawowa składnia polecenia cURL korzystającego z serwera proxy.

curl -x <proxy-server>:<port-number> <url>

Zastąp nazwą hosta lub adresem IP serwera proxy, numerem portu używanym przez serwer proxy, a adresem URL witryny lub punktu końcowego interfejsu API, do którego chcesz uzyskać dostęp.

Oto przykładowy przykład.

curl -x 5.189.184.6:80  ipinfo.io

To polecenie wysyła żądanie do witryny ipinfo.io przez serwer proxy pod adresem 5.189.184.6 na porcie 80. Ten przykładowy adres proxy wziąłem z publicznie dostępnej listy proxy. Jeśli szukasz tymczasowego adresu proxy, odwiedź tę stronę internetową. Spróbuj na własne ryzyko!☢️

Pamiętaj, że czasami może być konieczne podanie poświadczeń uwierzytelniających na serwerze proxy, w takim przypadku możesz użyć opcji „–proxy-user” i „–proxy-password”, aby dołączyć swoją nazwę użytkownika i hasło. Na przykład:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Zastąp „nazwę użytkownika” i „hasło” rzeczywistymi poświadczeniami uwierzytelniającymi dla serwera proxy.

Testowanie połączenia proxy za pomocą cURL

Przed użyciem proxy

Tutaj możesz zobaczyć, że cURL pokazuje mój oryginalny adres IP i lokalizację. Ze względów bezpieczeństwa musiałem ukryć swój adres IP.

Po użyciu proxy

Tutaj cURL pokazuje adres proxy zamiast mojego oryginalnego adresu IP.

Jak używać proxy z wget?

wget to narzędzie wiersza poleceń służące do pobierania plików z Internetu. Jest preinstalowany w większości systemów Linux, Unix i macOS, a także jest dostępny dla systemu Windows.

Aby zainstalować wget w systemie Linux, możesz użyć menedżera pakietów swojej dystrybucji.

Na przykład w Debianie lub Ubuntu możesz użyć następującego polecenia:

sudo apt-get install wget

Na CentOS lub Fedorze

sudo yum install wget

W systemie macOS możesz zainstalować wget przy użyciu Homebrew.

brew install wget

W systemie Windows możesz zainstalować wget, pobierając binarny plik wykonywalny z oficjalnej strony GNU i dodając go do ścieżki systemowej.

Po zainstalowaniu wget możesz go użyć do pobierania plików z wiersza poleceń, podając adres URL pliku, który chcesz pobrać. Na przykład, aby pobrać plik o nazwie „example.zip” ze strony internetowej, możesz użyć następującego polecenia:

wget http://example.com/example.zip

Możesz także użyć dodatkowych opcji, aby dostosować pobieranie, takich jak określenie nazwy pliku wyjściowego lub katalogu, ograniczenie prędkości pobierania i wznawianie przerwanego pobierania. Aby dowiedzieć się więcej o dostępnych opcjach, skorzystaj z instrukcji obsługi wget, wpisując w terminalu „man wget”.

Przyjrzyjmy się bliżej konfiguracji serwera proxy przy użyciu tego wget.

Najpierw ustaw zmienne środowiskowe dla serwera proxy, uruchamiając następujące polecenie w terminalu.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Sprawdź, czy serwer proxy jest poprawnie skonfigurowany, uruchamiając następujące polecenie:

wget <target-url>

Zastąp adresem URL pliku lub strony internetowej, którą chcesz pobrać za pomocą serwera proxy. Jeśli polecenie pomyślnie pobierze plik lub stronę internetową, oznacza to, że serwer proxy jest prawidłowo skonfigurowany. Jeśli to się nie powiedzie, może być konieczne sprawdzenie ustawień i poświadczeń serwera proxy.

(Opcjonalnie) Aby ustawienia serwera proxy były trwałe, możesz dodać zmienne środowiskowe do pliku profilu powłoki, takie jak ~/.bashrc lub ~/.bash_profile. Możesz dodać następujące wiersze na końcu pliku:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Jeśli Twój serwer proxy wymaga uwierzytelnienia, możesz podać swoją nazwę użytkownika i hasło w zmiennych „http_proxy” i „https_proxy environment”.

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Uwaga: niektóre serwery proxy mogą używać innego schematu protokołów, takiego jak skarpetki zamiast „http” lub „https”. W takim przypadku musisz odpowiednio dostosować schemat w zmiennych środowiskowych i adresach URL.

Testowanie połączenia proxy z wget

Przed użyciem proxy

wget pokazuje mój oryginalny adres IP przed użyciem adresu proxy. Ze względów bezpieczeństwa musiałem ukryć swój adres IP.

Po użyciu proxy

Tutaj możesz zobaczyć, że wget próbuje połączyć się z serwerem proxy przed uzyskaniem dostępu do strony internetowej.

Rozwiązywanie typowych problemów

Używanie serwera proxy z cURL i wget może czasami powodować problemy. Nie obawiaj się, mamy kilka typowych wskazówek dotyczących rozwiązywania problemów, które pomogą Ci wrócić na właściwe tory!

# 1. Serwer proxy nie odpowiada

Jeśli serwer proxy nie odpowiada, być może jest wyłączony lub występują problemy. Aby dowiedzieć się, co się dzieje, spróbuj wykonać następujące czynności.

  • Sprawdź, czy serwer proxy działa, wysyłając polecenie ping na adres IP serwera.
  • Upewnij się, że wprowadziłeś poprawny adres serwera proxy i numer portu.
  • Spróbuj użyć innego serwera proxy, aby sprawdzić, czy problem nadal występuje.

#2. Połączenie odrzucone

Och, połączenie odrzucone?

To nie jest dobrze.

Ten błąd zwykle wskazuje, że serwer proxy nie akceptuje połączeń. Oto kilka kroków, aby rozwiązać ten problem:

  • Najpierw sprawdź, czy serwer proxy jest skonfigurowany do akceptowania połączeń z Twojego adresu IP lub podsieci.
  • Upewnij się, że serwer proxy nie jest blokowany przez zaporę lub oprogramowanie antywirusowe.
  • Następnie sprawdź, czy serwer proxy wymaga poświadczeń uwierzytelniających i upewnij się, że wprowadziłeś prawidłowe poświadczenia.

Nie zapomnij wypróbować innego serwera proxy, jeśli żadna z tych wskazówek nie działa.

#3. Weryfikacja certyfikatu SSL/TLS nie powiodła się

weryfikacja certyfikatu nie powiodła się?

Wygląda na problem z certyfikatem SSL/TLS serwera proxy.

Aby rozwiązać ten problem, spróbuj wykonać następujące czynności:

  • Sprawdź certyfikat serwera proxy, aby upewnić się, że jest ważny i nie wygasł.
  • Jeśli certyfikat jest nieważny, skontaktuj się z administratorem serwera proxy w celu uzyskania ważnego certyfikatu SSL/TLS.
  • Jeśli certyfikat jest ważny i nadal nie działa. Możesz wyłączyć weryfikację certyfikatu SSL/TLS, ale pamiętaj, że może to zagrozić Twojemu bezpieczeństwu.

#4. Uwierzytelnianie nie powiodło się

Jeśli serwer proxy wymaga uwierzytelnienia i nie możesz się uwierzytelnić, prawdopodobnie wprowadzono nieprawidłową nazwę użytkownika i hasło lub serwer proxy używa innej metody uwierzytelniania.

Spróbuj odpowiednio dostosować dane uwierzytelniające lub skontaktuj się z administratorem serwera proxy w celu uzyskania pomocy.

Notka autorska✍️

W Internecie dostępnych jest wielu bezpłatnych i płatnych dostawców proxy, ale jedną z zalecanych opcji do użytku komercyjnego jest IPRoyal. IPRoyal oferuje szeroką gamę rozwiązań proxy dla firm, w tym serwery proxy dla gospodarstw domowych i centrów danych z wieloma lokalizacjami i typami adresów IP do wyboru.

Zapewnia niezawodne i bezpieczne usługi proxy dla różnych zastosowań, takich jak skrobanie sieci, eksploracja danych i automatyzacja.

Mam nadzieję, że ten artykuł okazał się pomocny w nauce korzystania z serwera proxy za pomocą narzędzi wiersza poleceń cURL i wget. Możesz być także zainteresowany nauczeniem się, jak anonimizować ruch w Linuksie za pomocą łańcuchów proxy i sieci Tor.