Ponieważ w Internecie dostępnych jest kilka chatbotów, wybranie tego, który spełnia Twoje potrzeby, może być niezwykle trudne. Chociaż możesz ręcznie porównać dowolne dwa chatboty, zajmie to dużo czasu i wysiłku.
Lepszym i prostszym sposobem jest użycie Chatbot Arena do porównania różnych LLM obsługujących popularne chatboty. Oferuje kilka trybów porównywania różnych modeli, które wyjaśnimy poniżej.
Spis treści:
Czym jest Chatbot Arena?
Stworzona przez LMSYS Org, Chatbot Arena to platforma do porównywania różnych LLM. Do rankingu różnych modeli wykorzystuje system Elo Rating.
Chatbot Arena oferuje użytkownikom kilka sposobów porównywania i oceniania LLM. Na podstawie przesłanych opinii Chatbot Arena umieszcza różne LLM w publicznej tabeli liderów. Projekt jest sponsorowany przez HuggingFace, otwartą alternatywę dla ChatGPT.
Jak porównać anonimowe LLM z Chatbot Arena
Tryb bitwy Chatbot Arena pozwala anonimowo porównywać LLM. Na przykład możesz porównać ChatGPT (GPT 3.5) i Claude. Oznacza to, że Chatbot Arena sama wybiera dowolne dwa modele językowe i nie zdradzając ich nazw, pozwala je porównać.
Po wejściu w pierwszy monit Chatbot Arena pobiera odpowiedzi z obu modeli i prezentuje je obok siebie. Platforma umożliwia ponowne wygenerowanie odpowiedzi (dla obu LLM) i wyczyszczenie historii, aby rozpocząć inną rozmowę. Możesz zadawać więcej pytań, aż wybierzesz wyraźnego zwycięzcę.
Następnie możesz wybrać, czy model A jest lepszy, czy B. Po wyłonieniu zwycięzcy Chatbot Arena ujawnia nazwy obu botów. Ten tryb działa świetnie, ponieważ na Twoją decyzję nie ma wpływu Twoje wcześniejsze postrzeganie lub popularność modeli. Chatbot Arena pozwala także dostosować parametry, takie jak temperatura, górne P i maksymalne tokeny wyjściowe.
Jak porównać wybrane LLM z Chatbot Arena
Jeśli chcesz porównać dowolne dwa konkretne LLM, możesz przejść do trybu side-by-side w Chatbot Arena. Poza tym, że możesz sam wybrać LLM, tryb ten działa prawie tak samo jak tryb bitwy. Możesz dostosować parametry, zregenerować odpowiedzi, wyczyścić historię i na koniec wybrać zwycięzcę.
Jednak liczba LLM dostępnych w tym trybie jest ograniczona. Możesz wybrać różne wersje Llama 2, Vicuna i ChatGLM. Chociaż popularne LLM, takie jak GPT-4, GPT-3.5, Claude 1, Claude 2 itp., są obecnie niedostępne w tym trybie, Chatbot Arena planuje je dodać.
Porównaj LLM za pomocą Chatbot Arena
Niezależnie od tego, czy szukasz odpowiedniego chatbota do swoich potrzeb, czy po prostu chcesz przetestować różne LLM, Chatbot Arena to świetna platforma.
Zapewnia uproszczony sposób porównywania różnych modeli językowych obok siebie. A ponieważ utrzymuje tabelę wyników opartą na opiniach użytkowników, możesz bezpośrednio przeglądać rankingi różnych modeli bez samodzielnego przeprowadzania testów.