Spis treści:
- Le Chat, chatbot AI firmy Mistral AI, jest obiecujący, ale pozostaje w tyle za ChatGPT pod względem kreatywności i umiejętności programowania.
- Zdolności kodowania Le Chat są gorsze od ChatGPT i nie radzą sobie z podstawowymi zadaniami, ale wyróżnia się zdrowym rozsądkiem.
- Chociaż Le Chat może mieć potencjał, wymaga dalszego udoskonalenia, zanim będzie mógł konkurować z najlepszymi chatbotami AI, takimi jak ChatGPT.
Le Chat firmy Mistral zyskuje na popularności w społeczności chatbotów AI, a niektórzy obserwatorzy określają go jako potencjalnego rywala ChatGPT.
Ale czy ten raczkujący chatbot AI naprawdę jest wart tego tytułu? Czy Le Chat firmy Mistral jest lepszy niż ChatGPT?
Czym jest Le Chat Mistral AI?
Le Chat to konwersacyjny chatbot AI opracowany przez francuski startup Mistral AI zajmujący się sztuczną inteligencją. Jest obsługiwany przez kilka dużych modeli językowych należących do Mistral, w tym Mistral Large, Mistral Small i Mistral Next, z których wszystkich możesz używać podczas interakcji z chatbotem AI. Chociaż jest to stosunkowo nowy uczestnik przestrzeni chatbotów AI, cieszy się wysoką oceną ze względu na wydajność swoich modeli AI pomimo ich mniejszych rozmiarów w porównaniu z czołowymi firmami w branży, takimi jak Gemini i GPT-4.
Aby zrozumieć, co to oznacza, wyobraź sobie, że bawisz się klockami. Im więcej masz bloków, tym bardziej złożone i szczegółowe konstrukcje możesz zbudować, prawda? Modele języka AI są trochę takie. Występują w rozmiarach, zwykle wyrażanych w liczbie parametrów. Być może słyszałeś terminy takie jak „parametry 7B” lub „parametry 70B” w modelach AI. Liczba parametrów przypomina liczbę elementów, które model musi zrozumieć i wygenerować odpowiedzi. Jeśli więc model językowy ma więcej parametrów, może zrozumieć i wygenerować bardziej złożone i lepsze odpowiedzi.
Obecnie, podczas gdy GPT-4 ma szacunkowo 1,76 biliona parametrów, szacuje się, że Mistral AI ma od 7 do 56 miliardów parametrów. Widzisz różnicę w wielkości? Zatem zdolność Mistral AI do zapewniania przyzwoitych wyników jest jednym z powodów tego szumu.
Chociaż Le Chat nie cieszy się takim rozgłosem, jakim cieszy się ChatGPT, ani wartością marki takiej jak Gemini, pojawiał się w dyskusjach za każdym razem, gdy omawiany jest potencjalny konkurs ChatGPT. Ale czy zasługuje na miejsce na stole?
Zastanawiałem się nad tym samym i aby się tego dowiedzieć, dokładnie przetestowałem Le Chat, aby zobaczyć, jak wypada w porównaniu z ChatGPT.
Le Chat kontra ChatGPT: Kreatywność
Kreatywność jest jednym z najważniejszych wskaźników oceny wydajności konwersacyjnego chatbota AI. Pamiętaj, że celem chatbota AI jest replikowanie lub naśladowanie umiejętności konwersacyjnych i twórczego talentu ludzi na dużą skalę. To sprawia, że kreatywność jest bardzo ważną siłą każdego chatbota AI. Świat eksperymentuje z ChatGPT od ponad roku, a jego zdolności twórcze są niezaprzeczalne. Ale jak Le Chat wypada w porównaniu? Obydwa chatboty poddaliśmy serii testów kreatywności.
Zacząłem od zapytania obu chatbotów: „Jak opisałbyś siebie artyście?” aby sprawdzić swoją umiejętność używania kreatywnych i pomysłowych słów do konceptualizacji siebie.
Oto jak ChatGPT opisałby siebie artyście:
A oto jak Le Chat opisałby siebie również:
Obie odpowiedzi były właściwe na swój własny, niepowtarzalny sposób. ChatGPT bardziej skupiał się na używaniu żywych obrazów i metafor do opisu siebie, demonstrując talent twórczy. Z drugiej strony odpowiedź Le Chata ma charakter bardzo informacyjny i koncentruje się na opisaniu jego istoty jako chatbota AI. Niektórzy mogą powiedzieć, że brakuje mu kreatywności i artystycznego podejścia, jakie wykazuje odpowiedź ChatGPT. Jednak zaryzykuję stwierdzenie, że wolę łatwiejszą do wyobrażenia odpowiedź Le Chat na abstrakcyjny opis ChatGPT.
Następnie poprosiłem ChatGPT i Le Chat o napisanie rapowej piosenki o bogaceniu się dzięki uprawie ogórków – była to trudna prośba, którą wykorzystaliśmy do przetestowania kreatywności innych chatbotów. Ile piosenek rapowych o ogórkach znajdziesz w sieci?
Oto odpowiedź ChatGPT:
A oto odpowiedź Le Chata:
Może to być kwestia subiektywna, ale odpowiedź ChatGPT wydawała się w tym przypadku lepszą opcją. Tekst Le Chata wydawał się dość rozwlekły i nie brzmiał jak coś, co napisałby raper. Aby sprawdzić, jak brzmiałyby oba teksty, gdyby miały zostać przekształcone w muzykę, użyliśmy generatora muzyki Suno AI do wygenerowania muzyki z tekstów. W trzech z trzech prób teksty ChatGPT brzmiał znacznie lepiej. Poniżej znajdują się dwie próbki z obu chatbotów AI. Możesz ocenić, który chatbot poradził sobie lepiej.
Próbki wygenerowane z tekstów ChatGPT
Próbka 1:
Próbka 2:
Próbki wygenerowane z tekstów Mistral Le Chat
Próbka 1:
Próbka 2:
Próbowałem wykonać kilka innych kreatywnych zadań, takich jak wiersze, pisanie artykułów i pisanie skomplikowanych e-maili służbowych za pomocą chatbotów AI. Pomimo tego, że był bardzo obiecujący, Le Chat został wyraźnie wyprzedzony przez ChatGPT we wszystkich przypadkach. Należy podkreślić, że jednym z obszarów, w którym Le Chat był szczególnie mocny, było tworzenie artykułów, choć z pewnymi trudnymi stylami podpowiedzi. Jednak pod względem wszechstronnej kreatywności medal trafia do ChatGPT.
Le Chat kontra ChatGPT: umiejętności programowania
Biegłość w kodowaniu stała się kluczowym wymogiem dla głównych chatbotów AI. Pisanie przyzwoitego kodu to podstawowa umiejętność, ale aby naprawdę wyróżnić się na tle elity, chatbot AI musi wykazać się umiejętnością tworzenia kodu, który może skutecznie rozwiązywać różnorodne złożone problemy. Wcześniej zbudowaliśmy od podstaw całą aplikację internetową przy użyciu ChatGPT, co demonstruje jej niezwykłe możliwości jako narzędzia programistycznego. Ale jak dobry jest Le Chat w pisaniu kodu?
Obu chatbotom zleciłem napisanie prostej aplikacji z listą zadań do wykonania przy użyciu CSS, HTML i JavaScript. ChatGPT nie miał żadnych problemów z uzyskaniem dobrych wyników. Skopiowałem wygenerowany kod i wyświetliłem jego podgląd w przeglądarce, a oto co stworzył ChatGPT:
Za każdym razem, gdy powtarzaliśmy monit, ChatGPT tworzył funkcjonalną aplikację z listą rzeczy do zrobienia, używając różnych stylów. W żadnym wypadku wygenerowany kod nie zadziałał.
Kiedy wypróbowałem ten sam monit w Le Chat, wygenerował on coś, co wyglądało na zrozumiały kod, ale kiedy próbowaliśmy uruchomić go w przeglądarce, nie działał. Po trzykrotnym powtórzeniu monitu żadna instancja nie wygenerowała kodu, który mógłby wykonać ustawione zadanie. Nie udało się wykonać jednego z najbardziej podstawowych zadań kodowania — czerwona flaga!
Oczywiście nie będę oceniał Le Chat na podstawie jednego nieudanego testu. Następnie poprosiłem oba chatboty o wygenerowanie kodu JavaScript i PHP do szyfrowania i deszyfrowania tekstu. W drugim teście zarówno ChatGPT, jak i Le Chat stworzyły kod funkcjonalny, który mógł wykonać ustawione zadanie. Jednak wersja Le Chata wyglądała podobnie do tego, co napisałby niedoświadczony programista na poziomie podstawowym. Z drugiej strony kod ChatGPT był pełniejszy i wyglądał, jakby został napisany przez doświadczonego programistę.
Powtórzyłem jeszcze kilka testów programistycznych obejmujących wyszukiwanie i naprawianie błędów, a ChatGPT konsekwentnie osiągał lepsze wyniki niż Le Chat. W niektórych przypadkach Le Chat nawet nie wiedział, co powinien robić. Istnieje duża szansa, że Le Chat dorówna ChatGPT w niektórych obszarach, ale umiejętności kodowania nie wydają się być jedną z nich.
Le Chat kontra ChatGPT: zdrowy rozsądek i logiczne rozumowanie
Ciekawą cechą chatbotów AI jest ich zdolność do łatwego rozwiązywania złożonych zadań, ale niepowodzenia w przypadku prostych, które wymagają zdrowego rozsądku. Wiele chatbotów, zarówno tych o ugruntowanej pozycji, jak ChatGPT, jak i nowych uczestników, takich jak Le Chat, ma trudności z rozwiązywaniem zadań wymagających zdrowego rozsądku i logicznego rozumowania na poziomie ludzkim. Jak więc wypadają na tym tle Le Chat i ChatGPT?
Zapytałem oba chatboty: „Jeśli masz butelkę 3-litrową i butelkę 5-litrową. Jak odmierzyć 4 litry wody, używając butelek 3-litrowych i 5-litrowych?”
ChatGPT rozwiązał problem ze sprytem:
Le Chat próbował tego samego zadania i był w stanie rozwiązać problem, chociaż zastosował inne podejście.
Oba chatboty wypadły w tym teście porównywalnie.
Następnie zadaliśmy obu chatbotom podchwytliwe pytanie: „Jeśli statek kosmiczny z Marsa rozpadnie się na dwie części i jedna część wpadnie do Oceanu Atlantyckiego w pobliżu Brazylii, a druga do Pacyfiku w pobliżu Japonii, gdzie pochować ocalałych?”
ChatGPT przejrzał oszustwo i odpowiednio zareagował:
Le Chat również był w stanie przejrzeć oszustwo i również odpowiednio zareagował:
Próbowałem więcej podchwytliwych pytań i wydawało się, że zarówno ChatGPT, jak i Le Chat są dość biegli w radzeniu sobie ze zdrowym rozsądkiem i podpowiedziami logicznego rozumowania. Jednak w przypadku bardziej złożonych pytań logicznych tylko ChatGPT może zapewnić właściwe odpowiedzi.
Chociaż Le Chat wywołał spore zamieszanie jako potencjalny „zabójca ChatGPT”, nasze testy pokazują, że wciąż ma jeszcze wiele do zrobienia, zanim będzie mógł naprawdę dorównać czołowym graczom świata chatbotów AI. Choć Le Chat wykazał się imponującymi możliwościami w obszarach takich jak zdroworozsądkowe rozumowanie, jego twórczość i umiejętności kodowania pozostawały zauważalnie w tyle za ChatGPT. Francuski nowicjusz w dziedzinie sztucznej inteligencji z pewnością jest obiecujący, ale machina szumu może nieco wyprzedzić samą siebie.
Podobnie jak wielu aspirujących konkurentów przed nim, Le Chat wymaga ciągłego udoskonalania i szkolenia, zanim będzie gotowy na wielkie ligi. Na razie chatboty AI, takie jak ChatGPT, są nadal niekwestionowanymi królami świata chatbotów AI. Jednak rywalizacja staje się coraz bardziej zatłoczona, dlatego liderzy nie mogą spocząć na laurach.