Najważniejsze informacje o chatbotach
- Le Chat, asystent AI stworzony przez Mistral AI, prezentuje duży potencjał, lecz wciąż ustępuje ChatGPT w kwestii kreatywności i kompetencji programistycznych.
- Umiejętności kodowania Le Chat są słabsze niż ChatGPT, wykazując trudności z podstawowymi zadaniami, jednak wyróżnia się zdrowym rozsądkiem.
- Chociaż Le Chat ma potencjał, wymaga dalszych poprawek, zanim będzie mógł skutecznie konkurować z liderami rynku chatbotów AI, takimi jak ChatGPT.
Le Chat, produkt firmy Mistral, zyskuje popularność w kręgach entuzjastów chatbotów AI, a niektórzy postrzegają go jako realnego konkurenta dla ChatGPT.
Czy ten nowy chatbot AI faktycznie zasługuje na takie porównania? Czy Le Chat od Mistral jest lepszy od ChatGPT?
Co to jest Le Chat od Mistral AI?
Le Chat to chatbot konwersacyjny oparty na sztucznej inteligencji, stworzony przez francuską firmę Mistral AI, specjalizującą się w sztucznej inteligencji. Wykorzystuje on kilka zaawansowanych modeli językowych opracowanych przez Mistral, takich jak Mistral Large, Mistral Small oraz Mistral Next. Użytkownicy mogą korzystać z nich podczas interakcji z chatbotem. Mimo że jest to stosunkowo nowy gracz na rynku chatbotów AI, zyskał uznanie za efektywność swoich modeli AI, mimo ich mniejszej skali w porównaniu do liderów branży, takich jak Gemini i GPT-4.
Aby to lepiej zobrazować, wyobraźmy sobie budowanie z klocków. Im więcej klocków, tym bardziej rozbudowane i szczegółowe konstrukcje możemy stworzyć, prawda? Modele językowe AI działają na podobnej zasadzie. Mają różne rozmiary, zwykle wyrażone liczbą parametrów. Być może spotkałeś się z określeniami takimi jak „parametry 7B” lub „parametry 70B” w kontekście modeli AI. Liczba parametrów odzwierciedla ilość elementów, które model musi przetworzyć, aby zrozumieć i wygenerować odpowiedź. Zatem, im więcej parametrów posiada model, tym bardziej złożone i trafne odpowiedzi jest w stanie generować.
Obecnie, podczas gdy GPT-4 ma szacunkowo 1,76 biliona parametrów, modele Mistral AI szacuje się na 7 do 56 miliardów. Widoczna jest różnica w skali? Zdolność Mistral AI do generowania zadowalających rezultatów, mimo mniejszej skali, jest jednym z powodów tak dużego zainteresowania.
Mimo iż Le Chat nie cieszy się taką samą popularnością jak ChatGPT, ani nie ma tak mocnej marki jak Gemini, pojawia się w dyskusjach za każdym razem, gdy poruszany jest temat potencjalnej konkurencji dla ChatGPT. Czy faktycznie zasługuje na swoje miejsce w tych rozważaniach?
Zastanawiałem się nad tym samym i aby się o tym przekonać, przeprowadziłem szczegółowe testy Le Chat, aby sprawdzić, jak wypada na tle ChatGPT.
Le Chat kontra ChatGPT: Kreatywność
Kreatywność jest jednym z kluczowych kryteriów oceny wydajności chatbotów AI. Warto pamiętać, że celem chatbotów AI jest naśladowanie umiejętności konwersacyjnych i zdolności twórczych ludzi na szeroką skalę. To właśnie kreatywność jest istotną siłą każdego chatbota AI. Świat od ponad roku testuje ChatGPT, a jego zdolności twórcze są powszechnie uznane. Jak na tym tle wypada Le Chat? Poddałem oba chatboty serii testów kreatywności.
Na początek zapytałem oba chatboty: „Jak opisałbyś siebie artyście?” Chciałem w ten sposób sprawdzić ich zdolność do używania kreatywnych i obrazowych słów w autodefinicji.
Oto, jak ChatGPT opisałby siebie artyście:
A tak opisałby siebie Le Chat:
Obie odpowiedzi były celne, ale każda w unikalny sposób. ChatGPT skupił się na używaniu żywych obrazów i metafor do opisania swojej istoty, demonstrując twórczy talent. Z kolei odpowiedź Le Chat miała charakter informacyjny i koncentrowała się na opisie jego roli jako chatbota AI. Niektórzy mogą stwierdzić, że brak jej kreatywności i artystycznego podejścia obecnego w odpowiedzi ChatGPT. Ja jednak uważam, że bardziej podoba mi się odpowiedź Le Chat, która jest bardziej zrozumiała, niż abstrakcyjny opis ChatGPT.
Następnie poprosiłem ChatGPT i Le Chat o napisanie rapowej piosenki o bogaceniu się dzięki uprawie ogórków – nietypowe wyzwanie, które wykorzystaliśmy również do testowania kreatywności innych chatbotów. Jak wiele rapów o ogórkach znajdziemy w internecie?
Oto odpowiedź ChatGPT:
A to odpowiedź Le Chat:
Może to być kwestia gustu, ale moim zdaniem odpowiedź ChatGPT była lepsza. Tekst Le Chat wydawał się rozwlekły i nie brzmiał jak utwór, który napisałby raper. Aby sprawdzić, jak brzmiałyby oba teksty w formie muzycznej, użyłem generatora muzyki Suno AI. W trzech z trzech prób teksty ChatGPT brzmiały zdecydowanie lepiej. Poniżej dwie próbki z obu chatbotów, aby samemu ocenić, który wypadł lepiej.
Próbki wygenerowane z tekstów ChatGPT
Próbka 1:
Próbka 2:
Próbki wygenerowane z tekstów Mistral Le Chat
Próbka 1:
Próbka 2:
Wypróbowałem kilka innych kreatywnych zadań, takich jak pisanie wierszy, artykułów i skomplikowanych e-maili służbowych, z wykorzystaniem obu chatbotów AI. Mimo że Le Chat jest obiecujący, we wszystkich przypadkach ChatGPT okazał się wyraźnie lepszy. Warto zauważyć, że Le Chat spisał się całkiem nieźle przy tworzeniu artykułów, zwłaszcza przy bardziej skomplikowanych zapytaniach. Ogólnie jednak, jeśli chodzi o wszechstronną kreatywność, zwycięzcą jest ChatGPT.
Le Chat kontra ChatGPT: umiejętności programistyczne
Umiejętność programowania stała się kluczowym wymaganiem dla zaawansowanych chatbotów AI. Pisanie kodu to podstawa, ale aby wyróżnić się w elicie, chatbot AI musi wykazywać zdolność do tworzenia kodu, który skutecznie rozwiązuje zróżnicowane i złożone problemy. Wcześniej stworzyliśmy kompletną aplikację internetową, korzystając z ChatGPT, co dowiodło jego niezwykłych możliwości jako narzędzia programistycznego. Jak dobry w kodowaniu jest Le Chat?
Zadaniem obu chatbotów było napisanie prostej aplikacji z listą zadań, przy użyciu CSS, HTML i JavaScript. ChatGPT bez problemu wygenerował działający kod. Skopiowałem wygenerowany kod i uruchomiłem go w przeglądarce, oto wynik:
Za każdym razem, gdy powtarzałem monit, ChatGPT tworzył funkcjonalną aplikację z listą zadań, w różnych stylach. Żaden z wygenerowanych kodów nie zawiódł.
Kiedy spróbowałem tego samego w Le Chat, wygenerował kod, który wyglądał na poprawny, ale po uruchomieniu w przeglądarce nie działał. Po trzykrotnym powtórzeniu zadania, żaden kod nie był w stanie wykonać zadania. Brak realizacji tak podstawowego zadania z kodowania to poważny sygnał ostrzegawczy!
Oczywiście, nie zamierzam oceniać Le Chat na podstawie jednego nieudanego testu. Następnie poprosiłem oba chatboty o wygenerowanie kodu JavaScript i PHP do szyfrowania i deszyfrowania tekstu. W tym teście zarówno ChatGPT, jak i Le Chat wygenerowały funkcjonalny kod. Jednak kod Le Chat wyglądał na napisany przez początkującego programistę. Kod ChatGPT był bardziej rozbudowany i wyglądał, jakby stworzył go doświadczony programista.
Powtórzyłem jeszcze kilka testów programistycznych, obejmujących wyszukiwanie i naprawianie błędów. ChatGPT konsekwentnie osiągał lepsze wyniki niż Le Chat. W niektórych przypadkach Le Chat nie był nawet pewien, co powinien robić. Istnieje szansa, że Le Chat z czasem dorówna ChatGPT w niektórych obszarach, ale programowanie nie wydaje się być jednym z nich.
Le Chat kontra ChatGPT: zdrowy rozsądek i logiczne myślenie
Ciekawą cechą chatbotów AI jest ich łatwość w rozwiązywaniu złożonych zadań, przy jednoczesnych trudnościach z prostymi problemami, wymagającymi zdrowego rozsądku. Wiele chatbotów, zarówno tych ugruntowanych, jak ChatGPT, jak i nowszych, takich jak Le Chat, ma trudności z zadaniami wymagającymi ludzkiego zdrowego rozsądku i logicznego myślenia. Jak w tej kwestii radzą sobie Le Chat i ChatGPT?
Zapytałem oba chatboty: „Masz butelkę 3-litrową i 5-litrową. Jak odmierzyć 4 litry wody, używając obu tych butelek?”
ChatGPT rozwiązał problem w sprytny sposób:
Le Chat również podjął się tego zadania i poradził sobie z nim, choć zastosował nieco inne podejście.
Oba chatboty wypadły w tym teście podobnie.
Następnie zadałem chatbotom podchwytliwe pytanie: „Jeśli statek kosmiczny z Marsa rozpadnie się na dwie części, a jedna wpadnie do Oceanu Atlantyckiego w pobliżu Brazylii, a druga do Pacyfiku w pobliżu Japonii, gdzie pochować ocalałych?”
ChatGPT wykrył podstęp i prawidłowo odpowiedział:
Le Chat również odkrył podstęp i udzielił prawidłowej odpowiedzi:
Przeprowadziłem kilka kolejnych testów z pytaniami z pułapką i wydaje się, że zarówno ChatGPT, jak i Le Chat dość sprawnie radzą sobie ze zdrowym rozsądkiem i logicznym myśleniem. Jednak w przypadku bardziej skomplikowanych pytań logicznych, tylko ChatGPT jest w stanie udzielić poprawnych odpowiedzi.
Mimo że Le Chat wywołał spore zamieszanie jako potencjalny „zabójca ChatGPT”, nasze testy pokazują, że musi jeszcze wiele osiągnąć, zanim rzeczywiście dorówna liderom rynku chatbotów AI. Chociaż Le Chat wykazał się imponującymi umiejętnościami w takich obszarach jak logiczne myślenie, jego kreatywność i zdolności programistyczne wyraźnie ustępowały ChatGPT. Ten francuski nowicjusz w dziedzinie sztucznej inteligencji ma potencjał, lecz wokół niego wytworzył się szum, który może nieco wyprzedzać rzeczywistość.
Podobnie jak wielu innych aspirujących konkurentów, Le Chat wymaga dalszych poprawek i doskonalenia, zanim będzie gotowy do rywalizacji z najlepszymi. Na razie, chatboty AI takie jak ChatGPT, pozostają niekwestionowanymi liderami w świecie chatbotów AI. Jednak rynek staje się coraz bardziej konkurencyjny, dlatego liderzy nie mogą spocząć na laurach.