LLM (duży model językowy)Large Language Model

Co to jest LLM

Duży model językowy to program, który nauczył się zależności w języku na podstawie bardzo dużej ilości tekstów. Na tej podstawie potrafi kontynuować tekst w sensowny sposób: odpowiedzieć na pytanie, streścić dokument, napisać szkic maila, wyodrębnić dane z faktury albo przetłumaczyć umowę. Na takich modelach działają ChatGPT i Claude.

Model nie ma wiedzy w ludzkim rozumieniu. Przewiduje, jaki tekst najlepiej pasuje do polecenia i kontekstu. Zwykle robi to bardzo dobrze, ale czasem z pełnym przekonaniem podaje nieprawdę. To zjawisko nazywa się halucynacjami.

Co LLM potrafi w firmie

• Praca z tekstem: szkice maili, ofert, odpowiedzi do klientów, notatek ze spotkań.
• Streszczenia: długie umowy, raporty, wątki mailowe skrócone do najważniejszych punktów.
• Wyodrębnianie danych: pola z faktur, zamówień i formularzy zapisane w strukturze, którą przyjmie system.
• Klasyfikacja: przypisanie zgłoszenia do kategorii, ocena pilności, rozpoznanie języka.
• Odpowiedzi na podstawie dokumentów firmy: w połączeniu z RAG model odpowiada z waszej wiedzy, a nie z ogólnej.

Czego LLM nie robi dobrze

Model nie zna waszych danych, jeśli mu ich nie dostarczycie. Nie ma dostępu do bieżących informacji, chyba że połączy się go z wyszukiwarką lub systemem. Słabiej radzi sobie z dokładnymi obliczeniami i może się mylić w faktach. Dlatego w procesach firmowych wynik modelu traktuje się jako szkic do sprawdzenia albo jako jeden krok przepływu z kontrolą, a nie jako ostateczną decyzję.

Jak to wygląda w praktyce

To przykład ilustracyjny. Dział obsługi klienta dostaje kilkadziesiąt maili dziennie. Przepływ automatyzacji przekazuje każdy mail do modelu językowego z poleceniem: określ kategorię, pilność i numer zamówienia, jeśli występuje. Wynik w formacie JSON trafia do systemu zgłoszeń, a konsultant dostaje gotowy szkic odpowiedzi. Konsultant sprawdza, poprawia i wysyła. Całość opisujemy w usłudze automatyzacja w obsłudze klienta.

Jak wybrać model

Modele różnią się jakością odpowiedzi, szybkością, ceną i zasadami przetwarzania danych. Do prostych zadań, jak klasyfikacja maili, wystarcza mniejszy i tańszy model. Do analizy długich dokumentów i złożonych odpowiedzi warto użyć mocniejszego. Najlepiej porównać dwa lub trzy modele na kilkudziesięciu prawdziwych przykładach z firmy, zanim wybierze się jeden do procesu.

Bezpieczeństwo danych

Przy pracy z danymi firmy ważne jest, z jakiej wersji modelu korzystacie. Plany firmowe dostawców zwykle nie wykorzystują danych do trenowania modeli i dają kontrolę nad przetwarzaniem. Darmowe konta prywatne nie zawsze. Zasady opisujemy w artykule RODO a automatyzacja procesów, a bezpieczne wdrożenie AI w firmie w usłudze strategia wdrożenia AI.