Tag

token

14 artykułów

Era generatywna

Era generatywna

W latach 2018-2026 modele GPT dojrzewały dzięki skalowaniu i technice RLHF, prowadząc do eksplozji popularności ChatGPT, kluczowe kamienie milowe oraz konsekwencje dla firm, regulacji i ryzyk społecznych.

24 kwi 202614 min
Matematyczne granice zgadywania następnego słowa

Matematyczne granice zgadywania następnego słowa

Artykuł wyjaśnia, jak działają modele autoregresyjne i dlaczego nawet mały błąd na token rośnie wykładniczo wraz z długością odpowiedzi. Pokazuje, skąd biorą się halucynacje i czemu nie znikną tylko dzięki większym danym.

13 kwi 20268 min