Ačkoli neuronová síť v určité situaci může jednoduše „ukládat“ texty, ke kterým byla trénováním vedena, v určitém momentu objem trénovacích sekvencí začne nutit síť uspořádat své váhy na „stručnější“ reprezentaci, najít společné prvky dat, s kterými se setkala a výstižné/užitečné abtraktní koncepty.
V odborné terminologii se prvotnímu prostému ukládání říká memorizace, přechodné fázi dvojitý sestup a kýžené užitečné fázi generalizace, vykládané jako komprese reprezentací a tvorba abstrakcí. Výrazným jevem potvrzujícím schopnost obecnějšího porozumění byl objev, že větší jazykový model dovede nabýt nové dovednosti z podnětu, který určitě neviděl během výcviku. Ilustrativním příkladem je pokus, kdy model pro generování textu obdržel příklady a popis zapomenutého nebo okrajového jazyka a dovedl s ním ihned zdatně pracovat bez jakýchkoli aktualizací vah či speciálního uzpůsobení modelu.
Dodatečné formování modelů k tomu, aby si před odpovědí na otázku nejprve přeformulovali a vlastním textem uvážili, jak se k ní postavit, může vést k prozkoumávání kombinací, které nejsou blízké široké škále lidských textů, dle nichž byl model původně učen. K tomuto existuje určitý vědecký skepticismus, avšak zároveň „myslící“ či verbálně rozvažující jazykové modely jsou ty, které nejčastěji přispívají k originálním řešením vědeckých a matematických otázek.
