Chip 11/2024: Jazykový model první verze ChatGPT obsahuje neuvěřitelných 175 miliard parametrů. Všechny byly optimalizovány v náročném tréninkovém procesu, při kterém bylo modelu předloženo obrovské množství textových dat z internetu, aby se naučil strukturu a vztahy lidského jazyka. Množství zpracovaných dat se zhruba rovnalo objemu HD videopřenosu běžícího nepřetržitě po dobu dvou let, a účet za elektřinu za tento proces pravděpodobně činil několik set tisíc dolarů.
A i po natrénování tyto obří systémy stále spotřebovávají podstatně více energie než běžné IT aplikace. Pesimistické odhady předpokládají, že jednoduchý dotaz na ChatGPT vyžaduje třicetkrát více energie než běžné internetové vyhledávání pomocí klíčových slov. Pokud bychom toto extrapolovali na devět miliard dotazů na Googlu denně, bylo by to dost energie na zásobování země jako je například Irsko.
Není tedy divu, že řada vývojářů hledá východisko z snaží se vyvinout modely, které budou výrazně úspornější. Pojďte se s námi podívat, jak se jim to daří a jaké metody při tom využívají.
Podrobnosti najdete v Chipu 11/24, který je v prodeji od 16. října.
