Návrh PauseAI může na první pohled působit jako radikální, nereálný, alarmistický či dokonce absurdní. Proč by někdo něco takového navrhoval? Pro lepší pochopení motivací, které za tímto návrhem stojí, doporučujeme nejprve prostudovat zdroje uvedené nejen na této stránce:
Implementace globální pauzy
Mezinárodní dohoda se obvykle dosahuje prostřednictvím summitu, kde se lídři jednotlivých zemí setkávají, aby prodiskutovali téma a rozhodli se. Velká Británie učinila první krok a uspořádala summit o bezpečnosti AI na podzim 2023. Byly ohlášeny další dva summity. Hlavním cílem summitu by měla být smlouva, kterou podepíší všechny členské státy OSN a která specifikuje opatření na ochranu před riziky AI.Klíčovým bodem je vytvoření mezinárodní agentury pro bezpečnost AI, podobné IAEA (International Atomic Energy Agency)|, která bude odpovědná za:
Udělení povolení pro nasazení AI modelů, včetně zkoušek bezpečnosti a hodnocení modelů.
Udělení povolení pro nové tréninkové běhy AI modelů nad určitou velikost (např. 1 miliarda parametrů).
Pravidelná setkání za účelem diskuse o pokrocích v oblasti výzkumu bezpečnosti AI.
Povolování tréninku obecné AI výkonnější než GPT-4 pouze tehdy, pokud lze zaručit její bezpečnost.
Výkonnější než GPT-4 rozumíme všechny AI modely, které mají buď:
více než 10^12 parametrů
jsou tréninovány s více než 10^25 floating point operacemi
schopnosti v praxi, díky kterýmpřekonají GPT-4
Ověření, že neprobíhají žádné nebezpečné tréninkové běhy. To lze provést různými způsoby:
sledováním GPU
podporou whistleblowerů
monitorováním spotřeby energie
inspekcí datových center
finančním zpravodajstvím
inspekcí výroby polovodičů
inspekcí vývojářů AI
sledováním lokalizace čipů
Dodavatelský řetězec AI čipů je vysoce centralizovaný, což umožňuje globální dohled. Toto opatření necílí na úzké AI systémy, jako je rozpoznávání obrazu používané k diagnostice rakoviny. Cílem je zabránit tréninku obecné AI Je možné, že problém sladění AI nikdy nevyřešíme – může být neřešitelný. V takovém případě bychom nikdy neměli umožnit vývoj takových systémů. I kdybychom mohli vytvořit kontrolovatelnou, bezpečnou AI, musela by být nasazena pouze pod silnou kontrolou. Superinteligence je příliš mocná, aby byla ovládána jedinou společností nebo zemí. Budeme potřebovat standardy a nezávislé zkoušky, abychom určili, zda model má nebezpečné schopnosti. Seznam nebezpečných schopností se může s rostoucími schopnostmi AI měnit. Upozorňujeme, že plné spoléhání se na hodnocení modelů není dostatečné.
Zakázat trénink AI systémů na chráněném materiálu. Tím se mohou řešit problémy s autorskými právy a zpomalí se pokrok směrem k superinteligenci.
Pohánět tvůrce AI modelů k odpovědnosti za trestné činy spáchané pomocí jejich AI systémů. To poskytuje tvůrcům modelů více pobídek k tomu, aby zajistili bezpečnost svých modelů.
Dlouhodobá politika
V době psaní tohoto textu stojí trénink modelu velikosti GPT-3 miliony dolarů. To trénink takových modelů činí velmi náročným a usnadňuje kontrolu nad tréninkem pomocí sledování GPU. Náklady na trénink modelu však exponenciálně klesají kvůli vylepšením hardwaru a novým tréninkovým algoritmům. Nastane bod, kdy bude možné trénovat potenciálně superinteligentní AI modely za několik tisíc dolarů nebo méně, možná i na běžném hardwaru. Na tuto situaci musíme být připraveni. Měli bychom zvážit následující politiku:
Omezit zveřejňování tréninkových algoritmů / vylepšení runtime. Občas je publikován nový algoritmus, který výrazně zefektivňuje trénink. Architektura Transformer například umožnila téměř všechny nedávné pokroky v AI. Takové schopnostní skoky mohou nastat kdykoliv, a měli bychom zvážit omezení publikace těchto algoritmů, aby se minimalizovalo riziko náhlého skoku ve schopnostech. Existují také inovace, které umožňují decentralizované tréninkové běhy. Podobně mohou některé runtime inovace zásadně změnit možnosti existujících modelů. Zákaz publikace takových algoritmů lze provést podobnými prostředky, jako jakými zakazujeme jiné formy informací, např. ilegální pornografická média.
Omezit zvyšování schopností výpočetních zdrojů. Pokud se stane možné trénovat superinteligenci na běžném hardwaru, budeme čelit problémům. Měli bychom zvážit omezení schopností hardwaru (např. prostřednictvím omezení litografie, návrhu čipů a nových výpočetních paradigmat, jako jsou fotonické čipy a kvantové počítače).
