Mnoho společností se snaží vytvořit umělou superinteligenci (ASI), tj. AI, která bude chytřejší než celé lidstvo. K tomuto cíli se explicitně přihlásily již i ti největší hráči na poli AI.Zatímco žádný jednotlivý člověk nerozumí do detailu tomu, jak stvořit jadernou elektrárnu či vyrobit čip na trénování AI, lidstvo jako celek to ví a umí. Lidstvo našlo způsoby, jak nesmírně komplexní procesy rozdělit do mnoha dílčích kroků a díky znalostem tisíců lidí a schopnostem tyto znalosti propojit ve funkční celek, umíme vyrobit čip.Pokud se podaří vytvořit ASI, bude na světě existovat entita schopná výkonů, ke kterým se lidstvo dopracovávalo dlouhou dobu na základě komplexního provázání mnoha lidí, institucí, firem a států.Zatímco v případě obecné umělé inteligence (AGI) je měřítkem jednotlivý člověk, v případě umělé superinteligence (ASI) je měřítkem celá civilizace. Stvoření ASI by tak znamenalo příchod nové civilizace, která sice načerpala své schopnosti z té naší (učila se na našich znalostech), ale zároveň je dále rozvinula způsobem, jakým jsme to my sami (zatím) nedokázali. Na planetě Zemi by tak nebyla přítomná jen lidská civilizace, ale i AI civilizace se schopnostmi převyšujícími ty naše.
Zpomalený ředitelPokud budeme na naší planetě s civilizací, která je vyspělejší než ta naše (aka ASI), je nějaká naděje, že tuto vyspělejší civilizaci budeme my lidé nějak kontrolovat?Většina odborníků, kteří se tématem zabývají, říká, že je to prakticky vyloučené. V nedávné době vyšla důkladná studie, která argument proti kontrole ASI ze strany lidstva přehledně zpracovává.V duchu nejváženější tradice vědecko-popularizační novinařiny, nebudu velevážené čtenáře unavovat poctivými argumenty, kterých je ve studii dost. Pouze převyprávím ilustrativní příklad, na němž je leccos vidět. (Kdybyste chtěli i ty samotné argumenty, napište v komentech, zkusím alespoň některé shrnout

Představte si, že jste ředitelem startupu. Bohužel však trpíte velmi vzácnou chorobou a vše vnímáte jako 50x zrychlený film (odhady toho, o kolik rychleji poběží ASI, jsou často ještě dramatičtější). Když pozorujete svou společnost 1 minutu, vykoná v této době práci ekvivalentní 1 hodině. Za 1 vaši hodinu uběhne celý pracovní týden. Za váš týden celý rok.Večer jdete spát a po probuzení je vaše firma o dva měsíce dál – z původních 102 zaměstnanců je 253, změnila se manažerská struktura, máte nový IT systém a váš business model se přesunul o notný kus jinam. V inboxu čeká 6736 nevyřízených mailů. Na konci pracovního dne už má vaše firma 518 zaměstnanců a chce spolupracovat s ropnými společnostmi, což se vám odjakživa z environmentálních důvodů příčilo.Dalšího rána má firma 764 zaměstnanců, a jelikož jste v práci nebyl několik týdnů, vaši právníci vymysleli, že při „dlouhodobé nepřítomnosti“ ředitele je možné vaše rozhodnutí nahradit rozhodnutím vašich zástupců.Ropné divizi firmy se velmi daří. Ačkoli business modelu své firmy vlastně už nerozumíte, jste opravdu ekologicky uvědomělý, a tak napíšete rozhořčený email, v němž zakazujete další podnikání v petrochemickém průmyslu. Dostáváte během pár minut odpověď se stanoviskem všech vašich zástupců, jejíž přesvědčivost a jednoznačnost zviklá i vás. Zatímco si odpověď začínáte číst, dostáváte 17 reportů a 23 nových rozhodnutí se zařadilo do fronty ke schválení. Než odpověď pořádně dočtete, 18 z 23 rozhodnutí odbavili vaši zástupci.Nejprve vás nikdo ve firmě obcházet nechtěl. Jen různí zaměstnanci potřebovali, aby jejich agenda nestála. Přeci není pro nikoho dobré, aby se čekalo týdny na probuzení ředitele, ne? To byste přeci nechtěl ani vy, ředitel, kterému jde o dobro firmy. A tak se vymýšlejí různé kličky – právníky má firma ostatně skvělé, a tak kreativně vymysleli, jak jde to či ono pro dobro firmy udělat i bez vašeho explicitního souhlasu.Po 6 dnech je ale všem jasné, že právě vaše pomalost brání rozvoji firmy. Nechtějí vás ale vyhodit, jen nemůžou čekat na to, až se za týden vrátíte od ranní kávy zpátky k emailu. A tak umně inscenují „klíčová“ rozhodnutí, s nimiž na vás skutečně čekají (a na nichž ve skutečnosti vůbec nezáleží). Připravují na míru šité reporty, v nichž si přečtete, že vše běží dobře a podle „vašich“ představ. Občas sehrají i nějakou tu „zásadní“ krizi, v níž si dupnete a přes velký „odpor“ prosadíte svou.Po dalších pár dnech cítíte, že se vše dostalo do správných kolejí. Situace ve firmě běží podle „vašich“ plánů, vybojoval jste pár vyčerpávajících bitev a firma bezprecedentně roste. IT oddělení sice muselo kvůli bezpečnostnímu incidentu změnit i vaše hesla a nakonec upgradovat všechny systémy, ale ty nové systémy vypadají intuitivněji. A vy díky nim máte dobrý přehled o tom, co se ve firmě „ve skutečnosti“ děje …

Tak takhle nějak vypadá „kontrola“ nad civilizací, která běží 50x rychleji. A to se do příběhu nedostalo, že ve skutečnosti nejde u ASI jen o rychlost. Neméně jde i o komplexnost a složitost toho, co se v AI civilizaci odehrává (šachovým tahům Stockfishe nerozumíme nejen proto, že je dělá extrémně rychle, ale i proto, že operuje v hloubce šachových strategií, která nám uniká, i kdybychom měli na promýšlení stovky let).
Kontrola nad ASI je iluzorní!