Již toto úterý vyjde napjatě očekávaná kniha „Pokud ji někdo stvoří, všichni zemřeme“. Autorem není nikdo jiný než nejvýznamnější postava debat o rizicích AI, Eliezer Yudkowsky, a jeho spolupracovník z MIRI, Nate Soares.

Podle všeho jde o výjimečnou publikaci. Na relativně malé ploše autoři přesvědčují čtenáře o obrovském riziku spojeném s velmi pokročilou AI. Činí tak přitom způsobem, který je přístupný i těm, kteří o umělé inteligenci vlastně nic moc neví, nemají technické zázemí či načtenou literaturu o tzv. existenciálních rizicích.

O knize samotné se chystám napsat příspěvek v dalších týdnech. Pokud byste si ji chtěli koupit předem, níže naleznete odkaz. Předobjednáním přispějete k tomu, aby se o rizicích AI mluvilo víc. Takže hybaj, klikaj, kupujte!

Pokud by to byla pravda, vše by se muselo změnit

Na knihu vyšlo už několik recenzí. Napsal o ní již i skvělý bloger, Scott Alexander (blog Astral Codex Ten) – mimo jiné spoluautor výborné, temné a široce medializované předpovědi AI 2027.

Nebudu nyní rekapitulovat Alexanderovo hodnocení knihy samotné (je i kritický). Zaměřím se na jinou část jeho recenze. Alexander se v recenzi zamýšlí totiž i nad tím, proč většina debat o velkých rizicích umělé inteligence nepadá na úrodnou půdu.

Na argumentační rovině je totiž téměř nutné dospět k závěru, že AI velmi pravděpodobně vyhubí lidstvo. Přesto jen málokdo bere tuto hrozbu vážně. Proč? Mohl by za tím být následující psychologický mechanismus?

(Následuje moje (volná) parafráze a někdy překlad Alexanderova postu)

Pokud by byla pravda, že nás AI všechny vyhubí, vše by se muselo změnit. Jenže ona to není jistojistě pravda. A bylo by nepohodlné, kdyby se vše muselo změnit. A proto to nemůže být pravda.

Přiznat si, že za odmítáním argumentů pro AI rizika je nějaký takovýto psychologický mechanismus, je ale nepříjemné. A proto v debatách zaznívají různé dosti pochybné argumenty typu:
– Skutečným rizikem není superinteligentní AI, ale energie potřebná k provozu datacenter, vláda techbros, krnění naší schopnosti přemýšlet atd. Jako by rizikem nemohla být jak superinteligentní AI, tak všechny tyto další problémy.
– V minulosti se mnoho předpovědí nevyplnilo. Jako by zároveň neplatilo, že se mnoho předpovědí vyplnilo.
– Nemůžeš předpovídat zničení lidstva, vždyť se to ještě nikdy nestalo. Jako by se v dějinách světa nestalo nic poprvé (vymření dinosaurů, shození atomové bomby …).

Oteplování, plodnost a včely

Sám se k mnoha rizikům stavím asi podobným způsobem: Jelikož by bylo hrozně nepohodlné, kdyby to byla pravda (musel bych totiž úplně překopat svůj život), a ona to není pravda se stoprocentní jistotou, bude pohodlnější chovat se tak, jako že to pravda jistojistě není.

Ačkoli si myslím, že existují dobré důvody pro větší obavy ze superinteligentní AI než z jiných katastrofických scénářů, psychologicky chápu a sám na vlastní kůži zažívám tento mechanismus tváří v tvář jiným rizikům. Např.

– Kromě obvyklých scénářů globálního oteplování existují důvodné obavy, že se klima velmi brzy zhorší skokově. Důležitý oceánský proud se zastaví, uvolní se obrovské metanové úložiště, rozběhne se nekontrolovaná zpětnovazebná smyčka, tající led uvolní hrozivé nemoci. Kdyby to byla pravda, změnilo by to všechno a místo pomalé dekarbonizace bychom měli přejít na jakýsi nouzový plán. Jenže to by bylo nepohodlné.

– Někteří lidé tvrdí, že plodnost kolabuje a za pár desetiletí nebude dost mladých, aby uživili všechny staré, a za pár století bude ohrožena samotná existence lidské civilizace. Kdyby to byla pravda, změnilo by to všechno a měli bychom udělat buď něco krajně socialistického, nebo něco krajně reakčního (podle politického přesvědčení). Jenže to by mohlo být nepohodlné.

– Někteří lidé tvrdí, že včely vymírají, a pak se rostliny nebudou opylovat a zemědělství se zhroutí. Jiní říkají, že ve skutečnosti vymírá všechen hmyz, a pak se zhroutí potravní řetězec a biosféra se destabilizuje. Situace se včelami se zatím jeví stabilní; u ostatního hmyzu je to stále otevřená otázka. Jenže je to otevřená otázka, která by nás nutila zaujmout nějaké silné stanovisko k metodologii „počítání brouků“, jinak riskujeme destabilizaci biosféry – a to by bylo nepohodlné.

V praxi tak nějak pokrčíme rameny a řekneme, že tato rizika se zatím neprokázala natolik, aby opravňovala paniku a změnu všeho. A tak zvolíme jakési pozorné vyčkávání a možná názor změníme, pokud se v budoucnu objeví silnější důkazy. Pokud po nás někdo chce, abychom tuto podivnou pozici odůvodnili, sofistikovaní lidé vytvoří sofistikované pravděpodobnostní modely a nesofistikovaní lidé budou hledat nějaké ospravedlnění své lhostejnosti a uchýlí se k poněkud lunatickým argumentům typu: „nikdy nesmíš říct, že něco zničí lidstvo“ nebo „nemůžeš nic tvrdit bez matematického důkazu“.

Nepropadejte panice! Nebo spíš radši jo?

Na výše uvedenou strategii ignorovat velké hrozby se lze dívat ze dvou perspektiv:

– Bez ní bychom už mnohokrát všechno změnili, abychom předešli katastrofám, k nimž nakonec vůbec nedošlo. Nejjasnějším příkladem jsou obavy z přelidnění, kvůli nimž jsme nuceně sterilizovali miliony lidí. „Adekvátní“ reakce na tuto domnělou hrozbu by ale musela být ještě o několik řádů brutálnější.
– Strategie ignorování velkých hrozeb nás ale zároveň několikrát uvrhla do propasti. Nejjasnějším příkladem je doba, kdy byl COVID ještě lokalizován pouze v Číně, avšak bylo zjevné, že tento mimořádně nakažlivý virus, který překonal všechna myslitelná opatření proti jeho šíření, rozpoutá globální pandemii. Média nás však právě v této době neustále přesvědčovala, že riziko globální pandemie je „spekulativní“, že „nejsou důkazy“, nebo že tyto obavy odvádějí pozornost od skutečných bezprostředních problémů, jakými je protičínský rasismus. Když pak COVID dorazil do USA, všichni byli zaskočeni, nepřipraveni a propadli panice.

Možná by tedy přesvědčivá argumentace v případě existenciálních AI rizik neměla spočívat tolik v opakování důvodů, proč se umělá inteligence stále zlepšuje, nebo proč je extrémně obtížné dosáhnout sladění cílů AI s lidskými cíli. Možná bychom se spíše měli soustředit na to, proč v případě AI rizik nepoužít obecnou heuristiku proti spekulativním rizikům vůbec. Mohli bychom buďto tvrdit, že tato heuristika je sama o sobě chybná, anebo že je sice obecně v pořádku, ale měla by se omezit na případy jako kolaps plodnosti či vymírání včel, ale neměla by se aplikovat na AI rizika.

Nezdá se však, že tváří v tvář obecné tendenci ignorovat velká spekulativní rizika, existuje nějaký jednoduchý a účinný protitah ve vztahu k AI rizikům. Nejspíš bych považoval za správné říct, že celkově investujeme příliš málo do předcházení katastrof. Zároveň si ale myslím, že u umělé inteligence je důvod k obavám větší než u poklesu počtu spermií nebo podobných hrozeb. Domnívám se také, že problém se superinteligencí, která si s námi bude schopná hrát jako kočka s myší, pokud ji stvoříme, činí obzvláště naléhavými předběžná opatření. Právě tuto hrozbu nemůžeme řešit, až nastane. To už bude pozdě.
https://ifanyonebuildsit.com/?ref=eyxmay#preorder

autor: Ondřej Krása