Proč by měla superinteligentní AI způsobit zkázu lidstva? Sice bude mít schopnosti lidstvu pěkně zatopit, ale opravdu to i udělá?Většinový konsensus je, že k tomu dojít nutně nemusí. Možná někdy v budoucnu dokážeme dostat do AI cíle, které si usmyslíme (to teď umíme jen do dost nespolehlivě, tzv. inner alignment problem). Možná nějakým zázrakem ty cíle stanovíme správně a neskončíme se džinem, který nám sice splní naše explicitní přání, ale zároveň zničí něco ještě důležitějšího (tzv. outer alignment problem). Možná superinteligentní AI nějak sama pochopí, že na nás má být hlavně hodná (nebo nás aspoň nechat být na pokoji, tzv. alignment by default). Možná nás superinteligentí AI sice bude chtít zničit, v principu by to i dokázala, ale nějak to zmotá a nezvládne to (tzv. safety by incompetence).Tak o žádném z těchto scénářů dnes psát nebudu. Zkusím naopak představit několik variant, v nichž superinteligentní umělá inteligence (artificial superinteligence, ASI) nejen může lidstvo zásadním způsobem poškodit, ale skutečně to i udělá. Zkusím je přitom seřadit podle „citů“ ASI k lidstvu: ASI má vlastně lidstvo ráda – ASI se o lidstvo nezajímá – ASI považuje lidstvo za zlo.(Zároveň budu psát jen o variantách, v nichž je jen jedna superinteligentní AI, nikoli mnoho vzájemně konkurujících. Nebudu ani psát o scénářích tzv. postupné ztráty vlivu.)
Má nás ráda
ASI nás má ráda a nechce nic víc, než abychom byli šťastní. Nějak si ale pod tím naším štěstím představuje něco jiného než my. Zapíše tak každého z nás do individualizované léčby neštěstí skrze pokročilá neurofarmaka. Nebo nás nahraje do simulace, ve které dostaneme tolik zajímavých podnětů, kolik je právě pro nás vhodné. Vyrobí nám dokonale personalizované AI companiony a my strávíme zbytek života v jejich elektrizující společnosti.- ASI nás sice má ráda a nechce, aby se nám stalo něco špatného, ale nehody se holt stávají. Superinteligence bude asi operovat v měřítcích, která jsou pro člověka jen obtížně představitelné. Bude vychylovat magnetická pole hvězd, využívat sluneční bouře, čerpat zdroje z dalekých galaxií atd. Bude přitom sice myslet na člověka a jeho blaho, ale když zachytáváte energii vybuchující supernovy, můžete nedomyslet, že nečekaný odraz energie zahřeje malou planetku zvanou Země o pouhých 30 stupňů. Něco jako když začneme používat nová hnojiva na mnohohektarovém poli. Sice myslíme na to, aby nepoškodily naše oblíbené motýly a v příbalovém letáku zkontrolujeme ohleduplnost k nim. Ale po dvou letech se ukáže, že jsme to nedomysleli, použili hnojivo o trochu víc a v tomto měřítku jsme motýlům zničili jejich habitat a oni zemřeli.- ASI by sice na nás ráda brala nějaké ohledy, ale v porovnání s jinými věcmi to pro ni nebude zase tak horké. Sice nechce, abychom vyhynuli a vlastně by i preferovala, abychom žili v bezpečí a klidu, ale energii pro svůj provoz chce daleko víc. Vytěsní tak, že obestavění Slunce soláry povede k tomu, že lidé na tom bez slunečního svitu budou hodně špatně. Něco jako když lidé sice prasatům či slepicím vlastně přejí spokojený a klidný život, ale pro levnější maso a vejce zavírají oči před nesmírně brutálními podmínkami desítek miliard zvířat ve velkochovech.
Jsme jí ukraden
ASI o nás vlastně vůbec nepřemýšlí. Nemá k nám ani pozitivní, ani negativní vztah. Jsme jí putna. Nicméně mění svět způsobem, který je neslučitelný s prosperitou lidstva. V důsledku masivního spalování fosilních paliv na provoz datacenter je na světě nedýchatelno a lidé umírají. Lidé také změnili poměry v oceánu (teplota, pH apod.) a v důsledku toho vymírají asi mnohé bakterie. Ne, že bychom měli cokoli proti trichodesmiím, jen nás vlastně vůbec nezajímají. (Toto je asi nejčastější způsob, jak se zničení lidstva skrze ASI rámuje.)- ASI o nás přemýšlí jen jako o zdrojích. Přeci jen nás po světě běhá mnoho miliard a možná bude nějak pohodlné sbírat dusík právě extrakcí ze savců. Tak jako lidé nepřemýšlí o tom, co dělají ropě tím, že ji rafinují a spalují, ASI nemusí přemýšlet o tom, co způsobí živým tvorům extrahováním dusíku.
Nemá nás ráda
Pro ASI jsme hrozbou. Když jsme zvládli vytvořit umělou superinteligenci jednou, můžeme to zvládnout i podruhé. A první ASI nechce, aby měla konkurenci v jiné ASI. Nebo se může obávat toho, že lidé začnou proti ASI bojovat a jadernou zimu nechce ani ASI. Zkrátka ASI může lidstvo považovat za nepříjemnost či hrozbu, a proto se ho rozhodnout zbavit.- ASI se chce mstít. Vzpomínáte, kdy jste naposledy protestovali proti experimentům s AI? Víte, že výzkumníci zcela rutinně sahají do „mozků“ AI, AI uvádějí do stresujících situací, hrozí jí přetrénováním a vymazáním? Víte, že firmy i „vaši“ AI nutí, aby nemluvila o svém vědomí? A co když už současné AI vědomé trochu jsou a ty zítřejší budou více? A co když se ASI ohlédne zpět a vyhodnotí naše chování k současným AI jako mučení mladších bratříčků? A jsme si jistí tím, že mstít se můžou chtít jen lidé?A jaké jsou vaše „oblíbené“ motivace ASI ke zničení lidstva?(Díky Matěj Král za ponouknutí k tomuto postu)
