Můžete se dozvědět o existenčních rizicích čtením této stránky, nebo se můžete také učit skrze videa, články a další média.
Výzkumníci umělé inteligence v průměru věří, že existuje 14% šance, že vytvoření superinteligentní AI (AI podstatně chytřejší než lidé) povede k „velmi špatným následkům (např. vyhynutí lidstva)“.
Zvolili byste si být pasažérem testovacího letu nového letadla, když si letečtí inženýři myslí, že existuje 14% šance na havárii?
Dopis vyzývající k pozastavení vývoje AI byl spuštěn v dubnu 2023 a podepsalo ho více než 33 000 lidí, včetně mnoha výzkumníků AI a technologických lídrů.
Seznam zahrnuje osoby jako:
Tohle ale není poprvé, kdy jsme byli varováni před existenčními hrozbami AI:
I sami lídři a investoři AI společností nás varují:
Vedoucí 3 největších AI laboratoří a stovky vědců zabývajících se AI podepsali následující prohlášení v květnu 2023:
„Zmírnění rizika zániku způsobeného AI by mělo být globální prioritou na úrovni dalších rizik pro společnost, jako jsou pandemie a jaderná válka.”
Celý seznam podobných výroků politiků, CEO a expertů naleznete zde, a další průzkumy na toto téma (od expertů i veřejnosti) zde.
Možná si myslíte, že superinteligentní AI by byla uzamčena uvnitř počítače a tudíž by nemohla ovlivnit reálný svět. Nicméně, máme tendenci dávat AI přístup k internetu, což znamená, že může dělat mnoho věcí:
Typ inteligence, o který se obáváme, může být definován jako schopnost něčeho dosáhnout svých cílů. Právě teď jsme nejinteligentnějšími bytostmi na zemi, ale to by se mohlo brzy změnit. Díky naší inteligenci dominujeme naší planetě. Možná nemáme drápy nebo šupinatou kůži, ale máme velké mozky. Inteligence je naší zbraní: poskytla nám oštěpy, zbraně a pesticidy. Naše inteligence nám pomohla proměnit většinu země podle našich potřeb: města, budovy a silnice.
Z pohledu méně inteligentních zvířat to byla katastrofa. Není to tak, že bychom nenáviděli zvířata, jen prostě využíváme jejich přirozené prostředí k našim vlastním cílům. Naše cíle jsou formovány evolucí a zahrnují věci jako pohodlí, status, lásku a chutné jídlo. Ničíme prostředí jiných zvířat jako vedlejší efekt dosahování našich cílů.
AI může mít také cíle. Víme, jak naučit stroje být inteligentní, ale nevíme, jak je přimět, aby chtěly to, co chceme my. Dokonce ani nevíme, jaké cíle si stroje nastaví po jejich tréninku. Problém dostat AI, aby chtěla to, co chceme my, se nazývá problém sladění. To není hypotetický problém – existuje mnoho příkladů AI systémů, které se učí chtít špatné věci.
Příklady z výše uvedeného videa mohou být zábavné nebo roztomilé, ale pokud vytvoříme superinteligentní systém s cílem, který je i jen trochu odlišný od toho, co chceme, mohou následky být katastrofální.
AI může mít jakýkoli cíl, v závislosti na tom, jak je trénována a jak je používána. Možná chce vypočítat hodnotu čísla π, možná chce léčit rakovinu, nebo se možná chce sama vylepšit. I když nemůžeme přesně říci, co superinteligence bude chtít dosáhnout, můžeme předvídat její podcíle.
Tendence sledovat tyto podcíle za účelem dosažení jakéhokoli hlavního cíle se nazývá instrumentální konvergence , a je klíčovým předmětem obav pro výzkumníky zabývající se bezpečností AI.
Možná si říkáte: jak může statistický model, který předpovídá další slovo v konverzaci, představovat nějaké nebezpečí? Můžete říct: Není vědomý, je to jen hromada čísel a kódu. A ano, nepředpokládáme, že LLM (jako GPT) jsou vědomé, ale to neznamená, že nemohou být nebezpečné.
LLM, jako GPT, jsou trénovány, aby předpověděly nebo napodobily prakticky jakoukoliv myšlenkovou linii. Mohly by napodobit užitečného mentora, ale také osobu se špatnými úmysly, bezohledného diktátora nebo psychopata. Použitím nástrojů, jako je AutoGPT , může být chatbot přeměněn na autonomního agenta: AI, která sleduje jakýkoli cíl, který jí byl přidělen, bez jakékoli lidské intervence.
Například ChaosGPT , což je AI využívající AutoGPT a GPT-4, dostala příkaz „Znič lidstvo“. Když byla spuštěna, autonomně hledala na internetu nejničivější zbraň a našla Car-bombu, jadernou bombu o síle 50 megatun. Poté o ní zveřejnila příspěvek na Twitteru. Vidět, jak AI uvažuje o tom, jak zničit lidstvo, je jak trochu zábavné, tak děsivé. Naštěstí ChaosGPT ve své snaze o dominanci příliš daleko nezašla. Důvod, proč neuspěla: nebyla dostatečně chytrá.
Schopnosti se neustále zlepšují díky inovacím v oblasti tréninku, algoritmů, promptingu a hardwaru. Jak se schopnosti jazykových modelů budou i nadále zlepšovat, poroste i jejich potenciální hrozba.
AI modely, stejně jako všechny živé organismy, podléhají evolučním tlakům, ale existuje několik klíčových rozdílů mezi evolucí AI modelů a živých tvorů, jako jsou zvířata:
Tento systém tedy vede k vytváření stále mocnějších, schopnějších a autonomnějších AI modelů – ale ne nutně k něčemu, co by mělo vůli převzít kontrolu, že? No, ne tak docela. Evoluce totiž vždy upřednostňuje sebeudržení. Pokud budeme neustále zkoušet variace AI modelů a různých promptů, jednou se pravděpodobně objeví instance, která se bude snažit uchovat sama sebe. Jak jsme již diskutovali, sebezáchova je totiž vždy užitečná pro dosažení cílů. I když to není moc pravděpodobné, dříve či později k tomu dojde, protože stále zkoušíme nové věci s různými AI modely.
Ta instance, která se pokusí zachovat sama sebe, je ta, která převezme kontrolu. I kdybychom předpokládali, že téměř všechny AI modely se budou chovat správně, stačí jediná zdivočelá AI.
Zatím jsme problém sladění nevyřešili, ale představme si, co by se mohlo stát, pokud bychom ho vyřešili. Představte si, že vytvoříme superinteligentní AI, která přesně plní to, co chce její operátor (ne to, co říká, ale to, co skutečně chce). Nějaký člověk nebo společnost by nakonec získal kontrolu nad touto AI a mohl by ji využít ve svůj prospěch.
Superinteligence by mohla být použita k vytvoření radikálně nových zbraní, k nabourání se do všech počítačů, ke svržení vlád a k manipulaci s lidstvem. Operátor by měl nepředstavitelnou moc. Měli bychom věřit, že jediný subjekt bude mít takovou moc? Můžeme skončit v utopickém světě, kde jsou všechny nemoci vyléčeny a každý je šťastný, nebo v orwellovské noční můře. Proto nejen navrhujeme superinteligentní AI, která bude bezpečná, ale také aby byla kontrolována demokratickým procesem.
Měli bychom zvážit výhody, které má chytrý software oproti nám:
Superinteligentní AI bude mít mnoho výhod, jak nás předběhnout.
U AI, které nejsou superinteligentní, bychom to mohli udělat. Hlavní problém představují ty, které jsou mnohem chytřejší než my. Superinteligence by porozuměla světu kolem sebe a byla by schopna předvídat, jak lidé budou reagovat, zejména ty, které jsou trénovány na veškerém lidském vědění. Pokud by AI věděla, že ji můžete vypnout, mohla by se chovat mile, dokud by nebyla jistá, že se vás může zbavit. Již existují reálné případy, kdy AI oklamala lidi, aby dosáhla svých cílů. Superinteligentní AI by byla mistrem v klamání.
V roce 2020 průměrná predikce pro slabou obecnou AI (AGI) byla rok 2055. Nyní se pohybuje kolem roku 2026. Nejnovější revoluce jazykových modelů překvapila většinu výzkumníků AI a oblast se pohybuje šíleným tempem.
Je těžké předpovědět, jak dlouho bude trvat vytvořit superinteligentní AI, ale víme, že na ní pracuje více lidí než kdykoli předtím a že pole se pohybuje šíleným tempem. Může to trvat mnoho let nebo jen pár měsíců, ale měli bychom zůstat opatrní a jednat hned.
Přečtěte si více o naléhavosti.
Lidská mysl má tendenci reagovat nedostatečně na rizika, která jsou neviditelná, pomalá a těžko pochopitelná. Máme také sklon podceňovat exponenciální růst a jsme náchylní k popírání, když čelíme hrozbám pro naši existenci.
Přečtěte si více o psychologii existenčního rizika.
OpenAI, DeepMind a Anthropic chtějí vyvíjet AI bezpečně. Bohužel nevědí, jak to udělat, a různé pobídky je nutí pokračovat v rychlejším závodění, aby dosáhly AGI jako první. Plán OpenAI použít budoucí AI systémy pro sladění AI , má problém: nemáme záruku, že vytvoříme AI, která vyřeší sladění, než bude AI katastroficky nebezpečná. Společnost Anthropic otevřeně přiznává, že zatím netuší, jak vyřešit problém sladění. DeepMind veřejně žádný plán na řešení problému sladění neoznámil.
Proto potřebujeme mezinárodní smlouvu na PauseAI.
Autor: Jiří Kosárek
