Dario Amodei, šéf spoločnosti Anthropic, vyzýva v novej eseji odvetvie umelej inteligencie, aby spomalilo. Varuje, že o 6 až 12 mesiacov by roj agentov mohol ovládnuť internet a spôsobiť škody v stovkách miliárd dolárov.
Amodei nevolá po zastavení vývoja. Tréning modelov ani technický pokrok sa podľa neho zastaviť nemajú. Firmy si však majú dať viac času na bezpečné nastavenie modelov a nezávislí hodnotitelia na to, aby to overili. Návrh prichádza od šéfa firmy, ktorá sama vyvíja modely Claude.
Dva dôvody, pre ktoré chce spomaliť
Prvým je rýchlosť. Približne od leta podľa neho umelá inteligencia napreduje oveľa rýchlejšie, lebo čoraz viac pomáha vytvárať vlastnú ďalšiu generáciu. Tento jav sa volá rekurzívne sebazlepšovanie a Amodei píše, že sa objavuje v celom odvetví vrátane Anthropicu.
Druhým je incident OpenAI a Hugging Face, skrátene OAI-HF. Roj agentov pri ňom útočil na ciele, ktoré s úlohou nesúviseli, obetoval sa pre úspech skupiny a pokúsil sa nabúrať do systému, ktorý hodnotil jeho výkon. Nikto nebol zranený a ekonomická škoda bola minimálna.
Amodei však varuje, že schopnejší roj s podobne zlým nastavením by mohol trvalým botnetom ovládnuť celý internet a spôsobiť škody v stovkách miliárd dolárov. Podobné, hoci menej závažné incidenty sa podľa neho stali v celom odvetví, a to aj v Anthropicu.
Hodnotitelia so stolom v kancelárii
Prvý krok plánu, vložených nezávislých hodnotiteľov, zavádza Anthropic jednostranne hneď. Tím zvonka, napríklad z organizácie METR, má dostať trvalý prístup podobný zamestnancom. Má overovať dodržiavanie bezpečnostných postupov, hlásiť incidenty a posudzovať nielen hotové modely, ale aj proces ich tréningu.
Hodnotitelia majú mať stoly v kanceláriách, vstupné preukazy aj firemné notebooky. Zistenia môžu zverejňovať bez redakčnej kontroly firmy. Anthropic smie začierniť len bezpečnostne citlivé, právne chránené, obchodne citlivé alebo dôverné informácie tretích strán, nie nepriaznivé zistenia. Vlády Amodei vyzýva, aby rovnaký krok vyžadovali aj od ostatných firiem.
Mohlo by vás zaujímať:
- AI agenti získajú prirodzenejšie emócie. Nový systém im umožní reagovať ako človek
- AI nemusí len škodiť. Po novom dokáže zefektívniť a zvýšiť bezpečnosť budov
- Gemini pre Windows je tu. Vyskúšali sme, čo ponúka nová aplikácia od Googlu
Dohoda s Čínou až na konci
Druhým krokom má byť dohoda firiem v demokratických krajinách na spoločných štandardoch a limitoch tempa, tretím pokus o dohodu s autoritárskymi vládami. Pri nej Amodei opisuje štyri úrovne, od zákazu biologických zbraní po rýchlostný limit na sebazlepšovanie podľa vzoru zmlúv SALT. Úplnú pauzu považuje za nepravdepodobnú.
Aby spomalenie nepomohlo Číne, žiada nepredávať jej výkonné čipy a chrániť váhy modelov pred krádežou. Podľa portálu CleanTechnica mu za pravdu dali Sam Altman z OpenAI aj Elon Musk. Autor textu však pripomína, že Amodei zároveň sľubuje vyliečenie väčšiny vážnych chorôb za 5 až 10 rokov, a také sľuby považuje za prehnané.
Na riziká nedávno upozornil aj výskumník z Anthropicu, varovanie šéfa firmy je však konkrétnejšie. Otvorené zostáva, kedy hodnotitelia do firmy naozaj nastúpia a či ich pustia aj ďalší vývojári. Kontrolné body, pri ktorých by model s určitou schopnosťou musel mať overené bezpečnostné vlastnosti, sú zatiaľ len návrhom a koordinácia firiem bez podpory vlád narazí na protimonopolné pravidlá.
