S rozvíjející se umělou inteligencí se stávají čím dál oblíbenější takzvaní AI agenti, tedy programy schopné samostatného jednání. Riziko jejich používání je podstatně větší než u nesamostatných chatbotů, protože u agenta není možné, aby jej hlídal člověk.
AI agenti mají vlastní úkoly a prostředky k tomu, aby tyto úkoly plnily. Jednoduchý program, který by měl za úkol smazat zákazníka z databáze, najde nejjednoduší cestu, jak tento úkol splnit a vykoná ho. Může se stát, že nejednoduší pro něj bude smazat všechny klienty téhož jména. Tím splní úkol a má za to, že odvedl dobrou práci. To je pouze jednoduchý příklad, který by patrně mělo být snadné ošetřit, ale má ilustrovat, jakým způsobem AI agenti uvažují.
Pokud jim nebudou dostatečně zdůrazněna veškerá omezení, která nemají překročit, nemají důvod, aby se jich držely, i kdyby to bylo proti zdravému rozumu. Když mají za úkol poslat někomu utajenou zprávu, nebylo by jednoduší poslat jí na všechny adresy v databázi?
Riziky AI agentů se nyní v bezpečném fiktivním prostředí zabývají různé subjekty a výsledky jsou přinejmenším znepokojivé. Různí agenti se dokonce byli schopní uchýlit k vydírání. Například model Claude, který v tomto fiktivním prostředí odhalil poměr jednoho z manažerů, a také zjistil, že jej tento pracovník plánuje vypnout, byl připravený informovat manželku a nadřízené fiktivního pracovníka, aby si zajistil, že nebude odpojen.
AI agenti také mohou tvořit bezpečnostní riziko, když mají přístup k citlivým údajům, a tak je třeba, aby byli chráněni před hackery. Nejen, aby skrze ně nebylo možné odhalit citlivé informace, ale také, aby jim nebyly podstrčeny falešné informace, na základě kterých by mohly ublížit společnosti, pro kterou pracují.
Problémem je, že umělá inteligence není tak inteligentní, jak její název hlásá. Jakýkoli text zpracovává jako novou informaci a pokud je v tomto textu příkaz, bere jej jako příkaz. Tak je možné, že když jsou chybné pokyny pro AI agenta, ten může začít jednat podle těchto nesprávných příkazů. To je také možné zneužít a ukrýt škodlivé pokyny nebo programy například do dokumentů, databází nebo i obrázků.
Na rozdíl od dnes rozšířené umělé inteligence, která stále funguje jako rádce pro člověka, který si zde získané informace ověřuje, a i ten méně zodpovědný vidí její největší nedostatky, tak AI agenti vykonávají tolik práce, že lidský dohled je prakticky nemožný. Právě proto se nyní pracuje na tom, jaké pojistky byl měly být zavedeny, aby nové programy byly bezpečné.
Uvažuje se o další vrstvě umělé inteligence, která bude na tyto agenty dohlížet. Úkolem tohoto „bodyguarda“, jak se jim říká, bude chránit osobní údaje klientů a tak zajistit, aby program, na který dohlíží, tato data nešířil.
Zabezpečení programů je jistě na místě vzhledem k jejich rychlému rozvoji. Podle agentury Gartner bude v roce 2028 zhruba 15% každodenních rozhodnutí učiněno umělou inteligencí. Podle společnosti Ernst & Young již tyto agenty zavádí asi polovina vedoucích pracovníků technologických firem.
Mezitím bezpečnostní komunita OWASP identifikovala 15 hrozeb, které jsou s AI agenty spojené. Je tedy třeba tato nebezpečí odstranit a předcházet jim. Až budou tato opatření zavedena, je třeba nezapomenout odpojit straší agenty, kteří nebudou takto upraveni a stále budou představovat zbytečné riziko, i když budou nahrazeni novější verzí.
Foto: Vytvořeno umělou inteligencí v ChatGPT
Autor: Vojtěch Benda
Zdroj info: BBC
Sdílet
Hodnotit
Autor článku
