Nedávný výzkum tvrdí, že matematicky prokázal existenci základních omezení agentů umělé inteligence (UI). Tato studie naznačuje, že jazykové modely jsou inherentně neschopné vykonávat výpočetní úkoly, pokud překročí určitou úroveň složitosti.
Studie, která zbrzdila nadšení pro UI
Studie, která je několik měsíců stará, ale nedávno získala pozornost díky publikaci v časopise Wired, tvrdí, že Velké jazykové modely (LLM) „nejsou schopny vykonávat výpočetní a agentní úkoly nad určitou úroveň složitosti“. Klíčovým faktorem je, že tato úroveň složitosti je ve skutečnosti poměrně nízká.
Článek, který ještě čeká na recenzi ostatními odborníky, byl napsán Vishalem Sikkou, bývalým CTO německého softwarového giganta SAP, spolu se svým synem Varinem Sikkou. Vishal Sikka má hluboké znalosti v tomto oboru: byl studentem Johna McCarthyho, nositele Turingovy ceny, který založil obor UI a pomohl vytvořit samotný termín.
Nedůvěra v spolehlivost UI
Vishal Sikka v rozhovoru pro Wired uvedl: „Není způsob, jak je považovat za spolehlivé.“ Když byl dotázán, souhlasil, že bychom měli zapomenout na nejodvážnější sliby, jako jsou agenti UI, kteří řídí jaderné elektrárny, a další záruky často proklamované technologickými nadšenci.
Konec snu o autonomních agentech?
Mají-li se ignorovat rétorika, kterou přednesli technologičtí CEO, a zaměřit se na zjištění výzkumníků, kteří pro ně pracují, ukazuje se, že i samotný průmysl UI uznává, že technologie má základní omezení ve své architektuře.
Například v září vědci z OpenAI přiznali, že „halucinace“ UI – kdy LLM přesvědčivě vymýšlejí fakta – stále představují rozšířený problém, dokonce i v nejpokročilejších systémech, a že přesnost modelů „nikdy“ nedosáhne 100%.
Tato realita vážně ohrožuje životaschopnost takzvaných agentů UI, kteří jsou navrženi pro autonomní vykonávání úkolů bez lidského zásahu, a které průmysl letos vyhlásil za svou další velkou sázku.
Některé firmy, které přijaly agenty UI s cílem snížit svůj pracovní tým, si brzy uvědomily, že nejsou ani zdaleka dostatečně dobří na to, aby nahradili lidi, možná proto, že často halucinují a nedokážou splnit úkoly, které jim byly zadány.
Řešení může spočívat v hybridních systémech
Vedoucí představitelé průmyslu UI trvají na tom, že implementace robustnějších ochranných mechanismů, které jsou externí k modelům UI, může filtrovat halucinace. Ačkoliv modely mohou být vždy náchylné k chybám, pokud jsou tyto chyby dostatečně vzácné, společnosti by jim mohly časem důvěřovat při vykonávání úkolů, které dříve svěřovaly zaměstnancům.
Ve stejném článku, ve kterém vědci z OpenAI přiznali, že modely nikdy nedosáhnou dokonalé přesnosti, také odmítli myšlenku, že halucinace jsou „nevyhnutelné“, a tvrdili, že LLM „se mohou zdržet, když si nejsou jisté“.
Navzdory přesvědčení, že LLM mají nepřekročitelný strop schopností, Sikka souhlasí s názory z průmyslu, že halucinace mohou být kontrolovány.
„Náš článek tvrdí, že čisté LLM má tuto inherentní omezení – ale zároveň je pravda, že lze postavit komponenty kolem LLM, které překonají tato omezení,“ vysvětlil pro Wired.
