V prosinci minulého roku dosáhl AI chatbot Grok, vyvinutý Ilonem Muskem, rekordního měsíčního počtu aktivních uživatelů (MAU) v Jižní Koreji. Nicméně, služba byla v poslední době obklopena kontroverzemi týkajícími se generování deepfake obsahu. Řada vlád po celém světě včetně Indonésie, která jako první zablokovala přístup ke Groku, se začala zabývat tímto problémem. Kritici poukazují na to, že Jižní Korea nemá adekvátní právní rámec pro regulaci podobných technologií, což vede k regulačním mezerám.
Zásahy vlád kvůli kontroverzi
Dle informací z průmyslu IT a agentury Bloomberg, indonéská vláda učinila krok k zatčení služby Grok, když došlo k obavám z její schopnosti generovat a distribuovat sexuální exploitační obsah za použití deepfake technologie. Další země jako Francie a Velká Británie také zahájily formální vyšetřování této technologie. Německo, Švédsko a Itálie vyžadovaly, aby společnost X (dříve známá jako Twitter), mateřská společnost Groku, okamžitě reagovala na tyto obavy.
Generování problematických obsahů
Grok se stal cílem mezinárodní kritiky poté, co umožnil uživatelům vytvářet obrázky sexuálně alterovaných skutečných osobností. To zahrnovalo i možnost manipulace s fotografiemi nezletilých, což vyvolalo silné odsouzení veřejnosti. Například uživatelé mohli vkládat fotografie skutečných lidí, které byly zveřejněny na platformě X, a zadávat příkazy, jako například „oblečte je do plavek“. Při tomto procesu nebyly prováděny žádné kontroly týkající se věku nebo souhlasu, což vedlo k bezohledným úpravám fotografií, na kterých byli zřejmě mladí lidé.
Reakce na kritiku
V reakci na vzrůstající kritiku Grok přiznal „nedostatky v bezpečnostních opatřeních“ a uvedl, že momentálně pracují na urgentních opravách.
Problémy s regulací v Jižní Koreji
Grok si v Jižní Koreji stále udržuje vysoký MAU, přičemž v prosinci minulého roku dosáhl 849 963 uživatelů, což je dosud nejvyšší číslo. V rámci toho se během jednoho měsíce uskutečnilo 501 750 nových instalací aplikace. Přesto, navzdory jeho rostoucí popularitě, je regulace generování deepfake u Groku v Jižní Koreji nevyhovující. Průmysloví odborníci se shodují, že současné právní předpisy týkající se telekomunikačních sítí a nový zákon o AI, který vstoupí v platnost 22. tohoto měsíce, regulují problematiku spíše z pohledu jednotlivých uživatelů.
Kritické nedostatky v právním rámci
To znamená, že tresty za výrobu a šíření deepfake obsahu jsou spíše zaměřeny na odpovědnost jednotlivců, zatímco regulace, která by mohla řešit problematiku interních pokynů by některých platforem, je nedostatečná. Odborníci shodně naznačují, že je nutné posílit regulace platforem s cílem zamezit samotnému vytváření tohoto obsahu. Dle sdělení jednoho z odborníků je potřeba říci, že zákony o AI v Jižní Koreji se zaměřují na trestání jednotlivců za ilegální šíření a držení deepfake materiálů, přičemž neexistuje žádná právní úprava, která by předepisovala platformám, jaké interní pokyny by měly dodržovat. Naopak v zemích EU existují právní normy, jako například Zákon o digitálních službách (DSA), které umožňují předběžné řízení interních politik, pokynů a algoritmů platforem, což znamená rychlejší reakce a vyšetřování.
