Vyzkoušeli jsme čtyři nástroje pro odhalení obsahu generovaného AI

Jako technologická novinářka, která denně píše a edituje, se obsahu generovaného umělou inteligencí skutečně obávám. Stanu se nakonec v oboru, kterému jsem se léta věnovala, zbytečnou kvůli tomu, že umělá inteligence nahradí obsah vytvářený lidmi? 

Obsah generovaný umělou inteligencí od obsahu vytvořeného člověkem může být obtížné rozeznat. Pokud si nedáte pozor na varovné signály, jako jsou opakující se fráze nebo podivné změny tónu, můžete se nechat zmást a myslet si, že jde o pravý obsah. K tomu slouží nástroje pro detekci umělé inteligence.

Ve své nekonečné snaze být o krok napřed před obsahem generovaným umělou inteligencí jsem vyzkoušela čtyři různé nástroje pro detekci umělé inteligence, abych zjistila, nakolik jsou výsledky nepřesné nebo nespolehlivé. Většina těchto nástrojů pro detekci umělé inteligence byla naprosto k ničemu.

Zúžení výběru

Než se do toho pustím, zadáte-li do vyhledávače výraz „AI detection tool“, zobrazí se vám spousta výsledků. Věděla jsem však, že musí existovat nějaký proces prověřování. 

Takže místo toho, abych vyzkoušela všechny nástroje, které jsem našla, zúžila jsem výběr na čtyři. Každý jsem vybírala na základě snadného přístupu (není nutné předplatné) a robustních stránek s často kladenými dotazy, které vysvětlují, jak nástroj analyzuje obsah generovaný umělou inteligencí. 

Všechny testované nástroje mají stejný systém hodnocení založený na procentech. Čím vyšší je procento, tím je pravděpodobnější, že je obsah vytvořen umělou inteligencí. Na první pohled to vypadá dost jednoduše, ale v praxi to je složitější.

Testování parametrů

Tuto část jsem nazvala „testování parametrů“, ale je to pro mě jen experiment. Pro tento článek, aby bylo jasno, jsem použila nástroje na text generovaný umělou inteligencí, nikoli na jiné formy obsahu, jako jsou obrázky nebo zvuk. 

Text generovaný umělou inteligencí je typ obsahu, k jehož analýze a dešifrování jsou tyto nástroje určeny. Nejprve jsem požádala Google Gemini, aby napsal krátký příběh o čaroději, který poprvé objevil notebook. 

Požádala jsem o krátký příběh, protože některé nástroje pro detekci umělé inteligence analyzují pouze určité množství obsahu. Zde je příběh, který vygeneroval Google Gemini:

Starý čaroděj Alaric byl známý dvěma věcmi: působivým plnovousem, který mu splýval jako stříbrný vodopád až ke kolenům, a neukojitelnou zvědavostí. Takže když se uprostřed jeho vyvolávacího kruhu zhmotnil podivný plochý předmět, neznepokojilo ho to. Zaujalo ano, ale neznepokojilo.

Zadíval se na předmět. Byl černý a lesklý, se zářícím symbolem na zadní straně, který připomínal nakousnuté jablko. Opatrně do něj šťouchl holí. Předmět ožil, vydal tiché bzučení a zobrazil jasné obdélníkové okno plné podivných symbolů.

„U Velkého astrálního draka!“ vykřikl Alarik a vousy se mu naježily vzrušením. „Co je to za kouzlo?“ Opatrně se dotkl okna a symboly se posunuly a změnily. Šťouchl do nich víc a objevil se pohyblivý obrázek – drobný barevný ptáček mávající křídly. Alaric polekaně uskočil.

„Je to… živé?“ uvažoval nahlas, zkoumajíc předmět. Zkusil zaklínadlo a zamumlal: „Odhal svá tajemství!“, ale nic se nestalo. Zkusil další: „Sezame otevři se!“, ale stále nic. Zklamaně se sesunul na stoličku a zamyšleně si hladil vousy. Náhle si všiml malé ploché plochy pod oknem s řadami ještě menších symbolů. Vzpomněl si na pohyblivý obrázek a nejistě prstem stiskl jeden ze symbolů. Symbol se objevil na světlém okně! Stiskl další a další a brzy se zformovalo slovo: „MAGIE.“

Alarikovi se rozšířily oči. „Reaguje to na dotek! Ale… žádná magická aura…“ Chvíli nad tím přemýšlel a pak se mu v očích objevil zlomyslný záblesk. Začal rychle mačkat symboly a po tváři se mu rozlil široký úsměv. Na obrazovce se objevila věta: „Je tohle mluvící zrcadlo? Můžu si objednat draka?“

Alaric se rozchechtal a jeho vousy se třásly veselím. „Ne, příteli,“ zašeptal k podivnému předmětu, „ale ty jsi něco ještě výjimečnějšího.“ Zbytek dne strávil zkoumáním svého nového pokladu, objevováním jeho her, pohyblivých obrázků a nekonečného moře informací. Dozvěděl se, že se mu říká „notebook“, což mu připadalo docela zábavné. Dokonce se mu podařilo poslat zprávu své staré přítelkyni, kouzelnici Elaře, která žila v sousedním království.

„Má drahá Elaro,“ napsal jí, „tohle musíš rozhodně vidět! Je to kouzelné zařízení s pohyblivými obrázky a mluvícími písmeny! A dokonce to umí přehrávat hudbu! Přijď rychle a společně prozkoumáme jeho zázraky!“ Když zprávu odesílal, nemohl si Alarik pomoci, ale napadlo ho, že tento „notebook“ by mohl být začátkem zcela nové éry magie, v níž se technologie a kouzla prolínají způsobem, který si nikdo nedokázal představit. A on, čaroděj Alarik, bude stát v čele této vzrušující nové éry.

Následně jsem příběh zkopírovala a vložila (slovo od slova) do všech nástrojů pro detekci umělé inteligence a dvakrát je spustila. 

Zaměřila jsem se na konzistenci (nebo nekonzistenci) výsledků při dvou spuštěních a také na přesnost procentuálního hodnocení. Tento příběh je ze 100 % vytvořen umělou inteligencí, takže jsem chtěla zjistit, zda jej nástroj správně vyhodnotí hned na začátku. Pouze jeden z nich se k tomu přiblížil.

Výsledky

Níže najdete výsledky nástrojů pro detekci umělé inteligence, které jsem použila pro tento experiment:

• AI Detector od Grammarly: 37 % (první spuštění), 37 % (druhé spuštění)
• GPTZero: 62 % a 62 %
• QuillBot: 78 % a 78 %
• Originality.ai: 100 % a 100 %

Tyto nástroje nabízejí i model předplatného s pokročilejšími funkcemi detekce AI, ale základní detekci AI můžete používat zdarma, takže jsem to udělala a na základě toho vynesla své soudy.

AI Detector od Grammarly

Nástroj AI Detector od společnosti Grammarly mě zaujal jako první, protože ho denně používám k zachycení pravopisných chyb. Populární značka je známou tváří v moři no name nástrojů pro detekci AI, takže jsem ji přivítala s otevřenou náručí. Zkušenosti však byly smíšené.

Nástroj Grammarly mi poskytl konzistentní výsledek (37 % při obou spuštěních), ale byl dost nepřesný. Uvedený příběh je naprostým výmyslem Google Gemini, takže vidět tak nízké procento je překvapivé.

Měla jsem pocit, že mi Grammarly neustále vnucuje model předplatného. Z obchodního hlediska to chápu, ale jako běžnému uživateli mi tato zkušenost zanechala nepříjemnou pachuť v ústech. Grammarly mi také doporučilo používat Grammarly Authorship, spolehlivější nástroj nebo funkci pro odhalování AI (podle nich), ale k jejímu používání potřebujete účet Grammarly.

Grammarly však musím pochválit za jejich přehlednou webovou stránku. Stačí napsat nebo vložit příslušný text a kliknout na zelené tlačítko „Zkontrolovat text“. Okno vpravo pak zkontroluje text a vyplivne procentuální hodnocení. Grammarly má také solidní sekci s nejčastějšími dotazy. 

Najdete v ní odpovědi týkající se způsobu, jakým nástroj detekuje AI obsah, a jasné sdělení, že žádný nástroj pro detekci umělé inteligence není spolehlivý. Celá tato sekce si u mě, ženy, která miluje transparentnost a přímé odpovědi, zaslouží pochválit.

GPTZero

GPTZero vyhodnotilo příběh jako z 62 % vytvořený umělou inteligencí v obou provedeních. Ani toto nepovažuju za nějak zvlášť působivý výsledek. Tabulka, která obvykle identifikuje části textu generované umělou inteligencí, není tak přehledná jako u QuillBota. GPTZero zobrazuje procenta pro obsah napsaný člověkem, obsah napsaný umělou inteligencí a smíšený obsah – každý z nich lze barevně rozlišit.

Předpokládám, že smíšený obsah je kombinací obsahu vytvořeného umělou inteligencí a obsahu vytvořeného člověkem, ale přála bych si, aby to GPTZero uvedlo explicitně. Pokročilé skenování GPTZero zde zachází do větších podrobností tím, že identifikuje pasáže „s nízkým vlivem člověka“, „se středním vlivem AI“ atd.

Bez účtu je k dispozici pouze základní skenování. Pro přístup k pokročilému skenování si musíte vytvořit účet u GPTZero, což ve mně vzbudilo mrzuté pocity. Přesto jsem se pro účely tohoto článku „přihlásila“ pomocí svého osobního účtu Gmail a vyzkoušela pokročilé skenování. 

Ukázalo se, že zdarma získáte pouze pět skenů, než (jak jste uhodli) vás GPTZero požádá o upgrade účtu a zaplacení měsíčního poplatku 23,99 USD.

QuillBot

QuillBot si vedl překvapivě dobře a díky intuitivnímu rozhraní a podrobné zprávě je možná mým nejoblíbenějším z nástrojů pro detekci umělé inteligence, které jsem vyzkoušela. Ve dvou testech dosáhl 78 %, což je mnohem přesnější než nástroj Grammarly. 

Každý odstavec také zvýrazní barvou, která vám řekne, zda je podle nástroje text vytvořený umělou inteligencí, vytvořený umělou inteligencí a upřesněný umělou inteligencí, napsaný člověkem a upřesněný umělou inteligencí nebo napsaný člověkem.

QuillBot také obsahuje sekci s často kladenými dotazy, což oceňuji. Mám však jednu výtku k první otázce: Jak přesný je nástroj QuillBot pro detekci obsahu pomocí umělé inteligence? Odpověď je následující:

QuillBot je vycvičen pomocí pokročilých algoritmů, které rozpoznávají opakující se slova, neobratné fráze a nepřirozený tok, což jsou klíčové ukazatele toho, že obsah je vytvořen umělou inteligencí. Čím větší však progres v modelech umělé inteligence bude, tím méně bude jakýkoli nástroj pro detekci umělé inteligence schopen rozlišit obsah napsaný člověkem od obsahu vytvořeného umělou inteligencí.

První věta vystihuje podstatu věci, zejména pokud hledáte jen základní odpověď, ale druhá věta je trochu nejasná a matoucí. Žádný nástroj pro detekci umělé inteligence není stoprocentně přesný a myslím, že by to mělo být naprosto jasné. Když pominu matoucí jazyk, zbytek sekce FAQ nabízí odpovědi přímo k věci, což je dobře.

Originality.ai

Originality.ai byl nástroj pro detekci AI, který mi vyrazil dech a donutil mě odvolat svá předchozí tvrzení. Podle webových stránek je tento nástroj „nejpřesnějším detektorem umělé inteligence“, což je odvážné tvrzení, a přesto se zdá, že to není nic jiného než pravda.

Sakra.

S výsledky nemohu polemizovat, protože byly, upřímně řečeno, naprosto přesné. V obou testech jsem dosáhla stoprocentního hodnocení, a jakmile mi z tváře zmizel překvapený výraz, chtěla jsem se v tom ještě trochu pohrabat a vyzkoušet vzorek vytvořený člověkem. Vytáhla jsem tedy odstavec z jedné mé staré povídky, podivného příběhu o androidce jménem Seen. Udělala jsem to proto, že jsem se obávala, že mi Originality.ai dala falešně pozitivní výsledek.

Originality.ai však byla úspěšná znovu. Nástroj správně identifikoval úryvek jako vytvořený člověkem a autentický. Možná je to vážně v současnosti nejpřesnější detektor umělé inteligence, jak tvrdí Originality.ai. Když už, tak je to nejpřesnější detektor umělé inteligence, se kterým jsem se dosud setkala, a to už o něčem svědčí. Ostatní nástroje na tomto seznamu nejsou ani zdaleka tak přesné nebo přesné jen na základě procentuálního hodnocení.

Originality.ai tvrdí, že jeho nástroj pro detekci AI je přesnější než ostatní, protože používá „větší model detekce AI“. To je jednoduchá odpověď. Společnost Originality.ai má celou webovou stránku s podrobnými informacemi o tom, jak její nástroj pro detekci AI funguje, a to včetně srovnávacích testů a souborů dat. V podstatě vytváří vědecký standard pro nástroje pro detekci AI, což je působivé. Zatímco Originality.ai přesně identifikovala mé vlastní příklady obsahu vytvořeného umělou inteligencí a obsahu vytvořeného lidmi, u jiných se výsledky mohou lišit.

Můj poznatek

Není nic spolehlivějšího než vlastní oči a instinkt, a toho se budu vždy držet. Snažte se nenaletět na sladké řečičky, které se vám může snažit prodat model předplatného, zejména pokud se hned za paywallem skrývá příslib spolehlivějšího nástroje nebo funkce. 

Pokud si všímáte opakujících se frází nebo trhavých změn tématu či tónu, je pravděpodobné, že je generuje umělá inteligence. Přesto nemůžete ignorovat přesnost Originality.ai, takže pokud musíte použít nástroj pro detekci AI, pravděpodobně patří k těm přesnějším, které jsou v současné době k dispozici.

Poučení z tohoto příběhu je, že je třeba provést průzkum a přistupovat ke všemu se zdravou dávkou skepse.