Spuštění místního velkého jazykového modelu (LLM) nebo chatbota na vašem počítači vám umožní klást libovolné otázky v naprostém soukromí. Tyto LLM se však často obtížně nastavují a konfigurují. Řešením může být aplikace s názvem GPT4All.
Využíváte už ve firmě autonomní agenty postavené na bázi umělé inteligence?
GPT4All představuje prozatím nejlepší kombinaci snadného používání a flexibility. Není zdaleka tak vstřícná jako některé složitější rámce a aplikace, ale můžete ji zprovoznit během několika minut pomocí několika kliknutí.
Nabízí také možnost spuštění buď na vašem CPU, nebo GPU, což znamená, že k tomu nepotřebujete nutně nejnovější a nejlepší hardware.
Místní LLM vám umožní „mluvit“ s chatbotem s umělou inteligencí. Můžete ho použít jako jakési vylepšené vyhledávání („vysvětli mi černé díry jako pětiletému dítěti“) nebo vám pomůže diagnostikovat problémy („objevil jsem kousnutí na ruce; bolí to a mám horečku“).
Pokud chcete, můžete si s ním o svých problémech popovídat. Kde se však stává opravdu užitečným, je pomoc při zorientování se v dlouhých a obsáhlých právních nebo lékařských dokumentech, které můžete „nahrát“ a požádat jej, aby se na ně podíval.
Nenahradí vám lékaře ani právníka (a ani se k němu tak nechovejte), ale může vám být nápomocen při rozhodování, zda byste měli vyhledat odbornou radu.
Předně jde o to, že je to váš LLM. Pokud jste někdy používali Copilot od Microsoftu, víte, že umí být prudérní. Omezuje vaše konverzace a odmítá odpovídat na otázky týkající se choulostivých témat. Může se dokonce urazit.
A co víc, většina chatbotů s umělou inteligencí, jako jsou ChatGPT, Copilot a Google Bard, na určité úrovni zkoumá a zaznamenává vaše dotazy – a špatný dotaz vás může označit orgánům činným v trestním řízení. Pro některé lidi je soukromí důležité a místní LLM ho chrání.
(Aby bylo jasno, GPT4All vám neposkytne návod, jak svrhnout vládu, ani nesimuluje sexy zdravotní sestřičku, která s vámi bude mluvit sprostě. Nabízí vám však soukromí a odrazový můstek pro budoucí zkoumání s jinými modely. Tohle je doslova startovací LLM.)
Na GPT4All se mi taky líbí, že si můžete vybrat z několika různých konverzačních modelů a vývojáři vám velmi otevřeně sdělí, kolik místa budou potřebovat na vašem pevném disku a kolik paměti RAM bude váš počítač potřebovat k jejich spuštění. (S největší pravděpodobností budete potřebovat minimálně 8 GB RAM.)
Pokud máte starší systém, můžete si stáhnout jednodušší model. Pokud máte modernější hardware, můžete si stáhnout složitější model. Nebo si můžete stáhnout více modelů a porovnat výsledky.
Nastavení GPT4All
Vždy byste měli být obezřetní, co stahujete z internetu, a zlatá horečka modelů umělé inteligence jistě umožňuje, aby někdo na internet umístil škodlivý software, nazval ho „umělá inteligence“ a pak seděl a čekal.
Program GPT4All vydává malý tým vývojářů Nomic AI. Aplikace je však otevřená, zveřejněná na serveru GitHub, kde je již několik měsíců v provozu a lidé se v kódu mohou šťourat. Ačkoli nic není zcela bezpečné, je to dostatečná záruka, abych věřil, že je dostatečně bezpečná na to, abych ji doporučil.
Na download stránce GPT4All je hned nahoře odkaz na instalační program pro Windows (nebo OSX či Ubuntu). Samotný instalační program je jen malý, asi 27MB soubor, který stáhne potřebné soubory, jež budete moci přiřadit do určitého adresáře. (Na první obrazovce instalátoru je odkaz na „Nastavení“, který můžete ignorovat.)
Stažení samotné aplikace vyžadovalo jen asi 185 MB a aplikace se nainstaluje během několika sekund.
Takže jste hotovi? Ne tak docela. Po spuštění aplikace vás přivítají poznámky k vydání a možnost anonymně přispívat Nomicu svým používáním a/nebo svými chaty. (Pokud se obáváte, že vaše důvěrné informace někdo uvidí, možná si tuto možnost raději odpusťte).
Zde si však můžete vybrat konverzační modely, které budete používat. Nepovažujte je za osobnosti; místo toho vám tyto vysvětlivky poskytnou představu o tom, jak propracovaný by daný model mohl být.
Zkuste náš kvíz ohledně rozpoznání obrázků vytvořených umělou inteligencí:
Vpravo uvidíte několik klíčových informací: počet parametrů je obecným ukazatelem toho, jak je model propracovaný – čím více, tím lépe. Větší a sofistikovanější modely však vyžadují více paměti RAM, a proto se ujistěte, že jí váš počítač má dostatek. Uvidíte také, kolik úložného prostoru model zabere na vašem počítači.
Čtyři rady: Vyzkoušejte pro začátek nejlepší model (Mistral OpenOrca), pokud má váš počítač dostatek paměti. Modely ChatGPT 3.5 a ChatGPT 4.0 dole ignorujte, protože jsou v podstatě jen předělávkou ChatGPT 4, který najdete jinde na webu. (Nevím, proč jsou vůbec zařazeny.)
Existuje více modelů, které jsou přístupné pomocí tlačítka v dolní části stránky. A pokud je písmo v aplikaci příliš malé na to, abyste ho přečetli, zkuste index na stránce ke stažení GPT4All, úplně dole.
(Kvantizace, jeden z atributů konverzačního modelu, je něco jako verze komprese umělé inteligence. Video a obrázky se komprimují, snad bez ztráty dat; kvantizace dělá totéž s parametry, zmenšuje velikost souboru, snad bez ztráty sofistikovanosti).
Použití GPT4All
Používání GPT4All je poměrně jednoduché; zobrazí se vám rozhraní chatu a vy můžete komunikovat, jak chcete. Zkuste požádat o příběh o psovi, který letí na Mars, nebo o báseň o kočkách, které mají rády sýr. Ať už je to cokoli.
Nebojte se ptát na věci, které byste nechtěli zveřejnit: Chcete vědět, co máte dělat s daněmi nebo zdravotní péčí. Co byste měli upřednostnit, splácení půjček na vysokou školu nebo hypotéku? Umělá inteligence možná nezná odpovědi, ale možná má nějaké návrhy.
Jak bylo uvedeno výše, modely, které se objevují na stránkách GPT4All, byly dezinfikovány, takže nebudete moci požádat o sprostou básničku. Ale vždycky to můžete zkusit a možná se vám podaří umělou inteligenci přemluvit, aby se postavila proti svému naprogramování. Ano, lidé to zkoušejí.
Rychle však pochopíte klíčový faktor užitečné umělé inteligence: rychlost generování žetonů. Za tokeny se obecně považují přibližně čtyři znaky textu. Chat s umělou inteligencí se podobá sledování tisku na staré jehličkové tiskárně: Text se generuje, zatímco vy se díváte. (ChatGPT vám ukáže počet tokenů za sekundu při generování odpovědi.)
Rychlost kolem pěti tokenů za sekundu může čtenáři připadat slabá, ale právě takovou rychlost generoval výchozí program OpenOrca od společnosti Mistral na procesoru Core i7–11370H jedenácté generace s 32 GB celkové systémové paměti RAM.
GPT4All využije váš grafický procesor, pokud jej máte, a výkon se nesmírně zrychlí. Musí však mít dostatek dostupné VRAM: 4 GB paměti notebooku Nvidia GeForce RTX 3050 Ti na spuštění modelu nestačily. Zde mají stolní počítače (a desktopové GPU, které mají k dispozici mnohem více VRAM) výhodu.
Výkon můžete popohnat směrem nahoru tak, že vstoupíte do nabídky Nastavení a upravíte vlákna CPU přidělená aplikaci – jen se ujistěte, že jich má váš systém dostatek! Pokud si nejste jisti, nechte to být, protože výkon se o tolik nezmění. Můžete si také pohrát s různými nastaveními, abyste změnili odezvy, ale nemusíte.
Pokud se GPT4All „zasekne“ na určitém tématu, můžete jej kdykoli „resetovat“ pomocí ikony kruhových šipek v horní části okna. Můžete ho taky požádat, aby se „naučil“ dokumenty, které máte uložené lokálně, i když si budete muset stáhnout malý doplněk, na který vás GPT4All odkáže.
Pro pobavení jsem si stáhl soubor PDF s názvem amerického zákoníku týkajícího se úřadu prezidenta USA. Pokud GPT4All nasměrujete na složku s tímto PDF (nebo jinými), bude soubor indexovat, abyste se na něj mohli později zeptat.
Toto indexování však může trvat dlouho, zejména pokud aplikaci odložíte na pozadí a budete pracovat na jiných úkolech.
Co dál
Stáhli jste si GPT4All a přišli jste na chybu? Co bude následovat? Doporučil bych vám Oobabooga, podivně pojmenovaný front-end pro různé konverzační modely. Oobabooga je složitější, ale flexibilnější a budete mít možnost stáhnout si mnohem, mnohem více modelů, se kterými si můžete hrát.
Příjemnou zábavu!
Computerworld si můžete objednat i jako klasický časopis. Je jediným odborným měsíčníkem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computerworldu je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU