Chat with RTX umožňuje spustit vlastní chatbot na lokální GPU

15. 2. 2024

Sdílet

 Autor: Depositphotos
Nový nástroj od Nvidie na tvorbu vlastního AI chatu je zajímavý, ale potřebuje nakrmit hromadou textu.

Toužíte rozjet supervýkonnou a dechberoucí umělou inteligenci přímo na vlastním počítači? Už nějakou dobu to je možné. Společnost Nvidia to teď však velmi usnadňuje, a to díky předkonfigurované generativní textové umělé inteligenci, která běží na jejích grafických kartách spotřebitelské třídy. Jmenuje se Chat with RTX a je momentálně k dispozici jako beta verze.

Je podle vás regulace AI vhodnou metodou, jak zabezpečit AI?

Chat with RTX je založen výhradně na textu a je „vycvičen“ na rozsáhlé databázi veřejných textových dokumentů, které vlastní sama společnost Nvidia. V surové podobě umí model dost dobře „psát“, ale jeho reálné znalosti se zdají být velmi omezené. 

Například vám dokáže podrobně rozebrat, co je to CUDA jádro, ale na dotaz „Co je to baraccuda?“ odpovídá: „Zdá se, že je to druh ryby“ a coby referenční odkaz uvádí aktualizaci ovladačů pro videohru Cyberpunk 2077. Snadno napíše sedmiveršovou říkanku o krásné desce s plošnými spoji (nijak zvlášť kvalitní, ale splňující zadání), ale kdo vyhrál druhou americkou válku za nezávislost říct nedokáže. Když už nic jiného, je to příklad toho, jak hluboce jsou velké jazykové modely závislé na obrovském množství vstupních dat, mají-li být užitečné.

Za tímto účelem Chat with RTX můžete vylepšit tak, že jej nasměrujete do složky plné souborů .txt, .pdf a .doc, ze kterých se bude „učit“. To může být o něco užitečnější, pokud potřebujete prohledávat gigabajty textu a zároveň potřebujete kontext. Je šokující, že jako člověk, jehož veškerý pracovní výstup je online, nemám moc lokálních textových souborů, které by mohl procházet…

bitcoin_skoleni

Chcete dostávat do mailu týdenní přehled článků z Computerworldu? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.

Abych si tuto potenciálně užitečnější schopnost vyzkoušel, stáhl jsem si veřejně dostupné textové soubory různých překladů Bible a doufal, že Chat with RTX mi vymyslí několik kvízů, které by pravděpodobně zvládli i moji staří učitelé v nedělní škole. Po hodině se však nástroj stále prokousával skrz necelých 300 MB textových souborů a vytěžoval mou RTX 3070 téměř na 100 %, takže kvalitnější hodnocení bude muset počkat na jiný den.

Ke spuštění beta verze budete potřebovat systém Windows 10 nebo 11 a grafický procesor řady RTX 30 nebo 40 s alespoň 8 GB VRAM. Také se jedná o poměrně masivní 35GB soubor ke stažení pro program umělé inteligence a jeho databázi výchozích tréninkových materiálů a zdá se, že souborový server společnosti Nvidia dostává v současné době pořádně zabrat, takže už jen zprovoznění této věci na vašem počítači může být cvičením v trpělivosti.

 

Computerworld si můžete objednat i jako klasický časopis. Je jediným odborným měsíčníkem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.

Obsah Computerworldu je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.