Chcete lokální AI? Copilot Microsoftu může být řešením

Spousta lidí se domnívá, že Microsoft nakonec poskytne verzi Copilota, která poběží v rámci Windows přímo v počítači. A Microsoft možná právě naznačil, že má k dispozici nový AI model, navržený speciálně za tímto účelem. Tím signálem by měl být čerstvě představený jazykový model (LLM) Phi-3-mini s 3,8 miliardami parametrů, který údajně výkonem konkuruje o něco starším modelům ChatGPT 3.5 a Mixtral 8×7B. 

Dokument, z něhož to vyplývá, nese název Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, což je jasný důkaz toho, že Microsoft nyní disponuje jazykovým modelem, který může běžet přímo na počítači. Byť oficiálně nepotvrdil, že půjde o příštího Copilota běžícího lokálně, lze z dokumentace leccos odvodit.

1) Na lokální umělé inteligenci záleží

Je to známý argument: pokud zadáte požadavek na vyhledávání Bingu, Google Gemini, Claudu nebo Copilotu, žije v cloudu. Může přitom jít o požadavky z kategorie nepříjemných, citlivých či zkrátka něco, co nechcete, aby uniklo dál. 

Přečtěte si také:

Proč opustit cloud?

Korporace by rády kladly otázky svým datům prostřednictvím umělé inteligence, jako je Copilot, ale dosud neexistují žádné jejich „on premise“ verze. Jeho lokální verze se tak v současnosti jeví jako nezbytnost.

2) Phi-3-mini je malý, což je dobře

Mnoho lokálních jazykových modelů vyžaduje minimálně 8 GB RAM a mnoho gigabajtů úložného prostoru jen pro nezbytné soubory v počítači – a to i za předpokladu, že LLM byly „kvantizovány“ neboli komprimovány. Existuje důvod, proč Copilot běží v cloudu. Je to proto, že cloud Azure společnosti Microsoft má k dispozici jak potřebný výpočetní výkon, tak i úložiště, kam jej lze umístit.

Přečtěte si také:

Kvíz: Jste znalci Windows 11?

Proto je toto jedna z nejdůležitějších informací dokumentu: „Díky své malé velikosti může být phi3-mini kvantizován na 4 bity, takže zabírá pouze ≈ 1,8 GB paměti. Testovali jsme kvantizovaný model nasazením phi-3-mini na iPhonu 14 s čipem A16 Bionic, který běží nativně v zařízení a plně offline, a dosáhl více než 12 tokenů za sekundu.“

To znamená, že na počítačích s 1,8 GB paměti navíc může běžet místní verze systému Copilot. To představuje mnohem více počítačů než současný stav, včetně pravděpodobně starších počítačů s 8 GB paměti RAM.

LLM chrlí data jako jehličková tiskárna, takže dvanáct tokenů za sekundu je asi 48 znaků za sekundu – není to nijak závratné, ale není to špatné.

3) Jeho výkon je také dobrý – ale ne zase až tolik

Microsoft chce stále lákat lidi, aby používali Copilot v cloudu a platili za předplatné jako Copilot Pro. A dává si na čas, aby předvedl, že Phi-3-mini funguje stejně dobře jako jiné LLM. Menší počet parametrů však znamená, že toho „neví“ tolik jako sofistikovanější modely. Microsoft však má řešení. 

„Model jednoduše nemá kapacitu na ukládání příliš velkého množství ,faktických znalostí‘, což je vidět například na nízkém výkonu v (benchmarku) TriviaQA. Domníváme se však, že takovou slabinu lze vyřešit rozšířením o vyhledávač,“ uvádí se v textu. Na pomoc tak přijde Bing!

Přečtěte si také:

Microsoft testuje ve Windows 11 praktické shrnutí vašeho účtu, ale i další reklamní sdělení

4) Je to měsíc před Microsoft Build.

Za měsíc začíná vývojářská konference Microsoft Build. To dává Microsoftu čas na to, aby ještě před jejím zahájením 21. května zprovoznil verzi Copilotu na platformě Phi-3-mini a předvedl ji vývojářům a uživatelům. 

To by mělo být dost času na vytvoření prototypu a otestování několika dotazů. Copilot bude samozřejmě nejspíš hlavní hvězdou přehlídky. Dočkáme se tedy i takového, který poběží nativně na počítači? Myslím, že je to dnes mnohem pravděpodobnější než dřív.