Zabezpečovací prvky Microsoft zahrne do Azure AI Studia, což je cloudová sada nástrojů pro vytváření aplikací využívajících generativní umělou inteligenci dostupná na adrese ai.azure.com.
Je pro vás bezpečnost aplikací s generativní AI důležitá?
Kromě ochrany před útokům typu prompt injection by měly nabídnout především detekci halucinací ve výstupech jazykových modelů, zajištění bezpečných výstupů z LLM, vyhodnocování bezpečnosti jazykových modelů či monitorování rizik a bezpečnosti spojených s GenAI.
Klíčové pro nové bezpečnostní funkce v Azure AI Content Safety jsou tzv. prompt shields – tedy jakési štíty. Ty podle výrobce dokážou detekovat a následně blokovat útoky typu prompt injection a obsahují i nový model pro identifikaci ataků typu indirect prompt, a to ještě před jejich dopadem na příslušný jazykový model.
Pro identifikaci textových halucinací, včetně drobných nepřesností, ve výstupech jazykového modelu je určená funkce groundness detection. Ta v textu zjišťuje výstupy, které nejsou dostatečně podložené, což zlepší celkovou kvalitu GenAI, tvrdí Microsoft.
Metaprompty, což jsou vlastně systémové zprávy vztahující se k ochraně dat, zase dokážou usměrnit chování jazykového modelu tak, aby výstupy odpovídaly bezpečnostním požadavkům.
Zájemcům je k dispozici i celá řada bezpečnostních metrik, co se týče obsahu i chování LLM. Spolu se analýzou rizik a různými obsahovými filtry to uživatelům pomáhá zmírňovat rizika plynoucí z nepatřičného způsobu práce s LLM.
Vyhodnocování úrovně ochrany je už nyní k dispozici v Azure AI Studio v preview módu. Ostatní funkce budou brzy následovat, dodává Microsoft.
Security World si můžete koupit i jako klasický časopis, buď v klasické tištěné formě nebo v elektronické verzi. Věnujeme se bezpečnosti počítačových systémů, ochraně dat, informací a soukromí. Jsme jediný titul na českém a slovenském trhu, který oslovuje širokou čtenářskou obec – od ředitelů firem, přes odborníky na bezpečnost po koncové uživatele. Naším cílem je poskytnout ucelený přehled o bezpečnostních hrozbách a zejména o tom, proč a jak se jim bránit, případně proč respektovat a dodržovat nařízení IT manažerů ve firmách.
PŘEDPLATNÉ
ČLÁNKY DO MAILU