První obrazové snímače s nativní podporou AI představilo Sony

Díky rozšíření internetu věcí (IoT) dochází k připojování nejrůznějších zařízení ke cloudu. Proto je již běžné použití systémů pro zpracování informací tam, kde se informace získané v těchto zařízeních zpracovávají pomocí AI na cloudu.

Na druhou stranu přináší rostoucí objem informací putujících do cloudu různé problémy: narůstající latenci při přenosu dat, která brání zpracování informací v reálném čase; obavy o bezpečnost ze strany uživatelů spojené s ukládáním údajů na cloudu, podle nichž lze identifikovat; nebo další problémy jako zvýšená spotřeba energie a náklady spojené s cloudovými službami.

Integrování funkce zpracování pomocí AI přímo do obrazového snímače umožňuje mj. extrakci pouze nezbytných dat, která při použití cloudových služeb omezují latenci přenosu dat, vypořádá se s problémy souvisejícími s ochranou soukromí a snižuje spotřebu energie a náklady na komunikaci.

Tyto produkty také rozšiřují možnosti vývoje kamer vybavených umělou inteligencí, které jsou vhodné pro celou řadu nejrůznějších použití v maloobchodě či v oblasti průmyslového vybavení a díky propojení s cloudem přispívají k vytvoření optimálního systému.

Jak to funguje?

Nové snímače jsou vrstvené a skládají se z pixelového čipu a logického čipu. Signál získaný od pixelového čipu je zpracován pomocí umělé inteligence přímo ve snímači, eliminuje se tím potřeba vysoce výkonného procesoru nebo externí paměti, umožňuje tak rozvoj edge AI systémů.

Výstupem ze snímače jsou metadata (sémantická informace náležející k obrazovým datům) místo obrazových informací. Vzniká tak menší objem dat a eliminují se problémy s citlivými údaji.

Kromě toho umožňuje umělá inteligence vytvářet různé funkce pro různá využití. Je také možné zvolit různé modely AI přepisováním interní paměti podle požadavků uživatelů nebo podmínek, v nichž je systém umístěn a používán.

Pixelový čip je podsvícený a má přibližně 12,3 efektivních megapixelů pro zachycení informací v širokém zorném poli. Logický čip je kromě běžného pracovního obvodu snímače obrazu vybaven originálním procesorem DSP (Digital Signal Processor) Sony, který je určen pro zpracování signálu AI, a pamětí pro model AI.

Tato konfigurace eliminuje potřebu vysoce výkonných procesorů nebo externí paměti, takže je ideální pro edge AI systémy.

Signály získané pixelovým čipem jsou zpracovávány prostřednictvím ISP (Image Signal Processor) a zpracování AI je prováděno ve fázi procesu na logickém čipu a výstupem extrahovaných informací jsou metadata, čímž se snižuje množství zpracovávaných dat.

Je tím zajištěno, že obrazové informace nejsou předávány dál. Omezují se tím bezpečnostní rizika a řeší to otázky spojené s ochranou soukromí. Kromě obrazu zaznamenaného konvenčním obrazovým senzorem si uživatelé mohou vybrat formát výstupních dat podle svých potřeb a využití, včetně výstupním formátu obrazu ISP (YUV / RGB) a ROI (Region of Interest – oblast zájmu) specifických oblastí získaných obrazů.

Když je video zaznamenáno pomocí konvenčního obrazového senzoru, je nutné odeslat data pro každý jednotlivý výstupní video snímek pro AI zpracování, což má za následek zvýšený přenos dat a snížení výkonu v reálném čase.

Nové senzory provádějí ISP zpracování a vysokorychlostní AI zpracování (zpracování 3.1 milisekundy pro MobileNet V1 * 2) na logickém čipu. Tím proběhne celý proces na každém snímku videa. Tento systém umožňuje vysoce přesné sledování předmětů v reálném čase během nahrávání videa.

Uživatelé navíc mohou zapisovat AI modely podle vlastního výběru do integrované paměti, přepisovat je nebo aktualizovat podle požadavků nebo prostředí, v němž se systém využívá.

Například je možné při instalaci většího množství kamer využívajících tento produkt v prodejních prostorách jejich univerzální použití pro různá umístění, v různých podmínkách, časech či za různými účely.

Při instalaci u vchodu do prostor může být zařízení používáno pro počítání návštěvníků, kteří vstupují dovnitř; při umístění na poličku obchodu zase může sloužit k monitorování stavu zásob zboží; při umístění na strop jej lze využít pro sledování množství zákazníků pomocí tepelných map (heat mapping) (zjišťují se tak místa, na nichž se shromažďuje větší počet osob) a podobně.

AI model v dané kameře je navíc možné přepsat například z modelu pro tepelné mapy na model pro identifikaci chování zákazníků a podobně.