Pod pokličku technologie MVTP pro audiovizuální přenosy

12. 6. 2020

Sdílet

 Autor: cesnet
Sdružení CESNET za svoji unikátní technologii umožňující síťové přenosy vysoce kvalitních obrazových a zvukových signálů s přidanou latencí vysílacího a přijímacího zařízení přibližně jedné milisekundy získalo řadu mezinárodních ocenění. Jak to celé funguje?

Síťové přenosy obrazu a zvuku mají široké využití pro mnoho aplikací. Přenosy v reálném čase přímo ze zdroje signálu s dostatečně nízkou latencí mohou umožnit vzdálenou spolupráci mezi lidmi. Přijatelná latence závisí na konkrétní aplikaci.

Jednou z nejnáročnějších aplikací je spolupráce v živé kultuře, kdy například hudebníci v různých městech nebo zemích mohou hrát ve společném koncertu. Přenosy s velmi malým přidaným zpožděním mohou mít ale využití i v dalších oblastech, například v distanční spolupráci při průmyslovém vývoji s využitím 3D modelů, kdy nepociťujeme žádné zpoždění při vzájemné interakci.

Většina systémů pro streamování videa využívá kodeky, které přidávají latenci v rozsahu od několika obrazových snímků, tedy desítek milisekund, až po několik sekund v živém televizním vysílání. To lze vidět v živých vstupech vzdálených osob do televizního vysílání. Není výjimečné, že celková latence mezi snímanou scénou a televizní obrazovkou je až minuta.

V klasické hudbě je maximální přijatelná latence mezi hudebníky přibližně 20 milisekund. Pro srovnání, stejné zpoždění bude mít zvuk, budou-li hudebníci přibližně 6 metrů od sebe. Latence obrazu je také důležitá pro vzájemnou synchronizaci a pro publikum, které vnímá obraz a zvuk v souladu. Spojení pomocí běžných kodeků by tedy nebylo možné.

Speciální technologie sdružení CESNET poskytuje hudebníkům prostředí pro společnou hru na velké vzdálenosti i vynikající kvalitu obrazu a zvuku pro publikum. Řešení je založeno na zpracování obrazu a zvuku v programovatelném hradlovém poli (FPGA) s unikátním řízením přijímače, které umožňuje zajistit dlouhodobou stabilitu přenosu bez výpadků i s velmi malou vyrovnávací pamětí.

Nízká latence je kombinována s obrazem v kvalitě odpovídající televiznímu vysílání s vysokým rozlišením a s možností střihu živého videa z více kamer. Zařízení MVTP (Modular Video Transmission Platform) může přenášet více obrazových kanálů současně. To lze využít například pro obraz se střihem z více kamer pro publikum a současně pro samostatný kanál bez střihu pro hudebníky. Při distanční výuce může být výhodné přenášet současně například pohled na vzdáleného hudebníka a druhý detailní záběr na ruce.

Díky využití pole FPGA a elektromechanické konstrukci je zařízení MVTP bez větráku, a je tak zcela tiché. Zařízení poskytuje přímo vstupy a výstupy pro připojení obrazových signálů a nepotřebuje ke své činnosti externí PC. Není třeba instalovat žádné PCI karty, jejich ovladače a podobně. V provedení MVTP-Audio poskytuje zařízení dva vstupy a dva výstupy obrazu na rozhraních 3G-SDI, osm vstupů a osm výstupů zvuku na symetrických rozhraních typu jack 1/4''.

Obraz je přenášen se vzorkováním 24-bitů / 48 kHz. Obrazový signál může být přenášen do formátu 2 x 1080p60. Větší zařízení MVTP-4K přenáší signály až do formátu 2160p60 a k dispozici je prototyp zařízení MVTP-8K přenášející signály do formátu 4320p60 se vstupy a výstupy na čtyřech rozhraních 12G-SDI.

Všechny verze zařízení používají kompresi obrazu typu TICO (Tiny Codec) vyvinutou firmou intoPIX, která pracuje na základě vlnkové transformace. Vlastní kodek vyžaduje latenci jen několika obrazových řádků. Kvalita obrazu po kompresi a dekompresi je považována za nerozeznatelnou od originálu i pro nejnáročnější aplikace.

bitcoin_skoleni

Práce na vývoji zařízení MVTP-Audio probíhala v rámci projektu Distanční spolupráce v uměleckém vzdělávání s využitím moderních přenosových technologií (kód projektu TL01000106), který byl spolufinancován se státní podporou Technologické agentury ČR v rámci programu ÉTA.

Autor pracuje jako výzkumník pro sdružení Cesnet