Získané informace musí robotovi dovolit vykonávat i velmi náročné činnosti, jako je sebrání objektu a vyvinutí vhodné míry tlaku.
Nedávná studie zveřejněná na ArXivu se tímto problémem zabývá. Navrhovaným řešením je segmentovat jednotlivé části končetin pro zjednodušení rozpoznání vlastních částí robota; pixely, ze kterých se kupříkladu robotická paže skládá by byly rozděleny pomocí RGB snímků z kamer a snímačů robota.
Neuronová síť pomůže zpracovat data z kamer
K trénování simulovaných dat by roboti využívali konvoluční neuronové sítě s mírou strojového učení, což řeší neexistenci předpřipravených cvičných datasetů. Aby model seděl i na specifické typy robotů, algoritmy robotů budou stavěny na míru váze a parametrům jednotlivých modelů.
Rozpoznávání sebe oproti okolí je pro roboty klíčové, ovšem stále náročné na reálnou implementaci. V případě rukou podobných člověku je robotický systém často v kontaktu s prvky okolí, a musí s vysokou přesností sledovat jak své ruce, tak právě toto okolí, s nímž budou ruce interagovat.
Reálně fungující ruce, píše se ve studii, jsou fundamentální pro několik různých využití člověku podobných robotů, a pro interakci mezi moderním humanoidním robotem a člověkem.
Řešením, zdá se, by mohlo být něco podobného jako máme my lidí – tedy obraz, který vidíme.