O tom, kam a kdy budou s chytrými brýlemi chodit, v současné době rozhodují jen a pouze jejich majitelé. Jejich okolí se tak podle názoru právních expertů nemůže záznamu svých aktivit účinně bránit.
Někteří uživatelé si však pro nošení chytrých brýlí vytvořili vlastní pravidla. Patří mezi ně i třiatřicetiletý Noble Ackerson, který Google Glass testuje již pár týdnů. Postupoval prý podle vlastního „selského rozumu“. S brýlemi tak například vůbec nechodí na veřejné toalety, do kina nebo do kasina, kde by podle svých slov mohl nad ostatními hráči získat určitou výhodu.
Američtí zákonodárci žádají po Googlu záruky, že jsou jeho chytré brýle dostatečně chráněny proti zneužití. Kongresmany nejvíce zajímá, jak technologie vlastně funguje. Někteří podnikatelé však na nic raději nečekají a používání brýlí ve svých podnicích rovnou zakázali. Nejčastěji jde o bary a kasina.
Google Glass tak vyvolávají velké kontroverze a to přitom ještě nejsou běžně k dostání. Google je chce na trh uvést až během příštího roku.
Největší obavy mají kritici brýlí ze schopnosti rozpoznávat obličeje. V současné chvíli sice podobná funkce pro chytré brýle není k dispozici, ovšem vědci s ní již docela úspěšně experimentují.
Výzkumníkům z Univerzity Carnegie Mellon se kombinací veřejně dostupných informací ze sociálních sítí a technologie pro rozpoznávání obličejů podařilo přes rozhraní obyčejné webkamery identifikovat některé náhodně vybrané jedince pohybujících se po univerzitním kampusu.
Současní uživatelé chytrých brýlí se nicméně domnívají, že pozitiva výrazně převažují nad obavami ze ztráty soukromí. Představují si například, že paraplegici budou díky brýlím moci pořizovat fotografie a řidiči se budou moci snáze bránit třeba policejní brutalitě.