Nový způsob vnášení osobních předmětů do smíšené reality

V stále virtuálnějším světě by bylo skvělé zachovat kopii drahocenných předmětů a vzpomínek s nimi spojených. V prostředí smíšené reality můžete vytvořit digitálního dvojče fyzického předmětu, například staré panenky. Je však obtížné replikovat interaktivní prvky, jako je pohyb nebo zvuky – jedinečné interaktivní vlastnosti, které daly hračce její charakter.

Výzkumníci z MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) se rozhodli tuto situaci změnit a nabízejí potenciální řešení. Jejich program „InteRecon“ umožňuje uživatelům zachytit reálné objekty pomocí mobilní aplikace a poté je animovat v prostředí smíšené reality.

Tento prototyp dokáže znovu vytvořit interaktivní funkce z fyzického světa, například pohyby hlavy oblíbené kývací figurky nebo přehrávání klasického videa na digitální verzi starožitného televizoru. Vytváří realističtější a osobnější digitální prostředí, přičemž zachovává vzpomínky.

Schopnost InteReconu rekonstruovat interaktivní zážitek z různých objektů by z něj mohla učinit užitečný nástroj pro učitele vysvětlující důležité koncepty, například demonstraci gravitace. Mohl by také přidat novou vizuální složku do muzejních exponátů, například oživit obraz nebo historickou figurínu (bez strašidel z filmu „Noc v muzeu“).

InteRecon by v budoucnu mohl učit lékařského asistenta operaci orgánů nebo kosmetický zákrok vizualizací každého potřebného pohybu.

Podle Zisu Li, hlavní autorky článku představujícího tento nástroj a hostující výzkumnice CSAIL, spočívá vzrušující potenciál InteReconu v jeho schopnosti přidávat pohyby nebo interaktivní funkce do mnoha různých objektů.

„Fotografie nebo video jsou skvělým způsobem, jak si zachovat vzpomínku, ale tyto digitální kopie jsou statické,“ říká Li, která je také doktorandkou na Hongkonské univerzitě vědy a technologie. „Zjistili jsme, že uživatelé si přáli rekonstruovat osobní předměty a zároveň zachovat jejich interaktivitu, aby obohatili své vzpomínky. Díky síle smíšené reality může InteRecon tyto vzpomínky v virtuálním prostředí prodloužit jako interaktivní digitální položky.“

Li a její kolegové představí InteRecon na konferenci ACM CHI 2025 o lidských faktorech v počítačových systémech.

Vytváření realističtějšího virtuálního světa

Aby byla digitální interaktivita možná, tým nejprve vyvinul aplikaci pro iPhone. Pomocí fotoaparátu naskenujete předmět třikrát ze všech stran, abyste zajistili jeho úplné zachycení. 3D model lze poté importovat do rozhraní smíšené reality InteRecon, kde můžete označit („segmentovat“) jednotlivé oblasti a vybrat, které části modelu budou interaktivní (například ruce, hlava, trup a nohy panenky). Alternativně můžete použít funkci automatické segmentace poskytovanou InteReconem.

K rozhraní InteReconu máte přístup přes náhlavní soupravu smíšené reality (například Hololens 2 a Quest). Po segmentaci modelu vám umožňuje vybrat programovatelný pohyb pro část předmětu, kterou chcete animovat.

Možnosti pohybu jsou prezentovány jako ukázky pohybu, které vám umožní si s nimi pohrát, než se rozhodnete pro ten správný – například pohyb, který napodobuje pohyb uší plyšového králíčka. Můžete dokonce stisknout konkrétní část a prozkoumat různé způsoby animace, jako je posouvání, houpavý pohyb a kyvadlové otáčky.

Váš starý iPod, digitalizovaný

Tým ukázal, že InteRecon dokáže také zachytit rozhraní fyzických elektronických zařízení, jako je starožitný televizor. Po vytvoření digitální kopie předmětu můžete 3D model přizpůsobit různými rozhraními.

Uživatelé si mohou pohrát s ukázkovými widgety z různých rozhraní, než se rozhodnou pro pohyb: obrazovka (buď displej televizoru nebo hledáček fotoaparátu), otočný knoflík (například pro regulaci hlasitosti), tlačítko typu „zapnuto/vypnuto“ a posuvník (pro změnu nastavení například na DJ pultu).

Li a její kolegové představili aplikaci, která znovu vytváří interaktivitu starožitného televizoru začleněním virtuálních widgetů, jako je tlačítko „zapnuto/vypnuto“, obrazovka a přepínač kanálů na modelu televizoru, spolu s vložením starých videí. To oživuje model televizoru. Můžete také nahrát soubory MP3 a přidat tlačítko „přehrát“ k 3D modelu iPodu, abyste si v prostředí smíšené reality poslechli své oblíbené písně.

Výzkumníci věří, že InteRecon otevírá zajímavé nové cesty v navrhování realistických virtuálních prostředí. Uživatelská studie potvrdila, že lidé z různých oblastí sdílejí toto nadšení a považují jej za snadno ovladatelný a rozmanitý ve své schopnosti vyjadřovat bohatost uživatelských vzpomínek.

„Velmi si vážím toho, že předměty, na které si uživatelé pamatují, jsou nedokonalé,“ říká Faraz Faruqi SM '22, další autor článku, který je také členem CSAIL a doktorandem MIT v oboru elektrotechniky a informatiky. „InteRecon vnáší tyto nedostatky do smíšené reality a přesněji znovu vytváří to, co osobní předmět, jako je plyšový medvídek s chybějícími knoflíky, tak zvláštním učinilo.“

V související studii si uživatelé představovali, jak by se tato technologie mohla uplatnit v profesionálních scénářích, od výuky lékařských studentů, jak provádět operace, přes pomoc cestovatelům a výzkumníkům při zaznamenávání jejich cest až po pomoc návrhářům módy při experimentování s materiály.

Než se InteRecon použije v pokročilejších nastaveních, tým chce vylepšit svůj fyzikální simulační engine na něco přesnějšího. To by umožnilo aplikace, jako je pomoc lékařskému asistentovi naučit se přesnost potřebnou k provedení určitých chirurgických manévrů.

Li a Faruqi mohou také začlenit velké jazykové modely a generativní modely, které dokáží znovu vytvořit ztracené osobní předměty do 3D modelů prostřednictvím jazykových popisů a vysvětlit funkce rozhraní.

Pokud jde o další kroky výzkumníků, Li pracuje na automatizovanějším a výkonnějším řetězci, který dokáže pro koncové uživatele vytvořit digitální dvojčata větších fyzických prostředí v smíšené realitě, například virtuální kancelářský prostor. Faruqi se snaží vytvořit přístup, který dokáže fyzicky znovu vytvořit ztracené předměty pomocí 3D tiskáren.

„InteRecon představuje vzrušující novou hranici v oblasti smíšené reality, která přesahuje pouhou vizuální replikaci a zachycuje jedinečnou interaktivitu fyzických objektů,“ říká Hanwang Zhang, docent na Vysoké škole informatiky a datové vědy Nanyangské technologické univerzity, který se na výzkumu nepodílel. „Tato technologie má potenciál revolučně změnit vzdělávání, zdravotnictví a kulturní výstavy tím, že do virtuálních prostředí vnese novou úroveň ponoření a osobního propojení.“

Li a Faruqi napsali článek s master studentem Jiawei Li z Hongkonské univerzity vědy a technologie (HKUST), doktorandem Shumeng Zhang, docentkou Xiaojuan Ma a asistenty profesory Mingming Fan a Chen Liang z HKUST; doktorandem Zeyu Xiong z ETH Zurich; a Stefanie Mueller, TIBCO Career Development Associate profesorkou na MIT na katedrách elektrotechniky a informatiky a strojírenství a vedoucí HCI Engineering Group. Jejich práce byla podpořena APEX Lab Hongkonské univerzity vědy a technologie (Kanton) ve spolupráci s HCI Engineering Group.