Objekty ve virtuální realitě mají nevýhodu v tom, že se jich nemůžete dotýkat a jakkoliv s nimi pracovat. Pokud chcete virtuální předmět uchopit, musíte dotek pouze předstírat, případně si do ruky vzít reálný objekt podobných tvarů položený na tom správném místě. V Microsoft Research druhou možnost ještě vyšperkovali a ukázali, že je možné virtuálně budovat svět z kostek v Minecraftu, a přitom mít pocit, že si hrajete se skutečnou stavebnicí.
https://www.youtube.com/watch?time_continue=198&v=SiH3IHEdmR0
Uživatel si v tomto případě vystačí pouze s jedinou fyzickou kostkou, kterou položí na vybrané místo. Po jejím umístění systém přinutí uživatele pohnout hlavou na jiné místo, a následně se vrátit; ovšem po návratu je scéna díky algoritmu mírně posunutá, aniž by to uživatel postřehl. Ve virtuálním světě je pak viditelná již umístěná krychle (bez fyzické podoby) a nový stavební materiál, který má v reálném světě svoje dvojče. Takto lze díky jedné kostce budovat libovolné objekty (jak do plochy, tak do výšky) a zažívat pocit podobný jako při stavbě stavebnice.
Technicky je situace jednoduchá, nad uživatelem je upevněná souprava Kinect v2 z Xboxu, která snímá pozici skutečné krychle. Program v brýlích Oculus Rift zase zajišťuje, aby byla kostka vždy dostupná pro stavbu, zatímco již postavené objekty jsou pouze virtuální. Celé stavby se ale pochopitelně dotknout nelze, stejně tak z ní není možné odebírat kostky. Na hologramy s haptickou odezvou si ještě budeme muset několik (desítek) let počkat.
