Neuralangelo je nový model umělé inteligence od Nvidia Research, který dokáže z 2D videí vytvořit 3D struktury. Využívá u toho neuronové sítě. Podobně jako Michelangelo sochá z mramorových bloků úžasné realistické vize, generuje Neuralangelo 3D struktury se složitými detaily a texturami.
Tyto 3D objekty lze pak dále využít a například je importovat do CAD aplikací a dále je upravovat pro použití v umění, vývoji videoher, robotice a průmyslových digitálních dvojčatech.
Neuralangelo vygeneruje velmi podobné virtuální repliky soch, budov a jiných objektů. | Zdroj: TZ Nvidia
Schopnost aplikace Neuralangelo převádět textury složitých materiálů - včetně detailů, jako jsou střešní šindele, skleněné tabule a hladký mramor - z 2D videa do 3D podle Nvidie výrazně překonává předchozí metody. 3D rekonstrukce usnadní vývojářům vytváření použitelných virtuálních objektů pro jejich projekty pomocí záznamů pořízených chytrými telefony.
"Možnosti 3D rekonstrukce, které Neuralangelo nabízí, budou pro tvůrce velkým přínosem, protože jim pomohou přetvořit reálný svět do digitálního světa," řekl Ming-Yu Liu, senior ředitel výzkumu a spoluautor článku. "Tento nástroj nakonec umožní vývojářům importovat detailní objekty - ať už malé sochy nebo masivní budovy - do virtuálních prostředí pro videohry nebo průmyslová digitální dvojčata."
V ukázce výzkumníci společnosti Nvidia předvedli, jak model dokáže ztvárnit objekty tak ikonické, jako je Michelangelův David, i tak obyčejné, jako je nákladní auto s plošinou. Neuralangelo dokáže rekonstruovat také interiéry a exteriéry budov, což demonstrovali na detailním 3D modelu parku v kampusu společnosti Nvidia v Bay Area.
Jak to funguje
Předchozí modely umělé inteligence pro rekonstrukci 3D scén měly problémy s přesným zachycením opakujících se vzorů textur, homogenních barev a výrazných barevných variací. Neuralangelo na základě 2D videa objektu nebo scény natočeného z různých úhlů model vybere několik snímků, které zachycují různé úhly pohledu. Získá tak pocit hloubky, velikosti a tvaru.
Po určení polohy kamery každého snímku vytvoří umělá inteligence Neuralangelo hrubou 3D reprezentaci scény. Model pak optimalizuje vykreslování, aby vyostřil detaily. Konečným výsledkem je 3D objekt nebo rozsáhlá scéna, kterou lze použít v aplikacích virtuální reality, digitálních dvojčatech nebo při vývoji robotů.
Zdroj : Nvidia blog
video
