0

Před dvaceti pěti lety společnost NVIDIA přeměnila průmysl počítačové grafiky tím, že vybudovala první GPU. Nyní nový model založený na hlubokém učení, kteří vyvinuli výzkumníci NVIDIA, má za cíl katapultovat grafický průmysl do světa umělé inteligence.

Použitím podmíněné generativní neuronové sítě jako výchozího bodu vyškolil tým neuronovou síť, která dokáže z generovat nové 3D prostředí poté, co byla trénována na existujících videí.

Tento průlom umožní vývojářům a umělcům vytvářet nové interaktivní virtuální světy pro automobilovou, herní nebo virtuální realitu pomocí videí z reálného světa. Tím se sníží náklady a čas potřebný k vytvoření virtuálních světů.

“Jedna z hlavních překážek, s nimiž se vývojáři potýkají při vytváření virtuálních světů, je, že vytváření obsahu je nákladné. Tato metoda umožňuje umělcům a vývojářům vytvářet virtuální světy za mnohem nižší náklady pomocí umělé inteligence, která se učí z reálného světa,“ řekl Bryan Catanzaro, víceprezident aplikování hlubokého učení ve společnosti NVIDIA.

Výzkum byl představen na konferenci NeurIPS v kanadském Montrealu, pro kterou výzkumný tým vytvořil jednoduchou jízdní hru, která umožňuje účastníkům interaktivně pohybovat v prostředí vytvořeném umělou inteligencí.

Síť pracuje s popisy scény na vysoké úrovni, například: segmentační mapy nebo okrajové mapy, které popisují, kde jsou objekty a jejich obecné charakteristiky, například zda určitá část obrazu obsahuje auto nebo budovu, nebo kde se nacházejí okraje objektu. Síť pak vyplňuje detaily na základě toho, co se naučila z videí z reálného života.

Demo umožňuje účastníkům navigovat ve virtuálním městském prostředí, které tuto neuronovou síť vykresluje. Síť byla vyškolena z videí natočených ve skutečném městském prostředí. Podmíněná generativní neuronová síť se také naučila pracovat s vizuální dynamikou světa, jako je osvětlení a materiály.

Vzhledem k tomu, že výstup je synteticky generován, lze scénu jednoduše upravit, aby bylo možné odstraňovat, upravovat nebo přidávat objekty. I když je tento výzkum v rané fázi, aplikace této technologie slibuje, že bude mnohem levnější a jednodušší vytvářet virtuální prostředí v různém odvětví.