Ponieważ generatory obrazów AI są obecnie bliskie fotorealizmowi, uwaga przenosi się z generowania pikseli na generowanie przestrzeni. Różni programiści pracują nad modelami sztucznej inteligencji, które mogą generować eksploracyjne światy 3D, a nie tylko płaskie obrazy lub wideo – czyli rodzaj zasobów, które normalnie wymagałyby użycia Oprogramowanie do modelowania 3D.
Jednym z nich jest Echo. Jego twórca, SpAItial AI, twierdzi, że model może wygenerować pojedynczą, spójną i edytowalną przestrzeń 3D, po której można się swobodnie poruszać. Uważa, że narzędzie może odblokować projektowanie 3D, symulacje, cyfrowe bliźniaki i przepływy pracy w środowisku gier, zaczynając od zdjęcia lub wiersza tekstu.
Echo może zamienić zarówno podpowiedzi tekstowe, jak i obrazy w możliwe do eksploracji światy 3D, przewidując scenę 3D opartą na geometrii w skali metrycznej. Tym, co odróżnia go od innych prób generatorów świata 3D, jest to, że każdy nowy widok, mapa głębi i interakcja pochodzą z tego samego podstawowego świata, a nie z niezależnych „halucynacji” – twierdzi twórca.
Po wygenerowaniu świat jest interaktywny w czasie rzeczywistym. Użytkownicy mogą najwyraźniej sterować kamerą, eksplorować obraz pod dowolnym kątem i natychmiastowo renderować, nawet na słabszym sprzęcie, bezpośrednio w przeglądarce.
“Wysokiej jakości eksploracja świata 3D nie jest już ograniczona kosztownym sprzętem. Pod maską Echo tworzy fizycznie ugruntowaną reprezentację 3D i konwertuje ją do możliwego do renderowania formatu” – mówi SpAItial AI.
Echo umożliwia także edycję i zmianę stylizacji scen bez psucia stworzonego świata. Film demonstracyjny pokazuje styl transformacji przestrzeni 3D na „Kraina lodu”, „Rococo” i „Cyber Rustic”, przy zachowaniu ogólnego układu.
Użytkownicy mogą także zmieniać materiały, usuwać lub dodawać obiekty, badać warianty projektu, zachowując jednocześnie globalną spójność 3D.
W powyższym pokazie internetowym wykorzystano 3D Gaussian Splatting do szybkiego renderowania, ale twierdzi się, że reprezentacja jest elastyczna i można ją łatwo dostosować.
Przestrzenny twierdzi, że nadchodzące wersje rozszerzą możliwości Echo, aby umożliwić pełną manipulację sceną w oparciu o podpowiedzi, umożliwiając użytkownikom dodawanie, usuwanie, zmianę kolejności lub zmianę stylu obiektów. W dalszej perspektywie zamierzeniem jest przedstawienie dynamiki i fizycznego rozumowania w stosunku do podstawowej reprezentacji.
Umożliwi to tworzenie scen wykorzystujących zachowania oparte na fizyce, otwierając drzwi do interaktywnych symulacji, testowania robotyki i bogatszych aplikacji cyfrowych bliźniaków – twierdzi twórca.
