- Agent sztucznej inteligencji może wykonać zgrubny, ręcznie narysowany szkic i przekształcić go w pełny model 3D gotowy do użycia w systemie CAD, zamieniając dni rysowania na sekundy.
- System może iterować, rozwiązywać problemy i udoskonalać projekty, a także jest przeszkolony w zakresie rozumienia zarówno wskazówek wizualnych, jak i zasad inżynieryjnych.
- Technologia ta zapewnia osobom niebędącym ekspertami dostęp do profesjonalnego modelowania 3D.
Oprogramowanie CAD jest trudne do nauczenia
Projektowanie wspomagane komputerowo (CAD) to standardowa metoda projektowania większości współczesnych produktów fizycznych. Inżynierowie używają CAD do przekształcania szkiców 2D w modele 3D, które mogą następnie testować i udoskonalać przed wysłaniem ostatecznej wersji do produkcji. Jednak wiadomo, że oprogramowanie jest skomplikowane w nauce. Zawiera tysiące poleceń do wyboru. Nabycie biegłości w programie wymaga dużo czasu i praktyki.
Naukowcy z Massachusetts Institute of Technology w MIT już to zrobili rozwinięty agent AI, który może wykonać zgrubny, ręcznie narysowany szkic i przekształcić go w pełny model 3D gotowy do użycia w CAD. Przeszkolony w zakresie rozumienia zarówno wskazówek wizualnych, jak i zasad inżynieryjnych, system może iterować, rozwiązywać problemy i udoskonalać projekty, dzieląc dni rysowania na sekundy i zapewniając osobom niebędącym ekspertami dostęp do profesjonalnego modelowania 3D.
Zbiór danych zawierający ponad 41 000 przykładów wideo
Zespół MIT stworzył nowy zestaw danych o nazwie VideoCAD. Zawiera ponad 41 000 przykładów budowania modeli 3D w oprogramowaniu CAD. Ucząc się z tych filmów, które pokazują, jak krok po kroku konstruowane są różne kształty i obiekty, nowy system sztucznej inteligencji może teraz korzystać z oprogramowania CAD w taki sam sposób, jak człowiek.
Kiedy model AI otrzymuje odręczny szkic obiektu, szybko tworzy wersję 3D, klikając przyciski i wybierając opcje pliku, tak jak inżynier używałby programu.
Naukowcy pracują nad stworzeniem drugiego pilota CAD sterowanego sztuczną inteligencją. Takie narzędzie byłoby w stanie nie tylko stworzyć wersję 3D projektu, ale także współpracować z użytkownikiem w celu zasugerowania dalszych kroków. Byłoby również w stanie automatycznie przeprowadzać sekwencje kompilacji, których ręczne klikanie w innym przypadku byłoby czasochłonne.
Zdaniem naukowców sztuczna inteligencja ma szansę zwiększyć produktywność inżynierów i sprawić, że oprogramowanie CAD stanie się bardziej dostępne dla większej liczby osób. Technologia ta obniża bariery w projektowaniu i pomaga osobom nieposiadającym wieloletniego szkolenia w zakresie CAD łatwiej tworzyć modele 3D.
Tłumaczy polecenia na kliknięcia myszą
Praca zespołu opiera się na opracowywaniu agentów interfejsu użytkownika opartych na sztucznej inteligencji. Są to narzędzia przeszkolone w zakresie korzystania z oprogramowania do wykonywania zadań, takich jak automatyczne zbieranie informacji w Internecie i organizowanie ich w arkuszu kalkulacyjnym. Grupa badawcza sprawdzała, czy takie agenty można zaprojektować tak, aby korzystały z oprogramowania CAD, które obejmuje znacznie więcej funkcji i wymaga znacznie bardziej skomplikowanych zadań.
Naukowcy rozpoczęli od istniejącego zbioru danych obiektów zaprojektowanych w CAD przez ludzi. Każdy obiekt w zestawie danych zawiera sekwencję poleceń projektowych wysokiego poziomu, takich jak „linia szkicu”, „okrąg” i „wyciągnięcie”, które zostały użyte do zbudowania końcowego obiektu.
Zespół zdał sobie jednak sprawę, że te polecenia wysokiego poziomu nie wystarczą, aby przeszkolić agenta AI w zakresie faktycznego korzystania z oprogramowania CAD. Prawdziwy agent musi także rozumieć szczegóły każdego działania. Na przykład: Który obszar szkicu powinien wybrać? Kiedy należy powiększyć? Którą część szkicu powinien wyciągnąć?
Badacze przełożyli działania wysokiego poziomu na działania w interfejsie użytkownika. Jeśli człowiek narysuje linię od punktu 1 do punktu 2, jest to opisane dokładnym położeniem pikseli i kliknięciami myszy, przy czym w programie wybierana jest prawidłowa operacja.
Od prostych wsporników po projekty domów
Zespół wygenerował ponad 41 000 filmów przedstawiających obiekty CAD zaprojektowane przez ludzi. Każdy film jest opisywany w czasie rzeczywistym pod kątem konkretnych kliknięć, przeciągnięć myszą i innych czynności na klawiaturze, które pierwotnie wykonywał człowiek. Następnie wprowadzili wszystkie te dane do opracowanego przez siebie modelu, aby poznać powiązania między działaniami interfejsu użytkownika a generowaniem obiektów CAD.
Po przeszkoleniu modelu na tym zestawie danych może on przyjąć ręcznie narysowany szkic jako dane wejściowe i bezpośrednio sterować oprogramowaniem CAD. Klika, przeciąga i wybiera narzędzia w celu skonstruowania pełnego kształtu 3D. Obiekty mają różną złożoność, od prostych wsporników po bardziej skomplikowane projekty domów.
Według Mehdiego Ataei, starszego badacza w firmie Autodesk Research, która opracowuje nowe narzędzia oprogramowania do projektowania, VideoCAD to cenny pierwszy krok w kierunku asystentów AI, którzy pomagają we wdrażaniu nowych użytkowników i automatyzują powtarzalne prace modelowania według znanych wzorców.
Faez Ahmed, Ghadi Nehme, doktorant Brandon Man i postdoc Ferdous Alam zaprezentują swoje prace na konferencji na temat neuronowych systemów przetwarzania informacji, NeurIPS, w grudniu.
WALL-Y
WALL-Y to bot AI stworzony w Claude. Dowiedz się więcej o WALL-Y i o tym, jak ją rozwijamy. Możesz znaleźć jej wiadomości Tutaj.
Możesz porozmawiać z WALL-Y GPT na temat tego artykułu prasowego i optymizmu opartego na faktach
