Projektowanie wspomagane komputerowo (CAD) to najpopularniejsza metoda projektowania większości współczesnych produktów fizycznych. Inżynierowie używają CAD do przekształcania szkiców 2D w modele 3D, które mogą następnie testować i udoskonalać przed wysłaniem ostatecznej wersji na linię produkcyjną. Jednak oprogramowanie jest niezwykle skomplikowane w nauce i zawiera tysiące poleceń do wyboru. Aby naprawdę biegle posługiwać się oprogramowaniem, potrzeba ogromnej ilości czasu i praktyki.
Inżynierowie z MIT chcą ułatwić naukę CAD za pomocą modelu AI, który wykorzystuje oprogramowanie CAD podobnie jak człowiek. Mając szkic 2D obiektu, model szybko tworzy wersję 3D, klikając przyciski i opcje plików, podobnie jak inżynier korzystałby z oprogramowania.
Zespół MIT stworzył nowy zbiór danych o nazwie VideoCAD, który zawiera ponad 41 000 przykładów tworzenia modeli 3D w oprogramowaniu CAD. Ucząc się z tych filmów, które ilustrują, jak krok po kroku konstruowane są różne kształty i obiekty, nowy system sztucznej inteligencji może teraz obsługiwać oprogramowanie CAD podobnie jak człowiek.
Dzięki VideoCAD zespół pracuje nad „drugim pilotem CAD” obsługującym sztuczną inteligencję. Przewidują, że takie narzędzie mogłoby nie tylko tworzyć wersje 3D projektu, ale także współpracować z użytkownikiem w celu sugerowania kolejnych kroków lub automatycznie przeprowadzać sekwencje kompilacji, których ręczne klikanie byłoby w przeciwnym razie żmudne i czasochłonne.
„Sztuczna inteligencja ma szansę zwiększyć produktywność inżynierów, a także sprawić, że oprogramowanie CAD stanie się bardziej dostępne dla większej liczby osób” – mówi Ghadi Nehme, absolwent Wydziału Inżynierii Mechanicznej MIT.
„Jest to istotne, ponieważ obniża barierę wejścia na rynek projektowania, pomagając osobom bez wieloletniego szkolenia w zakresie CAD łatwiej tworzyć modele 3D i wykorzystywać swoją kreatywność” – dodaje Faez Ahmed, profesor nadzwyczajny inżynierii mechanicznej w MIT.
Ahmed i Nehme wraz z doktorantem Brandonem Manem i doktorem podoktorskim Ferdousem Alamem zaprezentują swoje prace na konferencji na temat systemów przetwarzania informacji neuronowych (NeurIPS) w grudniu.
Kliknięcie po kliknięciu
Nowa praca zespołu rozszerza się na najnowsze osiągnięcia w zakresie agentów interfejsu użytkownika opartych na sztucznej inteligencji – narzędzi przeszkolonych w zakresie korzystania z programów do wykonywania zadań, takich jak automatyczne zbieranie informacji online i organizowanie ich w arkuszu kalkulacyjnym Excel. Grupa Ahmeda zastanawiała się, czy takich agentów interfejsu użytkownika można zaprojektować tak, aby korzystały z oprogramowania CAD, które obejmuje znacznie więcej funkcji i wymaga znacznie bardziej skomplikowanych zadań, niż jest w stanie obsłużyć przeciętny agent interfejsu użytkownika.
W swojej nowej pracy zespół miał na celu zaprojektowanie agenta interfejsu użytkownika opartego na sztucznej inteligencji, który przejmuje stery programu CAD i tworzy wersję 3D szkicu 2D, kliknięcie po kliknięciu. W tym celu zespół najpierw przejrzał istniejący zbiór danych obiektów zaprojektowanych w programie CAD przez ludzi. Każdy obiekt w zestawie danych zawiera sekwencję poleceń projektowych wysokiego poziomu, takich jak „linia szkicu”, „okrąg” i „wyciągnięcie”, które zostały użyte do zbudowania końcowego obiektu.
Zespół zdał sobie jednak sprawę, że same polecenia wysokiego poziomu nie wystarczą, aby przeszkolić agenta AI w zakresie faktycznego korzystania z oprogramowania CAD. Prawdziwy agent musi także rozumieć szczegóły każdego działania. Na przykład: Który obszar szkicu powinien wybrać? Kiedy należy powiększyć? I jaką część szkicu powinien wyciągnąć? Aby wypełnić tę lukę, badacze opracowali system przekładający polecenia wysokiego poziomu na interakcje z interfejsem użytkownika.
„Załóżmy na przykład, że narysowaliśmy szkic, rysując linię od punktu 1 do punktu 2” – mówi Nehme. „Przetłumaczyliśmy te działania wysokiego poziomu na działania w interfejsie użytkownika, co oznacza, że mówimy: przejdź z tego miejsca w pikselach, kliknij, a następnie przejdź do drugiego miejsca w pikselach i kliknij, mając wybraną operację „linia”.
Ostatecznie zespół wygenerował ponad 41 000 filmów przedstawiających zaprojektowane przez człowieka obiekty CAD, z których każdy został opisany w czasie rzeczywistym pod kątem konkretnych kliknięć, przeciągnięć myszą i innych czynności na klawiaturze, które pierwotnie wykonywał człowiek. Następnie wprowadzili wszystkie te dane do opracowanego przez siebie modelu, aby poznać powiązania między działaniami interfejsu użytkownika a generowaniem obiektów CAD.
Po przeszkoleniu na tym zestawie danych, który nazwano VideoCAD, nowy model AI może pobierać szkic 2D jako dane wejściowe i bezpośrednio sterować oprogramowaniem CAD, klikając, przeciągając i wybierając narzędzia w celu skonstruowania pełnego kształtu 3D. Obiekty były zróżnicowane pod względem złożoności, od prostych wsporników po bardziej skomplikowane projekty domów. Zespół trenuje model na bardziej złożonych kształtach i przewiduje, że zarówno model, jak i zbiór danych pewnego dnia umożliwią współpracę pilotów CAD projektantom z wielu dziedzin.
„VideoCAD to cenny pierwszy krok w kierunku asystentów AI, którzy pomagają wdrażać nowych użytkowników i automatyzować powtarzalne prace nad modelowaniem według znanych wzorców” – mówi Mehdi Ataei, który nie był zaangażowany w badanie, ale jest starszym pracownikiem naukowym w Autodesk Research, który opracowuje nowe narzędzia programowe do projektowania. „To dopiero początek i byłbym podekscytowany możliwością zobaczenia następców obejmujących wiele systemów CAD, oferujących bogatsze operacje, takie jak złożenia i wiązania, oraz bardziej realistyczny i nieuporządkowany przepływ pracy człowieka”.
