Sistem načrtuje lego modele, ki se ujemajo z besedilnimi opisi (pozivi), ob tem pa tudi zagotavlja, da jih je mogoče sestaviti kocko za kocko v resničnem svetu. LegoGPT sicer uporablja le nekaj osnovnih vrst kock za ustvarjanje oblik različnih oblik, ki pa ostajajo primitivne, a stojijo.
V članku z naslovom "Ustvarjanje fizično stabilnih in sestavljivih lego dizajnov iz besedila" (Generating Physically Stable and Buildable Lego Designs from Text) je raziskovalna skupina pod vodstvom Ave Pun pojasnila, da se mnogi obstoječi modeli za 3D generiranje osredotočajo na ustvarjanje raznolikih predmetov s podrobno geometrijo, vendar teh digitalnih dizajnov pogosto ni mogoče fizično izdelati. "Brez ustrezne podpore se lahko deli dizajna zrušijo, lebdijo ali ostanejo nepovezani," so zapisali.
We've released the code for LegoGPT. This autoregressive model generates physically stable and buildable designs from text prompts, by integrating physics laws and assembly constraints into LLM training and inference.
— Jun-Yan Zhu (@junyanz89) May 9, 2025
This work is led by PhD students @AvaLovelace0, @kangle_deng,… pic.twitter.com/wdhkF5NBgC
Da bi dokazali, da njihovi dizajni delujejo v resničnem življenju, so raziskovalci dali robotom podjetja Yaskawa, ki ima sicer tovarno v Sloveniji, sestaviti modele lego, ki si jih je izmislila umetna inteligenca.
Kljub temu obstajajo nekatere omejitve. Trenutna različica legoGPT deluje le v gradbenem prostoru velikosti 20×20×20 in uporablja le osem standardnih vrst kock. "Naša metoda trenutno podpira fiksen nabor pogosto uporabljenih lego kock," je priznala ekipa. "V prihodnjem delu načrtujemo razširitev knjižnice kock, da bo vključevala širši nabor dimenzij in vrst kock, kot so poševnine in ploščice."
Raziskovalci so svoj nabor podatkov, kodo in modele objavili tudi na spletni strani projekta in na GitHubu.
