Mohou roboti snít a učit se ze svých snů? Revoluční systém LucidSim to umožňuje!

Představte si robota, který se učí parkour ve virtuálním světě generovaném umělou inteligencí. Ne, tohle není sci-fi film, ale realita! Výzkumníci z MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) vyvinuli systém s názvem LucidSim, který využívá generativní AI k vytváření realistických a rozmanitých virtuálních prostředí pro trénování robotů.

Proč je to tak důležité?

Tradiční metody trénování robotů se spoléhají na data z reálného světa, což je časově náročné a omezené. LucidSim tento problém řeší tím, že robotům umožňuje učit se v simulovaném prostředí, které je mnohem flexibilnější a bezpečnější.

Jak LucidSim funguje?

LucidSim kombinuje fyzikální simulaci s generativními AI modely. Systém využívá velké jazykové modely k generování strukturovaných popisů prostředí, které jsou následně transformovány do obrázků pomocí generativních modelů. Aby se zajistilo, že tyto obrazy odpovídají fyzikálním zákonům reálného světa, je celý proces řízen fyzikálním simulátorem.

Od burrita k průlomovému objevu

Zajímavé je, že inspirace pro LucidSim přišla z nečekaného zdroje - konverzace před restaurací Beantown Taqueria v Cambridge, Massachusetts. "Chtěli jsme naučit roboty s vizuálním vnímáním, jak se zlepšovat na základě lidské zpětné vazby," říká Alan Yu, student elektrotechniky a informatiky na MIT a spoluautor LucidSimu. "Pokračovali jsme v diskusi, když jsme šli po ulici, a pak jsme se na půl hodiny zastavili před touto restaurací. Tam jsme měli svůj 'aha' moment."

Sny v pohybu

Aby vědci vytvořili krátké, ucelené videosekvence, které slouží jako "zážitky" pro robota, vyvinuli novou techniku s názvem "Dreams In Motion" (Sny v pohybu). Tato technika počítá pohyby každého pixelu mezi snímky, aby se z jednoho generovaného obrazu vytvořilo krátké video s více snímky. Dreams In Motion to dělá s ohledem na 3D geometrii scény a relativní změny v perspektivě robota.

Robot překonává svého učitele

Výzkumníci porovnali LucidSim s alternativním přístupem, kdy roboty učí lidský expert. Výsledky byly překvapivé: Roboti trénovaní expertem uspěli pouze v 15 % případů. Ale když roboti sbírali svá vlastní data prostřednictvím LucidSimu, jejich úspěšnost se dramaticky zvýšila na 88 %. "A čím více dat náš robot dostane, tím lepší je jeho výkon - nakonec se student stane expertem," říká Ge Yang, postdoktorand na MIT CSAIL a vedoucí výzkumník LucidSimu.

LucidSim otevírá nové možnosti

LucidSim má potenciál urychlit vývoj inteligentních a adaptabilních robotů, kteří se dokáží učit a fungovat v komplexním reálném světě. Systém by mohl najít uplatnění v různých oblastech, jako je mobilní manipulace s objekty nebo navigace v neznámém prostředí.