Studentské projekty MIT redefinují spolupráci člověka a umělé inteligence

Představte si boombox, který sleduje každý váš pohyb a navrhuje hudbu odpovídající vašemu osobnímu tanečnímu stylu. To je myšlenka za projektem „Be the Beat“, jedním z několika projektů z kurzu MIT 4.043/4.044 (Interakční inteligence), vedeného Marcelem Coelhem na Fakultě architektury, které byly prezentovány na 38. výročním kongresu NeurIPS (Neural Information Processing Systems) v prosinci 2024. S více než 16 000 účastníky ve Vancouveru je NeurIPS konkurenceschopná a prestižní konference věnovaná výzkumu a vědě v oblasti umělé inteligence a strojového učení a prvotřídní místo pro prezentaci špičkových inovací.

Kurz zkoumá vznikající oblast velkých jazykových objektů a jak lze umělou inteligenci rozšířit do fyzického světa. Zatímco „Be the Beat“ transformuje tvůrčí možnosti tance, další studentské projekty zahrnují disciplíny jako hudba, vyprávění příběhů, kritické myšlení a paměť, a vytvářejí generativní zážitky a nové formy interakce člověk-počítač. Dohromady tyto projekty ilustrují širší vizi umělé inteligence: takovou, která přesahuje automatizaci a katalyzuje kreativitu, mění vzdělávání a znovu si představuje sociální interakce.

Be the Beat

„Be the Beat“, od Ethana Changa, studenta strojírenství a designu na MIT, a Zhixinga Chena, studenta strojírenství a hudby na MIT, je boombox poháněný umělou inteligencí, který navrhuje hudbu na základě pohybu tanečníka. Tanec byl tradičně v průběhu historie a napříč kulturami veden hudbou, přesto se koncept tance k vytváření hudby jen zřídka zkoumá.

„Be the Beat“ vytváří prostor pro spolupráci člověka a umělé inteligence na volném tanci, což umožňuje tanečníkům přehodnotit tradiční dynamiku mezi tancem a hudbou. Používá PoseNet k popisu pohybů pro velký jazykový model, který umožňuje analyzovat taneční styl a dotazovat se API na nalezení hudby s podobným stylem, energií a tempem. Tanečníci, kteří s boomboxem interagovali, uvedli, že mají větší kontrolu nad uměleckým vyjádřením a popsali boombox jako nový přístup k objevování tanečních žánrů a kreativní choreografii.

A Mystery for You

„A Mystery for You“, od Mrinalini Singha SM '24, nedávné absolventky programu Umění, kultura a technologie, a Haoheng Tanga, nedávného absolventa Harvardovy univerzity, Graduate School of Design, je vzdělávací hra určená k pěstování kritického myšlení a dovedností ověřování faktů u mladých žáků. Hra využívá velký jazykový model (LLM) a hmatatelné rozhraní k vytvoření poutavého vyšetřovacího zážitku. Hráči vystupují jako občanští ověřovatelé faktů, kteří reagují na zprávy generované umělou inteligencí, které jsou vytištěny herním rozhraním. Vkládáním kombinací kazet k vyvolání následných „aktualizací zpráv“ navigují nejednoznačné scénáře, analyzují důkazy a váží si protichůdných informací, aby se informovaně rozhodovali.

Tento zážitek interakce člověk-počítač zpochybňuje naše návyky při spotřebě zpráv vyloučením dotykových rozhraní a nahrazením neustálého procházení a pročítání hapticky bohatým analogovým zařízením. Kombinací výhod pomalých médií s novými generativními médii hra podporuje promyšlené, ztělesněné interakce a zároveň vybízí hráče k lepšímu porozumění a zpochybňování dnešní polarizované mediální krajiny, kde vzkvétá dezinformace a manipulativní narativy.

Memorscope

„Memorscope“, od spolupracovníka výzkumného centra MIT Media Lab Keunwooka Kima, je zařízení, které vytváří kolektivní vzpomínky sloučením hluboce lidského zážitku z osobního setkání s pokročilými technologiemi AI. Inspirováno tím, jak používáme mikroskopy a dalekohledy k prozkoumání a odhalení skrytých a neviditelných detailů, Memorscope umožňuje dvěma uživatelům „nahlédnout“ do tváří jeden druhého a použít tuto intimní interakci jako bránu k vytvoření a prozkoumání jejich sdílených vzpomínek.

Zařízení využívá modely AI, jako jsou OpenAI a Midjourney, a zavádí různé estetické a emocionální interpretace, což vede k dynamickému a kolektivnímu prostoru paměti. Tento prostor přesahuje omezení tradičních sdílených alb a nabízí plynulé, interaktivní prostředí, kde vzpomínky nejsou jen statické snímky, ale živé, vyvíjející se narativy, tvarované probíhajícím vztahem mezi uživateli.

Narratron

„Narratron“, od studentů Harvardovy postgraduální školy designu Xiying (Aria) Bao a Yubo Zhao, je interaktivní projektor, který spoluvytváří a společně provádí dětské příběhy pomocí loutkového divadla stínů s využitím velkých jazykových modelů. Uživatelé mohou stisknutím spouště „pořídit“ protagonistu, kterým chtějí být v příběhu, a jako vstup pro hlavní postavy bere stíny rukou (například tvary zvířat). Systém poté rozvíjí dějovou linii, jak jsou představeny nové stinné postavy. Příběh se objeví prostřednictvím projektoru jako pozadí pro divadlo stínů, zatímco je vyprávěn reproduktorem, když uživatelé otáčejí kličkou pro „přehrávání“ v reálném čase. Kombinací vizuálních, zvukových a tělesných interakcí v jednom systému si projekt klade za cíl podnítit kreativitu ve vyprávění příběhů pomocí divadla stínů a umožnit multimodální spolupráci člověk-AI.

Perfect Syntax

„Perfect Syntax“, od Karyna Nakamury '24, je videoart, který zkoumá syntaktickou logiku za pohybem a videem. Projekt využívá AI k manipulaci s video fragmenty a zkoumá, jak lze fluiditu pohybu a času simulovat a rekonstruovat stroji. Nakamurino dílo, inspirované jak filozofickým bádáním, tak uměleckou praxí, zpochybňuje vztah mezi vnímáním, technologií a pohybem, který formuje naši zkušenost se světem. Předefinováním videa prostřednictvím výpočetních procesů Nakamura zkoumá složitosti toho, jak stroje chápou a reprezentují plynutí času a pohybu.