Roboty sa za posledné desaťročia výrazne posunuli, no väčšina z nich je stále viazaná na opakujúce sa, presne definované úlohy. Keď sa objaví neočakávaná situácia, väčšinou si s ňou neporadia bez dodatočného programovania. Vedci z University of Illinois Urbana-Champaign, Columbia University a UT Austin však skúmajú, či by sa roboty mohli učiť používať nástroje podobne ako deti, len základným sledovaním videí.
Nový rámec s názvom “Tool-as-Interface” má ambíciu naučiť roboty zložité zručnosti s nástrojmi prostredníctvom bežných videí, zachytených z dvoch uhlov napríklad smartfónmi. Systém využíva model MASt3R na vytvorenie 3D rekonštrukcie scény a metódu 3D Gaussian splatting na vygenerovanie viacerých pohľadov, aby robot videl úlohu z rôznych perspektív.
Výsledky sú zaujímavé
Kľúčovým krokom je digitálne odstránenie človeka zo scény. Nástroj Grounded-SAM izoluje samotný nástroj a jeho interakciu s prostredím. Robot sa teda nepozerá na to, ako človek hýbe rukami, ale iba na trajektóriu a orientáciu nástroja. Vďaka tomu je možné prenášať naučenú zručnosť medzi rôznymi robotmi, bez ohľadu na ich konkrétnu konštrukciu.
Vedci postup otestovali na piatich úlohách: zatĺkanie klinca, naberanie guľôčok mäsa, prehadzovanie jedla na panvici, balansovanie fľaše vína a kopnutie lopty do brány. Ide o dynamické a presné úlohy, ktoré sú náročnejšie než klasické prenášanie objektov. Rámec dosiahol o 71 percent vyššiu úspešnosť než tradičné teleoperačné metódy a dokázal zbierať dáta o 77 percent rýchlejšie.
Jedným z najpôsobivejších príkladov bol robot, ktorý naberal guľôčky mäsa aj počas toho, ako ich človek pridával do misky. Robot sa prispôsobil v reálnom čase. Ďalším bol pokus s prehadzovaním vajíčka na panvici, čo je výzvou aj pre skúsených operátorov. Podľa výskumníkov bol systém inšpirovaný spôsobom, akým sa deti učia od dospelých – pozorovaním a prispôsobovaním.
Mohlo by vás zaujímať:
- Nestlé prišlo na to, ako výrazne zvýšiť produkciu kakaa, po ktorom ľudia túžia stále viac
- Udržateľné vzdelávanie: Firmy znižujú uhlíkovú stopu digitalizáciou, pomáha AI
- V časopise Vogue sa objavila AI vygenerovaná modelka. Spoločnosť sa búri
Výsledky sú dôležité aj mimo laboratória. Ak sa odstráni potreba drahých senzorov či odborných operátorov, roboty by sa mohli učiť priamo z videí na internete alebo z bežných záberov zo smartfónov. Hoci existujú limity, napríklad pevný úchop nástroja alebo problémy s presnosťou odhadu 6D polohy, výskum predstavuje významný krok smerom k robotom, ktorí sa učia prirodzenejšie a flexibilnejšie.
Zdroj: Techxplore
