Har du hört talas om Moravecs paradox? Paradoxen säger att avancerade resonemang kräver mycket liten beräkningskraft för ett konstgjord intelligens (AI) -system, samtidigt som de implementerar de perceptuella motoriska färdigheterna som människor tar för givet kräver enorma beräkningsresurser. I huvudsak är komplexa logiska uppgifter enklare för AI än de grundläggande sensoriska uppgifterna som mänskliga instinkter kan utföra. Denna paradox belyser skillnaden mellan AI och mänskliga kognitiva förmågor i detta skede.
Människor är i sig multimodala. Var och en av oss är som en intelligent terminal som vanligtvis måste gå i skolan för att utbildas (utbildas), men syftet och resultatet av den utbildningen och lärandet är att vi har förmågan att arbeta och leva autonomt utan att alltid förlita sig på externa instruktioner och kontrollera.
Vi lär oss om världen runt oss genom flera sensoriska modaliteter som syn, tal, ljud, beröring, smak och lukt för att analysera, resonera, bestämma och vidta åtgärder.
Efter flera års sensorfusion och AI -utveckling är robotar till stor del utrustade med multimodala sensorer i detta skede. När vi tar med mer datorkraft till kantenheter som robotar, blir dessa enheter smartare och smartare, som kan avkänna sin omgivning, förstå och kommunicera på naturligt språk, förvärva haptik genom digitala avkänningsgränssnitt, samt avkänna robotens specifika kraft, förståelse, vinkelhastighet och till och med magnetfältet runt roboten genom en kombination av accelerometrar, gyroskop och magnetometrar och mer.
Mot en ny era av robotik och maskinkognition
Innan transformator- och stora språkmodeller (LLM) krävde implementering av multimodalitet i AI vanligtvis användning av flera separata modeller som är ansvariga för olika typer av data (text, bilder, ljud) och integrationen av de olika metoderna genom en komplex process.
Med tillkomsten av transformatormodeller och LLM: er har multimodalitet blivit mer integrerad, vilket gör att en enda modell samtidigt kan bearbeta och förstå flera datatyper, vilket resulterar i AI -system som är mer kapabla att helt och hållet avkänna deras miljö. Denna förskjutning har förbättrat effektiviteten och effektiviteten hos multimodala AI -applikationer.
Medan LLMS som GPT -3 främst är textbaserad, har branschen gjort snabba framsteg mot multimodalitet. Från Openais Clip och Dall-E, och nu Sora och GPT -4 O, är exempel på modeller som har rört sig mot multimodalitet och mer naturlig interaktion med mänsklig dator. Exempelvis förstår Clip bilder i kombination med naturligt språk och överbryggar därmed klyftan mellan visuell och textuell information; Dall-E syftar till att generera bilder baserade på textbeskrivningar. Vi ser Google Gemini -modellen genomgå en liknande utveckling.
År 2024 accelererar multimodal evolution. I februari släppte OpenAI Sora, som genererar realistiska eller fantasifulla videor baserade på textbeskrivningar. När du tänker på det kan detta ge en lovande väg till att bygga universella världssimulatorer eller bli ett viktigt verktyg för att träna robotar. Efter tre månader har GPT -4 O avsevärt förbättrat prestandan för interaktion mellan mänsklig robot och kan resonera i realtid mellan ljud, vision och text. Att kombinera text, visuell och ljudinformation för att träna en ny modell från slutet till slutet eliminerar två modala övergångar från inmatningsmodalitet till text och sedan från text till utdata modalitet, vilket i sin tur dramatiskt förbättrar prestandan.
Samma vecka i februari släppte Google Gemini 1.5, som dramatiskt utvidgade kontextlängden till 1 miljon tokens. Detta innebär att 1.5 Pro kan behandla stora mängder information på en gång, inklusive en timmes video, 11 timmars ljud och en kodbas som innehåller mer än 30, 000 kodrader eller 700, 000} Words.Gemini 1.5 är byggd på Googles ledande forskning om Transformer och blandad medlem av expert av blandad medlem (MOE) och Open Sources 2B- och 7B-modeller som kan distribueras på Edge-sidan. På Google I/O-konferensen i maj, förutom att fördubbla längden på sammanhanget och släppa en serie generativa AI-verktyg och appar, utforskade Google sin vision för framtiden för Project Astra, en allmän AI-assistent som bearbetar multimodal information , förstår det sammanhang som en användare placeras och interagerar med människor i samtal på ett mycket naturligt sätt.
Som företaget bakom Open Source LLM Llama, går Meta också med i spåret General Artificial Intelligence (AGI).
Denna sanna multimodalitet ökar i hög grad nivån på maskininformation och kommer att leda till nya paradigmer för många branscher.
Till exempel brukade robotar vara mycket homogena, med vissa sensorer och rörelsefunktioner, men i allmänhet hade de inte "hjärnan" att lära sig nya saker och anpassa sig till ostrukturerade och okända miljöer.
Multimodala LLM förväntas förändra robotarnas förmåga att analysera, resonera och lära sig, flytta dem från specialisering till generalisering. PC: er, servrar och smartphones är ledare inom allmänna datorplattformar och kan köra många olika typer av programvaruapplikationer för att uppnå ett brett utbud av funktioner. Generalisering kommer att hjälpa till att skala upp, generera skalfördelar och priserna kan minskas dramatiskt när de skalas upp, vilket leder till en dygdig cykel av adoption i fler områden.
Elon Musk märkte fördelarna med generaliserad teknik tidigt, eftersom Teslas robotar utvecklades från Bumblebee 2022 till Optimus Gen 1, som tillkännagavs i mars 2023, och 1 Mos 2, tillkännagavs i slutet av 2023, med ständigt ökande mångsidighet och inlärningsförmåga. Under det förflutna 6-12 månader har vi bevittnat ett antal genombrott inom robotik och humanoidrobotik.
Ny teknik bakom nästa generations robotik och förkroppsligad intelligens
Det råder ingen tvekan om att vi fortfarande har mycket arbete att göra innan förankrad intelligens når massproduktion. Vi behöver lättare mönster, längre körtider och snabbare, kraftfullare kanten datorplattformar för att bearbeta och smälta sensordatainformation för att fatta aktuella beslut och kontrollåtgärder.
Och vi går mot att skapa humanoidrobotar; Tusentals år med mänsklig civilisation har producerat allestädes närvarande miljöer utformade för människor, och humanoid robotsystem förväntas kunna samtidigt interagera med människor och miljön och utföra nödvändiga operationer i mänskliga befintliga miljöer på grund av deras likhet i form för människor. Dessa system kommer att vara väl lämpade för att hantera smutsiga, farliga och tråkiga uppgifter som patientvård och rehabilitering, servicearbete inom gästfrihetsindustrin, undervisningshjälpmedel eller lärande följeslagare inom utbildningsområdet och farliga uppgifter som katastrofsvar och farligt materialhantering . Sådana applikationer använder humanoidmaskinens mänskliga attribut för att underlätta naturliga mänskliga robotinteraktioner, agera i mänskliga centrerade utrymmen och utföra uppgifter som ofta är svåra för traditionella robotar att utföra.
Många AI- och robotföretag lanserar ny forskning och samarbete kring hur man utbildar robotar till bättre anledning och planerar i nya ostrukturerade miljöer. Som de nya "hjärnorna" av robotar har modeller som är förutbildade på stora mängder data utmärkta generaliseringsfunktioner, vilket gör att robotar kan se och förstå deras miljöer mer omfattande, justera deras rörelser och åtgärder baserade på sensorisk feedback och optimera deras prestanda i olika dynamiska miljöer.
Som ett intressant exempel kan Boston Dynamics 'Robot Dog, Spot, fungera som en reseguide i ett museum, interagera med besökare, introducera dem för de olika utställningarna och svara på sina frågor. Det kan vara svårt att tro, men i detta användningsfall är Spot's underhållande, interaktiva och subtila föreställningar viktigare än att se till att fakta är korrekta.
Robotics Transformer: The New Brain of Robotics
Robotics Transformer (RT) utvecklas snabbt för att översätta multimodala ingångar direkt till handlingsbar kod. Google DeepMind's RT -2 utför såväl som föregångaren, RT -1, med en nästan 100% framgångsgrad när man utför uppgifter som har sett tidigare. Men när den tränas med Palm-E (en robotorienterad förkroppslig multimodal språkmodell) och PALI-X (en storskalig flerspråkig vision och språkmodell, inte specifikt utformad för robotar), har RT -2 bättre generaliseringsfunktioner och överträffar rt -1 på osynliga uppgifter.
Microsoft introducerade Llava, en storskalig språk och visionassistent. Ursprungligen designad för textbaserade uppgifter, utnyttjar Llava kraften i GPT -4 för att skapa ett nytt paradigm för multimodala instruktioner för att följa data, sömlöst integrera textuella och visuella komponenter, som kan vara användbara för robotuppgifter. Efter introduktionen satte Llava nya poster för multimodal chatt och vetenskapliga frågesporter, som redan överskrider de mänskliga genomsnittliga kapaciteterna.
Som nämnts tidigare är Tesla's Foray in Humanoid och AI allmänna robotik betydande inte bara för att den är utformad för skala och massproduktion, utan också för att den starka helt självkörande (FSD) teknikfundamentet för Teslas autopilot för bilar kan användas för robotar. Tesla har också ett smart tillverkningsanvändningsfall för att tillämpa Optimus på sin nya produktionsprocess för energifordon.
Arm är hörnstenen i robotikens framtid
Arm tror att robothjärnan, både den "stora hjärnan" och den "lilla hjärnan", bör vara ett heterogent AI-datorsystem som ger överlägsen prestanda, realtidssvar och energieffektivitet.
Robotik involverar ett brett utbud av uppgifter, inklusive grundläggande beräkning (t.ex. skickning och mottagande av signaler till och från motorer), avancerad databehandling (t.ex. tolkning av bild- och sensordata) och kör de multimodala LLMS som nämnts tidigare. CPU: er är väl lämpade för allmänna uppgifter, medan AI-gaspedaler och GPU: er mer effektivt kan hantera parallellbehandlingsuppgifter, såsom maskininlärning (ML) och grafikbehandling. Ytterligare gaspedaler som bildsignalprocessorer och videokodek kan också integreras för att förbättra robotens synfunktioner och lagrings-/transmissionseffektivitet. Dessutom bör CPU ha realtidens lyhördhet och måste kunna köra operativsystem som Linux och ROS-paket.
När det utvidgas till robotprogramvarustacken kan operativsystemskiktet också kräva ett realtidsoperativsystem (RTO) som pålitligt kan hantera tidskritiska uppgifter, såväl som en Linux-distribution anpassad för robotik, såsom ROS, som kan ge Tjänster designade för heterogena datorkluster. Vi tror att ARM-sponsrade standarder och certifieringsprogram som SystemReady och PSA-certifierade kommer att hjälpa till att skala utvecklingen av robotprogramvara. SystemReady är utformat för att säkerställa att standardrika OS-distributioner körs på ett brett utbud av system-på-chips (SOC) baserat på ARM-arkitekturen, medan PSA-certifierade hjälper till att förenkla säkerhetsimplementeringslösningar för att uppfylla regionala säkerhets- och lagkrav för anslutna enheter.
Framsteg i storskaliga multimodala modeller och generativ AI Herald en ny era i utvecklingen av AI-robotar och humanoidrobotar. Tillsammans med AI -datoranvändning och ekosystem är energieffektivitet, säkerhet och funktionell säkerhet avgörande för att göra robotik i denna nya era. ARM -processorer används redan allmänt i robotik, och vi ser fram emot att arbeta nära med ekosystemet för att göra arm till en hörnsten i AI -robotens framtid.