Nvidia är inte bara AI:s lim: den har nu en allsmäktig modell som läser, ser och lyssnar. Allt på en gång

För åtta år sedan, när Nvidia fortfarande var ett företag som gjorde grafik för tv-spel, pekade företaget på något som börjar komma in i konversationen: fysisk robotik. De är robotar med inbyggd artificiell intelligens för att bete sig autonomt. Som en ChatGPT med armar, öron och ögon.

Det har regnat mycket sedan dess och det är nu vi börjar gå in i den framtiden. Nvidia har dock fortsatt att experimentera med det sättet att få den fysiska och digitala världen att konvergera, och dess senaste produkt är Nemotron 3 Nano Omni. En AI-modell som ser, hör och läser den fysiska världen.

Omni modeller. Dessa modeller är multimodala, men i mycket striktare mening. Medan de modeller vi använder varje dag kräver separata kanaler för att bearbeta och generera ljud, text, bild och video, är en omnimodell designad för att vara i sig multimodal.

Detta innebär att de använder en unik neural nätverksarkitektur som tränas från slut till ände så att interaktionen mellan modeller och stimuli är mer naturlig, snabbare och kapabel att känna igen fler nyanser. Ett exempel är en AI som kan ”se” vad en kamera fångar, analysera hela situationen och ge feedback till användaren snabbare än en som kan göra detsamma, men vars textmodell måste fråga videomodellen vad den har sett och sedan generera innehållet. Med ännu färre ord: det imiterar bättre hur människor uppfattar och reagerar på världens stimuli.

I Engadget NVIDIA har så mycket pengar att det håller på att bli något annat: den största startup-inkubatorn i världen Integration. Och det är vad Nvidia hävdar att Nemotron 3 Nano Omni kan göra. I samma arkitektur är det en modell som integrerar syn-, ljud- och språkkapacitet för att eliminera det fragmenterade arbetsflödet hos nuvarande AI-agenter.

Enligt företaget är det byggt på en hybridarkitektur av blandningsexperter (AI: er utbildade i olika ämnen) med 30 miljarder parametrar, varav 3 miljarder är för slutledning. Den har designats som en modell som är nio gånger snabbare än separata modeller och har tre gånger så bra prestanda som andra öppna omni-modeller, som förbrukar 2,75 gånger mindre datorkraft i uppgifter som att resonera från en video.

Okej, men varför. Det är nyckelfrågan, bortom siffrorna och de råa kapaciteterna hos denna teknik.

Användningsfallen som specificeras av företaget är följande: Agenter: driver de agenter som navigerar i användarens grafiska gränssnitt, resonerar utifrån innehållet på skärmen och förstår vad de ser i realtid och ihärdigt. Inbyggd ingångsupplösning är 1920 x 1080 för den visuella förståelsen i HD. Dokument: Tolkar grafer, tabeller, dokument, skärmdumpar och blandad mediainmatning.

Ljud- och bildförståelse: Kunna förstå vad du ser och hör för att bibehålla konsekvens i din tolkning snarare än resonemang baserat på frånkopplade modeller. I Engadget Det finns en sak som heter "Ornn prisindex", det är utom kontroll och det är dåliga nyheter för alla.

För proffs. Det som är tydligt är att Nemotron 3 Nano Omni inte är något som lanseras med målet att vara något för massorna som andra AI-modeller som vi ser varje dag. Nvidia fokuserar det på något företag, ett verktyg som kan nås via plattformar som Hugging Face och som ska distribueras på lokala system som DGX Spack eller Jetson.

Det vill säga att det inte är något som är tillgängligt för alla. Det intressanta är att det är en teknik som starkt driver berättelsen om agenter som allsmäktiga enheter, och det stämmer med det senaste talet av Jensen Huang, VD för företaget, att AI inte kommer att ta bort våra jobb, utan för att "mikromanagera" oss. Bild | Nvidia i Xataka | Det finns ett företag som har vuxit med 3 000 % på aktiemarknaden och till och med överträffat Nvidias resultat: Sandisk