Apple insegna a un modello AI a riconoscere gesti della mano mai visti prima: ecco come funziona EMBridge
Riconoscere i gesti della mano attraverso segnali muscolari, anche quando quei gesti non erano mai stati mostrati al sistema durante l’addestramento. È esattamente quello che ha fatto Apple con un nuovo studio pubblicato sul suo blog di Machine Learning Research, presentando un framework chiamato EMBridge. La ricerca, destinata a essere presentata alla conferenza ICLR 2026 in aprile, apre scenari piuttosto interessanti per il futuro dei dispositivi indossabili e dell’interazione uomo macchina. E no, non si parla di fantascienza. Si parla di qualcosa che potrebbe finire, un giorno non troppo lontano, al polso di chiunque.
Il punto di partenza è una tecnologia che esiste da tempo ma che sta vivendo una seconda giovinezza: l’elettromiografia, meglio nota come EMG. In pratica, si tratta di misurare l’attività elettrica generata dai muscoli durante la contrazione. Le applicazioni spaziano dalla diagnosi medica al controllo di arti protesici, passando per la riabilitazione fisica. Più di recente, l’EMG ha trovato terreno fertile anche nei dispositivi indossabili e nei sistemi di realtà aumentata e virtuale. Meta, per esempio, già la utilizza con i suoi occhiali Ray Ban Display, abbinati a una fascia da polso che interpreta i segnali muscolari per navigare le funzionalità del dispositivo.
Come funziona EMBridge e perché è diverso da tutto il resto
Quello che rende EMBridge speciale è il modo in cui colma il divario tra i segnali EMG grezzi e i dati strutturati sulla posizione della mano. I ricercatori di Apple hanno sviluppato un framework di apprendimento cross modale, capace di far dialogare due mondi che normalmente parlano lingue diverse. Il modello è stato prima addestrato separatamente su dati EMG e su dati relativi alle pose delle mani. Poi le due rappresentazioni sono state allineate, in modo che il codificatore EMG potesse imparare dal codificatore delle pose.
Per il training sono stati utilizzati due dataset piuttosto corposi. Il primo, chiamato emg2pose, contiene 370 ore di dati EMG e pose della mano sincronizzate, raccolte da 193 utenti consenzienti, con 29 gruppi comportamentali diversi. Si parla di oltre 80 milioni di etichette relative alle pose. Il secondo, NinaPro DB2, include dati da 40 soggetti con 49 gesti della mano differenti, registrati tramite 12 elettrodi posizionati sull’avambraccio.
Una volta completata questa fase, i ricercatori hanno introdotto una tecnica di ricostruzione mascherata delle pose: nascondevano parti dei dati sulla posizione della mano e chiedevano al modello di ricostruirle usando esclusivamente le informazioni estratte dai segnali EMG. Per ridurre gli errori causati da gesti simili trattati come completamente diversi, hanno anche insegnato al sistema a riconoscere quando due pose rappresentano configurazioni simili della mano, generando obiettivi morbidi invece di trattarle come estranee.
Il risultato? Secondo gli stessi autori, EMBridge è il primo framework di apprendimento cross modale capace di classificare gesti mai visti prima partendo da segnali EMG raccolti da dispositivi indossabili. E la cosa notevole è che ha raggiunto questi risultati usando solo il 40% dei dati di addestramento disponibili.
Cosa potrebbe significare tutto questo per Apple Watch e Vision Pro
Lo studio ovviamente non menziona prodotti specifici in arrivo. Nessun riferimento diretto a un futuro Apple Watch o agli occhiali smart di cui si vocifera da tempo. Ma i ricercatori non si nascondono troppo quando scrivono che una potenziale applicazione pratica del framework riguarda l’interazione uomo computer tramite dispositivi indossabili, citando esplicitamente scenari di realtà virtuale e aumentata e il controllo di protesi.
Non serve troppa immaginazione per collegare i puntini. Un Apple Watch dotato di sensori EMG potrebbe permettere di controllare Apple Vision Pro, un Mac o un iPhone semplicemente muovendo le dita. Dalle nuove modalità di interazione ai miglioramenti in termini di accessibilità, le possibilità sono davvero ampie.
C’è un limite importante da segnalare, però. Il modello dipende ancora da dataset che contengono sia segnali EMG sia dati sincronizzati sulle pose della mano, e raccogliere questo tipo di informazioni non è esattamente una passeggiata. Resta comunque uno studio affascinante, soprattutto in un momento storico in cui il controllo dei dispositivi basato su EMG sembra destinato a diventare sempre più rilevante. Apple, come spesso accade, sta gettando le basi con la ricerca prima di portare tutto sul palco di una keynote.
