Questa pagina è stata tradotta automaticamente.
Completa un sondaggio di 1 minuto sulla qualità di questa traduzione.
Il sistema di motion capture basato sul Deep Learning aiuta a studiare i ghepardi in natura
Comprendere la straordinaria manovrabilità dei ghepardi attraverso la ricerca robotica
La madre ghepardo selvatico e i suoi tre cuccioli cacciano uno springbok all'interno dell'enorme Kgalagadi Transfrontier Park, che si estende tra il Sudafrica e il Botswana. I felini abbattono rapidamente le loro prede; la loro agilità e la rapida accelerazione rappresentano un vantaggio decisivo. Da una distanza di sicurezza, il professore di biomeccanica della University of Cape Town e il direttore della African Robotics Unit (ARU), Amir Patel, addestra il sistema di motion capture del suo laboratorio sulla scena.
Patel e il suo team dell'ARU studiano il modo in cui si muovono i ghepardi per costruire robot migliori e più agili. “Il ghepardo è il massimo della manovrabilità” afferma Patel. “Comprenderlo ci spinge a ideare nuovi modi di misurare il movimento e la forza o di eseguire l’ottimizzazione.”
L'attenzione rivolta all'animale terrestre più veloce ha portato a numerosi progressi. I ricercatori hanno sviluppato nuove tecniche nei campi della robotica, della modellazione multibody, del controllo del feedback, dell'ottimizzazione della traiettoria, della visione artificiale e del Deep Learning.
I ghepardi sono eccezionalmente agili, possono accelerare rapidamente e cambiare direzione in un attimo. (Credito video: University of Cape Town, African Robotics Unit)
Mentre Patel stava usando MATLAB® e Simulink® per anni, una Campus-Wide License consente a lui e ai colleghi ricercatori dell'università di sfruttare appieno la piattaforma.
“Scegliamo gli strumenti in base ai problemi che studiamo”, ha affermato Patel. “Quando abbiamo ottenuto la licenza per l'intero sito, ho pensato: bene, ora possiamo usare tutto.”
Il team ha anche scoperto che MATLAB e Simulink forniscono un'interoperabilità perfetta con altri linguaggi di programmazione come Python® e hardware come Speedgoat®.
Patel ha collaborato con la Dott.ssa Mackenzie Mathis e il Dott. Alexander Mathis e ha applicato il loro strumento open source (DeepLabCut™) per il monitoraggio non invasivo del comportamento animale al compito di tracciare i ghepardi che corrono in natura. Questa ricerca è stata pubblicata sulla copertina di Nature Protocols.
Patel ha poi ricevuto il premio Google Research Scholar nella categoria percezione delle macchine per il suo sistema di motion capture basato sul Deep Learning, WildPose. MathWorks ha anche offerto supporto alla ricerca del laboratorio. Il lavoro di Patel ha generato due brevetti, ha avviato uno spin-off universitario e ha suscitato un enorme interesse da parte di robotici, scienziati sportivi, clinici, biologi, ecologi e responsabili della conservazione.
Un vento inaspettato
In natura, è stato registrato che i ghepardi raggiungono velocità di 120 chilometri orari, il che li rende gli animali più veloci sulla terraferma sulle brevi distanze. Questi grandi felini possono accelerare rapidamente e inseguire le prede con estrema facilità, il che non sorprende, dati i loro lunghi colli e zampe, le piccole teste e gli artigli sempre a portata di mano.
Circa il 18% dei ghepardi del mondo vive in Sudafrica. In qualità di ingegnere, Amir Patel rimase affascinato fin da piccolo da questo animale locale. Quando iniziò il suo dottorato di ricerca presso la University of Cape Town, progettò di utilizzare i dati dei ghepardi per sviluppare un robot completo.
“Immaginate di essere in macchina e di mettere il braccio fuori dal finestrino. Senti quella forza. Abbiamo scoperto che il ghepardo usa questa resistenza aerodinamica per stabilizzare il suo corpo durante le curve ad alta velocità”.
“Non c'erano informazioni su come usa la coda o la spina dorsale flessibile, né modelli per spiegare come si muovono i ghepardi”, ha ricordato.
Patel si concentrò sulla coda lunga e pelosa. All'epoca i dati sulla coda si basavano su quelli di altri animali. Gli scienziati non erano certi del suo peso e della sua inerzia. L'opinione prevalente tra gli esperti di fauna selvatica era che le code fossero pesanti e dotate di un'elevata inerzia, che le rendeva dei contrappesi.
Poi, una delle sue collaboratrici di dottorato, la professoressa Emily Lane del National Zoological Gardens di Pretoria, gli chiese di osservare l'autopsia di un ghepardo morto per cause naturali. Patel ha scattato fotografie e preso misure durante la procedura.
“Mi aspettavo che la coda fosse grande”, ha detto. “Ma era magro e rappresentava solo circa il 2% della massa corporea del ghepardo.”
Per comprendere meglio gli effetti aerodinamici della pelliccia, Patel ha posizionato le code di ghepardi deceduti, fornite da Lane, in un tunnel del vento. Per la modellazione ha utilizzato MATLAB e Simulink.
“Immaginate di essere in macchina e di mettere il braccio fuori dal finestrino. “Senti quella forza,” ha detto. “Abbiamo scoperto che il ghepardo usa questa resistenza aerodinamica per stabilizzare il suo corpo durante le curve ad alta velocità.”
Le code dei ghepardi sono state posizionate in una galleria del vento per comprendere gli effetti aerodinamici della pelliccia. (Crediti dell’immagine: Amir Patel)
Gli studiosi della robotica spesso traggono ispirazione dalla natura, ma Patel si è ritrovato a dedicarsi alla biologia ispirata alla robotica, sfruttando la sua esperienza in questo campo per gettare nuova luce sull'animale dagli occhi dorati.
La bioispirazione porta ai pistoni
All'ARU, Patel, uno dei quattro ricercatori principali, studia il ghepardo con i suoi studenti da diverse angolazioni: creando modelli matematici di sistemi meccanici, rilevando e misurando i movimenti dell'animale e costruendo robot che fungono da modelli meccanici per movimenti complessi. La mutevole velocità dei ghepardi rende più difficile studiare la loro locomozione rispetto ai movimenti costanti degli altri animali.
Lui e altri ingegneri dell'ARU costruirono un robot bipede chiamato “Baleka”, che deriva da una parola Xhosa che significa “correre veloce”. Il loro progetto sfruttava tecniche di ottimizzazione della traiettoria, con il risultato che il robot raggiungeva una maggiore agilità verticale rispetto a un essere umano.
Alla Conferenza internazionale sulla robotica e l'automazione (ICRA) del 2023, Patel e il suo studente Christopher Mailer hanno presentato la progettazione e il controllo di un nuovo prototipo di robot quadrupede, Kemba. Il prototipo di piattaforma ibrida pneumatica-elettrica, che prende il nome dalla spada Zulu “inkemba”, può saltare a un’altezza pari a circa 2,2 volte la lunghezza delle sue gambe.
“Quando abbiamo guardato i video, abbiamo visto che i ghepardi non cercano di controllare con precisione i loro piedi, cercano solo di spingersi il più forte possibile”, ha detto Patel. “Un pistone pneumatico applica la forza in modo simile.”
Patel ha sottolineato che lui e i suoi studenti condividono esperienze nel controllo del feedback, quindi pensare a diagrammi a blocchi e segnali che passano da un sistema all'altro sembra naturale.
Test di salto del robot bipede Baleka. (Credito video: University of Cape Town, African Robotics Unit)
Il robot con le zampe Kemba. (Crediti dell’immagine: University of Cape Town, African Robotics Unit)
Sebbene i robotici in genere evitino i pistoni pneumatici perché sono difficili da controllare con precisione, il team dell'ARU ha sfruttato questo effetto. Hanno utilizzato Simscape Multibody™ e Simulink per modellare i pistoni pneumatici sulle ginocchia di Kemba, simulare il movimento previsto del robot a quattro zampe e progettare i relativi controller.
Patel ha sottolineato che lui e i suoi studenti condividono esperienze nel controllo del feedback, quindi pensare a diagrammi a blocchi e segnali che passano da un sistema all'altro sembra naturale. Il team ha progettato Kemba nel software CAD meccanico per la modellazione multibody e poi ha trasferito i progetti in Simscape™.
La progettazione Model-Based consente a Patel e ai suoi studenti di osservare i segnali di accelerazione in tempo reale, il che, secondo lui, è estremamente utile, soprattutto per il debug. Questo ambiente con diagramma a blocchi ha ridotto drasticamente i tempi di sviluppo per il team, consentendo test e sperimentazioni rapidi, ottimizzazione del sistema e automazione del codice.
“Simulink Real-Time™ è una rivoluzione. Ai vecchi tempi, programmavo manualmente, ma c'era sempre qualcosa che non andava” ha detto. “Ora disponiamo di un sistema di controllo in tempo reale Speedgoat che si integra facilmente con Simulink Real-Time. Basta cliccare un pulsante e il robot si attiva. Ciò ha reso lo sviluppo piacevole e veloce.”
All'ICRA, gli scienziati hanno dimostrato che Kemba ha il potenziale per accelerare e saltare. Il robot con colonna vertebrale rigida può saltare fino a 1 metro (3,28 piedi).
L'ordine dei contatti è importante tanto per i ghepardi quanto per i robot. Anche con una pinza o una mano robotica, l'ordine di contatto ideale potrebbe fare la differenza nello spostamento o nella manipolazione di un oggetto. Durante un periodo sabbatico alla Carnegie Mellon nel 2018, Patel lanciò l'idea di un algoritmo di ottimizzazione dei contatti più accurato.
Kemba accelera da fermo a un'andatura saltellante. (Credito video: University of Cape Town, African Robotics Unit)
Alcuni scienziati con cui ha parlato hanno risposto, “No, non è possibile farlo. Alcuni gruppi ci hanno provato due anni fa, ma non ha funzionato.” Lui andò avanti comunque. Il documento risultante, “Ottimizzazione della traiettoria implicita del contatto mediante collocazione ortogonale,” in IEEE Robotics and Automation Letters, è diventata una delle sue pubblicazioni più citate ed è stata la seconda classificata nel 2020 per il premio per il miglior articolo del Comitato tecnico IEEE sull'ottimizzazione basata su modelli per la robotica.
“Essere geograficamente isolati ha i suoi vantaggi”, ha riflettuto Patel. “Ho un po’ una mentalità da underdog.”
Sistema di cattura del movimento a lungo raggio
I ghepardi, minacciati da numerose minacce, sono sull'orlo dell'estinzione. Nonostante la loro incredibile velocità, sono predatori timidi che competono con gli spazzini per trattenere le prede. Il cambiamento climatico, la perdita di habitat, i bracconieri e i conflitti con l'uomo hanno decimato le popolazioni selvatiche.
Il laboratorio ha instaurato un rapporto di grande collaborazione con MathWorks. Il feedback dei ricercatori dell'ARU ha già ispirato nuove funzionalità per Computer Vision Toolbox e Lidar Toolbox che verranno integrate nei prodotti.
“C'è una forte spinta verso programmi di allevamento e conservazione per aumentare i numeri”, ha affermato Patel. L'unità di robotica africana lavora con tre centri di ghepardi (Cheetah Outreach, Cheetah Conservation & Research Centre e Aschia ) nella zona in cui i ghepardi sono abituati alla presenza degli esseri umani.
Le attuali tecniche di biomeccanica per comprendere i movimenti umani non possono essere applicate direttamente alla fauna selvatica. Ciò ha significato ripensare il modo in cui misurare il movimento dei gatti. “Pensavo che avremmo semplicemente comprato dei collari e li avremmo messi ai ghepardi,” ha ammesso. “Ma quando un animale indossa un collare, non ci sono informazioni sulla sua testa, sulle sue zampe, sulla sua spina dorsale o sulla sua coda.”
Un sistema di telecamere basate su GPS rivolto all'indietro, sviluppato dagli scienziati dell'ARU per i ghepardi in cattività e che consentiva la fusione dei sensori, ha funzionato bene... finché i grandi felini non hanno smesso di accettare di indossarlo. Un altro ostacolo: I ghepardi al centro si muovono più lentamente, a 65 km/h (40 mph), rispetto a quelli in natura, che raggiungono i 144 km/h (89 mph).
“In laboratorio, puoi mettere degli elettrodi su una persona o un animale e misurare quando attivano i muscoli, ma non puoi toccare gli animali in natura”, ha detto Patel. “Poi ho avuto questa folle idea di poter misurare gli animali selvatici da grandi distanze: l'intero corpo, la cinematica dello scheletro.”
L'ARU ha iniziato a collaborare con i parchi nazionali per portare il laboratorio in natura, dove i ricercatori cercano di raccogliere dati più rappresentativi sui ghepardi che sfrecciano a tutta velocità. Tuttavia, ottenere una cattura del movimento granulare senza elettrodi o dispositivi indossabili pone sfide enormi. A volte i gatti nel Kgalagadi Transfrontier Park si dimostrano sfuggenti: emergono brevemente per poi scomparire subito dopo tra le dune di sabbia.
Ricostruzione 3D senza marcatori (non invasiva) di un ghepardo in corsa. Le molteplici viste del ghepardo vengono etichettate in 2D e poi fuse dall'algoritmo di stima della traiettoria completa (FTE) per produrre il movimento scheletrico in 3D. (Credito video: University of Cape Town, African Robotics Unit)
Patel e il team dell'ARU hanno quindi sviluppato un sistema di cattura del movimento a lungo raggio utilizzando lenti LiDAR e telescopiche e, sfruttando la fusione multisensore, sono riusciti a produrre dati biomeccanici 3D a lunghe distanze.
Gli strumenti MATLAB sono stati essenziali per analizzare e modellare il movimento del ghepardo. (Crediti dell’immagine: University of Cape Town, African Robotics Unit)
Gli strumenti MATLAB sono diventati essenziali per componenti di progetto come la ricostruzione 3D, in cui il team ha combinato informazioni LiDAR e della telecamera per la fusione dei sensori. Control System Toolbox™ ha contribuito a far luce sulla relazione input-output tra il movimento della preda e quello delle diverse parti del corpo del ghepardo o dell'intero corpo dell'animale.
“Utilizziamo molto Computer Vision Toolbox per la calibrazione”, ha osservato Patel. “Al MathWorks Research Summit, tutti erano entusiasti di come quella calibrazione della telecamera fosse la migliore.” Si è recato a Natick, nel Massachusetts, per il summit annuale, dove ha parlato con il co-fondatore MathWorks Cleve Moler e ha tenuto il discorso principale.
Il laboratorio ha instaurato un rapporto di grande collaborazione con MathWorks. Il feedback dei ricercatori ARU ha già ispirato nuove funzionalità per Computer Vision Toolbox™ e Lidar Toolbox™ che verranno integrate nei prodotti.
Oltre ai ghepardi, l'ARU ha immortalato altri animali in movimento, tra cui giraffe, leoni e springbok. Dopo che il team avrà convalidato il sistema, sperano di renderlo disponibile al mondo.
Durante un periodo sabbatico come professore ospite presso l'Università di Oxford, Patel si è concentrato sul miglioramento della misurazione dei parametri vitali degli animali in natura. Alcune malattie possono passare dagli animali domestici a quelli selvatici e diffondersi così rapidamente che spesso gli ecologi se ne accorgono solo quando è troppo tardi, soprattutto nelle aree con scarse risorse. Un monitoraggio remoto più intelligente e accessibile potrebbe costituire un sistema di allerta precoce.
Questi sistemi remoti potrebbero avere effetti positivi anche sulla salute umana, consentendo ai medici di misurare parametri come l'attivazione muscolare nei pazienti senza dover preparare la pelle e applicare costosi elettrodi. Patel ritiene che il sistema possa essere utilizzato nella riabilitazione delle lesioni del midollo spinale e nell'adattamento di protesi.
Gli scienziati sportivi hanno espresso interesse per il sistema indossabile di cattura del movimento brevettato dall'ARU. Un altro brevetto per il conveniente sistema di pedane di forza 3D del laboratorio, che copre ampie aree, ha dato vita a una nuova società spin-off universitaria, attualmente in fase di sviluppo. Successivamente, un gruppo di laboratorio sta lavorando per dotare Kemba di una spina dorsale attiva.
Il dott. Patel e il suo team stanno studiando il controllo ottimale inverso e Reinforcement Learning per comprendere meglio i movimenti del ghepardo. (Crediti dell’immagine: Amir Patel)
Il gruppo di Patel sta anche iniziando a esplorare il Reinforcement Learning inverso e il controllo ottimale. “Sebbene possiamo osservare il movimento, non siamo ancora certi del motivo per cui il ghepardo fa quello che fa”, ha affermato. “Il gatto sta cercando di conservare energia mentre corre, di aumentare la manovrabilità o di intercettare la preda nel più breve tempo possibile? Il Reinforcement Learning inverso ci aiuterà a capire cosa sta cercando di ottimizzare.”
I gatti continuano ad affascinarlo.
“Durante il mio dottorato, ho cambiato la mia mentalità per diventare qualcuno che vuole capire questo animale”, ha detto. “Sono passati più di 13 anni e non mi sono mai voltato indietro.”
Altri casi
ROBOTICA
Un team di nove studenti universitari realizza un innovativo robot in grado di saltare come progetto finale
Il piccolo e agile “Ascento” sale le scale ed evita gli ostacoli
ROBOTICA
Esplorazione dell'ecosistema più grande del mondo: 500 metri sotto la superficie dell'oceano
Nat Geo sviluppa una telecamera robotica subacquea per esplorare le profondità
UNIVERSITÀ
Decodifica del volo di una farfalla con telecamere ad alta velocità e galleria del vento
La dinamica dei fluidi aiuta a capire perché le farfalle sbattono le ali
