La fotocamera a fotone singolo consente la riproduzione video in qualsiasi scala temporale

I ricercatori di imaging computazionale della University of Toronto hanno catturato uno strano segnale con la loro esclusiva fotocamera. Durante l'esecuzione di esperimenti in laboratorio utilizzando la fotocamera, un diodo a valanga a singolo fotone (SPAD), il Toronto Computational Imaging Group ha rilevato uno sfarfallio inspiegabile di 80 kilohertz (kHz).

Utilizzando il loro potente sensore di imaging autonomo, hanno rilevato ogni singolo fotone in arrivo da varie fonti luminose e ne hanno registrato l'esatto orario di arrivo, con una precisione di un trilionesimo di secondo. Dopo aver acquisito tutti i dati che colpiscono ogni pixel, il team ha applicato un algoritmo che ha consentito di creare video che ricostruiscono la luce in ogni dato momento su un intervallo estremo, da secondi a picosecondi.

Il team della University of Toronto ha utilizzato MATLAB^® per acquisire i dati di timestamp dei singoli fotoni e per controllare i componenti mobili nelle loro configurazioni per la loro tecnica di imaging, che il gruppo ha soprannominato “microscopio del tempo.”

Lo SPAD a pixel singolo ha una testina di rilevamento di 60 x 60 millimetri con un piccolo sensore al centro. Quando lo SPAD ha rilevato uno strano segnale a 80 kHz, inizialmente i ricercatori si sono chiesti se non si fossero semplicemente imbattuti in qualche artefatto. Dopo un'ispezione più attenta, il team ha scoperto la fonte.

“A quanto pare in laboratorio abbiamo LED T8 sostitutivi delle lampadine fluorescenti. “Quelli in realtà lampeggiano a 80 kilohertz,” ha detto Kutulakos. “Non sapevamo nemmeno che ciò stesse accadendo.”

Alla recente International Conference on Computer Vision (ICCV) tenutasi a Parigi, il documento del team sull'imaging passivo a singolo fotone a banda ultralarga ha ricevuto un prestigioso premio, assegnato solo a due articoli tra le migliaia presentati da esperti di visione artificiale in tutto il mondo.

Le potenziali applicazioni della loro tecnica includono nuovi tipi di sistemi di imaging 3D e lidar, nonché imaging scientifico, ad esempio per catturare eventi biologici su più scale temporali o per l'osservazione astronomica di brevi impulsi di luce che coincidono con rapidi lampi radio.

Miliardi di fotogrammi al secondo

I diodi a valanga a singolo fotone sono diventati ampiamente disponibili sul mercato solo nell'ultimo decennio. Kutulakos ha osservato che l'elevato costo del dispositivo ha fatto sì che pochissimi laboratori di informatica e di visione artificiale vi avessero accesso. I recenti sviluppi nel campo dei sensori hanno spinto il team della University of Toronto a porsi nuove domande su problemi che gli scienziati di altri settori affrontano da decenni.

Ad esempio, gli astronomi specializzati nell'astronomia dei raggi gamma hanno installato dei rilevatori per rilevare singole particelle e assegnargli una marca temporale. Ma questi astronomi erano più interessati all'illuminazione periodica delle stelle variabili piuttosto che all'esatta funzione variabile nel tempo che descrive la luminosità delle stelle, poiché questo è ciò che la fisica richiedeva, ha spiegato Kutulakos.

Nel laboratorio del Toronto Computational Imaging Group, il postdoc Sotiris Nousias e lo studente di dottorato Mian Wei hanno utilizzato per la prima volta uno SPAD per catturare informazioni temporali sui fotoni provenienti da diodi a emissione luminosa.

“Abbiamo fatto lampeggiare i LED e abbiamo osservato il flusso in uscita,” ha affermato Nousias. “Abbiamo osservato che il flusso aveva effettivamente lo stesso schema dello sfarfallio e poi abbiamo lavorato per trovare la connessione matematica. Questa è stata la nostra ispirazione per il progetto.”

Nousias e Wei, primi autori congiunti dell'articolo ICCV, si sono chiesti quali informazioni avrebbero potuto ottenere se avessero avuto accesso a tutti i fotoni. Gli scienziati tendono a far funzionare gli SPAD in modi particolari e sincronizzati. Il team ha invece utilizzato il sensore in modalità asincrona. Da lì, i ricercatori hanno cercato di collegare gli arrivi discreti di fotoni con una funzione continua sottostante che descrive l'intensità della luce variabile nel tempo.

Attraverso il tempo in un battito di ciglia

Wei stimò che, senza l'accesso al software di elaborazione tecnica, l'integrazione di ogni nuovo componente avrebbe potuto richiedere giorni o settimane. “Controllare due volte che i componenti funzionassero come previsto aggiungerebbe ancora più tempo,” ha affermato.

“Grazie alle nostre configurazioni possiamo dire: 'Ok, ho questa nuova macchina Windows^®. “Prenderò il codice che è stato eseguito in precedenza e poi lo trasferirò,” ha continuato Wei. “Ora qualcun altro può utilizzare il loro codice ed eseguire anche lui il sistema.”

Possibilità di imaging dinamico

I ricercatori sperano che la loro scoperta ispiri nuovi progressi. Un settore che merita di essere esplorato è il flash lidar, una tecnica che produce un'immagine di profondità ad alta risoluzione tramite un laser pulsato diffuso anziché tramite un laser pulsato a scansione. In genere, ciò comporta l'invio di luce nella scena, la misurazione del tempo impiegato dalla luce per tornare indietro e l'utilizzo di queste informazioni temporali per misurare la distanza.

“Una delle avvertenze è che è necessario sincronizzare la sorgente luminosa con il sistema affinché questo meccanismo funzioni,” ha spiegato Wei. “Data la nostra capacità di misurare i segnali in modo asincrono, siamo interessati a capire se potremmo utilizzare una sorgente luminosa asincrona per realizzare un flash lidar.”

In biologia, eventi come il ripiegamento o il legame delle proteine possono verificarsi in scale temporali che vanno dai nanosecondi ai millisecondi. Lindell ha affermato che il team ha discusso le proprie tecniche di imaging con esperti di biologia dell'università.

“Il fatto che questi eventi si verifichino in queste scale temporali è interessante e la possibilità di osservarli in un modo che le persone non sono state in grado di fare finora è allettante,” ha affermato.

La rifocalizzazione computazionale potrebbe avere applicazioni in altre scienze. Gli astrofisici hanno voluto capire quali sono le cause dei lampi radio veloci da quando un radiotelescopio ha rilevato per la prima volta il fenomeno 20 anni fa. Queste misteriose esplosioni di energia si verificano nel cielo e durano solo pochi millisecondi, ma ciascuna è incredibilmente potente. La rifocalizzazione computazionale potrebbe consentire il rilevamento di FRB nel dominio ottico.

“Non sappiamo quando accadrà,” ha detto Nousias. “Bisogna monitorare il cielo e poi tornare ai dati su una scala temporale di nanosecondi per osservarli. Ora abbiamo lo strumento per farlo.”

Kutulakos prevede che il suo metodo SPAD potrebbe aiutare a rilevare problemi o difetti nei componenti meccanici progettati che non vengono rilevati dalle ispezioni standard. Quando un motore ha problemi, le vibrazioni potrebbero indicare un problema, ma senza ulteriori informazioni la fonte esatta potrebbe risultare sfuggente. Puntando una telecamera sul motore e raccogliendo tutti i dati, si potrebbe trovare l'ago nel pagliaio, ha affermato.

Il gruppo sta inoltre collaborando con altri ricercatori nel campo della microelettronica per ampliare le potenzialità delle telecamere. Una telecamera a pixel singolo consente al team di produrre video da movimenti ripetitivi, come la rotazione delle pale di un ventilatore, ma gli eventi veramente dinamici richiedono un sensore 2D.

Successivamente, la squadra intende lavorare per migliorare la propria tecnica. Ricostruire i segnali rimane un'operazione piuttosto dispendiosa in termini di tempo e computazionalmente inefficiente, ha osservato Lindell. Stanno quindi lavorando per catturare gli eventi in tutte le scale temporali in tempo reale.

“Penso che otterremo risultati inaspettati puntando questa telecamera in giro per il laboratorio o addirittura all’esterno,” ha affermato Lindell. “Non vedo l'ora di scoprire cosa scopriremo. Sarà un nuovo modo di catturare il mondo.”