Ecco come Google riesce a illuminare le nostre foto grazie all'AI e machine learning

I dispositivi Pixel sono sempre stati considerati degli smartphone capaci di scattare foto di ottima qualità, qualità che spesso non è dovuta solo alla "potenza" del sensore fotografico, ma anche ad un'impressionante ottimizzazione software e all'utilizzo di tecniche di machine learning e intelligenza artificiale.

Tra le principali funzioni incluse negli ultimi smartphone di Google abbiamo Portrait Light, che offre la possibilità di cambiare il modo in cui la luce cade sul soggetto della foto in post produzione, modificando il punto in cui si trova la fonte luminosa, il tutto accessibile attraverso l'app Google Foto. Nei dispositivi più nuovi, come Pixel 4, Pixel 4A 5G e Pixel 5, questa feature viene applicata automaticamente alle foto scattate anche nella modalità di default o Night Mode, offrendo comunque le possibilità sopra descritte di modifica della sorgente di luce a proprio piacimento.

Attraverso un lungo post sul suo blog dedicato all'utilizzo dell'intelligenza artificiale, Google ha spiegato quali sono i dettagli di tale tecnologia e di come sia stato possibile integrarla nel sistema operativo.

Per "allenare" l'AI su come posizionare automaticamente le fonti di luce, Google ha utilizzato un Light Stage, una specie di cupola a 360° che consente di simulare qualunque situazione di illuminazione e scattare diverse foto del soggetto. L'algoritmo poi effettua due operazioni principali:

• Posizionamento automatico della luce sul soggetto in base ai dati appresi dall'AI. In questo caso, il modello allenato da Google riesce a stimare quale sarà l'intensità, la temperatura colore e la posizione della luce e aggiunge una nuova fonte di luce con queste caratteristiche.
• Posizionamento della luce "artificiale" sul soggetto, basandosi su quelle che sono le condizioni di illuminazione della foto in esame, per rendere la foto più naturale e realistica. Qui invece l'intelligenza artificiale si basa su migliaia e migliaia di foto di soggetti all'interno del Light Stage per cercare una situazione simile alla foto scattata e stimare l'illuminazione da applicare.

Per quanto riguarda l'applicazione di questi effetti, l'algoritmo messo a punto da Google crea immagini a bassa risoluzione, dette quotient image, che possono essere sovrapposte alla foto per creare l'illuminazione desiderata sul soggetto.

Queste quotient image tengono anche conto di quella che è la superficie su cui la luce andrà a riflettere, in modo da rendere l'effetto il più reale possibile.

Tutte queste funzioni sono state implementate in maniera estremamente efficiente sugli smartphone Pixel, con dimensioni dei modelli usati dall'intelligenza artificiale dell'ordine di una decina di megabyte e con un bassissimo utilizzo di risorse hardware del dispositivo.