La tecnologia dietro alla modalità ritratto dei Pixel 2 è ora open-source (aggiornato: replica di Google)

Google ha annunciato che DeepLab-v3+, il più recente e migliore modello di semantic image segmentation dell'azienda, è ora open-source. Per capire come mai questa notizia ci interessi, è necessaria però una premessa: cos'è la semantic image segmentation?

Si tratta di un algoritmo che categorizza ogni pixel dell'immagine e gli assegna un'etichetta semantica, come “strada”, “cielo”, “persona” o “cane”. Si tratta insomma di riconoscere e distinguere gli uni dagli altri i vari elementi che compongono la scena. Questo è importante non solo in applicazioni come Google Lens, che analizzano le foto alla ricerca di elementi di rilievo, ma anche per la modalità ritratto dei Pixel 2.

In questo caso, come schematizzato nell'illustrazione qui sopra, la segmentazione semantica dell'immagine viene usata per separare i soggetti in primo piano dallo sfondo dell'immagine, una componente fondamentale della modalità ritratto, tanto apprezzata sui Pixel 2.

Come già accennato comunque, le applicazioni sono molteplici, e vanno dal riconoscimento degli oggetti all'ottimizzazione delle immagini, attraverso la regolazione dei vari parametri quali esposizione, bilanciamento del bianco, ecc.

Sia chiaro poi che questo elemento è una componente del portrait mode, la cui implementazione è però molto più complessa, come già illustrato a suo tempo da Google.

I moderni sistemi di semantic image segmentation hanno però raggiunto un livello di accuratezza che era difficile immaginare fino a pochi anni fa, grazie sia ai progressi del software che dell'hardware. Rendere open source DeepLab-v3+ è quindi un modo per dare ulteriore spinta ad un campo di ricerca del quale stiamo già sperimentando i benefici sui nostri smartphone, e non solo.