Google ci spiega "la magia" dell'effetto bokeh sui Pixel 2, ma sembra un po' la volpe con l'uva

Pur non avendo una doppia fotocamera posteriore (e nemmeno frontale), i Pixel 2 promettono una modalità ritratto da fare invidia alla concorrenza, con un effetto bokeh stile DSLR ottenuto in buona parte via software. Ma com'è possibile tutto ciò?

Lo spiega Google in un lungo post sul suo blog, nel quale non mancano tanti dettagli tecnici ai quali vi rimandiamo se foste interessati. Qui riassumeremo brevemente le tappe principali della modalità ritratto.

1. Catturare un'immagine HDR+, per avere una perfetta illuminazione su tutta la scena.
2. Grazie al machine learning vengono separati i pixel del foreground da quelli del background. Ovviamente è più facile a dirsi che a farsi. Se il soggetto in primo piano fosse davanti ad un classico green screen sarebbe facile, ma invece lo sfondo può essere molto eterogeneo, ed è qui che TensorFlow entra in gioco.
3. Viene costruita una mappa di profondità di ciascun punto della scena, per distinguere lo sfondo più vicino da quello più lontano, ed applicare una sfocatura proporzionale a questi dati, e non una uniforme. Ciò avviene grazie ai "dual pixel", ma qui le cose si fanno un po' imprecise. I Pixel 2 sono infatti dotati di Phase-Detection Auto-Focus (PDAF), che Google dice essere chiamato anche dual-pixel autofocus (DPAF). In realtà non è esatto, ed è il DPAF ad essere un'implementazione più raffinata del PDAF. I Pixel 2 non hanno insomma il dual-pixel (scusate il gioco di parole), ma Google usa un po' impropriamente questo termine per indicare che l'immagine viene nuovamente divisa in due parti, una per il lato sinistro della lente ed una per il lato destro. La differenza tra questi due punti di vista è di un solo millimetro ma è sufficiente per elaborare una mappa di profondità.
4. Mettere tutti questi dati assieme, ottenendo l'immagine finale. Combinando la "segmentation mask" del punto 2 con la "depth map" del punto 3, l'algoritmo decide di quanto sfocare ciascun pixel dell'immagine HDR+ ottenuta al passo 1. Ovviamente "la magia" sta proprio qui, nel modo in cui questi dati vengono combinati.

I più attenti lettori avranno già una domanda: e la fotocamera frontale? C'è il PDAF anche lì? La risposta è no, e infatti la modalità ritratto sulla fotocamera frontale dei Pixel 2 è meno precisa, perché salta a piè pari il passo 3.

Avrete sempre un effetto sfocato, ammesso che il punto 2 riconosca chiaramente il volto del soggetto rispetto al background, ma non sarà uno "sfocato sfumato", come con la fotocamera posteriore.

Il machine learning applicato all'elaborazione delle immagini fatto da Google è senz'altro notevole, e BigG sembra più che convinto che sia questo il futuro, tanto che l'articolo si conclude con: "Welcome to the new world of software-defined cameras and computational photography!"

Non possiamo però fare a meno di chiederci: perché tanto sforzo software quando lo si può fare (meglio?) via hardware? Questo ci ricorda un po' lo scorso anno, quando Google predicava la bontà del suo EIS anche rispetto all'OIS. Peccato che uno dei vanti dei Pixel 2 sia proprio la combinazione di queste due tecnologie. Sembra quasi che Google faccia insomma la parte della volpe con l'uva, e se tanto ci dà tanto, il prossimo anno avremo dual-camera+machine learning.

Ed ovviamente Google ci dirà che è la soluzione migliore di sempre.