Voici ce qui se passe dans les coulisses avec des images animées au pixel 2

La caméra du Pixel 2 continue à être dans une catégorie à part, et il ne se passe pas un jour sans rien pour m'impressionner. Je n'ai toujours pas trop bricolé avec sa fonctionnalité Motion Photos, mais après avoir parcouru les coulisses de la technologie utilisée par Google, la situation pourrait évoluer.

Lorsque Motion Photos a été annoncé, je l'ai personnellement vu comme un moyen de rattraper Google avec "Live Photos" d'Apple sur iOS. Capturer quelques secondes de métrage supplémentaires avec une image fixe est une bonne idée, mais Google fait bien plus que simplement enregistrer une scène avant d'appuyer sur le déclencheur.

Lorsque Motion Pictures est activé sur le Pixel 2, la prise de vue enregistre également les métadonnées de mouvement créées à l'aide du gyroscope et du système de stabilisation optique de l'image du Pixel 2. Ces deux composants sont combinés par le biais d'un logiciel permettant de créer des photos animées. En combinant une stabilisation matérielle et logicielle, Google peut considérablement réduire la quantité de bougé d'appareil photo détectée dans ces courts clips.

Avant (à gauche) et après (à droite) la stabilisation de Motion Photos

Selon le blog de recherche de Google:

Pour les photos animées sur Pixel 2, nous avons amélioré cette classification en utilisant les métadonnées de mouvement dérivées du gyroscope et de l'OIS. Ceci capture avec précision le mouvement de la caméra par rapport à la scène à l'infini, ce qui peut être considéré comme l'arrière-plan au loin. Toutefois, pour les photos prises à une distance plus proche, la parallaxe est introduite pour les éléments de scène à différentes couches de profondeur, ce qui n’est pas pris en compte par le gyroscope et l’OIS.

Une fois que ce système détermine l'ampleur des mouvements d'arrière-plan dans une photo Motion:

Nous déterminons un chemin de caméra parfaitement stable pour aligner l’arrière-plan à l’aide des techniques de programmation linéaire décrites dans nos précédents articles. De plus, nous coupons automatiquement la vidéo pour supprimer tout mouvement accidentel causé par le rangement du téléphone. Tout ce traitement est effectué sur votre téléphone et produit une petite quantité de métadonnées par image qui est utilisée pour restituer la vidéo stabilisée en temps réel à l'aide d'un shader GPU lorsque vous appuyez sur le bouton Mouvement dans Google Photos.

Avant (à gauche) et après (à droite) la stabilisation de Motion Photos

Comme vous pouvez le constater à partir des fichiers GIF ci-dessus, le résultat final de ce processus est diablement incroyable - et tout se passe en arrière-plan, grâce à la puissance des logiciels.

Les photos animées sont activées par défaut sur le Pixel 2 et vous pouvez les partager en tant que clips vidéo et GIF haute résolution directement dans l'application Google Photos.