Au fil du temps, les vidéos peuvent se détériorer et devenir désagréables à regarder. On pourrait constater des distorsions des images ou la présence d’autres artefacts. Cela peut même aller jusqu’à la perte de certaines parties de la vidéo. Ces dommages apparaissent généralement sur les enregistrements provenant d’anciens supports. Il est également possible de les voir sur des vidéos récentes ayant subi de mauvaises manipulations.
Quoi qu’il en soit, il existe une solution pour les réparer : l’inpainting vidéo. Cette technique qui existe depuis bien longtemps a connu des améliorations grâce à l’intelligence artificielle. Dans cet article, on va justement s’y intéresser et voir ce que c’est, son fonctionnement ainsi que les outils basés sur ce concept.
Qu’est-ce que l’inpainting video ?
L’inpainting est une technique de reconstruction d’images initialement utilisée pour la restauration d’œuvres d’art endommagées. Puis, elle a été étendue aux photographies, puis aux vidéos. Cette technique consiste à remplir les parties manquantes en étudiant le contexte environnant.
Toutefois, contrairement aux images où les parties manquantes sont inconnues, sur les vidéos, elles peuvent exister sur les séquences voisines. Ainsi, la correction des éventuels dommages subis par la vidéo et la restauration à son état d’origine s’en trouve facilité.
En outre, recourir à l’inpainting vidéo offre de nombreux autres avantages. En effet, on pourrait préserver l’entièreté des vidéos que l’on a accumulées durant des années et les transmettre aux générations futures. On a également la possibilité de reconstituer certains faits et ainsi conserver notre patrimoine. De plus, l’inpainting vidéo améliore la qualité de nos vidéos endommagées, nous offrant ainsi plus de confort de visionnage.
L’inpainting nécessitait auparavant des heures de travail pour identifier et reproduire les éléments manquant d’une vidéo. Mais grâce à l’intelligence artificielle, elle est désormais facile à appréhender, même pour les novices en traitement vidéo.
Comment l’IA améliore l’inpainting video ?
L’intelligence artificielle, comme dans de nombreux autres domaines, a permis à l’inpainting vidéo de connaître un grand bond vers l’avant. En effet, grâce à l’IA générative et les modèles d’apprentissage automatique, on a pu bénéficier de techniques puissantes et polyvalentes pour la restauration de vidéo.
L’inpainting vidéo basée sur l’IA se base sur des algorithmes complexes qui analysent les détails et les environnements présents sur la vidéo. Ceci afin de reconstituer de manière cohérente les parties manquantes ou endommagées.
Ces algorithmes peuvent utiliser des techniques basées sur la diffusion, c’est-à-dire qu’ils propagent les données issues des parties intactes sur les zones dégradées. Ils peuvent aussi utiliser l’apprentissage profond pour prédire la séquence manquante à partir des exemples qu’il a assimilés. Certains s’appuient aussi sur des réseaux de neurones convolutifs ou encore sur des transformateurs visuels.
Bref, il y a autant de possibilités pour par exemple corriger vos vieilles cassettes numérisées avec les techniques modernes offertes par l’inpainting vidéo basée sur l’IA.
Quels sont les outils d’inpainting vidéo basés sur l’IA ?
L’intelligence artificielle ayant été grandement démocratisée, il existe bien évidemment de nombreux outils permettant de profiter de sa puissance. L’inpainting vidéo n’est pas en reste, car de nombreux éditeurs de solution proposent cette fonctionnalité dans leur suite logicielle.
C’est par exemple le cas de Stable Diffusion qui, à travers des interfaces comme SDLX Inpainting ou Fooocus et grâce à la performance de son modèle d’IA générative, permet de remplir ou de modifier de manière transparente des éléments dans une vidéo.
Puis, il y a aussi Adobe Firefly, une fonctionnalité présente dans la suite Adobe, qui permet d’ajouter, d’étendre et de supprimer des séquences dans une vidéo, et ce, de manière facile et rapide.
Et enfin, il y a Image Inpaint de Nvidia. Ce dernier permet d’utiliser les GPU Nvidia et la puissance qui en découle pour booster ses algorithmes d’apprentissage profond pour retoucher de manière intelligente et précise des vidéos endommagées.
