Ma Veille Technologique sur Stable Diffusion
Pour ma veille technologique, j'ai choisi quelque chose qui m'intéressait déjà : Stable Diffusion. Stable Diffusion est un modèle de machine learning de type texte-vers-image. Il repose sur une version de GPT-2 pour analyser le texte. Les modèles Stable Diffusion sont entraînés à détecter des similarités entre les différentes images et à les associer aux mots pertinents du texte. Lors de la génération d'une image, les modèles "décryptent" une image, analysent son résultat, et répètent ce processus à chaque itération, en ajustant progressivement l'image pour obtenir un résultat final correspondant à la requête initiale.
La grande raison pour laquelle j'ai choisi le projet Stable Diffusion, c'est à la fois car il est open-source et car contrairement à ses compétiteurs, il tourne localement.
J'ai fait ce pdf d'après mon expérience personnelle sur les outils que j'ai utilisé pour m'essayer à cette nouvelle technologie. N'importe qui avec quelques giga-octets d'espace (oui c'est un peu lourd) peut en avoir une et, pour peu que la machine aie le hardware minimum requis, la faire tourner à moins de 10 minutes par image. (C'est environ 2 minutes par image pour une RTX 2060)
C'est dans le titre !
Depuis le 21 novembre, Stable Diffusion on mis en ligne un modèle de génération de vidéo. J'ai eu l'occasion de le tester, et bien que la technologie en soit à ses balbutiements, j'étais ébahi par la capacité que le modèle à démontrer à faire une vidéo si naturelle.