Je ne suis qu'un passionné et non un professionnel du monde des arts, mais j'espère pouvoir continuer à progresser au rythme des avancées de l'IA dans ce domaine d'exploration fascinant et partager avec vous un certain nombre de mes découvertes.
Vous pouvez regarder ci-dessous dans cette article les versions américaine et française du film dans leur intégralité.
Version française de mon film “Les grandes statues”
Version US
La présentation sur Youtube de la vidéo
🎬 Entièrement réalisé grâce à l'IA : • Scénario, images, musique, bruitages et voix générés par IA • +1000 images Midjourney • 50+ clips vidéo IA • Musique par Suno.ai • Disponible en 11 langues !
⏱️ 3 jours de travail passionnants pour tester les limites de la créativité IA !
Voulez-vous maîtriser l'IA ? Formez-vous sur : 🔗 https://ia-magique.com 🔗 https://3h33.com 🔗 https://alexandre.ai
#AIvideo #IAcinéma #ScienceFiction #Dystopie #FuturTechnologique #AIFILM #Midjourney #ElevenLabs #RunWay #ChatGPT
Explorez l'avenir du cinéma IA et laissez un commentaire sur vos impressions !
Juste avant de démarrer cette vidéo, j'ai lancé une chaîne TikTok avec des histoires semi-construites automatiquement grâce à des IA, que je vous invite chaleureusement à visiter ici.
Mais je n'avais jamais eu l'occasion d'écrire un film de A à Z. Alors, j'ai décidé de me lancer ! Tout processus créatif passe par des étapes variées d’inspiration, de maturation, de confrontation et de prise de décision, avec des idées enthousiasmantes et d’autres moins.
Première étape : Écrire le script détaillé
J'utilise toujours Notion.so pour rassembler l'ensemble des textes et des médias et rédiger mon scénario sur un seul espace de travail.
La première étape consiste à trouver l'idée maîtresse du film et à créer un script détaillé, incluant tous les éléments nécessaires à sa réalisation.
Un autre atout de l'IA est son assistance dans la création de prompts pour chaque outil génératif : un prompt spécifique pour Midjourney (l'IA des images), un autre pour les vidéos, la musique, les voix off, etc.
À chaque étape, ChatGPT m'aide à affiner et, surtout, à me remettre en question pour formuler le meilleur prompt possible. Bien que tous les résultats ne soient pas parfaits, ils permettent principalement de gagner du temps et de stimuler la créativité en challengeant mes propres idées.
Tout processus créatif avec l'IA peut débuter par un échange avec des générateurs de texte. J'en utilise plusieurs (Gemini, Perplexity, Claude, Grok), mais ChatGPT-4 fait souvent très bien l'affaire.
Cette fois-ci, j'ai commencé par expliquer en détail ce que je souhaitais pour mon script. Avec une idée précise de mon scénario de science-fiction en tête, j'ai demandé à ChatGPT de générer un script détaillé basé sur mes directives. Ensuite, j'ai découpé ce scénario. De nombreux allers-retours avec ChatGPT ont été nécessaires avant d'aboutir à la version finale. Pas besoin de prompts compliqués ici, il suffit de persévérer jusqu'à obtenir le résultat souhaité avec l'IA. Ce découpage permet d'identifier les séquences clés avec les images à générer et, dans le cas de ce film, la voix qui assurera la narration du début à la fin.
J'ai fait un premier essai rapide avant de me mettre sérieusement au travail. La première version du projet, il faut l'admettre, n'était pas du tout satisfaisante !
Deuxième étape : créer les Images clés des séquences du film
La deuxième étape consiste à créer les images. En tant que fan de MidJourney, c'est l'outil que j'ai choisi pour cette tâche. J'ai d'abord cherché le style d'image approprié pour le film, ce qui a nécessité une centaine de tests. Oui, vous avez bien lu ! Une fois la direction artistique choisie, j'ai commencé à générer les images clés du film. Je l'avoue, cette fois-ci, vous trouverez le lien dans la description à la fin. Au total, j'ai créé près de 1000 images avant de trouver ce que je cherchais et d'en sélectionner une centaine pour le film final.
Troisième étape : créer les vidéos.
Une fois que mes images étaient prêtes et sélectionnées, j'ai testé trois intelligences artificielles spécialisées dans la création de vidéos.
j’ai utilisé ces trois outils pour générer mes séquences vidéo (il y en d’autres)
Runway Runway Gen3
Ces trois IA sont actuellement très performantes. Chacune m'a apporté satisfaction et frustration selon les images, mais le résultat final était convaincant. Après plusieurs interactions avec l'IA, j'ai obtenu de nombreuses séquences vidéo d'une durée comprise entre 5 et 10 secondes.
Il faut néanmoins savoir que la production de vidéos avec des IA génère pas mal de déchets. Pour moi, le ratio est d'environ 30 %, c'est-à-dire qu'on ne conserve que 30 % des vidéos générées.
Pour créer chaque séquence, j'ai utilisé plusieurs techniques. Une permet de choisir la première et la dernière image, puis de demander une séquence vidéo de cinq secondes que l'on peut prolonger à 10 secondes. J'ai aussi utilisé Gen-3 de Runway, une autre IA. J'ai également testé la fameuse IA chinoise klingAI et constaté qu'elle proposait des séquences assez différentes et originales.
Quatrième étape : créer les voix off
Ensuite, j'ai enregistré ma voix pour faire la voix off du film et appliqué un filtre IA pour modifier ma voix, juste pour le fun.
J'ai ensuite découpé chaque phrase enregistrée, ou au moins chaque paragraphe, dans un logiciel audio appelé Audacity pour aligner les morceaux de phrases avec mes séquences d'images et de vidéos. J'en ai également profité pour utiliser le texte de la voix off dans un logiciel de création de voix, Eleven Labs, afin de générer une voix différente de celle que j'avais enregistrée.
J'avoue que c'était difficile de choisir, donc j'ai fait les plusieurs versions : une avec ma voix et l'autre avec le logiciel de synthèse de voix.
Cinquième étape : Créer la musique
J'ai ensuite composé une musique originale. En fait, là aussi, j'ai dû faire des tests, et suno.ai a généré une bonne dizaine de musiques avant que je trouve mon bonheur en fournissant à chaque fois mes prompts et en testant différents paramètres. Une fois que j'avais la musique qui correspondait à mon film, elle n'était pas assez longue. J’ai donc généré d’autres séquences pour que la totalité de la musique puisse correspondre à la totalité du film.
Sixième étape : générer des sons et des bruitages pour l’ambiance
Les bruitages sont un élément important pour raconter une histoire dans une vidéo, à ce jour, il fallait souvent utiliser des bruitages dans des banques de stock ou les produire soi-même avec un bon micro et en partant à la quête de son qui permettrait d’enrichir une image. Un bruit pas une porte qui grince une explosion et j’en passe des meilleurs. Vous n’êtes sûrement pas toujours conscient, mais les bruits d’âge d’un film procure un relief pour les images. Aujourd’hui, le plaisir est toute autre, car il suffit d’un prompt pour demander à une IA de vous fabriquer le son que vous voulez. Exemple pour le film : génère un bruit d’explosion avec une réverb, fais-moi des bruitages de voix qui parlent tout doucement, propose-moi un son du vent qui souffle avec un bruit sourd, etc. J’avoue que c’est surprenant d’obtenir des résultats convaincants simplement en proposant à l’IA une phrase décrivant le son souhaité et d’écouter quelques secondes plus tard un résultat sonore bluffant.
Voici 4 exemples :
Septième étape : Procéder au montage
C'est une phase totalement chirurgicale qui va donner vie à votre film et surtout lui insuffler une intensité et un rythme pour que les spectateurs restent captivés tout au long. Dans cette étape cruciale, il faut tout synchroniser. On doit intégrer tous les éléments que nous avons créés : raccourcir certains, en rallonger d'autres, ajouter des filtres sur les images et les sons, créer un générique et une image de présentation pour la vidéo. J'ai utilisé le logiciel CapCut pour accomplir tout cela, et je suis très satisfait de ses fonctionnalités. Auparavant, j'utilisais d'autres logiciels soi-disant plus professionnels, mais le résultat avec CapCut répond parfaitement à l'ensemble de mes besoins.
Huitième étape : upscaler la vidéo
Si vous pensez que l'export de votre vidéo clôture le processus une fois le montage terminé, vous oubliez une étape cruciale : l'upscaling. Il existe plusieurs solutions logicielles pour cela. J'ai utilisé Topaz Video AI. Après l'avoir testé, j'ai trouvé le résultat fascinant. Je suis passé d'une vidéo HD en 1080p à une vidéo 4K avec nettement plus de détails, de résolution et de piqué dans l'image.
Lors de la production de vidéos ou d'images, le manque de définition peut souvent nuire au rendu final. C'est là que les « upscalers » entrent en jeu. Ces outils augmentent considérablement la qualité des images et peuvent même ajouter des détails pertinents qui n'existaient pas auparavant, améliorant ainsi l'aspect global de l'œuvre.
Neuvième étape, faire des versions dans plusieurs langues
Une dernière étape, comme ma vidéo est composée de voix off et non de dialogues : j'ai décidé de la traduire en plusieurs langues. Je vous ajouterai les liens progressivement dans la description, car Eleven Labs permet de réaliser le doublage automatiquement, avec un résultat bluffant. J'ai maintenant une version en anglais, en chinois et en espagnol. Si vous parlez ces langues, n'hésitez pas à me dire dans les commentaires ce que vous en pensez.
Quelques réflexions sur l'IA pour conclure ce travail
J'ai éprouvé un plaisir immense, tout en gardant certaines frustrations de ne pas réussir à produire tout ce que j'imaginais. La place du hasard reste importante, et dans un processus créatif, il ne faut pas s'en plaindre. Cependant, ne pas obtenir le résultat escompté provoque parfois une altération de ma démarche.
Je constate qu'actuellement, rien n'est automatique. Tous les films réalisés avec une IA nécessitent un travail passionnant et exploratoire, mais rien n'est magique avec un seul prompt. Cela arrivera sûrement un jour, mais pas encore en août 2024 où je publie cet article.
Je peux maintenant endosser plusieurs rôles du monde cinématographique : scénariste, réalisateur, metteur en scène, caméraman, compositeur, bruiteur, éclairagiste, maquilleur, doubleur et traducteur. Impressionnant, n'est-ce pas ? Je comprends aisément pourquoi les professionnels d'Hollywood ont fait grève pour exiger des garanties sur leur avenir. Il est fort probable que cette industrie doive se réinventer entièrement dans les cinq prochaines années.
Cette réflexion soulève des questions cruciales sur l'avenir du travail créatif dans l'industrie cinématographique. Bien que l'IA offre des possibilités fascinantes, elle ne remplace pas entièrement la créativité humaine et le savoir-faire des professionnels. Il est probable que nous assistions à une évolution du rôle des créateurs, où l'IA deviendra un outil puissant pour amplifier leur vision artistique plutôt que de les supplanter. Ces innovations bouleversent le monde artistique et culturel. Mon approche positive est qu'il faut vivre avec son temps et s'approprier ces nouveaux outils plutôt que de les craindre. L'arrivée des synthétiseurs, des logiciels de musique et de la photo numérique a déjà produit des mutations. Cette fois, la différence est que l'IA est — et deviendra — la technologie la plus simple et accessible que nous ayons jamais utilisée, ce qui fera naître de nouvelles vocations et révélera de nouveaux talents.
Voilà ! Après plusieurs nuits de travail, le résultat est là : mon tout premier film généré en étroite collaboration avec des IA. Sans l'aide précieuse de l'intelligence artificielle, j'aurais été incapable d'exprimer ma créativité sans une équipe considérable. Cependant, mon appréciation pour le travail avec l'IA ne diminue en rien mon désir de collaborer avec d'autres artistes. D'ailleurs, c'est exactement ce que j'ai commencé à faire. Au moment où j'écris cet article, je réalise des séquences vidéo avec de l'IA et des images spécifiques pour le décor d'un clip vidéo d'un artiste auteur-interprète. Je vous en dirai plus prochainement. Si vous avez des projets artistique avec des IA sur lesquels nous pourrions collaboré n’hésitez pas a me contacter.
Je pense que le plaisir absolu réside dans la maîtrise des outils d'intelligence artificielle. Cela nous permet de repousser les limites du possible et de collaborer avec des artistes talentueux d'autres domaines pour susciter un maximum d'émotions chez notre public.
J'ai de nombreux projets en cours. Je crée des publicités fictives et des créations publicitaires avec l'IA. Je travaille également sur des histoires personnalisées pour enfants, ainsi que sur des formations concernant la génération de vidéos et de musique par IA. J'ai déjà rédigé plusieurs autres scénarios. Bref, c'est tellement passionnant que je ne suis pas près de m'arrêter.
Mon prochain défi médiatique est d'explorer une nouvelle IA qui fait sensation : Grok. On peut la générer directement depuis Twitter. Les premiers tests sont impressionnants.
Mes premiers essais ont donné des résultats remarquables, que je partagerai bientôt plus en détail — en voici quelques exemples ici. Mon prochain projet consiste à réaliser un film en utilisant des images générées par Grok-2 sur X. Cette fonctionnalité repose sur FLUX.1, le modèle de génération d'images conçu par Black Forest Labs. Ce modèle fait actuellement sensation grâce à ses images réalistes qui conservent une touche d'humour.
Merci au mag in data veritas pour la publication de cet article ;
Alexandre Stopnicki
https://www.linkedin.com/company/3h33-intelligence-artificielle