Les instructions suivantes vous guideront à travers les étapes nécessaires à la mise à jour de ComfyUI pour AI Playground v2.5.5, vous permettant d'exécuter les flux Flux.1 Kontext [dev] ou Wan 2.1 VACE à partir de ComfyUI.

À propos de ces flux de travail

Flux.1 Kontext [dev] de Black Forest Labs est un modèle d'édition d'images et un flux de travail révolutionnaire, qui vous permet d'éditer, de styliser et de combiner des images ensemble, en indiquant simplement au modèle ce qui doit être modifié ou fait. Actuellement, ce modèle est disponible en version développeur, ce qui signifie que son utilisation est restreinte. N'hésitez pas à consulter la page termes.
Voir exemple

Wan 2.1 VACE d'Alibaba est un modèle de génération vidéo de haute qualité où vous avez un contrôle élevé sur la façon dont l'action de la vidéo est générée, ce qui vous permet d'utiliser à la fois des images et des vidéos de référence pour contrôler la génération.
Voir exemple

Les deux flux de travail nécessitent une version plus récente de ComfyUI que celle installée par défaut par AI Playground. En suivant ces instructions, vous pouvez exécuter ces nouveaux modèles et flux de travail dans ComfyUI. Flux.1 Kontext peut être exécuté directement dans AI Playground. Cependant, cela nécessite l'installation manuelle des modèles. Nous envisageons d'inclure ces modèles dans les prochaines versions où tout ce qui est nécessaire à l'exécution est pris en charge par AI Playground pour l'installation et la génération. Pour ceux qui sont intéressés par l'exécution de ces modèles, nous avons fourni des instructions pour les installer. Notez que si vous devez réinstaller ComfyUI via AI Playground, cela supprimera les modèles et les nœuds personnalisés installés. Il est recommandé de sauvegarder les dossiers modèles et custom_nodes de ComfyUI.

Instructions

Étape 1 : Mettre à jour ComfyUI :

Les deux flux de travail nécessitent une mise à jour de ComfyUI. C'est la première étape pour faire fonctionner ces fonctionnalités

• Installer AI Playground sans ComfyUI
• Sous Paramètres de base, sélectionnez Gestionnaire des composants backend
• A l'extrême droite de la ligne ComfyUI, sélectionnez l'icône d'engrenage, puis Paramètres. Réglez la version sur "v0.3.43".
• Cliquez sur l'action pour installer ComfyUI
  • Correction du flux de travail - Notez que cette nouvelle version comporte un changement nécessaire dans le flux de travail LTX-Video Image to Video, nécessitant que "strength : 1.0," soit ajouté au nœud LTXVImgToVideo. Télécharger cette version mise à jour et placez-la dans le dossier [emplacement de l'installation]/AI Playground/resources/workflows pour corriger le problème.
• Après l'installation, redémarrez AI Playground
• Lancez AI Playground, puis CTRL SHIFT I pour afficher la fenêtre de la console - attendez que toutes les tâches soient terminées.

Étape 2a : FLUX.1 Kontext :

Aucun paquetage supplémentaire n'est nécessaire. Il suffit de configurer le flux de travail comme décrit et de l'exécuter dans ComfyUI. Testé sur Intel Core Ultra 200V

1. Lancez AI Playground, CTRL SHIFT I pour voir la console - attendez que toutes les tâches soient terminées.
2. Ouvrez ComfyUI dans un navigateur web sur localhost:49000
3. Dans le menu, sélectionnez Nouveau, Flux de travail, Parcourir les modèles, FLUX, Flux Kontext Dev (Basic). Note Ce modèle est à usage restreint, uniquement à des fins de développement et de recherche.
4. Le flux de travail vous indiquera qu'il manque des modèles. Installer tous les modèles
5. Une fois les modèles téléchargés, déplacez-les comme suit :
   • flux1-dev-kontext_fp8_scaled.safetensors TO [location of AI Playground installation]/AI Playground/resources/ComfyUI/models/diffusion_models/
   • ae.safetensor TO [location of AI Playground installation]/AI Playground/resources/ComfyUI/models/vae/
   •  clip_l.safetensors, t5xxl_fp16.safetensors AND t5xxl_fp8_e4m3fn_scaled.safetensors TO [location of AI Playground installation]/AI Playground/resources/ComfyUI/models/text_encoders/
6. Rafraîchissez votre navigateur à l'endroit où se trouve ComfyUI, puis chargez une image de référence à éditer à l'aide du nœud Charger l'image.
7. Dans le nœud positif du clip, décrivez comment l'image doit changer, par exemple en décrivant un style (anime), ou décrivez ce qui doit être enlevé ou ajouté dans l'image, décrivez si c'est un moment différent de la journée, ou si le personnage de l'image doit être différent, par exemple en faisant un zombie, etc.

Exemples de flux de travail : Télécharger puis glisser dans ComfyUI

• • Modifier une image (télécharger le flux de travail)
  • Combiner deux images (télécharger le flux de travail)

Étape 2b : Exécutez FLUX.1 Kontext dans AI Playground :

Cela vous permettra d'utiliser AI Playground comme interface pour l'édition d'images de Flux Kontext. Cependant, vous devez d'abord installer manuellement les modèles dans ComfyUI en utilisant l'étape 2a. Une fois cela fait, l'ajout du flux de travail json ci-dessous vous permettra de l'exécuter directement depuis AI Playground.

1. Télécharger ce document Flux de travail AI Playground (json)et placez-le dans [emplacement de l'installation de l'AI Playground]/AI Playground/resources/workflows
2. Démarrer le terrain de jeu de l'IA
3. Allez dans Paramètres, onglet Image, sélectionnez Flux, puis Flux-Kontext1.
4. Assurez-vous que les étapes sont réglées sur 20 et que le nombre d'images est réglé sur 1.
   (D'après mon expérience, les petits changements tels que le retrait d'une tasse de café, l'ajout d'une moustache ou de lunettes de soleil peuvent ne pas nécessiter beaucoup d'étapes. Expérimentez avec moins d'étapes. J'ai constaté que les petits changements ressemblent à 4 étapes et à 20 étapes.)
5. Charger une image dans le champ image
6. Dans l'invite de l'onglet Créer, décrivez ce que vous souhaitez modifier dans la photo. Ensuite, générez
   (la génération sera plus lente par rapport à Flux Schnell, mais vous avez plus de contrôle, ce qui nécessitera probablement moins d'itérations)

Étape 3 Wan 2.1 VACE

Cette solution nécessite des paquets et des modèles supplémentaires en dehors des mises à jour de ComfyUI. Ce flux de travail a été testé sur un Intel Arc A770.

Cloner des nœuds GGUF (il peut être nécessaire de supprimer et de mettre à jour les nœuds GGUF obsolètes)

1. Ouvrez le répertoire [emplacement de l'installation d'AI Playground]/AI Playground/resources /ComfyUI/custom_nodes
2. Allez dans la barre de titre de cette fenêtre et tapez CMD pour lancer la fenêtre de commande à cet endroit.
3. Dans la fenêtre CMD, exécutez chacun de ces éléments : (collez chaque ligne, appuyez sur la touche retour, attendez la fin de l'opération, puis faites de même pour la ligne suivante).
   • git clone https://github.com/city96/ComfyUI-GGUF
   • git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
   • git clone https://github.com/Fannovel16/comfyui_controlnet_aux

Installer les dépendances de Node

1. Ouvrez le répertoire [emplacement de l'installation d'AI Playground]/ AI Playground\resources\comfyui-backend-env
2. Allez dans la barre de titre de cette fenêtre et tapez CMD pour lancer la fenêtre de commande à cet endroit.
3. Dans la fenêtre CMD, exécutez chacun de ces éléments : (collez chaque ligne, appuyez sur la touche retour, attendez la fin de l'opération, puis faites de même pour la ligne suivante).
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\ComfyUI-VideoHelperSuiteexigences.txt
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\comfyui_controlnet_aux\Nexigences.txt

Télécharger ces modèles GGUF

• Télécharger Wan2.1 14B VACE-Q8_0.gguf déplacer vers ComfyUI/modèles/unet
• Télécharger umt5-xxl-encoder-Q4_K_M.gguf déplacer vers ComfyUI/modèles/encodeurs_texte
• Télécharger Wan21_CausVid_14B_T2V_lora_rank32.safetensors déplacer vers ComfyUI/modèles//loras
• Télécharger wan_2.1_vae.safetensors déplacer vers ComfyUI/modèles/vae

Mise en place d'un flux de travail

1. Lancez AI Playground, CTRL SHIFT I pour voir la console - attendez que toutes les tâches soient terminées.
2. Redémarrez AI Playground une fois de plus, CTRL SHIFT I pour voir la console - attendez que toutes les tâches soient terminées.
3. Ouvrir le navigateur vers localhost:49000
4. Téléchargez l'un ou l'autre de ces flux de travail et glissez-les dans ComfyUI.
   • Image vers vidéo avec LoRA sur (télécharger le flux de travail)
   • Vidéo de référence pour le contrôle (télécharger le flux de travail)

Notes sur la course à pied

1. Les nœuds suivants doivent être désactivés/rose (pour activer ou désactiver un nœud, sélectionnez-le et tapez CTRL B)
   • Nœuds 3B : Chargement Diffusion, Chargement Clip, Chargement Lora
   • 14B Nœuds : Diffusion de la charge, Clip de charge
   • Optionnel : Désactiver le LoRA du groupe 14B pour une génération de meilleure qualité mais plus longue.
2. Définir des valeurs dans l'échantillonneur K
   • Si LoRA est désactivé, régler les échantillons sur 20 et CFG sur 6.
   • Si LoRA est activé, régler les échantillons sur 4 et CFG sur 1.
3. Ajoutez une image de référence (le mieux est que l'arrière-plan soit de couleur unie) et définissez les valeurs du nœud Wan Vace pour qu'il corresponde à la résolution. Définir le nombre d'images (suggérer 49 pour commencer)
4. Décrivez ce qui se passe dans l'invite du clip positif
5. Pour la version vidéo de référence, ajoutez une vidéo de contrôle pour guider l'action - la longueur doit être la même que celle du clip souhaité - la résolution ne doit pas nécessairement correspondre.

Voilà qui est fait. Nous nous efforcerons d'intégrer ces flux de travail dans une prochaine version, ce qui rendra ces étapes inutiles. En attendant, nous vous invitons à expérimenter ces modèles. Veillez à respecter les conditions d'utilisation, et si vous avez des questions ou des commentaires, écrivez-nous à l'adresse suivante http://discord.gg/intel dans les fils de discussion de l'ai-playground, ou discutez avec moi sur X @bobduffy ou linkedin - Bob Duffy.