Las siguientes instrucciones te guiarán a través de los pasos necesarios para actualizar ComfyUI para AI Playground v2.5.5, permitiéndote ejecutar flujos de trabajo Flux.1 Kontext [dev] o Wan 2.1 VACE desde ComfyUI.

Acerca de estos flujos de trabajo

Flux.1 Kontext [dev] de Black Forest Labs es un innovador modelo de edición de imágenes y flujo de trabajo, que permite editar, estilizar y combinar imágenes, simplemente indicando al modelo lo que debe cambiar o hacerse. Actualmente este modelo se publica como versión para desarrolladores, lo que significa que su uso está restringido. Asegúrese de consultar la condiciones.
See ejemplo

Wan 2.1 VACE de Alibaba es un modelo de generación de vídeo de alta calidad en el que tienes un alto control sobre cómo se genera la acción del vídeo, permitiéndote utilizar tanto imágenes de referencia como vídeo de referencia para controlar la generación.
See ejemplo

Ambos flujos de trabajo requieren una versión de ComfyUI más reciente que la que AI Playground instala por defecto. Siguiendo estas instrucciones, puedes ejecutar estos nuevos modelos y flujos de trabajo en ComfyUI. Flux.1 Kontext puede ejecutarse directamente en AI Playground. Sin embargo, esto requiere que instales manualmente los modelos. Estamos considerando incluirlos en futuras versiones en las que AI Playground se encargue de todo lo necesario para la instalación y generación. Para aquellos interesados en ejecutar estos ahora hemos proporcionado instrucciones para instalarlos. Ten en cuenta que si más tarde necesitas reinstalar ComfyUI a través de AI Playground, se eliminarán los modelos y nodos personalizados instalados. Se recomienda hacer una copia de seguridad de las carpetas ComfyUI models y custom_nodes.

Instrucciones

Paso 1: Actualiza ComfyUI:

Ambos flujos de trabajo requieren una actualización de ComfyUI. Este es el primer paso para ejecutar estas funciones

• Instalar AI Playground sin ComfyUI
• En Configuración básica, seleccione Gestor de componentes backend
• En el extremo derecho de la fila de ComfyUI, selecciona el icono de engranaje, luego Configuración. Establece la versión a "v0.3.43".
• Haz clic en la acción Instalar ComfyUI
  • Arreglo de flujo de trabajo - Tenga en cuenta que esta nueva versión tiene un cambio necesario en el LTX-Video Image to Video flujo de trabajo, lo que requiere "fuerza: 1,0", que se añade el LTXVImgToVideo Nodo. Descargar esta versión actualizada y colóquela en la carpeta [location of installation]/AI Playground/resources/workflows para arreglar
• Tras la instalación, reinicia AI Playground
• Inicia AI Playground, luego CTRL SHIFT I para ver la ventana de la consola - espera a que se completen todas las tareas

Paso 2a: FLUX.1 Kontexto:

No se necesitan paquetes adicionales. Simplemente configura el flujo de trabajo como se describe y ejecútalo en ComfyUI. Probado en Intel Core Ultra 200V

1. Inicia AI Playground, CTRL SHIFT I para ver la consola - espera a que se completen todas las tareas
2. Abre ComfyUI en un navegador web en localhost:49000
3. En el menú seleccione Nuevo, Flujo de trabajo, Examinar plantillas, FLUX, Flux Kontext Dev (Básico) - nota Este modelo es de uso restringido, sólo para fines de desarrollo e investigación
4. El flujo de trabajo le dirá que faltan modelos. Instalar todos los modelos
5. Una vez descargados los modelos, muévelos como se indica a continuación:
   • flux1-dev-kontext_fp8_scaled.safetensors TO [ubicación de la instalación AI Playground]/AI Playground/resources/ComfyUI/models/diffusion_models/
   • ae.safetensor TO [ubicación de la instalación de AI Playground]/AI Playground/resources/ComfyUI/models/vae/
   •  clip_l.safetensors, t5xxl_fp16.safetensors AND t5xxl_fp8_e4m3fn_scaled.safetensors TO [ubicación de la instalación de AI Playground]/AI Playground/resources/ComfyUI/models/text_encoders/
6. Refresca tu navegador donde está ComfyUI, y luego carga una imagen de referencia para editar usando el Nodo Cargar Imagen
7. En el nodo Positive Prompt Clip describa cómo debería cambiar la imagen, es decir, describa un estilo (anime), o describa qué debería eliminarse o añadirse en la imagen, describa si es otra hora del día, o si el personaje de la imagen debería ser diferente, es decir, hacer un zombi, etc.

Ejemplos de flujos de trabajo: Descárgalo y arrástralo a ComfyUI

• • Editar/modificar una imagen (descargar flujo de trabajo)
  • Combinar dos imágenes (descargar flujo de trabajo)

Paso 2b: Ejecute FLUX.1 Kontext en AI Playground:

Esto te permitirá usar AI Playground como front-end para la edición de imágenes de Flux Kontext. Sin embargo primero debes instalar manualmente los modelos en ComfyUI usando el paso 2a . Una vez hecho esto añadiendo el siguiente flujo de trabajo json te permitirá ejecutar esto directamente desde AI Playground

1. Descargar Flujo de trabajo de AI Playground (json)y colóquelo en [ubicación de la instalación de AI Playground]/AI Playground/resources/workflows
2. Iniciar AI Playground
3. Vaya a Configuración, pestaña Imagen, seleccione Flujos de trabajo y, a continuación, seleccione Flux-Kontext1
4. Asegúrese de que los pasos están ajustados a 20 y el número de imágenes a 1.
   (en mi experiencia, pequeños cambios como quitar una taza de café, añadir un bigote o unas gafas de sol pueden no requerir muchos pasos. Experimenta con menos pasos. Tengo pequeños cambios se parecen a 4 pasos y 20 pasos)
5. Cargar una imagen en el campo de imagen
6. En la pregunta de la pestaña de creación, describe lo que quieres cambiar de la foto. A continuación, genere
   (la generación será más lenta en comparación con Flux Schnell, pero tendrá más control y probablemente necesitará menos iteraciones)

Paso 3 Wan 2.1 VACE

Esta solución requiere paquetes y modelos adicionales fuera de lo que ComfyUI actualiza. Este flujo de trabajo fue probado en un Intel Arc A770

Clonar nodos GGUF (es posible que haya que eliminar y actualizar los nodos GGUF obsoletos)

1. Abre el directorio [ubicación de la instalación de AI Playground]/AI Playground/resources /ComfyUI/custom_nodes
2. Vaya a la barra de título de esta ventana y escriba CMD para iniciar la ventana de comandos en esta ubicación.
3. En la ventana CMD ejecute cada uno de estos: (pegue cada línea y pulse Intro, espere a que se complete y haga lo mismo con la línea siguiente).
   • git clone https://github.com/city96/ComfyUI-GGUF
   • git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
   • git clone https://github.com/Fannovel16/comfyui_controlnet_aux

Instalar dependencias de Node

1. Abra el directorio [ubicación de la instalación de AI Playground]/ AI Playground\resources\comfyui-backend-env
2. Vaya a la barra de título de esta ventana y escriba CMD para iniciar la ventana de comandos en esta ubicación.
3. En la ventana CMD ejecute cada uno de estos: (pegue cada línea y pulse Intro, espere a que se complete y haga lo mismo con la línea siguiente).
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\ComfyUI-GGUF\requisitos.txt
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\ComfyUI-VideoHelperSuite\requisitos.txt
   • python -s -m pip install -r ..\ComfyUI\custom_nodes\comfyui_controlnet_aux\requisitos.txt

Descargue estos modelos GGUF

• Descargar Wan2.1 14B VACE-Q8_0.gguf mover a ComfyUI/models/unet
• Descargar umt5-xxl-encoder-Q4_K_M.gguf mover a ComfyUI/models/text_encoders
• Descargar Wan21_CausVid_14B_T2V_lora_rank32.safetensores mover a ComfyUI/models//loras
• Descargar wan_2.1_vae.safetensores mover a ComfyUI/models/vae

Establecer el flujo de trabajo

1. Inicia AI Playground, CTRL SHIFT I para ver la consola - espera a que se completen todas las tareas
2. Reinicie AI Playground una vez más , CTRL SHIFT I para ver la consola - espere a que todas las tareas se completen
3. Abra el navegador en localhost:49000
4. Descarga cualquiera de estos flujos de trabajo y arrástralo a ComfyUI
   • Imagen a vídeo con LoRA activado (descargar flujo de trabajo)
   • Vídeo de referencia para el control (descargar flujo de trabajo)

Notas sobre la carrera

1. Los siguientes nodos deberían estar apagados/rosados (para activar o desactivar un nodo, selecciónelo y escriba CTRL B)
   • Nodos 3B: Carga Difusión, Carga Clip, Carga Lora
   • Nodos 14B: Difusión de carga, Clip de carga
   • Opcional: Desactive el LoRA de grupo 14B para una generación de mayor calidad pero más larga.
2. Establecer valores en K Sampler
   • Si LoRA está desactivado, ajuste las muestras a 20 y CFG a 6.
   • Si LoRA está activado, ajuste las muestras a 4 y CFG a 1.
3. Añada una imagen de referencia (lo mejor es que el fondo sea de color sólido) y ajuste los valores del nodo Wan Vace para que coincidan con la resolución. Establezca el número de fotogramas (sugiero 49 para empezar)
4. Describa lo que ocurre en el clip positivo.
5. Para la versión de vídeo de referencia, añada un vídeo de control para guiar la acción - la duración debe ser la misma que la del clip deseado - no es necesario que la resolución coincida

Ahí lo tienen. Trabajaremos para que estos flujos de trabajo formen parte de una próxima versión, haciendo innecesarios estos pasos. Mientras tanto, disfruta experimentando con estos modelos. Asegúrate de cumplir sus condiciones y, si tienes preguntas o comentarios, escríbenos a http://discord.gg/intel en los hilos de ai-playground, o chatea conmigo en X @bobduffy or linkedin - Bob Duffy.