คำแนะนำต่อไปนี้จะแนะนำคุณเกี่ยวกับขั้นตอนต่างๆ ที่จำเป็นในการอัปเดต ComfyUI สำหรับ AI Playground v2.5.5 ซึ่งจะทำให้คุณสามารถรันเวิร์กโฟลว์ Flux.1 Kontext [dev] หรือ Wan 2.1 VACE จาก ComfyUI ได้

เกี่ยวกับเวิร์กโฟลว์เหล่านี้

Flux.1 Kontext [dev] จาก Black Forest Labs คือโมเดลและเวิร์กโฟลว์การแก้ไขภาพอันล้ำสมัย ช่วยให้คุณแก้ไข ตกแต่ง และรวมภาพเข้าด้วยกันได้อย่างง่ายดาย เพียงบอกโมเดลว่าควรเปลี่ยนแปลงหรือทำอะไร ปัจจุบันโมเดลนี้เปิดตัวเป็นเวอร์ชันสำหรับนักพัฒนา ซึ่งหมายความว่ามีข้อจำกัดในการใช้งาน โปรดตรวจสอบ เงื่อนไข
See ตัวอย่าง

Wan 2.1 VACE จาก Alibaba เป็นโมเดลการสร้างวิดีโอคุณภาพสูงซึ่งคุณสามารถควบคุมวิธีการสร้างวิดีโอได้อย่างเต็มที่ โดยให้คุณใช้ทั้งภาพอ้างอิงและวิดีโออ้างอิงเพื่อควบคุมการสร้างได้
See ตัวอย่าง

เวิร์กโฟลว์ทั้งสองจำเป็นต้องใช้ ComfyUI เวอร์ชันใหม่กว่าที่ AI Playground ติดตั้งไว้ตามค่าเริ่มต้น ทำตามคำแนะนำเหล่านี้เพื่อเรียกใช้โมเดลและเวิร์กโฟลว์ใหม่เหล่านี้ใน ComfyUI ได้ Flux.1 Kontext สามารถเรียกใช้งานได้โดยตรงใน AI Playground อย่างไรก็ตาม คุณต้องติดตั้งโมเดลด้วยตนเอง เรากำลังพิจารณาเพิ่มโมเดลเหล่านี้สำหรับเวอร์ชันในอนาคต ซึ่ง AI Playground จะดูแลทุกอย่างที่จำเป็นสำหรับการเรียกใช้งานสำหรับการติดตั้งและการสร้าง สำหรับผู้ที่สนใจใช้งานโมเดลเหล่านี้ เราได้ให้คำแนะนำในการติดตั้งไว้แล้ว โปรดทราบว่าหากคุณจำเป็นต้องติดตั้ง ComfyUI ใหม่ผ่าน AI Playground ในภายหลัง ระบบจะลบโมเดลและโหนดที่กำหนดเองที่ติดตั้งไว้ ขอแนะนำให้สำรองข้อมูลโมเดล ComfyUI และโฟลเดอร์ custom_nodes

คำแนะนำ

ขั้นตอนที่ 1: อัปเดต ComfyUI:

เวิร์กโฟลว์ทั้งสองต้องมีการอัปเดต ComfyUI นี่เป็นขั้นตอนแรกในการเรียกใช้ฟีเจอร์เหล่านี้

• ติดตั้ง AI Playground โดยไม่ต้องใช้ ComfyUI
• ภายใต้การตั้งค่าพื้นฐาน เลือกตัวจัดการส่วนประกอบแบ็กเอนด์
• ที่ด้านขวาสุดของแถว ComfyUI ให้เลือกไอคอนรูปเฟือง แล้วเลือกการตั้งค่า ตั้งค่าเวอร์ชันเป็น "v0.3.43"
• คลิกการดำเนินการเพื่อติดตั้ง ComfyUI
  • การแก้ไขเวิร์กโฟลว์ – โปรดทราบว่าเวอร์ชันใหม่นี้จำเป็นต้องเปลี่ยนแปลงเวิร์กโฟลว์การแปลงรูปภาพเป็นวิดีโอของ LTX-Video โดยต้องเพิ่ม "ความแข็งแกร่ง: 1.0" ให้กับโหนด LTXVImgToVideo ดาวน์โหลด เวอร์ชันอัปเดตนี้และวางไว้ในโฟลเดอร์ [ตำแหน่งการติดตั้ง]/AI Playground/resources/workflows เพื่อแก้ไข
• หลังจากติดตั้งแล้วให้รีสตาร์ท AI Playground
• เปิด AI Playground จากนั้นกด CTRL SHIFT I เพื่อดูหน้าต่างคอนโซล – รอจนกว่างานทั้งหมดจะเสร็จสมบูรณ์

ขั้นตอนที่ 2a: FLUX.1 บริบท:

ไม่ต้องใช้แพ็กเกจเพิ่มเติม เพียงตั้งค่าเวิร์กโฟลว์ตามที่อธิบายไว้และรันใน ComfyUI ทดสอบบน Intel Core Ultra 200V

1. เปิด AI Playground กด CTRL SHIFT I เพื่อดูคอนโซล – รอให้ทุกงานเสร็จสิ้น
2. เปิด ComfyUI ในเว็บเบราว์เซอร์ที่ localhost:49000
3. ในเมนู เลือก ใหม่, เวิร์กโฟลว์, เรียกดูเทมเพลต, FLUX, Flux Kontext Dev (พื้นฐาน) – หมายเหตุ รุ่นนี้จำกัดการใช้งานเพื่อวัตถุประสงค์ในการพัฒนาและการวิจัยเท่านั้น
4. เวิร์กโฟลว์จะบอกคุณว่ามีโมเดลที่ขาดหายไป ติดตั้งโมเดลทั้งหมด
5. หลังจากดาวน์โหลดโมเดลแล้ว ให้ย้ายโมเดลดังต่อไปนี้:
   • flux1-dev-kontext_fp8_scaled.safetensors TO [ตำแหน่งการติดตั้ง AI Playground]/AI Playground/resources/ComfyUI/models/diffusion_models/
   • ae.safetensor TO [ตำแหน่งการติดตั้ง AI Playground]/AI Playground/resources/ComfyUI/models/vae/
   •  clip_l.safetensors, t5xxl_fp16.safetensors และ t5xxl_fp8_e4m3fn_scaledsafetensors TO [ตำแหน่งการติดตั้ง AI Playground]/AI Playground/resources/ComfyUI/models/text_encoders/
6. รีเฟรชเบราว์เซอร์ของคุณที่มี ComfyUI แล้วโหลดรูปภาพอ้างอิงเพื่อแก้ไขโดยใช้ Load Image Node
7. ในโหนด Positive Prompt Clip ให้บรรยายว่าภาพควรเปลี่ยนแปลงอย่างไร เช่น บรรยายสไตล์ (อนิเมะ) หรือบรรยายว่าควรลบหรือเพิ่มอะไรในภาพ บรรยายว่าเป็นเวลาอื่นของวันหรือไม่ หรือตัวละครในภาพควรเป็นคนละคน เช่น สร้างซอมบี้ เป็นต้น

ตัวอย่างเวิร์กโฟลว์: ดาวน์โหลดแล้วลากเข้าสู่ ComfyUI

• • แก้ไข/เปลี่ยนรูปภาพ (ดาวน์โหลดเวิร์กโฟลว์)
  • รวมภาพสองภาพเข้าด้วยกัน (ดาวน์โหลดเวิร์กโฟลว์)

ขั้นตอนที่ 2b: เรียกใช้ FLUX.1 Kontext ใน AI Playground:

วิธีนี้จะช่วยให้คุณใช้ AI Playground เป็นส่วนหน้าสำหรับการแก้ไขรูปภาพ Flux Kontext ได้ อย่างไรก็ตาม คุณต้องติดตั้งโมเดลใน ComfyUI ด้วยตนเองก่อนโดยใช้ขั้นตอนที่ 2a เมื่อติดตั้ง JSON เวิร์กโฟลว์ด้านล่างนี้เสร็จแล้ว คุณจะสามารถเรียกใช้งานโมเดลนี้จาก AI Playground ได้โดยตรง

1. ดาวน์โหลดนี้ เวิร์กโฟลว์ AI Playground (json)และวางสิ่งนี้ไว้ใน [ตำแหน่งการติดตั้ง AI Playground]/AI Playground/resources/workflows
2. เริ่มต้น AI Playground
3. ไปที่การตั้งค่า แท็บรูปภาพ เลือกเวิร์กโฟลว์ จากนั้นเลือก Flux-Kontext1
4. ตรวจสอบให้แน่ใจว่าได้ตั้งค่าขั้นตอนเป็น 20 และกำหนดจำนวนรูปภาพเป็น 1
   (จากประสบการณ์ของฉัน การเปลี่ยนแปลงเล็กๆ น้อยๆ เช่น ถอดถ้วยกาแฟออก เพิ่มหนวด หรือใส่แว่นกันแดด อาจไม่ต้องทำตามขั้นตอนมากมาย ลองลดขั้นตอนลงดู การเปลี่ยนแปลงเล็กๆ น้อยๆ ของฉันดูคล้ายกับ 4 ขั้นตอนและ 20 ขั้นตอน)
5. โหลดรูปภาพลงในช่องรูปภาพ
6. ในคำเตือนบนแท็บสร้าง ให้อธิบายสิ่งที่คุณต้องการเปลี่ยนแปลงเกี่ยวกับรูปภาพ จากนั้นสร้าง
   (การสร้างจะช้ากว่าเมื่อเทียบกับ Flux Schnell แต่คุณจะควบคุมได้มากขึ้น ซึ่งอาจต้องใช้การวนซ้ำน้อยลง)

ขั้นตอนที่ 3 Wan 2.1 VACE

โซลูชันนี้ต้องการแพ็คเกจและรุ่นเพิ่มเติมนอกเหนือจากการอัปเดต ComfyUI เวิร์กโฟลว์นี้ได้รับการทดสอบบน Intel Arc A770

โคลนโหนด GGUF (อาจจำเป็นต้องลบและอัปเดตโหนด GGUF ที่ล้าสมัย)

1. เปิดไดเร็กทอรี [ตำแหน่งการติดตั้ง AI Playground]/AI Playground/resources /ComfyUI/custom_nodes
2. ไปที่แถบชื่อเรื่องของหน้าต่างนี้และพิมพ์ CMD เพื่อเปิดหน้าต่าง Command ที่ตำแหน่งนี้
3. ในหน้าต่าง CMD ให้รันสิ่งเหล่านี้: (วางแต่ละบรรทัดแล้วกด Enter รอจนเสร็จแล้วทำแบบเดียวกันกับบรรทัดถัดไป)
   • git โคลน https://github.com/city96/ComfyUI-GGUF
   • git โคลน https://github.com/โคซินกาดิงค์/คอมฟี่ยูไอ-วิดีโอเฮลเปอร์สวีท
   • git โคลน https://github.com/Fannovel16/คอมฟี่ยูไอคอนโทรลเน็ตออกซ์

ติดตั้ง Node Depedencies

1. เปิดไดเร็กทอรี [ตำแหน่งการติดตั้ง AI Playground]/ AI Playground\resources\comfyui-เอนวีแบบแบ็กเอนด์
2. ไปที่แถบชื่อเรื่องของหน้าต่างนี้และพิมพ์ CMD เพื่อเปิดหน้าต่าง Command ที่ตำแหน่งนี้
3. ในหน้าต่าง CMD ให้รันสิ่งเหล่านี้: (วางแต่ละบรรทัดแล้วกด Enter รอจนเสร็จแล้วทำแบบเดียวกันกับบรรทัดถัดไป)
   • python -s -m pip ติดตั้ง -r ..\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt
   • python -s -m pip ติดตั้ง -r ..\ComfyUI\custom_nodes\ComfyUI-VideoHelperSuite\requirements.txt
   • python -s -m pip ติดตั้ง -r ..\ComfyUI\custom_nodes\สบายui_controlnet_aux\requirements.txt

ดาวน์โหลดโมเดล GGUF เหล่านี้

• ดาวน์โหลด Wan2.1 14B VACE-Q8_0.gguf ย้ายไปที่ ComfyUI/models/unet
• ดาวน์โหลด umt5-xxl-encoder-Q4_K_M.gguf ย้ายไปที่ ComfyUI/models/text_encoders
• ดาวน์โหลด Wan21_CausVid_14B_T2V_lora_rank32.ตัวป้องกัน ย้ายไปที่ ComfyUI/models//loras
• ดาวน์โหลด wan_2.1_vae.เซฟเทนเซอร์ ย้ายไปที่ ComfyUI/models/vae

ตั้งค่าเวิร์กโฟลว์

1. เปิด AI Playground กด CTRL SHIFT I เพื่อดูคอนโซล – รอให้ทุกงานเสร็จสิ้น
2. เริ่ม AI Playground ใหม่อีกครั้ง กด CTRL SHIFT I เพื่อดูคอนโซล – รอให้ทุกงานเสร็จสิ้น
3. เปิดเบราว์เซอร์ไปที่โฮสต์ท้องถิ่น: 49000
4. ดาวน์โหลดเวิร์กโฟลว์ใด ๆ เหล่านี้แล้วลากไปที่ ComfyUI
   • ภาพเป็นวิดีโอด้วย LoRA บน (ดาวน์โหลดเวิร์กโฟลว์)
   • วิดีโออ้างอิงสำหรับการควบคุม (ดาวน์โหลดเวิร์กโฟลว์)

หมายเหตุเกี่ยวกับการวิ่ง

1. โหนดต่อไปนี้ควรปิด/สีชมพู (หากต้องการเปิดหรือปิดโหนด ให้เลือกโหนดและพิมพ์ CTRL B)
   • โหนด 3B: การแพร่กระจายโหลด, คลิปโหลด, โหลด Lora
   • โหนด 14B: การกระจายโหลด, คลิปโหลด
   • ทางเลือก: ปิด 14B Group LoRA เพื่อคุณภาพที่สูงขึ้นแต่การผลิตที่ยาวนานขึ้น
2. ตั้งค่าใน K Sampler
   • หาก LoRA ปิดอยู่ ให้ตั้งค่าตัวอย่างเป็น 20 และ CFG เป็น 6
   • หาก LoRA เปิดอยู่ ให้ตั้งค่าตัวอย่างเป็น 4 และ CFG เป็น 1
3. เพิ่มรูปภาพอ้างอิง (พื้นหลังที่ดีที่สุดคือสีทึบ) และตั้งค่าโหนด Wan Vace ให้ตรงกับความละเอียด ตั้งค่าจำนวนเฟรม (แนะนำ 49 เฟรมสำหรับเริ่มต้น)
4. อธิบายสิ่งที่เกิดขึ้นในคำกระตุ้นคลิปเชิงบวก
5. สำหรับเวอร์ชันวิดีโออ้างอิง ให้เพิ่มวิดีโอควบคุมเพื่อแนะนำการดำเนินการ โดยความยาวควรเท่ากับความยาวคลิปที่ต้องการ ความละเอียดไม่จำเป็นต้องตรงกัน

เท่านี้ก็เรียบร้อย เราจะพยายามทำให้เวิร์กโฟลว์เหล่านี้เป็นส่วนหนึ่งของเวอร์ชันที่จะออกเร็วๆ นี้ ซึ่งจะทำให้ขั้นตอนเหล่านี้ไม่จำเป็นอีกต่อไป ระหว่างนี้ ขอให้สนุกกับการทดลองใช้โมเดลเหล่านี้ อย่าลืมปฏิบัติตามข้อกำหนด และหากมีคำถามหรือข้อเสนอแนะ โปรดติดต่อเราได้ที่ http://discord.gg/intel ในกระทู้ ai-playground หรือแชทกับฉันที่ X @bobduffy or linkedin – บ็อบ ดัฟฟี่.