FramePack เป็นเทคโนโลยีที่ช่วยให้การสร้างวิดีโอมีความยาวมากขึ้นได้โดยไม่ต้องใช้หน่วยความจำ (VRAM) เพิ่มขึ้นตามความยาวของวิดีโอ ซึ่งแตกต่างจากโมเดลสร้างวิดีโออื่นๆ ที่มักมีข้อจำกัดเรื่องนี้
หลักการทำงานง่ายๆ ของ FramePack:
- คาดการณ์เฟรมถัดไป: FramePack จะดูเฟรมก่อนหน้าในวิดีโอเพื่อคาดการณ์ว่าเฟรมต่อไปควรจะเป็นอย่างไร
- ใช้หน่วยความจำคงที่: ไม่ว่าวิดีโอจะสั้นหรือยาว FramePack จะใช้หน่วยความจำเท่าเดิมในการสร้าง ทำให้สร้างวิดีโอที่ยาวมากๆ ได้
- ทำงานร่วมกับโมเดลอื่นได้ (Plug-and-play): สามารถนำ FramePack ไปปรับใช้กับโมเดลสร้างวิดีโอที่มีอยู่แล้วได้ เช่น ComfyUI
- การจัดกลุ่มเฟรม (Frame packing): FramePack ให้ความสำคัญกับเฟรมล่าสุดมากกว่าเฟรมที่เก่ากว่า โดยจะลดความละเอียดของเฟรมที่อยู่ไกลออกไป เพื่อเน้นข้อมูลจากเฟรมที่ใกล้เคียงปัจจุบัน
- ลดความคลาดเคลื่อน (Anti-drifting sampling): เพื่อป้องกันความผิดพลาดที่อาจสะสมเมื่อสร้างเฟรมต่อๆ กันไป FramePack จะสร้างวิดีโอในลำดับย้อนกลับ โดยยึดเฟรมเริ่มต้นที่มีคุณภาพสูงเป็นหลัก
สรุปสั้นๆ: FramePack เป็นเทคโนโลยีที่ช่วยให้สร้างวิดีโอได้ยาวขึ้นโดยไม่เปลืองหน่วยความจำ ด้วยการจัดการเฟรมแบบชาญฉลาดและลดความผิดพลาดในการสร้างวิดีโอต่อเนื่อง
ทำให้เราสามารถใช้งาน Framepack ด้วยการ์ดจอราคาไม่แพงอย่าง เช่น RTX 3070 8GB หรือ RTX 4060 8GB ได้
ไม่มีการ์ดจอ? ไม่มีปัญหา
วันนี้ผมจะมาสอนการใช้ FramePack สำหรับผู้ที่สนใจแต่ไม่มีการ์ดจอ บน Google Colab
ต้นทุนคลิปละ 1บาท นิดๆ ใช้เวลาประมาณ 9-12 นาทีต่อคลิปยาว 5 วินาที
วิธีใช้งาน Framepack WebUI บน Google Colab
- สมัคร google colab pro ที่ https://colab.research.google.com/signup
- เข้าใช้งาน Framepack WebUI บน Google Colab มาที่ https://colab.research.google.com/github/poomshift/framepack-colab/blob/main/Framepack_WebUI_Colab.ipynb
หน้าตา Google colab
3. กด run ที่ 1 install framepack เพื่อติดตั้งโปรแกรมก่อน จนขึ้นคำว่า Complete
4. กดที่ 2 Run framepack WebUI ตรงนี้บางครั้งนานบางครั้งเร็วตอนดาวน์โหลดโมเดล จะมีลิงค์สีฟ้าตามในภาพ
5. เข้าโปรแกรมมาหน้าตาเป็นแบบนี้
1. ใส่ภาพที่ต้องการ
2. ใส่พรอมต์บรรยายการเคลื่อนไหวของภาพ
3. Use TeaCache ถ้าใช้จะเจนไวขึ้น ถ้าไม่ใช้คุณภาพจะดีกว่า ลองเทสกันดูนะครับ
4 ความยาวคลิปที่ต้องการ เริ่มต้นที่ 5วิ ยาวเท่าไหร่ก็ได้
6. เสร็จแล้ว
6. ใช้เสร็จอย่าลืมปิดเครื่อง
