Adobe สาธิตโมเดลอัปสเกลวีดีโอใหม่ VideoGigaGAN ภาพทั้งชัดและเป็นธรรมชาติกว่าโมเดลอื่น

นักวิจัยจาก Adobe ได้พัฒนาโมเดล AI สำหรับเพิ่มความละเอียดของวีดีโอเจนเนอเรชั่นใหม่ที่เรียกว่า VideoGigaGAN ซึ่งสามารถขยายขนาดวิดีโอได้สูงสุดถึง 8 เท่า Adobe อ้างว่า VideoGigaGAN นั้นเหนือกว่าวิธี Video Super Resolution (VSR) อื่นๆ เนื่องจากรายละเอียดที่เพิ่มขึ้นนั้นจะไม่มี "ความแปลกประหลาดของ AI" อยู่ในนั้น พูดง่ายๆก็คือความบิดเบี้ยวเล็กๆน้อยๆที่พอดูออกว่าเกิดจากการประมวลผลมาเพิ่ม ไม่ใช่ภาพต้นฉบับนั่นเอง

โมเดลขยายภาพนิ่งอย่าง Generative Adversarial Networks (GAN) มีประสิทธิภาพในการขยายขนาดภาพนิ่งให้มีความละเอียดสูงขึ้นอย่างเป็นธรรมชาติได้ดีในระดับหนึ่งแล้ว แต่จะมีปัญหากับวิดีโอซึ่งมีหลายภาพต่อเนื่องกัน โดยจะทำให้เกิดภาพสั่นและแปลกปลอมอื่นๆระหว่างเฟรม แม้ว่าถ้าหยุดภาพแล้วภาพที่ได้จะค่อนข้างสวยงาม ส่วนโมเดลขยายวีดีโออื่นๆสามารถหลีกเลี่ยงปัญหานี้ได้ จะได้การเคลื่อนไหวของภาพที่ไหลลื่นมากกว่า แต่ภาพที่ได้ในแต่ละเฟรมก็จะไม่ค่อยคมชัดแทน ดูภาพตัวอย่างทั้งหมดได้ที่

VideoGigaGAN มีจุดมุ่งหมายที่จะเอาข้อดีของทั้งสองวิธีมาไว้ในโมเดลเดียวนั่นเอง คือคุณภาพของภาพในแต่ละเฟรมของ GAN และความลื่นไหลระหว่างเฟรมในแบบโมเดลอื่นๆ Adobe ได้นำเสนอตัวอย่างผลงานของโมเดลในการเพิ่มขนาดเอาไว้ด้วย ดูภาพตัวอย่างทั้งหมดได้ที่ https://videogigagan.github.io

จากคลิปตัวอย่างรายละเอียดเล็กๆ น้อยๆ บางส่วนที่ Adobe ใช้สาธิตนั้น เป็นการประดิษฐ์ขึ้นทั้งหมด และรายละเอียดในคลิปดูเป็นธรรมชาติอย่างน่าประทับใจ แยกด้วยสายตาแทบไม่ออกว่าผ่านกระบวนการอัปสเกลให้ชัดขึ้นมา

ถึงแม้จะดูน่าประทับใจ แต่ทั้งหมดนี้ยังเป็นเพียงการแสดงตัวอย่างงานวิจัย จึงยังไม่มีการรับประกันว่า Adobe จะให้ VideoGigaGAN พร้อมใช้งานผ่านซอฟต์แวร์ Creative Cloud เช่น Premiere Pro ได้หรือไม่ และ Adobe ไม่ได้เป็นเจ้าเดียวที่กำลังพัฒนาในด้านนี้ ทั้ง Microsoft และ Nvidia ต่างก็กำลังพัฒนาเทคโนโลยีแบบเดียวกันอยู่เช่นกัน

ที่มา: https://www.theverge.com/2024/4/24/24138979/adobe-videogigagan-ai-video-upscaling-project-blurry-hd