Adobe 研究人员展示了 VideoGigaGAN 人工智能在提高低质量视频质量的同时保持高细节水平方面取得的进展

Adobe 研究人员展示了其 VideoGigaGAN 人工智能在提升低质量视频方面的最新进展。一旦开发完成，该人工智能就能生成高质量的视频，而无需进行昂贵的重新拍摄。Adobe 在先前工作的基础上进行了改进，减少了伪影和闪烁，同时保留了处理后视频的精细细节。

多年来，图像增强和超分辨率技术一直被用于提高低质量图片的质量和分辨率。一些索尼 Cybershot 相机使用其通过像素超分辨率技术通过使用参考图片数据数据库来提升低分辨率图像的分辨率，但受离散像素信息的限制，只能将图像的分辨率提升到原始尺寸的两到三倍。最近，生成对抗网络（GANs(GANs) 可将图像放大 8 倍甚至更多。

将此类技术应用于视频具有挑战性，因为会产生混叠和抖动。平滑图像细节可以消除这些问题，但代价是质量较差。VideoGigaGAN 使用了多种技术来解决这些限制，包括物体运动跟踪、图像模糊以及细节学习和重绘。不过，人工智能并不能很好地提升小文本或长视频片段的质量，因此还需要更多的研究。同时，读者可以使用顶级数码单反相机（如亚马逊上的这款）拍摄高质量视频，以避免不必要的升频。

技术细节

为了保持视频在帧与帧之间随时间流畅流动，在主 GAN 之前添加了流引导传播人工智能模块。它可以 "学习 "原始输入中物体在不同时间段的移动，从而在升频后的视频中应用相同的平滑移动。此外，GAN 中的上采样层还包含时间注意层，有助于保持帧的平滑过渡。

为了解决锯齿问题，帧会被推送到 GAN 中间的抗锯齿块，但遗憾的是，由于细节模糊，图像质量会下降。这将导致升频后的视频运动流畅、无锯齿，但图像细节模糊。VideoGigaGAN 通过引入一个高频穿梭器来解决这一问题，该穿梭器可从最初的 GAN 下采样层中提取精细细节，然后将其应用到上采样层中。多层图像处理的结果就是超分辨率视频，它具有高精细度，不会出现混叠或闪烁。