研究提出了一种全新的噪声扭曲算法,速度超快,能实时运行。它用光流场推导的扭曲噪声,取代随机的时序高斯噪声,同时保持了空间高斯性。由于算法高效, 能用扭曲噪声以极小的成本微调视频扩散基础模型 。
在数字视频创作的浪潮中,Netflix等行业巨头的新研究正在开启运动控制的全新篇章。由Stony Brook大学及其他机构的研究团队进行的这项创新研究,提出了一种名为噪声扭曲算法的全新方法,这一突破不仅深化了视频扩散生成技术的理解,也极大简化了运动控制的过程。
创新的视频扩散模型解决方案:提出一种简单新颖的方法,将运动控制转化为可用于噪声变形的流场,在潜在空间采样时能直接使用。它不仅能与任意视频扩散基础模型搭配,还可和其他控制方式协同使用。