admin管理员组

文章数量:1487745

Stable Diffusion用来生成视频

之前我曾经多次介绍过，可以一键生成视频的模型。包括能够有效解决视频闪烁的Rerender A Video模型

还有开源的CoDeF模型：

这些模型要不就是没有开源，要不就是有一定的上手难度。因此本期介绍简单易上手的Stable Video Diffusion。

它是由Stability AI发布的，一个基于图像模型稳定扩散的生成视频模型。

目前它已经提供了相应的模型和开源代码，普通人可以在20秒内简单上手。

Stability AI宣称，该视频模型可以轻松适应各种下游任务，包括通过对多视图数据集进行微调，或者从单个图像进行多视图合成。

稳定视频扩散以两种图像到视频模型的形式发布，能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25 帧。在不同模型对比来看，SVD模型比目前尚未开源的一些模型效果要好：

手把手教学

目前可以直接使用C solab尝试一下该模型生成的效果。可以登陆网站

点击下面任意一个代码链接Colab：

点击运行后，可以看到会生成一个网页链接：

打开网页后，就可以上传自己的图片进行视频转换了

下面我们来看看不同的类型这个模型能够转换的效果。

人物图片转换

在人物图片转换成视频可以看到，其像是转移了拍摄角度，且很好的保留原始图片的信息并做了额外背景的补全。

而在控制人物的表情方面，这个模型也能够有效的在细节上做控制。比如下面的这个视频，可以看到人物的眼睛有一个明显的上移。

风景图片转换

这里上传了一张蓝色汽车的图片。

从视频效果中可以看到，生成的效果使得汽车在运动，且车速较快，因为它的运动模糊效果很强烈。

这是一张描绘夜晚城市街道的图片，一辆银色的汽车停在路边。背景补全了不同视角的高楼大厦和霓虹灯牌。

动画图片转换

在动画风格的转换上，它能够很好的模拟出烟花的效果。比如上传的是一张静态的烟花图：

它则能够模拟出烟花的动画效果：

未来计划

目前仅仅开源了图片生成视频模型，但是未来将会把文本生成视频模型也一并开源。

目前可以加入到它的waitlist中尝试一下。

好了，以上就是本期的所有内容，我是leo，我们下期再见～

本文标签： Stable Diffusion用来生成视频

版权声明：本文标题：Stable Diffusion用来生成视频 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/shuma/1755034619a3182722.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。