AI视频工具赛道越来越卷,各种升级令人应接不暇,尤其是Gen-2、Pika1.0、Stable Video Diffusion、和Magic Animate,它们正在成为用户最常用的视频生成产品,背后有强大的AI大模型支撑。
尽管目前的视频类大模型还达不到“用文字描述一个故事就能生成一部电影”这么高能,但已经能通过一系列提示词就能创作出一段生动的视频,还发展出图生视频等强大的多模态能力。
《元宇宙日报》测试了四大AI视频工具,希望能帮你快速上手体验。需要提醒的是,所有的工具输入提示词时最好使用英文,生成效果会比中文提示要好。在此,我们也希望国产的AI视频生成工具能快点赶上,创造出适合中文用户的好产品。
Runway Gen-2
Gen-2是第一款公开可用的文本生成视频工具,由Runway Research开发。它的相关功能,包括文本/图像转视频、视频风格化、图像拓展、一键扣除视频背景、抹除视频指定元素、训练特定AI模型等,可以说是目前最强的AI视频生成/编辑工具。
Gen-2的文本生视频功能相对Gen-1已经有了相当大的提升,这里可以看下输入“raccoon play snow ball fight in sunny snow Christmas playground”(浣熊在阳光明媚的雪地圣诞游乐场打雪仗)的生成效果。可以说,无论是画质还是构图,Gen-2都十分出色。但会出现遗漏关键词的问题,比如画面中没有体现出“圣诞”与“打雪仗”的效果。
就在前几天,Runway又上线了新功能“Motion Brush”(运动笔刷),我们只需在图像上涂抹一个区域,就能将静态的图像变为动态内容。“运动笔刷“的功能在操作上太友好了,选定一张图片,使用笔刷涂抹想要动起来的区域,再调试好想要大致的运动方向,静止的图片就可以根据预定动起来。
来看一下效果:
但目前,“运动笔刷”的功能也存在一些不足,比如适合缓慢的移动画面,无法生成类似车辆飞速行驶等快速移动的画面。此外,如果使用运动笔刷,涂抹外的区域都几乎保持静止,无法实现多个物体运动轨迹的微调。
目前,Runway免费账号只能生成4秒时长的视频,每秒需要消耗5个积分,最多可以生成31个视频,并且不能去除水印。如果你想要更高分辨率、无水印、时长更长的视频,那就需要付费升级一下你的账号。
此外,如果你想学习AI视频,可以试试Runway推出的电视频道Runway TV,这里24小时循环播放由AI制作的视频,通过这些AI视频,你或者还能寻找一些创意灵感。
网站定位:
https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2
Pika1.0
Pika1.0是Pika Labs发布的第一个正式版产品,这个实验室是由华人团队创办的AI技术初创公司。Pika1.0不仅能够生成3D动画、动漫、卡通和电影,甚至可以实现风格转换、幕布扩展、视频编辑等重磅能力。Pika1.0非常擅长制作动漫风格的画面,可生成电影效果的短视频。
Pika1.0最受网友欢迎的小工具当属“AI魔法棒”即局部修改功能。放在几个月前,这是AI绘画领域才刚刚拥有的能力,现在“局部修改”能够修改视频中所有背景、主体的局部特征,而且实现起来也很便捷,只需要三步:上传动态视频;在Pika的控制台内选择要修改的区域;输入提示词,告诉Pika你想用什么来代替它。
除了“局部修改”功能,Pika1.0将文生图工具Midjourney具备的“图像拓展”功能带到了视频界,这是视频AI生成工具的首次。不同于在抖音上被玩坏的“AI扩图”,Pika1.0的视频拓展相当靠谱,不仅画面自然,而且十分符合逻辑。
目前,Pika1.0支持用户免费体验,但需要申请试用名额。如果你还在排队的话,可以在官网选择Discord登陆看看。与Midjourney类似,用户需要在Discord进行云端创作,而且可以体验到文本-视频、图片-视频两大功能。
进入Pika1.0的Discord服务器后,点击Generat中的任意一个频道,输入“/”,选择“Create”,在弹出的prompt文本框中输入提示词即可。
与Gen-2相比,Pika1.0对提示词的理解更加到位,但在画质还不如Gen-2,这很可能是因为云创造的缘故,我们来看下效果:
如果用图片生成视频,则输入“/”后,选择“animate”,上传一张图片,输入提示词说明即可。
Pika1.0的图片-视频效果与Gen-2不相伯仲,看下效果:
网站定位:
https://pika.art/waitlist
Stable Video Diffusion
11月22日Stability AI发布了一个AI生成视频的开源项目:Stable Video Diffusion(SVD),Stability AI官方博客显示,全新SVD支持文本到视频、图像到视频生成,并且还支持物体从单视角到多视角的转化,也就是3D合成。生成效果不亚于Runway Gen2和Pika1.0。
目前有两种在线使用途径,一个是官方在replicate上发布的试玩demo,一个是新出的在线网站,两者均免费。
我们测试了第一种,因为它支持参数调整,操作也相对便捷:上传图片,调整帧数、画面纵横比、整体运动等参数即可。但美中不足的是,画面生成效果相对随机,需要不断调试来达到想要的效果。
看看效果:
Stable Video Diffusion目前只是基础模型,尚未产品化,但官方透露“正计划继续扩展,建立类似于Stable Diffusion的生态系统”,计划根据用户对安全和质量的反馈持续改进模型。
网站定位:试玩 demo 版和在线版
https://replicate.com/stability-ai/stable-video-diffusion
https://stable-video-diffusion.com/
Magic Animate
MagicAnimate是一种基于扩散模型的人像动画生成方法,旨在增强时间一致性、保持参考图像的真实性,并提高动画保真度,由新加坡国立大学Show Lab和字节跳动联合推出。
简单来说,给定一张参考图像和一个姿态序列(视频),它可以生成一个跟随姿态运动,并保持参考图像身份特征的动画视频。操作也是非常简单,同样只需三步:上传一张静态人物照片;上传想要生成的动作demo视频;调整参数。
MagicAnimate在GitHub中也给出了本地体验的方式感兴趣的小伙伴可以试试!
网站定位:
https://github.com/magic-research/magic-animate
本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:http://www.cnzhanzhang.com/3430.html