2024上半年AI视频生成领域重大进展：Sora隐身、快手可灵AI崛起

2.9K 0

2024年上半年，AI视频生成领域迎来了诸多突破。OpenAI发布的文生视频模型Sora虽未公开，但其影响力不容忽视。字节跳动旗下的即梦AI和快手的可灵AI相继推出新产品，吸引了广泛关注。此外，老牌AI视频生成企业如Runway也推出了重磅更新。本文将回顾这些重要进展，并展望未来的可能性。

Sora：引领视频生成技术创新

Sora作为OpenAI推出的全新文生视频模型，尽管尚未对公众开放，仅限少数业内人士试用，但它对全球AI视频生成技术的推动作用显著。在Sora之前，行业领先者如Runway、Pika Labs和谷歌的VideoPoet主要依赖于GAN和VAE模型。Sora则结合了扩散模型和Transformer模型，成为行业内的首次尝试。这种结合不仅提升了视频生成的质量，还解决了视频生成中的一致性、连贯性和物理合理性等问题。

快手可灵AI：高频更新引发全球关注

快手的可灵AI在2024年世界人工智能大会上展示了其最新的产品更新和数据。这款仅发布一个月的产品已经迅速扩展至Web端，新增了图生视频、视频续写、多尺寸选择等功能。数据显示，可灵AI上线一个月内累计申请用户超过50万，开通用户达到30万，生成视频数量达700万。可灵AI在真实风格场景上的表现尤为突出，许多AI生成的视频几乎难以与真人拍摄区分。此外，快手还宣布将推出首部AIGC短剧《山海》，进一步展示了其在AI视频生成领域的实力。

字节即梦AI：AIGC短剧开启新机遇

字节旗下的即梦AI在2024年上海国际电影节上推出了AIGC科幻短剧集《三星堆：未来启示录》。这部短剧完全由AI制作，融合了剧本创作、概念设计、图像到视频转换等多项AIGC技术。即梦AI支持文生视频和图生视频，提供智能画布、故事创作模式等多种功能。尽管最初的版本存在一些问题，但即梦AI的进步显著，现已能够生成高质量的AIGC短剧，预计未来将为普通用户提供更多的创作工具。

Runway：Gen-3更新震撼全场

老牌AI视频生成厂商Runway在今年6月发布了基于Gen-3模型的演示视频，其电影级的画面细节和自然的情感表达令人惊叹。Gen-3模型在人物面部细节和场景光影处理上表现出色，甚至不逊色于Sora。然而，Runway的会员费用较高，每月12美元的订阅费可能限制了部分用户的使用。尽管如此，Gen-3的演示效果依然赢得了广泛赞誉，显示出Runway在AI视频生成领域的强大实力。

Dream Machine：视频质量参差不齐

Luma AI推出的Dream Machine虽然在官方样片中展示了出色的光照变化和物理规律，但在实际用户体验中，视频质量波动较大，存在人物动作诡异、背景不协调等问题。Dream Machine提供了不同档次的付费选项，但对于普通用户来说，定价较高，可能更适合专业创作者。总体而言，Dream Machine仍有较大的改进空间。

AI视频生成的未来趋势

2024年上半年，AI视频生成领域取得了显著进展，视频生成长度、输入方式多元化和真实性都有了显著提升。例如，快手的视频续写功能支持最长3分钟的视频生成，远远超过了其他模型的极限。此外，AI视频生成模型现在能够更好地理解和预测物体运动，保持视频的时间和物理连贯性。展望未来，AI视频生成将继续在更多场景中得到应用，如广告、短视频、影视等，极大改变了内容创作的方式。