Sora-零帕网

OpenAI进一步推出了其文生视频的模型Sora，再次引起了轰动。Sora不仅支持最大支持60秒高保真视频生成，而且支持短视频前后扩展，即保持视频连续，并扩展时长。而就在不久前，RunWay、PiKa 还有Midjourney， 它们发布的文生视频模型仅支持2~3秒，即使这样他们的成功已经使我们感到震惊，因为就在我毕业的时候那是还是GAN模型大行其道。这次可以说，Sora硬生生的将RunWay、PiKa等采用Diffusion Model实现的文生视频模型按在地上进行摩擦。当前，视频广告、电商营

从Sora模型看文生视频的技术路径：技术路径尚未收敛，Transformer扩展特性优势凸显。市场大多认为扩散模型是图像和视频生成领域的主流路径，但没有重视Transformer架构scale up的能力。OpenAI技术报告指出，Sora是基于扩散模型，但更强调，Sora是一个基于Transformer架构的扩散模型，其优秀的生成能力离不开Transformer架构优秀的scaling特性。当前，为构建性能更优、效率更高的视频生成模型，已出现多种结合Diffusion Model和Transf

目前除OpenAI之外，谷歌、字节跳动等厂商均已推出具备文生视频能力的多模态模型。基于对Stable Video Diffusion、谷歌W.A.L.T以及其它文生视频模型的分析，我们认为高质量数据以及底层通用大模型是文生视频能力的重要决定因素，随着Transformer架构的引入，以及3D建模领域模型的迭代，2024年文生视频有望在时间长度、画面清晰度、内容逼真程度等方面实现显著迭代，打开商业化应用空间。

OpenAI 发布 Sora，大模型更进一步。根据 OpenAI 官网，OpenAI 于近日发布了文生视频大模型 Sora，该模型根据寥寥几句提示词，就可以生成 60s 的连贯视频； Sora 除了具备根据文本生成视频的能力之外，还具备复杂的场景和角色生成能力、深入的语言理解能力、多镜头生成能力、从静态图像生成视频的能力以及一定的物理世界模拟能力。Sorta 模型的推出显示了大模型的巨大潜力，也对算力的需求和性能提出了更高的要求，半导体行业又迎来了新一轮的增长曲线。

全球算力架构升级战已打响。英伟达架构持续升级，升级迭代速度明显加快，平均两年架构升级，我们判断目的是维持在GPU霸主地位， 根据新浪财经报道，B100将于2024年第三季度开始量产，部分早期样品将于明年第二季度出货。 而我们认为英伟达Tensor Core专为AI而生，目前其Hopper架构已经为第四代，Hopper架构超强性能，可加速所有精度，性能领先，应用广泛，我们判断其广泛应用于训练市场。AMD奋起直追，欲挑战英伟达龙头地位，第三代Instinct MI300系列性能优异，满足生成式AI强

文本生成视频：Sora能够根据用户提供的文本描述生成长达60S的视频。深化语言理解：利用GPT技术将简短的用户提示转换为更长的详细转译，并将其发送到视频模型。图片生成能力：Sora可以根据用户需求，生成可变大小的图像，最高可达惊人的2048 × 2048分辨率。新的模拟能力：Sora具有3D一致性、较长视频的连贯性和对象持续性，能与世界互动，模拟数字世界。