好文集ChatGPT Plus¥119

如何使用 AI 在 Blender 中做视频呢?

文章目录

大家有没有发现这样一个现象:不管是ChatGPT 还是Claude,他们的新模型Astra 或是 Opus5.5 都越来越注重3D类能力的发展?

以往我们学习Blender建模、渲染需要耗费很长的时间和精力,可能很多人学到一半就放弃了,但现在有了AI 加持,是否能为我们带来某种意义上的技术平权呢?

我猜肯定会有人问为什么不直接用 Seedance或者H3等视频生成模型做视频呢?我的答案是等你自己制作了你才会明白 3D 的乐趣

所以,我才有了这一次大胆的尝试

先放我制作的成片,由于电脑显存太小(GTX1650 4G),无法渲染制作更高精度、更逼真的效果,如果你的电脑性能更强,按照我的制作流程走一遍,做出来的效果肯定会比我的更棒

嵌入推文(联网查看)

我把总流程图画了出来:

文章配图

我最初的设计就是制作一段蜘蛛侠从楼顶跑出、下坠,再射丝摆荡的 CG,那其中人物建模、城市建模还有人物动作怎么用 AI 搞定呢?

01|Hi3D Agent:文字打造城市模型

先来介绍一下 Hi3D Agent,这是一款用于AI建模的Agent,和以往的AI建模软件不同的是,他无需你上传图片,仅通过对话即可生成高精度模型,而且内置了 GPT6 Astra 和 Opus5.5 模型,最后的建模效果令我惊艳

仅仅一句提示词,两个小时就可以生成一片城市群模型,你把你想要的场景要求写清楚即可

文章配图

生成以后,打开模型预览,从不同角度看建筑和道路的布局。需要单独处理的建筑,也可以作为独立模型准备

Hi3D 中的城市街区预览

文章配图

确认场景后,导出 GLB,后面和角色一起导入 Blender。到这里,蜘蛛侠活动的空间就有了

02|Sketchfab:挑一个带骨架的人物角色

Sketchfab 在这次流程里提供角色模型。我搜索了 spiderman,挑选外观合适的蜘蛛侠,除了看造型,我还会确认模型是否带骨架。后面要让角色跑步、下坠、摆荡,有骨架才能继续做动作映射

视频中选用的蜘蛛侠模型

文章配图

下载模型后,把角色和相关文件放进项目目录,再让 Codex 导入 Blender,检查网格、材质和骨架,调整到场景里合适的大小和位置

角色放好以后,就可以围绕这个起点安排后面的动作

03|Mixamo:把需要的动作找出来

Mixamo 提供大量的角色动作素材,跑步、跳跃、下坠、摆荡这些片段,可以先找到合适的基础动作,再放到 Blender 里组合

先按镜头拆动作:我的镜头从楼顶出发,因此先找跑步和跃出的动作,再找下坠、摆荡,以及后面的翻转动作

视频里搜索的是 swing,可以直接预览候选动作。Start Swinging、Swing To Land 就在这次制作中用到了。

搜索 swing,预览动作,再挑选适合镜头的片段

文章配图

选的时候,除了看动作本身,也要看开头和结尾的姿态,方便后面把不同片段接起来。选好后下载动作文件,放进本地动作库

我已经有一套本地 Mixamo 动作库,就先让 Codex 整理动作名称、别名、分类、来源和文件路径,之后可以直接让它找,这样我负责选择想要的动作效果,Codex 根据索引找到实际文件,再导入工程

04|Codex Astra:通过 MCP 在 Blender 中操作

前面准备好了场景、角色和动作,接下来由 Codex 把它们放到同一个 Blender 工程里

这里用到的是 Blender MCP,Codex 侧运行 MCP 服务,Blender 内安装并启动接收指令的插件,两边连上以后,Codex 就能读取场景、执行 Blender Python

连上以后,怎么指挥它?

先让 Codex 读取当前场景,确认能找到人物、建筑和骨架。然后把素材路径和想做的动作告诉它,逐步安排导入、摆放和动画

例如把蜘蛛侠移动到房顶,会对应到工程里的人物对象和位置

文章配图

实际操作时,Codex 通过场景查询工具读取对象,再用 Blender 的 bpy 接口修改工程。素材导入、人物摆放、关键帧和约束,都可以在这一步完成

我会把动作要求说具体:哪只手射丝,什么时候抬手,头看向哪里,松手以后接什么动作。Codex 按要求执行,我在 Blender 里播放预览,再决定下一步

05|Rokoko:让蜘蛛侠用上 Mixamo 的动作

Mixamo 的动作带着自己的骨架数据,蜘蛛侠模型也有一套骨架。Rokoko 在这里做的是动作重定向:建立两套骨架的对应关系,把源动作传给蜘蛛侠。

这次使用的是Blender中的插件 Rokoko ,你可以让Codex帮你下载安装调用

从源动作到角色动画

在 Blender 中准备好动作的源骨架和蜘蛛侠的目标骨架,建立骨骼映射,再执行重定向。完成后,动作会保留为可编辑的 Action,继续放到时间线上安排

先把每个动作完整映射好,再确定它在镜头中的起止时间。跑步、下坠、摆荡和翻转,就可以按镜头顺序接起来

再加上蛛丝和移动轨迹

基础动作负责身体姿态,人物在城市里沿什么路线移动、蛛丝连向哪里,还需要继续安排

我让 Codex 配合设置人物轨迹、射丝时刻、手腕出丝的位置和松手时间。这样,角色的身体动作就能和蛛丝摆荡一起播放

制作过程中的关键帧预览:把下坠、伸手和摆荡接成一段动作

文章配图

06|Blender:设计镜头,渲染成片

场景、人物和动作都在工程里以后,我先用白模预览设计镜头机位,怎么拍由你自由发挥

文章配图

白模下主要看人物在画面里的位置、和建筑的距离,以及摄影机怎样跟随动作。镜头由我自己设计,再让 Codex 配合调整工程。

在白模预览里安排镜头和动作

文章配图

镜头确定后,再检查材质、灯光和渲染设置,进入正式输出。这次先用 Cycles 渲染图片序列,再用 FFmpeg 合成 1080p、30fps 的视频

最终我的效果不算是渲染,因为真实渲染的话可能得需要接近四十个小时,这里只提供工作流程和方法,当然Opus5.5 制作效果可能会更好,希望可以帮助到大家制作自己喜爱的片子,期待大家的反馈!

全文完
查看原文

沿着这个主题继续读

从一篇文章,找到相关的教程、经验和阅读路径。

AI 视频制作AI 视频制作入门,从故事与分镜、运镜提示词到代码动效和自动剪辑。