好文集ChatGPT Plus¥119

我给代码视频装了个加速器,4K渲染快了3.8倍

你让 Claude 做了一段视频。

画面有标题、有转场、有数据图表,浏览器里预览也挺流畅。你看了一遍,觉得第 8 秒的字有点小,让它改一下。

代码改完了。

然后,你又要等一遍导出。

等视频出来,发现第 12 秒的动画还是不太对,再改,再导出。一个 10 秒钟的小片段,想调整三四次,真正花时间的可能已经不是写代码,而是反复等待那条进度条。

这当然只是一个工作场景,不是说每个人都会遇到同样的速度问题。但如果你做过代码视频,应该很容易理解这种感觉。预览里只是改了一行字,电脑却要把整段视频重新算一遍。

我创建并开源了一个项目,叫 FrameVelo。它关注的就是这件事。

它不负责帮你想创意,也不负责写脚本。它做的事情藏在视频生产的末端,把已经写好的代码动画,尽可能快地变成 MP4。

听起来好像只是一个导出器。

但仔细看下去,会发现它碰到的,其实是 AI 视频工作流里一个很容易被忽略的问题。

当做出第一版的速度越来越快,我们还愿意花多少时间等着看第二版?

先说一下这里的代码视频是什么。

大家熟悉的视频,通常是拿相机拍摄,再把素材拖进剪辑软件。而代码视频的画面,可以由 HTML、CSS、Canvas、WebGL 或 React 这些技术描述出来。标题什么时候出现,图表怎么增长,镜头什么时候切换,都写在代码里。

HyperFrames 和 Remotion 都属于这类工作流。前者可以用网页技术制作视频,后者让开发者用 React 组织视频画面。

你可以把它想成一本会动的网页。我们写下规则,告诉浏览器每个时间点应该显示什么,再把这些画面一帧一帧导出,组成视频。

这类方法特别适合文字、图表、产品演示、信息卡片和动态图形。因为它们往往需要反复修改,而且很多内容可以参数化。

同一个视频模板,换一个标题、换一组数据,就能生成另一个版本。做知识讲解、课程内容、产品介绍,甚至批量生成不同语言的视频,都有想象空间。

当然,能批量生成,也会批量等待。

一段 10 秒、每秒 30 帧的视频,一共有 300 帧。渲染器得依次处理这些画面,再把它们编码成我们熟悉的视频文件。如果画面分辨率提高、动画更复杂,或者一个任务需要不断重做,等待时间就会慢慢堆起来。

文章配图

FrameVelo 想优化的,就是这 300 帧在电脑里走过的路。

项目 README 描述了一条常见的渲染路径。浏览器先把每一帧截成图片,图片传回 Node.js,再交给 FFmpeg 解码、转换颜色,最后编码成视频。

这条路很好理解,也有成熟工具可用。但每一帧都要经历截图、传递、解码和转换,画面数据在不同环节之间搬来搬去,就会产生额外开销。

FrameVelo 给出的方案是,尽量让画面留在 GPU 相关的处理路径中。

网页画面被绘制到 Canvas,随后交给浏览器的 WebCodecs 编码。环境支持时,编码可以使用硬件编码器,再由 FFmpeg 把视频码流和音频封装成 MP4。

文章配图

在支持硬件编码的环境中,画面经 Canvas 和编码后封装为 MP4。

你可以把它想象成一条搬运线。以前一件货物经过好几个工位,每到一站都要拆包、检查、重新打包。现在,FrameVelo 想缩短其中几次搬运,让它更直接地走到编码环节。

注意,这只是帮助理解的比喻。真实运行仍然取决于浏览器、项目类型、素材和硬件,不能把它理解成所有工作都在 GPU 上完成,更不能认为所有视频都会获得同样的加速。

那它到底快了多少?

这里可以看仓库里公开的测试结果。数据来自项目的基准测试,并非独立第三方评测。

在一段 10 秒的 GSAP 动效合成中,项目测试记录显示,在 4K 分辨率下,hyperframes render 用了 34.0 秒,FrameVelo 用了 9.1 秒,速度约为前者的 3.8 倍;在 1080p 下,两者分别用了 15.9 秒和 8.0 秒,速度约为 2 倍。那次 4K 测试中,CPU 时间约为对照方案的十九分之一,峰值内存低 76%。

测试环境是 Apple M3 Pro、18 GB 内存、chrome-headless-shell 154 和 HyperFrames 0.8.186,结果取 3 次运行的中位数。测试方法和项目逐项数据可以在仓库的基准测试文档里查看。

文章配图

数字很吸引人,但它只对应那组具体测试。它不是说你手里的每一个项目,都能直接快 3.8 倍。

同一份 README 还给了另一组数据。针对 24 个 HyperFrames 官方回归用例,项目测试记录显示其中 23 个与官方渲染结果的 PSNR 达到 40 dB 以上。整组用例合计快 1.6 倍,CPU 时间约为对照方案的 1/2.1,峰值内存低 49%。

PSNR 可以粗略理解为衡量两张画面像素差异的一种指标。数字越高,通常代表像素差异越小,但它不是一张「人眼完全看不出区别」的保证书。尤其涉及文字边缘、颜色、透明效果、音画同步时,最终还是要看成片。

这两组数字放在一起看,就有意思了。

单个动效场景可以跑出很高的倍数,换成一组不同的回归用例,整体收益会收敛。这恰恰提醒我们,速度从来不是一个脱离素材和环境的固定数字。

做纯文字动画,和做一段塞满实拍素材的视频,遇到的瓶颈并不一样。

项目文档也明确提到,以视频素材为主的 HyperFrames 项目,加速可能不如动态图形明显,因为每个新的视频帧都需要额外的渲染更新。多页面并行可以重叠一部分等待,但也会消耗更多内存。

所以,如果你主要在剪实拍、拼素材,别把它当成剪映或者专业剪辑软件的万能加速按钮。它更值得试一试的地方,是你已经有一个用代码构建的画面,导出和反复修改又恰好成了负担。

说到这里,可能有人会问,快是快了,画面会不会出错?

这个问题很实际。对创作者来说,视频快一分钟导出来,但字幕丢了、转场错了,前面的时间就白省了。

FrameVelo 的处理方式里,有一个我觉得很值得讲的设计。

在适用的 DOM 采集场景中,它会在编码前,把各区间的采样画面,用快速路径和浏览器原生截图做对比。如果某个区间的差异超过设定阈值,就把那个区间切回截图方式采集,再继续编码。

文章配图

适用的 DOM 区间采样差异过大时,改用截图采集。

也就是说,它没有把「必须一直使用最快路径」当成唯一目标。发现某段画面不够接近,就用更保守的方式处理那一段。

这个机制能降低部分画面不一致的风险,但它检查的是采样帧,不等于逐帧验证。项目设计文档还提到,包含 iframe 的页面会跳过这项预检,所以也不能说所有页面都经过相同的自动比对。项目还会用 ffprobe 检查输出文件,并先写临时文件,通过检查后再重命名。文件结构检查也不能代替人去看字幕、声音和转场。

速度和可靠性,都得放在同一张桌子上看。

再往前走一步,这个项目的另一个特点,是它没有试图从头重做 HyperFrames 和 Remotion。

对于 HyperFrames,项目说明中提到,字体、子合成、视频帧、着色器转场和音频混合等,仍然由官方的 @hyperframes/producer 管线处理。FrameVelo 主要替换的是画面采集和编码环节。

对于 Remotion,它也尽量沿用项目自己的打包、视频帧服务和音频混合,再接手逐帧驱动、画面采集和编码。仓库说明支持 Remotion 4,并列出了测试版本。

这个思路很好理解。一个视频框架里,最费心的事情不只是「把画面画出来」。字体、素材、时间线、音频,每一个环节都有自己的规则。如果为了提速把整套东西全部重写,速度问题可能解决了,兼容问题又冒出来一堆。

选择接在已有工作流后面,至少给使用者留下了一个比较清楚的试用方式。拿自己已有的项目,分别用原来的方式和 FrameVelo 导出,再比较画面、声音、文件大小和时间。

尤其是 Remotion 用户,需要稍微放平期待。

项目测试记录显示,在所测 Remotion 项目中,FrameVelo 的速度大约是原方案的 1.0 到 1.3 倍,CPU 时间和峰值内存的下降更明显。对某些任务来说,它的价值可能不是「瞬间快好几倍」,而是导出时电脑不用那么忙,可以把更多资源留给其他事情。

这也很合理。如果你只是偶尔导出一个短视频,原来的速度完全能接受,折腾新环境可能并不划算。要是你每天需要反复修改、多版本导出,或者机器一渲染就卡得没法干别的,那就有了对比的理由。

怎么开始试?

截至本文起草时,项目说明 FrameVelo 还没有发布到 npm,需要从 GitHub 安装。官方给 HyperFrames 项目的快速开始命令如下。

npm install -g github:gnipbao/framevelo @hyperframes/producer@0.8 @hyperframes/engine@0.8
framevelo browser install
framevelo doctor
framevelo render my-hyperframes-project/ -o film.mp4

这里的 my-hyperframes-project/ 要换成你自己的项目目录。前两个 HyperFrames 依赖是渲染 HyperFrames 项目时需要的,不是说所有类型的项目都必须装它们。

安装浏览器会下载 chrome-headless-shell。framevelo doctor 则会检查浏览器、编码器、FFmpeg 等环境。官方列出的要求包括 macOS 或 Windows、Node.js 22.18 及以上、PATH 中可用的 FFmpeg 和 FFprobe,以及 Chrome 151 及以上。

这些命令来自项目文档。不同电脑的浏览器、编码器和依赖环境可能不同,所以不能保证每台机器都能一次跑通。GitHub 上的代码和依赖也会更新,动手前最好再看一眼仓库的最新说明。

如果你用的是 Remotion,项目文档提供的命令大致是这样。

framevelo render my-remotion-project/ --composition MyComp -o out.mp4 --props '{"title":"Hello"}'

目录、合成名称和参数都需要换成自己的。Remotion 项目本身也要先装好依赖,项目自己的许可证照常适用。还有一个容易忽略的细节,FrameVelo 输出并标注 BT.709,而仓库说明 Remotion 默认颜色转换可能不同。做画面对比时,应该按官方说明统一颜色设置,再判断差异来自哪里。

如果你的素材只是普通网页,也不是随便打开一个动态网页就一定能导出。

它要求画面能够按时间定位。给定第 3 秒,程序要能直接画出第 3 秒的样子;再跳到第 1 秒,也能正确回去。项目支持通过 window.__framevelo、window.__seek 或指定的暂停 GSAP 时间线提供这样的时间驱动。

文章配图

那些依赖实时钟表、CSS transition 或 requestAnimationFrame 循环自然播放的页面,不能直接按这种方式随意定位,需要调整动画写法。

这有点像你要让一本翻页书支持直接翻到第 80 页。每一页的画面都得能找到,而不是必须从第 1 页开始慢慢播放,等它自己走到那里。

还有几个边界,也应该放在开始之前。

项目使用的 drawElementImage 仍是 Chrome 的 Origin Trial API,仓库提到它在不同 Chrome 版本中发生过接口变化。Windows 的编码能力取决于机器,H.264 没有可用硬件编码器时会回退到 Chrome 软件编码器,HEVC 则需要硬件编码器。Linux 目前在项目说明中只运行单元测试,不能直接等同于已经支持完整渲染。

硬件编码也不是免费的魔法。项目文档提到,编码器会和录屏、视频会议等应用共享,同等画质下可能需要比 x264 更高的码率,输出文件也可能更大。

所以最实际的办法,其实是拿你自己的一个小项目做对照。

挑一段包含文字、转场和你常用素材的短片,先用原来的方法导出一版,记下时间和文件大小。再用 FrameVelo 导出相同的片段,把两版放在一起看。重点看文字边缘、颜色、素材出现的时机、音画是否同步,以及最终文件是否符合你的交付要求。

如果画面和声音都能接受,再去测试完整视频。别一上来就拿最复杂的客户项目做第一次尝试。配置新环境、排查兼容问题本身也要花时间,一次性的短项目不一定能把这部分成本赚回来。

项目还提供了 framevelo mcp,把渲染、环境检查和浏览器安装封装成可供 Agent 调用的工具,也支持命令行输出 JSON。

这让它能接到 Codex、Claude Code 等工作流里。按项目描述,Agent 可以先检查环境,预览一小段,再渲染完整视频,拿到输出路径、耗时和警告。

但这里也有一条容易被忽略的线。

Agent 拿到「渲染成功」的结果,不代表视频已经适合发布。它可以知道文件生成了、程序没有报错,却不一定知道一句字幕挡住了人物的脸,或者一张图表在手机上小得看不清。

真正有用的闭环,应该是生成、预览、检查、修改,再生成。渲染速度快了,这个循环就更容易多走几次。但每一轮看什么、改什么,仍然需要创作者给出判断。

文章配图

生成、预览、检查、修改,进入下一轮创作循环。

所以我觉得,FrameVelo 最有意思的地方,不仅是它试图让一段代码视频导出得更快。

它提醒我们,创作效率不只是「第一版多久出来」。

第一版出来之后,你会不会愿意改?看到问题之后,能不能很快验证另一个想法?一个原本需要等很久的反馈,能不能变成一次顺手的尝试?

这些事情,最后都会影响作品的样子。

当然,一个加速器不会自动写出好脚本,也不会替你决定哪一秒应该停顿、哪张图该删掉。但如果它能在你的项目和设备上跑得稳定,它也许可以把一些等待的时间,还给真正需要思考的部分。

回到开头那条进度条。

它往前走得快一点,你能多做的,可能不是多导出几个文件。

开源项目地址:https://github.com/gnipbao/framevelo

如果这篇文章或者项目对你有帮助,欢迎点赞转发,也欢迎去 GitHub 点个 Star 支持一下猫哥!

全文完
查看原文

沿着这个主题继续读

从一篇文章,找到相关的教程、经验和阅读路径。

AI 视频制作AI 视频制作入门,从故事与分镜、运镜提示词到代码动效和自动剪辑。