好文集ChatGPT Plus¥119

handdraw-video 重磅更新,运镜、动画、转场来袭,字幕、画面全面升级

文章目录

部分视频或图片暂未收录,已在正文保留提示;需要时可查看原文。查看原文 ↗

sweety-handdraw-video(又称 handdraw-video,中文名“手绘口播”)是一个开源(MIT 许可)的 AI 手绘视频生成 Skill,运行在 Claude Code 和 Codex 中。输入一个主题、一篇文章或一个完整故事,它会写口播稿、设计分镜、生成插画,再在本地逐笔描线、上色、按笔顺手写中文、配音并对齐字幕,导出边画边讲的 MP4 视频。2.0 是 1.x 之后的首个大版本,当前安装包版本为 v2.0.2(2026 年 10 月 28 日发布)。2.0 更新要点运镜:10 种命名运镜,最高 3 倍推近,支持视差和希区柯克变焦;渲染前自动做取景检查,书写过程不会跑出画面。 转场:从 4 种增至 22 种,包括翻页、撕纸、橡皮擦、墨晕、立方体等。 动效层:14 种,包括大字、手绘图表、地图航线、物理、三维和手写公式。 字幕:按词换行、默认单行。同一部 11 分钟的片子里,被平台底部界面遮挡的字幕从 247 条降到 0 条。 绘制:同样 6 幅插画,最短绘制时间平均从 16.9 秒降到 8.2 秒;上色从整块“盖章”变成逐笔涂上。 声音:加入笔声和转场音效,配音句尾不再被截断或带杂音。 安装:npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes

非常感谢大家对 handdraw-video 这个项目的喜欢,v1.0 发布以后,在很多地方都看到了它的身影和由它产出的作品。

做这个项目的契机是,随着 opus5.5 的发布,整个 AI 届迎来了基于建模和代码创作视频的热潮,opus5.5 以其强大的代码、建模能力,配合极低的价格、推理的速度,很快就成为了这个领域最火热的全明星,没有之一。

与此同时,国内外四大自媒体平台,正在同时把海量流量和真金白银砸向这个赛道,用 AI 讲知识的视频。

在这样的背景下,诞生了很多优秀的制作开源仓库,如:lemo-opuscar、huashu-art-motion 等,同时 ChatGPT(CodeX) 因为一些原因则逐渐失去信任。但,毕竟用上 Claude 对很多人来说并不容易,那能不能有一款对 CodeX 友好的视频生产工具也可以达到很好的效果呢,如果它存在,它就可以服务更多的人。

答案是肯定的,CodeX 有它独有的优势,即出图和绘制,基于此我决定做手绘 + 口播这个方向的视频生成,经过一段时间的调试开发,很快迎来它的 v1.0 版本。

给它一个主题、一篇文章或完整故事,它就可以一键帮你做成边画边讲的有声视频。它由 Agent 规划内容、设计分镜和生成插画,再通过本地工具完成逐笔描线、填色、声画对齐与 MP4 导出。

它的核心特点是:

  • 自研绘制引擎,拥有无限接近真实人类绘制的过程;

  • AI 导演,帮你搞定剧本、台词设计,5s 黄金开头等;

  • 极致听感,借助强大的 VoiceStudio + VoxCPM 2 的组合,我们实现了高度拟人化的配音;

  • CodeX 友好,在 CodeX 中的效果极佳。

嵌入推文(联网查看)

嵌入推文(联网查看)

如今,很高兴的宣布,这个项目迎来了它的 2.0 版本,不仅解决大家使用过程中遇到的大部分问题,还对内容表现进行了全方位的升级,让整个视频更加的专业,主要包含以下更新:

  • 增加了运镜、转场、动效、音效等等特效,内容表达能力全面提升;

  • 字幕全面升级,如今的字幕达到专业级别,视觉做了提升,节奏进行了校准;

  • 画面太空、笔划毛边、中英文混编发音不准等等 bug 修复;

  • 正式支持 WorkBuddy,并针对性的做了特殊优化;

  • codex 效果调试最佳,支持一键直出,不再依赖选项;

  • opus5.5 版本支持(目前依赖 codex cli 的生图),opus5.5 版本将会产出更加惊艳、丝滑的效果。

效果概览,同一部片子的 1.0 和 2.0

《天涯 2027》是我用 1.4 做的一部 11 分钟的片子。下面左边是当时的成片,右边是用 2.0 重建的版本:同一套插画、同一条配音、同一份分镜内容。

媒体暂未收录,可在原文中查看

《天涯 2027》1.42.0第一个看得清的画面出现在5.0 秒2.4 秒镜头23 页都不动,固定 1.3 倍23 页都有推、拉、平移、跳切换页转场22 次全是同一种横移用了 11 种:撕纸、翻页、马克笔扫过、立方体、穿越……字幕被平台底部界面挡住247 条全部0 条(共 407 条)单行字幕62%100%整片渲染(11 分钟成片,同一台 Mac)约 12 分钟3 分 42 秒

一、画:干净、有条理,像人在上色

1.0 的问题

  • 线条有毛刺:深色区域的边缘会被当成墨线描出来,衣服和头发周围满是小墨点。

  • 笔尖乱跳:画完左边画右边,再跳回左边。

  • 颜色一块一块地出现:模型给每个部位画的范围是方框,上色又按部位来,一整块连续的颜色被切成好几个矩形,一个矩形一个矩形地"盖"上去。

  • 图越大画得越慢:为了赶上口播,只好把图画小。

2.0 怎么做

  • 线条:只描真正的线条,比旁边更暗、又接近整幅画的墨色;零散的小墨点留给上色阶段处理。

  • 顺序:先画完一个物体,再画下一个;物体内部先画外轮廓,再画从已有线条上长出来的线。

  • 上色像人:墨线围住的一整块颜色,整块交给一个部位,不再按方框切开; 先沿内侧描一圈边,再斜着排笔; 刚涂上去的颜色带马克笔的纹理,半透明,随后才"干透"成最终颜色。

  • 大小和时间脱钩:笔画和时间在不超过 720 像素的尺寸上规划,再按屏幕上的大小清晰重绘。图可以画得很大,而不会因此画得更慢。

同一幅图,左边用 1.4 的引擎画,右边用 2.0(1.5 倍速播放):

媒体暂未收录,可在原文中查看

我拿《天涯》里的 6 幅插画,在同样 540 像素宽度下,分别用 1.4 和 2.0 的引擎画一遍:

6 幅插画合计 / 范围1.42.0最短绘制时间(平均)16.9 秒8.2 秒笔尖长距离跳动76 次24 次散落的小墨点187 处81 处颜色一出现就是最终色("盖章"式上色)76%–92%1%–12%

二、运镜升级

镜头有了名字和节奏

1.0 的镜头最多推近 1.3 倍,而且基本不动。2.0 的镜头:

  • 10 种运镜:推、拉、平移、慢漂、跳、甩、急推、砸入、切,还有希区柯克变焦;

  • 推近最高 3 倍,画面素材按最大倍数生成,推近也是清晰的;

  • 自动导演:模型没写镜头的地方,内置导演角色会帮忙补上。每幅图画之前推近框住,远距离先拉远再过去,翻页前拉远看全页,每页轮流换一种拿图的方式;

  • 视差:前景和背景分层移动;

  • 希区柯克变焦:主体大小不变,背景冲过来或退远。

媒体暂未收录,可在原文中查看

同时保证移动和内容不被裁切

镜头会动以后,出现了一个 1.x 没有的问题,镜头按句子设计,画笔按画面复杂度排时间,两者对不上时,笔还在画,镜头已经走了。观众看到的是一支笔在画面边缘外面写字。

所以 2.0 在渲染前加了一道取景检查:

  • 每个正在写或画的东西,每 0.25 秒查一次在不在画面里、有没有和字幕重叠;

  • 不在画面时,自动试几种修法,留下效果最好的那个:让镜头等笔画完再动; 补一个镜头:平移一点、居中,或者拉远到两样都装得下;

  • 修不了的,在构建时也会明确通过输出报告出来。

下面是对比图:

媒体暂未收录,可在原文中查看

文章配图

三、转场动画:从 4 种到 22 种

1.0 只有横移、平移、淡化、直切 4 种转场,大多数片子从头到尾用一种。

2.0 有 22 种:

  • 纸张类:翻页(四个方向)、撕纸、卡片翻面、立方体、拼砖、碎片;

  • 擦除类:板擦、橡皮擦;

  • 墨与笔:毛刷、马克笔扫过、墨晕、墨渍光圈;

  • 镜头类:穿越、甩镜、闪白;

  • 还有原来的轻转场。

自动导演会在章节处用"招牌"转场,其他页用轻转场,相邻两页不重复。

媒体暂未收录,可在原文中查看

同一处换页,1.4 和 2.0:

媒体暂未收录,可在原文中查看

四、核心升级 - 动效层

针对 1.0 只有绘制这一个动作的单一表现,2.0 加了一层网页动效,由于动效天然就是代码和 AI 的特长区域,在动效加入后,整个画面的丰满成都迎来了质的飞跃,甚至可以说它的效果已经不输那些当红动画视频。本次新增动效共 14 种:

  • 大字:逐词出现、砸入、乱码收敛成字;
媒体暂未收录,可在原文中查看
媒体暂未收录,可在原文中查看
  • 手绘图表和地图:柱、线、饼、时间线,画面上的数据只用真实数据;转动的地球上画出航线。
媒体暂未收录,可在原文中查看
媒体暂未收录,可在原文中查看
  • 物理和三维:硬币真的会落进罐子里,宝石和硬币可以立体地转起来;

  • 手写公式:逐字描出来,写完还能圈出其中一部分;

  • 圈注、气泡、落下的照片:

媒体暂未收录,可在原文中查看

五、字幕:不再被平台挡住

1.0 的字幕按字数换行,常把一个词、一句话切成两半,标点掉到下一行;位置也太低,竖屏发到平台上,正好被底部的账号、文案和按钮盖住;质感也不如专业字幕给用户的体感舒适。

2.0 的字幕:

  • 按词换行,不切开词、数字和单位;

  • 默认单行,放在平台底部界面之上;

  • 关键词和数字可以高亮;

  • 吸收优秀作品的字幕样式,不再固定,而是由模型自动学习推理给出,质感大幅度提升。

文章配图

在《天涯》的全部字幕上:被平台底部界面挡住的从 247 条降到 0 条,单行比例从 62% 升到 100%。

六、声音/音效升级

  • 笔声:手写文字时,有一层和笔尖同步的轻微擦纸声。

  • 转场音效:翻页是纸声,甩镜是风声,橡皮擦是摩擦声,全部由程序合成,人声出现时自动让开。

  • 句尾干净:1.x 判断"一句话说完了"靠的是声音能量,会被两种声音骗过:句尾的气声:裁剪点落在气声中间,硬切,听起来像断了一下; 模型在句子说完后多冒出来的一个音,被当成语音留下。 2.0 改成用最后一个字之后的第一段安静来定结尾:后面多出来的声音直接删掉,结尾平滑淡出;句子本身被截断的,重新生成。

文章配图

同一段 34 句的配音,1.x 的处理方式下:

  • 8 句硬切在气声上;

  • 2 句后面多出一小段声音,其中一句的结尾停在 -11 dBFS,几乎是正常说话的音量。

用 2.0 处理后,全部 34 句的结尾都低于 -74.5 dBFS,多出来的声音也都删掉了。

七、做片子更省心

  • 生图后几秒内自检:透明窟窿、光晕、线稿太复杂、画不完。不通过时直接给出一句可以加进提示词的修改。

  • 部位写方框就行,不用手描多边形。

  • 改镜头不用重画:画好的素材按内容缓存,只改镜头、转场或动效时,重建只要几秒。

  • 多进程渲染:11 分钟的片子,从约 12 分钟降到 3 分多钟。

  • 交付前把关:每一步都有检查,交付前还有成片校验(声音、字幕同步、逐笔绘制)。没做的人工验收(连续观看、真人试听)会明确标成"未完成",不会混进"通过"。

两部 2.0 样片

两部都用 2.0 制作,2:3 竖屏,逼真男声。

《用一天,重启你的人生》 · 3 分 08 秒

讲读 Dan Koe 的文章《How to fix your entire life in 1 day》:

  • 为什么新年计划总是失败;

  • 身份怎样决定行为;

  • 怎么用一天时间重新设定方向:上午挖掘,白天打断自动驾驶,晚上收拢成两句话;

  • 最后把人生变成一场游戏。

文章配图

《错话,该不该翻译?》 · 1 分 33 秒

讲读知乎答主公子重耳的一篇回答:外国球星说了错话,该不该照原话翻译、登出来?作者的回答是:

  • 照译,摆出来才讲得清;

  • 批评要有根据,改正要留余地;

  • 争取一个人,要拿出事实,也要有耐心。

文章配图

两部片子都是讲读,不是搬运:

  • 用自己的话转述论证,口播和封面都写明作者和出处,原文只引用了几个短语;

  • 原文没写到的内容,片子里一个字也不编;

  • 片中的人物都是原创形象,与任何真人无关。

怎么用

安装

装好 Node.js 后,一条命令装到 Claude Code 和 Codex:

npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes bash ~/.claude/skills/sweety-handdraw-video/scripts/setup.sh

  • 需要大字、图表、地图、物理、三维这些动效层时,再运行一次 setup.sh --web-motion,它会装好浏览器渲染环境。

  • 目前支持 macOS 和 Linux。

  • 想固定在这个版本,可以直接下载 v2.0.2 安装包,用同页的 SHA256SUMS.txt 校验。

开始做一部片子

在 Claude Code 里直接说:

用 sweety-handdraw-video 把这篇文章做成手绘视频:(贴链接或全文)

也可以输入 /sweety-handdraw-video;在 Codex 里用 $sweety-handdraw-video。它会先和你确认比例、画风、声音这些选项,再写口播、出图、绘制、配音、导出。

从 1.x 升级

  • 整个 Skill 目录替换掉,不要只拷 SKILL.md。装好后看一眼目录里的 VERSION,应该是 2.0.2。

  • 默认比例从 9:16 改成了 2:3。要全屏短视频,仍然可以选 9:16。

  • 旧工程要先过一遍新的检查:2.0 对节奏的检查更严。我拿《天涯 2027》的 1.4 工程直接构建,被拦下 4 处:一段 12.9 秒没有新画面; 两张图各自连讲了太多句; 一张图超出了绘制时间。 按提示改完就能出片。想要大图和新镜头,还要按新版式重新排一下。

常见问题(FAQ)

sweety-handdraw-video 是什么?

一个开源的 AI 手绘视频生成工具,以 Agent Skill 的形式运行在 Claude Code 和 Codex 中。给它一个主题、一篇文章或一个完整故事,它会:

  • 写口播稿、设计分镜、生成插画;

  • 在本地逐笔描线、上色、按笔顺手写中文;

  • 配音、对齐字幕,导出边画边讲的手绘讲解视频(MP4)。

handdraw-video、手绘口播和 sweety-handdraw-video 是同一个项目吗?

是。仓库和 Skill 的正式名称是 sweety-handdraw-video,handdraw-video 和“手绘口播”是它的简称。

支持哪些 Agent 和系统?

  • Agent:Claude Code 和 Codex。

  • 系统:macOS 和 Linux,暂不支持 Windows。

  • 生成新插画需要宿主有生图能力:Codex 内置生图;Claude Code 需要接入生图工具,或者由你提供插画。

怎么安装?

装好 Node.js 后运行:

npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes bash ~/.claude/skills/sweety-handdraw-video/scripts/setup.sh

需要大字、图表、地图、物理、三维这些动效层时,再运行 setup.sh --web-motion。想固定版本,可以下载 v2.0.2 安装包。

怎么用它把一篇文章做成视频?

在 Claude Code 里说“用 sweety-handdraw-video 把这篇文章做成手绘视频”,再贴上链接或全文;也可以输入 /sweety-handdraw-video。在 Codex 里用 $sweety-handdraw-video。

2.0 相比 1.x 更新了什么?

  • 运镜:10 种运镜,最高 3 倍推近,视差和希区柯克变焦,渲染前做取景检查。

  • 转场:从 4 种增至 22 种。

  • 动效层:新增 14 种动效。

  • 字幕:按词换行、单行显示,避开平台底部界面。

  • 绘制:线条更干净,上色像人一样逐笔涂,速度约快一倍。

  • 声音:新增笔声和转场音效,配音句尾更干净。

支持哪些视频比例?

支持 2:3、9:16、3:4、16:9 和 4:3,默认 2:3(1280×1920)。

配音用什么?

  • 本地:VoxCPM2(Apple Silicon Mac),或者兼容的本机 VoiceStudio 服务。

  • 云端(可选):火山豆包、Gemini TTS,需要使用你自己的密钥。

  • 也可以用你自己的录音,工具会自动对齐字幕。

是免费、开源的吗?

是。项目以 MIT 许可证开源,代码在 GitHub。

1.x 的项目怎么升级到 2.0?

  1. 替换整个 Skill 目录,然后确认 VERSION 为 2.0.2。

  2. 注意默认比例已从 9:16 改为 2:3。

  3. 旧工程需要先通过 2.0 更严格的节奏检查,按提示修改后即可重新出片。

发布生成的视频时要注意什么?

成片已经写入 AI 生成的隐式标识,发布时仍需要在平台上声明“AI 生成”。

English summary

sweety-handdraw-video (also called handdraw-video) is an open-source (MIT) Agent Skill for Claude Code and Codex. It turns a topic, an article or a story into a narrated, hand-drawn explainer video (whiteboard animation):

  • the agent writes the script, plans the storyboard and generates the illustrations;

  • local tools draw every stroke, colour the pictures, hand-write Chinese in stroke order, add the voiceover and captions, and export an MP4.

Version 2.0 (installable package v2.0.2, released 28 October 2026) adds:

  • 10 named camera moves, with a framing check that keeps the pen's work on screen;

  • 22 transitions, up from 4;

  • 14 web-motion effects: kinetic titles, hand-drawn charts, map routes, physics, 3D and formulas;

  • word-aware, single-line captions placed above the platform UI;

  • cleaner, faster and more human-like drawing and colouring;

  • pen and transition sound effects, and cleaner voice-line endings.

Install: npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes. Source: https://github.com/threerocks/sweety-handdraw-video

最后

使用过程中有任何问题

欢迎在 GitHub 提 issue,或者在评论区留言告诉我。

了解博主其他信息请点击:https://threerocks.xyz/me

全文完
查看原文

沿着这个主题继续读

从一篇文章,找到相关的教程、经验和阅读路径。

AI 视频制作AI 视频制作入门,从故事与分镜、运镜提示词到代码动效和自动剪辑。