handdraw-video 重磅更新,运镜、动画、转场来袭,字幕、画面全面升级
文章目录
部分视频或图片暂未收录,已在正文保留提示;需要时可查看原文。查看原文 ↗
sweety-handdraw-video(又称 handdraw-video,中文名“手绘口播”)是一个开源(MIT 许可)的 AI 手绘视频生成 Skill,运行在 Claude Code 和 Codex 中。输入一个主题、一篇文章或一个完整故事,它会写口播稿、设计分镜、生成插画,再在本地逐笔描线、上色、按笔顺手写中文、配音并对齐字幕,导出边画边讲的 MP4 视频。2.0 是 1.x 之后的首个大版本,当前安装包版本为 v2.0.2(2026 年 10 月 28 日发布)。2.0 更新要点运镜:10 种命名运镜,最高 3 倍推近,支持视差和希区柯克变焦;渲染前自动做取景检查,书写过程不会跑出画面。 转场:从 4 种增至 22 种,包括翻页、撕纸、橡皮擦、墨晕、立方体等。 动效层:14 种,包括大字、手绘图表、地图航线、物理、三维和手写公式。 字幕:按词换行、默认单行。同一部 11 分钟的片子里,被平台底部界面遮挡的字幕从 247 条降到 0 条。 绘制:同样 6 幅插画,最短绘制时间平均从 16.9 秒降到 8.2 秒;上色从整块“盖章”变成逐笔涂上。 声音:加入笔声和转场音效,配音句尾不再被截断或带杂音。 安装:npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes
非常感谢大家对 handdraw-video 这个项目的喜欢,v1.0 发布以后,在很多地方都看到了它的身影和由它产出的作品。
做这个项目的契机是,随着 opus5.5 的发布,整个 AI 届迎来了基于建模和代码创作视频的热潮,opus5.5 以其强大的代码、建模能力,配合极低的价格、推理的速度,很快就成为了这个领域最火热的全明星,没有之一。
与此同时,国内外四大自媒体平台,正在同时把海量流量和真金白银砸向这个赛道,用 AI 讲知识的视频。
在这样的背景下,诞生了很多优秀的制作开源仓库,如:lemo-opuscar、huashu-art-motion 等,同时 ChatGPT(CodeX) 因为一些原因则逐渐失去信任。但,毕竟用上 Claude 对很多人来说并不容易,那能不能有一款对 CodeX 友好的视频生产工具也可以达到很好的效果呢,如果它存在,它就可以服务更多的人。
答案是肯定的,CodeX 有它独有的优势,即出图和绘制,基于此我决定做手绘 + 口播这个方向的视频生成,经过一段时间的调试开发,很快迎来它的 v1.0 版本。
给它一个主题、一篇文章或完整故事,它就可以一键帮你做成边画边讲的有声视频。它由 Agent 规划内容、设计分镜和生成插画,再通过本地工具完成逐笔描线、填色、声画对齐与 MP4 导出。
它的核心特点是:
-
自研绘制引擎,拥有无限接近真实人类绘制的过程;
-
AI 导演,帮你搞定剧本、台词设计,5s 黄金开头等;
-
极致听感,借助强大的 VoiceStudio + VoxCPM 2 的组合,我们实现了高度拟人化的配音;
-
CodeX 友好,在 CodeX 中的效果极佳。
如今,很高兴的宣布,这个项目迎来了它的 2.0 版本,不仅解决大家使用过程中遇到的大部分问题,还对内容表现进行了全方位的升级,让整个视频更加的专业,主要包含以下更新:
-
增加了运镜、转场、动效、音效等等特效,内容表达能力全面提升;
-
字幕全面升级,如今的字幕达到专业级别,视觉做了提升,节奏进行了校准;
-
画面太空、笔划毛边、中英文混编发音不准等等 bug 修复;
-
正式支持 WorkBuddy,并针对性的做了特殊优化;
-
codex 效果调试最佳,支持一键直出,不再依赖选项;
-
opus5.5 版本支持(目前依赖 codex cli 的生图),opus5.5 版本将会产出更加惊艳、丝滑的效果。
效果概览,同一部片子的 1.0 和 2.0
《天涯 2027》是我用 1.4 做的一部 11 分钟的片子。下面左边是当时的成片,右边是用 2.0 重建的版本:同一套插画、同一条配音、同一份分镜内容。
《天涯 2027》1.42.0第一个看得清的画面出现在5.0 秒2.4 秒镜头23 页都不动,固定 1.3 倍23 页都有推、拉、平移、跳切换页转场22 次全是同一种横移用了 11 种:撕纸、翻页、马克笔扫过、立方体、穿越……字幕被平台底部界面挡住247 条全部0 条(共 407 条)单行字幕62%100%整片渲染(11 分钟成片,同一台 Mac)约 12 分钟3 分 42 秒
一、画:干净、有条理,像人在上色
1.0 的问题
-
线条有毛刺:深色区域的边缘会被当成墨线描出来,衣服和头发周围满是小墨点。
-
笔尖乱跳:画完左边画右边,再跳回左边。
-
颜色一块一块地出现:模型给每个部位画的范围是方框,上色又按部位来,一整块连续的颜色被切成好几个矩形,一个矩形一个矩形地"盖"上去。
-
图越大画得越慢:为了赶上口播,只好把图画小。
2.0 怎么做
-
线条:只描真正的线条,比旁边更暗、又接近整幅画的墨色;零散的小墨点留给上色阶段处理。
-
顺序:先画完一个物体,再画下一个;物体内部先画外轮廓,再画从已有线条上长出来的线。
-
上色像人:墨线围住的一整块颜色,整块交给一个部位,不再按方框切开; 先沿内侧描一圈边,再斜着排笔; 刚涂上去的颜色带马克笔的纹理,半透明,随后才"干透"成最终颜色。
-
大小和时间脱钩:笔画和时间在不超过 720 像素的尺寸上规划,再按屏幕上的大小清晰重绘。图可以画得很大,而不会因此画得更慢。
同一幅图,左边用 1.4 的引擎画,右边用 2.0(1.5 倍速播放):
我拿《天涯》里的 6 幅插画,在同样 540 像素宽度下,分别用 1.4 和 2.0 的引擎画一遍:
6 幅插画合计 / 范围1.42.0最短绘制时间(平均)16.9 秒8.2 秒笔尖长距离跳动76 次24 次散落的小墨点187 处81 处颜色一出现就是最终色("盖章"式上色)76%–92%1%–12%
二、运镜升级
镜头有了名字和节奏
1.0 的镜头最多推近 1.3 倍,而且基本不动。2.0 的镜头:
-
10 种运镜:推、拉、平移、慢漂、跳、甩、急推、砸入、切,还有希区柯克变焦;
-
推近最高 3 倍,画面素材按最大倍数生成,推近也是清晰的;
-
自动导演:模型没写镜头的地方,内置导演角色会帮忙补上。每幅图画之前推近框住,远距离先拉远再过去,翻页前拉远看全页,每页轮流换一种拿图的方式;
-
视差:前景和背景分层移动;
-
希区柯克变焦:主体大小不变,背景冲过来或退远。
同时保证移动和内容不被裁切
镜头会动以后,出现了一个 1.x 没有的问题,镜头按句子设计,画笔按画面复杂度排时间,两者对不上时,笔还在画,镜头已经走了。观众看到的是一支笔在画面边缘外面写字。
所以 2.0 在渲染前加了一道取景检查:
-
每个正在写或画的东西,每 0.25 秒查一次在不在画面里、有没有和字幕重叠;
-
不在画面时,自动试几种修法,留下效果最好的那个:让镜头等笔画完再动; 补一个镜头:平移一点、居中,或者拉远到两样都装得下;
-
修不了的,在构建时也会明确通过输出报告出来。
下面是对比图:
三、转场动画:从 4 种到 22 种
1.0 只有横移、平移、淡化、直切 4 种转场,大多数片子从头到尾用一种。
2.0 有 22 种:
-
纸张类:翻页(四个方向)、撕纸、卡片翻面、立方体、拼砖、碎片;
-
擦除类:板擦、橡皮擦;
-
墨与笔:毛刷、马克笔扫过、墨晕、墨渍光圈;
-
镜头类:穿越、甩镜、闪白;
-
还有原来的轻转场。
自动导演会在章节处用"招牌"转场,其他页用轻转场,相邻两页不重复。
同一处换页,1.4 和 2.0:
四、核心升级 - 动效层
针对 1.0 只有绘制这一个动作的单一表现,2.0 加了一层网页动效,由于动效天然就是代码和 AI 的特长区域,在动效加入后,整个画面的丰满成都迎来了质的飞跃,甚至可以说它的效果已经不输那些当红动画视频。本次新增动效共 14 种:
- 大字:逐词出现、砸入、乱码收敛成字;
- 手绘图表和地图:柱、线、饼、时间线,画面上的数据只用真实数据;转动的地球上画出航线。
-
物理和三维:硬币真的会落进罐子里,宝石和硬币可以立体地转起来;
-
手写公式:逐字描出来,写完还能圈出其中一部分;
-
圈注、气泡、落下的照片:
五、字幕:不再被平台挡住
1.0 的字幕按字数换行,常把一个词、一句话切成两半,标点掉到下一行;位置也太低,竖屏发到平台上,正好被底部的账号、文案和按钮盖住;质感也不如专业字幕给用户的体感舒适。
2.0 的字幕:
-
按词换行,不切开词、数字和单位;
-
默认单行,放在平台底部界面之上;
-
关键词和数字可以高亮;
-
吸收优秀作品的字幕样式,不再固定,而是由模型自动学习推理给出,质感大幅度提升。
在《天涯》的全部字幕上:被平台底部界面挡住的从 247 条降到 0 条,单行比例从 62% 升到 100%。
六、声音/音效升级
-
笔声:手写文字时,有一层和笔尖同步的轻微擦纸声。
-
转场音效:翻页是纸声,甩镜是风声,橡皮擦是摩擦声,全部由程序合成,人声出现时自动让开。
-
句尾干净:1.x 判断"一句话说完了"靠的是声音能量,会被两种声音骗过:句尾的气声:裁剪点落在气声中间,硬切,听起来像断了一下; 模型在句子说完后多冒出来的一个音,被当成语音留下。 2.0 改成用最后一个字之后的第一段安静来定结尾:后面多出来的声音直接删掉,结尾平滑淡出;句子本身被截断的,重新生成。
同一段 34 句的配音,1.x 的处理方式下:
-
8 句硬切在气声上;
-
2 句后面多出一小段声音,其中一句的结尾停在 -11 dBFS,几乎是正常说话的音量。
用 2.0 处理后,全部 34 句的结尾都低于 -74.5 dBFS,多出来的声音也都删掉了。
七、做片子更省心
-
生图后几秒内自检:透明窟窿、光晕、线稿太复杂、画不完。不通过时直接给出一句可以加进提示词的修改。
-
部位写方框就行,不用手描多边形。
-
改镜头不用重画:画好的素材按内容缓存,只改镜头、转场或动效时,重建只要几秒。
-
多进程渲染:11 分钟的片子,从约 12 分钟降到 3 分多钟。
-
交付前把关:每一步都有检查,交付前还有成片校验(声音、字幕同步、逐笔绘制)。没做的人工验收(连续观看、真人试听)会明确标成"未完成",不会混进"通过"。
两部 2.0 样片
两部都用 2.0 制作,2:3 竖屏,逼真男声。
《用一天,重启你的人生》 · 3 分 08 秒
讲读 Dan Koe 的文章《How to fix your entire life in 1 day》:
-
为什么新年计划总是失败;
-
身份怎样决定行为;
-
怎么用一天时间重新设定方向:上午挖掘,白天打断自动驾驶,晚上收拢成两句话;
-
最后把人生变成一场游戏。
《错话,该不该翻译?》 · 1 分 33 秒
讲读知乎答主公子重耳的一篇回答:外国球星说了错话,该不该照原话翻译、登出来?作者的回答是:
-
照译,摆出来才讲得清;
-
批评要有根据,改正要留余地;
-
争取一个人,要拿出事实,也要有耐心。
两部片子都是讲读,不是搬运:
-
用自己的话转述论证,口播和封面都写明作者和出处,原文只引用了几个短语;
-
原文没写到的内容,片子里一个字也不编;
-
片中的人物都是原创形象,与任何真人无关。
怎么用
安装
装好 Node.js 后,一条命令装到 Claude Code 和 Codex:
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes bash ~/.claude/skills/sweety-handdraw-video/scripts/setup.sh
-
需要大字、图表、地图、物理、三维这些动效层时,再运行一次 setup.sh --web-motion,它会装好浏览器渲染环境。
-
目前支持 macOS 和 Linux。
-
想固定在这个版本,可以直接下载 v2.0.2 安装包,用同页的 SHA256SUMS.txt 校验。
开始做一部片子
在 Claude Code 里直接说:
用 sweety-handdraw-video 把这篇文章做成手绘视频:(贴链接或全文)
也可以输入 /sweety-handdraw-video;在 Codex 里用 $sweety-handdraw-video。它会先和你确认比例、画风、声音这些选项,再写口播、出图、绘制、配音、导出。
从 1.x 升级
-
整个 Skill 目录替换掉,不要只拷 SKILL.md。装好后看一眼目录里的 VERSION,应该是 2.0.2。
-
默认比例从 9:16 改成了 2:3。要全屏短视频,仍然可以选 9:16。
-
旧工程要先过一遍新的检查:2.0 对节奏的检查更严。我拿《天涯 2027》的 1.4 工程直接构建,被拦下 4 处:一段 12.9 秒没有新画面; 两张图各自连讲了太多句; 一张图超出了绘制时间。 按提示改完就能出片。想要大图和新镜头,还要按新版式重新排一下。
常见问题(FAQ)
sweety-handdraw-video 是什么?
一个开源的 AI 手绘视频生成工具,以 Agent Skill 的形式运行在 Claude Code 和 Codex 中。给它一个主题、一篇文章或一个完整故事,它会:
-
写口播稿、设计分镜、生成插画;
-
在本地逐笔描线、上色、按笔顺手写中文;
-
配音、对齐字幕,导出边画边讲的手绘讲解视频(MP4)。
handdraw-video、手绘口播和 sweety-handdraw-video 是同一个项目吗?
是。仓库和 Skill 的正式名称是 sweety-handdraw-video,handdraw-video 和“手绘口播”是它的简称。
支持哪些 Agent 和系统?
-
Agent:Claude Code 和 Codex。
-
系统:macOS 和 Linux,暂不支持 Windows。
-
生成新插画需要宿主有生图能力:Codex 内置生图;Claude Code 需要接入生图工具,或者由你提供插画。
怎么安装?
装好 Node.js 后运行:
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes bash ~/.claude/skills/sweety-handdraw-video/scripts/setup.sh
需要大字、图表、地图、物理、三维这些动效层时,再运行 setup.sh --web-motion。想固定版本,可以下载 v2.0.2 安装包。
怎么用它把一篇文章做成视频?
在 Claude Code 里说“用 sweety-handdraw-video 把这篇文章做成手绘视频”,再贴上链接或全文;也可以输入 /sweety-handdraw-video。在 Codex 里用 $sweety-handdraw-video。
2.0 相比 1.x 更新了什么?
-
运镜:10 种运镜,最高 3 倍推近,视差和希区柯克变焦,渲染前做取景检查。
-
转场:从 4 种增至 22 种。
-
动效层:新增 14 种动效。
-
字幕:按词换行、单行显示,避开平台底部界面。
-
绘制:线条更干净,上色像人一样逐笔涂,速度约快一倍。
-
声音:新增笔声和转场音效,配音句尾更干净。
支持哪些视频比例?
支持 2:3、9:16、3:4、16:9 和 4:3,默认 2:3(1280×1920)。
配音用什么?
-
本地:VoxCPM2(Apple Silicon Mac),或者兼容的本机 VoiceStudio 服务。
-
云端(可选):火山豆包、Gemini TTS,需要使用你自己的密钥。
-
也可以用你自己的录音,工具会自动对齐字幕。
是免费、开源的吗?
是。项目以 MIT 许可证开源,代码在 GitHub。
1.x 的项目怎么升级到 2.0?
-
替换整个 Skill 目录,然后确认 VERSION 为 2.0.2。
-
注意默认比例已从 9:16 改为 2:3。
-
旧工程需要先通过 2.0 更严格的节奏检查,按提示修改后即可重新出片。
发布生成的视频时要注意什么?
成片已经写入 AI 生成的隐式标识,发布时仍需要在平台上声明“AI 生成”。
English summary
sweety-handdraw-video (also called handdraw-video) is an open-source (MIT) Agent Skill for Claude Code and Codex. It turns a topic, an article or a story into a narrated, hand-drawn explainer video (whiteboard animation):
-
the agent writes the script, plans the storyboard and generates the illustrations;
-
local tools draw every stroke, colour the pictures, hand-write Chinese in stroke order, add the voiceover and captions, and export an MP4.
Version 2.0 (installable package v2.0.2, released 28 October 2026) adds:
-
10 named camera moves, with a framing check that keeps the pen's work on screen;
-
22 transitions, up from 4;
-
14 web-motion effects: kinetic titles, hand-drawn charts, map routes, physics, 3D and formulas;
-
word-aware, single-line captions placed above the platform UI;
-
cleaner, faster and more human-like drawing and colouring;
-
pen and transition sound effects, and cleaner voice-line endings.
Install: npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes. Source: https://github.com/threerocks/sweety-handdraw-video
最后
使用过程中有任何问题
欢迎在 GitHub 提 issue,或者在评论区留言告诉我。
了解博主其他信息请点击:https://threerocks.xyz/me
沿着这个主题继续读
从一篇文章,找到相关的教程、经验和阅读路径。








