大家好,我是飘雷。
今天为大家分享ClipSketch AI这款开源的AI工具,它是一款专为视频创作者、社交媒体运营者和二创参与者设计的全流程生产力神器。

ClipSketch AI可以导入B站、小红书或者本地视频,利用gemini-3-pro-image-preview(NANO Banana Pro)模型,将多个标记帧整合成一张连贯、可爱的交互风格的手绘风格故事板,并且自动生成一套适配社交媒体(比如小红书)的爆款文案、标题和封面图片。

而且在这个过程中,我们还可以融合自定义的角色,融合在故事板里,非常有趣:

ClipSketch AI的GitHub地址为:
https://github.com/RanFeng/clipsketch-ai
话不多说,我们来具体盘盘吧。
一、ClipSketch AI部署方法
这里我们来展示如何在威联通NAS上通过Docker Compose进行部署,用到的设备是威联通最新的8盘位旗舰新品Qu805。
首先我们登录威联通NAS后台,打开Container Station容器工作站,点击左侧的”应用程序“,然后点击右侧黑色”创建“按钮。

在弹出的代码输入框中,我们输入以下YAML代码。ClipSketch AI是一款纯前端项目,数据保存在浏览器本地,不用担心隐私泄露,也不需要映射NAS的本地目录。
services:
clipsketch-ai:
image: tannic666/clipsketch-ai:latest
container_name: clipsketch-ai
# 这里意思是开机自动启动,挂了也会自动重启
restart: always
# 这里左边是NAS端口,右边是容器端口
ports:
- "3000:3000"请注意,代码中的左侧的3000是NAS端口,如果你的NAS上这个端口已经被占用,可以将其修改为其他数值,比如3008或随便什么没被占用的端口号。代码粘贴无误后,记得点击下方的 “验证”按钮,确保YAML格式正确。
最后点击创建按钮,系统就会自动拉取镜像并启动容器,咱们可以在“概览”或“容器”列表中看到clipsketch-ai正在运行,状态显示为绿色小圆点。

二、使用体验
部署完成后,在浏览器地址栏输入http://NAS_IP:3000(例如 http://192.168.10.70:3000/),即可进入操作页面。
第一步我们需要选择需要转换的视频,可以导入小红书、B站或者Instagram的链接,也可以上传本地视频。这里我以B站硬件茶谈的CPU安装教程为例,直接粘贴视频网址后,点击“创建项目”:

第二步,会进入视频的播放界面,这里我们需要手动打上需要转换的关键帧,按Tag按钮或者使用快捷键“T”即可。这里作者非常细心,还提供了导出TXT格式的时间轴标签,或将标记帧备份导出为ZIP图片包的功能,这是真干过活儿的。

打好关键帧并点击“下一步”后,即可进入创意分析步骤,这里我们可以预览和管理刚才打的关键帧,同时点击右上角的齿轮按钮,我们可以添加Google Gemini或者OpenAI的API,用于后续的图片绘制。我尝试过,国内公益站提供的API服务是可以正常使用的。

然后就会进入画面生成步骤,AI会根据分析结果自动生成分镜prompt提示词,这里还可以根据需求自行决定选择不同的图片比例。

接下来就可以看到AI根据关键帧自动生成的故事板了,果然非常可爱,还有简短的文字描述。在这个步骤还可以上传角色图片来融合进故事板内,比如这里我上传了自己的龙猫头像图片:

下一步就可以看到龙猫真的被融合进图片了,效果还挺不错来着,此外在这里还可以对分镜进行精修,实现更精细的调校。

下一个步骤,可以根据故事板图片自动生成文案,有情感故事型、干货教程型、短小精悍型三种风格可供选择,这个功能也相当实用。

最后就是根据标题和原始图片生成高品质的封面图了,说实话这比我自己写prompt做出来的图好看多了……

最后我们来看一下ClipSketch AI做出的故事板,确实可爱,封面图片说实话也挺不错的:

总结
ClipSketch AI是一款完成度极高且创意十足的开源工具,通过AI技术将普通的视频截图转化为风格统一、生动有趣的手绘故事板,对创作者来说相当实用。
最让我惊艳的就是它的自定义角色融合功能,这种反差萌不仅增加了内容的趣味性,也提供了更大的个性化发挥空间。
大家有兴趣的话,不妨按照上面的教程动手试试,也挖掘一下视频素材的第二春吧~
