10万Star团队再推新作 video-use：开源AI对话即剪辑，用文本推理替代逐帧烧钱
打造出 browser-use 的明星团队，近期再次在 GitHub 上开源了一个备受瞩目的新项目。browser-use 早已是拥有 10 万+ Star 的知名作品，能让 AI 像真人一样自由操控浏览器，堪称过去一整年里最炙手可热的 AI Agent 之一。
他们的最新力作名为 video-use，可直接集成到你的 Claude Code 与 Codex 中，实现用 AI 来剪辑视频。项目面世仅两个多月，Star 数已飙升至 1.3 万，近期更是一举登上了开源日榜。我亲自体验了一番，下面与大家分享真实感受。
项目速览
video-use 是一款完全开源的 AI 视频剪辑技能。只需将拍摄的原始素材放入一个文件夹，启动 Claude Code 告诉它“剪成发布视频”，它便会自动扫描素材、生成剪辑方案，等待你确认后立即开始工作，最终在同目录下的 edit/ 文件夹中输出 final.mp4。
开源地址：https://github.com/browser-use/video-use
不只是 Claude Code，任何拥有 shell 权限的 Agent（例如 Codex、Hermes、Openclaw）都能顺畅运行。官方表示，口播、Vlog、教程、旅行、访谈等多种内容类型均适用。
巧妙避坑：用文本推理替代逐帧处理
这是整个项目最精彩的设计思路。让 AI 剪辑视频，最朴素的做法是把视频拆成一帧帧图片，喂给多模态模型去理解。但稍微算一笔账：一段 20 分钟的素材，按 30 帧/秒计，会拆出超过 3 万帧；每帧若消耗 1500 token，总量高达 4500 万 token。成本暂且不谈，单是这种极高的信噪比，就足以让模型抓不住重点，效果惨不忍睹。
video-use 换了一种完全不同的思路，分为两层处理。
第一层是音频转写。它利用 ElevenLabs 的 Scribe 模型，将整段素材转写为带有词级时间戳的文本，能识别出谁在说话、何时停顿、何时出现笑声和掌声。最后，所有素材会被打包成一个约 12KB 的 markdown 文件，作为大模型的主要阅读视图。
第二层是按需调用的可视化合成图。当大模型遇到拿不准的地方时，它才会调用 timeline_view 工具，生成一张包含胶片条、波形和字幕标签的合成图，只在真正需要做关键决策时才使用。
这套逻辑与 browser-use 一脉相承。当年 browser-use 是把结构化的 DOM 交给大模型，让它无需观看浏览器截图就能在纯文本中推理。如今 video-use 将同样的思路应用到视频领域，让推理的输入从海量像素转变为精简的文本。仅靠 12KB 文本与少量合成图，就能完成过去 4500 万 token 才能支撑的工作。
下面是我实测的一次体验视频，效果可以说喜忧参半。
表现不错的是：我的录音素材里原本充满了口头废话与卡顿，都被它准确地剔除了，而且字幕的匹配度非常高。然而问题也同样明显——它没能恰到好处地为每一句对白挑选恰当的镜头，转换显得生硬。更让人头疼的是画面清晰度明显下降，这对成片质量影响很大。当然，这只是我用最简单的“把素材做成视频”这个指令跑出来的结果。如果给出更详尽、更具引导性的剪辑指令，表现或许会提升不少。
工程化剪辑流水线：自评估与规则保障质量
在体验过程中，我还发现 video-use 在流程最后额外加了一道“自评估”环节。整个剪辑流水线是这样的：转写 → 打包 → 大模型推理 → 生成 EDL（剪辑决策表）→ 渲染 → 自评估。自评估会在渲染完成后，在每个切点边界进行回放检查，排查视觉跳变、音频爆点、字幕遮挡等常见问题。一旦发现问题便自动修复，最多允许重渲染 3 次。只有通过了自评估的版本，才会作为预览输出给用户。
项目中的 SKILL.md 文件还明确规定 12 条剪辑规则，将 AI 剪辑从一次性生成变成了具备质量保障的工业流程。例如：
- 字幕必须最后应用，否则会被动画遮挡
- 每个切点都添加 30ms 音频淡入淡出，杜绝爆音
- 切点必须精准卡在词边界，不能从中截断
- 为每个切点预留 30-200ms 缓冲，因为 Scribe 时间戳存在 50-100ms 漂移
- 多个动画使用并行子 Agent 生成，互不等待
快速上手
一键安装的方式极为简单：只需将这句 Prompt 复制给 Claude Code，它就会自行完成安装。
Agent 会自动读取 install.md 并完成所有设置。需要提前准备的就只有 ElevenLabs 的 API key，因为 Scribe 转写会用到它。前往 elevenlabs.io 注册即可获取。
地址：https://elevenlabs.io/app/developers/api-keys
装好之后，将素材放入目标文件夹，在该文件夹下启动 claude，告诉它你的剪辑需求，剩下的一切它都会自动处理。