以前让 AI 看视频，基本就是盲读字幕。那些号称能看视频的工具，随机抽个上百帧，画面里的图表、演示、交互效果，一概抓不到。跟半瞎差不多。

最近有个开源项目火了，叫 `claude-video`，作者是 Brad Bonanno。它让 Claude Code 真正能“看”视频了——你甩个 YouTube 链接、Zoom 会议录像或者本地文件过去，它自己在后台下载、抽帧、转字幕，你该写代码写代码，不耽误事。


## 聪明在哪

核心思路就一句话：**只抓画面真正变化的帧**。

用 FFmpeg 做场景检测（scene-change detection），屏幕内容变了才截一帧。不像以前那样均匀抽帧，省 Token 又准。

字幕也分情况处理：YouTube 直接拿官方免费字幕；Zoom 和 Loom 这些没有内置字幕的，用 Whisper 转。不浪费资源。

看完之后还会问你要不要把分析内容存到知识库，下次直接调。

## 实际能干嘛

网友 Ray 总结了三类场景，很到位：

1. **从“看图说话”变成“感知交互”**：以前教 AI 写前端只能截图，现在它能理解动画、Hover、Transition 这些动态效果。

2. **远程 Debug 录屏**：用户录一段操作报错视频，丢给 Claude，AI 自动读关键帧，结合代码库定位问题。

3. **智能抽帧 + Whisper 协同**：不塞爆 Context Window，只把关键变化帧和时间线塞给 Claude，性价比拉满。

还有人用来分析竞品视频的 hook、总结长视频、把会议录音转成行动项。

## 怎么用

安装很简单，Claude Code 里跑两条命令：

```

/plugin marketplace add bradautomates/claude-video

/plugin install watch@claude-video

```

然后直接 `/watch` 加链接或本地路径就行：

```

/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?

/watch ~/Movies/screen-recording.mp4 when does the UI break?

```

支持 `--start`、`--end` 指定时间段，`--detail` 控制抽帧密度（transcript / efficient / balanced / token-burner）。

## 一些细节

项目已经 3000+ 星，MIT 协议。底层依赖 yt-dlp、FFmpeg，Whisper 用 Groq 或 OpenAI。

有网友担心长视频准度，作者说 10 分钟以上默认模式会稀疏扫描，建议用 `--detail token-burner` 或者指定时间段。也有网友问 Zoom 会议里 PPT 翻页场景下 Whisper 的准度，这得实测才知道。

有开发者已经打算把一周的咨询通话录音都喂进去，会议还没开完，行动项已经整理好了。

这个项目解决的其实是个很痛的“多模态上下文非文本流失”问题。以前 AI 看视频要么烧 Token 传整个视频，要么只看字幕。现在用场景检测 + 语音转文字协同编排，在有限上下文里塞进最有效的信息。

不是炫技，是直接把人从重复看视频里捞出来。