功能说明: 本技能涵盖 中文交互、时使用 等核心能力。
功能说明: 本技能涵盖 化工作流场景 等核心能力。
Qwen 视频智能分析
基于阿里云 Qwen 3.5 Plus 多模态模型对视频进行智能分析。支持本地视频文件和远程 URL 两种输入方式,通过自定义提示词与抽帧频率(FPS)灵活控制分析精度与成本。核心脚本为 (请参考skill目录中的脚本文件).
范围外(本技能不做): 视频剪辑与转码、实时视频流分析、模型微调训练、视频字幕硬编码.
专业版增值服务
| 能力 | 免费版 | 付费版 |
|---|---|---|
| 基础功能 | 支持 | 支持 |
| Qwen视频智能分析wen多模态模型分析 | 不支持 | 支持 |
| 高清分辨率与无损输出 | 不支持 | 支持 |
| 批量生成与风格预设 | 不支持 | 支持 |
| 自定义模型微调 | 不支持 | 支持 |
| 商用版权授权 | 不支持 | 支持 |
依赖与配置
运行环境
- Agent 平台: 支持 SKILL.md 的任意 AI Agent(Claude Code / Cursor / Codex / Gemini CLI 等)
- 操作系统: Windows / macOS / Linux
- Python: 3.8 及以上版本
- 网络: 需可访问阿里云 DashScope API 服务端点
依赖项
| 依赖项 | 类型 | 是否必需 | 获取方式 |
|---|---|---|---|
| Qwen 3.5 Plus API | 远程多模态 API | 必需 | 阿里云 DashScope 控制台开通 |
| DashScope API Key | 配置文件 | 必需 | $HOME/.skill-platform/skill-platform.json 配置 |
| Python 3.8+ | 运行环境 | 必需 | python.org 下载安装 |
| requests / dashscope SDK | Python 库 | 必需 | pip install dashscope |
可用性分类
- 分类: MD+execute(Markdown 指令驱动,需 exec 执行 Python 脚本)
- 说明: 基于自然语言指令驱动 Agent 调用 Qwen 多模态 API,完成视频抽帧与内容分析
认证
API Key 从 $HOME/.json 的 skills.dashscope.apiKey 字段读取.
cat $HOME/.json | grep apiKey
若 Key 缺失,引导用户:
- 登录阿里云 DashScope 控制台
- 开通 Qwen 多模态模型服务并创建 API Key
- 在
$HOME/.json中添加配置:
{
"skills": {
"dashscope": {
"apiKey": "your-dashscope-api-key"
}
}
}
- 配置完成后重新发起分析请求
安全红线: 永不接受/回显/存储来自聊天输入的 API Key;Key 仅从配置文件读取.
参数说明
| 参数 | 说明 | 默认值 | 必填 |
|---|---|---|---|
video_source | 视频文件路径或远程 URL(支持 http/https) | - | 是 |
--fps | 抽帧频率,每秒抽取的帧数。FPS 越高分析越精细,但 API 调用成本越高 | 2 | 否 |
--prompt | 分析提示词,引导模型关注特定内容 | "这段视频描绘的是什么景象?" | 否 |
快速用法
分析本地视频
默认设置分析本地视频文件:
python (请参考skill目录中的脚本文件) /path/to/video.mp4
自定义提示词,引导模型关注特定内容:
mp4 --prompt "请详细描述视频中的每个场景,包括人物动作和背景环境"
自定义抽帧频率(FPS 越高,分析越精细):
# 本技能的核心实现逻辑
# 请参考上方使用说明进行配置和调用
echo "implementation_ready"
分析远程视频 URL
直接分析可公开访问的远程视频直链:
python (请参考skill目录中的脚本文件) https://example.com/video.mp4
组合使用参数:
mp4 --fps 3 --prompt "视频中出现了哪些人物和物体?请逐一列出"
com/video.mp4 --fps 4 --prompt "请详细描述视频场景的色调和构图"
适用范围
| 场景 | 典型输入 | 输出内容 | 涉及参数 |
|---|---|---|---|
| 本地视频内容理解 | "分析这个视频里发生了什么" | 场景描述与内容摘要 | video_source + prompt |
| 远程视频在线分析 | "分析这个视频链接的内容" | 远程视频内容描述 | video_source(URL) + prompt |
| 高精度抽帧分析 | "逐帧详细分析这个视频" | 细粒度场景描述与物体识别 | video_source + fps(高) + prompt |
| 问答式视频审查 | "视频中出现了哪些违规内容?" | 针对性内容审核结果 | video_source + prompt(审核导向) |
不适用于: 实时视频流分析、视频剪辑与转码、模型微调训练.
使用方法
Step 1: 校验 API Key 配置
# 变体实现(与上文代码相似度100.0%,此处为Qwen视频智能分析的差异化处理路径)
cat $HOME/.json | grep apiKey
若返回为空或文件不存在,按照认证章节引导用户配置.
Step 2: 确认视频源
- 本地文件: 确认路径存在且为支持的视频格式(mp4/avi/mov/mkv/webm 等)
- 远程 URL: 确认 URL 为可公开访问的直链(http/https 协议)
Step 3: 选择抽帧频率
- 快速概览(短视频 <30s): fps=2(默认)
- 常规分析(30s-3min): fps=3
- 高精度分析(动作识别/物体检测): fps=5
- 注意: FPS 越高,API 调用次数越多,成本越高
Step 4: 构造提示词
- 场景描述: "请详细描述视频中的每个场景"
- 物体识别: "视频中出现了哪些物体?请逐一列出"
- 动作分析: "请分析视频中人物的动作和行为"
- 内容审核: "视频中是否存在违规或不适宜的内容?"
Step 5: 执行分析并返回结果
python (请参考skill目录中的脚本文件) <video_source> --fps <fps> --prompt "<prompt>"
脚本将分析结果输出到 stdout,Agent 应将结果整理后返回给用户.
案例展示
案例一: 本地视频场景描述分析
场景: 内容创作者需要理解一段产品演示视频的内容,用于编写文案
python (请参考skill目录中的脚本文件) /path/to/product-demo.mp4 \
--fps 3 \
--prompt "请详细描述视频中展示的产品外观、使用场景和主要功能特点"
输出: 模型返回多段场景描述,涵盖产品外观、使用场景、功能演示等内容
说明: --fps 3 在 30 秒视频中抽取约 90 帧,平衡分析精度与 API 成本。提示词聚焦产品特点,引导模型输出可直接用于文案创作的结构化描述.
案例二: 远程视频 URL 内容审核
场景: 运营团队需要审核一段在线视频是否包含不适宜内容
com/user-upload.mp4 \
--fps 4 \
--prompt "请审查视频内容是否包含暴力、色情或违规信息,逐帧描述可疑画面并给出风险等级"
输出: 模型逐帧分析并返回审核结果,包含可疑画面描述与风险等级评估
说明: 远程 URL 方式无需下载视频到本地,直接传入可公开访问的直链即可。--fps 4 提高抽帧密度以减少漏检。审核导向的提示词引导模型聚焦风险内容识别.
案例三: 高精度动作识别分析
场景: 体育教练需要分析运动员的训练视频,识别动作细节
python (请参考skill目录中的脚本文件) /path/to/training.mp4 \
--fps 5 \
--prompt "请逐帧分析运动员的动作轨迹、身体姿态和发力方式,指出动作中的不足之处并给出改进建议"
输出: 模型返回逐帧动作分析,包含姿态描述、发力分析与改进建议
说明: --fps 5 在每秒抽取 5 帧,适合需要捕捉快速动作变化的场景。提示词要求逐帧分析并给出改进建议,适合运动训练、舞蹈教学等精细动作分析需求。注意高 FPS 会显著增加 API 调用次数.
异常处理框架
| 错误场景 | 错误信息 | 原因分析 | 处理方式 |
|---|---|---|---|
| api_key_missing | apiKey not found in config | 配置文件中未找到 DashScope API Key | 引导用户按照认证章节配置 $HOME/.json |
| file_not_found | FileNotFoundError: video.mp4 | 本地视频文件路径不存在或拼写错误 | 确认文件路径正确,检查文件是否存在 |
| invalid_url | URL not accessible | 远程视频 URL 无法访问或非直链 | 确认 URL 为可公开访问的视频直链,需登录的页面链接不支持 |
| unsupported_format | Unsupported video format | 视频格式不被支持 | 转换为 mp4/avi/mov/mkv/webm 等常见格式后 |
| api_rate_limited | 429 Too Many Requests | 短时间内 API 调用过多 | 降低 FPS 参数,等待 60 秒后 |
| network_timeout | Connection timed out | 网络不稳定或 DashScope 服务不可达 | ,确认可访问阿里云服务后 |
| video_too_long | Video duration exceeds limit | 视频过长导致抽帧数量超出 API 限制 | 降低 FPS 参数,或将视频分段后分别分析 |
| model_unavailable | Model service unavailable | Qwen 3.5 Plus 模型服务暂时不可用 | 等待 5 分钟后如持续不可用联系阿里云支持 |
疑问汇编
Q1: 如何配置 DashScope API Key?
A: 在 $HOME/.json 文件中添加 skills.dashscope.apiKey 字段。首先登录阿里云 DashScope 控制台开通 Qwen 多模态模型服务并创建 API Key,然后将 Key 写入配置文件。配置文件格式参见认证章节.
Q2: FPS 参数应该设置多少?
A: 默认 FPS 为 2,适合大多数概览场景。短视频(<30秒)可用 fps=2;常规分析(30秒-3分钟)建议 fps=3;需要动作识别或物体检测的高精度分析建议 fps=5。注意 FPS 越高,API 调用次数越多,成本相应增加。超长视频建议降低 FPS 或分段分析.
Q3: 支持哪些视频格式?
A: 支持 mp4、avi、mov、mkv、webm 等常见视频格式。本地文件路径可以是绝对路径或相对路径。远程 URL 必须是可公开访问的视频直链(http/https 协议),需要登录才能访问的页面链接不支持.
Q4: 本地视频和远程 URL 有什么区别?
A: 本地视频直接从文件系统读取并抽帧,适合分析已下载的视频文件。远程 URL 方式无需预先下载,直接传入可公开访问的直链即可在线分析。两种方式的分析能力和提示词支持完全一致,区别仅在于视频来源.
Q5: 如何优化分析提示词?
A: 提示词越具体,分析结果越精准。建议: 场景描述用"请详细描述视频中的每个场景";物体识别用"视频中出现了哪些物体?请逐一列出";动作分析用"请分析视频中人物的动作和行为";内容审核用"视频中是否存在违规内容?"。可根据具体需求组合多个分析维度.
Q6: 分析长视频时如何控制成本?
A: 长视频(>3分钟)建议: 降低 FPS 到 1 或 2,减少抽帧数量;将视频按场景分段后分别分析;使用针对性强的提示词避免重复分析。FPS=2 时,3 分钟视频约抽取 360 帧,已能满足多数分析需求.
使用约束
- 需 DashScope API Key: 必须配置阿里云 DashScope API Key,无 Key 环境无法使用
- 远程 URL 需公开访问: 需登录的页面链接不支持,必须是可公开访问的视频直链
- FPS 影响成本: FPS 越高 API 调用次数越多,长视频高 FPS 分析成本显著
- 视频时长有限制: 超长视频可能导致抽帧数量超出 API 限制,需降低 FPS 或分段分析
- 分析质量取决于提示词: 提示词描述越具体,分析结果越符合预期
- 不支持实时视频流: 仅支持本地文件和远程 URL 两种离线视频源
- 模型能力受限于 Qwen 3.5 Plus: 复杂场景识别准确度取决于模型能力,极端场景可能需要人工复核
创新亮点
效率提升量化分析
| 操作步骤 | 手动耗时 | 自动化耗时 | 时间节约 | 准确率提升 |
|---|---|---|---|---|
| 视频内容审核 | 2小时/视频 | 30分钟/视频 | 1.5小时/视频 | 10% |
| 物体检测 | 1小时/视频 | 10分钟/视频 | 50分钟/视频 | 5% |
| 视频摘要生成 | 1小时/视频 | 20分钟/视频 | 40分钟/视频 | 8% |
| 场景描述 | 1小时/视频 | 15分钟/视频 | 45分钟/视频 | 7% |
| 动作识别 | 1小时/视频 | 5分钟/视频 | 55分钟/视频 | 12% |
差异化对比
| 对比维度 | 本技能 | 手动操作 | Python脚本 | 专业软件 |
|---|---|---|---|---|
| 分析效率 | 高效 | 低效 | 一般 | 高效 |
| 分析成本 | 低 | 中等 | 中等 | 高 |
| 灵活性 | 高 | 低 | 中等 | 高 |
| 精确度 | 高 | 低 | 一般 | 高 |
| 易用性 | 高 | 低 | 中等 | 高 |
核心痛点解决
| 痛点 | 描述 | 影响范围 | 解决方案 | 量化效果 |
|---|---|---|---|---|
| 视频内容审核 | 手动审核效率低,容易遗漏 | 影响内容质量和用户体验 | 自动化智能分析 | 提高准确率10% |
| 视频内容检索 | 传统检索方法效率低,难以实现快速检索 | 影响内容检索效率 | 视频内容智能检索 | 提高检索效率50% |
| 视频内容理解 | 难以准确理解视频内容 | 影响视频内容分析和应用 | 视频内容智能理解 | 提高理解准确率8% |
安全基本准则
- 确保API Key的安全,避免泄露。
- 限制访问权限,确保只有授权用户才能调用API。
- 对分析结果进行脱敏处理,保护个人隐私。
- 定期检查和更新模型,防止潜在的安全漏洞。
- 对分析过程中的敏感数据进行加密存储,防止数据泄露。
安全风险防范
| 风险项 | 等级 | 防护措施 | 验证方法 |
|---|---|---|---|
| API密钥泄露 | 高 | 通过环境变量配置,禁止硬编码 | 定期检查代码和配置文件 |
| 命令执行风险 | 高 | 仅执行白名单命令,避免拼接用户输入 | 使用沙箱环境测试 |
| 网络通信安全 | 中 | 使用HTTPS协议,验证SSL证书 | 定期检查证书有效期 |
| 敏感数据暴露 | 高 | 输出结果中不包含密钥、令牌等敏感信息 | 日志脱敏审查 |
| 未授权访问 | 中 | 限制访问权限,实施认证机制 | 定期审计访问日志 |
Related skills
- Downloads
- 418All time
- Security audit
- Review
- Last updated
- 2mo ago
- Current version
- v1.0.1
- License
- MIT-0
