返回项目列表

项目详情

视频资料检索实验

一个把长视频逻辑分片、语音与视觉观察、统一时间轴、证据检索和片段导出组合起来的私有本地实验。

分类
本地工具
状态
实验中
可见性
非公开
角色
个人项目

技术栈

  • Python
  • ASR
  • VLM

用途

这个项目用于在本地整理长视频资料,让自然语言查询能够返回原视频中的时间范围、语音或画面依据,以及可供回看的导出片段。

结构

处理结构由媒体摄取、逻辑分片、语音转录、视觉观察、统一时间轴、证据检索、派生文档索引和片段导出组成。原始媒体与分析产物分开保存,分片、转录、视觉观察、时间轴和索引文档记录采用 JSONL 文件存储。

实现原理

每个逻辑分片保存原视频起始偏移,分片内时间在写入前映射为全局时间。查询读取转录、视觉观察和时间轴三类 JSONL,汇集其中匹配的文档,同时保留证据引用和导出范围。索引重建汇集这三类来源的文档,并写出文档总数与各来源数量清单。片段包可包含视频、音频、字幕、代表帧、证据数据和清单。

当前状态

项目处于私有实验阶段。当前 MVP 覆盖逻辑分片、全局时间映射、可替换 ASR 与 VLM 后端、JSONL 产物读取、索引重建、证据查询和片段导出。产物版本字段、内容摘要校验、无效来源拒绝和重建时全局排序仍是可供后续考虑的增强设计,并非当前能力。