用途
長時間動画をローカルで整理し、自然言語検索から元動画の時間範囲、音声または画面上の根拠、確認用に書き出せるクリップを得るためのプロジェクトです。
構成
メディア取り込み、論理分割、音声文字起こし、視覚観察、共通タイムライン、証拠検索、派生文書索引、クリップ書き出しで構成します。元メディアと解析成果物は分けて保存し、分割、文字起こし、視覚観察、タイムライン、索引用文書の記録には JSONL ファイルを使います。
実装原理
各論理区間は元動画内の開始オフセットを持ち、区間内の時刻を保存前に全体時間へ変換します。検索は文字起こし、視覚観察、タイムラインの三種類の JSONL を読み、一致した文書を集めながら証拠参照と書き出し範囲を保持します。索引再構築は三種類の情報源から文書を集め、文書総数と情報源ごとの件数をマニフェストへ書きます。書き出し一式には動画、音声、字幕、代表フレーム、証拠データ、マニフェストを含められます。
現在の状態
非公開の実験段階です。現在の MVP は論理分割、全体時間への変換、交換可能な ASR と VLM バックエンド、JSONL 成果物の読み込み、索引再構築、証拠検索、クリップ書き出しを扱います。成果物の版フィールド、内容ダイジェスト検証、無効な情報源の拒否、再構築時の全体時間順ソートは将来検討できる強化案であり、現在の機能ではありません。