本地优先 AI 生产力：端侧 Whisper/LLM 混合切分与 Obsidian 知识图谱自动化同步

ABSTRACT // 摘要

云端多模态视频分析接口在处理超长技术讲座时不仅面临高昂的 Token 费用，而且受到上传带宽、隐私数据泄露和网络不稳定的多重制约。本文探讨 vid2note 采用的本地优先 (Local-First) 架构：利用本地显卡量化 Whisper 模型执行超快语音切片，通过视觉直方图差分捕获幻灯片变迁，并在本地生成符合 Obsidian 规范的结构化知识库，实现隐私绝对掌控与秒级响应。

#Local-First#Whisper#Obsidian#OpenCV#Productivity

对应在轨工程实验舱:VID2NOTE

1. 本地端语音文字精准对齐管线

通过 Faster-Whisper int8 权重量化，将显存占用降至 3.2GB。利用 CTC (Connectionist Temporal Classification) 贪心搜索对齐文本段落与音频波形，输出精确到毫秒的时间戳标记。

2. 幻灯片变迁自适应直方图差分算法

为过滤讲师走动造成的误触发，算法计算前后关键 I 帧在 HSV 色彩空间上的直方图相关系数 \(\rho\)，仅当全画幅显著差异超过动态阈值时才触发 OCR 去重提取：

\rho(H_1, H_2) = \frac{\sum_{i} (H_1(i) - \bar{H}_1)(H_2(i) - \bar{H}_2)}{\sqrt{\sum_{i} (H_1(i) - \bar{H}_1)^2 \sum_{i} (H_2(i) - \bar{H}_2)^2}} < \tau_{\text{cut}}

工程研讨与留言区

使用 GitHub 账号登录

支持纯文本与 Markdown 代码块

// NO TRANSMISSIONS · 暂无评论信标

拒绝伪造虚假数据。登录 GitHub 发送第一条真实的工程探讨或反馈信标。