dsh-knowledge

DSH 的知识库插件

English · 中文

一个深度的知识库系统，作为 DeepSeek Harness（DSH）的独立、可开源 bundle 插件。提供知识库（含分组）与文档管理、文本分块、向量化（OpenAI 兼容 / Ollama / 本地模型 / 关键词降级）、检索，以及模型可见工具与浏览器管理面板。

---

它带来什么

• 知识库与文档：创建/删除/重命名知识库与文档；分组管理（新建/重命名/删除分组，侧边栏按分组折叠导航，知识库可在菜单中「移动到分组」）；添加文档（文件 / 网页 / 目录 / 文本（笔记）四入口，纯文本亦可经模型工具 knowledge_add_document）、多文件拖拽上传（单文件 ≤22MB，文件选择器与拖拽均单次最多 20 个并过滤不支持扩展名，5 路并发后台导入池）、目录导入（递归扫描 txt/md/csv/html/json/pdf/docx/doc/pptx/ppt/xlsx/xls/epub 等，导入为可下钻的文件夹树，源文件复制进知识库 raw 存储，源盘变更后仍可重建）、URL 导入；同名冲突弹窗决议（服务端权威检测，列出冲突文件名，「全部重命名 / 替换 / 取消」+ 解析中锁定）、内容哈希去重；文档预览（PDF 内嵌查看器 + 文本/分块预览，超大文件自动截断）；资料行显示 ✓ 就绪状态徽标、实时导入状态（等待中 / 解析中 / 嵌入中 NN%）与相对更新时间，失败行悬浮显示本地化原因（可聚焦、读屏可读），文件夹在任一后代处理时显示「导入中」；全部操作走正式对话框与 Toast 通知（无 window.prompt/confirm）。
• 扫描件 OCR（本地引擎）：扫描版 PDF、矢量绘制的无文本层 PDF 与图片自动走整页渲染 + PaddleOCR PP-OCRv5（约 21MB 模型，含 1.8 万字符中文词典，设置 → 本地模型一键下载；页面用 mupdf WASM 渲染），识别失败自动回退 Tesseract；1-bit 位图（JBIG2/CCITT 传真式扫描件）也能正确识别；文本层损坏或逐字符排版的 PDF 会自动切换识别路径；识别文本照常分块、向量化、可检索。
• 每库独立配置：每个知识库可单独指定 embedding 提供方/模型（含本地模型）、重排模型（远程 API 或 本地 bge-reranker）、分块大小与 topK、语义分块、冲突策略、URL 自动刷新等，未设置字段自动继承全局配置；改配置后一键重建索引（全库或单条资料）。
• 可选 MinerU 远程文档处理：PDF 可交给 MinerU 服务解析（公式、表格、版式还原成 Markdown），知识库设置里填入 MinerU API Key（全局或每库覆盖）即可；未配置时自动走本地解析链路。
• 向量化与检索：可插拔 embedding 提供方 —— 任意 OpenAI 兼容 /embeddings 端点（OpenAI、DeepSeek、SiliconFlow、本地网关…）、Ollama，或 进程内本地模型（transformers.js，默认 onnx-community/Qwen3-Embedding-0.6B-ONNX，无需联网服务）；混合检索（BM25 + 向量 + Reciprocal Rank Fusion）、重排模型（rerank，Jina/SiliconFlow/Cohere v2 风格 API 或本地跨编码器）、MMR 结果去重、检索模式（auto/hybrid/vector/lexical）与相似度阈值、多查询检索（extraQueries，换说法/翻译扩召回）；未配置时自动退化关键词（CJK 二元组 + 拉丁词 BM25），零配置即可用；召回测试显示命中来源、相关度、双分数、耗时，复制引用（Markdown 引用块 + 来源行），并保留检索历史可一键重放。
• 智能分块：标题感知分块（保留 Markdown 标题路径，代码围栏保护），并将「文档标题 + 标题路径」作为上下文注入 embedding 与检索；分块大小/重叠为 Token 预算（按文档实测字符/Token 比换算，与 Cherry Studio 一致），长块按 Cherry 断点评分模型切分（标题 100 → 代码边界 80 → 分隔线 60 → 段落 20 → 句读 8 → 列表 5 → 裸换行 1，窗口内距离衰减），CJK/拉丁语混排窗口大小一致；语义分块（段落嵌入 + 相邻相似段合并，零额外嵌入开销）与 Token 上限细化（超限在句号/逗号/空格边界继续切分）可选开启。
• 索引管理：按当前配置重建索引（改分块大小 / 换 embedding 后一键重切 + 重向量化）、批量 embedding、统计（文档/分块/字符/Token 数、是否已向量化）。
• 模型工具：knowledge_search（含 citations 引用数组）、knowledge_list_bases、knowledge_create_base、knowledge_delete_base、knowledge_add_document、knowledge_list_documents、knowledge_delete_document、knowledge_import_url、knowledge_refresh_url、knowledge_stats、knowledge_get_document、knowledge_read_document（按字符区间分段阅读 / 正则定位）、knowledge_reindex_document、knowledge_reindex_base（共 14 个）。
• 管理面板：不在设置内 —— 侧边栏底部（设置旁）的「知识库」入口打开工作区整页浮层，布局：左侧搜索框 + 分组折叠导航 + 彩色头像知识库卡片（右键菜单：重命名/移动到分组/新建分组/删除），右侧统计芯片、「更新于」时间、添加文档弹窗、表格化资料列表（勾选列 + 名称/类型/状态/更新时间 + 多选批量重建/批量删除）、分块/原文预览、重建索引、检索测试（命中高亮 + 向量/关键词双分数 + 历史 + 复制引用）、全局与每库设置弹窗（文档处理 / 图表描述 / 嵌入模型 / 重排模型 / TopK / 高级设置）、Toast 通知、空状态与悬停动效。
• 本地模型管理（设置内）：设置 →「本地模型」页面（settings.section 插槽），嵌入、重排与 OCR 模型卡片：模型名称/说明、就绪徽标、下载 / 重试 / 删除 按钮、实时下载进度条；模型缓存目录可配置（原生文件夹选择器 + 打开目录 + 一键迁移已下载模型到新位置，迁移自动跳过隐藏目录、不会把目标目录复制进自身，不再盲目占满 C 盘）；Ollama 管理（拉取/取消/删除、已装模型卡片列表（含大小）、下载进度卡片、嵌入与视觉模型推荐）。
• 持久化：业务状态（知识库/文档/运行时配置）经 DSH 官方 storageDomain seam 落盘（json 后端，默认随 web profile 提供）；分块数据存于独立 SQLite 文件（<DSH_HOME>/storages/knowledge-chunks.sqlite，可用 `chu

…