dsh-vision-free-eyes

给 DeepSeek Harness（DSH）里的纯文本模型补上免费「眼睛」：GUI 直接贴图自动转译 + 磁盘图片识图工具 + 使用指引 skill。底层视觉走智谱 GLM 免费模型（glm-4v-flash），无需付费。

Eyes for text-only DeepSeek Harness agents: paste an image in the Web GUI and it just works — the image is transcribed by a free Zhipu GLM vision model before DeepSeek sees the text.

⚠️ 需要 GLM key（免费，但必须要有）：识图走智谱免费模型 glm-4v-flash，需要去 open.bigmodel.cn 注册获取免费 API key（格式 id.secret），配置为环境变量 GLM_API_KEY 或 ZHIPU_API_KEY（Windows 可直接 setx GLM_API_KEY "你的key"）。没有 key 时贴图转译会失败（对话中显示 [图片转译失败: 未找到 GLM_API_KEY ...]）。key 只存在于你的环境，不会进代码或仓库。

特性

组件	作用
自动识图路由（packages/vision-route）	默认注册「DeepSeek + 自动识图」；也可包裹火山方舟等自定义 provider。贴图在请求流里被 GLM 自动转译成文字，再委派给目标适配器
vision 工具（packages/vision-tool）	模型可对已知磁盘图片路径调用的 vision(image, question) 完整视觉理解工具（直连 GLM API；OCR 仅为可选模式）
vision-free-eyes skill（skill/）	教模型「何时 / 怎么用」视觉能力的指令文件

两个插件如何配合

dsh-vision-proxy-route 和 dsh-vision-free-eyes 不是重复功能，而是覆盖两种互补的图片入口：

使用场景	负责组件	处理方式
在 DSH Web GUI 中粘贴或上传图片	dsh-vision-proxy-route	在主模型收到请求前自动读取 attachment、调用 GLM，并把图片描述注入对话；无需主模型主动调用工具
用户提供磁盘图片的绝对路径	dsh-vision-free-eyes	主模型调用 vision(image, question)，直接分析该本地图片；任何模型路由均可使用
GUI 图片的后续追问	dsh-vision-proxy-route	复用历史 attachment，并根据“上一张 / 第一张 / 两张对比”等当前问题重新分析

推荐同时安装两个包：GUI 贴图自动走 route，本地路径自动走 tool，共用同一个 GLM_API_KEY / ZHIPU_API_KEY。Skill 负责告诉主模型如何选择：如果 route 已经提供图片描述， 就直接使用，不再重复调用 vision；只有用户给出已知本地绝对路径时才使用 tool。

它们也可以单独安装：只需要 GUI 贴图时安装 route；只需要分析本地图片路径时安装 tool。

• 免费默认：智谱 GLM 免费通道（glm-4v-flash → glm-4.6v-flash → glm-4.1v-thinking-flash 自动降级链），只需一个免费申请的 GLM key。
• 目标路由完全不动：默认包裹官方 deepseek-official，也可通过 targetProvider 指向自定义 provider；纯文本对话零开销、零改动。
• 无重启热生效：插件行写入 profile 的 cordis.patch.yml 后由 watchUserPatches 实时重放（见安装步骤；Windows 上插件路径必须用 file:/// URL）。
• 优雅降级：某个图片转译失败时替换为 [图片转译失败: ...] 文本，对话不卡死。

架构

用户贴图/截图
   │
   ▼
DSH Web GUI 预检（检查所选模型的 inputModalities）
   │  ← 自动识图包装路由声明了 ['text','image']，放行
   ▼
自动识图包装适配器（默认 deepseek-vision，也可自定义）
   │  拦截请求，把每个 { type:'image', attachment } 块：
   │    readImage(ref) → base64 → GLM chat/completions → 文字描述
   │  替换成 { type:'text', text:'[图片转译] …' }
   ▼
配置的目标适配器（默认 deepseek-official，也可为自定义 provider）
   │
   ▼
目标模型基于文字作答

磁盘上的图片文件
   │
   ▼
模型调用 vision 工具（vision-tool）
   │  直连 GLM API（glm-4v-flash 降级链 + 进程内缓存）
   ▼
文字描述 → 模型整合进回答

安装

前提

• DeepSeek Harness 0.1.0-rc.5 / rc.6 / rc.7（本方案在 rc.5 上实测通过，兼容 rc.6 / rc.7）
• 智谱 GLM 免费 key（open.bigmodel.cn 注册即得，格式 id.secret），配置方式（任选其一）：
  • 环境变量 GLM_API_KEY 或 ZHIPU_API_KEY；或
  • Windows 用户环境变量（setx GLM_API_KEY "..."，插件会自动读注册表 HKCU\Environment）

通过 npm 安装（推荐）

两个包发布到 npm 后（dsh-vision-free-eyes + dsh-vision-proxy-route）：

dsh plugin --profile web add dsh-vision-free-eyes dsh-vision-proxy-route

dsh plugin add 会安装包并写入 profile 的 dsh.profile.bundles，重启 dsh web（或刷新页面）后生效。 包已装入 profile 的前提下，也可以直接在 profile 的 cordis.patch.yml 里用包名挂载（热生效，无需重启）：

- insert:
    - id: dsh-vision-free-eyes
      name: dsh-vision-free-eyes
    - id: dsh-vision-proxy-route
      name: dsh-vision-proxy-route

手动安装（备选：未发布 / 本地目录）

1. 把 packages/vision-tool 和 packages/vision-route 放到你的机器上（例如 D:\tools\）。

…