
xyrrrrr-r/dsh-eval-control
dsh-eval-control
dsh-eval-control is a community DeepSeek Harness plugin. Read the repository README before installing.
Install
npx @deepseek-ai/dsh plugin --profile web add dsh-eval-controlRestart `dsh web` after install. Bundle APIs can change during the developer preview.
README badge
[](https://dshhub.dev/plugins/dsh-eval-control)Paste this into your README. The star count updates with every catalog sync.
From the README
Excerpt from xyrrrrr-r/dsh-eval-control, cleaned of badges and images.
dsh-eval-control
DSH 轨迹分析与 aeval 评测控制插件。
上下文窗口不知不觉满了,不知道哪条消息吃了大量 Token,子 Agent 之间到底交接了什么,工具报错后找不到原始日志——这些问题现在都能看见。dsh-eval-control 把会话黑盒变成可视化面板:从上下文演化、团队协作关系图到工具错误证据链,一个插件全覆盖。同时提供 aeval 所需的变量注入、预算控制和 fork 血统校验。
dsh plugin --profile web add dsh-eval-control
快速开始 · 面板演示 · 功能对比 · 面板功能 · 导出与分享 · 常见问题
本文对应仓库当前实现,package.json 版本为 0.5.0。发行包的功能取决于实际安装版本。
功能对比
与同类上下文可视化插件相比,本插件额外提供:
| 能力 | 本插件 | 同类插件 |
|---|---|---|
| 上下文窗口组成与演化 | ✅ | ✅ |
| 消息 Token 估算与筛选 | ✅ | ✅ |
| 压缩事件可视化 | ✅ | ✅ |
| 区分摘要压缩与历史修剪 | ✅ | ❌ |
| 工具调用分析与错误证据 | ✅ | ❌ |
| Team 多 Agent 协作关系图 | ✅ | ❌ |
| 交互时序与任务板 | ✅ | ❌ |
| 智能告警 + 配置应用 | ✅ | ❌ |
| 证据链(从结论到原始事件) | ✅ | ❌ |
| 会话对比 + 差异报告 | ✅ | ❌ |
| 导出 PDF/Markdown/HTML + 只读分享 | ✅ | ❌ |
| aeval 评测控制集成 | ✅ | ❌ |
快速开始
向目标 profile 安装插件:
dsh plugin --profile web add dsh-eval-control
将 web 替换为实际使用的 profile。需要固定发行版本时,在包名后追加 @<version>。
重启或重新加载该 profile,打开一个会话,在会话顶部选择 轨迹分析。对话区的 aeval 控制 状态胶囊和侧栏插件详情提供评测控制状态。
从源码构建
在仓库根目录执行:
npm install
npm run build
npm run typecheck
将构建后的本地目录安装到目标 profile:
dsh plugin --profile web add /absolute/path/to/dsh-eval-control
client/client.js 是生成产物,前端修改应编辑 client-src/,再运行 npm run build:client。
环境要求
| 项目 | 要求 |
|---|---|
| Node.js | ^22.19.0 或 >=24.0.0 |
| 完整功能验证环境 | DSH 0.2.0-rc.2、0.2.1-rc.2 与 0.2.1-rc.3 的 Web 界面 |
| 宿主依赖 | 满足 package.json 中全部 peerDependencies;契约类 peer 覆盖 0.2.0-rc.2 到 0.2.1-rc.3 三个已验证版本 |
| 轨迹分析 | 宿主会话及 projection 服务 |
| 诊断配置应用 | 宿主持久化配置编辑器 configEditor |
| 分享链接 | 宿主 HTTP 服务及本地 profile 存储 |
版本不满足时,宿主会在安装阶段直接拒绝(dsh: installation rejected ... nothing was installed),并且因为市场对 engines 与全部宿主 peer 取合取,插件也不会出现在市场搜索结果中——给自己加 engines.dsh 只能绕过宿主的加载闸门,绕不过市场过滤。若确需在未验证的宿主版本上试用,可用宿主自带的精确版本豁免:
dsh plugin --profile <profile> allow-version dsh-eval-control@<version> --dsh-version <host-version> --accept-risk
豁免只对"该插件版本 + 该宿主精确版本"这一对生效,不会放宽 peerDependencies。
面板演示
以下动图由演示数据的关键操作截图合成循环 GIF,不包含真实会话内容。
上下文演化:切换步骤 / 轮次、选中压缩事件、适配纵轴范围。
团队协作:主子与子子 Agent 关系、交接方向筛选、消息原文、轨迹证据和共享任务板。
总览诊断与消息 Token
查看窗口占用和右侧告警,展开诊断建议,切换消息台账与注入筛选。
压缩替换详情与聚合事件
展开摘要压缩,查看替换手段、历史内容与检查点的对应关系,以及聚合后的历史修剪和注入来源。
工具分布与失败证据
查看工具调用及错误分布、放大图表,再打开失败标红、错误原文和规则原因分析。
会话对比与差异报告
比较两次运行,查看资源消耗雷达图、原始值与差异报告。
报告导出与分享选项
切换报告格式,查看只读分享的有效期与访问权限选项。此演示未创建分享链接。
动图的演示数据和更新方法见 录制说明。
面板功能
| Tab | 可以查看或执行的操作 |
|---|---|
| 总览 | 上下文窗口占用、组成拆解、会话摘要;右侧集中展示智能告警、规则设置和可折叠诊断数据 |
| 上下文演化 | 按步骤、轮次或时间查看输入占用、上下文内容估算 Token 和输出 Token;区分摘要压缩、历史修剪、注入与激增 |
| 消息 Token | 默认全部历史,可选最近 N 条或事件范围;角色、Token 范围、排序与高消耗消息定位 |
| 压缩与注入 | 事件聚合、压缩前后对比、替换关系、替换手段、注入来源和内容节选 |
| 工具分布 | 调用次数、显式错误、分布图与调用明细;失败标红、规则原因分析及原生工具卡片定位 |
| Team 活动 | 主子 Agent 协作关系图、交互时序、成员分工与活动泳道、任务板和消息交接;支持筛选与证据跳转 |
| 对比分析 | 选择 2–4 个会话,生成资源消耗对比、上下文折线、雷达图、差异报告与建议 |
顶部关键指标卡可打开计算口径与事件证据;其他 Tab 可通过 总览诊断 返回诊断中心。各面板的详细交互说明见 面板详细说明。
证据链:从结论回到原始事件
点击顶部指标卡、告警中的 查看证据链,或消息表中的 ⚡ / 🔻,会在右侧打开统一证据抽屉。演化图选中标记、压缩、注入、工具明细、Team 成员与对比指标均有对应入口。
抽屉显示结论、规则、实际计算输入、样本与分母、证据等级和数据质量提示。点击关联事件,按 sessionId + seq 读取宿主原始持久事件,并可折叠查看前后事件、检查 JSON 或下载记录。当前会话且宿主支持时可打开原生工具卡片,跨会话时使用原始事件查看器。
窗口占用证据额外展示"未缓存输入 + 缓存读取 = 请求占用"的实际数值公式;每个输入分别关联事件与原始字段。突增同时展示基线中位数、相邻消息体积差、主导成分和时间间隔,各数值分别标明来源。
引用和投影均有保留上限;缺失、读取失败或未记录的耗时起止会明确提示,不会用相邻事件代替。关闭抽屉保留原 Tab 的筛选和缩放。
实现和数据约定见 证据链设计。
智能告警
告警与诊断集中在 总览右侧的诊断中心,提供未处理、已处理、已忽略及严重级别筛选。
…

