DSH Computer Use (Windows)

Windows Computer Use for DeepSeek Harness: window-bound screenshots, robust OCR, verified clicks, pure-OCR mode, and pluggable vision models.

为 DeepSeek Harness 提供的 Windows 电脑控制插件:窗口绑定截图、健壮 OCR、带验证闭环的点击、 纯 OCR 模式、可自由配置的视觉模型。填补 DSH 生态 Windows computer use 的空白。

为什么存在

DSH 生态里已有 Anionex/dsh-computer-use(macOS, Accessibility-first)与一批 vision 插件,但 Windows 上没有语义优先的 computer use 插件。 本项目把 2026-08-15 真实实验(操作保险"云助理"客户端提取客户数据)的教训固化为插件:

实验中最致命的三个问题,全部来自"盲坐标"工作流:

1. VLM/OCR 估坐标 → 点击系统性偏移("识别偏上、行为偏下"),点错入口;
2. 全屏截图混入其他窗口 → OCR 结果被无关文字污染,坐标张冠李戴;
3. 无验证闭环 → 每次点击都是盲试,靠人工盯着纠正。

本项目用四条原则解决它们:

• 窗口绑定:所有截图/OCR/点击都在一个目标窗口的坐标系内,点击时自动回加窗口偏移;
• 文字即坐标:提供 click_text,用 OCR 定位文字再点击——模型不再需要猜坐标;
• 验证闭环:每次点击后自动截图 + OCR 校验预期状态,失败按偏移网格重试,返回证据;
• 可配置感知:视觉模型可插拔(任意 OpenAI 兼容端点),也可以完全关闭——纯 OCR 模式 下全部操作不依赖任何视觉模型,零外部 API。

功能特性

能力	说明
computer_screenshot	全屏或目标窗口截图,返回窗口 rect 与坐标空间信息
computer_ocr	WinRT OCR(中文/英文),逐词坐标,窗口外词自动过滤,模糊匹配查询
computer_click_text	按文字点击:OCR 定位 → 点击 → 验证 → 失败重试(偏移网格)
computer_mouse / computer_keyboard	绝对坐标注入、拖拽、滚轮、剪贴板输入
computer_window	窗口枚举/聚焦/定位,句柄动态解析,前台校验
computer_use_run	批量动作一次调用(点击+输入+验证)
computer_vision(可选)	可插拔视觉:opencode-go / 任意 OpenAI 兼容端点 / 关闭
computer_calibrate	DPI/残差校准,校准结果持久化,后续点击自动修正

两种工作模式(Config 自由)

{
  "vision": {
    "enabled": false            // ← 纯 OCR 模式:不调用任何视觉模型
  }
}

{
  "vision": {
    "enabled": true,
    "provider": "openai-compatible",   // opencode-go | openai-compatible | none
    "base_url": "https://your-vlm.example.com/v1",
    "api_key_env": "MY_VLM_KEY",       // 从环境变量/DSH 凭据库取 key,不进配置
    "model": "your-vlm-model"
  }
}

完整配置见 docs/design.zh.md(config schema、每个字段的语义与默认值)。

快速开始

当前处于 v0 参考实现阶段(调研 + 设计 + helper 实现已完成,bundle 集成验证中)。 已安装 DSH(Web profile)与 PowerShell 7.4+。

# 1. 克隆
git clone https://github.com/Altairpaca/dsh-computer-use-windows
# 2. 体检(可选)
./scripts/check-health.ps1
# 3. 直接使用 helper(无需安装插件即可体验)
$env:CU_ARGS = '{"cmd":"screen"}'
& ./helper/cu.ps1
# 4. 把 helper 安装为 DSH bundle(待 v1 完成)
dsh plugin add dsh-computer-use-windows   # 规划中

项目状态与路线图

阶段	内容	状态
0. 复盘	实验问题根因分析(坐标/验证/窗口)	✅ 完成(docs/experiment-findings.zh.md)
1. 调研	跨平台 computer use 方案调研(Claude/OpenAI/Gemini/UFO/OmniParser/UI-TARS…)	📋 计划见 docs/research-plan.zh.md
2. 设计	架构、健壮性、config 自由度、OCR 健壮性	✅ 完成(docs/design.zh.md)
3. 参考实现	cu.ps1 v2(窗口绑定/click_text/验证闭环/配置化)	✅ helper/cu.ps1
4. Bundle 化	DSH 插件封装(tools 注册 + SKILL + 一键安装)	🚧 plugins/ 骨架,待调研结论固化
5. 发布	GitHub Discussion、awesome-dsh-plugin 收录	📋 草稿见 docs/discussion-post.md

文档

• docs/research-plan.zh.md — 跨平台调研计划(问题清单/平台矩阵/验证方法)
• docs/design.zh.md — 架构设计、健壮性、config schema、OCR 健壮性
• docs/experiment-findings.zh.md — 实验复盘与根因
• skills/computer-use-windows/SKILL.md — 模型侧使用技能

安全声明

• 本插件通过 user32 注入鼠标键盘,可操作系统任意窗口;默认只在目标窗口内点击, 但仍建议在隔离环境/授权范围内使用;
• vision 调用会把截图发送到你配置的视觉端点(自备端点或纯 OCR 模式可避免外发);
• API key 只从环境变量或 DSH 凭据库读取,不进入配置文件与代码。

许可证

MIT © 2026 Altair Li

---

灵感与致谢:Anionex/dsh-computer-use(macOS 语义优先设计)、 ezpzai/codex-computer-use-windows(Windows 配方)、 ysr666/dsh-vision-router(grounding 工具族)。