dsh-vision-imagen
DeepSeek Harness all-in-one: no model switching — regular DeepSeek auto-routes to vision & image gen. Multi-backend: Gemini + any OpenAI-compatible (GPT-4o, Qwen-VL, GLM-4V, gpt-image, DALL-E, Flux, OpenRouter). gemini_vision/gemini_generate_image/gemini_optimize_image with vision self-check. Better than modlens.
- Stars
- 1
- Language
- JavaScript
- Created
- Aug 19, 2026
- Updated
- Aug 20, 2026
Introduction
dsh-vision-imagen
DeepSeek Harness 插件:为 DeepSeek 模型桥接 Google Gemini 的多模态识别与图像生成。
当 DeepSeek 模型需要看图、生图、改图时,自动调用 Gemini:
| 工具 | 作用 |
|---|---|
vision_read | 识别/读取/描述/分析图片(OCR、物体、图表),支持本地路径或 http(s) URL |
generate_image | 文本生图,生成后必定用 Gemini 视觉模型自检反馈(不达标时按优化 prompt 重绘) |
edit_image | 改图/优化已有图片:先分析原图 → 生成改进版 → 自检迭代 |
✨ 核心卖点:全能一体,无需切换模型
- 一个 DeepSeek 会话搞定一切:直接用常规 DeepSeek 模型(不必换成视觉模型),需要看图、生图、改图时,插件自动路由到对应的 Gemini 多模态/生图模型——全程零手动切换模型。
- 比 modlens 等更完整:modlens 只是「给纯文本模型装一只读图的眼睛」;本插件是视觉识别 + 图像生成 + 图像编辑 + 自检反馈的完整闭环,并且直接复用你自己的 Gemini API Key,不依赖任何第三方桥接、无额外订阅。
- 自动调用,无需操心:识别 →
vision_read;生图 →generate_image;改图 →edit_image。DeepSeek 模型通过系统提示与工具描述自动选对工具,对用户完全透明。 - 自检闭环,质量把关:生成/优化后,自动用 Gemini 视觉模型检查成品图,不达标按优化提示自动重绘,并把检查结论(画面描述 / 达标与否 / 问题清单)直接反馈出来。
🧩 环境要求(依赖)
| 依赖 | 要求 | 说明 |
|---|---|---|
DeepSeek Harness(dsh) | ≥ 0.1.0-rc.7(rc 通道) | 插件宿主。先全局安装 dsh,再用 dsh plugin --profile web add ... 加载本插件 |
| Node.js | ≥ 18 | 宿主半运行环境(engines) |
@deepseek-ai/dsh-tools | peer 依赖(*) | 必需:宿主半通过 defineTool 注册工具。由 dsh 宿主提供,或随 pnpm install 自动解析——无需手动安装 |
react | ^18.2.0(peer) | 浏览器半(设置页)所需,由 dsh Web 前端提供 |
@deepseek-ai/dsh-client-runtime | rc 通道 | 客户端核心服务,声明于 dsh.client.inject,dsh Web 构建时自动注入 |
| 后端 API Key | 自备 | Gemini(Google AI Studio 免费 Key)或所选 OpenAI 兼容后端 |
本插件运行时只依赖
@deepseek-ai/dsh-tools(宿主半)与react(浏览器半),其余均为 Node.js 内置模块;@deepseek-ai/*其余包由 dsh 宿主自带,不会重复安装。已实测:dsh0.1.0-rc.7+@deepseek-ai/dsh-tools@0.1.0-rc.7可正常解析运行。
📦 安装
方式一:本地目录(开发/试用)
git clone https://github.com/xuxun-oss/dsh-vision-imagen.git
dsh plugin --profile web add /path/to/dsh-vision-imagen
# 然后重启 dsh web(或按 dsh 的插件热载提示操作)
方式二:npm 安装(发布后)
dsh plugin --profile web add dsh-vision-imagen
安装后打开 设置 → Vision Imagen,填入 Google AI Studio 的 API Key,点「测试连接」即可。
💡 获取 Gemini API Key:https://aistudio.google.com/apikey(免费额度即可)。
🔌 多后端支持(不止 Gemini)
通过 provider 抽象层适配不同后端,同一个 DeepSeek 会话、无需切换模型:
| 后端 | 视觉识别/自检 | 图像生成 | 兼容平台示例 |
|---|---|---|---|
gemini(默认) | gemini-3.7-flash、gemini-3.6-flash、gemini-2.5-pro… | gemini-3.1-flash-lite-image(Nano Banana 2 Lite)、gemini-3.1-flash-image(Nano Banana 2)、gemini-3-pro-image(Nano Banana Pro)、imagen-4.0-generate-001 | Google AI Studio(免费 Key) |
openai(OpenAI 兼容) | gpt-4o、gpt-4o-mini、gpt-4.1、qwen-vl-max、qwen2.5-vl-72b、glm-4v-plus、glm-4v-flash、moonshot-v1-vision、minimax-vl、internvl、deepseek-vl2* | gpt-image-1、dall-e-3、flux-1.1-pro、flux-schnell、stable-diffusion、sd3.5-large、ideogram、recraft、hunyuan-image、seedream* | OpenAI / OpenRouter / 智谱 GLM / 阿里云百炼 Qwen / Moonshot Kimi / MiniMax / 硅基流动 SiliconFlow / 各类中转与自建网关 |
* 经 OpenAI 兼容端点/聚合平台提供。
设置页「后端 Provider」下拉切换;端点、模型列表、鉴权头(x-goog-api-key / Bearer)自动适配。换后端只需填对应的 API Key 与端点,工具调用方式完全不变——任何提供 OpenAI 兼容 /chat/completions(视觉)与 /images/generations、/images/edits(生图/编辑)的服务均可接入。
🎯 模型自动选择(auto)
- 识别/自检:
gemini-3.7-flash→gemini-3.6-flash→gemini-3.1-flash-lite→gemini-2.5-flash - 生图:
gemini-3.1-flash-lite-image(Nano Banana 2 Lite)→gemini-3.1-flash-image(Nano Banana 2)→gemini-3-pro-image(Nano Banana Pro)→gemini-2.5-flash-image→imagen-4.0-generate-001
设置页可下拉选择任意官方模型,或输入自定义模型名;模型不可用时自动沿链降级。
⚙️ 说明
- 配置(含 API Key)保存在
~/.dsh/vision-imagen.json。 - 生成后自动用 Gemini 视觉模型检查成品图并给出反馈(闭环,不依赖 modlens)。
- 图片保存在
~/.dsh/vision-imagen-images/,工具结果卡片内联显示图片并提供可点击链接/api/vision-imagen/images/<file>。 - 仅走 原生 Gemini REST API(
generateContent/predict),端点勿加/openai。
❓ FAQ
Q: 为什么生成图后还要"自检"? A: 生成式模型偶尔会跑偏(缺手、多指、文字错误等)。插件每轮生成后都用视觉模型核对画面与你的要求是否一致,不达标自动按优化提示重绘,直到满意或达到轮数上限。
Q: 必须用 Gemini 吗? A: 不是。默认后端是 Gemini(免费 Key 即可),但通过 OpenAI 兼容后端可接入 GPT-4o、Qwen-VL、GLM-4V、gpt-image、DALL-E、Flux、Stable Diffusion 等几十种模型/平台。
Q: 我的 API Key 安全吗?
A: Key 只保存在本机 ~/.dsh/vision-imagen.json,插件仅在调用后端 API 时使用,不会上传到任何第三方。设置页只回显 Key 的后 4 位。
Q: 图片保存在哪里?
A: ~/.dsh/vision-imagen-images/,同时通过附件机制入库,可在会话中直接查看。
🔒 安全
- API Key 仅存本机,且设置页回显时脱敏(只显示后 4 位)。
- 插件的 HTTP 路由(
/api/vision-imagen/*)只允许本机回环地址访问(非 loopback 请求返回 403)。 - 请勿把
~/.dsh/vision-imagen.json提交到任何版本库。
🤝 贡献
欢迎提 Issue 与 PR:
- 报告 Bug / 建议新模型 → Issues
- 修改代码 → Fork 后提交 PR,CI 会自动做语法检查
- 完善文档 → README 中英双语的修正同样欢迎
📄 目录
lib/index.js 宿主半:三个工具 + systemPrompt 引导 + 配置/模型 HTTP 路由
lib/client.js 浏览器半:设置页(settings.section)
cordis.patch.yml 组合 patch(insert 行)
package.json 包元数据(dsh.bundle / dsh.client)
📜 更新日志
见 CHANGELOG.md。
⚖️ License
MIT © Xun Xu (xuxun-oss)