端侧模型可用性验证组件使用指南

端侧模型可用性验证组件使用指南

概述

本组件用于验证端侧模型(Ollama/qwen2:7b)在工业智能体平台中可承担调度决策与对象生成任务的角色。

启用方式

.env 文件中设置:

``bash

EDGE_PROOF_ENABLED=true

EDGE_PROOF_OLLAMA_MODEL=qwen2:7b

EDGE_PROOF_TIMEOUT_MS=600000

EDGE_PROOF_LATENCY_THRESHOLD_MS=30000

EDGE_PROOF_THROUGHPUT_MIN=2

EDGE_PROOF_SUCCESS_RATE_MIN=0.6

EDGE_PROOF_CONSISTENCY_REPEAT=5

`

重启服务后生效。EDGE_PROOF_ENABLED=false 时对现有系统零影响。

API 接口

1. 启动完整验证

`

POST /api/edge-proof/run

`

Body: { "instructions": [...], "tasks": [...], "rollbackOnComplete": true }

2. 查询验证状态

`

GET /api/edge-proof/status

`

3. 获取验证报告

`

GET /api/edge-proof/report/:verificationId

`

4. 手动备份配置

`

POST /api/edge-proof/config/backup

`

5. 手动回滚配置

`

POST /api/edge-proof/config/rollback/:snapshotId

`

6. 单独执行调度决策验证

`

POST /api/edge-proof/verify/routing

`

7. 单独执行生成任务验证

`

POST /api/edge-proof/verify/generation

`

8. 单独执行能力基准验证

`

POST /api/edge-proof/verify/benchmark

`

三大验证场景

EMV-001: 端侧调度决策验证

验证 MTClaw 使用 Ollama 做 L1/L2/L3 路由判定的正确性。

  • 内置测试指令:创建Part对象→L2、系统健康检查→L1、制定供应链风险应对策略→L3

EMV-002: 端侧生成任务验证

验证 create 类任务先尝试端侧 Ollama 生成 JSON 参数的能力。

  • 内置测试任务:创建Part、创建BOM、创建Vendor
  • 端侧失败时自动降级云端 DeepSeek

EMV-003: 端侧能力基准验证

量化评估端侧模型的指令理解、延迟、吞吐量、综合成功率。

  • 延迟阈值:80%样本低于30秒
  • 吞吐量阈值:≥2次/分钟
  • 综合成功率阈值:≥60%

降级链路

`

MTClaw(L1关键词) → Ollama(L2端侧推理) → DeepSeek(L3云端大模型)

`

EDGE_PROOF_ENABLED=trueintent='object_create' 时:

`

Ollama(L2端侧优先) → DeepSeek(L3云端降级)

`

配置回滚

验证启动时自动备份配置文件(.function-router/config.json.envmodels.json),验证完成后自动回滚。也可手动操作:

`bash

备份

curl -X POST http://localhost:3006/api/edge-proof/config/backup

回滚

curl -X POST http://localhost:3006/api/edge-proof/config/rollback/

`

验证报告解读

报告包含以下字段:

  • overallConclusion: pass/fail/partial
  • scenarios: 三大子场景的详细结论
  • configSnapshot: 配置快照信息与回滚状态
  • markdown: 人类可读的Markdown格式报告

运行测试

`bash

单元测试

node server/core/edge-proof/__tests__/unit.test.js

端到端测试(需要 Ollama 和 MTClaw 运行中)

node server/core/edge-proof/__tests__/e2e.test.js

``

配置变量说明

变量默认值说明
EDGE_PROOF_ENABLEDfalse启用验证组件
EDGE_PROOF_OLLAMA_MODELqwen2:7b端侧模型名称
EDGE_PROOF_TIMEOUT_MS600000验证总时长上限(10分钟)
EDGE_PROOF_LATENCY_THRESHOLD_MS30000延迟阈值
EDGE_PROOF_THROUGHPUT_MIN2吞吐量下限(次/分钟)
EDGE_PROOF_SUCCESS_RATE_MIN0.6综合成功率下限
EDGE_PROOF_CONSISTENCY_REPEAT5一致性检验重复次数
← 返回案例列表
分享:
🤖 Try Now →
🤖
🎁