Surging AI Agent：.NET 生态本地大模型方案
2026年7月28日 · 一站式本地LLM+向量检索微服务 · IT中华技术日记
IT中华 本文介绍 Surging AI Agent——基于原生 Surging .NET 分布式框架，打通本地 LLM 大模型、BGE 向量 Embedding、业务微服务、RAG 智能检索全链路，一套技术栈完成 AI 应用 + 业务微服务一体化开发。
传统.NET 分布式框架与 AI 部署的割裂痛点
- 部署分离：LLM、Embedding 需单独搭建 Python 推理服务，跨语言调用链路复杂、损耗高
- RAG 割裂：向量检索依赖第三方服务，无法与业务微服务一体化编排
- 本地化门槛高：多数 LLM 部署工具对 .NET 适配差，缺少标准化 CLI
Surging AI Agent 基于原生 .NET 框架打造，纯 C# 完成大模型对话推理，无需 Python 环境。
核心能力一：标准化 CLI 工具 engine-cli
内置 engine-cli 命令行工具，封装 hf-mirror 国内镜像源，一键检索、下载 GGUF 量化模型：
# 检索 Llama 系列大模型 engine-cli install model -s t llama --limit 10 # 检索 BGE 向量模型（ONNX 轻量化） engine-cli install model -t bge-small -e --limit 10
纯 C# 完成 GGUF 本地 CPU/GPU 推理，向量模型与框架深度集成，可直接在微服务内调用完成文档分片、文本向量化、余弦相似度检索。
核心能力二：一体化微服务代码生成
依托 engine-cli new say 一键批量生成领域模块化微服务。例如演示生成 Ai.OrderDemo 订单领域微服务集群：
| 微服务 | 职责 |
|---|---|
| OrderService | 订单主服务 |
| OrderDetailService | 订单明细服务 |
| GoodsService | 商品服务 |
| UserService | 用户服务 |
关键亮点：AI Agent 推理能力可直接注入任意业务微服务，订单查询、商品检索等业务接口可直接调用本地 Llama + BGE 向量检索，无需跨服务跨语言调用。
核心能力三：内置服务管理插件 ServiceManager
提供标准化服务管理接口，两类核心调用场景：
- GetServiceInfo：查询服务路由地址，AI Agent 可基于路由自动编排多微服务调用链路
- GetServiceList：一键获取集群内所有业务微服务，Agent 可自动感知分布式集群的业务能力
整体架构优势
- 全栈.NET 技术栈：GGUF 推理、ONNX 向量计算、微服务全部基于 C#/.NET 10，无跨语言依赖
- 本地私有化部署：业务数据、知识库文档不流出本地，适配政务、企业内部强保密场景
- AI 与业务一体化编排：纳入统一服务治理，支持负载均衡、服务熔断、链路追踪
- 轻量化硬件友好：IQ2/IQ4 量化模型 + 百 MB 级 ONNX，普通办公 PC 即可推理
落地应用场景
- 企业内部订单智能客服：自然语言查询订单明细、物流状态
- 私有化文档 RAG 知识库：合同、手册、文档本地向量化存储
- 业务流智能编排 Agent：自主调用多服务完成复杂流程自动化
IT中华 小结：Surging AI Agent 补齐了 .NET 生态本地私有化 AI 落地短板，一套框架完成分布式业务系统 + 本地 AI 智能应用。对于深耕 .NET 的企业开发者，无需切换 Python 生态，是轻量化最优方案。
关于IT中华
IT中华（www.itzh.vip）持续关注 AI Agent 与 .NET 技术前沿。本文转载改写自博客园 fanly11 的技术文章。关注IT中华，获取更多 AI 工程实践。
IT中华 · www.itzh.vip · 技术日记