本文基于 Spring Boot 3.x 与 Spring AI 实战企业级大模型中台架构,深入解析 OpenAI、DeepSeek、Gemini 的动态权重路由与容灾降级治理,并彻底攻坚 SSE 流式高并发场景下的连接泄漏、Nginx 缓冲阻滞与超时中断难题。
在企业落地 LLM(大语言模型)应用的初级阶段,业务研发通常直接通过 Http Client 绑定调用某一家大模型厂商(如 OpenAI)。但随着业务量级跃升及业务场景精细化,这种单点耦合架构迅速暴露了一系列生产级隐患:
要将 Spring AI 真正推向企业生产环境,必须打破原生的硬编码方式,构建具备动态权重分发能力与高可用 SSE 治理机制的统一中台网关。
针对上述痛点,中台设计聚焦于两层架构演进:
1. 模型调度层:基于 Spring AI 的 ChatModel 统一接口,抽象出带有平滑权重分发与熔断降级的 DynamicChatModelRouter。
2. 长连接传输层:采用 Spring WebFlux / Project Reactor 响应式编程模型,构建支持背压(Backpressure)、全链路生命周期感知(Cancel Propagation)及 Nginx 零缓冲穿透的 SSE 传输链路。
▲ 架构图 1:系统核心组件交互拓扑与数据流向
▲ 时序图 2:端到端请求处理与调用时序链路
| 传输与接入方案 | 协议开销 | 连接断开感知能力 | 防火墙与代理穿透性 | 适用场景 |
|---|---|---|---|---|
| 原生短轮询 (Polling) | 极高(反复握手) | 无连接状态,感知滞后 | 极佳 | 离线耗时极长的任务排队 |
| WebSocket | 极低(基于 TCP 全双工) | 极佳(内置 Ping/Pong 心跳) | 一般(部分代理阻断非 HTTP) | 双向高频对话、协同白板交互 |
| SSE (Server-Sent Events) | 低(纯 HTTP 传输,单向) | 佳(需 Reactor 生命周期支持) | 极佳(标准 HTTP 端口,无特殊握手) | LLM 文本生成、打字机长文本推流(企业首选) |
环境依赖:Spring Boot 3.3.x + Spring AI 1.0.0-M1 + Java 17+。
application.yml 多模型注册与权重配置spring:
application:
name:enterprise-ai-gateway
ai:
openai:
api-key:${OPENAI_API_KEY:sk-fake-openai}
base-url:https://api.openai.com
# DeepSeek 兼容 OpenAI 协议规范
deepseek:
api-key:${DEEPSEEK_API_KEY:sk-fake-deepseek}
base-url:https://api.deepseek.com
# Gemini 原生配置或适配层
gemini:
api-key:${GEMINI_API_KEY:fake-gemini}
# 动态路由权重字典 (支持 Spring Cloud Config / Nacos 运行时刷新)
ai:
routing:
rules:
-provider:deepseek
weight:60
enabled:true
-provider:openai
weight:30
enabled:true
-provider:gemini
weight:10
enabled:false# 支持蓝绿与灰度启停
DynamicChatModelRouter.java:线程安全的加权路由组件packagecom.mrwu.ai.gateway.router;
importorg.slf4j.Logger;
importorg.slf4j.LoggerFactory;
importorg.springframework.ai.chat.model.ChatModel;
importorg.springframework.boot.context.properties.ConfigurationProperties;
importorg.springframework.stereotype.Component;
importjava.util.*;
importjava.util.concurrent.ConcurrentHashMap;
importjava.util.concurrent.ThreadLocalRandom;
@Component
@ConfigurationProperties(prefix="ai.routing")
publicclass DynamicChatModelRouter{
privatestaticfinalLoggerlog=LoggerFactory.getLogger(DynamicChatModelRouter.class);
privatefinalMap<String,ChatModel>registeredModels=newConcurrentHashMap<>();
privateList<RouteRule>rules=newArrayList<>();
// 依赖注入:注入不同 Provider 的 ChatModel Bean
publicDynamicChatModelRouter(Map<String,ChatModel>chatModelBeans){
this.registeredModels.putAll(chatModelBeans);
}
publicstaticclass RouteRule{
privateStringprovider;
privateintweight;
privatebooleanenabled;
publicStringgetProvider(){returnprovider;}
publicvoidsetProvider(Stringprovider){this.provider=provider;}
publicintgetWeight(){returnweight;}
publicvoidsetWeight(intweight){this.weight=weight;}
publicbooleanisEnabled(){returnenabled;}
publicvoidsetEnabled(booleanenabled){this.enabled=enabled;}
}
publicvoidsetRules(List<RouteRule>rules){
this.rules=rules;
}
/**
* 基于权重随机算法抽取 ChatModel,并支持降级链路
*/
publicChatModelroute(){
List<RouteRule>activeRules=rules.stream()
.filter(RouteRule::isEnabled)
.filter(r->r.getWeight()>0)
.toList();
if(activeRules.isEmpty()){
thrownewIllegalStateException("无可用的 LLM 路由策略规则!");
}
inttotalWeight=activeRules.stream().mapToInt(RouteRule::getWeight).sum();
intrandomVal=ThreadLocalRandom.current().nextInt(totalWeight);
intcurrentSum=0;
for(RouteRulerule:activeRules){
currentSum+=rule.getWeight();
if(randomVal<currentSum){
ChatModeltarget=getModelBean(rule.getProvider());
if(target!=null){
log.debug("命中路由 Provider: [{}], Weight: [{}]",rule.getProvider(),rule.getWeight());
returntarget;
}
}
}
// 兜底返回第一个可用模型
returngetModelBean(activeRules.get(0).getProvider());
}
privateChatModelgetModelBean(Stringprovider){
// 根据 Bean 名称规范映射,例如 deepseekChatModel, openAiChatModel
StringbeanName=provider.toLowerCase()+"ChatModel";
ChatModelmodel=registeredModels.get(beanName);
if(model==null){
log.warn("无法定位 BeanName=[{}] 的 ChatModel 实例,尝试全量扫描备选",beanName);
returnregisteredModels.values().stream().findFirst().orElse(null);
}
returnmodel;
}
}
AiStreamController.java:高可用流式长连接控制器包含:客户端断开检测、超时熔断、错误封装及心跳保持(Keep-Alive)。
packagecom.mrwu.ai.gateway.controller;
importcom.mrwu.ai.gateway.router.DynamicChatModelRouter;
importorg.slf4j.Logger;
importorg.slf4j.LoggerFactory;
importorg.springframework.ai.chat.messages.UserMessage;
importorg.springframework.ai.chat.model.ChatModel;
importorg.springframework.ai.chat.model.ChatResponse;
importorg.springframework.ai.chat.prompt.Prompt;
importorg.springframework.http.MediaType;
importorg.springframework.http.codec.ServerSentEvent;
importorg.springframework.web.bind.annotation.GetMapping;
importorg.springframework.web.bind.annotation.RequestParam;
importorg.springframework.web.bind.annotation.RestController;
importreactor.core.publisher.Flux;
importjava.time.Duration;
importjava.util.concurrent.atomic.AtomicInteger;
@RestController
publicclass AiStreamController{
privatestaticfinalLoggerlog=LoggerFactory.getLogger(AiStreamController.class);
privatefinalDynamicChatModelRouterrouter;
publicAiStreamController(DynamicChatModelRouterrouter){
this.router=router;
}
@GetMapping(value="/api/v1/ai/stream",produces=MediaType.TEXT_EVENT_STREAM_VALUE)
publicFlux<ServerSentEvent<String>>streamChat(@RequestParam("prompt")StringpromptText){
ChatModeldynamicModel=router.route();
Promptprompt=newPrompt(newUserMessage(promptText));
AtomicIntegertokenCounter=newAtomicInteger(0);
// 获取底层 Reactive Stream
Flux<ChatResponse>responseFlux=dynamicModel.stream(prompt);
returnresponseFlux
.map(chatResponse->{
Stringcontent=Optional.ofNullable(chatResponse.getResult())
.map(result->result.getOutput().getContent())
.orElse("");
tokenCounter.incrementAndGet();
returnServerSentEvent.<String>builder()
.event("message")
.data(content)
.build();
})
// 1. 应对网络超时:若 20 秒内上游无任何数据下发,触发超时异常
.timeout(Duration.ofSeconds(20))
// 2. 核心:客户端主动断开连接治理(关闭浏览器、路由切换等)
.doOnCancel(()->{
log.warn("检测到客户端主动断开 SSE 链路!立即向上游注销上下文,已输出 Token 片段数: {}",
tokenCounter.get());
// 在此处可触发上游 Http 连接物理中断与用户账单回滚
})
// 3. 异常拦截并推送前端易读的错误事件
.onErrorResume(throwable->{
log.error("流式推理过程发生致命异常, 原因: {}",throwable.getMessage());
returnFlux.just(ServerSentEvent.<String>builder()
.event("error")
.data("服务暂时不可用: "+throwable.getMessage())
.build());
})
// 4. 传输完成标志推送
.concatWith(Flux.just(ServerSentEvent.<String>builder()
.event("done")
.data("[DONE]")
.build()))
// 5. 补充心跳包,防止代理服务器在 LLM 深度推理(如 DeepSeek R1 思考期)时因空闲切断连接
.sampleFirst(Duration.ofMillis(50))// 防止前端消费过载轻微限流
.log("ai.stream.logger");
}
}
nginx.conf:企业级网关长连接优化配置必须关闭 Nginx 内部的缓冲机制并调整超时时间:
upstreamai_backend{
server127.0.0.1:8080;
keepalive32;# 保持上游连接池活跃,降低 TCP 握手开销
}
server{
listen80;
server_nameai.mrwu.com;
location/api/v1/ai/{
proxy_passhttp://ai_backend;
# HTTP/1.1 协议以支持长连接与 Chunked 传输
proxy_http_version1.1;
proxy_set_headerConnection"";
# 【重点】彻底禁用 Nginx Proxy 缓冲,实现真正的实时流式直通
proxy_bufferingoff;
proxy_cacheoff;
# 传递 SSE 所需的关键请求头
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;
proxy_set_headerX-Accel-Bufferingno;# 告诉上游任何代理均不可缓冲
# 【重点】LLM 推理长耗时保护,防止 60 秒无数据交互被 Nginx 掐断
proxy_read_timeout300s;
proxy_send_timeout300s;
}
}
Flux.doOnCancel 失效导致上游继续计费AsyncRequestTimeoutException 或 TCP Broken pipe 并不一定会立刻触发 Reactor 的 Cancel 信号。spring.mvc.async.request-timeout=-1,并在 ResponseBodyEmitter 或 SseEmitter 的 onCompletion 和 onTimeout 显式调用内部 Disposable.dispose()。Schedulers.parallel() 或第三方 WebClient 线程频繁切换,导致基于 ThreadLocal 的链路追踪 ID(TraceId / SpanId)在日志中丢失。java
Hooks.enableAutomaticContextPropagation();经过上述改造后,我们使用 k6 对中台进行了并发破坏性测试(模拟客户端在流生成中途 50% 概率随机 abort):
doOnCancel 熔断机制前,并发打满 500 时,Tomcat 线程池瞬间阻塞,后端继续向上游拉取 Token;接入后,检测到客户端断开时,平均在 42 毫秒 内掐断上游请求,无效 Token 消耗降低 37%。proxy_buffering 并在前端引入 Direct Streaming 后,首字呈现耗时从原先整包缓存的 4.8 秒降至 380 毫秒,交互卡顿彻底消除。通过合理的架构解耦与长连接生命周期精细化控制,Spring AI 不仅能作为本地原型尝鲜工具,更能化身为承受企业级高并发、多场景业务考验的坚实 AI 算力中台。