# 客户端停止输出与请求收尾 ## 第一轮:应用层生命周期修复 SillyTavern / Chatbox 中途停止输出的日志触发了这次排查。本地已用 Starlette 实际使用的 AnyIO 取消机制复现以下后端缺陷;没有把请求取消简单当成客户端错误。 1. **清理过程也被取消**:流式协程捕获取消后,finally 中等待工作线程的 await 再次遭到取消,后面的 finish_request、历史更新和请求上下文恢复可能被跳过。 2. **发送期间断连未及时关闭生成器**:取消可能发生在发送已经 yield 出来的数据块时,而不是等待下一个数据块时。此时生成器悬挂着,不能依赖垃圾回收执行其 finally。 3. **首帧之前的取消**:工具调用首个心跳发出时工作任务尚未创建,或连接在响应头阶段断开,都必须正确结束已创建的请求。 现在使用 RequestStreamingResponse 显式关闭响应迭代器;只对收尾部分启用取消屏蔽,确保工作线程的有界清理、请求终态记录和上下文恢复。收尾等待不再向共享线程池提交阻塞式 join,避免一批取消挤占后续请求的线程池。请求本身仍响应取消,不继续自动重试,不重放发送。第二次原生 Task.cancel() 也不能跳过同步收尾;未退出的工作线程保留原来的延迟检查和标签页归属校验,不强杀线程、不关闭整个浏览器。 普通 OpenAI、标签页/域名/URL 路由和工具调用均覆盖;Responses 和 Anthropic 转换层保持原协议,并显式关闭上游迭代器。 ## 第二轮:启动器代理重放(Chatbox 立即中断后重发) 第一轮本地回归没有覆盖 `start.py` 的启动代理。随后现场日志显示,冷却结束后再次出现连续零输出取消,旧请求仍持有标签页。本轮在旧代码上复现了两个独立缺陷: - `_forward_when_backend_ready()` 将客户端响应写入失败(BrokenPipe / ConnectionReset)与后端尚未启动混为一谈,重新转发缓存的同一份 POST,循环最长 120 秒。这不是客户端主动提交了多份请求。 - `_relay_response()` 只等待后端输出。客户端在首字节前取消时,代理可能继续保留后端连接,直到有输出或读超时,延误工作线程取消和标签页释放。 修复后的边界: 1. 在等待响应期间每 100ms 检查客户端 EOF/复位,及时关闭后端连接,让 API 的正常取消清理生效。 2. 已开始 `sendall(payload)` 后,任何不明确的传输失败、无响应 EOF、部分响应中断都**不自动重放**。 3. 仅连接尚未建立,或后端在路由准入前明确返回 `503 + X-UWA-Restart-Handoff: pending` 时,才允许等待/重试。普通 503 不满足这个条件。 4. 工具调用和非流式工作线程也绑定到请求上下文;有活跃 worker 的终态请求不会被历史压缩提前移除。迟到的 `mark_running()` 不会重写既有终态。 5. 工作流生成器不再在 `finally` 中 yield,关闭时完整清理,不依赖 GC 释放占用。 二级取消保护继续保留,但不再把 429 冷却当作根因修复。 **更新要求:完全退出并重新启动 `start.py` / `start.bat`。只热更新页面、重启 API 子进程或等待冷却,旧启动代理仍会继续运行。** 如果直接运行 `main.py`,重启该后端即可;实际已登录供应商页面仍需客户端复测。 本地端到端测试经过真实 TCP 启动代理、Uvicorn、ASGI 中间件、普通/Tools API 生命周期、真实标签页池获取与释放。请求正文约 162 万字符、分成 6 条消息;取消后不等清理完成就提交下一请求,断言只有两次执行、旧 worker 退出、新请求完成、标签页 IDLE、等待队列清空。仅供应商网页动作被确定性模拟,不代表已在用户实际 Chatbox 上验证。 ## 连续异常取消的第二层保护 原先只延迟约半秒,且依赖可能没有执行的收尾上报,不能可靠阻止重试风暴。现在: - 同一客户端在 **5 秒内发生 4 次没有实际输出的传输取消**,进入 **5 秒冷却**。 - 冷却期返回 HTTP **429**,附带 `Retry-After` 和错误码 `client_cancel_storm`。这类拒绝发生在创建请求记录、启动工作流或占用标签页之前;不堆积异步 sleep。 - 普通单次停止不会触发。已有正文、工具文本或媒体输出的停止,以及服务端明确的手动停止,不计入异常风暴;空 SSE 心跳不算输出。 - 同一请求不会因为多次收尾重复计数。普通选择器/执行失败也不再被错误归类为 coroutine_cancelled。 - 冷却自动到期,期间的拒绝不延长冷却。只在打开保护时告警一次;服务器访问日志仍可显示各次 429。 - 客户端标识是连接来源、认证头和 User-Agent 的哈希,不记录密钥片段或请求正文。共享同一来源、凭据和 User-Agent 的程序无法完全区分;这不是鉴权或全局 DDoS 限流。 - 保护记录有数量上限,且不修改任何站点/预设设置。 ## 复测 更新代码并重启完整启动器及后端,不能只刷新客户端或重启 API 子进程: 1. 发起一次流式请求,等出现正文后点击停止。 2. 随即再发一次新请求;新请求应独立执行,旧请求应只收尾一次。 3. 分别尝试在首字之前、输出中途停止,以及连续多次正常停止。 4. 如果再次出现风暴,请保留首次停止前后日志及是否出现 `CANCEL_STORM_GUARD`;无需提供密钥或完整消息正文。 本地回归覆盖取消作用域、ASGI 数据发送/响应头中断、工作线程有界清理、重复取消、工具调用首帧停止、下一请求独立执行、冷却恢复与记录上限。该验证不等同于已在用户实际 SillyTavern / Chatbox 与已登录供应商网页上完成端到端测试。