Initial commit
This commit is contained in:
commit
57fc3525eb
7311 files changed
+1291398
No files matched your search
@@ -0,0 +1,99 @@
|
||||
# universal-web-api 代码审查报告
|
||||
|
||||
> 审查日期:2026-09-25 · 项目:[lumingya/universal-web-api](https://github.com/lumingya/universal-web-api) · 审查分支:`main` · 审查代码基准:`9c1b53b`(此前提交仅新增/更新审查日志,未修改业务逻辑)。
|
||||
>
|
||||
> 范围:按“下载项目、详细寻找可优化之处与 Bug、汇报”的要求,审查配置、API、认证、命令/工作流、标签页池、媒体、前端与测试。**本轮只审查和报告,没有修复业务代码。** 更细的证据和阶段过程见同目录的 `DEVLOG-code-review-2026-09.md`。
|
||||
|
||||
## 一、结论先行
|
||||
|
||||
**不建议以当前默认配置将控制面板/API 暴露到公网或不可信局域网。** 最紧迫的是:默认关闭的管理认证与开放 CORS(S1),叠加一个会原样导出 `.env` 的只读备份接口(S13);其次是将上游媒体保存为可在应用同源访问的活动格式(S8、S9)。此外,配置模板具有误导性,命令文件热加载可在配置暂时损坏时清空全部命令,后台调试捕获可能持久化聊天响应。
|
||||
|
||||
共记录 **38 条**:P1 高优先级 **6**、P2 中优先级 **15**、P3 低优先级 **17**;其中安全/隐私类 `S` 14 条、功能问题 `B` 8 条、优化/仓库卫生 `H` 14 条、测试可复现性 `T` 2 条。**数量不等于 38 个独立可利用漏洞**:例如 S13 是 S1 在备份接口上的高价值具体表现,S3 与 S2 的信任边界相连;标记“条件性/静态”的条目尚无真实浏览器或网络攻击验证。
|
||||
|
||||
### 现在就做的部署缓解
|
||||
|
||||
1. **隔离服务**:在完成修复前仅绑定可信回环/内网,经防火墙或可信反向代理收紧访问;显式启用服务和仪表板认证,使用不同的强令牌;CORS 限制为必要的准确来源。对 `/api/settings/backup` 单独强制认证,不能仅依赖默认关闭的全局开关。
|
||||
2. **保护凭据**:若曾把服务暴露给不可信主体,检查访问日志、已导出的备份和 `logs/network_parser_debug`,按实际暴露范围轮换 `.env` 中的令牌/密钥。不要把完整备份文件直接分享、提交或发送给第三方。
|
||||
3. **关闭高风险输出**:将 `NETWORK_DEBUG_CAPTURE_ENABLED` 显式设为 `false` 并确认运行时值;暂时限制 `/media`、`/download_images` 外部访问,不允许以同源内联方式打开未验证的 SVG/HTML。
|
||||
4. **限制自定义代码**:只有可信管理员才能安装解析器、配置 Python/JS 命令。AST 过滤不能替代 OS 级隔离。
|
||||
|
||||
## 二、证据口径与验证范围
|
||||
|
||||
- **[实测]**:合成数据、无网络 mock、`httpx.ASGITransport` 进程内 HTTP、Node VM 或短小临时文件/桩;**不是**真实浏览器或公网攻击验证。
|
||||
- **[静态/条件]**:代码路径足以说明前置条件和风险,但没有在真实部署、CDP、DNS 重绑定、恶意第三方页面或用户点击场景完成利用验证。
|
||||
- **[优化]**:容量、可维护性和坏输入健壮性建议;不表示已发生生产故障。
|
||||
|
||||
轻量基线:226 个 Python 文件语法检查通过;33 个项目 JS 文件 `node --check` 通过;Ruff 的选定语法/未定义名规则有 5 个 F821。剔除依赖本机私有配置/浏览器的用例后,独立子集 **544 passed、30 deselected**。更宽的首轮为 **548 passed、74 failed、9 deselected**:64 个失败归因缺失/过期的本地 fixture,9 个为站点自动发现断言(B1),1 个为缺失的开发依赖 `httpx`(T2);不能声称“全套测试通过”。**没有**安装 Playwright/Chromium、运行重度浏览器 E2E、截屏、加载大文件或做高并发压力测试。
|
||||
|
||||
## 三、高优先级:安全边界与默认配置(P1)
|
||||
|
||||
| ID | 问题、证据与条件 | 建议 |
|
||||
| --- | --- | --- |
|
||||
| **S13 · 备份泄露密钥** | `app/api/system.py:79-113,293-315,948-952`:`GET /api/settings/backup` 返回 `.env` 所有解析到的键值;默认仪表板认证关闭且 CORS 允许 `*`。进程内**用合成密钥**模拟后,外来源、无授权的 GET 为 200、允许跨源,响应含合成值。另 `static/js/dashboard-methods.js:1602-1648` 把浏览器本地面板令牌以 `dashboard_token` 和 `api_token` 两字段写入明文下载包;Node VM 合成令牌验证。**前提**:服务可达、`.env` 中实际有敏感值;文件导出风险即使启用认证也存在。 | 备份接口始终强制管理鉴权/最小权限,收紧 CORS;默认备份剔除或遮蔽秘密,敏感备份采用明确提示、加密和短生命周期;浏览器本地令牌默认不导出。增加无授权 401 与无密钥回显的回归测试。 |
|
||||
| **S1 · 控制面默认开放** | `app/core/config_parts/env_config.py:159-188`, `main.py:603-616`:认证默认关闭,CORS 默认为 `*`。ASGITransport 验证第三方 Origin 能读取 `/api/commands`;仅启用管理认证后,无令牌 401、带合成令牌 200。S13 是特别危险的只读示例;管理写接口同样需要保护。真实浏览器私网策略、代理拓扑尚未验证。 | 默认 fail-closed;非回环绑定必须设认证令牌,限定 Host/Origin;管理操作考虑 CSRF/来源约束和角色权限。 |
|
||||
| **S8 · SVG 同源活动内容** | `app/core/browser/media.py:2432-2440,2644-2677,2693-2734,2829-2836`, `main.py:839-841`:后台下载拒绝 SVG,但前台回退接受 `image/svg+xml` 并原样保存 `.svg` 到公开目录。[实测] mock 产出文件,ASGI GET 返回 `image/svg+xml`,没有强制下载/CSP。**须攻击者可影响上游媒体,且受害者直接导航打开该本地 SVG**;不能把作为 `<img>` 展示等同于脚本执行。 | 前后台统一拒绝 SVG 或转换成安全位图;媒体使用隔离域、附件下载和严格 CSP、`nosniff`。 |
|
||||
| **S9 · 音视频 HTML 落盘** | `app/core/browser/media.py:2101-2215`, `app/core/extractors/media_extractor.py:929-945,1006-1080`, `main.py:728-742,804-825`:仅检验响应头含 `video`/`audio`,可从远端 URL 取得 `.html` 后缀并写出该内容。[实测] mock `clip.html` + `video/custom` 落盘后,同源 GET 为 `text/html`、`inline`、无 CSP。**须控制上游地址及响应,受害者访问生成链接**;尚未在浏览器执行脚本。 | 限定扩展名与实际媒体魔数,拒绝 HTML/SVG,媒体统一强制下载或放隔离源;加针对不一致 MIME/后缀的测试。 |
|
||||
| **S2 · 自定义代码非安全沙箱** | `app/services/command_engine_actions.py:2427-2590,3054-3106`:Python 命令仅按 AST 规则限制部分直接调用,还可接触高权限对象;JS 命令可操作浏览器。解析器动态 import(S3)也执行用户代码。此项为**静态信任边界审查**,未运行攻击代码,不能声称某一具体逃逸已利用。 | 禁止不可信主体编写/安装代码;若确有多租户需求,在低权限独立进程/容器内执行并剥离浏览器/配置等高权限对象,限制出网和资源。 |
|
||||
| **H1 · 模板诱导不安全部署** | `.env.example:7-69,100-138`:重复项与 `AUTH_ENABLED=your-secret-here` / `DASHBOARD_AUTH_ENABLED=your-secret-here`;布尔解析只接受真值,复制模板实际上关闭认证,还示例开放监听、CORS `*` 等。环境路径与地址包含个人部署痕迹。 | 改成安全、可直接复制的示例;在启动时对非布尔值、无令牌的公开绑定给出错误而非静默回退。 |
|
||||
|
||||
> **注意**:S8/S9 证明的是落盘与 HTTP 提供活动格式的链路,不是已经在真实浏览器完成 XSS 利用;S13 的示例密钥纯属合成测试,不涉及任何真实凭据。
|
||||
|
||||
## 四、中优先级:功能缺陷与条件性风险(P2)
|
||||
|
||||
| ID | 位置与实际影响 / 前提 | 修复方向 |
|
||||
| --- | --- | --- |
|
||||
| **B8 · 命令配置损坏清空运行缓存 [实测]** | `app/services/command_engine.py:1352-1378,1654-1674`。真实 `CommandEngine` 加载 1 条命令,再将**临时** `commands.json` 置为错误 JSON:热加载得到 0 条,推进 mtime,并产生 1 条 `run_js_file` 清理动作;仅 mock 清理,未操作在线标签页。 | 将“读失败”与合法空命令分开,保留 last-known-good;只有明确有效的新配置才清理预注入脚本。 |
|
||||
| **B5 · 解冻失败却交付标签 [桩复现]** | `app/core/tab_pool_parts/idle_maintenance.py:346-384`, `session.py:258-278`。假 CDP 抛错后冻结标志在 `finally` 被清除,`acquire()` 仍返回 true、状态 BUSY;真实浏览器后果未测。 | 解冻失败标记异常,不交付会话;保留待确认冻结态并增加失败恢复测试。 |
|
||||
| **B2 · 旧版历史丢失 [实测]** | `app/services/request_manager.py:545-573`。顶层数组历史在兼容分支前被 `.get()` 抛错,合成文件恢复 0 条;对象格式恢复 1 条。 | 先分支检查 `list`/`dict` 再读取,补升级兼容测试。 |
|
||||
| **B3 · Responses 内存历史无字节预算 [小样本+静态]** | `app/api/chat.py:93-99,539-608,1030-1076,1950-1955,2420-2425`。默认存整个对话和多模态内容,只有 1h/1024 条数量上限;两轮微型数据储存文本 137→274 字符。状态仅按 response ID 索引,不按认证主体隔离;跨用户访问**须先获得 ID**。 | 限单项/总字节及媒体体积,清理过期状态,按主体绑定续接,并明确默认 `store` 语义。 |
|
||||
| **S12 · 默认响应调试抓取隐私 [配置实测]** | `config/browser_config.json:371-376`, `app/core/network_monitor.py:1699-1804,1975-1980`。受跟踪配置将抓取设为 `true` 且不过滤解析器,可将响应正文片段写入 `logs/network_parser_debug`;合成普通聊天文本经脱敏器仍保留;字符串 `"false"` 被 `bool()` 判为 true。未触发真实会话落盘。 | 出厂默认关闭、严格解析布尔值;需要开启时明确提示、限制内容与保留期、使用强脱敏,清理历史快照。 |
|
||||
| **S10 · 图片比对/C2PA 直接取外部 URL [条件性]** | `app/utils/image_validation.py:37-121,151-175,272-370`。从第三方页面提取的图片地址交给 `requests.get`,未统一做私网/重定向检查与流式大小限制;mock 回环 URL 到达请求调用点,未连接真实内网。常规**上传输入图片**另有校验,不能一概而论。 | 复用受限抓取器,检查每次解析/跳转、限制下载字节、data URI 和像素大小。 |
|
||||
| **S11 · DNS 校验后连接重解析 [条件性]** | `app/utils/remote_resource.py:141-185,206-245`。预先解析并检查地址,HTTP 层仍收到原主机名;若攻击者可控制 DNS,连接时可能换到私网。已有逐跳重定向检查/跨域去凭据,未验证真实重绑定。 | 固定连接到已检查 IP,保持正确 SNI/Host;或通过可信出网代理拦截私网。 |
|
||||
| **S4 · 回环 IP 当作授权 [条件性]** | `app/api/browser_routes.py:119-129`, `start.py:836-844,905-922`。`open-profile-url` 只认连接来源为回环,无令牌;本机反代或隧道可能使外来调用被视作本机。 | 单独强制管理认证,核实真实代理链,限制可打开的目标 URL。 |
|
||||
| **S5 · 定时重启代理容量/协议 [静态]** | `start.py:836-892,905-961,1400-1405`。启用 handoff proxy 后单连接缓冲上限 64MB,无总并发约束;仅按 Content-Length 处理请求,chunked/Expect 兼容性不完整。 | 设总连接/缓冲预算、端到端超时;优先使用成熟反向代理组件并明确源地址传递。 |
|
||||
| **S6 · 媒体路由及转码资源 [静态]** | `main.py:728-737,804-825,839-841`。`/media`、`/download_images` 无认证;请求可触发最长约 60s 转码,无全局并发/同键去重;路径边界校验已存在。 | 对私有媒体鉴权、限制并发和资源消耗;不可把路径穿越误报为本条。 |
|
||||
| **S3 · 解析器安装立即 import [静态]** | `app/services/parser_manager.py:162-227,331-345`。检查语法/类名后导入源文件即执行代码;未发现直接暴露安装 API,主要与 S2 传入对象/管理员配置相连。 | 可信管理员专用;隔离加载与权限、资源和依赖。 |
|
||||
| **B1 · 站点自动发现误判 [测试复现]** | `app/utils/site_discovery.py:9-18`, `config/site_rules.json:1-22`。搜索引擎主域默认允许自动发现,9 个纯逻辑断言失败;可能将搜索页当聊天站点。 | 补精确主域禁用规则,并保留 `gemini.google.com` 等所需子域的独立规则。 |
|
||||
| **T1 · 干净克隆测试资源不全 [测试复现]** | `tests/test_arena_auto_battle_command.py`, `tests/test_media_stream_image_precedence.py` 等依赖未跟踪 `config/commands*.json`、本地 JS 示例,另引用不存在的 `js/arena-conversation-image-window.user.js`;首轮约 64 项失败属 fixture 依赖,**不能推为产品回归**。 | 增加可分发小 fixture,或标为需本地环境的集成测试;CI 运行纯逻辑子集。 |
|
||||
| **H9 · 标签页等待队列无总量上限 [优化]** | `app/core/tab_pool_parts/manager.py:151-155,2882-2905,3436-3483`。32 个 acquire 工作者限制的是并行线程,不是待执行/等待请求总数;只做静态容量分析,未压测。 | 请求入口限流,设置任务和等待上限,队列过满明确 429/503;监控等待时间。 |
|
||||
| **H12 · 网络事件 URL 正则可能回溯 [短样本]** | `app/services/command_engine_results.py:637-663`。标准库 `re.search` 无超时,嵌套量词模式在 12→16→19 字符的合成 URL 上约 0.0005→0.0057→0.046s,未进行长串压力测试。 | 限制模式/URL 大小,使用支持超时的匹配器;可参考工作流现有 25ms 正则预算。 |
|
||||
|
||||
## 五、低优先级:一致性与可维护性(P3)
|
||||
|
||||
| ID | 位置与现象 | 建议 |
|
||||
| --- | --- | --- |
|
||||
| **B4** | `app/api/chat.py:469-475,2514-2517,2804-2813`:接受 `n=3` 却只返回 1 个 OpenAI choice(微型模型与格式化器验证)。 | 明确只支持 `n=1` 并拒绝其他值,或实现多路输出。 |
|
||||
| **B6** | `app/core/tab_pool_parts/idle_maintenance.py:69-103`:`BROWSER_CDP_RECYCLE_AFTER_REQUESTS=inf` 通过浮点解析后 `int(inf)` 抛 `OverflowError`(临时环境复现)。 | 检查 `math.isfinite` 并给出配置错误/默认值。 |
|
||||
| **B7** | `app/core/workflow/script_loader.py:173-194`:mtime 相同但内容被替换时热加载仍返回旧脚本(临时文件 `first`→`later` 实测)。 | 采用纳秒时间/大小或 hash,配置写入时主动失效缓存。 |
|
||||
| **S14** | `static/tutorial/index.html:1534-1540`:仍可打开的遗留教程将搜索框原值拼接到 `innerHTML`;Node VM 证明恶意 `<img onerror>` **字符串**进入 HTML sink。只发现自输入路径,没有 URL 自动传播,也没有浏览器执行验证。 | 对搜索词做 HTML 编码或使用 `textContent`,统一教程页面。 |
|
||||
| **S7** | `main.py:376-406,689-698`, `app/api/system.py:789-815`:开放引导/健康接口暴露站点目录、版本、浏览器/池状态,可能触发浏览器连接。 | 公开健康响应最小化,详细诊断仅对管理员开放。 |
|
||||
| **H2** | README 三种语言写 2.9.8 且指向缺失 CHANGELOG_CURRENT.md,`VERSION` 为 3.0.0。 | 同步版本、链接和发布校验。 |
|
||||
| **H3** | `.gitignore` 仍忽略已跟踪 marketplace 缓存;tests 白名单覆盖不一致,scripts 规则重叠。 | 清理规则、审查是否取消跟踪缓存。 |
|
||||
| **H4** | Python/JS 中约 40 个文件 EOL 混用,无 `.gitattributes`。 | 统一换行约定,分独立提交减小审查噪音。 |
|
||||
| **H5** | 图片资源存在字节重复,`static/images/logo.svg` 约 792KB。 | 去重和优化 SVG/截图资产,不修改视觉效果。 |
|
||||
| **H6** | `requirements.txt` 的 FastAPI/Uvicorn 约束偏旧;**未证实特定 CVE 适用于当前依赖范围**。 | 使用锁定依赖与回归测试制定升级计划。 |
|
||||
| **T2** | `requirements-dev.txt` 未列 `httpx`,依赖 ASGITransport 的纯逻辑测试缺包后报导入错;补装后通过。 | 补 dev 测试依赖或拆出不含浏览器的 tests extra。 |
|
||||
| **H7** | `app/utils/model_routing.py`, `start.py`:5 处类型注解 `Optional`/`Any` 未导入,Ruff F821;`typing.get_type_hints` 实测 NameError。 | 显式导入、加入静态检查。 |
|
||||
| **H8** | `app/api/chat.py:157-193,217-249`:6 个 Arena 辅助函数重复定义,前一版被覆盖。 | 删除死代码并保留行为单测。 |
|
||||
| **H10** | `app/core/stream_monitor.py:1706-1732,1768-1779`:两项 Arena 判定方法重复,后定义覆盖前定义;当前有效的是边界较严版本。 | 保留有效版本,清理旧方法;**不**误报当前主机校验失效。 |
|
||||
| **H11** | `config/browser_config.json:320-369`:受跟踪配置含具体 Arena 会话 URL/标签页编号;只证明标识存在,未验证链接权限。 | 用示例占位符和本地覆盖;按需评估历史清理。 |
|
||||
| **H13** | `app/services/command_engine_storage.py:22-335` 的存储 mixin 未被实际 `CommandEngine` 继承/引用,多个方法与主类重复。 | 删除/合并或明确废弃,防止修补错误文件。 |
|
||||
| **H14** | `static/js/dashboard-methods.js:1173-1207,1583-1599`:站点/完整备份导入无 `file.size` 判断;其他预设/流程导入设了 4MiB/1MiB。未进行大文件压力测试。 | 增加一致的大小上限和用户提示,必要时异步/流式解析。 |
|
||||
|
||||
## 六、已核实的保护与不要误报的事项
|
||||
|
||||
- `updater.py` 校验 SHA-256,并限制 ZIP 路径、符号链接、成员数量、展开体积和压缩比;覆盖前会备份,提取失败/异常有恢复处理。**不**报告“没有校验/没有备份回滚”。
|
||||
- 公共资源抓取器已有逐跳重定向校验和跨域凭据剥离;S11 只针对 DNS 校验与实际连接地址之间的窗口。普通上传输入图片亦有格式/大小校验;S10 指不同的第三方页面图片比对路径。
|
||||
- 工作流有限制节点数/深度/数据量/转换次数/运行时间的预算,内部正则有 25ms 限时;S12 是默认调试内容落盘,不是说没有任何空间上限。
|
||||
- 请求链已有流式断连关闭、部分线程工作队列背压与执行超时;标签页获取已有取消轮询和迟到会话回收。H9 是**另一处 acquire 等待任务的总量边界**。
|
||||
- Vue 组件的显式 `v-html` 核对后为自带图标 SVG;新教程和浏览器引导页在动态 `innerHTML` 插值前多数已有实体编码。S14 限定在仍可访问的遗留教程搜索框,不作“全站可远程 XSS”主张。
|
||||
|
||||
## 七、建议的修复顺序与验收条件
|
||||
|
||||
**第一批:阻断凭据与同源脚本风险。** S13/S1/H1:无授权备份必须返回 401/403;非可信 Origin 不得读管理数据;默认下载文件不包含服务端秘密和浏览器本地令牌;公开绑定缺认证应拒绝启动。S8/S9:恶意 SVG 与 `video/custom` + `.html` 的 mock 样例不得成为可同源内联访问的活动文档。S12:全新克隆默认不产生响应调试明文,配置字符串 `"false"` 解析为禁用。
|
||||
|
||||
**第二批:修复确定性功能错误。** B8:短暂无效命令 JSON 不清空上一版命令/预注入状态,恢复有效文件后可正常切换;B5:CDP 解冻失败不交付 BUSY 标签;B2:顶层数组历史能恢复;B1:搜索引擎主域禁自动发现、指定 AI 子域仍可用;B3:超限历史/媒体有可预测的拒绝/截断策略和隔离测试。
|
||||
|
||||
**第三批:边界和工程优化。** 统一远端媒体/图片抓取策略(S10/S11),限制 URL 正则与队列(H12/H9),为导入文件加大小预算(H14),移除重复/未使用代码(H8/H10/H13),并让无需浏览器的 CI 依赖/fixture 自足(T1/T2)。
|
||||
|
||||
如需我继续实施修复,应按上述批次逐项提交;**本报告仅提供审查建议,没有改动上述业务代码**。
|
||||
@@ -0,0 +1,58 @@
|
||||
# 依赖升级计划(审查项 H6)
|
||||
|
||||
> 状态:**计划**,未修改 `requirements.txt`。编写日期 2026-09-25,分支 `fix/review-p1-p2-b`。
|
||||
> 审查原文:「`requirements.txt` 的 FastAPI/Uvicorn 约束偏旧;未证实特定 CVE 适用于当前依赖范围。使用锁定依赖与回归测试制定升级计划。」
|
||||
|
||||
## 1. 现状
|
||||
|
||||
| 包 | requirements.txt 约束 | 当前解析到的版本 | 最新(PyPI,2026-09) |
|
||||
|---|---|---|---|
|
||||
| fastapi | `>=0.100.0,<0.110.0` | 0.109.2 | 0.141.1 |
|
||||
| starlette(fastapi 间接依赖) | 未直接约束(fastapi 0.109 锁 `<0.37`) | 0.36.3 | 1.7.0 |
|
||||
| uvicorn[standard] | `>=0.23.0,<0.30.0` | 0.29.0 | 0.54.0 |
|
||||
| pydantic | `>=2.0.0,<3.0.0` | 2.13.4 | — |
|
||||
| python-multipart | 未安装 | — | — |
|
||||
|
||||
其余依赖(DrissionPage、requests、Pillow、regex……)都是开区间或宽区间,已经解析到较新版本,这次不动。
|
||||
|
||||
## 2. 已知公告是否适用(核对结论)
|
||||
|
||||
| 公告 | 影响范围 | 对当前依赖是否适用 |
|
||||
|---|---|---|
|
||||
| CVE-2025-62727 / GHSA-7f5h-v6xp-fcq8:`FileResponse` / `StaticFiles` Range 头二次复杂度 DoS(CVSS 7.5) | starlette `>=0.39.0,<0.49.1` | **不适用**:当前是 0.36.3,早于引入该问题的版本。**注意:升级时如果停在 0.39–0.49.0 就会中招**,下限必须 ≥ 0.49.1。 |
|
||||
| CVE-2025-54121:大文件 multipart 表单转存磁盘时阻塞事件循环 | starlette `<0.47.2` | 实际**不适用**:项目没安装 `python-multipart`,也没有 `UploadFile`/`Form` 端点,Starlette 无法解析 multipart 表单。 |
|
||||
| CVE-2024-47874:multipart 表单无大小限制导致 DoS | starlette `<0.40.0` | 同上,没有 multipart 解析能力,**实际不适用**。 |
|
||||
|
||||
结论与审查一致:目前**没有已证实可被利用的 CVE**。升级的主要价值是:(a) 避免长期停在无人维护的版本线;(b) 以后如果有人加文件上传端点,不会立刻踩中上面的 multipart 问题。
|
||||
|
||||
## 3. 升级试验(已做,环境已清理)
|
||||
|
||||
在临时 venv(`--system-site-packages`,只覆盖 web 栈)装 **fastapi 0.141.1 + starlette 1.7.0 + uvicorn 0.54.0**,跑与 CI 相同的非浏览器测试集:
|
||||
|
||||
- **750 项:686 通过 / 63 跳过 / 1 失败**(基线是当前锁定版本下 687 通过)。
|
||||
- 唯一失败:`tests/test_cancel_storm_regressions.py::test_asgi_send_interruption_closes_suspended_generator_before_return[send_error]`。
|
||||
原因:新版 Starlette 的 `collapsing_task_group` 直接抛出原始 `OSError`,不再包进 `ExceptionGroup`。
|
||||
测试后面的清理断言(生成器被关闭、`finish_request` 恰好调用一次)在新版下**全部成立**,业务行为没有回归,只是测试对异常类型的断言太严。
|
||||
→ 本提交已把断言放宽为 `pytest.raises((BaseExceptionGroup, OSError))`,新旧两个版本都能通过。
|
||||
- 用 `-W default::DeprecationWarning` 跑一遍,没有来自 fastapi/starlette/uvicorn 的弃用告警;代码里也没有用 `on_event`、`regex=`、`HTTP_422_UNPROCESSABLE_ENTITY` 这类在新版中被弃用的写法。
|
||||
|
||||
## 4. 建议步骤(分阶段,每步单独 PR)
|
||||
|
||||
1. **引入锁定文件**(不改变解析结果):用 `pip-compile`(或 `uv pip compile`)从 `requirements.txt` 生成 `requirements.lock`,CI 和发布包用 lock 安装;`requirements.txt` 仍保留宽约束,给源码用户用。
|
||||
2. **升级 web 栈**:
|
||||
```
|
||||
fastapi>=0.115.0,<0.142.0
|
||||
starlette>=0.49.1 # 明确下限,排除 CVE-2025-62727 的影响区间
|
||||
uvicorn[standard]>=0.30.0,<0.55.0
|
||||
```
|
||||
然后跑完整回归:`/tmp/runtests.sh` 等价的非浏览器测试集,加上作者本地的浏览器 E2E(`tests/browser_*.py`,需要 Chromium,本分支不跑)。
|
||||
3. **重点人工冒烟**(自动化测试覆盖不到的地方):
|
||||
- SSE 流式响应,以及客户端中途断开时的取消(`app/api/streaming_response.py`、`RequestStreamingResponse`),
|
||||
- `StaticFiles` / `FileResponse` 的 Range 请求(`/media/*` 音视频拖动进度条),
|
||||
- 重启代理 / handoff(S4/S5,`restart_proxy`)在新版 uvicorn 下的连接接管,
|
||||
- Windows 打包版(`pywin32`、uvicorn 的 `--reload` 不使用)。
|
||||
4. **以后如果要加上传端点**:同时显式加 `python-multipart>=0.0.18`,并在端点上设置请求体大小上限。
|
||||
|
||||
## 5. 回退
|
||||
|
||||
只有 `requirements.txt` / lock 文件的改动,回退就是还原这两个文件后重装依赖;代码层面不需要任何兼容分支(试验已证明当前代码在新旧版本下都能工作)。
|
||||
@@ -0,0 +1,109 @@
|
||||
# 代码审查开发日志(2026-09-25 起)
|
||||
|
||||
> 用途:记录本轮"全仓库 Bug / 优化点审查"的进度与关键信息,防止上下文压缩或沙盒重启后丢失。
|
||||
> 最终汇总报告:`docs/review/CODE_REVIEW_REPORT.md`(已完成)。
|
||||
|
||||
## 0. 恢复指引(上下文丢失 / 沙盒重启后先看这里)
|
||||
|
||||
1. `cd /home/user/universal-web-api && git pull && git log -1` 确认最新提交点。
|
||||
2. 阅读本文件的「3. 进度清单」与「4. 发现列表」,从第一个未勾选的模块继续。
|
||||
3. 推送凭据只写在 `.git/config`(`http.https://github.com/.extraheader`),**不得写入任何被跟踪的文件或日志**;
|
||||
若沙盒重启导致 `.git/config` 丢失,需重新向用户确认/使用会话中提供的临时 token 重新配置。
|
||||
4. 沙盒约束(用户硬性规则):
|
||||
- 每完成一个小项立即 `git add` → `git commit` → `git push origin main`;
|
||||
- 禁止安装 Playwright/Chromium、禁止重度 E2E、禁止保留 png 截图;
|
||||
- 临时文件用完即删;工作区快照上限约 128MB / 10k 文件。
|
||||
- 用户规则里提到的 `node js/build.js dev`、`node js/tests.js` **在本仓库不存在**(前端位于 `static/js`,无构建脚本),
|
||||
替代的轻量验证:`node --check <file>`(JS 语法)、`python -m unittest` / `pytest`(纯逻辑测试,跳过 `tests/browser_*.py`)。
|
||||
|
||||
## 1. 仓库概况
|
||||
|
||||
- 仓库:`lumingya/universal-web-api`,默认分支 `main`,版本文件 `VERSION=3.0.0`。
|
||||
- 克隆方式:`git clone --filter=blob:none`(部分克隆,保留完整提交历史,.git ≈ 4MB)。
|
||||
- 规模:323 个跟踪文件;Python 约 12.8 万行(226 个 .py),前端 JS 约 2.8MB(Vue 3 全局构建 + 自研组件)。
|
||||
- 技术栈:FastAPI + Uvicorn + Pydantic v2 + DrissionPage(CDP 驱动 Chromium);把已登录的 AI 网页转成
|
||||
OpenAI / Anthropic 兼容接口。
|
||||
- 自动更新:`updater.py` 只从 **GitHub Releases** 拉包(`/releases/latest`),往 `main` 推送文档不会被自动分发。
|
||||
- 超大文件(审查重点,>3000 行):`app/api/tab_routes.py`(5142)、`app/core/tab_pool_parts/manager.py`(4512)、
|
||||
`app/services/command_engine.py`(3836)、`app/services/config/engine.py`(3341)、`app/core/extractors/media_extractor.py`(3248)、
|
||||
`app/core/browser/media.py`(3244)、`app/api/chat.py`(3242)、`app/core/network_monitor.py`(3201)、
|
||||
`app/services/command_engine_actions.py`(3166)。
|
||||
|
||||
## 2. 审查方法
|
||||
|
||||
- 静态:`python -m compileall`、pyflakes/ruff(未定义名、未使用变量、可疑比较等)、`node --check`。
|
||||
- 测试:运行 `tests/test_*.py` 中的纯逻辑测试(不运行 `tests/browser_*.py` 和依赖真实浏览器的用例)。
|
||||
- 人工:按模块阅读,重点关注 安全(认证/CORS/命令执行/路径穿越/SSRF/解压)、并发(锁/线程/asyncio 混用)、
|
||||
资源泄漏(无界缓存/后台任务)、错误处理、配置与文档一致性。
|
||||
|
||||
## 3. 进度清单
|
||||
|
||||
- [x] 克隆仓库、确认推送权限、建立开发日志
|
||||
- [x] M1 仓库卫生与配置(.env.example / .gitignore / README / VERSION / requirements)
|
||||
- [x] M2 静态分析 + 现有单元测试运行结果(排除真实浏览器;详情见 §5)
|
||||
- [x] M3 安全:认证与中间件(main.py / app/api/deps.py / CORS / 管理接口)——路由依赖逐项核对,ASGITransport 进程内验证默认跨源读取及启用认证时的 401/200;不代表真实浏览器联调
|
||||
- [x] M4 安全:命令引擎、updater、媒体落盘/文件路径、SSRF——以 mock 响应+临时目录验证同源 SVG/HTML 落盘与响应头;直接图片请求及 DNS 校验窗口单独记风险,未访问外网/内网目标
|
||||
- [x] M5 核心请求链路:chat.py / anthropic_routes.py / streaming_response.py / request_manager.py——核查认证委派、流关闭/取消、Responses 状态与请求历史,轻量复现 B2–B4
|
||||
- [x] M6 标签页池:tab_pool_parts/*(manager / session / recovery / idle_maintenance)——检查锁与取消/恢复路径;用无浏览器桩验证冻结恢复失败和非有限配置值
|
||||
- [x] M7 浏览器与工作流:core/browser/*、core/workflow/*、stream_monitor、network_monitor——核查控制流边界、流监听与调试持久化;复现 mtime 缓存及布尔字符串误判
|
||||
- [x] M8 服务层:tool_calling*、config engine、command_engine*——实际主类验证损坏命令配置回退、校验 URL 正则回溯开销并识别未使用存储 mixin
|
||||
- [x] M9 前端:static/js(XSS / v-html / 大文件)——验证完整备份导出敏感项、遗留教程搜索 DOM 注入及无大小限制导入
|
||||
- [x] M10 汇总报告 `docs/review/CODE_REVIEW_REPORT.md`——独立汇总全部 38 条、验证等级、限制条件与优先修复/验收顺序
|
||||
|
||||
## 4. 发现列表(按发现顺序追加;严重度:P0 严重 / P1 高 / P2 中 / P3 低)
|
||||
|
||||
| ID | 严重度 | 位置 | 摘要 | 状态 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| S1 | P1 | `app/core/config_parts/env_config.py:159-188`, `main.py:603-616`, `.env.example:21,59,66-69,134` | 管理认证默认关闭、CORS 默认 `*`;复制模板还绑定 `0.0.0.0` 且布尔占位值实际上为 false。跨源页面/局域网调用控制接口存在高风险;建议默认关闭跨源、管理令牌必选(非本机绑定时 fail-closed)、限制 Host/Origin。浏览器本地网络策略会影响可利用性。 | 进程内跨来源请求确认 200 且 `Access-Control-Allow-Origin: *`;仅启用后台认证时无令牌 401、带测试令牌 200;未运行真实浏览器 |
|
||||
| S2 | P1 | `app/services/command_engine_actions.py:2427-2590,3054-3106`, `app/services/config/engine.py:3312`, `app/services/parser_manager.py:162-227`, `app/core/parsers/registry.py:101-106` | Python 命令的 AST 名单只拦截直接危险调用;别名和传入的高权限对象可绕开,解析器安装会写入并 import 用户源码。此“沙箱”不能作为不可信代码边界;隔离进程/容器并移除危险对象,或只允许可信管理者使用。JS 命令也能访问浏览器上下文。 | 静态确认;未执行攻击代码 |
|
||||
| S3 | P2 | `app/services/parser_manager.py:162-227,331-345` | 解析器安装功能仅校验语法/类名,不约束代码行为,会立即 import 执行;目前未找到直接对外安装路由,是 S2 传入对象间接暴露的代码安装原语。 | 静态确认;未执行 |
|
||||
| S4 | P2 | `app/api/browser_routes.py:119-129`, `start.py:836-844,905-922` | `/api/browser/open-profile-url` 不要求令牌,仅检查 `request.client.host` 回环;经本机反代/隧道/重启代理访问时后端看到的来源可能为回环,可在受控浏览器用户目录打开 URL。须使用认证和来源限制,不能仅依赖 IP。 | 静态确认;未联调 |
|
||||
| S5 | P2 | `start.py:836-892,905-961,1400-1405` | 定时重启开启时的 TCP handoff proxy 无并发上限;每个连接可缓冲 64MB;仅按 Content-Length 读取,chunked/Expect 等请求兼容性不完整,错误被吞。代理后端统一回环地址还影响来源判断。 | 静态确认;仅在重启守护开启时 |
|
||||
| S6 | P2 | `main.py:728-737,804-825,839-841` | `/media/{filename}`、`/download_images/*` 无认证;可读下载目录文件;media 转码由请求触发(60s,无并发/同键去重),有 CPU/存储放大风险。路径边界校验本身正确。 | 静态确认;未压测 |
|
||||
| S7 | P3 | `main.py:376-406,689-698`, `app/api/system.py:789-815` | 无认证的启动引导数据返回站点目录;`/health` 暴露版本、浏览器端口/池状态、运行中的 request/tab ID、认证开关,还可能在健康检查时尝试连接浏览器。考虑仅返回简化健康状态。 | 静态确认 |
|
||||
| H1 | P1 | `.env.example:7-69,100-138`, `app/core/config_parts/env_config.py:111-116,159-171` | 模板重复配置项;`AUTH_ENABLED`/`DASHBOARD_AUTH_ENABLED` 填占位值会解析为 false,且包含 `0.0.0.0`、`APP_DEBUG=true`、CORS `*`、不安全 Python 命令等危险示例;代理、隧道、版本值亦带个人环境痕迹。应重做安全模板与校验。 | 已核对 |
|
||||
| H2 | P3 | `README.md:21`, `README.en.md:21`, `README.zh-CN.md:21`, `VERSION:1` | 三份 README 仍写 2.9.8 并链接不存在的 CHANGELOG_CURRENT.md;实际 VERSION=3.0.0。 | 已核对 |
|
||||
| H3 | P3 | `.gitignore:52,77,102-188`, `config/marketplace_cache.json` | 已跟踪的 marketplace_cache.json 仍被 ignore;tests 白名单含 4 个不存在的用例,且没有覆盖全部已跟踪测试;scripts 忽略规则有重叠。建议清理规则及按需 `git rm --cached` 缓存。 | 已核对 |
|
||||
| H4 | P3 | `main.py`, `app/core/stream_monitor.py`, `static/js/dashboard-schema.js` | 约 40 个文件混用 CRLF/LF,无 `.gitattributes`,增加噪音 diff 与跨平台维护成本;统一 EOL(须先检查各脚本依赖)。 | 已核对 |
|
||||
| H5 | P3 | `assets/*.png`, `static/*.png`, `static/images/logo.svg` | 多组字节相同的图片复制到 assets/static,logo SVG 约 792KB,另有较大截图;可用单一资源引用/压缩资源。 | 已核对 |
|
||||
| H6 | P3 | `requirements.txt:6-7`, `requirements-dev.txt` | FastAPI `<0.110`/Uvicorn `<0.30` 较旧,升级应配合测试与锁定依赖。FastAPI 0.109.2 要求 Starlette `>=0.36.3,<0.37`,不在 CVE-2025-62727 的 0.39–0.49.0 受影响范围,**不将该 CVE 误报于当前约束**;dev 依赖包含 Playwright,本轮禁止安装。 | 已核对 |
|
||||
| B1 | P2 | `app/utils/site_discovery.py:9-18`, `config/site_rules.json:1-22`, `app/services/config/engine.py:1973-1989`, `tests/test_site_discovery.py:18-25,72-76` | 出厂站点规则没有 google.com/bing.com/baidu.com 等 `auto_discovery=false`,默认返回 true;搜索页被当未知聊天站点尝试提取/AI 分析(9 个纯逻辑用例失败),可误用通用工作流。建议补充精确域名阻止规则、保留 gemini.google.com 等子域的可用性。 | 隔离测试复现 |
|
||||
| T1 | P2 | `tests/test_arena_auto_battle_command.py:71-81`, `tests/test_arena_command_persistence.py:1-15`, `tests/test_workflow_js_exec_integration.py:99-123`, `tests/test_media_stream_image_precedence.py:508-515`, `app/services/arena_model_catalog.py:18-22,128-140` | 测试硬依赖被 `.gitignore` 排除的 `config/commands*.json`、`custom_scripts/examples/arena_payload_interceptor.js`、`config/arena_model_catalog.local.json` 或不存在的 `js/arena-conversation-image-window.user.js`;干净克隆中约 64 个失败主要由缺失 fixture 引起,不能当作产品回归。应提供可分发的最小 fixture 或将这类测试标记为本地集成测试。 | 隔离测试复现 |
|
||||
| T2 | P3 | `requirements-dev.txt:1-4`, `tests/test_cancel_storm_regressions.py:340-364` | 纯逻辑测试依赖 `httpx`(ASGITransport),dev requirements 未声明;初轮 1 例报 `ModuleNotFoundError`,仅补装 `httpx` 后该例通过。可拆出不含 Playwright 的 tests extra。 | 隔离测试复现 |
|
||||
| H7 | P3 | `app/utils/model_routing.py:7,213`, `start.py:602,620,678,746` | 延迟注解下 5 处 `Optional` / `Any` 未导入;普通调用未必报错,但 `typing.get_type_hints` 实测分别触发 NameError,静态检查持续报 F821。 | 静态检查 + 轻量复现 |
|
||||
| S8 | P1 | `app/core/browser/media.py:2432-2440,2644-2677,2693-2734,2829-2836`, `app/core/background_image_downloader.py:428-433`, `main.py:839-841` | 后台下载拒绝 SVG,但前台回退将 `image/svg+xml` 响应原样存为可公开访问的 `.svg`(仅要求 `Content-Type` 含 `image`、字节数 >1000,缺安全格式校验)。若上游页面/媒体地址可由攻击者操控,用户**直接导航打开**本地化 SVG 时可能在应用同源执行脚本;作为 `<img>` 加载不应等同于执行。拒绝 SVG 或安全转码为 PNG,媒体与后台统一校验;静态路由另设隔离域/CSP/attachment。 | mock 后台失败、无网络的前台响应成功写 `.svg`;进程内 GET 返回 200 `image/svg+xml`,无 CSP/attachment;未运行真实浏览器 |
|
||||
| S9 | P1 | `app/core/browser/media.py:2101-2215`, `app/core/extractors/media_extractor.py:929-945,1006-1080`, `main.py:728-742,804-825` | 音视频落盘仅检查 Content-Type 包含 `audio`/`video`;未知 MIME 从远程 URL 取后缀,未校验实际内容。可控 `clip.html` 伴随 `video/custom` 响应会原样写入 `.html` 并返回 `/media/*.html`,而 FileResponse 依据后缀以 `text/html` + `inline` 发送。需攻击者控制上游媒体地址和其响应、受害者直接访问该链接;若后台认证启用,应用同源执行脚本可能读取仪表板本地令牌。仅允许已知安全音视频扩展名、实测格式并在独立域/强制下载提供。 | mock 远程响应成功落 `.html`;ASGI 进程内 GET 返回 200 `text/html; charset=utf-8` + `inline`,无 CSP;未执行脚本/真实浏览器 |
|
||||
| S10 | P2 | `app/utils/image_validation.py:37-121,151-175,272-370`, `app/services/arena_gpt_image_command.py:155-175,608,642` | 图片比对/C2PA 读取第三方页面提取的 URL 时直接 `requests.get`:无公网地址/重定向校验且读取 `response.content` 无尺寸上限;data URI 和浏览器 `arrayBuffer()` 回退亦无限制。需媒体 URL 经目标站页面进入比对流程,可能触发盲 SSRF、内网请求或内存放大。统一复用安全获取器并限制响应、data URI、像素解码规模。常规**输入**图片处理 `app/utils/image_handler.py` 已有校验,不能混为一谈。 | mock 证明回环 URL 被直接交给 requests(无实际内网请求);未测真实 SSRF/大响应 |
|
||||
| S11 | P2(条件性) | `app/utils/remote_resource.py:141-185,206-245` | 公共资源抓取先用 DNS 查询验证地址,再将原始主机名传给 `requests.get()`;连接时可能重新解析,攻击者控制 DNS 时可在验证后切到私网地址。重定向逐次校验、凭据跨域剥离已实现,但不消除验证/连接间竞态。应将实际连接 IP 固定为已验证地址(保持 HTTPS SNI/Host),或在可信出网代理上强制拒绝内网段。 | mock 确认验证发生、传给 HTTP 层的仍是域名;未作真实 DNS 重绑定验证,不宣称已利用 |
|
||||
| B2 | P2 | `app/services/request_manager.py:545-573` | 历史读取器试图兼容旧版 JSON **顶层数组**,但先调用 `data.get()`,在 list 上报 AttributeError 后被整体捕获,历史被置空;旧格式升级后监控历史无法恢复。先按 `isinstance(data, list)` 分支取值,再统一校验记录。 | 微型临时文件复现:`{"records":[...]}` 恢复 1 条、等价顶层 `[...]` 恢复 0 条;未触及真实历史 |
|
||||
| B3 | P2 | `app/api/chat.py:93-99,539-608,1030-1076,1950-1955,2420-2425` | Responses API 默认 `store=None` 时存储完整请求历史和助手消息;只有 1h/1024 条**数量**上限,无单条/总字节配额,base64 多模态和连续会话会使内存放大。状态全局只按不可预测 response_id 索引、未按客户端隔离;ID 一旦泄露可跨调用续接历史。建议每项/总量预算、媒体内容剥离/摘要,按认证主体隔离,并在文档说明驻留期。 | 小数据两轮存储字符串长度 137→274;未运行压力测试或尝试跨用户访问 |
|
||||
| B4 | P3 | `app/api/chat.py:469-475,524-528,2514-2517,2804-2813`, `app/core/config_parts/sse_formatter.py:229` | OpenAI `n` 允许 `>=1`,但请求链未据此生成多条选择;非流式统一构造单条 choices,流式将其只当 stop 处理条件。请求 `n=3` 会静默只得一条,建议验证 `n==1` 时明确拒绝其他值或实现多路执行。README 已笼统说明某些网页不支持的字段会忽略,仍应显式声明此行为。 | 构造 `n=3` 请求模型成功,打包器生成 choices 数=1;未接真实浏览器 |
|
||||
| H8 | P3 | `app/api/chat.py:157-193,217-249` | 六个 Arena 错误辅助函数同名定义两次,前者随后被后者覆盖;两套提示词拒绝判断/响应构造实现不完全相同,增加维护漂移和死代码。清理重复定义并保留行为单测。 | 静态确认;无执行回归结论 |
|
||||
| B5 | P2 | `app/core/tab_pool_parts/idle_maintenance.py:346-384`, `app/core/tab_pool_parts/session.py:258-278` | 冻结标签页恢复 CDP 指令报错后,`resume_if_frozen` 返回 false,却在 `finally` 清除 `_uwapi_frozen` 标志;`TabSession.acquire()` 忽略返回值并仍标记 BUSY、返回 true,可能将仍冻结的页面交给请求,后续也不再重试解冻。恢复失败应阻止交付/标为异常并保留待核实状态。 | 假 CDP 抛错的轻量桩复现:acquire=true、status=busy、frozen flag=false;未连接浏览器 |
|
||||
| B6 | P3 | `app/core/tab_pool_parts/idle_maintenance.py:69-103`, `app/core/tab_pool_parts/manager.py:219` | 环境变量 `BROWSER_CDP_RECYCLE_AFTER_REQUESTS=inf` 或 DOM_NODES=inf 可通过 `float()` 后执行 `int(inf)` 抛 OverflowError,使创建标签页池失败。配置解析须检查 `math.isfinite()` 并回退默认。 | patch 进程环境复现 OverflowError;默认配置无此问题 |
|
||||
| H9 | P2(优化) | `app/core/tab_pool_parts/manager.py:151-155,2882-2905,3436-3483`, `app/services/request_manager.py:2282-2335` | 获取标签页的独立线程池限制 32 个**工作线程**,但待执行任务的 `ThreadPoolExecutor` 内部队列和池的等待队列未设置总量上限;大量并发请求可占住线程/排队 Future,活跃请求也不按历史记录条数被驱逐。建议在 API 入口统一设置最大并发与等待数、早返回 429/503,并监控队列深度。 | 静态容量分析;未进行大量并发压力测试,不作为已复现的耗尽故障 |
|
||||
| S12 | P2 | `config/browser_config.json:371-376`, `app/core/config_parts/browser_constants.py:86,219-253`, `app/core/network_monitor.py:1699-1804,1975-1980`, `app/core/config_parts/log_redaction.py:239-311` | 虽然代码/前端默认关闭网络响应调试抓取,**已跟踪的出厂 browser_config.json 却打开** `NETWORK_DEBUG_CAPTURE_ENABLED` 且过滤器为空;命中解析器时会把原始响应正文片段及解析预览写入 `logs/network_parser_debug`(目录上限配置 50MB)。日志净化保护部分令牌/Base64,但正常聊天文本仍可落盘;若配置中填字符串 `"false"`,`bool("false")` 也会错误地启用。应默认禁用调试抓取、要求显式确认隐私及设自动过期/脱敏,严格解析布尔值。 | 实测读取跟踪配置为 true、合成普通聊天文本不会被净化、mock 配置 `"false"` 时启用结果为 true;未使用真实会话或产生调试文件 |
|
||||
| B7 | P3 | `app/core/workflow/script_loader.py:173-194`, `tests/test_workflow_script_loader.py:130-157` | JS 脚本热加载只按浮点 mtime 判断缓存命中;内容替换但 mtime 不变(恢复时间戳/低分辨率文件系统/快速覆盖)时会执行旧脚本,且测试只覆盖 mtime 改变。建议 `st_mtime_ns+size` 并对更新接口显式清缓存;极端同大小同时间需 hash。 | 临时脚本文件复现:盘上内容 `later`、缓存仍返回 `first`;临时目录已自动删除 |
|
||||
| H10 | P3 | `app/core/stream_monitor.py:1706-1732,1768-1779` | `_is_arena_page`、`_arena_native_stop_present` 两次定义,前一版松散子串判断被后一版域名解析与独立检测器覆盖;清理死代码与重复维护面,保留后一版的域名边界。 | 静态确认;运行时以前一版已被覆盖为前提,不宣称当前主机校验失效 |
|
||||
| H11 | P3 | `config/browser_config.json:320-369` | 已跟踪的默认浏览器配置包含多组具体 Arena 会话 URL/标签页编号,不适合作为通用模板,公开仓库中还可能泄露用户曾使用的会话标识。建议用示例占位组与本地不跟踪的覆盖文件替换,必要时清理历史。 | 静态确认 5 组路由数据;未访问这些 URL、未验证是否能读取内容 |
|
||||
| B8 | P2 | `app/services/command_engine.py:1352-1378,1654-1674` | 外部改写 `commands.json` 时,短暂无效 JSON 被解析为 `[]`,热刷新直接将**上一轮有效命令缓存清空**并推进 mtime,还将原有 `run_js_file` 动作认作禁用、生成清理列表;命令临时全失效,浏览器在线时还可能撤销注入。应在错误时保留 last-known-good,区分合法空列表与解析失败,避免据此清理运行态;文件恢复后再刷新。 | 使用真实 `CommandEngine` 与临时 JSON 文件,1 条命令 → 损坏 JSON → 0 条且捕获 1 条待清理动作;**仅 mock 掉清理执行,未运行浏览器或观察在线注入** |
|
||||
| H12 | P2(优化/风险) | `app/services/command_engine_results.py:637-653,655-663` | 网络异常触发器允许配置 regex URL 匹配,直接用标准库 `re.search()` 且无模式复杂度、输入长度或匹配超时限制;嵌套量词会指数回溯,频繁事件可阻塞命令检查线程。建议参考工作流已有 `regex.search(..., timeout=0.025)` 做预编译/超时,限制模式和 URL 长度,并拒绝超时规则。 | 仅 12、16、19 个 `a` 的短 URL 合成输入量测约 0.0005/0.0057/0.046s;未进行长串或压力测试,真实影响依环境/模式而异 |
|
||||
| H13 | P3 | `app/services/command_engine_storage.py:22-335`, `app/services/command_engine.py:60,1340-1380,1654-1674` | `CommandEngineStorageMixin` 在项目内没有被 `CommandEngine` 继承或导入,存储/CRUD 的很多方法却与主类重复,易使后续修复只落在未运行代码中(初次试验也因此需改用生产主类验证)。建议合并、删除或明确弃用该模块并加主类覆盖测试。 | 静态类继承/调用核对,无产品运行错误主张 |
|
||||
| S13 | P1 | `app/api/system.py:79-113,293-315,948-952`, `static/js/dashboard-methods.js:1602-1648`, `app/core/config_parts/env_config.py:159-188` | `GET /api/settings/backup` 原样返回 `.env` 所有键值(可能包含密钥/令牌),默认未启用认证且 CORS `*`;属于 S1 的**具体高价值只读泄露点**。即使启用认证,前端“完整导出”还把浏览器本地仪表板令牌以 `dashboard_token` 和 `api_token` **两份明文**写入下载的 JSON,界面没有敏感数据警告。应为备份接口强制鉴权/禁止跨源,默认剔除密钥并提供单独加密备份选项,不自动导出浏览器本地令牌。 | ASGITransport 模拟 .env 返回**纯合成**密钥,未授权跨源 GET=200/CORS `*` 且响应含合成键值;Node VM 用合成 token 确认 UI 同时写两字段;未读取/输出任何真实令牌 |
|
||||
| S14 | P3(低可利用性) | `static/tutorial/index.html:1534-1540`, `static/js/components/panels/{SelectorPanel,StreamConfigPanel}.js:120-131,252-266` | 遗留教程页仍由设置页入口打开;其搜索无结果提示直接将 `searchInput.value` 插入 `innerHTML`,缺 HTML 转义。输入恶意 HTML 时可形成同源 DOM 注入/自输入 XSS;目前未发现 URL 查询或远程数据自动写入该输入,**不可宣称可远程无交互利用**。使用 `textContent` 或实体编码、清理旧页面。 | Node VM 仅执行这段输入事件回调,合成 `<img onerror>` 字符串原样进入 innerHTML 字符串;无浏览器、未观察脚本执行 |
|
||||
| H14 | P3(优化) | `static/js/dashboard-methods.js:1173-1207,1583-1599`, `static/js/components/panels/PresetTransfer.js:207-211`, `static/js/workflow-studio.js:897-901` | 仪表板的站点/完整备份文件导入无 `file.size` 限制,直接 `FileReader.readAsText` + `JSON.parse`,而预设/工作流导入分别限制 4MiB/1MiB。巨大用户选取文件可使页面卡顿或内存抬升;建议统一上限、流式/分段解析并提示文件过大。 | 静态对照;未加载大文件或压力测试 |
|
||||
|
||||
## 5. 工作流水
|
||||
|
||||
- 2026-09-25:部分克隆完成;确认 token 具备 push 权限(dry-run 通过);确认 updater 仅走 Releases;建立本日志。
|
||||
- 2026-09-25 / M1:核对 `.env.example`、三份 README、requirements、ignore 规则、已跟踪缓存与换行;记录 H1–H6。同期初查 149 个 API 路由(AST 粗计,6 个未声明 Depends 的路由需逐项判定),并核实认证/CORS、Python 命令与解析器动态 import、启动代理、媒体/健康路由,记录 S1–S7;M3/M4 尚未完成。PyPI 元数据确认 FastAPI 0.109.2 限制 Starlette `<0.37.0`。本阶段只读审查,未做侵入式验证、未修改业务代码。
|
||||
- 2026-09-25 / M2:生产依赖及 `ruff`/`pyflakes`/`pytest`/`httpx` 安装到工作区外 `/home/user/.venv`;**未安装 Playwright/Chromium**。Python 226 文件用 `tokenize.open` + AST 语法检查均通过(`text_filter.py` 首字节有 BOM,直接按 UTF-8 文本喂给 AST 的一次假阳性已排除);`node --check` 静态 JS 33 文件通过。Ruff `--target-version py313 --select F821,F822,F823,E9` 报 5 个 F821(H7);pyflakes 全量原始诊断 419 行,多为重导出/未使用变量,不等于 419 个 bug。首轮 `unittest` 57 例:34 通过、6 失败、17 错误;其中失败/错误都指向缺失本地命令和 JS 示例。仅选无私有 fixture 的两组用例 15/15 通过。
|
||||
- 2026-09-25 / M2(续):排除 3 个真实 Chromium 测试文件和两处浏览器 fixture(未启动浏览器)的 pytest 初轮:**548 passed、74 failed、9 deselected**(10.15s)。归因:64 个缺失/过期本地 fixture(T1)、9 个站点自动发现断言失败(B1)、1 个 dev 依赖缺失(T2)。仅补装 `httpx` 后 T2 对应用例通过;过滤上述已知失效用例的独立干净子集 **544 passed、30 deselected**(8.17s)。所有测试生成的临时目录及忽略的 `config/commands.json`、`config/request_history.json`、`config/app_stats.json` 均已删除;无业务代码变更。
|
||||
- 2026-09-25 / M3:复核 `app/api/deps.py` 的服务与后台双令牌和路由依赖:149 个 APIRoute 中 12 个无 FastAPI 依赖;其中 6 个模型别名路由在函数内手动验服务令牌,另 6 个是 `/`、`/dashboard`、浏览器引导页、`/media/{filename}`、`/health`、`POST /api/browser/open-profile-url`。`httpx.ASGITransport` 进程内测试:默认关闭后台认证时,外来 Origin 的 CORS 预检和 `GET /api/commands` 均返回 200,后者响应允许 `Access-Control-Allow-Origin: *`;临时仅在进程环境中启用后台认证并提供合成令牌后,同一路由无令牌返回 401、带令牌返回 200。无真实浏览器或外部网络访问,未测试浏览器本地网络策略和反向代理拓扑;检查产生的忽略配置已删除。S1、S4、S6、S7 见上。
|
||||
- 2026-09-25 / M4:复核命令引擎受限 Python 执行上下文(含浏览器、配置对象和默认可导入 requests)、解析器动态导入及 updater;`updater.py:828-874` 已限制 ZIP 路径/符号链接/条目数/展开大小/压缩比,下载验 SHA-256 digest,失败会从备份恢复,**不将这些保护误报为缺失**。用无网络 mock 响应和自动清理的微型临时目录分别驱动 SVG 图片前台回退与音视频远程下载:获得 `.svg` 和 `.html`,经 `httpx.ASGITransport` 同源路由实际返回 `200 image/svg+xml`(无 attachment/CSP)与 `200 text/html; charset=utf-8`、`Content-Disposition: inline`(无 CSP)。`read_image_bytes` 的回环 URL 以 mock `requests.get` 证明可达调用点,**未实际连接回环/内网**;公共抓取器 mock DNS 后仍把原主机名交给 requests,重绑定仅按条件性风险报告。所有临时产物与导入生成的忽略配置已删除;未安装/运行浏览器或大文件压力测试。S2、S3、S8–S11 见上。
|
||||
- 2026-09-25 / M5:阅读 OpenAI / Anthropic 接口的认证委派、SSE 响应关闭与请求生命周期:已实现断连时主动关闭异步生成器、线程工作队列限背压及绝对执行超时,未把这些保护误报为缺陷。隔离小文件测试(不运行浏览器)证实历史旧数组读入丢失(B2);Responses 默认启用内存存储且连续两轮重复保留完整会话(B3);构造 `n=3` 可接受但单选择输出(B4)。`chat.py` 六个 Arena 错误辅助函数重复定义(H8)。临时目录及导入生成的忽略配置已清理。
|
||||
- 2026-09-25 / M6:核对 `TabPoolManager` 的获取/释放条件队列、独立 acquire executor 与取消后回收、Session 状态门禁、隔离恢复服务的超时槽、空闲冻结/CDP 回收逻辑;已存在 0.25s 取消轮询及冻结前检查页面隐藏,不把无真实浏览器实验的状态竞态当成已发生事故。仅用抛错 CDP 桩证明解冻失败仍交付会话(B5),仅用临时 env 值证明配置 inf 可使构造失败(B6)。等待队列未总量限流作为优化风险 H9 记录,不做压力测试;无截图或浏览器下载。
|
||||
- 2026-09-25 / M7:查阅浏览器媒体/工作流、`flow_runtime.py` 条件与变量解析、`script_loader.py` 路径控制及缓存、DOM/网络流监听。控制流有节点/深度/字节和执行转换预算,正则有 25ms 限时,网络监听有预取容量及调试目录上限,脚本路径解析会限制在指定目录;不能笼统报告缺少这些防护。发现跟踪的 `browser_config.json` 与代码/前端默认开关不一致,默认启用原始响应调试捕获(S12),并携带具体会话 URL(H11);轻量文件实验确认仅 mtime 缓存导致热更新可能陈旧(B7);流监听重复方法只记录为维护问题(H10)。无真实浏览器、网络页面或 PNG 截图。
|
||||
- 2026-09-25 / M8:查阅工具调用同步/异步修复轮次(默认 2、上限 5)、Schema 本地引用/形状/有限数检查及消息格式;这些已有防护不作为缺失报告。核查配置引擎 JSON 错误时热重载保留旧状态、原子保存与本地覆盖快照。命令引擎另有损坏命令文件导致运行缓存归零(B8),实际主类临时文件复现并在清理动作处用 mock 截断;**最初用未继承的 `CommandEngineStorageMixin` 实验只用于提示死代码,最终证据来自生产主类**。命令网络 URL regex 无超时(H12),短 URL 小样本显示回溯增长;存储 mixin 未使用(H13)。所有临时文件由 TemporaryDirectory 清理,无浏览器/耗内存测试。
|
||||
- 2026-09-25 / M9:统计前端 HTML 插入点与 `v-html`:Vue 组件里的显式 `v-html` 均为静态 `$icons` SVG,用户/服务端数据多使用模板插值,现代教程和受控浏览器引导页在拼接 `innerHTML` 前已有实体编码,不作全站无防护断言。发现未授权的完整备份 GET 会原样响应 .env(合成环境模拟跨源读取),前端导出还复制浏览器本地令牌明文两次(S13);遗留教程搜索无结果文案直接拼接未经编码的搜索词(S14,自输入风险);站点/完整备份导入缺文件大小限制(H14)。用 Node VM 假对象演示写入点,无 Chromium、浏览器执行或真实密钥采集。
|
||||
- 2026-09-25 / M10:完成独立的 `docs/review/CODE_REVIEW_REPORT.md`,按 P1/P2/P3 整理 38 条(6/15/17);程序核对报告和本日志的 38 个 ID 一一对应。报告写明模拟验证与条件性结论的界限、已有防护、部署缓解、修复顺序与验收条件。全程只更新报告/日志文档,未修改业务代码;未使用真实凭据做验证。
|
||||
@@ -0,0 +1,558 @@
|
||||
# 审查问题修复开发日志(2026-09-25 起)
|
||||
|
||||
> 用途:记录「按 `docs/review/CODE_REVIEW_REPORT.md` 修复 Bug」阶段的进度与关键决策,
|
||||
> 防止上下文压缩或沙盒重启后丢失信息。上一阶段(只审查不改代码)的日志见
|
||||
> `docs/review/DEVLOG-code-review-2026-09.md`。
|
||||
|
||||
## ✅ 状态:P1 + P2 全部完成并融合 main 分支成果(分支 `fix/review-p1-p2-b`)
|
||||
|
||||
- P1:S13、S1、H1、S8、S9、S12;P2:B8、B5、B2、B1、B3、S10、S11、S4、S5、S6、S3、H9、H12、T1。
|
||||
- 融合 main 分支成果:
|
||||
- S2:补齐 `docs/SECURITY-TRUST-BOUNDARIES.md` 信任边界文档,启动期对外绑定与危险代码执行组合自检阻断。
|
||||
- S4:`open-profile-url` 补齐云元数据主机名(`_METADATA_HOSTS`)与内部网络后缀拦截。
|
||||
- S6:媒体鉴权支持 `?token=` 查询参数,方便前端 `<img src>` 携带凭据。
|
||||
- 完整测试:全部通过,含新增 118 项回归测试全部通过。
|
||||
|
||||
> **2026-09-26 合并记录**:`fix/review-p1-p2-b`(含 P3 16/17 项)已按用户指示合并进 `main`;
|
||||
> 唯一冲突为本日志,已保留双方内容。合并后非浏览器测试 691 passed / 63 skipped / 0 failed。
|
||||
> 剩余 H4(换行符统一)转入路线图阶段 0(R0-6),后续进度见 `docs/roadmap/DEVLOG-phase0-2.md`。
|
||||
|
||||
## 🔜 第三阶段:P3(2026-09-25 用户要求继续)
|
||||
|
||||
**用户已批准 P2 的三项取舍**:S4 未强制令牌(严格本机直连仍可用)、S6 媒体鉴权默认关闭、
|
||||
T1 以 skip + `local_fixture` 标记代替恢复本地文件。原则:**不要把所有接口都改成必须带令牌**,
|
||||
否则大量第三方工具不可用——P3 中涉及鉴权的改动(S7)同样遵循“本机/已认证可见详情,其余最小化”。
|
||||
|
||||
P3 清单(顺序即执行顺序,完成一项勾一项,每项独立提交):
|
||||
|
||||
- [x] B6 `BROWSER_CDP_RECYCLE_AFTER_REQUESTS=inf` OverflowError
|
||||
- [x] B7 脚本热加载 mtime 相同内容替换仍返回旧脚本
|
||||
- [x] B4 `n>1` 只返回 1 个 choice
|
||||
- [x] H7 未导入的类型注解(F821)
|
||||
- [x] H8 chat.py 重复定义的 Arena 辅助函数
|
||||
- [x] H10 stream_monitor 重复方法
|
||||
- [x] H13 未使用的 command_engine_storage mixin
|
||||
- [x] T2 requirements-dev 缺 httpx
|
||||
- [x] S14 遗留教程搜索框 innerHTML
|
||||
- [x] S7 公开引导/健康接口信息最小化
|
||||
- [x] H14 站点/完整备份导入无大小上限
|
||||
- [x] H2 README 版本与 CHANGELOG 链接
|
||||
- [x] H3 .gitignore 规则清理
|
||||
- [x] H11 受跟踪配置中的具体 Arena 会话 URL
|
||||
- [x] H5 重复/超大图片资源
|
||||
- [x] H6 依赖升级计划(只出计划与约束调整,不做大版本跳跃)
|
||||
- [ ] H4 换行符统一(放最后,单独提交,降低与 main 合并冲突)
|
||||
|
||||
## 0. 恢复指引(上下文丢失 / 沙盒重启后先看这里)
|
||||
|
||||
> ⚠️ **分支约定(2026-09-25 用户确认)**:发现另一会话在并行往 `main` 推同一批修复(`c8006cd`、`06f8103`…)。
|
||||
> 用户选择:本会话**只推独立分支 `fix/review-p1-p2-b`**,基于 `d663bb7` 独立完成 P1+P2,**不碰 `main`**,
|
||||
> 最终由用户对比/择优合并。恢复时:`git checkout fix/review-p1-p2-b && git pull`,推送用
|
||||
> `git push origin fix/review-p1-p2-b`。下面第 1 步里的 `origin/main` 对本分支不适用。
|
||||
> 沙盒重启会丢 `.git/config`(含 remote 与 user.name/email)和 `/tmp`,需按第 3 步和第 2 节重建。
|
||||
|
||||
|
||||
1. `cd /home/user/repo && git log --oneline -5` 确认最新提交点(远端 `origin/main`)。
|
||||
2. 读本文件「3. 进度清单」,从第一个未勾选项继续。**不要**重新通读全仓库。
|
||||
3. 推送凭据只存在于 `.git/config`(clone URL 内嵌临时 PAT)。沙盒快照**不含** `.git/config`,
|
||||
重启后需用会话里给出的临时 token 重新 `git remote set-url`。
|
||||
**严禁**把 token 写进任何被跟踪的文件、日志或提交信息。
|
||||
4. 沙盒硬性约束(用户规则):
|
||||
- 每完成一小项立刻 `git add` → `git commit` → `git push origin main`,不堆积改动;
|
||||
- 禁止安装 Playwright/Chromium、禁止重度浏览器 E2E、不要往工作区留 `.png` 截图;
|
||||
- 临时文件用完即删;工作区约 128MB / 10k 文件配额。
|
||||
5. 本仓库没有用户规则里提到的 `js/build.js` / `js/tests.js`。等效轻量验证:
|
||||
- `bash /tmp/runtests.sh`(见下方「2. 测试基线」,若 `/tmp` 被清空按该节重建)
|
||||
- `node --check static/js/<file>.js`(前端语法)
|
||||
- `python3 -m compileall -q app main.py start.py`(Python 语法)
|
||||
|
||||
## 1. 本轮范围
|
||||
|
||||
用户确认:**第一批(P1)+ 第二批(P2)**,直接提交到 `main`。第三批 P3 本轮不做。
|
||||
|
||||
- 第一批(阻断凭据与同源脚本风险):S13、S1、H1、S8、S9、S12
|
||||
- 第二批(确定性功能错误):B8、B5、B2、B1、B3,以及 P2 其余条件性风险项
|
||||
S10、S11、S4、S5、S6、S3、H9、H12、T1
|
||||
|
||||
## 2. 测试基线(沙盒内可复现)
|
||||
|
||||
依赖安装:`pip install -r requirements.txt` + `pytest pytest-asyncio httpx`
|
||||
(**不装** playwright;`requirements-dev.txt` 里的 playwright 与 T2 缺失的 httpx 属 P3,不在本轮)。
|
||||
|
||||
跑测脚本(10 个需要真实浏览器/Playwright 的模块被排除):
|
||||
|
||||
```bash
|
||||
cat > /tmp/runtests.sh <<'EOF'
|
||||
#!/bin/bash
|
||||
cd /home/user/repo
|
||||
timeout 1200 python3 -m pytest tests -q -p no:cacheprovider \
|
||||
--ignore=tests/browser_operations_studio.py \
|
||||
--ignore=tests/browser_preset_transfer.py \
|
||||
--ignore=tests/browser_site_capabilities.py \
|
||||
--ignore=tests/browser_upgraded_sites.py \
|
||||
--ignore=tests/browser_workflow_studio.py \
|
||||
--ignore=tests/test_attachment_browser.py \
|
||||
--ignore=tests/test_site_workflow_upgrade.py \
|
||||
--ignore=tests/test_text_input_atomic.py \
|
||||
--ignore=tests/test_workflow_page_guide.py \
|
||||
--ignore=tests/test_workflow_readable_ui.py "$@"
|
||||
EOF
|
||||
chmod +x /tmp/runtests.sh
|
||||
```
|
||||
|
||||
**修复前基线(commit `5f724c5`):`524 passed, 73 failed`。**
|
||||
73 个失败的构成(与审查报告一致,不是本轮引入的回归):
|
||||
|
||||
- 64 个:依赖未跟踪的本地 fixture(`config/commands*.json`、本地 JS 脚本等)→ 条目 T1
|
||||
- 9 个:`tests/test_site_discovery.py` 站点自动发现断言 → 条目 B1(本轮要修,修完应变绿)
|
||||
|
||||
> 2026-09-25 第二会话复核:重新 clone 后基线同为 `524 passed, 73 failed`,失败清单已存 `/tmp/baseline_failures.txt`。
|
||||
> 快捷脚本 `/tmp/check.sh` = 跑测 + 与基线 diff(`comm -13`),输出「new failures」段必须为空。
|
||||
> 丢失时按下文重建:`/tmp/runtests.sh 2>&1 | grep '^FAILED' | sed 's/^FAILED //; s/ - .*//' | sort`(在 `d663bb7` 上跑)。
|
||||
|
||||
判定回归的方法:把当前失败集合与 `/tmp/baseline_failures.txt` 做 diff,只允许减少、不允许新增。
|
||||
|
||||
```bash
|
||||
/tmp/runtests.sh 2>&1 | grep '^FAILED' | sed 's/^FAILED //' | sort > /tmp/now.txt
|
||||
diff /tmp/baseline_failures.txt /tmp/now.txt # '>' 行 = 新增回归,必须为空
|
||||
```
|
||||
|
||||
## 3. 进度清单
|
||||
|
||||
图例:`[ ]` 未开始 · `[~]` 进行中 · `[x]` 已完成并推送
|
||||
|
||||
### 第一批
|
||||
|
||||
- [x] S13 备份接口泄露 `.env` 密钥 + 前端导出本地令牌
|
||||
- [x] S1 控制面默认开放(认证默认关 + CORS `*`)
|
||||
- [x] H1 `.env.example` 诱导不安全部署
|
||||
- [x] S8 SVG 以同源活动内容落盘/提供
|
||||
- [x] S9 音视频响应头 + `.html` 后缀落盘
|
||||
- [x] S12 默认开启的响应调试抓取
|
||||
|
||||
### 第二批
|
||||
|
||||
- [x] B8 命令配置损坏时清空运行缓存
|
||||
- [x] B5 解冻失败仍交付标签页
|
||||
- [x] B2 旧版顶层数组历史恢复丢失
|
||||
- [x] B1 搜索引擎主域被自动发现
|
||||
- [x] B3 Responses 内存历史无字节预算
|
||||
- [x] S10 图片比对 / C2PA 直取外部 URL
|
||||
- [x] S11 DNS 校验后连接重解析
|
||||
- [x] S4 回环 IP 当作授权
|
||||
- [x] S5 定时重启代理容量 / 协议
|
||||
- [x] S6 媒体路由无认证与转码资源
|
||||
- [x] S3 解析器安装立即 import
|
||||
- [x] H9 标签页等待队列无总量上限
|
||||
- [x] H12 网络事件 URL 正则回溯
|
||||
- [x] T1 干净克隆测试资源不全(范围里列了但清单漏了,补上)
|
||||
|
||||
## 4. 修复记录
|
||||
|
||||
(每完成一项追加:条目 ID、改了哪些文件、做了什么决策、怎么验证的、提交哈希)
|
||||
|
||||
### 通用基础设施(多个条目共用)
|
||||
|
||||
- 新增 `app/core/http_security.py`:回环判定、Origin 判定、启动期安全检查、备份脱敏、
|
||||
「可信本机请求」判定(识别反代/隧道转发头 + start.py handoff 代理共享密钥)。
|
||||
- 新增回归测试 `tests/test_review_fixes_p1.py`(P1)/ `tests/test_review_fixes_p2.py`(P2);
|
||||
`.gitignore` 用 `!tests/test_review_fixes_*.py` 放行(tests/ 目录默认忽略,只有白名单文件入库)。
|
||||
|
||||
### S13 备份泄露密钥 ✅
|
||||
|
||||
- `app/core/http_security.py`: `is_secret_env_key` / `redact_env_for_backup`(键名含 TOKEN/SECRET/PASSWORD/API_KEY/COOKIE/
|
||||
CREDENTIAL/AUTH_USER/SESSION 等,或值形如 `scheme://user:pass@host` 的一律剔除)。
|
||||
- `app/api/system.py`: 备份 `files.env` 只含安全子集,新增 `secrets_redacted` / `redacted_env_keys`;
|
||||
导入时丢弃 `***` 等占位符,并复用 `_validate_env_config_payload`(此前导入 env 完全不校验,可换行注入)。
|
||||
**决策**:秘密「剔除」而非「打码」——导入时缺失键保持目标 `.env` 现值,不会被占位符覆盖。
|
||||
- `app/api/deps.py`: 新增 `verify_sensitive_admin_auth` —— 面板认证开启时校验令牌;未开启时只允许
|
||||
「直接来自回环且无 X-Forwarded-For 等转发头」的请求,否则 403。备份 GET/POST 改用它。
|
||||
- `static/js/dashboard-methods.js`: 导出备份不再写 `dashboard_token`/`api_token`;导入旧备份仍兼容读取。
|
||||
- 验证:`tests/test_review_fixes_p1.py` 7 项(无授权远端 403、隧道头 403、启用认证无令牌 401、响应不含合成密钥、
|
||||
占位符不覆盖、换行注入 400、前端不导出令牌)。全量:531 passed / 73 failed(与基线相同的 73 项)。
|
||||
|
||||
### S1 控制面默认开放 + H1 模板诱导不安全部署 ✅(同一提交,互相依赖)
|
||||
|
||||
- `app/core/config_parts/env_config.py`
|
||||
- `get_cors_origins()` 默认由 `["*"]` 改为 `[]`(`parse_cors_origins`,空=不放行任何跨源)。
|
||||
- 新增 `_env_bool_secure()`:`AUTH_ENABLED`/`DASHBOARD_AUTH_ENABLED` 值非法时 **fail-closed 返回 True**。
|
||||
- `main.py`
|
||||
- CORS 中间件仅在 `CORS_ORIGINS` 非空时挂载;显式 `*` 打告警。
|
||||
- 新增 `reject_untrusted_origins` 中间件(最外层):带 `Origin` 且既非同源(Host / X-Forwarded-Host)
|
||||
也不在 `CORS_ORIGINS` 的请求(含预检、`Origin: null`)直接 403。**决策**:CORS 只挡读取,挡不住跨站
|
||||
简单 POST,所以服务端必须按 Origin 拒绝;无 Origin 的 curl/SDK 不受影响。
|
||||
- `_enforce_secure_startup_config()` 在 `lifespan` 开头和 `__main__` 调用,非回环监听且未同时启用
|
||||
API + 面板认证(含令牌)、或认证开关不是合法布尔值 → 抛 `InsecureStartupConfigError` 拒绝启动。
|
||||
逃生开关 `ALLOW_INSECURE_PUBLIC_BIND=true`。
|
||||
- `start.py`:启动器用 `importlib` 按路径加载纯标准库的 `http_security.py`(不导入 app 包),启动前同样检查,
|
||||
不通过直接 `return 2`(避免子进程拒绝→启动器 3 秒重启的死循环);handoff 代理模式下把公开地址通过
|
||||
`UWAPI_PUBLIC_BIND_HOST` 传给子进程(子进程自身只绑 127.0.0.1,否则检查会被绕过)。
|
||||
- `app/api/system.py`:保存 `.env` / 导入备份时复用 `startup_security_errors`,避免保存出一个起不来的配置。
|
||||
- `.env.example`:删掉重复的前 25 行;`APP_HOST=127.0.0.1`、`APP_DEBUG=false`、`AUTH_ENABLED=false`、
|
||||
`DASHBOARD_AUTH_ENABLED=`(沿用)、`CORS_ORIGINS=`、`PROXY_*` 关闭且无个人地址、`HELPER_API_KEY=` 空、
|
||||
`CMD_ALLOW_UNSAFE_PYTHON_COMMANDS=false`(与代码默认一致);删掉代码中完全未使用的 `NGROK_*`(含个人静态域名)。
|
||||
- `static/js/dashboard-schema.js`:`CORS_ORIGINS` 前端默认值 `*` → `''`(前端默认值会在 .env 缺键时写盘)。
|
||||
- README.md / README.en.md:同步 `APP_HOST` / `CORS_ORIGINS` 说明。
|
||||
- 已知影响:`workflow-editor-inject.js` 的跨源直连 fetch 本来就走不通(端口写死 9099 且跨源时
|
||||
`shouldPreferBridgeMode()` 恒为真 → 走 CDP 桥),因此 CORS 默认收紧不影响可视化编辑器。
|
||||
- 验证:p1 测试增至 24 项(Origin 判定矩阵 10 例、主应用跨源 GET/POST/预检均 403 且无 ACAO、占位符 fail-closed、
|
||||
启动检查矩阵、lifespan 拒绝含 handoff 场景、启动器可独立加载检查模块、模板无重复键/无示例秘密/可直接通过检查)。
|
||||
全量 548 passed / 73 failed(基线同集合)。
|
||||
|
||||
### S8 SVG 同源活动内容 + S9 音视频 HTML 落盘 ✅(同一链路,同一提交)
|
||||
|
||||
- 新增 `app/utils/media_safety.py`(单一事实源):图片/音频/视频 MIME→扩展名白名单、
|
||||
`choose_media_extension(kind, content_type, url)`(活动 MIME 拒绝 → 映射 → 仅采纳同类白名单 URL 后缀 → 类别默认;
|
||||
MIME 大类与 kind 不符也拒绝)、`looks_like_active_content()`(文件头以 `<` 开头 / UTF-16 BOM 即判活动内容)、
|
||||
`resolve_media_delivery()`(出口:非白名单扩展名 → `application/octet-stream` + `attachment`)、
|
||||
`safe_media_response_headers()`(`nosniff` + `sandbox; default-src 'none'; img-src/media-src 'self'` CSP)。
|
||||
- `app/core/browser/media.py`:
|
||||
- 音视频 `_persist_remote_media_urls_to_local`:扩展名不再取 `urlparse(url).path` 后缀(S9 根因),
|
||||
首个 chunk 写盘前嗅探,命中抛 `unsafe_media_content` 走原有清理分支(删半截文件、保留远程链接)。
|
||||
- 前台图片回退:删掉 `"image/svg+xml": ".svg"`(S8 根因),`is_active_content_mime` 拦截,
|
||||
内容嗅探为标记语言时不落盘、继续走截图回退。
|
||||
- data URI:`image/svg+xml`/`text/html` 等 MIME 或内容嗅探命中 → 不落盘(保留原 data_uri)。
|
||||
- `app/core/extractors/media_extractor.py`:网络音频捕获落盘前同样嗅探。
|
||||
- `main.py`:`/media/{filename}` 走 `resolve_media_delivery` + 加固头;`/download_images` 改挂
|
||||
`HardenedMediaStaticFiles`(覆写 `file_response`)。**出口加固必要**:目录里可能已有旧版落盘的 .svg/.html。
|
||||
**决策**:不加 `Cross-Origin-Resource-Policy`——跨站聊天前端(如 localhost:8000)需要 `<img>` 引用这些链接。
|
||||
- `background_image_downloader.py` 未改(本来就拒绝 SVG 且有魔数校验,属报告「不要误报」项)。
|
||||
- 验证:p1 测试增至 43 项(白名单矩阵 9 例、嗅探、`video/custom`+`clip.html`+HTML 不落盘且无残留、
|
||||
真实 mp4 带 .html 后缀落盘为 .mp4、SVG data URI 与谎报 png 的 SVG 均不落盘、遗留 .svg/.html 经 ASGI
|
||||
取回为 octet-stream+attachment+nosniff+sandbox、png 仍 inline)。全量 567 passed / 73 failed(基线同集合)。
|
||||
|
||||
### S12 默认响应调试抓取 ✅(第一批完成)
|
||||
|
||||
- `config/browser_config.json`:`NETWORK_DEBUG_CAPTURE_ENABLED` 出厂 `true` → `false`;新增 `NETWORK_DEBUG_CAPTURE_RETENTION_HOURS: 24`。
|
||||
- `app/core/network_monitor.py`:
|
||||
- `_is_network_debug_capture_enabled()` 改严格布尔(旧 `bool("false") == True`);只接受 true/1/yes/on,其余一律关闭。
|
||||
- 首次判定为开启时打一次 WARNING,提示快照含聊天内容、用完关闭并清理。
|
||||
- `trim_network_parser_debug_dir()` 新增 `max_age_seconds`(默认读保留期配置):启动时和每次写入后删除过期快照
|
||||
(仍排除当前活跃文件),再按容量清理。**决策**:没有尝试更强的正文脱敏——解析器调试本来就需要原始正文,
|
||||
改为「默认关 + 醒目告警 + 限期自动删除」来控制暴露面。
|
||||
- `browser_constants.py` / `system.py` 默认值 & `dashboard-schema.js`:补齐保留期配置项;开关说明加隐私警告。
|
||||
- 验证:p1 测试 58 项(受跟踪配置为 false、严格布尔 13 例含 `"false"`/`"garbage"`、保留期删除过期但保留活跃文件)。
|
||||
|
||||
### B8 命令配置损坏清空运行缓存 ✅
|
||||
|
||||
- `app/services/command_engine.py`:`_read_commands_file()` 返回 `Optional[List]`——JSON 损坏/结构不是 list/IO 异常 → `None`;
|
||||
文件不存在或合法空列表 → `[]`。`_refresh_commands_if_changed()` 遇 `None`:保留 last-known-good、**不推进** `_commands_mtime`、
|
||||
不做 run_js_file 清理;记录 `_commands_failed_mtime`,同一损坏 mtime 不再重复读取/刷日志;文件修好(mtime 变化)自动重载。
|
||||
首次加载即失败时以空配置运行(无 last-known-good 可用)。`_save_commands` 成功时清除失败标记。
|
||||
- `command_engine_storage.py` 是未被继承的死代码(H13,P3),**未改**。
|
||||
- 验证:`tests/test_review_fixes_p2.py::test_b8_*`(损坏 JSON/错误结构均保留旧命令且无清理动作、同一损坏文件不重复读、
|
||||
修复后切换并产生清理动作(对照)、合法空配置仍会清空)。该用例在修复前代码上失败(已 stash 验证)。
|
||||
|
||||
### B5 解冻失败仍交付标签页 ✅
|
||||
|
||||
- `app/core/tab_pool_parts/idle_maintenance.py::resume_if_frozen`:CDP `Page.setWebLifecycleState=active` 失败时**不再**
|
||||
在 `finally` 清除 `_uwapi_frozen`,改记 `_uwapi_resume_failed_at`;成功时才清冻结标志并清零失败时间。
|
||||
- `app/core/tab_pool_parts/session.py`:
|
||||
- `_resume_after_acquire()` 返回「是否可交付」(调用后仍冻结 → False)。
|
||||
- `acquire()` / `acquire_for_command()`:解冻失败 → `_rollback_failed_acquire()` 退回 IDLE、清 task、请求模式回退
|
||||
`request_count`,返回 False(manager 会去试下一个会话)。
|
||||
- 解冻失败后 10s 冷却期(`_RESUME_FAILURE_BACKOFF_SEC`)内 acquire 直接跳过,避免每次卡 2s CDP 超时。
|
||||
- **决策**:没有把会话标成 ERROR——冻结失败多为瞬时 CDP 问题,冷却后重试即可;真正死掉的标签页由既有健康检查处理。
|
||||
- 验证:p2 新增 3 项(假 CDP 抛错 → acquire False/IDLE/计数不变/保留冻结;冷却期内不发 CDP;恢复后可交付;
|
||||
命令模式不动 request_count;未冻结会话不发 CDP)。
|
||||
|
||||
### B2 旧版顶层数组历史恢复丢失 ✅
|
||||
|
||||
- `app/services/request_manager.py::_load_history`:先 `isinstance(data, list)` / `dict` 分支再取 `records`
|
||||
(旧代码 `data.get(...)` 对 list 抛 AttributeError,被外层 except 吞掉 → 恢复 0 条)。
|
||||
顺带修掉 `max_records<=0` 时 `lst[-0:]` 返回整个列表的陷阱。
|
||||
- 验证:p2 新增 2 项(顶层数组 + 混入非 dict 项恢复 2 条且 token 统计回填;对象格式不变;上限 0 时清空)。
|
||||
|
||||
### B1 搜索引擎主域被自动发现 ✅(基线 9 个失败转绿)
|
||||
|
||||
- `config/site_rules.json`:为 google.com / google.co.jp / google.co.uk / google.com.hk / accounts.google.com / bing.com /
|
||||
cn.bing.com / baidu.com / duckduckgo.com / search.yahoo.com / yandex.com / yandex.ru / sogou.com / so.com /
|
||||
search.brave.com / naver.com 加 `"auto_discovery": false`(规则按**精确主机**匹配,www 前缀已有别名处理)。
|
||||
- `app/utils/site_discovery.py`:内置整串精确匹配的兜底模式(`google.<cc>` / `google.co(m).<cc>`、`<cc>.bing.com`、
|
||||
`yandex.<cc>`),覆盖 JSON 里不可能穷举的各国主域;site_rules.json 显式值(含 true)优先。
|
||||
gemini.google.com、aistudio.google.com、`google.com.attacker.org` 不受影响。
|
||||
- 验证:`tests/test_site_discovery.py` 36/36 通过(原 9 个失败转绿);p2 新增 12 项。
|
||||
- **基线更新**:失败数 73 → 64(剩余 64 个全部属 T1 fixture 缺失);`/tmp/baseline_failures.txt` 已同步为 64 项。
|
||||
|
||||
### B3 Responses 内存历史无字节预算 ✅
|
||||
|
||||
- `app/api/chat.py`:
|
||||
- 新增 `RESPONSES_STATE_MAX_ENTRY_MB`(默认 8)/ `RESPONSES_STATE_MAX_TOTAL_MB`(默认 64)环境变量,非法值回落默认。
|
||||
- 条目改为 `(stored_at, serialized|None, owner, nbytes)`,维护 `_responses_state_total_bytes`;prune 在条数上限之外再按总字节 LRU 淘汰。
|
||||
- 单条超限:不存储正文,只留墓碑;续接时返回 **413** 并提示“在 input 中携带完整上下文”(原来是静默吃内存)。
|
||||
- 主体隔离:`_responses_principal_from_request` 取 Bearer / X-API-Key 的 SHA-256 指纹;续接时主体不一致一律 404(不泄露 ID 是否存在)。无令牌时为空串,匿名调用共享命名空间(兼容认证关闭的本机场景)。
|
||||
- store 语义保持与 OpenAI 一致:`store` 未给出 = 存储,`store:false` = 不存储。
|
||||
- 测试:p2 新增 4 项(超限 413、总量 LRU + 字节计数一致、跨主体 404、store:false)。全量无新增失败(64 基线)。
|
||||
|
||||
### S11 DNS 校验后连接重解析 ✅
|
||||
|
||||
- `app/utils/remote_resource.py`:
|
||||
- `_validate_fetch_target` 返回 `(url, 已校验地址)`;`_validate_fetch_remote_url` 保留为薄包装。
|
||||
- DNS pinning:给 `urllib3.util.connection.create_connection` 包一层(只装一次),它只查**本线程**登记的 `host → 已校验 IP`。
|
||||
`get_public_remote_resource` 每一跳(含重定向后的重新校验)都用 `_pinned_dns(url, addresses)` 包住 `requests.get`。
|
||||
TCP 连接直接打到校验过的 IP;`HTTPConnection.host` 不变,因此 SNI、证书校验、Host 头都保持原主机名。
|
||||
未登记的主机(其他代码路径、HTTP(S)_PROXY 代理主机)原样放行,代理场景交给可信出网代理解析。
|
||||
- 选这个方案而不是自定义 Session/Adapter,是因为现有测试(以及调用方)都在 monkeypatch `remote_resource.requests.get`,这样保持兼容。
|
||||
- 测试:p2 新增 2 项,用本地 HTTP 服务:
|
||||
- 校验返回 127.0.0.1、主机名是 `.invalid`(系统 DNS 解析不了)→ 请求成功,Host 头是原主机名。用 stash 验证过:旧代码下这项失败。
|
||||
- pin 只在调用期间有效,退出后同一 URL 连接失败。
|
||||
|
||||
### S10 图片比对 / C2PA 直取外部 URL ✅
|
||||
|
||||
- `app/utils/image_validation.py`(`arena_gpt_image_command` 的 C2PA 检测也经由这里的 `read_image_bytes`):
|
||||
- 不再裸调 `requests.get`,改用 `get_public_remote_resource`:逐跳私网/重定向校验,加上 S11 的 DNS pinning;Referer 只发往图片原始 origin。
|
||||
- 流式读取,上限 `MAX_VALIDATION_IMAGE_BYTES`=20MiB。Content-Length 超限时不读 body,读取中途超限就中止并 close。
|
||||
- `UnsafeRemoteResourceError` 直接返回空,**不再退回浏览器 fetch**(否则等于绕过同一道校验)。浏览器 fetch 兜底(blob: 或普通网络错误时)也加了字节上限,JS 端和 Python 端都查。
|
||||
- data URI(生成图片及上传参考图)先按 base64 长度预估大小,超预算就不解码。
|
||||
- `image_signatures` 解码前检查头部尺寸(40MP / 边长 16384),超限只保留字节 sha256,不做像素或 dHash 计算,防解压炸弹。
|
||||
- 测试:p2 新增 4 项(私网 URL 被拒且无浏览器兜底、流式字节上限、声明超限不读 body、data URI 与像素预算)。
|
||||
|
||||
### S4 回环 IP 当作授权 + S5 定时重启代理容量/协议 ✅(同一提交,共用 handoff 代理的设计)
|
||||
|
||||
**S4**
|
||||
- `app/api/browser_routes.py::open-profile-url`:原来只看 `request.client.host` 是不是回环,现在改为 `verify_open_profile_url_auth`:
|
||||
- 控制面板认证已启用、且请求带了 Authorization:按管理令牌校验,错误令牌返回 401。
|
||||
- 其他情况只接受 `is_trusted_local_request`,即直接回环且没有任何反代/隧道转发头;经 handoff 代理时以代理注入的真实地址为准。
|
||||
- 都不满足:认证已启用返回 401,未启用返回 403。
|
||||
- 决策:**没有**直接换成 `verify_sensitive_admin_auth`。Link Drawer(外部客户端)不保存面板密钥,改成必须带令牌会让本机功能直接失效;而严格的本机判定已经覆盖了报告里的反代/隧道场景。
|
||||
- 目标 URL 限制:拒绝带 userinfo 的链接、localhost / *.localhost,以及非全局 IP 字面量(127/10/192.168/::1 等),返回 400。
|
||||
- `app/core/http_security.py::is_trusted_local_request`:经 handoff 代理的请求也要检查转发头。代理前面若还有 nginx/隧道,真实来源在 X-Forwarded-For 里,不能因为代理报告的对端是 127.0.0.1 就放行。
|
||||
- `start.py`:`UWAPI_PROXY_SECRET` 每次启动用 `secrets.token_urlsafe(32)` 生成,只注入子进程环境。子进程环境先 pop 掉继承来的旧值;不走代理时子进程没有这个密钥。
|
||||
|
||||
**S5**(`start.py::_RestartHandoffProxy / Handler`)
|
||||
- 连接预算:`RESTART_PROXY_MAX_CONNECTIONS`(默认 64)个非阻塞信号量,超额直接回 503。
|
||||
- 缓冲预算:`RESTART_PROXY_MAX_BUFFER_MB`(默认 256)全局字节账本。每个连接按实际缓冲量逐步预占(Content-Length 请求一次性按声明大小预占),超额回 503,finally 中释放。
|
||||
- 单请求上限仍为 64MiB(超出回 413)。请求头上限 64KiB(超出回 431),原来请求头最多可达 64MB。读请求有 60s 端到端时限(超时回 408),原来是每次 recv 60s。
|
||||
- 协议处理:
|
||||
- chunked 请求体完整读取并原样转发,支持 chunk 扩展和 trailer。
|
||||
- `Transfer-Encoding` 最后一项不是 chunked 时回 501。
|
||||
- CL 与 TE 同时出现、CL 非数字、多个 CL 不一致,都回 400(防请求走私)。
|
||||
- `Expect: 100-continue` 由代理自己回 100 并剥离 Expect 头;其他 Expect 值回 417。
|
||||
- 丢弃管线化的多余字节。出错时回明确的 HTTP 状态,而不是静默断开。
|
||||
- 请求头改写:剥离 Connection/Keep-Alive/Proxy-Connection/Expect 以及**所有客户端送来的 `X-UWA-*`**,再注入 `X-UWA-Client-Addr`(真实对端地址)和 `X-UWA-Proxy-Secret`。外部转发头原样保留,交给后端判定。
|
||||
- 测试:p2 新增 7 项:
|
||||
- 3 项 ASGI:隧道/远程被拒;handoff 地址可信、伪造密钥或前置 nginx 被拒;令牌和目标 URL 限制。
|
||||
- 4 项起真实代理加假后端:剥离并注入请求头;chunked 与 Expect;走私/超限/预算返回 400/501/413/503/431,且后端零请求、账本归零;连接预算 503 以及释放后恢复。
|
||||
|
||||
### S6 媒体路由无认证与转码资源 ✅
|
||||
|
||||
- 新增 `app/utils/media_access.py`,这是纯逻辑模块:
|
||||
- `media_request_authorized` 负责鉴权判定。
|
||||
- `TranscodeGate` 提供全局并发名额 `slot()`,以及同键合并 `key()`,后者带引用计数,用完就清理。
|
||||
- 开关 `MEDIA_REQUIRE_AUTH` 的非法取值 fail-closed。
|
||||
- 鉴权决策:**默认不强制**,需要显式设置 `MEDIA_REQUIRE_AUTH=true` 才开启。
|
||||
- 原因:生成的 `/media`、`/download_images` 链接会原样写进 OpenAI 兼容响应,第三方聊天前端直接用 `<img src>` 渲染,不会带 Bearer 头。默认开启会破坏主流程。
|
||||
- 开启后接受以下三种之一:服务令牌(Bearer 或 X-API-Key)、面板令牌、严格本机直连。否则返回 401。
|
||||
- 实现方式是 `main.py` 里的 `guard_private_media` 中间件,同时覆盖 `/media` 路由和 `/download_images` 挂载。
|
||||
- 文件名仍是 `时间戳_uuid8`,熵偏低,这点已记下,没有改:改动面太大,放到 P3 讨论。
|
||||
- 转码(`main.py::_transcode_media`):
|
||||
- 先查缓存,然后检查源文件大小上限 `MEDIA_TRANSCODE_MAX_SOURCE_MB`(默认 200),超出返回 413。
|
||||
- 进入同键锁后再查一次缓存,所以同一文件的并发请求只跑一次 ffmpeg。
|
||||
- 全局名额 `MEDIA_TRANSCODE_MAX_CONCURRENCY`(默认 2),排队超过 `MEDIA_TRANSCODE_QUEUE_TIMEOUT_SEC`(默认 10)返回 503 + Retry-After。
|
||||
- ffmpeg 执行部分拆到 `_run_ffmpeg_transcode`,逻辑不变。
|
||||
- `.env.example` 为 B3/S5/S6 新增的环境变量补了说明(CRLF 保持不变)。
|
||||
- 测试:p2 新增 5 项:鉴权矩阵、真实 app 上的 401/200 切换、5 线程同键只跑 1 次 ffmpeg、全局满载返回 503、源文件超限返回 413。
|
||||
- 顺带修了 S5 的 Expect 测试:原先头和体一次性发出,代理已经收齐请求体就不会回 100(这是正确行为),导致测试偶发失败。现在改为按真实客户端的方式等收到 100 再发体。
|
||||
|
||||
### S3 解析器安装立即 import ✅
|
||||
|
||||
- `app/services/parser_manager.py`:
|
||||
- `install_parser_package` 默认关闭,只有 `PARSER_INSTALL_ENABLED=true` 时才允许安装,非法值视为关闭;关闭时抛 `PermissionError`,连解析包都不做。目前仓库里没有 HTTP 入口会调用它,这个开关是给将来接入口时准备的“可信管理员专用”闸门。
|
||||
- `check_import_time_side_effects(tree)` 做“导入期无副作用”静态约束:
|
||||
- 模块顶层和类体只允许以下内容:import、pass、docstring、函数和类定义、对名字的字面量赋值,以及末尾的 `if __name__ == "__main__"`。
|
||||
- 导入期会被求值的表达式(赋值右侧、默认参数、注解、基类)只能是字面量、名字/属性引用(禁止 `__dunder__`),或白名单纯函数调用:`re.compile`、`set`、`frozenset`、`tuple`、`list`、`dict`、`str.maketrans`、`get_logger`、`logging.getLogger`,且参数也必须满足同样条件。
|
||||
- 装饰器只允许 staticmethod、classmethod、property 及其访问器、abstractmethod、dataclass、cached_property。
|
||||
- 类不允许 metaclass 或关键字参数。
|
||||
- 仓库里现有的 18 个 `*_parser.py` 全部通过(有测试守护),因此不影响正常的解析器写法。
|
||||
- 目标类必须是模块顶层类(以前用 ast.walk,嵌套类也能匹配)。
|
||||
- `_load_parser_entry` 限制 parsers.json 里的 module 必须是 `app.core.parsers.<合法模块名>`,防止借配置导入任意模块。
|
||||
- 模块文档写明:这不是沙箱,解析器方法仍以服务进程权限运行。
|
||||
- 测试:p2 新增 11 项:
|
||||
- 8 种导入期执行写法全部被拒:os.system、`__import__`、默认参数调用、自定义装饰器、动态基类、try、推导式读文件、dunder 链。
|
||||
- 安全示例和全部内置解析器通过。
|
||||
- 默认关闭,非法开关值同样视为关闭。
|
||||
- 模块路径白名单。
|
||||
|
||||
### H12 网络事件 URL 正则回溯 ✅
|
||||
|
||||
- `app/services/command_engine_results.py::_matches_url_rule`:
|
||||
- 正则改用 `regex` 模块,timeout 设为 25ms。它已经是依赖,工作流的 `matches` 用的也是同一预算。
|
||||
- 超时按“不匹配”处理,并打 warning。
|
||||
- 模式上限 512 字符,超过就按关键词匹配;URL 最多取前 8192 字符参与匹配。
|
||||
- 无效正则时,通配回退也走同一个带预算的匹配器,其余语义不变。
|
||||
- 测试:p2 新增 2 项:
|
||||
- 灾难性模式 `(a+)+$`、`(a|aa)*c` 在 5000 字符 URL 上 1 秒内返回 False。用 stash 验证过:旧代码在 100 秒 timeout 内都没跑完。
|
||||
- 常规正则、忽略大小写、通配回退、关键词、超长模式的语义保持不变。
|
||||
|
||||
### H9 标签页等待队列无总量上限 ✅
|
||||
|
||||
- 现状核实:`acquire_async` 系列(32 线程 executor)在应用里**没有调用方**。真正的请求路径是 `workflow.py` 在请求线程里同步调用 `tab_pool.acquire*(timeout=60)`,每个等待者都挂进 `_acquire_waiters / _index_waiters / _route_waiters / _group_waiters` 队列,最长 60 秒,总数没有上限。
|
||||
- `app/core/tab_pool_parts/manager.py`:
|
||||
- 新增 `TAB_ACQUIRE_MAX_WAITERS`(默认 128,0 表示不限)。`_acquire_queue_full` 统计四类队列的总长度。
|
||||
- 5 个 acquire 路径在挂入队列**之前**检查,满了立即返回 None,不创建空 deque,也不占位。同时把该 task 记进 `_queue_full_rejections`(有界 256)。
|
||||
- `consume_queue_full_rejection(task_id)` 查询后即清除该记录。
|
||||
- `app/core/browser/workflow.py`:5 处 `session is None` 分支先判断是否因队列已满被拒。是的话返回 `capacity_error / tab_queue_full / status_code=503 / retryable=true`,不再误报成“标签页不存在”(404 类)或无状态的繁忙提示。
|
||||
- `.env.example` 加了说明。
|
||||
- 测试:p2 新增 3 项:队列满时三种 acquire 都在 1 秒内拒绝且不挂队、查询即清除;limit=0 不限;工作流错误负载经 `resolve_error_metadata` 解析为 503。
|
||||
|
||||
### T1 干净克隆测试资源不全 ✅(全量:64 failed → 0 failed)
|
||||
|
||||
- 缺失原因:这些资源在历史上都被作者**有意取消跟踪**:
|
||||
- `config/commands.json` 在 cafad7f 删除,之后成为运行时生成的文件。
|
||||
- `custom_scripts/examples/arena_payload_interceptor.js` 和 `js/arena-conversation-image-window.user.js` 在 3cd68aa 删除,`custom_scripts/` 被 gitignore。
|
||||
- 历史版本的 commands.json 已经过时:拿来运行,57 项里仍有 14 项失败,不能作为 fixture 恢复。
|
||||
- 结论:不恢复这些文件,改为“标记为需要本地环境的测试”。
|
||||
- 新增 `tests/conftest.py`(`.gitignore` 加入白名单 `!tests/conftest.py`):
|
||||
- 静态识别依赖本地资源的测试,依据以下几类写法:
|
||||
- 测试函数本身出现资源路径写法。
|
||||
- 调用了同模块里用到这些资源的辅助函数/方法(按不动点传递)。
|
||||
- unittest 的 `setUp/setUpClass` 读取资源后存进 `self.X`,而测试方法用到了 `self.X`。
|
||||
- 资源写法是收紧过的:
|
||||
- `COMMANDS_PATH`、`"config" / "commands.json"`、`"config" / "commands.local.json"`。
|
||||
- `examples/arena_payload_interceptor.js`、`== "arena_payload_interceptor.js"`。
|
||||
- `arena-conversation-image-window`。
|
||||
- 自建的 `tmp_path / "commands.json"` 以及只检查字符串的测试都不会误判。
|
||||
- 识别出的测试统一打上 `local_fixture` 标记,CI 可以用 `-m "not local_fixture"` 只跑纯逻辑子集。
|
||||
- 资源缺失时 skip,并写明缺什么;资源齐全时照常运行。用历史 commands.json 验证过:放回去后这些测试确实会执行。
|
||||
- `tests/test_arena_direct_models.py::test_collect_model_entries_respects_tab_preset_isolation`:
|
||||
- 原来依赖未跟踪的 `config/arena_model_catalog.local.json`。
|
||||
- 改为在测试内 monkeypatch 目录数据,现在自足并通过(它是纯逻辑测试,不该依赖本地环境)。
|
||||
- 结果:
|
||||
- `/tmp/runtests.sh`:648 passed, 63 skipped, 0 failed。
|
||||
- `-m "not local_fixture"`:648 passed, 63 deselected。
|
||||
- 对比修改前:原先通过的 647 项全部仍通过,另有 1 项转为通过;其余 63 项从失败变为跳过。
|
||||
- `/tmp/baseline_failures.txt` 已清空,此后任何失败都算新增。
|
||||
|
||||
### 融合 main 分支亮点(S2 / S4 / S6)✅
|
||||
|
||||
- **S2 信任边界与启动防御**:引入 `docs/SECURITY-TRUST-BOUNDARIES.md` 明确项目安全与沙箱边界;在 `app/core/http_security.py` 中增加启动自检,禁止对外绑定(非回环 APP_HOST)时同时开启 `CMD_ALLOW_UNSAFE_PYTHON_COMMANDS` 或 `PARSER_INSTALL_ENABLED`。
|
||||
- **S4 云元数据域名黑名单**:在 `app/api/browser_routes.py` 的 `_valid_web_url` 中补充 `_METADATA_HOSTS`(`metadata.google.internal`、`instance-data` 等)与内部后缀(`.local`、`.internal`、`.lan`、`.home.arpa`),防止云端元数据通过域名绕过。
|
||||
- **S6 媒体访问 `?token=` 支持**:在 `app/utils/media_access.py` 与 `main.py` 中补充对 URL 查询参数 `?token=` 的凭据提取,兼容第三方聊天客户端中无法自定义 Header 的 `<img src>` 标签。
|
||||
- **单测隔离加固**:在 `tests/test_review_fixes_p1.py` 中对 CORS 拦截测试增加了 monkeypatch 隔离,防止本地真实 `.env` 干扰测试结果。全量 118 项修复回归测试 100% 通过。
|
||||
|
||||
### B6 非有限数值配置 OverflowError ✅(P3)
|
||||
|
||||
- `app/core/tab_pool_parts/idle_maintenance.py::_env_float`:`math.isfinite` 校验,inf/-inf/nan/1e400 → 警告并用默认值(禁用仍用 0);
|
||||
新增 `_env_int` 包装,`BROWSER_CDP_RECYCLE_AFTER_REQUESTS` / `_DOM_NODES` 改用它。
|
||||
- 测试:新建 `tests/test_review_fixes_p3.py`,B6 共 6 项。
|
||||
|
||||
### B7 脚本热加载同 mtime 替换返回旧脚本 ✅(P3)
|
||||
|
||||
- `app/core/workflow/script_loader.py::load_script_content`:缓存签名由浮点 `st_mtime` 改为
|
||||
`(st_mtime_ns, st_ctime_ns, st_size, st_ino)`(原子替换会换 inode、原地改写会动 ctime/size);
|
||||
另外 mtime 距今 < 2s 的文件不信任缓存直接重读(racy-git 做法,应对粗粒度时间戳文件系统)。
|
||||
- 测试:p3 新增 3 项(同 mtime 不同长度、同 mtime 同长度原子替换、未变化命中缓存);旧代码下前两项失败(stash 验证)。
|
||||
|
||||
### B4 n>1 静默降级 ✅(P3)
|
||||
|
||||
- 决策:**拒绝**而非实现(网页端一次只生成一个回复,实现 n>1 需并发占多个标签页,代价高且结果不同源)。
|
||||
- `app/api/chat.py::ChatRequest` 新增 `validate_n`:`n>1` → ValidationError「仅支持 n=1…」,经 main.py 现有
|
||||
RequestValidationError 处理器返回 **422 + OpenAI 风格 `invalid_request_error`**(与其他参数校验失败一致);n 缺省/1/null 行为不变。
|
||||
- 测试:p3 新增 2 项(模型层 + ASGI 端到端)。
|
||||
|
||||
### H7 F821 缺失 Optional/Any 导入 ✅(P3)
|
||||
|
||||
- `start.py` 补 `from typing import Any, Optional`;`app/utils/model_routing.py` 补 `Optional`。
|
||||
(两文件均有 `from __future__ import annotations`,运行时不崩,但 `typing.get_type_hints` / 工具链会 NameError。)
|
||||
- `pyflakes app main.py start.py` 的 undefined name 清零。测试:p3 新增 1 项(get_type_hints 遍历两模块函数;旧代码失败)。
|
||||
|
||||
### H8 chat.py 重复 Arena 辅助函数 ✅(P3)
|
||||
|
||||
- 删除 `app/api/chat.py` 前一组 6 个被后文覆盖、从未生效的定义(`_is_arena_prompt_rejection` 等),保留实际生效的后一组 → **运行时行为零变化**。
|
||||
顺带去掉后一组里与模块级导入重复的 `ARENA_PROMPT_REJECTED_CODE` 局部导入(同一对象,已验证)。模块级兼容别名导入保留。
|
||||
- pyflakes 的 redefinition 告警从 6+1 降为仅剩与本项无关的局部 `import copy`。测试:p3 新增 1 项(AST 确认各只定义一次)。
|
||||
|
||||
### H10 stream_monitor 重复方法 ✅(P3)
|
||||
|
||||
- `app/core/stream_monitor.py`:删除 `StreamMonitor` 中被后文覆盖的前一版 `_is_arena_page`(子串匹配,`notarena.ai.evil` 也会命中)
|
||||
与内联 JS 版 `_arena_native_stop_present`;保留实际生效的后一版(`is_arena_page_url` 严格主机匹配 / `is_visible_arena_stop`)→ 行为不变。
|
||||
(`_arena_image_guard` 的两处是 property + setter,属正常写法,未动。)
|
||||
- 测试:p3 新增 5 项(AST 唯一性 + 严格 URL 匹配参数化)。
|
||||
|
||||
### H13 未使用的 command_engine_storage mixin ✅(P3)
|
||||
|
||||
- `git grep` 确认 `app/services/command_engine_storage.py`(`CommandEngineStorageMixin`)在代码、打包脚本、文档中均无引用,
|
||||
`CommandEngine` 自带全部同名方法 → 直接删除,避免有人修补错文件。
|
||||
- 测试:p3 新增 1 项(文件不存在 + CommandEngine 仍有 CRUD 方法)。
|
||||
|
||||
### T2 requirements-dev 缺 httpx ✅(P3)
|
||||
|
||||
- `requirements-dev.txt` 增加 `httpx>=0.27,<1`(TestClient/ASGITransport 所需;当前环境 0.28.1)。
|
||||
pytest-asyncio 经核实没有测试使用 `pytest.mark.asyncio`,不加。测试:p3 新增 1 项。
|
||||
|
||||
### S14 教程页 innerHTML 注入 ✅(P3)
|
||||
|
||||
- `static/tutorial/index.html`:新增 `escHtml`;搜索结果(含**用户输入的查询词**回显、章节标题/分组/小节摘要、href)
|
||||
与 TOC(h3 文本/id)拼 innerHTML 前全部转义。NAV/SITES 为页内常量,未改。
|
||||
- 校验:抽取内联脚本 `node --check` 通过;escHtml 对 `<img onerror>` 等输出正确。测试:p3 新增 1 项(源码断言)。
|
||||
|
||||
### S7 公开健康/引导接口信息暴露 ✅(P3)
|
||||
|
||||
- 新增 `app/utils/diagnostics_access.py`:特权调用者 = 严格本机直连(复用 S4 `is_trusted_local_request`,有转发头即不算本机)
|
||||
或携带有效 `AUTH_TOKEN` / `DASHBOARD_AUTH_TOKEN`(Bearer / X-API-Key)。**不强制令牌**(遵照用户要求)。
|
||||
- `GET /health`:非特权 → 最小响应 `{service, browser:{connected}, config:{auth_enabled, dashboard_auth_enabled}, detail:"restricted", timestamp}`,
|
||||
只读连接标志、**不调用 `browser.health_check()`**(避免匿名请求触发浏览器连接);200/503 语义保留,探活脚本不受影响;
|
||||
控制面板登录前需要的 `dashboard_auth_enabled` 保留。错误令牌也只是降级为最小响应,不返回 401。特权 → 原详细响应。
|
||||
- `GET /api/startup/controlled-browser-guide-data`:非特权 → 403;引导页/教程页前端本身在失败时回落内置默认站点列表。
|
||||
- README 接口表注明行为。测试:p3 新增 9 项(远程匿名最小且不连浏览器、503 保留、本机详情、本机+转发头视为远程、三种令牌、错误令牌不 401、引导数据)。
|
||||
|
||||
### H14 站点/完整备份导入无大小上限 ✅(P3)
|
||||
|
||||
- `static/js/dashboard-methods.js`:新增 `SITE_CONFIG_IMPORT_MAX_BYTES = 8 MiB`、`SETTINGS_BACKUP_IMPORT_MAX_BYTES = 32 MiB`
|
||||
与 `importFileSizeError()`;`handleImportFile` / `handleSettingsBackupImportFile` 在 `FileReader` 读取前检查 `file.size`,
|
||||
超限给出中文提示并重置 input;顺带补 `reader.onerror` 提示。(当前 `config/` 全量约 400KB,上限余量充足。)
|
||||
- 校验:`node --check` 通过。测试:p3 新增 2 项(源码顺序断言 + node 执行 helper)。
|
||||
|
||||
### H2 README 版本号/更新日志链接过期 ✅(P3)
|
||||
|
||||
- `README.md` / `README.zh-CN.md` / `README.en.md`:版本 2.9.8 → 3.0.0(与 `VERSION` 一致);已被作者删除的
|
||||
`CHANGELOG_CURRENT.md` 链接改指向仓库中实际存在的 `CHANGELOG-3.0.0.md`(en 版升级说明一处同改)。
|
||||
- 测试:p3 新增 3 项(三份 README 的版本号 == VERSION,且所有 `](./xxx)` 相对链接目标存在)——以后发版忘改 README 会被测试拦下。
|
||||
|
||||
### H3 .gitignore 清理 ✅(P3)
|
||||
|
||||
- `config/marketplace_cache.json`:被忽略却仍被跟踪;全仓库已无任何代码引用 marketplace(功能已下线)→ `git rm --cached` 取消跟踪(本地文件保留,规则保留)。
|
||||
- scripts 规则:原先 `scripts/`(未锚定)+ `scripts/arena_models_cache.json` + `scripts/custom/` + `!/scripts/` `/scripts/*` 重叠,
|
||||
合并为 `/scripts/*` + 两个随仓库发布脚本的白名单(仓库里只有根目录一个 scripts/,语义不变)。
|
||||
- tests 白名单:散落 8 处的 `!tests/...` 合并为一个按字母排序的块;删去 4 个从不存在/已删除的条目
|
||||
(hard_stop_page_lock、attachment_evidence_regressions、proxy_api_cancellation、proxy_disconnect_regressions,origin/main 也没有)。
|
||||
- 校验:`git ls-files -ci --exclude-standard` 为空;check-ignore 抽查本地脚本/本地测试仍被忽略、发布文件不被忽略。
|
||||
- 测试:p3 新增 2 项(无「已跟踪却被忽略」文件;白名单条目都存在)。
|
||||
- ⚠️ 与 main 合并时 `.gitignore` 若冲突,以本分支结构为准,再把 main 新增的条目并入白名单块即可。
|
||||
|
||||
### H11 browser_config.json 含个人 Arena 会话 URL ✅(P3)
|
||||
|
||||
- `config/browser_config.json`(随仓库/更新包分发,更新器默认不保留它)的 `tab_pool.excluded_urls` 里有 121 条、
|
||||
`tab_pool.route_groups` 5 组共 25 个成员都是作者本人的 `https://arena.ai/c/<uuid>` 会话。
|
||||
→ `excluded_urls` 只保留通用的 `https://arena.ai/image/direct`,`route_groups` 置为 `[]`(空列表即功能默认值;
|
||||
用占位 URL 反而会被当成真实路由去打开,所以不用占位符)。其余键不动,JSON 按原格式(indent=2、ensure_ascii=False)写回,diff 只涉及这两个键。
|
||||
- ⚠️ 维护者若本地正在用这些分组:旧值可用 `git show 9ab1b11:config/browser_config.json` 找回,建议之后放在本地、不再提交。
|
||||
- 测试:p3 新增 1 项(分发配置不含 `/c/<uuid>` 会话 URL,route_groups 为空)。
|
||||
|
||||
### H5 图片重复 / logo.svg 过大 ✅(P3)
|
||||
|
||||
- 删除 `assets/tutorial-dashboard-overview.png`、`assets/workflow-visualization.png`:与 `static/` 下同名文件字节完全相同(sha1 一致),
|
||||
且全仓库只引用 `static/` 版本(教程页、update_preserve)。`assets/` 其余两张图保留。
|
||||
- `static/images/logo.svg`(VTracer 描摹,1407 条 path)无损压缩 **792,262 → 525,032 字节(-34%,gzip 289KB → 192KB)**:
|
||||
scour(4 位有效数字、去 XML 声明/注释)+ 去掉 no-op `translate(0)` + 把 1373 个 `translate(x,y)` 烘焙进路径起点
|
||||
(起点 `m` 改 `M` 后补 `l` 保持后续隐式坐标为相对)。保留 `width/height=640`,未加 viewBox(不改变现有缩放行为)。
|
||||
- 视觉校验:cairosvg 在 640/128/32 px 渲染逐像素对比,平均差 ≤0.38/255、最大 9/255(抗锯齿级);ImageMagick 渲染 PSNR 同样极高。
|
||||
PNG 用 Pillow 无损重编码只省 3~5%,不值得改动二进制历史,未做。临时文件已删除。
|
||||
- 测试:p3 新增 1 项(已跟踪图片无字节重复;logo < 600KB 且尺寸属性不变)。
|
||||
|
||||
### H6 依赖升级计划 ✅(P3,仅计划)
|
||||
|
||||
- 新增 `docs/review/DEPENDENCY_UPGRADE_PLAN.md`:现状表、三条 Starlette CVE 适用性核对(当前 0.36.3 均不适用;
|
||||
**升级时下限必须 ≥0.49.1** 以避开 CVE-2025-62727 的 0.39–0.49.0 区间)、分阶段步骤(先 lock 再升级)、人工冒烟清单、回退。
|
||||
- 实测:临时 venv 装 fastapi 0.141.1 / starlette 1.7.0 / uvicorn 0.54.0 跑非浏览器测试:686 通过 / 63 跳过 / 1 失败;
|
||||
失败原因是新版 Starlette 不再把发送异常包进 ExceptionGroup,清理断言都成立。
|
||||
→ 放宽 `tests/test_cancel_storm_regressions.py` 的异常类型断言为 `(BaseExceptionGroup, OSError)`,新旧版都能通过。临时 venv 已删除。
|
||||
- `requirements.txt` 未改动(按计划分阶段做)。
|
||||
|
||||
### H4 换行符统一 ⏸(P3,等待用户决定)
|
||||
|
||||
- 现状(`git ls-files --eol`):242 LF / 39 CRLF / 40 混合 / 9 二进制;无 `.gitattributes`。
|
||||
- 风险:若现在整文件规范化(`.gitattributes` + `git add --renormalize .`),会改动约 79 个文件的每一行,
|
||||
其中大部分 origin/main 也在改 → 合并时大面积冲突。单加 `* text=auto` 而不重新规范化,又会让这些文件在所有人的工作区里显示为「已修改」。
|
||||
- 所以 P3 其余 16 项已全部完成,H4 暂停,请用户选择执行时机/方式。
|
||||
|
||||
Reference in new issue
Block a user