FinDataHub
d7d2a1e8ad
背景
- HEAD 长期停在 08-03 的安全审计提交，此后六周的工作全部只在工作区。
- 更严重的是部分源码从未进入过版本控制（非"改了没提交"）：
· Services/findatahub-core/ 索引 0 条 —— 18 个核心模块（pipeline/gate/cleaner/
db/cross_validator/health/retry…）全新 clone 拿不到
· Services/findatahub-client/ 索引 0 条
· App/Sources 磁盘 74 个 .swift、索引 54 —— 20 个未入库（AutoRecoveryManager、
全套 Settings*Section、PowerSaver、MySQLOnDemandManager、DependencyScanner…）
一次 `git clean -fd`、误删目录或磁盘故障即可不可恢复地丢失这些文件。
本提交内容
1. 补齐上述未跟踪源码、测试、文档与报告（Services/App/Docs/Tests/根报告）。
2. 纳入 .workbuddy/memory（项目知识）与 .github CI 配置。
3. 本次代码与架构复查的修复（详见下一段说明）：
- Scripts/bin/common.py PidManager.status 改 split(":", 1)，修复时间戳被截断到整点
- Scripts/bin/db_pool.py 取连接加超时、归还前 rollback、失败归还池位、双检锁初始化
- Scripts/bin/newsflash_backend.py _query_all 改 try/finally 无条件归还连接
- Scripts/bin/newsflash_collect.py 新增 _install_crash_handlers（faulthandler + excepthook）
- tushare_fetcher/core/fetcher.py _fetch_static 增量走 upsert，仅全量快照才 replace
- tushare_fetcher/scripts/tushare_sync.sh 银层迁移补 stock_weekly/stock_monthly；
月度增加分红按报告期全量刷新
- kuaixun-service/extend/content_enricher.py 禁用自动重定向 + 逐跳 SSRF 校验
- App/.../AutoRecoveryManager.swift 反复故障改告警不熔断（避免拉长数据空窗）
- 新增 Scripts/bin/repair_dividend_history.py（分红历史修复，按报告期分页幂等 upsert）
- 新增 Docs/repro/*（两个可运行的缺陷复现脚本）
- 补齐 6 个文件共 20 条回归用例（均做过证伪：旧实现下必然失败）
安全
- 已确认未纳入任何凭据：Services/tushare_fetcher/.env 被其 .gitignore 覆盖；
~/.config/findatahub/env（0600）在仓库外。
验证
- Python 测试 1074 passed（Scripts/bin 207 / core 105 / tushare 174 / kuaixun 405 / akshare 183）
- Swift 经 `swift build --disable-sandbox` 编译通过，产物 v1.5.2 已部署
项目管理追踪
文件说明
TODO.md — 待办清单 + 完成记录
第 1-4 部分：13 项待办任务，按 P0-P3 优先级分类
第 5 部分（完成记录）：P1-P4 全部完成项明细
- P1：9 项数据质量修复（交叉验证、AKShare 修复、北交所重拉）
- P2：9 项预处理 Pipeline（7 步 + 门控 + 质量分 + 策略画像）
- P3：4 项 SDK/API（11 方法 + 14 端点）
- P4：4 项 AI 接入（Skills + MCP + FetchStep + 基类）
第 6 部分（架构重构）：7 项重构完成项（2026-08-09）