FinDataHub
d7d2a1e8ad
背景
- HEAD 长期停在 08-03 的安全审计提交，此后六周的工作全部只在工作区。
- 更严重的是部分源码从未进入过版本控制（非"改了没提交"）：
· Services/findatahub-core/ 索引 0 条 —— 18 个核心模块（pipeline/gate/cleaner/
db/cross_validator/health/retry…）全新 clone 拿不到
· Services/findatahub-client/ 索引 0 条
· App/Sources 磁盘 74 个 .swift、索引 54 —— 20 个未入库（AutoRecoveryManager、
全套 Settings*Section、PowerSaver、MySQLOnDemandManager、DependencyScanner…）
一次 `git clean -fd`、误删目录或磁盘故障即可不可恢复地丢失这些文件。
本提交内容
1. 补齐上述未跟踪源码、测试、文档与报告（Services/App/Docs/Tests/根报告）。
2. 纳入 .workbuddy/memory（项目知识）与 .github CI 配置。
3. 本次代码与架构复查的修复（详见下一段说明）：
- Scripts/bin/common.py PidManager.status 改 split(":", 1)，修复时间戳被截断到整点
- Scripts/bin/db_pool.py 取连接加超时、归还前 rollback、失败归还池位、双检锁初始化
- Scripts/bin/newsflash_backend.py _query_all 改 try/finally 无条件归还连接
- Scripts/bin/newsflash_collect.py 新增 _install_crash_handlers（faulthandler + excepthook）
- tushare_fetcher/core/fetcher.py _fetch_static 增量走 upsert，仅全量快照才 replace
- tushare_fetcher/scripts/tushare_sync.sh 银层迁移补 stock_weekly/stock_monthly；
月度增加分红按报告期全量刷新
- kuaixun-service/extend/content_enricher.py 禁用自动重定向 + 逐跳 SSRF 校验
- App/.../AutoRecoveryManager.swift 反复故障改告警不熔断（避免拉长数据空窗）
- 新增 Scripts/bin/repair_dividend_history.py（分红历史修复，按报告期分页幂等 upsert）
- 新增 Docs/repro/*（两个可运行的缺陷复现脚本）
- 补齐 6 个文件共 20 条回归用例（均做过证伪：旧实现下必然失败）
安全
- 已确认未纳入任何凭据：Services/tushare_fetcher/.env 被其 .gitignore 覆盖；
~/.config/findatahub/env（0600）在仓库外。
验证
- Python 测试 1074 passed（Scripts/bin 207 / core 105 / tushare 174 / kuaixun 405 / akshare 183）
- Swift 经 `swift build --disable-sandbox` 编译通过，产物 v1.5.2 已部署
1.7 KiB
1.7 KiB
FinDataHub 文档中心
更新于 2026-08-09 | P1-P4 全部完成 | P5 远期规划
目录结构
Docs/
├── README.md ← 你在这里
├── pipeline/ # 🟣 数据管道架构设计
├── macos/ # 🍎 macOS App 设计
└── tracking/ # 📋 项目管理追踪
🟣 pipeline/ — 数据管道架构设计
| 文件 | 类型 | 说明 |
|---|---|---|
findatahub-data-pipeline.html |
设计手册 | 核心架构 + 架构规范：三层 Medallion、7 步 Pipeline、4 级门控、依赖铁律、组件契约、代码质量标准 |
rate_limit_pull_plan.md |
方案文档 | 限流方案：6 接口分析 + 新浪/东财降级 + 北交所重拉 |
EXECUTION_PLAN.md |
已归档 | 重构执行方案（2026-07 阶段，已执行完毕） |
🍎 macos/ — macOS App 设计
| 文件 | 类型 | 说明 |
|---|---|---|
DESIGN.md |
设计规范 | Apple HIG 设计 Token + Liquid Glass 改造方案（附录） |
DEVLOG.md |
开发日志 | SwiftUI App 每日开发记录 |
📋 tracking/ — 项目管理追踪
| 文件 | 类型 | 说明 |
|---|---|---|
TODO.md |
待办 + 完成记录 | 13 项任务 + P1-P4 完成明细 + 架构重构项 |
进度总览
| 阶段 | 内容 | 状态 |
|---|---|---|
| P1 | 采集层：双源交叉验证 + AKShare 修复 + 北交所重拉 | ✅ |
| P2 | 预处理层：7 步 Pipeline + 4 级门控 + 策略画像 | ✅ |
| P3 | 使用层：SDK 11 方法 + API 14 端点 | ✅ |
| P4 | AI 接入：Skills + MCP 7 工具 | ✅ |
| P5 | 云端扩展：阿里云同步 / Redis 缓存 / 数据血缘 | 📅 未来 |