吴鸿飞 - Python 开发工程师

工作经历

Python 开发工程师

AIFT · 香港人工智能金融科技实验室

2023.10 - 2026.10

主导亚马逊卖家信用报告数仓重构（Credit Report）：负责 108 家核心卖家、跨度 1,070 天历史数据（源表 319 万行）体系升级，重构单机 Pandas 为 PySpark + ClickHouse 云原生数仓，抽象 22 项金融指标并构建三层数仓
攻坚 16GB 内存黑洞与容器 OOM：排查前版本运行 7m42s 频发的容器 OOM Killed 故障，历经 3 轮根因收敛，定位 PyMySQL 默认缓冲游标反序列化 ~8,940 万个 Python 对象吞噬 16GB+ 内存；改造为 SSDictCursor 服务端流式游标 + 5 万行分批写入 + 强制 GC + spark.stop() 提前销毁 JVM 堆，内存峰值由 >16GB 锁死在 <200MB（降 98%），全量 108 seller 端到端 231.5 秒（~1.38 万行/秒）
GitOps 自动化交付与无人值守调度：自建 GitLab CE 挂载宿主机 Docker Socket 本地原生构建 + 镜像秒级直灌 containerd（提交到镜像就绪 ≤30 秒），配合 ArgoCD 纳管 4 类资源与 K8s CronJob 每日 18:00 定时调度（concurrencyPolicy: Forbid + 资源画像 + backoffLimit 容错），实现 108 家卖家财务指标全量稳定聚合、全程零人工干预
Data Control Plane 统一数据控制面：整合 Amazon Web 爬虫、Keepa 采集与任务池调度为统一数据控制面：seller 级触发、优先级提升、soft-fail 重置、并行抓取编排，监控快照层 (tier / seller pending / hourly) 显著降低页面与 API 延迟
数据资产沉淀与多国家数据流：负责 SP-API Catalog / 评论等非结构化数据向 PostgreSQL 结构化资产沉淀；任务池驱动报告管道 (状态流转 / 失败归因 / 有限重试)，与 Airflow 协同支撑多卖家 × 多国家报告获取与数据质量审计

项目经历

GymRAG · 健身知识 RAG 问答平台

2026.03 - 至今

FastAPI · React · Pinecone · MySQL · LangGraph · Docker

将头部健身 UP 主 2300+ 条视频沉淀为可问答知识库，提问即得精准答案并附带来源与时间戳；接入统一 AI 响应中枢
多路混合检索流水线 (Hybrid Search)：实现自研 ChineseBM25（Bigram 字符对 + 单字 Fallback）稀疏检索与 Pinecone 稠密向量检索，通过 RRF (k=60) 倒数排名无监督融合 + Cross-Encoder 语义精排，配套异常降级熔断；经 RAGAS 同卷 33 题评测 context_precision 提升 +9.7%，faithfulness 零回归
端到端自动化数据摄取与蒸馏管线：APScheduler 驱动自动化管线：增量视频发现 → 音频字幕提取与清洗 → 语义 Chunking → 向量嵌入落库；结合 7 天冷却期巡检自动触发领域 Skill 提炼与持久化

SupplyChain-Intel · 产业链情报与投资决策系统

2026.09 - 至今

FastAPI · React · Memgraph · D3 · MySQL · SQLite

全门类投入产出因果网络建模：基于国家统计局 153 个工业大类投入产出直接消耗表与里昂惕夫完全消耗逆矩阵构建级联传导中枢；打通 5,816 只 A 股全息实体映射，整合大宗商品、贵金属、宏观数字资产等跨市场数据资产库
双范式事件冲击推演引擎：自上而下宏观大宗断供与自下而上资本市场流动性（大额解禁/减持）双范式数据流；通过高低受压标的分层抽取与逆向工业部门归集，计算多震中合成冲击向量并在网络中计算级联成本推动与需求拉动效应
实时行情与企业级高可用资讯流水线：东财 + 新浪多源 30 秒增量采集落库（支持多代理故障转移与指数退避重试）→ 词典实体链接与语义去重，按公司 / 原料 / 部门多维聚合；直连腾讯低延迟证券行情
战情室联动看板与投研 Copilot 交互：后端高效供给 D3 级联拓扑子图数据与四维文字版深度研判报告，前端毫秒级渲染；接入统一 AI 响应中枢，支持事件上下文感知（event_context）的多轮追问推演与配方敏感度试算

Chromosome-Recognition · 染色体核型显带智能识别

2022.03 - 2022.06

PyTorch · Torchvision · ResNet · Faster R-CNN · Siamese Network

Backbone 骨干特征提取与测试对比：基于 PyTorch 动态提取 Faster R-CNN / ResNet 等骨架的卷积层与池化层构建特征网络，与孪生网络及形态学分支进行对比实验；实现 24 类人类染色体显带图像的精准分类

Python-Toolkit · Python 装饰器与并发实用组件库

2023.10 - 2024.06

Python · Decorators · Concurrency · Threading · curl_cffi

装饰器模式与并发调度实践：深入实践 Python 装饰器设计模式，自研线程安全状态机（StateStore）、优雅异常上下文捕获、统一动态并发调度器（封装多线程与 asyncio 协程）、条件门控守卫（call_when）及 TLS 指纹代理网络库

专业技能

大数据与数仓：

PySpark ClickHouse DataFrame API ETL

云原生与 GitOps：

Kubernetes K8s CronJob ArgoCD GitLab CI/CD Docker GitOps

Agent 与 AI：

LangGraph Agent Runtime RAG RAGAS MCP SSE

数据库与工程：

MySQL PostgreSQL Airflow FastAPI Linux