Project dossier

active20263 entries

tidyflow

一个用于 CSV、Excel 和 JSON 的数据清洗工具,把诊断、清洗和质量报告组织成清晰的 CLI 工作流。

Pythonpandasclickrich

项目简介

tidyflow 是一个面向日常数据整理的 Python 工具。它处理 CSV、Excel 和 JSON 中常见的重复值、缺失值、列名和文本问题,并把处理结果整理成可查看的质量报告。

功能范围

  • 检查空值、重复行、列名和类型问题。
  • 按规则清洗数据,包括去重、补值、列名规范化和文本修整。
  • 通过 CLI 直接处理文件。
  • 通过 Python API 在脚本和 notebook 中复用清洗流程。
  • 输出清洗结果和质量报告,保留处理前后的差异。

实现方式

项目把命令行入口、清洗逻辑、诊断逻辑和报告输出分开。CLI 只负责解析参数和组织输出;Cleaner 管理清洗链路;Diagnoser 只读检查数据问题;报告模块负责展示结果。

这种拆分让 CLI 和 Python API 可以共享核心逻辑,也让“先检查、再清洗”的流程保持清楚。

当前状态与边界

核心清洗流程已经可用。后续会继续补配置文件、更多清洗策略、发布流程和测试样例。tidyflow 的目标是降低数据清洗的启动成本,不把它扩展成大型数据平台。

关联内容