【EDA是什么】在数据分析和数据科学领域，EDA（Exploratory Data Analysis，探索性数据分析） 是一个非常关键的步骤。它是指在对数据进行建模或统计分析之前，通过可视化、统计摘要等方法，初步了解数据的结构、分布、异常值以及变量之间的关系。EDA 的目标是帮助数据分析师或科学家更好地理解数据，为后续的建模工作提供基础。
EDA 的核心
| 项目 | 内容说明 |
| 定义 | EDA 是一种数据分析方法，用于在正式建模前对数据进行初步探索和理解。 |
| 目的 | 发现数据中的模式、异常、趋势，验证假设，并为后续建模提供依据。 |
| 常用方法 | 数据可视化（如直方图、散点图、箱线图）、统计描述（均值、中位数、标准差）、相关性分析等。 |
| 适用场景 | 数据清洗前、模型选择前、特征工程前、数据报告撰写前。 |
| 优点 | 帮助发现隐藏信息，提升数据质量，减少错误建模的风险。 |
| 常见工具 | Python（Pandas、Matplotlib、Seaborn）、R语言、Excel、Tableau等。 |
EDA 的典型流程
1. 数据加载与查看：导入数据集，查看前几行数据，了解字段含义。
2. 缺失值处理：检查是否有缺失值，并决定是否删除或填充。
3. 数据类型检查：确认各列的数据类型是否正确。
4. 统计描述：计算数值型变量的均值、标准差、最小最大值等。
5. 数据可视化：通过图表展示数据分布和变量间的关系。
6. 异常值检测：识别并处理可能影响分析结果的异常数据。
7. 变量相关性分析：使用相关系数或热力图分析变量之间的关系。
EDA 与 Confirmatory Data Analysis（CDA）的区别
| 项目 | EDA | CDA |
| 目的 | 探索数据，发现潜在规律 | 验证已有假设或理论 |
| 方法 | 更加开放、灵活 | 更加严谨、结构化 |
| 时间阶段 | 分析初期 | 分析后期 |
| 关注点 | 数据本身 | 模型或假设 |
总之，EDA 是数据科学流程中不可或缺的一环，它不仅有助于提高数据质量，还能为后续的建模和决策提供坚实的基础。无论是初学者还是经验丰富的数据科学家，掌握 EDA 的方法和技巧都是非常重要的。
