技术百科 | 要搞好数据挖掘，还是得先整明白这张图……

shuzhilian12

《哈佛商业评论》称数据科学家为21世纪最性感的职业，性感一词，充分表达着其中说不出的诱惑和吸引。而数据，作为这一切的根源，更是扮演着极其重要且神秘的角色。没有数据，一切皆是空谈，有了数据，所有的分析和挖掘都有了寄托。

然而，要搞好数据挖掘，可没那么简单，你得有一套正确的招式款待她！一套完善的流程招呼她！

↓↓↓



▲CRISP-DM


何为CRISP-DM？

CRISP-DM(cross-industry standard process for data mining), 即"跨行业数据挖掘标准流程"，它是由NCR、OHRA、SPSS、Daimler-Benz等企业一起开发出来的、目前业界使用最为广泛的数据挖掘方法论。

CRISP-DM模型为一个KDD（知识发现）工程提供了一个完整的过程描述，将一个KDD工程分为6个不同的、但顺序并非完全不变的阶段。CRISP-DM没有特定的工具限制，也没有特定领域局限，是适用于所有行业的标准方法论。


1
商业理解

首先，我们必须从商业的角度了解项目的要求和最终目的是什么，并将这些目的与数据挖掘的定义以及结果结合起来。任何脱离业务的数据分析和挖掘都是瞎胡闹。

本阶段的主要工作包括：确定商业目标，发现影响结果的重要因素，从商业角度描绘客户的首要目标，评估形势，查找所有的资源、局限、设想以及在确定数据分析目标和项目方案时考虑到的各种其他的因素，包括风险和意外、相关术语、成本和收益等等，接下来确定数据挖掘的目标，并制定项目计划。


2
数据理解

数据理解阶段开始于数据的收集工作。接下来就是熟悉数据，具体如：检测数据的量，对数据有初步的理解，探测数据中比较有趣的数据子集，进而形成对潜在信息的假设。收集原始数据，对数据进行装载，描绘数据，并且探索数据特征，进行简单的特征统计，检验数据的质量，包括数据的完整性和正确性，缺失值的填补等。


3
数据准备

在建立数据挖掘模型之前对数据做最后的准备工作，主要是把收集到的各部分数据关联起来，形成一张最终数据宽表。这个阶段其实是耗时最长的阶段，一般会占据整个数据挖掘项目的70%左右的时间，包括数据导入、数据抽取、数据清洗、数据合并、新变量计算等。

数据准备工作有可能被实施多次，而且其实施顺序并不是预先规定好的。


4
模型构建

模型构建是数据挖掘工作的核心阶段。主要包括准备模型的训练集和验证集、选择并使用适当的建模技术和算法、模型建立、模型效果对比等工作。

在这一阶段，各种各样的建模方法将被加以选择和使用。通过建造、评估模型将其参数校准为最为理想的值。比较典型的是，对于同一个数据挖掘的问题类型，可以有多种方法选择使用。如果有多重技术要使用，那么在这一任务中，对于每一个要使用的技术要分别对待。

有一些建模方法对数据的形式有具体的要求，因此，在这一阶段，重新回到数据准备阶段执行某些任务有时是非常必要的。


5
模型评估

从数据分析的角度考虑，在这一阶段中，已经建立了一个或多个高质量的模型。但在进行最终的模型部署之前，更加彻底地评估模型，回顾在构建模型过程中所执行的每一个步骤，是非常重要的，这样可以确保这些模型是否达到了企业的目标。

一个关键的评价指标就是，看是否仍然有一些重要的企业问题还没有被充分地加以注意和考虑。在这一阶段结束之时，有关数据挖掘结果的使用应达成一致的决定。

模型评估主要从两个方面进行评价：
技术层面：设计对照组进行比较；根据常用的模型评估指标进行评价，如命中率、覆盖率、提升度等；
业务经验：业务专家凭借业务经验对数据挖掘结果进行评估。


6
模型部署

将数据挖掘成果程序化，将模型写成存储过程固化到IT平台上，并持续观察模型衰退变化，在发生模型衰退时，引入新的变量进行模型优化。