查看“数据分析”的源代码



== 数据分析 ==



== 正文 ==


　一、　分析数据的技术和理论。 　　数据也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作判断，以便采取适当行动。例如J.开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有着极广泛的应用范围。 　　[[数理统计学]]也是一门以收集和分析数据为内容的学科，它与数据分析不同之处在于数理统计学中所涉及的数据是受到随机性的影响，分析的目的是对数据所来自的[[总体]]作出推断，总体有一定的概率模型，推断的结论也往往以概率的形式表达。但在一般的数据分析中，则不包含这些要求。例如，分析20世纪以来北半球年平均气温的数据，以确定是否有变冷或变暖的趋势。从数理统计的观点，年平均温度数据应看成是从一个总体抽取的[[样本]]，这种看法在本问题中显得牵强；而数据分析则不受这些约束,它的出发点就只是数据本身,即所谓“让数据本身说话”。所以，广义地说，可以把数理统计学看成是数据分析的一部分；但一般只把那种数学模型不明显，或模型需要借助于分析已有的数据而提出，或者根本不需要模型等情况，列入数据分析的范围。 　　典型的数据分析工作可能包含以下几个步骤。首先，当数据刚取得时，可能只是一大堆杂乱无章的数字，不仅看不出其规律性，甚至也不知道如何着手寻找其中可能隐含的规律性，于是就通过作图、造表、用各种形式的方程拟合、计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。这一步工作叫探索性数据分析。J.W.图基在其著作《探索性数据分析》中对此进行了详细的论述。第二步是模型选定分析，在探索性分析的基础上提出了一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。例如研究两变量x、Y的关系，初步分析可以用不超过三次的多项式去拟合，还要进一步确定其次数，并且估计出多项式各项的系数。又如，在一个包含多个自变量的回归问题（见[[回归分析]]）中，经判定认为具有线性关系，则进一步需要确定使用哪些自变量，如何估计方程中的系数。如果数据是来自一个统计总体，则这一步实际上是数理统计学的研究对象。最后一步是推断分析，通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。例如，检验由上面所定出的模型是否可用。这一步工作完全属于数理统计学的范围，若不假定数据有一定的统计结构，则无法进行，只能将第二步所得模型付诸实用，以对所研究的现象提出一种假说或作出某种采取行动的方案，再由以后收集到的数据去检验和修正。 　　因此，狭义的数据分析主要是指探索性数据分析。有时根据问题的需要和现实的可能只能做到第一步，有时则必须进到模型选定分析。探索性数据分析是在尽量少的先验假定下处理数据，以表格、摘要、图示等直观的手段，探索数据的结构，及检测对于某种指定模型是否有重大偏离。它可以作为进一步分析的基础，也可据以对数据作出非正式的解释。实验者常常据此扩充或修改其实验方案，重作实验。图形由于其形象性，容易为人所理解，故作图法是探索分析的重要方法。图基在上述著作中把探索分析放在模型选定分析与推断分析之前，提高了人们对于“让数据说话”和“探索”的重要性的认识。对一、两个变量和为数不多的数据，用笔和坐标纸就可以进行探索分析。计算机及其作图设备的人机对话功能提供了充分探索的可能性，例如用不同方法看数据，进行数据变换，图示，考察残差等等。至于怎样对多变量、大批量、复杂结构的数据作合适而有效的探索分析，已引起广泛注意。 　　数据分析离不开外部的知识和判断，形式化的数据分析方法只是一种辅助性手段，以帮助人们进行判断或推理。在有些问题中，上述三个步骤的某一步骤可以跳过或简略地进行，而在进行过程中又可能返回前面的某一步骤。在作数据分析时，必须注意所得结果是近似的，对它的解释可能不完全正确。例如，开普勒曾发现太阳系中当时已发现的6个行星轨道的某种数据，与5种正多面体有微妙的关联，由此他解释为什么行星恰好是 6个。这一点现在知道并不正确。所以数据分析所发现的事实及其解释，最终要接受以后数据的检验。 　　数据及其结构、数据分析的问题及目的，都是多种多样的，来自不同的领域，具有不同的特性，从而数据分析可划分成许多课题。它尚未定型，与数学、统计学、计算机科学等学科和技术都有密切关系，正在蓬勃发展，对促进科学技术的进展有重要作用。



二、数据分析步骤 　　数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 　　1、探索性数据分析，当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 　　2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 　　3、推断分析，通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 　　 　三、　数据分析过程实施 　　　数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。 　　　1、识别信息需求 　　　识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。 　　　2、收集数据 　　　有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑： 　　①将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据； 　　②明确由谁在何时何处，通过何种渠道和方法收集数据； 　　③记录表应便于使用； 　　④采取有效措施，防止数据丢失和虚假数据对系统的干扰。 　　3、分析数据 　　　分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有： 　　老七种工具，即排列图、因果图、分层法、调查表、散步图、直方图、控制图； 　　新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图； 　　3、数据分析过程的改进 　　　数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性： 　　①提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题； 　　②信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析； 　　③收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通； 　　④数据分析方法是否合理，是否将风险控制在可接受的范围； 　　⑤数据分析所需资源是否得到保障。 　　参考书目 　J.W. Tukey,Exploratory data Analysis,Addison-Wesley, Reading, Mass., 1977.


== 配图 ==



== 相关连接 ==
  
  
  



[[Category:技術應用]]