数据分析

yueyueyue816421

如何深入学习数据分析？ 目前已经学习了numpy, pandas, matplotlib 的基本使用方法，但还停留在理论阶段，如何深入学习呢？大神们有好的数据分析实例教程，或者适用于自学者的数据分析网站或论坛推荐吗？51自学网！或是关注我，给你发资料！MES环境下，CNC数控系统、PLC压装及测试设备、三坐标等数据提供了海量数据进行分析，而工业过程中，由于变化因子较多，且往往是在短期内变化因子数量较少、在较长时间内之前变化的因子又重新发生了变化，而之前稳定的因子，又发生了变化，故，我们称之为因子变化的随机性和不确定性。 此时，数据源不成为问题，而如何根据MES框架下的数据进行分析，快速查找到产品失效的根本原因，则成为了重中之重。本文提供一种分析思路，用于解决没有头绪情况下的问题分析。 时间序列分析，顾名思义，是以时间为轴进行分析，主要评价生产过程中的周期性变化；时间序列提供了很好的时间轴，帮助用户缩小问题范围；在具体使用时间分析时，有基于秒为单位进行时间序列分析，也有基于小时和天进行时间序列分析，这往往取决于要分析对象的变化周期或影响因素的变化周期，而天，则是一个相对比较常用的变化周期：一方面考虑到在很多行业，潜在因素变化的概率较小；另一方面，则要考虑到生产过程中的抽检特性，以便在分析问题时，数据本身能够具备映射关系，便于分析。 上图是作者在某具体项目时，确认以天为时间轴，进行数据分析，该时间轴覆盖了2013/01/12到2014/02/10这段时间轴范围内的数据，通过时间序列分析发现（每天的样本量约2000多）,不同天之间的Y输出变化较大，具备选取时间为基准因素的条件。注意，选择时间为基准因素时，我们将借用谢林BOB 、WOW的概念在这里；同时，需要注意选取BOB、WOW样本时，样本时间尽量间隔周期较短，避免长时间阶段下其他因素带来的影响（混杂其他因子）；BOB和WOW的状态差别也要够大，以避免α和β风险。 通过时间序列图和正态性时间汇总信息，本例中选定了两组对应的BOB和WOW，样本量各为5。此时，通过时间序列分析方法，借用谢林BOB 和WOW的思想，成功取样，用以避免统计上的α和β风险。而5对BOB和5对WOW对比，也具备了99.4%的置信度（Man Whitny test）。 此时的5对5的检验，目的是从连续性测试转化到离散型测量上来，用以规避传统的连续性测试和离散型测量之间的非映射关系，此时，通过，自动调取三坐标中的关键零件测量数据（MES+环境下的三坐标数据管理与分析一文），进行对比分析： 通过Y时间序列变化锁定时间轴，基于时间轴调出测量系统中关键数据，借用Man Whitney统计思想，快速找到关键零件中的关键尺寸差异。 当然，现在需要进一步确认因子带来的影响是否显著，可以单独设定实验进行确认，而方法则可以多样化，线性分析、方差分析等方法，都能够在这个场景下进行应用。 基于MES框架下，工业过程的数据采集将变得越来越容易，而数据本身却具备连续状态和离散状态，如何在不同状态下进行切换和对应，除了在大数据维度下的插补技术、线性拟合技术等，也需要对工艺有着较深的理解，本文仅以此抛砖引玉，期望得到更多讨论。 西格数据致力于通过工业数据采集、管理与分析服务，实现工业数据的互联互通和智能分析，助推中国进入智慧型工厂制造时代！