多元线性回归和非线性线性回归

一、多元回归

1、概述：

在研究变量之间的相互影响关系模型时候，用到这类方法，具体地说：其可以定量地描述某一现象和某些因素之间的函数关系，将各变量的已知值带入回归方程可以求出因变量的估计值，从而可以进行预测等相关研究。

2、分类

分为两类：多元线性回归和非线性线性回归；

其中非线性回归可以通过一定的变化转化为线性回归，比如：y＝lnx 可以转化为y＝u  u＝lnx来解决；

3、 注意事项

在做回归的时候，一定要注意两件事：

（1） 回归方程的显著性检验

（2） 回归系数的显著性检验

检验是很多学生在建模中不注意的地方，好的检验结果可以体现出你模型的优劣，这点一定要注意。

二、聚类分析

1、概述：

聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。

2、分类

聚类主要有三种：

（1） K均值聚类

（2） 系统聚类

（3）二阶聚类

类的距离计算方法：

（1） 最短距离法

（2） 最长距离法

（3） 中间距离法

（4） 重心法

（5） 类平均法

（6） 可变类平均法

（7） 可变法

（8） 利差平均和法

3、注意事项

在样本量比较大时，要得到聚类结果就显得不是很容易，这时需要根据背景知识和相关的其他方法辅助处理。

还需要注意的是：如果总体样本的显著性差异不是特别大的时候，使用的时候也要注意！

三、分类

1、概述

分类是一种典型的有监督的机器学习方法，其目的是从一组已知类别的数据中发现分类模型，以预测新数据的未知类别。

这里需要说明的是：预测和分类是有区别的，预测是对数据的预测，而分类是类别的预测。

2、常用分类模型：

（1）神经网络

（2）决策树

3、注意事项

A． 神经网络适用于下列情况的分类：

（1） 数据量比较小，缺少足够的样本建立数学模型

（2） 数据的结构难以用传统的统计方法来描述

（3） 分类模型难以表示为传统的统计模型

B． 神经网络的优点：

分类准确度高，并行分布处理能力强， 对噪声数据有较强的鲁棒性和容错能力，能够充分逼近复杂的非线性关系，具备联想记忆的功能等。

C． 神经网络缺点：

需要大量的参数，不能观察中间学习过程，输出结果较难解释，会影响到结果的可信度，需要较长的学习时间，当数据量较大的时候，学习速度会制约其应用。

四、判别分析

1、概述

判别分析是基于已知类别的训练样本，对未知类别的样本判别的一种统计方法，也是一种有监督的学习方法，是分类的一个子方法！

具体是：在研究已经过分类的样本基础上，根据某些判别分析方法建立判别式，然后对未知分类的样本进行分类！

2、判别方法

根据判别分析方法的不同，可分为下面几类：

（1） 距离判别法

（2） Fisher判别法

（3） Bayes判别法

（4） 逐步判别法

比较常用的是Bayes判别法和逐步判别法

3、 注意事项：

判别分析主要针对的是有监督学习的分类问题。这里重点注意其优缺点：

（1） 距离判别方法简单容易理解，但是它将总体等概率看待，没有差异性；

（2） Bayes判别法有效地解决了距离判别法的不足，即：其考虑了先验概率——所以通常这种方法在实际中应用比较多！

（3） 判别分析要求给定的样本数据必须有明显的差异，在进行判别分析之前，应首先检验各类均值是不是有差异，如果检验后某两个总体的差异不明显，应将这两个总体合为一个总体，再由剩下的互不相同的总体重现建立判别分析模型。

（4）Fisher判别法和bayes判别法的使用要求：两者对总体的数据的分布要求不同，Fisher要求对数据分布没有特殊要求，而bayes则要求数据分布是多元正态分布，但实际中却没有这么严格！

五、主成分分析

1、概述

主成分分析是一种降维数的数学方法，具体就是，通过降维技术将多个变量化为少数几个主成分的统计分析方法。

在建模中，主要用于降维，系统评估，回归分析，加权分析等等。

2、分类（无）

3、注意事项

在应用主成分分析时候，应该注意：

（1） 综合指标彼此独立或者不相互干涉

（2） 每个综合指标所反映的各个样本的总信息量等于对应特征向量的特征值。通常要选取的综合指标的特征值贡献率之和应为80％以上

（3） 其在应用上侧重于信息贡献影响力的综合评价

（4） 当主成分因子负荷的符号有正也有负的时候，综合评价的函数意义就不明确！

六、因子分析

1、概述

因子分析是将变量总和为数量较少的几个因子，是降维的一种数学技术！

它和主成分分析的最大区别是：其是一种探索性分析方法，即：通过用最少个数的几个不可观察的变量来说明出现在可观察变量中的相关模型，它提供了一种有效的利用数学模型来解释事物之间的关系，体现出数据挖掘的一点精神！

2、分类

R型因子分析，即对变量的研究，此为常用

Q型因子分析，即对样本的研究

3、因子分析和主成分分析的区别和联系

（1） 两者都是降维数学技术，前者是后者的推广和发展

（2） 主成分分析只是一般的变量替换，其始终是基于原始变量研究数据的模型规律；而因子分析则是通过挖掘出新的少数变量，来研究的一种方法，有点像数据挖掘中的未知关联关则发现！

七、时间序列

1、概述

时间序列预测法是一种定量分析方法，它是在时间序列变量分析的基础上，运用一定的数学方法建立预测模型，使时间趋势向外延伸，从而预测未来市场的发展变化趋势，确定变量预测值。

基本特点是：假定事物的过去趋势会延伸到未来；预测所依据的数据具有不规则性；撇开市场发展之间的因果关系。

2、分类

时间序列的变动形态一般分为四种：

长期趋势变动

季节变动

循环变动

不规则变动

方法分类：

（1） 平均数预测

（2） 移动平均数预测

（3） 指数平滑法预测

（4） 趋势法预测

（5） 季节变动法

3．注意事项

（1）季节变动法预测需要筹集至少三年以上的资料

（2）移动平均法在短期预测中较准确，长期预测中效果较差；

（3）移动平均可以消除或减少时间序列数据受偶然性因素干扰而产生的随机变动影响。

推荐阅读：

变频器开关电源模块常见检测办法

变频电源系统工作原理

正温度系数(PTC)和负温度系数(NTC)热敏电阻的电阻特性

白家电：电机驱动及控制方案简介

PLC在药丸包衣制粒机上的应用简介