我们在分析数据的时候,经常会碰到某些数据远远大于或小于其他数据,这些明显偏离的数据就是离群值,也叫奇异值、极端值。
离群值产生的原因大致有两点:
1. 总体固有变异的极端表现,这是真实而正常的数据,只是在这次实验中表现的有些极端,这类离群值与其余观测值属于同一总体。
2. 由于试验条件和实验方法的偶然性,或观测、记录、计算时的失误所产生的结果,是一种非正常的、错误的数据,这些数据与其余观测值不属于同一总体。
由于数据的分布不同,判断离群值的方法也有所差别,在此只介绍国标
GB/T4883-2008对于正态分布情况下的离群值判断方法,其他分布情况下,我还没有找到相关资料。
对于离群值,国标也有一些概念定义:
1. 检出水平
为检验出离群值而指定的统计检验的显著性水平,和大多数检验一样,α一般为0.05
2. 剔除水平
为检验出离群值是否为高度离群值而指定的统计检验的显著性水平,剔除水平α*不应超过检出水平α,通常为0.01,个人认为这个剔除水平就是判断该离群值是否需要实际剔除,也就是说该离群值有可能是第二类原因产生的非正常样本数据。
3. 统计离群值
在剔除水平下统计检验为显著的离群值
4. 歧离值
在检出水平下显著,而在剔除水平下不显著的离群值。
================================================
正态分布情况下的离群值判断方法,大致可分为两类:可以检验剔除水平和不可检验剔除水平
一、可检验剔除水平
1. 总体标准差已知时,奈尔检验法
我们在分析数据的时候,经常会碰到某些数据远远大于或小于其他数据,这些明显偏离的数据就是离群值,也叫奇异值、极端值。
离群值产生的原因大致有两点:
1. 总体固有变异的极端表现,这是真实而正常的数据,只是在这次实验中表现的有些极端,这类离群值与其余观测值属于同一总体。
2. 由于试验条件和实验方法的偶然性,或观测、记录、计算时的失误所产生的结果,是一种非正常的、错误的数据,这些数据与其余观测值不属于同一总体。
由于数据的分布不同,判断离群值的方法也有所差别,在此只介绍国标
GB/T4883-2008对于正态分布情况下的离群值判断方法,其他分布情况下,我还没有找到相关资料。
对于离群值,国标也有一些概念定义:
1. 检出水平
为检验出离群值而指定的统计检验的显著性水平,和大多数检验一样,α一般为0.05
2. 剔除水平
为检验出离群值是否为高度离群值而指定的统计检验的显著性水平,剔除水平α*不应超过检出水平α,通常为0.01,个人认为这个剔除水平就是判断该离群值是否需要实际剔除,也就是说该离群值有可能是第二类原因产生的非正常样本数据。
3. 统计离群值
在剔除水平下统计检验为显著的离群值
4. 歧离值
在检出水平下显著,而在剔除水平下不显著的离群值。
================================================
正态分布情况下的离群值判断方法,大致可分为两类:可以检验剔除水平和不可检验剔除水平
一、可检验剔除水平
1. 总体标准差已知时,奈尔检验法