离群值的判断与处理

我们在分析数据的时候,经常会碰到某些数据远远大于或小于其他数据,这些明显偏离的数据就是离群值,也叫奇异值、极端值。

离群值产生的原因大致有两点:

1. 总体固有变异的极端表现,这是真实而正常的数据,只是在这次实验中表现的有些极端,这类离群值与其余观测值属于同一总体。

2. 由于试验条件和实验方法的偶然性,或观测、记录、计算时的失误所产生的结果,是一种非正常的、错误的数据,这些数据与其余观测值不属于同一总体。

由于数据的分布不同,判断离群值的方法也有所差别,在此只介绍国标

GB/T4883-2008对于正态分布情况下的离群值判断方法,其他分布情况下,我还没有找到相关资料。

对于离群值,国标也有一些概念定义:

1. 检出水平

为检验出离群值而指定的统计检验的显著性水平,和大多数检验一样,α一般为0.05

2. 剔除水平

为检验出离群值是否为高度离群值而指定的统计检验的显著性水平,剔除水平α*不应超过检出水平α,通常为0.01,个人认为这个剔除水平就是判断该离群值是否需要实际剔除,也就是说该离群值有可能是第二类原因产生的非正常样本数据。

3. 统计离群值

在剔除水平下统计检验为显著的离群值

4. 歧离值

在检出水平下显著,而在剔除水平下不显著的离群值。

================================================

正态分布情况下的离群值判断方法,大致可分为两类:可以检验剔除水平和不可检验剔除水平

一、可检验剔除水平

1. 总体标准差已知时,奈尔检验法

我们在分析数据的时候,经常会碰到某些数据远远大于或小于其他数据,这些明显偏离的数据就是离群值,也叫奇异值、极端值。

离群值产生的原因大致有两点:

1. 总体固有变异的极端表现,这是真实而正常的数据,只是在这次实验中表现的有些极端,这类离群值与其余观测值属于同一总体。

2. 由于试验条件和实验方法的偶然性,或观测、记录、计算时的失误所产生的结果,是一种非正常的、错误的数据,这些数据与其余观测值不属于同一总体。

由于数据的分布不同,判断离群值的方法也有所差别,在此只介绍国标

GB/T4883-2008对于正态分布情况下的离群值判断方法,其他分布情况下,我还没有找到相关资料。

对于离群值,国标也有一些概念定义:

1. 检出水平

为检验出离群值而指定的统计检验的显著性水平,和大多数检验一样,α一般为0.05

2. 剔除水平

为检验出离群值是否为高度离群值而指定的统计检验的显著性水平,剔除水平α*不应超过检出水平α,通常为0.01,个人认为这个剔除水平就是判断该离群值是否需要实际剔除,也就是说该离群值有可能是第二类原因产生的非正常样本数据。

3. 统计离群值

在剔除水平下统计检验为显著的离群值

4. 歧离值

在检出水平下显著,而在剔除水平下不显著的离群值。

================================================

正态分布情况下的离群值判断方法,大致可分为两类:可以检验剔除水平和不可检验剔除水平

一、可检验剔除水平

1. 总体标准差已知时,奈尔检验法


相关文章

  • 体外诊断试剂分析性能评估(准确度-方法学比对)指导原则
  • 体外诊断试剂分析性能评估(准确度-方法学比对) 指导原则 一.前言 准确度评估资料是评价拟上市产品有效性的重要依据,也是产品注册所需的重要申报资料之一.定量检测方法的方法学比对试验是评估准确度的方法之一,可以与参考方法或临床公认质量较好的已 ...查看


  • 分析化学误差部分总结
  • 分析化学(第六版)总结 第二章 误差和分析数据处理 第一节 误差 定量分析中的误差就其来源和性质的不同,可分为系统误差.偶然误差和过失误差. 一. 定义:由于某种确定的原因引起的误差,也称可测误差 特点:①重现性,②单向性,③可测性(大小成 ...查看


  • 实验数据的统计分析与科研论文的撰写
  • 2009年1月第19卷 第1期 中国比较医学杂志 CHINESE J OURNAL OF COMPAR ATIVE MEDICINE January , 2009Vol . 19 No . 1 知识讲座 实验数据的统计分析与科研论文的撰写 ...查看


  • 季节调整方法的历史演变及发展新趋势_刘建平
  • 第32卷第8期2015年8月统计研究 Statistical ResearchVol.32,No. 8Aug.2015 季节调整方法的历史演变及发展新趋势 刘建平 王雨琴 内容提要:本文梳理了季节调整方法的历史演变过程,深入分析了当前季节调 ...查看


  • 稳健统计方法
  • CNAS -GL02 能力验证结果的统计处理和 能力评价指南 Guidance on Statistic Treatment of Proficiency Testing Results and Performance Evaluation ...查看


  • 6.临床检验方法总分析误差的评估
  • 张建平 首都医科大学附属北京朝阳医院 2011年8月25日 •CLSI EP21-A. Estimation of total analytical error for clinical laboratory methods. 概述及相关定 ...查看


  • 检验机构内部质量控制的机制建设
  • 为了保证检测结果的准确性和可靠性,不仅要关注外在的检验机构业务流程,也需要关注检验机构内部质量控制机制的建设.为此武汉食品化妆品检验所徐勤瑜工程师从四个角度深入探讨了这方面的问题.即建立内部质量监督网的监督评价机制.控制计划的评价考核机制. ...查看


  • 体质健康论文
  • 我国大学生体质健康报告 摘要 本文以大学生的体质健康为研究对象,基于1000多名学生的体能测试成绩,分析数据的正确性及地区差异性,并在此基础上,建立评价模型,判定学生的体质健康状况. 对于问题一的第一小问,在对数据应用箱线图去除异常值之后引 ...查看


  • 水泥检测实验室的质量监控技术
  • 专栏:生产许可证 水泥检测实验室的质量监控技术 ■ 朱晓玲1 刘 涛2 (1.国家水泥质量监督检验中心:2.中国标准化研究院) 并对我国摘 要:本文介绍了水泥行业多年来对水泥生产企业和质检机构水泥检测能力的监控方法以及所取得的成效:目前所开 ...查看


热门内容