大样本离群数据取舍的标准
涉及到几个手段，分别是：
1.14d检验法
1.2Q检验法
1.3Grubbs检验法
1.4偏态-峰态数据分布正态性检验法
1.5相对极差
1.6STD、RSD
说明：本文公式均为Excel公式，那种大计算公式懒得敲。
对于以上6种手段，其中1-3为离群值的剔除，4也可以做离群值的剔除，详见GB/T 4883-2008偏度-峰度检验法，5-6为整体离散度的一个判断。
2、离散度图片来自百度，侵删。
离散程度，英文名Measures of Dispersion，是指通过随机地观测变量各个取值之间的差异程度，用来衡量风险大小的指标。
定义来自百度百科。
2.1相对极差：
示意图2.1
极差：
对比上图可以看得出来，极差做的就是离散的判断，最基本的计算，所以也叫做全距。
相对极差：
对比上图可以看得出来，引入平均值后，对于相同极差的数据也能够体现出不同的离散度。
但是相对极差不如极差显著。
2.2STD、RSD：
示意图2.2
STD：
对比示意图2.2可以看出来，两组数据的离散是一致的，但是两组数据实际并不在一个范畴中，一个属于1以下，一个属于10以上。标准偏差是每个值与平均值比较，因为乘方的关系会扩大这种差异，对于1、2、3、4、5和1、2、2、5、5这种数据，极差是无法处理的，标准偏差就可以明确的给出离散程度的区别。
可以看下面这个示例：
示例图2.2
RSD：
对比示意图2.2可以看得出来，相对标准偏差体现出了两组范畴不同的数据的差别，同样也因为这个平均值，对于10.112和0.112这两组数据就明显体现出精密度的差别了，一个是五位有效数字一个是三位有效数字，同样波动下，显然五位有效数字这组精密度更好。
3、离群值上面的方法做了离散度的判断，那么具体有哪些值离群了呢？是否可以非主观的去判断离群值从而方便查找原因和数据处理呢？
有。
3.14d检验法：很简单的小方法，问题也不少，先说计算。
示意图3.1
4d检验法
适用于10个数据以上的处理，如果数据量在5~10，可以酌情使用2.5d，问题是数据量不够的时候（10），容易无法正确判断是否离群值。
3.2Q检验法：适用于10个数据以内的处理。
示意图3.2
Q检验法：
3.2.1选取可疑值：
3.2.2计算测定次数
3.2.3与可疑值最接近的值的绝对差值
3.2.4Q值
3.2.5查表
这里解释一下，数据是5个没错，但是因为查询表返回的数值是以0.01那行开始计算的，index的作用是返回对应行、列的数值，那么查出来0.01那一列的数据，如果用5，就会查到7和0.01交叉的数值，但是数据实际是n=3开始的，所以要-2。
3.2.6判断
3.3Grubbs检验法：
示意图3.3
Grubbs检验法：
3.3.1上侧
3.3.2下侧
3.3.3判断
IF(上侧临界值,上侧检出：上侧未检出),临界值,下侧检出：下侧未检出)
稍做一下改变：
示例图3.3.3-1
再做一下改变：
示例图3.3.3-2
还做一下改变：
示例图3.3.3-3
对于检测来说，如果整组数据RSD符合就没必要再去剔除离群值。
3.4偏态-峰态数据分布正态性检验法：
数据是正态分布以上手段才是有效的。那么就验证正态分布吧。
示意图3.4
偏态-峰态数据分布正态性检验法：
3.4.1母体方差
解释一下power函数中的2改3、改4就可以。
3.4.2A偏态
解释一下，0.5即开方。
3.4.3B峰态
3.4.4判断
偏态判定：IF(偏态INDEX(XLOOKUP(置信概率偏态A1查询范围,返回范围),MATCH(COUNT(范围),范围,0)),通过,不通过)
解释一下，match中的0为精确查找，就是=。
峰态判定：IF(AND(INDEX(XLOOKUP(置信概率峰态B1,查询范围,返回范围),MATCH(COUNT(数据量,范围,0))峰态,峰态INDEX(XLOOKUP(置信概率峰态B2,查询范围,返回范围),MATCH(COUNT(范围),范围,0))),通过,不通过)
最终判定：
这东西没有一定数据量没啥意义，一般会结合Grubbs剔除异常值后去做，先上100个数据。
上一篇
下一篇猜你喜欢
排行榜 电饭煲实测排行榜前十名：核心数据测评教你怎么选才对
在快节奏的时代下，智能电饭煲凭借多功能、一机多用等便捷功能，成为厨房标配。影响米饭蒸煮表现的主要因素有哪些？①加热方式：底盘和IH加热易衰减致夹生，螺旋焖压加热均匀，米饭香糯。②内胆形状厚度：球形内胆受热面积大、热对流好，平底或半釜较差。③温控精准度：精确控温避免夹生焦糊，让米饭达最佳口感。④腔体密闭..
2025-06-19
母婴百科 海尔电子体温计标准吗
婴儿时期的宝宝如悄然绽放的花朵，娇嫩可爱，但是也是宝宝体质较弱的时刻，在发烧不舒服的时候只能通过哭来反馈，因此，妈妈们需要常备一款体温计。而传统体温计需要让宝宝保持一个姿势很长时间才能读数，电子体温计更能够精准测量体温，读数方便，测量精准度高，特别适合婴儿使用，海尔红外线电子体温计E122均可做到，贴心..
2025-06-16
植物之最 将植物提取标准卷到天花板！康宝莱的又一个“全球第一”
康宝莱特有的测量和提取方法成为了全球第一个被“国际分析化学家协会(AOAC)”批准用于检测芦荟醇的方法。将验证芦荟身份和纯度卷到分子层面的同时，创造了整个行业的又一个里程碑…康宝莱的测量和提取过程是由康宝莱科学家独家开发的，该方法通过一项涉及八个独立实验室的全球研究，并最终得到了国际官方机构的验证，成为了..
2025-06-15
世界最大 全球十大超模大码身材！阿什莉·格拉汉姆：谁说美只有一种标准？
2025-06-13-
最新重庆人口数据大分析，震惊，重庆市人满到爆！
我国地大物博，不仅面积广大，而且人口也不少。在我国，有着许多的省份，当然也有着直辖市，而重庆就是其中一个。近年来，重庆一直是一个引人热议的一个市，重庆人口也一直在增加。随着重庆的日益发达，重庆人口也是只增不减。1、最新重庆人口数量分析目前，3016.55万人是重庆市的常住人口，25.15万人是比上年增加的人数，0..
2025-06-09 
中国十大 中国十个值得为吃而去的小城，看看大数据的推荐吧
以下是中国十个值得为吃而去的特色小城，这些城市往往以地方小吃和传统风味见长，且兼具烟火气与独特饮食文化：
2025-05-31
职场百科 2023年事业单位最新工资标准
在事业单位干的时间久了，就会听到单位人事说出这样的消息，那就是单位一般两年一调资，也就是两年上涨一次工资，在事业单位没有降工资，只有涨工资。上次涨工资老张记得是在2021年的年底时候，按照时间推算，今年应该会迎来一波涨工资潮，这部分的工资上涨会分为基本工资和考核奖金两部分，平均每个部分都是二百元，上次上..
2025-05-22
体育之最 为什么它能称为地球最受欢迎的运动？这些数据告诉你答案！
#为什么我国一定要发展足球#足球，这项全球最受欢迎的运动，拥有超过40亿的狂热粉丝，超越篮球、网球等所有体育项目，稳坐“地球第一运动”宝座。数据不骗人，今天我们用最新权威数字告诉你，足球为何无人能敌？同时，深入剖析中国为何急需大力发展足球产业⚽️。1. 全球数据震撼！足球粉丝超半数地球人 根据国际足联（..
2025-05-21
微信分享
扫描二维码分享到微信或朋友圈