A-A+

我为什么反对在属性数据MSA中用Kappa分析(上)

2019年08月01日 专业知识 暂无评论 阅读 1.8K 人 次

这可能是一篇会引起很多争议的文章,在写完初稿后搁置了大半年的时间,现在略作修改分两次发完,希望能够引起大家的讨论。

熟悉我的人都知道,在MSA中,我明确反对两个东西。

一个是ndc,因为这只是%P/Tv的另一个解释,但却派生出独立的判断标准,使得两个指标之间产生了矛盾,使人无所适从。在《六西格玛管理统计指南》第3版(以下简称指南三)p.405-407有详细阐述,在此不再赘述。

另一个就是属性数据MSA中的Kappa。

一致率、误判率、漏判率这些简单明了的指标足以让我们对测量系统做出恰当的判断,为什么还要画蛇添足地加上一个Kappa呢?很多年来我从来不讲Kappa,在蓝皮书里也只是简单提了一下,并没有做详细的阐述。但这也没有什么用,Kappa分析仍大行其道,又像ndc一样,成为了一种教条。

虽然明确反对使用Kappa分析,但说实话,我自己也信心不足,毕竟对此没有多深入的了解。为此我做了一些功课,也有了一些心得。在此提出来与各位探讨,欢迎拍砖。

我们先看看针对属性数据的一致性标准。

这样的标准表述比较清晰,很容易理解,也比较容易得出结论。

再看看Kappa的标准,大于0.9可接受,介于0.7~0.9可勉强接受,小于0.7不合格。但0.7或0.9的实际意义是什么,与一致性有什么关系,却没有说清楚。在实际应用中,当Kappa的结论与一致性的结论矛盾时,往往让人无所适从。如下面这个案例:

 

 

从分析结果上中,评估一致性以及与标准的一致性均只有76%,但Kappa值却有0.75和0.87。根据上述标准判断,一个是不合格,一个是可以让步接受,那应该怎么下结论呢?如果判定不合格,但Kappa却显示可以用,尤其是后一个,都接近0.9了;如果判定可接受,但明明一致性不好啊。

类似的不协调也出现在%P/Tv和ndc之间,这里不再赘述。

为什么会出现这种结果呢?本文试图从Kappa分析的原理来做一探究。

Kappa分析有两种。

一种是Cohen's Kappa,只能用于分析对同一组对象两次评价的一致性,如一个人先后两次评价的一致性、一次评价与标准的一致性、两个人对同一组对象评价的一致性等。具体原理参见拙作《列联表篇之二:四格表的分析》。

另一种就是大家熟悉的Fleiss' Kappa,可以用于对同一组对象的多次评价的一致性分析,目前流行的属性数据MSA就是采用这种分析。具体原理参见拙作《列联表篇之十:属性相同双向有序表的Kappa分析》。

首先用Cohen's Kappa做一个热身。

在四川大学王军2006年的硕士论文《Kappa系数在一致性评价中的应用研究》中,总结了三种反例。其中之一如下例:

这个案例中,一致率达到了0.704,但算出的Kappa值却只有0.006,这明显不符合常理。更进一步看下一个例子:

这两个案例的一致率都是0.8,但Kappa值却相差很多。

问题出在四格表中左上角a和右下角d取值不平衡上。可以想见,a和d相差越大,Kappa值越小。

我们可以做一个模拟,来看看Kappa值是如果随a、d的取值变化的。

为了方便使用Cohen'sKappa,假设在属性一致性分析时,选择了50个样品,由一个人重复测量2次。构建的四格表如下:

为了分析方便,我们固定取b和c为1,这样可以计算出一致率P0为0.96,这应该是很高的一致率了。a取值从24逐渐减到0,同时d从24逐渐加到48,我们可以看看Kappa值呈现怎样的变化。

可以看出,当a减少到13时,Kappa值降低到0.9以下,当a继续减少时,Kappa值会快速下降,这时就会出现判据不一致的问题。

如果将一致率降低到0.9,则Kappa的变化曲线是这样的。

此时Kappa最大只有0.8,也就是说,即使一致率达到了90%,因为Kappa均在0.8以下,因此也不能得出测量系统合格的结论,又产生了判断不一致的情况。

由上面的初步分析可以看出,Kappa值的大小依赖于样本的结构。如果MSA样本中合格与不合格品数量差异很大,则会得到小的Kappa值。如果你想得到比较Kappa值与一致率大致相当的结论,建议尽可能保持合格/不合格样本量的平衡。

在不了解样本结构时直接根据Kappa下结论是危险的。即使Kappa值为1,如果样本全部是非常容易判断的产品组成的,那么这个结论也是值得怀疑的。反过来说,即使Kappa值不高,但样本构成中包含大量难判断的产品,结论也不是不可接受,需要进一步分析检验员判断错误的实际情况后作出恰当的结论。

来源:张老师漫谈六西格玛

标签:

给我留言

您必须 登录 才能发表留言!

Copyright © 汽车质量管理笔记 保留所有权利.   Theme  Ality
本站部分资料来源于互联网分享,并不代表本站赞同其观点或对其真实性负责,也不构成任何其他建议。
如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会根据您提供的证明材料确认版权及时修改或删除内容。

用户登录 ⁄ 注册