【辛普森悖论】 - - Powered by Discuz!

标题: 【辛普森悖论】 [打印本页]

作者: admin 时间: 2013-10-10 08:52
标题: 【辛普森悖论】
在数据分析中，大家面对着一些结论性的数据，也许有些迷茫的事情发生，辛普森悖论就是其中之一。

当人们尝试探究两种变量是否具有相关性的时候，比如新生录取率与性别，报酬与性别等，会分别对之进行分组研究。辛普森悖论是在这种研究中，在某些前提下有时会产生的一种现象。即在分组比较中都占优势的一方，会在总评中反而是失势的一方。该现象于20世纪初就有人讨论，但一直到1951年E.H.辛普森在他发表的论文中，该现象才算正式被描述解释。后来就以他的名字命名该悖论。

请看下面的例子

一所美国高校的两个学院，分别是法学院和商学院，新学期招生。人们怀疑这两个学院有性别歧视。现作如下统计：

法学院

性别	录取	拒收	总数	录取比例
男生	8	45	53	15.1%
女生	51	101	152	33.6%
合计	59	146	205

商学院

性别	录取	拒收	总数	录取比例
男生	201	50	251	80.1%
女生	92	9	101	91.1%
合计	293	59	352

根据上面两个表格来看，女生在两个学院都被优先录取。即女生的录取比率较高。现在将两学院的数据汇总：

性别	录取	拒收	总数	录取比例
男生	209	95	304	68.8%
女生	143	110	253	56.5%
合计	352	205	557

在总评中，女生的录取比率反而比男生低。

就上述例子说，导致辛普森悖论有两个前提。

1、两个分组的录取率相差很大，就是说法学院录取率很低，而商学院却很高。而同时两种性别的申请者分布比重相反。女性申请者的大部分分布在法学院，相反，男性申请者大部分分布于商学院。结果在数量上来说，拒收率高的法学院拒收了很多的女生，男生虽然有更高的拒收率，但被拒收的数量却相对不算多。而录取率很高的商学院录取了很多男生。使得最后汇总的时候，男生在数量上反而占优。

2、有潜在因素影响着录取情况。就是说，性别并非是录取率高低的唯一因素，甚至可能是毫无影响的。至于在学院中出现的比率差，可能是随机事件。又或者是其他因素作用，比如入学成绩，却刚好出现这种录取比例，使人牵强误认为这是由性别差异而造成的。

为了避免辛普森悖论的出现，就需要斟酌各分组的权重，并乘以一定的系数去消除以分组数据基数差异而造成的影响。同时必需了解清楚情况，是否存在潜在因素，综合考虑。

管理上的应用：

辛普森悖论就像是欲比赛100篮球以总胜率评价好坏，于是有人专找高手挑战20 场而胜1场，另外80场找平手挑战而胜40场，结果胜率41%，另一人则专挑高手挑战80场而胜8场，而剩下20场平手打个全胜，结果胜率为28%，比 41%小很多，但仔细观察挑战对象，后者明显较有实力。

量与质是不等价的，无奈的是量比质来得容易量测，所以人们总是习惯用量来评定好坏，而此数据却不是重要的。除了质与量的迷思之外，辛普森悖论的另外一个启示是：如果我们在人生的抉择上选择了一条比较难走的路，就得要有可能不被赏识的领悟，所以这算是怀才不遇这个成语在统计上的诠释啰！

作者: 行风使士 时间: 2013-10-10 09:58
厉害，所以只有同层次的比较才有意义

作者: city-hunter 时间: 2013-10-10 11:00
讲的好！！！！

作者: kuso坛坛 时间: 2013-10-11 09:04
涨姿势了

作者: asuka0512 时间: 2013-10-11 09:13
第一次耐心的把全文通读、理解了一下，
受教了！

作者: qiu114588 时间: 2013-10-12 07:30
人们总是习惯用量来评定好坏，而此数据却不是重要的受教了

作者: 小神燕 时间: 2013-10-12 08:51
结论很精辟，想知道权重系数是怎么来的，

作者: mr-stranger 时间: 2013-10-12 15:31
高手...

作者: iblue768 时间: 2013-10-12 20:42
学习了！

作者: 尾巴丢了 时间: 2013-10-22 10:14
学习了

作者: 茅根妹 时间: 2013-10-25 09:39
wow！诠释得很好

作者: 雁鸣 时间: 2013-11-7 14:57
牛逼，很科学

作者: landsyy 时间: 2013-11-20 16:42
很少顶贴，赞一个！

作者: aimatmit 时间: 2013-12-14 16:34
质往往比量更重要！

作者: 蔚羽儿 时间: 2013-12-23 21:53
权重。第二个例子想到了田忌赛马

作者: aipiybli 时间: 2014-1-22 14:54
恩不能以量来定好坏

作者: leonicus 时间: 2014-2-13 20:13
感悟颇深，受教了

作者: whb19890811 时间: 2014-2-19 10:25
受教了，厉害

作者: 紫花地丁 时间: 2014-3-22 16:39
长知识了

作者: 无止境规划 时间: 2014-4-6 20:51
真心喜欢最后的那段结论。

作者: 钟阜石头 时间: 2014-4-12 15:54
精读。文虽短有深度

作者: 小林子 时间: 2014-5-5 15:40
引申出来的意义重大啊

作者: 乐城龙子 时间: 2015-2-28 15:40
明白了人生哲理，谢谢楼主！！

作者: zypgogogo 时间: 2015-11-3 15:25
学习了

欢迎光临 (http://bbs.caup.net/)