转帖一篇好东西：《统计的不能与不是》

这是我的光华ftp看到的一个ppt，应该是某个老师上课的讲义，感觉内容不错，所以转成文本格式发给大家看看：

统计的不能和不是
 
统计的处境

    * 越来越多的人意识到统计在人类生活的各个方面所起的重大作用。
    * 据说，在美国统计已经取代了计算机，成为最容易找工作的专业。而中国数学类学生赴美留学的首选专业也是统计。
    * 由于国情，虽然国人对统计的尊重远远不如美国人，但时代在变化，中国统计专业研究生的就业前景已经令许多曾经热门的专业望尘莫及。
    * 在不远的未来，统计的优势只会增加，而且会长期保持领先地位。


统计的处境

    * 统计被人看重的原因是供不应求 。
    * 一是统计的巨大市场；几乎所有领域都需要统计。
    * 另一个是统计专业所需要的包括数学、统计和计算机在内的功底，绝不是通过任何速成训练就能够达到的。
    * 人们知道，学数学的改行学什么的都有（反之不然），但即使是学纯粹数学的，改行学统计，也不象数学改行力学或物理那么容易。
    * 统计专业的研究生毕竟有限。世界上各领域的多数统计工作都还是该领域的人士进行的。
    * 而专业统计工作者的主要任务，则是根据各领域的需要，发展新的统计方法和理论，建立新的模型，发展新的计算方法。


统计不是什么 ?

    * 首先必须提及似乎只有在中国才有争议的统计定义。我相信，世界上多数统计学家都会同意下面《大英百科全书》的关于统计的定义：用以收集数据、分析数据和由数据得出结论的一组概念、原则和方法。
    * 这个定义强调了统计以归纳为主的思维方式，这使得统计显然不同于以演绎思维为主的数学。
    * 该定义也体现了统计为各个领域进行数据分析的服务性命运。

统计不是什么 ?

    * 由于统计需要大量的数学，而且现代统计的基础也是数学家所奠定的，统计也被人认为是数学的一个分支。这没有什么不可，就看如何定义数学了。
    * 但统计肯定不应属于纯粹数学的范畴。下面所提到的"数学"实际上主要指纯粹数学。（还有别的数学吗？）
    * 统计和数学都是可以为各个领域服务的。但是统计和数学有很大的区别。

统计的处境

    * 和音乐类似，数学圈内的人士可以欣赏数学本身的美妙的境界。
    * 数学的很多内容可以和实际世界没有任何关系。虽然现在越来越商品化的世界正试图改变各学校数学系的操作；但纯粹数学的纯洁性可能永远也无法改变。
    * 而旨在为各个领域服务的统计如果满足于欣赏自己的"魅力"，那统计就没有存在的必要了。
    * (当然,现在中国大学进行的"改革"可能会使得最后一些濒临灭绝的真正科学家消亡,而代之以一群适应官本位体制的政客)

 
统计的处境

    * 谈论统计的定义，还因为由于历史和国情的原因，中国曾经有过两个统计观念，一个是在经济类下面的文科统计，一个是数学类下面的数理统计。
    * 目前本科生统计专业就有至少三个"婆婆",这是统计发展的最大障碍。目前在研究生专业目录中，仍然有两个统计。
    * 相信，这种现象不会长期存在下去。和国际接轨是必然趋势。
    * 当然，没有人会定义谁是统计工作者或统计学家。任何与数据打交道的人都可以称自己是统计工作者。任何人都可以说自己搞的是统计。但下面关于统计（学科）的论述，是基于上面所引用的定义的。

 
 
 
 
 

统计教学最好不用数学的教学模式 

    * 从上面的定义看，统计和数学在思维方式以及在社会的地位都很不相同。因此，在教学上也应该有所区别。
    * 目前的数理统计课程是公认的既不好教，也不好学的课程。其原因很简单。
    * 目前多数数理统计教科书的内容主要是在计算机广泛应用之前的二十世纪中期发展的以估计和假设检验为主的统计推断理论。
    * 这些理论和19世纪的微积分很不一样。

 
 
 
 
 

统计教学最好不用数学的教学模式 

    * 发展这些理论的（数学出身的）大师的贡献主要是数学上的，特别是基于大样本的统计性质推导。
    * 他们关于估计和检验的几乎所有定理或者假定了总体的分布类型或者涉及大样本的极限情况。而多数成果是以数学论文的形式发表在数学味很浓的杂志上的。
    * 从这些论文所发展出来的教材很难不使目前数理统计的相当大部分讲课时间都花在对公式和定理的推导和证明，而没有集中足够的精力来理解藏在这些理论背后的统计思想。
 

统计教学最好不用数学的教学模式 

    * 在这样的数理统计教学中，学生很容易得到统计是数学的一部分的印象。
    * 然而，对于学过数学分析的学生来说，这些"数学"看上去既不系统、又不漂亮，但由于没有理解背后的统计思维逻辑，学生常难以理解为什么要教这些内容。
    * 而对于非数学专业的人来说，这些"数学"却往往显得十分奇特深奥，似乎无法理解。
    * 其根本原因是这些教科书把以归纳为主的统计按照以演绎为主的数学来写了。

一些数值结果可能没有名称所给予的印象那么好 

    * 在统计中，计算机输出的许多结果是统计规律性中随机性的体现；而与其相联系的术语却说明了这些随机性背后的规律性。
    * 例如，人们在统计课本中学到了关于估计量的各种最优概念，但是这些概念多半和作为随机变量的统计量的总体期望和方差有关，或者和重复抽样有关，或者和大样本性质有关。

 
一些数值结果可能没有名称所给予的印象那么好 

    * 比如一致最小方差无偏估计是在所有数学期望等于总体参数值的估计量中方差最小的。但是，可能被忽略的是，在以样本数据带入之后，该统计量就产生一个确定的数目了，这个数目就不再有那些和"一致最小方差无偏"几个字所联系的总体性质了。当然除了理解上的偏差之外，这不会带来任何后果。
    * 和此类似的另一个常见问题是把从某样本计算得到的刻画一个总体参数的95%置信区间看成是该区间以95%的概率覆盖总体参数。其实从数据计算出来的区间和总体参数都是确定的，没有随机性可言，也谈不上什么概率。

一些数值结果可能没有名称所给予的印象那么好 

    * 再例如相合估计量是估计中的重要概念。这是描述样本量趋于无穷时估计量收敛于待估计参数的性质。
    * 但到底样本量是多少才是大样本，没有多少人能够说得清楚（虽然很多人都认为n=30就算大样本）。
    * 这种样本量的问题最经常地出现在利用正态分布来近似未知分布的时候。

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 很多人把假设检验看成是证明零假设是正确的一种方法。实际上，在我们教科书中常用的检验中，比如H0：m= m0对Ha：m<m0一类的H0和Ha不对称的检验，根本不能证明零假设是对的。
    * 在不能够拒绝零假设时，只能够说明证据不足，而不能说"接受零假设"。
    * 统计应该是负责任的。在拒绝零假设时，我们总是会给出在零假设为真的情况下，错误拒绝零假设的概率。但是那些在不能拒绝零假设时声称要"接受零假设"的教科书中，从来都不提供在零假设错误时，错误地接受零假设的概率。

 
 
 
 
 

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 假设检验的目的就在于试图拒绝零假设。而不在于证明什么是正确的。
    * 实际上，科学大都是在否定中发展的。以物理学为例，它总是在不断否定旧假说中发展的。一个假说被新的证据否定了，又产生新的假说。
    * 而任何新假说的最终命运都是迟早被另外的假说所替代。

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 在充满了定义、引理、定理及推导的数理统计教科书中的任何结论都有一定的条件，而这些条件在具体应用中往往或者被忽略，或者被一些如同规则条款一样的程序来"验证"。
    * 以回归为例，人们被要求"验证"正态性，"确定"没有自相关，"认定"没有共线性等等；
    * 在这些以验证为目标的程序完成之后，就心安理得地认为结果是可靠的了。
    * 其实，根本无法证明任何一个样本来自正态总体，也无法确定有关的变量没有任何自相关，更无法确定绝对没有共线性。

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 如果不能拒绝诸如正态性这样的零假设，只能够说拒绝正态性的证据不足。
    * 关于自相关的检验也只能够发现非常局限的特定情况下的自相关，就更没有资格证明什么了。
    * 即使所有现存的关于回归条件的所有可能检验都无法拒绝进行回归所满足的条件，我们也只能够说，使用目前存在的方法没有发现问题，而永远不能说，绝对没有问题了。

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 当然，应该鼓励利用所有可能的检验方法来试图找出问题；但永远不能证明绝对没有问题。
    * 正像发射宇宙飞船一样，人们在发射前在用各种手段试图寻找问题；但如果没有找出问题，也绝对不能说他们已经证明不会有问题了。但至少可以说："我们已经尽了最大努力。"

统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 更加不可思议的是，有人为了达到"接受零假设"的目的，甚至搞"少数服从多数"。即对于一个假设检验，用多种检验统计量来检验，如果不能拒绝的多于可以拒绝的检验，则"接受零假设"。
    * 实际上，如果这些检验统计量都是为这同一个检验服务的，而且条件都符合，则适当的做法是：即使仅有一个检验拒绝零假设就应该拒绝零假设，如果都不能拒绝，就不拒绝零假设(不能说接受).
    * 这种搞"少数服从多数"的情况往往还把经典检验和非参数检验混起来使用；但在这时，零假设和备选假设的含义在非参数情况下意义和经典情况并不相同，不能比较。


统计实际上不能证明什么是对的。各种方法的假定也不一定成立 

    * 那么，什么时候应该相信自己的结果呢。
    * 这就回到不仅是对统计，而且是对所有科学最根本的认识：世界上所有的模型都只是对现实世界的某种近似。没有完美的模型。所有的模型都命中注定要被修正、改进以至于被替代。只要没有被新的证据所否定，任何假定的模型都可以应用，直到被更好的模型代替为止。
    * 理想的、唯一绝对说得出是非对错的世界可能只存在于纯粹数学之中。

造成世界上麻烦的思维 

    * 那些把世界简单化，把世界说成只有"是"和"非"的人，不是无知，就是别有用心。人类世界上如此多的麻烦，有多少 不是这些思维方式造成的呢？
    * 当然，世界上人类一切问题的根源在于资源的有限性和人类欲望的无限性之间的矛盾。这是真正的经济学、政治学和一切其他人文社会科学及科学技术的基础。也是一切统计模型的源泉。
    * 你这么想过吗？

方便的统计计算软件也给产生错误造成方便 

    * 统计软件的发展，也使得统计从统计学家的圈内游戏变成了大众的游戏。只要输入你的数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。
    * 那么，是否傻瓜式的统计软件的使用可以代替统计课程了？
    * 当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。
    * 有些诸如法律和医学方面的软件都有不少警告，不时提醒你去咨询专家。但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果，而且没有任何警告。


方便的统计计算软件也给产生错误造成方便 

    * 另外，统计软件输出的结果太多；
    * 即使是同样的方法，不同软件输出的内容还不一样；
    * 有时同样的内容名称也不一样。
    * 这就使得使用者大伤脑筋。统计专家也不一定能解释所有的输出。
    * 因此，就应该特别留神，明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。

方便的统计计算软件也给产生错误造成方便 

    * 那些"傻瓜式"的统计软件，往往不能随意做任何我们希望它做的事情，也不能输出各种想要的中间和最终点结果。
    * 这种只反映现存统计方法的软件主要是为非统计专业出身的人使用的。
    * 对于想要在理论和方法上有所创新的统计工作者，必须能够使用可以随意编程的语言来达到自己的目的。

统计如何被用来误导 

    * 用统计误导，有多种方法。
    * 一种是初级的；它有意无意地利用某些展示方式给人以与信息所代表的相反方向的印象。
    * 另一种更高级一些；它利用数据及统计方法上的选择来达到自己的目的。不能排除这种做法的相当一部分是有意的。下面举一些这方面的例子。

统计如何被用来误导 

    * 最常见于媒体的问题是在公布抽样调查结果时，不提样本量和调查对象（或如何得到样本的）。
    * 比如，一项广告可以说，"有三分之二人选择某产品"。人们往往理解为在广大消费者中，有三分之二的人选择该产品。
    * 但是，也不是没有下面的可能；即该广告数据仅仅来源于一个三口之家，其中有两个家庭成员使用该产品。

统计如何被用来误导 

    * 有些调查报告还煞有介事地公布调查的误差，比如误差为"加减三个百分点"之类。
    * 在没有样本量或没有置信度的情况下，仅仅公布百分比及误差都是不负责任的。
    * 公布调查对象也是十分重要的。一个旨在发现全社会文化水准的调查如果仅仅在城镇居民中进行，则是毫无意义的。

统计如何被用来误导 

    * 另一种常见问题是在数据上作假。
    * 一些人把试验中不支持自己观点的数目去掉，只用剩下来的数据进行分析，以得到有利于自己的诸如"结果显著"之类的结论。
    * 这种行为明显违背了统计的基本原则。
    * 另外，稍微无辜一点的做法是，当觉得数据有些"异常"时，把和自己想法不一致的点作为"异常点"删除，而用剩下的"干净"数据来拟合想象中的模型。
    * 这种随意删除"异常点"的做法是很不慎重的。在这种情况下，最好先弄清这些"异常点"的来源。说不定还会从中发现很有价值的信息呢。

统计如何被用来误导 

    * 一类很有争议的问题是对学校、县市及企业排序或分类等问题。
    * 实际上，不存在完全客观而又没有争议的方法来进行排序或分类。虽然排序者往往声称利用了貌似复杂的多元统计分析的方法，但变量的选择和权数的调整，使得几乎可以任意摆布分析结果。这一类随意按照数据来设立符合自己要求的指标或变量的做法并不少见。有些甚至以权威的面孔出现。

 
 
 
 
 

如果不理解数据背景，可能会产生不合理的结果 

    * 许多搞统计的，仅仅就数据论数据；而对数据产生的背景或相关的应用领域的内容不去了解。这对于做出合理的推断不利。
    * 要想进行某一领域的统计应用，统计学家必须理解该领域的有关内容。要知道，统计显著的结果不一定实际显著，反过来，实际显著的也不一定统计显著。
    * 生物医学统计就是统计学家与医学知识相结合的一个很好的范例。负责的统计学工作者会在为各领域服务中会学习相关领域的知识，亲自动手理解数据，了解其意义和背景（如果不能参与数据的收集的话），然后再对数据做进一步的分析。
    * 自视清高显然是无助于事的。

如果不理解数据背景，可能会产生不合理的结果 

    * 即使是容易理解和相对简单的数据，也会给分析者带来麻烦。
    * 例如，有一份谁都能够看明白的某地区十多年来的人口数据；人们发现1990和2000年的人口数字明显低于前一年。
    * 如果主观地认为对此可以进行有十年为周期的时间序列分析就大错而特错了。
    * 实际上这两年的人口数据是当地在全国人口普查时得到的数据，和往年收集数据的方法不一样。因此这两年的"异常"实际上是统计方法本身的不一致所造成的，和人口本身变化无关。

如果不理解数据背景，可能会产生不合理的结果 

    * 再例如，某地区的公路客运量在某两年中异乎寻常地超出了平时水平的两倍，以后又回到正常水平。
    * 经核对，这两年有一个非本地出资的国家工程，由于需要劳动力很多，人员流动也多，在本来很小的基数上，把客流量增加了显著的数量，而在地方数字上，很难找出原因。也很难用统计的方法来对这种波动进行描述或预测。

统计的不能 

    * 统计是在随机性中寻找规律性的科学。只要有规律，统计原则上就应该有办法找到。
    * 但是，对于没有规律性的对象，统计就无能为力了。例如，经济活动中存在不按客观规律而按照长官意志办事的现象；仅仅从经济数据可能不会找到其规律。
    * 但是，在现在的市场经济之中，弄虚作假的违法行为却不难用统计方法捕捉到。而那些贪官和不法商人的行动也可以从与他们利益有关的数据中得到体现。

 
统计的不能 

    * 现在世界上一些机构和咨询公司利用统计方法对几乎所有的问题进行预测和预报；其中包括战争的预测，政权更迭的预测，经济和贸易的预测，科技领域的发展以及各国政府的决策方向的预测等等。为此，必须要拥有充分的情报、信息或数据。没有合适的数据，统计是什么也做不了的。

谢谢大家
--
最新奇有趣的新技术、科幻、社会学信息：
奇想录 http://www.qixianglu.cn
订   阅 http://feeds.feedburner.com/woodphone
forcode科幻小说《抽水马桶的秘密》：
http://www.cmfu.com/showbook.asp?Bl_id=60008