数据资料中的异常值，应该直接删除吗？

不少人反问我：我的资料则有出现异常参数，其实应该撤下？要回答这个缺陷，我们必须从出现异常参数的概念来诉说。或许有的人觉得出现异常参数较好阐释，不就是“出现异常”的参数吗？关键是，怎样此时此刻出现异常呢？例：在10个资料中（上图黑色点）；也加入橙、紫色、深蓝色的3个点，它们都是出现异常参数吗？出现异常参数其实是一个极为宽泛的概念，它至少包括有了三种情况：(1) 离群参数（outliner）离群参数是指从因变量y的角度来看分属出现异常的参数，如图中的橙色点和黄色点，颠倒y的均参数较其它点更多于。离群参数一般来说引入学生化残差来断定。(2) 高杠杆参数（high leverage）高杠杆参数是指从对数x的角度来看分属出现异常的参数，如图中的深蓝色点和黄色点，在x轴上颠倒x的均参数较多于。高杠杆参数一般来说引入杠杆参数来断定。(3) 过关斩将严重影响参数（influential observation）过关斩将严重影响参数是指对假设严重影响较大的参数，一般来说，如果撤下了该参数，都会导致假设遭遇太大变动（如下式参数改变较大）。过关斩将严重影响点一般来说引入COOK'D参数、DFBETAS和DFFITS来断定。上图相当了不同出现异常参数对假设值效果的严重影响。图中黑色实线或对此另有有这3个出现异常参数的值线或，黄色、橙色、深蓝色圆点或分别对此成分黄色点、橙色点、深蓝色点时的值线或。不难看出，成分有黄色点时，对假设值严重影响却是较大（与黑色实线或却是重合）；成分有深蓝色点时，值线或被向右拉低，即重返下式多于低于黑色实线或；成分有橙色点时，值线或也被拉低。如果要断定的话，黄色点虽然从x方向和y方向上都颠倒均参数，但却不是过关斩将严重影响点；深蓝色点和橙色点才是过关斩将严重影响点，因为单独的任一点以后可以导致下式遭遇太大变动。我们过去过去坚信了如何断定一个点其实出现异常点，紧接着的缺陷就是，如果我发现了出现异常点，应该怎么出口处理？不少人习惯非常简单蛮横的作法，即直接撤下。这并不是比较好的前提，有时甚至都会让你错过一些似乎的规律。当你发现出现异常参数后，一定要必先分清是什么原因导致的出现异常参数，然后再考虑如何出口处理。如果是分属载入有误或Laboratory纪录有误等，这很容易，立刻修改需。如果不是载入有误，而是确实存有这样的出现异常参数，这时需要根据不同情况来分别对待。首必先，如果这一出现异常参数并不代表一种渐进的，而是极为偶然的物理现象，或者说你并只想深入研究这种偶然的物理现象，这时可以将其撤下。例如，你要深入研究身高与血压的父子关系，但你的深入研究人群中恰好纳入了姚明，这种情况下，可以将其撤下，只用其他人透过研究。因为这并不代表一种渐进的物理现象，而且你或许也只想深入研究特殊的情况。其次，如果出现异常参数存有且代表了一种真实存有的物理现象，那就无法不用撤下。比如核查了100个村的胃癌发病率，或许确实有个别村庄的发病率多于多于高于其它村，这时就无法不用撤下，而是要把这些出现异常点纳入，重新值假设，深入研究其规律。例：某Laboratory监测了细菌培养菌群数量与时间段的父子关系，试透过研究。很显著，上图中的两个橙点是出现异常点，可以让线或性重返的下式遭遇剧烈变动。那这种情况下是不是需要撤下这两个参数呢？首必先看一下这两个参数是不是实验误差，如果这两个参数是精准的，那它很或许代表了一种去向。一般来说，在短期内增加缓慢，但是到了一个关键时间段点后（如30），种群数量就都会猛增。此时如果你直接撤下这两个点，就不都会似乎发现这种规律。所以我们可以纳入这两个点，但是无法值线或性重返，而是要根据其椭圆形值非线或性假设。如此出口处可以考虑对时间段time透过指数DFT，可以发现DFT后假设更能有效地值资料。