最近和朋友们探讨app的话题，不约而同的都说到微信。无论是在工作日还是在周末，大家最常做的事情就是翻看聊天记录或者去看朋友圈。但是就现在的社会发展而言，不看微信又是一件特别不现实的事情，那么如何减少对微信的依赖就成为了一个关键的问题。

（一）避免实时响应消息

不少的人在使用微信的时候，已经养成了实时回复朋友消息，时刻关注朋友圈的习惯。如果在周末实时回复朋友消息，可能还好，毕竟周末只是一个休息的时刻。如果是在工作日要做到实时回复朋友的消息，那可能就有大麻烦了。对于一些脑力工作者而言，最害怕的就是在工作期间被打断。因为一旦被打断了工作，各种思路就必须要重新捡起来，耗时耗力。但是有的人在使用微信的时候，就已经形成了强迫症，不点开微信的红点消息，不查看朋友圈的消息提示就会觉得全身不舒服。这种时候，一定要想尽办法中断自己的这种条件反射。解决办法就是关闭微信消息的提示。这种时候就肯定会有人纠结一个问题，如果有人有急事找我，那该怎么办？其实，就个人的经验而言，如果真的有急事，那个人一定会直接打电话给你，而不是在手机边等着你慢慢地回复微信。通过微信聊天的，一般来说要么是暂时闲着无聊或者无事可做，要么就是说一些重要但是不那么紧急的事情，并不需要立刻做出回复。如果关闭了微信的消息提示，那么只要把手机放在一边即可，反正不会有新的消息提示，也就减少了触碰手机的频率，也就可以减少这种实时响应消息的条件反射行为。

在微信上的沟通经常都是有上句没有下句，本来打电话两分钟就可以说清楚的事情，在微信上面真的就需要沟通半小时甚至更长的时间。如果是在电车上闲着无聊，玩玩微信来 kill time 确实是一个不错的选择。但是如果在办公室或者工作岗位上，时刻通过微信沟通业务其实是一种效率不高的做法。

（二）慎重对待朋友圈

大家或多或少的都会在朋友圈发送一些图片，转载一些文章，这些事情本来也是正常的，都是正常的社交途径。但是如果在工作的时候时刻关注朋友圈，那也会造成很多时间的浪费。如果有朋友发送了朋友圈，那么朋友圈的位置就会出现一个小红点，时刻提醒着大家去看朋友圈。如果有朋友回复了朋友圈，那么就会直接出现消息的提示。很常见的一种情况就是：本来只打算看一下有没有新的消息，却一不小心打开了朋友圈，反而耗费了更多的时间在微信上。这个时候，可以关闭朋友圈的新消息提示，然后就再也不会出现小红点强迫大家去看朋友圈。这样的话，在忙碌的时候就不会时刻关注朋友圈，在休息的时候可以批量处理朋友圈消息。有人肯定会纠结：如果错过了朋友圈一些重要的消息怎么办？其实，说句实在话，朋友圈里面没有任何一条消息是必须需要处理了，完全可以忽略。目前朋友圈最多的无非就是旅游照片，自拍，转发的文章甚至微商。信息量很大，但是有用的信息却不多。能够获取有效知识的途径是通过书籍或者一些有质量的博客，而不是通过朋友圈。

（三）如何处理群聊

想必大家都用过微信群，随着时间的推移，微信群里面的成员就会越来越多，同时每个人也在不停地加入新的微信群。如果不把这些微信群的消息提示关掉，那么手机很快就会没电了，因为时刻都会有各种各样的群消息弹出来，并且群消息里面有很多是根本不需要关心和和回复的消息。也正是这些消息时刻转移着每个人的注意力。除此之外，红包本身是一个很优秀的产品设计，但是如果在工作的时候不停地关注红包，那可能就会酿成惨剧。几个月前不就有公交司机在车辆行驶的途中抢红包导致车祸的事情么。因此，为了不浪费自己的时间，关闭一些闲聊群的消息提示就是一件非常有必要的事情。至于红包，反正也没多少，喝一杯星巴克几十块钱都不眨眼的人，还会在乎那几块钱么。所以开启群消息免打扰就是一件必须要做的事情。

（四）工作和生活尽量分开

在一些大的公司里面，有着自行研发的实时聊天系统，因此在微信里面一般不会探讨工作的事情，但是对于没有这类系统的公司或者企业而言，上级通过微信来给下级布置任务就是一件特别常见的事情。经常出现的情况就是，本来是在聊工作的话题，突然有一个生活群冒出一个新的消息，同时自己又特别感兴趣，于是就会打开消息框，在里面和群友们谈笑风生。而且使用微信的时候，总会有朋友时不时寒暄几句，然后又不由自主的忘记了本来就应该完成的工作。你一句我一句，高效的工作模式就会被硬生生的切换成散漫的闲聊模式，导致工作没有办法按时完成，甚至只能够靠加班来完成任务。其实现在发现，随着大家步入了工作岗位，频繁的使用着微信，QQ的消息数反而减少了不少。经常发现登陆了一天的QQ，然后1对1的消息数几乎是零，除了群里面会有着各种各样的消息。这个时候，使用QQ来进行工作上的沟通或者是任务的布置或许真的就是一个不错的选择。

随着微信的发展，总会不由自主的时刻关注着微信消息，朋友圈，各种公众号。一旦有半分钟的闲暇时间，就会立刻掏出手机，查看各种各样的消息。在工作中，也总会时刻关注着手机的消息提示。也就是说，微信不仅占据着大量的碎片时间，甚至还在工作的时间中切割着每个人的大块时间。对于一个程序员或者其他脑力工作者而言，保证整块的工作时间是非常有必要的，这样可以保证工作的效率和质量。

最后，上面写了那么多，也说了一些解决的方法，当然也不一定很有效。不过，微信也要继续用，聊天也要继续聊，朋友圈也要继续发，红包当然也要继续抢。要做的只是选择一个合适的时间，合适的地点，合适的一群人，做合适的事情。

从2015年11月左右开始写订阅号的文章，至今也有大半年的时光了。其中得到了很多朋友的帮助和建议，也有朋友在后台留言，在此感谢大家。不过在看到一些问题的时候，有一些想法，在此写出来和大家一起分享。

PS：自己踏入社会也没多长的时间，可能其中也会有一些偏见，希望大家多多指教。

1. 范例思维

在写《博士生涯》系列文章的时候，有的朋友会在后台留言咨询这类问题：“在NUS读完PHD之后能否去美国或者欧洲做博士后？能否回国去985，211高校？”

关于这一类的问题，可能和大家在中学，大学所受到的教育有关系。在中学的时候，大家只有一个目标，那就是高考，所有事情和所有人都必须围绕着这件事情转，沿着这条路走下去。但是到了大学之后，就会明显的发现身边的同学不再只围绕着学习这一件事情，比方说有很多同学会去参加社团活动，有不少同学会去做社会实践，当然也有一批同学依旧以学习为主业，持续着中学的生活。其实，这几种生活方式都是可以接受的，毕竟在18岁之后，很多事情就需要自己亲自做决定。这个时候就会带来一个问题，如果学生明确知道自己想做什么事情，那就不会产生迷茫，肯定就一股脑的做下去了。但是，很多学生是不清楚自己该做什么，不该做什么的。那么在大学里面就会有老师，辅导员甚至学长学姐来给大家提供经验，告诉大家应该做什么，只有做什么能够带来最大的收益。

到了国外攻读博士学位的阶段，这种环境就会产生巨大的变化。不再有老师的就业辅导，不再有辅导员这个职位，甚至没有学长学姐的经验总结。用常见的话说就是：一切皆有可能。比如，在NUS读PHD的过程中，自己亲眼见过自己的朋友遇到过各种各样的悲剧。有的是导师辞职离开学校，把学生留在学校不闻不问的；有的是即使导师在学校，也对学生的科研不关心的；有的是拖着学生长期不给毕业的。身边的朋友也做过各种各样的选择，包括读博期间换导师的，转专业的，甚至退学的。至于毕业的去向，不仅有去欧美做博士后的，有去大学做助理教授的，也有去投行的，甚至有去互联网公司的。每个人都有着自己的生活，除了特别亲密的朋友，你不再会去关心别人做什么样的工作，过什么样的生活了。每个人根据自己的情况，走着完全不同的路，根本就没有模板一样的人可以模仿。每个人都需要为自己的选择负责，为自己的未来做着准备。

2. 线性思维

还有一些经常碰到的问题就是：“在NUS读完PHD，能够去投行工作吗？”，“在读博士期间需要去考CFA吗？”，“博士毕业工资能够拿多少？”，“这个硕士生或者博士生的项目竞争力如何，值得去读么？”

这些就是典型的线性思维，就是做了事件A，必然会导致事件B的发生。在现实生活中，人的发展不仅要考虑自身的情况，还需要考虑历史的进程。也就是说，很多时候并不是因果关系而是某种相关性导致了事件的发生。首先，读PHD，没有人能够保证博士生一定能毕业。其次，学生也不知道自己要读几年才能够毕业，只能够根据师兄师姐的毕业年限计算一个期望值。再次，导师给学生的推荐信质量也是不同的，师兄能够去985，说不定由于导师不喜欢某学生导致该学生只能够去二本教书，即使这个学生的论文发的水平远远高于师兄。并且跟一些厉害老板的学生的出路也不见得比一些普通老板的学生出路好。最后，能不能够去投行，能拿到多少工资基本上都是因人而异。曾经见过纯数学的同学去投行做quant，去互联网公司写代码，做着和博士论文基本上没有关系的工作。真正厉害的人，不在于多读了一个学位或者考了一个CFA，而在于那些让他们厉害的背后因素，一些其他人根本不具备的素质，比如性格，意志力等。

3. 学生思维

之前某天写过一篇转行的文章，有人在后台留言：“这些技术能不能进了企业再开始学？”，“转行到底要花多少时间？”，“在公司有没有人带着干活？”

在学校的时候，无论是本科，硕士，还是博士阶段，学生都可以告诉老师，虽然我不会，但是我愿意学。但是按照普通企业的招聘标准，一般都是观察这个人能否胜任该岗位的需求（或者说有潜力胜任这个岗位），而不是看这个人愿不愿意学。在企业工作，是需要时刻有产出的，无论是成功的项目还是失败的项目，都需要给出一个交代。企业是一个商业机构，需要员工有产出，然后从中获取利润的，而不是像学校一样的培训机构。

至于转行的时间肯定是因人而异的，不同的人有着不同的思维方式，不同的知识结构，所能够做的事情也会有所不同。不过如果想好了要转行的话，早准备肯定胜过不准备。还有的人会问如何快速的学习HIVE，C++之类的，这一类问题实在是不知道怎么回答。不过如果有一个人问我，如何在十天内快速学会实变函数，我一定会告诉他这是一件不可能的事情。

刚进公司的时候，一般来说会企业都会指定一位导师，给新人划定工作的范围，甚至有明确的deadline，看上去其实和学生时代没有什么两样。但是如果只是抱着完成任务的心态来工作，那这个项目基本上就完蛋了。上级一般来说会希望员工主动去思考一些问题，主动做一些事情，甚至有一个较为长远的规划。做这些事情都是希望员工能够成长起来，能够在工作中独当一面，能够和别的团队甚至和其它公司竞争。在学校中，一般来说老师都会主动教学生很多知识，希望学生学会这些技能。但是在工作中，有人主动传授知识和技能，绝对一种可遇而不可求的事情，很多技能都需要自己主动地去学习。别人出于援手帮助是由于他们的好心，如果没有出手也不必苛责。每个人在公司里面都有着做不完的业务，忙不完的事情，实在是没有多余的时间去指导其他人。既然在别人都可以自学成才，为何不自己动手主动学习，丰衣足食？在大多数情况下，一定要放弃“老师教才会学”的学习方法，企业雇佣一个人是用来产生价值的，而不是不是消耗公司资源的。

4. 不独立的思维

在学校的生活中，除了读PHD期间课题的未知性，在中学，本科，硕士的作业甚至论文几乎都有标准答案，考试也有规定的范围。在学生生涯中，除了读博士阶段，一般来说老师都会告诉学生该怎么做，不该怎么做。但是到了工作中，处处都是未知，每一天都是一种“考试”，没有固定的答案可以参考，没有现成的模版可以参考。学生思维的人一般都会以一种被动的方式去接受任务并完成任务，当然这并没有错。不过以职场的角度来说，这样就会处于一种非常被动的方式，一般都会在做一些繁重而没有多少技术含量的任务。在职场混，不但要学习，还需要主动给业务方甚至自己的团队出谋划策，想各种方案应对当前的问题。

在实际工作中，不仅需要提升自己的技能点，亲自动手做调研的工作，还需要学会和业务方沟通，想办法从其它地方获取资源供自己调用，甚至知道如何管理项目。如果独立负责一个小项目的话，不仅需要自己把控项目的进度，积极反馈产品的不足之处，还要推动项目其余成员去做该做的事情，一起把项目做好做大。在项目的进展中，不仅需要把具体的任务落实到每一个人身上，还需要实时地与大家沟通，了解项目的困难点和关键时间点，更好的完成项目。

前面一篇文章《异常点检测算法（一）》简要的介绍了如何使用概率统计的方法来计算异常点，本文将会介绍一种基于矩阵分解的异常点检测方法。在介绍这种方法之前，先回顾一下主成分分析（Principle Component Analysis）这一基本的降维方法。

（一）主成分分析（Principle Component Analysis）

对高维数据集合的简化有各种各样的原因，例如：

（1）使得数据集合更容易使用；

（2）降低很多算法的计算开销；

（3）去除噪声；

（4）更加容易的描述结果。

在主成分分析（PCA）这种降维方法中，数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据集本身所决定的。第一个新坐标轴的方向选择的是原始数据集中方差最大的方向，第二个新坐标轴的选择是和第一个坐标轴正交并且具有最大方差的方向。该过程一直重复，重复的次数就是原始数据中特征的数目。如此操作下去，将会发现，大部分方差都包含在最前面的几个新坐标轴之中。因此，我们可以忽略余下的坐标轴，也就是对数据进行了降维的处理。

为了提取到第一个主成分（数据差异性最大）的方向，进而提取到第二个主成分（数据差异性次大）的方向，并且该方向需要和第一个主成分方向正交，那么我们就需要对数据集的协方差矩阵进行特征值的分析，从而获得这些主成分的方向。一旦我们计算出了协方差矩阵的特征向量，我们就可以保留最大的 N 个值。正是这 N 个值反映了 N 个最重要特征的真实信息，可以把原始数据集合映射到 N 维的低维空间。

提取 N 个主成分的伪代码如下：

去除平均值

计算协方差矩阵

计算协方差矩阵的特征值和特征向量

将特征值从大到小排序

保留最大的N个特征值以及它们的特征向量

将数据映射到上述N个特征向量构造的新空间中

通过 Python 的 numpy 库和 matplotlib 库可以计算出某个二维数据集合的第一主成分如下：原始数据集使用蓝色的三角形表示，第一主成分使用黄色的圆点表示。

Principle Component Analysis 的基本性质：

Principle component analysis provides a set of eigenvectors satisfying the following properties:

（1）If the top-k eigenvectors are picked (by largest eigenvalue), then the k-dimensional hyperplane defined by these eigenvectors, and passing through the mean of the data, is a plane for which the mean square distance of all data points to it is as small as possible among all hyperplanes of dimensionality k.

（2）If the data is transformed to the axis-system corresponding to the orthogonal eigenvectors, the variance of the transformed data along each eigenvector dimension is equal to the corresponding eigenvalue. The covariances of the transformed data in this new representation are 0.

（3）Since the variances of the transformed data along the eigenvectors with small eigenvalues are low, significant deviations of the transformed data from the mean values along these directions may represent outliers.

（二）基于矩阵分解的异常点检测方法

基于矩阵分解的异常点检测方法的关键思想是利用主成分分析去寻找那些违背了数据之间相关性的异常点。为了发现这些异常点，基于主成分分析（PCA）的算法会把原始数据从原始的空间投影到主成分空间，然后再把投影拉回到原始的空间。如果只使用第一主成分来进行投影和重构，对于大多数的数据而言，重构之后的误差是小的；但是对于异常点而言，重构之后的误差依然相对大。这是因为第一主成分反映了正常值的方差，最后一个主成分反映了异常点的方差。

假设 dataMat 是一个 p 维的数据集合，有 N 个样本，它的协方差矩阵是 X。那么协方差矩阵就通过奇异值分解写成：

其中 P 是一个 (p,p) 维的正交矩阵，它的每一列都是 X 的特征向量。D 是一个 (p,p) 维的对角矩阵，包含了特征值 。从图像上看，一个特征向量可以看成 2 维平面上面的一条线，或者高维空间里面的一个超平面。特征向量所对应的特征值反映了这批数据在这个方向上的拉伸程度。通常情况下，可以把对角矩阵 D 中的特征值进行从大到小的排序，矩阵 P 的每一列也进行相应的调整，保证 P 的第 i 列对应的是 D 的第 i 个对角值。

这个数据集 dataMat 在主成分空间的投影可以写成

需要注意的是做投影可以只在部分的维度上进行，如果使用 top-j 的主成分的话，那么投影之后的数据集是

其中 是矩阵 P 的前 j 列，也就是说 是一个 (p,j) 维的矩阵， 是一个 (N,j) 维的矩阵。如果考虑拉回映射的话（也就是从主成分空间映射到原始空间），重构之后的数据集合是

其中 是使用 top-j 的主成分进行重构之后形成的数据集，是一个 (N,p) 维的矩阵。

下面可以定义数据 的异常值分数（outlier score）如下：

注意到 指的是 Euclidean 范数， ev(j) 表示的是 top-j 的主成分在所有主成分中所占的比例，并且特征值是按照从大到小的顺序排列的。因此，ev(j) 是递增的序列，这就表示 j 越高，越多的方差就会被考虑在 ev(j) 中，因为是从 1 到 j 的求和。在这个定义下，偏差最大的第一个主成分获得最小的权重，偏差最小的最后一个主成分获得了最大的权重 1。根据 PCA 的性质，异常点在最后一个主成分上有着较大的偏差，因此可以获得更高的分数。

整个算法的结构如图所示：

 

（三）效果展示

下面两幅图使用了同一批数据集，分别采用了基于矩阵分解的异常点检测算法和基于高斯分布的概率模型的异常点算法。

基于矩阵分解的异常点检测

 

基于高斯分布的概率模型的异常点检测

根据图像可以看出，如果使用基于矩阵分解的异常点检测算法的话，偏离第一主成分较多的点都被标记为异常点，其中包括部分左下角的点。需要注意的是如果使用基于高斯分布的概率模型的话，是不太可能标记出左下角的点的，两者形成鲜明对比。

异常点检测（又称为离群点检测）是找出其行为很不同于预期对象的一个检测过程。这些对象被称为异常点或者离群点。异常点检测在很多实际的生产生活中都有着具体的应用，比如信用卡欺诈，工业损毁检测，图像检测等。

异常点（outlier）是一个数据对象，它明显不同于其他的数据对象，就好像它是被不同的机制产生的一样。例如下图红色的点，就明显区别于蓝色的点。相对于蓝色的点而言，红色的点就是异常点。

一般来说，进行异常点检测的方法有很多，最常见的就是基于统计学的方法。

（一）基于正态分布的一元离群点检测方法

假设有 n 个点 ，那么可以计算出这 n 个点的均值 和方差 。均值和方差分别被定义为：

在正态分布的假设下，区域 包含了99.7% 的数据，如果某个值距离分布的均值 超过了 ，那么这个值就可以被简单的标记为一个异常点（outlier）。

（二）多元离群点的检测方法

涉及两个或者两个以上变量的数据称为多元数据，很多一元离群点的检测方法都可以扩展到高维空间中，从而处理多元数据。

（1）基于一元正态分布的离群点检测方法

假设 n 维的数据集合形如 ，那么可以计算每个维度的均值和方差 具体来说，对于 ，可以计算

在正态分布的假设下，如果有一个新的数据 ，可以计算概率 如下：

根据概率值的大小就可以判断 x 是否属于异常值。运用该方法检测到的异常点如图，红色标记为异常点，蓝色表示原始的数据点。

（2）多元高斯分布的异常点检测

假设 n 维的数据集合 ，可以计算 n 维的均值向量

和 的协方差矩阵：

如果有一个新的数据 ，可以计算

根据概率值的大小就可以判断 是否属于异常值。

（3）使用 Mahalanobis 距离检测多元离群点

对于一个多维的数据集合 D，假设 是均值向量，那么对于数据集 D 中的其他对象 ，从 到 的 Mahalanobis 距离是

其中 是协方差矩阵。

在这里， 是数值，可以对这个数值进行排序，如果数值过大，那么就可以认为点 是离群点。或者对一元实数集合 进行离群点检测，如果 被检测为异常点，那么就认为 在多维的数据集合 D 中就是离群点。

运用 Mahalanobis 距离方法检测到的异常点如图，红色标记为异常点，蓝色表示原始的数据点。

（4）使用 统计量检测多元离群点

在正态分布的假设下， 统计量可以用来检测多元离群点。对于某个对象 ， 统计量是

其中， 是 在第 i 维上的取值， 是所有对象在第 i 维的均值，n 是维度。如果对象 的 统计量很大，那么该对象就可以认为是离群点。

运用  统计量检测到的异常点如图，红色标记为异常点，蓝色表示原始的数据点。

 

异常值检测算法在数据挖掘的诸多领域有着应用场景，例如金融领域，信息传输领域，图像领域等。在研究过程中，有学者给出了异常点的一个定义：

An outlier is an observation that deviates so much from other observations as as to arouse suspicion that it was generated by a different mechanism.

RNN 算法的主要思想

在这篇文章中，我们将会介绍一个多层的前馈神经网络，该神经网络可以用来进行异常值的检测。这个神经网络模拟的是一个恒等映射，输入层的神经元个数和输出层的神经元个数是一样的。这类的神经网络被称为 Replicator Neural Networks (RNNs)，请注意这里的 RNN 算法指的并不是 Recurrent Neural Networks（RNNs），而是 Replicator Neural Networks，尽管它们拥有着同样的缩写名字 RNNs。具体来说， Replicator Neural Networks (RNNs)，或者说自编码器，是一个多层前馈的神经网络 (multi-layer feed-forward neural networks)。在 Replicator Neural Networks 中，输入的变量也是输出的变量，模型中间层节点的个数少于输入层和输出层节点的个数。这样的话，模型就起到了压缩数据和恢复数据的作用。

如图所示，这里的 RNNs 有三个隐藏层，输入层和输出层的节点个数都是6，第一个隐藏层和第三个隐藏层的节点个数（图中是4个节点）少于输入层，第二个隐藏层的节点个数是最少的（图中是2个节点）。在神经网络传输的时候，中间使用了 tanh 函数和 sigmoid 函数。这个神经网络是训练一个从输入层到输出层的恒等函数（identity mapping），传输的时候从输入层开始压缩数据，然后到了第二个隐藏层的时候开始解压数据。训练的目标就是使得整体的输出误差足够小，整体的误差是由所有的样本误差之和除以样本的个数得到的。由于图中只画出了6个特征，因此第 i 个样本的误差是

如果使用已经训练好的 RNN 模型，异常值的分数就可以定义为重构误差（reconstruction error）。

下面简要介绍一下 RNN 模型是如何构建的：

根据上图所示，左边的是输入层，右边的输出层。假设第 k 层中第 i 个神经元的输出是 ，其中 表示第 k 层中第 i 个神经元的输入， 表示第 k 层使用的激活函数。那么

其中 是第 k 层中第 j 个神经元的输出， 是第 k 层神经元的个数。对于第二层和第四层而言 (k=2,4)，激活函数选择为

这里的 是一个参数，通常假设为1。对于中间层 (k=3) 而言，激活函数是一个类阶梯 (step-like) 函数。有两个参数 N 和 ，N 表示阶梯的个数， 表示从这一层到下一层的提升率 (transition rate)：

+.

在这里可以假设 ，. 那么 就如下图所示。

第三层的激活函数的输出就变成了 N 个离散的变量：0, 1/(N-1), 2/(N-1),…,1。这个阶梯型的激活函数是把第三层的连续输入值变成了一批离散的值。也就意味着把样本映射到了 N 个簇，那么 RNN 就可以计算出单个的异常点和一小簇的异常点。

备注：

根据上面的分析，可以看出如果按照以上算法，则不能使用反向传播算法来训练模型，原因是 的导数不能够通过它的取值来表示。这一点与 tanh 函数， 函数是不一致的，因为 和 。因此有学者指出 [1]，使用三个隐藏层是没有必要的，使用1个或者2个隐藏层的神经网络也能够得到类似的结果；同样，没有必要使用 这样类型的阶梯函数，使用传统的 激活函数也能够得到类似的结果。并且 是一个 step-like 函数，很多地方的导数取值都是接近于零的。

后向传播算法：

一般来说，为了训练神经网络模型，需要使用后向传播算法（back propagation），也简称为 BP 算法，或者误差逆传播算法（error back propagation）。在本文中，仅针对最简单的 RNN 模型介绍如何使用 BP 算法进行模型训练，至于多层的神经网络模型或者其他的神经网络模型，方法则是完全类似的。

给定训练集合 ，其中有 m 个样本，并且输入和输出是一样的值。换句话说，也就是 n 维向量

.

换句话说，输入样例是由 n 个属性描述，输出的结果也是 n 个属性。隐藏层只有一个，隐藏层的神经元个数是 ，这里的 [] 表示 Gauss 取整函数。输出层第 j 个神经元的阈值使用 表示，隐藏层第 h 个神经元的阈值使用 表示。输入层第 i 个神经元与隐藏层第 h 个神经元之间的连接权重是 , 隐藏层第 h 个神经元与输出层第 j 个神经元之间的连接权重是 其中

记隐藏层第 h 个神经元接收到的输入为

写成矩阵形式就是：

记输出层第 j 个神经元接收到的输入为

其中 是隐藏层第 h 个神经元的输出， 是激活函数。写成矩阵形式就是：

输出层第 j 个神经元的输出是 其中

下面可以假定激活函数都使用 那么直接通过导数计算可以得到

对于训练集 通过神经网络得到的输出是 并且 对于 都成立。那么神经网络在训练集 的均方误差是

其中 整体的误差是

标准 BP 算法：

网络中有 个参数需要确定：输入层到隐藏层的 n*q 个权重值，隐藏层到输出层的 n*q 个权重值，q个隐层神经元的阈值，n 个输出层神经元的阈值。BP 算法是一个迭代学习算法，在迭代的每一轮采用了梯度下降法来进行参数的更新。任意参数的更新规则是

+

标准 BP 算法是根据每一个 来获得更新规则，下面来推导每一个参数的更新规则。对于 计算梯度

注意到 先影响到第 j 个输出层神经元的输入值 再影响到第 j 个输出层神经元的输出值 ，最后影响到 ，根据高等数学的链式法则可以得到

根据定义 可以得到 对于 都成立。

根据定义 可以得到 .

根据定义 和 可以得到

所以可以计算出对于 有

如果假设

那么可以得到

因此对于 可以得到

根据类似的想法，有

.

逐个计算：

由于

所以，

其中

整理之后，任意参数 v 的更新式子是 + 并且更新的规则如下：

其中学习率 控制着算法每一轮迭代中的更新步长，若步长太大则容易振荡，太小则收敛速度过慢，需要人工调整学习率。 对每个训练样例，BP 算法执行下面的步骤：先把输入样例提供给输入层神经元，然后逐层将信号往前传，直到计算出输出层的结果；然后根据输出层的误差，再将误差逆向传播至隐藏层的神经元，根据隐藏层的神经元误差来对连接权和阈值进行迭代（梯度下降法）。该迭代过程循环进行，直到达到某个停止条件为止。

标准 BP 算法的训练流程：
输入：训练集合 和学习率
过程：
1. 在 (0,1) 范围内随机神经网络中的所有连接权重和阈值
2. repeat
for all do
根据当前参数，计算出当前的样本输出
计算输出层神经元的梯度项
计算隐藏层神经元的梯度项
更新连接权重 与阈值
end for
3. 达到停止条件
输出：链接权与阈值都确定的神经网络模型

累积 BP 算法：

BP 算法的目的是最小化训练集上的累计误差 其中 m 是训练集合中样本的个数。不过，标准的 BP 算法每次仅针对一个训练样例更新连接权重和阈值，也就是说，标准 BP 算法的更新规则是基于单个的 推导而得到的。通过类似的计算方法可以推导出累计误差的最小化更新规则，那就得到了累计误差逆传播（accumulate error backpropagation）算法。标准 BP 算法需要进行更多次的迭代，并且参数的更新速度快，累积 BP 算法必须扫描一次训练集合才会进行一次参数的更新，而且累计误差下降到一定的程度以后 ，进一步下降就会明显变慢，此时标准 BP 算法往往会更快的得到较好的解，尤其是训练集合大的时候。

训练方法：

（1）把数据集合的每一列都进行归一化；

（2）选择 70% 的数据集合作为训练集合，30% 的数据集合作为验证集合。或者 训练集合 : 验证集合 = 8 : 2，这个需要根据情况而定。

（3）随机生成一个三层的神经网络结构，里面的权重都是随机生成，范围在 [0,1] 内。输入层的数据和输出层的数据保持一致，并且神经网络中间层的节点个数是输入层的一半。

（4）使用后向传播算法（back-propagation）来训练模型。为了防止神经网络的过拟合，通常有两种策略来防止这个问题。（i）第一种策略是“早停”（early stopping）：当训练集合的误差降低，但是验证集合的误差增加时，则停止训练，同时返回具有最小验证集合误差的神经网络；（ii）第二种策略是“正则化”（regularization）：基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分，例如链接权和阀值的平方和。

测试效果：

其中蓝色的点表示正常点，红色的点表示被 RNN 算法标记的异常点。

参考文献：

[1] Anomaly Detection Using Replicator Neural Networks Trained on Examples of One Class, Hoang Anh Dau, Vic Ciesielski, Andy Song

[2] Replicator Neural Networks for Outlier Modeling in Segmental Speech Recognition, Laszlo Toth and Gabor Gosztolya

[3] Outlier Detection Using Replicator Neural Networks, Simon Hawkins, Honxing He, Graham Williams and Rohan Baxter

 

聚类是一种无监督学习（无监督学习是指事先并不知道要寻找的内容，没有固定的目标变量）的算法，它将相似的一批对象划归到一个簇，簇里面的对象越相似，聚类的效果越好。聚类的目标是在保持簇数目不变的情况下提高簇的质量。给定一个 n 个对象的集合。把这 n 个对象划分到 K 个区域，每个对象只属于一个区域。所遵守的一般准则是：同一个簇的对象尽可能的相互接近或者相关，而不同簇的对象尽可能的区分开。最常见的一种聚类算法则是 K-均值 算法。

K-均值（K-Means）聚类算法

K 均值聚类算法是用来发现给定数据集的 K 个簇的一种无监督学习算法，簇的个数是由人工给定的，每个簇使用质心（Centroid）和相应的半径（Radius）来描述。需要量化的误差指标有误差平方和（sum of squared error）等。

K-均值算法是一种启发式的算法。它会渐近地提高聚类的质量，达到局部的最优解，但是就是因为这样，才容易陷入局部最优解，而没有达到全局最优解，所有有人提出了二分 K-均值算法。启发式的聚类算法很适合发现中小规模的簇，对于大数据集合，从计算量来说成本则会很高。K-均值算法也有着自己的不足之处，通过下面算法可以发现 K-均值算法对离群点特别敏感，离群点的存在会直接影响着 K-均值算法的效果。

K 均值算法的流程是这样的。首先，随机确定 K 个初始点作为质心。然后将数据集中的每个点分配到每一个簇中，具体来讲，为每一个数据点找距离其最近的质心，并将其分配给该质心所对应的簇。这一步完成之后，每个簇的质心更新为该簇所有点的平均值。

K-Means 的伪代码：

创建K个点作为初始的质心（经常是随机选择数据点中的K个点，而不是平面上随机的K个点）

当任意一个点的簇分配结果发生变化时：

    对数据集中每个数据点

        对每个质心，计算质心与数据点之间的距离

        将数据点分配到距离其最近的簇

    对每一个簇，计算簇中所有点的均值并将均值作为质心

注：K 均值算法在某些时候容易收敛到局部最小值。

使用一批二维数据集合，进行 4 均值聚类算法可以得到下图：’+’ 表示的是质心的位置，其余就是数据点的位置。

 

效果评估：

SSE 指的是 Sum of Squared Error（误差平方和）越小表示数据点越接近它们的质心，聚类的效果也就越好。质心使用 c[i] 表示，质心 c[i] 所包含的对象集合使用 C[i] 表示。如果用 p 表示 C[i] 中的某个对象，dist(p,c[i]) 表示的就是对象和质心 c[i] 的距离。那么误差平方和则定义为

 

二分 K 均值聚类（Bisecting K-Means）

为了解决 K 均值算法可能会收敛到局部最小值的情况，有人提出了二分 K 均值算法（bisecting K-means）。该算法首先将所有点作为一个簇，然后将该簇一分为二，之后选择其中的一个簇继续进行划分，选择哪一个簇进行划分取决于对其划分是否可以最大程度降低 SSE 的值。上述基于SSE的划分过程不断重复，直到得到用户指定的簇的数目为止。

二分 K-Means 的伪代码如下：

将所有的点看成一个簇

当簇的数量小于K时

    对于每一个簇

        计算总误差

        在给定的簇上面进行2均值聚类

        计算将该簇一分为二之后的总误差（指的是这两个簇的误差与其他剩余集的误差之和）

    选择使得总误差最小的那个簇进行划分操作

另一种做法就是：每次进行下一步划分的时候，选择误差平方和最大的簇进行划分，直到簇的数目达到用户指定的数目为止。这样的启发式算法就使得整体的误差平方和尽可能的小，也就是簇的划分更加精确。

使用一批二维数据集合，进行 3 均值聚类算法可以得到下图：’+’ 表示的是质心的位置，其余就是数据点的位置。