最近”水哥”很是火了一把，一招微观辩水技惊四座，粘贴下其如何做到的描述如下：

前段时间在乌云知识库上面看到一篇比较有意思的文章利用机器学习进行恶意代码分类。这篇文章对Kaggle上的一个恶意代码分类比赛中冠军队伍所采用的方法进行了介绍，展现了机器学习在安全领域的应用与潜力。但是这个比赛的主题是恶意代码的分类，没有进一步实现恶意代码的检测；其次比赛的代码只是针对Windows平台的PE格式，缺少对移动应用的研究。受此启发，尝试利用机器学习方法在Android平台对恶意代码进行检测，最终得到了一定的检测效果。

这起活动的策划者积累了大量关于web流量和网站的访客信息，涉及了100多家网站-攻击者会有选择地渗透这些网站，从而接触到他们的受众目标。

在过去的一年中，我们发现可能有政府赞助的攻击者在参与大规模的网络侦察活动。他们在活动中利用了web分析技术来收集、分析和报告从受害网站上的数据，从而被动地收集关于网站访客的信息。这起活动的策划者积累了大量关于web流量和网站的访客信息，涉及了100多家网站-攻击者会有选择地渗透这些网站，从而接触到他们的受众目标。

深网（Deep Web）覆盖的内容包罗万象，其中包括有动态网页，已屏蔽网站（需要你回答问题或填写验证码进行访问），个人网站（需要登录凭证才能进行访问），非HTML/contextual/script内容和受限访问网络等等。但由于各种原因，Google等搜索引擎无法索引到暗网的内容。

黑客团队Impact Team在8月18日公布了偷情网站Ashley Madison的数据（Link），多名用户确认了数据的真实性。泄露数据通过BitTorrent被广泛传播，还有人已经设立一个网站

最近在Kaggle上微软发起了一个恶意代码分类的比赛，并提供了超过500G的数据(解压后)。有意思的是，取得第一名的队伍三个人都不是搞安全出身的，所采用的方法与我们常见的方法存在很大不同，展现了机器学习在安全领域的巨大潜力。在仔细读完他们的代码和相关的论文后，我简单的进行了一些总结与大家分享。

本文用识别由域名生成算法Domain Generation Algorithm: DGA生成的C&C域名作为例子，目的是给白帽安全专家们介绍一下机器学习在安全领域的应用，演示一下机器学习模型的一般流程。机器的力量可以用来辅助白帽专家们更有效率的工作。

这个系列教程我本来打算的是翻译，后来过了一下文章发现教学过程不是很友好，所以大体是按他的思路，不过其中做了很多改动，还有个事情就是我假定读者已经了解基础的python和SQL注入的知识。还有一个需要注意的是我是写在ipython notebook中，所以文中的代码可能需要一点改动才能用。

谈到日志分析大多数人的感觉是这是一个事后行为，场景当黑客成功将网站黑了。运营人员发现的时候安全人员会介入分析入侵原因，通过分析黑客攻击行为往往会回溯最近几天甚至更加久远的日志。

对于大数据我相信大多数人都不陌生，特别现在是在大数据时代，当下流行的技术很多人都可以朗朗上口比如hadoop、hbase、spark、storm，那么在数据收集中，是否有好的解决办法来帮助企业进行安全管理及策略分析呢，笔者搜索了很多资料，通过自己的实践分享一篇我对大数据日志分析及处理的见解，本篇技术是基于logstash elasticsearch、redis结合ossec来做的开源方案。 在《无处可藏》中斯诺登提到NSA对网络及数据收集的原则是收集一切，在企业安全上也需要做到如此，众所周知安全的风险来自于边界，黑客也会挑一些比较边缘的业务进行入侵，但这些东西我们都没记录但对于后续的应急响应和入侵检测来说就无从谈起，所以在企业内做大数据的原则也是“收集一切”。 开篇提到的这些主要是为了下文做铺垫，本文基于系统安全日志来做收集及处理，希望能给大家提供一些思路，整体为开源技术，屌丝安全的本质是“快”，当前社会唯快不破。

对于前段时间流出的QQ群数据大家想必已经有所了解了，处理后大小将近100G，多达15亿条关系数据（QQ号，群内昵称，群号，群内权限，群内性别和年龄）和将近9000万条群信息（群号，群名，创建时间，群介绍），这些数据都是扁平化的2维表格结构，直接查询不能直接体现出用户和群之间的直接或者间接关系。通过数据可视化，可以把扁平结构的数据作为点和线连接起来，从而更加直观的显示出来从而进行分析。

验证码作为一种辅助安全手段在Web安全中有着特殊的地位，验证码安全和web应用中的众多漏洞相比似乎微不足道，但是千里之堤毁于蚁穴，有些时候如果能绕过验证码，则可以把手动变为自动，对于Web安全检测有很大的帮助。