EveryLog日志审计系统介绍

EveryLog日志审计系统介绍（精选5篇）

EveryLog日志审计系统介绍 第1篇

深圳市得宁信息技术有限公司

EveryLog日志审计系统介绍

联系人： 李国强

QQ： 79486886

网址：

一、产品概况

EveryLog日志审计系统开发的目的是为了实现各种日志采集，包括：各种网络设备、操作系统、应用程序、WebLogic日志、数据库、智能手机等，并通过日志过滤、分析、告警、审计、汇总等各种管理手段帮户客户提前发现网络问题。

本系统可以和交换机、路由器等设备共同组网，根据用户的要求收集指定的网络信息，系统支持采集的信息类型包括：syslog、windows 事件、WindowsWMI事件、SNMP、网络数据包、各种应用程序日志、数据库日志、Web应用日志、Email、QQ、FTP、Telnet、Http等。同时可以采用网络探针对网络数据进行嗅探，采集网络数据包进行分析。

系统对不同来源的日志进行统一存储、汇总、过滤和审计分析，在分析的同时增加告警机制，用户可以通过配置告警规则实现不同级别的告警，系统提供的告警方式包括：颜色告警、声音告警、邮件告警、短信告警。用户可以自定义自己的审计报告，通过选择过滤方式和告警类型生成自己的审计报告汇总，当用户的审计报告内容有变动时系统会通过邮件通知用户变动情况。系统提供实时告警监控，用户可以在日志管理界面上了解当前实时上报的告警信息。

EveryLog系统是一个设计灵活并且可扩展的网络日志审计系统，为了支持多样的日志采集和审计功能，系统提供插件机制来扩展不同的需求，在核心服务不变的情况下，用户可以单独安装不同的组件即可实现不同的监控需求。系统也能快速实现用户提出的定制开发的需求。

二、产品特点

 支持丰富的日志类型；

 具有良好扩展性的告警规则；

 具有可扩展的日志收集模型；

 智能日志汇总；

 跨平台日志收集；

 开放接口，支持二次开发；

 强大的日志处理能力，2千条/秒以上；

 系统支持日志知识库，可以方便日后数据分析和查询；

 系统支持行业知识库搜索及查询

 告警日志可视化；

 支持自定义告警方式

 支持查看实时告警

 支持自定义日志审计

 支持自定义报表定义

三、系统组网

四、产品功能

1)日志采集功能

系统支持丰富的日志采集功能，采集种类包括：

 各种网络设备日志（syslog等）

 网络探针侦听(网络数据包)

 数据库日志(Sql server, Mysql, Oracle)

 Web系统日志（iis,Apache,WebLogic）

 操作系统日志（WinEvent，syslog等）

 智能终端日志(Android, iOs，WindowsMobile等)

 监控设备日志(SNMP trapper)等等。

 应用程序文本日志

2)日志汇总和过滤功能

支持原始日志保存

系统支持日志内容过滤、网络地址过滤

自定义日志过滤规则

3)智能网络拓扑功能

智能直观的网络节点显示界面，可以帮助用户很容易的定位设备的位置以及设备的资源监控情况。

4)日志审计分析功能

用户可以选择不同的告警规则来定义自己的审计报告

系统支持用户对审计报告进行查询、打印、导出等操作

系统可以根据用户的审计报告生成图表

图表支持条形、饼图、曲线图等。

用户可以设置自定义条件进行审计

5)全方位的告警功能

灵活、易扩展的告警规则机制

用户可添加自定义的告警规则

声光电、短信、邮件告警

在界面上实时滚动显示告警信息

在客户端上方实时显示告警统计信息

6)告警知识库

根据本局告警确认生成知识库

自动从互联网搜索行业运维信息建立相关性链接

用户通过全局搜索快速定位运维处理信息。

7)报表统计功能

支持月、季、年报表

用户可以根据数据库字段自定义报表

8)安全管理

系统要求对用户进行配置，用户配置时需要对用户添加权限，系统对权限的划分为：日志源配置权限、日志告警配置权限、日志查询权限。用户在配置时可以选择其中一个或多个权限，多个权限之间是或关系，用户登录后只能操作具有此权限的对象。

五、性能指标

1)网络设备数量：无限制

2)日志处理性能：1500条/秒

3)查询响应时间：<= 2秒

六、维护及服务支持

得宁信息提供标准的5*8小时及7*24小时（需单独购买）技术支持服务。

技术支持服务方式：

1)现场支持（本地可享受此服务）

2)电话支持

3)远程支持

4)邮件支持

5)网站支持

七、服务响应时间

对所有客户的响应时间为：

 周一至周五上午9点至下午6点

 特殊情况可享受7*24小时服务

 以邮件形式提交的问题，响应时间为 <=4小时

EveryLog日志审计系统介绍 第2篇

Internet网络的发展给人们的生活带来了史无前例的变化,据统计目前全球互联网用户人数已经超过10亿(2007年底),足见互联网发展之快、影响之大。人们在享受着Internet网给人类带来便利的同时,也对无处不在的网络安全威胁深有体会,如非授权访问、数据破坏、黑客、病毒等,特别是病毒的传播,破坏性之强、影响范围之广,人们对此深恶痛绝。

1999年CSI/FBI的计算机犯罪及安全调查局指出,82%的损失是内部威胁造成的;根据国际上一些权威机构提供的数据,目前有60%以上的网络入侵和破坏是来自网络内部。这是因为虽然外部入侵造成的网络安全问题相当严重,但可以通过技术手段如防火墙、路由器等解决,即使非常严重也可以通过物理阻断来达到这一目的。统计数据表明网络安全更大的威胁来自网络内部,这是因为网络内部人员更加熟悉自己的网络结构,同时拥有一定的授权,且位于防火墙的后面。因此内部人员不需要了解太多的电脑技术,就能方便地访问内网,由此造成的资料窃取、病毒传播等网络犯罪行为也更容易发生。基于此研究了现有日志安全审计技术,提出了基于时间合理性规则日志审计技术并融合部分安全审计技术,设计了简单的系统给以实现,基本上实现了局域网内网络安全的要求。

2 安全审计概述

安全审计定义:信息系统安全审计主要是指对与安全有关的活动的相关信息进行识别、记录、存储和分析;主要功能包括:自动响应、数据生成、审计分析与查询、数据存储等。

从20世纪70年代末,Anderson首次提出了利用系统日志信息进行安全审计的思想,国内外的研究人员对此进行了不懈的探索,并提出了一些安全审计模型。文献[1]提出了基于防火墙日志的网络安全审计系统,文献[2]提出了一种基于局域网监控日志的安全审计系统,文献[3]提出了基于多种日志数据的审计系统,文献[4]提出了基于主机的安全审计系统。其中文献[1,2,4]涉及的数据源均是单一数据源,文献[3]采集多种日志源数据,有效解决日志数据规模庞大而引起的效率低问题。

3 安全审计设计

安全审计流程:见图1

根据系统框架图的设计,网络安全审计分两个模块,即数据采集、安全审计。

3.1 数据采集与处理

数据采集是安全审计的基础,采集到的数据必须是正确的完整的才能够说明真实发生的事件行为。本系统目前采集的数据是Windows系统的安全审核日志,这种日志是规范的和有效的。该系统数据采集是在系统安全审核日志产生后但尚未写入系统安全日志前,捕获到的日志数据同步转存本系统的日志数据库,因此数据采集方式是可行的有效的。这种采集方式在系统安全日志遭到恶意破坏或删除时,能够较完整保存。同时辅以其它的方法,如对原始数据进行外存备份、数据加密等方法手段,数据采集的安全有效及完整性能够得到保障。

Windows操作系统安全日志提供九类审核策略,如果审核策略全部启用,则日志数据规模非常庞大,一旦系统出现问题,系统安全管理员将面对严峻的考验。在这些事件日志中有很大一部分是安全无危险的操作,对于此类数据,系统在审计前首先应对这种数据清理、合并,以减少数据冗余与数据规模。

3.2 安全审计

3.2.1 审计内容

在审计时,审计哪些问题要有明确的目标,全面审计是不可能的。作为系统管理员应切记审计的内容越多,则系统审核策略产生的相应的日志事件规模就越庞大,严重问题事件的发现就越发困难。如果确实需要审核大量内容,则可以考虑使用附加的工具对安全行为事件进行数据清理及归并后,再行审核。

主要审核内容有:

(1)文件数据访问:对重要的机密性文件资料或者重要数据是否被非授权用户尝试访问、修改或删除等。

(2)用户非授权登录尝试行为。

(3)异常行为:某些安全的事件,如果在特定的时间频繁发生,极有可能是一个潜在的系统安全威胁因素。同样如果多台机器在相同的时间内产生类似的操作,此行为可能存在一种共同入侵的嫌疑。

(4)策略更改:系统本身已配置相当多的安全运行策略,如果有关的审核策略被强行更改,将严重影响系统的运行安全。如:防火墙的关闭功能启用及相关端口的启用等安全策略将影响系统运行安全。

3.2.2 日志安全审计

本系统采用实时审计与事后审计相结合的方式,对采集到的数据进行审计。实时审计就是在系统的运行过程中将采集到的日志数据与所设定的规则匹配,匹配成功则将相应的报警处理信息通过一定方式给出,并将对应的审核数据存入实时审计数据库;否则将视此日志事件为安全操作。事后审计是一种集中的数据处理行为,由于在实时审计过程中主要针对的是单条日志数据,对于很多有关联的操作不能够做出准确的判断;历史审计弥补了这一不足,对于一些有关联的连续的事件可以做出较准确的判断,同时将相关结果存入历史审计数据库。

数据审计,就是对事件行为的合法性与合理性依照安全标准审核,这些标准(安全审计规则)是日志数据分析与安全审计的基础。目前尚没有非常完善的安全审计系统,已存在的安全审计系统主要采用基于专家系统技术、基于数理统计分析技术、基于状态转移行为技术、聚类技术及频繁模式挖掘技术等。本系统主要采用时间合理性日志审计技术、专家系统技术与数据统计分析技术对相应事件行为进行安全审计。

3.2.2. 1 基于时间合理性审计技术

局域网内随着用户数量的增加,网络安全管理的难度也相应的加大。根据统计,目前发现资料窃取及泄漏60%以上为局域网内部员工所为。基于此,如果在一个合理合法的范围内对内部员工进行有效的监督管理,将能够减少这种行为造成的损失,措施得当,也可以避免这种损失。

为了方便员工之间的交流与信息传递,局域网内部一般会开启比较多的功能,但这也为一些员工的不法行为提供了方便之门。正常上班时间员工对于计算机上的资料信息应该是非常遵守管理规定的,但是如果员工在下班之后通过远程计算机访问本公司内部数据,很有可能会造成较为严重的经济损失。因此系统中提出了时间合理性规则对正常用户的非正常登录进行审计,对用户的行为进行跟踪与记录。

规则在实施的过程中是将用户的访问时间预先设定,而且只能拥有管理员权限才能对用户合法时间进行修改或加入新用户作业时间。具体是在系统获取的日志数据中如果检测到包含有该用户信息,而且是不被允许登录访问的时间,则直接向管理员发出报警;如果此操作不是被特别允许,则此行为对系统数据安全有较高程度的威胁。如图2、图3所示:

3.2.2. 2 基于专家系统审计技术

专家系统审计,是根据历史操作中发现的问题共性特征形成规则存入安全审计规则库,目前此技术较为成熟,在审计结果中准确率能够达到100%,每条事件模式的匹配耗时也较少。系统运行中获取到事件行为日志后,将相应的事件信息与规则库的事件模式匹配,因为规则中有很多事件模式是由多个连续的日志事件组成,而具有相同事件顺序的模式只在极少属性上有区别,此时为准确判断事件行为,加入了相关模式事件的权值比较,根据对应模式事件的权值计算判断优先匹配等级及对应的响应报警方式。

3.2.2. 3 基于数理统计分析审计

针对某些行为的高发性特点,而单个事件行为又是正常合理事件,根据此类事件形成了数理统计分析审计规则。该规则主要用于用户的频繁性事件行为,特别是非授权用户对限制数据的尝试访问行为或者计算机端口被不明身份者频繁扫描行为适用数理统计分析审计。此类审计规则在判断中加入了一定的阈值及限定条件,超过限定阈值则视为威胁系统安全的行为已存在。如果是基于历史数据的审计,还可以将类似事件行为进行关联研究以确认危险操作的发生以及新的危险行为模式。

3.2.3 结果响应

审计出的问题将根据事件模式的危险程度给出对应响应。具体如下:安全事件在数据清理阶段将被过滤掉;较低危险等级事件可以只将此事件模式对应信息记录到审计数据库;中等危险等级事件模式除将事件信息记录到审计数据库外,还要给出相应的交流对话信息,通过管理员的响应来确定事件模式的最终危险程度;高危险等级事件模式将直接给出通知信息,同时将相关事件模式的简要信息发送到管理员专用邮箱,并将此类事件信息入库。

3.2.4 审计报告

审计报告模式采用系统主动提供与被动提供两种方式,系统主动提供就是在系统中加入控制时间,要求系统在特定的时间完成对特定时段审计结果信息的提取、整理与分析;被动提供是用户依据系统提供的审计报警信息或根据自己发现的问题信息向系统提出报告请求,系统根据提出的请求信息给出相应的审计报告。

审计报告的内容主要涉及系统的简要信息,审计结果的简单数理统计,危险等级与事件模式,用户以及工作站相关信息等。在给出简要信息的基础上根据现有网络安全知识设定系统安全参数来推断当前系统的安全状态,并根据数据分析结果提出相应的安全防范措施或建议。

4 性能分析

在实验室局域网服务器上运行本系统,能够较好的处理来自局域网内其它工作站的访问请求,并模拟了相应的强制登录访问企图与相关文件的访问尝试,特别模拟了时间合理性规则审计技术,实验结果表明本系统能够较好的发现局域网中用户的大多数操作行为与企图,对违规使用的行为进行了有效的控制,提高了日志事件行为审计的准确率、对资源的占用得到了有效的控制。

5 结束语

本文在研究分析现有安全审计技术基础上,特别提出了基于时间合理性的安全审计技术并在安全审计系统中给予实现,为局域网数据安全提供了又一层保障。

在实验过程中,虽然大多数局域网内的违规访问行为能够被发现并依据安全审计规则报警,但仍有为数不少违规事件行为被漏报,这说明系统中现有的安全审计规则亟待完善。因此,在下一步的研究工作中,将继续完善安全审计规则,以期在安全审计中进一步减少误报与漏报的产生。

参考文献

[1]李承,王伟钊,程立,汪为农,李家滨.基于防火墙日志的网络安全审计系统研究与实现[J].计算机工程,2002,28(6):17-19.

[2]王新昌,杨艳,刘育楠.一种基于局域网监控日志的安全审计系统[J].计算机应用,2007,27(2):292-294.

[3]黄艺海,胡君.日志审计系统设计与实现[J].计算机工程,2006,32(22):67-68.

[4]崔嶎,赵强,姜建国,黄钧.基于主机的安全审计系统研究[J].计算机应用,2004,24(4):124-126.

基于日志的网络安全审计系统设计 第3篇

网络安全审计系统能够有效地监督内部人员的网络行为, 防止企业敏感信息、技术专利、技术资料的流失;通过对系统日志的收集、积累及分析, 能够发现网络内部用户的异常行为, 并及时提醒审计人员确认事故责任人。网络安全审计系统将极大地增强网络安全整体防范和预警能力, 广泛应用于电信骨干网络、政府骨干网络、金融、教育网络、大型企业网络等领域。

1 网络安全审计系统框架

根据文献[2-3]中网络安全审计系统的要求, 本文提出的对网络安全审计系统模型如图1所示:

整个系统对操作系统的系统日志、安全日志、应用程序日志、防火墙日志、网络数据等进行采集, 并将采集出的数据进行统一格式处理;根据日志进行实时处理分析, 随后根据规则库产生相应报警, 并可以通过电子邮件或弹出对话框向管理员报警;并对采集到审计系统中的日志进行定时或定量备份存储, 并可以支持各种日志从外部导入;审计结果可以对入侵行为和违法行为进行记录并可以在任何时间对其进行再现, 此功能对于责任追查和数据恢复非常有必要;最后此系统还可以用来提取一些未知的或者未被发现的入侵行为模式。

2 日志模块设计

2.1 日志数据采集

为系统日志、网络数据和防火墙日志的提取分别创建一个线程, 通过每一个线程函数分别实现将各自的日志提取到缓冲区的功能。本模型使用了提供者 (Provider) 模式:针对不同的日志采集的对象, 所要实现的主要功能是日志的读取与插入Insert () 和Get () 方法。使用一个抽象类Log Provider声明不同的提供者必须要实现的两个方法Insert () 和Get () 方法, 分别写多个提供者类以实现抽象类的两个方法。多个提供者放在一个集合Log Provider Collection里, 用来处理我们所需要的多个提供者的情况。使用一个配置类Log Provider Configuration Section声明存在那几个提供者以及默认情况下的提供者, 然后封装这些提供者以便我们调用Insert () 和Get () 方法。日志采集的实现流程如图2所示:

2.2 日志预处理

经过采集得到的数据经过预处理过滤后保存到数据库中, 每一条数据记录就是反映用户行为的一个日志事件。还要对日志记录进行日志格式的统一化, 以方便审计规则的匹配。日志事件的记录格式定义描述如下:事件描述;事件发生的时间;事件发生的地点;引发事件的用户;事件的来源;事件的行为分类等。

数据库中存储的日志审计事件记录表Event Record的格式如表1所示:

3 审计模块功能设计

3.1 安全设计思路

网络安全审计系统在获取相应的日志数据后, 利用改进的关联规则挖掘算法生成规则库, 将获取的日志数据与规则库进行匹配。如果操作行为产生的日志数据与规则库完全匹配, 将按照预定义的方式给出对应的响应方式;如果操作行为与规则库不相匹配或不完全匹配, 则忽略此操作, 或者根据更为合理的规则进行判断, 以确定操作行为的危险程度。

获取的日志数据进行系统审计后, 则会根据系统响应及审计员处理结果将记录数据存入指定数据库, 以备查询, 同时根据审计结果进行简单的数据统计分析与汇总形成审计报告, 并将审计报告以电子或纸质形式作为证据长期留存。网络安全审计系统最重要的就是审计, 而审计能否根据获取的数据发现问题取决于审计规则的合理性与完整性。系统中除去挖掘的规则, 用户也可以随时将发现的问题归纳、总结形成新的规则, 并将规则的涉及内容完整地添加到审计规则库中, 这样可以使得规则库更加完善。

3.2 审计规则的制定

规则库的语法制定对于一个网络安全审计系统是相当重要的, 这里的语法采用参考文献[4-5]中提出的方法。

3.3 审计规则的自动生成

规则的生成有三种基本的方法:第一种是通过挖掘关联规则生成规则并进行自动的修改或添加。第二种是根据审计结果反馈回来的, 原本没有被审计的, 可以添加进规则库, 以便日后直接进行审计。第三种是根据安全经验, 利用用户先验的网络知识创建一个新规则, 或者是用户自定义的规则, 当用户发现违规行为需要审计, 而前两种方法又没有生成相应的规则时, 可以自定义规则以便审计。允许用户自定义规则可以用来更好的审计特定的主机, 意味着系统可以更好的服务于用户。这里给出上述优化的关联规则挖掘算法进行规则库生成和优化的过程。

根据对用户行为进行分析, 利用改进的关联规则挖掘算法可以提取出用户行为模板, 将审计规则库与用户行为库进行审计专业分析对比, 通过对这些模板的分析, 从中发现网络潜在的审计疑点, 从而到达审计取证的目的。

建立审计规则库, 就是要建立用户正常行为模式和用户异常行为模式。首先要有个纯净的训练数据, 要求用户在不受任何攻击的系统环境下正常使用计算机产生的审计数据, 再用关联规则挖掘算法对审计数据进行挖掘分析。异常用户行为的判别就是在得到用户的异常行为模式和当前行为模式之后, 再进行判别工作, 检测出用户行为中是否呈现异常的行为模式。

3.4 规则的更新维护

系统中的规则更新与维护主要有规则的添加、删除与规则浏览。更新规则的设计与实现如下:当管理员或使用者发现了新的问题模式后可以随时将这种行为模式的有关特征进行整理抽取后形成规则库中要求的属性集体, 然后将此模式进行保存数据库并更新应用即可。系统中新规则添加完毕后实现了新规则的即时使用, 弥补了由于原设计思想中要重新启用系统才能够应用的缺憾, 同时也减少了数据的漏审和误审的可能。

4 结束语

本文在系统的安全架构层次和技术可操作性上, 根据日志记录的可读但不可更改特性, 提出了日志记录的安全保护模型。该模型为日志记录的安全保护方法提供了方向性的指导。

参考文献

[1]李承, 王伟钊, 程立, 等.基于防火墙日志的网络安全审计系统研究与实现[J].计算机工程, 2002 (6) .

[2]王新昌, 杨艳, 刘育楠.一种基于局域网络监控日志的安全审计系统[J].计算机应用, 2007 (2) .

[3]蒋巍川, 田盛丰.入侵检测中对系统日志审计信息进行数据挖掘的研究[J].计算机工程, 2002 (l) .

[4]杨健兵.数据挖掘中关联规则的改进算法及其实现[J].微计算机信息, 2006 (73) .

EveryLog日志审计系统介绍 第4篇

防火墙、入侵检测系统和安全审计系统等安全产品为内部网络提供了良好的保护作用。安全审计系统提供了一种通过收集各种网络信息从而发现有用信息的机制,将这种机制应用于局域网内部,从多种网络安全产品中收集日志和警报信息并分析,从而实现效能的融合,与防火墙、入侵检测系统等安全产品形成合力,为局域网的安全提供强有力的保障。

如何高效的从各种网络设备所生成的海量的日志数据信息中提取有用信息,通过格式的统一整合后为安全审计系统提供统一接口,这是安全审计系统一项十分关键的工作,也是影响整个系统性能的一个重要因素,本文就此进行探讨。

2 安全审计系统的功能需求

安全监控与审计技术通过实时监控网络活动,分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、跟踪识别违反安全法则的行为等功能,使系统管理员可以有效地监控、评估自己的系统和网络。监控审计技术是对防火墙和入侵检测系统的有效补充,弥补了传统防火墙对网络传输内容粗粒度(传输层以下)的控制不足,同时作为一种重要的网络安全防范手段,对检测手段单一的入侵检测系统也是有益的补充,能及时对网络进行监控,规范网络的使用[1]。

目前,安全审计系统是网络安全领域的一个研究热点,许多研究者都提出了不同的系统模型,这包括对内容进行审计的安全审计系统、对用户行为进行审计的安全审计系统以及对各种安全设备生成的日志进行审计的安全审计系统等等。

基于日志的网络安全审计系统是一个日志接收与日志分析的审计系统,该系统能够接收、分析审计局域网内的防火墙、入侵检测系统等网络安全产品生成的日志,审计局域网内的网络信息安全。基于日志的网络安全审计系统的功能需求如下:

(1)集中管理:审计系统通过提供一个统一的集中管理平台,实现对日志代理、安全审计中心、日志数据库的集中管理,包括对日包更新、备份和删除等操作。

(2)能采集各种操作系统的日志,防火墙系统日志,入侵检测系统日志,网络交换及路由设备的日志,各种服务和应用系统日志,并且具备处理多日志来源、多种不同格式日志的能力。

(3)审计系统不仅要能对不同来源的日志进行识别、归类和存储,还应能自动将其收集到的各种日志转换为统一的日志格式,以供系统调用。并且能以多种方式查询网络中的日志记录信息,以报表的形式显示。

(4)能及时发现网络存在的安全问题并通知管理员采取相应措施。系统必须从海量的数据信息中找出可疑或危险的日志信息,并及时以响铃、E-mail或其他方式报警,通知管理员采取应对措施及修复漏洞。

(5)审计系统的存在应尽可能少的占用网络资源,不对网络造成任何不良的影响。

(6)具备一定的隐蔽性和自我保护能力。具有隐蔽性是说系统的存在应该合理“隐藏”起来,做到对于入侵者来说是透明而不易察觉系统的存在。

(7)保证安全审计系统使用的各种数据源的安全性和有效性。若采用未经加密的明文进行数据传输,很容易被截获、篡改和伪造,工作站与服务器之间的通讯应进行加密传输,可采用SSL、AES、3DES等加密方式。

(8)具有友好的操作界面。

3 安全审计系统的模型概述

如图1所示,基于日志的安全审计系统主要包含如下模块:

(1)代理:负责收集各种日志数据,包括各种操作系统的日志,防火墙系统日志、入侵检测系统日志、网络交换及路由设备的日志、各种服务和应用系统日志等。定时或实时发送到审计中心。其间,日志数据的传送采用加密方式进行发送,防止数据被截获、篡改和伪造。

(2)数据预处理模块:将代理采集到的日志数据经过解密后按照数据来源存入相应的数据库中。

(3)系统管理模块:负责对日志代理、安全审计中心、日志数据库的集中管理,包括对日志数据的更新、备份和删除等操作。

(4)数据处理模块:负责自动将收集到的各种日志转换为统一的日志格式,并且从海量的数据中通过模式匹配,发现并找出可疑或危险的日志信息,交由“日志报警处理模块”进行处理。

(5)日志报警处理模块:处理已发现的问题,以响铃、E-mail或其他方式报警通知管理员采取应对措施。

(6)数据库模块:负责接收、保存各种日志数据,包括策略库也存放其中。

(7)接口模块:供用户访问、查询。

4 安全审计系统中有用数据整合的方法

4.1 安全审计系统的数据源

安全审计系统可以利用的日志大致分为以下四类[2]:

4.1.1 操作系统日志

a)Windows系统日志。Windows NT/2K/XP的系统日志文件有应用程序日志、安全日志和系统日志等,日志默认位置在%systemroot%system32config目录下。Windows是使用一种特殊的格式存放它的日志文件,这种格式的文件通常只可以通过事件查看器EVENT VIEWER读取。

b)Linux/Unix系统日志。在Linux/Unix系统中,有三个主要的日志子系统:连接时间日志、进程统计日志和错误日志。错误日志由syslogd(8)执行。各种系统守护进程、用户程序和内核通过syslog向文件/var/log/messages报告值得注意的事件。

4.1.2 安全设备日志

安全设备日志主要是指防火墙,入侵检测系统等网络安全设备产生的日志。这部分日志格式没有统一标准。目前,国内多数防火墙支持WELF(Web Trends Enhanced Log Format)的日志格式,而多数入侵检测系统的日志兼容Snort产生日志格式。

4.1.3 网络设备日志

网络设备日志是指网络中交换机、路由器等网络设备产生的日志,这些设备日志通常遵循RFC3164(The BSD syslog Protocol)规定的日志格式,可以通过syslogd实现方便的转发和处理。一个典型的syslog记录包括生成该记录的进程名字、文本信息、设备和优先级范围等。

4.1.4 应用系统日志

应用系统日志包含由各种应用程序记录的事件。应用系统的程序开发员决定记录哪一个事件。Web应用程序日志往往是系统管理员最关心的应用系统日志之一。

a)Apache日志。Apache日志记录Apache服务器处理的所有请求和出错信息,它支持两种格式的日志:普通记录格式(Common Log Format),组合记录格式(Combined Log Format)。

b)IIS日志。IIS日志文件记录了所有访问IIS服务程序的信息,IIS日志文件一般位于如下路径:%systemroot%system32LogFiles。IIS支持“W3C扩充日志文件格式”、“NCSA通用日志格式”和“ODBC数据库日志格式”。

4.2 日志数据的特点

多样性:操作系统、防火墙、入侵检测系统等安全产品都有各自记录事件的格式,缺乏统一的接口。

数据海量性:各种设备在短时间内就能产生非常盘大的日志数据信息,一些有用信息常常被淹没在噪音当中。

弱关联性:日志里面的记录是相对孤立的,只是记录各种操作及系统发生的变化,不能自动关联起来判断是否存在问题。不同设备的日志之间也是互相孤立的,只反映本设备的情况,不能进行自动关联。

脆弱性:系统一旦遭到入侵,日志记录很容易被修改、伪造甚至是删除。有经验的黑客也一定会将自身黑客行为相关的日志记录清除而不留痕迹。

4.3 日志数据的整合

日志种类不同,生成的日志记录的格式也不尽相同。为了保证系统的一致性,必须制定标准,对日志记录的格式进行统一[3]。通过对各种不同格式日志的分析比较,我们取用对安全审计有用的属性值,而把一些可以忽略的属性值去掉,尽可能的兼容各种格式的日志。统一格式后保留以下字段建立数据库表(见表1)。

根据系统采集到的日志种类的特点,一般对日志数据处理可分为以下几个步骤:数据过滤数据简约数据合并格式转换[4]。

(1)数据过滤。根据数据的属性或属性与属性之间的联系制定过滤规则,然后将采集到的数据的属性值与过滤规则相匹配,符合要求的数据待用作进一步的处理,不符合要求的数据即被过滤掉。经过过滤的日志信息可以除去海量数据中的噪音信息,从而更好的为整个系统提供有效数据。

(2)数据简约。通过寻找数据特征,在尽可能保持数据信息准确性的前提下,去掉与网络无关的属性(即属性简约),最大限度地精简数据量。

(3)数据合并。根据各种不同设备来源的日志分别建立数据库,例如:将防火墙日志、IDS日志分别存放于数据库1、数据库2,此外再建立一个用于存放最后结果的数据库3,对数据的合并过程为:首先将数据库1和数据库2对应的防火墙日志记录和IDS日志记录根据融合条件进行比较,当发现重复性数据时,对它们进行合并;若出现记录交集为空的,则单独作为一条记录进行存储。

(4)数据格式统一。通过数据格式转换映射表,实现各种数据属性值到公共数据模型相应属性值的映射,完成数据格式的快速转换,而后将统一格式的数据提交给数据集成器,处理后的数据按设计好的格式统一储存到数据库中,提供统一接口供审计系统调用。

5 结束语

网络安全审计系统是当前网络安全领域的一个研究热点,它作为一个完整安全框架中不可或缺的环节,是对防火墙系统和入侵检测系统的一个补充,具有十分广阔的应用前景。如何提升网络安全审计系统效能的各种相关技术都是有待我们继续深入研究的。

参考文献

[1]丁广林.校园网络监控与安全审计的研究与实现[D].沈阳工业大学,2007.5.

[2]石彪,胡华平,刘利枚.网络环境下的日志监控与安全审计系统设计与实现[J].福建电脑,2004,(12).

[3]李佳蕾.Windows下基于主机的安全日志服务器[J].网络安全技术与应用,2005(7).

EveryLog日志审计系统介绍 第5篇

电力产业是典型的技术密集型和设备密集型行业[1],随着智能电网的建设和推进,通讯、计算机、自动化等信息化技术在电网中得到了广泛深入的应用。目前,信息化技术已经在电力行业的生产、调度、传输、管理等多个业务层面上得到了深度应用,如电力数据采集、系统监控、故障管理、能力管理等信息化系统已被广泛接受。然而,信息化技术同时也为电力行业带来了众多困扰和问题。信息化系统的开放性会导致越来越多的非法访问、黑客攻击等外部入侵问题,以及非法操作、越权操作、信息泄露等内部安全问题。特别是,智能电网更加注重网络化、智能化和集约化,各种业务均需要在信息系统、互联网络开展,电力企业面临着严重的信息安全隐患问题。因此,为电力信息系统实现日志审计和日志分析,通过业务系统的运行日志分析系统中存在的安全隐患,已经成为电力信息化管理部门首先需要解决的问题。

电力企业的设备和信息系统每天都产生海量日志,而且由于设备众多产生的日志格式不一、种类多样,亟需建立统一的日志分析平台,进行统一维护。根据电力行业信息系统和网络应用的特点,日志主要包含四类:1)操作行为日志,即对电力关键信息系统以及关键业务的操作行为日志;2)设备运行日志,即电力信息化系统所包括的如防火墙、入侵检测、小型机、业务系统的运行日志;3)上网行为日志,即内部业务人员的网络访问行为及外部的访问行为;4)维护记录日志,即对关键设备的维护过程、违规操作行为的记录。本文针对这些异构日志,采用ELK技术搭建实时日志分析平台,使得电力运维人员从海量的日志信息中准确地监控及维护所需的信息,快速定位并解决设备运行过程中的错误。

2 相关工作

当前,日志管理和审计技术已经成为了保障企业信息系统和网络安全的重要手段,国内外已经有了很多研究并出现了众多产品。典型的日志审计系统有NFR-SLR安全日志库审计系统[2]、思福迪Log Base日志管理综合审计系统[3]、网神Sec FoxLAS日志审计系统[4]和NAR2日志审计系统[5]等。

NFR-SLR安全日志库审计系统包括日志采集代理、日志管理和日志存储等三个模块。其工作流程是首先通过日志采集代理将从设备采集来的数据交给日志存储模块进行集中存储;然后日志管理对日志进行预处理并对规范处理后的数据进行分析和报表统计生成。该系统的问题是日志采集代理对日志数据不做消冗处理,导致存储空间和传输带宽的浪费。

思福迪Log Base日志管理综合审计系统采用了智能分析技术和自动采集技术,将系统、应用软件日志以及操作行为进行规范化处理,之后对日志进行分析处理,发现系统中存在的安全隐患和故障定位。但是该系统是直接对日志进行采集,导致整个系统的计算压力较大。

由上可见,市场上的通用日志管理系统功能基本一致,但应用于电力等特定行业,无法满足行业的特定功能需求,本文试图采用ELK建立电力行业的信息监控日志审计系统。ELK是一个开源实时日志分析平台[6],包括Elasticsearch(弹性搜索)、Logstash(日志采集)、Kibana(统计展示)等三个开源系统。其中,Elasticsearch建立在Lucene基础之上,可以提供海量数据、分布式的检索功能,将其应用于云平台中,能够实现快速配置、索引自动分片、实时检索等功能;Logstash可以提供日志采集、分析的功能;kibana可以为Logstash和Elastic Search提供丰富的网页交互页面,能够实现日志数据的统计、分析和搜索。

3 日志审计系统

3.1 系统架构

基于ELK的电力信息监控日志审计系统的体系结构总体上分为日志采集、日志预处理和日志分析三个部分,如图1所示。

在日志采集模块,系统采用logstash、redis、elasticsearch等组件构成分布式日志收集系统。首先由一级logstash分别收集各个web服务器产生的日志,并由一级logstash对日志进行简单的过滤,再传递给二级logstash。为了解决收发速率不一致而导致的丢包问题,在两级logstash之间安装redis,它提供缓存作用(redis性能强大在本系统中仅需安装一个即可满足要求),最后存入elasticsearch集群。在elasticsearch中,利用本文设定的数据预处理规则编写python程序对web日志进行数据预处理,将日志转化为可以进行聚类分析的数据格式后再存入elasticsearch集群。日志分析模块从日志收集模块获取数据存入HDFS,再交由Map和Reduce利用k-means算法进行分布式聚类分析,并得到异常检测规则。

3.2 关键技术实现

3.2.1 日志收集模块

日志收集模块主要由logstash、redis、elasticsearch三种开源部件组成。数据收集模块的主要功能是采集所有目标服务器中实时产生日志并进行日志预处理和特征提取。本文采用两级logstash的分布式的数据收集模块,其中一级logstash主要起日志发送和数据清理的作用。通过设置logstash的配置文件,可实现实时的收集各个服务器产生的日志,并根据数据清理的规则,过滤掉无意义日志;二级logstash起到接收日志的作用,它将接收到的web日志传递给elasticsearch集群。为了防止发送和接收速率不一致而导致的数据丢失问题,本系统在两级logstash之间搭建了redis部件,它主要起到缓存作用。当web日志存入elasticsearch集群后,再进行日志预处理,将web日志转化成会话数据集后再存入elasticsearch集群。

Logstash在日志收集模块中的作用有:日志解析,发送数据和数据净化。在实际生成的数据中,尤其是来自不同服务器的日志中,往往存在大量的字段不完整的、或是含有噪声的,甚至是数据格式不一致的数据。如果将这些数据直接用于数据挖掘,必然不能获得良好的效果,因此必须进行数据的预处理,使它们达到统一的格式,进而满足数据挖掘的需要。本系统通过logstash的input函数设置接收数据,实现实时监听web服务器生成的日志文件,并进行接收。再通过自定义logstash的filter函数,对日志文件进行解析,过滤,或者必要的修改等简单的预处理。最后通过设置output函数选择logstash的输出位置,及使用的传输协议。

由于日志的生成速度可能不断变化和数据存储及分析系统对数据处理速度变化等因素的影响,可能导致日志的发送速度与接收速度不一致,而logstash虽然本身有缓存功能,但是性能较差,工程效果不好,因此本系统采用了redis部件。Redis主要解决了日志收发速度不一致而导致的日志丢失问题,它在整个系统中主要起到缓存的作用。当日志的发送速度大于接收速度时,会在redis部件中进行缓存,进而保证日志不会丢失。由于redis性能强大以及综合本系统的实际情况,搭建一个redis便可保证日志收集系统正常运行。考虑到网络环境的变化,也可以搭建成redis集群。

Elasticsearch集群在本系统中的作用是:日志存储和备份以及向网络管理员提供日志搜索服务。在日志传入elasticsearch集群后,利用python编程语言编写日志处理程序进行数据处理。由于此过程需要反复搜索日志,因此本系统选取提供高速搜索方案的elasticsearch作为数据库。

3.2.2 日志预处理模块

由于各种原因,采集的日志数据可能存在数据遗漏、数据冗余、噪声数据等现象,在日志分析前,需要首先进行数据预处理。日志数据预处理的过程主要包括数据格式化、用户识别、会话识别、路径补充等。

数据格式化是指将日志记录中缺失的字段补充完整,如在web访问中的Request字段的URL信息不完整,/index.asp是web日志中某一条的Request字段,将其信息补充完整后为www.test.com/index.asp。

用户识别是指从多条日志中识别出同一用户。由于局域网以及代理服务器存在的原因,在日志中准确的辨别每一个用户是比较困难的,比如可能出现以下多种情况:同一用户可能通过不同的终端访问web服务器;同一用户在同一终端使用不同的浏览器访问服务器;多个用户使用同一代理访问服务器。因此在对日志进行数据挖掘之前应该详细分析日志记录,区分各种情况的用户。本文采用启发式规则方式进行用户识别:

规则1:使用不同IP地址的日志视为不同用户;

规则2:对具有相同IP地址的多条日志记录,如果使用的浏览器或者系统不一样则视为不同用户;

规则3:对具有相同IP地址且使用相同的浏览器和操作系统的用户则根据网络拓扑结构进行区分。例如:用户访问的某个页面不能从已往访问的任何一个页面的超级链接到达,则认为这是一个新的用户。

会话识别的主要目的是从大量的杂乱的日志中,重构用户访问的行为序列。经典的会话识别方法有以下几种,Timeout方法:在用户识别的基础上,连续多个请求的时间间隔超过一定的阈值时便定为会话的边界,经过Pit的实验证明[7]:比较合理的时间阀值为26分钟,但在实际商业应用中通常设置阀值为30分钟;对网站所有页面设置固定的访问时间阀值,如果超过阀值则将此页面视为两段会话的边界;最大向前序列法:此方法根据用户访问行为进行会话识别,如果用户后退访问已经浏览过的页面,则视为新的会话的开始。目前,Timeout法是研究和应用最多的方法。综合以上三种方法,本系统采用三条规则进行会话识别,按优先级排序如下:

1)如果在访问页面A后访问页面B,且页面B是页面A中的超级链接之一,则视为B属于A的会话集;

2)在同一页面上停留的时间不超过10min。如果用户在某一页面停留时间超过10分钟,对访问下个页面则视为下一次会话的开始;

3)单个会话时间不超过30min。放入同一会话集A中的所有日志,必须在30分钟内,如果时间超过30分钟,则视为下一次会话。

路径补充主要是为了补充在日志中没有记录的用户访问请求,进而获得完整的有意义的用户访问路径。由于浏览器或者代理服务器的缓存功能,经常会导致那些缓存的页面和访问对象的丢失。通常先进行会话识别再进行路径补充。例如,页面B和C同属于页面A的超级链接,用户在访问页面A后,A被缓存在本地浏览器中,用户在访问页面B后,返回访问A,再访问C。A—B—A—C这是用户实际的访问顺序,但是由于A被缓存在本地,所以第二次访问A的记录会丢失,在服务器的日志中,记录的用户访问顺序可能为A—B—C。这就需要进行路径补充。

本文主要根据网站的逻辑结构进行路径补充,以图2为例说明本系统路径补充的具体方法。

例如web服务器日志经会话处理后得到一条会话为A-D-I-M-S-K-P,经与web站点结构图对比,此会话中S页面无直接到达K页面的超级链接,因此此处需要做会话补充(虽然用户可以通过输入URL直接访问K页面,但是这种情况非常少,几乎不影响数据挖掘的结果)。从S页面处按照用户访问路径倒序查找,直到找到能直接访问K页面的D页面为止,上述会话经路径补充后的结果为A-D-I-M-S-M-I-D-K-P。路径补充还可能出现以下情况:B-E-L-D-I-M,显然通过L页面不能直接访问D页面,而且此会话中L页面之前的页面都不能直接访问D,对此情况本文将其拆分为两条会话B-E-L和D-I-M。

3.2.3 日志分析模块

日志分析的目的是从海量日志中挖掘出正常行为和异常行为,因为同类行为有相似的特征,本文采用基于并行化K-Means聚类的日志分析算法,将正常行为和异常行为分别聚类,提取异常检测规则。其工作流程如图3所示:

Map函数在异常检测的主要作用是判断每条数据的访问类型。HDFS将n条数据分别与异常检测规则(k个质心)组成n对<key,value>传给n个map,每个map输入数据<key,value>为<单条数据,k个质心及其代表的访问类型的集合},对每一条数据在五维空间中计算其与k个质心的距离,判断找到其中最小的距离,再将此条数据划归为此质心所代表的访问类型。每个Mapper的输出数据<key,value>为<访问类型,此条数据}。

通过combine和reduce函数,将属于同一访问类型的数据进行合并。Combine将在接收到mapper的输出后,将具有同样key值(访问类型)的数据传入同一reducer。在本系统中只有4种访问类型,因此只需要固定的4个reducer。每个Reducer将收到的数据进行合并后输出,如reduce2输出的<key,value>为<XSS攻击,数据集}。

4 实验

实验环境由7个云平台虚拟机(如图3所示),另外还有3台笔记本和一台台式机。所有电脑都采用Ubuntu系统,其中用三台笔记本电脑模拟web服务器,一级logstash直接搭建在web服务器上,在日志收集模块中起发送日志的作用。用一台台式机搭建redis,它在发送和接收日志间起到缓存的作用。三台云平台虚拟机搭建elasticsearch集群,起到存储的作用。Hadoop搭建在4台云平台虚拟机上,其中一台做Master节点,另三台分别做slaves节点。主机Master作为HDFS的Name Node节点以及Map Reduce的Task Tracker节点,主要负责日志分析。

为了测试本文的日志审计系统的性能,采用Web日志安全分析工具v2.0作为对比基准。Web日志安全分析工具v2.0根据自身的特征库定义的常见攻击的攻击特征,采用正则表达式匹配的方式进行入侵检测。默认可以检测XSS攻击、SQL注入攻击、CSRF攻击等多种攻击类型。图4为本系统与该工具的检测率对比图:

通过上图测试结果对比,可以明显地看到,本系统对跨站脚本攻击、SQL注入攻击和跨站请求伪造攻击的检测率明显高于传统的web日志安全分析工具v2.0。

5 结论

本文通过利用ELK构建电力企业的信息监控日志审计系统,采集电力信息系统和设备的操作行为日志、设备运行日志、上网行为日志、维护记录日志,在日志预处理的基础上,利用并行化K-Means聚类算法发现和捕获海量日志中的异常行为和违规行为,为保障电力企业信息安全提供支持。

摘要：为电力信息系统实现日志审计和日志分析,已经成为电力信息化管理部门首先需要解决的问题。本文设计并实现了一个基于ELK的电力信息监控日志审计系统。系统通过logstash、redis、elasticsearch实现对操作行为日志、设备运行日志、上网行为日志、维护记录日志的分布式采集存储,经过数据格式化、用户识别、会话识别、路径补充等于处理后,利用并行化的K-Means聚类算法对日志进行审计分析,发现和捕获海量日志中的异常行为和违规行为。实验表明,系统可以实现电力企业信息系统的安全审计功能。

关键词：日志审计,ELK,安全监控,K-Means,异常检测

参考文献

[1]段娟.基于Web应用的安全日志审计系统研究与设计[J].信息网络安全,2014(10):70-76.

[2]吴志用.日志审计系统中预处理关键技术研究[D].杭州:浙江工商大学,2011.

[3]查穹,丁峰,倪晓勤.天融信防火墙日记审计系统的搭建与配置[J].电脑知识与技术,2013,9(23):5227-5228.

[4]周琪锋.基于网络日志的安全审计系统的研究与设计[J].计算机技术与发展,2009,19(11).

[5]周映,韩晓霞.ELK日志分析平台在电子商务系统监控服务中的应用[J].信息技术与标准化,2016(7):67-70.

[6]赵伟,何不廉,陈霞,等.web日志挖掘中的数据预处理技术研究[J].计算机应用,2003,23(5):62-67.