|
|
|
|
公众号矩阵

大数据安全分析之大数据分析的技术架构及关键技术

大数据分析利用大数据技术对海量数据的高效计算能力,结合关联分析、深度学习、机器学习算法等手段,对各种已知与未知威胁进行快速发现与预警,实现网络防御从被动到主动的转变。

作者:佚名来源:李鹏飞Leo|2021-04-08 10:45

下面我们就来看看大数据分析的技术架构及关键技术吧。

大数据安全分析之大数据分析的技术架构及关键技术

大数据安全分析之大数据分析的技术架构及关键技术

一、大数据分析的技术架构

大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成:

数据源

数据源是大数据分析的基础与前提,准确高质量的多源异构数据是安全分析效果的保证,进行安全分析需要收集的数据源包括:

日志数据:包括设备与系统的日志和安全告警信息。

流量数据:网络流量数据,包括Netflow数据和全流量镜像数据。

支持数据:包括资产信息、账号信息、漏洞信息和威胁情报信息等。

采集和预处理

对数据源收集的信息进行解析、标准化和丰富化处理,从而为数据分析提供高质量的数据。

数据传输采集:根据不同类型的数据源,以及数据存在的状态,采用不同的传输与采集技术。

数据预处理:对数据进行解析、补全、标准化操作,从而提高安全分析的可信度,降低误报率。

数据存储

全量存储网络中原始的网络数据,使数据结果分析更加全面可信。对所有网络行为数据建立索引,便于快速查询、管理分析和举证。

数据分析

利用关联分析、机器学习、深度学习等技术,从海量原始数据中自动挖掘出有价值的信息,最大的发挥数据的价值。

数据应用

依据数据分析结果,实现安全态势感知、安全预警、追踪溯源等应用。

二、大数据分析的关键技术

数据采集与解析技术

利用日志采集器实时以非格式化或半格式化采集原始数据,根据配置的解析规则和字段补全规则,完成数据的解析与数据补全。最终将解析的数据存入大数据存储中,以便后续进行实时或长周期的展示和统计分析。

大数据存储与处理技术

大数据平台计算处理能力达到日存储数据超过1T,支持千亿条数据的秒级处理,PB级数据管理与应用,保证高吞吐量与高数据压缩率,为安全智能分析提供实时或者长期的关联分析数据基础。

关联分析

通过关联分析引擎对采集的实时数据流进行深度关联分析,包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法,综合分析进行安全威胁检测、预警。

机器学习

通过机器学习和算法对大量的历史信息和安全信息的关联,以无监督学习(异常检测)为主,并有人工辅助的半监督学习(专家、管理人员反馈),对威胁行为进行一个长周期的分析,找出安全威胁与攻击的异常行为和隐藏的威胁行为。

【编辑推荐】

  1. 用Docker玩Hadoop和Spark大数据处理,成为更好的自己!
  2. 程序员写好技术文章的几点小技巧
  3. 一种基于机器学习的自动文档标签图谱技术
  4. 为什么说未来安全架构需要 SASE?
  5. 大数据安全分析之大数据技术有什么优势
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

7人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

37人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

230人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微