大数据时代网络安全可视化解决方案

在网络安全平台前端部署探针设备，将分散的网络流量和安全日志进行统一采集，过滤掉后端安全平台不需要的数据，减少无用流量对带宽的占用率，提高后端安全平台的处理效率。

支持对多种网络协议进行元数据提取，例如IP协议、TCP协议、UDP协议、HTTP协议等。通过将网络协议中的关键字段信息进行分析整理，并根据既定的格式，生成协议流量日志。流量日志可作为后端分析系统的输入源数据，大大简化了后端分析系统对流量预分析的负载，让后端系统更加聚焦自身业务。

将流量按协议分完后，进行协议的元数据提取，将报文中关键信息进行抓取和解析，并将这些解析后的数据，生成固定格式的流量日志，流量日志的格式目前没有统一的标准，不同的后端安全平台采用的流量日志格式可能会不同。前端探针设备在将网络原始流量转换成流量日志后，还需要进行Kafka协议格式的转换。前面介绍过，安全态势感知平台是利用了大数据分析的技术，那么目前大数据分析系统采用的数据分发方式为Kafka协议模式，同理安全态势感知平台也需要遵循Kafka协议，就需要探针设备在给安全态势感知平台的数据格式一定是Kafka。所以对于安全态势感知平台前端部署的探针设备要求要有Kafka转换的功能。