成都数维100G 数据采集网络可视化平台
随着运营商宽带建设的提速及3G、4G、5G网络的快速发展,同时随着互联网大数据和云计算技术的普及与发展,数据流量日益增长,对于骨干网及核心网的带宽需求日益增长。自2013年开始,各大运营商在骨干网的建设上也已经开始逐步升级,核心骨干网传输链路介质开始启动由10GPOS、40GPOS链路向25G、40G、50G、100G以太链路进行扩容;随着链路的扩容必将引起大数据采集分析、安全监控技术的不断更新,面对高带宽容量的25G、40G、50G、100G链路环境,各类国安、网安监控、运营商智能管道DPI数据采集分析等需求如何有效落地必将成为数据采集可视化分析领域的一大热点。
目前,信息安全监控体系规划主要是由物理层、网络层、应用层安全防护组成,而数据的采集主要涉及在网络层。在自身网络架构中,通过部署满足要求的相关安全监控产品对网络层进行实时的数据采集达到安全防护作用;这类安全监控产品可细分为在线安全监控(如防火墙、WAF、IPS、UTM等)和旁路安全监控(IDS、数据审计系统、行为分析系统、风险管控系统),但这一类设备本身并不带有主动数据采集功能,只能通过被动接收交换机镜像端口的输出数据进行旁路安全监控或通过网络割接进行在线串联安全监控,因此采用传统的网络分流器或汇聚分流设备解决方案,采集技术势必会面临下列问题:
基于传统流量复制汇聚TAP的方式采集网络流量,当用户网络带宽升级或新增采集节点链路时,势必会出现采集接口类型不匹配、采集端口不够用,无法在现有采集设备上进行平滑的同步升级扩容。
不同种类的安全监控设备关注维度有所区别,监控流量也不同,因此区域管理将增加维护困难,加大了企业运维成本。
在网络带宽升级时,企业首先考虑增加安全监控设备的投资,但全量的数据监控分析,势必带有大量无用的背景流,其真正所需的数据并不多,如不能有效过滤,将降低安全设备分析效率。
安全监控设备厂商擅长于从普通1G/10G以太网网卡捕获报文,通过CPU进行流重组、协议解密、数据分析,其技术架构都沉淀在X86平台上,这类解决方案由于受到网卡和硬件架构的局限性,可处理的链路介质和流量都不高。
在采集原始数据时,不能有效的标识数据源来自哪些部门或地理位置,影响安全监控设备及时发现攻击事件或定位故障事件。
众多的数据采集和安全监控设备管理相对独立,采用传统的区域制度独立进行管理,无法做到全网全局一体化监管,存在许多管理监控盲点。
运营商3G、4G、5G网络的高速发展,数据流量的激增对运营商网络带来了巨大冲击,更新基础设施和投入核心设备已迫在眉睫,但是大量的投入必然增加了网络成本,所以端到端的网优和DPI(深度数据包检测)成为运营商的必然选择,但移动网络是技术密集、资金密集、大型复杂的网络系统,不同种类的流量监控设备部署在各网络处进行分析,容易形成信息孤岛,导致信息分散,互不相通,大大降低了流量监控工具的利用率,无法做到全网全局监控,分散部署同时造成了管理和维护的困难,加大了运营商运维成本,且不能满足各种安全设备灵活部署的需要。
运营商希望通过部署各类安全监控设备和对网络数据的分析,做到小区综合分析、用户行为透视分析、投诉用户话单查询分析、信令异常故障分析、网络性能KPI指标查询、话务模型及资源规划专题分析、多维度场景式的网络指标分析、优化信令网提升用户上网速率和为市场营销提供精准支持数据,通过在移动网络和数据安全监控分析系统之间部署100GE级别的大容量、高性能流量采集系统,由该系统对移动网络数据进行统一的采集,再进行数据的复制、汇聚、分流、过滤等方式将数据输出给各类安全监控分析系统处理,从而提高流量安全监控分析系统的分析效率,实现优化监控设备和节省投资的目标,在不影响网络运行的情况完成网络和业务各类指标的统计分析。
旁路部署高性能、大容量的成都数维NETTAP流量采集可视化系统,使用模块化的电信级插卡式架构平台,统一采集全网任意节点位置、任意链路类型(10/25/40/50/100G)的数据流量,然后可通过本系统对数据流量大小、结构、关系等进行透视整理、网络建模,把无形的数据信号转化为可见实体后,用户根据系统反馈信息可将所需目标数据复制、汇聚、分流到各个后端系统进行深度检测分析。
部署高性能、大容量的NETTAP流量采集可视化系统,使用模块化的电信级插卡式架构平台,可完成对运营商3G/4G/5G网络任意链路中的信令或用户数据进行大量采集。然后通过本系统对数据流量大小、结构、关系等进行透视整理,把无形的数据信号转化为可见实体后,用户根据系统反馈信息可将所需目标数据复制、汇聚、分流到后端信令采集解码系统进行深度处理。