一、再谈NPBs和TAP

在上篇文章(流量可视化如何做到1+1+1>3)中我们分析过由TAP(分流器)、NPBs和业务分析系统三者组成的1+1+1解决方案架构。其中TAP产品主要负责分流和负载,而NPBs产品主要负责提取和分析。在国内的应用语境中,一般我们谈到TAP产品会称之为“网络分流器”,而谈到NPBs产品会称之为“流量探针、流量传感器、流量可视化”等。在进一步介绍SDN驱动方案之前,笔者想先就分流器产品和流量探针产品之间的区别,做个简要的说明。

“1+1+1”解决方案架构示意图

分流器:前级、偏重载荷层面、高性能、硬件方案

从功能方面分析,分流器产品提供三个最重要的特性,第一个是编辑报文处理,例如增减或删除VLAN/VxLAN/NVGRE/GRE/ERSPAN等协议标签、编辑报文的IP/MAC地址、在报文中增加字段(例如timestamp)、报文截断、隧道封装等。第二个是分流负载,例如多进单出、单进多出、多进多出(如M:N模型)、HASH负载、分担负载等。第三个是载荷级别DPI,例如基于载荷内容进行数据脱敏、数据去重、同源同宿、会话和分片跟踪等,高性能方案中分流器产品可以提供N段关键字的全包浮动搜索。这里要解释的是,一般意义的上分流器支持的内容识别仅停留在Payload级别上,实现在整个报文的固定位置匹配精确或浮动的特征码,此分析粒度不足以直接服务安全和性能分析。举例来说,当APT分析系统需要提取所有包含.doc和.pdf文件作为附件的邮件内容,并计算文件HASH值或将原始文件上报时,就不适合直接使用分流器解决问题。

从部署位置上看,分流器一般位于前级位置,需要处理T/10T级别的大流量,所以分流器产品常采用ATCA架构/FPGA芯片等超高性能硬件方案,相应地,高性能要求也降低了其功能灵活性和丰富度。

流量探针:后级、偏重应用内容层面、丰富功能特性、业务系统对接

在部署位置上,NPBs产品一般位于分流器/交换机产品的后级,偏重于流量应用层内容解析,具备较为丰富的功能特性,而绝对处理性能相比分流器产品较低。例如,当业务系统需要分析应用表现和链路质量时,往往需要采集设备提供包含区域链路、应用流速、应用排名、流量占比、应用延时、协议重传等等内容的综合性信息,或者当业务系统需要进行安全分析的时候,需要采集设备学习和建立流量模型,识别流量应用层内容,并在流量超出模型范围一定比例阈值或者出现特定应用内容时采取告警和信息上报。类似这样的业务需求,需要NPBs产品能够提供比分流器产品更深层的分析能力,不仅需要提供L7应用层级别的内容识别能力,还需要支持排名、建模、异常发现等数据分析能力。正是凭借这些能力,NPBs产品才能够为复杂的业务分析和安全分析提供原始材料。

二、全NPBs方案的缺点 

了解了分流器产品和NPBs产品的主要区别后,我们继续讨论一种应用场景:多分支机构组网下的业务分析。需求如下图所示:假设某组织有50家分支机构,通过广域网专线和互联网VPN方式混合搭建总部和分支之间的通道,内网中有数百个业务系统正在使用,用户需要进行流量采集,并围绕业务使用和内网安全进行数据分析。

多分支机构组网示意图

针对此需求,由于所有用户和业务系统的交互流量都要进行分析,所以看似合理方案应该是在50个分支机构和总部的出口设备上旁路部署NPBs产品,进行流量采集分析,示意图如下:

全NPBs组网方案示意图

但是如果仔细考虑,会发现上述全NPBs方案还有不少的问题,例如:

无法实现灵活的按需采集

当只需要分析某些特定的分公司或应用系统时(可能正在发生紧急问题),或单独针对新上线业务进行分析时,无法简便地做到只牵引需要的流量,这导致尽管部署了全NPBs方案,但业务实时生效的NPBs设备比例很低,造成巨大资源浪费。 

流量初步过滤处理能力不足

很多NPBs产品偏重于流量识别和数据分析,但在前级处理过滤流量的能力不足,在使用全NPBs方案时,对去重、截断、负载等操作支持不佳,导致输入的无效流量过大,NPBs分析的效率较低。

方案造价较高

相比分流器方案,NPBs产品处理性能较低,而且由于无法实现按需采集和初级过滤,往往实际分析仅100Mbps的特定业务流量时,却需要按照链路配置1Gbps性能的NPBs产品,造成整体产品选型成本偏高。

三、下一代NPBs产品的要素

与下一代防火墙的概念类似,为了解决NPBs产品面临的一些问题,Gigamon、Big Switch Networks等NPBs厂商提都出了下一代NPBs产品的概念和要素:

1、融合TAP能力

越来越多的NPBs产品开始支持分流器产品的特性,增加流量初级过滤的能力,反之,越来越多的分流器产品也在支持NPBs产品的特性,从而提升流量深层识别能力。虽然从架构层面上看,两款产品在各自的专用领域基本无法做到互相替代,但在较通用的场景下,例如企业级广域网和数据中心,对专用的高性能分流器并不存在刚需,此时融合初步分流器能力的NPBs产品就会非常适用。

2、深层解析和可视化呈现

IXIA Vision系列NPBs产品

在IXIA的NPBs产品序列中,其可视化能力定义为四个层级,从网络层、报文层、安全层和应用层逐渐递进,作为产品的高附加值特性存在,可见深层解析能力和可视化呈现能力是NPBs产品的重要指标。客户对NPBs产品的要求不再仅停留在网络层和报文层的通用功能,而是需要深入到业务层面进行定制化识别,以及较强的本地可视化呈现能力。

3、安全和性能分析融合

关于NPBs产品的下游分析系统,笔者目前观察到两个主要应用方向,其中一个是性能分析方向,采集各个层面的流量瞬时值、流量统计值、业务延时、抖动、开销、错误、原始报文等信息,提供给NPM/APM等各类性能管理产品;另一个方向是安全方向,通过采集流量中的IP地址、URL、文件HASH、HTTP协议详细内容等信息,实现入侵行为、病毒查杀、威胁情报、文件沙箱等安全产品。不论是性能方向还是安全方向,NPBs产品都需要与下游产品进行深度融合,按照不同下游产品的要求进行数据接口对接,完成从流量到业务的衔接。

4、SDN集中控制能力

对于业务节点较为分散、不同节点间业务差异较大、节点上的业务按需变更的场景,SDN驱动是通用的解决方案,NPBs产品的部署与上述场景符合度很高。对于流量分析业务,除了按照固定的规律将不需要的流量前级过滤掉之外,也需要按照业务需求实时变更下发分析策略,一旦将方案从全流量分析变为按需分析,单点NPBs产品的性能要求即可降低,从而降低整体方案的成本。

四、Big Switch提出的SDN驱动下一代NPBs集群部署方案

针对上述问题,笔者关注到NPBs领域的厂商Big Switch Networks提出了针对企业私有云场景的Big Monitoring Fabric解决方案,该方案的核心为SDN驱动的下一代NPBs集群,主要内容包括:

1、NPBs产品集群部署

与机框式路由器和交换机的设计类似,除了背板外,机框式NPBs产品也会提供过滤接口板(Filter Ports)、分发接口板(Delivery Ports)和业务接口板(Service Ports),分别实现前级过滤、复制分发和业务处理,如图所示。

机框式NPBs产品拆分示意图

当我们把每一部分拆分为独立NPBs产品,并使用SDN控制器进行整体管理时,就得到了一张跨广域网的NPBs产品集群网络:

SDN驱动下一代NPBs产品集群部署方案示意图

在这张网络中,进一步将端口细化为如下角色:

Tunnel Ports

跨广域网传输时,在NPBs产品间一般使用隧道互连,例如L2-GRE Tunnel,这些隧道上的端口被归类为Tunnel Ports,可见下一代NPBs产品也应当考虑支持常见的隧道技术。

Filter Ports

用于流量分析前的前级过滤,进行报文去重、解封装等操作,根据实际业务要求将不需要的流量先去除,这部分其实是融合了传统分流器产品的特性。

Delivery Ports & Service Ports

完成流量识别和数据分析后,将信息以数据接口的形式上送到各类分析服务系统,或者将过滤出的流量发送给高性能NPBs产品进行汇聚。另外,对于性能分析和流量回溯业务,在Deliver Ports和Service Ports上还需要上传NetStream/Netflow甚至原始报文等信息,这也对NPBs产品提出了更高的要求。

2、SDN控制器总体调度

在多台NPBs产品使用独立方式部署的情况下,为了将所有NPBs产品进行统一纳管协作,需要引入SDN控制器进行总体调度,从而将多台产品组成一台逻辑上的大NPBs产品(Big Monitoring Fabric ),这种模式具备以下优势:

流量按需调度

通过SDN控制器下发策略,可以实时控制流量调度的范围,提前将不关心流量过滤,尽量保持只处理需要的流量,避免被动的全流量分析。通过按需调度,单台NPBs产品处理性能要求降低,从而实现成本降低。

面向意图的北向接口(Intent NBI)

在私有云环境下,业务上下线变更频繁,催生了不少NPBs产品的分析需求,例如对于新上线业务的及时发现,以及快速应用识别和应用归类。当前,SDN控制器已经逐渐实现了系统能力的开放,力图实现面向用户网络操作意图的北向接口(Intent NBI)。SDN控制器通过北向接口与用户的业务系统对接后,将用户高层次的业务意图转化为NPBs产品部署策略进行下发,实现自动化管理。

业务平滑扩展

在SDN驱动模式下,不论是NPBs产品或是业务分析工具链需要部署变更,都可以在现有架构下平滑变动,无需改变底层配置。相比高端机框式的NPBs产品,集群内的NPBs产品部署更加分散,单点的变更更加灵活,可以实现业务平滑升级扩展。

3、下一代NPBs优势

在方案中,下一代NPBs产品充分发挥了相对传统产品的优势,通过融合TAP功能在Filter Ports进行早期过滤,并通过Openflow协议等方式实现SDN控制器统一管控,解决了按需部署和平滑变更等问题。在后端,下一代NPBs提供丰富的融合方式,如NetStream/Netflow、Syslog、文件上传等,与多种业务分析工具链进行有机融合。

五、业界观察

作为老牌SDN玩家厂商,Big Switch Networks早在2012年就发布了业界著名的完全开源SDN控制器Floodlight,凭借强大的稳定性和易用性,以及对Openflow协议的良好支持,Floodlight已经成为业界主流的SDN控制器之一。Big Switch Networks基于自己强大的SDN能力,在各个领域推出了SDN驱动的解决方案,而在网络流量领域,Big Switch Networks首先推出了分流器TAP产品,然后又引领了下一代NPBs产品发展,充分发挥了其Cloud-First Networking (CFN) 方向上的技术特长。

Big Switch Networks公司解决方案

在国内,与Big Switch Networks发展路线相似,同样具备强大SDN基因的盛科网络,也推出了SDN驱动的分流器TAP 产品以及SDN安全服务链产品。

六、结语

观察由分流负载+提取分析+数据应用组成的1+1+1>3整体方案,三个组成产品之间的边界正在逐渐模糊,存在进一步深度融合的趋势。

随着SDN产业成熟,各类SDN应用方向已经进入落地应用阶段,比如近期在国内大火的SD-WAN方向就是一个例子。对于国内众多的流量分析方向产品来说,不论是分流器产品或是NPBs产品,引入SDN相关技术驱动都不失为一个可以考虑的技术方向。

关于安博通

北京安博通科技股份有限公司(简称“安博通”),成立于2011年,以“看透安全,体验价值”理念为核心,是国内领先的可视化网络安全专用核心系统产品与安全服务提供商。其自主研发的SPOS可视化网络安全系统套件,已成为众多一线厂商与大型解决方案集成商最广泛搭载的网络安全系统平台,是国内众多部委与央企安全态势感知平台的核心组件与数据来源。