[国家网络智能建设系统]在网络中,Mellanox开始了新一代智能网络

作者:易秋      发布时间:2021-04-28      浏览量:0
科技云报道:机械学习、人工智能等应用的兴

科技云报道:

机械学习、人工智能等应用的兴起,业界对数据的传输速度、带宽和安全产生了越来越多的需求作为以InfiniBand网络创业的公司,Mellanox现在的业务不仅仅是IB网络本身,以太网业务也成长为公司的主要业务。

最近,在Mellanox主办的RDMA加速人工智能计算技术研讨会上,腾讯、蚂蚁、微软、英伟达、今天的顶、商汤科技、Face辞退、浪潮、浪潮和香港科学技术大学等多家国内顶尖的AI企业和研究机构来到现场,与业界共享了AI顶尖的技术干货。

这些赫赫有名的企业,有的是Mellanox的客户,有的是Mellanox的合作伙伴,在探索AI的道路上彼此之间始终合作紧密。

与此同时,MellanoxCEO-eyalWaldman也开始了他的访华之旅,和往常一样,Eyal的旅程安排得很充实,一到中国就开始马上访问客户。

本次技术研讨会上,科技云报道独家访问了Mellanox公司的创始人、社长兼CEOEyalwaldman,深入探讨了以太坊的进化和大数据、AI的应用,以及面向未来的网络技术创新等问题。

超越极限

以太坊的快速发展

当人们谈论以太坊时,首先流入脑海的可能是计算机上的局域网或路由器上的WiFi。事实上,以太坊无处不在。以太坊不仅涵盖了家庭网络和用户终端,还应用于运营商网络、大型数据中心和服务提供商等领域。

第三方报告数据显示,自2000年以来,在工业应用领域,10Gb以太坊占工业应用的80%。

针对不一样的应用场景,以太坊拥有不一样的速率。在企业层面,2.5Gb、5Gb和10GE在支持企业高速访问和WiFi应用的数据中心层面,经历了25Gb、50Gb、100Gb、200Gb到400Gb以太网的发展

据Eyal报道,上个月最新发布的世界超级计算机Top500排行榜中,Mellanox以太坊解决方案连接了TOP500排行榜中的所有25Gb、50Gb和100Gb以太坊系统,来自中国的超大型企业已经在多个数据中心部署了25Gb以太坊。

Eyal认为,随着25Gb以太网被越来越多的公司采用,Mellanox在以太网上获得的市场份额越来越大,竞争对手英特尔主导的兆(10Gb)领域的优势逐渐减弱。毕竟,从25Gb、50Gb到100G是未来的发展趋势,这三种网络速度Mellanox具有其他企业无法比拟的网络技术优势。

Mellanox始终保持着一代技术的领先地位,我们已经有了200Gb和400Gb,但英特尔只有100Gb,我们会把差距拉得更大。在未来可以预见的几年内,我们将领先英特尔一代到二代的产品。据Eyal报道,明年年初Mellanox将对外销售包括以太坊和InfiniBand在内的200Gb终端产品,包括网卡、交换机和网线照明模块。

Eyal稍微骄傲地告诉记者,这个完整的数据中心网络解决方案是为了保证整个网络能够实现端到端的高速发展。Mellanox在网上跑得最快,没有人能拖我们,所以做了端到端的闭环。

据Eyal报道,现在Mellanox着手开发800Gb的产品,以各代产品升级的速度,到2020年800Gb的产品应该会登场。

颠覆传统

智能网络创新创意

在网络演进过程中,以太坊一直以十倍规律的传输速度增长,但从2014年开始,以太坊打破了十倍传统惯例,开始探索2.5Gb、5Gb和25Gb的可行性。

新的应用场景不断出现新的以太网接口,不仅推进各通道的速度提高,还推进以太网向综合、可定制的方向发展。

以前业界关注高速网络,现在以Mellanox为主导的系统制造商们开始提出新的概念智能高速网络。

所谓智能高速网络,采用独特的加速引擎和网络卸载技术,通过在网络设备中增加先进的逻辑运算单元,将需要CPU的计算作业卸载到网络中,为CPU分担作业量。

这种网络计算的新技术不仅比传统网络的计算速度高几倍,还提高了CPU在运行应用时的效率。

这种霸权性的网络处理方式在AI时代正是时候。在典型的深度学习场景下,机械训练和推理依赖于大量的数据传输和处理。如何突破传统CPU处理数据的瓶颈,大大提高应用性能,成为AI课程抢夺的重要环节。

在Eyal中,网络越智能,机械学习的效率也越高。

另一方面,Mellanox的网络产品提供更高的带宽高传输数据,或者在同一时间内,Mellanox的产品可以处理更多的数据,另一方面,由于计算的瓶颈很多,Mellanox的网络内计算技术可以在网卡和交换机内处理一部分数据,所有的数据都可以在CPU处理

Eyal对此做了一个非常酷的比喻,他把这个过程形容为数据移动计算。

事实证明,Mellanox智能网带来的效率令业界赞叹不已,在Mellanox和百度机器学习平台的合作中,采用MellanoxSpectrumTM以太网交换机和ConnnnectX-4打100Gb/s以太网适配器,百度在机器学习训练时间上实现了200%的提高,满足了百度对更高数据速度和最有效数据传输的需求。

Mellanox与商汤科学技术的合作,将数据集的训练时间从一周缩短到一天,使商汤科学技术的图像识别模型更快、更准确地识别对象。

Eyal说:因为可以更快地传输数据,所以可以为用户节省很多时间和成本。采用我们网络的图像识别系统,可以阅读/传输更多的数据,识别速度快,准确。在同样的时间内,Mellanox的网络速度更快更智能。

与业界领先的人工智能企业和平台合作,使Mellanox的智能高速网络更加适合机械学习的框架。

在这些AI企业中,Mellanox的网络设备卸载了CPU/GPU的工作,分担了更多的计算任务,是非常好的协助处理器。

同时,Mellanox的网络快速传输协议RDMA更好地支持机械培训平台架构,不仅支持Tensorflow、Caffe、CNTK等主流开源平台,还广泛应用于国内AI厂商自研的机械学习平台。

由于技术通用性,Mellanox与各大AI厂商合作的案例常常被其他厂商推荐参考,对智能高速网络在市场上起到了很好的推动作用,对于Mellanox和AI厂商来说也达到了双赢的结果。

抓住机遇

Mellanox厚积薄发

基于以太网和InfiniBand行业领导人的地位,Mellanox以云计算的蓬勃发展趋势,大力发展自己的交换机芯片业务。

收购EZchip后,Mellanox发布了新的BlueField产品,将多种芯片融合成更智能、更完善的设备。由于嵌入了ARMCPU芯片,BlueField比普通的网卡处理能力更强。

值得一提的是,行业对BlueField产品也非常期待。从性能上看,无论是延迟、波段、丢包率还是延迟的稳定性,公开的第三方测试结果都表明,BlueField远胜于目前市场占有率第一的Broadcom交换机芯片。

同时,随着云计算发展带来的IT基础设施转型,大型互联网公司和公有云厂商对自主可控换机的渴望也更加迫切。一方面,价格控制,厂家追求最佳性价比,另一方面,厂家采用自己编程的软件,管理方便。

从开放性的角度来看,Mellanox是业内首个提出Openthernet即开放以太坊概念的厂家之一,采用软硬件分离的系统,客户可以使用Mellanox的软件,也可以使用开源软件,也可以自己开发软件,通过Mellanox开放的API、SDK管理交换机。

Mellanox的高性能和开放性给交换机业务带来了新的增长。以前只有Broadcom制作交换机芯片,Mellanox的加入让网络公司高兴。许多互联网公司同时使用两家产品,并存和比较成为当前市场的常态。

Eyal认为,未来规模大后,供应形态发生变化的可能性很高,Mellanox交换机被互联网公司大规模采用的倾向非常强烈,这将是未来的巨大机会。

事实上,这种机遇不仅体现在全球信息技术的发展趋势中,也体现在整个中国市场上。Eyal表示,目前Mellanox约30%的收入来自亚太市场,其中中中国增长率非常快,成为仅次于美国的世界第二大客户市场。

Mellanox在中国的客户群和合作伙伴,包括BAT、今天的顶尖、京东、美团等着名的互联网企业、浪潮、华为、联想、ZTE、中兴等大型IT经营者。Eyal表示中国市场潜力很大,期待2018、2019年中国市场达到两位数的增长率。

在HPC和以太坊的互联网领域,Mellanox可以说是名副其实的佼佼者,始终为超大规模计算、云端和企业级数据中心提供高效率的网络。Mellanox智能高速网络倡导新的计算变革,行业将在深入学习、大数据、物联网等领域继续深入探索,使未来的网络世界不再遥远。

【科技云文章原创】