omniture

浪潮:智算時代AI性能需求6年增長30萬倍,存儲怎么辦?

2021-09-01 15:26 5469

北京2021年9月1日 /美通社/ -- 智算時代的序幕已經(jīng)拉開,互聯(lián)的萬物,一切皆計算機(jī)。智慧計算融入到千行萬業(yè)的圖景,正在徐徐鋪開。這是一個數(shù)據(jù)成為生產(chǎn)要素的時代,智慧計算將勞動者由人變成了人+AI,將數(shù)據(jù)變成了一種新的生產(chǎn)資料,將計算力驅(qū)動的信息化設(shè)備變成了生產(chǎn)工具。

智算時代,算力供應(yīng)呈現(xiàn)多元化發(fā)展趨勢,包括科學(xué)計算、關(guān)鍵計算、云計算、AI計算等,支持這些多元、異構(gòu)的計算,需要新型數(shù)據(jù)中心。

工信部在《新型數(shù)據(jù)中心發(fā)展三年行動計劃(2021-2023年)》對新型數(shù)據(jù)中心的定義是:以支撐經(jīng)濟(jì)社會數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新為導(dǎo)向,以5G、工業(yè)互聯(lián)網(wǎng)、云計算、人工智能等應(yīng)用需求為牽引,匯聚多元數(shù)據(jù)資源、運用綠色低碳技術(shù)、具備安全可靠能力、提供高效算力服務(wù)、賦能千行百業(yè)應(yīng)用的新型基礎(chǔ)設(shè)施,具有高技術(shù)、高算力、高能效、高安全特征。并明確指出:引導(dǎo)新型數(shù)據(jù)中心集約化、高密化、智能化建設(shè),加快高性能、智能計算中心部署。

先以AI計算為例。2018年5月,一篇著名的OpenAI博客分析,自 2012 年以來,AI算力需求總增長約30萬倍(如下圖),也即3.4月翻一倍(相比之下,摩爾定律約每兩年翻倍,總增長約7倍)。


迅猛增長的AI算力需求,對底層IT基礎(chǔ)設(shè)施,包括存儲提出了新的挑戰(zhàn)。

再以云計算為例。國內(nèi)最大的云計算公司阿里云,在2020年的雙11當(dāng)天零點零分26秒,迎來流量洪峰,訂單創(chuàng)建峰值達(dá)58.3萬筆/秒(也即TPS,Transaction Per Second,代表每秒執(zhí)行的事務(wù)數(shù))。

這么高的性能需求,會對與之相關(guān)的電商、銀行、物流等上下游的企業(yè)造成很大的壓力。例如2017年雙11,農(nóng)業(yè)銀行核心系統(tǒng)全天交易量4.49億筆。其實,無論云計算,還是邊緣計算等,都已經(jīng)或?qū)⒁退接性苹蛘邤?shù)據(jù)中心的業(yè)務(wù)系統(tǒng)打通,實現(xiàn)數(shù)據(jù)的處理、流動和共享,為全產(chǎn)業(yè)鏈聯(lián)動,提供及時交付和響應(yīng)。另外,無論是AI計算、科學(xué)計算,還是萬物互聯(lián)帶來的計算,都已經(jīng)或?qū)⒁獙崿F(xiàn)從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換,以及終端(含手機(jī)、車載大屏等)的可視化呈現(xiàn),為個人或組織提供參考和決策依據(jù);在這個過程中,轉(zhuǎn)換后結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)處理、安全,和再在線(類似從AI訓(xùn)練到推理,如抓捕逃犯),離不開為關(guān)鍵計算提供支撐的IT基礎(chǔ)設(shè)施,如集中式存儲。

當(dāng)我們關(guān)注存儲性能時,通常有IOPS(每秒IO個數(shù))和延時(處理IO所需時間,通常以毫秒,也即ms為單位)兩大指標(biāo)。上面雙11所述的TPS是每秒交易數(shù),是從業(yè)務(wù)視角來觀察性能的,通常一個訂單的操作會聯(lián)動多個數(shù)據(jù)庫的增刪改查操作,導(dǎo)致多個存儲IO的讀寫操作。不過,需要注意的是,不同業(yè)務(wù)TPS帶動的IO數(shù)有時相差很大。

我們再來看關(guān)鍵計算的幾個例子。為了追求極致的性能,有些行業(yè)用戶無所不用其極。

Spread Networks 大概從 2010 年開始,花費 3 億美元挖通修建了一條橫穿阿巴拉契亞山脈的光纜隧道,目的是讓光纜不用繞道,將數(shù)據(jù)傳輸時間縮短大約3毫秒。

2013 年,一組破冰隊伍和特制的極地冰山電纜鋪設(shè)船將開始建造第一艘跨北極海底光纜。其中兩條名為“Artic Fibre”和“Arctic Link”的光纜將跨過加拿大北極群島的西北通道。第三條類似走向的海底光纜,俄羅斯跨北極海底光纜(ROTACS)將會圍繞北歐北部的斯堪的納維亞半島和俄羅斯進(jìn)行鋪設(shè)。通過這三條海底光纜,全球兩大金融交易中心英國倫敦和日本東京將幾乎得以直連,相比現(xiàn)有方案節(jié)省近8000公里,兩地間的數(shù)據(jù)傳輸時間也從大約0.23秒減少至0.17秒,這項工程耗資大約15億美元。

2017年彭博社報道,Jump Trading公司在芝加哥商品交易所數(shù)據(jù)中心對面,花了1400萬美元買了一塊12萬平方米的空地(如下圖),并架設(shè)了微波通信基站,僅僅為了節(jié)省0.07毫秒時間。眾所周知,眨眼常被形容快,它的時間約0.4秒;而Jump Trading花費巨資,只是為了快5700分之一眨眼的時間。

可想而知,在一些行業(yè)的某些特定應(yīng)用上,為了追求高性能、低延遲,用戶愿意不惜代價。筆者曾服務(wù)過的一個國內(nèi)部委用戶,僅僅為了縮短幾毫秒的延時,數(shù)年下來,已經(jīng)投入了數(shù)億元人民幣在集中式存儲上。

就像人類在體育競賽中所展現(xiàn)的精神一樣,追求更快、更高、更強(qiáng)是永恒不變的動力,存儲性能競賽也是如此。

2021年6月,全球存儲性能委員會(Storage Performance Council,簡稱SPC)公布了新的SPC-1基準(zhǔn)評測報告,浪潮分布式存儲AS13000G5以630萬IOPS(每秒讀寫操作的次數(shù))、0.5ms時延的評測值,刷新了分布式存儲性能全球最優(yōu)成績。這是繼浪潮存儲在“統(tǒng)一存儲”賽道奪得16控、8控、單位成本性能世界冠軍之后,在“分布式存儲”領(lǐng)域?qū)崿F(xiàn)新突破,成為存儲全球性能領(lǐng)跑者。

2021年8月,SPC公布了最新SPC-1基準(zhǔn)評測榜單,浪潮存儲高端全閃HF18000G5獲得2300萬IOPS(每秒讀寫操作次數(shù))、不超過0.3ms延時的評測值,位列性能總榜全球第一,如下圖。

2021年8月,浪潮高端全閃奪得性能總榜全球第一
2021年8月,浪潮高端全閃奪得性能總榜全球第一

浪潮存儲的優(yōu)異性能表現(xiàn),對智算時代中的科學(xué)計算、云計算、AI計算,如核心交易用到的數(shù)據(jù)庫,以及OLAP、郵件系統(tǒng)、虛擬化、AI等業(yè)務(wù)的存儲系統(tǒng)選型具有極高的參考價值。浪潮存儲會在集中式全閃、分布式全閃新存儲領(lǐng)域持續(xù)投入,以性能全面碾壓、技術(shù)實力領(lǐng)先、市場增速領(lǐng)跑的強(qiáng)大產(chǎn)品和市場競爭力加速企業(yè)數(shù)字化轉(zhuǎn)型,形成全球存儲新勢力。

作者:浪潮信息首席架構(gòu)師 葉毓睿

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection