技術變革下的存儲市場:熱鬧之中隱含洗牌,擴張之下背負重壓
存儲產業的競爭將會越來越激烈。
前兩日,長江存儲宣布了基于Xtacking架構的64層3D NAND閃存產品量產,通過一半創新一半“替代”,成功撬動了世界存儲市場的格局,備受關注。昨天,在上海開幕的IC China上,中科院院士許寧生在談到IC產業的三大創新趨勢時,他特別拎出了存儲。
存儲許久沒有如此受重視了。
作為系統的基礎模塊之一,存儲從來都是在計算和通信之后,擔任著一個必不可少卻又不耀眼的角色。而在2019年,因為云服務市場的蓬勃發展,云存儲的數據量首次超過了端設備側,AI的進入和市場需求的變化倒逼存儲市場變革,這也讓智能存儲從虛無的概念走向了現實。
從整個行業來看,最為明顯的變化是,IBM、Intel等老牌廠商又加大新型存儲產品和存儲系統方案的投入,同時華為云、阿里云等云服務廠商也在積極推出自己的存儲解決方案,幾年前還比較單一冷清的存儲領域又熱鬧了起來。
據IDC統計數據顯示,全球數據量將從2018年的33ZB增至2023年的103ZB,伴隨數據的增長,存儲數據也將從2018年5ZB增長到2023年的12ZB。對于存儲上下游廠商來說,這既是機會,也是挑戰。
閃存市場急速發展,業務需求變化帶來新變革
類似半導體等行業,因為AI的發展和滲透,傳統存儲行業也因此迎來了變革和機遇,匹配云—邊緣—端三大應用領域的存儲需求開始出現。
但是與AI芯片行業硬件設計和制造發展前景不明晰的現狀有所不同,用于存儲數據的基礎硬件和制造技術從不缺乏,主流的閃存介質既能省電,又能省空間,它不僅極大程度地降低硬件的成本,也讓性能能夠得到顯著提升。數據顯示,受閃存等硬件相關技術和產業成熟的驅動,2017年全球企業SSD市場出貨2200萬臺,較2016年增長35%,平均容量需求已達到1.5TB,發展迅速。
因而自上一波移動應用紅利消散之后,在硬件技術相對成熟和統一的當下,整個產業其實一直在等一個時機,一個應用需求猛拉存儲產業的時機。
直到2018年,AI應用、云計算技術和大數據處理真正開啟了數字經濟的第一步:上云。這里面,數據遷移需求首先驅動了存儲市場的發展,也給傳統存儲服務商帶來了挑戰和大展身手的機會。
圖 | 服務器端全閃存陣列
不同于互聯網時代的需求,新型AI應用市場向存儲提出了更多要求,它不僅僅體現在更為復雜的數據類型上,還要求舊有的存儲硬件和系統能夠順應大數據應用需求做出改進,完成數據流所到之處的全生態再搭建與優化。
換句話來說,經歷了前期的探索階段,現在大數據產業具體落在采集、分析、流通、交易等環節,但其中有許多未理順的環節,存儲就是梳理過程中必須考慮的因素。
以數據處理為例,因為數據的爆發式增長,企業現有的存儲環境已經無法支撐新增的處理任務和數據類型,比如如何緩解數據量增長帶來的擴容壓力,如何在異構環境下管理和遷移數據,如何快速搭建匹配業務需求的框架等。
所以,當我們對企業的軟件和硬件系統進行數字化升級之時,我們需要一個完善的解決方案,其既要能夠有效解決數據孤島問題,又要能夠持續保證IT系統的穩定,同時還要兼顧未來橫向擴展的需求。
NVMe讓端到端高效存儲通信成為可能,開啟產業平臺化發展
在云計算、大數據、AI技術的帶動下,企業級數據中心和云服務市場成為存儲軟硬件提供商的香餑餑,同時汽車電子、工控等新興產業也將NOR帶動增長起來(閃存的細分領域)?,F在,因為在延遲、可靠性等方面性能卓越,存儲硬件產品中,我們已經很難看見HDD的影子,閃存儼然已經在各項存儲應用中占據主流。
不過融入AI的系統解決方案對存儲的要求已經不僅僅是存儲盤產品,密集的數據交互需求使得協議、網絡等方面的兼容乃至統一成為了“剛需”。
但因為經歷了互聯網時代的發展,存儲硬件上層生態已經形成了“百花齊放”的形態,這讓現在推動“孤島”間的高效互連有了諸多阻力。有業內人分析指出,因存儲隨著產業變革逐步從硬件存儲產品走向軟硬件系統一體化,現在整個產業的現狀是“不缺硬件,獨缺健康的軟件生態”。
不得不說,對整個產業而言,NVMe邏輯接口標準的落地有著非凡的意義,它極大程度地釋放了SSD的性能,促使其從消費市場走向了高端企業級的應用,也標志著新一代存儲生態建設的第一步。
此前,無論是SATA/SAS階段,還是后來的PCIe階段,其接口協議都無法完全適配現在的主流產品——SSD。最終在2009年,由IDT、Dell、Intel、EMC、NetApp、Oracle、Cisco等13家企業共同發起、80余家業界領軍公司合作開發了基于PCIe接口的NVMe標準,正式完成了兼容各類接口和協議標準的統一存儲規范標準。
作為可擴展主機控制芯片接口標準,針對基于閃存的企業和普通客戶端系統開發,PCIe定義了最優化的寄存器接口、指令集和功能集,并提供可擴展接口來為現在和將來的性能擴展留有空間,這無疑利于存儲向系統和平臺方向發展。
適用于多平臺并為后期的軟件系統開發提供了基礎,這是NVMe標準的優勢所在,但更為不能忽視的是,它的廣泛應用背后反映出的是市場對平臺化發展的強烈需求。
新應用強勢崛起,存儲廠商再洗牌
受應用需求變化影響,原先被壟斷的產業再次發生變化也成為自然而然的事情,無論是重新設計更為穩定和適配當下需求的存儲系統,還是研發新型存儲介質和再革新存儲控制芯片,每一個新的機會面前都涌現了大批廠商。
統計數據顯示,在存儲器的帶動下,2017年半導體行業迎來復蘇,銷售額達4122億美元,同比增長21.6%,創下新高。因此,無論對于存儲產業,還是橫向去看半導體元器件產業,存儲芯片的發展都是核心動力所在,其重要性也不言而喻。
早年,全球DRAM產業經歷了美日、日韓的兩次產業轉移,在這樣的產業大地震過程中,三星、海力士、美光等幾大巨頭逐漸吞下大部分市場?,F在,不同于DRAM時代的存儲產業變化,將閃存與全新應用融合的技術需求給整個行業帶來了“地震”,它也讓更多廠商有了參與的機會,包括曾經在產業競爭中落馬的Intel等老牌廠商。
目前,占據主流的閃存技術主要分為3D NAND和NOR兩大流派。
其中,NAND領域主要還是三星、SK海力士、西部數據等老牌存儲廠商搶先布局,但是可以看出,隨著NAND市場的持續增長,國內的紫光(長江存儲),還有Intel都在強勢進入。而隨著AMOLED手機、汽車電子、物聯網等新應用崛起,NOR市場則涌現了更多新面孔,其中有國內存儲巨頭兆易創新,還有武漢新芯、普冉、博雅、易儲等一批初創。
同時,隨著計算方式走向異構,存儲系統勢必要做出改變,在這一領域,華為云、浪潮云、IBM等云計算廠商也在順應異構計算發展做異構存儲的架構布局,針對云—邊緣—端側應用需求,融合AI去打通云、網、關,實現大數據庫中高效的搜索、分析等功能。
值得一提的是,為了深度整合存儲系統和硬件盤,華為甚至自研Hi1812 SSD控制器芯片,并基于此開發出了自己的SSD產品。
存儲市場競爭的激烈可見一斑。
從主控看存儲廠商如何走下去?
分析至此,容易發現,無論是底層的硬件產業,還是上層的軟件生態,它們的發展和技術走勢本質上都是為了服務未來云邊端一體的AI應用。在過去,因為軟件無法控制數據的實際存儲本源,很多廠商只能在帶寬壓縮和數據格式上下功夫,而如今隨著存儲控制能力的不斷增強,有更多的業務可以由存儲本身來承載,這讓存儲的重要性與日俱增。
但前有老牌存儲廠商,后有云計算大廠從上層逼近,存儲產業競爭的激烈程度可以說與日俱增,而如何在“混亂”的存儲市場走出自己的路,這是每一家存儲公司必須考慮的問題。
作為存儲硬件中的關鍵模塊,大數據安全控制、讀寫等任務都可以落在存儲控制芯片身上,因此它在存儲產品領域擔任了一個“有趣”的角色——數據管理員,而它的身上也有著最為濃重的變革意味。
以NAND閃存為例來看,2018年單個存儲單元4bit QLC的到來對其主控技術就是一個全新挑戰:2016年NAND Flash由2D向3D轉變,2017年三星、東芝、美光、SK海力士等64層/72層3D NAND紛紛實現量產。相比較2D NAND而言,3D NAND帶來了優異的性能參數,單顆Die容量實現翻番,可靠性大幅提升,性能、成本等變化明顯,控制芯片自然需要實現一系列有針對性的升級,比如重讀機制,讀刷新,One-shot編程等;此外,因為糾錯算法由BCH過渡到LDPC,需要實現硬判決和軟判決算法來保證糾錯的性能,很多控制芯片內部則需要實現RAID技術來提高NAND的可靠性,保證數據安全。
不過對于存儲控制器而言,其挑戰不僅僅局限于底層技術的變革,上層應用的變化同樣帶來了挑戰和機遇。
在接受鎂客網采訪時,國內主控設計公司憶芯科技就提到了這樣一個普遍存在的市場需求,“某800萬人口的地級市,數據量每3個月達到13個PB,需要找到的目標實際尺寸只有100多KB。假設數據中心有100臺服務器,在一萬三千多TB的數據里搜索100多KB,傳統硬盤100MB/秒的讀取,16盤柜聚合發送到內存再通過GPU并行搜索,仍然需要數天的時間才能完成,完全無法滿足實時追溯的需要。”
類似這樣的需求比比皆是,也因此,存儲控制器亟待革新。
因此在SSD 控制芯片市場中,雖然 Marvell、慧榮、群聯占據大部分市場,但他們在市場定制化、技術支持、固件開發等方面已經不能完全滿足客戶需求,而在國家政策鼓勵完善芯片制造、IC 設計、封裝、測試等產業鏈各個環節技術能力的同時,國內主控設計公司國科微、聯蕓、憶芯等都在以無法阻擋的氣勢快速崛起。
作為國內后起之秀之中的一員,憶芯就表示他將直接“避”開傳統的云和端側市場,轉而去挑戰已經顯現出來的邊緣計算市場。
“我們面向的是體積、功耗、性價比要求更嚴苛的邊緣計算市場,未來調用的基礎組件會是一塊存算融合的芯片板卡,裝置則是一個體積功耗都極大規約的盒子。面向未來500億互聯的物聯網設備,我們將提供更有力的邊緣計算支持。”
最后
作為存儲的締造者們,IBM、Intel看得更為高遠。目前,它們已經開始了新型存儲介質的開發,目的就是為了匹配未來更為復雜的計算需求,開發出更為多樣的存儲分層系統。
Intel Optane(傲騰)系列硬盤亮相閃存峰會就引起了轟動,在戴爾等廠商的聯合造勢下,SCM(Storage Class Memory)這一新的存儲介質也備受關注。同時他們通過產品證明SCM可以自然融入NVMe生態中,這也為存儲之爭增添了許多不可控的因素。
在市場重組過程中,廠商競爭的激烈程度已經可窺見一二。而在新技術商用的不斷推進下,未來的存儲市場一定很熱鬧。
最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!
硬科技產業媒體
關注技術驅動創新
