首提完整中臺方法論,網易云全鏈路中臺引爆產業“核聚變”升級

IM2Maker 6年前 (2019-07-26)

網易云發布了全鏈路中臺技術及方法論,為做中臺提供自己的新思路。

當前數字經濟領域最受關注的技術趨勢當屬中臺,到底中臺對企業發展的意義何在,企業應當如何建設中臺?7月26日,網易云在本屆云創峰會上給出了完整的答案,從組織、技術、方法論的角度系統闡述了網易杭州研究院的中臺實踐與成果,并發布了全鏈路大數據產品和輕舟微服務產品,分別為企業構建數據中臺和在線業務中臺提供完整的技術和方法論支持。

在主題演講中,網易副總裁、網易杭州研究院執行院長汪源首次介紹了網易對中臺的理解,他表示:中臺的本質是業務能力的沉淀,它對于企業提高需求響應、降低定制成本、實現彈性穩定、實現系統互通、提升運營效率和降低資源成本具有獨特的優勢,而中臺的成功建設,需要組織、技術和相應的方法論的支撐,同時由于業務的復雜性,企業往往還需要借助專業的咨詢服務,才能順利建設中臺。

據悉,網易是業界唯一通過設立研究院專職培育創新業務的公司,網易杭州研究院(以下簡稱杭研)同時肩負著能力沉淀和業務創新兩大職能,成功孵化了網易考拉、網易嚴選、網易云音樂、網易云等業務。由于發展的業務眾多,杭研天然具備建設各種共性能力的訴求,很多能力自然而然就建設成了中臺的形式。汪源認為,這些能力(中臺)的沉淀,能夠幫助企業駕馭云計算、微服務、大數據、人工智能和物聯網等技術革新成果,并形成核聚變的能量,促進企業數字化創新,推動產業發展乃至社會經濟升級。

圖:網易副總裁、網易杭州研究院執行院長汪源

明晰中臺內涵與實踐路徑,首提技術核聚變

隨著IoT將互聯網能力延伸到生產端,例如基于IoT的網易疾風工業智能平臺讓工業企業解決生產管理頑疾,企業對新技術、新數據價值的挖掘愈發期待,中臺的價值也被更多企業關注。在國內,一些原本的平臺,也隨之搖身一變成了所謂的技術中臺、算法中臺、移動中臺、研發中臺,汪源將之稱為“中臺亂象”,他表示,中臺必須具備業務屬性,沒有業務屬性的,即使支撐多個前臺業務,比如一堆技術組件,也只是平臺而不是中臺。在汪源看來,所有的中臺都是業務中臺,數據中臺是業務中臺的特殊形式,而用戶中臺、內容中臺則是數據中臺的特殊形式。

由于當前數字技術革新很快,明確技術概念的職責與內涵,對技術項目的成功實踐至關重要。中臺也是如此,如果概念過于寬泛,或者混淆,企業容易對中臺失去信心,從而在數字化創新中錯失良機。汪源的梳理,為企業對中臺的判斷提供了直觀的標準。“網易除了有能力,也有責任來分享中臺經驗。”汪源說。

對于中臺的建設,汪源認為,組織、技術和方法論三者不可或缺。從組織的角度,他認為,中臺需要整合資源,讓懂業務的人參與,其次,在BU、BG、企業、集團各個層次都可以建設中臺,但必須是各層次的一把手工程,否則難以調配資源。

技術層面,建設在線業務中臺需要微服務、DevOps、分布式事務和云原生技術體系的支撐,建設數據中臺則需要指標管理、數據服務、元數據管理、數據倉庫開發與管理、數據質量管理、數據安全管理、數據資產管理,以及大數據計算引擎、數據集成/同步/交換引擎、敏捷BI系統等一整套典型的支撐技術。

作為能力的沉淀,除了工具,中臺無疑需要流程/規范/方法論。目前業界存在許多相關的方法論,如六邊形理論、領域驅動設計(DDD)、指標設計方法論等,但大都與技術相關,在中臺組織層面尚無成熟的方法論?;诤佳械膶嵺`經驗,汪源在業界首次提出了一套完整的中臺組織方法論。

根據參與人員的差異,汪源把不同類型的組織總結為“胖中臺組織”、“標準中臺組織”和“平臺組織”——標準中臺組織由各個能力組和工具、規范/流程/方法論組成;當標準中臺組織對業務的介入程度不足以支撐中臺的實現,就需要更加接近業務的定向組來參與,這就形成了胖中臺組織;而能力臻于成熟,工具、流程都實現標準化,標準中臺組織也可以退化成平臺組織。換言之,三個角色并非一成不變,而是處在動態變化之中。事實上,不僅僅是杭研,很多大型互聯網公司都或多或少經歷過類似的重組。與會者認為,中臺組織方法論的梳理,為中臺組織的建設和未來撥開了迷霧。

對于中臺的發展,汪源還總結了一個“數字技術核聚變”的模型。他表示:數據中臺匯聚和整合業務數據,產生洞察指導業務創新,在線業務中臺支撐業務圍繞領域交匯,不斷引入新技術,創造新數據,為數據資產增值裂變提供動力支持,數據中臺和在線業務中臺共生共存,形成數字技術核聚變的巨大能量,推動產業跳躍式進化。

全鏈路大數據產品發布,數據中臺可實現100%標簽覆蓋

為了全面支撐企業數據中臺建設,為業務應用提供統一的數據和服務,網易發布了全鏈路大數據產品——網易猛犸6.0。網易大數據總經理余利華分享了一個真實的客戶案例:某客戶在供應鏈系統、VIPApp和商品運營系統中看到的同一款產品毛利分別是32%、28%、38%三個迥然不同的數字,這給數據分析工作造成了極大的困惑。余利華指出,目前企業在大數據實踐中存在指標口徑不一致、數據重復建設、取數效率低、數據質量故障頻繁、成本指數級增長等五大痛點,這導致了企業80%的工作都與數據分析無關,而數據中臺就是瓦解這一癥結的良方。

圖:網易大數據總經理余利華

網易大數據此次發布的猛犸6.0,在此前的Hadoop、數據集成、任務運維、實時開發、離線開發產品基礎上,新增了指標系統、數據服務、數據地圖、數據質量中心、資產管理中心、數據倉庫開發與管理等全新的系統,這就實現了數據中臺的全鏈路打通,實現全鏈路數據質量監控、全鏈路數據資產分析、全鏈路數據發現。

這些系統的能力,以指標系統為例,猛犸6.0能夠100%消除指標口徑不一致,讓指標數量縮減50%,并且理解一個指標的含義的時間縮短80%。

而據汪源介紹,猛犸6.0已經成功應用于網易考拉等業務,通過數據中臺的建設,實現了100%的數據產品指標覆蓋、99.8%的數據可用率、100%的自助取數和20%的成本節省。

“有了全鏈路大數據產品,企業可以將80%的工作投入商業分析,直接產生業務價值,而數據開發、數據治理只需占用20%的工作量。”余利華總結說。

輕舟微服務平臺升級,突破在線業務中臺的異構挑戰

在線業務中臺有助于業務能力復用、加速業務創新和促進數字化轉型?,F實的問題是,信息隔離、數據隔離等因素,阻礙著在線業務中臺的建設。網易云基礎服務總經理陳諤認為,異構系統整合,包括兼容、通信和系統間事務一致性,和多供應商建設,包括多團隊協作、軟件資產沉淀,是目前企業在建設在線業務中臺過程中遇到的最大障礙,而網易輕舟微服務新品的發布,正是要通過Service Mesh、分布式事務框架GTXS、全新API網關與原有輕舟產品的整合,完成全?;诰€中臺技術體系升級,幫助企業完成業務架構的進化,支撐業務快速創新。

圖:網易云基礎服務總經理陳諤

陳諤介紹,輕舟Service Mesh基于CNCF(云原生計算基金會)的Istio和Envoy等主流開源技術構建,可以實現Java、Python、NodeJS、Golang和PHP等不同技術棧的兼容和通信,能夠與已有微服務框架NSF統一管控、互相發現、互相調用,并且支持容器、虛擬機和裸機部署,將異構系統的支持實現到了業界領先的程度。在性能方面,輕舟Service Mesh也實現了時延降低50%的優化效果,以便更好地滿足在線業務的用戶體驗。GTXS則通過聲明式事務框架,實現了對開發人員更加友好的分布式事務方案,保證了不同微服務的數據一致性,與常用的TCC模式相比,接入效率提升了85%,目前已在工商銀行、網易嚴選等大型生產環境中穩定運行。

據汪源介紹,在網易內部,通過電商、音樂等在線業務中臺的建設,實現了需求響應效率提升100%、應用部署效率提升280%、軟件產品質量提升52%的效果,其中電商應用日均部署1374次,音樂應用日均部署492次。

為了確保這些復雜技術在企業落地應用,網易云為客戶提供了全流程的服務,覆蓋DevOps最佳實踐、可擴展性架構設計、微服務化拆分、治理建設、技術支持和高級運維等各個層面。其中,咨詢服務已經在工商銀行、國家電網、申萬宏源、大華科技、德邦快遞、百勝中國等企業的云平臺建設、中臺建設和架構演進等項目中開花結果。

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到