面對國產基礎軟件困境,進擊的星環如何突圍?
5月3日,星環科技在上海舉辦了2018第二屆前沿科技論壇暨星環用戶大會,在此次大會上,星環宣布了眾多的重磅消息
5月3日,星環科技在上海舉辦了2018第二屆前沿科技論壇暨星環用戶大會,在此次大會上,星環宣布了眾多的重磅消息:發布最新的系列產品、星環TDH平臺通過TPC-DS基準測試、與新加坡人工智能核心項目簽署了戰略合作協議……
剝絲抽繭這些消息,我們不難發現星環在大數據底層基礎產品研發領域已經走出了一條自己的道路,在這條道路上星環的產品經歷了怎樣的變化?新發布的TDH 6.0有哪些技術細節和性能優化?新增的人工智能產品線如何發展……針對這些問題,我們在第九屆中國數據庫技術大會上采訪到了星環科技的大數據研發總監劉汪根。
劉汪根,負責星環科技大數據平臺軟件Transwarp Data Hub的研發工作,主導開發星環大數據平臺的大量創新功能,包括國內領先的完整兼容SQL標準的Hadoop SQL編譯器,首個完整支持ACID屬性的分布式事務,穩定高效的分布式執行引擎。
通關TPC-DS基準測試,星環TDH6.0技術細節披露
“星環TDH平臺成為全球首個通過經過官方審核的TPC-DS基準測試的數據平臺,打破了該領域十二年來沒有廠商通過該項測試的局面”。這個消息一出,無疑給了“基礎軟件國產化”一劑強效雞血。
“通過TPC-DS基準測試對于星環TDH來說,更多的是意味著我們的產品可以7*24小時的滿足非常嚴苛的生產需求,在使用性、穩定性和產品全面性方面達到了非常好的水平。”在談到新發布的星環 TDH 6.0時,劉汪根也透露了很多技術細節。
實時處理引擎:大多數時候,講實時處理其實是在講實時計算引擎,尤其是在延時和吞吐兩個方面的體現。一年前,星環完成了高吞吐、低延時實時計算引擎的研發工作,延遲時間可縮減到5毫秒,是Spark Streaming引擎延時的1/100。另外,據劉汪根透露星環實時計算引擎里加入了一些機器學習的常規算法。
降低入門門檻:任何產品的發布使用都是一個比較復雜的過程,你需要去學習編程語言、調試、發布等等。但星環TDH 6.0提供了整個的開發平臺,在處理復雜的編程調試時,可以直接拖拽基于統一化規則的事件。
完整的開發工具鏈:大數據開發存在的一個很大問題是工具鏈的不完善,有些常規工具的正負面反饋幾乎是一樣多的,而星環把整個大數據底層的開發工具都打通了,IDE、大數據工具、調度流工具、日志檢索類工具等等全部都做到了開箱即用。
五大產品線,星環瞄準“人工智能”的會心一擊
如果大家留心觀察了星環的產品,就會發現原來大數據平臺TDH中的人工智能相關模塊在6.0版本中消失了。在5月3日的用戶大會上,星環宣布新增人工智能的產品線,并與云、大數據、數據庫、一體機共同組成五大產品線。為什么會開辟人工智能產品線,這條產品線又如何與其它產品線相關聯呢?
“在幫助用戶打好數據基礎之后,我們發現還需要幫助用戶解決在人工智能方面的準入門檻,這就是我們選擇開辟人工智能產品線的初衷。”劉汪根這樣表示。據悉目前星環的人工智能產品線在做兩件事,一件是打造通用的工具,讓合作伙伴快速切入應用,另一件是和合作伙伴共同打造垂直市場的人工智能解決方案。
星環人工智能產品線如何與其它產品線關聯呢?星環的研發體系是一個“中臺+前臺”的設計,就人工智能產品線而言,有一些產品是人工智能專有的,例如建模工具、模型篩選、應用對接等等。但其底層開發卻需要其他產品線的配合,例如基于Spark的計算引擎、基于TensorFlow的計算引擎、所有后臺、服務治理、技術軟件安全等等都是由中臺研發部門統一提供。這樣的研發體系設計使得星環不論是產品發布還是對于客戶業務需求的響應速度都比之前快很多。
“Hadoop是對傳統數據倉庫的補充而非替代”,時至今日我已不再認同
2006年,Apache Hadoop項目正式啟動以支持MapReduce和HDFS的獨立發展,當時甚至是在Hadoop發展了一段時間之后,很多人都稱“Hadoop是對傳統數據倉庫的補充而非替代。”時至今日,Hadoop應用場景日益豐富,業內專家是否還認同這一觀點呢?
“我不是特別認同這個觀點了”,劉汪根明確的表達自己的想法,“如果你只是使用開源的Hadoop,那么很可能你并不能適用核心功能,所以只能是數據倉庫的一個補充。但是當我們通過數據多加工、支持高并發用戶訪問、對接其它系統、復雜SQL業務、多種業務建模、低延時的復雜事件處理、海量數據的高速檢索等等建造了一個完備的系統時,Hadoop就不再只是傳統數倉的補充,而是替代了。”
最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!
硬科技產業媒體
關注技術驅動創新
