南京新一代人工智能研究院孫明?。篈I芯片評測非一日之功，需要AI企業多參與

目前DNN benchmark V0.5評測工具已經在Github上開源。

國內的芯片產業有多火？

最明顯的一個特征便是越來越多的新興技術公司推出了適用于特殊場景的專用芯片。然而，在芯片“井噴”的背后，也暗藏著不少問題。

最近，鎂客網為此采訪了中國信息通信研究院云大所人工智能部副主任、中國人工智能產業發展聯盟（AIIA）總體組組長、南京新一代人工智能研究院院長孫明俊，請她從第三方的角度解讀了AI芯片背后的基準評測問題。

圖 | 南京新一代人工智能研究院院長孫明俊

南京信新一代人工智能研究院，瞄準AI芯片評測

南京有多重視人工智能？

從南京經濟技術開發區大力推進的智慧新港就能可見一斑，近幾年，開發區除了引入像京東、科沃斯、創新工場這樣的企業研究院，還和一些政府機構合作共建新型研究院，比如南京新一代人工智能研究院。

去年，中國信息通信研究院（以下簡稱“信通院”）與南京經濟技術開發區在前期合作的基礎上，依托中國信息通信研究院在人工智能領域技術儲備及產業資源等優勢，合作共建南京新一代人工智能研究院。

據悉，信通院近年來在云計算、大數據、人工智能、寬帶移動通信、移動互聯網等領域開展了政策、標準、評估測試等一系列研究工作。

在這樣的背景下，南京新一代人工智能研究院也肩負起了有關人工智能的標準評測工作。正如孫明俊所言，“做標準或者評測都是需要平臺型的專業機構來做，所以信通院想做這個事情。”

另一方面，整個AI行業涌現出種類繁雜的AI加速芯片，但這些功能復雜多樣的芯片卻沒有一個統一的衡量標準，去評估計算性能、單位能耗算力的具體情況。同時，對于那些想要購買芯片的需求方來說，也難以從廠商的官方信息中判斷該芯片是否可以滿足真實場景的需求。

更關鍵的是現有的基準測試不適合評測AI芯片，在這種供需信息不對等的情況下，更迫切需要一個中立第三方去給出合適的評估解決方案。

南京新一代人工智能研究院就擔負起了這個評估的工作。去年，中國人工智能產業發展聯盟（由國家發改委、科技部、工信部、網信辦指導，中國信息通信研究院等單位發起）聯合阿里巴巴集團、百度、寒武紀科技等多家企業，推出了AIIA DNN benchmark——人工智能端側芯片基準測試評估方案。

在2018 AIIA人工智能開發者大會上，孫明俊代表中國人工智能產業發展聯盟發布了該評估方案的V0.5版本。

AI芯片評測工具，引導規范專用芯片市場

“為專用的芯片設立一個基準測試是非常重要的工作”孫明俊在鎂客網的采訪中再三強調了測試平臺在整個AI產業發展中的重要性和關鍵性。“這是產業鏈中不可或缺的一個環節。特別是在產業發展的初期，技術路線尚未明確的情況下，一個好的基準測試應該做到的是樹立清晰的指標技術競爭體系，這即可以幫助企業快速進步，同時也客觀反映當前產品現狀，一個行業如果充斥著太多魚龍混雜的產品，就很難走下去。”

所以，必須有個第三方中立的機構去防止這個領域出現劣幣驅逐良幣的現象。

據孫明俊介紹，AIIA DNN benchmark V0.5測試主要面向端側，旨在客觀反映具有深度神經網絡加速能力的處理器在完成推斷任務時的性能。V0.5版本的評估工具基于Android/Linux系統，支持測評的機器學習訓軟件框架包括TensorFlow/Caffe等，已經完成的移動端適配環境有HiAI /MACE/ SNPE/TensorFlow Lite/Tengine。

在今年3月舉辦的“AI in 5G——引領新時代論壇”上，研究院發布了首輪的評估結果，包含四大典型場景和兩大類評測指標。評測場景包括圖像分類、目標檢測、超分辨率、分割網絡；評測指標則包括速度（fps）和算法性能，算法性能指標涉及如top1 、top5、mAP、mIoU、PSNR等。

談及當前的AI基準測試，除了AIIA之外，阿里、寒武紀以及百度均有動作：阿里在去年的云棲大會上推出了AI Matrix；中科院計算所、寒武紀、科大訊飛、京東、銳迪科、AMD等六家則是攜手推出BenchIP。國外的MLPerf也于去年5月由谷歌牽頭聯合全球各大科技公司與高校開展相關基準測量工具研究。

當被問及AIIA的評測工具相較于其他基準測試工具的優勢，孫明俊強調，“我們沒有產品傾向性，是非常中立且不帶產品色彩的獨立第三方測試。”

值得一提的是，孫明俊也強調AIIA DNN benchmark是深度學習處理器領域首次區分整型和浮點對比的Benchmark。

AI芯片評測非一日之功，開源工具鼓勵企業多參與

雖然AI芯片評測工具已經推出，但是考慮到專用芯片的復雜性，也給評估工作帶來一些困難。

“我們面臨的一個很大的問題是適配，比如TensorFlow/Caffe適配到高通、海思都要做大量的工作，但是以前的通用CPU評測就不存在這個問題。”

孫明俊表示適配的難度之外，由于芯片上搭載的場景也非常多，所以需要測試的場景相應也會很多。另外延遲、帶寬、能耗也都要納入考慮范圍，再加上各種神經網絡模型有不同參數，不同參數下又有不同的輸出曲線，所以測試基準工具也得不斷地迭代下去。

雖然有很多企業也在做AI芯片的基準測試，但是整個業內似乎還缺少統一的標準。對此，孫明俊解釋道，“AI基準測試之所以還沒有任何一家企業被公認為標準的行業測試體系，其原因就在于人工智能處理器的多樣化，處理器的尺寸、功能、構架、制程不同，應用的領域、范圍、特定場景不同，也就導致了人工智能處理器的復雜化。”

而評測體系如果想要建立好，就必須要把所有處理器可能遇到的場景和問題考慮進去。這點也正是行業難點之所在。

所以為了吸引更多的企業參與到專用芯片測試中，目前DNN benchmark V0.5評測工具已經在Github上開源。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！