把「大模型」塞進手機里，究竟有多難？

蘋果找了一條新思路。

能裝進口袋的AppleGPT，它可能比你想象得更早成為現實。

據科技媒體MacRumors報道，蘋果公司的AI研究人員在近期發布的一篇研究論文里，提到一種創新的閃存技術，該技術可能是為了探索“在有限的內存中運行大語言模型”（論文地址：2312.11514.pdf (arxiv.org)）。

把AI大模型裝進手機里，并不是什么稀奇的事情。自今年下半年起，國內手機廠商們紛紛透露自家大模型的消息，并表示未來的旗艦機型都會接入大模型。

不僅是手機，汽車、PC、平板甚至是學習機，都嘗試將大模型嵌入其中。而這些大模型的規模也，從十億級到百億級，甚至千億級。

不過發布會的演示雖多，實際測試下來真正驚艷的其實并不多。

例如一些所謂的手機大模型產品，無論是回答問題、生成一段文本或是圖畫，體驗感都遠遠不及網頁側的GPT產品。

手機AI大模型，難在硬件

早在ChatGPT誕生前，智能手機上的語音助手們，其實就已經擁有人機交互、實時語音交流等能力。例如Siri、小愛、小藝等產品，它們在用戶與進行對話后，即可完成一些簡單操作指令。

可只要問題稍微復雜一點，這些語音助手就會變成“人工智障”，無法理解用戶的真實意圖。

此外，這些語音助手的功能很單一，無論是專注做語音功能，還是打造成一款全能性的應用，使用反饋都很一般。

隨著大模型產品的成熟，AI的效率得到進化，原本“不聰明”的語音助手們終于有望像ChatGPT回答復雜的問題，大大提高智能手機的可玩性——這本是手機廠商們急于落地AI大模型技術的初衷。

而從實際體驗來看，手機大模型應用的體驗感并沒有想象中驚艷，各種功能都不及網頁側。

我們以小米大模型為例，在演講中，雷軍表示，小米的突破方向是輕量化和本地部署，也就是所謂“端側大模型”。

而想要運行起來，還少不了本地處理器。

在小米發布自研大模型之前，高通推出了新一代移動平臺驍龍8 Gen 3。該處理器除了提升各方面性能以外，最重要的是引入了全新的Hexagon NPU處理器，將AI總算力推到了73TOPS，支持終端側AI及生成式AI性能。

按高通表示，新處理器在終端設備上首次實現了運行100億參數的模型，并且針對70億參數LLM每秒能夠生成20個token——這意味著目前的各種主流LLM都可以在手機端正常運行。

但實際情況是，小米AI大模型MiLM推出了6B（64億）參數，1.3B（13億）參數兩個版本，只有更小巧的1.3B參數版本被塞進手機。

在采訪國內大模型初創公司智子引擎時，他們提出過一個思路——針對芯片硬件側，不管是大模型的訓練和推理，除了要考慮算力的問題外，還要關注數據處理的存儲量的問題。

像 ChatGPT 和Claude 這樣基于LLM的聊天機器人，其實非常耗費數據和內存，通常需要大量內存才能運行，這對于 iPhone 等內存容量有限的設備來說是一個挑戰。

而在AI 模型不斷膨脹的同時，內存廠商的增長卻當前的需求，造成了“內存墻”問題。

因此在蘋果AI研究人員的論文里，作者別出心裁地提出針對閃存進行改進，從而繞過限制，從而移動設備支持運行超出自身內存規模的模型。

至于解決方法，一個是Windowing （窗口化），通過重用先前激活的神經元來戰略性地減少數據傳輸，

第二個是Row-Column Bundling（行列捆綁），根據閃存的順序數據訪問強度量身定制，增加了從閃存讀取的數據塊的大小。

由于這項技術還停留在論文層面，我們只能從輪數據上得到反饋。

數據顯示，測試LLM的推理速度在Apple M1 Max CPU上提高了4-5倍，在GPU上提高了20-25倍，效果還是非常明顯。

最后，論文作者總結到：“這一突破對于在資源有限的環境中部署先進的LLM尤為重要，擴大了它們的適用性和可訪問性。

對于消費者來說，在解決了內存問題后，就花費更少體驗更強的AI應用，手機廠商們也不用為模型參數犯愁。

當然，手機AI大模型面臨的難題不僅是內存，還有老生常談的“功耗問題”，這一點也是未來手機處理器廠商需要重點考慮的問題。

改做小模型，可行嗎？

在解決硬件問題之前，還有一些手機廠商采用云端大模型接入的方式。

雖然這種云端協同的方式可以讓手機接入更大參數的大模型，但用戶每一次使用應用時都會產生費用，而當國內所有用戶使用大模型應用的話，一年下來也是一筆不少的開支。

因此在這兩種路徑外，一些AI公司開始探索起小模型（SLM）的潛力。

例如微軟，目前在生成式AI戰略上出現了180度大轉變，推出多款小模型。

就在本月，微軟發布了27億參數規模的小語言模型Phi-2，經研究人員測試，該模型在參數規模小于130億的模型中，展示了最先進性能。

以高質量的“小數據”挑戰“大模型”，這是小模型的特點之一。除此以外，因為參數規模足夠小，Phi-2可以在筆記本電腦、手機等移動設備上運行。

隨著越來越多的廠商開始探索在手機等移動設備上部署大模型，微軟的小模型產品可以用憑借更加出色的性能搶先占領移動市場。

除了微軟以外，一些初創AI公司也選擇從小模型入局。

例如號稱歐洲版OpenAI的Mistral AI，他們推出的開源模型Mistral 7B，就是一款非常有特點的小模型，僅僅用7B模型就達到了大部分大模型的水平。

而他們其實更看到B端企業客戶的需求，在保護企業的私有數據不被泄露和利用提前下，讓小模型成為更實用的企業版方案，這也非常符合歐洲當地企業的特點。

不過總的來說，小模型與大模型算是兩種不同類型的產品，都有各自的價值，不存在取代關系。

或許在未來的移動設備上，大模型和小模型都能有所作為。但就目前來看，“手機AI大模型”還要很多難題亟待解決。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！