一大波人工智能芯片將在2018上市

深度神經(jīng)網(wǎng)絡(luò)就像遙遠(yuǎn)地平線上的海嘯一樣涌來。

鑒于該技術(shù)仍在演變的算法和應(yīng)用，目前還不清楚深度神經(jīng)網(wǎng)絡(luò)（DNNs）最終會帶來什么變化。但是，迄今為止，它們在翻譯文本、識別圖像和語言方面所取得的成就，清楚地表明他們將重塑計(jì)算機(jī)設(shè)計(jì)，而這種變化正在半導(dǎo)體設(shè)計(jì)和制造方面發(fā)生同樣深刻的變化。

量身定制的第一批商用芯片將于今年上市。由于訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)模型可能需要幾周或幾個月的時間，因此這些芯片可能是迄今為止制造的最大的，因此也是最昂貴的大規(guī)模商用集成電路芯片。

今年的行業(yè)可能會看到來自創(chuàng)業(yè)公司Graphcore的一款微處理器，該公司不使用DRAM，而是來自競爭對手Cerebras Systems的晶圓級集成開拓先鋒。英特爾收購的2.5-D Nervana芯片已經(jīng)在生產(chǎn)樣片，其他十幾個處理器正在開發(fā)中。同時，從Arm到西部數(shù)據(jù)（Western Digital）的芯片公司正在研究內(nèi)核，以加速深層神經(jīng)網(wǎng)絡(luò)的推理部分。

“我認(rèn)為（2018年）將是一場即將到來的派對?！奔又荽髮W(xué)伯克利分校名譽(yù)教授大衛(wèi)·帕特森（David Patterson）表示：“我們剛剛開始看到許多公司正在評估一些想法?！?/p>

這個趨勢非常明顯，帕特森和合著者約翰·亨尼西（John Hennessey）在上個月發(fā)表的關(guān)于計(jì)算機(jī)的開創(chuàng)性文本的最新版本中，為它寫了一個新的篇章。作者對內(nèi)部設(shè)計(jì)提供了深入的見解，例如Patterson為其貢獻(xiàn)的Google TensorFlow處理器（TPU），以及最新Apple和Google智能手機(jī)芯片中的Microsoft Catapult FPGA和推理模塊。

“這是計(jì)算機(jī)體系結(jié)構(gòu)和封裝的復(fù)興?！?Patterson說：“明年我們會看到比過去十年更有趣的電腦?！?/p>

深度神經(jīng)網(wǎng)絡(luò)的興起在過去幾年里把風(fēng)險(xiǎn)投資的資金帶回到了半導(dǎo)體領(lǐng)域。 “EE Times(電子工程專輯美國版）”最新推出的初創(chuàng)公司評選項(xiàng)目“Silicon 60”中，列舉了七家初創(chuàng)公司，其中包括兩個鮮為人知的名稱：寒武紀(jì)科技Cambricon Technologies（北京寒武紀(jì)科技）和Mythic Inc.（Austin，Texas）。

“我們看到基于新架構(gòu)的新創(chuàng)公司激增。我自己跟蹤了15到20家......過去10到15年中，在任何一個細(xì)分領(lǐng)域中半導(dǎo)體行業(yè)都不曾有超過15家的半導(dǎo)體公司同時涌現(xiàn)的事情”，企業(yè)家Chris Rowen說。他從Cadence Design Systems離職后，成立了一家公司Cognite Ventures，專注于神經(jīng)網(wǎng)絡(luò)軟件。

“Nvidia由于其強(qiáng)大的軟件地位，將難以與高端服務(wù)器進(jìn)行訓(xùn)練的競爭。如果你去追求智能手機(jī)市場你會覺得自己瘋了，因?yàn)槟惚仨氃诤芏喾矫娑甲龅贸錾?。不過在高端或是低端的智能手機(jī)市場，還是會可能有一些機(jī)會。”羅文說。

市場觀察家Linley集團(tuán)負(fù)責(zé)人Linley Gwennap表示，Nvidia在最新的GPU（Volta）方面做得非常出色，他們調(diào)整了對DNN的速度培訓(xùn)。 “但我當(dāng)然不認(rèn)為這是最好的設(shè)計(jì)，”Gwennap說。

Gwennap說，Graphcore（英國布里斯托爾）和Cerebras（加利福尼亞州Los Altos）是培訓(xùn)芯片最多的兩家初創(chuàng)公司，因?yàn)樗麄兓I集的資金最多，而且似乎擁有最好的團(tuán)隊(duì)。由Google前芯片設(shè)計(jì)師創(chuàng)立的初創(chuàng)公司Groq聲稱，它將在2018年推出一款推理芯片，在每秒的總操作和推論中都會以四倍的優(yōu)勢擊敗競爭對手。

英特爾的Nervana是一個大型線性代數(shù)加速器，位于硅中介層上，緊鄰四個8-GB HBM2存儲器堆棧。消息來源：Hennessy和Patterson著寫的《計(jì)算機(jī)體系結(jié)構(gòu)：一種定量方法》

Intel的Nervana，被稱為Lake Crest（上圖），是最受關(guān)注的定制設(shè)計(jì)之一。它執(zhí)行16位矩陣操作，數(shù)據(jù)共享指令集中提供的單個5位指數(shù)。

與Nvidia的Volta一樣，Lake Crest邏輯器件位于TSMC的CoWoS（襯底上芯片上芯片）中介層上，緊鄰著四個HBM2高帶寬存儲器堆棧。這些芯片被設(shè)計(jì)成網(wǎng)狀，提供五到十倍于Volta的性能。

雖然去年微軟在DNN上使用了FPGA，但Patterson仍然對這種方法持懷疑態(tài)度。 “你為（FPGA）的靈活性付出了很多代價。編程真的很難，”他說。

Gwennap在去年年底的一項(xiàng)分析中指出，DSP也將發(fā)揮作用。 Cadence、Ceva和Synopsys都提供面向神經(jīng)網(wǎng)絡(luò)的DSP內(nèi)核，他說。

雖然芯片即將問世，但是架構(gòu)師們還沒有決定如何去評估它們。

就像RISC處理器的早期，Patterson回憶說，“每個公司都會說，'你不能相信別人的基準(zhǔn)，但是你可以相信我的'，那不太好。

那時，RISC供應(yīng)商在SPEC基準(zhǔn)測試中進(jìn)行了合作。現(xiàn)在，DNN加速器需要自己定義的測試套件，涵蓋各種數(shù)據(jù)類型的訓(xùn)練和推理以及獨(dú)立的或是集群的芯片。

聽取了這個呼吁，交易處理性能委員會（TPC）是一個由20多個頂級服務(wù)器和軟件制造商組成的小組，12月12日宣布已經(jīng)組建了一個工作組來定義機(jī)器學(xué)習(xí)的硬件和軟件基準(zhǔn)。 TPC-AI委員會主席Raghu Nambiar表示，目標(biāo)是創(chuàng)建與加速器是CPU還是GPU的測試。但是，這個團(tuán)隊(duì)的成員名單和時間框架還處于不斷變化之中。

百度公司于2016年9月發(fā)布了一個基于其深度學(xué)習(xí)工作負(fù)載的開放源代碼基準(zhǔn)測試工具，使用32位浮點(diǎn)數(shù)學(xué)進(jìn)行訓(xùn)練任務(wù)。它在六月份更新了DeepBench以涵蓋推理工作和16位數(shù)學(xué)的使用。

哈佛研究人員發(fā)表的Fathom套件中定義的八個AI工作負(fù)載支持整數(shù)和浮點(diǎn)數(shù)據(jù)。帕特森說：“這是一個開始，但是要獲得一個讓人感覺舒適的全面基準(zhǔn)測試套件，還需要更多的工作?！?/p>

“如果我們把努力做成一個好的基準(zhǔn)，那么所有投入工程的錢都會花得值得。”他說。

除了基準(zhǔn)之外，工程師需要跟蹤仍在演變的神經(jīng)網(wǎng)絡(luò)算法，以確保他們的設(shè)計(jì)不會被束之高閣。

高通公司下一代核心研發(fā)總監(jiān)Karam Chatha表示：“軟件總是在變化，但是你需要盡早把硬件拿出來，因?yàn)樗鼤绊戃浖? 你不得不催促讓它發(fā)生。到目前為止，移動芯片供應(yīng)商正在驍龍SoC的DSP和GPU內(nèi)核上運(yùn)行神經(jīng)網(wǎng)絡(luò)工作，但一些觀察家預(yù)計(jì)，它將為機(jī)器學(xué)習(xí)定制一個新的模塊， 放在2019年7納米驍龍SoC里。

Patterson說：“市場決定哪種芯片最好。 “這是殘酷的，但這是設(shè)計(jì)電腦讓人興奮之處。 ”

早期進(jìn)入的玩家已經(jīng)有機(jī)會進(jìn)入到游戲中。

例如，F(xiàn)acebook最近證明，通過大幅增加打包到所謂批量大小的功能數(shù)量，可以將培訓(xùn)時間從一天縮短到一小時。對于試圖在本地SRAM中運(yùn)行所有操作的Graphcore來說這可能是個壞消息，消除了外部DRAM訪問的延遲，同時也限制了它的內(nèi)存占用。

“他們?yōu)樾∨繑?shù)據(jù)包而設(shè)計(jì)的，但幾個月前的軟件結(jié)果表明你想要一個大批量數(shù)據(jù)包。這表明事情變化的速度有多快，“帕特森說。

另一方面，雷克斯電腦(Rex Computing)認(rèn)為正在迎來一個有利的機(jī)遇。該初創(chuàng)公司的SoC最初是為高性能服務(wù)器設(shè)計(jì)的，它使用了一種新穎的暫存器內(nèi)存。 Rex的方法消除了在虛擬頁面表中緩存數(shù)據(jù)的需求，這是GPU使用的一種技術(shù)，增加了他們的延遲，聯(lián)合創(chuàng)始人Thomas Sohmers說。

因此，Rex芯片比現(xiàn)在的GPU要好得多，特別是在處理流行的矩陣/矢量運(yùn)算神經(jīng)網(wǎng)絡(luò)時，他說。新創(chuàng)公司計(jì)劃6月份推出16納米的256核的SoC，希望能提供256 Gflops / watt的運(yùn)算能力。

與此同時，研究人員正在嘗試從32位到單位浮點(diǎn)和整數(shù)數(shù)學(xué)的一切可能，以找到最有效的方法來計(jì)算神經(jīng)網(wǎng)絡(luò)結(jié)果。他們似乎同意的一點(diǎn)是，最好不要在精確度級別之間轉(zhuǎn)換。

編譯：Mike Zhang

文章來源: eMedia Asia Ltd.