中國工程院院士鄭緯民：隨著ChatGPT的發(fā)展，算力將迎來高速擴(kuò)張時代-世界要聞

(相關(guān)資料圖)

21世紀(jì)經(jīng)濟(jì)報道記者白楊 北京報道

在4月21日召開的“首屆超互聯(lián)新算力產(chǎn)業(yè)暨第三屆中國IDC行業(yè)DISCOVERY大會”上，中國工程院院士鄭緯民談及人工智能產(chǎn)業(yè)發(fā)展時表示，人工智能（AI）算力是當(dāng)前人工智能領(lǐng)域發(fā)展的關(guān)鍵，也是算力基礎(chǔ)設(shè)施的重要組成部分，是新基建和國家“東數(shù)西算”工程的關(guān)鍵任務(wù)抓手。

鄭緯民稱，AI計算是近30年才有的，在海量數(shù)據(jù)、實(shí)時響應(yīng)、極端條件等場景下，AI計算較通用計算優(yōu)勢愈發(fā)明顯，尤其是隨著ChatGPT的發(fā)展，算力需求大幅提升，算力也將迎來高速擴(kuò)張時代。預(yù)計到2025年，我國AI算力總量將超過1800EFlops，AI算力占總算力比重超過85%。

在談及AI計算與HPC（高性能計算）的區(qū)別時，鄭緯民指出，HPC通常應(yīng)用在天氣預(yù)報、核聚變模擬、飛行器設(shè)計等領(lǐng)域，而AI計算是做分類、回歸、自然語言處理等，二者應(yīng)用場合不同，運(yùn)算精度也不一樣。

“傳統(tǒng)的高性能計算機(jī)的測試結(jié)果與人工智能需要的性能不完全一致。高性能計算算力測試程序主要使用雙精度浮點(diǎn)數(shù)運(yùn)算，即64位浮點(diǎn)運(yùn)算，人工智能訓(xùn)練以單精度浮點(diǎn)數(shù)，即32位浮點(diǎn)數(shù)為主。”在鄭緯民看來，現(xiàn)在要做符合語言模型的訓(xùn)練，就要考慮半精度平衡性，即設(shè)計中主要考慮半精度運(yùn)營性能，又要注意雙精度運(yùn)算能力不能過低，所以雙精度與半精度運(yùn)算性能之比為1:100較好。

除此之外，鄭緯民認(rèn)為AI計算還需要做到網(wǎng)絡(luò)平衡設(shè)計和IO子系統(tǒng)平衡設(shè)計。“現(xiàn)在很多廠家都已經(jīng)在考慮這三個平衡設(shè)計，國內(nèi)也有差不多30個城市在建或者建好了AI超算中心。”據(jù)其預(yù)測，HPC+AI+大數(shù)據(jù)中心在未來不超過5年的時間內(nèi)將會融合到一臺計算機(jī)中，“既可以做HPC，又可以做AI，也能處理大數(shù)據(jù)”。

另外針對AI大模型，鄭緯民提出，ChatGPT出來以后，大家對大模型訓(xùn)練都比較關(guān)心。在其看來，參數(shù)越多、訓(xùn)練的數(shù)據(jù)越多、計算機(jī)越多、效果就越好，越接近于人腦，這里面是正相關(guān)關(guān)系，所以探索更大參數(shù)模型的效果具有重要科學(xué)意義。

關(guān)鍵詞：