金融新基建丨AIGC時(shí)代遭遇資源瓶頸，金融機(jī)構(gòu)如何破局？

21世紀(jì)經(jīng)濟(jì)報(bào)道記者李覽青 上海報(bào)道

每當(dāng)談及某項(xiàng)新興技術(shù)在金融場(chǎng)景的落地應(yīng)用時(shí)，CIO們都會(huì)告訴記者，投入是其面對(duì)的最首要問題。

(資料圖片)

所謂“投入”，并不僅僅是采購(gòu)系統(tǒng)、服務(wù)的金額，還包括運(yùn)維成本、人力成本、對(duì)已有資源的占用成本、業(yè)務(wù)系統(tǒng)升級(jí)改造帶來的隱形成本，以及現(xiàn)有業(yè)務(wù)人員為學(xué)習(xí)適應(yīng)新技術(shù)付出的成本等等。

在AIGC時(shí)代，提升資源利用效率更是成為金融行業(yè)大模型技術(shù)落地應(yīng)用的必答題。有行業(yè)專家曾給記者算過一筆賬，如果在金融垂直領(lǐng)域把所有公開數(shù)據(jù)都訓(xùn)練完，一次達(dá)標(biāo)的預(yù)訓(xùn)練，以彭博旗下BloombergGPT的500億參數(shù)計(jì)算，需要花費(fèi)200張以上的英偉達(dá)A100顯卡，僅一次訓(xùn)練支出在200萬以上，低于這一體量的訓(xùn)練可能效果會(huì)不及預(yù)期。

顯然不是所有金融機(jī)構(gòu)都有財(cái)力和人力來支持這樣大規(guī)模的訓(xùn)練，但即使是基于廠商已有大模型，金融機(jī)構(gòu)在自有環(huán)境下進(jìn)行精調(diào)，依然需要一定的資源支持。此前記者曾報(bào)道金融機(jī)構(gòu)通過建立AI中臺(tái)，將大模型作為所有應(yīng)用的入口，有采訪對(duì)象向記者直言精調(diào)時(shí)依然存在算力不夠的問題。

在高昂的投入下，如何優(yōu)化系統(tǒng)架構(gòu)，降低業(yè)務(wù)人員使用門檻、提升資源利用率，實(shí)現(xiàn)降本增效？

算力瓶頸待解

在支撐大模型技術(shù)落地的“三駕馬車”中，算力是不得不突破的基礎(chǔ)設(shè)施，然而算力緊縮已是全球AI市場(chǎng)必須面對(duì)的現(xiàn)實(shí)。

與以往的AI訓(xùn)練模型方式不同，大模型的訓(xùn)練任務(wù)是“多機(jī)多卡”式的，在分布式任務(wù)訓(xùn)練下需要消耗大量的資源。微軟在近期的財(cái)報(bào)中首次將GPU的可用性確定為風(fēng)險(xiǎn)因素，微軟表示將繼續(xù)尋找和評(píng)估擴(kuò)大數(shù)據(jù)中心位置和增加服務(wù)器容量的機(jī)會(huì)，以滿足客戶不斷變化的需求，特別是考慮到對(duì)人工智能服務(wù)不斷增長(zhǎng)的需求。

通用大模型訓(xùn)練對(duì)算力的要求驚人。據(jù)GPU Utils在今年8月公布的一組數(shù)據(jù)顯示，OpenAI的GPT-4可能需要1萬-2.5萬張英偉達(dá)A100顯卡。

而金融機(jī)構(gòu)訓(xùn)練自己的大模型一般以二次訓(xùn)練精調(diào)（普遍指Fine-tune）為主，在已有預(yù)訓(xùn)練模型的基礎(chǔ)上，在整個(gè)神經(jīng)網(wǎng)絡(luò)的最后一層進(jìn)行修改，其他參數(shù)不變，盡管所需的算力要求相較預(yù)訓(xùn)練小很多，但一次訓(xùn)練也依然需要數(shù)十張A100顯卡。

“巧婦難為無米之炊，底層算力是客戶要解決的第一個(gè)問題。”騰訊云智能金融行業(yè)負(fù)責(zé)人汪凱峰告訴記者，特別是算力資源流通不暢的情況下，金融客戶一般有兩種選擇，一是頭部金融機(jī)構(gòu)基于過去囤積的GPU進(jìn)行探索，二是嘗試將少量訓(xùn)練和精調(diào)挪到公有云上，解決一部分算力問題。

梳理AI資產(chǎn)迫在眉睫

有限的算力迫使金融機(jī)構(gòu)降本增效，其中梳理AI資產(chǎn)就成為必經(jīng)之路。

去年12月，財(cái)政部提出企業(yè)數(shù)據(jù)資源可作為資產(chǎn)列入財(cái)務(wù)報(bào)表，數(shù)據(jù)資產(chǎn)化探索進(jìn)程已加速。在AIGC浪潮下的AI資產(chǎn)不僅包括可用數(shù)據(jù)集，還有AI模型、AI能力等等。

“在大模型出現(xiàn)之前，我們探索AI應(yīng)用研發(fā)是煙囪式的，很多業(yè)務(wù)部門來找我要卡，一個(gè)系統(tǒng)兩張卡，每次都買一堆卡，非常被動(dòng)，使用效率也不高。”某基金公司科技部門負(fù)責(zé)人坦言。

在封閉的金融業(yè)務(wù)系統(tǒng)中，破解數(shù)據(jù)孤島已經(jīng)是行業(yè)老生常談的話題，在不同的部門間，數(shù)據(jù)、算法、業(yè)務(wù)系統(tǒng)的隔離都將導(dǎo)致資源的重復(fù)利用與浪費(fèi)。一方面，金融機(jī)構(gòu)需要整合歷史遺留的重復(fù)AI能力，另一方面，AI資產(chǎn)的管理與治理迫在眉睫。

“金融行業(yè)是數(shù)字化轉(zhuǎn)型走得最快的行業(yè)，AI產(chǎn)品形態(tài)五花八門，從算法、業(yè)務(wù)系統(tǒng)到平臺(tái)型產(chǎn)品，累積了大量煙囪式的AI資產(chǎn)。”汪凱峰提到，在幫助金融客戶進(jìn)行系統(tǒng)架構(gòu)部署時(shí)發(fā)現(xiàn)，底層算力使用也較為混亂，對(duì)數(shù)據(jù)的可用程度、機(jī)器的利用率、業(yè)務(wù)側(cè)調(diào)動(dòng)算法的次數(shù)等等都沒有充分了解。

對(duì)這一問題，汪凱峰表示，騰訊云TI平臺(tái)在基礎(chǔ)設(shè)施架構(gòu)方面提供的解法是“上下統(tǒng)一、中間異構(gòu)”，在上層做AI資產(chǎn)門戶展示，在中間層沉淀AI通用能力整合進(jìn)入中臺(tái)。

由于大模型的分布式訓(xùn)練任務(wù)，以“多機(jī)多卡”形式推進(jìn)，更需要對(duì)算力資源進(jìn)行充分的感知與適配。記者了解到，用于大模型訓(xùn)練的機(jī)群下的算力節(jié)點(diǎn)在同一時(shí)間分配了不同程度的運(yùn)行任務(wù)，提升AI中臺(tái)的感知能力以靈活選擇資源調(diào)度器更為重要。

“金融機(jī)構(gòu)需要在厘清AI資產(chǎn)的基礎(chǔ)上，沉淀通用數(shù)據(jù)能力與AI能力，對(duì)算法調(diào)用量等信息進(jìn)行監(jiān)控維護(hù)。”汪凱峰認(rèn)為，AI資產(chǎn)梳理不僅僅是中臺(tái)的建設(shè)，而是從數(shù)據(jù)、算力、算法、應(yīng)用自下而上的治理。

譬如在助力中國(guó)金融期貨交易所的數(shù)字化轉(zhuǎn)型中，中金所技術(shù)公司通過騰訊云TI平臺(tái)的能力，每天處理超過2000萬條輿情數(shù)據(jù)、數(shù)億次的調(diào)用次數(shù)，平臺(tái)成功率超過99%。如果使用傳統(tǒng)的方式處理這些數(shù)據(jù)量，需要構(gòu)建統(tǒng)一的代碼框架，通用的代碼運(yùn)行環(huán)境，部署維護(hù)反向代理工具等工作，將花費(fèi)大量的人力和時(shí)間成本。

另外，模型開發(fā)速度提升方面，TI平臺(tái)里面有150多種通用算法和算子能力，用戶可以在工作流中直接訓(xùn)練模型，并將其放入模型倉(cāng)庫(kù)，形成從模型訓(xùn)練到發(fā)布再到服務(wù)的閉環(huán)，能夠有效降低搭建成本和人力投入。之前需要花費(fèi)一個(gè)月的工作，如今只需要2-3天就能完成。

降低模型開發(fā)門檻

“代碼普惠”成為AIGC時(shí)代的另一個(gè)關(guān)鍵詞。

據(jù)恒生研究院院長(zhǎng)、首席科學(xué)家白碩介紹，基于Transformer架構(gòu)，大模型目前分為兩條技術(shù)路線，其中GPT的單向預(yù)測(cè)模型可以理解為“接龍”，而另一條路線類似于“填空”，前者通過一條示意可以容納包括知識(shí)、推理、引導(dǎo)、詳細(xì)說明，甚至代碼的預(yù)測(cè)，后者需要兩邊文本的信息指示。

“GPT對(duì)AI行業(yè)的沖擊非常大。”白碩告訴記者，在此之前機(jī)構(gòu)部署的AI系統(tǒng)都是“煙囪式”的單個(gè)系統(tǒng)，“諸多小模型的訓(xùn)練使堂堂分析師淪為數(shù)據(jù)標(biāo)注員，而模型的可用性也難以得到保障。”

事實(shí)上，在算力采購(gòu)、算法優(yōu)化、模型建立的背后，是大量的人力成本消耗。

在各金融機(jī)構(gòu)的人員構(gòu)成中，科技研發(fā)人員占比已在逐年增加。在2022年財(cái)報(bào)中公布相關(guān)數(shù)據(jù)的上市銀行中，工商銀行、農(nóng)業(yè)銀行、建設(shè)銀行、招商銀行科技人員數(shù)量都已破萬，興業(yè)銀行與浦發(fā)銀行兩家銀行科技人員占總員工的比重都超過10%。

對(duì)于金融機(jī)構(gòu)而言，既期待大模型引領(lǐng)“低代碼”時(shí)代的到來降低人力成本，又對(duì)大模型訓(xùn)練需要的人力成本保持謹(jǐn)慎觀望。

獵聘數(shù)據(jù)顯示，今年一季度AI大模型相關(guān)新發(fā)職位同比增長(zhǎng)10.16%，算法工程師、機(jī)器學(xué)習(xí)相關(guān)職位的招聘年薪中位數(shù)均達(dá)到40萬以上。

“我們?cè)?jīng)統(tǒng)計(jì)過建模過程中的時(shí)間消耗分布，”騰訊云智能-中金所項(xiàng)目技術(shù)負(fù)責(zé)人梁晨向記者提到，機(jī)器學(xué)習(xí)結(jié)構(gòu)化數(shù)據(jù)的建模過程中，有50%的時(shí)間消耗在結(jié)構(gòu)化數(shù)據(jù)的特征提取，即數(shù)據(jù)分析師根據(jù)建模目標(biāo)對(duì)數(shù)據(jù)進(jìn)行分析，再對(duì)特征進(jìn)行提取，而這樣的數(shù)據(jù)分析師必須熟悉原始數(shù)據(jù)表，對(duì)龐大的數(shù)據(jù)體量進(jìn)行分析，并在金融機(jī)構(gòu)跨部門協(xié)調(diào)獲取數(shù)據(jù)，在提取特征后再使用這一特征進(jìn)行建模。“這對(duì)數(shù)據(jù)分析師的要求非常高，既要熟悉原有的數(shù)據(jù)報(bào)表，又要理解業(yè)務(wù)模型構(gòu)建。”梁晨告訴記者，通過平臺(tái)沉淀相關(guān)能力后，可以將特征提取人員與建模人員分開，降低模型開發(fā)門檻，提升建模效率。

關(guān)鍵詞：