Sam Altman問答張宏江：模型開源是正確發(fā)展路徑，應小心前行|天天速讀

21世紀經濟報道 記者郭美婷 實習生林婉娜 廣州報道

在過去四周里，OpenAI聯(lián)合創(chuàng)始人Sam Altman已經走過五個大洲的近 20 個國家，與學生、開發(fā)人員和國家元首會面，他希望推進人工智能在全球范圍內的合作。

【資料圖】

6月10日，在2023北京智源大會-AI安全與對齊論壇上，Sam Altman與智源研究院理事長張宏江進行了視頻問答。

人工智能發(fā)展已勢不可擋，而保障安全勢在必行。Sam Altman提出在加大對AI系統(tǒng)對齊性能的研究外，亟需設計出公平的、有代表性和包容性的系統(tǒng)。此外，當被問及未來是否將重新開放GPT的源代碼時，Sam Altman表示，公司目前開源了一部分模型，其他模型則不開源，但隨著時間的推移，他期待在保證安全的前提下，有更多的開源模型出現(xiàn)。

我們離安全的AGI有多遠？

Sam Altman認為，很難預測實現(xiàn)安全的AGI的確切時間，但他表示，在未來十年內，人類很可能擁有非常強大的人工智能，并且應該為此做好準備。

Sam Altman表示，目前業(yè)界存在關于模型數(shù)量與安全性相關性的不同看法，然而擁有少量模型或大量模型都不能讓我們更安全。

更重要的整體架構的搭建，“是否有一種機制，確保任何柯林斯模型都需要經過足夠的安全測試？是否有一個框架，讓那些創(chuàng)建了完備柯林斯模型的人具備足夠的資源和責任心，確保他們創(chuàng)造的東西是安全可靠的？”

我們離安全的AGI有多遠仍沒有確鑿回答，然而Sam Altman對此報有高度激情。“對我而言，沒有比安全性工作更令人興奮、活力四溢、充實且重要的事情了。我堅信，如果您個人對一項重要的倡議非常認可，您將會有無窮的力量去解決它。”

Sam Altman表示，沒人能阻擋人工智能的發(fā)展，而安全性工作作為其中的一部分，即使艱難也是必須進行。

如何推進全球合作？

Sam Altman的環(huán)球之旅已經進行到第四周，在此期間，他已經去到五個大洲的近 20 個國家，與學生、開發(fā)人員和國家元首會面。他試圖推進全球合作。

Sam Altman認為，進一步完善人工智能安全性需要了解不同國家和不同背景下用戶的偏好，因此需要吸納多元觀念。同時，他表示，鑒于解決先進人工智能系統(tǒng)的困難，需要世界各地的優(yōu)秀人才共同努力。

Sam Altman認為推進全球合作中一個重要進展是人們開始對如何安全開發(fā)先進AI系統(tǒng)的國際標準感到興奮。

“過去6個月里，關于AGI的風險和討論取得了很大的進展，人們似乎致力于制定一個框架，讓AI造福人類。”Sam Altman表示。

在推進全球合作的過程中，Sam Altman主要有三種計劃，一是在訓練廣泛模型并在其部署之前，思考應該進行什么樣的測試；二是就構建反映人們目標、價值觀和實踐的數(shù)據庫進行了新的討論，三是利用數(shù)據庫來使他們的系統(tǒng)與之對齊，并探討了開展共享AI安全性研究的形式問題

Sam Altman表示，“雖然全球合作總是很困難，但是我認為這既是機會也是威脅，它將世界團結在一起。”

如何通過技術解決安全問題？

張宏江提到，在過去幾年中，許多AI系統(tǒng)都付出了很多努力來優(yōu)化其對齊性能。但僅通過對齊性的研究也許并不能完全解決AGI的安全性問題。

Sam Altman認為，“對齊”的研究還在不斷演變之中，從傳統(tǒng)意義上講，讓模型按照用戶意圖進行溝通的對齊僅是其中的一部分，還會有其他方面的問題，例如，如何驗證系統(tǒng)正在按照我們的意愿行事，以及將系統(tǒng)與哪些價值觀對齊等，最重要的是全面考慮如何獲得安全的AGI。

“在技術之外，我們必須設計出公平的、有代表性和包容性的系統(tǒng)。我們不僅需要考慮AI模型本身的安全性，還需要考慮整個系統(tǒng)的安全性。因此，我們需要構建安全的分類器和檢測器，以監(jiān)測符合用戶政策的情況。”Sam Altman表示。

此外，他認為很難預測和預先解決任何技術可能出現(xiàn)的問題。因此，從實際使用中學習并快速部署數(shù)據，觀察在一個國家中會發(fā)生什么，并給人們提供時間來學習、更新和思考這些模型將如何影響他們的生活，這也非常重要。

被問及是否將重新開放GPT的源代碼，就像在ChatGPT3.0之前一樣時，Sam Altman表示，公司開源了一部分模型，其他模型則不開源，但隨著時間的推移，他期待有更多的開源模型出現(xiàn)。“目前我沒有具體的模型或時間表，但這是我們正在努力的事情。”

據了解，Sam Altman主持了一個開源機構，將采用一種算法來開發(fā)模型，并引入新的Python模型和A-15模型。

開源是否會引發(fā)安全問題？Sam Altman以A-15模型為例說明，該模型提供了額外的安全控制，能夠阻止某些用戶、某些類型的微調。

“這是一個重要的回歸點。就目前模型的規(guī)模而言，我對此并不太擔心，但隨著模型變得越來越大，確保正確性的代價可能會變得昂貴。我認為開源一切可能不是最優(yōu)的路徑，盡管這確實是正確的路徑。我認為我們只需小心地朝著這些節(jié)點前進。”Sam Altman表示。

關鍵詞：