新訓練方法提高AI模型準確率和透明度
222
訂閱已訂閱已收藏
收藏點擊播報本文,約
在醫(yī)療診斷、自動駕駛等高風險場景中,人工智能(AI)模型決策的可解釋性至關重要。據(jù)美國麻省理工學院官網(wǎng)近日消息稱,為了提高透明度,該校團隊開發(fā)出一種新方法,能夠從已訓練好的計算機視覺模型中自動提取關鍵概念,并迫使模型使用這些人類易于理解的概念進行解釋和預測。這項進展有望在提升模型準確性的同時,增強用戶對“黑盒”AI的信任。
概念瓶頸模型是增強AI可解釋性的常見技術(shù)。它是指在模型決策過程中增加一個中間步驟:先識別圖像中與任務相關的、可被人理解的“概念”,再基于這些概念做出最終預測。例如,在腫瘤診斷中,模型可能先識別“成簇的棕色斑點”這一概念,再判斷是否為黑色素瘤。
然而,傳統(tǒng)方法依賴人類專家或大語言模型預先定義概念集,這些概念可能與具體任務關聯(lián)性不強,或缺乏足夠細節(jié),從而影響模型性能。另外,模型在訓練時也可能“暗中”使用了定義之外的其他特征,導致解釋與真實不符。
此次,團隊利用一個經(jīng)過海量數(shù)據(jù)預訓練的視覺模型,認為其內(nèi)部已蘊含了完成任務所需的知識。他們設計了一種兩階段流程來提取和轉(zhuǎn)化這些知識。首先,使用一個稱為稀疏自編碼器的專用模型,提取出最相關的特征,并將其壓縮為少量核心概念。接著,由一個多模態(tài)大語言模型將這些特征轉(zhuǎn)化為簡潔的自然語言描述,并自動為數(shù)據(jù)集中圖像標注這些概念真實與否。最后,利用這些標注數(shù)據(jù)訓練一個概念瓶頸模塊,并將其整合到原始模型中,強制模型僅使用這套提取的概念進行預測。
團隊在過程中限制了模型每次預測最多只能使用五個概念,迫使模型篩選出最關鍵的幾個特征,使生成的解釋既精煉又直接相關。
測試中,鳥類物種識別和皮膚病變診斷等任務結(jié)果均表明,新方法在提供更精確、與圖像更貼合的概念解釋的同時,也取得了比現(xiàn)有概念瓶頸模型更高的預測準確率。這意味著,該方法不僅能更好地“解讀”模型的思考過程,還能維持更優(yōu)的性能。
團隊未來的工作還將致力于解決信息泄露等問題,并探索利用更強大的多模態(tài)大模型來標注更大規(guī)模的數(shù)據(jù),以進一步提升方法的效能。
關注公眾號:人民網(wǎng)財經(jīng)
分享讓更多人看到































微信掃一掃


第一時間為您推送權(quán)威資訊
報道全球 傳播中國
關注人民網(wǎng),傳播正能量