圖源：Unsplash

芥末堆文 近日，商湯科技發(fā)布多模態(tài)多任務通用大模型“書生（INTERN）2.5”。其擁有30億參數(shù)，是物體檢測標桿數(shù)據(jù)集COCO中唯一超過65.0 mAP的模型，“書生2.5”的圖文跨模態(tài)開放任務處理能力可為自動駕駛、機器人等通用場景任務提供高效精準的感知和理解能力支持。

據(jù)介紹，“書生”由商湯科技、上海人工智能實驗室、清華大學、香港中文大學、上海交通大學于2021年11月首次共同發(fā)布，并持續(xù)聯(lián)合研發(fā)。目前，“書生2.5”多模態(tài)通用大模型已在商湯參與的通用視覺開源平臺OpenGVLab開源。

據(jù)悉，“書生2.5”可通過文本來定義任務，從而靈活地定義不同場景的任務需求，并根據(jù)給定視覺圖像和任務的提示性語句，給出相應的指令或作答，進而具備通用場景下的高級感知和復雜問題處理能力，比如圖像描述、視覺問答、視覺推理和文字識別等。

在自動駕駛和居家機器人等通用場景下，“書生2.5”可輔助處理各種復雜任務。例如，在自動駕駛場景中，可以大幅提升場景感知理解能力，準確輔助車輛判斷交通信號燈狀態(tài)、道路標志牌等信息，為車輛決策規(guī)劃提供有效信息輸入。

此外，“書生2.5”可根據(jù)文本快速檢索出視覺內(nèi)容，例如，可在相冊中返回文本所指定的相關圖像，或是在視頻中檢索出與文本描述最相關的幀，提高視頻中時間定位任務的效率。此外還支持引入物體檢測框，根據(jù)文本返回最相關的物體，實現(xiàn)開放世界視頻或圖像中物體檢測及視覺定位。