【資料圖】

近日，商湯科技發(fā)布了自研中文語言大模型“商量SenseChat 2.0”的測試成績，數(shù)據(jù)顯示在MMLU、AGIEval、C-Eval三個權(quán)威大語言模型評測基準(zhǔn)中均超越了OpenAI的ChatGPT。在某些方面，商量SenseChat 2.0的表現(xiàn)已接近GPT4的水平，意味著我國語言大模型研究取得了重要突破。 這三個測試分別為：MMLU是美國加州大學(xué)伯克利分校等高校構(gòu)建的多任務(wù)考試評測集；AGIEval是微軟研究院推出的學(xué)科考試評測集，包括中國高考、司法考試及美國SAT、LSAT、GRE和GMAT等；C-Eval是由上海交通大學(xué)、清華大學(xué)和愛丁堡大學(xué)合作構(gòu)建的面向中文語言模型的綜合性考試評測集。在這三個測試中，商量SenseChat 2.0的表現(xiàn)均超越了ChatGPT以及國內(nèi)外多款大模型，僅次于GPT-4。 在MMLU測試中，商量SenseChat 2.0的綜合得分為68.6，位居第二，僅次于GPT-4（86.4分）；在AGIEval測試中，商量SenseChat 2.0以49.91分緊追GPT-4（56.4分）；在C-Eval測試中，商量SenseChat 2.0獲得66.1分，僅次于GPT-4（68.7分）。 目前，已有近千家企業(yè)客戶通過申請使用商量SenseChat 2.0，體驗(yàn)其長文本理解、邏輯推理、多輪對話、情感分析、內(nèi)容創(chuàng)作、代碼生成等綜合能力。商湯科技表示，將持續(xù)對“商量SenseChat 2.0”進(jìn)行快速迭代和提升，實(shí)現(xiàn)知識的實(shí)時更新。

關(guān)鍵詞：