【資料圖】

近日，商湯科技發(fā)布了自研中文語言大模型“商量SenseChat 2.0”的測試成績，數(shù)據(jù)顯示在MMLU、AGIEval、C-Eval三個權威大語言模型評測基準中均超越了OpenAI的ChatGPT。在某些方面，商量SenseChat 2.0的表現(xiàn)已接近GPT4的水平，意味著我國語言大模型研究取得了重要突破。 這三個測試分別為：MMLU是美國加州大學伯克利分校等高校構建的多任務考試評測集；AGIEval是微軟研究院推出的學科考試評測集，包括中國高考、司法考試及美國SAT、LSAT、GRE和GMAT等；C-Eval是由上海交通大學、清華大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集。在這三個測試中，商量SenseChat 2.0的表現(xiàn)均超越了ChatGPT以及國內(nèi)外多款大模型，僅次于GPT-4。 在MMLU測試中，商量SenseChat 2.0的綜合得分為68.6，位居第二，僅次于GPT-4（86.4分）；在AGIEval測試中，商量SenseChat 2.0以49.91分緊追GPT-4（56.4分）；在C-Eval測試中，商量SenseChat 2.0獲得66.1分，僅次于GPT-4（68.7分）。 目前，已有近千家企業(yè)客戶通過申請使用商量SenseChat 2.0，體驗其長文本理解、邏輯推理、多輪對話、情感分析、內(nèi)容創(chuàng)作、代碼生成等綜合能力。商湯科技表示，將持續(xù)對“商量SenseChat 2.0”進行快速迭代和提升，實現(xiàn)知識的實時更新。

關鍵詞：