小米總部園區(qū)

在小米公司CEO雷軍演講前夕，其研發(fā)的人工智能（AI）大模型產(chǎn)品悄然現(xiàn)身。

鈦媒體App獲悉，8月11日，小米公司開發(fā)的大規(guī)模預(yù)訓(xùn)練語言模型MiLM-6B/1.3B登陸代碼托管平臺GitHub，參數(shù)規(guī)模最高達64億，而且現(xiàn)身在C-Eval、CMMLU基準評測榜單。

(資料圖)

截至當前，小米大模型MiLM-6B在C-Eval總榜單排名第10、同參數(shù)量級排名第1，平均分為60.2分，超過了阿里云Qwen-7B、OpenAI研發(fā)的ChatGPT（今年5月數(shù)據(jù)）等，而MiLM-1.3B排行第30名，平均分45.8分，接近谷歌投資的Anthropic公司的Claude 1.0版本大模型。

這是小米大模型產(chǎn)品的首次曝光，也是小米史上首個GPT大模型產(chǎn)品亮相。

事實上，隨著ChatGPT風(fēng)靡全球，今年4月14日，小米公司宣布成立小米 AI 實驗室大模型團隊，由欒劍帶隊向王斌匯報。據(jù)悉，AI實驗室是小米AI戰(zhàn)略的核心部門，而大模型負責(zé)人王斌曾在中科院從事了20多年NLP（自然語言處理）相關(guān)的研究和開發(fā)工作，2018年加入小米，2019年起負責(zé)AI實驗室。

小米CEO雷軍當時表示，公司正在研發(fā)一些技術(shù)和產(chǎn)品，等打磨好了再給大家演示。小米集團總裁盧偉冰稱，小米目前擁有超過1200人的AI團隊，會積極擁抱大模型，與業(yè)務(wù)深度結(jié)合，但不會像OpenAI一樣。

今年6月，王斌對外透露，小米會去自研通用語言大模型，但不會單獨發(fā)布一款類ChatGPT產(chǎn)品。他表示，小米第一步的目標基座模型參數(shù)在幾百億，而且小米大模型將會落地小愛同學(xué)、loT、自動駕駛、機器人等現(xiàn)有場景中，并利用豐富的應(yīng)用場景反哺大模型能力。

成立僅僅四個月后的今天，小米公布了大模型產(chǎn)品——MiLM-6B，并在C-Eval和CMMLU基準評測上均取得同尺寸較好效果。

其中，在C-Eval評估中，MiLM-6B的平均得分為60.2，在不同學(xué)科和難度級別（如STEM、社會科學(xué)、人文學(xué)科等）得分從42分到71.7分不等。在CMMLU評估中，MiLM-6B在零樣本和五樣本測試中的平均得分分別為60.37分和57.17分，表現(xiàn)出良好的知識和推理能力。

據(jù)悉，C-Eval榜單是清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)共同構(gòu)建的綜合漢語模型評估套件，而CMMLU則是綜合漢語模型基準。

預(yù)計小米將會于8月14日舉行2023雷軍年度演講，但目前雷軍暫未透露是否會發(fā)布MiLM-6B大模型技術(shù)。

鈦媒體App向團隊詢問關(guān)于MiLM-6B/1.3B是否開源、產(chǎn)品是否已經(jīng)落地內(nèi)測等問題，截至發(fā)稿前暫未得到小米官方回復(fù)。（本文首發(fā)鈦媒體App，作者｜林志佳）