6月9日消息，小紅書近日開源了首個大模型——dots.llm1。
dots.llm1是一個中等規(guī)模的Mixture of Experts（MoE）文本大模型，由小紅書 hi lab（Humane Intelligence Lab，人文智能實驗室）團隊研發(fā)，總參數(shù)量 142B，激活參數(shù) 14B。
具體來說，在激活14B參數(shù)的情況下，dots.llm.inst模型在中英文通用場景、數(shù)學、代碼、對齊任務上的表現(xiàn)亮眼，與 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具備較強的競爭力。同時與Qwen3-32B相比，在中英文、數(shù)學、對齊任務上表現(xiàn)接近。
圖源：小紅書
此外，dots.llm1最大特色是使用了11.2萬億token的非合成高質量訓練數(shù)據(jù)，這在現(xiàn)階段的開源大模型中非常罕見。
今年以來，小紅書在AI、大模型方面的動作頻頻。年初，小紅書內部大模型技術與應用產品團隊升級為hi lab，并啟動了“人文訓練師”的招聘，邀請有深厚人文背景的研究者加入到對AI的訓練中，將人類更全面的智慧和價值感注入AI，最終讓AI成為人類有益的伙伴。
5月27日，小紅書hi lab與復旦大學哲學學院共同成立“AI人文人才訓練營”，展開AI后訓練相關的人文課題共創(chuàng)，培養(yǎng)“AI+人文”復合型人才。大模型的訓練通常分為預訓練（pre-train）和后訓練（post-train）兩個階段。人文訓練就屬于后訓練的一部分，對AI在人性化表達、人類價值對齊等方面的表現(xiàn)起到關鍵作用。
圖源：小紅書
本文鏈接：http://www.enbeike.cn/news-12-34324-0.html小紅書首次開源文本大模型
聲明：本網頁內容由互聯(lián)網博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯(lián)系，我們將在第一時間刪除處理。
下一篇：淘寶開始用火箭送快遞
點擊右上角
微信好友
朋友圈
點擊瀏覽器下方“
”分享微信好友Safari瀏覽器請點擊“
”按鈕
點擊右上角
QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕
