AI公司MosaicML推出70億參數模型MPT-7B-8，號稱“一次處
，AI 創業公司 MosaicML 近日發布了其 70 億參數模型 MPT-7B-8K，據悉，該模型一次可以處理 8000 字文本，相當擅長處理長文重點摘要和問答，還能在 MosaicML 平臺上根據特定任務，進一步微調相關配置。
據悉，系列模型采用了 150 萬個 Token，并以 256 塊 H100 GPU 花 3 天完成模型訓練而成。MosaicML 本次發布了 3 個版本模型，包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
其中，第一個版本 MPT-7B-8k、是以 Transformer 解碼器為基礎，并以 FlashAttention 和 FasterTransformer 機制來加速訓練與推論，能一次處理 8000 字文本，MosaicML 公司表示，該模型開源、允許商用。
第二個版本 MPT-7B-8k-Instruct 是以第一個版本 MPT-7B-8k 微調而成，MosaicML 公司表示，MPT-7B-8k-Instruct 模型可處理長篇指令，特別注重于生成“摘要和問答”，該模型一樣開源且可商用。
第三個版本 MPT-7B-8k-Chat 則是機器人對話式的 AI 模型，MosaicML 公司宣稱，該模型額外多用了 15 億個聊天數據 Token，在第一版模型 MPT-7B-8k 之上繼續訓練而成，該模型開源，但不允許商用。
IT之家此前報道，MosaicML 公司也推出了一款號稱訓練成本僅為競品零頭的 MPT-30B 開源模型，該公司日前已將所有開源模型發布于 Huggingface 平臺，感興趣的小伙伴們可以前往進行相關了解，還可以在本地硬件上使用自己的數據，在下載后，對模型進行各種微調。
廣告聲明:文內含有的對外跳轉鏈接，用于傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。
鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。
版權聲明：凡注明“來源：“生活消費網”的所有作品，版權歸生活消費網 | 專注于國內外今日生活資訊網站所有。任何媒體轉載、摘編、引用，須注明來源生活消費網 | 專注于國內外今日生活資訊網站和署著作者名，否則將追究相關法律責任。
-
香港：6月整體出口和進口貨值分別同比下跌11.4%及12.3%智通財經APP獲悉，7月25日，香港政府統計處發表的對外商品貿易統計數字顯示，2023年6月份香港整體出口和進口貨值均錄得同比跌幅，分別下跌11.4%和12.3%。 繼2023年五月份錄得15.6%......2023-07-26 12:54
-
GPDWINMini掌機配置公布：最高R77840U可選、7英寸1080感謝IT之家網友上氣的線索投遞！ ，GPD掌機官方公眾號今日發文，進一步預告了旗下最新掌機產品GPDWINMini的詳細配置。其稱，應大量玩家要求，GPD推出了號稱“GPDWIN2重制版”的WINM......2023-07-26 12:37
-
世嘉肉鴿動作游戲《ENDLESSDungeon》公布角色介紹，10月19，世嘉開發工作室AmplitudeStudios旗下ENDLESS系列最新作品《ENDLESSDungeon》公布角色介紹短片。該作為Rogue-lite戰術動作游戲，將于10月19日在PS4/5、X......2023-07-26 12:33
-
前錘子科技COO吳德周發布AR眼鏡ARknovvA1：可創作、可導航、可感謝IT之家網友Monsterwolf的線索投遞！ ，今晚AR科技企業致敬未知舉辦了主題為“你看到的世界只有1/2”的首場線上新品上市發布會，創始人兼CEO吳德周公布了全新AR品牌ARknovv，并......2023-07-26 12:21
-
安耐美ENERMAX海外推出AQUAFUSIONADVAIOCPU散熱器，ENERMAX近日推出AQUAFUSIONADV系列AIOCPU散熱器白色款式，目前該系列散熱器共有6種款式，包括120mm、240mm和360mm版本，每種都有黑白兩種配色。 IT之家匯總該系列......2023-07-26 12:15
