<ruby id="bdh7r"><progress id="bdh7r"><dl id="bdh7r"></dl></progress></ruby>
<progress id="bdh7r"><video id="bdh7r"><span id="bdh7r"></span></video></progress>
<span id="bdh7r"></span>
<th id="bdh7r"></th>
<span id="bdh7r"></span>
<strike id="bdh7r"></strike>
<span id="bdh7r"><dl id="bdh7r"></dl></span>
<ruby id="bdh7r"><dl id="bdh7r"><ruby id="bdh7r"></ruby></dl></ruby>
<progress id="bdh7r"><noframes id="bdh7r"><span id="bdh7r"></span>
首頁 > 科技要聞 > 科技> 正文

谷歌最強開源大模型亮相!Gemini技術下放,筆記本就能跑,可商用

量子位 整合編輯: 黃安莉 發布于:2024-02-22 16:26

谷歌大模型,開源了!

一夜之間,Gemma系列正式上線,全面對外開放。

它采用Gemini同款技術架構,主打開源和輕量級,免費可用、模型權重開源、允許商用,同時筆記本可跑。

共有2B和7B兩個版本,性能全面超越開源標桿Llama 2。

每種規模都有預訓練和指令微調版本,可在Kaggle、Colab Notebook、Google Cloud中訪問。

而且支持JAX、PyTorch和TensorFlow通過原生Keras 3.0進行推理和監督式微調(SFT),適應多種開發需求和環境。得益于對JAX的支持,它還能進行快速推理。

目前模型也同步上線Hugging Chat,可在線體驗試玩。

發布幾個小時里,Gemma火速成為圈內最熱話題,成為議論焦點。

Keras作者François Chollet高呼:最強開源大模型,剛剛易主。

大神卡帕西第一時間趕來解析技術報告。

AI圈內大佬更是表示,谷歌做開源是明智之舉啊。

網友們都很興奮,已經有人開始問考慮推出更多語言版本嗎?

還有人提出2B的規模,是不是意味著也能支持安卓/iOS本地推理?

多性能超越同規模開源模型

具體來看Gemma的技術報告。

在18個任務中,Gemma在11個任務上表現優于同規模優質開源模型。

Gemma包含兩種規格。

7B版本參數量約78億,面向GPU和TPU上的高效部署和開發,2B版本參數量約25億,用于CPU和端側應用程序。

它基于Transformer解碼器架構,關鍵模型參數如下。

相比于基礎Transformer,Gemma進行了一些升級。

7B版本使用多頭注意力機制,2B版本使用多查詢注意力機制。

在每一層中使用旋轉位置嵌入代替絕對位置嵌入;使用GeGLU激活函數替代標準ReLU非線性。

同時對每一個子層的輸入和輸出都進行歸一化。

Gemma 2B/7B分別使用了2T和6T token進行訓練,主要來自網絡文檔、數學和代碼,不過這些數據不是多模態的。

為了兼容,谷歌使用了Gemini的SentencePiece tokenizer子集,它可以分割數字,不刪除額外的空格,并對未知token進行字節級編碼。

大神卡帕西關注了Tokenizer部分,他表示,Gemma的tokenizer和Llama 2的不同,但和GPT一致。

François Chollet認為Gemma最大的特點是谷歌擁有SOTA級測試集過濾機制,這意味著基準數據能相當準確地反映了模型在實際環境中的表現。

谷歌也報告了Gemma在MMLU等基準上的表現。

最后,谷歌還強調了Gemma的安全隱私性能。

實驗數據顯示Gemma不會存儲敏感數據,但可能會記住一些潛在隱私數據。不過報告表示這個數據可能因為工具原因有所誤報。

網友已開始實測

開放以后不少網友已經上手實測Gemma。

有人反饋寫代碼的速度非?。

關于技術細節的討論也很多。

不少人關注到Gemma做到了“以小博大”,2B版本性能超越Mistral2 7B。

也有人覺得Gemma使用的數據量有點大……

但對于谷歌開放模型的態度,大家是一律拍手稱贊。

通過幾十個開源項目,每個人都有機會打敗巨頭。

現在壓力再次給到“CloseAI”……

也有人猜測,按照兩大巨頭互掐的規律,OpenAI新大招可能就在路上了。

參考鏈接:

[1]https://ai.google.dev/gemma

[2]https://x.com/Jason/status/1760331908762751330?s=20

[3]https://twitter.com/karpathy/status/1760350892317098371

本文來源:量子位

谷歌   Gemini
量子位

網友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業 出行 未來
二維碼 回到頂部
野花社区WWW官网,舌尖伸入湿嫩蜜汁呻吟,国产A∨精品一区二区三区,性做久久久久久久久