開源王者歸來！谷歌上新開源模型Gemma，領跑Llama-2，手機PC可跑
2024年剛開年，AI巨頭們的競賽，一波未平一波又起。
前幾日，盡管和OpenAI Sora的比試里遺憾落了下風，但進擊的谷歌，默默在深夜再度出了個大招——
北京時間2月21日深夜，谷歌正式宣布，推出全新開源模型Gemma。
Gemma 官網(wǎng) 來源：谷歌
對于Gemma，谷歌自己的官方描述是：
Gemma 是先進的輕量級開放模型系列，采用了與創(chuàng)建Gemini模型相同的研究和技術。受到Gemini的啟發(fā)，Google DeepMind和Google其他團隊合作開發(fā)了Gemma，并用拉丁語中意為“寶石”的gemma為其命名。
Gemma是一個小尺寸的大語言模型，與谷歌自家現(xiàn)在最強的大模型Gemini同出一源，共享技術。本次，谷歌發(fā)布了Gemma的兩個版本：Gemma 2B（20億參數(shù)）和Gemma 7B（70億參數(shù)）。每種規(guī)模都提供了預訓練和指令微調版本。
相較于百億甚至千億級別的通用基座大模型，2B和7B兩個版本算是入門級的模型尺寸，相對應地，其應用成本也會更低。
比如，2B體量的大模型連手機都可以帶得動而7B（70億）則是一個檢驗模型性能的經典尺寸。大部分廠商在發(fā)布模型時，都會先選擇發(fā)布近似這個體量的版本。
值得注意的是，Gemma和現(xiàn)在谷歌自家最強的大模型Gemini共享同一套技術。這相當于，谷歌把更小體量的Gemini放出來，跟現(xiàn)在的一眾開源模型對打。
當前，Gemma 2B和7B允許所有組織（無論規(guī)模大小）負責任地進行商用和分發(fā)。未來，Gemma這個系列還會發(fā)布更大尺寸的模型。
而為了方便開發(fā)者，谷歌不僅開源模型，還附帶開發(fā)套裝，包括全新的“負責任生成式AI工具包”，為基于Gemma開發(fā)安全的人工智能應用程序提供了必要指導和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和監(jiān)督微調（SFT）工具鏈。
各種設備也已經適配好。谷歌已經基于英偉達的GPUs和谷歌云TPUs等多個AI硬件平臺，對Gemma進行優(yōu)化，讓模型可以直接在筆記本電腦或臺式機上運行。
谷歌此舉，俘獲了不少技術開發(fā)者的心。有人表示：好消息，谷歌終于再度回到開源路線了。
△網(wǎng)友迅速產出嘲笑OpenAI閉源的梗圖 來源：X（Twitter）
不過，吃瓜的網(wǎng)友還是占大多數(shù)，有網(wǎng)友說：未來又有一眾廠商又有技術型突破了，還有人吆喝：快通知這幾天火遍國內的AI賣課大師李一舟。
△來源：Twitter（X）
小尺寸高性能，領跑Llama 2
此前，全球被用得最多的開源模型，是Meta旗下的Llama-2。谷歌發(fā)布Gemma，可以說直指開源競賽——不少從業(yè)者表示，最強開源大模型，今日易主。
在Gemma的技術報告中，谷歌放出了大量訓練細節(jié)，其中就包括Llama-2的測試對比結果圖，大多數(shù)指標都超過了Llama-2。
△來源：谷歌
在訓練數(shù)據(jù)上，Gemma主要在大量英文文本數(shù)據(jù)上進行訓練的，這些數(shù)據(jù)主要來源于網(wǎng)絡文檔、數(shù)學和代碼。具體來說，Gemma 2B模型訓練了大約2萬億（2T）個token，而Gemma 7B模型則訓練了大約6萬億（6T）個token。
不過，Gemma沒有接受過處理圖像或視頻等非文本數(shù)據(jù)的訓練，也沒有專門針對多語言任務進行優(yōu)化。
在谷歌的測試結果中，Gemma模型在18個文本任務中的11個上超越了同樣規(guī)模的開放模型。它們在多個領域，包括問答、常識推理、數(shù)學和科學以及編程等領域，展示了先進的理解和推理能力。
谷歌甚至表示，Gemma模型在70億參數(shù)規(guī)模的語言模型中表現(xiàn)最佳，甚至超過了一些參數(shù)量更大的模型。
△在各類英文數(shù)據(jù)集上，Gemma與其他相近體量開源模型對比 來源：谷歌
而最近風頭正盛，號稱要做“歐洲版OpenAI”的MistralAI是開源領域的新勢力，旗下的Mistral 7B被譽為是“最強7B模型”。
對此，Gemma說：也沒帶怕的。在問答、推理、數(shù)學、代碼場景里，Gemma的表現(xiàn)同樣領先。
△來源：谷歌
谷歌再度領先開源競賽
在大模型開源這件事上，谷歌可以說是鼻祖。在最初的Transformer、Bert等大模型路線，都離不開谷歌的經典論文、開源的多個基座模型等等重要貢獻。
但OpenAI自從發(fā)布ChatGPT，此后的模型便開始轉向閉源，這招致了AI界的批評和反對——OpenAI這個名字也多了幾分諷刺意味。
對此，硅谷技術圈內的開源競賽號角再度吹響。從2023年開始，Meta開源Llama、歐洲版OpenAI Mistral開源最強7B模型，還有馬斯克的Grok，都在加速追趕開源社區(qū)追趕閉源模型的腳步。
△一張經典的開源/閉源模型性能對比圖 來源：ARK Invest
不過，對AI大模型的安全規(guī)范，學界、工業(yè)界依然爭論不休，對于是否要讓更大尺寸的模型開源，各家廠商都采取不一樣的路線和開源程度。
比如，如OpenAI、谷歌和Meta等大公司，都在開源的節(jié)奏上更為審慎。2023年7月，Meta開源Llama-2時，就一口氣提供了Llama-2的三種參數(shù)規(guī)模版本（70 億、130 億和 700 億）。對此，OpenAI的首席科學家安德烈·卡帕西（Andrej Karpathy）就說，“Llama 2 是任何人都可以拿到的最強大語言模型。”
相對應地，Meta在開源時也設置了條件，有條件地開源給商業(yè)使用，而且超過7億用戶量的還要單獨申請。
而在2023年新成立的AI公司Mistral，由一群從DeepMind和MetaAI出走的科學家遠赴歐洲成立。
他們的路線更為激進，更像是原始版本的OpenAI：要讓GenAI（生成式AI）為所有企業(yè)所用，完全開源。
△MistralAI
MistralAI的進展也不容忽視。就在這個月，Mistral在和客戶溝通的時候泄露了一個中等尺寸的模型版本，各方面性能都已經相當接近GPT-4，引發(fā)開源社區(qū)的又一波震動。
開源模型的進展已然不容忽視。本次谷歌Gemma的發(fā)布，也再度證明谷歌在開源領域的野心和實力。
關于世紀星網(wǎng)
我們匯集英才，共同創(chuàng)造突破性技術，為更智慧安全的互聯(lián)世界提供服務。作為領先的互聯(lián)網(wǎng)基礎應用解決方案提供商，我們不斷尋求網(wǎng)絡、工業(yè)物聯(lián)網(wǎng)、移動設備和通信基礎設施市場的突破，同時不斷推出解決方案，助力實現(xiàn)可持續(xù)發(fā)展的未來。更多信息，請訪問官網(wǎng)。
21-STAR標識是星君公司的商標。所有其他產品或服務名稱均為其各自所有者的財產。
保留所有權利。? 2024 21-STAR
