← 全部模型

Gemma 4 31B IT Assistant

發布時間 發布主體 Google

模型定位

Gemma 4 31B IT Assistant 是搭配 Gemma 4 31B 指令微調目標模型使用的多權杖預測(MTP)草稿模型,目的是加速推論,而非取代目標模型獨立提供完整助理服務。其發布資源識別碼為 google/gemma-4-31B-it-assistant;對應的目標模型為 google/gemma-4-31B-it。(huggingface.co)

能力與用途

  • 草稿模型先提出多個候選 token,再由目標模型平行驗證;它可利用目標模型的啟用值並共用 KV 快取,以降低重複運算。(blog.google)
  • Google 表示,Gemma 4 系列 MTP 草稿模型在特定測試條件下,生成速度最高可提升 3 倍,且不降低輸出品質或推理邏輯;這是系列層級的最高數值,不代表本版本在所有環境均可達成。(blog.google)
  • 可用於降低聊天、程式碼助理、代理工作流程及本機應用的生成延遲。官方提供 Hugging Face Transformers 的搭配使用文件。(blog.google)
  • 配對的 31B 目標模型支援文字與圖片輸入、文字輸出,標示上下文長度為 256K token;這些規格屬於目標模型,不應視為草稿模型可獨立提供的能力。31B 目標模型不支援音訊輸入。(huggingface.co)

限制與部署

  • 使用 MTP 需同時載入相對應的目標模型和草稿模型,並使用支援該推測解碼流程的軟體;實際加速效果取決於硬體、實作和工作負載。(ai.google.dev)
  • 目標模型仍可能產生錯誤或受訓練資料偏差影響的回應;加速推論不等於消除這些限制。(huggingface.co)
  • 模型權重以 Apache 2.0 授權發布。(blog.google)

發布日期

Google 官方 MTP 草稿模型公告發布於 2026 年 5 月 5 日。(blog.google)

價格

截至 2026 年 11 月 16 日,未查到此草稿模型專屬的可靠官方 API 輸入或輸出 token 報價,因此幣種、計費單位及輸入/輸出價格均未核實。開放權重不代表自行部署或使用代管服務時的運算與基礎設施沒有成本。(blog.google)

官方來源