Gemma 采用了与创建 Gemini 模型的相同的研究和技术,旨在进行负责任的 AI 开发。
作者:
Jeanine Banks,Developer X和开发者关系副总裁兼总经理
Tris Warkentin,Google DeepMind 总监
在 Google ,我们致力于让 AI 助力每个人。长期以来,我们对开放社区的创新贡献了许多成果,如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode。今天,我们很高兴地介绍 Google 的新一代开放模型,以协助开发者和研究人员负责任地构建 AI。
Gemma 是先进的轻量级开放模型系列,采用了与创建 Gemini 模型相同的研究和技术。受到 Gemini 的启发,Google DeepMind 和 Google 其他团队合作开发了 Gemma,并用拉丁语中意为“宝石”的 Gemma 为其命名。在发布模型权重的同时,我们还推出了一系列工具,旨在支持开发者创新,促进合作,并指导如何负责任地使用 Gemma 模型。
从今天起,Gemma 在全球范围内开放使用。以下是有关该模型的关键细节:
Gemma 模型与我们规模最大、能力最强的 AI 模型 Gemini 共享技术和基础架构。这使得 Gemma 2B 和 7B 与其他开放模型相比,展现出同等规模最先进的性能。同时,Gemma 可以直接在开发者的笔记本电脑或台式机上运行。值得注意的是,Gemma 在关键基准测试集上大大超过了更大的模型,同时还严格遵守了我们对安全和负责任输出的标准。有关性能、数据集对比和建模方法的详细信息,请参见技术报告。
Gemma 在设计时将我们的 AI 原则放在首位。为了使 Gemma 预训练模型安全可靠,我们使用自动技术,从训练集中过滤掉特定的个人信息及其他敏感数据。此外,我们进行了大量的微调和人类反馈强化学习(RLHF),使我们的指令微调模型与负责任的行为保持一致。为了解并降低 Gemma 模型带来的风险,我们进行了强有力的评估,包括手工红队测试、自动对抗性测试,以及对危险活动的模型能力评估。我们在 Model Card 中阐述了这些评估。
我们与 Gemma 一道发布了新的 Responsible Generative AI Toolkit,帮助开发者和研究人员优先构建安全和负责任的 AI 应用。这些工具包括:
您可以基于自己的数据微调 Gemma 模型以适应特定应用需求,例如摘要或检索增强生成 (RAG)。Gemma 可支持多种工具和系统:
Gemma 为开放社区构建,旨在推动开发者和研究人员的 AI 创新。您可以通过 Kaggle 的免费访问权限、Colab notebooks 免费层、以及 Google Cloud 新用户可获得的 300 美元积分立即开始使用 Gemma。研究人员还可以申请高达 50 万美元的 Google Cloud 积分以加速他们的项目。
您可以在 ai.google.dev/gemma 了解更多关于 Gemma 的信息并访问快速入门指南。
随着 Gemma 模型系列的不断扩展,我们期待看到基于 Gemma 的多元化应用出现。敬请关注未来几周的活动和机会,与我们进行交流、学习并使用 Gemma 进行开发构建。
我们很期待看到您的创新!