Meta发布了其 Llama 系列开放式生成 AI 模型的最新产品：Llama 3。或者更准确地说，该公司在其新的 Llama 3 系列中首次推出了两个模型，其余模型将在未指定的未来日期推出。
Meta 将新模型（包含 80 亿个参数的 Llama 3 8B 和包含 700 亿个参数的 Llama 3 70B）描述为与上一代 Llama 模型 Llama 2 8B 和 Llama 2 70B 相比的“重大飞跃”，性能方面。 （参数本质上定义了人工智能模型处理问题的技能，例如分析和生成文本；一般来说，参数数量较多的模型比参数数量较少的模型能力更强。）事实上，Meta 表示，对于Llama 3 8B 和 Llama 3 70B 各自的参数数量（在两个定制的 24,000 个 GPU 集群上进行训练）是当今性能最佳的生成式 AI 模型之一。
这是一个相当有说服力的说法。那么Meta是如何支持它的呢？该公司指出了 Llama 3 模型在流行的 AI 基准测试中的得分，例如 MMLU（试图衡量知识）、ARC（试图衡量技能获取）和 DROP（测试模型对文本块的推理）。
Llama 3 8B在至少九个基准上优于其他开放模型，例如 Mistral 的Mistral 7B和 Google 的Gemma 7B ，这两个模型都包含 70 亿个参数：MMLU、ARC、DROP、GPQA（一组生物学、物理和化学）相关问题）、HumanEval（代码生成测试）、GSM-8K（数学应用题）、MATH（另一个数学基准）、AGIEval（解决问题的测试集）和 BIG-Bench Hard（常识推理评估）。
现在，Mistral 7B 和 Gemma 7B 并不完全处于前沿（Mistral 7B 于去年 9 月发布），并且在 Meta 引用的一些基准测试中，Llama 3 8B 的得分仅比两者高几个百分点。但 Meta 还声称，参数数量较多的 Llama 3 模型 Llama 3 70B 与旗舰生成式 AI 模型具有竞争力，包括 Google Gemini 系列中的最新产品 Gemini 1.5 Pro。
Meta 表示，新 Llama 模型的用户应该期待更多的“可操控性”、拒绝回答问题的可能性更低、琐事问题、与历史和 STEM 领域相关的问题（例如工程和科学以及一般编码）的准确性更高。建议。这在一定程度上要归功于更大的数据集：15 万亿个令牌的集合，或者令人难以置信的约 750,000,000,000 个单词——是 Llama 2 训练集大小的七倍。 （在人工智能领域，“令牌”指的是原始数据的细分位，例如“fantastic”一词中的“fan”、“tas”和“tic”音节。）
Meta 表示，它开发了新的数据过滤管道，以提高模型训练数据的质量，并更新了其生成式 AI 安全套件 Llama Guard 和 CybersecEval，以试图防止误用和不需要的文本生成。 Llama 3 模型等。该公司还发布了一款新工具 Code Shield，旨在检测生成人工智能模型中可能引入安全漏洞的代码。
Meta 表示，Llama 3 模型现已可供下载，并为 Facebook、Instagram、WhatsApp、Messenger 和网络上的Meta AI 助手提供支持，很快将在包括 AWS 在内的各种云平台上以托管形式托管。 Databricks、Google Cloud、Hugging Face、Kaggle、IBM 的 WatsonX、Microsoft Azure、Nvidia 的 NIM 和 Snowflake。未来，还将推出针对 AMD、AWS、戴尔、英特尔、Nvidia 和高通硬件优化的型号版本。
Llama 3 型号可能会广泛使用。但您会注意到，我们使用“开放”来描述它们，而不是“开源”。这是因为，尽管Meta 声称，其 Llama 系列模型并不像人们想象的那样没有任何附加条件。是的，它们可用于研究和商业应用。然而，Meta 禁止开发人员使用 Llama 模型来训练其他生成模型，而每月用户超过 7 亿的应用程序开发人员必须向 Meta 申请特殊许可证，该公司将根据其酌情权授予或不授予该许可证。
Meta 表示，目前正在训练超过 4000 亿个参数的 Llama 3 模型，这些模型能够“以多种语言进行对话”，能够接收更多数据并理解图像和其他模式以及文本，这将带来 Llama 3 系列与 Hugging Face 的Idefics2等开放版本一致。
暂无评论