Meta开源全家桶：从图像分割到材料发现
人工智能（AI）的发展离不开开源的助力。而Meta在这方面可谓硕果累累，从大模型LLama到图像分割模型Segment Anything，覆盖了各种模态和场景。最近，Meta又发布了一系列新的开源工作，还对已有的开源工作进行了升级迭代，为开源社区奉上了一场饕餮盛宴。
Segment Anything Model 2.1（SAM 2.1）
图像分割模型SAM自开源以来，已广受追捧，下载量超过70万次。如今，Meta更新了SAM 2.1，性能更上一层楼。研究人员引入了额外的增强技术来模拟视觉相似物体和小物体，并调整了空间和物体指向记忆的位置编码，提高了SAM 2的遮挡处理能力。此外，Meta还开源了SAM 2开发者套件，让用户可以更轻松地基于SAM 2构建下游应用。
Spirit LM：语音+文本的语言模型
大型语言模型通常被用来构建文本到语音的流程。但这个过程可能会影响语音的表达性。为了解决这一问题，Meta构建了Spirit LM，这是首个开源的多模态语言模型，能够自由地混合文本和语音。Spirit LM在语音和文本数据集上进行训练，实现了跨模态生成。
研究人员开发了两个版本的Spirit LM：基础版使用音素标记来模拟语音，而表达版使用音调和风格标记来捕捉语调的信息。Spirit LM能够生成听起来更自然的语音，并且有能力跨模态学习新任务，如自动语音识别、文本到语音和语音分类。
Layer Skip：加速生成时间
大型语言模型在各行各业都有广泛应用，但它们计算量大、内存需求高，运行成本非常高。Meta引入了Layer Skip（层跳过）技术，可以在不依赖专用硬件或软件的情况下加速LLM生成时间。
Layer Skip通过执行模型的部分层，并利用后续层进行验证和修正，来加快LLM的运行。研究人员开源了Layer Skip的推理代码和微调检查点，包括Llama 3、Llama 2和Code Llama。通过Layer Skip训练方法优化后的这些模型，显著提高了早期层退出的准确性，提升了模型性能。
Salsa：验证后量子密码标准的安全性
在保护数据安全领域，密码学研究必须领先于攻击手段。Meta开源了Salsa方法，能够攻击和破解NIST标准中的稀疏秘密Krystals Kyber。这使研究人员能够对人工智能驱动的攻击进行基准测试，并将其与现在以及将来的新攻击手段进行对比。
Meta Lingua：高效的模型训练
Meta Lingua是一个轻量级且自包含的代码库，可以大规模训练语言模型。它提供了友好的研究环境，让研究人员能够快速测试想法。平台高效且可定制，研究人员可以以最小的设置和技术负担来推进研究。
Meta Open Materials 2024：促进无机材料发现
传统上，发现推动技术进步的新材料可能需要数十年的时间。但人工智能辅助材料发现有望彻底改变这一领域。Meta开源了Open Materials 2024数据集和模型，在Matbench-Discovery排行榜上名列前茅。它通过开放和可复现的研究，进一步推动了人工智能加速材料发现的突破。
Open Materials 2024提供了基于1亿个训练样本的开源模型和数据，也是最大的开放数据集之一。它为材料发现和人工智能研究社区提供了一个有竞争力的开源选择，赋予他们加速无机材料发现的能力。
Mexma：改进句子表征
预训练的跨语言句子编码器通常只使用句子级别的目标进行训练。这种做法可能会导致信息丢失。Mexma是一个预训练的跨语言句子编码器，通过在训练过程中结合token和句子级别的目标，其性能超越了以往的方法。
Mexma通过同时使用token级别的目标来更好地更新编码器。这可以挖掘包含两种文本的语言数据中的信息，并在句子分类等下游任务上表现良好。
Self-Taught Evaluator：生成奖励模型
Meta推出了Self-Taught Evaluator，可以用于生成合成偏好数据以训练奖励模型，而无需依赖人工标注。这种方法通过迭代自我改进方案进行优化，以生成对比的模型输出，并训练一个大型语言模型（LLM-as-a-Judge）来生成用于评估和判断的推理痕迹。
研究人员发布了一个经过直接偏好优化训练的模型，该生成式奖励模型在RewardBench上表现强大。它的性能超越了更大的模型或使用人工标注标签的模型，并可在AlpacaEval排行榜上作为评估器，在人类一致率方面名列前茅。
结语
Meta的开源工作覆盖了人工智能的各个领域，包括图像分割、语言模型、密码学、材料发现和句子表征。这些开源工具使研究人员能够加速创新，推进人工智能的发展。随着Meta继续开源其最新的研究成果，人工智能领域必将迎来更广阔的前景。
原创文章，作者：讯知在线，如若转载，请注明出处：http://web.xzxci.cn/2024/11/27/23582.shtml
