IT HOME 5月27日新闻，技术媒体该解码器昨天（5月26日）发布了一篇博客文章，报道Google推出了开源框架LMEVAL，该框架为大语言模型和多模型模型提供了标准分析工具。审查新的AI模型始终是一个困难的问题。各种供应商使用其API，数据格式和基准设置，使时间且复杂。 Google的最新LMEVAL开源框架直接达到了这一疾病。研究人员和开发人员只需要设定一个基准来启动标准评估过程，从而大大简化了审查和节省时间和资源的工作。 LMEVAL正在通过Litellm框架（例如Google，OpenAI，Anthropic，Olllama和Hugging Face）等平台之间的界面差异，从而确保了测试在平台上无缝运行。 LMEVAL不仅支持文本分析，而且还涵盖图像和代码等领域的基准。新的输入格式很容易扩展，并且该图支持了许多类型的评论，例如非疑问，许多选择和自由世代的文本。同时，该框架可以确定该模型采用的“预防策略”，即故意提供模糊的答案以防止风险含量的发展。 Google还推出了Giskard Security Sercores，以显示模型性能，以防止有害内容，并且百分比越高，安全性越高。测试结果存储在基于自加密的SQLITE数据中，从而确保数据本地化而不是由搜索引擎索引，并考虑到隐私和舒适性。 LMEVAL具有附加分析的功能，而无需在添加新模型或问题时重新运行整个测试，只能执行新的测试，并使用多线程引擎并行处理许多计算，从而有效地降低计算和时间消耗成本。 Google还开发了LmevalboARD可视化工具通过雷达图在不同类别中演示模型性能。用户可以在-Depth中查看特定任务，准确搜索模型错误，并将许多模型之间的差异与特定问题进行比较，并使图形显示清晰。