欢迎大家来到IT世界,在知识的湖畔探索吧!

OpenAI 推出 SWE-bench Verified：更精准评估 AI 软件工程能力

OpenAI 发布了 SWE-bench Verified，这是一个经过人工验证的 SWE-bench 子集，能够更可靠地评估 AI 模型解决现实世界软件问题的能力。

1. 背景介绍

• OpenAI 的 Preparedness Framework 致力于开发各种指标来跟踪、评估和预测模型自主行动的能力。
• 软件工程任务的自动化是模型自主性风险类别中中等风险级别的关键组成部分。
• SWE-bench 是一个流行的软件工程评估套件，用于评估大型语言模型 (LLM) 解决从 GitHub 提取的现实世界软件问题的能力。
• OpenAI 的测试发现，SWE-bench 中的一些任务可能难以甚至不可能解决，导致 SWE-bench 系统性地低估了模型的自主软件工程能力。

2. SWE-bench 的问题

• 单元测试过于具体，甚至与问题无关，导致正确方案被拒绝。
• 问题描述不明确，导致解决方案模棱两可。
• 开发环境设置困难，影响单元测试结果。
• 示例：
• 问题描述：scikit-learn__scikit-learn-14520 中 copy 参数被忽略。

# 问题描述：copy 参数被忽略 Copy param ignored in TfidfVectorizer I was playing with vectorizers and I found this: https://github.com/scikit-learn/scikit-learn/blob/aee2ca6ca0e54d4a5b83f73faa/sklearn/feature_extraction/text.py#L1669 However that parameter is not used later in the method. Here `copy=False` is used: https://github.com/scikit-learn/scikit-learn/blob/aee2ca6ca0e54d4a5b83f73faa/sklearn/feature_extraction/text.py#L1692 Is there anything I am missing?

欢迎大家来到IT世界,在知识的湖畔探索吧!

• 单元测试要求：必须引发 DeprecationWarning 并完全匹配消息内容，而这些信息在问题描述中并未体现。

欢迎大家来到IT世界,在知识的湖畔探索吧!# 单元测试要求：引发 DeprecationWarning 并匹配消息内容 def test_tfidf_vectorizer_deprecationwarning(): msg = ("'copy' param is unused and has been deprecated since " "version 0.22. Backward compatibility for 'copy' will " "be removed in 0.24.") with pytest.warns(DeprecationWarning, match=msg): ...

3. SWE-bench Verified 的解决方案

• OpenAI 与专业的软件开发人员合作，对 SWE-bench 测试集中的每个样本进行了人工筛选，以确保其具有适当范围的单元测试和明确的问题描述。
• 推出 SWE-bench Verified：由 500 个样本组成，经人工验证没有问题。
• 发布了所有 SWE-bench 测试样本的人工注释。
• 与 SWE-bench 作者合作开发了一个新的评估工具，该工具使用容器化的 Docker 环境，使在 SWE-bench 上进行评估更容易、更可靠。

4. 结果

• 在 SWE-bench Verified 上，GPT-4o 解决了 33.2% 的样本，表现最好的开源框架 Agentless 的得分翻了一番，从 SWE-bench 上的 16% 提高到 32%。
• SWE-bench Verified 的难度分布更倾向于简单样本，但性能提升在各个难度类别中都有体现，这表明新数据集有效地去除了不可行的样本。

5. 讨论和局限性

• 应深入理解基准测试，并随着模型能力的提升不断改进评估方法。
• 评估模型风险时，需要考虑生态系统中的进展，例如外部系统对模型的增强。
• 基于静态数据集的评估存在局限性，SWE-bench 也不例外。

OpenAI 相信以实证和科学的方法来跟踪和防范灾难性风险，构建和持续改进评估是这项工作的关键要素。 SWE-bench Verified 的发布是朝着这个方向迈出的重要一步，OpenAI 也期待社区在贡献更多有价值的基准测试方面做出更多努力。

来源：
https://openai.com/index/introducing-swe-bench-verified/

苹果公司即将推出全新 NFC 和 SE API

苹果公司即将在 iOS 18.1 中推出全新的 NFC 和 SE（安全元件）API，为开发者提供更强大的 app 内 NFC 无接触数据交换功能。

NFC 和 SE API 利用 iPhone 内置的安全元件，这是一枚符合行业标准的安全芯片，用于安全存储敏感信息。通过结合安全隔区、生物识别验证和 Apple 服务器等多项安全技术，苹果确保了无接触数据交换过程中 的用户安全和隐私。

开发者可以使用 NFC 和 SE API 开发各种应用场景，例如店内支付、车钥匙、公交卡、门禁卡、积分卡、活动门票，甚至未来还会支持身份证件。用户可以通过直接打开 app 或将 app 设置为默认支持，并连按两 下 iPhone 侧边按钮来触发数据交换。

为了使用 NFC 和 SE API，开发者需要与苹果签订商业协议，申请授权并支付相关费用。这将确保只有符合行业和监管要求，并承诺遵守苹果安全和隐私标准的开发者才能使用该功能。

NFC 和 SE API 将首先向澳大利亚、巴西、加拿大、日本、新西兰、英国和美国开发者开放，未来将支持更多地区。

对 NFC 和 SE API 平台感兴趣的话，可以进一步探索： https://developer.apple.com/support/nfc-se-platform/

来源：
https://www.apple.com.cn/newsroom/2024/08/developers-can-soon-offer-in-app-nfc-transactions-using-the-secure-element/

更多内容请查阅 : x-cmd blog (daily) | [] OpenAI 推出 SWE-bench Verified | 苹果公司即将推出全新的 NFC 和 SE API

关注官方微信公众号: oh my x

获取开源软件和 x–cmd 的最新用法

独家资讯