LLM技术研究：AI 提示Prompt规则

欢迎大家来到IT世界,在知识的湖畔探索吧!

提示是任何 AI 实现（尤其是 RAG AI）的重要组成部分。好的提示和一般的提示之间的差异可以决定您的项目是成功还是失败。对于 GraphRAG 等高级 RAG AI 实现，提示更为重要，因为提示数量更多，并且链中任何一步出现问题都可能是致命的。

快速评估的自动化是关键

最重要的是，请记住，提示没有灵丹妙药，今天有效的方法明天可能会失效。关键是尽可能自动化提示的评估。我首选的方法是获取查询和输出，将它们输入到单独的 LLM 中，并要求它评估输出是否正确回答了查询。您可以快速汇总 10 或 100 个查询的测试集，自动执行此测试并检查结果。如果您使用的是软件即服务 (SaaS) 模型，最好每天运行此测试，因为模型行为的变化可能比预期的更频繁。

除了确保提示仍在执行之外，一旦设置了自动化，您就可以尝试使用提示的不同方法，并客观衡量它们的有效性。我再怎么强调这一点也不过分。

一般提示建议

“最佳”提示因所使用的数据和期望的结果而异。以下是一些一般建议：

如果您有特定的输出需求，请提供示例。

• 通常，最好举两三个例子。这被称为“few shot”提示。
• 向模型明确表明这些都是示例。
• 最好使用贴近主题的示例。例如，在处理有关化妆的项目时，我曾经保留了一个来自我所做的一个涉及 MDMA 治疗创伤后应激障碍患者的项目的提示示例，因为输出格式相同。关于化妆的查询开始随机提及 MDMA！即使你告诉模型某些内容只是关于格式，它仍然会污染结果。
• 有些人会使用 10 个甚至 20 个示例。在测试中，这种方法效果很好，但人工智能中有一种有限的资源，那就是最大令牌数，而拥有 10 个或更多示例通常会占用太多令牌，而这些令牌本可用于其他用途。这也会增加成本。

少即是多。您想最大化信噪比，但您的查询中的噪音比您想象的要多。

• 最大令牌数是提示中的一个大问题。在大多数最先进的模型中，令牌数限制为 8,192 个，这意味着总输入和输出不能超过 8,192 个令牌。这与上下文窗口不同，上下文窗口在模型上通常要大得多。因此，使用的每个示例都会减少可用于输出的空间。此外，这些模型按令牌收费，因此每个额外的示例可能会增加 1% 的成本。
• 避免使用诸如“请”或“我愿意”之类的填充词。这些只是噪音。
• “应该做的”比“不应该做的”更有效。尝试将任何负面的东西重新加工成正面的东西。例如，一个人工智能坚持将视频的脚注放在底部，而不是将其添加到内联中。我在提示中一遍又一遍地重复不要这样做，但它继续这样做。当我摆脱了所有这些“不应该做的事情”后，它开始根据示例正常工作。
• 当提示无法满足您的需求时，您可能会忍不住添加提示。这值得一试，但如果提示很长，请尝试彻底简化提示。我花了几天时间尝试让人工智能使用示例和复杂规则从提取的网站和视频中为我提供良好的标签。最终为我的用例提供最佳结果的提示是：“请提取最多 7 个一到两个单词的标签来描述此内容。每个标签都放在新行上。”

明确区分提示的不同部分。

• 如果有例子，我会加两行。第一行是分界线“——————————”，第二行是“例子：”。在例子后面，我还会加一个分界线“————————”。这些分隔有助于避免提示混乱。

使用思维链提示。

• 思维链提示是指引导提示完成示例中的步骤。例如，在数学中，说“——示例：2+2 等于多少？-> 步骤 1：从 2 开始。-> 步骤 2：再加 2 -> 步骤 3：四个苹果。”
• 这更适用于任何推理，在 RAG AI 实现中并没有那么有用。但当我需要 LLM 采取一些步骤时，它非常棒。

我建议不要使用的东西（大多数时候）

提示重复。

• 我总是忍不住重复自己的问题，以为这样可以让人工智能更有可能按照我的要求去做。经验告诉我，事实恰恰相反。问一次更重要。
• 不要重复，而要强化你现有的短语。不要说“显示视频中的准确位置”，而要说“你必须显示视频中的准确位置”。

基于角色的提示：这是您分配角色的地方，例如“您是 MentorBot…”。

• 在 RAG AI 中，我的客观评价表明它并不像简单地举例子那么有效。
• 在与 Chat-GPT 的互动工作中，如果您需要 AI 以多种方式思考，那么 Chat-GPT 会非常有效。例如，赋予它两个不同的角色，一个是创新型，另一个是谨慎型，让它们产生想法，然后进行比较。

要求AI改进提示。

• 我经常会把一个提示输入到人工智能中，告诉它我想要实现什么，并问它如何改进这个提示。毫无疑问，这是一个倒退，因为人工智能生成的提示在客观评估指标上的得分并不高。
• 一个很大的例外是，如果你有大量明确的输入和期望的输出。在这种情况下，你可以自动化提示生成过程，并让人工智能迭代调整提示以获得更好的性能¹。

结论

掌握提示工程的艺术对于 AI 的成功至关重要，尤其是 RAG AI 实现。通过自动执行提示评估并避免常见的陷阱，您可以显著提高 AI 模型的性能和可靠性。始终对迭代和改进提示持开放态度，因为持续改进是适应不断变化的模型行为和实现最佳结果的关键1。

参考：

https://generativeai.pub/rules-for-ai-prompting-b9d0ee34394c