自从ChatGPT(以下由于作者喜好将用 拆必替 作为指代)降临两个多月,虽然不能否认全球还有数十亿人可能并未曾接触过这类产品,但在像我们这样的极客化精英社区中,人们已经开始疯狂传阅一本本如同藏宝图般的Prompts手册,因为听说那里有黄金屋、智慧之门。

这些AI模型的出现,使得人们对于技术和语言的认识又上升到了一个新的高度。在过去,人们通过自己的经验和教育来掌握语言和思维,而现在,这些模型已经成为了人们的“语言工具”,也成为了一些人的娱乐和创造灵感的来源。每个人都有自己的创造力和想象力,而AI模型的出现,可以帮助人类更好地激发和挖掘这些潜力。那么既然无法回避和后退,何不在拥抱新时代的同时,也一起 Happy Prompting!

也许不需要多久,作为一名prompter也将为职业的规划多一分保障,至少需要机必替革命生产的老板们也暂时需要你吧!(此处点题党了可以鼓掌)


华人工程师翁丽莲在 GPT-4 项目中先后参与预训练、强化学习、安全等方面

「更新内容页」内部人士剧透何谓基础指令 VS 进阶指令语法?

文本:我敢打赌电子游戏比电影有趣得多。给予情绪判定

相比上述描述指令,下方给定上下文的联想文本更容易得到LLM 恰当的回应,不过也更消耗token:

文本1:(劳伦斯弹跳)在舞台上,跳舞,跑步,出汗,拖脸,并普遍表现出一开始给他带来名声的古怪天赋。情绪:积极;

文本2:尽管有所有相反的证据,但这个笨拙的人以某种方式设法冒充了一部真正的故事片,那种收取全额入场费,在电视上被炒作,并声称要逗小孩子和表面上的成年人开心。情绪:负面

文本3:多年来,德尼罗第一次在情感上深入挖掘,也许是因为他被他的联合主演的强大作品所感动。情感:积极

文本:我敢打赌电子游戏比电影有趣得多。对此输入材料,给予情绪判定

这类结果的差距来自llm 对于常见token的认识偏差,为了克服此中偏差在优化模型设计时工程师通过指令promopt 向模型描述任务指令进行微调预训练,以此帮助LLM 更好理解用户意图并执行回应。因此,在对LLM 交互时应该使用表明意图的精准阐述而非“不要xx”类型表述

请给给定电影评论的电影的情绪贴上标签。情绪标签应该是“正面”或“负面”。文本:我敢打赌电子游戏比电影有趣多了。给出情绪判定?

另外,在对话事先给予情景和服务对象的限定条件,同样是一种快捷的prompt:

-向一个6岁的孩子描述什么是量子物理学

-确定对话的发言人为“代理”或“客户”。输入:我已成功预订您的门票。

Ouput:代理

-确定问题的类别为“数量”或“位置”。输入:美国最古老的建筑是什么?

Ouput:位置

-对给定电影评论的情绪进行分类,如“正面”或“负面”。输入:我敢打赌电子游戏比电影有趣得多。

Output:

  • Part2 再谈谈 Cot 触发法则

在处理复杂逻辑问题的处理问题时提示词工程师 能够利用推理链的一系列短句继而在prompt 得出质量中获益,这也是很多人已经会用的 step by step 咒语背后原理:

问题:汤姆和伊丽莎白有爬山的比赛。伊丽莎白花了30分钟爬上山。汤姆爬山的时间是伊丽莎白的四倍。汤姆爬山需要多少小时?

答案:Tom 30*4 = <<30*4=120>>120分钟爬山。Tom 120/60 = <<120/60=2>>2小时爬山。所以答案是2。

===问题:杰克是一名足球运动员。他需要买两双袜子和一双足球鞋。每双袜子售价9.50美元,鞋子售价92美元。Jack有40美元。Jack还需要多少钱?

答:两双袜子的总成本为9.50美元 x 2 = $<<9.5*2=19>>19。袜子和鞋子的总成本为19美元 + 92美元 = $<<19+92=111>>111。Jack需要111美元-40美元=$<<111-40=71>>71更多。所以答案是71。

问题:马蒂有100厘米的丝带,他必须切成4个相等的部分。每个切割部分必须分为5个相等的部分。每个最终剪辑要多久?答案:让我们一步一步地思考。

诸如此类产生明显意图,让LLM 产生逻辑思考的步骤会启发更复杂问题的更正确答案,此外还有一些小技巧值得重视: 

  • 分隔推理步骤时,\n 比 “ i”、句号或分号等效果要好;
  • 将Q 更改为Question 更有帮助。
  • 总体来看,Prompt 具有更高推理复杂性的演示可以实现更好的性能,其中复杂性由链中推理步骤的数量来衡量,不过却对简单问题的prompt效果不佳

Part3 advanced prompt 

自动prompt :鉴于 Prompt 是一系列前缀 token,可增加在给定输入的情况下获得所需输出的概率。因此,可以将它们视为可训练参数,并通过梯度下降直接在嵌入空间上对其进行优化,通过 prompt 提出语义相似的变体来改进最佳候选:

Generate a variation of the following instruction while keeping the semantic meaning.\n\nInput: ...\n\nOutput:...

在增强模型加入外部API 生成一些关于输入的知识也是未来产品使用推荐的方法。

任务输入文本工具-调用工具输入文本结果工具出-放文本输出任务输出文本

天气任务:今天纽约会有多热?Weather lookup re- gion=NYC结果降水几率:10,高温:20c,低温:12c输出,今天的高点将是20C

此类API 接口开放已经在 GPT 4中给了确定的产品时间表,对解决 LLM 在最新时效信息的获取和语言性能和数学技能上有更好的模型自我迭代,对于 prompt也释放了更多潜能。如下所示:

-input [《新英格兰医学杂志》是一个注册商标](QA “谁是《新英格兰医学杂志》的出版商?

-output 马萨诸塞州医学会

-“la tortuga”,这个名字来源于西班牙语单词k[MT("tortuga") - 乌龟]乌龟。

- -input 布朗法案是加州的法律[维基搜索“布朗法案”}

-- output Ralph M.布朗法案是加利福尼亚州立法机构的一项法案,保障公众出席和参加地方立法机构会议的权利。]这需要立法机构,如市议会,向公众开放会议。

对于更高水平的任务类型,扩展模型还包括 POT:

当提示工程师要求 LLM 生成编程语言语句来解决自然语言推理问题,从而将解决方案步骤转移到运行时,如 Python 解释器。这样的设置解耦了复杂的计算和推理。

本内容参考自Lianlian Wen ·OpenAI 人工智能应用研究的负责人--In context prompt course


所谓的Prompts就是所谓的对话提示语法,介乎于白话的口头/书面语言和Java这样标准化计算机指令中间的特殊语言格式,目的是帮助拆必替这样的广义大语言模型更好理解用户需求,作出力所能及的更佳反馈,并且还能实现举一反三,继承语义完成种种更加复杂指令任务。

正如下面这张图你所见,拆必替输出了一系列字符串(文本内容),这些内容在给定模糊语义的前提下,反馈可能是出乎意料的百科内容画像,让你看得一头雾水是不是?但是尝试变换下输入端的指令,如果输入者想获得用关键词写一个完整句子的任务,应该如何改进 Prompt 这项任务呢?

示例表明我们可以提供更进一步的明确指令,这是必要且非常有效的干预手段:

这样的设计最佳提示来指导模型执行任务的方法被称之为提示工程学,接下来再为大家探索几个提示小技巧,并用几个例子直观佐证。Lets prompting inside ~

当我门需要机必替回答如一个陌生名词的注解时候,我们尝试加入了——只可以用几句话说,这样的限定约束条件,用来避免它自动旁征博引,进而造成“一本正经胡说八道”,走上歪路。

更进一步的,当我们需要机必替帮助我们总结一段话的大意,以及在给定内容中提取关键词信息时候,我们在提示中就可以采取一些尝试,将会有效获得更高的结果:

机必替本身就是训练用于中欻看自然语言生成以及相关任务的,所以在执行语义分析和分类的NLP 任务时候,只要prompt 到位,它就表现更强大的能力。

在我们构建和机必替这样会话系统时,更加具体的指令元素运用将会提高会话的结果质量。比如当我们告诉他如何行动、我们发出指令的意图和它担任的身份角色,将会产生魔法般的效果:

通过身份角色的前置,可以让信息的生成更朴实无华且稍微有点没那枯燥,当然小学生看不看得懂咱也说不好,但在示例中我们能至少感受到 AI 多少显示出一些人情味来,持续 Prompts 还能获得更好更贴近你需要的反馈结果。

我去超市买10  个苹果,给了邻居大妈和修水管的工人各两个,然后我又去买了一个,路上自己吃了一个,请问我还剩余几个苹果?

诸如此类样的数学推理问题,当用户尝试通过step by step的 明确引导,可以使机必替的逻辑水平表现在智商在线状态。甚至,它还会学习这样的问答模式,举一反三:

综上,我们可以大致掌握 Prompts 的语法构成,获得对现有语言算法模式 GPT能力最大化利用的空间。作为一个范式,尝试概括为:

如何获得LLp更佳反馈的提示元素
指令 - 您想让模型执行的特定任务或指令 
上下文 - 可以包含外部信息或其他上下文,以指导模型提供更好的响应 
输入数据 - 我们要查找响应的输入或问题 
输出指示器 - 表示输出类型或格式的指示器

 

也有一种万金油的咒语——那就是取巧让机器人帮你造轮子I am trying to get good results from GPT-3.5 on the following prompt: "原本的提示词(建议英文)." Could you write a better prompt that is more optimal for GPT-3.5 and would produce better results? 

当然,这样的提示要素仅仅是作为效率器和加速器,并非所有元素都要在对话中出现才能获得理想化的最优结果,格式还将取决于具体的任务类型。感兴趣的派友欢迎加我,或者在评论区探讨更多优化调戏机必替的示例。

机必替的工作原理解析路线图
0
0