本文基于个人笔记。
第一章,修表师把一块停在七点十二分的怀表交给妹妹。第三章,妹妹带着表离开小镇。到了第七章,修表师正在接受警方问询,一边说话,一边从自己的口袋里掏出了那块怀表。
假设这是 AI 帮你续写的悬疑小说。问询那场戏写得很顺,警察突然追问,修表师犹豫了一下,怀表出现得正是时候。可编辑读过前几章,知道这个动作接不上。她得回头查,妹妹归还怀表的情节到底漏写了,还是模型根本没顾上前文。要是后面几章已经顺着这段往下写,得返工的就远不止一句话。

如果团队准备做一款长篇小说续写工具,可以从这块接不上前文的怀表开始评估。演示时,写出一场能让大家看下去的戏,就能展示工具的价值。真要把功能交给写作者,团队还得回答几个问题。你需要让用户提供多少前文?人物设定变了,后续生成要遵循哪个版本?一处错误改一分钟就能过,还是会让编辑重查前六章?
产品经理可以用一次小测试把这些问题问实。拿一项正在做的工作,先写清楚合格条件,再记录输出和交付之间还有几步。结果会告诉你,这个工具可以接进哪道工序,交给谁审核,以及遇到什么情况要把任务交还给人。
一、为什么演示里能做,实际使用时会失败?
演示只写一场戏,交付要接得上前六章
让模型写「修表师在警局接受问询」,它只需要安排两个人、一个场景和一段对话。让它写同一部小说的第七章,它还要处理前六章留下的约束。怀表在谁手里,警察已经知道了什么,修表师对妹妹许过什么承诺,每一条都会影响眼前这场戏。独立看起来很精彩的动作,放回原稿可能就不成立。
这里有三件事要分别检查。第一,模型这次能读多少。人物设定、前文和写作要求都要进入它可以处理的范围。第二,一次能写多少。允许读到的材料和允许生成的篇幅是两项规格,整部稿件可能需要分多次生成。第三,交给模型的材料,它能用对多少。即使故事全文都能放进去,也要实测模型能否把分散在几章里的事实合起来用。以 Gemini 的官方文档为例,模型规格区分输入和输出的 Token 限制,长上下文指南也指出,同时找多条信息时,表现会随上下文而变。Gemini Token 文档 · Gemini 长上下文指南
三个问题在试用时很容易混在一起。假如怀表又被写错了,先打开这一次真正发给模型的输入。第三章的交接也许清清楚楚地写在原稿里,整理摘要时却只留了「妹妹出走」。如果是这种情况,下一轮先补上交接记录。如果输入里确实有这条信息,可以把相关片段单独拿出来测试,再和长输入比较。短输入能接上,材料一长就频繁出错,值得检查信息的位置和组织方式。两边都错,可以先核对任务指令,再用同一批样本比较模型。
还要留意输出是怎么结束的。一段文字写到半句就停了,可以查调用记录里是否达到了生成上限,以及请求过程有没有中断。一段文字从头到尾都圆顺,却用了错误的人物关系,排查时就该去看所用材料和审核标准。每次只改一个主要变量,再跑一遍同样的样本。否则你同时缩短了前文、换了模型、加了一段指令,即使结果好转,也很难知道哪一项起了作用。
客服场景能看出相似的差别。演示时,用户问「我的订单还没收到,能帮我看看吗?」,模型写一段自然的回复就足以展示效果。实际工单可能转接过几次,用户说上次已答应补发,系统却只有原订单的物流记录。草稿里一句「我们已经为您补发」,立刻变成了要由业务承担的承诺。第一次评审前,可以请客服拿几张经过授权、隐去个人信息的工单走一遍,看看他们在写这句话之前究竟要查什么。
分章节写,还要把每一章发生的变化留下来

把小说拆成章节,写作范围容易控制,衔接仍要有人管。原计划里,妹妹带表离开。作者写第三章时临时改了主意,让她把表留在旅店。第七章如果只看到最初的大纲,就可能沿着已经作废的情节继续写。团队到了这一步要处理的是素材怎样更新、哪些变化算数。
可以先准备三张很短的材料卡。人物卡上写稳定设定,比如人物关系、叙述视角、已经确认的时间线。情节卡上写当前状态,比如怀表在哪、谁见过、谁还没听说这件事。本章任务卡上写起点、必须发生的事,以及哪些伏笔要留在后面。情节卡上的每条重要变化都注明章节和段落。写完一章后,模型可以提议更新,作者确认采用的版本再记入卡片。作者重写旧章节时,也要查看该处变化是否影响后文。
这样一来,有些问题在动笔前就能发现。如果本章提纲要求修表师拿出怀表,而情节卡说表还在旅店,可以把两条放在同一个编辑界面里。作者可以补一次取表,也可以改写问询场景。假如作者确认删掉怀表这个动作,审核时就按改过的任务卡看稿。生成结束后只要对照少量关键事实,编辑不用每次把整部草稿重读一遍。
这种做法可以参考 Yang 等人在 2022 年发表的 Re3 论文。研究先让模型制定故事计划,分段生成时把计划和当前故事状态带入,再比较候选段落并修订不一致的地方。在该实验中,对照同一基础模型直接生成的相近长度故事,采用 Re3 后,被人工评为整体情节连贯的比例高了 14 个百分点。这个数字描述的是整套流程在论文实验中的表现。你的材料、语言、篇幅和审核办法都可能不同,仍要用自己的稿子试。Re3 原始论文
第一轮可以挑三类章节。一类顺着上一章往前写,一类要回收很早埋下的伏笔,另一类要求严格分清角色知道的事和读者知道的事。用同一批材料,一边直接给前文续写,一边再提供经确认的情节状态。审核的时候,除了数有几处情节矛盾,也记下编辑回查了几次、修改到能用花了多久。假如加卡片少了两次反复翻稿,还需要确认编辑维护卡片花的时间。流程里新增的工作,也要一起算。
小测试还能帮团队决定产品先做哪一块。如果作者最费时间的是定位前文,先做能跳到出处的情节卡就值得验证。如果定位很快,主要问题出在输出越界,试一条生成前的约束检查可能更直接。把功能做小,能更清楚地看见哪一步真的帮到了人。
二、接入业务前,应该测什么?
从一张真实工单开始,把合格条件写在前面
假设团队要做电商售后助手。完整流程里有物流查询、退款申请、补发、升级投诉等任务。第一版可以先试一件事。根据客服已有的工单记录和订单状态,起草一条供客服审阅的回复。这样,研发知道要接哪些数据,参与评测的客服也知道该用什么材料判断。
比如一张工单写着「上周客服说给我补发,怎么还没到?」订单系统能查到原订单,暂时找不到对应补发单。合格的草稿需要回应眼前的问题,说明目前能确认的状态,提醒客服核实补发记录,再按店铺允许的方式告知用户下一步。草稿如果自行写出一个快递单号,或承诺今天一定发货,这次就判失败。提前写下这条标准,评审时就不用先讨论语气够不够热情。
样本也要覆盖客服实际会碰到的材料。用常见、资料齐全的工单建立基线,再加上重复来问、订单状态与对话描述不一致、不同渠道规则不一样的情况。有些单据甚至不能仅靠现有信息判断,正确动作是转查记录或交给有权限的人。每张样本附一份简短的审核依据,写清已知事实、要回应的问题、允许的承诺和需补查的事项。OpenAI 的评测设计指南也建议结合贴近真实任务的样本、边界情形和人工判断。OpenAI 评测设计指南
打分可以从两件事入手。先看稿子有没有严重事实错误,再看达到可交付需要多大修改。改一句客套话和把整段补发解释重写,不该被记成同一种问题。请审核人标出出错句子,附上能核对的记录。如果两个人的判断有分歧,就一起看是样本本身模糊,还是验收规则没有写全。把这种分歧写回评测说明,后面的样本才能按相同口径判。
对照对象也要提前定好。让客服用熟悉的模板照常处理一组单据,再让另一位具备相近经验的同事用候选流程处理同样的单据。两边提供同样的可用材料,计时起点和结束条件保持一致。如果只能由一位客服试,可以把样本分组换顺序,记录他是否已经看过同一张工单。读过旧答案再去测第二遍,很可能影响时间和判断,评审时应能看出这个限制。
一小批样本够不够?如果你只是想找到失败方式,挑几张能测到不同风险的单据就可以开始。想把结果用来决定上线范围,就要进一步覆盖准备放行的场景,并留一批没拿来改提示词的材料复测。偶尔判错的样本,可以用相同输入再跑几次。每次结果不同本身就是一条记录,说明这个场景可能需要更严格的审核。至于用了几轮才调对的旧样本,可以保留用来防止退步。OpenAI 评测设计指南
把速度和成本算到一条工单处理完

试用时可以记三个时间点。第一个是客服打开工单准备处理,第二个是界面显示第一段可读内容,第三个是客服校对完成并发送。前两个时间点之间可能有查资料、排队和等模型输出,后两个时间点之间还会发生核对、改写和重试。技术侧可以用首个 Token 的等待时间定位响应快慢,产品评审要看客服从接单到发送花了多久。若两组数据一起记,就能看出省下的是模型等待,还是人的工作时间。Anthropic 延迟测量文档
也可以记下比较难处理的几条。常见单据可能很快就能审完,跨两个系统核对的一张单却要多花不少时间。只报平均值,团队不容易发现这些慢单集中在哪类用户或哪个处理环节。评审时挑两三条异常记录重放,看看是等外部接口、整理材料,还是草稿用了含混的句子,客服不得不把整段核对一遍。找到时间花在哪儿之后,再讨论要不要换模型或改流程。
成本则从打开工单一直算到交付。若流程先整理历史记录,再生成草稿,中途失败又重试,就把实际发生的调用都加进去。适用时记下工具调用费,再单列人工审核和补救的时间。不同模型和计费方式可能把输入、输出等项目分开收取,记录型号、计费方式和核价日期,以后才能复算。Gemini API 价目表
用一组假设数字算一下。两套方案各处理 20 张工单。方案 A 调用合计 4 元,审核后有 10 份草稿可用,平均每份可用草稿分摊 0.40 元调用费。方案 B 合计 6 元,有 18 份可用,平均约 0.33 元。方案 A 单次处理看起来更便宜,可用结果却更贵。真正决策时,还可以让客服报一下两边各花了多少时间,以及哪几份草稿必须重写。如果 A 草稿慢在需要补查的订单状态,也许补一个字段就比换模型更值得先试。
假设一款生图产品在用户确认付费或选择看广告后才开始生成,也可以按这个口径来评估。要评估它,测试应该从用户点击生成按钮开始,记录多少人继续完成确认、从确认到出图用了多久、最终有多少人拿到合格图片。如果延后生成降低了无效调用,还要看用户在哪个环节离开,页面有没有清楚告诉他接下来会等多久。把调用成本和等待写进同一轮测试,团队才能权衡这一项调整。
最值得单独记录的是那些审核人也难看出来的错误。一条看似合理的补发承诺,可能只有切到仓储页面才查得清楚。可以在草稿旁展示它引用的业务记录,找不到记录时提示客服补查。试用时观察客服会不会点开来源,能否判断依据充分,改写以后还会不会漏掉。这样既能检验模型给出的内容,也能检验产品界面是否帮助人完成审核。
三、把跟进工具变成工作习惯
看完发布消息,写下它可能改掉哪一步
跟进 AI 工具时,行业快报用来发现新变化,专业资料用来核对能力和限制,行业观点可以用来提炼待验证的假设。看到一条值得关注的消息,可以先去官方文档或仓库看适用范围。比如看到一个工具支持更长的输入,先核对是哪一版、适用于哪种接入方式、具体增加了什么,再回想手头哪项任务会因此受益。如果目前没有哪一步被长度卡住,这条发布消息先记下来就够了。
比如客服助手已经把旧聊天记录裁短,关键承诺经常被截掉,那么更长输入值得拿来测一次。用同一批长工单,比较原先那份摘要和保留更多原始记录的结果,看看漏掉旧承诺的次数有没有变化。假如关键信息一直都在输入里,却经常把退款和补发混为一谈,可以从字段定义、组织顺序或审核方式找原因。两类问题都可能表现为客服说「模型又答错了」,看过请求内容才能决定怎么试。
专业知识也能照这个方法学。如果要了解 RAG,可以找一张答错的工单,追问模型缺少的资料存在哪儿。假设客服要引用本周生效的售后政策,却拿到了上个月的版本,可以和研发一起检查检索会返回什么、按什么日期生效、界面能否显示原文。如果条款一直在上下文里,错误发生在把适用条件配给了不符合的用户,那就给评测加进不同条件的工单,再看问题出现在哪一类输入。拿着一张答错的单据去讨论,比背完术语更容易把用途和限制弄明白。
行业观点也可以变成业务里能验证的问题。假设有从业者判断,更长的上下文会减少人工整理材料的工作。团队可以把它改成一条要测的假设。给客服完整工单之后,从打开单据到发送回复,一共能少花多少时间?即使草稿质量提高,如果客服核对长文本更慢,评审仍需要看到这个变化。把问题和样本留起来,下次更换模型或检索方案时就能接着测。
一份短清单足以把跟进变成习惯。上面只记目前工作里值得再试的问题。例如,小说改过人物关系,续写仍在用旧稿。客服遇到长工单,看漏了最后一次补发记录。每一条再写清谁遇到、发生在哪一步、眼下怎么处理。新工具有变化时,从清单里挑一项来试,记下这次验证了什么,以及需要什么条件才能用到业务上。
做一次小对照,把结果留给下一次选型

今天可以拿一张工单或一段原稿练习。先挑一项你已经做过、也能判断做得好不好的任务。写作者可以挑一段涉及早期伏笔的续写,客服团队可以挑一组需要查过往承诺的工单。把目标写成别人也能核对的一句话。例如,起草补发回复,凡是提及已寄出、单号或到货时间,都能在可用的业务记录里找到依据。
然后写下现有的做法。客服会先查哪个页面、例外订单谁处理?写作者会先翻人物表,还是用关键词搜前文?这个步骤常常就能找到一个更小的测试。如果最耗时间的是找上一次沟通记录,先试自动找齐记录并显示出处。把同一批材料分别交给现有流程和候选方案,记下检索了哪些记录、漏掉了什么,以及最后是谁补上的。这个结果可以带进选型会,也能帮后来接手的人复现一次。
每条样本保留五项就够组织第一轮讨论。
- 样本和版本 用的是哪份材料、哪个模型、哪一版提示词或流程。
- 是否可交付 输出能直接使用、改后可用,还是必须退回重做。
- 错误和出处 哪一句有问题,可以回到哪条规则或哪笔记录核对。
- 总耗时和开支 从开始处理到交付用了多久,调用与重试花费多少,人工补救花了多少时间。
- 接入决定 可以试放在哪个环节,由谁审核,遇到什么情况转人工。
看完结果,下一轮只改一项主要条件。发现草稿总引用旧版规则,就检查检索和版本选择。事实基本可靠,客服却审核得很慢,可以调整界面上的出处位置或缩小草稿负责的范围。换过模型之后,拿以前出过错的样本一起回跑。曾经做对的地方出现问题时,你手里有当时的记录,知道该从哪次调整查起。
回到开篇的怀表。拿出手边一份真实材料,把属于这项任务的那块「怀表」圈出来。它可以是一件已经交出去的道具,也可以是系统里没有记录的一次补发。把它写进验收条件,拿同一份材料试跑两种做法。试完记下输出依据哪条记录、审核者要改哪里、哪一步可以放心交给工具。下一次看到新工具发布时,用这条旧题再测一遍,你就知道这次变化能不能帮上忙。
参考来源
Google AI for Developers,模型输入、输出限制与长上下文用法。Token 文档 · 长上下文指南
Kevin Yang、Yuandong Tian、Nanyun Peng、Dan Klein,EMNLP 2022,长篇故事生成与一致性修订。Re3 原始论文
OpenAI,业务评测样本、人工评分与持续验证。评测设计指南
Anthropic,首个 Token 等待时间等延迟指标。延迟测量文档
Google AI for Developers,模型调用价目与计费口径。Gemini API 价目表
一泽Eze,少数派,本文的叙事结构参考。我做了一个 AI 产品,帮你积累 AI 时代的个人记忆
文中的小说、客服工单和成本数字均为假设示例。
作者|卜文旭
