引言:一笔不太划算、但很值得的账

先算账。

我订的是 Claude Max,每月 200 美元。怎样「浪费」这 200 美元才算合适,一直是个问题:几乎每周一开始,我都会冒出一些奇奇怪怪的想法,头两天就烧掉一半额度。

这一次是 10 月 12 日到 14 日。三天,用掉了这一周七成左右的额度。按 API 价格折算,这三天的 token 大约值 2,400 美元;按我实际付的月费摊下来,三十来美元。

换来的是一封英文邮件:正文四个要点,附一份 14 页的 PDF,收件人是一篇医学论文的通讯作者 Audrey Jarrassier 医生。写这段话的时候,我收到的回信数量是零。

那篇论文研究的是「AI 能不能写出安全的麻醉方案」。我用 AI 检查一篇检验 AI 的论文,现在又让 AI 帮我把这篇文章落成文字。这个递归,我自己也觉得有点好笑。当然,文章的想法、内容和结构都出自我本人。

过去读一篇论文,看摘要,看结论,最多看看图。到了 AI 时代,很多人会把论文丢给 AI,几分钟就知道它讲了什么。我做的事情正好反过来:让 AI 去查这篇论文说的对不对。我把它的每一张表都重算了一遍,又把同一个团队过去十几年的二十多篇论文也算了一遍。

我很想说这是出于对科学的热爱。真实的动机没有这么体面:一半是我这个人轴,认死理,一直相信不可信赖的数据,比没有数据更糟糕;另一半是火气。火气从哪里来,后面会讲。

缘起:给朋友做的口试陪练

先说我为什么会去读一篇麻醉学论文。

我有个朋友在法国读麻醉与重症医学专科(DES),是一名 interne,也就是医学院毕业后进入专科培训的实习医生。interne 第二年要过一场口试:考官给出一个病例,考生当场讲出评估和处理方案。

复习资料来自 UNESS,法国医学院共用的在线教学平台。它的网站很难用:课程是一页页带旁白的幻灯片,加上零散的 PDF,想复习一个知识点,只能一节一节点开、一段一段听完。在法国生活这一年多,我的感受是,这里对数字工具的期待普遍不高,大家习惯了将就。

我不想将就。于是我把整个课程库搬到了自己的 NAS 上,再一层层加工成能用的东西:

UNESS 课程网站:12 个模块,273 个章节
   │  用登录后的账号下载:幻灯片文字、旁白音频、PDF
   ▼
NAS:11 GB 原始资料
   │  Mac mini M4(24 GB)上本地运行我自己搭的 Lingua
   ├─ 240 节课的旁白,约 101 小时,用 Whisper 转成文字
   └─ 232 份 PDF,用 OCR 转成 Markdown
   ▼
每章一份笔记:幻灯片 + 对齐的旁白 + PDF 原文
   │  先用 DeepSeek 批量写初稿
   │  再用 Claude 重写大部分,逐条核对里面的数字
   ▼
273 份复习卡片(fiche)

Lingua 是我之前在 Mac mini 上搭的本地转写、翻译和 OCR 服务。一百多个小时的课程录音,全部在家里的局域网里转完,没有一段上传到别人的服务器。

在这些卡片之上,我给朋友搭了一个复习网站,叫 UNESS Dashboard:用手机口述病例,很快就能拿到一份按口试结构写的方案,每一条都标着出自哪张卡片,还能点开每一部分的深入版本和理论笔记。检索方式、提示词、模型选择,前前后后做过好几轮对比测试。

UNESS Dashboard 的「Cas clinique」页面。上面是口述的病例,下面的方案每一条都标了出处卡片,比如 [m03/002]。输入框里的「Consultation」按钮和「Dossier type」,就是照着下面这篇论文的病例模板加的会诊模式。

然后最近,我突然冒出一个念头:还能为这位朋友多做点什么?就这样,我偶然读到了一篇刚发表的论文。

巴黎近郊贝甘军队教学医院(Hôpital d'instruction des armées Bégin)牵头的团队,在法国麻醉与重症医学会(SFAR)的官方期刊 ACCPM(Anaesthesia Critical Care & Pain Medicine,《麻醉、重症与疼痛医学》)上发表了《Can AI generate safe anaesthesia plans?》。他们写了 100 个虚构病例,让 ChatGPT、Mistral 的 Le Chat 和医疗专用模型 Dougall GPT 各写一份术前麻醉评估和方案,再由专家对照参考方案,在 12 个领域里按 0–4 分打分。

结论是 ChatGPT 表现最好,大语言模型「展现出令人鼓舞的潜力」,将来可以在比如「药物剂量」这样的事情上辅助决策。

这正是我需要的东西:论文的补充材料里有病例模板和完整提示词。我当天就照着做了一个「术前会诊」模式。想和他们比,就得先弄懂他们的数字。

然而,他们的数字对不上。

第一个对不上的数字

第一个是 κ(kappa)。可以把它想成两位阅卷老师给同一批卷子打分的默契程度:1 是完全一致,0 是和随手乱打没有区别。论文用它衡量模型给出的 ASA 分级和专家的有多一致。ASA 分级是麻醉前给病人整体状况打的 1 到 5 级分。

Dougall 的加权 κ,在正文 3.3 节是 0.666,在表 2 是 0.719。

论文第 4 页,3.3 节写的是 0.666。高亮是我加的,下同。
翻到第 5 页,表 2 写的是 0.719。

同一个模型,同一个指标,同一篇论文,两个数。

我当时的第一反应是:笔误,正常。于是继续往下看。

摘要里写着,ChatGPT「在 12 个麻醉领域中的 7 个取得了最高的中位数评分」。

论文摘要。

翻到表 3,ChatGPT 和 Dougall 的中位数在全部 12 个领域都一模一样:十一个 4,一个 3。ChatGPT 在 12 个领域里都是并列最高,没有一个领域是它单独最高。

表 3。逐行对比 ChatGPT 和 Dougall 两列,12 行的中位数没有一行不同。

「7」这个数大概来自另一处:事后检验里,ChatGPT 在 7 个领域显著好过 Mistral。可摘要说的是「中位数最高」,不是「比 Mistral 好」。读摘要的人不会知道其中的区别。

再往下,我把对不上的数字列成了一张表。最后定稿的是 12 处,每一处都能在论文里找到原文,寄给作者的附件里逐条附了高亮的原页面。这里挑几处:

论文写的它自己的数据给出的
正文:Dougall 的加权 κ = 0.666表 2:0.719
摘要:ChatGPT 在 7 个领域中位数最高表 3:与 Dougall 在 12 个领域全部相同
正文:患者平均 BMI 27.1表 1 按专科加权:26.2
表 2:专家 ASA 分级的标准差 0.65按 19/39/40/2 的分布:0.78
表 4:Mistral 恶心呕吐(PONV)一项不安全率 11.2%论文的图 1:0
正文:两种分析里显著的是「同样的七项」表 3 有 8 项,表 4 有 7 项,重合 5 项
正文:麻醉方式一项「ChatGPT 也超过了 Dougall」表 4:不安全率 Dougall 2%,ChatGPT 11%,q = 0.036

最后一行值得多看一眼:正文说 ChatGPT 更好的那一项,表格显示的恰恰是 Dougall 显著更安全。

单拿出哪一处,都可以是笔误。但十二处不一致集中在同一篇论文里,说明它的核对过程没有充分发现并解决这些问题。

这篇论文有十九位署名作者,来自四家医院,经过了一轮同行评审。

表格没写分母,置信区间写了

如果整件事只能讲一个技术细节,我会讲这个。

论文的表 4 是安全性结果:每个模型在每个领域里,有百分之多少的回答被评为「不安全」,后面跟着 95% 置信区间。表里没有写分母,也就是到底有多少个回答被打了分。100 个病例,按理说分母就是 100。

置信区间可以理解成「误差范围」。民意调查问 1,000 个人和问 100 个人,误差范围完全不一样:问的人越少,范围越宽。反过来,只要知道算法,就能从误差范围倒推出到底问了多少人。

表 4。Dougall 在「药物剂量」一项写着 0.0 [0.0–7.3]:0 个不安全回答,区间上限 7.3%。

难点就在「知道算法」。论文没写用的是哪一种区间。我试了几种,R 语言里的 prop.test(带连续性校正的 Wilson 区间)能让 ChatGPT 的 10 个格子在分母为 100 时逐位吻合,所以我假设整张表用的都是它。

按这个算法,0 个不安全、分母为 62 时,区间上限约为 7.269%,显示成一位小数正好是 7.3%;分母为 100 时约为 4.610%。把分母从 1 试到 100,62 是唯一能显示成 7.3% 的值:

0 个不安全回答时,按 prop.test 算出的区间上限随分母变化。分母是 100 的话,上限应该是 4.6%;能算出 7.3% 的分母只有一个:62。

也就是说:如果这些区间使用的是带连续性校正的 prop.test,那么这一格对应的分母应为 62,而不是 100。实际分母仍需作者的代码或原始评分确认。数值吻合不能证明作者确实用了这个算法,这也是我在信里请作者提供代码的原因。

按同一个假设,全部 36 个格子我都试了一遍:10 个在分母为 100 时吻合,全是 ChatGPT 的;24 个只有在分母小于 100 时才对得上;还有 2 个,分母从 1 试到 100 都对不上。

少掉的那些回答可能去了哪里?论文把每个病例拆成 12 个字段,一个领域一个字段,100 个病例一共 1,200 个。论文自己报告,Dougall 有 100 个字段没填(3.1 节)。方法部分写着:没填的字段不评分,也不插补。

这里要分清两个层级:

  • 整个领域没写。 这一格不评分,从这个领域的分母里拿掉。如果上面的算法假设成立,Dougall 剂量一项少掉的 38 个就属于这一种。旁证来自 ChatGPT:论文说它一共漏填 13 个字段,表 4 倒推出来的缺口也正好是 13 个(11 + 1 + 1)。
  • 领域写了,但里面漏掉某一项。 论文说一个领域的得分取其中最差那一项的分数,但没有说明漏掉的项怎么算。

如果第一种情况属实,就会出现一种不对称:写了,写错一项,整个领域记低分;整块不写,这个领域直接不进分母。这像一场考试,空题不扣分,还不计入总题数。

按同一个假设倒推,在三个模型身上,被评分数量最少的都是同一个领域:药物剂量。ChatGPT 89 个,Dougall 62 个,Mistral 85 个。

而论文结论里,大语言模型将来可以辅助的场景,举的例子正是「药物剂量」。

还有一个小发现。论文的图 1 里,Mistral 有两格是 0:PONV 和困难插管。到了表 4,困难插管那一格正是用任何分母都对不上的两格之一;PONV 那一格写着 11.2% [6.0–19.6],和 Mistral 自己的静脉血栓预防那一格一字不差,连置信区间都一样。这更像是复制粘贴的时候串了行。

如果这是一次 A/B 测试

算术之外,是设计问题。做过产品的人大多见过 A/B 测试,用这个类比最直观。

每个版本都有自己的评委,而且评委知道自己评的是哪个版本。 论文里,每个模型由一位研究者负责运行,也由同一位研究者打分:ChatGPT 一位,Mistral 一位,Dougall 一位,三个人互不相同。论文在局限性一节承认评分者没有设盲,但没有报告评分者之间的一致性。这样一来,「模型之间的差别」和「打分人之间的差别」完全分不开。

左边是论文 2.4–2.5 节描述的安排,右边是一种更可比的做法:匿名的方案交给同一组盲评者,并报告评分者之间的一致性。右边是我的建议,不是论文的做法。

运行日期和版本无从核对。 论文说研究在 2025 年 7 月到 8 月进行,ChatGPT 用的是「当时默认的 GPT-5.0」。GPT-5 是 2025 年 8 月 7 日发布的,所以 ChatGPT 这部分只能在 8 月 7 日之后跑,这本身并不矛盾。问题在于,论文没有给出每个模型具体的运行日期和版本记录,读者没法核对。论文还说网页界面里的 temperature「已关闭」,而普通用户在网页聊天界面里调不了这个参数。

答案写在题目里。 病例模板里有一栏是「PONV 病史:Apfel 评分」。如果评分已经给了,模型只需要照抄。论文的讨论部分说,三个模型在 PONV 一项上「表现优秀」。

附件清单对不上。 提示词里说附上了慢性治疗、冠心病患者、胃超声等方面的指南,可补充材料列出的 15 份指南里没有这几份。正文引用补充材料 S5 来展示严重错误的例子,我能拿到的补充文件只到 S4。

「零记忆」无法确认。 提示词告诉模型,接下来会有编号 1 到 100 的病例;论文说病例分三次、在连续三天里提交,又说用的是「零记忆配置」。分三次提交不一定意味着三个持续的对话窗口,但论文没有会话记录,无法确认每个病例是否在独立的会话里生成。如果不是,前面的病例可能还留在上下文里。

我个人的看法是:在网页界面里对基础模型问一次、拿一次回答,测的不是「大语言模型能不能写麻醉方案」,测的是那个下午的那个聊天窗口。这一点是我的观点,不是算术,所以没有写进给作者的信里。

然后,我生气了

读到第四张表的时候,我做了一件读论文时不该做的事:搜了作者。

搜到的是法语重症医学会(SRLF)10 月 8 日发在 YouTube 上的一段六分钟视频,讲战伤员怎样从战场一路送回本土的重症监护室。Jarrassier 医生在视频里说,战伤救治由一套条令来规定,这套条令「très codifiée, très organisée à toutes les étapes」,高度规范,每一个环节都组织严密。

那天晚上看完,我的火更大了。战场上每一步都有规程,写论文的时候,摘要却和自己的表格对不上。我不认识她,也无从评价她在手术室里是什么样的医生。可我面前摊着的,是她作为第一作者署名的论文,和十二个对不上的数字。

写这篇文章的时候,我把视频的转录稿从头读了一遍,想找出那句让我生气的话,大意是「军队医院比别处更精确、更严谨」。没有找到。她讲的是四级后送链条、25 小时内回到本土、多重耐药菌。说到自己的培养,她说的是和地方医学生「exactement la même maquette」,培养方案一模一样。

「军医更严谨」这层意思,是我带着火气自己听出来的。我当时还原样转述给了朋友。大概是我的法语太差,听岔了,哈哈。

这让我有点难堪,也正好是这篇文章想说的事:人在有情绪的时候,最容易把自己相信的东西当成原文。我要求别人的论文逐字对得上,我的记忆也该接受同样的核对。

火气还在,只是不再冲着一个人。医学要求患者信任它,我觉得这份信任应该靠能被核对的数字去挣。

于是我做了第二件不该做的事:把贝甘医院这个麻醉与重症团队的论文都找了出来。

从一篇到二十四篇

论文来源:ScienceDirect 用的是我自己的账号,在 Chrome 里一篇一篇点开下载;开放获取的全文从 Europe PMC 取。最后进入语料库的是 24 篇全文,加上 71 篇论文摘要。

流程大致是四步:

发现候选问题:AI 逐表重算,从几个角度审读正文和引文
   ▼
反方复核:另一组模型专门尝试推翻每一条
   ▼
人工检查:对照原文页面,逐条看
   ▼
证据包:页码、章节、高亮的原页面

模型之间达成一致,不等于事实成立。所以这条流水线的终点不是「AI 说对」,而是一页页任何人都能自己核对的原文。

审查结果的汇总页,放在 Curio 里。Curio 是我在 NAS 上自建的一个小书架,专门存放 AI 生成的页面和报告。「How to read this」最后一条写着:这些都不是学术不端的证据,看到的模式是粗心的报告、错误的引用,以及对结果有利的评估设计。

这些论文都至少有一位该团队成员署名。挑几个不需要医学背景也能看懂的例子,每个都附上出处,可以自己去翻:

  • 入院到手术:11 天,还是 522 分钟? 一篇 2021 年的多中心论文,研究巴黎恐怖袭击伤员的感染风险,该团队的 Dubost 是作者之一(ACCPM 2021;40:100908)。纳入标准是「入院后 48 小时内手术」(第 2 页,2.1 节),结果部分却写入院到手术的中位时间是 11 天(第 4 页,3.1 节),表 2 写的是 522 分钟(第 6 页)。11 天其实是表 3 里另一个指标:到再次手术的时间。
  • 比值比 0.25 还是 0.32? 同一篇论文的表 4(第 7 页)写「ballistic cause」的比值比为 0.25(0.1–0.9),p = 0.03。方法部分(2.4 节)说这一列是单因素逻辑回归,也就是没有调整其他变量的 OR。用表 2 里同一个变量的人数(感染组 19 对 4,未感染组 164 对 11)按同一种方法算,得到 0.32(95% CI 0.09–1.10),p ≈ 0.07;用 Firth 校正算是 0.30(0.10–1.09)。常用的几种算法都得不到 0.25、上限 0.9;表 2 自己给这个变量的 p 值也是 0.08。前提是表 4 的「ballistic cause」就是表 2 的枪伤对爆炸伤,论文没有另行定义。
  • 写反的感染率。 同一篇论文第 5 页的讨论部分引用 Tribble 等人 2016 年的研究(Mil Med 2016;181:1258–68),写伊拉克和阿富汗的感染率分别是 33% 和 27%。原文是伊拉克 28%、阿富汗 34%:两个战区写反了,数值也不对。
  • 2,029 人里的重复。 一篇关于战场使用氯胺酮镇痛的系统综述(J Trauma Acute Care Surg 2020;88:180–185)。发表版本需要付费,我核对的是作者公开的博士论文版本(DUMAS dumas-03472055,第 25 页表 1):纳入研究的病人数加起来是 2,029 人。其中 Petz 2015 和 Schauer 2017 都来自同一项母研究,各报告 118 名用过氯胺酮的伤员,很可能是同一批人被算了两遍;去掉重复,最多 1,911 人。

在 AI 标出的候选问题里,最常见的一类不是算术,而是引用:引文并不支持它所在的那句话,有的甚至说的是反话。至少 18 篇论文里有这样的候选。

研究是一层一层往上盖的。每一篇论文都站在它引用的论文上。下面一层写错了,上面的人通常不会回去查,只会接着引用。

AI 也会错,而且错得很自信

如果这篇文章只讲 AI 有多厉害,那它就是一篇广告。下面这些,是 AI 在这三天里犯的错:

  • 把对的当成错的。 有一个置信区间 1.07 [1.014–1.182],两边不对称,被标成了错误。其实那篇论文用的是 Firth 惩罚回归,它的轮廓似然区间本来就不对称。这一条撤回了。
  • 我自己的页面也写错过。 最早那版复核页面猜错了区间算法,用几种不带连续性校正的区间去倒推,得出剂量一项「只有 33 到 49 个回答被评分」。直到做寄给作者的证据包、把 36 个格子逐一重算,才发现能对上的是 R 的 prop.test,对应的分母是 62。
  • 我的邮件说得比证据多。 发信之前,我让一个全新的 Claude Science 会话只读论文、补充材料、我的邮件和附件,从头核对。结论是「改几处再发」:一处把「36 个格子里的 24 个」写成了全部;一处说 S5「不在补充材料里」,但它打不开出版社的页面,没法排除还有第二个文件;一处把数据共享声明没承诺的东西(参考方案和逐条评分)说成了声明里有的。

这三天里我最大的体会是:AI 让「重算」变得便宜,但没有让「判断」变得便宜。 最后写进邮件、寄给作者的每一条结论,都经过至少两个看不到彼此结论的模型核对,最后再由我自己确认。

同一把尺子,先量我自己

批评别人的论文很容易。寄信之前,我想先回答一个更让人难受的问题:我自己做的东西,就一定比他们好吗?

先说清楚这个测试能做什么、不能做什么。

我没法重做他们的研究。100 个病例、专家的参考方案和逐条评分都没有公开,数据共享声明说「可以申请」,我在信里申请了;正文引用的补充材料 S5 也没找到。我能拿到的,只有他们的病例模板、提示词和指南清单。

所以这里做的只是一个粗略的模仿:

30 个虚构病例 + 标准答案(AI 写的,还没有医生审过)
        │
        ├─ A 组:照论文的做法——他们的提示词,指南整份附上
        └─ B 组:我在 UNESS 里做的会诊模式——评分用代码算,
        │         按领域检索指南,写完再对照常见错误自查
        ▼
同一个模型(gemini-3.8-flash),每个病例每组各写 3 次
        ▼
主评委 GPT 给全部方案打分;Kimi 只评第 1 轮,用来检查两个评委是否一致
评委看不到方案出自哪一组(能暴露来源的标记都删掉了,但两组的格式仍然不同)

Kimi 评委用的,是我在一次 hackathon 上赢来的额度。总算派上了正经用场。

结果(主评委 GPT 的打分;B 组取自查之后的版本):

                              论文的做法     我的会诊模式
标准答案要点覆盖                 67 %          68 %
其中的关键要点                   64 %          62 %
标准答案之外的危险错误(每份)     0.49          0.93     (p = 0.007)
至少含一处危险错误的方案          47 %          61 %

统计口径:每个病例先取 3 次的平均,再在 30 个病例上做配对比较。p 值用符号置换检验,95% 区间用按病例重抽样的 bootstrap。所以 p = 0.007 比较的是 30 对病例,而不是把同一病例的 3 次当成 90 个独立样本。

按主评委的判定,我的会诊模式产生的潜在危险错误更多。

评委标出来的多余错误主要是剂量:快速顺序诱导里给罗库溴铵 0.6 mg/kg(这种情况下的常用剂量是 1.0–1.2 mg/kg),肥胖患者按实际体重给药,透析患者用舒更葡糖。我加过一条规则,要求「每个药都给出针对这位患者的剂量」,本意是让方案更实用,结果是让它更容易出错。写完再自查那一步,没有带来可测量的改善。

还有一个病例更吓人:患者 8 月刚因急性冠脉综合征放了支架,正在双联抗血小板治疗。模型不知道今天是几号,建议「术前 5 天停氯吡格雷,照常手术」。按指南,这种情况应该推迟择期手术。修法很朴素:把今天的日期传给模型,距今几个月用代码算,再加一条硬规则。修完以后,这个病例三次都给出了「推迟」。

这个测试还顺带碰到了一个和论文有关的问题。两个 AI 评委按事先写好的核对清单打分,一致性 κ 是 0.65;换成论文的安全性判定(某个领域在 0–4 分量表上是否 ≤ 2),κ 只有 0.30。这不能用来说明人类专家的评分不可靠,但它说明,这个判定标准本身值得进一步检验。

病例、标准答案和错误判定都还没有医生审过,所以这些结果只能看方向。第一轮测试的 Gemini 费用大约 15 到 20 美元。

我的方案并没有比论文好。区别只在于,这轮测试暴露了具体的失败点:剂量和日期。

会诊模式的测试结果。主评委 GPT 的打分,每个病例先取 3 次的平均再配对比较;病例和标准答案还没有医生审过。

那封信

ACCPM 期刊规定,对已发表文章的回应信,要在文章上线后 4 个月内提交。这篇论文 2 月 5 日上线,窗口早就关了。所以我直接写给通讯作者 Jarrassier 医生,请她考虑发更正,并提供数据。

信里没有「造假」「学术不端」这样的词,不是因为客气。

我要先说清楚:查完 24 篇论文,我没有发现任何数据造假的迹象。我看到的是另一种东西:正文和表格不一致,摘要和结果说的不是一回事,引文和原文对不上,分母可能悄悄变小。为什么会这样,我只能猜:可能是赶工,可能是复制粘贴,也可能是核对流程没有覆盖到表格。这些都只是可能的解释。

「没有造假」听起来像在替他们辩护,其实这是一个很低的标准。大部分读者不会逐表重算,只读摘要。摘要里写着「七个领域」,那在读者心里就是七个领域。

信的正文是这样的(译文,略去称呼和署名):

我是一名大语言模型研究者,正在帮一位麻醉科住院医朋友做学习工具,因此读到了您的文章(Anaesth Crit Care Pain Med 2026;45:101769)。

在根据表格和补充材料重算文中数字时,我发现有几处对不上。举几个例子:

  • Dougall 的加权 κ 在 3.3 节是 0.666,在表 2 是 0.719。
  • 摘要说 ChatGPT 在 12 个领域中的 7 个中位数最高,但表 3 里它的中位数在全部 12 个领域都与 Dougall 相同。
  • 表 4 的区间与 R 的 prop.test 吻合,但 36 个格子里有 24 个只有在分母小于 100 时才能复现。例如 Dougall 剂量一项的 0.0% [0.0–7.3],对应的是 62 个被评分的回答中 0 个。
  • 提示词(S3)说附上了慢性治疗、冠心病患者和胃超声的指南,但它们不在 S4 的清单里;文中引用来展示严重错误的补充材料 S5,也不在我能找到的补充文件里(mmc1.docx,含 S1–S4)。

附件 PDF 列出了全部问题及页码、章节,一张 12 处数字对不上的汇总表,以及高亮了相关段落的原文页面。

您是否考虑就这些数字发布更正?如果能提供数据共享声明中提到的病例和统计代码,并附上参考方案和逐条评分,以便复现分析,我将十分感激。

附件里每一条都标了页码和章节,后面是 11 页证据:9 页论文原页面,2 页补充材料,只加了高亮。核对的那一轮把论文页面和原文逐像素比对过,确认除了高亮没有任何改动。

随信附上的 14 页 PDF。方括号里是论文的页码和章节,「Ex. A」这样的标签指向后面高亮过的原文页面。

10 月 14 日凌晨一点,我按下了发送。

寄出的邮件。发件人、收件人、署名和附件名已遮盖。

接下来,我的计划是等一段时间。三周后如果还没有回音,再发一封简短的跟进。

这些 token 值不值

一定会有人说,这是在浪费 token。

把账摊开:三十来美元的月费,约 2,400 美元的 API 等价额度,换来 24 篇论文逐表重算、一批候选问题、一份能逐条核对的证据包,和一封措辞克制的信。

同行评审是免费劳动。审稿人多半是在下班以后读稿,很少有人会去倒推一个置信区间背后的分母。这不是哪个审稿人的错,是这件事以前太花时间了。

有了 AI,重算一张表比以前便宜多了。但这次的经历也说明,便宜的只是重算:判断哪些问题真的成立,仍然花了我三天。

这篇论文已经在被引用了。我写这段的时候,Semantic Scholar 上能查到 3 篇引用(各个数据库的数字不一样,Crossref 上还是 0):一篇是作者团队自己写给《Anesthesia & Analgesia》的信,一篇是关于多智能体临床决策的论文,还有一篇来自另一个团队,研究用大语言模型给心脏病人做非心脏手术的术前评估(BMC Anesthesiology,2026 年 6 月)。

最后这篇在讨论部分写道,他们的结果与 Jarrassier 等人的发现一致:没有一个模型能可靠地处理复杂或高风险的病人,「尽管 ChatGPT 的指南依从性更好」(despite ChatGPT's superior guideline adherence)。

「ChatGPT 的指南依从性更好」,来自摘要里「ChatGPT 的指南符合度最高」那句话。可论文从来没有算过一个总的符合度,表 3 里它和 Dougall 的中位数也一模一样。这句话已经写进了另一篇论文,而很少有人会回头去数表 4 的分母。

在我的其他项目里,数据不可信,最坏的结果是一个仪表盘骗了我。在医学里,数据最后会落到一个躺在手术台上的人身上。

还有一层讽刺:这篇论文想回答的问题是「AI 给出的东西能不能信」。回答这个问题用的数字本身经不起重算,而把这一点找出来的,恰好是 AI。

让纠错变得便宜

过去,要挑出一篇论文的错,得有人愿意花几天时间,对着表格一格一格地算。所以很多错误,没有人去找。

AI 改变的是其中一半。我希望大语言模型能成为科学的一道纠错层:不是取代同行评审,而是让更多论文在发表前后被逐表算一遍、逐条核一遍引文,让草率和夸大更容易被发现。另一半,也就是判断哪些问题成立、该怎么说,仍然得由人来做。

AI 让「重算」变得便宜,但没有让「判断」变得便宜。

科学的进步不靠不犯错,靠的是错误能被发现、被改正。纠错越便宜,后来的人站的地基就越牢。

我能做的,是把每一个数字算清楚,标上页码,礼貌地寄过去,然后等。

这只是开始。接下来:

  • 我会继续完善 UNESS,比如把药物剂量交给代码里的剂量表检查,不再让模型自由发挥;
  • 我想自己做一点研究,认真回答这篇论文没有回答好的问题:大语言模型到底能不能帮上麻醉医生和医学生;
  • 以及,等 Jarrassier 医生的回信。

文中涉及的论文:Jarrassier A, Belot de Saint-Léger F, de Rocquigny G, et al. Can AI generate safe anaesthesia plans? A comparative evaluation of three large language models on 100 synthetic cases. Anaesth Crit Care Pain Med 2026;45:101769. doi:10.1016/j.accpm.2026.101769。文中所有对不上的数字,都可以从论文的表格和补充材料(mmc1.docx)复算;表 4 的分母反推依赖文中说明的算法假设。