跳至内容

AI 讲明白 · 2026 年 10 月

同样用 AI,差距在哪

两个人拿到同一件事,都只能用 Claude Code、Opus 5.5、high 推理强度。模型这一侧已经锁死,产出的差距只能来自模型之外:哪些交给它、交给它什么样的问题、怎么判断它做对了、做完留下了什么。研究里,这种差距能大到方向相反:同样用 AI,有人质量高出 40% 以上,有人比不用还差。

官方Anthropic 官方文档 实证随机对照或大样本研究 自报研究里当事人自己报的数 推断我的推断,没有实证

一件任务的五个环节

中间那格两个人完全相同。其余四格都由人决定,后面六个杠杆也按这个顺序排。

  1. 边界哪些交给它,哪些自己留
  2. 定义交给它什么问题,做完是什么样
  3. 执行 · 锁定 Claude Code
    Opus 5.5 · high
    两人相同。上下文怎么喂、开几条线,仍由人定
  4. 验证怎么知道它做对了
  5. 沉淀做完给下次留下什么

↺沉淀下来的东西,会回到下一次的边界判断和问题定义里。用得越久,两个人差得越远。

研究怎么说

下面的数字都读过论文或原文核对过。研究用的模型大多比 Opus 5.5 旧,所以看的是人怎么用,不是某个模型有多强。

用对地方和用错地方,结果方向相反

实证

BCG 和哈佛商学院等做了一项预注册的随机对照:758 名咨询顾问(约占该公司同级顾问的 7%),随机分成不用 AI、用 GPT-4、用 GPT-4 并听过提示词培训三组。

边界之内 · 18 项咨询任务 ↑ 更好 40%+

质量高于对照组。另外多完成 12.2% 的任务,快 25.1%。

边界之外 · 1 项特意挑的任务 ↓ 更差 −19个百分点

用 AI 的人做对的概率,比不用 AI 的人低 19 个百分点。

含义论文把这叫作“参差的技术边界”:难度看起来差不多的两件事,一件 AI 轻松做好,另一件它做不了。同一个工具用在边界外,比不用还差,所以判断边界本身就是一种能力。

体感不可靠

实证

METR 2025 年做了一项随机对照:16 名资深开源开发者在自己平均维护了 5 年的项目里做 246 个任务,每个任务随机决定能不能用 AI。

完成时间的变化(负数是更快)
开发者自己的估计 实测 实测的置信区间
2025 · 16 人 · 246 个任务
事前预期
−24%
做完后自评
−20%
实测
+19%
2026 年 2 月更新 · 57 人 · 800 多个任务
老成员实测
−18%
新成员实测
−4%
← 更快更慢 →
看数据表
项目完成时间变化置信区间
2025 事前预期−24%—
2025 做完后自评−20%—
2025 实测+19%+2% 到 +39%
2026 老成员实测(10 人)−18%−38% 到 +9%
2026 新成员实测−4%−15% 到 +9%

2025 年那轮,开发者做完后仍然以为自己快了 20%,实测却慢了 19%。2026 年的更新里点估计转成了提速,但两个置信区间都跨过 0,METR 自己说这只是“很弱的证据”。他们还发现,30% 到 50% 的开发者不肯把某些任务拿去“不用 AI”的条件下做,也有人同时开好几个 agent。

含义感觉快不等于真快,一种用法值不值得,要量出来才知道。工具在变强,差距越来越落在两件事上:挑哪些活给 AI,以及怎么并行。

AI 抬高的主要是下限

实证
+14%

客服 5179 人(NBER 2023):每小时解决的问题数平均提高 14%。

+34%

其中新手和低技能的提高 34%,资深和高技能的“影响很小”。

+43%

BCG 那项:原本低于平均的顾问,比自己的基线提升 43%。

+17%

原本高于平均的顾问提升 17%。

含义大家用同一个模型,基础产出会越来越像。要拉开差距,只能靠模型给不了的东西:选什么问题、怎么验收、领域里的判断力。

更有价值的部分,来自以前不值得做的事

自报

Anthropic 2025 年 12 月发布的内部研究:调查了 132 名工程师和研究员,深访 53 人,并结合 Claude Code 的使用数据。

27%

的 AI 辅助工作是没有 AI 就不会去做的,比如铺开规模的项目、手工做不划算的数据看板。

0–20%

大多数人说,能完全放手交给 Claude 的工作只占这么多。交出去的是容易判断对错的,高层设计自己留着。

+50%

自报的平均提效,一年前约为 +20%。

ROI 的分子和分母

推断

用同一个订阅时,token 是分母里最便宜的一项,最贵的是你的注意力。每盯一分钟、每纠正一次,都记在分母上。所以拉开差距靠两件事:自己少盯、少返工,同时把分子做大。

做大分子

  • 选对问题,写清验收标准(定义)
  • 去做以前不值得做的事。Anthropic 内部有 27% 的 AI 辅助工作属于这一类

压低分母

  • 有它能自己跑的检查,人就能走开(验证)
  • 管好上下文,少返工(执行)
  • 攒下来的规则和流程,让下一次更省事(沉淀)

六个能直接用的杠杆

按五个环节的顺序排,左边一栏是对应的环节。

边界

弄清 AI 的能力边界在哪

实证自报推断

BCG 的结果说明,在边界外用 AI 会让结果变差。Anthropic 工程师判断交不交出去,用的标准很实用:验证比自己做省事得多、对错容易看出来、做砸了代价低,就交出去;难验证、要判断力的,自己留着。

一位工程师说:The more excited I am to do the task, the more likely I am to not use Claude. 越想亲手做的事,越不会交给 Claude。

怎么做
  • 把 AI 做砸的情况记下来,慢慢攒成自己的“边界地图”。
  • 模型升级后边界会移动,隔一段时间重测一次。
定义

先写清楚做完是什么样,再开工

官方

官方原话:Time spent making the spec precise pays off more than time spent watching the implementation. 花在把需求写准上的时间,比花在盯着它实现上的时间更值。

好的需求说明不用别人补充就能读懂:写明涉及哪些文件和接口、哪些不做,最后用一步端到端验证证明功能可用。

怎么做
  • 需求较大时,让 Claude 用 AskUserQuestion 一问一答地访谈你,写成 SPEC.md,再开一个新会话去执行。
  • 改动一句话就说得清的,跳过计划直接做。
执行

把上下文当成最稀缺的资源

官方

官方说,大部分最佳实践都出自同一个约束:上下文窗口很快会满,越满表现越差。

怎么做
  • 不相关的任务之间用 /clear 清空。
  • 调查类的活派给子代理,主会话只收结论。
  • 同一个问题纠正两次还不对,就清空重来,把学到的东西写进新会话的第一句。

官方原话:A clean session with a better prompt almost always outperforms a long session with accumulated corrections.

执行

可以并行,但每条线都要有自己的验证

官方推断

官方推荐用 worktree 或后台会话并行,以及一个会话写、另一个会话审:新上下文不会偏袒刚写出来的代码。审查时只让它报影响正确性和需求的问题,否则会越改越复杂。

并行能带来多少收益,取决于你审得过来多少。没有自动验证的并行,只是把排队的地方从 AI 挪到了你自己身上。推断

验证

给它一个能自己跑的检查

官方

官方把这一条放在最前面:It's the difference between a session you watch and one you walk away from.

有没有能自己跑的检查(测试、构建、截图对比),决定了你得一直盯着,还是可以走开。没有检查,它只能凭“看起来做完了”停下,你就成了那道验证。METR 的结果也说明,没有客观检查时,人对效果的判断同样会失真。

由轻到重四档
  • 写进提示词:让它跑测试,不过就接着改。
  • /goal 设一个完成条件,每轮之后另有评估者检查。
  • Stop hook 跑脚本,不通过就不让这一轮结束。
  • 独立的验证子代理,换一个干净的上下文来挑错。

另外,让它拿出证据:跑了什么命令、输出是什么、截图长什么样,而不是只说一句“成功了”。

细讲:验证闭环四档,每档怎么配,附同一任务四档各跑 3 次的实测。

沉淀

每次工作都给下次留点东西

官方推断

官方说 CLAUDE.md 的价值会随时间复利(The file compounds in value over time.),也警告写得太长,重要的规则会被淹没、被忽略。判断标准是:删掉这一行,Claude 会不会犯错?必须每次执行、零例外的,用 hook 来保证,不要只写成文字。

长期来看,这一项拉开的差距最大。A 每次都从零开始;B 做第 100 个任务时,用的是前 99 次纠正攒下来的东西。推断

细讲:经验该沉淀到哪,一条教训该进 CLAUDE.md、规则、skill、hook 还是自动记忆。

反过来的风险:判断力会被用退化

自报推断

Anthropic 的工程师提到一个“监督悖论”:监督 Claude 需要编码能力,而这种能力恰恰可能因为交给 AI 太多而退化。还有人说:When producing output is so easy and fast, it gets harder and harder to actually take the time to learn something. 产出来得太容易,就越来越难停下来真正学点东西。

大家用的是同一个模型,长期能拉开差距的只剩人的判断力。想保持敏锐的那部分,刻意自己做;审 AI 的产出时认真读,别扫一眼就过。

已经在沉淀的人,下一步看什么

规则要定期修剪 官方

拿“删掉这一行会不会犯错”过一遍。模型不写也不会犯错的,删掉;必须零例外执行的,改成 hook。

逐次确认是拿速度换控制 推断

每次提交、每个高风险动作都要人点头,这个取舍是合理的;代价是后台和并行的会话会停在这些地方等你。想要更多并行,可以把把关前移到确定性的检查上(测试、hook),人审结果的证据,而不是每一步都审。

量一量自己的漏斗 推断

记下每个任务从开始到验收通过用了多久、纠正了几次、有没有返工。METR 的教训就是体感不准,量出来才知道哪种做法真的值。具体怎么记,见AI 提效账本。

拿到同一个任务,照着走

开工前
  • 写下验收标准和哪些不做
  • 判断哪部分在 AI 的能力边界内
  • 准备好它能自己跑的检查
进行中
  • 涉及多个文件,先摸清代码、再定计划、再动手
  • 调查派给子代理
  • 纠正两次还不对,清空重来
收尾
  • 要证据,不要一句“做完了”
  • 换一个新上下文独立审一遍
  • 留下一条下次用得上的东西

更系统的落地做法,见本站的 Agent 上岗手册 和 Claude Code 速查手册。

来源

  • 官方 Best practices for Claude Code,Anthropic 官方文档。读了原文。
    https://code.claude.com/docs/en/best-practices
  • 实证 Dell'Acqua 等,Navigating the Jagged Technological Frontier,哈佛商学院工作论文 24-013,2023。读了摘要原文。
    https://ssrn.com/abstract=4573321
  • 实证 METR,Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity,arXiv:2507.09089。读了摘要原文。
    https://arxiv.org/abs/2507.09089
  • 实证 METR,We are Changing our Developer Productivity Experiment Design,2026 年 2 月 24 日。读了原文。
    https://metr.org/blog/2026-02-24-uplift-update/
  • 实证 Brynjolfsson、Li、Raymond,Generative AI at Work,NBER 工作论文 w31161,2023。读了摘要原文;2025 年发表在 QJE 的期刊版把平均值改成了 15%,期刊版没读。
    https://www.nber.org/papers/w31161
  • 自报 Anthropic,How AI is transforming work at Anthropic,2025 年 12 月。读了原文,数据是员工自报。
    https://www.anthropic.com/research/how-ai-is-transforming-work-at-anthropic

整理于 2026 年 10 月 7 日。标了“推断”的内容是我的判断,没有研究直接支持。