跳至内容

AI 讲明白 · 系列细讲 3 / 3

AI 提效账本

用了 AI 到底快了没有,体感是最不可靠的证据。这篇讲怎么用 Claude Code 自带的 /usage、/insights、OpenTelemetry 和 hook,加上一组固定任务,给自己的 AI 用法记一本能复查的账。每个工具都在本机跑过。

官方Claude Code 官方文档 实证研究论文或原始报告 实测本机跑过,Claude Code v2.1.293 推断我的判断

为什么要记账

METR 2025 年的随机对照里,16 名资深开源开发者用了 AI 之后,完成时间实际变长了 19%,可他们做完以后仍然觉得自己快了 20%。实证

2026 年 2 月 METR 改了实验设计,原因也值得记住:30% 到 50% 的开发者说,有些任务他们不想在不用 AI 的条件下做,所以没有提交。也就是说,人会挑适合 AI 的活来做,再拿这些活的体验去概括“AI 让我快了多少”。你自己估算的时候,同样会有这个偏差。实证

这本账要回答的三个问题
  • 同一类任务,换了模型、改了规则、加了 skill 之后,是变好了还是变差了?
  • 我的注意力花在哪了:一直在盯、在纠正,还是能走开?
  • AI 做出来的东西,有多少一次就通过验收,有多少要返工?

先定账目:量什么,不量什么

总篇里那个式子:ROI ≈ 产出价值 ÷(你的注意力 + 返工 + token)。把每一项换成能拿到的数字。

想知道
能量的数字
从哪拿
分母我花了多少注意力
交互式会话里 user 类型的活跃时间(敲字、看回复)
OpenTelemetry
分母我介入了几次
每个任务第一句之后,你又开口的次数
hook 记账,或 OTel 的 user_prompt 事件
分母返工了多少
验收没过、重做、回滚的任务数
你的验收检查 + 任务卡
分母花了多少钱
token、按标价折算的花费
/usage、OTel
分子做成了什么
一次通过验收的任务数
固定任务集、任务卡
分子多做了什么
以前不会去做、这次做了的事
任务卡上勾一下
别拿来当主指标的

改动行数、提交数、PR 数。官方的 OpenTelemetry 确实提供这几个计数,但它们奖励的是“多”,不是“对”。METR 在论文里也提醒过:AI 可能让代码更啰嗦但功能一样,也可能把一个任务拆成好几个小任务,总工作量并没变,数字却好看了。实证

四件官方工具,从零配置到要搭环境

从左到右,配置越来越多,数据也越来越细。先用前两件看个大概,确定要长期跟踪了再上后两件。

  1. 1 · 看一眼/usage

    当前会话的花费、时长、改动行数,订阅用户还有用量条和活动统计。

    零配置
  2. 2 · 找毛病/insights

    分析最近的会话,生成报告:你在做什么、哪里出了岔子、建议试什么功能。

    零配置 · 消耗额度
  3. 3 · 长期指标OpenTelemetry

    会话、token、花费、活跃时间、编辑接受和拒绝,持续导出。

    几个环境变量
  4. 4 · 自定义hook 记账

    你想记什么就记什么,比如每个任务开口几次。

    一个脚本
1

/usage(别名 /cost、/stats)

官方

顶部的 Session 区显示当前会话的 token 用量、按标价折算的花费、API 耗时和实际耗时、增删了多少行。订阅用户(Pro、Max、Team、Enterprise)看到的花费只是折算,不是账单;对他们更有用的是同一屏的用量条、活动统计和用量构成。

官方文档里的示例
Total cost:            $0.55
Total duration (API):  6m 20s
Total duration (wall): 6h 33m 10s
Total code changes:    0 lines added, 0 lines removed

注意两个时长的差:API 时长是 AI 真正在算的时间,实际时长包含你离开、你在想、你在别处忙。v2.1.211 起,/clear 之后这些数字从零开始。

2

/insights

官方

它回答的是“你怎么用”,而不是“你用了多少”。它会分析这台电脑上最近的会话,生成一份 HTML 报告:你在哪些项目里干活、怎么用 Claude Code、哪里出了岔子(官方举的例子是请求被误解、代码有 bug),以及建议你试试的功能。

  • 一次最多分析 200 个之前没分析过的会话,太短的会话会跳过。
  • 报告写在 ~/.claude/usage-data/report.html,每次另存一份带时间戳的副本;和其他会话数据一样,默认 30 天后清理。
  • 分析本身走你的账号,消耗你的额度。只分析这台电脑上的会话,不含其他设备和 claude.ai 上的对话。

建议每两三周跑一次,只看“哪里出了岔子”那一节,挑出现最多的一类,按经验该沉淀到哪找它的位置。推断

3

OpenTelemetry 指标和事件

官方实测

设几个环境变量,Claude Code 就会持续导出指标和事件。想先在本机看看效果,用 console 导出器直接打印到终端;要长期跟踪,再导到你自己的 OTLP 收集器或 Prometheus。

先在本机看看:打印到终端
export CLAUDE_CODE_ENABLE_TELEMETRY=1
export OTEL_METRICS_EXPORTER=console      # 长期跟踪改成 otlp 或 prometheus
export OTEL_LOGS_EXPORTER=console         # 事件(提示、工具决策、API 请求)
export OTEL_METRIC_EXPORT_INTERVAL=10000  # 调试时缩短到 10 秒,默认 60 秒
claude
指标能回答的问题拆分维度
claude_code.active_time.total我真正花了多少注意力?AI 干了多久?type:user 是敲字和看回复,cli 是工具执行和生成回复;空闲时间不算
claude_code.code_edit_tool.decision它提的修改,我拒绝了多少?decision 接受或拒绝,source 是谁做的决定,language
claude_code.cost.usage钱花在主会话、子代理还是后台?用的什么推理强度?model、query_source、effort、skill.name
claude_code.token.usage缓存命中得怎么样?type:input、output、cacheRead、cacheCreation
claude_code.session.count开了多少会话?新开还是续接?start_type
lines_of_code、commit、pull_request产出的量(只作参考)见上面“别拿来当主指标的”

事件比指标更细。claude_code.user_prompt 每提交一次提示记一条,数一个会话里有几条,就是你开口了几次;claude_code.tool_decision 记录每次工具调用是被配置放行、被 hook 决定,还是由你手动点了同意或拒绝。

本机实测:一次 claude -p 运行导出的活跃时间(身份字段已替换)
name: "claude_code.active_time.total",
type: "COUNTER", unit: "s",
attributes: {
  "user.id": "<哈希>",
  "session.id": "24ac1823-…",
  "organization.id": "<组织 ID>",
  "user.email": "<你的邮箱>",
  "user.account_uuid": "<账号 UUID>",
  "terminal.type": "non-interactive",
  type: "cli",
},
value: 2.887
实测里看到的两件事
  • 每条数据都带着你的身份:邮箱、账号 ID、组织 ID 默认都在属性里。提示词内容默认是脱敏的(显示 <REDACTED>,只记长度),设了 OTEL_LOG_USER_PROMPTS=1 才会带原文。导到别人的服务器之前想清楚,自己用就收在本机。实测
  • -p 模式下只有 cli 类型的活跃时间:没人在敲键盘,自然没有 user。要量你自己的注意力,得看交互式会话的数据。实测
4

用 hook 给自己记账

官方实测

OpenTelemetry 要有地方收数据。如果只想知道“每个任务我开口了几次、花了多久”,一个 hook 加一个文本文件就够了。原理:UserPromptSubmit 在你每次提交提示时触发,Stop 在 Claude 每次答完时触发,SessionEnd 在会话结束时触发;hook 从标准输入拿到 session_id、cwd、提示词等字段。

~/.claude/hooks/ledger.py
#!/usr/bin/env python3
# 记账 hook:提交提示词、Claude 停下、会话结束时各记一行。不记提示词内容,只记长度
import json, os, sys, time

d = json.load(sys.stdin)
ev = d.get("hook_event_name", "")
n = str(len(d.get("prompt", ""))) if ev == "UserPromptSubmit" else ""
row = [time.strftime("%Y-%m-%dT%H:%M:%S"), ev, d.get("session_id", ""),
       os.path.basename(d.get("cwd", "")), n]
with open(os.environ.get("AI_LEDGER", os.path.expanduser("~/.claude/ai-ledger.tsv")), "a") as f:
    f.write("\t".join(row) + "\n")
~/.claude/settings.json(合并进已有的 hooks,所有项目都生效)
{
  "hooks": {
    "UserPromptSubmit": [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }],
    "Stop":             [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }],
    "SessionEnd":       [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }]
  }
}
~/.claude/hooks/ledger-report.py
#!/usr/bin/env python3
# 读账本,按会话汇总:你开口几次、Claude 停下几次、从第一句到最后一次停下隔了多久
import csv, os, statistics, sys
from collections import defaultdict
from datetime import datetime

path = sys.argv[1] if len(sys.argv) > 1 else os.path.expanduser("~/.claude/ai-ledger.tsv")
S = defaultdict(lambda: {"proj": "", "prompts": 0, "stops": 0, "t": []})
for ts, ev, sid, proj, _ in csv.reader(open(path, encoding="utf-8"), delimiter="\t"):
    s = S[sid]
    s["proj"] = proj
    s["t"].append(datetime.fromisoformat(ts))
    s["prompts"] += ev == "UserPromptSubmit"
    s["stops"] += ev == "Stop"

rows = sorted((min(s["t"]), s["proj"], s["prompts"], s["stops"],
               (max(s["t"]) - min(s["t"])).total_seconds() / 60) for s in S.values())
print(f"{'开始':<16}  {'项目':<16}  开口  停下  跨度/分")
for t, proj, p, st, span in rows:
    print(f"{t:%m-%d %H:%M}       {proj[:16]:<16}  {p:>4}  {st:>4}  {span:>7.1f}")
ps = [r[2] for r in rows]
if ps:
    print(f"\n{len(ps)} 个会话;每个会话开口次数中位数 {statistics.median(ps):g};"
          f"开口 3 次及以上的会话 {sum(p >= 3 for p in ps)} 个")
本机实测:两个真实的 claude -p 会话写进账本的内容
2026-10-08T16:08:34  UserPromptSubmit  aee7555c-…  e6c60f48-ledger  47
2026-10-08T16:08:40  Stop              aee7555c-…  e6c60f48-ledger
2026-10-08T16:08:40  SessionEnd        aee7555c-…  e6c60f48-ledger
2026-10-08T16:08:44  UserPromptSubmit  555b7120-…  e6c60f48-ledger  51
2026-10-08T16:08:47  Stop              555b7120-…  e6c60f48-ledger
2026-10-08T16:08:47  SessionEnd        555b7120-…  e6c60f48-ledger
  • 停下次数比开口次数多,说明有 Stop hook 或 /goal 让它接着干了,这是好事,说明闭环在自己转。
  • 开口 3 次及以上的会话多,就去翻那几个会话:是需求没说清,还是它反复走错?前者改你的开头,后者去沉淀一条规则。推断
  • hook 对所有会话生效,包括你在终端里随手问的问题。要看某个项目,按“项目”一列筛。

固定任务集:改配置前后各跑一遍

上面四件工具量的是日常,混着各种难度不同的任务,前后很难直接比较。要回答“这次改动到底有没有用”,需要一组固定的任务。

  1. 从真实工作里挑 5 到 10 个任务,覆盖你常做的几类。不要只挑 AI 擅长的,METR 那个挑任务的偏差就是这么来的。
  2. 每个任务配一个外部验收:一组 AI 看不到的测试、一个比对输出的脚本,或者一份截图标准。验收要在 AI 的工作目录之外,避免它照着验收去凑答案。
  3. 提示词写死,存成文件,每次原样使用。
  4. 用非交互模式跑,拿到结构化的结果:
跑一个任务,输出 JSON
claude -p "$(cat tasks/03-parse-duration.txt)" \
  --output-format json --no-session-persistence \
  --permission-mode dontAsk --allowedTools Read Edit Write "Bash(node *)" \
  > results/03.json
# JSON 里有 total_cost_usd(官方文档写明),实测还有 num_turns、duration_ms、permission_denials
  1. 每个任务至少跑 3 次。同一个任务、同一套配置,结果也会不一样,跑一次的结论不可靠。
  2. 只比“验收通过率”和“花了多少轮、多少钱”。换模型、改 CLAUDE.md、加 skill、加 hook 之前跑一遍,之后再跑一遍。
一个现成的例子

《验证闭环四档》里的实验就是按这个方法做的:一个任务、46 个放在项目外的验收用例、四种配置各跑 3 次,比较通过率、轮数、耗时和花费。结果是只有用 Stop hook 跑外部验收的那一档 3 次全过,代价是平均多 5 轮、多花约 $0.004。前后跑了三轮,前两轮的权限设置把其中一档卡住了。这也是固定任务集的价值:配置一变,结果跟着变,你能看得出来。看完整数据

每周 15 分钟的对账

有了数据,还得有个固定的时间看它。下面是我建议的格式。推断

看数字

  • 这周验收一次通过的任务几个,返工几个
  • 开口 3 次以上的会话有几个
  • 交互式会话里 user 活跃时间占总时长多少

找原因

  • 返工的那几个,是没给检查,还是检查本身不够
  • 反复开口的那几个,是开头没说清,还是同一类错误又出现了
  • /insights 里出现最多的岔子是哪一类

改一处

  • 只改一处:一条规则、一个 hook、一个 skill
  • 下周用固定任务集验证它有没有用
  • 没用就删掉,别让配置越堆越多

账上记不到的两样

以前不会去做的事。Anthropic 内部调查里,27% 的 AI 辅助工作是“没有 AI 就不会去做”的,比如铺开规模的项目、手工做不划算的数据看板。这部分价值不会出现在“快了多少”的数字里,只能在任务卡上自己勾。自报

你自己的手艺。同一份调查里,工程师提到“监督悖论”:监督 Claude 需要的编码能力,恰恰可能因为交给它太多而退化。还有人说:When producing output is so easy and fast, it gets harder and harder to actually take the time to learn something. 账本上的效率越来越高,你审得出它哪里错的能力却在下降,这种情况数字不会提醒你。我的做法建议是:列一张“刻意自己动手”的清单,每周对一下,有没有哪件已经很久没亲手做过了。自报 推断

记账常见的坑

  • 拿行数、提交数当成绩:数字会被优化,代码却不会因此变好。
  • 只量自己挑的任务:METR 的教训。固定任务集里要放几个你觉得 AI 不擅长的。
  • 跑一次就下结论:同样的配置,结果也会波动,至少跑 3 次再比较。
  • 拿不同的任务比前后:这周的任务比上周简单,数字自然好看。前后对比只用固定任务集。
  • 把遥测导到不该去的地方:属性里有邮箱和账号 ID,开了 OTEL_LOG_USER_PROMPTS 还有提示词原文。工作项目尤其要注意。
  • 记了不看:没有每周固定的对账,账本只是又一个越来越大的文件。

来源

  • 官方 Monitoring(OpenTelemetry 指标和事件)
    https://code.claude.com/docs/en/monitoring-usage
  • 官方 Manage costs effectively(/usage、/insights)
    https://code.claude.com/docs/en/costs
  • 官方 Hooks reference(UserPromptSubmit、Stop、SessionEnd 的输入字段)
    https://code.claude.com/docs/en/hooks
  • 官方 Run Claude Code programmatically(-p 与 JSON 输出)
    https://code.claude.com/docs/en/headless
  • 实证 METR,Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
    https://arxiv.org/abs/2507.09089
  • 实证 METR,We are Changing our Developer Productivity Experiment Design(2026-02-24)
    https://metr.org/blog/2026-02-24-uplift-update/
  • 自报 Anthropic,How AI is transforming work at Anthropic(2025-12)
    https://www.anthropic.com/research/how-ai-is-transforming-work-at-anthropic

整理于 2026 年 10 月 8 日。文中的命令和输出都在 Claude Code v2.1.293、macOS 上跑过;实测用的是独立的临时目录和 Haiku 模型。