AI 讲明白 · 系列细讲 3 / 3
AI 提效账本
用了 AI 到底快了没有,体感是最不可靠的证据。这篇讲怎么用 Claude Code 自带的 /usage、/insights、OpenTelemetry 和 hook,加上一组固定任务,给自己的 AI 用法记一本能复查的账。每个工具都在本机跑过。
为什么要记账
METR 2025 年的随机对照里,16 名资深开源开发者用了 AI 之后,完成时间实际变长了 19%,可他们做完以后仍然觉得自己快了 20%。实证
2026 年 2 月 METR 改了实验设计,原因也值得记住:30% 到 50% 的开发者说,有些任务他们不想在不用 AI 的条件下做,所以没有提交。也就是说,人会挑适合 AI 的活来做,再拿这些活的体验去概括“AI 让我快了多少”。你自己估算的时候,同样会有这个偏差。实证
- 同一类任务,换了模型、改了规则、加了 skill 之后,是变好了还是变差了?
- 我的注意力花在哪了:一直在盯、在纠正,还是能走开?
- AI 做出来的东西,有多少一次就通过验收,有多少要返工?
先定账目:量什么,不量什么
总篇里那个式子:ROI ≈ 产出价值 ÷(你的注意力 + 返工 + token)。把每一项换成能拿到的数字。
user 类型的活跃时间(敲字、看回复)user_prompt 事件/usage、OTel改动行数、提交数、PR 数。官方的 OpenTelemetry 确实提供这几个计数,但它们奖励的是“多”,不是“对”。METR 在论文里也提醒过:AI 可能让代码更啰嗦但功能一样,也可能把一个任务拆成好几个小任务,总工作量并没变,数字却好看了。实证
四件官方工具,从零配置到要搭环境
从左到右,配置越来越多,数据也越来越细。先用前两件看个大概,确定要长期跟踪了再上后两件。
- 1 · 看一眼
/usage当前会话的花费、时长、改动行数,订阅用户还有用量条和活动统计。
零配置 - 2 · 找毛病
/insights分析最近的会话,生成报告:你在做什么、哪里出了岔子、建议试什么功能。
零配置 · 消耗额度 - 3 · 长期指标OpenTelemetry
会话、token、花费、活跃时间、编辑接受和拒绝,持续导出。
几个环境变量 - 4 · 自定义hook 记账
你想记什么就记什么,比如每个任务开口几次。
一个脚本
/usage(别名 /cost、/stats)
官方顶部的 Session 区显示当前会话的 token 用量、按标价折算的花费、API 耗时和实际耗时、增删了多少行。订阅用户(Pro、Max、Team、Enterprise)看到的花费只是折算,不是账单;对他们更有用的是同一屏的用量条、活动统计和用量构成。
Total cost: $0.55
Total duration (API): 6m 20s
Total duration (wall): 6h 33m 10s
Total code changes: 0 lines added, 0 lines removed
注意两个时长的差:API 时长是 AI 真正在算的时间,实际时长包含你离开、你在想、你在别处忙。v2.1.211 起,/clear 之后这些数字从零开始。
/insights
官方它回答的是“你怎么用”,而不是“你用了多少”。它会分析这台电脑上最近的会话,生成一份 HTML 报告:你在哪些项目里干活、怎么用 Claude Code、哪里出了岔子(官方举的例子是请求被误解、代码有 bug),以及建议你试试的功能。
- 一次最多分析 200 个之前没分析过的会话,太短的会话会跳过。
- 报告写在
~/.claude/usage-data/report.html,每次另存一份带时间戳的副本;和其他会话数据一样,默认 30 天后清理。 - 分析本身走你的账号,消耗你的额度。只分析这台电脑上的会话,不含其他设备和 claude.ai 上的对话。
建议每两三周跑一次,只看“哪里出了岔子”那一节,挑出现最多的一类,按经验该沉淀到哪找它的位置。推断
OpenTelemetry 指标和事件
官方实测设几个环境变量,Claude Code 就会持续导出指标和事件。想先在本机看看效果,用 console 导出器直接打印到终端;要长期跟踪,再导到你自己的 OTLP 收集器或 Prometheus。
export CLAUDE_CODE_ENABLE_TELEMETRY=1
export OTEL_METRICS_EXPORTER=console # 长期跟踪改成 otlp 或 prometheus
export OTEL_LOGS_EXPORTER=console # 事件(提示、工具决策、API 请求)
export OTEL_METRIC_EXPORT_INTERVAL=10000 # 调试时缩短到 10 秒,默认 60 秒
claude
| 指标 | 能回答的问题 | 拆分维度 |
|---|---|---|
claude_code.active_time.total | 我真正花了多少注意力?AI 干了多久? | type:user 是敲字和看回复,cli 是工具执行和生成回复;空闲时间不算 |
claude_code.code_edit_tool.decision | 它提的修改,我拒绝了多少? | decision 接受或拒绝,source 是谁做的决定,language |
claude_code.cost.usage | 钱花在主会话、子代理还是后台?用的什么推理强度? | model、query_source、effort、skill.name |
claude_code.token.usage | 缓存命中得怎么样? | type:input、output、cacheRead、cacheCreation |
claude_code.session.count | 开了多少会话?新开还是续接? | start_type |
lines_of_code、commit、pull_request | 产出的量(只作参考) | 见上面“别拿来当主指标的” |
事件比指标更细。claude_code.user_prompt 每提交一次提示记一条,数一个会话里有几条,就是你开口了几次;claude_code.tool_decision 记录每次工具调用是被配置放行、被 hook 决定,还是由你手动点了同意或拒绝。
name: "claude_code.active_time.total",
type: "COUNTER", unit: "s",
attributes: {
"user.id": "<哈希>",
"session.id": "24ac1823-…",
"organization.id": "<组织 ID>",
"user.email": "<你的邮箱>",
"user.account_uuid": "<账号 UUID>",
"terminal.type": "non-interactive",
type: "cli",
},
value: 2.887
- 每条数据都带着你的身份:邮箱、账号 ID、组织 ID 默认都在属性里。提示词内容默认是脱敏的(显示
<REDACTED>,只记长度),设了OTEL_LOG_USER_PROMPTS=1才会带原文。导到别人的服务器之前想清楚,自己用就收在本机。实测 -p模式下只有cli类型的活跃时间:没人在敲键盘,自然没有user。要量你自己的注意力,得看交互式会话的数据。实测
用 hook 给自己记账
官方实测OpenTelemetry 要有地方收数据。如果只想知道“每个任务我开口了几次、花了多久”,一个 hook 加一个文本文件就够了。原理:UserPromptSubmit 在你每次提交提示时触发,Stop 在 Claude 每次答完时触发,SessionEnd 在会话结束时触发;hook 从标准输入拿到 session_id、cwd、提示词等字段。
#!/usr/bin/env python3
# 记账 hook:提交提示词、Claude 停下、会话结束时各记一行。不记提示词内容,只记长度
import json, os, sys, time
d = json.load(sys.stdin)
ev = d.get("hook_event_name", "")
n = str(len(d.get("prompt", ""))) if ev == "UserPromptSubmit" else ""
row = [time.strftime("%Y-%m-%dT%H:%M:%S"), ev, d.get("session_id", ""),
os.path.basename(d.get("cwd", "")), n]
with open(os.environ.get("AI_LEDGER", os.path.expanduser("~/.claude/ai-ledger.tsv")), "a") as f:
f.write("\t".join(row) + "\n")
{
"hooks": {
"UserPromptSubmit": [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }],
"Stop": [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }],
"SessionEnd": [{ "hooks": [{ "type": "command", "command": "python3 ~/.claude/hooks/ledger.py" }] }]
}
}
#!/usr/bin/env python3
# 读账本,按会话汇总:你开口几次、Claude 停下几次、从第一句到最后一次停下隔了多久
import csv, os, statistics, sys
from collections import defaultdict
from datetime import datetime
path = sys.argv[1] if len(sys.argv) > 1 else os.path.expanduser("~/.claude/ai-ledger.tsv")
S = defaultdict(lambda: {"proj": "", "prompts": 0, "stops": 0, "t": []})
for ts, ev, sid, proj, _ in csv.reader(open(path, encoding="utf-8"), delimiter="\t"):
s = S[sid]
s["proj"] = proj
s["t"].append(datetime.fromisoformat(ts))
s["prompts"] += ev == "UserPromptSubmit"
s["stops"] += ev == "Stop"
rows = sorted((min(s["t"]), s["proj"], s["prompts"], s["stops"],
(max(s["t"]) - min(s["t"])).total_seconds() / 60) for s in S.values())
print(f"{'开始':<16} {'项目':<16} 开口 停下 跨度/分")
for t, proj, p, st, span in rows:
print(f"{t:%m-%d %H:%M} {proj[:16]:<16} {p:>4} {st:>4} {span:>7.1f}")
ps = [r[2] for r in rows]
if ps:
print(f"\n{len(ps)} 个会话;每个会话开口次数中位数 {statistics.median(ps):g};"
f"开口 3 次及以上的会话 {sum(p >= 3 for p in ps)} 个")
2026-10-08T16:08:34 UserPromptSubmit aee7555c-… e6c60f48-ledger 47
2026-10-08T16:08:40 Stop aee7555c-… e6c60f48-ledger
2026-10-08T16:08:40 SessionEnd aee7555c-… e6c60f48-ledger
2026-10-08T16:08:44 UserPromptSubmit 555b7120-… e6c60f48-ledger 51
2026-10-08T16:08:47 Stop 555b7120-… e6c60f48-ledger
2026-10-08T16:08:47 SessionEnd 555b7120-… e6c60f48-ledger
- 停下次数比开口次数多,说明有 Stop hook 或
/goal让它接着干了,这是好事,说明闭环在自己转。 - 开口 3 次及以上的会话多,就去翻那几个会话:是需求没说清,还是它反复走错?前者改你的开头,后者去沉淀一条规则。推断
- hook 对所有会话生效,包括你在终端里随手问的问题。要看某个项目,按“项目”一列筛。
固定任务集:改配置前后各跑一遍
上面四件工具量的是日常,混着各种难度不同的任务,前后很难直接比较。要回答“这次改动到底有没有用”,需要一组固定的任务。
- 从真实工作里挑 5 到 10 个任务,覆盖你常做的几类。不要只挑 AI 擅长的,METR 那个挑任务的偏差就是这么来的。
- 每个任务配一个外部验收:一组 AI 看不到的测试、一个比对输出的脚本,或者一份截图标准。验收要在 AI 的工作目录之外,避免它照着验收去凑答案。
- 提示词写死,存成文件,每次原样使用。
- 用非交互模式跑,拿到结构化的结果:
claude -p "$(cat tasks/03-parse-duration.txt)" \
--output-format json --no-session-persistence \
--permission-mode dontAsk --allowedTools Read Edit Write "Bash(node *)" \
> results/03.json
# JSON 里有 total_cost_usd(官方文档写明),实测还有 num_turns、duration_ms、permission_denials
- 每个任务至少跑 3 次。同一个任务、同一套配置,结果也会不一样,跑一次的结论不可靠。
- 只比“验收通过率”和“花了多少轮、多少钱”。换模型、改 CLAUDE.md、加 skill、加 hook 之前跑一遍,之后再跑一遍。
《验证闭环四档》里的实验就是按这个方法做的:一个任务、46 个放在项目外的验收用例、四种配置各跑 3 次,比较通过率、轮数、耗时和花费。结果是只有用 Stop hook 跑外部验收的那一档 3 次全过,代价是平均多 5 轮、多花约 $0.004。前后跑了三轮,前两轮的权限设置把其中一档卡住了。这也是固定任务集的价值:配置一变,结果跟着变,你能看得出来。看完整数据
每周 15 分钟的对账
有了数据,还得有个固定的时间看它。下面是我建议的格式。推断
看数字
- 这周验收一次通过的任务几个,返工几个
- 开口 3 次以上的会话有几个
- 交互式会话里
user活跃时间占总时长多少
找原因
- 返工的那几个,是没给检查,还是检查本身不够
- 反复开口的那几个,是开头没说清,还是同一类错误又出现了
/insights里出现最多的岔子是哪一类
改一处
- 只改一处:一条规则、一个 hook、一个 skill
- 下周用固定任务集验证它有没有用
- 没用就删掉,别让配置越堆越多
账上记不到的两样
以前不会去做的事。Anthropic 内部调查里,27% 的 AI 辅助工作是“没有 AI 就不会去做”的,比如铺开规模的项目、手工做不划算的数据看板。这部分价值不会出现在“快了多少”的数字里,只能在任务卡上自己勾。自报
你自己的手艺。同一份调查里,工程师提到“监督悖论”:监督 Claude 需要的编码能力,恰恰可能因为交给它太多而退化。还有人说:When producing output is so easy and fast, it gets harder and harder to actually take the time to learn something.
账本上的效率越来越高,你审得出它哪里错的能力却在下降,这种情况数字不会提醒你。我的做法建议是:列一张“刻意自己动手”的清单,每周对一下,有没有哪件已经很久没亲手做过了。自报 推断
记账常见的坑
- 拿行数、提交数当成绩:数字会被优化,代码却不会因此变好。
- 只量自己挑的任务:METR 的教训。固定任务集里要放几个你觉得 AI 不擅长的。
- 跑一次就下结论:同样的配置,结果也会波动,至少跑 3 次再比较。
- 拿不同的任务比前后:这周的任务比上周简单,数字自然好看。前后对比只用固定任务集。
- 把遥测导到不该去的地方:属性里有邮箱和账号 ID,开了
OTEL_LOG_USER_PROMPTS还有提示词原文。工作项目尤其要注意。 - 记了不看:没有每周固定的对账,账本只是又一个越来越大的文件。
来源
- 官方 Monitoring(OpenTelemetry 指标和事件)
https://code.claude.com/docs/en/monitoring-usage - 官方 Manage costs effectively(/usage、/insights)
https://code.claude.com/docs/en/costs - 官方 Hooks reference(UserPromptSubmit、Stop、SessionEnd 的输入字段)
https://code.claude.com/docs/en/hooks - 官方 Run Claude Code programmatically(-p 与 JSON 输出)
https://code.claude.com/docs/en/headless - 实证 METR,Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
https://arxiv.org/abs/2507.09089 - 实证 METR,We are Changing our Developer Productivity Experiment Design(2026-02-24)
https://metr.org/blog/2026-02-24-uplift-update/ - 自报 Anthropic,How AI is transforming work at Anthropic(2025-12)
https://www.anthropic.com/research/how-ai-is-transforming-work-at-anthropic
整理于 2026 年 10 月 8 日。文中的命令和输出都在 Claude Code v2.1.293、macOS 上跑过;实测用的是独立的临时目录和 Haiku 模型。