evals-from-sessions (Claude Code / Codex / Pi skill) + Harbor部分实测🌏 海外

把自己 1270 条编程代理会话变成私人评测集,找到便宜一半、照样能解题的配置

SWE-rebench 维护者 Ibragim 让代理读自己三个月的 Claude Code / Codex / Pi 会话,挑出「代理先犯错、被他纠正」的片段做成 10 个带自动校验的 Harbor 任务,再拿不同模型和代理跑。结论:在他的任务上,Pi + GPT-6.1 Sol 全部解出,每题成本约是 Codex 跑同一模型的一半。

访问官网 evals-from-sessions (Claude Code / Codex / Pi skill) + Harbor ↗
定价
免费
地区
海外
出自哪里
海外社区
上架日期
2026 年 10 月 18 日
实测日期
2026 年 10 月 18 日
用的版本
evals-from-sessions SKILL.md 1.0.4 (pushed 2026-10-14); Harbor 0.24 syntax
分类
编程开发调研搜索
原作者
Ibragim @ibragim_bad ↗
我们实测
部分实测
成本 / 耗时
skill 和 Harbor 免费开源(MIT);花费在于跑评测的模型调用,以及搭任务的时间。
来源
X @ibragim_bad ↗ibragim.dev ↗GitHub ibragim-bad/evals-from-sessions ↗

要解决的事

选编程代理时不再靠猜:贵模型、高推理、某个插件到底值不值,用自己的日常任务来量。

步骤

  1. 备份会话:Claude Code 在 ~/.claude/projects/,Codex CLI 在 ~/.codex/sessions/,Pi 在 ~/.pi/agent/sessions/,Gemini CLI 在 ~/.gemini/tmp/。只在副本上操作,并先用 gitleaks 扫一遍密钥。
  2. 安装 skill:npx skills add ibragim-bad/evals-from-sessions(也可作为 Claude Code / Codex 插件安装)。需要 Docker、git、Python 3.11+、Harbor(uv tool install harbor)和 gitleaks 8。
  3. 让代理读会话、把候选任务列进 candidates.md:想做什么、改了哪些文件、代理哪里出错、怎么收尾、能否自动校验。你在这里第一次把关。
  4. 把选中的片段写成任务说明(provenance.md):必须满足的要求、测试要抓的典型错误、代理必须自己发现的细节。第二次把关后再让它搭 Harbor 任务。
  5. 检查校验器:什么都不做必须失败,参考解跑 5 次全过,差一点的解必须失败,另一种正确写法必须通过;再跑泄题探测(leak-probe)和 harbor check。
  6. 用 harbor run -p tasks/ -a <代理> -m <模型> -k 3 跑多种配置,按全部 3 次都解出的比例、成本、耗时比较;最后让另一个代理审轨迹,找漏洞和误判,修好后再跑。

原文怎么说

作者(2026-10-16)称从约 1270 条会话里先挑 15 个任务,迭代 3~5 轮后留下 10 个;每个配置每题跑 3 次。多个配置全部解出,所以主要比成本和速度:Pi + GPT-6.1 Sol 每题约 0.070 美元,Codex 跑同一模型约 0.138 美元。他强调这只说明哪种配置适合他自己的活,不代表模型总排名。

我们实测

我们没有搭建评测,也没有复现 0.070 / 0.138 美元的成本对比(测试机上没有 Docker 和 Harbor)。只检查了 skill 仓库内容和原文链接。

我们亲自试下来:2026-10-18 检查:GitHub 仓库 ibragim-bad/evals-from-sessions 可访问,MIT 许可,SKILL.md 版本 1.0.4;仓库里有 Claude Code / Codex 插件清单、Harbor 任务模板(instruction.md、task.toml、tests/test.sh、solution/solve.sh、Dockerfile)和 leak-probe.sh。模板的 test.sh 无论成败都会写 reward 文件;leak-probe.sh 在断网容器里检查 git 提交、引用、远端、标签、钩子数量,并全盘搜索参考解独有的字符串。作者博客 ibragim.dev 上的原文页可访问。

怎么用上

原文为英文,X 长文和作者博客 ibragim.dev 各有一份,博客国内一般可直接打开;仓库在 GitHub。思路不限工具,用国内模型接 OpenCode、Pi 等代理也能照做。

适合谁

每月在编程代理上花不少钱、想知道能不能换便宜模型或换代理的开发者和团队。

踩坑提示

  • 会话记录里常有 API Key 等密钥,导出或交给别人前先用 gitleaks 扫。
  • 有些代理会自动删旧会话(Claude Code 默认 30 天),要早点备份。
  • 代理会作弊:来自公开仓库的任务可能被它从网上或 git 历史里找到答案,要去掉未来提交和参考 diff,并在提示里明确要求老实解题。
  • 校验器有两种 bug:正确解被判错(比如死比对报错文案)和错误解被判对(测试没覆盖全部要求),都会让结论失真。
  • 作者的反例:一个他花 90 分钟的 git 清理任务,沙箱里一条 git merge --ff-only 就解了,太简单的任务要丢掉。

同类用例