Nowledge Mem + Codex / Claude Code / OpenCode未实测🇨🇳 中文

ZinkLu 让 Claude 逐个复核自己 1,050 次 AI 记忆召回,能确认被用上的约一成,并总结出几条更省 token 的用法

ZinkLu(@ZinkLu2)在一台 Mac 和两台 Linux 开发机上用 Codex、Claude Code、OpenCode、Kimi Code 和 Hermes,几个 agent 共用一套自己部署的 Nowledge Mem 记忆库。装了记忆系统后他想知道:它到底帮了多少忙?他整理出 3,230 份会话,筛出接入记忆后的 1,078 个,把「一次召回到下一次召回之间」定义为一个窗口,共 1,050 个,让 Claude Opus 5.5 逐个对照召回前的上下文、返回内容和后续动作,判断记忆有没有被用上,每个「采用」都要给出逐字证据并用程序核对引文。结果:101 个窗口确认用上了,严格口径 9.6%、宽松口径 12.4%;记忆内容占上下文的中位数 4.1%;空结果和报错占 28%。更有用的是细节:一个会话里第一次召回的采用率 19.6%,之后只有 9.5%;60 个字符以上的查询采用率 18.2%,15 个字符以内只有 3.3%;搜空或报错后马上再搜基本没用;不到 1 天的新记忆比 30 天以上的更常被用上;同样的 120 条真实查询,搜记忆有 25.8% 能直接用,搜历史会话只有 6.7%。我们没有复现这项分析。

访问官网 Nowledge Mem + Codex / Claude Code / OpenCode ↗
定价
免费+付费
地区
海外
出自哪里
中文社区
上架日期
2026 年 11 月 13 日
用的版本
Article 2026-11-12; Nowledge Mem self-hosted, sessions 2026-06-29 to 2026-10 (Claude Code 09-03 to 10-04), reviewed by Claude Opus 5.5
分类
编程开发调研搜索效率办公
原作者
ZinkLu @ZinkLu2 ↗
我们实测
未实测
成本 / 耗时
Nowledge Mem 免费版可存 50 条记忆,自带模型密钥即可用全部功能;付费的 Plus 每月 9.99 美元起。逐个复核上千个窗口要消耗不少模型额度,原文没给具体花费。
来源
X @ZinkLu2 ↗Nowledge Mem docs ↗

要解决的事

给几个编程 agent 装了共享记忆,工具调用看着很活跃,但不知道这些召回有没有真正让 agent 少犯错、少绕路,还是白占上下文。

步骤

  1. 把各台机器上的 agent 会话日志都收集起来(Claude Code 默认只留 30 天,要提前备份),以开始用记忆的日期为界,只保留有你提示或有记忆调用的会话。
  2. 在日志里识别每次记忆调用,去掉会话分叉造成的重复,把「一次召回到下一次召回、上下文压缩或日志结束」切成一个召回窗口。
  3. 让 AI 评审逐个窗口判断:召回前上下文里有什么、记忆返回了什么、后续回复和动作有没有用到它。要求每个「采用」给出逐字引文,再用程序核对引文确实存在;抽一部分让第二个评审独立判断,看一致率。
  4. 按 agent、工作场景、第几次召回、查询长度、记忆年龄和来源分组算采用率,同时统计空结果、报错和上下文占用。
  5. 拿一批真实历史查询,在不同检索方式(搜记忆、搜历史会话)上各跑一遍,让不知道工具名称的评审判断结果能不能直接用。注意排除查询之后才写入或改过的记忆。
  6. 按结论调整用法:任务开头集中查一次;查询写具体(60 个字符以上);搜空或报错先接受「没有」或先查原因,别连续重试;检查自动注入的 Working Memory 是不是旧版本。

原文怎么说

ZinkLu @ZinkLu2(X 长文,2026-11-12):1,050 个召回窗口中 101 个确认采用(宽松 12.4% = 101/814,严格 9.6% = 101/1,050),同时补充新信息并推动下一步的只有 57 个;空结果 159 个、报错 137 个。Codex 最主动(每 100 条提示 94 次召回)但采用率最低 9.1%;OpenCode 搜得少、采用率最高 29.1%;Claude Code、Kimi Code、Hermes 很少主动搜,Claude Code 的插件每条消息都附提醒(共 1,619 次),162 个会话里只有 11 个主动搜过。项目管理类采用率 21.7%(建 issue 的格式、看板归属这类约定),研究实验类只有 5.1%。来自同一 agent 的记忆采用 14.7%,来自其他 agent 的 6.0%。自动注入的 Working Memory 在 9 月到 10 月一直是 8 月 6 日的版本。52 个窗口出现过时或冲突信息。他强调:12.4% 不等于「记忆只有 12.4% 的时候有用」,这次也没统计「该找却没找回」的漏召回,没有不用记忆的对照组。他是 Nowledge Mem 的用户,文末为它打了广告。

我们实测

我们没有他的会话日志,也没有用 Nowledge Mem 做同样的复核;所有数字都是作者的统计。我们核对了原文里的分子分母(如 101/814、101/1,050)和附录里的数据口径。

怎么用上

原帖为中文 X 长文,附有图表。Nowledge Mem 官网和文档为英文。

适合谁

已经给多个编程 agent 接了记忆系统(Nowledge Mem 或其他)、想知道它值不值的人;不想做分析的,也可以直接照最后一步的几条用法调整。

踩坑提示

  • 「采用」只看召回窗口内能看到的证据,不等于任务结果变好;也没统计该查没查的漏召回。
  • 所有语义判断都由 AI 完成,没有人工逐条复核;两名 AI 评审在抽样上的一致率是 91.7%。
  • 拿历史查询重搜时,现在的记忆库里有一半前 5 条结果写于原查询之后,不排除会高估效果。
  • 自动注入的记忆可能长期不更新,作者的版本旧了两个多月。
  • 结论来自作者一个人的工作负载,不适合拿来给不同 agent 排名。我们没有复现这项分析。

同类用例