由集识光年发起

让 AI 在真实工作中
接受检验。

八分之七实验室由集识光年发起，研究如何把企业里真实存在的软件、系统与工作流，变成可复现的评测与强化学习环境。

阅读研究方法 →Benchmark 进展

研究笔记 · 草稿

方法论

从真实工作出发构建 benchmark：
饱和、mock 与污染

公开 benchmark 为什么越来越难区分模型；如何把企业旧系统封装成可重置的 RL 环境；以及如何在发布评测时控制数据污染。

阅读全文 →

研究原则

  1. 防污染不公开完整题面与答案，按版本轮换，保留私有测试集。
  2. 来源合法只使用权利方明确授权的资产，软件类附 SBOM。
  3. 匿名化脱敏或以 mock 替换敏感内容，不披露来源企业身份。