今天主流的 AI 评测,大多建立在公开题集与标准化考题之上:题目可见、容易被模型提前见过,分数也正快速逼近饱和。它们衡量的,是水面以上的能力。
而决定 AI 能否在真实业务中交付价值的,是水面以下的八分之七:长链路的实际工作任务,私有的软件系统与工具环境,隐性的业务流程与规则,以及只有行业专家才能判断的结果质量。
八分之七实验室从真实工作中构建基准,在可执行的环境里、用可验证的标准,评测 AI 智能体完成企业级任务的能力。八分之七实验室由集识光年发起。