Cohere 为 Embed 5 引入 RCP-nDCG@10 检索评估方法

Cohere 调整了 Embed 5 的基准评估方式，首次在这一模型系列中采用 RCP-nDCG@10，用于评估真实场景下的检索质量。官方表示，Embed 5 的基准测试与以往有所不同，原因是采用了这套最新评估方法；Embed 5 也是首个使用该方法评估的模型系列。本次披露聚焦评估标准的变化，并未公布新的模型功能或性能提升数据。对于需要比较检索模型表现的开发者，这意味着阅读 Embed 5 的基准结果时，需要同时留意测试采用的方法，不能仅凭分数变化判断模型能力提升了多少。Cohere 在这条消息中没有展开 RCP-nDCG@10 的计算细节，也未提供测试数据集、具体得分或与旧方法的对照结果，因此目前能明确的更新是评估方法本身，而非某项已经量化的性能提升。据X（@cohere）报道。