The Evaluation Context Protocol (ECP): A Portable Contract for AI Agent Evaluation

NLIP（自然语言交互协议）：由多家公司与高校的研究者和从业者共同制定经 Ecma International 标准化的 AI 智能体应用层通信协议针对异构开发框架模型工具接口与执行环境并存的现状，NLIP 提供轻量语义消息信封，可承载于 HTTP/HTTPSWebSocketAMQP 等现有传输之上，让 NLIP 感知的智能体与网关在客户端智能体本地上下文存储本体工具与企业服务之间完成适配互通

harness 优化靠迭代改写 agent 框架代码涨分，但每轮全量跑固定验证集浪费算力Task-CoEvolve 让验证任务集与 harness 共同演化：方差加权采样把评估集中到候选分歧大的任务，再用采样概率还原全集估计Terminal-Bench 2.1 等实验中以减少 80% 评估次数匹配全集搜索的最终性能

Agent 基准通常只测任务完成度把资源使用当附属统计，而实际部署中本地查询广域搜索复合研究工具更强模型人工升级之间的选择本身就是任务的一部分EcoAgent-Bench 的 304 个真实改编任务（来自 GAIA/HotpotQA/MuSiQue 的五个族）都带定价动作与显式预算，考察四类决策：避免不必要升级证据不足时升级选择模型档位在不成立前提上停止评测了 tool-API 与 workspace-CLI 两种形态的 7 个 LLM agent 及 4 个脚本 oracle...

填补联邦式 agent 记忆的协议空白：agent 之间可互调工具却无法共享所知没有协议能对同一事实的两种措辞做合并关联远隔的事实或在不静默丢弃任何一方主张的前提下处理矛盾MELD 以知识图谱本身为运行时模型，每个记忆体通过五结果程序（插入/合并/关联/冲突/拒绝）接纳外来 claim，判据是 scoped claim-key 同一性嵌入相似度与 NLI 裁决，叠加上下文与新鲜度门控；唯一变更状态的对象是可审计可认证的 Patch绑定标准 pub/sub 传输并配 per-claim 状态 CRDT，无协调者即可在分区与有损路由下自愈防 peer 静默改写；检测到的矛盾保留待裁决而非静默消解HotpotQA distractor 上分布式合并不劣于集中式存储召回优于朴素并集，在线存储少约 11%