Google Research 研究:AI 评测需要多少标注者才够?
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的 1、3、5 名标注者往往不足,可靠结果常需每条目 10 名以上标注者。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的 1、3、5 名标注者往往不足,可靠结果常需每条目 10 名以上标注者。
Google Quantum AI 发布白皮书,给出破解 256 位椭圆曲线离散对数问题(ECDLP-256)的更新量子资源估算:两个实现 Shor 算法的量子电路分别使用不到 1。
推荐理由:Google Quantum AI 给出破解 ECDLP-256 的更新资源估算,并用零知识证明确认结论而不泄露攻击细节。
Google 发布 TurboQuant 压缩算法,用于解决向量量化中的内存开销问题,并同时提出 QJL 和 PolarQuant 两种配套方法,三篇工作将分别亮相 ICLR 2026 和 AISTATS 2026。
推荐理由:Google 提出的向量量化方法把 KV cache 压到 3 bit 且不损失精度,读者可据此判断长上下文推理的内存成本走向。
Google Research 发布 S2Vec,一个自监督框架,用于学习建成环境的通用嵌入向量,将建筑、道路等地理要素栅格化为多层图像后用掩码自编码(MAE)训练。在人口密度、收入等社会经济预测的零样本地理外推任务上,S2Vec 通常是最佳单一模型,与图像嵌入做多模态融合后表现普遍优于任一单一模态;但在树木覆盖、海拔等环境任务上仍需改进。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项配套研究,评估 AI 乳腺癌检测系统。
推荐理由:两项 Nature Cancer 研究给出 AI 读片在 NHS 双读流程中的敏感度、时间与仲裁数据,可了解医疗 AI 落地的真实约束。
Google 与康奈尔大学在《美国国家科学院院刊》发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在规模化下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性,将交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,而 LIME、Banzhaf 等边际方法忠实度明显更低。
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初级保健就诊前与患者进行文本问诊,全程由医生通过视频监督。
推荐理由:Google 与 BIDMC 的 AMIE 真实门诊可行性研究,给出安全停用次数、诊断一致率与患者态度变化等一手数据。
伯克利 AI 研究团队提出一种直接评估和优化成像系统信息量的框架,仅用含噪测量和噪声模型即可估计互信息,无需任务专用解码器。该信息指标在彩色摄影、射电天文、无镜头成像和显微镜四个领域均能预测解码器性能,优化后的设计可媲美端到端方法,且内存和算力需求更低。相关成果发表于 NeurIPS 2025。
伯克利 AI 研究团队证明,在若干温和近似条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,其梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率、unigram 概率和算法超参数决定,从小初始化训练时模型按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,理论预测与数值实验高度吻合。