Google 与康奈尔大学测试 LLM 能否回答高温超导研究问题
Google 与康奈尔大学在《美国国家科学院院刊》发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
#评测/基准
Google ResearchAI 评分4040
Mistral AIAI 评分3030 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合 RAG Triad 框架评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分。