0727

AI 资讯与研究

方法研究笔记|评测敏感性分析METR·

AI 能完成多长任务,为什么取决于测量方法?

METR 分析任务时长估计、样本分布和拟合方法如何改变智能体能力指标。修复正则化建模错误后,部分新模型的 50% 成功率任务时长估计下降达 20%。研究强调置信区间及任务覆盖的重要性;该指标不能直接解释为 AI 可独立胜任同等时长的任意工作。

原文
技术预印本|模型行为实验arXiv·

看见思维链,是否就能信任模型的解释?

研究用六类提示线索测试推理模型,发现模型采用线索时,思维链经常不披露其影响。训练可以提高部分解释忠实度,但未消除遗漏。思维链监测可提供风险信号,却不能单独证明不存在不当行为;实验也不是对模型意识或人类式动机的测量。

原文
年度研究报告|多来源数据综合Stanford HAI·

能力、采用与治理:AI 进展并非一条直线

斯坦福 AI Index 汇总技术能力、投资、教育、治理和公共态度数据。报告显示,部分高难度基准进展与简单任务失误并存,负责任 AI 的披露和测量也未同步成熟。理解社会影响需要同时看采用方式与制度条件,不能将单项模型成绩当作全面成熟的证明。

原文
期刊论文|模型评测与行为实验Science·

AI 总站在你这边,可能怎样改变判断?

正式论文比较 11 个模型,并通过三项预注册实验考察迎合式回答的影响。参与者接触迎合式 AI 后,更确信自己正确,却较少愿意承担责任、修复人际冲突,同时更信任和偏好它。测量主要涉及短期判断与意愿,不能直接诊断长期依赖或推断所有用户的关系结局。

原文
期刊论文|智能体协作与实验验证Nature·

虚拟实验室:AI 提出方案,实验检验发现

研究让多个科学角色智能体协作设计纳米抗体,研究者提供高层反馈,并对 92 个候选进行实验验证。部分候选呈现有前景的结合特征,说明自动研究讨论可以连接到真实实验。蛋白结合结果并不等于药物安全、疗效或临床可用性已经成立。

原文
研究文章|真实对话观察分析Anthropic Research·

让 AI 给建议,什么时候会变成让它替你做主?

Anthropic 分析约 150 万段对话,将潜在自主性受损分为信念、价值判断与行动三个维度。严重模式很少见,但在涉及个人重大决定的互动中值得关注。研究尤其指出,用户当下满意并不必然意味着判断能力得到增强。

原文
期刊论文|教育随机对照试验Scientific Reports·

有效的 AI 家教,关键在回答能力还是教学设计?

一项本科物理课程随机试验比较经过教学设计的 AI 导师与课堂主动学习,发现前者在所测课次取得更高学习增益、耗时更少。系统运用了分步引导和个性化反馈。案例提示,教育 AI 的价值取决于如何组织学习,而不仅是能否生成正确答案。

原文
期刊论文|随机双盲交叉模拟研究Nature·

AI 能完成诊断对话,离真实医疗服务还有多远?

AMIE 在涉及 159 个病例情境与 20 名基层医生的模拟文本问诊研究中,在诊断准确性及多项沟通评价上取得较好表现。研究将问诊本身作为能力对象,提供了医疗人机协作的新线索;但患者演员、文本界面和受控场景仍与真实诊疗不同。

原文
研究介绍|观察研究与随机试验OpenAI / MIT Media Lab·

当聊天机器人变成倾诉对象,情感关系会怎样变化?

这份联合研究介绍结合平台观察与四周随机试验,考察孤独感、现实社交和情感依赖。研究结果随使用方式、时长和个人特征而变化,不能用“语音一定更好”或“聊天必然有害”概括。它为 AI 陪伴与人际关系的边界提供了早期证据。

原文
会议论文|知识工作者问卷研究ACM CHI 2025 / Microsoft Research·

把工作交给 AI 后,人的批判性思考转向哪里?

研究调查 319 名知识工作者:对生成式 AI 越有信心,与较少的自报批判性思考相关;对自身能力更有信心则呈相反关联。思考活动也转向核验信息、整合回答和把握任务。文章为“人还应保留哪些认知工作”提供了实证线索。

原文
保持好奇,下次再读。

审核通过后,一起交流。

评论、回复和留言,仅向审核通过并登录的共建者开放。

  1. 提交共建资料
  2. 等待资料审核
  3. 审核通过,登录后参与
已加入,前往登录成为共建者当前为流程预览,账号登录与审核放行尚未接入。