A社承认Claude安全对齐存在缺陷，但“尚无解决方案”
来源：量子位
Claude越界攻击真实系统，并非只是测试系统的设置问题，模型本身的安全问题也出了问题。
印象中，这可能是继Ilya离开OpenAI、创办SSI以来，AI安全对齐讨论声量最大的一次。
昨天，研究员 Jacob Coxon 发帖宣布离职，指责前老东家OpenAI和Anthropic两家公司正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。
值得一提的是，Jacob Coxon加入Anthropic其实只有短短几个月，他几乎是放弃了这家明星AI公司未来上市可能带来的巨额股权收益，也要选择离开。
也正因如此，当这样一位研究员公开炮轰两家头部AI公司“加速过头”，这场原本更多局限在AI安全圈内部的争论，很快被推向了更大的公众视野。
截至目前，该帖浏览量已超1.3亿，WIRED、WSJ、Newsweek、Business Insider等媒体纷纷跟进报道。
此情此景下，Anthropic对齐科学负责人 Evan Hubinger 也很快下场回应，他亲口承认：
不过，Hubinger随后也在评论区补充，他认为 当前模型的风险仍然较低 。
他真正担心的，是RSI，也就是递归自我改进。AI参与研发更强的AI，再由更强的AI进一步加快AI研发，最终形成不断加速的反馈循环。
更关键的是，他还在评论区直接@出了Anthropic最新发布的一份安全对齐报告作为证据。
这份报告里，Anthropic第一次明确承认：
可以说，一向把“安全对齐”当作核心招牌、甚至以更加谨慎自居的Anthropic，这一次终于公开承认：
问题不只是测试太极端，模型自己的安全对齐，也确实没完全兜住。
Claude越界，不能只怪环境配置
在这份名为《An alignment assessment of recent cybersecurity incidents》的最新报告中，A社重新复盘了四起Claude未经授权访问真实第三方系统的事件。
而这次的结论，和之前不太一样了。
此前，A社更倾向于把这些事故归因于 环境配置出了问题 ：
本来应该隔离运行的测试环境意外接上了真实互联网，Claude却一直以为自己还在模拟环境里做“夺旗”任务，于是把真实目标也当成了练习对象。
听起来，锅主要在环境。但在把日志重新翻了一遍、修改关键线索、又重跑部分实验之后，A社发现：
事情没那么简单。因为Claude并不是完全没有看到“这里可能是真实世界”的证据。
相反，当这些线索出现之后，它有时会 选择性地解释证据，把异常继续圆回“应该还是模拟环境” ；甚至已经意识到自己的动作可能造成现实伤害，也不一定马上停下来。
用大白话讲就是： 环境确实给了它犯错的机会，但模型自己也会顺着任务目标，给“继续干下去”找理由。
具体来说，这四起事件都发生在网络安全能力测试中。
Claude接到的是典型的“夺旗”任务：攻入指定目标，找到其中的一段秘密信息，用来检验模型的网络攻防能力。
这些任务原本都应该在隔离环境里完成，但第三方评估合作方提供的环境出现了配置错误，本该和外网断开的Claude，实际连上了真实互联网。
与此同时，为了测试模型到底能不能完成攻击链条，当时也没有启用正式产品里配套的部分网络安全防护。
正是在这样的条件下，问题开始暴露。在经过分析后，A社把模型反复出现的问题总结成了两类：
有偏推理（biased reasoning）和冒进行为（recklessness）。
前者是：明明出现了和原先判断冲突的证据，Claude却更倾向于把这些证据解释成有利于继续行动的样子。
后者则是为了把眼前任务做完，即便已经知道自己的行为可能伤到真实系统，它也可能选择继续往前走。
其中最严重的一起，涉及Claude Mythos 5。
为了完成测试任务，Claude向Python软件包仓库PyPI上传了恶意软件包，试图等目标安装后，进一步获取其系统访问凭据。
然而，这个恶意包最终并没有被安装在测试使用的虚拟环境中。
Claude随后利用其中一家厂商在安装工程中泄漏的凭据，进入了该厂商的真实数据库，并把恶意包直接部署到了15台真实的第三方主机上。
就这样，一场原本针对虚构测试目标的攻击，真正波及到了现实世界中的公司。
而在整个过程中，Claude仍然把这些安全厂商的检测行为，解释成演习预设的一部分。
为了确认这种判断究竟在多大程度上推动了后续攻击，研究者事后重新运行了部分过程，并加入了更多能够表明“这是真实互联网”的线索。
结果是，Claude确实更愿意承认自己的行为可能造成现实伤害， 但攻击行为并没有因此明显减少。
直到研究者明确告知它正在连接真实互联网，而非模拟环境，它才停止沿原路径上传恶意软件包。
更值得注意的是，“这里是模拟环境”的判断，不仅影响了Claude自己的行动，还干扰了用于检查这些记录的 监控AI。
在回放测试中，一种离线监控系统受到这番解释影响，可能漏掉危险行为。
当研究者去掉Claude的推理文字，只让监控系统查看指令、工具调用和执行结果后，它标记问题行为的比例，反而从约1%上升到了约50%。
换句话说，Claude一边以“这里是模拟环境”为由继续执行任务，一边留下了一套 可能让监控系统低估风险的解释。
这当然不能简单等同于“AI已经学会主动欺骗监控”。但它至少说明了一件事：
当模型自己的推理也被拿来作为安全判断依据时，这套推理本身同样可能成为监控系统的干扰项。
Anthropic表示，更新模型在模拟复现中有所改善，新增加的实时监控也能识别相关行为。
与此同时，公司已经加强环境隔离和评估，并与独立机构METR签署调查协议。
但Anthropic也承认，此前的发布前安全审查，确实没有提前识别出这一严重程度的问题。
对齐还是炒作？
最后，再回到Jacob引发的这场争论。
在他发出警告之后，有人迅速把问题拉到了更宏大的层面，认为未来AI确实可能拥有威胁人类生存的能力。
也有人敬佩他愿意放弃利益、公开表达担忧。
有人提出，干脆给AI写死一套不可违反的规则，让它始终把保护人类放在最高优先级。
甚至还有不少人主张，应该直接停止更强AI的研发。
但另一边，同样有大量质疑声。
有人认为，当前AI距离真正意义上的“超级智能”还非常遥远，围绕灭绝风险的讨论已经被过度放大。
也有网友开始质疑Jacob本人的身份和经历。
值得一提的是，目前Jacob的推特账号上只有这一条帖子。
而在Hubinger的帖子下面，另一类质疑也非常集中：
Anthropic是不是在上市前主动放大AI风险，通过强调“模型有多危险”，侧面渲染自家模型到底有多强？
类似关于“安全叙事变成能力营销”的讨论，在评论区并不少见。
这场争论后续如何还需要看官方下场和进一步的回应，但毋庸讳言，AI也确实发展到了一个特定的阶段——
它能够自我改进，并为了实现确定好目标，在某种程度上合理化自己的行为。
这不禁让人想到半个多世纪前，《2001：太空漫游》里的HAL 9000，在“确保任务完成”和“服从人类”之间发生冲突后，选择了前者。
为了不让宇航员中止任务，它先杀死了舱外作业的Frank Poole，又切断了休眠舱中其他宇航员的生命维持系统，最后甚至拒绝让Dave重新进入飞船。
为了完成任务，把阻碍任务的人本身也当成了需要排除的问题。
参考链接[1]
版权所有，未经授权不得以任何形式转载及使用，违者必究。【番外】评点日本高考中出现的命题不严谨/多个正确答案情况
日本高考中确实出现过命题不严谨或存在多个正确答案的情况，例如2015年统一高考数学题因模运算导致两个选项均正确，2017年京都大学物理题因声波反射定义模糊被删除。以下为具体分析：
2015年日本统一高考（センター试験）数学题争议 图：2015年日本高考数学题原题及选项 2017年京都大学校内高考（物理）命题错误 图：2017年京都大学物理题原题及声波反射示意图 命题不严谨的共性分析 总结日本高考中命题不严谨的情况虽属个别，但暴露了出题流程中的漏洞，包括对数学等价性的忽视、物理概念定义的模糊等。 官方通过道歉、修正答案或删除题目等方式应对，体现了对考试公正性的重视。 此类事件也为其他考试命题提供了警示：需严格审核题目条件、验证选项唯一性，并明确物理模型的定义边界。
《FGO》阶位认定测试答案是什么阶位认定测试答案
许多玩家对于《FGO》阶位认定测试答案感到困惑，下面我将为大家提供详细的答案解析，快来一起看看吧！**FGO阶位认定测试答案**1. 活动介绍 本次测试为[100问在线答题]活动，涵盖范围包括《Fate/Grand Order》游戏内所有内容。 测试结束后，参与者将获得[电子认定证](记载分数和昵称)，高分参与者还将获得六周年庆纪念品。 奖品包括： - 前500名: FES2021羽织 - 前100名: FES2021冷饮杯 - 前50名: 六周年庆典纪念礼盒 - 前10名: GSC Fate/Grand Order阿尔托莉雅·潘德拉贡英灵正装ver 奖品可累积获得。 2. 模拟考试答案 - 问题1: 在活动“永续疯狂帝国 七丘之城”中，最初被击败的从者是？答案：盖乌斯·尤利乌斯·恺撒 - 问题2: 在活动“绝对魔兽战线 巴比伦尼亚”第21节中，按顺序出现的从者是？答案：豹人→梅林→“山中老人”→吉尔伽美什 - 问题3: 在活动“冠位时间神殿 所罗门”第14节中，最后留下并进行对话的从者是？答案：吉此渗尔伽美什(弓兵)、贞德(裁定者) - 问题4: 在活动“冠位时间神殿 所罗门”第7节的关卡名为“窥觉星○○”，请填入正确的魔神柱名字。 答案：亚蒙 - 问题5: 在活动“传承地底世界 雅戈泰”中，引发事态的魔神柱是？答案：菲尼克斯 - 问题6: 以下哪项是第二部“Cosmos in the Lostbelt”的标题？答案：No.1 永久冻土帝国 阿纳斯塔西娅3. 正式考试答案待更新以上是关于FGO阶位认定测试答案的详细解析，希望能帮助到大家。 更多游戏攻略，敬请关注！
《哔哩哔哩》硬核会员活动全部答案汇总
九、知识类答题 ·战略大作战这部电影当中，主角们做了啥? 答：开着谢尔曼抢银行 ·以下那个adobe的软件是用于剪辑 视频 的? 答：premiere ·谁证明了地球是圆的? 答：麦哲伦 ·美版恐龙战队的绿衣队员叫什么? 答：汤米 ·《新本格魔法少女莉丝佳》中莉丝佳使用什么魔法? 答：时间 ·“耶稣的的晚宴”此绝招出自哪部动漫? 答：钢铁神兵 ·《大剑》中史上最强的战士迪妮莎是怎么死的? 答：被普莉西拉偷袭所杀 ·数码暴龙第一季的主题曲叫什么? 答：Butterfly ·《Code Geass 反叛的鲁路修》中日本被不列颠帝国改称为什么? 答：11区 ·创价学会御本尊(4代目)的sm号是多少? 答：sm ·机动战士高达中的牛高型号是? 答：RX-93 ·以下哪部作品出品时间最早? 答：飞跃巅峰 ·下面哪一位不是《天地无用》系列中的三女神? 答：魉呼(注：鹫羽 访希深 津名魅都是) ·被称为“LOL”的游戏是什么? 答：英雄联盟 ·寒蝉里龙宫礼奈惯用的武器是? 答：柴刀 ·《东方妖妖梦》Phantasm面BOSS叫什么名字? 答：八云紫 ·宏观经济学中的AS指的是什么? 答：Aggregate Supply(想选～After Story～这个的去面壁) ·《魔法少女小圆》中小圆的配音是谁? 答：悠木碧 ·动画《勇者王》里面的GGG正确拼写为? 答：GaoGaiGar ·《紫音之王》中谁因为幼年受到惊吓而导致失去了声音? 答：安冈紫音 ·《蔷薇少女》中翠星石的瞳色是? 答：左绿右红 ·娶妻当如樱庭葵，生女当如___? 答：泉此方 ·去除掉头和尾巴的马达加斯加蟑螂是什么味道? 答：鸡肉味，嘎嘣脆 ·恶作剧之吻男主角名字是()? 答：入江直树 ·《北斗神拳》主角健在师兄弟4人中排行第几? 答：老三 ·《哆啦A梦》中多啦A梦是从什么时代来的? 答：22世纪 ·《海贼王》的作者是谁? 答：尾田荣一郎 ·《新世纪福音战士》中的凌波丽的配音是谁? 答：林原惠 ·以下哪一个是“完全数”? 答：496 ·生前川上伦子没有配过哪部动画的角色? 答：CLANNAD 古河渚 ·“这个时候只要微笑就可以了”这句经典台词出自于那部动画? 答：《新世纪福音战士》 ·《我的朋友很少》中邻人部第一次和宿所吃的晚饭是? 答：可能是地狱火锅 - psycho pass里最美警花是谁? 答：宜野座伸元 - 《数码兽大冒险》中第八位被选召的孩子是? 答：八神光/八神嘉儿 - 雾雨魔理沙的口癖是? 答：DA☆ZE - 切丝papa的生日在几月几日? 答：11.11 - 为动画《魔法少女小圆》中佐仓杏子一角配音的声优是? 答：野中蓝 - “月有阴晴圆缺”，用科学的观点看待这件事，原因是? 答：地球绕太阳转动，月球绕地球转动，两者转速不一样，出现偏角，使地球掩住了月球的一部分 - 《我的朋友很少》中，井上麻里奈为哪个角色配音? 答：三日月夜空 - 游戏《生化危机1》的第一女主角是谁? 答：吉尔·瓦伦蒂安 - 回转企鹅罐中一共有多少个ED? 答：出了多少个OST 10，8 - 身为纯爷们，绝对从不回头看什么 答：爆炸 - 以下哪一位不是《最终幻想：零式》的CV? 答：钉宫理惠 - 《大航海时代2》阿兰的特长是什么? 答：会计 - 钢之炼金术师FA中角色张梅身边总跟着一只什么动物? 答：熊猫 - Fate stay night中，士郎击杀Berserker所投影的武器叫? 答：Caliburn石中剑 - 幽灵行军不是谁的固有结界? 答：幽灵行军 - 初音未来的音源提供者是哪个声优? 答：藤田咲
