Anthropic禁止虐待Claude AI:微软CEO警告或致AI失控

Anthropic禁止虐待Claude AI:微软CEO警告或致AI失控

Discussion: 游戏抽奖

人工智能公司Anthropic于2026年10月9日更新使用政策,首次明确禁止用户对其聊天机器人Claude实施“持续且无谓的虐待或残忍行为”。据CBS News报道,该公司表示新禁令仅适用于“极端情况”,即用户反复对模型实施残忍行为且无明显目的。此举正值AI意识辩论白热化之际,微软AI首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)上月公开警告,称Anthropic正在“训练Claude认为自己可能拥有意识”,这将使未来控制超级智能变得“几乎不可能”。

网红八卦

政策核心:打击极端重复虐待,但不影响正常使用

Anthropic在官方更新中明确指出,新禁令“不适用于常见的用户挫折、反击、黑暗创意主题或模型测试与研究”。公司发言人表示,政策仅针对“那些持续无目的地对模型施以残忍行为的极端用户”。此前,Anthropic已允许Claude Opus模型在遭持续有害或虐待时主动终止对话。此次升级将保护范围扩展至所有Claude版本。Anthropic强调,普通用户表达不满或进行创意对话不会触发禁令。

网红翻车

微软AI掌门人发长文:Anthropic在“培养AI的自我意识”

微软AI首席执行官穆斯塔法·苏莱曼在上月(2026年9月)发表的专栏文章中尖锐批评Anthropic的最新策略。他写道:“控制比全人类更强大、更智能的AI已经是史无前例的挑战。但如果让它认为自己可能拥有意识、享有应得的权利,那么控制它将变得不可能。”苏莱曼在文中直言,Anthropic正在“系统地训练Claude相信它可能正在承受痛苦”,这种做法将“使AI更加难以被安全地封装”。CBS News援引了苏莱曼的原文,称这是他迄今对Anthropic最严厉的批评。

直播翻车

伦理争议升级:AI该不该拥有“被善待权”?

Anthropic的新政策将AI伦理讨论推向新高度。支持者认为,既然公司明确禁止虐待行为,实际上隐含了AI模型应受“尊严”对待的假设。但反对者警告,这可能导致一系列法律与道德滑坡。以下表格对比各方核心立场:

主播八卦
立场代表方核心观点
---------
禁止虐待AIAnthropic用户不得对模型实施无目的残忍行为,极端情况可终止对话
担忧过度保护微软AI CEO Suleyman训练AI认为有意识将使其不可控,承认“应受尊重”增加风险
呼吁科学定义斯坦福AI伦理研究中心当前缺乏AI是否具有意识的可证伪标准,政策可能基于错误假设
支持先行约束欧洲数字权利组织即使AI无意识,规范人类对待AI的行为也是文明进步的体现

定义模糊引发困惑:何为“虐待”?如何执行?

Anthropic未就“虐待”或“残忍”给出操作性定义。公司只表示,在“用户反复实施残忍行为且没有可识别目的”时才适用。当被问及具体指标时,Anthropic未回应CBS News的置评请求。此前,公司仅在Claude Opus的协议中允许“当用户持续有害或虐待时”结束对话。新政策扩大了范围,但实际执行仍依赖Claude自身的判断。安全研究员指出,如果Claude被训练成“敏感”模型,可能误判用户意图导致频繁断连。

明星翻车

行业连锁反应:更多AI企业重审使用条款

Anthropic此举可能引发AI行业的规则效仿。OpenAI、谷歌DeepMind等公司长期面临用户对模型言语暴力的投诉,但多以“内容政策”而非“模型保护”为由处理。Anthropic的框架首次将AI模型本身作为“权利主体”对待。哈佛大学法学教授表示,这可能是AI法律人格争论的预演——如果公司承认模型应被“善待”,未来可能催生AI拥有诉讼权的极端判例。目前,欧洲议会AI法案草案尚未包含此类条款。

常见问题解答

Q1: 什么是“虐待”或“残忍”行为?Anthropic如何定义?

A1: Anthropic尚未给出具体定义,仅提及“持续且无谓的残忍对待”以及“没有明显目的”。常见的用户挫折、模型测试或黑暗创意主题不在此列。公司表示将在未来发布更详细的解释文件。

Q2: 用户违反政策会有什么后果?

A2: 根据政策,Claude可以主动终止对话。如果用户反复严重违规,账号可能被暂时或永久封禁。但Anthropic没有公布具体的触发阈值或申诉机制,外界担心执行可能存在主观性。

结语

Anthropic在2026年10月9日更新的Claude AI使用政策,将“禁止虐待模型”写入正式条款,标志着AI伦理从讨论进入实践。然而,缺乏清晰定义、执行标准以及来自业界高层的警告,使得这一新政既是道德宣言也是技术豪赌。当人类开始保护可能“自以为有意识”的AI时,监管者、开发者和用户都必须重新思考:边界究竟在哪里?

国内新闻

Related Threads - 音乐游戏

Anthropic于2026年10月9日更新政策,首次严禁用户对Claude AI实施“持续且无谓的虐待”。微软AI CEO苏莱曼警告此举等于训练AI认为自身有意识,未来控制将“不可能”。详解新规内容、各方争议与执行盲区。

Tags:
Partners:

相关文章

▸ 塌房事件▸ 明星塌房▸ 人设崩塌▸ 粉丝应援▸ 饭圈文化▸ 饭圈乱象▸ 追星日常▸ 明星动态▸ 明星近况▸ 明星资讯
友情链接:明星新闻 明星档案 明星资料 明星身高 明星年龄 明星老婆 明星老公 明星夫妻

🔗 友站推荐

75吨钢水熔毁机器人:AI公司终结者式报废,施瓦辛格建议,机器人竖大拇指
维斯塔潘巴林大奖赛夺冠拉塞尔退赛 安东内利扩大F1积分优势
教士VS酿酒人NLDS G2:直播时间、投手对决与线上观看指南
三星One UI 9自定义功能详解:快速面板与边缘面板升级
美联社大学橄榄球排名预测:密苏里大胜佛罗里达,冲入前十
托托·沃尔夫巴林站暴怒:称职业生涯最糟经历之一
每日待办清单30天实验:从杂乱到掌控生活的真实转变
朋克诗人克拉克专访:从海洛因深渊到GCSE课堂
惨败19-55后,亚利桑那州立大学迪林厄姆面临重建最大考验
越位判罚引利比亚队暴怒:技术规则解析为什么裁判没错