AI答错一次不用赔,通知后还答错就要赔——涉AI纠纷新意见与首例“幻觉”判决的三个实务判断
结论摘要
杭州互联网法院审结的全国首例生成式AI“幻觉”侵权案,判出了“答错一次通常不赔”;最高人民法院2026年9月7日发布的法发〔2026〕10号意见,则把“接到通知后仍继续生成”单独拎成一条担责路径。两条规则合起来,企业真正要建的不是一句免责声明,而是从提示、拦截到留痕的一整套响应机制。本文用三个判断拆开归责原则、通知后的停止生成义务,以及“已尽注意义务”该怎么举证。
📑 文章目录4 节
AI答错一次不用赔,通知后还答错就要赔——涉AI纠纷新意见与首例“幻觉”判决的三个实务判断
先看一个正在发生的场景。一家做行业知识问答的SaaS公司,把大模型接进客服和内部检索,客户里有律所、有医疗机构。某天一位用户问“本地社保缴费基数怎么算”,系统给出一个早已作废的标准,还把政策文号编得像模像样。用户截图发到社交平台,第二天公司收到律师函,要求“立即停止生成关于本人的不实内容”,并称已向网信部门举报。
法务的第一反应往往是:我们界面上明明写了“内容由AI生成,仅供参考”,这还不够吗?这个问题在2026年有了两层新的答案。一层来自杭州互联网法院审结的全国首例生成式人工智能“幻觉”侵权案,另一层来自最高人民法院2026年9月7日发布的《关于依法审理涉人工智能纠纷案件的意见》(法发〔2026〕10号)。前者说明“答错一次”通常不构成侵权,后者则把“接到通知后仍继续生成”单独拎出来,作为一条独立的担责路径。两者合起来,企业真正要建的不是一句免责声明,而是一套从提示、拦截到留痕的响应机制。
一、归责原则:AI服务不是产品,但“没有过错”要靠证据说话
杭州这起案件的案情并不复杂。2025年3月,梁某注册使用某科技公司运营的通用型对话应用;同年6月29日,他询问某高校报考信息,应用生成了关于该校校区的不准确信息。梁某当场纠正,应用仍坚持该校区存在,还自行生成了一段“若内容有误愿赔10万元”的表述,并建议他到杭州互联网法院起诉。梁某据此索赔9999元,法院一审驳回,双方均未上诉,判决已生效。
法院讲了三层。第一层,人工智能不具有民事主体资格,不能作出意思表示,那段“赔偿承诺”既不归AI,也不当然归服务提供者;判决同时留了一个口子——在足以产生合理信赖的场景里,比如人工智能客服,生成内容确有可能被视为服务提供者的意思表示。第二层,生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于“服务”,而非产品质量法意义上的“产品”,因此适用《民法典》第一千一百六十五条第一款的过错责任,而不是产品责任的无过错责任。第三层,在过错判断上采用动态系统论,提出三层注意义务:对法律禁止的有毒有害违法信息负严格审查义务;对功能局限负显著提示说明义务;对内容可靠性负“采取同行业通行技术措施”的基本注意义务。
法发〔2026〕10号第(三)项把这条路径固定了下来:法律没有明确规定适用无过错责任或者过错推定责任的,依照《民法典》第一千一百六十五条第一款认定;判断有无过错及过错程度,要综合考量应用场景、自主化程度、技术与信息透明度、潜在风险及影响范围,开发者与提供者采取的预防措施及技术上的可能性,以及使用者对损害的预见能力与控制能力。
这对企业是“好消息”,但不是“免死金牌”。侵权责任仍是四要件,原告要证明损害与因果关系;可一旦进入过错评价,法院看的是你有没有做事、能不能拿出来。杭州案被告能赢,靠的不是那句提示,而是两组证据:一是在欢迎页、用户协议、交互界面显著位置呈现功能局限提醒;二是提交了模型内生安全、外部护栏、检索增强生成(RAG)等技术措施,并用大模型与算法备案、安全评估材料佐证。法院认为这已达到初步证明程度,原告未提交反驳证据,应承担不利后果。换句话说,“我们提示过了”只是第一层,“我们技术上做了什么、能证明”才是第二层。
二、通知之后:一条独立于“答错”的责任线
《意见》第(七)项第一句写得很直接:生成式人工智能自动生成的内容侵害他人名誉权、隐私权等人格权益,经权利人通知,服务提供者未及时采取停止生成侵权内容等必要措施的,应当对造成的损害依法承担侵权责任;通知应当包括构成侵权的初步证据及权利人的真实身份信息。
这一条与《民法典》第一千一百九十五条的关系要说清楚。第一千一百九十五条的结构是“通知—转送—必要措施—未及时采取措施的,对损害的扩大部分与该网络用户承担连带责任”,通知同样要求初步证据与真实身份信息。第(七)项把“停止生成”“屏蔽相关生成指令”写成AI场景下的“必要措施”,并在第二句明确:网络用户通过输入侵权提示词等方式恶意诱导生成并造成他人损害的,由该用户承担侵权责任;经通知后提供者未及时停止生成、屏蔽相关指令的,权利人可依第一千一百九十五条请求用户与提供者承担民事责任。
这里有两个容易被忽略的细节。第一,“停止生成”不等于“删帖”。传统平台删掉一条内容就结束了;生成式服务的输出是每次即时生成的,同一个侵权结论可能被无数提示词反复触发。真正的措施是收敛输出、屏蔽指令,而不是删掉某一次回答。第二,“屏蔽相关生成指令”把义务落到了提示词维度。企业必须具备按人名、按机构名、按事件关键词、按指令模板做拦截的能力,否则通知到了也只是删一条,明天换个问法又生成一条。
还要区分两条权益轨道。第(七)项的字面射程是名誉权、隐私权等人格权益;杭州案原告主张的是“错失报考机会、核实成本”这类纯粹经济利益,法院走的是“是否违反注意义务”的一般过错分析,而不是通知规则。两条轨道的举证结构不一样:人格权益轨道上,通知是责任触发的开关,权利人只要证明“通知了、还在生成”,就能把举证压力推过去;经济利益轨道上,原告仍要证明损害与因果关系,杭州案恰恰是在这两项上没过去。企业做风险评估时不能把两者混为一谈,更不能因为“幻觉案我们赢了”就以为所有答错都不要紧。
三、提示、RAG与留痕:把“已尽义务”变成可提交的材料
杭州案把提示义务拆成三层:功能局限的告知、提示方式的显著性、涉及人身财产安全的专业场景下的即时警示。《意见》第(三)项又把“为预防和减少侵权所采取的措施及技术上的可能性”写进过错判断。两处合起来,实际上给企业列了一份举证清单。
第一层是界面与协议。欢迎页、对话页、用户协议、生成结果附近的标识,要能证明“用户在生成之前就看到”。《人工智能生成合成内容标识办法》(国信办通字〔2025〕2号,2025年9月1日施行)还要求显式标识与文件元数据中的隐式标识并行,其第十条禁止任何组织和个人恶意删除、篡改、伪造、隐匿标识,也禁止为他人实施这些行为提供工具或服务。截图存档、版本记录、上线时间,都是将来证明“当时就是这么提示的”的材料。
第二层是技术措施。杭州案被告提交了模型内生安全、外部护栏、RAG等证据,法院认为达到初步证明程度。企业不必自证“零错误”,但要能说明检索源是什么、更新频率如何、有没有置信度阈值、什么情况下拒答、人工复核在什么条件下触发。反过来,如果一家企业对外宣称“接入权威数据库”,庭审中却拿不出检索日志和更新记录,这句宣传就会变成对自己不利的证据。
第三层是日志与响应记录。《意见》第(十八)项在证据审查部分提到,人工智能生成内容作为证据时,要考察提示词的设计及其对生成结果的影响、生成内容与主张权利作品的相似程度、重复测试的一致性,以及模型训练、算法设计、生成内容过滤机制。这条规则对双方都适用:企业要能还原“某次输出是怎么来的”,权利人要能证明“换个提示词还能稳定复现”。日志保存多久、保存哪些字段、谁能调取、调取要不要审批,应当在制度里写死,而不是出事后再去翻缓存。
训练数据这一侧还有一条容易踩的线。《意见》第(六)项明确:为模型训练,在合理范围内处理个人自行公开的或者其他已经合法公开的个人信息,且个人未明确拒绝的,一般不认定为侵害个人信息权益;但对个人权益有重大影响的,仍应依照法律规定取得同意。合理范围要综合处理目的与模型功能的必要性和适当性、信息类型与敏感程度及潜在影响、个人公开信息时的场景与可合理预期的使用范围来判断。这意味着“网上能搜到”不等于“可以无限喂”,尤其是把公开的病例、裁判文书、简历拿去做微调时,“重大影响”这道门槛要先过一遍。
四、律师会怎么落地
第一步,把“通知—响应”做成一条有时限的流程,而不是一封邮件。谁收、谁判定、多久内完成屏蔽、屏蔽到什么粒度、谁复核、如何回函,全部写进制度。回函要写明已采取的措施和生效范围,避免“已处理”三个字了事。对明显不成立的通知,也要书面说明理由并留存,因为第一千一百九十五条第三款对错误通知同样规定了侵权责任,通知写得越情绪化,反噬越大。
第二步,把义务传导进采购合同。企业用第三方模型时,第七项里的“提供者”是谁、通知应当发给谁、谁来屏蔽指令,必须在合同里写清楚;服务商的日志能否按要求导出、停服或换版时历史数据如何处理,也要提前约定。否则收到通知时,企业只能在自己的应用层做关键词过滤,模型层的行为完全不受控。
第三步,做一次高风险场景盘点。医疗、金融、教育、招聘、法律咨询这类场景,用户对准确性的依赖度高、损害外溢快,提示义务与技术措施的标准都应上调;通用闲聊类应用则可以按行业平均水平配置。第(三)项的“场景”二字,既是法院的判断依据,也是企业分配合规预算的依据。
第四步,诉讼与应诉两侧都要准备。作为被告,重点是提示记录、技术措施、日志、备案与安全评估材料;作为原告,重点是固定“通知已送达、仍在生成”的证据链,并通过重复测试证明输出的稳定性。《意见》第(十九)项还提醒,提交法庭的文书、案例检索报告如使用人工智能生成,应当核实相关内容并说明使用情况,否则可能触及虚假诉讼与妨害司法的边界。
回到开头那封律师函。真正决定结果的,不是界面上那句“仅供参考”,而是三件事:通知到达后企业多久停止生成、屏蔽到什么程度、能不能拿出完整的处理记录。AI答错一次,法律给了技术试错的空间;但在收到通知之后继续答错,这个空间就没了。
需要为AI产品做一次侵权风险与响应机制体检?预约测绘,帮你把提示、拦截、留痕与合同传导一次理清。
免责声明
本文内容仅供参考,不构成正式法律意见;法律法规适用存在个案差异,具体案件请结合实际情况咨询执业律师。
相关服务推荐
相关内容
自动驾驶撞了人,究竟该找谁赔——智能网联汽车事故责任分配的三个实务判断
一辆没有驾驶人的完全自动驾驶车辆在开放道路上撞伤行人,运营方说车是自己开的、车厂说路测运营与自己无关、软件供应商说我只是卖工具——这类争议正在从假设变成日常。本文从一起无驾驶人自动驾驶事故的真实处置场景切入,拆开三个最容易判错的环节:谁该站在被告席上、赔完之后能不能向生产者追偿、以及事故数据归谁、能不能调取,并比较不同处理路径的利弊与代价。规则依据以现行有效的道路交通安全法、民法典,以及2026年7月1日起施行的《深圳经济特区智能网联汽车管理条例》修正文本为准。
AI换脸与拟声,边界到底在哪——深度合成时代人格权与标识义务的三个实务判断
用离职主播的旧录音训练出一个音色几乎一致的AI声音,再配上旧视频做带货短片投放——这类操作在法律上早已不是灰色地带。民法典把声音的保护纳入参照肖像权的轨道,北京互联网法院的首例AI生成声音案划出了可识别性的判断线,《互联网信息服务深度合成管理规定》与《人工智能生成合成内容标识办法》则把标识义务分别压给了生成方、传播平台和使用者。本文从企业采购第三方TTS与数字人产品的真实场景切入,拆开三个最容易判错的问题:合成出来的声音和脸还算不算本人的、生成出来到底该由谁标、以及出事之后责任怎么在生成方、技术支持方和平台之间分,并比较几条处置路径的代价。
《商业秘密保护规定》施行之后,算法、模型和数据到底算不算商业秘密——三个实务判断
2026年6月1日起施行的《商业秘密保护规定》,把数据、算法、计算机程序和代码明确写进了技术信息的范围,也把远程办公、跨境协作下的保密措施写成了可核查的清单。本文从一家AI公司算法负责人离职带走模型与数据的场景切入,拆解三个最容易判错的问题:哪些信息真的构成商业秘密、保密措施要做到哪一步才算数、以及自主研法、反向工程与通用技能这三条抗辩线该怎么防,并比较行政举报、民事索赔与刑事报案三条路径的利弊与代价。