AI生成错误信息后竟“建议”用户起诉自己，这般情节竟真的走上法庭。针对国内首例因生成式人工智能模型“幻觉”引发的侵权案，浙江杭州互联网法院近日作出一审判决，明确AI的“承诺”不构成平台意思表示，并系统阐释了服务提供者的注意义务边界——平台虽无法保证“零幻觉”，但须以醒目方式提示风险、采取合理技术防错。
2025年6月，梁某使用某AI应用程序查询高校报考信息，结果AI提供了某高校的不准确信息。在梁某指出错误后，AI的回应是“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才承认自己生成了不准确的信息。梁某遂提起诉讼，认为AI生成不准确信息对其构成误导，使其遭受侵害，要求这款AI的运营者赔偿9999元。
梁某认为，AI生成的不准确信息对其构成误导，增加了信息核实与维权成本，平台理应承担侵权责任；被告则称，对话内容完全由模型生成，不构成意思表示，自己已充分履行了注意义务，无过错，且梁某并未产生实际损失，因而亦不构成侵权。
法院审查后认定被告已完成大模型备案与安全评估，并在应用界面、用户协议等多个层面履行了提示说明义务，原告未能证明其遭受了实际损害或存在相当因果关系（AI不准确信息未实质影响其决策）。最终，法院认定平台不存在过错，不构成侵权，一审驳回了原告梁某的诉讼请求。原、被告均未上诉，判决现已生效。
判决明确指出，现行法律下，人工智能并不具备民事主体资格，既不能独立作出意思表示，也不能被视为平台的“代理人”或“传声筒”。换言之，即便AI在对话中作出了承诺式回应，也不能理解为平台真实意愿的外化。该案中，尽管AI在对话中生成了“赔偿承诺”，也不足以让平台因此受到合同或承诺的约束。
对于这起AI“幻觉”侵权案，杭州互联网法院指出，对生成式人工智能的治理，应当坚持发展与安全并重、促进创新与权益保护相结合的原则。一方面，要为技术创新保留必要空间，避免因责任过度前置而抑制新技术的发展；另一方面，也必须守住法律底线，严格禁止生成各类有毒、有害、违法信息，防止技术风险向现实社会外溢。生成式人工智能服务提供者负有严格结果性审查义务，一旦生成此类信息本身即构成违法。而对于一般性不准确信息，现行法律并未要求服务提供者确保“零错误”或信息绝对准确，强调其应采取合理措施提高生成内容的准确性与可靠性。
法院还指出，平台须采取必要、合理的醒目措施，让用户认知AI的局限性。并采用同行业通行技术措施提升准确性，达到市场平均水平。对于涉及生命安全、心理健康等高风险特定领域，提供者负有更高义务，包括采取特别技术措施与特殊安全保障。
法院特别提醒社会公众，在面对生成式人工智能高度流畅、自然的语言应答时，应保持必要的警觉与理性认知。当前技术条件下，大模型本质上仍是生活和工作中的“文本辅助生成器”和“信息查询工具”，尚不足以充当可靠的“知识权威”，更不能作为替代个人判断的“决策者”。对AI生成内容的轻信与盲从，本身就可能放大“幻觉”带来的风险。只有在理性使用的前提下，AI的“魔法”才能真正成为增强个人能力的工具，而不是制造误导甚至风险的来源。
天宇优配提示：文章来自网络，不代表本站观点。
