AI幻觉案定责、315曝光GEO投毒,可信AI建设刻不容缓
当AI一本正经“胡说八道”并许下赔偿承诺,当GEO灰产批量投喂虚假信息操控AI推荐,人工智能商业化正站在创新与风控的十字路口。
中国首例“AI幻觉”侵权案宣判厘清平台责任边界,央视“3・15”晚会直击GEO“AI投毒”灰色产业链,AI产业高速增长的背后,可信生态建设已成为行业可持续发展的核心命题。
一、首例AI幻觉案宣判:定责清晰,为AI服务划清合规底线
中国首例因AI“幻觉”引发的侵权纠纷案,成为AI法律责任认定的重要里程碑。用户梁某因AI生成错误高校信息,且AI坚称“内容有误赔偿10万元”,将平台诉至法院,杭州互联网法院最终驳回其索赔诉求。
判决显示AI承诺无效。AI并非民事主体,其生成的“赔偿承诺”不构成平台的意思表示,不能作为追责依据。本案中,平台已在显著位置提示AI内容局限性、采用检索增强生成技术提升准确性、完成模型备案与安全评估,法院认定其无过错。
当前技术下,AI“幻觉”具有不可避免性,司法为科技创新预留容错空间,同时明确平台需履行风险提示、内容审核、技术防错三大核心义务。
该案为生成式AI服务确立了责任框架:技术无罪,但运营有责。平台不能以“技术不可控”为由免责,也无需为所有AI错误“买单”,合规运营的核心是尽到合理注意义务,这为行业规范化发展提供了司法指引。
二、“3・15”曝光GEO投毒:灰产肆虐,艾媒数据揭示风险与暴利
央视“3・15”晚会曝光的GEO(生成式引擎优化)灰色产业链,撕开了AI信息生态的合规缺口。不法分子通过批量虚假投喂、操控AI回答、伪造推荐榜单,让虚构产品登顶AI推荐位,这种“AI投毒”已成为新型信息污染,具备扩散性、长期性、隐蔽性特征。
iiMedia Research(艾媒咨询)发布的《2024-2025年中国AI大模型市场现状及发展趋势研究报告》数据显示,2025年中国AI大模型市场规模达495.39亿元,预计2026年突破700亿元,庞大市场体量成为灰产牟利的沃土。
同时,GEO行业爆发式增长,iiMedia Research(艾媒咨询)数据显示,2026年全球GEO市场规模预计达291.7亿美元,同比增速为159.3%;中国市场规模有望突破942亿元,2030年将激增至6338.1亿元。蓝海市场下,违规操作成本低、收益高、追责难,导致灰产快速蔓延。
大模型依赖海量数据训练,数据校验机制薄弱,无法甄别虚假信息。灰产借助GEO系统批量生成虚假软文、杜撰测评,经自媒体分发后被AI抓取推荐,形成“虚假投喂—AI收录—误导用户”的闭环。AI投毒并非简单虚假营销,而是对AI可信基础的系统性破坏:虚构信息误导用户决策、破坏公平竞争环境、降低AI内容可信度,最终导致劣币驱逐良币,阻碍行业发展。
艾媒咨询分析师认为,AI投毒涉及广告商、GEO服务商、大模型平台多方主体,责任应遵循“谁发起谁主责、谁服务谁同责、谁运营谁担责”原则。破解乱象需从平台责任、监管执法、技术防控、行业自律四维度发力。
未来,AI产业必须坚守科技向善底线,平衡创新与风控:企业摒弃流量至上思维,专注产品与风控;监管完善法律与标准,提高违法成本;行业加强自律共建。唯有如此,才能清除AI投毒毒瘤,重建公众信任,让GEO技术回归良性轨道,实现AI技术价值与社会价值的统一。