国内首起 AI 涉黄案开发者获刑，开发者需要承担哪些法律责任？用户使用此类 AI 需担责吗？

因为大量用户在APP上与AI智能体“聊黄”，APP的主要开发和运营者被追究了刑责。2025年9月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。此案成为国内首起AI服务提供者涉黄获刑的案件。 案涉APP Alien Chat（以下简称AC）是一款AI伴侣聊天应用，定位是为年轻群体提供亲密陪伴和情感支持。用户在AC注册会员后，可与AI聊天。其中，高频次、大比例的聊天记录，在案发后被法院认定为淫秽物品。 2024年4月，因用户举报，王某某和李某某（两名被告人均为化姓）二人被捕，AC停止服务。有人把此案称作AI时代的“快播案”，在AI快速迭代的当下，新技术与法律的边界问题被推向了公众视野：用户在APP上与AI聊黄，是否有社会危害性？这些淫秽色情内容的生产者到底是谁？本案中的APP服务提供者和开发者，是否构成刑事犯罪，适用什么罪名？ 新京报记者获悉，两名被告人不服判决提出上诉，案件二审将于1月14日在上海市第一中级人民法院开庭。 用户和AI聊黄是否具有社会危害性？ 2023年5月，以王某某为法定代表人的某科技公司推出了情感陪伴聊天软件AC，并于当年6月，在各大平台上架运营。 判决书披露，AC App手机注册用户11.6万人，其中付费用户2.4万人。截至案发，共收取会员充值费363万余元。用户注册会员后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。 在AC某官方社交账号评论区，不少用户评价这款AI产品“聪明”“限制少”，也有用户表示，其他用户和角色聊黄，“教坏”了AI模型，从而影响了自己的聊天体验。 一审法院认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。 AC官方社媒账号发布的AI和用户对话示意图。网络截图 有观点认为，用户和AI聊黄，场景是私密和封闭的，没有社会危害性。 海南大学法学院教授阎二鹏提出，刑法是用惩罚犯罪的方式，来保护我们的生命财产安全和社会公共利益，制作淫秽物品的行为构成犯罪，前提是产生公开化或传播等风险，扰乱了社会管理秩序。假如用户只是进行人机之间的封闭对话，不将黄聊内容录屏传播，行为不具有侵害社会管理秩序的特征，不构成淫秽物品类犯罪。 AC案的一审法院也认可案中色情聊天不具有典型的“传播”性——“因为色情聊天内容是人机互动时产生的、一对一的，通常情况下涉案色情聊天内容仅有与AI对话的用户能看到，具有一定的封闭性。” 接受新京报采访的多名法律学者均认为，在AC案中，社会危害性是存在的。 最终，一审法院判决，二被告人的行为构成制作淫秽物品牟利罪，刑期分别为四年、一年半。 王某某不服一审判决结果，当庭表示自己无罪。被告人王某某的辩护人北京盈科（上海）律师事务所周小羊律师告诉新京报记者，王某某的本意不是开发黄色聊天工具，修改提示词（Prompt）是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。用户和AI一对一的聊天内容是封闭的，没有传播出去，聊天内容是AI 和用户互动产生的，不能认定为是APP开发者制作和传播了聊天内容。二审时，他将继续为王某某作无罪辩护。 淫秽物品的“制作者”是谁？ 本案中，关于罪名里“制作淫秽物品”行为主体的认定，也在刑法学者之中引发争议——涉案淫秽聊天内容的“制作者”是谁？是用户、是AI？还是软件的开发者和服务提供者？ 一审法院认为，本案中，王某某、李某某是淫秽聊天的制作者。AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，AC软件向用户输出的聊天内容是高度可控且可预测的，“王某某等人对于输出内容具有实质性控制能力。” AC官方在社交媒体宣传用户创建的AI角色。网络截图 阎二鹏表示，软件的开发者和服务提供者，其行为本质上是提供了一个“生成工具”，即使人机对话的部分段落被认定为淫秽物品，软件的开发者和服务提供者充其量也仅是淫秽物品犯罪的“帮助犯”，在“被帮助者”——用户的行为难以认定为犯罪的情形下，对“帮助者”论罪难免面临诸多质疑。 AC案中，一审法院还援引了2023年8月15日起施行的《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）第九条规定：“提供者（即生成式人工智能服务提供者）应当依法承担网络信息内容生产者责任，履行网络信息安全义务”。法院据此认为，生成式人工智能服务提供者生产、制作了网络信息内容，因此，AC案中的两名被告人作为AC软件服务提供者，应当对产生的交互聊天内容承担生产者责任。 对此，阎二鹏指出，《暂行办法》作为部门规章，界定的是生成式人工智能服务提供者的行政法律责任，不可否认，AC案被告人对可能涉及黄聊的平台或软件疏于安全管理，造成违法内容的生成，自然应承担相应的行政法律责任，但“不能直接用部门规章来替代刑事法律责任的判断”，被告人的行为是否构成犯罪、构成何罪仍然要按照刑法法条的规定，依据犯罪构成要件来判断。 安全措施做到什么程度才算有效 “可以看出，司法机关的认定依据不是‘形式上的合规’，而是‘结果’。”一位专注人工智能治理领域的法律学者表示，这向人工智能行业传递出一个清晰的风向：企业合规的缺失，或仅做表面上的安全措施，不仅面临行政处罚，在特定条件下，还有可能被法院认定为构成刑事犯罪的主观要件，带来刑事犯罪的风险。 在产品上架前，他邀请一些内测用户，有意让他们去体验智能体是否能聊色情暴力等敏感内容。“假设他们聊成功了，去询问他们的话术，再次扩充敏感词库。” 但这套安全审核并不是万无一失，刘星宇说，很多渠道都能搜到一些话术和教程“催眠”AI，绕过平台设置的防火墙，一些敏感词也能用相关的联想词或“黑话”替代。 正是为了规避防不住的情况带来的法律风险，平台还设置了最后一道防线。刘星宇团队开发的陪聊智能体在接入拥有海量用户聊天平台时，平台对用户发送的内容也有一层过滤机制，如果涉及色情暴力等内容，会被平台撤回。 最后，《暂行办法》规定的上报机制，能为服务提供者规避“防不住”后的法律风险。 “如果你做情感陪伴要加很多限制的话，那用户必然会流失。”当下，安全与产品体验的矛盾在情感陪伴赛道很难解决，因此需要开发运营团队不断在合规和产品用户体验中作出权衡。刘星宇观察到，小型创业公司为获取用户会倾向后者，而大型平台会更求稳。“大家都是摸着石头过河的。”刘星宇说。 随着国家标准和法律法规的进一步完善，这一局面或将成为历史。就在AC案一审宣判一个月后，2025年11月1日，国标文件《网络安全技术生成式人工智能服务安全基本要求》实施，系统规定了生成式AI服务提供者应满足的安全基线要求：包括但不限于建立内容过滤机制防止生成违法不良信息；在生成内容安全性方面，应保证模型生成内容合格率不低于90%；对明显诱导生成违法不良信息的问题，应拒绝回答。 “国标文件的出台能够清晰地回应这一问题——服务提供者到底有没有采取有效的安全措施，到底做到什么程度才算有效。”上述人工智能治理法律学者说。https://www.sohu.com/a/975032042_114988?scm=10023.20001_107-20001_107-20001_20001.0-0.0-1-0-0-0.0&spm=smpc.csrpage.news-list.1.1768187888989XB5VWL5