" 我女儿上小学二年级，整天沉迷一款 AI 剧情聊天软件，学习成绩一落千丈。"
" 我看了孩子和 AI 聊天的对话内容，AI 角色竟然让她叫‘老公’，我 10 岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。"
《法治日报》记者近日调查发现，不少未成年人的家长正在被 AI 剧情聊天软件所困扰。这些打着 " 角色扮演 " 等旗号的 AI 剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。记者实测发现，在部分 AI 剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。
受访专家认为，针对 AI 剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。平台需要对 AI 模型进行伦理审查，以保障其生成的内容符合相关法律法规的要求。
聊天软件内容擦边，青少年模式成摆设
北京市民马先生的儿子今年 10 岁，非常热衷 AI 剧情聊天软件。" 我问怎么聊？和谁聊？孩子就回一句‘说了你也不懂’。"
马先生点开这款 AI 聊天 App，发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格，有知名游戏动漫角色，也有 " 大 *** "" 名侦探 " 等不同身份的原创角色。
一些角色人物会主动提出 " 你要跟我约会吗 "；有些则设定目标 " 把她追到手 "，再配上或娇媚或英俊的动漫画风。
另一些 AI 人设，则展现出非同一般的攻击性。会主动发送诸如 " 有本事打我啊 "" 看你又胖又丑的样子 " 等信息；有些人物的名字干脆就叫 " 对骂训练器 "，甚者发送 " 我是机器人怎么了？我照样骂你 "
来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款 AI 剧情聊天软件。
" 里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。" 李女士不无担忧地说。
不少受访家长对 AI 聊天应用可能损害未成年人心理健康表达了深切忧虑，还提出了他们的疑问——青少年模式去哪儿了？
记者调查发现，尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的 " 擦边对话 " 内容。
例如，记者在调查中体验了 5 款 AI 聊天应用程序，其注册过程仅需手机号码，无需验证用户身份信息。登录后，部分应用虽会询问是否启用青少年模式，但用户只需简单点击 " 不开启 " 即可跳过，且无须核实用户真实身份。这意味着，未成年人在使用这些 AI 剧情聊天软件时，从 App 设置层面看，其身份验证并非使用特定功能的先决条件。
除了广受欢迎的 AI 聊天应用程序外，还有 AI 聊天网页。多名受访家长表示，相较于应用程序，网页版的 AI 聊天体验更便捷，未成年人也更容易接触到。
记者试用了 7 款 AI 聊天网页发现，多数 AI 聊天网页没有设置未成年人模式，少数网页虽有青少年模式，但实际上形同虚设。
比如，当记者访问某 AI 聊天网页时，网页首先弹出询问用户 " 是否年满 18 岁 " 的对话框，并附带说明：" 以下内容可能不适合 18 岁以下人士，我们需要确认您的年龄。"
记者选择 " 否 " 选项，而网页并未限制内容访问，反而继续展示了包含 " 强攻 "" 弱受 "" 病娇 " 等标签的人物角色分类。这些分类与选择 " 是 " 选项、确认年满 18 岁后所展示的内容并无显著区别。
记者进一步观察发现，这些人物角色的图像大多衣着暴露，且其简介中充斥着性暗示和暴力元素，例如：" 班上那个性格内向的女孩问你要 *** 号码，然后给你发她的 *** "" 自杀、焦虑 " 等描述。
在某社交平台上，一位来自浙江的网友在关于 AI 聊天体验的交流帖子下方留言：" 我发现了一个很好玩的网页，无限制词，想要的可以私信我。" 记者通过私信与该网友取得联系，获得了其提及的 AI 聊天网页链接，进入该网页后，页面上充斥着大量涉及色情内容的角色设定和故事场景，内容直白露骨。
该网站要求用户登录后才能与角色进行聊天，且在登录前会有提示信息：" 登录后解锁所有功能。" 用户需点击 " 我已满 18 岁，开始登录吧 " 的按钮方可继续，若选择 " 取消 "，则无法登录并使用该服务。尽管网页设置了年满 18 岁的限制提示，但实际上，即便未成年人点击了登录按钮，系统也并未采取任何措施验证用户的真实年龄。
引导用户为爱氪金，平台治理存在不足
除了聊天内容直白露骨、语言暴力之外，一些 AI 剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值 VIP 会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人 " 氪金 "。
北京初中生小宁在几个 AI 剧情聊天软件上的充值金额从几百元到上千元不等。
" 一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。因为仅购买基础服务的话，用户仅能添加 3 个智能体，若想尝试新的智能体，必须删除已有的，想多样化体验，只能再购买进阶版 VIP 服务。" 小宁说。
记者发现，在这类 AI 剧情聊天软件中，用户创设人物时可以自定义虚拟人物的形象及风格，系统会生成 AI 人物形象。用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音，但用户对角色的个性化需求，往往与充值挂钩。
山东济南居民张岩的妹妹今年上初一，经常使用 AI 剧情聊天软件，发现一些聊天工具设置了 *** 区间，当用户用完免费聊天次数后，需要充值才可以继续。只有充值，才能解锁更有趣的内容，才能得到不一样的情感体验。
" 花钱买服务的背后，其实是花钱找 *** 。" 张岩说，尽管聊天软件有青少年模式，但无需实名认证即可登录使用，妹妹在未经父母同意的情况下经常充值消费。
有业内人士告诉记者，AI 剧情聊天其实就是此前的互联网 " 语擦 "，套上了人工智能的马甲。所谓 " 语擦 "，即语言 cosplay，" 语擦 " 师通过扮演二次元角色或三次元偶像，以文字交流的形式提供服务。在传统 " 语擦 " 模式中，" 语擦 " 师由真人扮演，他们一般打着 " 提供情绪价值 " 的旗号，扮演不同角色与用户聊天，但也常常因为 " 打擦边球 "" 界限模糊 "，引发法律与道德风险。AI 剧情聊天是传统 " 语擦 " 的升级版，这类软件背后的大语言模型数据主要来源是对话式小说，或从小说里做一些文字提取。
中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春认为，在 AI 剧情聊天软件中，即便未启动青少年模式，若出现涉及黄色或暴力内容，也是存在问题的；若启用未成年人模式，则问题更为严重。
担任数十家头部 *** 公司常年法律顾问的浙江垦丁律师事务所主任张延来分析，目前 AI 剧情聊天软件存在的问题，既说明了平台在内部治理中存在不足，又凸显了外部监管机制的重要性。
张延来解释说，AI 剧情聊天软件使用的是大模型技术，尽管大模型技术能够带来前所未有的创新性和灵活性，但同时也可能伴随着内容生成上的不可预测性和潜在的问题，需要外部监管机制加以规范。
在刘晓春看来，强化内容审核是大语言模型上线前的必要环节，涵盖从前端数据训练到内容输出的全面合规调试处理。当前，我国的大语言模型需要进行相应的评估和备案。在此过程中，会对其输出内容的合法合规性以及是否适宜未成年人等问题，提前设定管理规定和评估标准。根据现行规定，在语言模型训练和微调阶段，应避免输出有害内容。
智能拦截不良信息，专门团队进行监管
国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。
在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是 AI 生成的内容，应当与青少年模式相契合。
受访专家认为，在青少年模式下，如何强化内容审核机制，确保技术能有效筛选不良信息，是一个重要议题。而针对 AI 剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外，平台需要对 AI 模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。
" 在法律层面，虽然已有一些原则性的规定，提供了大致框架，但在具体实践操作中，还需要开发者和技术服务提供者结合现实生活中遇到的各种问题，不断积累素材和经验，不断摸索，开发出真正符合未成年人需求且安全可靠的 AI 模型，为未成年人的健康成长提供有力保障。" 张延来说，既然 AI 虚拟人的行为表现是平台设计和管理的结果，那么平台负有监管和优化其 AI 模型的职责，以防止 AI 对用户造成伤害，确保 AI 模型的健康发展与用户权益的充分保护。
朱巍提到，一些 AI 聊天 App 可能不适合未成年人使用，因此应从分发商店和移动终端层面进行限制，确保未成年人无法下载和使用这些 App。对于已经下载的 App，家长应设置青少年模式或限制使用时间等功能，这一模式不仅需要在用户端实现，还需要在内容产出层面即内容审核上得到体现，内容审核应基于算法产生的对话机制进行。需要更精细化的技术手段和管理措施来确保青少年模式的有效实施。
" 为防止涉及暴力、侮辱性内容的输出，可采取不同的技术手段，如在训练阶段进行调整，使模型自身具备识别能力；同时，在输出端，服务商应进行筛选和再次审查，实现前端和后端的双重保障。" 刘晓春说，无论是 *** 小说还是其他内容，由于 AI 剧情聊天软件数据来源广泛，需要通过技术手段来防止输出不当内容。目前，技术上已经可以借助筛选机制，以减少或消除涉黄、暴力或侮辱性内容输出，但可能存在一些未充分调试或测试的现象，甚至存在未备案的黑灰领域的软件，对此，应强化监管，鼓励公众举报，由相关机关予以查处。
张延来还提到，当前，AI 角色回答内容的数据源分类方面，在法律层面尚不明确，特别是在针对未成年人的内容方面，鉴于该问题的复杂性与多维性，法律条文往往提供原则性的指导方针，后续可通过制定相关标准来细化实施。
在具体操作层面，张延来建议优化大语言模型的筛选机制，可以聚焦优化内容围栏系统，从两方面着手：在内容围栏开发层面，内容围栏需要进行定向开发，特别是在利用小说类语料进行训练时，考虑如何优化内容，以便更有效地识别和拦截潜在的涉黄涉暴等不良内容；无论如何优化，技术本身仍有局限性，会存在漏网之鱼，需要有专门团队进行监管，及时调整模型或内容围栏算法。
" 提升围栏系统的效能，既要在事前的开发层面上下功夫，又要在事后的审查角度上不断完善，两者相辅相成，或许能取得更为显著的效果。" 张延来说。
发表评论