人工智能（AI）生成合成内容的逼真程度已经让普通人难以辨别。多方人士曾提议，加快规范AI生成合成内容。“内容标识”是目前国际上较为通用的做法。

日前，国家网信办起草的《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》），面向社会公开征求意见。记者注意到，与之配套的强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》（以下简称《标识方法》）同步在全国标准信息公共服务平台公开征求意见。□新京报

“AI换声”“AI换脸”真假难辨 诈骗案件量正在增加

《办法》拟规定什么？简单来说，AI生成合成的内容要在显著位置作出标识，也就是要给它们打上“专属水印”。

给AI生成合成内容打水印为何如此重要，需要单独出台文件加以规制？受访者认为，这与AI应用带来的虚假宣传、欺诈等社会风险有着直接关系。

“AI诈骗正在全国爆发”的词条一度登上热搜，一时讨论声四起。据浙江省科普联合会发布的文章，AI诈骗的类型包括：语音合成诈骗、视频/图像合成诈骗、聊天机器人诈骗、数据操控与伪造。其所依托的技术主要为自然语言处理和机器学习。

上述前两种类型便是很多人听说过的“AI换声”“AI换脸”。《办法》提出，对于AI生成合成的音频，在起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识；AI生成合成的视频，在起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识。对于AI生成合成的文本、图片等信息，《办法》也拟作出相应规定。

除了上述可被用户明显感知的显式标识，《办法》还拟对隐式标识的添加予以明确，提出服务提供者在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。

《办法》拟作何具体规定？解决什么问题？

具体来说，《办法》拟对服务提供者、网络信息内容传播平台的服务提供者、互联网应用程序分发平台、用户分别规定相应的责任义务。

北京大成律师事务所高级合伙人肖飒解释，服务提供者即利用生成式人工智能技术提供生成式人工智能服务，利用算法技术提供信息服务、深度合成服务的组织、个人。

对服务提供者，《办法》提出在生成合成内容时主动添加显式标识或隐式标识，执行强制性国家标准；在用户服务协议中明确说明生成合成内容标识的方法、样式等，并提示用户仔细阅读并理解相关的标识管理要求。

对于提供网络信息内容传播平台的服务提供者，如AI聊天网站，《办法》特别提出，在处理和核验生成合成内容时，平台需要承担核验标识的责任。

对于互联网应用程序分发平台，如应用商店，《办法》提出，在应用程序上架时，应当核验服务提供者是否按要求提供生成合成内容标识功能。

用户在上传生成合成内容时，应当主动声明并使用平台提供的标识功能作出标识，不得恶意删除、篡改、伪造、隐匿生成合成内容标识。

西南政法大学科技法学研究院副院长、教授郑志峰认为，通过规范标识可以帮助公众准确区分AI生成合成内容与人类创作内容，提升信息透明度，维护信息生态的真实性，保障公众的知情权。通过标识还可追溯生成内容的来源，明确责任主体。

他指出，通过标识内容可以降低虚假宣传、欺诈等社会风险。肖飒同样指出，AI生成合成内容可能被用于制造社会恐慌、传播谣言或实施其他非法活动，通过强制标识，可以有效地控制这些行为，维护社会稳定。

此举能防范日益突出的AI诈骗吗？

《标识方法》这一强制性国家标准拟明确各类AI生成合成内容的具体标识方式。其中，视频内容的显式标识应采用文字提示。

具体而言，应同时包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技术；包含生成合成要素——含“生成”和/或“合成”，表明内容制作方式为生成和/或合成。

音频内容的显式标识应采用语音标识或音频节奏标识。语音标识应同时包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技术；包含生成合成要素——含“生成”和/或“合成”，表明内容制作方式为生成和/或合成。

音频节奏标识应为“短长 短短”的节奏。《标识方法》注释称，“短长 短短”节奏为“AI”的摩斯码表示。

以“AI换脸”诈骗为例，肖飒分析，根据《办法》和《标识方法》要求，潜在受害人应该能够在视频中看到显著标识，提示该视频是AI生成合成内容。

具体来说：视频中可能会有明显的文字提示，如“本视频为合成内容”，或者视频角落处有明显的标识符号，如“人工智能生成合成”；标识应当放置在视频的显眼位置，如角标、横幅等，以便用户一眼就能注意到；标识的颜色和字型应当足够醒目，以便与视频背景区分开；如果视频支持交互功能，在用户尝试播放或下载视频时，系统可能会弹出提示框，告知用户该视频是AI生产合成的。

“从效果来看，可以预测，《办法》和《标识方法》的实施有助于提高AI生成合成内容的透明度，降低老百姓遭AI诈骗的风险。”肖飒告诉记者。

明确未履行标识义务的责任规则 特别是民事侵权责任

《办法》第13条拟规定，未对AI生成合成内容作出标识造成严重后果的，由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。

郑志峰指出，《办法》拟作出的责任追究规定较为笼统，责任机制不够完善，没有明确未履行标识义务的责任规则，特别是民事侵权责任。

“《办法》仅规定‘未对生成合成内容进行标识造成严重后果的’依法进行处罚。但对第10条所涉及的使用者的行为，未规定惩罚措施。”肖飒指出，有的使用者恶意滥用AI生成合成内容，通过不正当标识手段损害他人合法权益、散布虚假信息，建议补充处罚措施或列明可供援引的其他法律规范。

此外，郑志峰提出，标识适用于AI生成合成内容，对于人机协作生成合成的内容是否适用并不明确。例如，AI生成一首唐诗，用户对内容作了很小的修改，是否需要标识并不清楚。

总的来说，内容标识是防范生成式人工智能应用风险的重要一步，有助于提高透明度，帮助用户识别AI生成合成内容。

“但这只是多层次防控体系的一部分。”肖飒认为，要想真正规避风险，还应细化法律法规，建立行业自律标准，如明确界定法律责任，特别是版权、隐私保护等问题；推动行业自律，建立统一的技术标准和伦理准则，引导企业合理合法使用AI技术。