今年3月，国家网信办等四部门联合发布了《人工智能生成合成内容标识办法》。9月1日，这项办法就将正式施行。其中最值得关注的是所有人工智能生成、合成的内容，必须打上标识。那么新规为何要做这样的强制要求？未做标识的AI画面会对公众造成怎样的误导呢？

直播间售卖辣椒网络主播声称所见即所得

近段时间，在抖音、快手等平台直播间，一款名为“樟树港辣椒种子”的产品成了一些网络主播卖货推销的重点，但是有网友却发现，直播间里展示的辣椒画面，看起来并不是很真实，疑似是由AI生成。

在平台直播中，记者看到，这些主播展示的视频大同小异，都是成串垂挂、排列整齐且硕大的辣椒果实，乍一看似乎这款辣椒的产量非常高，时不时就有人下单购买。当记者询问主播视频保不保真，辣椒种出来有没有这么大时，大部分主播都表示，所见即所得。

就在这个主播回答提问的时候，背景视频却出现了农户站在快要没过膝盖的深水里采摘辣椒的场景。这样的场景显然不符合正常情况，而且类似的场景，在其他主播的直播间也能看到。这些会不会是AI生成的视频呢？记者找到技术专家，帮忙辨别。

奇安信集团安全专家张庭：像在这一段这个人物在往后退的时候，就直接进入到了这一片的辣椒里面，这和我们自然的过程是不符合的，我们专业里面叫穿模，这是一个典型的AI生成的视频中间会容易出现的问题。

另外，专家也发现这些直播使用的视频，在无人机喷洒化肥农药的片段中，水雾的形态呈现规则的三角形状，不符合自然的雾化状态，在盆栽辣椒植株展示的片段中，花朵过大，而且只集中在顶端，这些都不符合自然规律。

奇安信集团安全专家张庭：我们从视频中能够看到，它存在着一些不太符合自然规律的这个现象，和一些细节方面不符合自然的状态，很有可能这个视频就是由AI生成的。

辣椒产地农技专家证实视频“不真”

由此看来，这些直播视频很可能就是AI生成的。此前，抖音等多家平台陆续要求，发布人工智能生成内容时，需添加“内容由AI生成”的标识，并且平台也会进行监测和处置。但是这些直播视频中却并未进行标识。那是不是像网络主播说的那样，视频只是为了更好地展示这款“樟树港辣椒”的品质呢？记者去了樟树港辣椒的产地，湖南省岳阳市湘阴县，请当地的农技专家答疑解惑。

樟树港辣椒，是湖南省湘阴县樟树镇的特产，获评“国家地理标志农产品”。因其品质优良、口感嫩香，受到很多消费者的喜欢。当地农技专家在看到这些直播视频时，直言是虚假宣传。

湖南湘阴县樟树镇高级农艺师黄源：樟树港辣椒植株很矮小的，它这个有一人多高了。你看它这个辣椒，它这个花根本就不是辣椒的花，第二，它这个叶片也不是辣椒树苗叶片的形状。就像一个树苗上面结的全是辣椒，这可能吗？不可能的。辣椒是每一个分支节点结一个辣椒，不是像玉米棒子一样结辣椒的，它这个明显是虚假宣传。

同时，农技专家也告诉记者，正常情况下，樟树港辣椒的果长一般为6到9厘米，也就是大概成年人半个手掌的长度，而视频中展示的辣椒，普遍长度都超过了手掌，甚至有些和小臂差不多长，明显不合理。而且樟树港辣椒属于皱皮辣椒，也不像视频中展示的那样，果皮光滑。

此外，记者也了解到，目前当地并没有授权任何企业和个人在网上销售樟树港辣椒的种子和种苗。

全网取证向平台投诉要求处罚违规店铺

目前，湖南省湘阴县有关部门表示，已对相关行为进行全网取证，并向平台投诉，要求平台立即下架商品、删除视频，并对违规店铺进行处罚。同时，他们还向侵权行为发生地或商家注册地的市场监督管理部门进行投诉举报，要求停止侵权行为。截至目前，抖音、快手等平台已对相关销售行为采取措施。对构成违法犯罪的，平台也将积极配合执法及司法机关工作。那么利用AI进行虚假宣传的卖货行为，会带来哪些危害呢？

中国法学会消费者权益保护法研究会副秘书长陈音江：消费者权益保护法和电子商务法都明确规定，经营者在推荐这种商品和服务的信息的时候，要做到真实、准确、全面。

他用AI生成的这种照片或者说视频来展示他的商品，就要以显著的方式来标识，提醒消费者注意，他并没有去说明，涉嫌用这种虚假的信息来欺骗和误导消费者，涉嫌侵犯消费者的知情权和选择权。

如果经营者故意通过这一种AI的视频或者说图片来欺骗消费者，让他误以为可以长出这样子，但实际上它长不出图片和视频的这个样子，这种行为还可能会构成欺诈。

用AI制造假新闻多地警方查处相关案件

如今人们的日常生活与人工智能越来越紧密，可以用AI帮忙查找资料辅助写作；让AI将创意转化为图像、视频；用AI搭建一套高效的学习场景，可以说，我们正在进入“全民AI时代”。但是有人却利用AI，给虚假信息穿上了一层难辨真假的伪装，让耳听不一定为真，眼见也未必为实。

今年7月17日，杭州滨江警方在网络巡查时，发现一位名叫“天使丽人”的网民在某资讯网站发布了一篇题为《杭州亚运场馆突发坍塌！建成仅2年，承建方曾获“鲁班奖”》。该文通篇采用记者的口吻进行叙述，文章细节丰富，还特意提及承建方曾获建筑行业工程质量最高荣誉“鲁班奖”，意图增加信息的“可信度”和“反差感”，极具迷惑性，乍看之下仿佛是一则突发新闻报道。

浙江杭州市公安局滨江区分局西兴派出所副所长金轶栋：我们发现这个情况以后，也是第一时间和这个奥体场馆进行了联系，包括也去现场实地看了，发现根本就没有帖子当中说的这个情况，那么初步判断这就是一个虚构事实，扰乱公共秩序的违法行为。

很快，警方就找到了该篇虚假新闻的发布者马某。据马某交代，他发布这篇由AI生成的虚假文章，主要是为了博取关注和流量，从而获得收益，为了顺利通过网站审核，他在给AI生成工具的提示词中还特地强调了突出记者报道的现场感。目前，公安机关已对马某进行了行政处罚。

近年来，类似由AI生成的假新闻、谣言，频繁出现在网络空间并传播。

今年1月，西藏定日县发生6.8级地震。在全国人民关注抢险救援的时候，“小男孩被埋图”在互联网平台迅速传播，并配文日喀则地震等关键词，引发大量网民关注。由于画面中小男孩有6根手指，AI生成的痕迹明显，谣言很快被识破。相关人员也受到了处理。

但随着AI技术的迅速发展，一些AI生成工具的使用更加便捷，往往一部手机、几个软件就能完成一次AI创作。有的人员利用AI工具拼凑虚假事实，并通过购买一些自媒体账号进行传播，甚至形成了一条“谣言→AI引用→更多谣言”的传播链条。

今年6月，上海静安警方查处了一起编造“华山医院前院长张明远因阑尾炎未得到及时救治，客死他乡医院走廊长椅”的谣言案件。涉案的3名人员每天在网络上查找各种热点事件和消息，通过向AI工具输入关键词，自动生成文章，拼凑出了一条包含“知名三甲医院”“前院长”“客死他乡”等吸引眼球的谣言信息，仅24小时之内，相关谣言的不同版本就在网上被大量传播，造成了恶劣的社会影响。

目前，相关涉案人员因涉嫌非法利用信息网络罪，被上海静安警方依法采取刑事强制措施，相关违法账号已被依法封禁，案件正在进一步侦办中。

AI生成内容必须添加显式或隐式标识

AI生成合成的内容真假难辨，只有打上标识，才能让AI生成的虚假消息露出原形。那么，AI生成内容的标识具体该如何添加，新规是如何规定的？

“标识办法”明确，人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。人工智能生成合成内容标识包括显式标识和隐式标识。

显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可以被用户明显感知到的标识。

隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

中国社会科学院法学研究所研究员支振锋：这种显式标识就好像人的脸，一眼就能看到这种真假长的是个什么样子，而隐式标识就像人的指纹，虽然一般不轻易看到指纹，但是很容易通过技术去检测它，究竟是谁生产的，从哪生产的，怎么生产的，所以这样子的话出现了问题也很容易去溯源找到这个责任者，它就能够形成一个很好的责任链条。

据法学专家介绍，添加显式或隐式标识，最主要的目的就是，解决目前相关内容“哪些是AI生成”“谁生成的”“从哪里生成”的三大核心问题。

显式标识可以确保用户能直观辨别生成内容的人工智能属性，保障公众知情权。

隐式标识则既保障了标识的持久性，也为后续数据清洗、校验提供技术依据。

这两种标识结合使用，既能减少对用户体验的干扰，还能为相关监管提供溯源依据。

明确全链条责任从生成到传播闭环管理

AI生成的内容该由谁来标识？出现相关违法违规行为该如何追溯、追责呢？

中国人民大学未来法治研究院执行院长张吉豫：在我们国家之前发布的互联网信息内容深度合成管理办法里面等文件中也有一定的规范，特别是针对比如说跟语音有关的，和自然人的相应的图片视频有关内容的时候，或者是其他的可能引起相应的用户产生混淆的时候，这个时候就需要去进行显式的标识，以避免人们看到这段内容之后产生一个错误的理解。

据法学专家介绍，针对个人用户借助AI技术进行文字创作时，如果不存在侵犯个人、社会权益的情况下，个人用户则不需要进行专门的标识。但是，如果个人用户使用AI技术生成的相关内容，涉及仿冒名人的话语表达或者容易让社会公众产生误解、混淆等内容，都必须进行显式标识。

中国社会科学院法学研究所研究员支振锋：标识办法区分了生成合成内容不同主体的责任，对生成人工智能这种生成合成内容进行一个全链条的监管，不管是生成人工智能服务的提供者还是用户，既要按照这个办法的要求去进行标识，还要按照国家强制标准的要求进行标识，这样就把从制作、传播、发布等等这个链条理得更清楚，然后相关的责任划分也更明晰。

据法学专家介绍，“标识办法”明确了相关主体的责任义务，包括服务提供者需在内容生成、传播、下载等环节确保标识完整；互联网应用程序分发平台需审核应用是否具备添加标识功能；个人用户发布生成内容时需要主动声明。

另外，“标识办法”中明确，服务提供者应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容，并提示用户仔细阅读并理解相关的标识管理要求。

细化追责内容划定AI治理新红线

新规施行不仅明确了相关主体的责任和义务，也细化了相关法律法规的追责内容。那么新规对于AI技术滥用现象会起到什么样的治理效果呢？

“标识办法”要求，用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。

另外，法学专家认为，“标识办法”的施行实际上并不是AI内容治理的终极手段，而是更符合当下我国人工智能发展阶段的治理方法。

中国人民大学未来法治研究院执行院长张吉豫：如果按照这样的规范，它其实是可以更好地去帮助相应的生成的内容被识别，并且被检测和标识，能够塑造更好的、可信的空间。但是当然现在的技术发展还需要不断地前进，所以我们可能也会随着技术的发展，相信还有更进一步的一些具体的措施，或者具体的标准未来会进一步推行。

A股缩量寻底中支撑渐显 资金调仓催生结构性机会　　　　旅游酒店板块指数日K线图　　郭晨凯制图　　◎记者徐蔚　　9月19日，A股市场呈现震荡中有支撑的特征，上证指数围绕分时均价线反复拉锯，盘中一度翻红，但尾盘受大市值银行股大额卖单拖累再度收阴。尽管三大指数集体盘整，但指数低点未破前一交易日低点，显示市场抛压逐步放缓