“看到好莱坞的标志牌着火的图片，还以为好莱坞陷落了，结果竟然是AI伪造的。”

  影迷橙子（化名）之前时常和朋友吐槽，社交平台上AI生成的图片是“一眼假”，然而，在前两天洛杉矶山火相关的新闻图中，橙子完全没意识到里面掺杂了大量AI假图。

  “好莱坞标志牌着火的那张图，各个影迷群几乎都传疯了，大家还调侃这是在电影市场之外，先在物理层面‘陷落’了，结果，第二天就看见媒体辟谣说这张照片是AI伪造的。”橙子表示，这张假图本身就有情绪性，和新闻报道放在一起更显得真假难辨。

  “趣解商业”注意到，虽然已经辟谣，但至今仍有不少网友将这张AI图当作线.你被AI骗过吗？

  1月10日晚间，抖音官方发布了重要的公告称，平台已严肃处置23652条涉地震不实信息并配发了辟谣内容。公告中还提到，2023年和2024年，抖音就曾发布AI内容治理相关公告，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。

  此前，“趣解商业”曾在《2024年，多少人被AI“割韭菜”？》文中提到，AI生成的内容正在占领社交网络。

  经常刷短视频的陈沐（化名）表示，现在刷到AI创作的内容概率慢慢的升高了，“你看完一个换脸视频以后，平台就会疯狂给你推类似的AI换脸二创。”然而，目前社媒平台的审核并不能完全精准识别到所有AI创作内容，还需要用户发布时自觉勾选标注；而因为AI内容声明的标识并不显著，有些内容即使明确标识是AI创作，仍会被很多用户当作真实内容

  据媒体报道，2024年6月中旬，一家MCN机构的实际控制人王某某因利用AI软件生成虚假新闻并大肆传播，扰乱公共秩序，被警方行政拘留。据警方通报，王某某共经营5家MCN机构，运营账号842个，自2024年1月以来，王某某通过AI软件生成虚假新闻，最高峰一天能生成4000至7000篇。

  据《北京商报》报道，2024年2月有诈骗犯运用Deepfake 深度伪造技术，制作出公司高层发言视频，诱导职员先后15次将2亿港元转至指定账户。

  北京周泰律师事务所张子航律师表示，在公共事件中，故意歪曲事实，用AI或者其他技术方法制作图片、视频，并在社交平台传播造成负面影响的，首先要追究的是制作者的责任，制作者面临的可能是行政责任，也可能是刑事责任。

  2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性

  2023年5月，一张五角大楼发生爆炸的照片曾在Twitter上被大范围转发，这中间还包括很多投资相关的网站和社媒账户；据新闻媒体报道，照片发布正赶上美国股市当天的开盘时间，一度引发美股恐慌性短暂下跌。

  当AI生成的内容频繁地与真实新闻掺杂在一起，不仅普通民众很难辨别真伪，一些专业机构甚至也难以招架。

  互联网观察基金会IWF的分析师曾表示，AI生成的非法内容（包括儿童受虐图片、AI名人换脸视频等）正在飞速增加，像我们这样的组织或者警察，可能会被成百上千张新图片的鉴别工作压垮，我们并不总能知道，在这其中是不是真的有一个孩子需要帮助

  AI逐渐让人意识到，眼见并不为实。AI技术的推广，有可能使得网民对网络信息从一个极端到另一个极端，也就是从全信到全不信。

  除了入侵互联网内容生态，AI生成的内容也给大模型训练带来了风险。中国信通院发布的《人工智能治理蓝皮书（2024年）》提到，近年来，人工智能内生风险加大，模型缺陷、幻觉等问题凸显；AI应用风险不断蔓延，人机伦理、劳动替代、能源短缺等问题突出

  牛津大学的伊利亚・舒梅洛夫博士及其团队在《Nature》上发表的论文提到，当生成模型开始接受AI内容训练时，最终生成内容的质量会显而易见地下降，反馈循环可能会引起模型输出偏离现实、甚至有明显偏见的内容，研究人员将此现状称为“模型崩溃”

  此前，国内领先的AI实验室DeepSeek发布新的AI模型DeepSeek V3模型就出现在测试中竟然声称自己是OpenAI的ChatGPT的情况，还可以详细阐述OpenAI API的使用方法。

  “相比之下，文本生成的训练数据会更杂一些，也更加容易被污染，假如没有人工仔细筛选，很可能会收录进一些虚假的新闻。”

  如果AIGC的增加是必然趋势，那普通用户该如何对这类内容有效甄别？某互联网大公司AI安全研究员Lisa（化名）对此表示，普通用户都能够从图像的视觉纹理特征来区分AI创作。“一般生成的图片颜色更加鲜艳、纹理更加平滑，而生成的视频运镜缓慢，画质模糊，常常会出现类似文字的乱码内容

  据“趣解商业”了解，现在已经有AIGC检测工具根据相似检索、内容检验测试和水印追溯等方法，支持文本、图片等AI生成内容的检测。Lisa表示，如今生成内容越来越逼真，真实图片与生成图片的特征差异越来越小，检测工具的模型学习难度其实也在增加

  不过，大部分用户都是不熟悉AI技术的普通人，不具备鉴别意识和能力，识别AIGC、鉴别真假不应成为用户的负担和责任

  想要防范AI创作内容带来的风险，除了用户增强核实意识与能力，平台也应当加强规范

  据“趣解商业”了解，目前已有多家社媒平台针对AIGC内容做出了相应的监管规范

  小红书在2023年启动了AIGC治理体系建设，对识别为疑似 AI 生成的内容做显著标识；抖音也在2023年、2024年陆续发布了《关于人工智能生成内容的平台规范暨行业倡议》《 AI生成虚拟人物治理公告》等一系列公告，并持续对多种AIGC造假内容做严厉打击；今年1月，快手还在站内开设了“辟谣”榜位，通过官方账号转发辟谣作品，利用算法优化，增加辟谣内容曝光量，同时将辟谣信息精准推送给曾浏览过相关谣言的用户。

  同时也要注重用户教育，通过平台的官方渠道，如发布指南、教程、案例分析等形式，提高用户对AI内容的识别能力和辨别真伪的意识和能力。张子航律师还表示，AI生成工具要有提供显著标识的功能

  “如果这类服务未强制标识，创作者也不声明为AI创作，我个人觉得是构成共同侵权的，需要承担一部分的侵权责任。”

  “AI工具企业会避免生成含有色情、暴力等价值观扭曲的内容，但却管不了内容的用途

  这其实是使用者的问题，也是AI企业很难管辖的领域。”如今，国内外都愈加重视对AIGC的监管与合规性问题，目前至少有60多个国家制定和实施了人工智能治理政策

  2023年1月10日，国家互联网信息办公室、工业与信息化部和公安部联合发布的《互联网信息服务深度合成管理规定》正式施行，旨在加强互联网信息服务深度合成管理，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益；此后，国家网信办联合国家发展改革委等多部门公布了《生成式人工智能服务管理暂行办法》，并自2023年8月15日起施行。

  新的技术进步呼吁新的监督管理体系，而这一点并不能完全指望科技商业公司的自我约束，需要监管方、平台方的共同努力。尽管AI的应用场景范围广泛且难以界定，但法律和道德的边界始终清晰