当前位置： 首页  >> 智能环球  >> 查看详情

AI“模型崩溃”风险需警惕

来源： 科技日报   日期：2024-09-25  责编： 殷绪江  
分享:
   从客户服务到内容创作，人工智能（AI）影响了众多领域的进展。但是，一个日益严重的被称为“模型崩溃”的问题，可能会使AI的所有成就功亏一篑。“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出。
　　多家外媒报道称，这不仅是数据科学家需要担心的技术问题，如果不加控制，“模型崩溃”可能会对企业、技术和整个数字生态系统产生深远影响。天津大学自然语言处理实验室负责人熊德意教授在接受记者采访时，从专业角度对“模型崩溃”进行了解读。
　　“模型崩溃”是怎么回事
　　大多数AI模型，比如GPT-4，都是通过大量数据进行训练的，其中大部分数据来自互联网。最初，这些数据是由人类生成的，反映了人类语言、行为和文化的多样性和复杂性。AI从这些数据中学习，并用它来生成新内容。
　　然而，当AI在网络上搜索新数据来训练下一代模型时，AI很可能会吸收一些自己生成的内容，从而形成反馈循环，其中一个AI的输出成为另一个AI的输入。当生成式AI用自己的内容进行训练时，其输出也会偏离现实。这就像多次复制一份文件，每个版本都会丢失一些原始细节，最终得到的是一个模糊的、不那么准确的结果。
　　美国《纽约时报》报道称，当AI脱离人类输入内容时，其输出的质量和多样性会下降。熊德意解读称：“真实的人类语言数据，其分布通常符合齐普夫定律，即词频与词的排序成反比关系。齐普夫定律揭示了人类语言数据存在长尾现象，即存在大量的低频且多样化的内容。”
　　熊德意进一步解释道，由于存在近似采样等错误，在模型生成的数据中，真实分布的长尾现象逐渐消失，模型生成数据的分布逐渐收敛至与真实分布不一致的分布，多样性降低，导致“模型崩溃”。
　　AI自我“蚕食”是坏事吗
　　对于“模型崩溃”，美国《The Week》杂志近日刊文评论称，这意味着AI正在自我“蚕食”。熊德意认为，伴随着这一现象的出现，模型生成数据在后续模型迭代训练中占比越高，后续模型丢失真实数据的信息就会越多，模型训练就更加困难。乍一看，“模型崩溃”在当前似乎还是一个仅需要AI研究人员在实验室中担心的小众问题，但其影响将是深远而长久的。
　　美国《大西洋月刊》刊文指出，为了开发更先进的AI产品，科技巨头可能不得不向程序提供合成数据，即AI系统生成的模拟数据。然而，由于一些生成式AI的输出充斥着偏见、虚假信息和荒谬内容，这些会传递到AI模型的下一版本中。
　　美国《福布斯》杂志报道称，“模型崩溃”还可能会加剧AI中的偏见和不平等问题。不过，这并不意味着所有合成数据都是不好的。《纽约时报》表示，在某些情况下，合成数据可以帮助AI学习。例如，当使用大型AI模型的输出训练较小的模型时，或者当可以验证正确答案时，比如数学问题的解决方案或国际象棋、围棋等游戏的最佳策略。
　　AI正在占领互联网吗
　　训练新AI模型的问题可能凸显出一个更大的挑战。《科学美国人》杂志表示，AI内容正在占领互联网，大型语言模型生成的文本正充斥着数百个网站。与人工创作的内容相比，AI内容的创作速度更快，数量也更大。
　　OpenAI首席执行官萨姆·奥特曼今年2月曾表示，该公司每天生成约1000亿个单词，相当于100万本小说的文本，其中有一大部分会流入互联网。
　　互联网上大量的AI内容，包括机器人发布的推文、荒谬的图片和虚假评论，引发了一种更为消极的观念。《福布斯》杂志称，“死亡互联网理论”认为，互联网上的大部分流量、帖子和用户都已被机器人和AI生成的内容所取代，人类不再能决定互联网的方向。这一观念最初只在网络论坛上流传，但最近却获得了更多关注。
　　幸运的是，专家们表示，“死亡互联网理论”尚未成为现实。《福布斯》杂志指出，绝大多数广为流传的帖子，包括一些深刻的观点、犀利的语言、敏锐的观察，以及在新背景下对新生事物的定义等内容，都不是AI生成的。不过，熊德意仍强调：“随着大模型的广泛应用，AI合成数据在互联网数据中的占比可能会越来越高，大量低质量的AI合成数据，不仅会使后续采用互联网数据训练的模型出现一定程度的‘模型崩溃’，而且也会对社会形成负面影响，比如生成的错误信息对部分人群形成误导等。因此，AI生成内容不仅是一个技术问题，同时也是社会问题，需要从安全治理与AI技术双重角度进行有效应对。”（记者 张佳欣）




 
标签：人工智能科技AI大模型GPT


 
 
【免责声明】：
   凡注明 “环球科技网” 字样的图片或文字内容均属于本网站专稿，如需转载图片请保留 “环球科技网” 水印，转载文字内容请注明来源“环球科技网”；凡本网注明“来源：XXX(非环球科技网)”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其作品内容的实质真实性负责，转载信息版权属于原媒体及作者。如转载内容涉及版权或者其他问题，请投诉至邮箱；1978751725@qq.com 
本网公告
环球科技网从不发布负面新闻资讯，也绝不会发布负面信息。如发现负面信息链接请甄别是否为环球科技网所发。
本网系北京伯乐传媒广告有限公司主办、所有。本网唯一域名（www.hqkjw.cn），其它域名链接均为假冒。望广大网民及企业主认真甄别。

咨询、采访、合作、投稿等请致电：13911566744（含微信）
     
 
 


 

相关文章

  • 世界数字科学院计划建立AI安全与伦理标准 世界数字科学院计划建立AI安全与伦理标准 2024-09-24 09:31:54

       9月22日，联合国未来峰会行动日边会线上举办。边会主题是“人工智能时代的数字身份”，重点探讨在AI快速发展时代，如何创建全球数字身份框架这一紧迫问题。世界数字科学院（WDTA）执行理事长、联合国科技委主席顾问李雨航概述了全球数字身份框架的关键需求：强调隐私、安全以及在AI驱动世界中的无缝集成。他倡导，应确保全... [阅读]

  • 2024上饶市“全国科普日”主场活动暨“好奇心”科普节启动仪式在婺源成功举办 2024上饶市“全国科普日”主场活动暨“好奇心”科普节启动仪式在婺源成功举办 2024-09-23 13:25:38

      【环球科技网】 9月20日，2024年上饶市“全国科普日”主场活动暨“好奇心”科普节启动仪式在婺源中学举办。江西省科协一级巡视员孙卫民、上饶市政协副主席叶震春、市政府副秘书长阮彩彪、市科协主席李娟、婺源县委副书记、代县长王庆辉、副县长李甜甜等领导出席活动。    婺源县委... [阅读]

  • IDC中国20大杰出安全项目公布 360联合中海油服项目获选 IDC中国20大杰出安全项目公布 360联合中海油服项目获选 2024-09-19 15:38:58

       【环球科技网】近日，IDC安全风险管控峰会在上海成功举办，会上，“2024 IDC中国20大杰出安全项目（CSO20）”正式揭晓，由360数字安全集团与中海油田服务股份有限公司（以下简称“中海油服”）联合建设的网络安全态势感知平台项目成功入选。    石油是国... [阅读]

  • OpenAI o1思维链模式与360“慢思考”理念不谋而合 OpenAI o1思维链模式与360“慢思考”理念不谋而合 2024-09-16 22:21:40

       【环球科技网】这一次，中美两国的人工智能企业在研发思路上终于站在了同一条起跑线，中国企业的起跑时间甚至更早一些。9月13日，OpenAI发布具有推理能力的人工智能模型“o1”，备受行业瞩目。o1通过模仿人类的思维过程，强化学习和“思维链”技术，引导模型自主解决问题。这一特点在解决复杂问... [阅读]

新闻排行榜

热门新闻

推荐新闻