当前位置:周记财经 > 资讯 > 正文内容

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

更新时间:2026-08-09 06:52:33 资讯3年前 (2023-04-21)41
《科创板日报》3月8日讯 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

《科创板日报》3月8日讯(编辑 宋子乔) 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。

那么,究竟什么是合成数据?它又为什么可以为数据要素市场“增量扩容”呢?

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。简言之,合成数据是计算机“举一反三”制造的模拟数据,为训练、测试、验证AI模型和算法而生,相当于为AI模型打造一片“题海”。

以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。OpenAI透露,ChatGPT的训练使用了45TB的数据、近1万亿个单词,大概是1351万本牛津词典所包含的单词数量。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。

来自阿伯丁大学、麻省理工大学、图宾根大学的Pablo Villalobos等6位计算机科学家就预测,到2026年,ChatGPT等大型语言模型的训练就将耗尽互联网上的可用文本数据,届时将没有新的训练数据可供使用。

人工智能新时代的发展离不开可靠、海量的数据。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

相关文章

支付宝研发掌纹支付功能,或成支付市场新风口

支付宝研发掌纹支付功能,或成支付市场新风口

目前除了内部研发掌纹支付功能外,还预研了多个掌纹支付原型设备,用于线下支付场景,用户只需将手掌置于设备的掌纹识别区,即可完成支付。  支付宝正在研发“掌纹支付”功能,该项目从去年开始加速了研发进程,或...

万马股份(002276):日K线呈现-“乌云盖顶”形态 后市看空(05-16)

万马股份(002276):日K线呈现-“乌云盖顶”形态 后市看空(05-16)

截至发稿,万马股份(002276)报13.49元/股,成交量142.776万手,换手率13.79%,振幅9.99%,量比3.09。 该公司股东人数(户)为83,061...

华尔街“大空头”看好中概股 大举增持阿里、京东

华尔街“大空头”看好中概股 大举增持阿里、京东

财联社5月16日讯(编辑 刘蕊)美东时间周一,美国证监会刊登的13F报告显示,华尔街知名“大空头”基金经理迈克尔?巴里(Michael Burry)在今年第一季度大举押注中国科技股,大幅提高了对京东和...

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

摘要:2023年05月16日佳云科技(300242)股价大幅跳水6.88%,该股报3.52元/股,振幅7.67%。 2023年05月16日13时01分,佳云科技(...

工作人员一句话,凯龙高科立马20CM涨停!

工作人员一句话,凯龙高科立马20CM涨停!

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!  工作人员一句话,这家公司立马20CM涨停!  几乎同一时间,有媒体报道称,针对网传凯龙高科成为国内首家掌握重结晶碳化硅技...

蜜雪冰城被曝5家门店使用过期食材,企业未予回应

蜜雪冰城被曝5家门店使用过期食材,企业未予回应

  新京报讯 近日网上有视频称在3个月内暗访5家蜜雪冰城门店,发现有的将过期原料换标签后重新使用的现象。比如茶汤过期,换个标签继续使用;乳酸菌饮料产品已过期,仍然使用该原料制作饮品。针对此事,新京报记...