当前位置:周记财经 > 资讯 > 正文内容

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

更新时间:2026-08-26 16:40:19 资讯3年前 (2023-04-21)48
《科创板日报》3月8日讯 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

《科创板日报》3月8日讯(编辑 宋子乔) 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

那么,究竟什么是合成数据?它又为什么可以为数据要素市场“增量扩容”呢?

其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。简言之,合成数据是计算机“举一反三”制造的模拟数据,为训练、测试、验证AI模型和算法而生,相当于为AI模型打造一片“题海”。

以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。OpenAI透露,ChatGPT的训练使用了45TB的数据、近1万亿个单词,大概是1351万本牛津词典所包含的单词数量。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。

来自阿伯丁大学、麻省理工大学、图宾根大学的Pablo Villalobos等6位计算机科学家就预测,到2026年,ChatGPT等大型语言模型的训练就将耗尽互联网上的可用文本数据,届时将没有新的训练数据可供使用。

人工智能新时代的发展离不开可靠、海量的数据。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

相关文章

真兰仪表(301303):第五届第二次监事会会议决议,5项议案获通过

真兰仪表(301303):第五届第二次监事会会议决议,5项议案获通过

,会议通过了关于使用部分超募资金永久补充流动资金的议案,关于使用部分闲置募集资金进行现金管理的议案,关于使用募集资金置换预先投入募投项目及已支付发行费用的自筹资金的议案,关于使用部分募集资金向全资子公...

石油股早盘持续走高 中海油田服务现涨超4%

石油股早盘持续走高 中海油田服务现涨超4%

  石油股早盘持续走高,中海油田服务(02883)上涨4.16%,报9.02港元,成交额2516.002万港元;   中国石油化工股份(00386)上涨1.74%,报5.25港元,成交额2.449亿...

没有主线拉升赚钱效应带动场外资金,指数短期内很难有进一步上攻动力

没有主线拉升赚钱效应带动场外资金,指数短期内很难有进一步上攻动力

凌空在个人文章中表示,今天市场没有特别出彩的行情出现,多看少动是一个好选择。他分享了一本推荐的历史书《枪炮,病菌与钢铁》,认为读史能使人更明智,具备更强的思辨、逻辑和洞察力。关于操...

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

摘要:2023年05月16日佳云科技(300242)股价大幅跳水6.88%,该股报3.52元/股,振幅7.67%。 2023年05月16日13时01分,佳云科技(...

5月16日 13:14分  密尔克卫(603713)股价快速拉升

5月16日 13:14分 密尔克卫(603713)股价快速拉升

分时图快速拉升意味此时存在大单买入,在大单的推动下,股价快速地上涨。截止发稿,密尔克卫(603713)涨幅1.62%,成交量0.513万手,换手率0.31%。...

合康新能(300048):第五届第二十四次监事会会议决议,3项议案获通过

合康新能(300048):第五届第二十四次监事会会议决议,3项议案获通过

,会议通过了关于续聘中审众环会计师事务所为公司2022年度审计机构的议案,关于2022年度日常关联交易确认及2023年度日常关联交易预计的议案,关于使用自有资金进行委托理财的议案等,共计3项议案。主要...