证券时报官方微信公众号

扫描上方二维码关注微信公众号

证券时报官方新闻客户端

扫描上方二维码下载客户端

首页新闻深度
您所在的位置:首页>新闻>深度

人工智能领域重大突破:GPT-3诞生!到底能改变什么?未来这五大领域或率先应用

2020-08-05 22:00 来源: 证券时报·创业资本汇 作者: 李明珠 陈晓楠

在风起云涌的2020年,人工智能界似将掀起科幻电影照进现实般的技术浪潮,创投圈正静观其变,伺机而动。

近期,OpenAI开发的GPT-3(第三代文本生成器)在硅谷内外引发热议。OpenAI是于2015年创立的人工智能非营利组织,旨在让AI发展服务人类福祉。而这家机构出名的背后,是因为它的创立有特斯拉CEO马斯克的支持,虽然他于2018年2月离开董事会,但这支专注于在人工智能领域进行颠覆性创新的生猛团队,仍然成为硅谷的焦点。

GPT-3到底是什么?

GPT-3 全名“General Pretrained Transformer-3”,是 OpenAI 开发的一个自然语言处理的计算模型,最初出现在2020年五月底公开发布的一篇论文“Language Models are Few-Shot Learners”(小样本学习的语言模型,第一作者为Tom Brown)。

根据OpenAI的官方解释, GPT是一种自动补全工具,是语言理解和建模的先驱之一,它通过无人监督预训练和监督微调实现文本的自动补全。GPT-2是GPT的直接扩展,具有超过10倍的参数,并接受超过10倍的数据量训练。GPT-2可以根据预设文本预测下一个单词,从而生成文本的连贯段落,无需经过特定的预训练就可以执行基本的阅读理解、机器翻译、问题回答和摘要概括,并具备初步的图像生成功能。

通俗的理解,可以认为GPT2能够写出与它的风格和主题相匹配的看似合理的段落。很少显示出任何与以前的人工智能系统不同的奇怪之处,比如在段落中途忘记写些什么,或者破坏长句的语法。而根据海外媒体报道,早在2019年OpenAI基于GPT-2已经研发出能够写新闻和小说的AI机器人,但是由于担心技术被滥用暂时不敢公布研究成果。

举例而言,如果向这一人工智能系统输入乔治·奥威尔(George Orwell)的《一九八四》小说的开场白——“四月份是一个明亮的寒冷的一天,时钟敲了十三下”,随后这套系统将会识别出模糊的未来主义基调和小说风格,并继续写出以下的句子:“在去西雅图找新工作的路上,我坐在车里。我加满油,把钥匙放进去,然后就让它跑路。我只是想象这一天会是什么样子。一百年后的2045年,我在中国农村贫困地区的一所学校当老师。我开始教中国历史和科学史课程。”

一年之后OpenAI便取得更加突飞猛进的成果,相比二代,GPT-3的图像生成功能更成熟,不需经过微调,就可以在不完整的图像样本基础上补全完整的图像。GPT-3意味着从一代到三代的跨越实现了两个转向:从语言到图像的转向,图像生成领域的无监督学习转向,应用领域更是值得期待。

OpenAI目前已开放商业API内测版,各家开发人员和商人对GPT-3的测试和实验结果涌现社交媒体,无不印证OpenAI官方解释的基础功能:阅读理解、机器翻译、问题回答、摘要概括和图像补全,以及延伸功能,例如与历史人物对话、文本描述生成代码和绘图助手等。国外知名科技媒体《连线》(WIRED)提及一个富有创造性的实验:丹佛的企业家艾略特·特纳(Elliot Turner)发现,GPT-3可以改变文本的语义色彩,例如将粗鲁的语词改写为有礼貌的语词。

用启明创投合伙人周志峰在接受证券时报·创业资本汇记者采访时的总结来说,GPT-3是一个语言模型的训练方式,简单说其核心是把模型尺寸增大到了1750亿个参数,并且使用45TB海量且内容丰富的数据集进行训练。

“我认为这是人工智能技术依从量变引发质变的规律的发展过程中、在量变积累阶段中的一个进展,尽管不能被描述为大变革。但是GPT-3解决的问题也非常重要,即之前的语言模型过度依赖某个领域的标签数据,致使标注数据非常耗时耗力,而且训练出来的模型也很难被泛化到其他领域。”他表示。

AI发展迎来新变局?

公开信息显示,现任OpenAI Nonprofit董事会由Greg Brockman(主席兼CTO),Ilya Sutskever(首席科学家)和Sam Altman(首席執行官)等人组成,早在2018年和2019年2月就相继发布了GPT和GPT-2,在去年7月,获得了微软10亿美元的资本加持。

但投资圈对异军突起的GPT-3仍然保持审慎冷静的态度。加密货币市场信息分析平台IntoTheBlock的CEO杰西·罗德里格斯(Jesus Rodriguez)从区块链的视角解读GPT-3此类Transformer模型的应用可能。

他认为人们在努力将 Transformer 模型应用到SingularityNet等去中心化的 AI 架构中,此举将拓展 Transformer 模型的应用场景。迄今为止, GPT-3 等Transformer 模型都是大公司的特权,只有大公司的 AI 实验室才有足够的数据和资源来构建并运行如此大规模的神经网络。去中心化 AI 为我们提供了另一种方案,可以在基于激励机制运行的去中心化网络中训练、执行并监控 Transformer 架构。

AI重点研究和咨询公司Cognilytica的执行合伙人兼首席分析师凯瑟琳·沃尔奇(Kathleen Walch)在《福布斯》网站发表观点,AI研发活动需要花费大量资金进行构建和测试,进行这些研发投资的不利之处在于回报的高度不确定性。因此AI公司要么证明自己研发了具有伟大变革性的技术,要么证实成熟的技术企业、政府和咨询公司都希望这项技术应用到实际项目中。

在GPT-3被行业和媒体大肆渲染享受众星捧月的同时,也有冷静反省的声音陆续出现。例如有媒体用实验结果证实它的部分输出具有偏向性且会犯低级错误,输出的文本存在偏见,而这已经是AI领域长期存在的问题。

尽管GPT-3已如此火热,装载1750亿庞大参数的模型如何求得商业价值却待商榷。官网显示,目前为止,OpenAI已经与十几家公司合作,其中包括搜索服务提供商 Algolia、精神健康平台 Koko、Replika、以及社交媒体平台Reddit等。

而作为国内人工智能投资领域的投资人代表,周志峰指出,GPT-3最大的价值是“在自然语言处理技术上,证实了机器在无监督下的自我学习能力,以及验证了纯粹通过扩大规模可以实现性能提升。”他进一步表示,随着人类不断创造出更多的数据、支配更大且更低成本的算力,“我们有信心预测,机器处理自然语言的能力也会越来越强。”

他特别强调,未来文本内容的自动生成 (用机器进行新闻稿生成、文学创作)、新形态的搜索引擎 (question-based)、自动代码生成、更好的机器翻译、客服机器人这些细分领域最可能率先拥抱这项技术。

声明:证券时报力求信息真实、准确,文章提及内容仅供参考,不构成实质性投资建议,据此操作风险自担。

为你推荐

利好加身,中国恒大盘中暴涨18%!恒大物业已递交上市申请,香港大亨刘銮雄夫妇、腾讯、阿里现身
一边争取到863亿战投的继续持股,一边分拆物业子公司上市,许家印的两发大招一举击退了近日市场对恒大的诸多质疑。
2020-09-3011:20
净利至少爆增200%!三季报业绩抢先看,这些公司逆势大增,节后次日起正式公布(名单)
2020年三季度即将收官,A股上市公司业绩究竟如何?目前,已有不少上市公司已提前对其三季报业绩作出预测。
2020-09-3007:52
科技龙头砸出深坑,千亿芯片股回调58% ,抗跌股出炉!印度副总统确诊新冠,蔚来暴涨近11%
科技股能否再度走强?昨日各大指数全线反弹,创业板指涨1.67%,科创50指数大涨3.81%。科技股出现久违的反弹,卫星导航、无人机、锂电池、光刻机等概念板块涨幅居前。
2020-09-3007:20
罕见!两大妖股提醒投资者:依法合规交易!6天股价腰斩,暴跌之下散户热情接盘,如今真成"腰股"?
特停复牌之后,仅仅6个交易日时间,天山生物股价从34.56元,下跌到了19.41元,跌幅接近44%,长方集团从8.30元跌到了4.45元,跌幅达到46%。
2020-09-3000:02
  • 证券时报APP
  • 微信公众号
  • 点击下载