您的位置:主页 > 公告动态 > 正大动态 > 正大动态
打造中国版 ChatGPT,海内有哪些学术气力能抢滩?
OpenAI 现已经成为全球人工智能领域的追击目的。
继谷歌献上「Bard」后,中国科技圈也最先沸腾,原本苦哈哈的自然语言处置科研团队,现在成了人人的香饽饽。一场关于资源与人才的竞争已经拉开。
「打造中国版 ChatGPT」,在王慧文的英雄帖中传出,一传十、十传百,成为中国 AI 从业者的配合目的。
然而,无论克日来关于 ChatGPT 的讨论有多火热,我们都要直视一个残酷的现实:在追击 OpenAI 的这场竞技中,最终能攻上灼烁顶的团队并不多。
一方面是成本高昂,「炼」大模子的资金只是打造 ChatGPT 的入场券;另一方面,则是能训练大模子的人才有限。大模子是 OpenAI 打造 ChatGPT 的手艺基石,能否找到适合的人,也极为要害。
大模子一定是一个产学研协力的偏向,ChatGPT 的入局者要想取胜,不仅要有*科学家,还需要有对政商环境有明白、有履历的运营团队,也要有在资源市场有招呼力、愿意 All in 的明星创业者加入。
本篇旨在从学术研究的角度出发,对海内各大潜在气力在这一波 ChatGPT 竞赛中的位置举行清点。
01、高校气力:清华一骑绝尘
在一众高校中,清华大学的位置当属最前。
清华是海内自然语言处置领域(NLP)的学术研究重地,其 NLP 的研究历史深挚, 研究队伍重大,有唐杰、孙茂松、刘知远、黄民烈等着名学者坐镇,他们近年在语言大模子领域的事情十分突出。而且,各大厂的大模子领头人中,也有多位是清华子弟,如京东团体副总裁何晓冬、华为云人工智能领域首席科学家田奇等。
梳理下来,清华系追赶这一波 ChatGPT 的潜在气力主要有三支:一是知识工程实验室(KEG),由李涓子和唐杰带队;二是自然语言处置与社会人文盘算实验室(THUNLP),学术带头人为孙茂松,团队主力刘知远是其门下高徒;三是交互式人工智能课题组(CoAI),由朱小燕及其学生黄民烈配合向导。
清华唐杰
在上一波炼大模子热潮中,清华大学盘算机系教授唐杰是最突出的学术代表之一。2020 年,他聚合北京高校,领衔研发了智源研究院的「悟道」1.0 和 2.0 大模子。
同时,唐杰也是一个十分注重产学研连系与大模子生态建设的学者。2019 年,依托明星产物AMnier 和知识工程实验室的手艺功效,唐杰与李涓子率领确立了智谱 AI。现公司团队有唐杰的多位学生,都是介入「悟道」2.0 的主力。
唐杰是数据挖掘偏向身世,李涓子则是知识图谱偏向著名学者,这决议了智谱 AI 做大模子的特色是“数据 知识”。去年,智谱 AI 宣布了双语千亿大模子 GLM-130B,并以开源开放的形式供研究机构或小我私人免费下载使用。
GLM-130B 接纳了 KEG 实验室在 2021 年提出的 GLM 模子架构,在多个义务上性能优于 OpenAI 的 GPT-3 模子。通过模子量化手艺,唐杰团队还提高了模子的易用性,降低了盘算成本,GLM-130B 可在一台 A 100 或 V100 服务器上举行推理。
此外,唐杰团队还与多家大企业确立交流与联系,支持企业开发大模子,好比阿里的 M6。唐杰的学生杨植麟是 NLP 创业公司循环智能的团结首创人,也介入了华为“盘古”大模子的研发事情。
据领会,现在智谱 AI 已经在研究类 ChatGPT 产物。
清华孙茂松、刘知远
从 NLP 的学科偏向上看,清华系中最为“根正苗红”的一支是孙茂松、刘知远团队。
清华大学自然语言处置与社会人文盘算实验室(THUNLP),是海内最早开展 NLP 研究、且*影响力的科研单元。实验室于 20 世纪 70 年月末确立之初,由中国 NLP 开山人物黄昌宁率领,ACL Fellow 孙茂松是他的学生,刘知远则是孙茂松的学生。
THUNLP 在 NLP 领域积累深挚,曾于 2015 年宣布中文诗歌天生系统「九歌」,基于大量人类创作诗歌举行训练,在学界和业界引起普遍关注。
在语言大模子方面,孙茂松、刘知远团队从 2018 年跟进预训练范式,2019 年头宣布了 ERNIE 语言模子(与同时期百度版 ERNIE 同名),之后研发了 CPM 模子,是智源研究院「悟道·文源」的前身。
孙茂松、刘知远及其门下结业的学生,在 NLP 和大模子领域已孵化了多个公司。包罗涂存超于 2017 年确立的幂律智能,专注于 NLP 在执法领域的应用;岂凡超于 2022 年确立的深言科技,致力于以自研中文大模子构建工业级中文信息处置引擎。
另外另有曾国洋去年确立的面壁智能,专注于大模子加速与应用落地,公司团队为「悟道·文源」的主干成员。他们团结 THUNLP 与智源研究院语言大模子手艺创新中央提议了 OpenBMB 开源社区,推出了 CPM-Live 百亿中文大模子直播训练项目,以及大模子全流程加速工具。
在 ChatGPT这一波中,THUNLP 一脉的优势在于其 NLP 学术功效多,且有大模子的研发履历,挑战在于工程化和商业化。
聆心智能黄民烈
ChatGPT 作为一个谈天机械人,其背后有对话系统手艺做支持,在这一偏向上,清华大学交互式人工智(CoAI)课题组的研究十分突出。
CoAI 由朱小燕和她的学生黄民烈坐镇。黄民烈是对话式人工智能领域的专家,著有《现代自然语言天生》一书,此前也介入了智源「悟道」大模子的研发。
黄民烈也是清华系学者中下场创业的一员,他于 2021 年确立了「聆心智能」。基于大模子和对话系统的研究基础,黄民烈选择了心理咨询谈天机械人赛道。2022年,他的团队推出了一个名为「AI 乌托邦」的交互机械人,用户可以定制 AI 角色,与机械人举行深入对话。
作为海内为数不多有实力训练大模子的团队之一,黄民烈在克日完成 Pre-A 轮融资后称,相比 ChatGPT,他们更希望将「聆心智能」定位为「中国的 Character AI」——在文本天生的基础上,为用户提供情绪的陪同。据领会,其团队在心理康健领域已积累海量优质训练数据,模子参数目超 30 亿。
02、大厂系
在海内互联网大厂中,在大模子方面*的*梯队包罗百度、阿里、京东与华为。除此之外,这一波宣布入场研发 ChatGPT 的互联网公司另有腾讯、字节跳动、快手、360、科大讯飞、网易等。在军备竞赛般的 ChatGPT 研发中,大厂的钞能力无疑占有*优势。
有行业人士评价,现在 360 在内的一些大厂在类 ChatGPT 手艺上的各项指标只能到达略强于 GPT-2 的水平,与当前的 ChatGPT 相比尚有代差的落伍,在语言大模子上属于赤手空拳上阵(如快手、科大讯飞、网易等),以是,类 ChatGPT 测试版的推出时间以及现实效果均存在重大不确定性。
百度文心大模子
在自然语言处置领域,百度是一众大厂中手艺积累历史最长的一个。
百度文心大模子的研发由 CTO 王海峰带队。在「文心一言」项目中,王海峰也是担任总指挥,尚有焦点成员吴甜(百度团体副总裁、飞桨平台研发领衔人物)与吴华(百度手艺委员会主席、百度翻译手艺团队首创人之一)。
百度是海内最早深耕预训练模子研发的团队之一,2019 年就宣布了中文效果逾越 BERT 的 ERNIE 1.0 和 2.0 模子;2021 年 7 月宣布的 ERNIE 3.0, 在 SuperGLUE 上逾越了GPT-3;同年宣布的“鹏程-百度·文心”(ERNIE 3.0 Titan)则是*知识增强千亿级大模子。
“知识增强”是文心系列所走的手艺蹊径,即引入语言知识和天下知识等,从大规模知识图谱和海量数据中融合学习,以提升大模子的学习效率和可注释性。
2021 年,百度还推出一款名为 PLATO 的对话机械人,模子基础是百亿参数对话天生大模子 PLATO-XL。
百度的优势在于其厚实的搜索语料数据,深耕 AI 研究多年的用户数据,并有百度飞桨深度学习平台、自研芯片加持。
微软与谷歌猛烈开战之后,百度是海内最早宣布其研发类 ChatGPT 产物(「文心一言」)设计的团队之一。内部职员透露,其产物形态或为自力入口,或效仿微软 Bing、与百度搜索入口联通。
阿里通义大模子
阿里巴巴达摩院从 2021 年入局大模子,介入了智源研究院「悟道·文汇」大模子的研发,后推出纯文本预训练语言模子 PLUG(270亿参数),完全参照 GPT-3 的架构,集语言明白与天生能力于一身,水平靠近 GPT-3。
达摩院原智能盘算实验室成员杨红霞(已于去年去职)与清华唐杰团队互助研发的 M6 多模态大模子系列,参数也从百亿升至十万亿。
在现任达摩院副院长周靖人的主导下,达摩院于去年 9 月推出了现在阿里大模子功效的集大成之作,即“通义”大模子。
「通义」大模子首次统一了模态、架构和义务,其背后的手艺支持是统一学习范式 OFA。
去年,为推进中文大模子的开源生态建设,达摩院还推出了 AI 模子开源社区「魔搭」(Model Scope),在业界引起伟大回响。
日前,达摩院已确认其正在研发基于「通义」大模子的阿里版 ChatGPT,除了文本天生外,还具备绘画功效。据领会,其类 ChatGPT 产物将和钉钉深度连系。
京东言犀大模子
京东从 2020 年最先研究 AI 文本天生,用以支持京东商城商品页面形貌的天生。有新闻透露,京东商城页面中,20% 的产物先容都是由 AI 团队用 NLP 手艺天生。时代,由于 NLP 手艺的整体消沉,研发受阻,但厥后京东又重新重视,推出了言犀大模子。
2018 年从微软脱离加入京东的何晓冬,是现任京东团体副总裁、京东 AI 研究院执行院长,也是现在京东大模子研究团队的带头人。
2021 年,他与原京东 AI 掌门人周博文(已于 2021 年 11 月去职)带队,在京东言犀篇平台上研发了领域性模子 K-PLUG。该模子与京东的电阛阓景慎密连系,从电商领域特定知识中学习,能够自动天生商品文案。
京东现在还没有千亿级参数的大模子,K-PLUG 也只有 10 亿参数,但这次京东云言犀平台也宣布入局,将推出 ChatGPT 产物「ChatJD」,且强调其“产业版”色彩。
华为盘古大模子
华为的盘算资源为其研究大模子提供了自然优势。
华为从 2020 年最先结构大模子,带头人是田奇(IEEE Fellow、国际欧亚科学院院士)。
2020 年 3 月,他加入华为云担任华为云人工智能领域首席科学家,同年夏 GPT-3 问世之后,他就立刻组建团队,最先了盘古大模子的研发。华为因此成为 2020 年最早介入大模子竞赛的大厂之一。
基于昇腾 AI,与鹏程实验室、循环智能互助,华为于 2021 年 4 月宣布了「盘古」系列大模子,包罗 中文语言、视觉、多模态、科学盘算四个大模子。
盘古 NLP 大模子是业界*千亿级天生和明白中文大模子。在预训练阶段就学习了 40 TB 的中文文本数据,包罗细分行业的小样本数据。在模子结构上,盘古接纳 Encode 和 Decode 的架构,保证了其在天生和明白上的性能。
华为有千亿模子的研发履历,也有壮大的盘算资源,但这次其发声甚少,尚未明确是否会研发类 ChatGPT 产物。
03、学术初创派
ChatGPT 带来的这一波 AI 商业化热潮有着极高的手艺壁垒,同时也给了科学家们下场创业的伟大时机。
如澜舟科技首创人周明、IDEA 研究院讲席科学家张家兴、西湖心辰蓝振忠、衔远科技首创人周伯文等人,都是学术初创派的代表。
对他们而言,要在未来的 ChatGPT 商业战中取胜,还需要补强工程化和市场运营的能力。就像张家兴和蓝振忠,已经在为他们的研发团队寻找一个 CEO。
此外,我们还能考察到两种入局模式:一种是以壮大的手艺能力为基础,去填补商业化方面的短板;另一种是商业化履历厚实的大佬下场,吸引手艺人才来组队。
最终哪种模式能走得更乐成,我们拭目以待。
澜舟科技周明
在上一轮大模子堆参数的潮水正当火热之时,周明独辟蹊径,为其初创公司澜舟科技选择了一条轻量化大模子的蹊径。
2021 年 6 月,周明确立澜舟科技,在紧接着的 7 月,他的团队就宣布了十亿参数的「孟子」模子,效果可比肩千亿大模子。
这是周明在学术界和产业界两着花的效果。
周明是NLP 领域*影响力的华人科学家之一。他于 1991 年从哈工大博士结业,是百度 CTO 王海峰的同门师兄弟,哈尔滨工业大学教授、NLP 泰斗李生的高徒。博士时代,周明曾研制出*其中英翻译系统。
结业后,周明先是进入清华大学任职任教,并在 1999 年被微软亚洲研究院(MSRA)首创院长李开复挖走,2001 年起担任 NLP 组主任,后升任微软亚研副院长。
在 MSRA 时代,周明在 NLP 手艺的产业化上功效颇多,他介入带队的 ACL 顶会论文跨越百篇,相关手艺还应用到了 Windows、Office、Azure、微软小冰等天下级产物中。
2020 年,周明刻意以一种新的方式追修业术界与工业界的互助,就竣事了在微软事情的 21 年生涯,加入了李开复开办的创新工厂人工智能工程院,担任首席科学家,并最先孵化一个创业团队,最终确立澜舟科技。
据官方新闻,澜舟科技将依附其类 ChatGPT 底层手艺的语言大模子,与拥有海量数据的中文在线互助,打造国产 ChatGPT。周明团队是会继续走轻量化模子蹊径,照样转向做千亿级以上大模子来作为手艺支持,尚不得知。
衔远科技周伯文
2022 年,周伯文回到学术界,加盟清华大学,担任电子工程系长聘教授、清华大学惠妍讲席教授,以及电子系协同交互智能研究中央主任。
同时,周伯文照样一个新创业者。2021 年底,他卸任京东团体高级副总裁,去职确立了衔远科技。
周伯文是中国科学大学少年班结业,博士在科罗拉多大学波尔德分校就读。结业后他进入 IBM 事情,曾任 IBM Research 人工智能基础研究院(AI Foundations)院长、IBM Watson Group 首席科学家、IBM 卓越工程师等。2017 年,周伯文加入京东,出任京东团体副总裁,认真京东的 AI 研究。
NLP、多模态、人机对话等都是周伯文深耕多年的领域。他提出的自注重力融合多头机制的自然语言表征机理厥后成为Transformer架构的焦颔首脑之一,还提出了 AIGC 领域的两个自然语言天生模子架构与算法。2020 年,他当选 IEEE Fellow。
在周伯文看来,ChatGPT 的焦点希望是人的协同和交互学习的提升而非模子变大,而且,ChatGPT 未来必将演酿成多模态,这也正是他向导的协同交互智能研究中央的重点研究偏向。
而在衔远科技,周伯文也已经实现了一些 AIGC 的应用,如使用天生式人工智能加速以消费者和市场为中央的实时创新、提升 sku 创新乐成率。
IDEA 研究院张家兴
粤港澳大湾区,除了鹏城实验室、腾讯,大模子的玩家另有一个,即 IDEA 研究院(全称「粤港澳大湾区数字经济研究院」,由沈向洋等着名 AI 科学家在 2020 年确立。
IDEA 研究院的大模子认真人是张家兴,他也是一位从 MSRA 走出的 AI 科学家。
张家兴于 2006 年从北京大学电子系博士结业,师从侯士敏(现北大电子系教授)。结业后,他先在百度待了一段时间,后加入微软的 Bing 搜索团队,与周靖人有过互助。之后在 MSRA ,张家兴从事系统偏向的研究,并从 2012 年转向深度学习。
2014 年,张家兴加入阿里 iDST(达摩院前身)团队,一年后又去往蚂蚁金服,率领 NLP 手艺团队,将对话机械人应用到金融场景。2020 年,张家兴受 360 数科 CEO 吴海生的约请,加入 360 数科任首席科学家,只待了一年半便脱离。
在 MSRA 院长周礼栋的推荐下,张家兴加入了 IDEA研究院,担任讲席科学家,认真认知盘算与自然语言研究中央。
张家兴团队在 AIGC 这一波中一直较为*,他主导研发了「封神榜」开源模子系列,并在去年推出了海内*其中文版 Stable Diffusion 模子「太乙」。
ChatGPT 问世之后,张家兴在去年底就迅速将团队的大模子研发转向了 ChatGPT 的对话义务蹊径。据其透露,其团队研发的类 ChatGPT 模子效果与 ChatGPT 相当,且仅有 50 亿参数,文本天生速率也很快,现在已在内测中,近期将公测。
只管当前 50 亿参数的模子已经效果很好,但接下来,张家兴设计研发千亿模子支持的类 ChatGPT 产物,并推动其商业化。这也是他最近准备融资、寻找一位 CEO 的缘故原由。
西湖心辰蓝振忠
同样在为团队寻找 CEO 的,另有西湖心辰的首创人蓝振忠。
去年,在众多国产 AI 作画产物中脱颖而出的「盗梦师」(现更名为「造梦日志」),正是出自蓝振忠团队。
蓝振忠本科从中山大学结业,博士在卡内基梅隆大学就读,时代研究盘算机视觉,厥后去谷歌事情时转到自然语言处置偏向,依托谷歌的 TPU 资源研发了著名的轻量化大模子「ALBERT」。
2020 年 6 月,蓝振忠回国加入西湖大学,确立了深度学习实验室,开启语言与视觉连系的多模态研究。
依托西湖大学的科研资源与先前加入的智源「青源会」,蓝振忠开启产学研模式,确立了西湖心辰,先是依托大模子研发了心理咨询谈天机械人「小天」,然后在 2022 年 8 月的 Stable Diffusion 浪潮中首发国产作画产物「盗梦师」。
而在 ChatGPT 出来没多久,西湖心辰就推出了类似的文本天生产物「心辰 Chat」。差其余是,它可以接见互联网,而且是多模态交互,不仅可以天生文本,还可输出图像。
与许多学者身世、下场创业的人一样,蓝振忠也深感团队需要一位具有治理履历、资源整合能力壮大的 CEO,来一起打造中国版 OpenAI。敬请关注 AI 科技谈论明天推送:《蓝振忠也发「英雄帖」,中国版 ChatGPT 明星公司寻找 CEO》
下一篇:没有了