您的位置:首页 >综合 >

Llama2 开源后,国产大模型在卷什么?

2023-08-20 08:32:00    来源:机器之心

机器之心原创


【资料图】

作者:姜菁玲

「GPT 还是 Llama2?」过去几周时间里,许多大模型应用层的开发者不得不开始集中思考这个问题。

7 月 19 日,开源社区最强的大模型从 Llama 升级到 Llama2。后者在 2 万亿的 token 上进行训练,训练数据增加了 40%,在包括推理、编码、精通性和知识测试等许多外部基准测试中,皆优于其他开源语言模型。

「以前的开源大模型都没有形成像 Llama 这样的社区,而 Llama 系列模型正是在这种非常活跃的社区文化下发展起来了,这也直接造成 Llama 系列模型在很多任务上都取得了快速进展,甚至达到了商用标准」,东北大学教授肖桐向机器之心解释。

GPT-3.5 水平通常被认为是大模型商用的标准线,在 Llama2 模型 70 亿、130 亿和 700 亿三种参数变体中,700 亿的版本在 MMLU 和 GSM8K 上接近了 GPT-3.5 的水平。这意味着,作为开源大模型的代表,Llama2 第一次进入了大范围的商业考量决策之中,开发者们拥有了一个免费、开源且足够商用的大模型底座。

今年 5 月份,谷歌一位工程师在内部撰文直言称,当免费的、不受限制的替代品(开源模型)与闭源模型质量相当时,人们不会为受限制的模型付费。

开源与闭源大模型的比赛从此刻开始正式打响。面对开源大模型更低的成本、更快的迭代速度、更高的定制化上限,闭源大模型的壁垒会由什么构建,成为一个问题。

选择 Llama2 的原因有很多,成本是最直接的一个。

当前,GPT-4 接口的调用费用为每 1000 个提示请求 token 花费 0.03 美元,完成响应 token 花费 0.06 美元。斯坦福大学研究员在一份论文中估算,如果是中小企业利用 GPT-4 来协助市场工作的话,每个月的成本可能超过 2.1 万美元。而一个利用 GPT-4 辅助广告文案生成的公司则表示,它们平均每个月要为 GPT-4 接口支付超过 25 万美元的成本。

一家国内 AIGC 应用商对机器之心透露,Llama2 虽然目前在技术水平上距离 GPT-4 有一定差距,但是相比于 GPT-4 的高昂成本,团队仍然选择了使用 Llama2 作为底层模型,通过在产业中积累的行业数据以及专注在垂直场景进行输出,能够弥补一部分技术代差。

「Llama2 出现之后,受打击最大的应该就是 OpenAI,更多的公司会开始直接基于 Llama2 进行商业化开发,而不再购买它们的 API。」猎豹移动董事长兼 CEO 傅盛称。

在免费的冲击下,原先使用 OpenAI 接口的应用层公司会重新思考应该选择哪个路线,有一部分的市场或许将会被 Llama2 重新洗牌。

不过,这个决策并不完全是成本之上的较量。对于「较好的数据和优化是否能够弥补如今 Llama2 与 GPT-4 差距」这个问题,消极的声音占据较多数。

东北大学教授肖桐举例称,以机器翻译场景为例,我们可以用一个类似于 Llama2 这样的开源模型去做指令微调,虽然翻译性能达到不错的程度,但是最终会发现性能上限仍然受限,因为开源大模型的某些能力是在预训练阶段获得的,所以即使你的指令、任务都是明确的,加上很多数据,但你会发现仍然不容易做到 GPT-4 的效果。

另外,相比于往常的披露,此次 Llama2 开源并没有对外披露数据层的具体信息,因此复现 Llama2 成为一件受限制的事情。「比如一座楼房,你只能在这个基础之上去装修却做外设,但是你没有办法去改变它的钢混结构,你没有训练它底座的权限和能力,所以它的性能很难突破,逼近 GPT-4 这个事情是不可能的」,昆仑万维 CEO 方汉认为。

一些应用开发者则认为,按照此时 Llama2 与 GPT-4 的水平差距,如果全力押注 Llama2,付出的代价可能同样很大。「可能你要花很多时间在优化 Prompt 上,而不是产品创新。」

因此,在技术的绝对领先下,GPT-4 仍然会持续吸引到对效果有相对极致的、在成本方面有较大空间的客户。

当然,比起存量市场的转移,Llama2 的更大贡献应该是对整个 AIGC 行业增量市场的拉动。一位 AIGC 业内人士向机器之心表示,Llama2 的开源点燃了很多应用开发者的热情,在开源后的几周时间,许多开发者将它看成是移动互联网黄金时期的阶段,希望能找到应用的切口。

正如肖桐所言,Llama2 能够支持企业和团队在大模型应用层面低成本、快速地启动,作出产品和商业模式的原形。

而随着围绕 Llama 的应用尝试越来越多,「围绕 Llama2 的生态的可能会被建立起来,这种迁移是比较难的,因此生态会成为一个飞轮」,傅盛提到,之后或许将迎来一个模型平民化的阶段,使用大模型做应用的门槛将不断降低。昆仑万维 CEO 方汉则具体指出,在国内,Llama2 对市场的影响将集中在小 B 市场,文生图、智能写小说这类场景会迎来更多竞争对手。

在过去的几周时间里,Llama2 已被接入 Amazon Sagemaker、Databricks、Watsonx.ai、Microsoft Azure、阿里云和百度千帆等各种平台,围绕 Llama2 的生态已经开始发展。

对大部分底层大模型创业公司来说,一条比较明确的商业化路径是效仿 OpenAI,通过自研大约 GPT-3.5 水平的模型,然后向客户提供 MaaS 服务,出售底层模型的能力。

在 Llama2 推出之前,开源社区最强的大模型 Llama 在商用许可上具有限制,而 OpenAI 的接口在国内面临着不确定的监管风险,因此相比于两者,国产大模型在市场竞争中的优势通常是「可商用」、「数据安全」以及更好的「服务支持」。

Llama2 的释出削弱了国产大模型创业公司在市场上的竞争力。「从许多公开的测试集上,我们可以看到,国内大部分的大模型公司的水平距离 GPT-3.5 仍然有距离」,一位 AI 方向资深投资人称。也就是说,对于国内的大部分大模型创业公司来说,Llama2 意味着一个价格碾压(免费)、技术更强以及可以支持商用的竞争对手。

对那些自研大模型积累不够的公司来说,Llama2 产生的打击则更甚。傅盛认为,「Llama2 将开源的水平提升到了接近 GPT-3.5 的水平。如果说此时你的自研水平远远不如 Llama2,那么意味着可能你之前的工作都白做了。」

对这部分公司来说,当前面临两种选择,一是抛弃自研路线,利用自己此前积累的数据和经验开始用 Llama2 进行开源模型训练,二是继续坚持自研路线,但是需要衡量所付出的时间和金钱成本,以及最终自身能否追赶并超越上快速迭代的开源生态。无论哪种,都是一个艰难的选择。

Llama2 为开源社区贡献的新的技术里程碑,不仅拉高了闭源公司整体的自研门槛,或许还将动摇很大一部分公司「继续自研」的决心。

「对于很多公司来说,当你自研的大模型没有办法去超过 Llama2 后,你会越来越没有动力去自研模型,会更倾向于站在巨人的肩膀上,这更多是一种心理层面的影响」,面壁智能 CTO 曾国洋说道。

而如果认为自己短期内凭借自研能力无法超过 Llama2 的这部分公司,「很有可能就会去考虑成为端到端的应用公司,利用自己的既有模型结合开源模型,直接向市场提供应用,最后实现数据上的闭环,从而不断迭代」,上述投资人表示。

不过,对于头部大模型公司来说,「自研」路线上的摇摆现象概率要低得多。昆仑万维从 2020 年开始筹备大模型,已经对外推出了成熟可商用的大模型产品。昆仑万维 CEO 方汉告诉机器之心,目前对于昆仑万维而言,在技术上更值得期待的是,如何从 GPT-3.5 提升到 GPT-4。「国内已经在牌桌上的大模型公司对如何做到 GPT-3.5 大多已经没有什么疑问,但下一步如何做到 GPT-4 仍然需要花大力气探索,因此 Llama2 在技术上对大厂没有什么参考意义」。

同样已经推出成熟大模型产品的公司面壁智能 CTO 曾国洋持类似观点。他认为,在技术上 Llama2 最多在一些具体任务上可以起到一些 Benchmark 的作用,但是 Llama2 最值得参考的数据处理层面没有开源,因此整体在技术上参考意义有限。

从市场竞争的角度来看,在国内市场,相比于 Llama2,国内头部大模型公司拥有更优越的中文表现、更稳定的监管预期、更便利的服务支持以及更近的市场渠道。因此,面对于 Llama2 的免费优势,能够做到在性能上更好、模型更加易用的头部大模型公司,理论上就能够继续维持整体优势。

并且,对于头部大模型公司来说,在自研路线上投入的沉没成本远远超过中尾部大模型公司,不同自研的路线往往也代表了公司的行业、场景上的侧重点,头部公司有足够的资金、人才以及驱动力继续自研。

Llama2 对国内大模型公司的影响将是一个持续的过程。如今全球范围内 AIGC 行业仍在起步上升阶段,并没有稳定的市场格局。由于底层技术水平仍在早期,中国市场则更加分散,尚未发展起来。全球来看 GPT 的市场份额应当是最大的,而国内目前 Llama2 能够受影响的市场仅仅只是担心 GPT 受监管影响、且国产大模型都不适用的这部分客户,是一个「暂存市场」。

不过,虽然「暂存市场」整体并不大,但在暂存市场中证明自己的模型商业化能力已经成为许多大模型公司的「融资通行证」。上述投资人告诉机器之心,在比较标的的过程中,虽然 Llama2 在技术上起到的参考价值不大(有 GPT-3.5),但是公司如何应对 Llama2 带来的商业化危机会成为资方较为在意的点。如果说,在这场市场竞争中失败,融不到资,可能就会影响到大模型创业公司的存续问题,在目前的阶段,这可能是一个更致命的问题。

无论是 Llama2 瓜分闭源公司的既有市场份额,还是推动整个行业进一步繁荣,「开源 AI 正在取得胜利」这个判断似乎拥有了更多实证。

这个观点来自于今年 5 月谷歌一位工程师在内网发布的文件。在谷歌与 OpenAI 仍在焦灼 AI 军备竞赛之际,这位工程师在文件中直言:开源派与谷歌和 OpenAI 模型之间的差距正在以惊人的速度缩小,它们将很快对谷歌和 OpenAI 进行超越,我们没有护城河。

「一家公司不断在前面推天花板,后面的人不停追赶,虽然它可能会有自己累积的技术优势,但是别人在追赶它的时候,能看见它已经成功做了什么,那么(追赶)就会更容易」,西湖大学张岳教授对机器之心解释。

面壁智能 CTO 曾国洋则进一步表示,从目前公开资料所披露的 GPT-4 的具体技术情况,我们发现它并没有使用一些特别神奇、超越时代的科技,本质上也是用大家都能理解的技术来做拼接组合,最终实现了效果更好。

如果说,领先的闭源模型是确定可追随的,那么意味着,「长远来看,闭源大模型并没有真正的护城河」,曾国洋与张岳认为。

在商业环境中,一家基于开源模型研发的的垂直 AIGC 产品公司近日告诉机器之心,经过它们的内部验证,任何闭源模型的更新,它们有信心能够结合自身的数据和工程化经验,三个月内在自己垂直的场景中实现差不多的水平。

当然,短期来看领先的闭源模型相较于开源模型,护城河仍然十分清晰。东北大学教授肖桐认为,相较于开源模型,走闭源路线的大厂在人才、组织以及数据三个方面有短时间难以取代的优势。大厂往往拥有更高密度更高水平的人才,以及有经验的团队能够协调人才和高性能设备,并且能够拥有其他人无法拿到数据。此外,曾国洋还提到,大厂往往也拥有充足算力。「但长期来说的话,数据和算力各种要素都会慢慢追平」。

在这个过程中,开源模型真正的影响力在于对生态系统的构建。「Llama2 可能会推动大模型上下游进行整合,一旦解决了规模的问题,成本也将大大下降」,肖桐表示。

虽然目前 Llama2 仅仅可能是大模型开源生态系统的开端,「大家对 Llama2 的能力边界不是非常清晰,生态系统的形成同样需要一些时间」。但随着 Llama2 的释出,开源社区的技术能力被带上另一个台阶,大模型开源社区的力量已经无法被忽视。

标签:

相关阅读

精彩放送

“月销”改“已售”,淘宝商品展示规则变更

青岛市加快推动农业机械报废更新工作

夏去秋来,杜莎之谜多重保湿安瓶精华液吹响肌肤补水号角

我为新广东点赞|走访潮汕各村落,探寻记忆深处的文化传统

李嘉诚家族减配房地产是正常现象

中国证监会:降低证券交易经手费 同步降低证券公司佣金费率

为爱助攻!七夕前夕,100多款美妆新品在天猫集中发售

工信部:鼓励保险业创新研发网络安全相关保险产品和服务

中国证监会:将丰富个人养老金产品体系

3i智能净地站获iF设计奖 首创科技定义清洁家电新形态

跨越27年的读书会,在“无声世界”传递爱的声音

鼓励置业促经济 北京御翠园体现均衡市场价

四川每月养老金4800元是什么水平?2023年四川养老金重算补发如何计算?

“椰妹”进京开首店!椰子鸡火锅下半场“现砍”制胜,引领行业新高度!

农业发展银行四川省分行资深信贷经理蒙君接受纪律审查和监察调查

本来生活自有品牌“糕上有点” 累计销售超4.5亿元

星巴克中国创新科技中心计划在今年9月投入运作

Tikcake蛋糕:甄选优质原料,融入创意灵感,满足消费者每一颗味蕾

开创高端智能新格局,吉利发布子品牌“极越”

女子吃了汉堡赶高铁,差点休克?出现这种情况一定要警惕!

逾700家公司披露半年报 超半数净利润正增长

南京医药(600713)8月18日主力资金净买入279.50万元

湖北郧西:七夕习俗焕发新的生机

年内超20家券商收监管罚单

比亚迪集团携旗下四大品牌亮相成都国际车展

专访丨万华生态科技总经理宋仁松:不做单品,做全系绿色空间系统解决方案

贵州黎平发生一起火灾致9人遇难2人受伤

绿色转型成功经验!全国最大露天矿排土场光伏项目并网发电

国家电影局:暑期档票房创历史新高

重磅利好!郑州华侨城双名校交付仪式圆满举行,开学在即

全国和美乡村篮球大赛(村BA)西南赛区大区赛在贵州台盘村火热开赛

青海:“鲜食蚕豆+蔬菜”复种模式每亩可实现综合收益突破万元

亚马逊:截至今年6月,近半数中国卖家已在2个及以上国际站点开展业务

南博会进口食品企业安全责任年活动启动

【考前手册】书画传习·快问快答

刘焕鑫同志任国家粮食和物资储备局党组书记

仙客来灵芝入选杭州亚运会官方供应商

第十七届中国心理学家大会在京开幕

2023年暑期档票房突破177.79亿元 刷新历史纪录

白酒板块午盘走弱 贵州茅台股价下滑0.82%

物美超市河滩店重张开业

忙着“救”行李箱 男孩脚卡扶梯缝隙

苏州阳澄湖半岛烟花秀免费吗?

连通金陵农居共富路——建行南京分行“裕农通”扎根田间地头

四川内江70分钟连震3次,有列车停在半路

丰厚奖金等你拿!咖啡领域巅峰对决,向冠军发起挑战!

最高法发布司法解释:有效保护森林资源 推进生态文明建设

河南安阳县:巡回审判解纷普法两不误

辽宁沈阳一轿车与水泥罐车相撞,已致3死2伤

携手TEPOR 天跑,国家五人制棒球队获得新助力

惠州4县区发布暴雨预警,惠阳新圩挂橙色预警

港股内房股开盘回升,宝龙地产涨10%

贵州黎平发生一起火灾致9人遇难2人受伤

中国人民银行省、市分行今日挂牌

讨论女足体重却被狂喷,赵瑜洁:世界最懂球的两类人,中国足球媒体,中国足球球迷

具备性能又贴近生活,哪吒GT得宠小妙招

QQ空间保存视频“被外星人劫走”?回应来了

广铁集团对违规使用商务座一事进行调查处理

贵州黎平县一客栈发生火灾 9人不幸遇难2人受伤

哥伦比亚6.1级地震致震中附近数十栋房屋损毁

绍兴男子高空抛犬 被警方采取刑事强制措施

云南疑被拐缅北女子母亲首发声:已联系上但不确定是否在国内 目前还在寻找

“双壹计划”为海南乡村振兴注入澎湃动力

无票铁路职工躺商务座脱鞋睡觉 广铁集团:2人补缴车票,列车长免职

全民健身——河南洛阳:打造高水平社区体育公园

天娱数科2023年上半年净利润扭亏为盈 数据流量业务显著增厚上半年业绩

事关机动车登记,新措施来了!

央行报告:结构性工具持续支持重点领域和薄弱环节

纵向贯通、职普融通 职业教育加快高层次人才培养

前7月风电太阳能发电新增装机超1.2亿千瓦

社保卡成"明白卡" "新玩法"让便民场景更多样

8·18全国护发日丨科学远离头油、头痒、脱发

重拳治理群众乘坐出租汽车反映强烈问题 我市曝光违规车辆所属企业

夏季药片也会怕热?这几种常见药请放入冰箱“避暑”

“海洋石油122”为深水油气田开发提供新选择

观战台:曼城纽卡打响石油德比 巴萨巴黎争赛季首胜

华鑫证券:给予横店影视买入评级

广铁暑运日均发送人数超今年春运 广州深圳长沙成返程高峰热门方向

妙鸭相机满月 付费模板来了

市科技局:为产业强市贡献科技力量

母婴安全的“守门将”

老 顾

全力做好会计服务工作

微脉发布国内首款健康管理领域大语言模型应用CareGPT

乳 名

湘潭电化(002125):8月17日北向资金减持52.35万股

河北省以前年度平均缴费工资指数_以前年度平均缴费工资指数

区块链板块8月17日涨0.38%,国盛金控领涨,主力资金净流出16.04亿元

2023海口经济圈消费提振年 | 海口消费券又来了 云闪付与淘宝(天猫)将发放1641万元政府消费券

开幕!

突破百米!贵州这座峡谷大桥 主塔进入百米高空施工阶段

全面注册制半年:券商保荐IPO项目增长48%

2023年服贸会金融服务专题抢先看

筹谋IPO多年终进入辅导期 桂林银行争夺广西首家上市银行“宝座”

受干旱影响 巴拿马运河延长限行措施

湖北监利市发布“监利大米”品牌建设报告

光峰科技上半年营收同比下滑15.45%

平舆县东皇街道:让乡亲们在家门口有活干

亚朵集团二季度实现营收10.93亿元

最高法出台两部司法解释 完善生态环境侵权责任诉讼制度规则