大佬说AI|李开复亲授“从0到1大模型创业”方法论别胡乱烧钱
- 来源:TechWeb.com.cn
- 2024/5/20 9:23:25
- 22881
大模型创业公司该用什么姿势开启长跑拉力赛?听李开复讲。
1年时间、从0到1打造一家大模型创业企业,其中:旗舰大模型Yi-Large能力跻身全球第一梯队、海外toC产品营收过亿元、开源Yi-1.5系列模型、面向国内外发布多款模型 API 接口、对标ChatGPT5的大模型正在开发……
目前零一万物已经构建起“开源闭源双轨策略”,大模型生成出来,交给 2C做产品,交给API平台推动生态的业态。
“我们狂奔了一年,在模型方面赶上美国最顶尖的大模型,以后还要继续努力。”
李开复称:“但是面对未来,不能只是拼命狂奔,要开始思考怎么进入长跑模式。”
大模型创业公司该用什么姿势开启长跑拉力赛?
作为国内最早的VC创投基金创始人之一,李开复曾被誉为年轻人的创业导师,对成功孵化创业有着深入洞察。
现在,李开复把他和团队的经验总结出“方法论”,并在零一万物一周年时分享出来了。
选对路:「AGI」 vs 「PMF」 vs 「TC-PMF」
“国内的初创公司,相对硅谷公司的差异,我们能够仰望星空,但也能脚踏实地。”
李开复称,目前大模型创业有2条路有很多讨论,有一批人疯狂地追AGI(Artificial General Intelligence,通用人工智能),认为AGI一旦发生世界都改变了,另外一批人会说模型做得越大越难用,还不如赶快找到PMF(适合市场需求的应用)。
/注:PMF(Product Market Fit),指“产品市场匹配度”。硅谷著名风险投资家、网景公司创始人马克·安德森(Marc Andreessen)最早提出了这个概念,指出了产品市场匹配度的重要性,你所提供的产品正好满足市场的需求,令客户满意,这是创业成功的第一步。/
对此,李开复认为:“这两批人说得都对,但都不完整”。
AGI是梦想,但是你用梦想去指点一个公司的执行,而你又没有财力去做超级大力出奇迹的事情,那其实就是徒劳无功的。
零一万物是务实的AGI信仰者,不会用纯大力出奇迹的唯一思维,追求能不能用一百亿美金、一千亿美金去训练出最好的大模型。Open AI有资格尝试这条道路,但这不是我们走的道路。我们是务实,我们一定要用最少的芯片,最低的成本训练出我们能训练最好的模型。
李开复也强调,不觉得有任何一种技术可以在长期的时间里只靠技术领跑所有的竞争,一定是最终产品的胜出要靠非技术的优势达到口碑的传播。
“今天我们不能忘记PMF的重要性,做所有的产品都应该基于PMF,不是胡乱去烧钱,但有了PMF这个理论是不够的”,李开复表示:“我们提出除了PMF之外AI2.0时代还要考虑TC-PMF,T代表Technology(技术),C代表Cost(成本)。”
之所以要加上“T”和“C”,李开复认为,考虑Technology,是因为大模型仍然按照Scaling laws(尺度定律)在快速进化,要不断预测未来技术会怎么走,而不是基于今天的技术来决定能做什么。
/注:大模型的Scaling Law是OpenAI在2020年提出的概念,即模型的最终性能主要与计算量,模型参数量和数据大小三者相关,而与模型的具体结构(层数/深度/宽度)基本无关。/
考虑Cost,是因为现在大模型推理成本过高,很多用户规模大的应用还不能全面嵌入AI。例如,今天如果开发一个社交应用,每次跟人聊天统统都要调用API帮你画各种东西,最后这个API的成本会让创业企业破产。因此要努力将大模型推理成本降下来。
李开复表示,整个行业应该用更务实的方法,一方面做一个务实的AGI的信仰者,另一方面要务实地把模型尺寸压缩下来,把推理成本降低下来,零一万物在做的是能不能加速比别人的成本更降一步。
“考虑到做一个伟大的大模型公司,不只是底层,同样重要的还有应用,怎么找到复杂的TC-PMF,怎么把这一批完全不同的人聚在一起协作,这是我们在硅谷公司一般没有看到,这是我们独特的方法,也是中国独角兽的机会。”李开复强调。
阐述上述方法论后,李开复还携一众团队大拿,分享了零一万物的实际操作经验。
零一万物的4大发展原则
1、全球布局:模型、产品都面对全球,平行跟跑
一年前开始时,美国全方位领先,我们要谦卑地跟人家学习,人家有好的已经被教育的市场里,看在这个市场里怎么达到TC-PMF。
去年9月开始,零一万物便聚焦生产力、社交赛道于海外应用展开探索,已有 4 款产品陆续上线。目前零一万物海外生产力应用总用户接近千万,海外产品采用会员订阅制,营收今年预期过亿人民币。
李开复强调了成功的经验:“我们平行的在跟跑”。
零一万物创业的前三个月招了一批优秀的产品负责人,先去最先进的国外市场,用当时最先进的模型GPT-4调优当时所有的PMF,调到了国外的PMF。与此同时,几个月间零一万物国内的模型也训练出来了,在国内会把整个应用后端切换到自己的模型上。“在国内能够帮助我们打造更好的模型和用户体验”。
5月初,零一万物在国内推出“万知”的,这款产品就是在零一万物团队在海外已经验证成功达到PMF的产品再推回中国的例子。
现在还在2B方面探索和世界500强达到深度的合作,我们看到美国的一些公司做了行业的金融大模型,但并不是特别地满意,我们认为我们可以和世界500强达成独特的合作,让它深度合作参与达到双赢。
2、模基共建:特别重要,目的是省算力、省成本
“我们今天面临一个现实,就是美国大厂的GPU数量,是中国任何公司、尤其是初创公司的十倍以上。在这个前提之下,我们要怎样才能确保能紧追世界领先的公司,哪怕追上了它现在的产品,它还会有下一个产品的发布。”
“既然不能用10万张GPU来训练,我们就会寻找别的方式,依然能做出非常好的效果。”
用有限的资源来打造一个能紧追对手的方法论。在GPU算力稀缺的情况下,只能竭尽全力的提高计算效率。要特别重视 AI Infra。
AI Infra(AI Infrastructure 人工智能基础架构技术),它涵盖了人工智能开发和部署所需的各种底层技术设施。这些设施包括处理器、操作系统、存储系统、网络基础设施、云计算平台等,它们共同构成了大模型训练和部署的硬技术基础。AI Infra可以被视为连接算力和应用的中间层基础设施。
零一万物的模型团队和Infra架构团队会在一起工作,“这个特别重要”,李开复强调。这也就是“模基共建”。
据介绍,零一万物的大模型和Infra团队有1比1规模。
零一万物模型训练负责人黄文灝补充道,算法和Infra要一体优化,算法人员会往Infra下面看很多,Infra人员会往算法上看很多,我们最后直接并成一个团队,这样我们可以用 One Team 的工作方式来推进。
黄文灝强调,要关注计算效率,它是算法和Infra做联合优化的问题,算法人员应该看到很底层的Infra,怎么提高GPU使用率和GPU之间通信的问题,而不是像过去用别人现有的库调优网络结构,这里面的范式有很大不一样。零一万物所有算法人员都可以写到底层的CUDA算子(注:CUDA是NVIDIA在2006年推出的运算平台),通信算子,这些都是必备的能力。
李开复曾经表示,“做过大模型 Infra 的人比做算法的人才更稀缺”。超强的Infra能力是大模型研发的核心护城河之一。现在,李开复称,重视Infra给零一万物带来绝对的大模型训练成本优势。
3、模应一体:不是只做酷炫的 demo,对用户有价值,这才是价值
所谓模应一体,即模型和应用一体。
如何做到模应一体?
“零一万物有比较多的应用在做,包括生产力、社交、娱乐,我们希望所有的应用都基于一个通用的模型。这个预训练模型作为一个基础可以服务所有的应用。”黄文灝介绍。
“我们打破壁垒,算法团队和应用团队是一体化。一方面以应用为目标的产品经理要不断去了解基础,哪些是模型能做的,哪些是模型不能做的,一定要了解产品的边界在哪里。另一方面技术人员也要去了解产品的需求到底是什么,找到一个实际的应用和模型能够快速一体化迭代的方案。”
零一万物生产力产品负责人曹大鹏介绍,万知和零一万物海外的产品,都是在“模应一体”的组织下打造出来。海外产品的ROI(投资回报率)达到1以上。
为什么要“模应一体”,曹大鹏认为,本身模型在不断提升,模型提升之后,在原来模型基础上做的应用是不是没有价值了?这要求产品跟模型要深度预判技术趋势,在模型最开始阶段或者定义的时候,就把应用思考融入进去。
另外,曹大鹏也分享了零一万物从0到1打造一个应用产品的关注点,”我们实践下来,在0到0.1早期的时候,最核心的产品方法论就是TC-PMF。0到0.1最重要的是怎么让产品能够让用户使用。0到1我们最关注产品长期留存,包括能不能产生用户自传播的口碑。从1到100的过程需要规模化增长能力,怎么把ROI做到1以上。“
4、AI-First应用:找到”普惠点“,才能爆发
李开复认为,现在对于所有大模型公司的考验,在复杂的TC-PMF环境之下,怎样同时开发产品、了解用户和市场,又考虑到技术的发展速度和模型的合理推进,还要考虑推理成本的必然下降……怎么结合起来在它发生的那一点,我们可以称之为“普惠点”,开发出最好的AI-First应用。
“只有达到普惠,模型成本不会成为做一个海量体量产品的障碍,这样的popular app才有可能发生”,曹大鹏进一步举例道:“抖音真正变成一个Super app是在苹果手机推出几年之后,抖音产生Super app的时间点,第一个是4G普及,第二个是安卓千元机的普及,一下子把短视频的市场扩大100倍。”
零一万物一直在努力降低模型使用成本。零一万物API开放平台的负责人蓝雨川介绍,Yi-Large API现在定价是20元人民币,对应100万token数量。这个数字大概是GPT-4定价的不到1/3。
李开复称:“人类的需求是固定的,需要工作、娱乐、沟通、社交、电商、购买,这些需求什么时候才能有AI-Frist应用出来?这个真实带来的价值就是谁会打造一个AI抖音,AI微信,AI淘宝,我们希望我们有可能作为这样一个点燃者。如果我们不能做到,希望一个很好的开发者,能用我们的API做到。”(果青)
版权与免责声明:凡本网注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本网授权不
展开全部
热门评论