作为美国微软内部人士谈谈ChatGPT Anonymous萧峰 我去年在西雅图微软,而且就在负责开发Bing 后台一部分算法的 WebXT 组后来因为个人原因离职了.作为了解 ChatGPT 和新 Bing 部分内幕的底层码农,以及GPT-3和Codex的第一批公测用户,我来谈谈对ChatGPT的看法 1.ChatGPT 的算法包括自回归语言模型(OpenAI 从2017 年的GPT-1 搞到现在选代了3.5代了)还有强化学习的 PPO算法(还记得2018年在TI表演赛上击败OG的Dota2AI吗?就是用这个算法训练的),全都是已经十分成熟的公开算法,本身没有任何秘密可言.但是这种超大规模训练,并不止依靠算法本身,硬件和数据才是王道纯自然语言数据,网上公开的到处都是,也没有什么门槛但是ChatGPT 有一个巨大的先发优势,就是他通过抢先开始公测,收集了大量的用户的使用数据,这是更加宝贵的数据,而这部分数据只有他们家有。只要ChatGPT 仍然是最好用的语言AI,这个雪球只会越滚越大,越来越难追上。另外,为了防止 ChatGPT 输出有害信息,OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本,用来训练模型不要输出有害信息,这部分数据也是OpenAI积淀了几年筑起的数据壁垒。总之,小公司根本做不了 ChatGPT 这样的工程凡是声称投资区区几亿就要做 ChatGPT 这样的AI的,几乎可以认为全是诈骗:真正有可能做出类似产品的,在中国只有 BAT 这种拥有自主云计算平台(市场价租机器做这个就等着破产吧)、且掌握大量用户的互联网公司,而且最好是和 ChatGPT 错位竞争,比如做中国可以正常联网使用的中文模型:并且,其中最困难的部分其实是敏感词屏蔽和有害信息过滤(ChatGPT的屏蔽程度,在国内恐怕是不够的,因为它仍然可能在用户恶意诱导下说出不 该说的东西) 2.再来简单聊聊微软。很多华人,都觉得微软低效是因为印度人太多,尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satya Nadella 的眼界。首先,当时OpenAI 缺钱、且做出来的东西都是 Dota2 AI 这种不能赚钱的东西,马斯克都甩手不干的时候,微软仍在默默地投钱、给机器。去年我还在WebXT 组的时候就听说CEO有意向在 Bing 用OpenAI的新模型把我们吓得不轻。后来就听说 WebXT 组停了好多项目,开了好多人,把几乎所有机器都借给OpenAI了。因为 CEO 想拨款买新机器给OpenAI 用,遭到很多利益相关的反对,尤其是 CFO不给批,于是只好绕过 CFO 抽调微软原本用于研发的机器:这样WebXT 人多机器少,很多研发人员干不了活,正好再裁了这些“多余”的研发人员。后来的事情,大家都知道了:这个OpenAl的“新模型的名子叫做 ChatGPT,而且火速上了 Bing 。虽然我以前所在的WebXT组是这个事件中的最大受害者,但是如果作为旁观者,我的确十分佩 服 Satya Nadella 的眼界。 3有人说,ChatGPT 会面临 Google 的竞争Google的搜索引擎仍然是最好用的,Google 的用户是全世界最多的,Google 的自然语言 AI 技术也是领先的,所以完全可以等 Google 出竞品,也能做得很好,所以不必唱衰 Google。这里的论据都是对的,但是最后-步论证“所以不必唱衰Google”这步,没那么简单。我看了最近一个 Satya Nadella 的访谈他的大概意思是,ChatGPT 的技术,头部科技公司迟早都会掌握,包括 Google:但是ChatGPT的推断成本高昂,而且消耗的算力与用户体验高度正相关:而搜索引擎用户粘度小,用户永远会去用体验最好的那个,所以这会迫使所有科技公司搞军备竞赛,大幅推高搜索算法的成本,使得Google 赖以生存的搜索告业务再也无法躺着赚钱:但是微软的营收却更加多元化,因此受到的冲击会更小,却能享受到Edqe浏览器、甚至Windows 系统市场份额增加的好处。很多人还在想第一层第二层,人家 Satya 已经想到了第五层了。说的直白一点,现在微软就是开启了大模型军备竞赛,想要卷死 Google。当然这并不是“内卷”,毕竟用户的使用体验提升了
使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
UFO中文网
GMT+8, 2024-11-6 08:05
Powered by Discuz! X3.4
Copyright © 2001-2021, Tencent Cloud.