找回密码
 注册会员
52_avatar_small 楼主: 温润而哲

复旦 MOSS 团队回应体验非常不好,称距离 ChatGPT 还有 ...

[复制链接]
online_member 发表于 2023-2-23 18:04:26 | 显示全部楼层
哗众取宠了,不是针对复旦,是所有的大学都不可能搞出来ChatGPT这种东西,门槛不在技术上而是在资金上,国内只有BAT、华为这样的可能搞出来。事实上百度、华为、字节等都在做,只是差着ChatGPT一个量级,而复旦做的比百度、华为也差的远。
下面转一个微软内部人士对ChatGPT的看法。
作为美国微软内部人士谈谈ChatGPT
Anonymous萧峰
我去年在西雅图微软,而且就在负责开发Bing 后台一部分算法的 WebXT 组后来因为个人原因离职了.作为了解 ChatGPT 和新 Bing 部分内幕的底层码农,以及GPT-3和Codex的第一批公测用户,我来谈谈对ChatGPT的看法
1.ChatGPT 的算法包括自回归语言模型(OpenAI 从2017 年的GPT-1 搞到现在选代了3.5代了)还有强化学习的 PPO算法(还记得2018年在TI表演赛上击败OG的Dota2AI吗?就是用这个算法训练的),全都是已经十分成熟的公开算法,本身没有任何秘密可言.但是这种超大规模训练,并不止依靠算法本身,硬件和数据才是王道纯自然语言数据,网上公开的到处都是,也没有什么门槛但是ChatGPT 有一个巨大的先发优势,就是他通过抢先开始公测,收集了大量的用户的使用数据,这是更加宝贵的数据,而这部分数据只有他们家有。只要ChatGPT 仍然是最好用的语言AI,这个雪球只会越滚越大,越来越难追上。另外,为了防止 ChatGPT 输出有害信息,OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本,用来训练模型不要输出有害信息,这部分数据也是OpenAI积淀了几年筑起的数据壁垒。总之,小公司根本做不了 ChatGPT 这样的工程凡是声称投资区区几亿就要做 ChatGPT 这样的AI的,几乎可以认为全是诈骗:真正有可能做出类似产品的,在中国只有 BAT 这种拥有自主云计算平台(市场价租机器做这个就等着破产吧)、且掌握大量用户的互联网公司,而且最好是和 ChatGPT 错位竞争,比如做中国可以正常联网使用的中文模型:并且,其中最困难的部分其实是敏感词屏蔽和有害信息过滤(ChatGPT的屏蔽程度,在国内恐怕是不够的,因为它仍然可能在用户恶意诱导下说出不
该说的东西)
2.再来简单聊聊微软。很多华人,都觉得微软低效是因为印度人太多,尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satya Nadella 的眼界。首先,当时OpenAI 缺钱、且做出来的东西都是 Dota2 AI 这种不能赚钱的东西,马斯克都甩手不干的时候,微软仍在默默地投钱、给机器。去年我还在WebXT 组的时候就听说CEO有意向在 Bing 用OpenAI的新模型把我们吓得不轻。后来就听说 WebXT 组停了好多项目,开了好多人,把几乎所有机器都借给OpenAI了。因为 CEO 想拨款买新机器给OpenAI 用,遭到很多利益相关的反对,尤其是 CFO不给批,于是只好绕过 CFO 抽调微软原本用于研发的机器:这样WebXT 人多机器少,很多研发人员干不了活,正好再裁了这些“多余”的研发人员。后来的事情,大家都知道了:这个OpenAl的“新模型的名子叫做 ChatGPT,而且火速上了 Bing 。虽然我以前所在的WebXT组是这个事件中的最大受害者,但是如果作为旁观者,我的确十分佩
服 Satya Nadella 的眼界。
3有人说,ChatGPT 会面临 Google 的竞争Google的搜索引擎仍然是最好用的,Google 的用户是全世界最多的,Google 的自然语言 AI 技术也是领先的,所以完全可以等 Google 出竞品,也能做得很好,所以不必唱衰 Google。这里的论据都是对的,但是最后-步论证“所以不必唱衰Google”这步,没那么简单。我看了最近一个 Satya Nadella 的访谈他的大概意思是,ChatGPT 的技术,头部科技公司迟早都会掌握,包括 Google:但是ChatGPT的推断成本高昂,而且消耗的算力与用户体验高度正相关:而搜索引擎用户粘度小,用户永远会去用体验最好的那个,所以这会迫使所有科技公司搞军备竞赛,大幅推高搜索算法的成本,使得Google 赖以生存的搜索告业务再也无法躺着赚钱:但是微软的营收却更加多元化,因此受到的冲击会更小,却能享受到Edqe浏览器、甚至Windows 系统市场份额增加的好处。很多人还在想第一层第二层,人家 Satya 已经想到了第五层了。说的直白一点,现在微软就是开启了大模型军备竞赛,想要卷死 Google。当然这并不是“内卷”,毕竟用户的使用体验提升了
您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

手机版|UFO中文网

GMT+8, 2024-12-23 08:34

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表