第065章【灵境GPT-1.0语言模型】
多媒体会议室。 罗靖和唐馨两人进入会议室，工作组的87人开发者成员都已经到场，唐馨在前排找了个位置坐下准备纪要，而罗靖直接走向会议台前，把一个U盘接入电脑，身后的会议大屏幕也启动。 “对于新加入我们团队的80位成员，鼓掌欢迎。”罗靖如是说道，并且带头鼓掌，大家也跟着鼓掌，过了片刻他压了压手势说道：“欢迎仪式结束，自我介绍免了，好，我们直奔主题。” 众人都是一愣一愣的，这欢迎仪式好直接，流程都不走的。 不过在场的员工们也是喜闻乐见，这样最好不过。 多媒体会议室里89个人，罗靖是这个团队的头儿，同时也是最年轻的，他没有社交牛笔症但也并不社恐。 此刻，罗靖看了眼身后的会议大屏幕确认正常运行着便回过头来，他看向一众与会的工程师们说道：“人工智能的概念自诞生以来发展到现在，上个世纪1997年，IBM公司旗下的‘深蓝’击败了当时的国际象棋世界冠军卡斯普罗夫，宣告着AI第一次在复杂智力活动上战胜了人类，在当时震惊全世界。” “我们要做的也要像当年‘深蓝’一样，搞個大新闻，震惊一把全世界。”罗靖拿起一个小遥控器和激光笔走到屏幕一侧，同时按动了一下小遥控器，屏幕的幻灯片翻开一页。 众人一看那是即时战略游戏《星际争霸2》的一张游戏海报，罗靖有条不紊地说道：“这款游戏是迄今为止堪称世界上最难的电竞游戏，选择用星际2来开发训练灵境AI就是因为这款游戏足够的难。” “但凡是竞技，都是寻找最优解的过程，所以不管是星际2还是国际象棋有其相通之处，但国际象棋必然存在定解，只要算力足够也可以暴力搜索破解。” “国际象棋和星际争霸有什么区别呢？前者是信息开放式对战，理论上我的算力足够，在明牌的情况下必然存在最优解，而后者是信息封闭式对战，因为存在战争迷雾的机制。” “两者比较而言，国际象棋的侧重点在于战术安排，星际争霸的侧重点在于信息获取，因此直观的比较二者的复杂度不算太严谨。” “而之所以选择星际争霸这款游戏，是因为在信息封闭式的对战里，获取彼此的信息本身就具有难度，然后基于已有的信息分析来建立战术设计，也就是在瞬息万变的局势中第一时间找到场面最优解。因此，如果仅讨论复杂度，星际争霸肯定是略高一筹的。” 说到这里，罗靖再次按了一下手里的小遥控器，会议大屏幕切换到下一张幻灯片，同时说道：“从今天开始有一个全新的项目——灵境GPT。” 灵境GPT？ 与会的八十多个工程师们不禁面面相觑，各自都看到了对方眼神里的疑惑、好奇。 罗靖有条不紊地说：“不论是灵境AI还是灵境GPT，其内核都是神经网络深度学习。” 会议屏幕上赫然显示着“灵境GPT”这个名词，紧接着罗靖按下小遥控器翻过一页，上面有三个英文词条，他逐一说道：“这就是灵境GPT的由来，后面的三个词分别是Generative、Pre-trained和Transformer的简称。” 罗靖回头环视众人道：“Generative即生成式，Pre-trained即预训练，Transformer自注意力机制。” 在场的工程师们耳目一新，深度学习神经网络到不是没听说过，深度学习这一概念最早可以追溯到上个世纪40年代，那会儿还在打第二次世界大战呢。 不过这三者结合，大家都没有听说过，而且神经网络现在虽然也开始流行，当时没有大规模流行起来，更没有在人工智能领域像几年后达到统治级地位。 在场的工程师们都一言不发，同时认真聆听着，新加入的团队成员都是如此，作为同行越听越清楚的意识到台上站着的那个比他们所有人都年轻的罗靖，他的实力有多强。 能成为T10级资深研究员果然是有道理的，至少在场的人都知道自己的技术水平肯定比不过罗靖。 大家自然是希望能跟T10级大神学到点东西，这种机会可不多。 “我们团队除了继续在星际2这个项目推进灵境AI之外，我们接下来的新任务就是开发构建一个语言大模型。”罗靖站在会议大屏幕右侧不急不缓地说道： “这个模型的核心其实就是‘自注意力机制’，也就是GPT中的T，比方说让AI给一段文字序列中的不同词语标注权重，然后对下文的推测依据权重来进行，这样做的好处就是即便之前很早的信息也能被AI用上，不至于让AI学了之后转头就忘了前面的。” “整个的过程是通过自监督完成，也就是AI自我学习完成，在此期间没有我们人类指导，当然也没法指导，没有人能把百渡百科、维基百科或全网的全部内容都熟记下来。” 这时，与会的一位T5级工程师说道：“头儿，这个预训练Pre-trained会不会让灵境GPT呈现出什么都懂，但样样不精通的局面？可以说全面发展反而变得全面平庸，按你之前的描述，让灵境GPT的语言模型变得更大似乎并不能使它更好的遵循用户的意图，甚至不排除会生成一些假的、有害的对人没有帮助的回答。” 罗靖顿时说道：“好问题。所以要对灵境GPT进行微调，让它生成的答案更有帮助性，在训练阶段就不能用自监督学习的办法了，而是要找人类来给它上课。” 此话一出，另一位工程师不禁说道：“这……那得多少人？意思是让用户来训练？那算力、维护和运营成本得爆炸，经费能撑得住吗？” 不用想都知道前期得持续烧钱并且赚不了钱。 罗靖淡定的说道：“经费问题那是老板该头疼的事情，我们只管搞技术和找老板伸手要钱，找老板要钱这个事情我来做就是了，你们不用管，回归正题……” 顿了片刻，罗靖按动手里的小遥控器接着说道：“灵境GPT使用人类监督，我已经微调训练了一个初始模型，这个模型靠人类AI训练员提供对话内容。” 众人暗暗吃惊，不愧是大佬，居然一个人就把初始模型给搞出来了。 ……