第一百三十四章 远超预期 (第1/2页)

两人来到韩路一的办公室，正准备就刚才的视频会议，谈谈应对策略。
　　
　　这时，门外传来了急促的敲门声。
　　
　　“韩总，在吗？”
　　
　　是赵文渊的声音。
　　
　　韩路一和苏念念对视了一眼。
　　
　　韩路一走过去把门打开，赵文渊手里抱着笔记本电脑，一脸兴奋。
　　
　　“韩总！真神了！”他一边说一边走进来，才突然注意到苏念念也在房间里，一愣。
　　
　　随即他的表情放松下来，把笔记本电脑放在办公桌上。
　　
　　“正好，苏总你也在，一起看看。”赵文渊说道，“第一轮训练的结果出来了。”
　　
　　他翻开屏幕，手指在触控板上快速滑动，调出一个表格。
　　
　　“先看基础数据。”赵文渊切到第一页，“7B的开源基座微调，参数量不到GPT-4的二十分之一。知识问答、逻辑推理、数学计算、代码生成，常规指标在同量级模型里中游偏上，没有惊喜。7B就是7B，没法跟几百B的大家夥比。”
　　
　　他看了韩路一一眼，期待着他的反应。
　　
　　“重点在下一页。”
　　
　　赵文渊翻到第二页。
　　
　　屏幕上是一张柱状图。横轴排列着十几个模型的名字，纵轴是分数。
　　
　　韩路一认出了几个：GPT、Mercury、Gemini。
　　
　　这些名字旁边的柱子高度差不多，分数集中在71到78之间。
　　
　　最右边有一根单独的浅蓝色柱子，明显高出一截。
　　
　　模型名称是PX-7B-posttrained-v0.1。
　　
　　顶端的数字是83.7。
　　
　　“意图理解维度的评测结果。”赵文渊的声音压低了，语速却很快。“评测集用的是IFEval标准框架加上我自己设计的深层意图还原测试，一共一千二百道题，覆盖十六个垂直场景。”
　　
　　他拿手指点了点那根浅蓝色的柱子。
　　
　　“83.7，断层领先。”
　　
　　“第二名，GPT，78.2。”
　　
　　“第三名，Gemini，76.9。”
　　
　　韩路一自己看了一下Mercury3.1一就是刚才瑞恩展示的那个，得分是74.8。办公室安静了三秒锺。
　　
　　韩路一没有说话。苏念念也没有。
　　
　　“我跑了三遍验证。”赵文渊说。“第一遍以为评测代码写错了。第二遍换了评测框架，分数不同，但是结果排序一样。第三遍打乱评测集做交叉验证，误差在0.3个点以内。”
　　
　　他往後翻了一页。屏幕上是具体的案例对比一一左列是用户输入，中间是各模型的理解结果，右列是标注的真实意图。
　　
　　赵文渊翻了几页案例对比，没有逐条讲解，但每一页停留的时间特意拉长了一些，像是在确认韩路一和苏念念有没有跟上。
　　
　　韩路一跟上了。
　　
　　意图理解，简单来说，就是模型能不能读懂用户真正想要什麽。用户打字输入的内容是表面，表面之下是处境、是约束、是没说出口的真实需求。绝大多数模型在做的事情是理解字面意思，然後给出一个正确但泛泛的回答。而PX-7B做到的，是从同样的输入中读出字面背後那个具体的人。
　　
　　这是一个极其困难的任务。参数量大十倍的模型都未必做得好，因为它考验的不是知识储备，而是对人的理解。
　　
　　赵文渊合上案例页，回到那张柱状图。
　　
　　赵文渊郑重说出了这句话。
　　
　　“韩总，我做这行这麽多年了，从来没见过一个7B的东西能在任何单项维度上打赢GPT-4，从来没有。”“而且这才是第一轮，只跑了几个epoch，超参数都没调到最优。在这个基础上再调试几轮，还有上升的空间。”
　　
　　苏念念一直没说话，这时候才轻轻开口说了一句：“意图理解……这不就是开物一直想做的事吗？”韩路一点了点头，心里好像都松了一些。
　　
　　

（本章未完，请点击下一页继续阅读）