第一百二十八章 算我借你的 (第1/2页)
赵文渊早早就在等着了。
韩路一推开办公室门的时候,赵文渊已经坐在沙发上了,面前茶几上摆着两杯瑞幸的生椰拿铁。不愧是你,生椰拿铁的代言人。
“贺总那边怎麽说?”赵文渊开口问道。
韩路一没回答,他把背包放下,掏出笔记本电脑,翻开屏幕,往赵文渊面前一转。
这是他回来的车上手动标注的数据。
“先看个东西。”
赵文渊看了韩路一一眼。
这人一脸兴奋是怎麽回事。
屏幕上是一个表格软件,四列。数据来源是开物後台导出的脱敏用户记录,前三列赵文渊一眼就认出来了:用户输入、AI生成结果、用户实际行为。这些字段开物的数据中台本身就在记录。
第四列是新加的。
列名:真实意图。
赵文渊的目光停在了第一行。
用户输入:帮我做一个客户管理系统。
AI生成结果:标准CRUD客户管理页面,列表、新增、编辑、删除,四个功能模块齐全。用户实际行为:删掉了增删改功能,只保留备注字段。随後手动将备注栏扩展为一个带时间线的客户跟进记录页面,前後修改了三次,重新生成两次。
标准标注应该怎麽写?赵文渊问自己。
“需求理解偏差,用户对生成结果不满意,部分采纳。”如果是他会这麽写。
第四列写的是:用户是销售岗,公司已有CRM系统但备注栏过於简陋,她需要的不是一套客户管理系统,是一个补充现有CRM的客户跟进日志工具。
这麽详细?赵文渊的手指在触控板上滑了一下,往下翻。
第二条。
用户输入:做一个排班表。
AI生成:标准排班日历,拖拽功能加班次模板。
用户实际行为:删掉整个排班UI,只保留数据导出功能,手动添加法定节假日高亮和加班时长自动累计,修改五次。
第四列:用户是HR,正在做年终结算。她要的不是排班工具,是加班费合规计算器,需要用实际出勤数据交叉法定假日定义来计算加班倍率。
赵文渊停了一下。
他重新看了看第三列,修改五次、删掉整个UI,这些是系统日志里白纸黑字记下来的行为数据。第四列的标注是在解释这些行为背後的“为什麽”。
他随手又翻了几条。
一个用户输入“做一个会议纪要模板”,实际行为是把生成的模板删到只剩一个表格框架,然後手动加了“待办跟进人”和“下次检查日期”两个字段。第四列标注:用户不是要做会议纪要,是要做项目进度追踪看板,因为公司没有项目管理工具,她在用会议纪要当替代品。
赵文渊挑了这条做验证。用户删掉模板只留表格,行为数据对得上。手动加跟进人和检查日期,操作记录里有。标注的结论:用会议纪要替代项目管理工具。
他想了想,觉得说得通。甚至不只是说得通,如果真的是在做项目管理,那用户接下来的需求大概率是甘特图或者看板视图,而不是更好的会议纪要模板。
这个标注精度已经不是“标得准”了。
是标注者理解了用户的工作场景。
赵文渊抬起头看韩路一。
“这是深加工标注?”赵文渊问,“用来继续提升天工的?”
“不是用来做天工的,算是示例。”
赵文渊皱了下眉,不是做天工,那做什麽?天工是代码专项模型,这些开物数据的标注跟天工很贴合啊“如果用户行为的公开数据集也能有这个精度的标注呢?”韩路一说。
赵文渊直接摇头。
“不可能,你这个精度是因为有开物的行为闭环,用户怎麽改的、重新生成了几次、最终保留了什麽,这些全是客观信号。公开数据集没有这些,光靠人工标注就是在纯猜。”
韩路一没争辩。
他做不到,视界能做到。
他转了个方向:“做一个原型要多少数据?”
赵文渊愣了一下,反应过来韩路一在说的是什麽,不是提升天工,是在开源的通用基座上跑意图理解方向的微调。
“通过微调,验证意图理解能力的变化?”赵文渊想了想,“五千到八千条这个质量的就够有很明显的提升了。”
顿了一下,他又补了一句:“但做出来也没意义,小模型微调的再好,拿去跟GPT-4一比,性能上不是一个量级。”
韩路一说:“我拿它去见投资人。”
赵文渊明白了。
原型不是产品,是ProofofConcept,证明可行性。到时候就这麽说:你看我几千条数据在一个7B模型上就能做到这个效果,如果有了大算力和大数据呢?
(本章未完,请点击下一页继续阅读)