发布日期：2026-05-12 06:46 点击次数：120
许多传统产物司理转AI产物时，第一反应仍是写需求、画进程、推诞生。但AI产物上线后最容易翻车的场所，不时不是“有莫得功能”，而是“后果到底有莫得变好”。我作念金融投研Agent技俩后，一个很深的感受是：AI产物司理一定要会搭评测闭环，不然你根蒂不知谈问题出在模子、教唆词、检索调回，仍是Agent链路。
我当年也容易把AI产物当成“传统产物+大模子才调”来见地。
传统产物里，产物司理把需求阐发晰，PRD写齐全，交互进程画理解，再和洽诞生上线，背面看用户反馈、数据埋点、A/B测试，基本就能跑起来。
但AI产物不太相同。
你写完PRD，仅仅把“要作念什么”阐发晰了；简直难的是上线后怎样判断“作念得好不好”。
归拢个需求，大模子可能今天答得好，翌日因为prompt改了一句就变差；归拢个学问库，检索调回可能在平素问题上很好，但一碰到鸿沟问题就漏；归拢个Agent链路，单步用具齐没问题，串起来却可能卡防备图识别、用具调用、最终总结任何一个要道。
是以AI产物司理不成只会写PRD，还要会缱绻评测体系。
说直白点：PRD决定产物能不成被诞生出来，评测体系决定产物能不成连续变好。
第一个误区：把“用户反馈”当成惟一考据步地
许多东谈主作念传统产物时，民俗上线后看用户反馈。
用户以为好不好用？有莫得投诉？升沉率有莫得涨？留存有莫得变好？这些虽然进犯。
但AI产物如若只等用户反馈，问题会来得太晚。
因为AI才调的乖张频繁是“局部坏掉”的。
比如一个RAG问答产物，80%的惯例问题齐答得可以，但偏巧在某类专科问题上调回不到原文；比如一个Agent系统，大多数单轮问题能贬责，但一碰到复合query就把意图拆错；再比如一个金融投研助手，事件解读看起来很顺，但临了总结节点援用的不是原文级数据，而是模子加工过的中间内容。
这些问题，用户不一定能准确形容。
用户只会说：“嗅觉不准”“答得怪怪的”“不太敢信”。
但产物司理不成停在这里。
你要能络续往下拆：到底是不准、不全、不联系、鉴别规，仍是反映太慢？
我作念金融投研多智能体矩阵时，就碰到过雷同问题。早期十多个意图看起来齐合理，但放到确凿query里会相互打架。自后咱们把无边query摊开看，才发现问题不在用户抒发，而防备图体系自己拆得太细、鸿沟不清。
如若只看用户反馈，很可能临了只取得一句“这个Agent不好用”。
但如若有评测集和揣度体系，你就能知谈：是哪类query误触发，哪条链路不踏实，哪个Agent输出质料下落。
这等于评测的价值：让问题可量化。
第二个误区：只看业务揣度，不看AI才调揣度
传统产物常见揣度民众齐熟：PV、UV、DAU、MAU、留存率、升沉率、付费率、NPS、无礼度。
这些揣度仍然灵验，但不够。
AI产物还要看一层“才调揣度”。
比如：
意图识别准确率；
回报联系性；
任务完成率；
多轮对话完成率；
幻觉率；
转东谈主工率；
AIGC袭取率；
反映期间；
检索调回率；
用具调用见效力。
这些揣度不是为了让报表更复杂，而是为了定位问题。
举个例子，一个AI客服产物留存下落了，传统产物司理可能会去看进口、交互、案牍、用户旅途。但AI产物司理还要络续问：
是用户问题莫得被识别出来？
是识别出来了但学问库没调回？
是调回了但大模子总结错了？
是谜底对了但反映太慢？
是单轮能答，多轮就断？
如若你莫得才调揣度，临了悉数问题齐会被归因成“模子不行”。
这其实是很纯粹的。
我在金融投研Agent技俩里最显着的感受等于：AI产物的效力普及，不一定只来自模子才调，也来自产物结构的减法。咱们把十多个意图不停成2类需求范式，把链路固定成4条文范试验旅途，系统就不消在一堆分支里来往瞻念望。背面反映期间从10几秒压到7秒内，缺欠问答准确率作念到约95%，这内部既有本领优化，也有产物结构不停带来的收益。
是以AI产物揣度体系不成只盯业务限度，还要能拆到才调层。
第三个误区：评测集大意凑一批问题就完事
许多团队说我方有评测集，其实仅仅凑了一批常见问题。
这不够。
评测集实质上是给AI产物出卷子。卷子出得不对，分数再高也没真义。
我比拟保举的评测集源泉是四类：
确凿用户日记一定要占大头，因为它最接近确凿使用场景。用户怎样问，系统就应该怎样被测试，而不是只用产物司理脑补出来的“范例问法”。
历史错例也很进犯。AI产物迭代最怕什么？最怕上一个版块刚修好的问题，下一个版块又冒出来。是以历史错例应该参加回来测试，每次版块更新齐要再行跑。
鸿沟样本是专门测系统底线的，比如费解意图、复合问题、超长输入、无须具撑持的问题、明锐抒发、合规风险场景。
AI生成样本可以用，但只可作念冷启动补充，不成十足信任。因为AI生成的问题不时太规整，和确凿用户的参差词语抒发不是一趟事。
说到底，评测集不是为了阐发注解系统很强，而是为了尽早败露系统那处弱。
第四个误区：只打分，不归因
许多评测讲明最常见的问题是：有分数，KPL投注app中国官方下载没论断；有论断，没归因。
比如准确率85%，联系性90%，平均反映期间7秒。
看起来很齐全，但产物司理拿到后仍是不知谈下一步该改什么。
因为评测简直有价值的场所，不是告诉你“分数是若干”，而是告诉你“为什么扣分”。
一个AI产物的badcase，或者率会落到这几类原因里：
模子才调问题：模子自己推理、见地、生成不踏实；
prompt问题：管束不清、变装不解、输出表情不稳；
检索调回问题：RAG莫得调回正确学问块，或者调回内容噪声太多；
数据问题：学问库过旧、清洗不干净、分块鉴别理；
Agent链路问题：意图识别错、用具选错、身手轨则错；
产物鸿沟问题：需求蓝本就没灵验具撑持，却硬让系统回报。
如若不作念归因，悉数问题临了齐会变成一句话：“让算法再优化一下。”
这对算法和工程齐不公道，也不利于产物迭代。
产物司理要作念的是把问题拆明晰：哪些是模子要调，哪些是prompt要改，哪些是学问库要补，哪些是产物鸿沟要不停。
在金融投研场景里，这少许尤其缺欠。比如系统不成为了显得贤慧，径直生成无源泉的投资不雅点；如若检索不到原文依据，就应该教唆信息不及，而不是强行编一个看起来很专科的谜底。
克制未必候不是保守，而是上线才调的一部分。
我现时会用的AI产物评测闭环
如若把这套措施压缩成一个可试验进程，我会用五步：
第一步，定揣度。
先阐发晰什么叫好。不同AI产物的好不相同：对话助手看准确率、联系性、多轮完成率；RAG产物看调回率、援用准确性、幻觉率；Agent产物看任务完成率、用具调用见效力、链路踏实性；AIGC产物看袭取率、生成质料、裁剪资本。
第二步，选措施。
不是悉数问题齐符合东谈主工评测，也不是悉数问题齐符合LLM评分。表情校验、字段齐全性、反映期间可以用自动剧本；专科度、抒发质料、用户无礼度符合东谈主工评测或LLM评分；缺欠合规场景最佳东谈主工复核。
第三步，造评测集。
不要只凑常见问题。确凿日记、历史错例、鸿沟样本、AI生成样本齐要有，何况要按业务场景分层。
第四步，跑评测。
每次版块迭代齐要跑归拢批中枢评测集，保留版块对比。不然你只知谈新版块“嗅觉更好”，不知谈到底好在那处。
第五步，作念归因。
评测不是为了给模子打个分，而是为了造成闭环：评测→发现问题→badcase归因→反馈算法和工程→回来测试。
这一步才是AI产物司理简直该参与的场所。
这件事怎样落到PRD里
许多东谈主会问：评测体系是不是单独写一份文档就行？
我的提倡是：可以单独写评测文档，但PRD里也必须提前埋进去。
因为评测不是上线后的补充看成，而是需求缱绻的一部分。
写AI产物PRD时，除了传统的需求布景、用户场景、功能进程、交互阐发，我会罕见补四块：
第一，才调鸿沟。
明确这个版块能回报什么，不成回报什么；哪些问题必须兜底，哪些问题不成强答。
第二，后果揣度。
不单写业务揣度，也要写AI才调揣度。比如准确率、调回率、反映期间、用具调用见效力、幻觉率。
第三，评测集缱绻。
阐发评测集源泉、灭绝场景、样天职层、历史错例是否参加回来测试。
第四，badcase归因机制。
阐发线上问题怎样麇集，怎样分类，怎样流转给算法、工程、运营，怎样作念回来考据。
这么写PRD，诞生和算法才知谈你要的不仅仅“作念一个功能”，而是“作念一个能被连续考据的系统”。
这亦然AI产物和传统产物很不相同的场所。
训戒千里淀
1.AI产物不是上线即兑现，而是上线后才初始败露确凿问题
传统产物上线后看用户行径，AI产物上线后还要看才调踏实性。因为模子、检索、prompt、Agent链路齐可能成为质料波动源。
2.业务揣度告诉你限度，才调揣度告诉你原因
留存下落、无礼度下落仅仅限度。意图识别、调回率、幻觉率、用具调用见效力，才是帮你定位问题的持手。
3.评测集不要只麇集范例问题，要特意麇集繁难
确凿用户不会按范例句式发问。历史错例、鸿沟样本、费解意图、特殊链路，才最能测出系统上线后的抗压才调。
4.产物司理不要把悉数问题齐甩给算法
有些问题是模子问题，有些是prompt问题，有些是学问库问题，还有些是产物鸿沟缱绻问题。产物司理必须参与归因，不然迭代会越来越乱。
5.能被评测的AI才调，才有连续迭代的可能
如若一个才调无法被界说、无法被评测、无法被归因，它就很难被踏实优化。AI产物司理要作念的不是迷信模子，而是把模子才调放进可考据的产物闭环里。
扫尾
如若说传统产物司理的基本功是“把需求讲明晰”，那AI产物司理的新基本功，等于“把后果评明晰”。
不要只会写PRD，不要只会说模子很强，也不要只等用户反馈来告诉你那处坏了。
AI产物简直能连续变好，靠的是一套评测闭环：定揣度、选措施、造评测集、跑评测、作念归因。
临了浓缩成一句话：
AI产物司理的价值，不是把大模子接进产物里，而是让每一次模子输出齐能被界说、被评测、被改良。
接待驳倒区疏浚，如若你也在作念AI产物评测、RAG问答或Agent系统KPL投注官网，十分念念听听你们是怎样搭评测集和归因机制的。
澳门永利皇宫中国官网入口
备案号: