跳转至

运营统计

功能解释

运营统计是系统的观察面板,用来查看问题量、活跃用户、Token 消耗、技能使用、工具调用和反问情况。它不直接改业务,只把真实使用情况摊开给管理者看,方便判断当前环境有没有被用起来、哪类能力最常被调用、哪里出现了波动。

统计结果会受当前项目、租户和权限影响。不同账号看到的范围可能不同,这不是页面异常,而是数据可见范围本身就不一样。

运营统计页面

使用场景

  • 想看最近一段时间系统是否活跃时。
  • 想判断问题量、调用量或 Token 消耗有没有异常波动时。
  • 想对比技能、知识、工具的真实使用情况时。
  • 想确认某次配置调整有没有带来使用变化时。
  • 想查看某个问题、某个技能或某个工具到底有没有真正被用到时。

使用顺序

1. 先看总体概览

进入运营统计后,默认先看到的是总体概览。顶部一排指标卡会告诉你当前范围内的问题数、活跃用户数、好评数、差评数、输入 Token、缓存 Token、缓存命中率和输出 Token。

先看这里,主要是判断三件事: - 系统最近是不是活跃。 - 资源消耗是不是突然变高。 - 用户反馈是不是出现了明显偏移。

如果趋势图突然抬高或掉下来,先记住时间点,再去后面的明细页签找原因。

2. 再看问题明细

切到问题明细页签后,可以看到每条提问的用户、项目、问题内容、提问时间、模型、耗时、输入 Token 和缓存 Token。

这个页签适合按顺序排查: - 先按时间找异常高峰。 - 再看是不是某个用户或某个项目集中提问。 - 再看某条问题的模型和耗时,判断是不是模型响应慢、问题太长,或者某次请求特别重。

点击某条问题右侧的“查看”,可以在详情面板里按轮次回看这次会话里的用户提问和 Agent 回答;如果还要看完整上下文,再进入原始对话。

3. 再看技能

技能页签会列出每个技能的名称、归属、调用次数、问题数和用户数。这里适合先看两个方向: - 调用次数高的技能,说明它是真的被用起来了。 - 调用次数为 0 的技能,不一定有问题,但要先检查权限、启用状态和可见范围。

如果你刚上线了一个技能,可以先看最近一段时间的调用曲线,再结合问题明细判断它是被谁触发的、有没有误触发。

4. 再看知识

知识页签展示知识资产的使用情况,包括命中次数、问题数、用户数和归属范围。它适合判断知识库是否真的参与了回答,还是只是挂在那儿没有命中。

先看你认为重要的知识条目,再看命中问题数。如果命中长期为 0,通常要回头检查知识是否真的被挂上、切分是否合适、检索策略是否匹配当前场景。

5. 再看工具

工具页签展示工具调用次数、成功数、失败数、问题数和用户数。这个页签最适合看稳定性: - 失败次数高,先看是不是工具服务、参数、权限或超时出了问题。 - 调用次数高,说明这个工具是当前流程里的关键依赖。 - 调用次数低,可能是没有被正确触发,也可能是技能或意图没有把请求导到这里。

6. 查看反问记录

反问页签展示用户对回答的追问和澄清记录,包括用户问题、反问内容、用户答案、状态、存为记忆、提问人、项目和时间。

这个页签适合回看两类情况: - 用户追问了什么,说明前一轮回答哪里不够清楚。 - 用户最终补了什么答案,说明系统当时缺了哪一层信息。

操作入口

进入运营统计页面后,先看总体概览,再按需要切换到问题明细、技能、知识、工具或反问页签。页面默认展示当前可见范围的数据,通常就是当前租户或当前项目的数据。

使用方法

  1. 先看总体概览,确认最近是否有明显变化。
  2. 切换到问题明细,定位具体是哪条问题、哪次会话、哪类模型带来的变化。
  3. 再去技能、知识、工具页签,看对应能力有没有真正被触发。
  4. 切到反问页签,看看用户是不是因为回答不完整而继续追问。
  5. 如果要判断配置是否真的生效,把这里的数据和对应配置页、评测结果一起看。

如何确保结果可用

  • 先确认筛选条件没有把数据范围缩窄过头。
  • 如果某个能力调用量很低,不要先下结论,先看权限、配置和评测结果。
  • 想判断配置是否生效,最好在同一时间范围内对比修改前后的统计。
  • 统计页面只负责呈现结果,真正要修的还是模型、知识、技能、工具或数据源配置。

联动价值

它适合和评测验证一起看。评测关注“效果好不好”,运营统计关注“真实有没有被用到”。两边放在一起,更容易判断问题出在模型、知识、技能、工具,还是权限和配置。

操作后影响

  • 统计数据会帮助你判断能力是否真正被使用。
  • 某个功能调用量低,不一定是没人用,也可能是权限或配置没开。
  • 统计数据本身不会改变业务结果,但会影响你后续调整配置的方向。