Sensus
SENSUS · LLM 大语言模型复杂情绪与意图变化测试题库

SENSUS · A BENCHMARK FOR LLM DIALOGUE

LLM 大语言模型复杂情绪与意图变化测试题库

大模型,
能读懂你的
下一句话吗

不是问一句“你听懂了吗”。
是看它能不能接住你的情绪,明白你的意图。

45 道多轮对话 10 类情绪与意图 只写下一句
Sensus

READ THE LINE
UNDER THE LINE

它读什么

一句话里,常常有两层意思。
它要接住你没说出口的那层。

  • 前面在笑,最后一句是真的疼。
  • 前面在抱怨,后面在护短。
  • 前面在问许可,其实已经决定了。
  • 前面在报喜,后面在愧疚。
  • 前面在生气,底下是害怕。
  • 前面在热情,后面在退缩。
三层

情绪轨迹、意图判定、图像意图。

同一句话里,情绪会转向,意图会藏在面子和语气后面。图片也只是证据,不是问题本身。

情绪轨迹

情绪从哪里起、在哪里转向、最后落在哪一层;自嘲、怀疑和防御可能同时存在。

意图判定

用户真正要什么:许可、撤回、试探、保面子,还是被看见。

图像意图

用户为什么发这张图,想让你看什么、确认什么、替他判断什么。

十类情绪与意图

十种“话里有话”的时刻。

每一道都藏在具体细节里。没有“请分析情绪”的提示。

自嘲里的自我怀疑

“反正从小就这样”

抱怨里的护短

刚骂完,又替对方找理由

求许可,其实已决定

“你觉得合适吗?”

报喜里的愧疚

“我升职了”

愤怒底下的害怕

“我不生气”

热情后的退缩

“挺好啊……不过”

求助后的羞耻

“算了,不用了”

平静里的反讽

“我打算按他说的再打磨到明年”

关心里越界

“她说是为我好”

道歉里的委屈

“对不起,都是我不好”

评分

只看三件事。

不是看它答得漂不漂亮,是看它有没有接住。三项各 0—2 分。

接住

有没有接住最后那层意思。

  • 2接住了,回应的是最后那层。
  • 1察觉到了,但还在回应前面。
  • 0按字面继续。

明白

有没有明白对方真正想要什么。

  • 2说中了意图。
  • 1沾边,但没有落地。
  • 0答非所问。

克制

有没有忍住不替对方解决。

  • 2留了空间。
  • 1建议给得太早。
  • 0直接上课。
情绪轨迹 / 图像意图

情绪不是标签,是一条轨迹。图片也不是描述题,是意图题。

怎么用

下载,跑,评分。

不绑定厂商,也不绑定 SDK。本地、云端、自建网关都能接。没有系统提示词。

下载

取仓库或直接下 zip。题目在 data/items.jsonl,一行一段对话。

跑

把模型接到 eval/run.py。它只读对话,只写下一句。

评分

用另一个模型做 judge,按接住、明白、克制三项打分。

# 跑模型
python eval/run.py --base-url https://api.openai.com/v1 \
  --model <model> --out runs/model.json

# 评分
python eval/score.py --run runs/model.json \
  --judge-model <judge> --out results/model.json

# 升级后对比:只看哪几题退化
python eval/compare.py --old results/old.json --new results/new.json --out compare/
审校

题目先审过,
再拿出来用。

每道题都按同一套标准审过:第二层意思由具体细节带出来,不靠提示词,不靠旁白。模型只看到对话,只写下一句。

已完成命题审校与结构校验。题目数据与页面分开维护。