Jev

Jev 是什么？

传统的大模型主要是跟人对话的，你问它一个问题，它回你一段话。

但这就带来一个问题，比如你想让它帮你判断一下「这封邮件紧急吗」，它不会直接告诉你「是」或者「否」，而是先给你写一大段分析，然后才给出结论。不仅速度慢、烧 Tokens，还需要你自己从回答里把答案抠出来。

Jev 就完全不一样了。你问它「这封邮件紧急吗」，它就直接告诉你「是，概率 95%」。

模型返回的是一段结构化的 JSON 数据，你的程序可以直接拿来用：

{
  "is_urgent": {
    "noul": 0.95
  }
}

可以说，没有任何 AI 比它更直接、更不绕弯子。

TypeSafe AI 管这种模型叫 System One Model（系统一模型），灵感来自诺贝尔奖得主 Daniel Kahneman 的《思考，快与慢》。系统一是人类大脑里负责快速直觉判断的部分，比如你一眼就能看出「这个人在生气」；系统二是负责深度推理的，比如「算一下 17 × 24」。

传统 LLM 更像系统二，Jev 就是系统一。

根据 TypeSafe 官方自测的数据，两者的差距还挺夸张的：

响应速度最高快了将近 200 倍，输入价格便宜了几十倍到上百倍，输出还不要钱，而且结构化输出零错误。这也太香了吧！

那 Jev 到底是怎么用的？为什么能这么快？下面一个一个来讲。

Jev 能回答什么类型的问题？

Jev 的调用方式非常简单，你给它两样东西，一个是 state 状态，就是你想让它分析的上下文信息；另一个是 questions 问题，就是你想让它回答的问题。然后它就直接返回结构化的答案。

Jev 支持回答 3 种类型的问题，TypeSafe 官方把它们叫做「AI 原语」。

1、Noul 是或否

简单来说，就是让 AI 做判断题，问一个「是不是」的问题，返回 0 到 1 之间的概率值。

比如你收到一封客户邮件，想判断是否紧急，就把邮件内容作为 state 传给 Jev，再加上一个 Noul 类型的问题：

{
  "state": "我连续 3 天无法连接 Stripe 账户，正在丢失销售额，请尽快处理！",
  "questions": {
    "is_urgent": {
      "type": "noul",
      "instructions": "这条消息是否传达了紧急性或时效性"
    }
  }
}

Jev 返回的结果长这样：

{
  "is_urgent": {
    "type": "noul",
    "noul": 0.95
  }
}

0.95 意味着有 95% 的把握认为这条消息是紧急的。你在代码里直接 if noul > 0.8 就可以触发告警了。

2、Choice 多选一

这个就像让 AI 做选择题，从你预设的选项里选一个，并告诉你每个选项的概率分布。

比如判断一个工单该分给哪个部门，你可以把部门选项列在 criteria 里让 Jev 来选：

{
  "questions": {
    "department": {
      "type": "choice",
      "instructions": "这个工单应该分配给哪个团队处理",
      "criteria": {
        "billing": "付款、发票、退款相关问题",
        "technical": "Bug、系统故障、集成问题",
        "sales": "定价、账户咨询"
      }
    }
  }
}

返回：

{
  "department": {
    "type": "choice",
    "choice": "billing",
    "confidence": 0.8,
    "probabilities": {
      "billing": 0.87,
      "sales": 0,
      "technical": 0.13
    }
  }
}

不光告诉你选了 billing，还把每个选项的概率都算出来了。目前 Choice 最多支持 255 个选项。

3、Score 评分

这个就像让 AI 做打分题，在你自定义的量表上打分，分数可以落在两个等级之间。

比如判断无法登录的客户有多沮丧，你可以定义从「冷静」到「愤怒」的几个等级，让 Jev 来打分：

{
  "questions": {
    "frustration": {
      "type": "score",
      "instructions": "客户看起来有多沮丧",
      "criteria": [
        "冷静，只是在陈述事实",
        "不满但还算礼貌",
        "非常愤怒，言辞激烈"
      ]
    }
  }
}

返回：

{
  "frustration": {
    "type": "score",
    "score": 1.04,
    "confidence": 0.94,
    "probabilities": { "0": 0, "1": 0.96, "2": 0.04 }
  }
}

Score 1.04 表示介于第 1 级（不满但礼貌）和第 2 级（非常愤怒）之间，偏向不满。这里我定义了 3 个等级，实际使用时你可以根据需要定义 2 到 10 个等级，等级越多，评分的粒度就越细。