Toolstack

博客

这些笔记是在做本站工具的过程中写下来的 —— 把一个语言模型放进真实工作流时，最先坏掉的是什么，以及该怎么处理。

  • 为什么 AI 工具应该跑在你的浏览器里

    浏览器端处理常被说成隐私上的加分项。它同时也是一个可靠性决策 —— 没有网络往返，就没有延迟、没有限流、没有故障，而一个看不到你文本的工具也无法泄露它。

    本地优先 · 隐私 · 工具设计
  • 发送前先做 token 预算

    输入 token 主导短请求，输出 token 主导长生成，所以便宜模型并不自动等于更便宜。一套在付费之前先量出提示词规模的方法。

    Token · 成本 · 预算
  • 如何从语言模型稳定拿到 JSON

    在提示词里要求 JSON，不等于拿回来的就是合法 JSON。为什么回复总被散文和代码围栏包住、如何扫描出第一个配平的值，以及为什么抽取比修补更可靠。

    JSON · 结构化输出 · 解析