关于token和工具的观察与思考【第I部分】
本部分是【20260520-01:37】凌晨匆匆完成,目的是观察第二天的讨论,研究个人的认识,能否覆盖整个团队的认识。
第二天的讨论的复盘,等我有时间分析。初步估计覆盖率极高,于是直到此时【20260605-23:23】也没有复盘。后面有时间复盘时(时刻T),关注当时的欠缺的认识,以及,会议上匆匆讨论后,我到T时刻期间是否缩减了gap。
引子
组织上的关键指示是在于,构建起长效的【Agentic+SE的功能端治理机制】,AI赋能企业的关键是安全地发力。
- 安全:保证【SE过程产物像算法、数据等等】全链路研发资产【不外泄、不被训练、不被不可控保留、不被跨租户复用】,即不被训练/复写/监听/攻击;
- 发力:将token消耗,通过合理的harness工程调度,转化为SE正向合力。
目标需要从对开发者增效的工具,提升到公司软件工程范式升级的基础设施。
自然观察
像上次视频会议我提到的,必要把握住“企业的开发者”这核心特征,从这个角度出发,我们有以下自然的观察:
- 1)设计、代码、日志、正例反例,等等,都是公司的知识资产,必须有商业条款保证不用于训练ai模型【上次讨论时梁炜提出“需要不用于训练”】;
- 2)不同开发者、不同任务/业务、token用量方差大;
- 3)上下文不是越大越好,上下文越大,能力越强,技术细节暴露面越大;
- 4)企业方面,需要有仪表盘、监控器,开发者、团队、仓库、任务(细致分类)、模型、token、成本、有效应答比率、pr质量、回滚率等等综合性指标;
- 5)token+harness程序的定位方面:一方面是工具属性,细分为全员标配工具(稳定、不撞墙-戛然而止、可治理)、高强度agent工具(限额、审核、沙箱、严格任务化与验收标准)。另一方面是功能属性,即作为开发流程甚至软件本身的一部分(流程自动化、质量管控、缺陷发现)
关于Token购买
token购买这个行为,是有内部结构的,需要细分拆解:
- 1)买“常驻可用”的底座。预算可控/可持续运转。开发必须要有IDE,开发必须要有辅助,这个产品形式上必须是AI+IDE+辅助。
- 2)买“细到用”的武器。当前时段最顶级的国内模型/最顶级的产品,买最高能力的,关键岗位/各负责人(模块/算法/测试)/大拿。
- 3)买“纯粹API”。接着“汇率透明”的思想,API价格=计量部分+计件部分(人头税),计量部分=输入token+缓存命中输入token+输出token+工具调用。
公司层面建议:
- 1)token资产台账。具体到开发者用token做了哪些事情;token转化成了哪些文件/代码/数字资产;
- 2)常驻型token细水长流的任务,做好监控,时时勤拂拭;
- 3)公司统一AI Gateway。禁止私人API处理公司私有代码。
- 4)设置单任务的token上限,软限制。例如,核心问题15Mtoken,超出后标记与重点观察。
- 5)个人账户token上限,软限制。例如,绝不能超额立即停止任务,这种戛然而止就是软件工程中的崩溃。
token使用的第一性原理:
核心目的是对模型的指挥/控制/调度能力的培养,即选择恰恰够用的等级的模型。绝对不是“省token”,“省token”是典型的把测量当约束的表现。这自然指示我们研究任务的层级解构:
- 【a】简单任务:摘要/归类/固定流程/结构化输入输出的,用低等级的便宜的。【这也是我们为什么研究agent的调度/skill/强IN-OUT的局部 任务:目的是控制/压制/转化任务的复杂度水平】
- 【b】普通任务:缺陷定位与修复/跨文件解析/PR评审,用中档的。次旗舰/上一代版本。
- 【c】核心任务:架构调整/命根子算法/定性理论/求解器,用上等马。
- 【d】协作任务:必须要有caching机制,才能用得准,正确地发挥token的马力。
关于Harness工程项目
评价AI+harness工程水平/与工具供应商洽谈必须考虑的维度:
- 训练:输入、输出、代码、日志、反馈是否默认用于训练?是否可合同保证 no training?
- 保留:prompt、completion、embedding、repo index、文件缓存保留多久?是否支持 zero data retention?
- 身份:是否支持 SSO、SCIM、domain capture、RBAC、admin console?
- 审计:是否能导出 user-level / team-level / repo-level / model-level usage?
- 预算:是否支持用户、团队、仓库、模型、API key 级别的 budget / rate limit?
- 数据边界:是否支持 data residency、VPC、PrivateLink、single-tenant、on-prem、air-gapped?
- 上下文控制:是否支持 content exclusion、.ignore、repo allowlist、secret redaction?
- agent 权限:是否能限制 shell、网络、文件写入、Git 操作、MCP 工具?
- 代码所有权:生成代码的 IP indemnity、license 风险、开源片段相似性扫描如何处理?
- 退出机制:导出日志、迁移 prompt/skills、切换模型、切换 provider 是否容易?
Trae 是否进入企业核心开发工具候选,不能只靠感性的体验,更需要建立标准规范的/理性的/量化的评价考核指标:
- 1)买工具,实际期待:开发入口/模型市集/harness能力/自主能力。虽然trae官方叙事是SOLO/agent framework,但目前trae的核心亮点需要考虑是不是突出在“模型市集”,但这方面且不说对多种模型的统合水平,就开发者诉求而言显然是期待用最先进的模型(GLM5.1, Kimi2.6, deepseek v4pro)
- 2)目前,就只对开发者的效能发挥方面,并没有看到购买基础模型API+开源harness工具这个范式的不可用性。并没有看到trae对这个范式的明显优势。
- 3)trae/coding-plan实时汇率”问题,如果单位 token 汇率、模型倍率、失败请求计费、cloud task 计费、缓存命中计费、并发任务计费不透明,显然无法计算单位工程产出成本,自然不适合作为公司级核心工具。
- 4)作为harness工程卖钱的产品,企业治理能力需要公司单独验证,就harness水平而言,我们必须对其上下文能力/工具调用能力/编译测试验证能力/cost统计能力/安全隔离能力/工作流能力进行全面的评估和系统性的比较。
我们必须着手干的事情
我认为接下来必须探索的方向:
- 1)deepseek v4pro + 开源harness工具的实战/实测。体验究竟如何,能力界限究竟在哪。必须基于较为真实的/真实的业务场景,构建最小问题闭包/正式benchmark,例如,能否理解大型 C++ 代码库;能否定位 LM 迭代缺陷;
- 2)构建多agent,每个 agent 都要有输入、输出、权限和验收标准。
- 3)探究MCP 工具如何进一步发力。
- 4)开发者必然需要职责上移,怎么移/如何让开发者实现核心能力的转向。
- 5)AI模型和Harness是基础层X,在其上还有治理层(Gateway / permission )Y和业务务层Z,越往上越与我们的组织/业务关系密切,AI发展快速变化的是X,Y和Z是我们的最深刻关切
- 6)必须构建公司/部门/业务/模块的【评测数据集/AI-SE benchmark】,必须量化AI模型与Harness的真实效力,没有切实的量化,采购讨论会永远停留在“谁感觉更好用”。这个数据集必须包括:
- 初始代码;
- 任务说明;
- 允许上下文;
- 禁止上下文;
- 预期 diff;
- 测试命令;
- token预算;
- 评分标准。
- 7)作为“工程师”,必须引入“工程化”,即每个AI任务,标准化/规范化,像目前的敏捷任务/缺陷那样,以一个md的形式,规范的“工作卡”形式;
- 8)建立正例/反例库。最佳实践固然秒。反例/错误案例也必须收集,像我们不断收集缺陷加入到我们的支持的场景库中那样,AI的错误用法,会使得组织/部门对AI的用法越来越高明。