Thoughts · 0014 · research-log

AI4AI R&D

Agentic Software Engineering#ASI#agent#software-engineering#evaluation#AI-boundary

AI4AI R&D 【V1 想到哪里随意写】

Today, Anthoro published When all builds itself, RSI(recursive self-improvement) is actually taking off.

我先生成这些自然的观点:

  • 核武器级别的AI,中国有没有,怎么有
  • SE的复杂性治理的对象,必须升级为【治理过程】(闭环/自动化/高速的研发模式)
  • 从传统SE流程查找升级点:
需求:诉求和目标模型,价值问题,做什么样的问题;
设计:架构,约束/边界,给出对自由度的限制;
开发:过;
测试:验证体系,可信赖/可应答性的证明;
安全/权限:agent的边界,改代码/测试/评估器,改生产代码;
组织瓶颈识别:搞定代码后,审查/部署/代码质量/合规性/缺陷响应,会自然变成新的瓶颈。
组织设计:核心是以下角色的分配问题:目标/执行/测试/审计/停机。甚至责任分配。
  • 我们一直忽视的点位:风险/证据要求/缺陷聚类/知识淬炼/判断力打磨。

对于agent的行为,我们随意给出一些张口就来的建议

  • 改动涉及核心代码/基础设施/高危漏洞,需要高等级审查;
  • 同时改动【代码/测试/评估器】,必须有另外1个评估器评估;
  • push和review必须节奏适配,速度可升高可降低;
  • RSI行为必须sandbox,可回滚,行为严格受限,有严格的丰富的文档;
  • 停机准则/价值目标/原始诉求,必须人工审查;
  • A所制作的分身A',必须不能有超越A的权限。

我一直在做什么

  • 开发流程制度化:约束/调度/审计/停机/复盘/判断力升级。
  • 新管理模式探索
  • 把唯一限制因素【人】排除
  • 组织行为范式
  • agentic-se新范式
  • 可计算/可量化/可约束的组织制度工程
  • 组织/制度控制论
  • Reflexive SE:反身SE。【补充】
  • 高可信的AI研发组织(低人类带宽,以后描述人的词,需要和描述机器的词,颠倒)【补充】
  • 如何让软件化组织可靠地产生更强的软件化组织?【补充】

此时抽象出的制度单元/细胞

  • 价值层:判断力,如目标/价值/优先级/风险;
  • 契约层:角色/职责,IO,工具,行为规范;
  • 权限:文件/模型/网络/指令;
  • 经济性/预算:token,时间【今天20260606领导提出,我才显示考虑】,产出评价;
  • 证据:测试/日志/证据/链接/benchmark/场景;
  • 审计:统计/复盘/抽样;
  • 停机:触发器(事件设计)/影响性分析

AI4AI

事实,或者即将工程化的部分:

  • 所有我们努力的【制度化】,完全ai接管;
  • 没有【人】的位置预留
  • 【人】作为【系统外部对象】,与以下【外部不变量】同一层面:组织规范/形式化契约/基线/只读日志/独立评估器。

当我写到这里,我们在AI4AI还追求什么?必须且只有从【传统SE流程】中寻找

  • 诉求/需求/目标:【AI4】还是要和【人4】是一样的;
  • 证据:充分。【好像只有充分/大量的要求,必须大量,不同的数量我们能做出的判断是不一样的,足够以后,就可以】;
  • 风险:受控。【必须要有风险,没有风险的事情不做,因此必须可控,且,必须在可控-失控边缘游走(最佳状态)】;
  • 认识/知识/经验:持久化/可传承/热插拔;
  • 停机准则:CS的核心。

作为开发者/组织,我们究竟是什么

  • 提供可靠/可信赖/可应答的产品,依靠:认知状态 + 组织编排 + 复杂性控制力;
  • 我们所拥有的一切,只有:prompt,契约,工具,评估/测试集,gold set,审查机制/规则,审计(各种指标,例如领导关心的经济性指标),停机条件,人的接口。
  • 我们【人】,在这里面,追求发展,必然是实践(失败),我们的失败,只有对应agent的失败(agent的错误/失败的类型):理解错误/误读,规格漂移,实现迎合,评价器有偏/污染,幻觉,越界/越权,遗忘,丢失上下文,局部-全局的gap,协调步调不统一。
  • 最大的担心:【人】跟不上【agent】的发展/速度/节奏,甚至在责任担当/判断力等领域

结论:我目前的研究,完全契合AI4AI发展进程

我打的叙事线逻辑,本质是【组织设计】,目前是多agent的协调机制,保持【目标/证据/职责/权限/停机/复盘】动态稳定。

AI4AI R&D 【V2 冷静看看我的想法】

冷静后,认为非常激进

  • 迫切认为【人】是制约因素;
  • 所谓【足够/大量的证据】,是臆想;
  • 最佳状态 == 边缘游走,需要再斟酌。一旦我这边要担风险了,肯定我就绝对不会这样认为了;

没有说明白anthro本身的这个事件

  • 叙事角度:融资/万亿准备/资本运作;
  • 战略上:一直是宽以待己,严格待人;
  • ASI究竟怎样:自动化链路ok,正在工程化,且已经发生了关键瓶颈的转移(实现/执行能力 -> 价值判断/验证/治理/停机);
  • 看似呼吁停机,实则吹响号角。

我还丢了什么

  • 肯定是我不熟悉的部分:部署/安全/维护;实验/解释
  • 没有提到我一直重视的话题:自指性/递归论;

人在哪里:被压缩到高杠杆治理接口

  • 【解释】价值锚点:给定目标/价值,是判断力问题,什么值得做/什么可信/方向在哪里;
  • 【解释】合法性来源:失败复盘/组织学习/认知源头
  • 【责任】责任主体;
  • 【责任】风险承担者:风险预算;
  • 【授权】停机授权者;

证据问题,依然用我们的范式来结构性处理:从追求数量,改为追求结构

证据的性质方面,我们追求以下方面:

  • 独立性:来源,例如是否是独立评估器
  • 覆盖性:聚类,是否对风险类别覆盖完全,或核心风险是否覆盖
  • 对抗性/抗毁性:反例/红队/恶意输入
  • 因果性:区别于相关性;
  • 不可篡改性:日志/摘要/评估/结果的归档/可追溯;
  • 迁移性:跨场景/版本/数据的稳定性

比较柔顺是拉到数学层,发展【证据演算】系统

结构化输出的证据结构:

  • 结论A,A的证据集{B};
  • {B}的独立性/覆盖性/抗毁性
  • {B}和A的因果性
  • {B}的访问权限约定
  • {B}的边界,何时/什么情况下,可以推翻{B}

高风险边缘不是我们的追求,限制在可控范围内,追求高【学习率】

风险的可控:

  • 局部化
  • 分层化
  • 可回滚
  • 可分类/归因

我一直没有考虑的【开发】,是时候考虑这方面的新玩法:制度约束下的生成式搜索

可能的新玩法:单线程 -> 多线程/多方案

  • 定义搜索空间
  • 约定工具调用权限/逻辑
  • 记录中间状态
  • 受控/无污染的自动修复
  • 完全解耦:编码/测试/验证(评估器)
  • 审计过程如何实现风险降低