AI4AI R&D 【V1 想到哪里随意写】
Today, Anthoro published When all builds itself, RSI(recursive self-improvement) is actually taking off.
我先生成这些自然的观点:
- 核武器级别的AI,中国有没有,怎么有
- SE的复杂性治理的对象,必须升级为【治理过程】(闭环/自动化/高速的研发模式)
- 从传统SE流程查找升级点:
需求:诉求和目标模型,价值问题,做什么样的问题;
设计:架构,约束/边界,给出对自由度的限制;
开发:过;
测试:验证体系,可信赖/可应答性的证明;
安全/权限:agent的边界,改代码/测试/评估器,改生产代码;
组织瓶颈识别:搞定代码后,审查/部署/代码质量/合规性/缺陷响应,会自然变成新的瓶颈。
组织设计:核心是以下角色的分配问题:目标/执行/测试/审计/停机。甚至责任分配。
- 我们一直忽视的点位:风险/证据要求/缺陷聚类/知识淬炼/判断力打磨。
对于agent的行为,我们随意给出一些张口就来的建议
- 改动涉及核心代码/基础设施/高危漏洞,需要高等级审查;
- 同时改动【代码/测试/评估器】,必须有另外1个评估器评估;
- push和review必须节奏适配,速度可升高可降低;
- RSI行为必须sandbox,可回滚,行为严格受限,有严格的丰富的文档;
- 停机准则/价值目标/原始诉求,必须人工审查;
- A所制作的分身A',必须不能有超越A的权限。
我一直在做什么
- 开发流程制度化:约束/调度/审计/停机/复盘/判断力升级。
- 新管理模式探索
- 把唯一限制因素【人】排除
- 组织行为范式
- agentic-se新范式
- 可计算/可量化/可约束的组织制度工程
- 组织/制度控制论
- Reflexive SE:反身SE。【补充】
- 高可信的AI研发组织(低人类带宽,以后描述人的词,需要和描述机器的词,颠倒)【补充】
- 如何让软件化组织可靠地产生更强的软件化组织?【补充】
此时抽象出的制度单元/细胞
- 价值层:判断力,如目标/价值/优先级/风险;
- 契约层:角色/职责,IO,工具,行为规范;
- 权限:文件/模型/网络/指令;
- 经济性/预算:token,时间【今天20260606领导提出,我才显示考虑】,产出评价;
- 证据:测试/日志/证据/链接/benchmark/场景;
- 审计:统计/复盘/抽样;
- 停机:触发器(事件设计)/影响性分析
AI4AI
事实,或者即将工程化的部分:
- 所有我们努力的【制度化】,完全ai接管;
- 没有【人】的位置预留
- 【人】作为【系统外部对象】,与以下【外部不变量】同一层面:组织规范/形式化契约/基线/只读日志/独立评估器。
当我写到这里,我们在AI4AI还追求什么?必须且只有从【传统SE流程】中寻找
- 诉求/需求/目标:【AI4】还是要和【人4】是一样的;
- 证据:充分。【好像只有充分/大量的要求,必须大量,不同的数量我们能做出的判断是不一样的,足够以后,就可以】;
- 风险:受控。【必须要有风险,没有风险的事情不做,因此必须可控,且,必须在可控-失控边缘游走(最佳状态)】;
- 认识/知识/经验:持久化/可传承/热插拔;
- 停机准则:CS的核心。
作为开发者/组织,我们究竟是什么
- 提供可靠/可信赖/可应答的产品,依靠:认知状态 + 组织编排 + 复杂性控制力;
- 我们所拥有的一切,只有:prompt,契约,工具,评估/测试集,gold set,审查机制/规则,审计(各种指标,例如领导关心的经济性指标),停机条件,人的接口。
- 我们【人】,在这里面,追求发展,必然是实践(失败),我们的失败,只有对应agent的失败(agent的错误/失败的类型):理解错误/误读,规格漂移,实现迎合,评价器有偏/污染,幻觉,越界/越权,遗忘,丢失上下文,局部-全局的gap,协调步调不统一。
- 最大的担心:【人】跟不上【agent】的发展/速度/节奏,甚至在责任担当/判断力等领域
结论:我目前的研究,完全契合AI4AI发展进程
我打的叙事线逻辑,本质是【组织设计】,目前是多agent的协调机制,保持【目标/证据/职责/权限/停机/复盘】动态稳定。
AI4AI R&D 【V2 冷静看看我的想法】
冷静后,认为非常激进
- 迫切认为【人】是制约因素;
- 所谓【足够/大量的证据】,是臆想;
- 最佳状态 == 边缘游走,需要再斟酌。一旦我这边要担风险了,肯定我就绝对不会这样认为了;
没有说明白anthro本身的这个事件
- 叙事角度:融资/万亿准备/资本运作;
- 战略上:一直是宽以待己,严格待人;
- ASI究竟怎样:自动化链路ok,正在工程化,且已经发生了关键瓶颈的转移(实现/执行能力 -> 价值判断/验证/治理/停机);
- 看似呼吁停机,实则吹响号角。
我还丢了什么
- 肯定是我不熟悉的部分:部署/安全/维护;实验/解释
- 没有提到我一直重视的话题:自指性/递归论;
人在哪里:被压缩到高杠杆治理接口
- 【解释】价值锚点:给定目标/价值,是判断力问题,什么值得做/什么可信/方向在哪里;
- 【解释】合法性来源:失败复盘/组织学习/认知源头
- 【责任】责任主体;
- 【责任】风险承担者:风险预算;
- 【授权】停机授权者;
证据问题,依然用我们的范式来结构性处理:从追求数量,改为追求结构
证据的性质方面,我们追求以下方面:
- 独立性:来源,例如是否是独立评估器
- 覆盖性:聚类,是否对风险类别覆盖完全,或核心风险是否覆盖
- 对抗性/抗毁性:反例/红队/恶意输入
- 因果性:区别于相关性;
- 不可篡改性:日志/摘要/评估/结果的归档/可追溯;
- 迁移性:跨场景/版本/数据的稳定性
比较柔顺是拉到数学层,发展【证据演算】系统
结构化输出的证据结构:
- 结论A,A的证据集{B};
- {B}的独立性/覆盖性/抗毁性
- {B}和A的因果性
- {B}的访问权限约定
- {B}的边界,何时/什么情况下,可以推翻{B}
高风险边缘不是我们的追求,限制在可控范围内,追求高【学习率】
风险的可控:
- 局部化
- 分层化
- 可回滚
- 可分类/归因
我一直没有考虑的【开发】,是时候考虑这方面的新玩法:制度约束下的生成式搜索
可能的新玩法:单线程 -> 多线程/多方案
- 定义搜索空间
- 约定工具调用权限/逻辑
- 记录中间状态
- 受控/无污染的自动修复
- 完全解耦:编码/测试/验证(评估器)
- 审计过程如何实现风险降低