Thoughts · 0016 · research-log

自主无人机事件

治理、文明与人的尺度#governance#AI-boundary#evaluation

定性

  • 具名产业人士披露
  • 严肃科技媒体报道
  • 独立证据链未闭合
  • 不是司法级/联合调查级/独立取证级
  • 可信度:高
  • 技术可行性:完全可行
  • 战略层:临界事件

我们所看到的

  • 人类从选择具体目标,到给出范围/规则/目标特征,机器在开发战场执行发现/接近/解决完整动作。
  • 新型空中地雷

我们的材料

自主杀伤系统的治理层级【可控性】

自主涉及以下环节,核心是在开发世界中,给出行为保证:

  • 导航:接近
  • 感知:识别
  • 分类
  • 选择目标
  • 交战
  • 中止

责任主体分析

  • 人类:无意义,因为一切都在闭包/场域/语言游戏内,没有“外面”,即至上再无约束,除非出现/接触新文明;
  • 国家:合法性审查,国际人道法,最高手段无非是赔偿;
  • 政治领导层:出台/批准的政策;
  • 军事指挥官:追求所谓的合法性,如交战规则/行动机制;
  • 操作员/任务规划者:参数正确性,人出手/掌控的时机;
  • 制造商/集成商:诚信,参数准确,事实夸大率;
  • 数据/模型团队:测试证据链,模型可验证性,红队测试,能够解释误判;
  • 审计/认证机构:形式化审查/适配性验证/事故取证设计;
  • 机器本体:必须成为具有负载能力的对象:证据/风险/召回/禁用。

本质原则不动摇:国际人道法

  • 区分:军事目标/平民
  • 比例:附带损伤 < 直接军事优势
  • 预防:合适目标/减小伤害/无非法攻击

我们的分析

考虑以下维度的人的位置:

  • 事前:设计者,训练者,制造者,部署者,授权者,指挥者
  • 事中:AI可追溯,可中止。【很难】
  • 事后:审计,追责,审计。