机器权限不能超越人类控制
当地时间3月10日上午,一架从埃塞俄比亚飞往肯尼亚的飞机坠毁,机组人员及乘客共157人全部遇难。失事飞机为波音“737MAX-8”型客机,这已是该型飞机继印尼狮航2018年10月29日坠毁事故后,在5个月内的第2次失事。
初步分析,事故缘于空速管对飞机飞行状态探测错误,机载“防失速系统”(MCAS)自动控制飞机完成了俯冲,暴露出智能化软件设计存在的缺陷。
未来智能化作战中,人类会赋予作战系统一定权限,允许智能化系统在特定作战背景、作战条件下,满足规定的范围、条件或规则即可自主决策,实施机动、攻击、防护等战斗行动。但是波音“737MAX-8”事故警示我们,无论计算机系统的智能决策系统如何先进,它的权限赋值应该始终低于人。
首先,建立人机互信,要增强智能化系统对操作人员通过脑波意识、语音指令、手动操作等多途径传达的意图的理解,使得机器与人类形成目标的相同认知,在此基础上才能赋予智能化作战的相关赋权。其次,允许行动终止。一旦出现人与机器的冲突,或智能系统之间的相互冲突,必须允许人能及时进行干预、纠正或终止智能系统的行动。最后,突出人的最高赋权。系统逻辑中,如果多个智能系统相互冲突,必须将对人的信任度置于最顶层,必须交由人而非单个系统裁决冲突、解决矛盾;如果人与智能系统发生冲突,智能系统必须无条件服从人发出的指令。这样,才能保证智能化系统的可信、可靠、可用,避免悲剧的发生。