1. 首页 > 人工智能技术 >

人工智能安全:未来战争的风险与挑战

  郝。

  CISS人工智能与安全研究小组成员。

  中国电子发展战略研究中心专家。

  中国工程院人工智能安全发展研究组成员。

  随着人工智能技术的发展,人工智能已经广泛应用于各行各业,推动了人类社会广泛而深刻的变革。但是,人工智能技术是一把“双刃剑”,人工智能也可能带来意想不到的安全问题。人工智能真的安全吗,从无人驾驶汽车打人到自主武器杀人,从通过脑机接口创造超人到人工智能的自我复制?特别是人工智能应用到军事领域,世界会不会陷入可怕的“人工智能军备竞赛”,导致人工智能失控?

  人工智能安全风险的根源。

  一方面,人工智能给人类带来安全风险,这是由于人工智能技术不成熟造成的,包括算法不可解释性、数据依赖性强等技术限制;另一方面是人工智能技术在应用和滥用过程中对不同领域的影响和冲击,包括对政治、经济、军事和社会伦理的冲击和挑战。具体到军事领域,人工智能带来的风险和挑战不仅包括技术局限和不成熟带来的风险,还包括对现有战争机制的改变、对战略稳定的影响、对战争伦理的挑战。本文只选取智能智能系统的误判风险、辅助决策系统的安全风险和自主武器系统的安全风险进行分析。

  智能信息系统中的误判风险。

  基于人工智能技术的感知系统可以广泛应用于智能、监视和侦察任务,但这种智能系统存在误判的风险。

  首先,智能智能系统的视觉感知是基于现有的图像数据集进行训练的,数据的数量和质量会影响人工智能的智能判断的准确性。其次,人工智能的计算机视觉不同于人类的认知方法。经过训练,人工智能系统可以对物体或人物进行识别和分类,但不能像人类一样理解物体的含义或概念。当面对新的图像数据集时,会做出错误的判断。再次,智能智能系统可能会被欺骗做出错误的判断,即对抗样本攻击。比如在交通信号灯上贴一小块精心挑选的胶带,会让人工智能系统把红灯误判为绿灯。2019年8月,莫斯科国立大学和华为莫斯科研究中心的两名研究人员发表了一项研究成果。只有用普通打印机在帽子上打印彩色贴纸,ArcFace等行业领先的人脸识别系统才能做出错误的判断。在战斗中,这种错误可能导致对目标的误判,并意外伤害平民或自己的人员和设施。

  思考:在战争中,如果反样攻击故意使对手的人工智能系统无法区分军民、军事设施和民用设施,造成错误攻击,谁来承担责任?

  辅助决策系统的安全风险。

  人工智能辅助决策系统在军事中的应用可以加快数据处理速度,提高物体识别能力,提高人机交互水平。国防高级研究计划局在2007年启动了“深度绿色”项目,将人工智能引入作战决策。它通过计算机模拟OODA环的观察和判断环节,提前演示了不同作战方案的各种可能结果,并预测敌人的行动,帮助指挥员做出正确的决策。然而,决策辅助系统的安全风险不容忽视。首先,战场环境的变化和战场的复杂性可能会使人工智能系统做出错误的判断,从而影响指挥官的决策。其次,如果战争双方都采用人工智能辅助决策系统,对立双方在战场上部署的人工智能系统会使环境复杂化,超过一个或多个系统的分析能力,进一步加剧系统的脆弱性,增加事故和失误的可能性。第三,人工智能大大缩短了决策过程和时间,大大增加了突发事件导致国家间冲突升级的风险。如果人工智能参与核打击的决策,后果会更严重。美国国防部前副部长罗伯特·沃克(Robertwalker)以俄罗斯“周界”核武器控制系统为例,说明人工智能不应参与核武器的控制,因为他们会基于某些指标或数据做出错误判断,启动核武器。在特殊情况下,人工智能可能会误判一些潜在威胁,从而更容易引发核战争。

  思考:如果辅助决策系统显示敌人马上攻击我的概率是60%,应该如何选择?先发制人,还是观望?

  自主武器系统的安全风险。

  自主武器系统可以实现“非接触、零伤亡、低成本”的战争,降低了战争门槛,可能导致武力滥用。同时,自主武器系统在没有人为干预的情况下做出决策,切断了战场上人与人之间的情感联系,减轻了攻击者的罪恶感,有可能引发人道主义危机。由于缺乏价值判断和主观考虑,自主武器系统不能合理评估对平民或民用物体的损害,并进行错误的攻击,违反了相称性规则。如果自主武器不能适应战争形势和环境的变化,自主武器系统也可能违反区分原则,误伤平民。如果让自主武器适应环境变化,实现自我进化,就有可能失去人类的控制。

  自主武器系统迫使人类重新思考战争法的主体定义、适用范围和基本原则,使现有战争法面临严峻考验。

  思考:当所有利益相关者都提前认识到人工智能具有“自我进化”的可能性时,程序的“自我进化”所造成的后果由谁负责?“谁制造谁负责”,“谁拥有谁负责”?还是“谁用谁负责”?

  人工智能的安全管理。

  目前,人工智能逐渐应用于军事领域,人工智能带来的风险和挑战也越来越严峻。如果不加以有效限制,人工智能一旦脱离了人类所期待的发展方向,其危害将是巨大的,甚至是毁灭性的。在武器研制过程中,要坚持有效人为控制的原则。包括开发和使用过程中的控制。因此,应该为人工智能创造一个“规则”的笼子,以便更好地为人类服务。目前,社会各界已经开始采取行动,包括加强人工智能安全监管,制定人工智能原则,制定人工智能安全标准,开发可解释的人工智能技术。

本文由网上采集发布,不代表我们立场,转载联系作者并注明出处:http://www.xhsrgzn.com/a/jishu/317.html

联系我们

在线咨询:点击这里给我发消息

微信号:

工作日:9:30-18:30,节假日休息