人工智能实战靠谱吗？漏洞很多，风险很大！

人工智能已经成为提高美国海军和美国国防部能力的技术焦点。美国海军部长卡洛斯•德尔•托罗（CarlosDel Toro）将人工智能列为革新美国海军力量的首要课题。美国海军作战部长迈克尔•吉尔戴（Michael Gilday）上将也提出：人工智能在战场能力和决策灵活性方面提供了许多有希望的突破。

AI技术的进步也伴随着巨大的风险：由于自动化（包括人工智能）具有持久的、关键的漏洞，若要应用与国防应用中，则必须彻底了解和充分解决这些漏洞，才能保持其有效性和弹性。然而，目前的人工智能系统非常脆弱——也就是说，在高强度的使用中，很容易被欺骗、损坏或容易出错。

机器学习，尤其是现代“深度学习”方法，虽然推动了人工智能的进步，但也非常容易受到欺骗和干扰。人们通常认为“人-机团队”可以解决这个问题，但是这种团队本身也存在大量问题且十分脆弱。因此，新的AI功能系统只是看起来比原有技术优越，但是其潜在的脆弱性将为作战埋下灾难性缺陷与隐患。

此外，未来应用程序中的故障模式通常是不可见的。因此，人工智技术虽然取得了重大进步，但往往没有充分认识到这些进步的局限性。导致了一种很危险的现象：冒着过度依赖技术的风险，而技术可能会大大低于预期。

陆军未来司令部司令和国防部技术采纳部领导迈克•默里（MikeMurray）上将在最近的一次电台采访中说：“我无法想象一个自动的目标识别系统不会比人类的记忆做得更好……假设你必须在训练抽认卡上有90%的成功率才有资格坐到炮手的位置上，那么根据你所看到的火炮类型，如果有正确的训练数据和正确的训练，我无法想象没有一个系统（一个算法）能够做得比90%更好，然后让人类决定是否正确、是否扣动扳机。”

这种说法反映出，人们对人工智能的局限性以及人类与自动化之间的协调困难缺乏想象。

AI识别的成功率只是建立在有限范围内实验所获得的数据基础之上的，现实世界中并没有一个成功的案列可以证明AI的可靠性。尤其是过去几十年，自动化在大型关键领域系统（如航空、制造和工业控制系统）中的应用存在诸多缺陷和漏洞。因此，AI在现实世界中的应用要吸取这些经验教训，而且要慎之又慎，只有在充分了解AI系统自身存在的局限性，才能更行之有效地应用AI系统。

目前关于人工智能的说法往往过于乐观。过分夸大了技术期望，人工智能并不是万能药。相反，人工智能是一套重塑问题及其解决方案的技术。人工智能在军事或国家安全问题上的可靠应用必须确定要克服的关键问题与限制因素，军方不能忽视基本的技术现实，就急于开发新技术。否则，军方可能会发现自己依赖于脆弱的工具，无法胜任实际的作战任务。

在军事行动中，必须根据“采用新技术是否会产生未知问题，以及是否会产生比它所要解决的问题更危险的问题”这个标准来仔细评估新技术。对于大型、复杂和“棘手”的问题，“任何解决方案总比没有好”这种方式并不总是经常能行得通。相反，干预往往会产生新的问题。

人类识别和目标识别算法既不等效也不直接可比。二者以不同的方式执行不同的任务，并且必须根据不同的标准来衡量。

人类在目标识别任务中，不仅能识别目标本身，同时还能很好地识别与目标相关的周围环境。人类可以在理解目标识别这一概念的基础上，从总体上概括出目标本身及其所处环境的观察结果，并能大致评估出不确定因素，从而能更加清晰地了解所识别的目标。

因此，人类的视觉和辨别能力远比简单的目标识别抽认卡测试所能测量的要强大得多。

有人可能会争论说，高整体性能或特定应用程序的操作认证可以消除这些担忧。但这也是一种过于简化的观点。再次想象一下默里将军提出的目标场景：假设系统有98%的准确率，但训练有素的人在相同的测试场景中只有88%的准确率。对于战场上真正的作战人员来说，当子弹和导弹飞来飞去，命悬一线时，作战人员是会质疑系统的判断，还是会直接扣动扳机？在危险紧急的情况下，作战人员会因为AI系统的优势而选择相信AI系统具有更好的性能吗？