【导读】自动驾驶系统是否应该不惜一切代价来保护它们的乘客，还是应该通过编程选择牺牲乘客，从而保护他人？
美国时间周五凌晨，达拉斯市警方在拆弹机器人上安装炸药，远程操控该机器人行至一名嫌疑犯躲藏地点并引爆炸弹，嫌犯当场死亡。该事件引发各方激烈争论。
真正的难题：自主型系统
这次事件的发酵与夺人眼球，主要源自美国由来已久的矛盾（白人警察与黑人平民），或者说，更多的是一个社会文化问题。
达拉斯市所面临的种族问题却无可回避。作家 Albert Samaha 在 BuzzFeed 上写道：
这座城市……涉及警方的枪击事件已经减少了。从 2010 年到 2014 年，达拉斯警方共射杀了 34 人——其中超过一半是黑人——人均比率比休士顿、芝加哥、洛杉矶和纽约都高。
目前的报道并没有增进我们对基于人工智能的自主型系统（包括武器）难题的思考。比如：
1.失灵。自主机器决策导致相关死亡事件。今年 5 月份，佛罗里达一位特斯拉 Model S 车主在使用“Autopilot”自动驾驶功能时发生事故死亡。特斯拉公司在调查原因后在博客写道：“在光线过于强烈的环境下，无论是自动驾驶系统还是驾驶员都未能及时察觉前方拖车的边缘，因此未能施加制动。在极为罕见的情况下，拖车高度与其在马路当中的位置造成特斯拉 Model S 直接撞进了拖车底部。”
2.道德两难。自动驾驶系统是否应该不惜一切代价来保护它们的乘客，还是应该通过编程选择牺牲乘客，从而保护他人?近期《科学》杂志网络版报告指出，尽管一些人争论道，自动驾驶汽车控制的道路会更安全，但提供这种安全性的特有编程也许会阻止它们最终上路。
3.滥用。2015年，科技媒体 The Intecept 刊登了一份文件，详述了NSA的天网计划（SKYNET programme）。根据文件显示，这项计划旨在大规模监控巴基斯坦移动电话网络，然后使用机器学习算法分析5500万用户移动网络元数据，并试图评估每个人成为恐怖分子的可能性。然而，根据这种机器学习程序，最高得分目标是 Ahmad Zaidan，他长期担任半岛电视台驻伊斯兰堡的总编辑。
4.歧视。算法和数据驱动的产品总会反映设计者本身的设计选择，假设这些歧视不存在是不负责任的行为。有证据表明在线购物，以及预设为由中立算法驱动的定价策略中都存在歧视。另外一项研究中，哈佛教授 Latanya Sweeney 分别搜索了白色人种儿童（Geoffrey, Jill, Emma）和黑色人种儿童（DeShawn, Darnell, Jermaine）的常用名字，她发现，80%的“黑色”姓名搜索旁边推送的 Google AdSense 广告会出现“逮捕”字样，而“白色”姓名搜索中该数据低于30%。
5.控制。随着技术的进步，自动化程度更高的机器人也出现了。自主杀人机器人的正式称呼是“致命自主武器系统（LAWS）”。从已经公开的消息看，至少中国、美国和俄罗斯已经在从事这方面的研究了。比如，美国海军舰载的“密集近防御系统”（Phalanx）。前段时间，美国的一款人工智能系统甚至在模拟空战中击败了人类战术专家 。而环球网也曾报道：
中国、俄罗斯和美国正致力于可以独立执行军事行动的自动化机器人。美国国防部常务副部长罗伯特•沃克发表声明称，五角大楼有落后的危险。他称：“我们知道中国已经在机器人和自动化领域进行了巨大投资。”俄罗斯国防部第一副部长兼武装力量总参谋长格拉西莫夫大将称：俄罗斯也将打机器人战，在不久的将来，俄罗斯有可能开发出完全机器人化的部队独立完成军事任务。
谁该为这些自主系统的行为负责？如何给自动化程度更高的人工智能系统安置一个“红色按钮”？
6.划分防御/攻击。最近，军火商开发出了首个攻击性自助武器。以色列航空工业公司的“哈比和哈洛普”无人机可自动追踪敌方航空系统的无线电发射，并通过撞击摧毁目标，该公司表示，无人机“已经销往世界各地。”
问题是，如果使用智能武器，那么，传统的自卫与侵犯之间的界限也将难以维系。
加利福尼亚大学伯克利分校的的人工智能专家 Stuart J. Russell 是禁止自主化武器运动的领袖，他说，人们需要搞清楚界限划在哪里，我们应该站在这条界线的正确一边。“总的说来，清晰界分进攻和防卫性武器，对此，我没有信心。”
华盛顿的政策组织、新美国安全中心（New American Security）的武器分析员Paul Scharre 说，“如果界限很容易划清，国家早就同意研发『防御型』武器了。”
回避不了的难题
《华盛顿时报》报道，达拉斯警察局局长 David Brown 在上周日为其使用致命机器人杀死枪杀警察的犯罪分子的决定进行了辩解，他说下一次遇到这种充满不确定性的危险情况时还会使用类似的致命机器人。“是我下的决定。在相同的情况下我还会作出此决定，”Brown 局长对 CNN 说。
达拉斯市长 Mike Rawlings 也对警方的行动表示了支持，他说他为警方感到“骄傲”。
不过，减少风险的人类本能（想想霍布斯吧）和军事经费不仅会继续推动军事技术的演化，也会推动军事技术向执法机构流动。总有一天，上面所有自主型武器问题，也是警方需要面对的难题。 “骄傲”、“在相同的情况下我还会作出此决定”这样的回答也不再能满足大众的要求。
