最近，我问我的同事他们是否曾被自动驾驶功能所吓到，有人和我说英菲尼迪Q50混合动力车的自动制动令人十分不快，因为当她在紧急转弯前，自动制动会让她的车突然放慢速度，结果她就被后方的车追尾了；另一个人则非常烦他的现代汽车的嘟嘟声，因为他偏离附近的车道时它就会发出警报；三分之一的父亲常常用他家里的钥匙扣启动他的丰田凯美瑞，开车去上班，当他开车回家时他发现无法启动汽车。根据爱荷华大学全国高级驾驶模拟器主任Daniel McGehee的调查，大约40％的美国司机表示ADAS经常做出令超出他们预期的行为。
近四十年来一直与自动驾驶软件密切合作的飞机驾驶员对此类事件总结为8个字：自动化带来的意外（autonomous surprises）。
其中一个特别悲惨的例子大约发生在10月份，当时狮航公司737 Max在印度尼西亚海岸坠毁，造成189人死亡。坠机事件仍在调查之中，但很快就有人猜测是事故发生的原因来自于波音导航软件MCAS，该软件设计用于将飞机指向下方。作为该型号重型前置发动机的修正装置，MCAS故障可能导致飞机急速俯冲。
然后，就在上周日，一架埃塞俄比亚航空公司的737 Max从亚的斯亚贝巴起飞后坠毁，机上人员全部遇难。再一次，所有的目光都集中在MCAS上。周二，达拉斯晨报登载了一系列关于飞机自动驾驶功能的飞行员投诉。欧盟、中国和其他公司已将所有737 Max飞机停飞以应对坠机事故，波音公司表示将更新该飞机的飞行控制软件。
波音公司在2017年推出的所有新型号737上安装了MCAS，但是他们认为这些变化非常小，无需重新培训飞行员，甚至不需要对新软件提出警告 - 包括新的覆盖控制，并且该观点被美国和欧盟监管机构所支持。
坠机事件提醒人们，即使商业航班变得高度自动化，飞行员仍然需要很大程度上了解飞行飞机的导航系统，并知道如何以及何时应该覆盖控制飞机。737 Max的坠毁可能是对此的最好证明。一般来说，这种人机生态使得航空旅行非常安全：美国十年来没有一家航空公司消亡。
但美国宇航局艾姆斯研究中心的飞行员和研究心理学家史蒂夫卡斯纳说，自动化并没有让飞行员的工作变得更容易：“你认为这会使飞行员变成一个愚蠢的角色，但事实上是，你必须比以往任何时候都更加了解才行。”
卡斯纳是许多飞行员和分析师之一，他觉得30多年前在飞机上引入自动化与今天的自动驾驶汽车非常类似，因为司机们都准备把驾驶负担交给自动驾驶。
“历史总是惊人的相似，这一切就像1983年一样，”卡斯纳说，在大多数航空公司将自动化成功部署之后，他认为汽车制造商可能会过度使用不熟悉的技术解放人们的双手，“我非常担心即使航空已经向我们展示了如何做到这一点，我们也可能在汽车方面犯很大的错误，在车里等车自己到达目的地可不是我们的强项。”
卡斯纳与认知心理学家埃德温哈钦斯一起撰写了一篇新论文“ 我们需要让司机了解什么？制定部分自动驾驶汽车的驾驶员最低培训标准”，他们的一个主要观点是，如果没有了解系统运行方式的飞行员，自动化就不会像现在这样安全。
“无论737 Max坠机事件的调查出来的结果如何，人机界面都将是一个重要的因素，”前战斗机飞行员兼杜克大学人类和自动化实验室负责人米西卡明思说。多年来，她一直担心自动驾驶汽车的问题，驾驶员不仅会被自动驾驶技术分散注意力，不了解其能力而忽视其警报，它也逐渐削弱了他们的驾驶技能，使他们无法在恰当的时机做出正确的操作。（使用自动化的飞行员很大程度上保留了他们的驾驶技能，但他们的决策技能受到了影响。）
“他们让人们陷入虚假的安全感，这是我们在航空领域学到的一个教训，”卡明思解释道，“只要是活人一般都可以拿到驾驶证，你可以强制人们接受某种标准化培训，但其实并不会不会这样做，因为大家都很懒。这就是我反对Level 3级自动驾驶的原因，你甚至不能保证所有人都接受被美国联邦航空局的年度检查，那你怎么能指望机器永不出问题呢？”
这就是在空中和汽车之间的重大差异，飞行比走路更安全。对于司机和行人来说，汽车出行仍然是非常危险的，因为对汽车危险的界定条件实在是太低了，比如，在密闭的车库启动汽车，因为一氧化碳中毒死了二十几个人，那不是将车召回的理由；同样的，两名车主在“自动驾驶”功能开启时撞上一辆卡车当场车毁人亡也不是召回所有特斯拉的理由。
McGehee表示，2019年的大多数汽车型号中广泛引入的自动驾驶技术比如紧急制动，车道变换警报，自适应巡航控制等等，可能会减少车祸的总体数量。（联邦法规不要求将关于高级驾驶辅助技术的数据包含在碰撞记录中，因此很难确定它的作用。）这些数据可能存在欺骗性，但也许你必须打破这些误解，才能创造出一个自动驾驶的乌托邦。
大多数自动驾驶汽车学者都说，如果自动驾驶研究的最终结果是完全不需要人类控制（正如谷歌的Waymo所做的那样），那将非常有利于安全。随着人类适应各种技术，这将是一个艰难的过渡时期。这些自动驾驶技术很少是完美的，有些需要监督，有些则需要训练。
“机器人为人类提供了出色的备用驱动力，人类为机器人制造了可怕的备用驱动器，“卡内基梅隆的自动驾驶专家Costa Samaras说。但是，每年有成千上万的人死于酒后驾车，还有数千人死于没有系安全带，因此很难看到驾驶员考试将学习自动化技术作为首要任务。
在某种程度上，这也是非常矛盾的，比如，克莱斯勒于1958年推出了“自动驾驶仪”，这项技术很快将作为“无脚驾驶”广告给女司机。今天我们知道它是巡航控制，它的作用是什么呢？只需按一下按钮，你的车就可以以70英里/小时行驶。巡航控制听起来就像一个死亡陷阱，实际上，很难想象如果没有了这个技术，应该如何去开长途高速公路。
但是过了六十年之后，还会有人知道这个技术吗？（自动驾驶普及，人与车完全隔离，不需要再去了解这些技术，译者注）