精品译文 | 为安全建立可信的档案：Waymo用于判定不存在不合理风险的方法（上）

译文 为安全建立可信的档案：Waymo用于判定不存在不合理风险的方法（上）

原文:   Building a Credible Case for Safety:Waymo’s Approach for the Determination of Absence of Unreasonable Risk

翻译：林得志、卢萍

译文审核：卢萍

➡本文（约7500字，15钟阅读）

多年来, Waymo 在内部依靠一个既定的安全框架，该安全框架经过 10+ 年的道路运营改进，并在Webb et al. (2020) 中首次向外部世界展示，使 Waymo 在开发 SAE 4 级自动驾驶系统（ADS）方面取得了行业领先的进步，我们称之为 Waymo DriverTM。_​

在本文中，我们将解读Waymo提出的，将我们现有的安全框架与最先进的外部安全档案和安全保证的最佳实践正式协调起来方法。我们也希望这篇论文能为L4 ADS应用，对同样主题提供先进理念。在安全档案定义的上下文中，Waymo在Webb et al. (2020) 中分享的内容可以作为在我们安全框架内的方法论概述的最佳描述，方法论提供了用于填充安全档案的证据集合以及管理实践的概述。

该出版物围绕三个关于安全的互补观点构建，这些观点建立在Waymo自2020年以来发布的内容的基础上：通过分层的方法论证安全; 通过动态的方法论证安全；以及通过可靠的方法论证安全。每个观点根据行业标准总结如下，我们将安全定义为不存在不合理风险。

通过分层的方法论证安全的主要要点：

● 分层的方法使我们能够垂直分解不存在不合理风险（AUR）的确定性，这是Waymo安全档案的顶层目标。

● 确定AUR本质上是一项风险评估工作，因此我们支持将残余风险划分为特定和适当的危害类别。我们区分架构、行为和服务期间的操作风险。

● 确定AUR依赖于可接受标准的明确定义，该标准基于安全性能指标，这些指标有助于评估因果链上可能导致不合理风险的各种不同点的性能方面。

● 我们对安全档案方法的框架充分利用了，几十年来对安全工程的理解形成的基于共识的标准，并辅以我们在ADS开发和测试领域超过10多年经验的先进理念。本文中的原创和新颖的贡献包括开发一个验收标准（AC）框架，该框架与技术无关，并且可以由任何希望将其评估方法映射到行为评估空间的开发人员实现。。

● AC框架为每一类危害都建立了多维度的评价空间。此空间的明确定义有助于对，安全档案声明和支持性证据获得的适当覆盖范围，和有足够的信心来确定不存在不合理风险，进行验收和压力测试。

通过动态的方法论证安全的主要要点：

● 通过动态的方法论证安全使我们能够探索Waymo安全确定生命周期的纵向和迭代开发，这是本工作中首次提出的另一个原创贡献。纵向观点补充了前面章节中介绍的垂直发展。

● 产品和工艺开发阶段被映射到安全确定生命周期，在这里我们区分了安全的三个方面，每个方面都有助于我们的安全保障活动：安全作为紧急开发属性；安全由于可接受的预测和/或观察；安全由于信心的持续增长。

通过可靠的方法论证安全的主要要点：

● 通过可靠的方法论证安全为Waymo安全档案的格式和结构奠定了基础。它介绍了本文中提出的最终原创贡献，即我们的档案的可信度评估（CCA），这是一个创新的框架，我们现在与 ADS 社区更广泛地共享。

● CCA基于自上而下的论点可信度支柱和自下而上的证据可信度支柱，并通过执行可信度检查进一步加强。

● CCA使我们能够为我们的声明推导出有条理的结构，Waymo以自然语言的表格格式组织这种结构 。它始终被应用于构成Waymo安全框架的方法论体系，并于2020年向世界展示。

在介绍上述材料之后，我们简要概述了其在Waymo方法之一的避撞测试方法中的应用，其详细信息最近已发布。

我们设计了开发安全档案的方法，以最大限度地减少证实偏差并最大限度地提高科学防卫的可能性。最后，我们提出了我们对创作和审查之间的独立性、 时间安排和流程成熟度以及我们方法的推广潜力的考虑。我们希望这些材料对这个领域的其他人有所帮助，并进一步推动有关ADS安全性的讨论。

01

简介

Waymo始于2009年的谷歌自动驾驶汽车项目。自那以后，该公司在Waymo Driver的开发方面取得了重大进展，这是我们的自动驾驶系统（ADS），其使命是通过安全和负责任的驾驶来减少交通伤亡，并通过我们的承诺，谨慎地管理随着运营规模的扩大而产生的风险。

如今，Waymo在亚利桑那州和加利福尼亚州运营着一家完全自主的商业叫车服务公司Waymo One。Waymo One展示了Waymo Driver的Waymo操作，Waymo Driver是SAE 4级的自动驾驶系统3，因此根据定义，它负责整个动态驾驶任务（DDT）4的执行，不依赖于人为干预。5 Waymo Driver也通过Waymo的商业机动车辆货物交付计划驱动Waymo，所以我们的技术真正具有在未来几年彻底改变交通和物流行业的潜力。

作为我们对安全承诺的一部分，Waymo于2020年10月首次向世界分享了我们日常使用的方法论体系，以评估Waymo Driver是否准备好进行完全自动操作（Webb et al., 2020）。从那时之后，很多论文研究进一步详细介绍了我们的分层和多管齐下的安全方法6，并提供了有关我们安全性能的信息(Victor et al., 2023; Schwall et al., 2020）。

在2021年4月，我们进一步阐述了我们认为自动驾驶系统技术应如何被监管。我们这样做是为了响应美国交通部的要求，就“自动驾驶系统安全架构”的建议规则制定预先通知（ANPRM），向利益相关者提供输入。Waymo的公众意见7提出了一种分阶段的监管方法，在第一步中，自动驾驶系统制造商对详细和全面的安全档案进行自我认证，定义通过收集令人信服的证据来支持强有力的安全论据。

更具体地说，安全档案的发展可以追溯到安全论证的逻辑分解方法，这些方法在历史上曾被许多不同的行业所采用，其任务是正式地主张和证明如何实现足够的安全水平（这一分析通常是在令人遗憾的悲剧发生后临时进行的；例如，参考（Cullen，1993）和（Gehman et al., 2003））。多年来，安全档案的概念得到了进一步的完善和正式化（UK MoD, 2017）。对于自动产品安全的具体情况，UL 4600标准将安全情况定义为：

“一个结构化的论点，由一系列证据支持，提供了一个令人信服、可理解和有效的案例，即一个系统在特定的环境中对特定的应用是安全的”（UL，2022）

最近，安全档案的概念和自动驾驶系统（ADS）安全保证的一般方法已成为标准化和核心监管讨论的共识（UL，2022）（ISO/AWI TS 5083）（NHTSA，2021）（UK Law Commission, 2022）（BSI，2022）。

Waymo正在开发自有安全档案，该档案基于本文提出的方法和我们的安全框架，重点是仅乘客（RO）无人驾驶10用例。因此，与专业的自动驾驶或其他类型任务的测试操作虽然是我们开发的核心，但不在本出版物的范围内。11这也意味着重点是Waymo One，而不是Waymo Driver的功能在Waymo One和Waymo 通过业务线的应用：实际上安全档案是围绕操作用例的详细描述。12此外，本文提出的方法侧重于对Waymo Driver 自动驾驶系统（ADS）在Waymo One内提供乘车业务的可扩展车队中的应用进行更广泛的评估。考虑将“Waymo One乘客专用服务”而非“Waymo Driver”作为分析对象，这对我们部署前分析的验证目标和感兴趣的安全绩效指标的适当选择具有影响。我们部署了整个自动驾驶系统（ADS）运营的车队，因此只有在服务级别才能进行全面评估。Waymo One服务包括所有支持功能（例如，调度、乘客支持、Waymo路边援助和远程援助），这些功能为Waymo One服务提供支持。虽然本文中给出的应用和示例主要来自与Waymo Driver相关的行为方面（在第4节中讨论——安全档案的构成），安全档案广泛地包含了其他要素。

本文的结构如下：

● 通过分层的方法论证安全：我们首先探讨Waymo对安全的定义和Waymo安全档案的顶层目标，基于“不存在不合理风险”（AUR）的最新概念。然后，通过利用我们在2020年与公众分享的分层安全方法的框架，我们详细介绍了基于识别和适当管理的三类危险的系统风险评估过程：架构、行为和服务期间的操作。接下来，我们探索将危险与有害结果联系起来的因果链，为指导识别适当安全性能指标的理解奠定基础。最后，我们介绍了安全档案验收标准（AC）框架的概念，并展示了其在前面介绍的行为危险类别中的应用。

●通过动态的方法论证安全：在本节中，我们用重复迭代保证过程的纵向观点补充了第2节的深度。我们通过引入Waymo的安全确定生命周期的概念来做到这一点，该概念在产品和工程生命周期的背景下展示了我们的准备情况。这一框架分解了安全的三个阶段性观点：安全作为紧急开发属性；安全由于可接受的预测和/或观察；安全由于信心的持续增长。

● 通过可靠的方法论证安全：在本节中，我们介绍了Waymo的档案

可信度评估（CCA）：我们的新框架被用于系统而稳健地构建论证。可信度评估（CCA）建立在两个支柱之上，即个别方法产生的证据的可信度和安全总体论点的可信度，这两个支柱的结合通过实施可信度检查得到了加强。本节还探讨了Waymo安全档案中使用的格式，并提供了一个事例，说明如何在Waymo方法的背景下将本文中引入的概念应用于实践。

● 结论：最后，我们总结了一套关于本出版物价值的简要考虑，以及我们希望它会给行业和公众带来的贡献。

本文展示并解释了我们生成安全档案的准则。因此，本文并不是对安全档案本身的阐述，也不是对Waymo One服务准备情况确定所用框架的结论性和全方位的介绍。换句话说，这是一篇方法论文，而不是一篇结果论文。此外，虽然我们在本文的主题阐述中使用了精确的结构，但这个框架正不断演变和发展。无论自动驾驶系统（ADS）安全性论证的形式如何，现实情况是任何系统或方法都必须逐步改进。因此，本出版物所展示的严谨和周到并不是对安全保障的严格评估，而是指导我们采取结构化和负责任的方法来做出我们安全的决定。

02

安全的分层方法

从机车和汽车到航空，从开发和标准化到国有、私有和军事部门，在多个领域的系统安全和风险管理领域进行了数十年的科学研究和理解，所有这些都告诉我们，目前的安全定义是没有不合理的风险(AUR)。这一定义认为，在生活中进行任何活动都不可能没有任何风险，因此需要就什么是可接受的(即不是不合理的)风险水平建立公众共识。

至少在美国，这种对AUR的确定仍然是在公共道路上部署道路车辆的监管要求，因此不仅是一个理想的目标，而且是必要的目标。已经达到AUR目标的演示取决于可以确定其满意度的接受标准的明确定义，如下所述。

定义不存在不合理风险

最近完成的以及正在进行的标准化活动(ISO, 2022) (ISO/AWI TS 5083)通过规范一个或多个接受准则标准和相关验证目标，正式确定了AUR。ISO 26262:2018 (ISO, 2018a)、ISO 21448:2022 (ISO, 2022)和UL 4600:2022 (UL, 2022)标准提供了理解和正确构建这种方法所需的一系列定义:

● 风险:危害发生概率和危害严重程度的结合(ISO, 2018a)

● 不合理风险:根据有效的社会道德观念，在某种情况下被判断为不可接受的风险(ISO, 2018a)

● 可接受:足以达到安全案例中确定的整体项目风险(UL, 2022)

● 接受准则:表示不存在不合理风险水平的准则(ISO, 2022)

● 验证目标:证明满足验收准则的值(ISO, 2022)

● 剩余风险:安全措施部署后遗留的风险(ISO, 2018a)

这些定义遵循一个级联结构，它需要一个可接受标准的明确定义，用于评估剩余风险是否达到并保持在可接受的水平。ISO/AWI TS 5083草案要求“明确的风险接受标准[…]在拟议用例和操作设计领域的背景下，针对每个已知的危害来源，为ADS表达。”验收标准(AC)对所评估的特定功能，甚至所采用的特定方法都很敏感。虽然它们可以是定性的或定量的(ISO, 2022)，但它们需要规范一个可测量的目标，以确定在没有不合理风险的情况下的准备情况。

不同类型的危害(即，根据ISO 26262:2018的定义，ISO/AWI TS 5083引用中提到的“潜在危害来源”)需要考虑并充分识别，然后才能为系统定义一套适当且足够全面的可接受标准。因此，我们解决了Waymo安全案例的顶层目标分解问题，即通过识别Waymo分层安全方法所依赖的三类危险危害，来确定不存在不合理的风险。

分解不存在不合理风险

事实证明，自动驾驶系统(ADS)及其大规模应用是一个极其复杂的社会技术系统，融合了先进的硬件技术、尖端的人工智能和大型车队运营(Webb et al, 2020)。开发这些元素需要利用和适应不同的工程实践和评估方法，以确保最佳结果(Webb等人，2020)。

其他标准（UL，2022）（IEEE，2022）（ISO，2022）通过利用“可接受”的资格，提供了与本声明对应的正面部分。在下面，我们采用可接受的风险水平的概念来表示“并非不合理的”，因此，与没有不合理的风险有关。

发表于2020年的准备方法白皮书解释了Waymo如何深思熟虑地对这些元素应用不同的评估方法;虽然我们没有划定严格的界限，但在那篇白皮书中，我们试图在我们的技术的三层下描述这些方法和技术的本质:硬件、ADS行为和车辆操作(Webb et al, 2020)。

今天，我们可以通过对相关危害的更详细定义来进一步解释我们的分层方法和分解的论点，注意到我们之前论文中某些术语的变化，以帮助澄清我们的意图。确定不存在不合理风险的核心是一项风险评估工作，因此，将剩余风险固定在特定的、适当的类别上，是我们论证安全的一个基本概念。图1展示了下面描述的每一类危害如何有助于总体确定不存在不合理风险，通过利用我们在2020年向世界展示我们的安全框架时使用的相同视觉隐喻。

图1 将不存在的不合理风险的缺失分解为架构风险、行为风险和运营风险的三个子组件

● 架构性:那些由于架构选择而与嵌入平台的潜在危害源相关的问题。

例子:不希望出现盲点，源于与传感器类型和位置相关的建筑架构选择

● 行为性:与ADS显示的驾驶行为相关的潜在伤害来源，无论是有意的还是无意的/不可预见的。

例子:与周围道路使用者的距离不理想

● 服务中操作:由于ADS系统在复杂的生态系统中运行，与潜在危害源相关的17个，不属于其他两类。

例子:不正确地固定货物或恶意行为者不希望进入车辆。

从各种类型的安全对策和缓解措施的角度来看，跨架构、行为和服务中操作风险评估的区别也是有意义的，这些措施和缓解可以帮助防止危害的实际发生。事实上，对于各种已识别的危险，人们可以设想使用不同性质的多种干预措施(如典型的纵深防御策略(Saleh et al .， 2014)):建筑干预措施(例如，新型安全气囊布置，传感器清洁系统);行为干预(例如，在存在闭塞的情况下限制速度的驾驶政策);以及服务中操作干预措施(例如，加油实践的具体政策;为确保货物安全，实施驾驶前核对表)。

对于这三种危害类型中的每一种，18都需要制定一套明确的风险接受准则，以评估剩余风险是否达到可接受水平或是否需要进一步减轻。因此，关键在于如何确定一组接受准则实际上足以涵盖某一类危害。更明确地说，制定适当的验收准则以断言不存在不合理风险的过程依赖于以下三个假设:

a. 可以通过“架构”、“行为”和“服务中操作”类别识别和涵盖足够详尽的危害列表;

b. 我们可以定义映射到每个危害类型的兴趣指标，为风险评价设定明确的接受验收准则;

c. 我们可以定义最小感兴趣利益的维度集，以声明接受准则集的完整性并建立可信度。

前两个假设是ISO 26262:2018、ISO 21448:2022 (SOTIF)和ISO 21434:2021等标准通过为危险危害提供单独的镜头/滤镜来发挥作用识别和映射到感兴趣的结果。我们将在下一小节中探讨它们与前两个假设的联系。第三个也是最后一个假设将通过第2.3节提出的验收准则标准框架来解决。

建立对因果链的理解

对于每个已识别的危害，可以根据ISO 21448:2022、ISO 26262:2018和之前的IEC 61508:2010等标准中描述的过程来评估导致危害发生的因果链。

图2提供了这种因果链图，因果链的可视化表示，从场景触发条件到已识别危险风险的危害表现，并提供可能考虑的示例，以帮助读者理解

图2 因果链的可视化表示

图2 将特定场景触发条件(在最左边的灰色框中)的发生映射到可能导致已识别危险风险表现的危险危害因果因素(这里是危险危害行为，大致位于图像的中心)。因为只有对“已知”的危险危害才有可能绘制地图。因果链详细说明了当且仅当发生的场景使ADV暴露于危险危害实际上可能导致伤害的条件下(见标有“暴露”的绿色箭头所标识的区域)，以及由此产生的危险危害事件仍然不受控制的情况下(见标有“可控性”的绿色和黄色箭头)，已确定的危害如何表现为危害。的可视化表示，它是从上述标准中抽象和改编的。

对使用(在合理可预见的故障和/或功能不足的情况下)、误用和滥用的考虑都是场景相关激活机制的一部分，在图2左边的灰框中表示。这些都映射到众所周知的功能安全、预期功能的安全性和网络安全标准，这些标准可以识别图1 22中所有三类的危害，以及将相关风险减轻和管理到可接受水平的过程和指导方针。在图2中，绿色箭头标识了影响风险确定的标准化概念;黄色箭头代表一个直观但仍在讨论中的概念，正在形成共识(即，ADV对某些危险事件行使的可控性，特别是与L4 ADS开发人员相关，目前未在可控性评估中考虑);蓝色箭头标记了离散点，用于评估影响伤害发生概率的活动和事件的覆盖范围，从而确定干预杠杆。

图2中所示的概念可以推广到更广泛的伤害诱导机制，而不仅仅是传统的碰撞(例如，火灾、排放、攻击)。

虽然传统的安全通常侧重于身体伤害(即非零伤害风险或生命威胁)和/或财产损失，但Waymo的某些方法采用了更广泛的风险定义，包括法律风险和主观风险感知。良好的驾驶行为不仅仅是安全驾驶和遵守道路规则，即使与潜在的身体伤害没有精确关联，因此，与负责任的道路公民概念相关的更广泛的概念补充了Waymo的准备决心。

文章转载自公众号：Sasetech