精品译文 | 为安全建立可信的档案：Waymo用于判定不存在不合理风险的方法（下）

译文  为安全建立可信的档案：Waymo用于判定不存在不合理风险的方法（下）

原文:   Building a Credible Case for Safety:Waymo’s Approach for the Determination of Absence of Unreasonable Risk

翻译：代超、卢萍

译文审核：季池

​​接上文：为安全建立可信的档案：Waymo用于判定不存在不合理风险的方法（上）​​

➡本文（约7500字，15钟阅读）

03

一种安全的动态方法

第2章节侧重于跨体系结构、行为和服务操作危害层的安全垂直分解。在本章节中，将进一步详细说明安全生命周期的动态和迭代性质，从而将重点放在无不合理风险的纵向/横向演示的概念上。

安全决定生命周期

Waymo对任何新业务存在有目的和渐进的扩展，通过使用中的监控提供持续的直接控制，使得风险评估成为一项持续的活动，而不是一次性的事件。这种迭代性质体现在Waymo对安全的三个互相关联的观点的区别（图6）上：安全具有紧急的开发属性；安全具有可接受的预测和/或观察性；并且，安全具有随着信心不断增长的属性。

图6 Waymo安全判定生命周期的可视化表示

1. 安全具有紧急的开发属性。

虽然很多人认为是安全保证实践（例如：安全档案）是开发后的事后实践（Leveson, 2020），但在Waymo One服务安全档案中包含了按照设计进行的安全实践。因此，安全判定的第一阶段是建立在严格的工程开发实践逐渐出现的基础上的。我们通常所指的“开发”既包括我们的产品，也包括使这种开发及持续评估成为可能的过程。开发周期由图6 的循环表示，并根据第2章节的内容，包括架构、开发和服务中操作的三个层次（图6中的内圈，仅显示为中心循环，以避免混乱）。开发实践基于对适用上下文的清晰的理解和定义，包括了：1）车辆配置；2）操作配置；3）ODD选择；4）部署规模，如图6所示。

2. 安全具有可接受的预测和/或观察性。

在某些时间点，Waymo需要对其ADS的特定配置为特定部署的准备情况做出离散的决定（Webb等，2020）。与前一阶段类似，这种确定是建立在环境定义的基础上的，该定义形成了部署准备状态审查之前的特定开发周期（图6中的绿点表示）。在准备状态审查时确定不存在不合理风险，是根据当前版本开发周期中收集的一系列信号得出的，每种方法都提供了不同但互补的注释，与之前版本中收集的现场数据相协调。如今，Waymo可以依靠在道路上收集的超过十年的数据，以及来自最先进的模拟基础设施的数据。结合实际性能和模拟性能，以衡量安全性能指标（在此基础上预测可接受准则）如何与指定目标和批准指南进行比较，从而对安全扩展到下一级部署的能力建立信心。复杂的专业工程和安全专业判断也会参与，将信息综合成一个有充分支持的结论。审查后的证据预测了我们对未来Waymo 驾驶员部署后性能的信心，特别是对完全自主操作的信心。能够预测未来的结果是在基础数据的适用性和可信度的背景下的。未能达到既定的目标将推迟审批过程，并引发立即行动，以评估工程行动的紧迫性并确定其优先级。决策并非仅基于对驾驶性能的考虑。我们还评估了机构在实地行动、使用中的监测能力以及实者时应对事件的能力方面的准备情况，以进一步降低极小概率事件的残余和潜在风险。

3. 安全是置信度的不断增长。

Waymo 确保我们的安全决策的所有层面都存在适当的反馈循环，并得到使用中监控功能的支持，使 Waymo 能够快速采取行动，解决部署后可能出现的任何安全问题。新测试阶段的持续监控和现场安全审查（以及随后的部署，请参见图 6 中最右侧的周期）重新审视 ADS 的性能是否与准备情况审查和批准所依据的目标相符。通过这种监测，还可以识别出现有和/或新出现的威胁的变化。随着部署规模的增长和可用数据的增长，确定AUR的统计置信度提高（Victor等，2023）。与置信度质量相关联的度量有助于确保部署就绪性审查以正确的数据为基础。在任何行业中，不确定性代表了一个基本的统计和操作现实，时间和规模最小化。因此，包含置信度增长阶段对理解完全自主操作的预测数据与实际/观察数据的可信度差异至关重要。对滞后的安全指标的高度信任只能通过利用回顾性和后验性的测量实现，因此建立信心的概念与严格的可信度评估过程相结合（在下一节介绍）是Waymo论证的核心。

04

可靠的安全方法

Waymo主张将多种互补的方法结合起来，因为没有一个单一的接受准则可以为在公共道路上部署自动驾驶系统（ADS）的决策提供坚实的基础（Webb等，2020）。因此，有必要解释安全档案如何可信地吸收和评估这些方法所产生的证据，以证明不存在不合理的风险。这就是安全档案的技术目的，也是本节引入案例可信度评估概念的原因，该概念旨在补充第2节和第3节中提出的作为分层方法的安全和作为动态方法的安全的深度和纵向观点。

Waymo案例可信度评估

在引言中引用的安全档案的标准化定义（见（UL，2022））建立在一系列军事和国防标准建立的知识体系之上（英国国防部，2017）（Dezfuli等人，2015）。这个定义利用了许多形容词来限定安全档案的成功标准：结构化论点；令人信服、易于理解的，和支持论点的证据的有效组合。将所有这些条件都归入可信度的一般概念之下。

多个来源指出，有必要确定安全档案的可信度，以验证其有用性。例如（无意提供详尽的审查）：

● 在（Koopman等，2019）中，可信度的概念与开发人员可以用来论证安全性的各种类型的策略关联性（例如，遵守基于共识的标准、正式论证的正确性、广泛的测试活动）。其中一些主题后来在（Koopman，2022）中再次出现，并进一步补充了对用于论证的不同类型的接受准则和可接受性的更深入的关注。

● 在（MISRA，2019）中，可信度的概念与独立评估员判断论点和证据的准确性和有效性的能力的概念一起提及。类似的用法嵌入在（UL，2022）中，其可信度与整个标准的一致性声明相关联。

● 在欧洲经委会的活动范围内，为虚拟工具链验证为目的提出了一个可信度评的估框架。同样在这种情况下，这一概念是在ADS开发人员活动审计的背景下提出的，其中评估作为最终审核员审查的输入。尽管该框架尚未最终通过，仍有待修订，但该框架表明了虚拟测试在ADS开发和验证中的重要性，以及对确定每个开发人员使用的仿真工具链可信度的共同基础的需求。

● 可信度的概念在保险业也发挥着核心作用，它属于费率制定的常见精算实践。可信度理论是保险业的一个既定分支，可以追溯到保险数学领域的开创性研究（Norberg，2004）（Bailey，1945）。在这个行业内，可信度与对未来结果预测的信心概念更紧密地联系在一起，这是由可用于此类估计的基础数据的适用性、可信度和真实性决定的。

然而，到目前为止，还没有就如何建立安全档案的可信度达成共识。这就是为什么在Waymo，制定了档案可信度评估（CCA）的概念。事实上，这项工作是在创建正式的安全档案之前进行的，它指导了为这项工作制定成功标准，以及在4.2节中提出的声明-论点-论据结构中采用的实际格式。

基于方法论的论据在确定在公共道路上部署的准备情况方面发挥着核心作用。每一种方法产生的上述证据对内部和外部审核员都是可信的，更笼统地说，是可辩护的。因为Waymo的方法来自多种方法的结合，而没有依赖于任何一种方法，同样有必要系统地评估由各种方法论的一致性产生的总体论点的适用性、合理性、连贯性和一致性。

确保安全档案的有效性以满足这些双重要求（即单个方法的有效性和可辩护性以及所有方法的总体适用性和合理性），使以下结合起来：（i）自下而上的方法，建立用于支持安全档案论点的证据的可信度，（ii）自上而下的方法，建立论点的可信度，利用为所有评估方法建立的接受准则的组合（见图7）。在这些背景下，自上而下的方法从目标开始，并转化为支持事实，而自下而上的方法从证据的适用性开始，并整合到总体推断中。这些方法密切配合；一个特定的证据只有相对于它要支持的特定论点才有意义（和可信的）。

图7 安全档案可信度评估的可视化表示

Waymo提出的安全档案可信度评估（CCA）包括以下内容：

● 论点的可信度（紫色三角形）：CCA的这一部分可以被认为是论证结构的自上而下的证明。这包括对档案中使用的每个准则的合理性评估，以及对整个论点中使用的接受准则集所产生确定适用性，如下所述：

✓ 对接受准则合理性的评估旨在从选择合适的绩效指标开始，证明方法中使用的每一个验收标准的合理性。选择与这种绩效指标相关目标的理由也是这项评估的一个关键组成部分。

✓ 论据适用性评估对档案总体结构的评估，源于收集所有接受准则和潜在的满意论证的集合。该评估包括确定所述档案的逻辑合理性和鲁棒性（例如，不存在谬误），以及一组公认的接受准则对满足档案高层级目标的贡献。

● 证据的可信度（蓝色三角形）：CCA的这一部分可以被认为是对现有方法所提供的可信度水平的自下而上的调查，从而产生支持案件论点的证据。将证据的可信度建立在两个方面：置信度评估和覆盖度评估。

✓ 置信度评估分析方法产生的证据的有效性和鲁棒性，以理解其内在的严谨性。区分技术工程的严谨性和过程管理的严谨性，两者都与证据的推导及其确认有关。技术严谨性是指产生某些证据所需的实际工程实践。程序的严谨性是指实际实施过程的成熟度和一致性，因此，对Waymo安全管理系统的开发和实施具有影响（并与之保持一致）；

✓ 覆盖度评估分析方法分析广度的充分性。分析应该包括所有必要的内容，而不是不必要的内容。与覆盖属性相关的声明涉及对许多类型和背景分析的代表性和适用性的评估。

然而，可信度不仅仅是根据论点的可信度和论据的可信度来衡量的。实现可信度的第三个因素围绕着两个三角形，由黑色轮廓上的金色箭头表示。如图7所示，CCA包括对现状进行监测和评估的持续反馈循环，以及适当的更新机制（因为安全档案总是包含改进内容或清晰度的机会），以提供持续支持的适当政策为基础——所有这些都是Waymo更广泛的安全管理系统（SMS）的一部分。

Waymo SMS的一个关键要素是安全保证，它定期评估旨在实现AUR的安全对策和缓解措施的设计和性能有效性。内部审计和合规性的自我评估、符合内部标准和流程成熟度等活动，除了带来持续改进的好处外，还为安全档案的实施可信度提供了信心。从Waymo车队的实际运营经验中吸取的教训，结合安全保证活动，将可靠性纳入设计和运营实践中。这些改进被纳入培训和程序文件中，为流程的稳健性设定了新的标准，并成为在未来的保证活动中评估产品可信度的基准。

综述，CCA的目的是定义一个结构，详细说明可信的安全论证的要素和质量，该结构可应用于Waymo用于其准备行决策的所有方法（如（Webb et al.，2020）），并借鉴外部实践来建立安全评估的可信度。这是一个必要的步骤，以确保能够对Waymo驾驶员准备状态的评估方法建立适当的信心。

声明的格式和结构

现在让我们转向用于生成声明要求的结构，这里将介绍Waymo使用的格式解释。正如2020年论文中所解释的那样，Waymo依赖于多种方法的组合，并且如本出版物中所讨论的那样通过相关接受准则来确定不存在不合理的风险(Webb et al., 2020)。Waymo安全档案中的声明是通过将图7(第4.1节)所示的案例可信度评估应用于我们安全框架的每个方法，并将每个方法接受准则映射到图3(第2.3节)所示的拟议AC框架所产生的空间来生成的。

让我们看一个与后一个过程相关的例子:将特定方法的贡献映射到接受准则框架内的适当维度。Waymo最近的出版物(Kusano et al.，2022)中描述的避碰测试(CAT)程序，由(Scanlon et al.，2022) (Engström et al.，2022)中提出的NIEON人工驾驶模型启用，在响应者角色中处理避碰能力的AC框架维度，用于名义ADS功能状态，并跨越低到潜在的高严重程度。此外，正如(Kusano et al.， 2022)中所描述的，该计划中采用的接受准则以汇总方式使用(即，将Waymo Driver能力与NIEON模型的能力进行统计比较)，39其中Waymo的其他方法捕获事件级风险评估。

如果我们试图将方法贡献表示到AC框架的多维空间中，我们将获得如图8所示的视觉效果。在视觉效果中，灰色和彩色阴影用于区分空间的部分，这些部分要么是方法学未发现的(例如，在图8中，发起者角色是灰色的，因为CAT程序覆盖了仅响应者的性能)，要么是可用的较弱信号(例如，在严重性谱的高端的置信度较低，由可见的颜色阴影表示)。相反，强信号的区域是均匀着色的。

图8 与CAT方法相关的验收标准空间的概念表示

一旦一种方法被适当地置于AC框架的相对维度中，论证可以通过以下结构生成:

声明:AC[插入方法学特定的AC]提供了一个明确的标准来评估预测的RO性能，该性能适当地映射到给定上下文的维度[插入方法学特定的AC框架维度]。

子索赔(SC) #1:所述的接受准则是合理的

子索赔(SC) #2:方法学[插入方法学名称]提供了符合所述接受准则的可信证据

该结构直接来源于CCA，如下图9所示。第一行的一般声明(Waymo的安全框架中使用的每个接受准则都有一个)提供了与AC框架的正式连接，并确保明确的接受准则的定义映射到已知的利益危害，如第2节所述。这样的声明反过来又得到两个子声明的支持:1)子声明为选择给定的接受准则提供了正式的理由(即，per (MISRA, 2019)的理由索赔);2)提供对支持满足接受准则的证据可信度的正式评估的子声明(即根据(MISRA, 2019)提出的满意声明)。图9描绘了这些要素对CCA支柱的贡献，其中:每个接受准则的合理性论证(子声明#1)说明了CCA论证部分的可信度，当所有方法和相关的ac被一致考虑时，论证适用性评估是补充;以及子声明#2 与满足接受准则的证明相关(达到规定的置信度)-说明了CCA证据部分的可信度。

图9 -索赔结构和到CCA支柱的映射

将子声明#1和#2分解为一个结构化的论点(Waymo的安全框架内每种方法各一个)遵循下面所示的表格模板:

表1 Waymo使用的表格模板。该模板提供了对Claim-Argument-Evidence和Toulmin分析结构的改编(Bloomfield at al.， 1998) (Toulmin, 1979)

参数表中的条目以自然语言提供，此时，Waymo的安全档案没有采用任何可视化的树/链或更正式的表示法。这种选择优先考虑了作为安全档案一部分的参数和文档的内部可用性和可生存性。我们认识到，针对其他结构的批评，例如GSNs可以通过树状结构和声明的明显独立性引起确认偏差的论点(Leveson, 2020)，也可能适用于我们的结构。为了解决这个问题，我们采用了一种改进的C-A-E方法(声明-论证-证据)，通过添加最后两列(限制/范围和反论证)来对抗潜在的确认偏误。对于前者，正如UL 4600-2022的多个部分所建议的那样，限制声明允许我们捕捉现有的挑战，并帮助优先考虑未来的改进，而不会导致论点本身的结构潜在地“夸大”(因为它的一致性和形式性)一个人的表现的现实。对于后者，在图尔敏分析的原始辩论-反驳风格的指导下，增加了反论点，使我们能够质疑我们的方法。事实上，反论证专栏不仅需要陈述明确的替代方案(从而对一种方法进行压力测试)，还需要确定这些替代方案被拒绝的原因。

接受准则和支持论点的制定都是基于安全过程和最佳实践、安全测量、安全工程和方法本身的专家对方法目标、方法和发展历史的严格审查。这些努力有助于确保声明在代表方法本身方面具有有效性（即，它们是在Waymo每天进行的过程的忠实转换），并且我们已经达到了声明中所述的性能水平（由证据划分）。

图10提供了一个示例，说明声明的高级结构和接受准则声明如何适用于(Kusano et al.， 2022)中提出的CAT方法。

图10 声明结构在CAT方法中的应用(仅概述)

按照这种结构，Waymo的安全框架(Webb et al.， 2020)中的所有方法都可以适当地映射到AC框架，并生成支持论证。图8多维空间中的楔形可以同时被多种方法覆盖，因此通过利用可能在其贡献的某些部分重叠的方法删除的组合来建立信心。

如第1节所述，对这种结构的严格而精确的阐述不应被误解为已经解决了与确定ADS安全性相关的所有挑战。安全档案就像Waymo的支持方法一样，在不断发展。无论关于ADS安全性的任何论证的形式如何，现实情况是，任何系统或方法都不会被认为免于进一步改进，并且证明满足接受准则的行使可以是专家判断的问题。有时，由于信息或数据有限，需要进行判断，其他时候，这仅仅是依赖于无限数量因素的不确定性实际应用的性质。因此，我们所展示的严谨性和周到性表达了指导我们采取负责任的方法来确定安全性的原则。

05

结论

对像Waymo Driver这样的自动驾驶汽车进行适当的安全评估，需要考虑如何避免和/或将自动驾驶汽车与人类驾驶员共驾的风险以及新引入的风险降低到可接受的水平。安全档案的作用是构建一个充分和充分安全的论点，每个声明都有令人信服的证据支持，并解释了为什么要避开替代方案，所有这些都是在规定的用例背景下进行的。安全档案之所以存在，是因为当面对新技术时，必须通过理解公众期望并与能够启用技术并产生普遍信任的监管发展联系起来，从而建立共识。历史上，许多行业在看待同类技术或令人遗憾的悲剧时，都依赖于安全档案的概念。

ADS行业也采用了这种方法。UL 4600提供了一组可供考虑的最小主题，其中标准对安全档案的生成，格式和结构的方法仍然没有规定。

安全档案流程和程序源于Waymo的历史，与之前的出版物一致，例如我们2020年关于准备就绪确定的论文(Webb et al.， 2020)。在过去，Waymo一直强调解释我们用于生成证据的方法的广度，以及共享数据和为安全档案提供证据的额外研究特征。我们的安全框架已经指导了我们在亚利桑那州和加利福尼亚州部署我们的服务，并不是一个简单的理论练习，用于概念验证演示或试点测试。本文围绕安全档案的贡献侧重于解释我们的AUR确定方法，而不是提出我们的论点，我们认为这是一个单独的贡献。我们认为，基于方法的演示是正确理解我们的安全方法的必要的第一步。发布我们如何构思和执行安全案例流程，有助于对我们的工作进行同行评审。

第三，关于何时撰写正式的安全档案，我们已经做了很多工作，而ADS.41的时间和成熟度问题，以及我们在2020年首次提出的Waymo安全框架和支持方法，为我们提供了一定程度的成熟度——不仅仅是我们的技术，还有用于安全保证的评估方法，这使得在正式的安全档案结构中阐明和组织我们的安全论点和声明成为我们内部长期安全过程的自然延续。然而，开展这项工作并不表明在安全保证方面有了明确的办法和地位。一路走来，我们的安全实践仍处于不断改进的状态，有趋势的证据，例如我们最近的100万r -miles论文(Victor et al.， 2023)的强劲性能数据。

正如我们的安全确定流程是持续质量改进周期的一部分一样，安全档案流程也是如此。

文章转载自公众号：Sasetech