一键总结音视频内容
Attention is All you Need
🎙️ 自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究
研究背景
自动驾驶决策中的预测算法可能导致决策失效和安全风险。本次分享将重点讨论在预测算法中，特别是入口场景下，可能存在的公开安全风险，并探讨如何量化这些风险。
自动驾驶预测SOTIF问题
自动驾驶决策的第一步是意图辨识和运动预测。预测算法的准确性直接影响下一步决策算法的安全性。现有研究发现，预测算法表现不佳可能导致事故发生。例如，Uber发生的碰撞行人事故，由于感知算法不稳定，无法准确识别行人，导致决策算法无法有效预测行人的动作。此外，车辆的安全员未能关注路况，进一步导致事故的发生。
预测算法的问题
现有研究中发现，预测算法的问题主要包括规范不足和功能不足。例如，预测算法需要足够长的轨迹输入才能进行有效预测，但在实际情况下往往无法获取足够长的轨迹，导致预测不准确。此外，预测算法可能基于规则或先验知识进行预测，但这些规范限制导致无法准确预测行人穿越马路的动作。此外，上游感知算法的不准确也会影响预测算法的性能。
自动驾驶预测SOTIF问题的触发机制和改进研究
本次研究主要分为两部分：自动驾驶预测算法的失效基底研究和触发机制分析。失效基底研究主要分析预测算法的性能下降，触发机制分析主要关注环境因素对预测算法的影响。
研究问题
研究方法
- 分析潜在触发条件，但由于采用深度学习预测算法，难以深入分析，只能罗列初步的潜在触发条件。
- 量化预测算法的性能表现，包括误差和模型不确定性。
- 分析环境因素和预测算法性能之间的影响关系，验证潜在触发条件。
以上是本次分享的内容，谢谢大家！
📝 自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究
环境因素与性能表现的关系分析
在自动驾驶轨迹测试失效的在线监测方法中，我们主要关注SOTIF研究流程中的功能改进部分。我们发现特定的环境因素和触发机制可能会影响轨迹测试算法，导致性能不足。为了改善这种性能不足，我们提出了一种增加轨迹测试效果的监测方法，通过在线监测预测算法可能出现的失效，并采取相应的防护或降级措施。具体的防护方法和降级方法目前还没有明确提出。
预测算法失效监测方法
我们首先需要固定模型的状态，使用模型无缺电性方法将提取出的模型无缺电性转化为预测商形式，然后估计模型的状态。另外，我们还需要进行预测失效的监测，通过提取的预测商进行监测。我们需要分析这种预测方法的检测效果和表现，并采用评价指标和实验验证。
待探讨的问题
目前还有一些值得探讨的问题，可能现有方法存在问题的分析。总体来说，我们将分别介绍自动驾驶预测失效机理和触发机制的分析，以及具体的防护方法和降级方法。首先是自动驾驶预测失效机理和触发机制的分析。
自动驾驶预测失效机理和触发机制分析
我们可以看到在SALT5标准中，有一个常见的图示整体的SALT5机构活动，可以分为分析评估阶段和验证缺陷阶段。预测算法的失效距离也有类似的流程。首先是潜在触发条件的分析，将其分解为预测对象自身的状态和情况、预测对象作为交通参与者的状态和情况，以及其他因素。第二部分是基于实验的方法，量化预测算法性能表现和处罚机制的分析和实验验证。
潜在触发条件的分析
潜在触发条件可以分为预测对象自身的运动学特征、预测对象周围交通参与者的状态和其他因素。具体来说，预测对象自身的运动学特征包括速度、加速度、转向角速度等因素，预测对象周围交通参与者的特征包括数量、距离、冲突程度等因素，其他因素包括预测对象的类型、行为模式和位置等。
数据分路偏移对预测算法的影响
数据分路偏移是指由于环境变化导致的数据在不同路口的偏移。我们采用多个路口数据集进行交叉验证，分析数据偏移对预测算法的影响。
预测算法性能表现的变化
我们提取了预测误差和模型不确定性来分析预测算法性能表现的变化。预测误差是通过与预测对象的真值进行比较得出的，而模型不确定性则采用DPCMOD方法通过随机采样和训练多个模型来分析。
以上是对自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究的介绍。
自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究
多模型表现差异性分析
在当前场景下，多个模型的表现是否存在差异性，差异性较大则说明当前场景较不确定，或对模型稳定性产生影响。这是预测性能的量化过程。
验证确认的触发机制分析和实验验证
通过单路口下不同环境因素分析，以及特征相关性和特征重要性分析，得出结论：预测误差可分为AD和FDE两类，对不同环境特征的相关性分布趋势高度一致。预测对象的动力学因素，如加速特征和速度特征，对误差和模型不确定性有较大影响。预测对象作为交通参与者的特征对整体预测算法表现影响较弱。
跨路口下环境变化导致的预测算法性能分析
通过对六个路口的分布偏移统计，发现速度、加速度和脚速等存在差异性。在ZNZ路口，由于红绿灯较多，导致速度分布在零速附近较多。在其他路口，这种情况相对较少。整体来看，公路偏移对性能影响较大。
基于预测的自动驾驶失效检测方法研究
通过提取模型不确定性信息，建立预测失效检测器，与基于误差对比的失效判断进行对比，评价失效检测模型的有效性。采用保留曲线方法进行实验评价，希望曲线越小越好。与预测误差方法和随机筛选方法进行对比，评估失效检测方法的优劣。
实验结果和结论
基于测算的失效检测表现出一定的应用潜力，但仍需进一步研究和验证。
📝 自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究
当前方法的失效检测问题
当前方法上不能实现完美的失效检测，尤其是对于一些高误差的点的检测效果比较一般。存在误解的情况，将一些正常的点也检测出来。
基于不确定性的拓展
基于上述预测方法进行了拓展，结合多种不确定性，包括模型不确定性和行为不确定性。通过拆解预测模块，提取更多类型的不确定性的分数，用于失效检测。
模型不确定性估计方法
主要有两类方法：定频Ethymol和证据深度学习。定频Ethymol需要进行多个网络的采样，而证据深度学习通过一次倾向传播提取不确定性。
监测不确定性的指标
可以设计用于监测的不确定性的分数，包括衡量总不确定性的伤、衡量行为不确定性的数据伤、衡量模型不确定性的呼吸器等经典指标。
针对轨迹测试效检测
针对轨迹测试效检测，需要衡量特定模式下的APE、不同模式下的平均APE等指标。根据不同的预测方法和输出形式，采用特定的APE和FPE计算方法。
实验结果展示
展示了预测可视化图和监测指标的变化情况。观察到误差较大时不确定性也较大，存在一定的相关关系。不同预测方法的表现有差异，需要针对具体方法进行探讨。
预测算法的拓展性问题
分析了现有的不确定性的视觉检测方法是否适用于所有预测方法。不同预测算法采用不同机制建模运动不确定性，需要进行实验分析和探讨。
摘要与展望
提醒在实际应用中需要针对具体方法进行探讨，因为预测算法的拓展性存在问题。每年都会出现大量新的预测算法，需要评估其适用性。整体来说，需要进一步研究和验证。
以上是我这边汇报的所有内容，请各位专家批评与论证，谢谢大家！
自动驾驶预测SOTIF问题触发机制分析与基于不确定性的失效检测研究
真值的获取延后问题
在实际过程中，我们得到真值会存在一定的延后。因为我们需要在场景中跑过一段时间，才能知道交通对象或者交通参与者的实际行为。所以我们需要一种更加及时、实时的方法来评价预测模型的表现，即如何获取事实证据。因为证据需要在跑过场景后才能获得，所以我们需要提取一种方法或者指标，在预测的同时对预测轨迹进行估计和评判，以判断预测轨迹是否有效。因此，我们提出了一种基于模型不确定性的失效检测方法。
基于模型不确定性的失效检测方法
基于模型不确定性的失效检测方法采用深度集成方法，通过训练多个相同模型但经过不同训练过程得到的模型，来预测多个不同的结果，并提取这些结果作为预测不确定性的反应。通过预测出多条轨迹，并将其整合成一个不确定性表现，可以实现与原模型同步进行的失效检测和性能监测，避免了无法获取的问题。
考虑知识误差作为评估基准
在评价过程中，需要使用知识误差作为评估的基准。例如，绿线代表用知识误差检测出来的结果作为基准。在第二章中，我们基于独立的真实误差和模型的决定性进行了判断和分析，但没有将它们相互关联起来。
模型不确定性的问题和解决方案
模型不确定性的问题是需要部署多个模型，这可能对算力要求较高。目前已经提出了一些解决方案，如基于深度集成的方法中，采用部分网络子结构的集成或者超三的集成，以减小并行工作量。另外，证据深度学习方法在实际运行中不需要进行多次推断，而是采用证据理论的原理推断出一个模型不确定性。总体来看，地平线文化相对较好。
总的不确定性的分配
总的不确定性由行为部分和数据部分等多个维度组成。在考虑这些维度时，我们简单地进行了加和操作，没有考虑数据不确定性和模型不确定性的占比和平衡。
轨迹规划和决策的研究
在轨迹规划和决策方面，科技部之前有一些设计，考虑了不确定性下的决策。但由于不是我主要研究的领域，所以没有在此次分享中提到。后续的研究中，我们将进一步研究决策端如何解决预测问题，例如在决策端进行约束、降级或风险调整，并进行可靠性校验。
结束语
感谢大家的参与和分享。如果还有问题或者感兴趣的话，我们可以在私下继续交流。今天分享的内容较多，大家可以随后保持沟通。谢谢大家的支持。