WO2023174026A1

WO2023174026A1 - 智能驾驶发生意外的独立证据和完整事实的记录方法

Info

Publication number: WO2023174026A1
Application number: PCT/CN2023/077765
Authority: WO
Inventors: 陈潇潇
Original assignee: 陈潇潇
Priority date: 2022-03-14
Filing date: 2023-02-23
Publication date: 2023-09-21
Also published as: US20240420524A1; CN114454832A; CN114454832B

Abstract

一种智能驾驶发生意外的独立证据和完整事实的记录方法，属于汽车事件数据记录系统、车载视频行驶记录系统、道路车辆驾控系统、驾驶员辅助系统、自动驾驶、人工智能和智能汽车领域。车辆智能驾驶中，在感知、定位、规划、控制、人机交互等环节，会遭遇各种出错、失效、异常等意外事件，令用户感到不解、不适、不安、不满，甚至遭遇事故。使用非车辆自带的设备，采集意外相关的各项独立证据，主要以时间同步的多视角多位置的针对性视频拍摄，记录意外前中后全过程的人和车的详细连续表现，尤其是智能相关表现，形成关于智能驾驶意外前因后果的可复现的全面、完整、清楚、准确的事实信息记录，帮助用户记录意外遭遇、维护合法权益。

Description

智能驾驶发生意外的独立证据和完整事实的记录方法

技术领域

本发明涉及汽车事件数据记录系统、车载视频行驶记录系统、道路车辆驾控系统、驾驶员辅助系统、自动驾驶、人工智能和智能汽车技术领域。

背景技术

近年来，自动驾驶、无人驾驶、辅助驾驶、人机共驾等各种智能驾驶产品的应用越来越多，因为智能驾驶与安全（人身安全、财产安全、公共安全）的强相关，使得消费者、用户、行业、社会和政府对智能驾驶产品保持高度的警惕并提出严格的要求。绝大多数智能驾驶产品应用时均要求用户对驾驶状况保持专注、在必要时介入接管车辆，由用户对驾驶结果负法律责任。用户在享受智能带来的便利的同时，也常常发现智能驾驶在感知、定位、规划、控制、人机交互等各环节存在各种问题，在应用实践中，用户在智能驾驶发生出错、失效、异常等各种意外时，常导致手忙脚乱和惊慌失措，虽很多时候有惊无险，但一些时候仍会发生事故。另外，安全性考量下的保守设计又常影响易用性，介入接管的条件因人而异，用户常常不得不陷于既“相信智能驾驶”又“不相信智能驾驶”的矛盾，甚至感觉在智能驾驶时比人工驾驶还累还紧张。对于智能驾驶带来的各种意外，用户普遍在事后发现，没有办法全面完整地记录下意外的客观过程和主观体验，仅凭记忆，即便体验到不解、不适、不安、不满，也缺乏回忆全面细节和推测逻辑原因的能力，只模模糊糊感觉“那一瞬间来得太快了”、“具体细节记不清了”、“太危险了”、“大脑一片空白”。有些情况下，驾驶员或车上人员即便在发现智能驾驶出错的第一时间采取合理介入也已无济于事。还有一些情况下，智能车自动作出了违反交通要求的动作而使用户遭受处罚，用户常无法申诉而只能自认倒霉。因此，在智能驾驶的市场应用和社会实践中，用户常对产品的安全性与易用性等提出异议和质疑，进而试图向产品厂商寻求帮助或向行业监管部门提出投诉，但仅用简单语言难以全面、完整、清楚、准确地描述反馈问题或再现意外经过，用户在认为智能驾驶功能或产品有质量问题或性能缺陷、试图维护自己的合法权益时，也难以独立自主地提供全面完整的证据。对于类似的问题，长期以来，遭遇过智能驾驶意外的用户们感觉“哑巴吃黄连，有苦说不出”，急需某种技术方法来解决，智能驾驶功能也在一些用户看来成了“鸡肋”功能，厂商无法收到丰富的问题案例来帮助改善产品，延缓甚至误导了智能汽车的行业进步。当前传统常见的汽车事件数据记录系统（EDR）、车载视频行驶记录系统（DVR）等都不能全面解决用户的上述问题。

技术问题

智能驾驶功能发生出错、失效、异常，以下列举一些用户体验的典型案例。

智能驾驶的感知环节：案例1，智能驾驶车辆对没有障碍物的正常行驶环境进行了错误感知，认为“有危险障碍物”，导致车辆发生自动急减速或紧急刹车，即所谓“鬼刹车”、“幽灵刹车”现象，给用户带来惊吓，甚至导致无谓的后车追尾事故；案例2，智能驾驶车辆对前方有障碍物的危险行驶环境进行了错误感知，认为“没有障碍物”，导致车辆高速与前方障碍物发生碰撞事故，即便驾驶员以合理的反应速度实施了介入动作也未能避免事故的发生；案例3，正常高速行驶的智能驾驶车辆将路旁广告牌上的数字误识别为限速标志，或将某连锁快餐店的路边招牌标志误识别为停车标志，或将月亮识别为交通灯的黄灯，导致车辆在用户看来“莫名其妙地”急减速或刹车至停，给用户带来惊吓，也对后车的正常行驶带来惊吓、阻滞和妨碍；案例4，在高速路上正常高速行驶的智能驾驶车辆将右前轮前方地面上的几处白色污点误识别为车道线，从而开始向左偏离正常车道，向道路中央水泥隔离带撞去，所幸驾驶员保持专注，在距离隔离带极近处及时介入、急忙向右打方向盘，将车辆拉回正常车道，而即便如此，由于紧急拉回动作幅度较大，车辆仍出现快速左右摇摆的不安全失稳状态，几秒钟后才恢复稳定，期间差点撞上右边旁边车道的车辆，旁车惊慌地作出躲闪动作；案例5，在高速路上正常高速行驶的智能驾驶车辆前方突然出现一个随风飘起的塑料袋，如果是人类驾驶员在人工驾驶，可在瞬间判断“塑料袋不会对车辆造成实质性影响”而后轻松正常行驶通过，而智能车的人工智能无力理解“质地”或“材料”，可能简单地一概感知为“危险障碍物”，而导致应急全速刹停，给用户带来惊吓，甚至导致无谓的后车追尾事故；案例6，路旁交通指示牌“STOP（停车）”粘上少许泥点等污渍，智能驾驶视觉人工智能会将其错误识别为“SPEED LIMIT 45（限速45英里/时）”，或者，路旁交通指示牌“允许直行或右转”上由于路灯光透过行道树缝隙而打上光斑，智能驾驶视觉人工智能会将其错误识别为“允许直行或左转”，或者，路旁交通指示牌“限速60公里/时”上由于反光形成斜向光条，智能驾驶视觉人工智能会将其错误识别为“解除限速60公里/时”，在类似噪音或扰动下，智能车因感知识别错误而未能按交通要求采取正确妥当的规划和动作，其间，即便驾驶员意识到智能驾驶出错，但机动动作已然作出，即便此时介入也已无济于事（例如违规动作已被交管监控照相机拍下），因而违规而被处罚，甚至因此发生事故；案例7，智能车可能会将前方突然出现的少许水柱水流水幕水雾识别为障碍物而采取紧急刹车，例如道路旁绿化带自动浇灌系统偶然喷水过远至道路区域、隧道上拱偶然破损渗漏出现水帘洒落、洒水车喷水冲洗路面、降雾霾水炮车朝天喷出的高密度水雾从天而降等场景，紧急刹车可能导致车上成员不适甚至无谓的后车追尾。

智能驾驶的定位环节：案例8，智能驾驶车辆在高架桥下、进出隧道、城市高楼旁等场景下，容易出现定位跳变等定位出错情况，导致车辆错误认知自己的精确位置并根据数字地图上的错误定位而自动采取机动动作，出现不妥当、不正确甚至危险的驾驶行为，给用户造成惊吓慌乱，给旁车也造成惊吓慌乱，甚至导致事故。

智能驾驶的规划环节：案例9，智能驾驶车辆在某交通略微繁忙的路口，由于计算逻辑繁复、程序设置保守或决策节奏拖沓而长时间等待其他交通参与者通过，本车异乎寻常地超长时间停车等待，用户表示不解和不满，无奈之下只能手动接管，而后顺利人工驾驶通过路口；案例10，面对一条新竣工开放通行的接入道路，智能驾驶车辆完全“无视”这条新道路而仍然选择旧的绕行路线，用户表示不解和不满。

智能驾驶的控制环节：案例11，智能驾驶车辆在感知不到一侧的车道线时（例如道路某处一侧车道线“褪色”），会出现“画龙”的情况，即左右大幅度摇摆，以“寻找”车道线而试图居中，给用户造成惊吓慌乱，给旁车也造成惊吓慌乱；案例12，拥堵跟车时，出于安全考虑，智能驾驶车辆需敏感地侦测前方是否有旁边车道的车辆过近地危险并线（所谓“加塞”），而用户实际体验到，但凡旁车车轮稍微压到本车道车道线，哪怕实际距离还远或相对速度较小，智能车辆也会采取无谓的紧急刹车动作，用户体验感差；案例13，在驾控体验中，用户认为“自己踩了刹车踏板，但车辆不刹车甚至感觉在加速”，留下了“车辆不听指挥”、“刹车踩不动”的体验和记忆，却自己也无法确定，只能被动地参考和相信来自厂商的数据和交管部门给出的结论，用户即便对自己的驾控经验和记忆能力非常自信，也拿不出确凿的证据对厂商可能的质量问题提出异议。

智能驾驶的人机交互环节：案例14，智能驾驶功能或模式偶尔会毫无征兆地突然退出、提示要求驾驶员立即接管，令驾驶员措手不及、手忙脚乱，给用户带来惊吓、不解和不满；案例15，一些智能驾驶导致的险象环生的场景里，人类驾驶员由于受到惊吓而剧烈地介入接管车辆，动作幅度过大或不当，反而造成交通事故。

面对上述各种情况，用户有意愿、有需求对智能驾驶发生意外时的相关情况进行独立自主的音视频证据采集和全程经过记录，希望能够采集记录与智能驾驶性能表现及其人机交互相关的完整事实，并可以以最直观的方式再现出来，在质疑智能驾驶产品性能或维护自身合法权益的时候可以作为完整全面的证据。用户希望时间同步地采集车辆外部交通环境的视频（例如到底错误感知了何种障碍物、与障碍物发生碰撞的过程）、驾驶员方向盘位的视频（例如驾驶员紧急介入时惊慌失措险象环生的反应过程、动作是否妥当）、驾驶员操纵杆位的视频（例如何时以何种手部操作发出何种指令、操作是否妥当）、驾驶员按键位的视频（例如何时以何种手部操作发出何种指令、操作是否妥当）、驾驶员油门踏板位的视频（例如出现意外时是否踩了油门及其动作幅度力度、是否将油门踩错成刹车）、驾驶员刹车踏板位的视频（例如出现意外时是否踩了刹车及其动作幅度力度、是否将刹车错踩成油门）、人机交互界面显示中智能驾驶相关显示的视频（例如意外时的车速变化、智能驾驶的状态、障碍物感知的显示、红绿灯感知的显示、车道线感知的显示、交通指示牌感知的显示、定位的状态、数字地图的状态、定位与数字地图的结合、路线的规划信息、机动动作的规划信息、机动动作执行细节的信息等与智能驾驶相关的信息）。还可以拍摄车内人员或货物的视频（记录意外给人员或货物带来的影响或危害）。同时，最好进一步采集记录与上述视频相对应的时间同步的音频信息（例如反映智能驾驶导航机动过程细节的智能语音播报声音和系统提示声音、例如车内人员以语音向车辆发出的指令）、定位信息（将非车辆自带设备的定位与智能车辆自带设备的定位表现形成对比）、时间信息（为记录提供准确且统一的时间轴）。

注意，上述的“意外时的车速变化、智能驾驶的状态、障碍物感知的显示、红绿灯感知的显示、车道线感知的显示、交通指示牌感知的显示、定位的状态、数字地图的状态、定位与数字地图的结合、路线的规划信息、机动动作的规划信息、机动动作执行细节的信息等”都属于“与智能驾驶相关的信息”，很明显地，车辆空调控制信息、氛围灯控制信息、音乐播放信息、娱乐视频播放信息等都不属于“与智能驾驶相关的信息”。本专利中所述的“与智能驾驶相关的信息”即以其字面意义而定义，可容易地根据常识而归纳或判断。对于绝大多数智能车而言，这些“与智能驾驶相关的信息”大多都实时显示在人机交互界面处，不同厂商、不同车型会采取不同设计，有的显示在仪表盘处，有的显示在中控处，有的两处都显示，有的信息以智能语音的方式进行播报。

本专利中所述的“人机交互界面”，包括但不限于仪表盘、中控、智能座舱。所谓仪表盘，是集中的仪表显示，泛指反映车辆各系统工作状况的指示装置和显示界面，在指示传统的油量、液温、灯号、车门开闭等的状态之外，也显示与智能驾驶紧密相关的各种状态和信息。所谓中控，是车辆的中央控制，泛指控制车辆各系统运作的操作装置和显示界面，在操作传统的车窗、车灯、空调、音响、视频、车锁、手刹等的控制之外，也显示与智能驾驶紧密相关的各种状态和信息，尤其因为中控处显示屏尺寸可以较大且显示无遮挡，常常被用作显示智能驾驶相关的高清数字地图信息以及其他更丰富的智能信息。对于传统车型，仪表盘和中控常常是分开的，对于许多新车型，仪表盘和中控常常混合在一起被统称为智能座舱。人机交互界面（仪表盘、中控、智能座舱）的信息显示位置包括但不限于方向盘后、方向盘前、方向盘上、前挡风玻璃处（玻璃投影成像显示）、前挡风玻璃下方、前挡风玻璃上方、后视镜处、天花板处、驾驶位与副驾驶位中间前部、手套箱位置上部、车门处、A柱处、抬头视线位置（HUD抬头显示）、扶手箱处。对于驾驶员在车上的智能车辆，人机交互界面也在车上；对于驾驶员在车外（例如对智能车辆进行远程控制）的情况，人机交互界面也在车外。

本专利中所述的“智能驾驶”，泛指所有试图以机器能力帮助人进行车辆机动驾驶相关的观察、思考、决策、操作，让人得以不必事必躬亲地自己亲自观察、思考、决策、操作的车辆自动化智能化驾驶功能或模式，包括但不限于无人驾驶、自动驾驶、辅助驾驶、人机共驾。

本专利中所述的“智能车”、“智能车辆”、“智能网联车”，指所有具备智能驾驶能力的车辆，智能驾驶的功能或模式可以打开或关闭。

本专利中所述的“驾驶员”，是指智能车辆上任何可以发出指令对车辆进行机动驾驶相关控制的人类乘员，以及智能车辆外任何可以发出指令对车辆进行机动驾驶相关控制的人类。

一般情况下，车辆智能驾驶过程中的许多数据可以从车辆自带的传感器及存储设备中取得，但需要厂商配合协助才能被用户实际获取和解读。用户希望能够保持独立性，自由地对自己的遭遇进行再现和检视，希望对对应数据拥有自主权和所有权，取得自有的独立证据，甚至可以发送给技术专家以寻求专业意见或传播到网络媒体以取得舆论支持。同时，用户也希望从非车辆自带传感器的视角、从一些侧面视角等多角度去看待意外发生过程，以求增进对意外事件的独立理解，避免过度依赖智能驾驶厂商和交安交管部门的叙事、判断和结论。

传统的汽车事件数据记录系统EDR常常只记录下车辆自带原装传感器的各种数据，而用户常常认为其数据反馈与自己的记忆或感受不符，同时也质疑车辆原装传感器本身的数据采集质量。而且，传统的汽车事件数据记录系统EDR常由速度的剧烈变动触发，主要意在采集发生急刹、碰撞等事件时的短时间（一般是几秒钟）的事前、事中、事后的数据，不会记录下更早的时间交通环境里到底发生了什么具体的转瞬即逝的导致智能驾驶事故的事情（例如智能车人工智能对具体的何种远处视象进行了错误感知），不会记录下延续较长时间的从最早出错、失效、异常开始各环节逐次逐步出现问题的完整事实链（即完整逻辑链），不会记录下轻微剐蹭或走错路等非剧烈情况，也不会记录下险象环生但是有惊无险并未发生确实事故的危险驾驶情况。

传统的车载视频行驶记录系统DVR则主要采集车辆前方视频，对车辆侧面和后方发生事故的情况一般不作记录，尤其并不记录人工智能对障碍物的识别结果等针对性的与智能驾驶相关的信息。其升级后常见的传统行车记录系统（例如“防碰瓷”、“防盗”摄像头）虽全程采集车辆周边环境的视频，但是并不拍摄驾驶员的方向盘位、操纵杆位、按键位、油门踏板位、刹车踏板位、仪表盘显示、中控显示、智能座舱显示等与智能驾驶相关的全面信息和完整事实的视频，尤其并不记录障碍物识别、车道线识别、红绿灯识别、标志牌识别、定位细节、地图细节、路径规划、机动动作规划、机动动作执行细节等智能驾驶相关针对性细节信息。

技术解决方案

为应对以上问题，满足用户需求，本发明采用如下方法：使用非车辆自带的摄像设备和数据存储设备，在智能车辆运行过程中，持续地同时对车辆外部环境、驾驶员手操作位、驾驶员脚操作位和人机交互界面进行时间同步的视频拍摄记录，其中，对驾驶员脚操作位的拍摄主要是针对性地记录脚踩踏了具体哪个踩踏装置、踩踏装置被踩下的程度和脚踩踏的具体动作幅度，对人机交互界面的拍摄主要是针对性地记录人机交互界面所有显示信息中与智能驾驶相关的信息；此外，可以进一步对车内人员或者货物进行同时同步的视频拍摄记录；此外，可以使用非车辆自带的设备，接收外部无线电信号提供的时间信息并与视频同步；此外，可以使用非车辆自带的设备，接收外部无线电信号提供的定位信息并与视频同步；此外，可以使用非车辆自带的设备，进行时间同步的音频采集记录；此外，可以在拍摄位置设置拍摄照明；此外，所有记录可以以时间同步的方式进行存储、复制和播放；此外，密封保护车上的数据存储设备使其可耐受碰撞、火烧、水淹而不损毁灭失。

有益效果

对应前述的各项案例，本专利带来的有益效果阐述如下。

对于案例1，智能车错误感知到“障碍物”而发生“鬼刹车”、“幽灵刹车”，此意外发生前后，本专利将清楚地拍摄到其实没有障碍物的正常交通环境，拍摄到其中可能被人工智能专业技术人员判断出异常的在某瞬间出现的某种“嫌疑图景”，例如某种特别的光影轮廓令智能车视觉人工智能错误感知为“前方近距离突然出现大货车”，在那一瞬间，本专利方法将拍摄到智能车人机交互界面显示出的人工智能“认为”它“看到”的具体障碍物，拍摄到人机交互界面显示出的车速因紧急刹车导致的急剧下降，拍摄到脚操作位的刹车踏板并未被驾驶员踩下，如未发生事故，则将拍摄到车内人员身体突然前倾的不适和惊慌失措且不满的表现，如不幸遭遇无谓的追尾事故，还将拍摄到对应的剧烈震动。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权或向行业监管部门投诉的依据和证据，用户有权利主张“智能驾驶人工智能存在产品缺陷和安全隐患”。

对于案例2，智能车未能正确感知障碍物而发生碰撞（即便驾驶员全力介入），此意外发生前后，本专利将清楚地拍摄到前方交通环境中的具体障碍物以及发生碰撞的全过程，拍摄到人机交互界面显示人工智能“什么都没有看到”以及完全没有减速的车速显示，拍摄到驾驶员注意到“智能驾驶人工智能居然什么也没看见”或“智能驾驶居然毫无减速”时惊慌失措地立即全力介入接管的具体时机、具体动作等全过程（例如脚操作位的紧急踩刹车、手操作位的控制方向盘）以及所对应的车辆车速下降直至碰撞的详细过程。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“自己已经以正确的专注和最快速的合理反应实施了能力范围内最适当的介入接管，智能驾驶厂商应因其产品设计缺陷而承担事故的部分或全部责任”。

对于案例3，智能车对无限变化的世界元素产生错误视觉识别，此意外发生前后，本专利将清楚地拍摄到路旁广告牌的整体和细节、路旁快餐店招牌标志的具体样式尺寸颜色、月亮的具体高度视角颜色轮廓，以及它们由远及近、由模糊到清晰的视觉变化过程，拍摄到对应的人机交互界面显示人工智能识别到“限速标志”、“停车标志”、“交通灯黄灯亮”的具体显示、识别时间以及车速对应变化的具体过程，拍摄到车速变化并非由脚操作位的驾驶员脚部动作所引起，拍摄到后车相应紧急减速的车头“点头”、闪灯催促、绕行超车等非正常动作，拍摄到本车驾驶员或乘客的莫名其妙或不解不满的情态表现。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶人工智能存在产品缺陷”。

对于案例4，智能车将路面白色污点误识别为车道线而跑偏，此意外发生前后，本专利将清楚地拍摄到右前轮前方地面上这些污点的颜色、尺寸、轮廓及其若干点连接所指向的错误延伸方向，拍摄到本车沿着此错误延伸方向向左偏航地冲向道路中央水泥隔离带的偏航角度、行驶速度和动作幅度，拍摄到人机交互界面显示人工智能识别出的错误车道线，也将清楚地拍摄到前方车道上原本正常的车道线位置、颜色、尺寸、轮廓及其正确延伸方向，拍摄到驾驶员险些来不及介入、应急猛拉方向盘导致的车辆急右转及其导致的车辆快速左右摇摆失稳，拍摄到手操作位对应的驾驶员在紧急时刻慌乱介入拉回方向盘并控制住车辆的完整反应过程、具体介入动作、具体介入时间及其力度幅度，拍摄到旁车差点被撞到而惊慌躲闪的动作过程。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶人工智能存在产品缺陷和安全隐患”。

对于案例5，智能车缺乏世界常识而草木皆兵莫名急刹，此意外发生前后，本专利将清楚地拍摄到前方飞起塑料袋的质地、颜色、轮廓，及其随风飞起的动作、高度、位置、方向，拍摄到人机交互界面显示人工智能将塑料袋感知成了何种障碍物以及车速骤降至零的变化，拍摄到车速变化并非由脚操作位的驾驶员脚部动作所引起，拍摄到车内人员身体突然前倾和惊慌失措等表现，如不幸遭遇无谓的追尾事故，还将拍摄到对应的剧烈震动。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶人工智能存在产品缺陷和安全隐患，智能驾驶厂商应因其产品设计缺陷而承担事故的部分或全部责任”。

对于案例6，智能驾驶人工智能因噪音和扰动而错误识别交通指示，此意外发生前后，本专利将清楚地拍摄到路旁交通指示牌的具体的脏污、反光、变色、变形、歪斜等异常情况，拍摄到人机交互界面显示人工智能具体的识别结果和其行驶规划（路径规划和动作规划）的相应变化，拍摄到手操作位方向盘的自动转向等智能车选择执行的具体机动动作，拍摄到驾驶员意识到出错时惊慌失措、即便手脚并用地介入接管也已无力回天的具体情景（机动动作已然作出），如不幸发生事故，将拍摄到从错误识别直到发生事故的各步骤和全过程。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶厂商应因其产品设计缺陷而承担交通违规处罚或交通事故的部分或全部责任”。

对于案例7，智能车将无害的水流水柱水幕水雾等识别为障碍物而紧急刹车，此意外发生前后，本专利将清楚地拍摄到此种现实交通环境里水流水柱水幕水雾出现的具体情景，拍摄到人机交互界面显示智能驾驶人工智能具体的障碍物识别结果和车速即刻剧烈下降的具体机动表现，拍摄到车速变化并非由脚操作位的驾驶员脚部动作所引起，拍摄到车内人员不适和受惊的情景，如不幸发生事故，将拍摄到从错误感知识别直到发生事故的各步骤和全过程。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶人工智能性能不足，存在安全隐患，智能驾驶厂商应因其产品设计缺陷而承担交通事故的部分或全部责任”。

对于案例8，智能车因定位跳变而采取不正常机动，此意外发生前后，本专利将清楚地拍摄到智能车人机交互界面显示车辆定位的突然变化及其与数字地图结合关系的突然变化，拍摄到人机交互界面显示的规划动作的变化和车速的变化，拍摄到车辆在发生定位跳变前后的行车环境变化（例如行驶到高架桥下、进出隧道处、城市高楼旁等场景），拍摄到意外前车辆的正常机动动作和意外时车辆突然转变采取的不正常机动动作（短时间内手操作位的方向盘突然变向），拍摄到驾驶员在惊慌中紧急介入的具体手脚动作，拍摄到车辆险些与隔离带或旁车发生擦挂碰撞的险象环生的危险过程。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶产品存在设计缺陷和安全隐患”。

对于案例9，智能车在繁忙路口犹豫动摇不知所措，此意外发生前后，本专利将清楚地拍摄到路口各方向具体交通参与者的详细机动情况，拍摄到路口处交通灯和交通指示牌的具体情况，拍摄到人机交互界面显示的上述各种交通参与者、交通灯和指示牌的状态，拍摄到人机交互界面显示的车辆不断改换选择的具体规划信息，拍摄到驾驶员和乘客从耐心到不解到不满的全过程，拍摄到后车的愤怒催促，拍摄到超长时间的犹豫等待后驾驶员无奈地介入接管并轻松人工驾驶通过路口的具体动作。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商反馈问题或维权索赔的依据和证据，用户有权利主张“智能驾驶产品存在性能不足和产品缺陷”。

对于案例10，智能车未能将新竣工道路纳入行驶规划，此意外发生前后，本专利将清楚地拍摄到前方交通环境中可供行驶的新道路，拍摄到人机交互界面显示的数字地图上压根没有这条道路以及相应选择的不合理行驶路径，拍摄到车辆自动驶上不合理路径的具体动作，拍摄到驾驶员和乘客对智能驾驶的不满情绪。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商反馈问题或维权索赔的依据和证据，用户有权利主张“智能驾驶产品存在性能不足和产品缺陷”。

对于案例11，智能车感知不到车道线而左右摇摆“画龙”，此意外发生前后，本专利将清楚地拍摄到前方路面车道线具体出现了何种异常而使得人工智能未能正确识别，拍摄到左右摇摆行驶时车辆与旁车或隔离带的危险距离，拍摄到车辆作出“画龙”机动时手操作位方向盘自动转动的速度和幅度，拍摄到驾驶员惊吓慌乱中接管介入的手脚动作，拍摄到整个过程中人机交互界面显示的人工智能对车道线的具体认知情况。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶产品存在设计缺陷和安全隐患”。

对于案例12，智能车程序死板导致拥堵跟车时频繁无谓急刹，此意外发生前后，本专利将清楚地拍摄到拥堵状况下旁车距离相对安全但是偶尔试图并线的动作细节，拍摄到在前方旁车车轮哪怕仅压到本车道车道线很少一点时本车也会采取的急刹机动动作（甚至拍摄到旁车并无意并线而只是驾控不精确而轮胎压线），拍摄到人机交互界面显示的对应车速频繁地急剧降低又提高，拍摄到车速变化并非由脚操作位的驾驶员脚部动作所引起，拍摄到车上成员频繁地因急刹而身体前倾的全程不适和最后实在无法忍受接管车辆的愤怒无奈。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商反馈问题或维权索赔的依据和证据，用户有权利主张“智能驾驶产品存在设计缺陷”。

对于案例13，用户无法确定是车辆不受控制还是自己操作失误，此意外发生前后，本专利将清楚地拍摄到全过程的车辆行驶环境，拍摄到人机交互界面显示的与车辆控制对应的车速变化，拍摄到驾驶员手操作位和脚操作位的具体动作的时间、幅度、力度，尤其是清晰准确地拍摄下驾驶员是否踩错刹车油门、是否足够努力踩下踏板、踏板被踩下的程度以及踏板是否“踩不动”等视频细节。智能驾驶的应用实践中，类似问题的出现往往是由于智能车辆的系统设计过于复杂，自动驾驶、辅助驾驶、动能回收、电控系统等大量先进复杂功能集合在一起，各种规则和权限相互纠缠甚至冲突，造成了系统设计缺陷，甚至有的智能驾驶系统被有意无意地设计为机器权限高于人工权限。有设计缺陷的系统本身所收集的各传感器数据，即便真实完整并且由厂商配合提供，常常也是无法说明系统本身的问题的，因为真正说明问题的那些数据可能并未被采集，即数据并不全面。因此，使用本专利方法，将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以首先调取数据进行自主的分析判断，也可以将其作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶产品存在设计缺陷和安全隐患”。

对于案例14，智能驾驶功能或模式突然自动退出导致驾驶员接管不及，此意外发生前后，本专利将清楚地拍摄到人机交互界面显示的智能驾驶功能模式退出的时间、过程、接管提示方法、显示变化，记录下全程对应的智能语音播报声音和系统提示声音，拍摄到意外前后具体的车辆行驶环境和人机交互界面显示的定位、地图变化等信息（以帮助推断何种情况导致智能驾驶突然退出），拍摄到驾驶员措手不及手忙脚乱介入接管的具体手脚动作，拍摄到具体导致的险象环生的情景。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶产品存在设计缺陷和安全隐患”。

对于案例15，用户在智能驾驶带来的惊吓中接管动作不当或过当而导致事故，此意外发生前后，本专利将清楚地拍摄全过程车辆行驶环境，拍摄到人机交互界面显示的智能驾驶的错误感知、失当规划与危险机动，拍摄到智能驾驶具体给用户带来何种不安和惊吓（例如智能车高速过弯时转向调整不稳定、不顺滑、不及时，车辆突然距离护栏过近），拍摄到手操作位和脚操作位处驾驶员在介入前临界点的正在评估危险程度时的犹豫动作（例如手放在方向盘上、脚放在刹车踏板上，但因犹豫而未转向和踩下），拍摄到驾驶员具体介入时的表情、神态和手脚操作的动作、力度、幅度（例如突然意识到危险的惊慌的驾驶员猛地向护栏的反方向打方向盘并急踩刹车），拍摄到此后事故的发生过程（例如车辆急转向失控与旁车发生碰撞）。将全程视频音频结合时间和定位信息同步播放，则可以全面再现意外的前因后果全过程，用户可以此作为向厂商维权索赔、向行业监管部门投诉或发起法律诉讼的依据和证据，用户有权利主张“智能驾驶产品的性能不足因此应为事故负部分或全部责任”。

由于严重事故可能带来碰撞、起火、泡水等情况，设置于车上的对应本专利方法的数据存储设备有因此发生损毁的可能，与事故相关的证据有可能因事故而灭失，因此，本专利对设置于车上的数据存储设备要求较高，要可耐受碰撞、火烧、水淹而不损毁灭失，因此本专利对设置于车上的存储设备进行密封保护。

工业实用性

本发明的方法，主要用于针对性地对智能车的智能驾驶运行进行独立监控记录，无论是自动驾驶、无人驾驶、辅助驾驶还是人机共驾，本专利使用非车辆自带的设备，采集智能驾驶意外相关的各项独立证据，主要以时间同步的多视角多位置的针对性视频拍摄，记录意外前中后全过程的人和车的详细连续表现，尤其是智能相关表现，形成关于智能驾驶意外前因后果的可复现的全面、完整、清楚、准确的事实信息记录，帮助用户记录意外遭遇、维护合法权益。

本发明的实施方式

一个实施例为，以若干摄像头同时对车辆外部环境、驾驶员手操作位、驾驶员脚操作位、人机交互界面进行时间同步的持续视频拍摄记录，各摄像头由用户自行因车制宜地安装调试，以妥善的角度、照度、清晰度：拍摄车辆外部交通环境的视频（例如到底错误感知了何种障碍物），可包括前向、侧向、后向、广角等视角和拍摄方法；拍摄驾驶员方向盘位视频（例如驾驶员惊慌失措地紧急介入时操纵方向盘的动作细节），可包括方向盘的全景、驾驶员的上半身、和驾驶员对方向盘进行操作的手部特写等拍摄视角；拍摄驾驶员操纵杆位视频（例如何时以何种手部操作发出何种指令），可包括方向盘后操纵杆的全景、仪表盘处操纵杆的全景、中控处操纵杆的全景、扶手箱处操纵杆的全景、驾驶员对操纵杆进行操作的手部特写等拍摄视角；拍摄驾驶员按键位视频（例如何时以何种手部操作发出何种指令），可包括仪表盘处按键全景、中控处按键全景、驾驶员对按键进行操作的手部特写等拍摄视角；拍摄驾驶员油门踏板位视频（例如意外时是否踩了油门及其踩下的时间、动作、幅度、力度）、驾驶员刹车踏板位视频（例如意外时是否踩了刹车及其踩下的时间、动作、幅度、力度），由于脚下位置往往较暗，可以增加拍摄照明；拍摄仪表盘、中控、智能座舱的显示（例如意外时的车速变化、智能驾驶状态、障碍物感知的显示、交通灯感知的显示、车道线感知的显示、交通指示牌感知的显示、规划路线与动作、定位与数字地图的结合信息、动作执行信息等）。由于不同车型的方向盘位、操纵杆位、按键位、脚踏板位常常不同，仪表盘、中控、智能座舱的显示中智能驾驶相关信息的各种细节差异也常常较大，因此用户根据其车型具体情况，对各摄像头的位置、视角、照明等进行自行设置和调试，是合理有效的。上述的方向盘位、操纵杆位、按键位、油门踏板位、刹车踏板位等，都可相应归属于驾驶员手操作位或驾驶员脚操作位。

另一个实施例为，智能车辆里不设置方向盘、脚踏板等传统驾控装置，但始终会为人类乘员提供紧急情况下制动、开门、告警、呼救等装置，最快速便捷从而最大程度保障乘员安全的装置操作方法也仍然是人类使用手或脚来操作，因此这样的装置也可归属于驾驶员手操作位或驾驶员脚操作位，本专利方法同样对这些位置进行视频拍摄。

另一个实施例为，在智能车辆外的驾驶员对智能车辆进行远程机动驾驶的情况下，也可以使用本专利方法，对智能车辆外的驾驶员的手操作位、脚操作位和人机交互界面进行视频拍摄，用车上或车外的摄像设备对车辆外部环境进行视频拍摄，驾驶员和用户将以此方式记录下机器认知、选择和执行与人类意图的差异冲突，独立地记录下智能驾驶意外的全过程。

进一步地，还可以同时拍摄车内人员或货物的视频以记录意外给人员或货物带来的影响或危害，还可以同时使用非车辆自带的设备，处理来自全球定位系统GPS、或北斗系统、或路侧智能交通基础设施的无线电信号，以对时间和定位的信息进行同步采集记录。还可以使用非车辆自带的麦克风对音频信息进行同步采集记录，记录下驾驶员以何种语音向智能车发出智能驾驶相关指令、智能驾驶持续的智能语音播报、智能驾驶的系统提示音等。

上述所有视频、音频、时间、定位信息均严格同步，所有记录可以以时间同步的方式进行存储、复制和播放。对于数据的存储，既可以存储在车上的存储设备处，也可以以无线传输方式存储在车外的存储设备处。对于数据的播放，可以在同一屏幕上将所有视角位置拍摄的视频同时同步播放，并同步显示时间和定位信息，结合同步音频，由此而直观地以视觉和听觉方式，在同一时间轴上，展示意外事件的完整经过和全面信息。

应用本专利方法，用户购买、安装和使用本专利方法对应的个人私有的设备产品，不使用车辆自带原装的摄像头、麦克风等传感器，其采集记录所得的数据自然归用户个人所有，消费者可以自行轻松调取这些数据，以求对意外的全过程、各步骤、多角度细节进行再现，帮助自己回忆和分析，并形成全面完整的证据以供维护合法权益。

Claims

一种智能驾驶发生意外的独立证据和完整事实的记录方法，其特征是：使用非车辆自带的摄像设备和数据存储设备，在智能车辆运行过程中，持续地同时对车辆外部环境、驾驶员手操作位、驾驶员脚操作位和人机交互界面进行时间同步的视频拍摄记录，其中，对驾驶员脚操作位的针对性拍摄主要是定性地辨识踩踏了具体哪个踩踏装置、定量地辨识踩踏装置被踩下的程度和脚踩踏的具体动作幅度以确保采集其所反映出的人类意图与机器意图之间的差异或冲突的所有细节，对人机交互界面的针对性拍摄主要是辨识人机交互界面所有显示信息中与智能驾驶相关的信息以确保采集其所反映出的机器智能的表现与人类智能的预期之间的差异或冲突的所有细节。
根据权利要求1所述的方法，其特征在于：对车内人员或者货物进行同时同步的视频拍摄记录。
根据权利要求1所述的方法，其特征在于：使用非车辆自带的设备，接收外部无线电信号提供的时间信息并与视频同步。
根据权利要求1所述的方法，其特征在于：使用非车辆自带的设备，接收外部无线电信号提供的定位信息并与视频同步。
根据权利要求1所述的方法，其特征在于：使用非车辆自带的设备，进行时间同步的音频采集记录。
根据权利要求1所述的方法，其特征在于：在拍摄位置设置拍摄照明。
根据权利要求1所述的方法，其特征在于：将所有记录以时间同步的方式进行存储、复制和播放。
根据权利要求1所述的方法，其特征在于：密封保护车上的数据存储设备使其可耐受碰撞、火烧、水淹而不损毁灭失。