JP2023525895A - 応答能力を決定するための方法 - Google Patents

応答能力を決定するための方法 Download PDF

Info

Publication number
JP2023525895A
JP2023525895A JP2022570404A JP2022570404A JP2023525895A JP 2023525895 A JP2023525895 A JP 2023525895A JP 2022570404 A JP2022570404 A JP 2022570404A JP 2022570404 A JP2022570404 A JP 2022570404A JP 2023525895 A JP2023525895 A JP 2023525895A
Authority
JP
Japan
Prior art keywords
vehicle
vehicle user
determining
determined
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022570404A
Other languages
English (en)
Inventor
リハブ ラルーシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of JP2023525895A publication Critical patent/JP2023525895A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0063Manual parameter input, manual setting means, manual initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、運転者観察カメラの撮像画像データにより、車両(1)の自動走行モードにおいて車両ユーザ(2)の応答能力を決定するための方法に関する。本発明によれば、車両側に存在するデジタル地図データにより、及び/又は車両側で検知されたセンサデータにより、車両ユーザ(2)の視野において、現在の車両周辺に少なくとも1つの規定の関連物体(O)が存在するかが決定され、現在の車両周辺において少なくとも1つの規定の関連物体(O)が検知された場合、検知された少なくとも1つの規定の関連物体(O)に車両ユーザ(2)がどの程度の継続時間及び/又は頻度で自身の視線を向けたかが、運転者観察カメラの撮像画像データにより決定され、決定された継続時間が、規定の最小継続時間を下回る場合、及び/又は決定された視線変更頻度が規定の最小頻度を下回る場合、車両ユーザ(2)の応答能力が備わっていないと評価される。【選択図】図2

Description

本発明は、運転者観察カメラの撮像画像データにより、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法に関する。
独国特許第10 2015 001 686(B4)号から、自動車の自動走行モードにおいて運転者の応答能力を認識するための方法及び装置が公知である。ここで、応答能力の第1の評価は運転者のカメラ観察により行われ、応答能力の第2の評価は運転者による操作ユニットへの操作の認識により行われる。第1の評価及び/又は第2の評価で応答能力が備わっていると認識された場合、応答能力は備わっていると分類される。運転者のカメラ観察による、応答能力の第1の評価では、所定の時間間隔の最小の一部分の間、運転者の少なくとも片方の目が開いている場合に、備わっているとの分類がなされる。操作ユニットが運転者以外の人員によって又はリズミカルに操作される場合、応答能力は備わっていないと分類される。
更に、独国特許第10 2016 011 246(A1)号には、車両の少なくとも1人の乗員の状態を監視するための方法が記載されている。その方法では、交互にオンとオフとに切り替えられる少なくとも1つの光源を使用して、乗員の頭部に照明が当てられる。乗員の目から反射した光は、少なくとも1つのセンサを使用して検知され、加えて、光源による照明に応じて反射が変化するか否か、かつ乗員の少なくとも片方のまぶたの活動及び/又は頭部の動きが検知されるか否かが確認される。
本発明の目的は、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法を提供することである。
上記の目的は、本発明により、請求項1に記載の特徴を有する方法を用いて解決される。
本発明の有利な実施形態は、従属請求項の主題である。
本発明によれば、運転者観察カメラの撮像画像データにより、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法では、前記車両側に存在するデジタル地図データにより、及び/又は前記車両側で検知されたセンサデータにより、前記車両ユーザの視野において、現在の車両周辺に少なくとも1つの規定の関連物体が存在するかが決定される。前記現在の車両周辺において前記少なくとも1つの規定の関連物体が検知された場合、検知された前記少なくとも1つの規定の関連物体に前記車両ユーザがどの程度の継続時間及び/又は頻度で視線を向けたかが、前記運転者観察カメラの撮像画像データにより決定され、決定された継続時間が規定の最小継続時間を下回る場合、及び/又は決定された視線変更頻度が規定の最小頻度を下回る場合、前記車両ユーザの前記応答能力が備わっていないと評価される。
本方法を適用することにより、車両が運転タスクを完全に実行する自動走行モード中に、車両の車両ユーザの応答能力を決定することができる。ここで、車両ユーザとは、手動走行モードで車両の運転タスクを実行する人であると理解されたい。
特に、システムで決定された引き継ぎ要求時に運転タスクに関して車両ユーザが正しく応答できるか、また現在の状況を正しく感知できるかを判断するために、応答能力が決定される。ここでの状況認識には、状況に応じて関連する物体及び/又は車両の外側の領域を見て、それらを知覚できることが求められる。
本方法の一実施形態において、物体は、前記車両の手動走行モードにおいて前記車両ユーザの前記視野内に規定の継続時間及び/又は頻度で存在する、すなわち前記車両ユーザが規定の継続時間及び/又は頻度で視線を前記物体に向けた場合、かつ、前記車両ユーザによる車両制御時に考慮される場合に、関連すると決定される。
記録された画像データにより、車両ユーザが規定の関連物体を全く見なかった又は比較的短時間しか見なかったことが検知された場合、車両ユーザは規定の関連物体を知覚しておらず、したがって少なくとも応答能力が低いと解釈される。
本方法の考えられる一実施形態では、前記車両の前方、側方、及び/又は後方に存在する少なくとも1台の別の車両、道路標識、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、及び/又は橋脚が、前記車両ユーザの前記応答能力を決定する際に物体として規定され、かつ/又は関連物体として考慮される。
そのような物体は、車両の制御、ひいては車両の手動走行モードにおける車両ユーザの運転の仕方に影響を与える可能性があり、かつ/又は影響を与えるはずであるから、関連するものとみなされ、そのように規定される。
本発明の一発展形態では、規定の物体のサイズ、視認性、相対位置、及び/又は絶対位置が、前記車両ユーザの前記視野に関連して決定され、かつ/又は考慮される。これにより、車両ユーザがそのように決定された物体を車両から全体的に見える位置にいるかを確認することができる。
加えて、本方法の一実施形態では、前記車両ユーザの視線方向が、前記視野を決定するために外挿される視線ベクトルとして決定される。特に、車両の外側の視線ベクトルが外挿され、外挿された視線ベクトルが規定の関連物体に当たるか、ひいては規定の関連領域が車両ユーザの視野内に存在するかが決定される。
特に、本方法の考えられる更なる一実施形態では、前記視線ベクトルの開始点として、前記車両ユーザの両瞳孔の間の中間点が規定される。特に、車両ユーザの頭部が前方を向いて両眼が正面を見ている場合に、開始点として両瞳孔の間の中間点が規定される。視線ベクトルの開始点を規定することは、既定の関連物体を領域として特にフロントガラス上に転写し、車両ユーザがこの領域を見ているかをその領域から決定するのに用いられる。
更なる一実施形態では、既定の関連物体の形状及び/又はサイズに応じて、前記規定の関連物体の周囲に領域が画定される。特に、物体が比較的複雑な形状及び/又はサイズを有する場合に、規定の関連物体の周囲に領域が画定される。この画定された領域が小さいほど、視線対物体のより正確な割り当てが可能となり、その結果、規定の関連物体が車両ユーザの視野内に存在するかを検出でき、その規定の関連物体がそのようなものであると車両ユーザによって認識されることが可能となる。
複数の物体が検知された場合、考えられる一実施形態では、規定の関連物体に関する視認性が、前記物体の位置、サイズ、及び/又は材質特性により評価される。すなわち、規定の関連物体の視認性が確認されることで、規定の関連物体が車両ユーザの視野内にあり、別の物体によって覆われていないことを可能な限り保証することができる。したがって、規定の関連物体が車両ユーザにとって視認可能であるかが確認される。
考えられる一発展形態では、視線挙動分析により、前記車両ユーザに固有の方法で知覚度及び/又は状況認識が決定される。この場合、車両ユーザの視線挙動は、通常の視線挙動と比較される。その比較は、特に、手動走行モード中に検出された車両ユーザの視線挙動及び自動走行モード中の視線挙動に基づいているため、車両ユーザが規定の関連物体、例えば道路標識を車両の自動走行モードにおいて知覚したか否かを決定することができる。
車両ユーザの視線挙動に基づいて、特に運転タスクの引き継ぎのための応答能力が備わっていないと評価された場合、前記車両ユーザが規定の時間内に受信確認する必要のある少なくとも1つの通知が前記車両内に出力される。
ここで、その通知は、車両ユーザの応答能力を回復するために出力され、これにより車両ユーザは、引き継ぎ要求時にその指示に応じることができる。
以下、図面を参照して本発明の例示的な実施形態をより詳細に説明する。
車両内の車両ユーザの視線ベクトルを含む3つの概略図である。 異なる2つの位置でそれぞれの視線ベクトルを有する車両ユーザの概略図である。 視線ベクトルの開始点がマークされた車両ユーザの概略正面図及び概略側面図である。 異なる2つの位置にいる車両ユーザ及びフロントガラス上に転写された物体の領域の概略図である。 車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法手順の概略図である。
互いに対応する部分は、全ての図において同一の符号が付けられている。
図1には、2つの車線F1、F2を含む車道区画Fの異なる3つの図が示されており、それらの図では、車両1が右車線F1を走行し、手動走行モードにおける車両1の運転者である、図2~図4に示された車両ユーザ2の視線ベクトルVも併せて示されている。別の車両3は、上図及び中央図では同様に右車線F1を走行し、下図では左車線F2を走行している。
車両ユーザ2の視線ベクトルVは、3つの図の全てで同一であり、車両ユーザ2はそれぞれ異なる物体Oを観察している。
第1の図A1では、視線ベクトルVが、車両1に先行して走行する物体Oとしての別の車両3に向けられている。
第2の図A2では、車両1が左車線F2へ車線変更しようとしており、車両1は既に方向転換しているため、視線ベクトルVは左車線F2に向けられている。
第3の図A3では、別の車両3が左車線F2を走行しているとともに車両1が右車線F1を走行しており、車両ユーザ2の視線ベクトルVは正面、すなわち右車線F1に向けられている。
以下、車両1の自動走行モードにおいて車両ユーザ2の応答能力を決定するための方法を説明する。この方法では、車両ユーザ2の視線挙動が検知かつ分析される。
車両1には、走行運転中に、その走行運転が自動又は手動で行われるかにかかわらず画像データを連続的に撮像する運転者観察カメラ(詳細は図示せず)が配置されており、運転者観察カメラの撮像範囲は車両ユーザ2に向けられている。
運転者観察カメラが記録した画像データにより、車両ユーザ2の視線方向、すなわち視線ベクトルVが決定される。
図1には、3つの図A1~図A3により、車両ユーザ2の視線が向けられている、車両1の外側の物体O及び/又は領域を認識するのに視線ベクトルVが不十分であることが具体的に示されている。
視線ベクトルV及び車両1の幾何学データにより、車両ユーザ2が、例えば、車両1のフロントガラス4を通して車両1の外側を見ているか、すなわち車両ユーザ2の視線がフロントガラス4に向けられているかを決定することができる。その場合、車両ユーザ2の視線が車両1の外側の特定の物体O及び/又は特定の領域に向けられているかを割り当てることは不可能である。
本方法を使用して、車両ユーザ2の決定された視線ベクトルVと、車両1の外側で検出された物体O及びその特性(例えばサイズ及び位置など)とに基づき、車両ユーザ2がこの物体Oを見ていたかが決定される。
車両ユーザ2が物体O及び/又は領域を見るということは、車両ユーザ2の視線がこの物体O及び/又はこの領域に向けられており、物体O及び/又は領域が最小継続時間にわたって車両ユーザ2の視野内に存在することを意味する。
以下、車両ユーザによる物体Oの感知に関して本方法を説明するが、領域の感知も本方法により同様に実行される。
車両ユーザ2の視線が車両1の外側の物体Oにどの程度の長さ向けられていたかの決定により、状況の知覚にほとんど又は全く寄与しない、車両ユーザ2の無意識で比較的短時間の視線が考慮されることを、可能な限り排除することができる。
車両1の外側の物体Oが車両ユーザ2の視野内に存在することを決定するために、車両1の外側の視線ベクトルVが外挿される。特に、図2に示すように、外挿された視線ベクトルVが物体Oに当たると、物体Oが車両ユーザ2によって感知され、かつ知覚される。
特に、図2は、2つの着座位置S1、S2にいる車両ユーザ2及び対応する外挿された視線ベクトルV、車両1の非常に簡略化されたフロントガラス4及び車両1の外側の2つの物体Oを示している。ここで、車両ユーザ2は、フロントガラス4に対してより近い下方の着座位置S1において、速度制限を示す道路標識5を物体Oとして観察し、破線で示す他方のより離れた着座位置S2において、別の車両3を物体Oとして観察する。
車両ユーザ2は、それぞれの着座位置において異なる物体Oを観察するが、車両ユーザ2の視線は、フロントガラス4に関して唯一の点Pに向けられている。
図2に示すように、特定の物体Oが比較的複雑な形状及び/又はサイズである場合、物体Oの周囲に領域を画定してもよい。図2に記載の例示的な本実施形態によれば、物体Oとしての道路標識5が仮想矩形Rによって囲まれている。これに代えて、物体Oを取り囲む画定された領域として異なる形状を設けてもよく、この領域が小さいほど、視線対物体の割り当てがより正確になる。
加えて、特に複数の物体Oが同一の領域内に存在する場合に、物体Oの視認性が確認される。例えば、車両ユーザ2の視界から車両ユーザ2の視野内に2つの物体Oが存在する場合、車両ユーザ2の外挿された視線ベクトルVは、両方の物体Oに当たり得る。そのような場合は、より遠い物体Oがより近い物体Oによって遮蔽されると推定され、車両ユーザ2の視線はより近い物体Oに割り当てられる。
物体Oの視認性及び別の物体Oによる物体Oの遮蔽の評価には、物体Oの位置、サイズ、及び/又は材料特性を用いてもよい。
一実施形態では、物体Oが車両ユーザ2の視野内に存在するかを決定するために、物体O又は物体Oの領域が、表面A1、A2、特にフロントガラス4上に転写される。その場合、フロントガラス4の表面A1、A2上への物体Oの転写は、図4に示すように、例えば、図3に示した視線ベクトルVの開始点C及び特に開始点Cに対する物体Oの相対位置、並びに表面Aの幾何学的データなどの、いくつかのパラメータに依存する。
図3は、視線ベクトルVの開始点Cの例示的な確定を示しており、ここでは、頭部8が前方を向いた状態で両眼7が真っ直ぐ正面を見ている場合に、車両ユーザ2の両瞳孔6の間の中間点として開始点Cが規定されている。
頭部8の位置決めの結果、開始点Cの位置が例えば側方に変化する場合、より詳細に図4に示すように、これに対応して表面A1、A2がフロントガラス4上に配置される。この理由から、車両ユーザ2の身長及び着座位置は、フロントガラス4の表面A1、A2上への物体Oの転写に間接的な影響を与える。
図4は、2つの異なる着座位置S1、S2にいる車両ユーザ2を、別の車両3の形態でフロントガラス4の表面A1、A2上に転写された物体Oの領域と共に示している。
更に、図4には、物体Oの2つの表面A1、A2を有するフロントガラス4の正面図が示されている。
車両ユーザ2が着座位置S1にいる場合、物体Oは、別の車両3の形態でフロントガラス4の表面A1上に転写されるのに対し、別の着座位置S2では、物体Oは、フロントガラス4の別の表面A2に転写される。すなわち、物体Oは、特にそれぞれの着座位置S1、S2に関連して、フロントガラス4の複数の表面A1、A2上に転写される。
本方法では、知覚度及び/又は知覚品質を決定するために、視線挙動分析が実施される。車両ユーザ2の視線挙動は、特に車両1の手動走行モードにおける自身の通常の視線挙動と比較される。したがって、車両1の自動走行モードにおいて、車両ユーザ2が規定の関連物体O、例えば特定の道路標識5を知覚しているか、かつ/又は、どの程度の知覚度で知覚しているか、かつ/又はどの程度の知覚品質で知覚しているかを、特に決定することができる。複数の手動運転操作中、規定の関連物体Oの種類、例えば道路標識5に関する車両ユーザ2の視線挙動もまた、物体Oに関する自身の視線挙動と比較することができる。
例えば、規定の関連物体Oに対し、視線が全く検出されない、又は比較的短い時間、特に最小継続時間を下回る視線しか検出されない場合、車両ユーザ2が規定の関連物体Oを知覚していない、かつ/又は知覚度及び/若しくは知覚品質が比較的低いと推論することができる。この場合、規定の関連物体O、特に道路標識が、ダッシュボードの表示領域に表示されてもよい。
一方、視線挙動分析により、車両ユーザ2が規定の関連物体Oを十分に知覚したと判断された場合、その関連物体Oは表示されない。
通常の視線挙動が、車両ユーザに固有の方法で決定されるだけでなく、場所かつ/又は状況に応じて決定されることもまた考えられる。車両ユーザ2が頻繁に同じ経路を走行する場合は、車両ユーザ2の変動する視線挙動を、それぞれの経路の特定の場所において確認することができる。
考えられる一実施形態では、本方法により、特定の運転状態及び/又は車両ユーザ2の状態で視線挙動分析が実施される。例えば、車両ユーザ2に運転タスクを引き継がせる要求がシステムで決定された場合に、車両ユーザ2の知覚度及び/若しくは知覚品質、又は状況認識を評価するために、車両ユーザ2の視線挙動が分析されてもよい。
対応する結果は、車両ユーザ2への運転責任の引き渡し時にシステム側で考慮することができる。例えば、車両ユーザ2は、特定の行動の実施、例えば車線変更を比較的突発的に決定する。その場合、特に視線挙動分析により、車両ユーザ2がこの行動に関連する物体Oの全てを感知していない、すなわち見ていないことが決定される。例えば、車両ユーザ2が後方から接近する別の車両3を見ておらず、車両ユーザ2がこれに関して知らされ、かつ/又は意図した行動がシステム側で抑制されたりサポートされなかったりする。
更なる一実施形態では、複数の車両ユーザ2の視線データが、多数派の視線挙動を決定するために使用される。これにより、いずれの物体Oが関連物体Oとして規定され得るか、また如何なる知覚度及び/又は知覚品質で大部分の車両ユーザ2がこれらの物体Oを観察するのかを決定することができる。例えば、これらの物体Oは、別の車両3、道路標識5、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、橋脚等である。
すなわち、車両ユーザ2の視線挙動により、車両ユーザ2が十分な知覚度及び/若しくは十分な知覚品質又は十分な状況認識を有しているかが決定される。
上記の場合であれば、車両ユーザ2の応答能力が備わっていると評価される。知覚度の低下及び/若しくは知覚品質の低下又は状況認識の低下が疑われる場合には、車両ユーザ2の応答能力が備わっていないと評価される。
特に、車両ユーザ2が、例えば、規定の関連物体Oのうちの1つに視線を向けていない、又は視線持続時間に関する最小継続時間が満たされていない場合に、応答能力が備わっていないと評価される。
代替的に又は追加的に、視線変更頻度が最小頻度を下回る場合、すなわち決定された視線変更頻度が規定の頻度閾値を下回る場合に、応答能力が備わっていないと評価される。視線変更頻度は、異なる物体Oへの視線変更の間の平均継続時間を特定することによって決定される。この継続時間が短いほど、視線変更頻度が高くなる。
比較的低い視線変更頻度は、車両ユーザ2の注意散漫を示唆する可能性があり、その注意散漫は、自動走行モードで許可されていない副次的活動に起因する可能性がある。場合によっては、車両ユーザ2が副次的活動に集中しすぎており、車両1の外側の規定の関連物体Oにほとんど又は全く視線を向けない可能性があるため、副次的活動は自動走行モードに対して許可されていない。
上述のように、規定の関連物体Oは、車両ユーザ2が車両1の手動走行モードにおける同様の運転状況で観察する物体Oであって、手動走行モードに関する意思決定、すなわち車両制御に関連する物体Oである。
車両1が現在走行している車道区画における、そのような関連物体Oの位置は、車両側に存在するデジタル地図データにより、及び/又は車両側で検知されたセンサデータにより決定される。
上述のように、車両ユーザ2の応答能力が備わっていないと評価された場合、応答能力を取り戻す又は回復するための措置が、特に車両側で開始される。
開始される措置は、車両1内における車両ユーザ2への通知の出力であり、車両ユーザ2は自身の応答能力を証明するためにその通知に対して規定の時間内に受信確認する必要がある。規定の継続時間以内に、また任意で設けられた1以上のレベルのエスカレート後にも、必要な受信確認が行われない場合には、車両ユーザ2が運転タスクを引き受けるように要求される。車両ユーザ2がこの要求にも規定の継続時間以内に従わなかった場合、車両1は自動走行モードにおいて安全な停止状態へと慎重に移行させられる。
撮像画像データにより、運転者観察カメラが車両ユーザ2の睡眠事象を認識する場合もまた、同様の動作が行われる。睡眠事象は、車両ユーザ2が自身の両眼7を数秒間(瞬間的睡眠)以上閉じたときに生じる。
車両ユーザ2の視線変更頻度の決定に加えて、運転者観察カメラが記録した画像データもまた、車両ユーザ2が制御を引き受け可能な位置にいるか、すなわち車両ユーザ2が車両1の運転タスクを引き継げる位置にいるかを決定するところまで評価されてもよい。
顔認識により、車両ユーザ2の頭部8が、記録された画像データにおいて認識され、頭部8が規定の有効領域内に存在するかが確認される。
更に、車両ユーザ2が車両座席にいるように装う不正行為事例を回避するために、記録された画像データに関して、例えば写真や人形などによる偽装が画像処理方法により認識される。これにより、例えば、車両ユーザ2が自身の車両座席を離れて車両1の後部へと這い入ることを可能な限り排除できる。
車両ユーザ2が自身の車両座席にいない、又は引き受け可能な位置にいないことが決定された場合、自動走行モードが終了されるか、又は自動走行モードが起動されていない場合には起動が許可されない。
更に、独国特許第10 2015 001 686(B4)号に記載のように、車両ユーザ2の運転動作を検知し、車両ユーザ2の瞬目率及び頭部8の動きを検知して車両ユーザ2の活動を決定し、これに基づき車両ユーザ2の応答能力に関する推論を導き出してもよい。
図5には、運転者観察カメラの撮像画像データにより、車両1の自動走行モードにおいて車両ユーザ2の応答能力を決定するための方法手順に関する概要が示されている。
第1の方法ステップV1では、車両側に存在する地図データにより、及び/又は車両側で検知したセンサデータにより、車両1の前方の直近周辺に規定の関連物体Oが存在すると決定される。
第2の方法ステップV2では、運転者観察カメラの画像データにより、車両ユーザ2の視線方向が検知され、第3の方法ステップV3では、検知された規定の関連物体Oが分類され、第4の方法ステップV4では、視線対物体の割り当てが行われる。特に、分類は、関連物体Oが道路標識5、特に標識板、すなわち、通常の標識板、速度表示を有する道路標識5、若しくはカーブにおける速度表示を有する道路標識5、又は先行車であるかが決定されるまで実行される。先行車の場合には、別の車両3が車両1の車線F1を走行しているかに応じて区別がなされる。
車両ユーザ2の視線方向により、規定の関連物体Oが車両ユーザ2の視野内に存在していると決定できる場合、第5の方法ステップV5では、車両ユーザ2の視線挙動により、車両ユーザ2が規定の関連物体Oに関する特性を感知できるかが決定される。
車両ユーザ2の通常の視線挙動は、車両1の記憶装置に記憶されており、第6の方法ステップV6において呼び出され、第7の方法ステップV7では、車両ユーザ2の通常の視線挙動が、分類された関連物体Oに関して決定される。
第8の方法ステップV8では、自動走行モードにおける車両ユーザ2の現在の視線挙動が、特に車両1の手動走行モードにおける通常の視線挙動と比較される。
次いで、第9の方法ステップV9では、知覚度及び/又は知覚品質が評価され、その知覚度及び/又は知覚品質は、第10の方法ステップV10において目標知覚度又は目標知覚品質と比較される。
第11の方法ステップV11では、規定の関連物体Oに関する知覚が確認され、確認が達成されない場合、車両ユーザ2の応答能力が備わっていないと評価される。

Claims (10)

  1. 運転者観察カメラの撮像画像データにより、車両(1)の自動走行モードにおいて車両ユーザ(2)の応答能力を決定するための方法であって、
    -前記車両側に存在するデジタル地図データにより、及び/又は前記車両側で検知されたセンサデータにより、前記車両ユーザ(2)の視野において、現在の車両周辺に少なくとも1つの規定の関連物体(O)が存在するかが決定され、
    -前記現在の車両周辺において前記少なくとも1つの規定の関連物体(O)が検知された場合、検知された前記少なくとも1つの規定の関連物体(O)に前記車両ユーザ(2)がどの程度の継続時間及び/又は頻度で視線を向けたかが、前記運転者観察カメラの撮像画像データにより決定され、
    -決定された継続時間が規定の最小継続時間を下回る場合、及び/又は決定された視線変更頻度が規定の最小頻度を下回る場合、前記車両ユーザ(2)の前記応答能力が備わっていないと評価される
    ことを特徴とする、応答能力を決定するための方法。
  2. 物体(O)は、前記車両(1)の手動走行モードにおいて前記車両ユーザ(2)の前記視野内に規定の継続時間及び/又は頻度で存在する場合、及び前記車両ユーザ(2)による車両制御時に考慮される場合に、関連すると決定される
    ことを特徴とする、請求項1に記載の応答能力を決定するための方法。
  3. 前記車両(1)の前方、側方、及び/又は後方に存在する少なくとも1台の別の車両(3)、道路標識(5)、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、及び/又は橋脚が、前記車両ユーザ(2)の前記応答能力を決定する際に物体(O)として規定され、かつ/又は関連物体(O)として考慮される
    ことを特徴とする、請求項1又は2に記載の応答能力を決定するための方法。
  4. 規定の物体(O)のサイズ、視認性、相対位置、及び/又は絶対位置が、前記車両ユーザ(2)の前記視野に関連して決定され、かつ/又は考慮される
    ことを特徴とする、請求項1から3のいずれか一項に記載の応答能力を決定するための方法。
  5. 前記車両ユーザ(2)の視線方向が、前記視野を決定するために外挿される視線ベクトル(V)として決定される
    ことを特徴とする、請求項1から4のいずれか一項に記載の応答能力を決定するための方法。
  6. 前記視線ベクトル(V)の開始点(C)として、前記車両ユーザ(2)の両瞳孔(6)の間の中間点が規定される
    ことを特徴とする、請求項5に記載の応答能力を決定するための方法。
  7. 規定の関連物体(O)の形状及び/又はサイズに応じて、前記規定の関連物体の周囲に領域が画定される
    ことを特徴とする、請求項1から6のいずれか一項に記載の応答能力を決定するための方法。
  8. 複数の物体(O)が検知された場合、規定の関連物体(O)に関する視認性が、前記物体(O)の位置、サイズ、及び/又は材質特性により評価される
    ことを特徴とする、請求項1から7のいずれか一項に記載の応答能力を決定するための方法。
  9. 視線挙動分析により、前記車両ユーザに固有の方法で知覚度及び/又は状況認識が決定される
    ことを特徴とする、請求項1から8のいずれか一項に記載の応答能力を決定するための方法。
  10. 前記車両ユーザ(2)の前記応答能力が備わっていないと評価された場合、前記車両ユーザ(2)が規定の時間内に受信確認する必要のある少なくとも1つの通知が前記車両(1)内に出力される
    ことを特徴とする、請求項1から9のいずれか一項に記載の応答能力を決定するための方法。
JP2022570404A 2020-05-19 2021-04-01 応答能力を決定するための方法 Pending JP2023525895A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020003018.1A DE102020003018A1 (de) 2020-05-19 2020-05-19 Verfahren zur Ermittlung einer Reaktionsfähigkeit
DE102020003018.1 2020-05-19
PCT/EP2021/058735 WO2021233604A1 (de) 2020-05-19 2021-04-01 Verfahren zur ermittlung einer reaktionsfähigkeit

Publications (1)

Publication Number Publication Date
JP2023525895A true JP2023525895A (ja) 2023-06-19

Family

ID=75497897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570404A Pending JP2023525895A (ja) 2020-05-19 2021-04-01 応答能力を決定するための方法

Country Status (6)

Country Link
US (1) US20230242135A1 (ja)
JP (1) JP2023525895A (ja)
KR (1) KR20230004634A (ja)
CN (1) CN115667044A (ja)
DE (1) DE102020003018A1 (ja)
WO (1) WO2021233604A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230192100A1 (en) * 2021-12-22 2023-06-22 Arriver Software Llc Awareness checker for enhancing collaborative driving supervision
DE102022102002A1 (de) 2022-01-28 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Anpassung des Absicherungsverhaltens eines Fahrers eines Fahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084367A1 (de) 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes
DE102015001686B4 (de) 2015-02-07 2017-03-16 Daimler Ag Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102016011246A1 (de) 2016-09-17 2017-04-13 Daimler Ag Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE102017202194A1 (de) 2017-02-13 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
JP6548850B2 (ja) * 2017-03-03 2019-07-24 三菱電機株式会社 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
US9904287B1 (en) * 2017-05-04 2018-02-27 Toyota Research Institute, Inc. Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle
DE102017214535A1 (de) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Durchführung einer Fahrerassistenzfunktion eines Fahrzeuges
US10528832B2 (en) 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data
US10849543B2 (en) 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
DE102018217183A1 (de) * 2018-10-09 2020-04-09 Audi Ag Erlernen einer Lichtverteilung für einen Scheinwerfer

Also Published As

Publication number Publication date
WO2021233604A1 (de) 2021-11-25
DE102020003018A1 (de) 2021-11-25
CN115667044A (zh) 2023-01-31
KR20230004634A (ko) 2023-01-06
US20230242135A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US10086757B2 (en) Display device
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
CN106405835A (zh) 显示装置
JP4715325B2 (ja) 情報表示装置
JP2005135037A (ja) 車両用情報提示装置
US11130502B2 (en) Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle
US7370970B2 (en) Eyeglass detection method
EP1721782B1 (en) Driving support equipment for vehicles
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
JP5803274B2 (ja) 運転技術判別装置および運転技術判別プログラム
US9884583B2 (en) Method and apparatus for operating a signal system, signal system, vehicle
JP2023525895A (ja) 応答能力を決定するための方法
JP2013517575A (ja) 輸送手段の安全な運転を補助する装置及び方法
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
CN115892013A (zh) 用于操作车辆的系统、控制电路、方法、设备和存储介质
JP2017039373A (ja) 車両用映像表示システム
JP3890597B2 (ja) 車両用情報提供装置
JPH0796768A (ja) 前方注視度検知装置
EP3875330A1 (en) Vehicle controller
JP3890599B2 (ja) 車両用情報提供装置、車両用情報提供方法及び車両用情報提供プログラム
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
CN111169483A (zh) 一种辅助驾驶方法、电子设备和具有存储功能的装置
JP4345526B2 (ja) 物体監視装置
JP6814416B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326