JP7226104B2 - 情報提示装置、情報提示方法および情報提示プログラム - Google Patents

情報提示装置、情報提示方法および情報提示プログラム Download PDF

Info

Publication number
JP7226104B2
JP7226104B2 JP2019101357A JP2019101357A JP7226104B2 JP 7226104 B2 JP7226104 B2 JP 7226104B2 JP 2019101357 A JP2019101357 A JP 2019101357A JP 2019101357 A JP2019101357 A JP 2019101357A JP 7226104 B2 JP7226104 B2 JP 7226104B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
risk
information
risk object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019101357A
Other languages
English (en)
Other versions
JP2020194499A5 (ja
JP2020194499A (ja
Inventor
哲洋 林
晋彦 千葉
猛 羽藤
靖 作間
威一郎 寺尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019101357A priority Critical patent/JP7226104B2/ja
Priority to PCT/JP2020/019127 priority patent/WO2020241259A1/ja
Publication of JP2020194499A publication Critical patent/JP2020194499A/ja
Publication of JP2020194499A5 publication Critical patent/JP2020194499A5/ja
Priority to US17/535,086 priority patent/US11752939B2/en
Application granted granted Critical
Publication of JP7226104B2 publication Critical patent/JP7226104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries

Description

本開示は、車両の運転者に情報を提示する情報提示装置、情報提示方法および情報提示プログラムに関する。
特許文献1には、運転者の視線の動きと障害物とを検出し、運転者の視線から外れた位置に警告を表示した後に、障害物へ視線の動きを誘導するように構成された視線誘導装置が記載されている。
特開2010-126135号公報
しかし、車外のリスクに関する車外リスク情報を運転者に提示する情報提示装置では、運転者がリスクを認識しているにも関わらず車外リスク情報を運転者に提示すると、その情報提示を運転者が煩わしいと感じてしまい、車外リスク情報を提示する機能を運転者が利用しなくなってしまう恐れがある。
本開示は、運転者が煩わしいと感じてしまう事態の発生を抑制して車外リスク情報を提示することを目的とする。
本開示の一態様は、車両に搭載される情報提示装置(1)であって、車外リスク検出部(2)と、視線検出部(3)と、認識判断部(S410~S480,S610~S710)と、情報提示部(S10~S110,S210~S290)とを備える。
車外リスク検出部は、車両の周辺に存在し、且つ、車両に対して危険となる可能性がある車外リスク対象物を検出するように構成される。視線検出部は、車両の運転者の視線方向を検出するように構成される。
認識判断部は、車外リスク検出部による検出結果と、視線検出部による検出結果とに基づいて、運転者が車外リスク対象物を認識しているか否かを判断するように構成される。
情報提示部は、車外リスク対象物に関する車外リスク情報を運転者に対して提示するように構成される。そして情報提示部は、認識判断部による判断結果に基づき、車外リスク情報を運転者に対して提示する提示態様を、運転者が車外リスク対象物を認識している場合と、運転者が車外リスク対象物を認識していない場合とで変化させる。
このように構成された本開示の情報提示装置は、車外リスク情報の提示態様を、運転者が車外リスク対象物を認識しているか否かに応じて変化させる。これにより、本開示の情報提示装置は、運転者が車外リスク対象物を認識していない場合には、車外リスク情報を強調して提示し、運転者が車外リスク対象物を認識している場合には、車外リスク情報を強調しないで提示するようにすることができる。すなわち、本開示の情報提示装置は、運転者が車外リスク対象物を認識していない場合には、運転者が車外リスク対象物を認識できるように車外リスク情報を提示し、運転者が車外リスク対象物を認識している場合には、運転者が煩わしいと感じないように車外リスク情報を提示することができる。
これにより、本開示の情報提示装置は、運転者が車外リスク対象物を認識できるようにするという機能を損なうことなく、運転者が煩わしいと感じてしまう事態の発生を抑制して、車外リスク情報を提示することができる。
本開示の別の態様は、車両の運転者に情報を提示する情報提示方法であって、認識判断ステップ(S410~S480,S610~S710)と、情報提示ステップ(S10~S110,S210~S290)とを備える。
認識判断ステップは、車外リスク検出部による検出結果と、視線検出部による検出結果とに基づいて、運転者が車外リスク対象物を認識しているか否かを判断する。
情報提示ステップは、車外リスク対象物に関する車外リスク情報を運転者に対して提示する。そして情報提示ステップは、認識判断ステップによる判断結果に基づき、車外リスク情報を運転者に対して提示する提示態様を、運転者が車外リスク対象物を認識している場合と、運転者が車外リスク対象物を認識していない場合とで変化させる。
本開示の情報提示方法は、本開示の情報提示装置にて実行される方法であり、当該方法を実行することで、本開示の情報提示装置と同様の効果を得ることができる。
本開示の更に別の態様は、車両の運転者に情報を提示するために、コンピュータを、認識判断部、及び、情報提示部として機能させるための情報提示プログラムである。
本開示の情報提示プログラムによって制御されるコンピュータは、本開示の情報提示装置の一部を構成することができ、本開示の情報提示装置と同様の効果を得ることができる。
情報提示装置の概略構成を示すブロック図である。 表示デバイスの配置を示す図である。 方向範囲を示す図である。 第1情報提示処理を示すフローチャートである。 自車両が右側へ車線変更しようとしている状況を示す図である。 第2情報提示処理を示すフローチャートである。 基準デバイスと補助デバイスとの組み合わせを示す図表である。 情報提示の第1の具体例を示す図である。 情報提示の第2の具体例を示す図である。 情報提示の第3の具体例を示す図である。 情報提示の第4の具体例を示す図である。 第1実施形態の認識判定処理を示すフローチャートである。 物標の移動方向変化の第1の具体例を示す図である。 物標の移動方向変化の第2の具体例を示す図である。 物標の速度変化の具体例を示す図である。 運転者による物標の見落としの第1の具体例を示す図である。 情報提示の第5の具体例を示す図である。 運転者による物標の見落としの第2の具体例を示す図である。 第2実施形態の認識判定処理を示すフローチャートである。 第nバッファの変化を示すグラフである。
(第1実施形態)
以下に本開示の第1実施形態を図面とともに説明する。
本実施形態の情報提示装置1は、車両に搭載され、図1に示すように、レーダ装置2、DSM3、ウインカーセンサ4、HUD5、CID6、MID7、LEDインジケータ8,9,10、ラインLED11,12,13、スピーカ14、バイブレータ15および制御装置16を備える。以下、情報提示装置1を搭載する車両を自車両という。
DSMは、Driver Status Monitorの略である。HUDは、Head-Up Displayの略である。CIDは、Center Information Displayの略である。MIDは、Multi Information Displayの略である。LEDは、Light Emitting Diodeの略である。
レーダ装置2は、レーダ波を車両の周囲に向けて送信し、反射したレーダ波を受信することにより、レーダ波を反射した物標までの距離Rと、物標の速度Vと、物標の方位θとを検出する。レーダ装置2は、これらの検出値(R,V,θ)から、横位置x、縦位置y、横速度Vx、縦速度Vyの推定値を算出し、これら推定値(x,y,Vx,Vy)を検出結果として制御装置16へ出力する。
DSM3は、運転者の顔をカメラで撮影し、画像解析により運転者の視線方向を検出する。ウインカーセンサ4は、車両の右ウインカーのオンおよびオフと、左ウインカーのオンおよびオフとを検出する。
HUD5は、図2に示すように、車両のウインドシールドWSの下方からウインドシールドWSのHUD表示領域HRに向けて、画像を表示するための表示光を照射する。これにより、ウインドシールドWSに虚像が投影され、運転者は、HUD表示領域HRにおいて、その虚像を車両前方の実際の風景に重ねて視認することができる。
CID6は、センタクラスタCCの上方に設置され、表示画面に各種画像を表示する。MID7は、運転席の前方のインストルメントパネルIPに設けられて、表示画面に車両の各種状態を表示する。
LEDインジケータ8は、右側サイドミラーSM1の鏡面に設置されている。LEDインジケータ8は、発光により、自車両の右後方からの車両の接近を示す画像(以下、右後方接近画像)を表示する。LEDインジケータ9は、左側のサイドミラーSM2の鏡面に設置されている。LEDインジケータ9は、発光により、自車両の左後方からの車両の接近を示す画像(以下、左後方接近画像)を表示する。LEDインジケータ10は、バックミラーBMの鏡面に設置されている。
ラインLED11,12,13は、複数のLED素子を線状に配列して形成され、複数のLED素子のそれぞれを独立に点灯および消灯することができるように構成されている。ラインLED11は、四角形状のウインドシールドWSの下辺付近において、ウインドシールドWSの下辺に沿って配置される。ラインLED12は、四角形状の運転席側窓WD1の下辺付近において、運転席側窓WD1の下辺に沿って配置される。ラインLED13は、四角形状の助手席側窓WD2の下辺付近において、助手席側窓WD2の下辺に沿って配置される。
図1に示すように、スピーカ14は、車室内に設置され、制御装置16から入力された音声電気信号を音声に変換して出力する。
バイブレータ15は、車室内に設置されている。バイブレータ15は、振動モータを備え、振動モータを駆動することにより、振動を発生させる。
制御装置16は、CPU21、ROM22およびRAM23等を備えたマイクロコンピュータを中心に構成された電子制御装置である。マイクロコンピュータの各種機能は、CPU21が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ROM22が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、CPU21が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。また、制御装置16を構成するマイクロコンピュータの数は1つでも複数でもよい。
制御装置16は、レーダ装置2、DSM3およびウインカーセンサ4からの入力に基づいて各種処理を実行し、HUD5、CID6、MID7、LEDインジケータ8,9,10、ラインLED11,12,13、スピーカ14およびバイブレータ15を制御する。
ここで、自車両の周辺に存在する物体の方向を、以下のように定義する。図3に示すように、自車両を中心とした方向は、自車両の進行方向から時計回りに順に、方向範囲DR1,DR2,DR3,DR4,DR5,DR6,DR7,DR8,DR9,DR10の何れかに分類される。以下、方向範囲DR1を正面前方ともいう。方向範囲DR2を右前方ともいう。方向範囲DR3を右前側方ともいう。方向範囲DR4を右側方ともいう。方向範囲DR5を右後側方ともいう。方向範囲DR6を正面後方ともいう。方向範囲DR7を左後側方ともいう。方向範囲DR8を左側方ともいう。方向範囲DR9を左前側方ともいう。方向範囲DR10を左前方ともいう。
次に、制御装置16のCPU21が実行する第1情報提示処理の手順を説明する。第1情報提示処理は、制御装置16の動作中において繰り返し実行される処理である。
第1情報提示処理が実行されると、CPU21は、図4に示すように、まずS10にて、レーダ装置2の検出結果に基づいて、自車両の後側方(すなわち、方向範囲DR5または方向範囲DR7)に車両が存在するか否かを判断する。ここで、自車両の後側方に車両が存在していない場合には、CPU21は、第1情報提示処理を終了する。一方、自車両の後側方に車両が存在している場合には、CPU21は、S20にて、ウインカーセンサ4の検出結果に基づいて、右ウインカーが点滅しているか否かを判断する。
ここで、右ウインカーが点滅している場合には、CPU21は、S30にて、HUD5が右後方接近画像を表示しているか否かを判断する。ここで、HUD5が右後方接近画像を表示している場合には、CPU21は、第1情報提示処理を終了する。一方、HUD5が右後方接近画像を表示していない場合には、CPU21は、S40にて、後述する認識判定処理の判定結果に基づいて、運転者が自車両の後側方の車両を認識しているか否かを判断する。ここで、運転者が自車両の後側方の車両を認識していない場合には、CPU21は、S50にて、第1提示指示を実行して、第1情報提示処理を終了する。第1提示指示では、具体的には、CPU21は、右後方接近画像を表示させる指示をHUD5へ出力し、警告音を示す音声電気信号をスピーカ14へ出力し、振動させる指示をバイブレータ15へ出力し、点滅させる指示をLEDインジケータ8へ出力する。これにより、HUD5は右後方接近画像を表示し、スピーカ14は警告音を出力し、バイブレータ15は振動し、LEDインジケータ8は右後方接近画像を点滅表示する。
一方、運転者が自車両の後側方の車両を認識している場合には、CPU21は、S60にて、第2提示指示を実行して、第1情報提示処理を終了する。第2提示指示では、具体的には、CPU21は、点灯させる指示をLEDインジケータ8へ出力する。これにより、LEDインジケータ8は右後方接近画像を点灯表示する。
またS20にて、右ウインカーが点滅していない場合には、CPU21は、S70にて、ウインカーセンサ4の検出結果に基づいて、左ウインカーが点滅しているか否かを判断する。
ここで、左ウインカーが点滅していない場合には、第1情報提示処理を終了する。一方、左ウインカーが点滅している場合には、CPU21は、S80にて、HUD5が左後方接近画像を表示しているか否かを判断する。ここで、HUD5が左後方接近画像を表示している場合には、CPU21は、第1情報提示処理を終了する。一方、HUD5が左後方接近画像を表示していない場合には、CPU21は、S90にて、認識判定処理の判定結果に基づいて、運転者が自車両の後側方の車両を認識しているか否かを判断する。ここで、運転者が自車両の後側方の車両を認識していない場合には、CPU21は、S100にて、第3提示指示を実行して、第1情報提示処理を終了する。第3提示指示では、具体的には、CPU21は、左後方接近画像を表示させる指示をHUD5へ出力し、警告音を示す音声電気信号をスピーカ14へ出力し、振動させる指示をバイブレータ15へ出力し、点滅させる指示をLEDインジケータ9へ出力する。これにより、HUD5は左後方接近画像を表示し、スピーカ14は警告音を出力し、バイブレータ15は振動し、LEDインジケータ9は左後方接近画像を点滅表示する。
一方、運転者が自車両の後側方の車両を認識している場合には、CPU21は、S110にて、第4提示指示を実行して、第1情報提示処理を終了する。第4提示指示では、具体的には、CPU21は、点灯させる指示をLEDインジケータ9へ出力する。これにより、LEDインジケータ9は左後方接近画像を点灯表示する。
第1情報提示処理では、CPU21は、例えば、図5に示すように、自車両MCの右後側方に車両RCが存在しており、且つ、自車両MCが右側へ車線変更するために自車両MCの右ウインカーが点滅している場合において、各種指示を実行するか否かを判断する。図5では、ウインカー光WL1,WL2により、自車両MCの右ウインカーが点滅していることを示し、矢印AL1により、自車両MCが右側へ車線変更することを示している。
次に、制御装置16のCPU21が実行する第2情報提示処理の手順を説明する。第2情報提示処理は、制御装置16の動作中において繰り返し実行される処理である。
第2情報提示処理が実行されると、CPU21は、図6に示すように、まずS210にて、レーダ装置2の検出結果に基づいて、自車両の周囲に物標が存在するか否かを判断する。ここで、自車両の周囲に物標が存在していない場合には、CPU21は、第2情報提示処理を終了する。一方、自車両の周囲に物標が存在している場合には、CPU21は、S220にて、レーダ装置2の検出結果に基づいて、S210において判断対象となった物標(以下、対象物標)と自車両との衝突予測時間TTCを算出する。TTCは、Time To Collisionの略である。
そしてCPU21は、S230にて、S220で算出した衝突予測時間TTCが予め設定された危険度判定値J1以下であるか否かを判断する。すなわち、S230では、CPU21は、衝突予測時間TTCが危険度判定値J1以下である場合に、危険度が高いと判断する。一方、CPU21は、衝突予測時間TTCが危険度判定値J1を超えている場合に、危険度が低いと判断する。
ここで、衝突予測時間TTCが危険度判定値J1以下である場合には、CPU21は、S240にて、後述する認識判定処理の判定結果に基づいて、運転者が、対象物標を認識しているか否かを判断する。
ここで、運転者が対象物標を認識している場合には、CPU21は、S250にて、第5提示指示を実行して、第2情報提示処理を終了する。第5提示指示では、具体的には、CPU21は、対象物標が存在する方向(以下、リスク方向)の近くに配置されている表示デバイスへ提示指示を出力する。例えば、自車両の右側方(すなわち、方向範囲DR4)に対象物標が存在しており、且つ、運転者が対象物標を認識している場合には、CPU21は、運転者の右側に設置されているラインLED12を点滅させる。
一方、運転者が対象物標を認識していない場合には、CPU21は、S260にて、第6提示指示を実行して、第2情報提示処理を終了する。第6提示指示では、具体的には、CPU21は、以下の四つの指示を出力する。一つ目の指示として、CPU21は、警告音を示す音声電気信号をスピーカ14へ出力する。二つ目の指示として、CPU21は、高周波数で振動させる指示をバイブレータ15へ出力する。三つ目の指示として、CPU21は、運転者の注視方向の近くに配置されている表示デバイスへ、リスク方向を表す情報を表示させる指示を出力する。四つ目の指示として、CPU21は、リスク方向の近くに配置されている表示デバイスへ、注意喚起の表示(例えば、LEDまたはアイコンの点滅)をさせる指示を出力する。
またS230にて、衝突予測時間TTCが危険度判定値J1を超えている場合には、CPU21は、S270にて、認識判定処理の判定結果に基づいて、運転者が、対象物標を認識しているか否かを判断する。
ここで、運転者が対象物標を認識している場合には、CPU21は、S280にて、第7提示指示を実行して、第2情報提示処理を終了する。第7提示指示では、具体的には、CPU21は、リスク方向の近くに配置されている表示デバイスへ提示指示を出力する。例えば、自車両の右側方(すなわち、方向範囲DR4)に対象物標が存在しており、且つ、運転者が対象物標を認識している場合には、CPU21は、運転者の右側に配置されているラインLED12を点灯させる。
一方、運転者が対象物標を認識していない場合には、CPU21は、S290にて、第8提示指示を実行して、第2情報提示処理を終了する。第8提示指示では、具体的には、CPU21は、以下の四つの指示を出力する。一つ目の指示として、CPU21は、警告音を示す音声電気信号をスピーカ14へ出力する。二つ目の指示として、CPU21は、低周波数で振動させる指示をバイブレータ15へ出力する。三つ目の指示として、CPU21は、運転者の注視方向の近くに配置されている表示デバイスへ、リスク方向を表す情報を表示させる指示を出力する。四つ目の指示として、CPU21は、リスク方向の近くに配置されている表示デバイスへ、注意喚起の表示(例えば、LEDまたはアイコンの点灯)をさせる指示を出力する。
次に、第1情報提示処理の第1,3提示指示および第2情報提示処理の第6,8提示指示において提示に使用するデバイスの組み合わせを説明する。
図7に示すように、第6,8提示指示における提示は、基準デバイスと補助デバイスとの組み合わせによって行われる。図7の各欄に記載されている数字は、情報提示装置1の構成要素の符号である。例えば、「5」は、HUD5であることを示す。「11」は、ラインLED11であることを示す。基準デバイスは、リスク方向に基づいて選択される。補助デバイスは、運転者の注視方向に基づいて選択される。
リスク方向が正面前方であるときの基準デバイスは、HUD5である。リスク方向が右前方、左前方、右前側方および左前側方であるときの基準デバイスは、ラインLED11である。リスク方向が右側方であるときの基準デバイスは、ラインLED12である。リスク方向が左側方であるときの基準デバイスは、ラインLED13である。リスク方向が右後側方であるときの基準デバイスは、LEDインジケータ8である。リスク方向が左後側方であるときの基準デバイスは、LEDインジケータ9である。リスク方向が正面後方であるときの基準デバイスは、LEDインジケータ10である。
また、運転者の注視方向が正面前方であるときの補助デバイスは、スピーカ14、バイブレータ15およびHUD5である。但し、リスク方向が正面前方である場合には、補助デバイスは利用されない。
運転者の注視方向が右前方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED11である。但し、リスク方向が右前方である場合には、補助デバイスは利用されない。
運転者の注視方向が左前方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED11である。但し、リスク方向が左前方である場合には、補助デバイスは利用されない。
運転者の注視方向が右前側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED11である。但し、リスク方向が右前側方である場合には、補助デバイスは利用されない。
運転者の注視方向が左前側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED11である。但し、リスク方向が左前側方である場合には、補助デバイスは利用されない。
運転者の注視方向が右側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED12である。但し、リスク方向が右側方である場合には、補助デバイスは利用されない。
運転者の注視方向が左側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED13である。但し、リスク方向が左側方である場合には、補助デバイスは利用されない。
運転者の注視方向が右後側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED12である。但し、リスク方向が右後側方である場合には、補助デバイスは利用されない。
運転者の注視方向が左後側方であるときの補助デバイスは、スピーカ14、バイブレータ15およびラインLED13である。但し、リスク方向が左後側方である場合には、補助デバイスは利用されない。
運転者の注視方向が正面後方であるときの補助デバイスは、スピーカ14、バイブレータ15およびHUD5である。但し、リスク方向が正面後方である場合には、補助デバイスは利用されない。更に、リスク方向が正面前方である場合には、補助デバイスとしてHUD5が利用されない。この場合には、スピーカ14による警告音とバイブレータ15による振動により、まず、運転者を前方に向かせて、HUD5でリスク方向に誘導する。
例えば欄C1は、リスク方向が正面前方であり、運転者の注視方向が正面前方であるときの補助デバイスを示す。欄C1には、「none」と記載されているため、補助デバイスは利用されない。すなわち、基準デバイスであるHUD5が利用される。この場合には、例えば、図8に示すように、HUD表示領域HRに「前方注意」が表示される。
また欄C2は、リスク方向が右後側方であり、運転者の注視方向が正面前方であるときの補助デバイスを示す。欄C2には、「+14/15+5」と記載されているため、補助デバイスとして、スピーカ14、バイブレータ15およびHUD5が利用される。そして、基準デバイスとして、LEDインジケータ8が利用される。この場合には、例えば、図9に示すように、HUD表示領域HRに右後方接近画像が表示され、右側サイドミラーSM1の鏡面に右後方接近画像が表示され、スピーカ14から警告音が出力される。また、バイブレータ15が振動する。
また欄C3は、リスク方向が正面前方であり、運転者の注視方向が左前側方であるときの補助デバイスを示す。欄C3には、「+14/15+11」と記載されているため、補助デバイスとして、スピーカ14、バイブレータ15およびラインLED11が利用される。そして、基準デバイスとして、HUD5が利用される。この場合には、例えば、図10に示すように、HUD表示領域HRに「前方注意」が表示され、スピーカ14から警告音が出力される。また、バイブレータ15が振動する。さらにラインLED11は、矢印AL2で示すように、光LL1がラインLED11の左端からHUD表示領域HRの直下の領域まで移動するように発光する。
また欄C4は、リスク方向が右前側方であり、運転者の注視方向が左後側方であるときの補助デバイスを示す。欄C4には、「+14/15+13」と記載されているため、補助デバイスとして、スピーカ14、バイブレータ15およびラインLED13が利用される。そして、基準デバイスとして、ラインLED11が利用される。この場合には、例えば、図11に示すように、スピーカ14から警告音が出力される。また、バイブレータ15が振動する。さらにラインLED13は、矢印AL3で示すように、光LL2がラインLED13の後端から前端まで移動するように発光する。そして、光LL2がラインLED13の前端に到達すると、ラインLED11は、矢印AL4で示すように、光LL3がラインLED11の左端から右端まで移動するように発光する。なお、運転者から見て、物標がラインLED11の端部とは異なる位置に存在する場合には、ラインLED11の光は必ずしも端部まで移動しなくてもよい(すなわち、物標の付近で光の位置を止めてよい)。また、HUD表示領域HRに情報が表示される場合は、物標の位置でなくHUD表示領域HRへ視線を誘導するようにしてもよい。
次に、制御装置16のCPU21が実行する認識判定処理の手順を説明する。認識判定処理は、制御装置16の動作中において繰り返し実行される処理である。
認識判定処理が実行されると、CPU21は、図12に示すように、まずS410にて、RAM23に設けられた物標指示値nを1に設定する。次にCPU21は、S420にて、物標指示値nが、レーダ装置2が現時点で検出している物標の全数を示す物標数NUMより大きいか否かを判断する。ここで、物標指示値nが物標数NUMより大きい場合には、CPU21は、認識判定処理を終了する。
一方、物標指示値nが物標数NUM以下である場合には、CPU21は、S430にて、DSM3の検出結果に基づいて、運転者が第n物標を見ているか否かを判断する。ここで、運転者が第n物標を見ている場合には、CPU21は、S440にて、「運転者は第n物標を認識している」と判定し、S480に移行する。
一方、運転者が第n物標を見ていない場合には、CPU21は、S450にて、運転者が第n物標を見てから予め設定された認識判定時間J2(本実施形態では、例えば5秒)が経過したか否かを判断する。
ここで、認識判定時間J2が経過した場合には、CPU21は、S470に移行する。一方、認識判定時間J2が経過していない場合には、CPU21は、S460にて、運転者が第n物標を見ていない間に第n物標の行動が変化したか否かを判断する。具体的には、CPU21は、物標の移動方向、物標と自車両との相対位置、および、物標の速度の少なくとも一つが変化した場合に、物標の行動が変化したと判断する。
物標の移動方向の変化としては、例えば図13に示すように、自車両MCの進行方向に沿って歩いている歩行者PD1が道路の横断を開始した場合が挙げられる。ここで、横断前における歩行者PD1の移動ベクトルV0の車幅方向成分をV0xとし、横断時における歩行者PD1の移動ベクトルV1の車幅方向成分をV1xとする。CPU21は、(V1x-V0x)が予め設定された第1変化判定値より大きくなった場合に、物標の行動が変化したと判断する。
また、物標の移動方向の変化としては、例えば図14に示すように、自車両MCの隣接車線を走行している前方車両FCが、自車両MCの走行車線に割り込んでくる場合が挙げられる。ここで、割り込み前における前方車両FCの移動ベクトルV2の車幅方向成分をV2xとし、割り込み時における前方車両FCの移動ベクトルの車幅方向成分をV3xとする。CPU21は、(V3x-V2x)が予め設定された第2変化判定値より大きくなった場合に、物標の行動が変化したと判断する。
また、物標の移動方向の変化としては、自車両と同一車線にいた後方車両が、隣接車線に移動し、自車両に接近してくる場合が挙げられる。
物標の速度の変化としては、例えば図15に示すように、自車両MCと同一車線を走行している前方車両FCが減速する場合が挙げられる。ここで、減速前における前方車両FCの移動ベクトルV4の進行方向成分をV4yとし、減速時における前方車両FCの移動ベクトルV5の進行方向成分をV5yとする。CPU21は、(V5y-V4y)が予め設定された第3変化判定値より大きくなった場合に、物標の行動が変化したと判断する。
また、物標の速度の変化としては、自車両の後側方に存在する車両が加速して自車両に接近してくる場合が挙げられる。この場合には、CPU21は、前方車両が減速する場合と同様に、移動ベクトルの進行方向成分の差分により、物標の行動が変化したか否かを判断する。
また、物標の速度の変化としては、出会頭で側方車が加速してくる場合、および、自車両付近の歩行者が急に走り出す場合が挙げられる。この場合には、CPU21は、移動ベクトルの車幅方向成分の差分により、物標の行動が変化したか否かを判断する。
そして、S460にて、第n物標の行動が変化していないと判断した場合には、CPU21は、図12に示すように、S440に移行する。一方、第n物標の行動が変化したと判断した場合には、CPU21は、S470に移行する。
そして470に移行すると、CPU21は、「運転者は第n物標を認識していない」と判定し、S480に移行する。そしてS480に移行すると、CPU21は、物標指示値nをインクリメント(すなわち、1加算)して、S420に移行する。
次に、情報提示装置1による情報提示の具体例を説明する。
図16に示すように、まず、自車両MCの進行方向に沿って自車両MCの左側を歩いている歩行者PD2を自車両MCの運転者が視認しているとする。図16では、自車両MCの運転者が歩行者PD2を視認していることを、注視範囲WR1内に歩行者PD2が含まれていることにより示している。
その後、自車両MCの運転者が視線を移動させる。図16では、自車両MCの運転者が視線を移動させたことを、注視範囲WR2により示している。これにより、自車両MCの運転者が歩行者PD2を視認していない状態となる。
そして、その直後に、歩行者PD2が道路の横断を開始したとする。移動ベクトルV11は、歩行者PD2が道路の横断を開始したことを示している。また、自車両MCの運転者が歩行者PD2を視認していないことを、注視範囲WR3内に歩行者PD2が含まれてないことにより示している。
この場合に、図17に示すように、スピーカ14から警告音が出力される。また、バイブレータ15が振動する。また、HUD表示領域HRに、歩行者が接近していることを示す警告画像AG1が表示される。さらに、ラインLED11は、矢印AL11で示すように、光LL11がラインLED11の左端からHUD表示領域HRの直下の領域まで移動するように発光する。
次に図18に示すように、まず、自車両MCと同一車線を後方車両BCが走行しているとする。図18では、自車両MCの運転者が後方車両BCを視認していることを、注視範囲WR4内に後方車両BCが含まれていることにより示している。
その後、自車両MCの運転者が視線を移動させる。図18では、自車両MCの運転者が視線を移動させたことを、注視範囲WR5により示している。これにより、自車両MCの運転者が後方車両BCを視認していない状態となる。
そして、その直後に、後方車両BCが自車両MCの追い越しを開始した状況で、自車両MCが車線変更をしようとしているとする。矢印AL12は、後方車両BCが自車両MCの追い越しを開始したことを示している。矢印AL13は、自車両MCが車線変更をしようとしていることを示している。また、自車両MCの運転者が後方車両BCを視認していないことを、注視範囲WR6内に後方車両BCが含まれてないことにより示している。この場合には、図9に示すように、HUD表示領域HRに右後方接近画像が表示され、右側サイドミラーSM1の鏡面に右後方接近画像が表示され、スピーカ14から警告音が出力され、バイブレータ15が振動する。
このように構成された情報提示装置1は、車両に搭載され、レーダ装置2と、DSM3と、制御装置16とを備える。
レーダ装置2は、自車両の周辺に存在し、且つ、自車両に対して危険となる可能性がある車外リスク対象物(例えば、車両および歩行者)を検出する。DSM3は、自車両の運転者の視線方向を検出する。
制御装置16は、レーダ装置2による検出結果と、DSM3による検出結果とに基づいて、運転者が車外リスク対象物を認識しているか否かを判断する。
制御装置16は、車外リスク対象物に関する車外リスク情報を、HUD5、LEDインジケータ8,9,10、ラインLED11,12,13、スピーカ14およびバイブレータ15によって、運転者に対して提示する。そして制御装置16は、車外リスク情報を運転者に対して提示する提示態様を、運転者が車外リスク対象物を認識している場合と、運転者が車外リスク対象物を認識していない場合とで変化させる。
具体的には、制御装置16は、運転者が車外リスク対象物を認識している場合には、例えば、リスク方向の近くに配置されている表示デバイスに車外リスク情報を提示させる。このような車外リスク情報の提示は、補助的な提示である。
一方、運転者が車外リスク対象物を認識していない場合には、制御装置16は、例えば、以下の四つの提示を実行する。一つ目の提示は、スピーカ14による警告音の出力である。二つ目の提示は、バイブレータ15による振動の発生である。三つ目の提示は、運転者の注視方向の近くに配置されている表示デバイスによるリスク方向を表す情報の表示である。四つ目の提示は、リスク方向の近くに配置されている表示デバイスによる注意喚起の表示である。このような車外リスク情報の提示は、車外リスク対象物が存在する方向を運転者が認識可能となるようにするための提示である。
このように情報提示装置1は、車外リスク情報の提示態様を、運転者が車外リスク対象物を認識しているか否かに応じて変化させる。これにより、情報提示装置1は、運転者が車外リスク対象物を認識していない場合には、車外リスク情報を強調して提示し、運転者が車外リスク対象物を認識している場合には、車外リスク情報を強調しないで提示するようにすることができる。すなわち、情報提示装置1は、運転者が車外リスク対象物を認識していない場合には、運転者が車外リスク対象物を認識できるように車外リスク情報を提示し、運転者が車外リスク対象物を認識している場合には、運転者が煩わしいと感じないように車外リスク情報を提示することができる。
これにより、情報提示装置1は、運転者が車外リスク対象物を認識できるようにするという機能を損なうことなく、運転者が煩わしいと感じてしまう事態の発生を抑制して、車外リスク情報を提示することができる。
また制御装置16は、運転者が車外リスク対象物を認識している場合には、リスク方向に対して最も近くに配置された表示デバイスに車外リスク情報を提示させ、運転者が車外リスク対象物を認識していない場合には、少なくとも運転者が認識可能な方向に配置された表示デバイスに車外リスク情報を提示させる。これにより、情報提示装置1は、運転者が車外リスク対象物を認識している場合において、運転者の視線方向に車外リスク情報が提示される頻度を低減し、運転者が煩わしいと感じてしまう事態の発生を抑制することができる。また情報提示装置1は、運転者が車外リスク対象物を認識していない場合において、車外リスク対象物の存在を運転者に認識させ易くすることができる。
また制御装置16は、リスク方向と、運転者の注視方向とに基づいて、車外リスク情報を提示する提示位置と、車外リスク情報の提示態様とを決定し、決定した提示位置および提示態様で車外リスク情報を提示する。例えば、制御装置16は、リスク方向が正面前方であり、運転者の注視方向が正面前方である場合には、HUD5を利用して情報提示を行う。また制御装置16は、リスク方向が右後側方であり、運転者の注視方向が正面前方であるときには、LEDインジケータ8、スピーカ14、バイブレータ15およびHUD5を利用して情報提示を行う。このように、制御装置16は、リスク方向と運転者の注視方向とに基づいて、提示位置および提示態様を変更して情報提示を行う。
また制御装置16は、運転者が車外リスク対象物を認識していない場合には、運転者の視線方向を、車外リスク対象物が存在する方向へ誘導する誘導情報を提示する。例えば、制御装置16は、リスク方向が右前側方であり、運転者の注視方向が左後側方であるときに、光がラインLED13の後端から前端まで移動するようにラインLED13を発光させ、更に、光がラインLED11の左端から右端まで移動するようにラインLED11を発光させる。これは、運転者の視線方向から、車外リスク対象物が存在する方向へ向かって光が移動する表示である。これにより、情報提示装置1は、車外リスク対象物が存在する方向を運転者に認識させ易くすることができる。
また制御装置16は、運転者が車外リスク対象物を認識していない状態から、運転者が車外リスク対象物を認識している状態に変化した場合に、車外リスク対象物が存在する方向を運転者が認識可能となるように車外リスク情報を提示する提示態様から、補助的に車外リスク情報を提示する提示態様に変更する。例えば、制御装置16は、運転者が車外リスク対象物を認識していない状態では、第6提示指示を実行し、運転者が車外リスク対象物を認識している状態に変化すると、第5提示指示を実行する。これにより、情報提示装置1は、運転者が車外リスク対象物を認識しているにも関わらず、車外リスク対象物を認識させるための情報提示が行われるという事態の発生を抑制することができる。このため、情報提示装置1は、運転者が煩わしいと感じてしまう事態の発生を更に抑制することができる。
また、運転者が車外リスク対象物を見ている状態から、運転者が車外リスク対象物を見ていない状態に変化した場合に、運転者は、車外リスク対象物の数秒先の状況をイメージしている。このため、瞬間的な視線方向に基づいて、運転者が車外リスク対象物を認識していないと判断されると、車外リスク対象物の認識の判断結果と、運転者の感覚との間で不整合が生じて、情報提示装置1による情報提示を運転者が煩わしいと感じてしまう恐れがある。
これに対し、制御装置16は、運転者が車外リスク対象物を見ている状態から、運転者が車外リスク対象物を見ていない状態に変化した後において、車外リスク対象物の行動が変化した場合に、運転者が車外リスク対象物を認識していないと判断する。これにより、情報提示装置1は、運転者が車外リスク対象物を見ていない状態において運転者が車外リスク対象物を認識しているにも関わらず、運転者が車外リスク対象物を認識していないと判断してしまう事態の発生を抑制することができる。すなわち、情報提示装置1は、車外リスク対象物の認識の判断結果と、運転者の感覚との間で不整合が生じるのを抑制することができる。これにより、情報提示装置1は、情報提示装置1による情報提示を運転者が煩わしいと感じてしまう事態の発生を更に抑制することができる。
以上説明した実施形態において、レーダ装置2は車外リスク検出部に相当し、DSM3は視線検出部に相当し、S410~S480は認識判断部および認識判断ステップとしての処理に相当し、S10~S110,S210~S290は情報提示部および情報提示ステップとしての処理に相当する。
また、リスク方向の近くに配置されている表示デバイスは第1提示機に相当し、運転者の注視方向の近くに配置されている表示デバイスは第2提示機に相当する。
(第2実施形態)
以下に本開示の第2実施形態を図面とともに説明する。なお第2実施形態では、第1実施形態と異なる部分を説明する。共通する構成については同一の符号を付す。
第2実施形態の情報提示装置1は、認識判定処理が変更された点が第1実施形態と異なる。
第2実施形態の認識判定処理が実行されると、CPU21は、図19に示すように、まずS610にて、RAM23に設けられた物標指示値nを1に設定する。次にCPU21は、S620にて、物標指示値nが、レーダ装置2が現時点で検出している物標の全数を示す物標数NUMより大きいか否かを判断する。ここで、物標指示値nが物標数NUMより大きい場合には、CPU21は、認識判定処理を終了する。
一方、物標指示値nが物標数NUM以下である場合には、CPU21は、S630にて、DSM3の検出結果に基づいて、運転者が第n物標を見ているか否かを判断する。ここで、運転者が第n物標を見ている場合には、CPU21は、S640にて、後述する減少率を予め設定された第1設定値(本実施形態では、1[buf/s])に設定し、S670に移行する。
一方、運転者が第n物標を見ていない場合には、CPU21は、S650にて、S460と同様にして、運転者が第n物標を見ていない間に第n物標の行動が変化したか否かを判断する。ここで、第n物標の行動が変化していない場合には、CPU21は、S670に移行する。一方、第n物標の行動が変化した場合には、CPU21は、S660にて、減少率を、第1設定値より大きくなるように設定された第2設定値(本実施形態では、2[buf/s])に設定し、S670に移行する。
そしてS670に移行すると、CPU21は、RAM23に設けられた第nアテンションバッファBuff_n(以下、第nバッファBuff_n)を算出する。
ここで、第nバッファBuff_nの算出方法を、図20のグラフGR1を用いて説明する。図20に示すように、グラフGR1は、横軸を時刻、縦軸を第nバッファBuff_nとしたグラフである。
グラフGR1では、運転者が第n物標を視認しているのは、時刻t0~t1,t2~t4,t5~t7,t9~t12である。また、運転者が第n物標を視認していないのは、時刻t1~t2,t4~t5,t7~t9である。また、運転者が速度計またはミラーを視認しているのは、時刻t12~t14である。
まず、時刻t0において、第nバッファBuff_n=2.0[s]であるとする。そして、時刻t0~t1では運転者が第n物標を視認しており、且つ、第nバッファBuff_nの上限値が2.0[s]である。このため、時刻t0~t1では、第nバッファBuff_n=2.0である。
そして、時刻t1~t2では、運転者が第n物標を視認していない。このため、予め設定された減少率(本実施形態では、1[buf/s]または2[buf/s])で、第nバッファBuff_nが減少する。
時刻t2で、再び運転者が第n物標を視認すると、第nバッファBuff_nの減少が中断する。そして第nバッファBuff_nは、予め設定された遅延時間(本実施形態では、0.1s)だけ、時刻t2での値を保持する。時刻t2~t4では、運転者が第n物標を視認している。このため、時刻t3で遅延時間が経過すると、第nバッファBuff_nは、予め設定された増加率(本実施形態では、1[buf/s])で増加する。
時刻t4で、再び運転者が第n物標を視認しなくなり、運転者が第n物標を視認していない状態が時刻t5まで継続する。このため、時刻t4~t5では、予め設定された減少率で、第nバッファBuff_nが減少する。
時刻t5で、再び運転者が第n物標を視認すると、第nバッファBuff_nの減少が中断する。そして第nバッファBuff_nは、予め設定された遅延時間だけ、時刻t5での値を保持する。時刻t5~t7では、運転者が第n物標を視認している。このため、時刻t6で遅延時間が経過すると、第nバッファBuff_nは、予め設定された増加率で増加する。
時刻t7で、再び運転者が第n物標を視認しなくなり、運転者が第n物標を視認していない状態が時刻t9まで継続する。このため、予め設定された減少率で、第nバッファBuff_nが減少する。そして時刻t8で、第nバッファBuff_nが0[s]になると、第nバッファBuff_nは時刻t9まで0[s]を保持する。
時刻t9で、再び運転者が第n物標を視認すると、第nバッファBuff_nは、予め設定された遅延時間だけ、時刻t9での値を保持する。時刻t9~t12では、運転者が第n物標を視認している。このため、時刻t10で遅延時間が経過すると、第nバッファBuff_nは、予め設定された増加率で増加する。
そして時刻t11で、第nバッファBuff_nが2.0[s]になると、第nバッファBuff_nは時刻t12まで2.0[s]を保持する。
時刻t12で、運転者が速度計またはミラーを視認し始めると、第nバッファBuff_nは、予め設定された待機時間(本実施形態では、1.0s)だけ、時刻t12での値を保持する。時刻t12~t14では、運転者が速度計またはミラーを視認している。このため、時刻t13で待機時間が経過すると、第nバッファBuff_nは、予め設定された減少率で減少する。
CPU21は、上述のように、運転者が第n物標を視認しているか否かと、運転者が速度計またはミラーを視認しているか否かとに基づいて、第nバッファBuff_nを増加させたり減少させたりして、第nバッファBuff_nを算出する。
そして、S670の処理が終了すると、図19に示すように、CPU21は、S680にて、第nバッファBuff_nが0より大きいか否かを判断する。ここで、第nバッファBuff_nが0より大きい場合には、CPU21は、S690にて、「運転者は第n物標を認識している」と判定し、S710に移行する。一方、第nバッファBuff_nが0以下である場合には、CPU21は、S700にて、CPU21は、「運転者は第n物標を認識していない」と判定し、S710に移行する。
そしてS710に移行すると、CPU21は、物標指示値nをインクリメントして、S620に移行する。
このように情報提示装置1では、制御装置16は、運転者が車外リスク対象物を見ている場合には、第nバッファBuff_nの値を予め設定された増加率で増加させ、運転者が車外リスク対象物を見ていない場合には、第nバッファBuff_nの値を予め設定された減少率で減少させることにより、第nバッファBuff_nの値を算出する。そして制御装置16は、第nバッファBuff_nの値に基づいて、運転者が車外リスク対象物を認識しているか否かを判断する。
さらに制御装置16は、運転者が車外リスク対象物を見ている状態から、運転者が車外リスク対象物を見ていない状態に変化した後において、車外リスク対象物の行動が変化した場合に、減少率を増加させる。
これにより、情報提示装置1は、運転者が車外リスク対象物を見ている状態から、運転者が車外リスク対象物を見ていない状態に変化した後において、車外リスク対象物の行動が変化した場合に、運転者が車外リスク対象物を認識していないと判断するようにすることができる。
このため、情報提示装置1は、運転者が車外リスク対象物を見ていない状態において運転者が車外リスク対象物を認識しているにも関わらず、運転者が車外リスク対象物を認識していないと判断してしまう事態の発生を抑制することができる。すなわち、情報提示装置1は、車外リスク対象物の認識の判断結果と、運転者の感覚との間で不整合が生じるのを抑制することができる。これにより、情報提示装置1は、情報提示装置1による情報提示を運転者が煩わしいと感じてしまう事態の発生を更に抑制することができる。
以上説明した実施形態において、S610~S710は認識判断部および認識判断ステップとしての処理に相当する。
以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、種々変形して実施することができる。
[変形例1]
例えば上記実施形態では、補助デバイスとして、HUD5、LEDインジケータ8,9,10、ラインLED11,12,13、スピーカ14およびバイブレータ15を利用する形態を示した。しかし、運転者の注視方向がCID6、MID7である場合には、補助デバイスとして、CID6、MID7を利用するようにしてもよい。また、運転者の注視方向が運転者のスマートフォンである場合には、運転者のスマートフォンに車外リスク情報を提示させるようにしてもよい。また、運転者の注視方向が同乗者である場合には、音および振動の少なくとも一方を発生させるようにしてもよい。
[変形例2]
上記実施形態では、図11に示すように、リスク方向が右前側方であり、運転者の注視方向が左後側方であるときに、スピーカ14から警告音を出力する形態を示した。しかし、スピーカ14がステレオスピーカである場合には、運転者に対して右側に配置されているスピーカから警告音を出力するようにしてもよい。これにより、リスク方向が右側であることを運転者に認識させ易くすることができる。
[変形例3]
上記実施形態では、運転者が車外リスク対象物を認識していない状態から、運転者が車外リスク対象物を認識している状態に変化した場合に、補助的に車外リスク情報を提示する提示態様に変更する形態を示した。しかし、運転者が車外リスク対象物を認識していない状態が継続した場合には、情報提示を強調するようにしてもよい。例えば、表示はそのままで、音を再度鳴らすようにしてもよい。
[変形例4]
上記実施形態では、図7に記載の組み合わせで基本デバイスと補助デバイスとを組み合わせる形態を示したが、その限りではなく、デバイスの組み合わせを適宜変更したり、デバイスを削除したり、デバイスを追加したりしてもよい。
本開示に記載の制御装置16及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御装置16及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御装置16及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。制御装置16に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
上述した情報提示装置1の他、当該情報提示装置1を構成要素とするシステム、当該情報提示装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、情報提示方法など、種々の形態で本開示を実現することもできる。
1…情報提示装置、2…レーダ装置、3…DSM、16…制御装置

Claims (9)

  1. 車両に搭載される情報提示装置(1)であって、
    前記車両の周辺に存在し、且つ、前記車両に対して危険となる可能性がある車外リスク対象物を検出するように構成された車外リスク検出部(2)と、
    前記車両の運転者の視線方向を検出するように構成された視線検出部(3)と、
    前記車外リスク検出部による検出結果と、前記視線検出部による検出結果とに基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断するように構成された認識判断部(S410~S480,S610~S710)と、
    前記車外リスク対象物に関する車外リスク情報を前記運転者に対して提示するように構成された情報提示部(S10~S110,S210~S290)とを備え、
    前記情報提示部は、前記認識判断部による判断結果に基づき、前記車外リスク情報を前記運転者に対して提示する提示態様を、前記運転者が前記車外リスク対象物を認識している場合と、前記運転者が前記車外リスク対象物を認識していない場合とで変化させ、
    前記認識判断部(S610~S710)は、前記運転者が前記車外リスク対象物を見ている場合には、アテンションバッファの値を予め設定された増加率で増加させ、前記運転者が前記車外リスク対象物を見ていない場合には、前記アテンションバッファの値を予め設定された減少率で減少させることにより、前記アテンションバッファの値を算出し、前記アテンションバッファの値に基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断し、
    前記認識判断部は、前記運転者が前記車外リスク対象物を見ている状態から、前記運転者が前記車外リスク対象物を見ていない状態に変化した後において、前記車外リスク対象物の行動が変化した場合に、前記減少率を増加させる情報提示装置。
  2. 請求項1に記載の情報提示装置であって、
    前記情報提示部は、前記運転者が前記車外リスク対象物を認識している場合には、補助的に前記車外リスク情報を提示し、前記運転者が前記車外リスク対象物を認識していない場合には、前記車外リスク対象物が存在する方向を前記運転者が認識可能となるように前記車外リスク情報を提示する情報提示装置。
  3. 請求項1に記載の情報提示装置であって、
    前記情報提示部は、前記運転者が前記車外リスク対象物を認識している場合には、前記車外リスク対象物が存在する方向に対して最も近くに配置された第1提示機に前記車外リスク情報を提示させ、前記運転者が前記車外リスク対象物を認識していない場合には、少なくとも前記運転者が認識可能な方向に配置された第2提示機に前記車外リスク情報を提示させる情報提示装置。
  4. 請求項1に記載の情報提示装置であって、
    前記情報提示部は、前記車外リスク対象物が存在する方向と、前記運転者の前記視線方向とに基づいて、前記車外リスク情報を提示する提示位置と、前記提示態様とを決定し、決定した前記提示位置および前記提示態様で前記車外リスク情報を提示する情報提示装置。
  5. 請求項1~請求項4の何れか1項に記載の情報提示装置であって、
    前記情報提示部は、前記運転者が前記車外リスク対象物を認識していない場合には、前記車外リスク情報として、前記運転者の前記視線方向を、前記車外リスク対象物が存在する方向へ誘導する誘導情報を提示する情報提示装置。
  6. 請求項5に記載の情報提示装置であって、
    前記誘導情報は、前記運転者の前記視線方向から、前記車外リスク対象物が存在する方向へ向かって光が移動する表示である情報提示装置。
  7. 請求項2に記載の情報提示装置であって、
    前記情報提示部は、前記運転者が前記車外リスク対象物を認識していない状態から、前記運転者が前記車外リスク対象物を認識している状態に変化した場合に、前記車外リスク対象物が存在する方向を前記運転者が認識可能となるように前記車外リスク情報を提示する前記提示態様から、補助的に前記車外リスク情報を提示する前記提示態様に変更する情報提示装置。
  8. 車両の運転者に情報を提示する情報提示装置が実行する情報提示方法であって、
    前記情報提示装置が、前記車両の周辺に存在し、且つ、前記車両に対して危険となる可能性がある車外リスク対象物を検出するように構成された車外リスク検出部(2)による検出結果と、前記運転者の視線方向を検出するように構成された視線検出部(3)による検出結果とに基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断する認識判断ステップ(S410~S480,S610~S710)と、
    前記情報提示装置が、前記車外リスク対象物に関する車外リスク情報を前記運転者に対して提示する情報提示ステップ(S10~S110,S210~S290)とを備え、
    前記情報提示ステップは、前記認識判断ステップによる判断結果に基づき、前記車外リスク情報を前記運転者に対して提示する提示態様を、前記運転者が前記車外リスク対象物を認識している場合と、前記運転者が前記車外リスク対象物を認識していない場合とで変化させ、
    前記認識判断ステップ(S610~S710)は、前記運転者が前記車外リスク対象物を見ている場合には、アテンションバッファの値を予め設定された増加率で増加させ、前記運転者が前記車外リスク対象物を見ていない場合には、前記アテンションバッファの値を予め設定された減少率で減少させることにより、前記アテンションバッファの値を算出し、前記アテンションバッファの値に基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断し、
    前記認識判断ステップは、前記運転者が前記車外リスク対象物を見ている状態から、前記運転者が前記車外リスク対象物を見ていない状態に変化した後において、前記車外リスク対象物の行動が変化した場合に、前記減少率を増加させる情報提示方法。
  9. 車両の運転者に情報を提示するために、コンピュータを、
    前記車両の周辺に存在し、且つ、前記車両に対して危険となる可能性がある車外リスク対象物を検出するように構成された車外リスク検出部(2)による検出結果と、前記運転者の視線方向を検出するように構成された視線検出部(3)による検出結果とに基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断するように構成され、前記運転者が前記車外リスク対象物を見ている場合には、アテンションバッファの値を予め設定された増加率で増加させ、前記運転者が前記車外リスク対象物を見ていない場合には、前記アテンションバッファの値を予め設定された減少率で減少させることにより、前記アテンションバッファの値を算出し、前記アテンションバッファの値に基づいて、前記運転者が前記車外リスク対象物を認識しているか否かを判断し、前記運転者が前記車外リスク対象物を見ている状態から、前記運転者が前記車外リスク対象物を見ていない状態に変化した後において、前記車外リスク対象物の行動が変化した場合に、前記減少率を増加させる認識判断部(S610~S710)、及び、
    前記車外リスク対象物に関する車外リスク情報を前記運転者に対して提示するように構成され、前記認識判断部による判断結果に基づき、前記車外リスク情報を前記運転者に対して提示する提示態様を、前記運転者が前記車外リスク対象物を認識している場合と、前記運転者が前記車外リスク対象物を認識していない場合とで変化させる情報提示部(S10~S110,S210~S290)
    として機能させるための情報提示プログラム。
JP2019101357A 2019-05-30 2019-05-30 情報提示装置、情報提示方法および情報提示プログラム Active JP7226104B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019101357A JP7226104B2 (ja) 2019-05-30 2019-05-30 情報提示装置、情報提示方法および情報提示プログラム
PCT/JP2020/019127 WO2020241259A1 (ja) 2019-05-30 2020-05-13 情報提示装置、情報提示方法および情報提示プログラム
US17/535,086 US11752939B2 (en) 2019-05-30 2021-11-24 Information presentation device, information presentation method and program product for presenting information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019101357A JP7226104B2 (ja) 2019-05-30 2019-05-30 情報提示装置、情報提示方法および情報提示プログラム

Publications (3)

Publication Number Publication Date
JP2020194499A JP2020194499A (ja) 2020-12-03
JP2020194499A5 JP2020194499A5 (ja) 2021-05-06
JP7226104B2 true JP7226104B2 (ja) 2023-02-21

Family

ID=73546456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019101357A Active JP7226104B2 (ja) 2019-05-30 2019-05-30 情報提示装置、情報提示方法および情報提示プログラム

Country Status (3)

Country Link
US (1) US11752939B2 (ja)
JP (1) JP7226104B2 (ja)
WO (1) WO2020241259A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139951A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 注意喚起システム、及び注意喚起方法
US11651692B2 (en) * 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator
WO2023100741A1 (ja) * 2021-12-01 2023-06-08 本田技研工業株式会社 車両並びにその制御装置及び制御方法
JP2023151187A (ja) * 2022-03-31 2023-10-16 トヨタ自動車株式会社 発光制御装置、発光装置、車両、発光制御方法及び発光制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016067545A1 (ja) 2014-10-28 2016-05-06 株式会社デンソー 注視誘導装置
JP2016197407A (ja) 2015-04-03 2016-11-24 株式会社デンソー 情報提示装置
JP2017097687A (ja) 2015-11-26 2017-06-01 矢崎総業株式会社 車両用情報提示装置
JP2018022349A (ja) 2016-08-03 2018-02-08 パナソニックIpマネジメント株式会社 情報提示装置
JP2018173716A (ja) 2017-03-31 2018-11-08 株式会社Subaru 情報出力装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2010126135A (ja) 2008-12-01 2010-06-10 Toyota Motor Corp 視線誘導装置
JP5278292B2 (ja) * 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
JP5925163B2 (ja) 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
CN107298021B (zh) * 2016-04-15 2022-03-08 松下电器(美国)知识产权公司 信息提示控制装置、自动驾驶车及其驾驶辅助系统
JP7155122B2 (ja) * 2017-07-21 2022-10-18 ソニーセミコンダクタソリューションズ株式会社 車両制御装置及び車両制御方法
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016067545A1 (ja) 2014-10-28 2016-05-06 株式会社デンソー 注視誘導装置
JP2016197407A (ja) 2015-04-03 2016-11-24 株式会社デンソー 情報提示装置
JP2017097687A (ja) 2015-11-26 2017-06-01 矢崎総業株式会社 車両用情報提示装置
JP2018022349A (ja) 2016-08-03 2018-02-08 パナソニックIpマネジメント株式会社 情報提示装置
JP2018173716A (ja) 2017-03-31 2018-11-08 株式会社Subaru 情報出力装置

Also Published As

Publication number Publication date
US11752939B2 (en) 2023-09-12
US20220080888A1 (en) 2022-03-17
WO2020241259A1 (ja) 2020-12-03
JP2020194499A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP7226104B2 (ja) 情報提示装置、情報提示方法および情報提示プログラム
JP6447468B2 (ja) 運転支援装置
JP6611085B2 (ja) 車両制御装置
JP2017178267A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
US20220340166A1 (en) Presentation control device, presentation control program, and driving control device
JP6500820B2 (ja) 車載装置
JP2017054478A (ja) 車両用表示装置及び車両用表示方法
CN111461096A (zh) 车辆用显示装置
WO2019230270A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
JP2023155282A (ja) 提示制御装置及び提示制御プログラム
EP3173278B1 (en) Vehicle display control device
US20230373309A1 (en) Display control device
JP2019011055A (ja) 運転支援装置
JP2023138849A (ja) 提示制御装置及び提示制御プログラム
JP2023112053A (ja) 画像処理装置
JP7338653B2 (ja) 提示制御装置及び提示制御プログラム
JP7352990B2 (ja) 運転用情報処理装置および運転用情報処理プログラム
JP6604368B2 (ja) 車両制御装置
JP2018165762A (ja) 表示制御方法およびそれを利用した表示制御装置、車両、プログラム、表示制御システム
JP2019108020A (ja) 自動運転車両に搭載される制御装置および方法
WO2017026223A1 (ja) 表示システム
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
WO2017042990A1 (ja) 車両用表示装置及び車両用表示方法
WO2023026717A1 (ja) 自動運転制御装置、及び自動運転制御プログラム
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151