JP6369487B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP6369487B2
JP6369487B2 JP2016032325A JP2016032325A JP6369487B2 JP 6369487 B2 JP6369487 B2 JP 6369487B2 JP 2016032325 A JP2016032325 A JP 2016032325A JP 2016032325 A JP2016032325 A JP 2016032325A JP 6369487 B2 JP6369487 B2 JP 6369487B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
display
host vehicle
blinking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016032325A
Other languages
English (en)
Other versions
JP2017151637A (ja
Inventor
木村 賢治
賢治 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016032325A priority Critical patent/JP6369487B2/ja
Priority to US15/436,059 priority patent/US10086757B2/en
Publication of JP2017151637A publication Critical patent/JP2017151637A/ja
Application granted granted Critical
Publication of JP6369487B2 publication Critical patent/JP6369487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Description

本発明は、自車両のフロントガラスに表示を投影する表示装置に関する。
従来、自車両のフロントガラスに表示を投影する表示装置に関する技術文献として、特開2015−138383号公報が知られている。この公報には、運転者の運転意識低下を避けて覚醒状態を維持するため、運転者の有効視野内の左右の位置に視覚刺激を与える表示を一定周期で示す装置が記載されている。
特開2015−138383号公報
しかしながら、前述した従来の装置では、自車両又は運転者の状態に関わらず、有効視野内の左右の位置に一定周期で表示を繰り返すため、運転者に煩わしさを感じさせるおそれがある。このため、運転者の運転意識低下を抑制するための表示について改善の余地があった。
そこで、本発明の一態様は、運転者の運転意識低下を抑制するための表示が運転者に煩わしさを感じさせることを低減できる表示装置を提供することを目的とする。
本発明の一態様は、自車両のフロントガラスに表示を投影する表示投影部を備えた表示装置であって、自車両の周辺に存在する他車両を認識する他車両認識部と、他車両認識部の認識結果に基づいて、自車両の前に割り込みを行う可能性のある割り込み候補車両が存在するか否かを判定する割り込み候補車両判定部と、割り込み候補車両判定部により割り込み候補車両が存在すると判定された場合、前回に割り込み候補車両が存在すると判定されたときからの経過時間である第1出現間隔を算出する出現間隔算出部と、割り込み候補車両判定部により割り込み候補車両が存在すると判定された場合、表示投影部によって、割り込み候補車両を自車両の運転者に注意喚起するための第1点滅表示をフロントガラスに投影させる表示制御部と、を備え、表示制御部は、第1出現間隔が第1閾値未満であるとき、第1出現間隔が第1閾値以上であるときと比べて、第1点滅表示の点滅回数を少なくし、第1出現間隔が第1閾値未満であるときの前記点滅回数は1回以上である
本発明の一態様に係る表示装置によれば、自車両の前に割り込みを行う可能性のある割り込み候補車両が存在すると判定された場合に第1点滅表示をフロントガラスに投影させることによって、割り込み候補車両を運転者に注意喚起して運転者の運転意識低下を抑制することができる。更に、この表示装置によれば、割り込み候補車両が存在すると判定された場合に第1点滅表示をフロントガラスに投影させることで、自車両の周辺環境に関わらず一定周期で点滅表示を投影する従来の場合と比べて、運転者に煩わしさを感じさせることを低減できる。しかも、この表示装置によれば、割り込み候補車両の第1出現間隔が第1閾値未満であるとき、第1出現間隔が第1閾値以上であるときと比べて第1点滅表示の点滅回数を少なくするので、割り込み候補車両が短い間隔で現れたときに第1点滅表示が運転者へ与える刺激を小さくすることができ、第1点滅表示が運転者に煩わしさを感じさせることを低減できる。
上記表示装置において、他車両認識部の認識結果に基づいて、自車両の前に減速度が減速閾値以上の先行車が存在するか否かを判定する先行車判定部を更に備え、出現間隔算出部は、先行車判定部により上記の先行車が存在すると判定された場合、前回に先行車が存在すると判定されたときからの経過時間に対応する第2出現間隔を算出し、表示制御部は、先行車判定部により上記の先行車が存在すると判定された場合、先行車を運転者に注意喚起するための第2点滅表示をフロントガラスに投影させ、第2出現間隔が第2閾値未満であるとき、第2出現間隔が第2閾値以上であるときと比べて、第2点滅表示の点滅回数を少なくしてもよい。
この表示装置によれば、自車両の前に減速度が減速閾値以上の先行車が存在すると判定された場合に第2点滅表示をフロントガラスに投影させることによって、先行車を運転者に注意喚起して運転者の運転意識低下を抑制することができる。更に、この表示装置によれば、上記先行車が存在すると判定された場合に第2点滅表示をフロントガラスに投影させることで、自車両の周辺環境に関わらず一定周期で点滅表示を投影する従来の場合と比べて、運転者に煩わしさを感じさせることを低減できる。しかも、この表示装置によれば、先行車の出現間隔が第2閾値未満であるとき、第2出現間隔が第2閾値以上であるときと比べて第2点滅表示の点滅回数を少なくするので、先行車の減速が頻発したときに第2点滅表示が運転者へ与える刺激を小さくすることができ、第2点滅表示が運転者に煩わしさを感じさせることを低減できる。
上記表示装置において、運転者を撮像するドライバモニタカメラと、ドライバモニタカメラの撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する運転者状態判定部と、を更に備え、表示制御部は、割り込み候補車両判定部により割り込み候補車両が存在すると判定された場合であって、運転者状態判定部により運転者が運転意識低下状態ではないと判定されたときには、運転者が運転意識低下状態であると判定されたときと比べて、第1点滅表示の点滅回数を少なくしてもよい。
この表示装置によれば、運転者が運転意識低下状態ではないと判定されたときに第1点滅表示の点滅回数を少なくするので、自車両の運転を意識している運転者に対して第1点滅表示が過剰な刺激を与えることが避けられ、第1点滅表示が運転者に煩わしさを感じさせることを低減できる。
上記表示装置において、運転者を撮像するドライバモニタカメラと、ドライバモニタカメラの撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する運転者状態判定部と、を更に備え、表示制御部は、先行車判定部により上記先行車が存在すると判定された場合であって、運転者状態判定部により運転者が運転意識低下状態ではないと判定されたときには、運転者が運転意識低下状態であると判定されたときと比べて、第2点滅表示の点滅回数を少なくしてもよい。
この表示装置によれば、運転者が運転意識低下状態ではないと判定されたときに第2点滅表示の点滅回数を少なくするので、自車両の運転を意識している運転者に対して第2点滅表示が過剰な刺激を与えることが避けられ、第2点滅表示が運転者に煩わしさを感じさせることを低減できる。
上記表示装置において、自車両の走行する走行車線の車線幅方向における自車両の横位置を認識する車両横位置認識部と、車両横位置認識部の認識した自車両の横位置に基づいて、走行車線の左右の白線の何れかに自車両が接近したか否かを判定するふらつき判定部と、を更に備え、表示制御部は、ふらつき判定部により左右の白線の何れかに自車両が接近したと判定された場合、自車両の接近した白線を運転者に注意喚起するための第3点滅表示をフロントガラスに投影させてもよい。
この表示装置によれば、自車両が左右にふらついて左右の白線の何れかに接近したと判定された場合に、第3点滅表示をフロントガラスに投影することによって、白線を運転者に注意喚起しつつ運転者の運転意識低下を抑制することができる。
本発明の一側面によれば、運転者の運転意識低下を避けるための表示が運転者に煩わしさを感じさせることを低減できる。
第1の実施形態に係る表示装置を示すブロック図である。 (a)フロントガラスに対する点滅表示の投影を説明するための図である。(b)運転者アイポイントから先行車の下端を見たときの俯角を説明するための図である。 フロントガラス上に投影する点滅表示を示す図である。 割り込み候補車両及び先行車を示す平面図である。 第1点滅表示の投影を説明するための図である。 (a)時間軸上における割り込み候補車両の判定結果を示す図である。(b)時間軸上における第1点滅表示の点滅回数の変化を示す図である。 (a)第1出現間隔と第1点滅表示の点滅回数の関係を示す図である。(b)第2出現間隔と第2点滅表示の点滅回数の関係を示す図である。 (a)運転者の顔横向き時間と点滅回数の関係を示す図である。(b)運転者の閉眼時間と点滅回数との関係を示す図である。(c)運転者の閉眼時間と点滅回数との関係の他の例を示す図である。 第1点滅表示の投影処理を示すフローチャートである。 第2点滅表示の投影処理を示すフローチャートである。 (a)第1点滅表示の点滅前の状況を示す図である。(b)第1点滅表示の点滅時の状況を示す図である。(c)第1点滅表示の点滅後の状態を示す図である。 運転者の眠気度と時間の関係を示すグラフである。 第2の実施形態に係る表示装置を示すブロック図である。 (a)自車両が左の白線に接近した場合における第3点滅表示を示す図である。(b)自車両が右の白線に接近した場合における第3点滅表示を示す図である。 第3点滅表示の投影処理を示すフローチャートである。 割り込み後の点滅表示を示す図である。 割り込み後の点滅表示の投影処理を示すフローチャートである。 (a)運転者の覚醒維持時間と点滅表示の頻度の関係を示すグラフである。(b)点滅表示と他車両の割込確率の関係を示すグラフである。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、説明において、同一の構成要素又は同一機能を有する構成要素には同一符号を用いて重複する説明を省略する。
[第1の実施形態]
図1は、第1の実施形態に係る表示装置100を示すブロック図である。表示装置100は、乗用車等の車両(以下、自車両と言う)に搭載され、自車両のフロントガラスに各種の表示を投影する装置である。各種の表示には、自車両の周囲に存在する他車両を運転者に注意喚起するための点滅表示が含まれる。
本実施形態における自車両は、自動運転が可能な車両である。自動運転とは、予め設定された目標ルートに沿って自車両を自動で走行させる車両制御である。自動運転では、運転者が運転操作を行う必要が無く、自車両が自動で走行する。目標ルートとは、自動運転において自車両が走行する地図上の経路である。
表示装置100は、自車両が自動運転中の場合に、運転者の運転意識(自車両の運転に関する意識)が低下するおそれがあることから、自車両のフロントガラスに点滅表示を投影して運転者に視覚刺激を与えることにより運転意識の低下を抑制する。また、表示装置100は、過剰な視覚刺激により運転者に煩わしさを感じさせることを抑制するため、自車両の走行環境(自車両の周囲の他車両の状況)に応じて点滅表示の点滅回数を変更する。
〈第1の実施形態に係る表示装置の構成〉
以下、第1の実施形態に係る表示装置100の構成について図面を参照して説明する。図1に示すように、表示装置100は、装置を統括的に制御するECU[ElectronicControl Unit]10を備えている。
ECU10は、CPU[Central Processing Unit]、ROM[ReadOnly Memory]、RAM[Random Access Memory]等からなる電子制御ユニットである。ECU10は、ステレオカメラ1、レーダセンサ2、ドライバモニタカメラ3、車速センサ4、自動運転ECU5、及び表示投影部6と接続されている。
ステレオカメラ1は、自車両の前方及び後方を撮像する撮像機器である。ステレオカメラ1は、両眼視差を再現するように配置された二つの撮像カメラを有している。二つの撮像カメラは、例えば、自車両のフロントガラスの裏側及びリアガラスの裏側に設けられている。ステレオカメラ1は、自車両の前後の撮像情報をECU10に送信する。ステレオカメラ1の撮像情報には、奥行き方向の情報も含まれる。なお、ステレオカメラ1に代えて単眼カメラを用いてもよい。ステレオカメラ1は、自車両の左右側方を撮像するように設けられていてもよい。
レーダセンサ2は、例えば、自車両の前端に設けられ、電波(又は光)を利用して自車両の前方(自車両の斜め前方も含む)の障害物を検出する。レーダセンサ2は、電波を自車両の前方に送信し、他車両等の障害物に反射した電波を受信することで障害物を検出する。レーダセンサ2は、検出した障害物に関する障害物情報をECU10に送信する。なお、レーダセンサ2は、自車両の左右側方の障害物を検出するように設けられていてもよい。
ドライバモニタカメラ3は、自車両のステアリングコラムのカバー上で運転者の正面の位置に設けられ、運転者の顔の撮像を行う(図2(a)参照)。図2(a)にドライバモニタカメラ3の撮像範囲Dpを示す。ドライバモニタカメラ3は、運転者を複数方向から撮像するため、複数個設けられていてもよい。ドライバモニタカメラ3は、運転者の撮像情報をECU10へ送信する。
車速センサ4は、自車両の車速を検出する検出器である。車速センサ4としては、例えば、自車両の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサ4は、検出した車速情報をECU10に送信する。
自動運転ECU5は、自車両を自動で走行させる自動運転を実行する。自動運転ECU5は、CPU、ROM、RAM、CAN通信回路等を有する電子制御ユニットである。自動運転ECU5は、地図情報を記憶する地図データベース、GPS[Global Positioning System]により自車両の地図上の位置を測位する測位部、自車両の走行状態を検出するための各種センサ、自車両を走行させるための各種アクチュエータと接続されている。
地図データベースの地図情報には、道路の位置情報(車線毎の位置情報)、道路形状の情報(例えばカーブ、直線部の種別、カーブの曲率等)、道路幅の情報(車線幅の情報)、道路の勾配の情報、道路のカント角の情報、及び道路における制限車速の情報が含まれる。各種センサには、自車両のヨーレートを検出するヨーレートセンサ、自車両の加速度を検出する加速度センサが含まれる。各種アクチュエータには、自車両の操舵角を制御する操舵アクチュエータ、自車両のブレーキシステムを制御するブレーキアクチュエータ、自車両のエンジン(又は電気自動車のモータ)を制御するエンジンアクチュエータが含まれる。
自動運転ECU5は、地図データベースの地図情報と測位部の測定した自車両の地図上の位置情報と予め設定された目的地とに基づいて、自車両の現在の位置から目的地に至る目標ルートを探索する。自動運転ECU5は、目標ルートに沿って自車両を走行させる走行計画を生成する。走行計画には、例えば、目標ルート上で所定距離ごとに設定された操舵目標値及び車速目標知が含まれる。自動運転ECU5は、周知の手法により走行計画を生成する。自動運転ECU5は、測位部の測定した自車両の地図上の位置情報に基づいて、走行計画に沿った自車両の自動運転を実行する。自動運転ECU5は、各種アクチュエータに制御信号を送信することで自車両を制御して自動運転を実行する。
表示投影部6は、自車両に搭載され、各種情報の表示をフロントガラスに投影するHUD[HeadUp Display]である。表示投影部6は、HUDとして周知の構成を採用することができる。表示投影部6は、例えば、自車両のダッシュボード内に埋め込まれた埋め込み式のHUDであってもよい。表示投影部6は、ECU10からの制御信号に基づいて、各種情報の表示をフロントガラスに投影する。
図2(a)は、フロントガラスに対する点滅表示の投影を説明するための図である。図2(a)に、ドライバモニタカメラ3、表示投影部6、運転者Dr、地面に相当するグランドラインG、運転者アイポイントEpの高さEh、運転者アイポイントEpを通り自車両の前後方向に延びる直線Hp、点滅表示P、運転者アイポイントEpと点滅表示Pの上端とを結ぶ直線Hu、直線Hpと直線Huのなす角θe、運転者アイポイントEpと自車両先端までの距離Lpを示す。運転者アイポイントEpは、例えば、通常の運転状態における運転者の目の位置を代表する仮想的な点(一つの点)である。運転者アイポイントEpは、例えば、自車両の車室において予め設定された位置に決められる。運転者アイポイントEpは、例えば、自車両の設計時又は自車両の出荷時に位置が決められている。図2(b)については後述する。
図3は、フロントガラス上に投影する点滅表示を示す図である。図3に、自車両のフロントガラスW、自車両の走行する走行車線(自車線)R1、走行車線R1の左側の白線L1、走行車線R1の右側の白線L2、走行車線R1の左側に隣接する隣接車線R2、隣接車線R2を走行する他車両(後述する割り込み候補車両に相当)Na、自車両の先行車Nb、表示外枠C1及び表示内枠C2、基準水平線D、他車両Naを運転者に注意喚起するための第1点滅表示Pa(点滅表示P)、先行車Nbを運転者に注意喚起するための第2点滅表示Pb(点滅表示P)を示す。第1点滅表示Pa及び第2点滅表示Pbは、フロントガラスWに投影される虚像である。図3について詳しくは後述する。
次に、ECU10の機能的構成について説明する。なお、ECU10の機能の一部は、自車両と通信可能な情報管理センター等の施設のコンピュータで実行されてもよく、自車両と通信可能な携帯情報端末で実行されてもよい。ECU10は、他車両認識部11、白線認識部12、車速判定部13、割り込み候補車両判定部14、先行車判定部15、出現間隔算出部16、運転者状態判定部17、及び表示制御部18を有している。
他車両認識部11は、ステレオカメラ1の撮像情報及び/又はレーダセンサ2の障害物情報に基づいて、自車両の周囲の他車両を認識する。他車両認識部11は、自車両に対する他車両の相対位置と、自車両に対する他車両の移動方向及び移動速度とを認識する。
白線認識部12は、ステレオカメラ1の撮像情報に基づいて、走行車線R1を形成する左右の白線L1、L2を認識する。白線認識部12は、ステレオカメラ1の撮像した撮像画像から、周知の画像処理手法によって白線認識を行う。なお、白線認識部12は、レーダセンサ2の障害物情報に基づいて、レーダセンサ2による光又は電波の反射データから白線L1、L2を認識してもよい。
車速判定部13は、車速センサ4の車速情報に基づいて、自車両の車速が車速閾値以上であるか否かを判定する。車速閾値は、予め設定された閾値(例えば30km/h)である。車速判定部13は、自車両が低速走行中又は停止中である場合に過剰な視覚刺激を運転者に与えることは運転者にとって煩わしいおそれがあることから、自車両の車速の判定を行う。
割り込み候補車両判定部14は、車速判定部13により自車両の車速が車速閾値以上であると判定された場合、自車両の前に割り込みを行う割り込み候補車両が存在するか否かを判定する。割り込み候補車両判定部14は、他車両認識部11の認識結果に基づいて、割り込み候補車両が存在するか否かを判定する。割り込みとは、他車両が自車両と先行車との間に入り込むことである。割り込みには、先行車が存在しない場合において、自車両の前(例えば自車両から10m以内)に他車両が入り込むことも含まれる。
ここで、図4は、割り込み候補車両及び先行車を示す平面図である。図4に、自車両M、走行車線R1に隣接する左側の隣接車線R2及び右側の隣接車線R3、割り込み候補車両Na、先行車Nbを示す。図4に示すように、割り込み候補車両Naとは、一例として、自車両Mの走行する走行車線R1に隣接する隣接車線R2(又は隣接車線R3)を走行する他車両であり、予め設定された判定条件を満たす他車両である。判定条件は、他車両と自車両Mの走行車線R1との横方向距離(走行車線R1の幅方向における距離)、他車両と自車両Mの相対速度、他車両の方向指示器の点灯の有無、自車両Mと先行車Nbとの車間距離などから決めることができる。なお、図4では隣接車線R2が走行車線R1に合流する合流車線となっているが、隣接車線R2が合流車線である必要はない。
割り込み候補車両判定部14は、他車両と自車両Mの走行車線R1との横方向距離が横方向距離閾値以下であり、かつ、他車両と自車両Mの相対速度が相対速度閾値以下である場合、割り込み候補車両Naが存在すると判定する。他車両と自車両Mの走行車線R1との横方向距離は、平面視における走行車線R1の車線幅方向の距離であって、他車両の走行車線R1側の端部(左右の端部のうち走行車線R1側の端部)と走行車線R1の白線L1(他車両側の白線)との距離とすることができる。他車両と自車両Mの相対速度は、自車両Mの進行方向における他車両と自車両Mの相対速度の絶対値とすることができる。横方向距離閾値は予め設定された値(例えば1m)である。相対速度閾値も予め設定された値(例えば3km/h)である。割り込み候補車両判定部14は、割り込み候補車両Naが実際に割り込みを行う前に自車両Mの様子を見るため自車両Mと速度を合わせる(相対速度がゼロ近くになる)ことが通常であることから、自車両Mとの相対速度が相対速度閾値以下であることの判定を行う。なお、割り込み候補車両判定部14は、自車両Mと並走又は自車両Mより前を走行する隣接車線の他車両を割り込み候補車両Naの判定対象としてもよい。また、割り込み候補車両判定部14は、必ずしも他車両と自車両Mの相対速度を判定する必要はなく、他車両と走行車線R1との横方向距離の判定結果から、割り込み候補車両Naの存在を判定してもよい。
割り込み候補車両判定部14は、他車両の走行車線R1側の方向指示器が点灯している場合、割り込み候補車両Naが存在すると判定する。割り込み候補車両判定部14は、ステレオカメラ1の撮像情報に基づいて、周知の画像処理手法により、他車両の走行車線R1側の方向指示器が点灯しているか否かを判定する。
割り込み候補車両判定部14は、自車両Mと先行車Nbとの車間距離が車間距離閾値以下の場合には、割り込み候補車両Naが存在しないと判定する。車間距離閾値は、予め設定された値(例えば1mである)。割り込み候補車両判定部14は、自車両Mと先行車Nbとの車間距離が短い場合には他車両が割り込む余地がないことから、割り込み候補車両Naが存在しないと判定する。
先行車判定部15は、車速判定部13により自車両Mの車速が車速閾値以上であると判定された場合、自車両Mの前に減速度が減速閾値以上である先行車Nbが存在するか否かを判定する。先行車Nbとは、自車両Mと同じ走行車線上で自車両の一つ前を走行する車両である(図4参照)。図4に示すように、先行車判定部15は、他車両認識部11の認識結果(例えばレーダセンサ2の検出した先行車Nbの速度変化)に基づいて、減速度が減速閾値以上である先行車Nbが存在するか否かを判定する。減速閾値は、予め設定された値である。減速閾値は、自車両Mと先行車Nbとの車間距離に応じて変化する値であってもよい。減速閾値は、自車両Mと先行車Nbとの車間距離(又は衝突余裕時間)が小さいほど、小さい値としてもよい。
出現間隔算出部16は、割り込み候補車両判定部14により割り込み候補車両Naが存在すると判定された場合、前回に割り込み候補車両Naが存在すると判定されたときからの経過時間に対応する第1出現間隔Tiを算出する。ここでは、第1出現間隔Tiは、前回に割り込み候補車両Naが存在すると判定されたときからの経過時間に等しい時間とする。第1出現間隔Tiの他の例については後述する。
出現間隔算出部16は、割り込み候補車両Naが存在すると判定された場合、判定時刻を記憶する。また、出現間隔算出部16は、今回の判定が自車両Mのエンジンが始動してから始めての判定である場合には、第1出現間隔Tiを算出しない。
同様に、出現間隔算出部16は、先行車判定部15により減速度が減速閾値以上の先行車Nbが存在すると判定された場合、前回に減速度が減速閾値以上の先行車Nbが存在すると判定されたときからの経過時間に対応する第2出現間隔Tjを算出する。ここでは、第2出現間隔Tjは、前回に先行車Nbが存在すると判定されたときからの経過時間に等しい時間とする。第2出現間隔Tjの他の例については後述する。
出現間隔算出部16は、減速度が減速閾値以上の先行車Nbが存在すると判定された場合、判定時刻を記憶する。また、出現間隔算出部16は、今回の判定が自車両Mのエンジンが始動してから始めての判定である場合には、第2出現間隔Tjを算出しない。
運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する。運転意識低下状態とは、自車両Mの運転に関する運転者の意識が低下している状態である。運転意識低下状態には、運転者が脇見をしている脇見状態、運転者が携帯端末などをよそ見しているよそ見状態、運転者が眠気を感じている覚醒低下状態が含まれる。
運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、周知の画像処理手法により、運転者が顔を横に向けていることを認識する。運転者状態判定部17は、運転者が顔を横に向けている継続時間である顔横向き時間が横向き時間閾値Ty以上である場合、運転者が脇見状態(運転意識低下状態)であると判定する。横向き時間閾値Tyは、予め設定された値である。
運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、周知の画像処理手法により、運転者の閉眼(まぶたを閉じている状態)を認識する。運転者状態判定部17は、運転者の閉眼の継続時間である閉眼時間が閉眼時間閾値Tg以上である場合、運転者が覚醒低下状態(運転意識低下状態)であると判定する。閉眼時間閾値Tgは、予め設定された値である。
表示制御部18は、表示投影部6を制御する。表示制御部18は、表示投影部6に制御信号を送信することで、フロントガラスWに対して各種情報の表示を投影させる。
まず、表示制御部18による第1点滅表示Paの投影について説明する。表示制御部18は、割り込み候補車両判定部14により割り込み候補車両Naが存在すると判定された場合、第1点滅表示PaをフロントガラスWに投影する(図3参照)。第1点滅表示Paとは、運転者に対して割り込み候補車両Naの存在を注意喚起するための点滅表示である。なお、表示制御部18は、割り込み候補車両Naが存在すると判定された場合であっても、後述するように点滅回数がゼロに決定されたときには第1点滅表示Paの投影を行わない。
表示制御部18は、割り込み候補車両Naが存在すると判定された場合、他車両認識部11の認識結果に基づいて、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける割り込み候補車両Naの像を認識する。表示制御部18は、例えば、ステレオカメラ1の撮像画像に基づいて、周知の画像処理手法(視点変換処理等)により、割り込み候補車両Naの像を認識する。
表示制御部18は、図3に示す円形状の表示外枠C1内で、割り込み候補車両Naの像に運転者の視線を誘導するように第1点滅表示Paを投影する。表示外枠C1は、運転者アイポイントEpから自車両Mの前方を見た場合の運転者の有効視野を含む大きさの枠である。有効視野は、運転者が眼球運動だけで先行車等の対象を注視して瞬時に視認可能な範囲である。有効視野は、例えば、上8°、下12°、左右の俯角15°の範囲となる。表示外枠C1は楕円状の枠としてもよい。
図3に示す基準水平線Dは、先行車Nbの像から左右に伸びる仮想の水平線である。表示制御部18は、表示外枠C1内で基準水平線Dより下の領域に第1点滅表示Paを表示する。なお、表示外枠C1及び基準水平線DはフロントガラスWに投影されず、表示外枠C1及び基準水平線Dの設定は必須ではない。
表示制御部18は、表示外枠C1内でフロントガラスW上における割り込み候補車両Naの像の斜め下方(走行車線R1寄りの下方)に第1点滅表示Paを投影する。表示制御部18は、一例として、割り込み候補車両Naが走行する隣接車線R2側の白線L1より、隣接車線R2側の位置に第1点滅表示Paを表示する。表示制御部18は、一例として、下へ俯角3°、左又は右へ俯角4°のフロントガラスW上の位置に第1点滅表示Paを投影する。表示制御部18は、割り込み候補車両Naの像と重複しないように第1点滅表示Paを表示する。
次に、表示制御部18による第1点滅表示Paの投影のタイミングに関して説明する。まず、第1点滅表示Paによる視覚刺激が運転者に有効である期間は約0.5秒程度と考えられており、割り込み候補車両Naが運転者の有効視野に現れるより0.5秒以上早いタイミングで第1点滅表示Paを投影することは避けることが好ましい(後述する文献1参照)。一方で、表示制御部18は、割り込み候補車両Naの像の認識から第1点滅表示Paの投影までの処理速度が十分ではない場合、その間に割り込み候補車両Naが移動するため、図3に示すような適切な位置に第1点滅表示Paを投影できないおそれがある。
図5は、第1点滅表示の投影を説明するための図である。図5では、割り込み候補車両Naが自車両Mの左側の隣接車線R3を走行している。図5に、予測される将来の割り込み候補車両Naを破線で示す。注意誘導範囲Cpaは、第1点滅表示Paによって前方を見ていた運転者の注意(視線)が誘導される範囲である。注意誘導範囲Cpaは、フロントガラスW上で第1点滅表示Paを中心とした一定距離の円範囲とすることができる。
図5に示すように、表示制御部18は、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける割り込み候補車両Naの像の移動経路(パス)上に第1点滅表示Paを投影してもよい。表示制御部18は、フロントガラスWにおける割り込み候補車両Naの像が走行車線R1に近づく位置(図5の破線で示す位置)に移動すると仮定して、割り込み候補車両Naの移動経路上に第1点滅表示Paを投影する。このように、表示制御部18は、割り込み候補車両Naの像の移動経路上に第1点滅表示Paを投影することで、将来の割り込み候補車両Naの像が注意誘導範囲Cpaに含まれるように、第1点滅表示Paを投影することが容易になり、ロバスト性(表示安定性)を高めることができる。なお、表示制御部18は、移動経路の下に第1点滅表示Paを投影してもよい。
表示制御部18は、出現間隔算出部16の算出した第1出現間隔Tiに基づいて、第1点滅表示Paの点滅回数Niを設定する。図6(a)は、時間軸上における割り込み候補車両の判定結果を示す図である。図6(a)に、割り込み候補車両Naの判定時刻を時間軸から立ち上がる棒線として示す。図6(a)時間軸上の二つの棒線の間が第1出現間隔Tiに相当する。図6(b)は、時間軸上における第1点滅表示の点滅回数の変化を示す図である。図6(b)に、第1点滅表示Paの点滅1回分を時間軸から立ち上がる棒線として示す。点滅1回とは、点灯と消灯を1回ずつ行うことを言う。なお、点滅一回あたりの点灯時間が長いと視覚刺激に運転者の視線が固着して、第1点滅表示Paの近傍の割り込み候補車両Naに目を向けるのが遅れるため、点灯時間は短くすることが考えられる(例えば50msec)。
図6(a)の時間軸と図6(b)の時間軸は対応している。図6(a)及び図6(b)に示すように、表示制御部18は、第1出現間隔Tiが長くなると、第1点滅表示Paの点滅回数Niを増加させる。
図7(a)は、第1出現間隔Tiと第1点滅表示Paの点滅回数Niの関係を示す図である。図7(a)の縦軸は点滅回数Ni、横軸は第1出現間隔Tiである。図7(a)に、閾値T10、T11、T12、T13を示す。閾値T10〜T13は、予め設定された値である。閾値T10は、点滅回数Niがゼロの場合と点滅回数Niが1の場合とを分ける閾値である。閾値T11は、点滅回数Niが1の場合と点滅回数Niが2の場合とを分ける閾値である。閾値T12は、点滅回数Niが2の場合と点滅回数Niが3の場合とを分ける閾値である。閾値T13は、点滅回数Niが3の場合と点滅回数Niが4の場合とを分ける閾値である。閾値T10〜T13は、T10<T11<T12<T13の大小関係を有している。閾値T11〜T13は、特許請求の範囲における第1閾値に対応する。
図7(a)に示すように、表示制御部18は、第1出現間隔Tiが閾値T10未満である場合、点滅回数Niをゼロに設定する。表示制御部18は、第1出現間隔Tiが短すぎる場合に第1点滅表示Paの投影を繰り返すことは運転者に煩わしさを感じさせるおそれがあることから、第1出現間隔Tiが閾値T10以下である場合には、点滅回数Niをゼロに設定して第1点滅表示Paの投影を行わない。本実施形態において、点滅回数Niがゼロとは投影を行わないことを意味する。
表示制御部18は、第1出現間隔Tiが閾値T10以上で閾値T11未満である場合、点滅回数を1に設定する。表示制御部18は、第1出現間隔Tiが閾値T11以上で閾値T12未満である場合、点滅回数を2に設定する。表示制御部18は、第1出現間隔Tiが閾値T12以上で閾値T13未満である場合、点滅回数を3に設定する。表示制御部18は、第1出現間隔Tiが閾値T13以上である場合、点滅回数を4に設定する。
すなわち、表示制御部18は、第1出現間隔Tiが閾値T10未満である場合、第1出現間隔Tiが閾値T10以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。閾値T11〜T13についても同様である。
また、表示制御部18は、運転者状態判定部17により運転者が運転意識低下状態ではないと判定された場合、運転者が運転意識低下状態であると判定されたときと比べて、第1点滅表示Paの点滅回数Niを少なくする。
ここで、図8(a)は、運転者の顔横向き時間と点滅回数の関係を示す図である。図8(a)に、横向き時間閾値Tyを示す。図8(a)に示すように、表示制御部18は、運転者の顔横向き時間が横向き時間閾値Ty未満であり、未だ運転者が前方を注視している前方注視状態であると判定された場合(脇見状態と判定されない場合)、運転者が脇見状態(運転意識低下状態)であると判定された場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。すなわち、表示制御部18は、運転者が脇見状態と判定された場合、脇見状態と判定されない場合と比べて、第1点滅表示Paの点滅回数Niを多くする。
図8(b)は、運転者の閉眼時間と点滅回数との関係を示す図である。図8(b)に、閉眼時間閾値Tgを示す。図8(b)に示すように、表示制御部18は、運転者の閉眼時間が閉眼時間閾値Tg未満であり、未だ運転者が覚醒状態であると判定された場合(覚醒低下状態と判定されない場合)、運転者が覚醒低下状態(運転意識低下状態)であると判定された場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。すなわち、表示制御部18は、運転者が覚醒低下状態と判定された場合、覚醒低下状態と判定されない場合と比べて、第1点滅表示Paの点滅回数Niを多くする。なお、図8(c)については後述する。
表示制御部18は、第1点滅表示Paの点滅回数Niが設定された場合、点滅の回数が点滅回数Niに至るまで第1点滅表示PaをフロントガラスWに投影する。なお、点滅の間隔(点滅周期)は、一定であってもよく、点滅回数Niが多いほど短い間隔としてもよい。
次に、表示制御部18による第2点滅表示Pbの投影について説明する。表示制御部18は、先行車判定部15により自車両Mの前に減速度が減速閾値以上の先行車Nbが存在すると判定された場合、第2点滅表示PbをフロントガラスWに投影する(図3参照)。第2点滅表示Pbとは、運転者に対して先行車Nbの存在を注意喚起するための点滅表示である。なお、表示制御部18は、減速度が減速閾値以上の先行車Nbが存在すると判定された場合であっても、後述するように点滅回数がゼロに決定されたときには第2点滅表示Pbの投影を行わない。
表示制御部18は、減速度が減速閾値以上の先行車Nbが存在すると判定された場合、他車両認識部11の認識結果に基づいて、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける先行車Nbの像を認識する。表示制御部18は、例えば、ステレオカメラ1の撮像画像に基づいて、周知の画像処理手法(視点変換処理等)により、先行車Nbの像を認識する。
表示制御部18は、図3に示す円形状の表示外枠C1内で、先行車Nbに運転者の視線を誘導するように第2点滅表示Pbを投影する。表示制御部18は、先行車Nbの像の下の位置に第2点滅表示Pbを投影する。ここで、図3に示す表示内枠C2は、第2点滅表示Pbを先行車Nbの像と重複させないために設定される円状の枠である。表示内枠C2は、先行車Nbの像の下側を囲むように設定される。表示制御部18は、自車両Mと先行車Nbとの車間距離が短いほど、表示内枠C2を大きい枠にする。表示制御部18は、表示外枠C1内で基準水平線Dより下の領域において、表示内枠C2の外側に第2点滅表示Pbを投影する。なお、表示内枠C2はフロントガラスWに投影されず、表示内枠C2の設定は必須ではない。
表示制御部18は、以下の手法を利用して第2点滅表示Pbを投影させてもよい。ここで、図2(a)に示すように、自車両Mを側方から見た状態を考える。図2(a)に示す運転者アイポイントEpの高さEhと運転者アイポイントEpから自車両Mの先端までの距離Lpは、例えば車種によって決まる固有値である。運転者アイポイントEpから見たときとフロントガラスWから見たときの先行車Nbの像の見え方の違い(縮尺の違い)は、上述した固有値によって決まっている。自車両Mから先行車Nbまでの距離と上述した固有値とによって先行車Nbの像の縮尺が変更される。
図2(b)は、運転者アイポイントEpから先行車Nbの下端Ntを見たときの俯角θを説明するための図である。図2(b)に、先行車Nbの下端(後輪の下端)Nt、自車両Mの前後方向における自車両Mの先端から先行車Nbの下端までの距離L、運転者アイポイントEpと先行車Nbの下端Ntとを結ぶ直線Hn、及び、直線Hnと直線Hpとのなす角θを示す。直線Hpは、運転者アイポイントEpを通り自車両Mの前後方向に延びる直線である。先行車Nbの下端Ntは、三次元空間における先行車Nbの下端である。先行車Nbの下端Ntは、例えば、ステレオカメラ1の撮像画像に基づいて、周知の画像処理により特定することができる。また、自車両Mの前後方向における自車両Mの先端から先行車Nbの下端Ntまでの距離Lは、例えば、ステレオカメラ1の撮像画像(奥行情報を含む撮像画像)又はレーダセンサ2の障害物情報に基づいて検出することができる。なお、単純に、自車両Mと先行車Nbとの車間距離を距離Lとして用いてもよい。直線Hnと直線Hpとのなす角θは、運転者が運転者アイポイントEpから先行車Nbの下端Ntを見たときの俯角に相当する。俯角θは、例えば、下記の式(1)によって求めることができる。
θ=Tan−1{Eh/(L+Lp)}・・・(1)
一方、図2(a)に示すように、運転者アイポイントEpと第2点滅表示Pbの上端とを結ぶ直線Huと直線Hpとのなす角(俯角)θeとする。この場合、表示制御部18は、俯角θ<俯角θeとなるように、第2点滅表示PbをフロントガラスWに投影させる。すなわち、表示制御部18は、運転者が運転者アイポイントEpから先行車Nbの下端Ntを見たときの俯角θより、第2点滅表示Pbの上端を見たときの俯角θeが大きい角度(直線Hpを基準として下向きの角度)となるように、第2点滅表示Pbを投影させる。表示制御部18は、例えば、上記の式(1)から求めた俯角θに基づいて、俯角θ<俯角θeとなるように第2点滅表示Pbの上端の位置(上下方向の位置)を決定する。また、表示制御部18は、先行車Nbの像に基づいて、第2点滅表示Pbの左右方向の位置を決定する。この場合、表示制御部18は、決定した第2点滅表示Pbの上端の位置及び左右方向の位置に基づいて、先行車Nbの像の下の位置に第2点滅表示Pbを投影させることができる。
表示制御部18は、第2出現間隔Tjに基づいて、第2点滅表示Pbの点滅回数Njを決定する。表示制御部18は、例えば、割り込み候補車両Naの場合と同様にして、第2点滅表示Pbの点滅回数Njを決定する。
図7(b)は、第2出現間隔Tjと第2点滅表示Pbの点滅回数Njの関係を示す図である。図7(b)の縦軸は点滅回数Nj、横軸は第2出現間隔Tjである。図7(b)に、閾値T20、T21、T22、T23を示す。閾値T20〜T23は、予め設定された値である。閾値T20は、点滅回数Njがゼロの場合と点滅回数Njが1の場合とを分ける閾値である。閾値T21は、点滅回数Njが1の場合と点滅回数Njが2の場合とを分ける閾値である。閾値T22は、点滅回数Njが2の場合と点滅回数Njが3の場合とを分ける閾値である。閾値T23は、点滅回数Njが3の場合と点滅回数Njが4の場合とを分ける閾値である。閾値T20〜T23は、T20<T21<T22<T23の大小関係を有している。閾値T20〜T23は、特許請求の範囲における第2閾値に対応する。閾値T20〜T23は、閾値T10〜T13と同じ値であってもよく、異なる値であってもよい。
図7(b)に示すように、表示制御部18は、第2出現間隔Tjが閾値T20未満である場合、点滅回数Njをゼロに設定する。表示制御部18は、第2出現間隔Tjが短すぎる場合に第2点滅表示Pbの投影を繰り返すことは運転者に煩わしさを感じさせるおそれがあることから、第2出現間隔Tjが閾値T20以下である場合には、点滅回数Njをゼロに設定して第2点滅表示Pbの投影を行わない。
表示制御部18は、第2出現間隔Tjが閾値T20以上で閾値T21未満である場合、点滅回数を1に設定する。表示制御部18は、第2出現間隔Tjが閾値T21以上で閾値T22未満である場合、点滅回数を2に設定する。表示制御部18は、第2出現間隔Tjが閾値T22以上で閾値T23未満である場合、点滅回数を3に設定する。表示制御部18は、第2出現間隔Tjが閾値T23以上である場合、点滅回数を4に設定する。
すなわち、表示制御部18は、第2出現間隔Tjが閾値T20未満である場合、第2出現間隔Tjが閾値T20以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。閾値T21〜T23についても同様である。
表示制御部18は、第1点滅表示Paと同様に、運転者状態判定部17により運転者が運転意識低下状態ではないと判定された場合、運転者が運転意識低下状態であると判定されたときと比べて、第2点滅表示Pbの点滅回数Njを少なくする。
表示制御部18は、運転者の顔横向き時間が横向き時間閾値Ty未満であり、未だ運転者が前方を注視している前方注視状態であると判定された場合、運転者が脇見状態(運転意識低下状態)であると判定された場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。すなわち、表示制御部18は、運転者が脇見状態と判定された場合、脇見状態と判定されない場合と比べて、第2点滅表示Pbの点滅回数Njを多くする。
また、表示制御部18は、運転者の閉眼時間が閉眼時間閾値Tg未満であり、未だ運転者が覚醒状態であると判定された場合、運転者が覚醒低下状態(運転意識低下状態)であると判定された場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。すなわち、表示制御部18は、運転者が覚醒低下状態と判定された場合、覚醒低下状態と判定されない場合と比べて、第2点滅表示Pbの点滅回数Njを多くする。
表示制御部18は、第2点滅表示Pbの点滅回数Njが設定された場合、点滅の回数が点滅回数Njに至るまで第2点滅表示PbをフロントガラスWに投影する。なお、点滅の間隔(点滅周期)は、一定であってもよく、点滅回数Njが多いほど短い間隔としてもよい。
〈表示装置による第1点滅表示の投影処理〉
以下、第1の実施形態に係る表示装置100による第1点滅表示Paの投影処理について説明する。図9は、第1点滅表示の投影処理を示すフローチャートである。図9に示すフローチャートは、自車両Mが自動運転中である場合に実行される。
図9に示すように、表示装置100のECU10は、S10として、車速判定部13により自車両Mの車速が車速閾値以上であるか否かを判定する。車速判定部13は、車速センサ4の車速情報に基づいて、自車両Mの車速が車速閾値以上であるか否かを判定する。ECU10は、自車両Mの車速が車速閾値以上ではないと判定された場合(S10:NO)、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS10から処理を繰り返す。ECU10は、自車両Mの車速が車速閾値以上であると判定された場合(S10:YES)、S12に移行する。
S12において、ECU10は、割り込み候補車両判定部14により割り込み候補車両Naが存在するか否かを判定する。割り込み候補車両判定部14は、他車両認識部11の認識結果に基づいて、割り込み候補車両Naが存在するか否かを判定する。割り込み候補車両判定部14は、他車両と自車両Mの走行車線R1との横方向距離が横方向距離閾値以下であり、かつ、他車両と自車両Mの相対速度が相対速度閾値以下である場合、割り込み候補車両Naが存在すると判定する。
ECU10は、割り込み候補車両Naが存在しないと判定された場合(S12:NO)、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS10から処理を繰り返す。ECU10は、割り込み候補車両Naが存在すると判定された場合(S12:YES)、S14に移行する。
S14において、ECU10は、出現間隔算出部16により第1出現間隔Tiを算出する。出現間隔算出部16は、前回に割り込み候補車両Naが存在すると判定されたときからの経過時間に対応する第1出現間隔Tiを算出する。その後、ECU10は、S16に移行する。なお、出現間隔算出部16は、割り込み候補車両Naが存在するとの判定が自車両Mのエンジンが始動してから始めての判定である場合には、第1出現間隔Tiを算出しない。この場合、ECU10は、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS10から処理を繰り返す。
S16において、ECU10は、運転者状態判定部17により運転者が運転意識低下状態であるか否かを判定する。運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する。ECU10は、運転者が運転意識低下状態であると判定された場合(S16:YES)、S18に移行する。ECU10は、運転者が運転意識低下状態ではないと判定された場合(S16:NO)、S20に移行する。
S18において、ECU10は、表示制御部18により、運転者が運転意識低下状態である場合の第1出現間隔Tiに基づく点滅回数Niの設定を行う。表示制御部18は、第1出現間隔Tiが閾値T10未満である場合、第1出現間隔Tiが閾値T10以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。表示制御部18は、第1出現間隔Tiが閾値T11未満である場合、第1出現間隔Tiが閾値T11以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。表示制御部18は、第1出現間隔Tiが閾値T12未満である場合、第1出現間隔Tiが閾値T12以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。表示制御部18は、第1出現間隔Tiが閾値T13未満である場合、第1出現間隔Tiが閾値T13以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。ECU10は、第1点滅表示Paの点滅回数Niを設定した場合、S22に移行する。
S20において、ECU10は、表示制御部18により、運転者が運転意識低下状態である場合の第1出現間隔Tiに基づく点滅回数Niの設定を行う。表示制御部18は、第1出現間隔Tiが閾値T10未満である場合、第1出現間隔Tiが閾値T10以上である場合と比べて、第1点滅表示Paの点滅回数Niを少なくする。閾値T11〜T13の場合も同様である。また、表示制御部18は、S18の場合(運転者が運転意識低下状態である場合)と比べて、点滅回数Niを少なくする。ECU10は、第1点滅表示Paの点滅回数Niを設定した場合、S22に移行する。
S22において、ECU10は、表示制御部18により第1点滅表示Paの投影を行う。表示制御部18は、表示外枠C1内でフロントガラスW上における割り込み候補車両Naの像の斜め下方(走行車線R1寄りの下方)に第1点滅表示Paを投影する。表示制御部18は、点滅の回数が点滅回数Niに至るまで第1点滅表示PaをフロントガラスWに投影する。その後、ECU10は、今回の処理を終了し、所定の時間の経過後に再びS10から処理を繰り返す。
なお、ECU10は、表示制御部18により点滅回数Niをゼロと設定された場合には、S22において第1点滅表示Paの投影を行うことなく、今回の処理を終了する。また、表示制御部18は、割り込み候補車両Naが自車両Mの左右に存在する場合には、左右の割り込み候補車両Naにそれぞれ対応する第1点滅表示Paを投影する。
〈表示装置による第2点滅表示の投影処理〉
以下、第1の実施形態に係る表示装置100による第2点滅表示Pbの投影処理について説明する。図10は、第1点滅表示の投影処理を示すフローチャートである。図10に示すフローチャートは、自車両Mが自動運転中である場合に実行される。
図10に示すように、表示装置100のECU10は、S30として、車速判定部13により自車両Mの車速が車速閾値以上であるか否かを判定する。S30は図9のS10と同じ処理である。ECU10は、自車両Mの車速が車速閾値以上ではないと判定された場合(S30:NO)、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS30から処理を繰り返す。ECU10は、自車両Mの車速が車速閾値以上であると判定された場合(S30:YES)、S32に移行する。
S32において、ECU10は、先行車判定部15により、減速度が減速閾値以上の先行車Nbが存在するか否かを判定する。先行車判定部15は、他車両認識部11の認識結果に基づいて、減速度が減速閾値以上の先行車Nbが存在するか否かを判定する。ECU10は、上記の先行車Nbが存在しないと判定された場合(S32:NO)、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS30から処理を繰り返す。ECU10は、上記の先行車Nbが存在すると判定された場合(S32:YES)、S34に移行する。
S34において、ECU10は、出現間隔算出部16により第2出現間隔Tjを算出する。出現間隔算出部16は、前回に、減速度が減速閾値以上の先行車Nbが存在すると判定されたときからの経過時間に対応する第2出現間隔Tjを算出する。その後、ECU10は、S36に移行する。なお、出現間隔算出部16は、減速度が減速閾値以上の先行車Nbが存在するとの判定が自車両Mのエンジンが始動してから始めての判定である場合には、第2出現間隔Tjを算出しない。この場合、ECU10は、今回の処理を終了する。その後、ECU10は、所定の時間の経過後に再びS30から処理を繰り返す。
S36において、ECU10は、運転者状態判定部17により運転者が運転意識低下状態であるか否かを判定する。運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する。ECU10は、運転者が運転意識低下状態であると判定された場合(S36:YES)、S38に移行する。ECU10は、運転者が運転意識低下状態ではないと判定された場合(S36:NO)、S40に移行する。
S38において、ECU10は、表示制御部18により、運転者が運転意識低下状態である場合の第2出現間隔Tjに基づく点滅回数Njの設定を行う。表示制御部18は、第2出現間隔Tjが閾値T20未満である場合、第2出現間隔Tjが閾値T20以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。表示制御部18は、第2出現間隔Tjが閾値T21未満である場合、第2出現間隔Tjが閾値T21以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。表示制御部18は、第2出現間隔Tjが閾値T22未満である場合、第2出現間隔Tjが閾値T22以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。表示制御部18は、第2出現間隔Tjが閾値T23未満である場合、第2出現間隔Tjが閾値T23以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。ECU10は、第2点滅表示Pbの点滅回数Njを設定した場合、S42に移行する。
S40において、ECU10は、表示制御部18により、運転者が運転意識低下状態である場合の第2出現間隔Tjに基づく点滅回数Njの設定を行う。表示制御部18は、第2出現間隔Tjが閾値T20未満である場合、第2出現間隔Tjが閾値T20以上である場合と比べて、第2点滅表示Pbの点滅回数Njを少なくする。閾値T21〜T23の場合も同様である。また、表示制御部18は、S38の場合(運転者が運転意識低下状態である場合)と比べて、点滅回数Njを少なくする。ECU10は、第2点滅表示Pbの点滅回数Njを設定した場合、S42に移行する。
S42において、ECU10は、表示制御部18により第2点滅表示Pbの投影を行う。表示制御部18は、表示外枠C1内でフロントガラスW上における先行車Nbの像の下に第2点滅表示Pbを投影する。表示制御部18は、点滅の回数が点滅回数Njに至るまで第2点滅表示PbをフロントガラスWに投影する。その後、ECU10は、今回の処理を終了し、所定の時間の経過後に再びS30から処理を繰り返す。
なお、ECU10は、表示制御部18により点滅回数Njをゼロと設定された場合には、S42において第2点滅表示Pbの投影を行うことなく、今回の処理を終了する。
〈第1の実施形態に係る表示装置の作用効果〉
以上説明した第1の実施形態に係る表示装置100によれば、自車両Mの前に割り込みを行う可能性のある割り込み候補車両Naが存在すると判定された場合に第1点滅表示PaをフロントガラスWに投影させることによって、割り込み候補車両Naを運転者に注意喚起して運転者の運転意識低下を抑制することができる。ここで、図11(a)は、第1点滅表示Paの点滅前の状況を示す図である。図11(a)に、運転者が注視している注視点Dfを示す。図11(a)に示すように、運転者は、第1点滅表示Paの点滅前(投影前)において、先行車Nbを注視している。図11(b)は、第1点滅表示Paの点滅時の状況を示す図である。図11(b)に示すように、割り込み候補車両Naが現れると、自車両MのフロントガラスW上に第1点滅表示Paが投影される。図11(c)は、第1点滅表示Paの点滅後の状態を示す図である。図11(c)に示すように、運転者は、第1点滅表示Paに注意を誘導され、走行車線R1に寄っている割り込み候補車両Naに運転者の注視点Dfが移る。このようにして、表示装置100は、割り込み候補車両Naの存在を運転者に注意喚起することができる。
また、表示装置100によれば、割り込み候補車両Naが存在すると判定された場合に第1点滅表示PaをフロントガラスWに投影させることで、自車両Mの周辺環境に関わらず一定周期で点滅表示を投影する従来の場合と比べて、運転者に煩わしさを感じさせることを低減できる。しかも、表示装置100によれば、割り込み候補車両Naの第1出現間隔Tiが第1閾値(例えば閾値T11〜T13)未満であるとき、第1出現間隔が第1閾値以上であるときと比べて第1点滅表示Paの点滅回数Niを少なくので、割り込み候補車両が短い間隔で現れたときに第1点滅表示Paが運転者へ与える刺激を小さくすることができ、第1点滅表示Paが運転者に煩わしさを感じさせることを低減できる。
また、表示装置100によれば、自車両Mの前に減速度が減速閾値以上の先行車Nbが存在すると判定された場合に第2点滅表示PbをフロントガラスWに投影させることによって、先行車Nbを運転者に注意喚起して運転者の運転意識低下を抑制することができる。更に、表示装置100によれば、上記の先行車Nbが存在すると判定された場合に第2点滅表示PbをフロントガラスWに投影させることで、自車両Mの周辺環境に関わらず一定周期で点滅表示を投影する従来の場合と比べて、運転者に煩わしさを感じさせることを低減できる。しかも、この表示装置100によれば、先行車Nbの第2出現間隔Tjが第2閾値(例えば閾値T20〜閾値T23)未満であるとき、第2出現間隔Tjが第2閾値以上であるときと比べて第2点滅表示Pbの点滅回数Njを少なくするので、先行車Nbの減速が頻発したときに第2点滅表示Pbが運転者へ与える刺激を小さくすることができ、第2点滅表示Pbが運転者に煩わしさを感じさせることを低減できる。
更に、表示装置100によれば、運転者が運転意識低下状態ではないと判定されたときに第1点滅表示Paの点滅回数Niを少なくするので、自車両Mの運転を意識している運転者に対して第1点滅表示Paが過剰な刺激を与えることが避けられ、第1点滅表示Paが運転者に煩わしさを感じさせることを低減できる。同様に、表示装置100によれば、運転者が運転意識低下状態ではないと判定されたときに第2点滅表示Pbの点滅回数Njを少なくするので、自車両Mの運転を意識している運転者に対して第2点滅表示Pbが過剰な刺激を与えることが避けられ、第2点滅表示Pbが運転者に煩わしさを感じさせることを低減できる。
ここで、図12は、運転者の眠気度と時間の関係を示すグラフである。図2の縦軸は運転者の眠気度、横軸は時間を示している。眠気度が大きいほど運転者の運転意識が低下していることを意味する。図12に、自動運転中の自車両MのフロントガラスWに点滅表示P(第1点滅表示Pa、第2点滅表示Pb)を示していない場合(自動運転:点滅表示なしの場合)の眠気度の時間変化を破線で示す。また、自動運転中の自車両MのフロントガラスWに点滅表示Pを示している場合(自動運転:点滅表示ありの場合)の眠気度の時間変化を実線で示す。運転者による手動運転中の自車両MのフロントガラスWに点滅表示を示していない場合(手動運転:点滅表示なしの場合)の眠気度の時間変化を一点鎖線で示す。なお、ここでは、手動運転であっても運転操作がほとんど必要ない単調な形状の道路を自車両Mが走行している状況を想定している。
また、図12に、眠気度の閾値Sp、覚醒維持時間Ta、覚醒維持時間Tb、及び覚醒維持時間Tcを示す。閾値Spは、運転者の眠気度の増加(覚醒の度合いの低下)を判定する基準となる予め設定された閾値である。覚醒維持時間Taは、自動運転:点滅表示なしの場合において眠気度が閾値Spを下回るまでの時間である。覚醒維持時間Tbは、自動運転:点滅表示ありの場合において眠気度が閾値Spを下回るまでの時間である。覚醒維持時間Tcは、手動運転:点滅表示なしの場合において眠気度が閾値Spを下回るまでの時間である。
図12に示すように、自動運転中の覚醒維持時間Ta及び覚醒維持時間Tbは、手動運転中の覚醒維持時間Tcより短い。このことから、自動運転中の場合には、手動運転中の場合と比べて運転者の眠気度が増加しやすい(覚醒の度合いが低下しやすい)と言える。また、自動運転中の場合であっても、点滅表示なしの覚醒維持時間Taより、点滅表示あり覚醒維持時間Tbが長い。このように、表示装置100によれば、運転者に点滅表示Pを示して視覚刺激を与えることにより、運転者の眠気度が低下しにくくなり、覚醒維持時間を長くすることができる。
点滅表示などの視覚刺激による運転者の覚醒維持時間の延長に関しては以下の文献1、文献2を参照することができる。
文献1 Yasuhiro Seya, Ken-IchiroTsutsui, Katsumi Watanabe, and Kenji Kimura
2012 AttentionalCapture without Awareness in Complex Visual Tasks, Perception,volume 41, pages 517-531
文献2 石松一真、三浦利章 2002年3月 「有効視野における加齢の影響:交通安全性を中心として」 大阪大学大学院人間科学研究科紀要 第28巻
文献1の9ページには、意識に上らない微弱な点滅表示(閾下刺激)を周辺ターゲット(対象者の中心視野の外に配置されたターゲット)に対応付けて示すことにより、対象者が中心視状態であっても周辺ターゲットに気付きやすくする効果があることが示されている。中心視状態とは、対象者が中心視野(弁別視野)内を注視している状態である。中心視野は、対象者が眼球を大きく動かすことなく対象を注視して高精度に視認可能な範囲である。中心視野は、例えば上下の俯角5°、左右角±5°の円状の範囲とすることができる。
また、同じページには、対象者が点滅表示によって周辺ターゲットに気づきやすくなる効果は、中心視状態の対象者から見て点滅表示の方向と周辺ターゲットの方向が一致する場合の方が、一致しない場合と比べて、高い効果となることが示されている。このことから、自動運転中の自車両の運転者が前方注視中の場面においても、微弱な点滅表示を示すことで、走行環境の変化に応じて運転者が周囲の走行環境の変化に気づきやすくなると言える。従って、微弱な点滅表示によって運転者の有効視野を広げることができるので、自動運転における運転意識の低下を抑制することができ、自動運転においても手動運転に近い覚醒維持時間を実現することができる。表示装置100は、微弱な点滅表示(閾下刺激)を点滅表示Pとして採用してもよい。
[第2の実施形態]
次に、第2の実施形態に係る表示装置200について説明する。図13は、第2の実施形態に係る表示装置200を示すブロック図である。第2の実施形態に係る表示装置200は、第1の実施形態に係る表示装置100の機能に加えて、自車両のふらつきに応じてフロントガラスWに点滅表示を投影する機能を有している。第2の実施形態において、第1の実施形態に相当する又は同一の構成については同一の符号を付して説明を省略する。
図13に示されるように、表示装置200のECU20は、第1の実施形態に係るECU10の機能的構成に加えて、車両横位置認識部21及びふらつき判定部22を更に備えている。
車両横位置認識部21は、ステレオカメラ1の撮像画像(白線の画像)に基づいて、周知の画像処理手法により、自車両Mの横位置を認識する。自車両Mの横位置とは、自車両Mの走行する走行車線R1の車線幅方向における自車両Mの位置である。ステレオカメラ1は、自車両Mにおける搭載位置が決まっており、この搭載位置からステレオカメラ1が撮像する範囲も決まっている。また、ステレオカメラ1の搭載位置と自車両Mの中心位置との位置関係(平面視における位置関係)は決まっている。このため、車両横位置認識部21は、ステレオカメラ1の撮像画像上における左右二本の白線L1、L2の位置から、車線幅方向における自車両Mの中心位置(車両Mの横位置)を求めることができる。なお、車両横位置認識部21は、車線中心(左右二本の白線から等距離の位置)に対する自車両Mの中心位置のずれ量(偏差量)として、自車両Mの横位置を認識してもよい。
ふらつき判定部22は、車両横位置認識部21の認識した自車両Mの横位置に基づいて、走行車線R1の左右の白線L1、L2の何れかに自車両Mが接近したか否かを判定する。ふらつき判定部22は、白線L1と自車両Mとの横方向距離が接近閾値以下である場合、白線L1に自車両Mが接近したと判定する。ふらつき判定部22は、白線L2と自車両Mとの横方向距離が接近閾値以下である場合、白線L2に自車両Mが接近したと判定する。接近閾値は、予め設定された閾値である。接近閾値は、走行車線R1の車線幅に応じて変更される値であってもよい。
表示制御部23は、ふらつき判定部22により左右の白線L1、L2の何れかに自車両Mが接近したと判定された場合、第3点滅表示をフロントガラスWに投影させる。第3点滅表示は、自車両Mの接近した白線を運転者に注意喚起するための点滅表示である。
ここで、図14(a)は、自車両Mが左の白線L1に接近した場合における第3点滅表示Pcを示す図である。図14(a)に、第3点滅表示Pc、第3点滅表示Pcの注意誘導範囲Cpdを示す。注意誘導範囲Cpdは、第3点滅表示Pcによって前方を見ていた運転者の注意(視線)が誘導される範囲である。注意誘導範囲Cpdは、フロントガラスW上で第3点滅表示Pcを中心とした一定距離の円範囲とすることができる。
図14(a)に示すように、表示制御部23は、左の白線L1に自車両Mが接近したと判定された場合、白線認識部12の認識結果に基づいて、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける白線L1を認識する。表示制御部23は、注意誘導範囲Cpd内に白線L1の一部が含まれるように、表示外枠C1内に第3点滅表示Pcを投影する。
図14(b)は、自車両Mが右の白線L2に接近した場合における第3点滅表示Pcを示す図である。図14(b)に示すように、表示制御部23は、右の白線L2に自車両Mが接近したと判定された場合、白線認識部12の認識結果に基づいて、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける白線L2を認識する。表示制御部23は、注意誘導範囲Cpd内に白線L2の一部が含まれるように、表示外枠C1内に第3点滅表示Pcを投影する。
なお、表示制御部23は、必ずしも運転者アイポイントEpから運転者が見たときのフロントガラスWにおける白線L1、L2を認識する必要はない。表示制御部23は、フロントガラスW上で予め設定された位置に第3点滅表示Pcを投影する態様であってもよい。
また、表示制御部23は、運転者の状態に応じて、第3点滅表示Pcの点滅回数を変更する。表示制御部23は、運転者状態判定部17により運転者が運転意識低下状態ではないと判定された場合、運転者が運転意識低下状態であると判定されたときと比べて、第3点滅表示Pcの点滅回数を少なくする。表示制御部23は、運転者が運転意識低下状態であると判定された場合の点滅回数と、運転者が運転意識低下状態ではないと判定された場合の点滅回数とを予め設定された値として記憶していてもよい。
〈表示装置による第3点滅表示の投影処理〉
以下、第2の実施形態に係る表示装置200による第2点滅表示Pbの投影処理について説明する。図15は、第3点滅表示の投影処理を示すフローチャートである。図15に示すフローチャートは、自車両Mが自動運転中である場合に実行される。
図15に示すように、表示装置200のECU20は、S60として、車速判定部13により自車両Mの車速が車速閾値以上であるか否かを判定する。車速判定部13は、車速センサ4の車速情報に基づいて、自車両Mの車速が車速閾値以上であるか否かを判定する。なお、車速判定部13は、第1の実施形態における車速閾値と第2の実施形態における車速閾値を異なる値としてもよい。
ECU20は、自車両Mの車速が車速閾値以上ではないと判定された場合(S60:NO)、今回の処理を終了する。その後、ECU20は、所定の時間の経過後に再びS60から処理を繰り返す。ECU20は、自車両Mの車速が車速閾値以上であると判定された場合(S60:YES)、S62に移行する。
S62において、ECU20は、ふらつき判定部22により走行車線R1の左右の白線L1、L2の何れかに自車両Mが接近したか否かを判定する。ふらつき判定部22は、車両横位置認識部21の認識した自車両Mの横位置に基づいて、白線L1、L2の何れかに自車両Mが接近したか否かを判定する。ECU20は、白線L1、L2の何れにも自車両Mが接近していないと判定された場合(S62:NO)、今回の処理を終了する。その後、ECU20は、所定の時間の経過後に再びS60から処理を繰り返す。ECU20は、白線L1、L2の何れかに自車両Mが接近したと判定された場合(S62:YES)、S64に移行する。
S64において、ECU20は、運転者状態判定部17により運転者が運転意識低下状態であるか否かを判定する。運転者状態判定部17は、ドライバモニタカメラ3の撮像画像に基づいて、運転者が運転意識低下状態であるか否かを判定する。ECU20は、運転者が運転意識低下状態であると判定された場合(S64:YES)、S66に移行する。ECU20は、運転者が運転意識低下状態ではないと判定された場合(S64:NO)、S68に移行する。
S66において、ECU20は、表示制御部23により第3点滅表示Pcの点滅回数を設定する。表示制御部23は、運転者が運転意識低下状態であると判定された場合の点滅回数を設定する。その後、ECU20は、S70に移行する。
S68において、ECU20は、表示制御部23により第3点滅表示Pcの点滅回数を設定する。表示制御部23は、運転者が運転意識低下状態ではないと判定された場合の点滅回数を設定する。運転者が運転意識低下状態ではないと判定された場合の点滅回数は、運転者が運転意識低下状態であると判定された場合の点滅回数(S66の場合の点滅回数)と比べて、少ない点滅回数である。その後、ECU20は、S70に移行する。
S70において、ECU20は、表示制御部23により第3点滅表示Pcの投影を行う。表示制御部23は、注意誘導範囲Cpd内に自車両Mの接近した白線の一部が含まれるように、表示外枠C1内に第3点滅表示Pcを投影する。表示制御部18は、点滅の回数が設定した点滅回数に至るまで第3点滅表示PcをフロントガラスWに投影する。その後、ECU20は、今回の処理を終了し、所定の時間の経過後に再びS60から処理を繰り返す。
〈第2の実施形態に係る表示装置の作用効果〉
以上説明した第2の実施形態に係る表示装置200によれば、自車両Mが左右にふらついて左右の白線L1、L2の何れかに接近したと判定された場合に、第3点滅表示PcをフロントガラスWに投影することによって、自車両の接近した白線を運転者に注意喚起しつつ運転者の運転意識低下を抑制することができる。
以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限られない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
上述した表示装置(表示装置100、200)は、割り込み候補車両Naが走行車線R1に割り込みを行って走行車線R1に進入した場合、割り込み後の点滅表示をフロントガラスWに投影してもよい。ここで、図16は、割り込み後の点滅表示を示す図である。図16に、割り込み後の点滅表示Pd、点滅表示Pdの注意誘導範囲Cpcを示す。また、図16に、割り込み前の割り込み候補車両Naを破線で示す。注意誘導範囲Cpcは、点滅表示Pdによって前方を見ていた運転者の注意(視線)が誘導される範囲である。注意誘導範囲Cpcは、フロントガラスW上で点滅表示Pdを中心とした一定距離の円範囲とすることができる。
表示制御部18は、他車両認識部11の認識結果及び白線認識部12の認識結果に基づいて、割り込み候補車両Naが走行車線R1に進入したか否かを判定する。表示制御部18は、一例として、割り込み候補車両Naの前輪が白線L1又は白線L2を超えて走行車線R1に進入したとき、割り込み候補車両Naが走行車線R1に進入したと判定する。
表示制御部18は、割り込み候補車両Naが走行車線R1に進入したと判定した場合、表示外枠C1内で、運転者アイポイントEpから運転者が見たときのフロントガラスWにおける割り込み候補車両Naの像の下の位置に、点滅表示Pdを投影する。点滅表示Pdは、運転者に十分に注意喚起する必要があるため、割り込みを行う前の第1点滅表示Paの点滅回数Niより多い点滅回数とすることができる。なお、点滅回数ではなく、点滅周期を早くすることで視覚刺激を強くし、運転者が気づきやすくしてもよい。
図17は、割り込み後の点滅表示の投影処理を示すフローチャートである。図17に示すフローチャートは、割り込み候補車両判定部14が割り込み候補車両Naが存在すると判定した場合に実行される。
ECU10は、S80として、表示制御部18により割り込み候補車両Naが自車両Mの走行車線R1に進入したか否かを判定する。表示制御部18は、他車両認識部11の認識結果及び白線認識部12の認識結果に基づいて、割り込み候補車両Naが走行車線R1に進入したか否かを判定する。ECU10は、割り込み候補車両Naが自車両Mの走行車線R1に進入していないと判定された場合(S80:NO)、今回の処理を終了する。ECU10は、割り込み候補車両判定部14が割り込み候補車両Naが存在すると判定している場合、再びS80の処理を繰り返す。ECU10は、割り込み候補車両Naが自車両Mの走行車線R1に進入したと判定された場合(S80:YES)、S82に移行する。
S82において、ECU10は、表示制御部18により割り込み後の点滅表示Pdを投影する。表示制御部18は、割り込み候補車両Naの像の下の位置に点滅表示Pdを投影する。その後、ECU10は、今回の処理を終了する。このように、表示装置は、点滅表示Pdを投影することで、割り込み後の割り込み候補車両Naの存在を運転者に注意喚起して運転者の運転意識低下を抑制することができる。
また、表示装置は、割込確率を用いて割り込み候補車両Naが存在するか否かを判定してもよい。ここで、図18(a)は、運転者の覚醒維持時間と点滅表示の頻度の関係を示すグラフである。図18(a)の縦軸は覚醒維持時間である、横軸は点滅表示Pの頻度である。覚醒維持時間とは、運転者が覚醒状態を維持できる時間である。図18(a)に有効時間Tmを示す。有効時間Tmは、運転者の運転意識低下の抑制に有効であったと想定される覚醒維持時間の閾値である。図18(a)に示すp1、p2は、覚醒維持時間が有効時間Tmと交差したときの点滅表示Pの頻度である。
図18(a)に示すように、点滅表示Pの頻度が小(低頻度)であると、運転者の覚醒維持時間を延ばすことができず運転意識低下を抑制する効果を十分に得られない。一方で、点滅表示Pの頻度が大であっても、運転者が煩わしさを感じて点滅表示Pが無視されるため、覚醒維持時間を延ばすことができず運転意識低下を抑制する効果を十分に得られない。このため、効果を得るためには適正な頻度で点滅表示PをフロントガラスWに投影して運転者に視覚刺激を与えることが考えられる。
図18(b)は、点滅表示と他車両の割込確率の関係を示すグラフである。割込確率とは、隣接車線R2、R3を走行する他車両が走行車線R1に割り込む可能性に関する指標である。割り込み候補車両判定部14は、例えば、他車両と走行車線との横方向距離、他車両と自車両Mの相対速度、他車両の方向指示器の点灯の有無、自車両Mと先行車Nbとの車間距離などに基づいて、他車両の割込確率を算出する。
割り込み候補車両判定部14は、他車両と走行車線との横方向距離が小さいほど割込確率を高く算出する。割り込み候補車両判定部14は、他車両と自車両Mの相対速度がゼロに近いほど割込確率を高く算出する。割り込み候補車両判定部14は、他車両の走行車線R1側の方向指示器が点灯している場合、消灯している場合と比べて、割込確率を高く算出する。割り込み候補車両判定部14は、自車両Mと先行車Nbとの車間距離が小さいほど、割込確率を低く算出する。なお、割込確率を算出する他車両は、自車両Mより前を走行する他車両に限ってもよい。
図18(b)に示すように、割り込み候補車両判定部14は、隣接車線を走行する他車両の割込確率が閾値q1以上である場合に、割り込み候補車両Naが存在すると判定する。表示制御部18は、割込確率が閾値q1以上の他車両を割り込み候補車両Naとして第1点滅表示Paを投影する。この閾値q1を図18(a)の閾値p1に対応させることで、適正な頻度の第1点滅表示Paを実現することができる。なお、割り込み候補車両判定部14は、自車両Mの前を走行する先行車Nbが存在する場合にのみ、割り込み候補車両Naが存在するか否かを判定してもよい。
その他、表示装置は、点滅表示Pの投影を自動運転中に限る必要はない。自車両Mは自動運転可能である必要はない。表示装置は、手動運転中(運転者の手動運転を主とした運転支援中も含む)であっても、割り込み候補車両Na、先行車Nb、接近している白線などに関する点滅表示Pを投影することができる。また、運転操作がほとんど必要ない単調な道路を自車両Mが走行している場合であっても、点滅表示Pの投影により運転者に注意喚起すると共に運転意識低下を抑制することができる。この場合、図9、図10、図15に示すフローチャートは、自車両Mが走行中である場合に実行される。
また、表示装置は、減速度が減速閾値以上の先行車Nbに代えて、自車両Mとの衝突余裕時間[TimeTo Collision:TTC]がTTC閾値以下の先行車が存在する場合に、当該先行車に対応する第2点滅表示Pbを投影してもよい。TTC閾値は、予め設定された値である。この場合、先行車判定部15は、自車両Mとの衝突余裕時間がTTC閾値以下の先行車が存在するか否かを判定する。出現間隔算出部16は、自車両Mとの衝突余裕時間がTTC閾値以下の先行車が存在すると判定された場合、前回に上記の先行車が存在すると判定されたときからの経過時間に対応する第2出現間隔Tjを算出する。表示制御部18は、自車両Mとの衝突余裕時間がTTC閾値以下の先行車が存在すると判定された場合、当該先行車を運転者に注意喚起するため第2点滅表示Pbを投影する。
なお、先行車判定部15は、自車両Mとの衝突余裕時間がTTC閾値以下であり、且つ、減速度が減速閾値以下の先行車が存在するか否かを判定してもよい。表示制御部18は、自車両Mとの衝突余裕時間がTTC閾値以下であり、且つ、減速度が減速閾値以下の先行車が存在すると判定された場合、当該先行車を運転者に注意喚起するため第2点滅表示Pbを投影する。この場合、衝突余裕時間が長く運転者に注意喚起を行う必要のない先行車に対する第2点滅表示の投影を避けることができる。
なお、表示装置は、必ずしも第2点滅表示Pbを投影する必要はない。この場合、表示装置は、先行車判定部15を備える必要はない。
また、表示装置は、必ずしも自車両Mの車速を判定する必要はない。表示装置は、自車両Mの車速に関わらず、点滅表示Pを投影してもよい。この場合、表示装置は、必ずしも車速センサ4を備える必要はない。この場合には、図9のS10、図10のS30、図15のS60は不要である。
また、表示装置は、運転者が自車両Mの運転に集中している集中状態であるときには、第1点滅表示Paの点滅回数を更に少なくしてもよい。この場合、運転者状態判定部17は、運転者が集中状態であるか否かを判定する。ここで、図8(c)は、運転者の閉眼時間と点滅回数との関係の他の例を示す図である。図8(c)に、閉眼時間閾値Tg0を示す。閉眼時間閾値Tg0は、運転者の集中状態を判定するために予め設定された閾値である。集中状態は、自動運転中であっても手動運転中であっても判定することができる。
運転者状態判定部17は、運転者の閉眼時間が閉眼時間閾値Tg0未満である場合、運転者が集中状態であると判定する。なお、運転者状態判定部17は、運転者の閉眼時間が閉眼時間閾値Tg0以上で閉眼時間閾値Tg以下の場合、運転者が覚醒状態であると判定する。表示制御部18は、運転者が集中状態であると判定された場合、運転者が集中状態ではないと判定された場合(運転者が覚醒状態又は覚醒低下状態であると判定された場合)と比べて、第1点滅表示Paの点滅回数を少なくする。これにより、表示装置100は、運転者が集中状態であるときに、運転者に過剰な第1点滅表示Paの視覚刺激を与えて煩わしさを感じさせることを抑制できる。第2点滅表示Pb及び第3点滅表示Pcの点滅回数についても同様にすることができる。
なお、表示装置は、必ずしも運転者の状態を判定する必要はない。この場合、表示装置は、ドライバモニタカメラ3及び運転者状態判定部17を備える必要はない。また、この場合には、図9においてS16及びS20は不要となり、S18において第1出現間隔Tiに基づく点滅回数Niの設定のみが行われる。同様に、図10において、S36及びS40は不要となり、S38において第2出現間隔Tjに基づく点滅回数Njの設定のみが行われる。また、図15において、S64、S66、及びS68が不要となり、S70において予め設定された点滅回数による第3点滅表示Pcの投影が行われる。
表示装置は、点滅回数を最低1回に設定してもよい。この場合、表示制御部18は、第1出現間隔Tiが閾値T10未満であっても、点滅回数を1回として第1点滅表示Paを投影する。第2点滅表示Pbについても同様である。
出現間隔算出部16は、前回に割り込み候補車両Naが存在すると判定されたときからの経過時間に対応する第1出現間隔Tiとして、前回に割り込み候補車両Naが存在すると判定されたときからの経過時間に所定の係数を乗じた時間を採用してもよい。出現間隔算出部16は、第1出現間隔Tiとして、上記の経過時間に所定値を加えた時間を採用してもよい。
同様に、出現間隔算出部16は、前回に減速度が減速閾値以上の先行車Nbが存在すると判定されたときからの経過時間に対応する第2出現間隔Tjとして、前回に上記の先行車Nbが存在すると判定されたときからの経過時間に所定の係数を乗じた時間を採用してもよい。出現間隔算出部16は、第2出現間隔Tjとして、上記の経過時間に所定値を加えた時間を採用してもよい。
1…ステレオカメラ、2…レーダセンサ、3…ドライバモニタカメラ、4…車速センサ、5…自動運転ECU、6…表示投影部、11…他車両認識部、12…白線認識部、13…車速判定部、14…割り込み候補車両判定部、15…先行車判定部、16…出現間隔算出部、17…運転者状態判定部、18…表示制御部、21…車両横位置認識部、22…ふらつき判定部、23…表示制御部、100,200…表示装置、C1…表示外枠、C2…表示内枠、M…自車両、Na…割込候補車両、Nb…先行車、Ni…点滅回数、Nj…点滅回数、Pa…第1点滅表示、Pb…第2点滅表示、Pc…第3点滅表示、R1…走行車線、R2…隣接車線、R3…隣接車線、W…フロントガラス。

Claims (5)

  1. 自車両のフロントガラスに表示を投影する表示投影部を備えた表示装置であって、
    前記自車両の周辺に存在する他車両を認識する他車両認識部と、
    前記他車両認識部の認識結果に基づいて、前記自車両の前に割り込みを行う可能性のある割り込み候補車両が存在するか否かを判定する割り込み候補車両判定部と、
    前記割り込み候補車両判定部により前記割り込み候補車両が存在すると判定された場合、前回に前記割り込み候補車両が存在すると判定されたときからの経過時間に対応する第1出現間隔を算出する出現間隔算出部と、
    前記割り込み候補車両判定部により前記割り込み候補車両が存在すると判定された場合、前記表示投影部によって、前記割り込み候補車両を前記自車両の運転者に注意喚起するための第1点滅表示を前記フロントガラスに投影させる表示制御部と、
    を備え、
    前記表示制御部は、前記第1出現間隔が第1閾値未満であるとき、前記第1出現間隔が前記第1閾値以上であるときと比べて、前記第1点滅表示の点滅回数を少なくし、前記第1出現間隔が第1閾値未満であるときの前記点滅回数は1回以上である、表示装置。
  2. 前記他車両認識部の認識結果に基づいて、前記自車両の前に減速度が減速閾値以上の先行車が存在するか否かを判定する先行車判定部を更に備え、
    前記出現間隔算出部は、前記先行車判定部により前記先行車が存在すると判定された場合、前回に前記先行車が存在すると判定されたときからの経過時間に対応する第2出現間隔を算出し、
    前記表示制御部は、前記先行車判定部により前記先行車が存在すると判定された場合、前記先行車を前記運転者に注意喚起するための第2点滅表示を前記フロントガラスに投影させ、
    前記第2出現間隔が第2閾値未満であるとき、前記第2出現間隔が前記第2閾値以上であるときと比べて、前記第2点滅表示の点滅回数を少なくする、請求項1に記載の表示装置。
  3. 前記運転者を撮像するドライバモニタカメラと、
    前記ドライバモニタカメラの撮像画像に基づいて、前記運転者が運転意識低下状態であるか否かを判定する運転者状態判定部と、を更に備え、
    前記表示制御部は、前記割り込み候補車両判定部により前記割り込み候補車両が存在すると判定された場合であって、前記運転者状態判定部により前記運転者が前記運転意識低下状態ではないと判定されたときには、前記運転者が前記運転意識低下状態であると判定されたときと比べて、前記第1点滅表示の点滅回数を少なくする、請求項1に記載の表示装置。
  4. 前記運転者を撮像するドライバモニタカメラと、
    前記ドライバモニタカメラの撮像画像に基づいて、前記運転者が運転意識低下状態であるか否かを判定する運転者状態判定部と、を更に備え、
    前記表示制御部は、前記先行車判定部により前記先行車が存在すると判定された場合であって、前記運転者状態判定部により前記運転者が前記運転意識低下状態ではないと判定されたときには、前記運転者が前記運転意識低下状態であると判定されたときと比べて、前記第2点滅表示の点滅回数を少なくする、請求項2に記載の表示装置。
  5. 前記自車両の走行する走行車線の車線幅方向における前記自車両の横位置を認識する車両横位置認識部と、
    前記車両横位置認識部の認識した前記自車両の横位置に基づいて、前記走行車線の左右の白線の何れかに前記自車両が接近したか否かを判定するふらつき判定部と、を更に備え、
    前記表示制御部は、前記ふらつき判定部により前記左右の白線の何れかに前記自車両が接近したと判定された場合、前記自車両の接近した前記白線を前記運転者に注意喚起するための第3点滅表示を前記フロントガラスに投影させる、請求項1〜4の何れか一項に記載の表示装置。
JP2016032325A 2016-02-23 2016-02-23 表示装置 Active JP6369487B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016032325A JP6369487B2 (ja) 2016-02-23 2016-02-23 表示装置
US15/436,059 US10086757B2 (en) 2016-02-23 2017-02-17 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016032325A JP6369487B2 (ja) 2016-02-23 2016-02-23 表示装置

Publications (2)

Publication Number Publication Date
JP2017151637A JP2017151637A (ja) 2017-08-31
JP6369487B2 true JP6369487B2 (ja) 2018-08-08

Family

ID=59629239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016032325A Active JP6369487B2 (ja) 2016-02-23 2016-02-23 表示装置

Country Status (2)

Country Link
US (1) US10086757B2 (ja)
JP (1) JP6369487B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746033B1 (ja) * 2019-09-30 2020-08-26 三菱電機株式会社 情報処理装置、情報処理方法、映像提示装置、及び情報処理プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
KR101795249B1 (ko) * 2016-05-02 2017-11-07 현대자동차주식회사 차량 및 그것의 주행 안전 지원 방법
MX2019001528A (es) * 2016-08-09 2019-07-04 Nissan Motor Metodo de control y dispositivo de control de vehiculo de conduccion automatica.
JP6780461B2 (ja) * 2016-11-14 2020-11-04 いすゞ自動車株式会社 運転支援システム及び運転支援方法
JP6540663B2 (ja) 2016-11-18 2019-07-10 トヨタ自動車株式会社 車両システム
WO2018147207A1 (ja) * 2017-02-13 2018-08-16 日立オートモティブシステムズ株式会社 自動車の走行制御装置、及び自動車の走行制御システム
JP6926929B2 (ja) * 2017-10-18 2021-08-25 株式会社デンソー 表示制御装置
KR102506865B1 (ko) * 2017-12-13 2023-03-08 현대자동차주식회사 컷인 의도 판단 장치 및 방법
JP6630375B2 (ja) * 2018-01-17 2020-01-15 本田技研工業株式会社 走行制御装置及び走行制御方法
US10732640B2 (en) * 2018-04-13 2020-08-04 Blackberry Limited System and method for preforming differential analysis of vehicles
US10723362B2 (en) * 2018-06-05 2020-07-28 Denso International America, Inc. Driver assistance system operating based on autonomous statuses of host and local vehicles while in a multi-level autonomous environment
JP6978988B2 (ja) * 2018-08-07 2021-12-08 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
US11148670B2 (en) * 2019-03-15 2021-10-19 Honda Motor Co., Ltd. System and method for identifying a type of vehicle occupant based on locations of a portable device
JP7151603B2 (ja) * 2019-04-15 2022-10-12 株式会社デンソー 覚醒装置
WO2021064938A1 (ja) * 2019-10-03 2021-04-08 三菱電機株式会社 表示制御装置、表示システム、及び表示制御方法
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
CN112652176B (zh) * 2020-12-09 2022-05-10 东风汽车集团有限公司 基于相邻车辆运动状态的预警方法、系统及车辆
US20240042855A1 (en) * 2020-12-25 2024-02-08 Nissan Motor Co., Ltd. Information processing device and information processing method
JP2023047174A (ja) 2021-09-24 2023-04-05 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両、車両用表示制御方法及びプログラム
US11861916B2 (en) * 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
CN114360291A (zh) * 2021-12-23 2022-04-15 东风柳州汽车有限公司 驾驶员危险预警方法、装置、设备及存储介质
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4518083B2 (ja) * 2007-01-29 2010-08-04 株式会社デンソー 覚醒維持装置
JP4929114B2 (ja) 2007-09-28 2012-05-09 日産自動車株式会社 車両用情報報知装置、情報提供システム、情報報知方法
US8310353B2 (en) * 2008-03-31 2012-11-13 Honda Motor Co., Ltd. Vehicle blind spot detection and indicator system
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
JP5510202B2 (ja) 2010-09-01 2014-06-04 トヨタ自動車株式会社 車両用視覚能力訓練装置
JP6303428B2 (ja) 2013-11-19 2018-04-04 日本精機株式会社 車両情報投影システム
JP6223143B2 (ja) * 2013-11-21 2017-11-01 三菱電機株式会社 運転支援装置および運転支援方法
JP6476546B2 (ja) 2014-01-22 2019-03-06 株式会社豊田中央研究所 覚醒維持装置及びプログラム
JP6323124B2 (ja) * 2014-03-31 2018-05-16 富士通株式会社 通知プログラム、条件設定プログラム、通知方法、車載装置、及び情報処理装置
JP6443716B2 (ja) * 2014-05-19 2018-12-26 株式会社リコー 画像表示装置、画像表示方法及び画像表示制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746033B1 (ja) * 2019-09-30 2020-08-26 三菱電機株式会社 情報処理装置、情報処理方法、映像提示装置、及び情報処理プログラム
WO2021064778A1 (ja) * 2019-09-30 2021-04-08 三菱電機株式会社 情報処理装置、情報処理方法、映像提示装置、及び情報処理プログラム

Also Published As

Publication number Publication date
US20170240109A1 (en) 2017-08-24
US10086757B2 (en) 2018-10-02
JP2017151637A (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6369487B2 (ja) 表示装置
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
JP6540663B2 (ja) 車両システム
JP6342856B2 (ja) 車両制御装置
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
EP2535224B1 (en) Driving support equipment for vehicles
JP4825868B2 (ja) 車両用警報装置
JP2017033347A (ja) 表示装置
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN111361552A (zh) 自动驾驶系统
JP6269360B2 (ja) 運転支援システム及び運転支援方法
JP4647387B2 (ja) 車両の運転支援装置
JP4725254B2 (ja) 脇見判定装置
JP2008186416A (ja) 物体検出装置、通信システム、および車車間通信装置
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
JP2013105263A (ja) 車両の覚醒度検出装置及び車両の警報装置
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
JP4186749B2 (ja) 脇見判定装置
KR101500016B1 (ko) 차선 이탈 경보 방법
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP6811743B2 (ja) 安全運転支援装置
JP2020086907A (ja) 漫然運転判定装置
JP4754305B2 (ja) 運転状態推定装置
WO2019155913A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180625

R151 Written notification of patent or utility model registration

Ref document number: 6369487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151