WO2017056570A1 - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- WO2017056570A1 WO2017056570A1 PCT/JP2016/067560 JP2016067560W WO2017056570A1 WO 2017056570 A1 WO2017056570 A1 WO 2017056570A1 JP 2016067560 W JP2016067560 W JP 2016067560W WO 2017056570 A1 WO2017056570 A1 WO 2017056570A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- notification
- driver
- processing unit
- output
- vehicle
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 description 34
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- B60K35/285—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Abstract
運転支援装置は、車両の周囲の状況を認識する認識処理部と、認識処理部によって認識された車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、車両の周囲の状況が変化した場合に、車両の周囲の状況の変化を表示部に表示する表示処理部と、車両の運転者の視線に関する情報を検出する検出処理部と、車両の周囲の状況が変化した場合に、表示部とは別の通知部を用いて、車両の周囲の状況が変化したことを運転者に通知する第1の通知を出力し、第1の通知を出力した後、検出処理部による検出結果に基づき、運転者の視線が表示部に向いていることが検出されない場合に、通知部を用いて、車両の周囲の状況が変化したことを運転者に再度通知する第2の通知を出力する出力処理部と、を備える。
Description
本発明の実施形態は、運転支援装置に関する。
従来、センサやカメラなどによって認識される車両の周囲の状況に応じた運転支援制御を実行する技術が知られている。このような技術では、車両の周囲の状況が変化した場合、当該状況の変化が表示部などに視覚的に表示される。
上記のような技術では、車両の周囲の状況が変化した場合に、より確実に、運転者に車両の周囲の状況を視認させることが望まれている。
実施形態による運転支援装置は、車両の周囲の状況を認識する認識処理部と、認識処理部によって認識された車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、車両の周囲の状況が変化した場合に、車両の周囲の状況の変化を表示部に表示する表示処理部と、車両の運転者の視線に関する情報を検出する検出処理部と、車両の周囲の状況が変化した場合に、表示部とは別の通知部を用いて、車両の周囲の状況が変化したことを運転者に通知する第1の通知を出力し、第1の通知を出力した後、検出処理部による検出結果に基づき、運転者の視線が表示部に向いていることが検出されない場合に、通知部を用いて、車両の周囲の状況が変化したことを運転者に再度通知する第2の通知を出力する出力処理部と、を備える。このような構成により、第1の通知と、第2の通知とを用いて、より確実に、運転者に車両の周囲の状況の変化を視認させることができる。
上記の運転支援装置において、出力処理部は、運転者の視線が表示部に向いていることが検出されるまで、第2の通知を繰り返し出力する。このような構成により、さらに確実に、運転者に車両の周囲の状況の変化を視認させることができる。
上記の運転支援装置において、出力処理部は、第2の通知を、第1の通知とは異なる出力形態で出力するとともに、第2の通知を2回以上出力する場合、2回目以降の第2の通知を、過去に出力した第2の通知とは異なる出力形態で出力する。このような構成により、たとえば、後で出力される方の通知の注意喚起力を高めることで、より確実に、運転者に車両の周囲の状況の変化を視認させることができる。
上記の運転支援装置において、出力処理部は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、予め設定された回数まで第2の通知を繰り返し出力する。このような構成により、第2の通知の繰り返しの出力によって運転者に過度に煩わしさを感じさせるのを抑制することができる。
上記の運転支援装置において、出力処理部は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、検出処理部によって運転者の視線が表示部に向いていることが検出され、かつ、運転者が所定の能動的な目の操作を行ったことが検出されるまで、第2の通知を繰り返し出力する。このような構成により、運転者が表示部に能動的に目を向けたか否かをより確実に判定することができる。
上記の運転支援装置において、通知部は、音を出力可能な音出力部を含み、出力処理部は、音出力部を用いて、第1の通知および第2の通知を音で出力する。このような構成により、音を用いて、より容易に、車両の周囲の状況が変化したことを運転者に通知することができる。
また、実施形態による運転支援装置は、車両の周囲の状況を認識する認識処理部と、認識処理部によって認識された車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、車両の運転者の視線に関する情報を検出する検出処理部と、車両の周囲の状況が変化した場合に、検出処理部による検出結果に基づき、運転者の視線の向きを含む運転姿勢が所定の条件を満たすことが検出された場合、車両の周囲の状況が変化したことを運転者に通知する第1の通知を出力し、運転姿勢が所定の条件を満たさないことが検出された場合、運転姿勢が所定の条件を満たさないことを運転者に警告する第1の警報を出力する出力処理部と、を備える。このような構成により、車両の周囲の状況が変化した場合に、第1の通知と、第1の警報とを用いて、必要に応じて運転姿勢を正すことを運転者に促し、より確実に、運転者に車両の周囲の状況の変化を確認させることができる。
上記の運転支援装置において、運転姿勢が所定の条件を満たすこととは、運転者の視線の向きが正常に検出され、かつ、運転者の視線が車両の進行方向に対して所定の角度範囲内に向いていることである。このような構成により、2つの条件を用いて、運転者がたとえば片手運転やわき見運転などを行っているか否かを容易に判断することができる。
上記の運転支援装置において、出力処理部は、第1の警報を出力した後においても、運転姿勢が所定の条件を満たさないことが検出された状態が継続する場合、運転姿勢が所定の条件を満たすことが検出されるまで、運転姿勢が所定の条件を満たさないことを運転者に再度警告する第2の警報を繰り返し出力する。このような構成により、第2の警報を用いて、運転姿勢を正すことを運転者により強く促すことができる。
上記の運転支援装置において、車両の周囲の状況が変化した場合に、車両の周囲の状況の変化を表示部に表示する表示処理部をさらに備え、出力処理部は、第1の通知を出力した後、検出処理部によって運転者の視線が表示部に向いていることが検出されない場合、運転者の視線が表示部に向いていることが検出処理部によって検出されるまで、車両の周囲の状況が変化したことを運転者に再度通知する第2の通知を繰り返し出力する。このような構成により、第2の通知を用いて、より確実に、運転者に車両の周囲の状況の変化を視認させることができる。
上記の運転支援装置において、出力処理部は、音を出力可能な音出力部を用いて、第1の通知または第1の警報を音で出力する。このような構成により、音を用いて、より容易に、必要に応じて運転姿勢を正すことを運転者に促し、運転者に車両の周囲の状況の変化を確認させることができる。
以下、実施形態を図面に基づいて説明する。
(第1実施形態)
まず、図1~図5を参照して、第1実施形態による車両1の概略的構成について説明する。
まず、図1~図5を参照して、第1実施形態による車両1の概略的構成について説明する。
第1実施形態による車両1は、たとえば、エンジンなどの内燃機関を駆動源とする車両(内燃機関自動車)であってもよいし、モータなどの電動機を駆動源とする車両(電気自動車、燃料電池自動車など)であってもよい。また、車両1は、これらの双方を駆動源とする車両(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品など)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式、数、レイアウトなどは、種々に設定することができる。
図1に示すように、第1実施形態による車両1は、車体2を備える。車体2は、乗員(不図示)が乗車する車室2aを構成する。車室2a内には、乗員としての運転者(図1には不図示)の座席2bに対応するように、操舵部4や、インストルメントパネル25などが設けられている。操舵部4は、たとえば、ダッシュボード12から突出したステアリングホイール4aである。
図2に示すように、インストルメントパネル25には、スピードメーター25aと、タコメーター25bと、表示装置25cとが設けられている。表示装置25cは、たとえば、液晶ディスプレイや、有機EL(Electroluminescent)ディスプレイなどである。図2の例では、表示装置25cは、インストルメントパネル25の略中央で、スピードメーター25aと、タコメーター25bとの間に位置している。
第1実施形態では、インストルメントパネル25の表示装置25cに、車両1が実行する運転支援制御に関する情報が表示される。運転支援制御の例としては、たとえば、車両1を自動で前走車に対して追従走行させる追従走行制御が挙げられる。追従走行制御が実行されている場合、表示装置25cには、前走車の有無や、前走車との間の車間距離などの情報が、たとえば図3および図4に示すような態様で表示される。図3は、前走車が存在する場合に表示装置25cに表示される画像IM1の具体例を示した例示図である。この図3の画像IM1には、前走車を示すマークM1が表示されている。図4は、前走車が存在しない場合に表示装置25cに表示される画像IM2の具体例を示した例示図である。この図4の画像IM2には、図3の画像IM1と異なり、前走車を示すマークM1が表示されていない。
図1に戻り、車室2a内には、上記の表示装置25cとは別の表示装置8と、音声出力装置9とが設けられている。表示装置8は、たとえば、液晶ディスプレイや、有機ELディスプレイなどである。また、音声出力装置9は、たとえば、スピーカである。図1の例では、表示装置8と、音声出力装置9とは、ダッシュボード12の車幅方向(左右方向)の中央部(いわゆるセンターコンソール)に位置するナビゲーション装置11に設けられている。
第1実施形態では、ナビゲーション装置11の表示装置8に、車両1の走行時に車両1の現在位置や目的地への経路案内などの情報(画像)が表示される。この表示装置8は、タッチパネルなどの操作入力部10を備える。車両1の乗員は、操作入力部10を手指などでタッチすることにより、表示装置8に表示される画像に対して種々の操作入力(指示入力)を実行することができる。なお、ナビゲーション装置11は、スイッチ、ダイヤル、ジョイスティック、押しボタンなどの操作入力部(図示せず)を有することもできる。
ここで、第1実施形態では、図5に示すように、ステアリングホイール4aのステアリングコラム4bに、撮像装置201が設置されている。撮像装置201は、たとえば、CCD(Charge Coupled Device)カメラなどである。撮像装置201は、座席2bに着座する運転者302の顔が、視野中心に位置するように、視野角および姿勢が調整されている。この撮像装置201は、座席2bに座った運転者302の顔を撮影し、撮影により得た画像データを順次出力する。なお、撮像装置201は、運転者302の視線を撮影可能な位置に設置されていればよく、たとえば、ナビゲーション装置11が設置されるセンターコンソールや、運転席(座席2b)側のAピラーや、ルームミラーなどに設置されてもよい。
次に、図6を参照して、第1実施形態による車両1に搭載される運転支援システム100の構成について説明する。
図6に示すように、運転支援システム100では、ECU14や、ナビゲーション装置11、操舵システム13、測距部16および17などの他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22などが、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。ECU14は、「運転支援装置」の一例である。
車内ネットワーク23は、たとえば、CAN(Controller Area Network)として構成される。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13のアクチュエータ13aや、ブレーキシステム18のアクチュエータ18aなどを動作させることができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16および17、アクセルセンサ20、シフトセンサ21、車輪速センサ22などの検出結果や、操作入力部10などによる操作信号などを、受け取ることができる。
図6の例では、ECU14は、CPU14a(Central Processing Unit)と、ROM14b(Read Only Memory)、RAM14c(Random Access Memory)と、表示制御部14dと、音声制御部14eと、SSD14f(Solid State Drive、フラッシュメモリ)とを備える。
CPU14aは、車両1全体の制御を行う。CPU14aは、ROM14bなどの不揮発性の記憶装置にインストールされたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。RAM14cは、CPU14aの演算で用いられる各種のデータを一時的に記憶する。
表示制御部14dは、ECU14での演算処理のうち、主として、撮像装置15および201で得られる画像データを用いた画像処理や、表示装置8および25cで表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶装置であって、たとえばECU14の電源がオフされた場合でも、データを保持することができる。
第1実施形態では、CPU14aや、ROM14b、RAM14cなどは、同一パッケージ内に集積されうる。また、ECU14では、CPU14aに替えて、DSP(Digital Signal Processor)などの他の論理演算プロセッサや論理回路などが用いられてもよい。また、ECU14では、SSD14fに替えて(またはSSD14fに加えて)、HDD(Hard Disk Drive)が設けられてもよい。なお、SSD14fおよびHDDは、ECU14とは別に設けられてもよい。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
ここで、第1実施形態によるECU14のCPU14aは、運転支援制御の実行時に、ROM14bに格納されたプログラムを実行することで、図7に示すような機能的構成(機能モジュール)をRAM14c上に実現する。
図7に示すように、ECU14は、機能的構成として、認識処理部401と、運転支援処理部402と、表示処理部403と、検出処理部404と、出力処理部405とを備える。
認識処理部401は、撮像装置15から得られる画像データなどに基づいて、車両1の周囲の状況を認識する。運転支援処理部402は、認識処理部401によって認識された車両1の周囲の状況に応じて運転支援制御を実行する。たとえば、運転支援制御として追従走行制御が実行される場合、認識処理部401は、前走車の有無や、前走車との車間距離などを認識する。以下では、運転支援制御が追従走行制御である場合のみを例に挙げて説明するが、第1実施形態による運転支援制御は、追従走行制御に限られるものではなく、駐車支援制御なども含み得る。また、以下では、簡単化のため、認識処理部401によって認識された車両1の周囲の状況を、認識状況という言葉で表現する。
表示処理部403は、認識処理部401による認識状況に応じて、インストルメントパネル25の表示装置25cに表示する画像を制御する。たとえば、前走車が存在していると認識されている場合、表示処理部403は、前走車を示すマークM1を含む画像IM1(図3参照)を表示装置25cに表示する。
ここで、第1実施形態による表示処理部403は、認識処理部401による認識状況が変化した場合に、当該認識状況の変化を、表示装置25cに表示する。認識状況の変化とは、追従走行制御の制御内容が切り替わるトリガとなるような変化である。追従走行制御では、たとえば、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合に、車両1を自動で加速させるように、制御内容が自動で切り替わる。したがって、第1実施形態による表示処理部403は、追従走行制御の実行時において、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合、表示装置25cに表示する画像を、前走車を示すマークM1を含む画像IM1(図3参照)から、前走車を示すマークM1を含まない画像IM2(図4参照)に切り替える。
検出処理部404は、車両1の運転者302(図5参照)の視線に関する情報を検出する。たとえば、検出処理部404は、撮像装置201から得られる画像データと、SSD14fなどの記憶媒体に予め保存される三次元顔モデルとに基づいて、運転者302の顔をトラッキングしながら、運転者302の顔の向き、目の位置、目が向いている方向(視線方向)、目の動作などを検出する。なお、三次元顔モデルとは、平均的な被験者の三次元顔形状や、被験者の目や口、鼻などの顔部品の位置、被験者の目の形状の変化情報などを含む統計的顔形状モデルである。
ところで、上述したように、追従走行制御では、たとえば、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合に、車両1を自動で加速させるように、制御内容が自動で切り替わる。しかしながら、たとえば、実際には前走車が存在するにも関わらず前走車が存在しないと認識された場合など、車両1を自動で加速させるのには不適切な場合も存在する。このような場合、運転者302は、認識処理部401が認識した車両1の周囲の状況を表示装置25cにより視認した上で、車両1の周囲の状況を実際に目視し、車両1を能動的に操作する必要がある。したがって、認識処理部401による認識状況が変化した場合、当該認識状況の変化が発生したことを、より確実に運転者302に通知することが望まれている。
そこで、第1実施形態による出力処理部405は、認識処理部401による認識状況が変化した場合、運転者302に表示装置25cの視認を促すために、表示装置25cとは別の通知手段(通知部)を用いて、認識状況が変化したことを運転者302に通知する。そして、出力処理部405は、検出処理部404の検出結果を監視して、運転者302が表示装置25cを本当に視認したか否かを判定する。
具体的に、出力処理部405は、認識状況が変化した場合、ナビゲーション装置11の音声出力装置9を用いて、認識状況が変化したことを運転者302に通知する第1の通知を、音で出力する。また、出力処理部405は、第1の通知を出力した後、検出処理部404による検出結果を監視し、運転者302の視線が表示装置25cに向いていることが検出されない場合に、音声出力装置9を用いて、認識状況が変化したことを運転者302に再度通知する第2の通知を、音で出力する。そして、出力処理部405は、運転者302の視線が表示装置25cに向いていることが検出されるまで、第2の通知を繰り返し出力する。
第1の通知は、運転者302に表示装置25cの視認を促す音声メッセージやビープ音などである。また、第2の通知は、運転者302に表示装置25cの視認をより強く促す音声メッセージやビープ音などである。このように、出力処理部405は、第2の通知を、第1の通知とは異なる出力形態で出力する。つまり、第2の通知は、第1の通知が運転者302の視線を表示装置25cに向けさせることができなかった場合の念押しとして出力されるものであるので、第2の通知を第1の通知と同様の出力形態で出力するのでは、運転者302の注意を十分に惹くことができない場合がある。したがって、出力処理部405は、第2の通知を、たとえば、第1の通知よりも大きい音量で出力したり、第1の通知とは異なる音声パターンで(つまり、第1の通知よりも注意喚起力が高い音声パターンで)出力したりする。
また、出力処理部405は、第2の通知を2回以上出力する場合、2回目以降の第2の通知を、過去に出力した第2の通知(たとえば1回目の第2の通知)とは異なる出力形態で出力する。つまり、出力処理部405は、2回目以降の第2の通知の注意喚起力を1回目の第2の通知よりも高めるために、2回目以降の第2の通知を、たとえば、1回目の第2の通知よりも大きい音量で出力したり、2回目以降の第2の通知を、1回目の第2の通知よりも注意喚起力が高い音声パターンで出力したりする。
次に、図8を参照して、第1実施形態によるECU14が実行する処理を説明する。
図8の処理フローでは、まず、S1において、認識処理部401は、車両1の周囲の認識状況が変化したか否かを判断する。このS1の処理は、認識状況が変化したと判断されるまで繰り返される。そして、S1において、認識状況が変化したと判断された場合、S2に処理が進む。
S2において、表示処理部403は、認識状況の変化をインストルメントパネル25の表示装置25cに表示し、出力処理部405は、認識状況が変化したことを通知する第1の通知を、ナビゲーション装置11の音声出力装置9を介して音で出力する。そして、S3において、出力処理部405は、検出処理部404による検出結果を監視する。
S4において、出力処理部405は、認識状況が変化したことを運転者302に再度通知する第2の通知が既に出力済か否かを判断する。
S4において、第2の通知がまだ1回も出力されていない場合、S5に処理が進む。そして、S5において、出力処理部405は、S3の監視結果に基づいて、運転者302の視線が表示装置25cに向いていることが検出されたか否かを判断する。
S5において、運転者302の視線が表示装置25cに向いていることが検出された場合、運転者302が表示装置25cを視認したと推定できるので、これ以上運転者302に表示装置25cを視認するように促す必要がなくなり、処理が終了する。しかしながら、S5において、運転者302の視線が表示装置25cに向いていることが検出されない場合、運転者302に表示装置25cを視認するように再度促す必要がある。
そこで、S6において、出力処理部405は、認識状況が変化したことを運転者302に再度通知する第2の通知を、S2で出力した第1の通知とは異なる出力形態で、ナビゲーション装置11の音声出力装置9を介して音で出力する。たとえば、出力処理部405は、第2の通知を、第1の通知よりも大きい音量で出力したり、第2の通知を、第1の通知とは異なる音声パターンで出力したりする。そして、S4に処理が戻る。
なお、S4において、第2の通知が少なくとも1回は既に出力されていると判断された場合、S7に処理が進む。そして、S7において、出力処理部405は、S3の監視結果に基づいて、運転者302の視線が表示装置25cに向いていることが検出されたか否かを判断する。
S7において、運転者302の視線が表示装置25cに向いていることが検出された場合、これ以上運転者302に表示装置25cを視認するように促す必要がなくなるので、処理が終了する。しかしながら、S7において、運転者302の視線が表示装置25cに向いていることが検出されない場合、運転者302が表示装置25cを視認したとは言えないので、運転者302に表示装置25cを視認するように再度促す必要がある。
そこで、S8において、出力処理部405は、第2の通知を、音声出力装置9を介して音で再度出力する。なお、出力処理部405は、このS8で出力する第2の通知の出力形態を、過去に出力した第2の通知(たとえばS6で出力された第2の通知)の出力形態とは異ならせる。そして、S4に処理が戻る。
以上説明したように、第1実施形態による表示処理部403は、認識処理部401による認識状況が変化した場合に、当該認識状況の変化をインストルメントパネル25の表示装置25cに表示する。また、出力処理部405は、認識状況が変化した場合に、表示装置25cとは別の通知部(音声出力装置9)を用いて、認識状況が変化したことを運転者302に通知する第1の通知を出力する。そして、出力処理部405は、第1の通知を出力した後、検出処理部404による検出結果を監視し、運転者302の視線が表示装置25cに向いていることが検出されない場合に、音声出力装置9を用いて、認識状況が変化したことを運転者302に再度通知する第2の通知を出力する。これにより、第1の通知と、第2の通知とを用いて、より確実に、運転者302に認識状況の変化を視認させることができる。
また、第1実施形態による出力処理部405は、運転者302の視線が表示装置25cに向いていることが検出されるまで、第2の通知を繰り返し出力する。これにより、さらに確実に、運転者302に認識状況の変化を視認させることができる。
また、第1実施形態による出力処理部405は、第2の通知を、第1の通知とは異なる出力形態で出力するとともに、第2の通知を2回以上出力する場合、2回目以降の第2の通知を過去に出力した第2の通知とは異なる出力形態で出力する。これにより、たとえば、後で出力される方の通知の注意喚起力を高めることで、より確実に、運転者302に認識状況の変化を視認させることができる。
(第2実施形態)
次に、図7を参照して、第2実施形態によるECU214の構成について説明する。この第2実施形態では、2回目以降の第2の通知の出力を停止させる条件が、運転者302の視線が表示装置25cに向いていること、という1つの条件だけである第1実施形態と異なり、2回目以降の第2の通知の出力を停止させる条件が、運転者302の視線が表示装置25cに向いていることと、第2の通知の出力回数が予め設定された回数以上になることとの、2つ存在する。
次に、図7を参照して、第2実施形態によるECU214の構成について説明する。この第2実施形態では、2回目以降の第2の通知の出力を停止させる条件が、運転者302の視線が表示装置25cに向いていること、という1つの条件だけである第1実施形態と異なり、2回目以降の第2の通知の出力を停止させる条件が、運転者302の視線が表示装置25cに向いていることと、第2の通知の出力回数が予め設定された回数以上になることとの、2つ存在する。
すなわち、第2実施形態による出力処理部2405は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、出力処理部2405は、予め設定された回数まで第2の通知を繰り返し出力する。より具体的に、出力処理部2405は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、運転者302の視線が表示装置25cに向いていることが検出されなくても、第2の通知の出力回数が予め設定された回数以上になった場合には、煩わしさの観点から、第2の通知を繰り返し出力することを停止する。なお、第2の通知の出力停止条件となる回数は、実験的または人間工学的に決定した数を予め設定しておいてもよいし、運転者302が自ら任意で設定できるようにしてもよい。
なお、第2実施形態のその他の構成は、上述した第1実施形態と同様であるため、ここでは説明を省略する。
次に、図9を参照して、第2実施形態によるECU214が実行する処理について説明する。第2実施形態では、上述した第1実施形態(図8参照)と同様のS1~S8の処理が実行される。第2実施形態では、第2の通知の再度の出力を行うか否かの判断基準が、運転者302の視線が表示装置25cに向いているか否か(S7)という基準以外の他の基準も存在するという点で、第1実施形態と異なる。
すなわち、第2実施形態による処理フロー(図9参照)では、S7において、運転者302の視線が表示装置25cに向いていないと判断された場合、S7aに処理が進む。そして、S7aにおいて、出力処理部2405は、既に出力済の第2の通知の出力回数が予め設定された回数以上か否かを判断する。予め設定された回数とは、運転者302が過度の煩わしさを感じるか否かの分岐点となる回数であり、実験的または人間工学的に決定された数であってもよいし、運転者302が自ら任意で設定した数であってもよい。
S7aにおいて、第2の通知の出力回数が予め設定された回数未満であると判断された場合、第2の通知を再度通知しても、運転者302に過度の煩わしさを感じさせることがない。したがって、この場合、S8において、第2の通知が再度出力され、S4に処理が戻る。
一方、S7aにおいて、第2の通知の出力回数が予め設定された回数以上であると判断された場合、第2の通知を再度出力すると、運転者302に過度の煩わしさを感じさせることになる。したがって、この場合、第2の通知を再度出力することなく、処理が終了する。
以上説明したように、第2実施形態では、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、運転者302の視線が表示装置25cに向いており、かつ、第2の通知の出力回数が予め設定された回数未満である場合に、第2の通知を再度出力する。これにより、第2の通知の繰り返しの出力によって運転者302に過度の煩わしさを感じさせるのを抑制することができる。
なお、第2実施形態のその他の効果は、第1実施形態と同様であるため、ここでは説明を省略する。
(第3実施形態)
次に、図7を参照して、第3実施形態によるECU314の構成について説明する。この第3実施形態は、2回目以降の第2の通知の出力を停止させる条件として、運転者302の視線が表示装置25cに向いていること以外の他の条件が存在するという点で第2実施形態と同様であるが、当該他の条件の内容が第2実施形態と異なる。
次に、図7を参照して、第3実施形態によるECU314の構成について説明する。この第3実施形態は、2回目以降の第2の通知の出力を停止させる条件として、運転者302の視線が表示装置25cに向いていること以外の他の条件が存在するという点で第2実施形態と同様であるが、当該他の条件の内容が第2実施形態と異なる。
具体的に、第3実施形態による出力処理部3405は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、運転者302の視線が表示装置25cに向いていることが検出され、かつ、運転者302が所定の能動的な目の操作を行ったことが検出されるまで、第2の通知を繰り返し出力する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。つまり、第3実施形態では、第2の通知が2回以上出力されるのを回避するために、運転者302は、表示装置25cに目を向けた上で、まばたきなどの所定の目の操作を能動的に行う必要がある。
なお、第3実施形態のその他の構成は、上述した第2実施形態と同様であるため、ここでは説明を省略する。
次に、図10を参照して、第3実施形態によるECU314が実行する処理について説明する。この第3実施形態においても、第2実施形態と同様に、第1実施形態(図8参照)と同様のS1~S6およびS8の処理が実行される。しかしながら、第3実施形態では、第2の通知が2回以上出力される場合(S4においてYesの場合)、第2実施形態とは異なる基準で、第2の通知の再度の出力(S8)を行うか否かを判断する。
すなわち、第3実施形態による処理フロー(図10参照)では、S4において、第2の通知が少なくとも1回は既に出力されていると判断された場合、S7bに処理が進む。そして、S7bにおいて、出力処理部3405は、運転者302の視線が表示装置25cに向いていることが検出され、かつ、運転者302が所定の能動的な目の操作を行ったことが検出されたか否かを判断する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。
S7bにおいて、運転者302の視線が表示装置25cに向いていることが検出され、かつ、運転者302が所定の能動的な目の操作を行ったことが検出された場合、これ以上運転者302に表示装置25cを視認するように促す必要がなくなるので、処理が終了する。しかしながら、S7bにおいて、運転者302の視線が表示装置25cに向いていることが検出されない場合、または、運転者302の視線が表示装置25cに向いていることが検出されたとしても運転者302が所定の能動的な目の操作を行ったことが検出されない場合、運転者302が表示装置25cを能動的に確実に視認したとは言えない。したがって、この場合、S8において、出力処理部3405は、運転者302に表示装置25cを視認するように再度促すために、第2の通知を再度出力し、S4に処理が戻る。
以上説明したように、第3実施形態による出力処理部3405は、第2の通知を2回以上出力する場合、1回目の第2の通知を出力した後においては、運転者302の視線が表示装置25cに向いていることが検出され、かつ、運転者302が所定の能動的な目の操作を行ったことが検出されるまで、第2の通知を繰り返し出力する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。これにより、運転者302が表示装置25cに能動的に目を向けたか否かをより確実に判定することができる。
なお、第3実施形態のその他の効果は、第2実施形態と同様であるため、ここでは説明を省略する。
(第4実施形態)
次に、図7、図11、および図12を参照して、第4実施形態によるECU414の構成について説明する。この第4実施形態では、車両1の周囲の状況に変化が発生したことを第1の通知によって運転者302に通知する点において、上述した第1~第3実施形態と同様である。しかしながら、第4実施形態では、上述した第1~第3実施形態と異なり、車両1の周囲の状況が変化した場合、運転者302の運転姿勢の適否を確認し、必要に応じて運転姿勢を正すことを運転者302に促すことで、より確実に、運転者302に車両1の周囲の状況の変化を確認させる。
次に、図7、図11、および図12を参照して、第4実施形態によるECU414の構成について説明する。この第4実施形態では、車両1の周囲の状況に変化が発生したことを第1の通知によって運転者302に通知する点において、上述した第1~第3実施形態と同様である。しかしながら、第4実施形態では、上述した第1~第3実施形態と異なり、車両1の周囲の状況が変化した場合、運転者302の運転姿勢の適否を確認し、必要に応じて運転姿勢を正すことを運転者302に促すことで、より確実に、運転者302に車両1の周囲の状況の変化を確認させる。
車両1の周囲の状況に変化が発生したことを運転者302に通知する上述した第1~第3実施形態のような技術においては、実際に車両1の周囲の状況が変化したことが正しく認識された場合はもちろん、実際には変化していないにも関わらず車両1の周囲の状況が変化したと誤認識された場合にも、運転者302への通知が行われる。そのため、車両1の周囲の状況が変化した旨の通知があった場合、運転者302は、片手運転やわき見運転などの不適切な運転姿勢をとっている場合にはそれを正し、車両1の周囲の状況の変化を確認した上で、注意深く運転を行う必要がある。したがって、車両1の周囲の状況が変化した場合、必要に応じて運転者302に運転姿勢を正すことを運転者302に促し、より確実に、運転者302に車両1の周囲の状況の変化を確認させることが望まれる。
そこで、第4実施形態によるECU414の出力処理部4405(図7参照)は、認識処理部401による認識状況が変化した場合、検出処理部404の検出結果を監視して、運転者302の視線の向きを含む運転姿勢の適否を判定する。具体的に、出力処理部4405は、運転姿勢が所定の条件を満たすことが検出された場合、運転姿勢が適切であると判断し、運転姿勢が所定の条件を満たさないことが検出された場合、運転姿勢が不適切であると判断する。
運転姿勢が所定の条件を満たすこととは、たとえば、運転者302の視線の向きが正常に検出され、かつ、運転者302の視線が車両1の進行方向に対して所定の角度範囲内に向いていることである。
運転者302の視線の向きが正常に検出されるという条件は、運転者302が片手運転を行っているか否かの判断基準となる。上述したように、撮像装置201は、ステアリングコラム4b(図5参照)に設けられている。このため、図11に示すように、運転者302が片手だけでステアリングホイール4aを操作している場合、その片手は撮像装置201の視野を遮るような位置に置かれやすい。したがって、運転者302の視線の向きが正常に検出されない場合には、運転者302が片手運転を行っている可能性が高いと判断できる。
また、運転者302の視線が車両1の進行方向に対して所定の角度範囲内に向いているという条件は、運転者302がわき見運転を行っているか否かの判断基準となる。たとえば、図12に示すように、車両1の進行方向をDとすると、運転者302の視線が方向Dに対して両側に所定の角度θの範囲内に向いている場合、運転者302がわき見運転を行っていないと判断できる。
なお、上述した運転姿勢に関する所定の条件は、撮像装置201の設置位置に応じて適宜変更される。つまり、撮像装置201がステアリングコラム4b以外のたとえばセンターコンソールなどに設置される場合、運転者302の視線が手で遮られるような状況が発生しにくいため、上述した2つの条件のうち1つ目の条件(運転者302の視線の向きが正常に検出されるという条件)は、他の条件で代替される。他の条件としては、たとえば、ステアリングコラム4bの左右方向の中心位置と運転者302の顔の左右方向の中心位置とが大きくずれているか否か、が考えられる。これらの中心位置が大きくずれている場合、運転者302が不適切な運転姿勢をとっていると判断できる。
出力処理部4405は、運転者302の運転姿勢が上述した2つの条件を満たさないことが検出された場合、運転姿勢が条件を満たさないことを運転者302に警告する第1の警報を、音声出力装置9を用いて音で出力する。すなわち、出力処理部4405は、運転姿勢が条件を満たさないことが検出された場合、運転者302の運転姿勢が不適切であると判断し、第1の警報により、運転姿勢を正すことを運転者302に促す。なお、第1の警報とは、警告のニュアンスを含む音声メッセージやビープ音などである。第1の警報の音量または音声パターンは、たとえば運転者302に多少の不快感を与える程度に調整される。
また、出力処理部4405は、第1の警報を出力した後においても、運転者302の運転姿勢が上述した2つの条件を満たさないことが検出された状態が継続する場合、運転姿勢が条件を満たさないことを運転者302に再度警告する第2の警報を、音声出力装置9を用いて音で出力する。そして、出力処理部4405は、運転姿勢が条件を満たすことが検出されるまで、第2の警報を繰り返し出力する。なお、第2の警報とは、第1の警報よりも強い警告のニュアンスを含む音声メッセージやビープ音などである。第2の警報の音量または音声パターンは、たとえば運転者302に与える不快感が第1の警報よりも大きくなるように調整される。
このように、出力処理部4405は、第2の警報を、第1の警報とは異なる出力形態で出力する。つまり、第2の警報は、第1の警報が運転者302の運転姿勢を正すことができなかった場合の念押しとして出力されるものであるので、第2の警報を第1の警報と同様の出力形態で出力するのでは、運転者302の注意を十分に惹くことができない場合がある。したがって、出力処理部4405は、第2の警報を、たとえば、第1の警報よりも大きい音量で出力したり、第1の警報とは異なる音声パターンで(つまり、第1の警報よりも注意喚起力が高い音声パターンで)出力したりする。
なお、出力処理部4405は、運転者302の運転姿勢が上述した2つの条件を満たすことが検出された場合、運転者302の運転姿勢に問題はないと判断し、音声出力装置9を用いて、認識状況が変化したことのみを運転者302に単に通知する第1の通知を出力する。なお、第1の通知とは、運転者302に表示装置25cの視認を促すための音声メッセージやビープ音であり、第1の警報と異なり、警告のニュアンスを含まない。このため、第1の通知は、第1の警報に比べて、音量が小さく設定されたり、運転者302に与える不快感が小さい音声パターンに設定されたりする。
次に、図13を参照して、第4実施形態によるECU414が実行する処理を説明する。
図13の処理フローでは、まず、S11において、認識処理部401は、車両1の周囲の認識状況が変化したか否かを判断する。このS11の処理は、認識状況が変化したと判断されるまで繰り返される。そして、S11において、認識状況が変化したと判断された場合、S12に処理が進む。
S12において、表示処理部403は、認識状況の変化をインストルメントパネル25の表示装置25cに表示する。そして、S13において、出力処理部4405は、検出処理部404による検出結果、すなわち運転者302の視線に関する情報の検出結果を監視する。
S14において、出力処理部4405は、S13の監視結果に基づいて、運転者302の視線の向きを含む運転姿勢が所定の条件を満たすことが検出されたか否かを判断する。運転姿勢が所定の条件を満たすこととは、たとえば、運転者302の視線に関する情報が正常に検出され、かつ、運転者302の視線が車両1の進行方向に対して所定角度範囲内の方向を向いていることが検出されることである。これにより、出力処理部4405は、運転者302が片手運転やわき見運転などの不適切な運転姿勢をとっているか否かを判定する。
S14において、運転姿勢が所定の条件を満たさないことが検出された場合、運転者302の運転姿勢が不適切であると判断できるので、運転姿勢を正すことを運転者302に促す必要がある。そこで、S15において、出力処理部4405は、運転姿勢が所定の条件を満たさないことを運転者302に警告する第1の警報を、音声出力装置9を介して音で出力する。そして、S16において、出力処理部4405は、運転姿勢が所定の条件を満たさない状態が継続しているか否かを判断する。
S16において、運転姿勢が所定の条件を満たさない状態が継続していると判断された場合、すなわち第1の警報を出力したにも関わらず運転者302の運転姿勢が改善されない場合には、運転姿勢を正すことを運転者302により強く促す必要がある。そこで、S17において、出力処理部4405は、運転姿勢が所定の条件を満たさないことを運転者302に再度警告する第2の警報を、音声出力装置9を介して音で出力する。たとえば、出力処理部4405は、第2の警報を、第1の警報よりも大きい音量で出力したり、第1の警報とは異なる音声パターンで出力したりする。そして、S16に処理が戻る。
一方、S16において、運転姿勢が所定の条件を満たさない状態が継続していないと判断された場合には、運転者302の運転姿勢が第1の警報に従って改善されたと判断できる。したがって、この場合、第2の警報の出力は行われずに、そのまま処理が終了する。
ところで、S14において、運転姿勢が所定の条件を満たすと判断された場合、運転者302が片手運転やわき見運転などを行っていないと判断できるので、運転者302に運転姿勢を正す旨の警告を行う必要はない。そこで、S18において、出力処理部4405は、認識状況が変化したことを通知する第1の通知を、音声出力装置9を介して音で出力する。そして、処理が終了する。
以上説明したように、第4実施形態による出力処理部4405は、車両1の周囲の認識状況が変化した場合に、検出処理部404による検出結果を監視する。そして、出力処理部4405は、運転者302の視線の向きを含む運転姿勢が所定の条件を満たすことが検出された場合、認識状況が変化したことを運転者302に通知する第1の通知を出力し、運転姿勢が所定の条件を満たさないことが検出された場合、運転姿勢が所定の条件を満たさないことを運転者302に警告する第1の警報を出力する。これにより、認識状況が変化した場合に、第1の通知と、第1の警報とを用いて、必要に応じて運転姿勢を正すことを運転者302に促し、より確実に、運転者302に認識状況の変化を確認させることができる。
また、第4実施形態において、運転姿勢が所定の条件を満たすこととは、運転者302の視線の向きが正常に検出され、かつ、運転者302の視線が車両1の進行方向に対して所定の角度範囲内に向いていることである。これにより、2つの条件を用いて、運転者302がたとえば片手運転やわき見運転などを行っているか否かを容易に判断することができる。
また、第4実施形態による出力処理部4405は、第1の警報を出力した後においても、運転姿勢が所定の条件を満たさないことが検出された状態が継続する場合、運転姿勢が所定の条件を満たすことが検出されるまで、運転姿勢が所定の条件を満たさないことを運転者302に再度警告する第2の警報を繰り返し出力する。これにより、第2の警報を用いて、運転姿勢を正すことを運転者302により強く促すことができる。
また、第4実施形態による出力処理部4405は、音声を出力可能な音声出力装置9を用いて、第1の通知または第1の警報を音で出力する。これにより、音声を用いて、より容易に、必要に応じて運転姿勢を正すことを運転者302に促し、運転者302に認識状況の変化を確認させることができる。
(第5実施形態)
次に、図7を参照して、第5実施形態によるECU514の構成について説明する。この第5実施形態は、第1の通知と第1の警報とを出力可能に構成されている点において第4実施形態と同様である。しかしながら、第5実施形態では、運転者302の運転姿勢が適切な場合に出力される認識状況が変化したことの通知が第1の通知によって1回だけしか行われない第4実施形態と異なり、認識状況が変化したことの通知が第1の通知と第2の通知とによって2回以上行われ得る。
次に、図7を参照して、第5実施形態によるECU514の構成について説明する。この第5実施形態は、第1の通知と第1の警報とを出力可能に構成されている点において第4実施形態と同様である。しかしながら、第5実施形態では、運転者302の運転姿勢が適切な場合に出力される認識状況が変化したことの通知が第1の通知によって1回だけしか行われない第4実施形態と異なり、認識状況が変化したことの通知が第1の通知と第2の通知とによって2回以上行われ得る。
すなわち、第5実施形態によるECU514の出力処理部5405(図7参照)は、認識状況が変化したことを運転者302に通知する第1の通知を出力した後、運転者302の視線が表示装置25cに向いているか否かを判断し、運転者302が第1の通知に従って表示装置25cを視認したか否かを判断する。そして、出力処理部5405は、運転者302の視線が表示装置25cに向いていることが検出されない場合に、認識状況が変化したことを運転者302に再度通知する第2の通知を出力する。そして、出力処理部5405は、運転者302の視線が表示装置25cに向いていることが検出されるまで、第2の通知を繰り返し出力する。
ここで、第1の通知は、運転者302に表示装置25cの視認を促す音声メッセージやビープ音などである。また、第2の通知は、運転者302に表示装置25cの視認をより強く促す音声メッセージやビープ音などである。このように、出力処理部5405は、第2の通知を、第1の通知とは異なる出力形態で出力する。つまり、第2の通知は、第1の通知が運転者302の視線を表示装置25cに向けさせることができなかった場合の念押しとして出力されるものであるので、第2の通知を第1の通知と同様の出力形態で出力するのでは、運転者302の注意を十分に惹くことができない場合がある。したがって、出力処理部5405は、第2の通知を、たとえば、第1の通知よりも大きい音量で出力したり、第1の通知とは異なる音声パターンで(つまり、第1の通知よりも注意喚起力が高い音声パターンで)出力したりする。
なお、第5実施形態のその他の構成は、上述した第4実施形態と同様であるため、ここでは説明を省略する。
次に、図14を参照して、第5実施形態によるECU514が実行する処理について説明する。第5実施形態では、上述した第4実施形態(図10参照)と同様のS11~S18の処理が実行される。第4実施形態では、第1の警報の出力後に運転姿勢が所定の条件を満たさない状態が継続しないと判断された場合(S16;No)および第1の通知が出力された場合(S18)に、処理が終了したが、第5実施形態では、第4実施形態と異なり、第1の警報の出力後に運転姿勢が所定の条件を満たさない状態が継続しないと判断された後(S16;No)および第1の通知が出力された場合(S18)に、S19に処理が進む。
S19において、出力処理部5405は、運転者302の視線がインストルメントパネル25の表示装置25cに向いていることが検出されたか否かを判断する。
S19において、運転者302の視線が表示装置25cに向いていることが検出された場合、運転者302が表示装置25cを視認したと推定できるので、これ以上運転者302に表示装置25cを視認するように促す必要がなくなり、処理が終了する。しかしながら、S19において、運転者302の視線が表示装置25cに向いていることが検出されない場合、運転者302に表示装置25cを視認するように再度促す必要がある。
そこで、S20において、出力処理部5405は、認識状況が変化したことを運転者302に再度通知する第2の通知を、音声出力装置9を介して音で出力する。出力処理部5405は、運転者302に表示装置25cの視認をより強く促すために、第2の通知を、S18で出力した第1の通知とは異なる出力形態で出力する。たとえば、出力処理部5405は、第2の通知を、第1の通知よりも大きい音量で出力したり、第1の通知とは異なる音声パターンで出力したりする。そして、S19に処理が戻る。
なお、図14には、ECU514が実行する処理フローの一例として、S16において運転姿勢が所定の条件を満たさない状態が継続しないと判断された場合に、S19に処理が進む処理フローを例示した。しかしながら、他の例として、S16において運転姿勢が所定の条件を満たさない状態が継続しないと判断された場合に、S18に処理が進む処理フローがECU514によって実行されてもよい。
以上説明したように、第5実施形態による出力処理部5405は、第1の通知を出力した後、運転者302の視線が表示装置25cに向いていることが検出されない場合、運転者302の視線が表示装置25cに向いていることが検出されるまで、認識状況が変化したことを運転者302に再度通知する第2の通知を繰り返し出力する。これにより、第2の通知を用いて、より確実に、運転者に認識状況の変化を視認させることができる。
なお、第5実施形態のその他の効果は、第4実施形態と同様であるため、ここでは説明を省略する。
(変形例)
上述した実施形態では、図7の各モジュールが、ソフトウェア(コンピュータプログラム)とハードウェア(CPU14a)との協働により実現される例を示した。しかしながら、図7の各モジュールは、ハードウェアのみによって実現されてもよい。つまり、実施形態では、図7の各モジュールに対応する専用のハードウェア(回路)が設けられてもよい。
上述した実施形態では、図7の各モジュールが、ソフトウェア(コンピュータプログラム)とハードウェア(CPU14a)との協働により実現される例を示した。しかしながら、図7の各モジュールは、ハードウェアのみによって実現されてもよい。つまり、実施形態では、図7の各モジュールに対応する専用のハードウェア(回路)が設けられてもよい。
また、上述した実施形態では、運転者302の視線に基づいて制御を実行する例を示したが、視線の代わりに顔の向きを用いてもよい。
また、上述した実施形態では、認識状況が変化したことを運転者302に通知する第1の通知および第2の通知が、音声出力装置9から音声として出力される例を示した。しかしながら、第1の通知および第2の通知は、光や振動などとして出力されてもよい。また、第1の通知および第2の通知は、ナビゲーション装置11に設けられる音声出力装置9以外の他のスピーカ装置などから出力されてもよい。また、第1の通知および第2の通知は、図15に例示したような画像IM3として出力されてもよい。この画像IM3は、認識状況が変化したことを運転者302に通知する音声と同時に出力されてもよい。
ここで、図15の画像IM3は、ナビゲーション装置11の表示装置8に出力される画像であり、認識状況に変化が発生した旨のメッセージを含んでいる。上述した実施形態では、運転者302の視線がインストルメントパネル25の表示装置25cに向いていることが検出されたことを条件の1つとして、第2の通知の繰り返しの出力を停止する例を示した。しかしながら、図15に例示したような画像IM3が第1の通知および第2の通知として出力される場合では、運転者302の視線がナビゲーション装置11の表示装置8に向いていることが検出されたことを条件の1つとして、第2の通知の繰り返しの出力を停止してもよい。
また、上述した実施形態では、運転支援制御の一例としての追従走行制御が実行される場合の処理を主として説明した。しかしながら、以下に説明するように、運転支援制御の他の一例としての駐車支援制御が実行される場合においても、認識状況の変化を運転者302に確認させたい状況が存在する。たとえば、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合や、逆に、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合などには、車両の周囲の状況の変化を運転者302に確認させる必要がある。以下、図16~図23を参照して、駐車支援制御における認識状況の変化および当該変化が発生した場合に実行される処理についてより具体的に説明する。
図16~図19は、駐車支援制御の実行時にナビゲーション装置11の表示装置8に表示される駐車支援画像の一例として、車両1の周囲(駐車場所の周辺)の状況を俯瞰で見た駐車支援画像を示している。また、図20~図23は、駐車支援画像の他の例として、車両1の周囲(駐車場所の周辺)の状況を車両1の後方の視野で見た駐車支援画像を示している。なお、図16~図19に例示した俯瞰の駐車支援画像には、車両1に対応するマークM2が表示されている。
図16および図17は、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合における俯瞰の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物としての他の車両が新たに認識されることにより、駐車開始時の画像IM4(図16参照)が、新たに認識された他の車両を示すマークM3を含む画像IM5(図17参照)に切り替わっている。
また、図18および図19は、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合における俯瞰の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物として既に認識されていた人間が途中で認識されなくなることにより、認識済の人間を示すマークM4を含む駐車開始時の画像IM6(図18参照)が、マークM4を含まない画像IM7(図19参照)に切り替わっている。
また、図20および図21は、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合における後方視野の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物としての人間が新たに認識されることにより、駐車開始時の画像IM8(図20参照)が、新たに認識された人間を示すマークM5を含む画像IM9(図21参照)に切り替わっている。
また、図22および図23は、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合における後方視野の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物として既に認識されていた他の車両が途中で認識されなくなることにより、認識済の他の車両を示すマークM6を含む駐車開始時の画像IM10(図22参照)が、マークM6を含まない画像IM11(図23参照)に切り替わっている。
上述のように認識状況の変化に伴って駐車支援画像が切り替わる場合、当該認識状況の変化を運転者302に通知し、注意対象物の有無を確認させる必要がある。したがって、駐車支援制御の実行時に認識状況が変化した場合でも、追従走行制御の実行時に認識状況が変化した場合と同様に、第1の通知や第2の通知が出力される。なお、駐車支援制御の実行時においては、運転者302の視線が表示装置8(上述した画像IM4~IM11)を視認したことが検出されたことの他に、運転者302の視線が注意対象物を向いたことを、第1の通知や第2の通知の出力を停止する条件に設定してもよい。たとえば、図17の例では、マークM3で示される他の車両が位置すると考えられる方向(つまり車両1の右後方)に運転者302の視線が向いたことが検出された場合に第1の通知や第2の通知などの出力が停止されるように条件設定が行われてよい。同様に、図21の例では、マークM5で示される人間が位置すると考えられる方向(つまり車両1の左後方)に運転者302の視線が向いたことが検出された場合に第1の通知や第2の通知などの出力が停止されるように条件設定が行われてよい。このような条件設定を行えば、より確実に、運転者302に注意対象物の有無を確認させることができる。
以上、本発明の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
1 車両
9 音声出力装置(通知部)
14、214、314、414、514 ECU(運転支援装置)
25c 表示装置
401 認識処理部
402 運転支援処理部
403 表示処理部
404 検出処理部
405、2405、3405、4405、5405 出力処理部
9 音声出力装置(通知部)
14、214、314、414、514 ECU(運転支援装置)
25c 表示装置
401 認識処理部
402 運転支援処理部
403 表示処理部
404 検出処理部
405、2405、3405、4405、5405 出力処理部
Claims (11)
- 車両の周囲の状況を認識する認識処理部と、
前記認識処理部によって認識された前記車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、
前記車両の周囲の状況が変化した場合に、前記車両の周囲の状況の変化を表示部に表示する表示処理部と、
前記車両の運転者の視線に関する情報を検出する検出処理部と、
前記車両の周囲の状況が変化した場合に、前記表示部とは別の通知部を用いて、前記車両の周囲の状況が変化したことを前記運転者に通知する第1の通知を出力し、前記第1の通知を出力した後、前記検出処理部による検出結果に基づき、前記運転者の視線が前記表示部に向いていることが検出されない場合に、前記通知部を用いて、前記車両の周囲の状況が変化したことを前記運転者に再度通知する第2の通知を出力する出力処理部と、
を備える、運転支援装置。 - 前記出力処理部は、前記運転者の視線が前記表示部に向いていることが検出されるまで、前記第2の通知を繰り返し出力する、
請求項1に記載の運転支援装置。 - 前記出力処理部は、前記第2の通知を、前記第1の通知とは異なる出力形態で出力するとともに、前記第2の通知を2回以上出力する場合、2回目以降の前記第2の通知を、過去に出力した前記第2の通知とは異なる出力形態で出力する、
請求項2に記載の運転支援装置。 - 前記出力処理部は、前記第2の通知を2回以上出力する場合、1回目の前記第2の通知を出力した後においては、予め設定された回数まで前記第2の通知を繰り返し出力する、
請求項2または3に記載の運転支援装置。 - 前記出力処理部は、前記第2の通知を2回以上出力する場合、1回目の前記第2の通知を出力した後においては、前記検出処理部によって前記運転者の視線が前記表示部に向いていることが検出され、かつ、前記運転者が所定の能動的な目の操作を行ったことが検出されるまで、前記第2の通知を繰り返し出力する、
請求項2または3に記載の運転支援装置。 - 前記通知部は、音を出力可能な音出力部を含み、
前記出力処理部は、前記音出力部を用いて、前記第1の通知および前記第2の通知を音で出力する、
請求項1~5のいずれか1項に記載の運転支援装置。 - 車両の周囲の状況を認識する認識処理部と、
前記認識処理部によって認識された前記車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、
前記車両の運転者の視線に関する情報を検出する検出処理部と、
前記車両の周囲の状況が変化した場合に、前記検出処理部による検出結果に基づき、前記運転者の視線の向きを含む運転姿勢が所定の条件を満たすことが検出された場合、前記車両の周囲の状況が変化したことを前記運転者に通知する第1の通知を出力し、前記運転姿勢が前記所定の条件を満たさないことが検出された場合、前記運転姿勢が前記所定の条件を満たさないことを前記運転者に警告する第1の警報を出力する出力処理部と、
を備える、運転支援装置。 - 前記運転姿勢が前記所定の条件を満たすこととは、前記運転者の視線の向きが正常に検出され、かつ、前記運転者の視線が前記車両の進行方向に対して所定の角度範囲内に向いていることである、
請求項7に記載の運転支援装置。 - 前記出力処理部は、前記第1の警報を出力した後においても、前記運転姿勢が前記所定の条件を満たさないことが検出された状態が継続する場合、前記運転姿勢が前記所定の条件を満たすことが検出されるまで、前記運転姿勢が前記所定の条件を満たさないことを前記運転者に再度警告する第2の警報を繰り返し出力する、
請求項7または8に記載の運転支援装置。 - 前記車両の周囲の状況が変化した場合に、前記車両の周囲の状況の変化を表示部に表示する表示処理部をさらに備え、
前記出力処理部は、前記第1の通知を出力した後、前記検出処理部によって前記運転者の視線が前記表示部に向いていることが検出されない場合、前記運転者の視線が前記表示部に向いていることが前記検出処理部によって検出されるまで、前記車両の周囲の状況が変化したことを前記運転者に再度通知する第2の通知を繰り返し出力する、
請求項7~9のいずれか1項に記載の運転支援装置。 - 前記出力処理部は、音を出力可能な音出力部を用いて、前記第1の通知または前記第1の警報を音で出力する、
請求項7~10のいずれか1項に記載の運転支援装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680052628.3A CN108028018A (zh) | 2015-09-30 | 2016-06-13 | 驾驶辅助装置 |
EP16850747.3A EP3358549A4 (en) | 2015-09-30 | 2016-06-13 | Driving support device |
US15/758,521 US20180257565A1 (en) | 2015-09-30 | 2016-06-13 | Drive assist apparatus |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015194782A JP2017068673A (ja) | 2015-09-30 | 2015-09-30 | 運転支援装置 |
JP2015-194781 | 2015-09-30 | ||
JP2015-194782 | 2015-09-30 | ||
JP2015194781A JP2017068672A (ja) | 2015-09-30 | 2015-09-30 | 運転支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017056570A1 true WO2017056570A1 (ja) | 2017-04-06 |
Family
ID=58423382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/067560 WO2017056570A1 (ja) | 2015-09-30 | 2016-06-13 | 運転支援装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180257565A1 (ja) |
EP (1) | EP3358549A4 (ja) |
CN (1) | CN108028018A (ja) |
WO (1) | WO2017056570A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3299241B1 (en) * | 2016-09-26 | 2021-11-10 | Volvo Car Corporation | Method, system and vehicle for use of an object displaying device in a vehicle |
JP7163627B2 (ja) * | 2018-06-08 | 2022-11-01 | スズキ株式会社 | 運転支援装置 |
JP7163732B2 (ja) * | 2018-11-13 | 2022-11-01 | トヨタ自動車株式会社 | 運転支援装置、運転支援システム、運転支援方法およびプログラム |
WO2020188942A1 (ja) * | 2019-03-15 | 2020-09-24 | 本田技研工業株式会社 | 車両用コミュニケーション装置及びプログラム |
JP2021008227A (ja) * | 2019-07-02 | 2021-01-28 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP2021018073A (ja) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | 情報提供装置、情報提供方法、およびプログラム |
JP7351776B2 (ja) * | 2020-03-16 | 2023-09-27 | 本田技研工業株式会社 | 情報提供装置、移動体及び情報提供方法 |
JP2022023621A (ja) * | 2020-07-27 | 2022-02-08 | 株式会社Subaru | 車両用報知装置 |
CN114056344A (zh) * | 2020-08-03 | 2022-02-18 | 奥迪股份公司 | 车内信息显示系统及相应车辆、方法、计算机设备和介质 |
CN112509177A (zh) * | 2020-12-08 | 2021-03-16 | 北京梧桐车联科技有限责任公司 | 信息处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761257A (ja) * | 1993-08-26 | 1995-03-07 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2007230369A (ja) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 車載装置調整装置 |
JP2010186227A (ja) * | 2009-02-10 | 2010-08-26 | Honda Motor Co Ltd | 警報装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3134667B2 (ja) * | 1994-06-02 | 2001-02-13 | 日産自動車株式会社 | 車両用表示装置 |
JP4114292B2 (ja) * | 1998-12-03 | 2008-07-09 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置 |
EP2042079B1 (en) * | 2006-07-14 | 2010-10-20 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
JP2009042186A (ja) * | 2007-08-10 | 2009-02-26 | Aisin Aw Co Ltd | ナビゲーション装置、サーバ、及びナビゲーションプログラム |
JP4992764B2 (ja) * | 2007-10-23 | 2012-08-08 | 株式会社デンソー | 安全確認判定装置および運転教示支援システム |
US8344894B2 (en) * | 2009-04-02 | 2013-01-01 | GM Global Technology Operations LLC | Driver drowsy alert on full-windshield head-up display |
US8977489B2 (en) * | 2009-05-18 | 2015-03-10 | GM Global Technology Operations LLC | Turn by turn graphical navigation on full windshield head-up display |
JP2011198247A (ja) * | 2010-03-23 | 2011-10-06 | Toyota Motor Corp | 運転支援装置 |
DE102010041961B4 (de) * | 2010-10-05 | 2022-08-04 | Bayerische Motoren Werke Aktiengesellschaft | Kraftfahrzeug mit einer Vorrichtung zur Beeinflussung der Blickrichtung des Fahrers |
US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
CN109229022B (zh) * | 2014-04-30 | 2022-05-03 | 三菱电机株式会社 | 周边监视装置、周边监视系统以及周边监视方法 |
WO2016059724A1 (ja) * | 2014-10-17 | 2016-04-21 | 三菱電機株式会社 | ドライバー支援装置および警報タイミング制御方法 |
US10189405B2 (en) * | 2015-01-14 | 2019-01-29 | Yazaki North America, Inc. | Vehicular multi-purpose warning head-up display |
US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
-
2016
- 2016-06-13 WO PCT/JP2016/067560 patent/WO2017056570A1/ja active Application Filing
- 2016-06-13 EP EP16850747.3A patent/EP3358549A4/en not_active Withdrawn
- 2016-06-13 US US15/758,521 patent/US20180257565A1/en not_active Abandoned
- 2016-06-13 CN CN201680052628.3A patent/CN108028018A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761257A (ja) * | 1993-08-26 | 1995-03-07 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2007230369A (ja) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 車載装置調整装置 |
JP2010186227A (ja) * | 2009-02-10 | 2010-08-26 | Honda Motor Co Ltd | 警報装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3358549A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP3358549A4 (en) | 2018-11-21 |
US20180257565A1 (en) | 2018-09-13 |
EP3358549A1 (en) | 2018-08-08 |
CN108028018A (zh) | 2018-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017056570A1 (ja) | 運転支援装置 | |
JP6380002B2 (ja) | 周辺監視装置 | |
JP6342856B2 (ja) | 車両制御装置 | |
US9221341B2 (en) | Vehicle operation input apparatus and control method for vehicle operation input apparatus | |
US10207640B2 (en) | Method and system for a warning message in a vehicle | |
WO2016067544A1 (ja) | 車載注意喚起システム及び報知制御装置 | |
WO2015182040A1 (ja) | 注意喚起装置 | |
JP4867463B2 (ja) | 運転支援装置 | |
JP2016101872A (ja) | 車両周辺監視装置 | |
JP2011164712A (ja) | 脇見警報装置 | |
JP2016055801A (ja) | 車載表示装置 | |
WO2014006835A1 (ja) | 運転支援装置及び運転支援プログラムプロダクト | |
JP2019116244A (ja) | 車両 | |
JP2017068672A (ja) | 運転支援装置 | |
JP2010208359A (ja) | 車両用表示装置 | |
JP2007286898A (ja) | 運転支援装置及びプログラム | |
JP5690184B2 (ja) | 車載機器操作支援装置 | |
JP6686450B2 (ja) | メガネ型情報表示装置 | |
JP6124745B2 (ja) | 車載システム | |
JP2017068673A (ja) | 運転支援装置 | |
US20200239073A1 (en) | Display controller | |
WO2018101274A1 (ja) | 安全確認装置 | |
JP2018073257A (ja) | 障害物検知装置 | |
JP2010135998A (ja) | 車両周辺認知支援装置 | |
JP4968133B2 (ja) | 車両用警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16850747 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15758521 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |