JPWO2008041497A1 - 車両用警報装置及び車両用警報方法 - Google Patents

車両用警報装置及び車両用警報方法 Download PDF

Info

Publication number
JPWO2008041497A1
JPWO2008041497A1 JP2008537451A JP2008537451A JPWO2008041497A1 JP WO2008041497 A1 JPWO2008041497 A1 JP WO2008041497A1 JP 2008537451 A JP2008537451 A JP 2008537451A JP 2008537451 A JP2008537451 A JP 2008537451A JP WO2008041497 A1 JPWO2008041497 A1 JP WO2008041497A1
Authority
JP
Japan
Prior art keywords
alarm
unit
vehicle
line
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008537451A
Other languages
English (en)
Other versions
JP4924611B2 (ja
Inventor
鈴木 智晴
智晴 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2008537451A priority Critical patent/JP4924611B2/ja
Publication of JPWO2008041497A1 publication Critical patent/JPWO2008041497A1/ja
Application granted granted Critical
Publication of JP4924611B2 publication Critical patent/JP4924611B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Emergency Alarm Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

障害物検出部(11)は、自車の後方に位置する障害物を検出する。CPU(20)は、カメラ(12)よって撮影された運転者の顔画像に基づいて、運転者の視線方向を検出する。CPU(20)は、運転者の視線方向が、後方の障害物の像を反射する鏡(51L,51R)の方向に向いているか否かを判定する。そして、CPU(20)は、この判定結果に従って、警報出力部(15,16)が出力する警報のレベルを設定する。

Description

本発明は、車両用警報装置及び車両用警報方法に関するものである。
後方から障害物が近づいて来た場合、この障害物をセンサにより検知し、危険と判断したときに警報を発する警報装置がある(例えば、特許文献1参照)。
特開2001−199296号公報(第6−10頁、図1)
しかし、従来の警報装置は、ドライバがその障害物を視認しているかどうか関係なく、警報を発する。このため、ドライバにとっては煩わしいものである。
本発明は、このような従来の問題点に鑑みてなされたもので、運転者に適切に警報を発することが可能な車両用警報装置及び車両用警報方法を提供することを目的とする。
この目的を達成するため、本発明の第1の観点に係る車両用警報装置は、自車の後方に位置する障害物を検出する障害物検出部と、前記障害物検出部により前記障害物が検出された際、警報を出力する警報出力部と、前記障害物の像を反射する鏡と、前記自車の運転者の視線方向を判別する視線方向判別部と、前記視線方向判別部が判別した前記視線方向に基づいて、前記運転者の視線が前記鏡の方向に向いているか否かを判定する判定部と、前記判定部の判定結果に従って、前記警報出力部が出力する警報のレベルを設定する警報レベル設定部と、を備えたことを特徴とする。
前記判定部は、前記視線方向判別部が判別した前記視線方向に基づいて前記運転者の視線が前記鏡の方向に向いているか否かを判定するとともに、前記運転者の視線が前記鏡の方向に向いている度合いを判別し、前記警報レベル設定部は、前記判定部が判別した前記度合いに基づいて、前記警報出力部が出力する警報のレベルを設定するようにしてもよい。
前記警報レベル設定部は、前記度合いが大きくなると、前記警報出力部が出力する警報のレベルを低減させるようにしてもよい。
前記判定部は、前記運転者の視線が前記鏡の方向に向いている時間に基づいて前記度合いを判別するようにしてもよい。
前記障害物検出部は、前記障害物を検出するとともに、前記自車に対する前記障害物の位置情報を取得し、前記判定部は、前記視線方向判別部が判別した前記運転者の視線方向に基づいて前記鏡に映り込む領域を判別し、判別した領域と前記障害物検出部が取得した前記位置情報とに基づいて、前記障害物が前記鏡に映り込んでいる割合を判別し、判別した割合に基づいて前記運転者の視線が前記鏡の方向に向いている度合いを判別するようにしてもよい。
前記警報出力部が出力する警報のレベルが設定されたテーブルを記憶する記憶部をさらに備え、前記警報レベル設定部は、前記記憶部に記憶された前記テーブルを参照して、前記警報のレベルを設定するようにしてもよい。
前記自車の運転者が方向指示器を操作したときの操作情報を取得する操作情報取得部をさらに備え、前記警報レベル設定部は、前記操作情報取得部が取得した前記操作情報も加味して、前記警報出力部が出力する警報のレベルを設定するようにしてもよい。
前記判定部により前記運転者の視線が前記鏡の方向に向いていないと判定された場合、前記警報レベル設定部は、前記警報出力部が出力する警報を最も高いレベルに設定するようにしてもよい。
本発明の第2の観点に係る車両用警報装置は、自車の後方に位置する障害物を検出するとともに、前記自車と検出した前記障害物の間の距離を計測する障害物検出部と、前記障害物検出部により前記障害物が検出された際、警報を出力する警報出力部と、前記障害物検出部が計測した前記距離に基づいて、前記警報出力部が出力する警報のレベルを設定する警報レベル設定部と、を備えたことを特徴とする。
本発明の車両用警報方法は、自車の後方に位置する障害物を検出する障害物検出ステップと、前記障害物が検出された際、警報を出力する警報出力ステップと、前記自車の運転者の視線方向を判別する視線方向判別ステップと、判別した前記視線方向に基づいて、前記運転者の視線が、前記障害物の像を反射する鏡の方向に向いているか否かを判定する判定ステップと、該判定ステップでの判定結果に従って、出力する警報のレベルを設定する警報レベル設定ステップと、を備えたことを特徴とする。
本発明によれば、運転者に適切に警報を出力することができる。
本発明の実施形態に係る車両用警報装置の構成を示すブロック図である。 図1に示す車両用警報装置の概要動作を説明するための図である。 自車の構成を示す図である。 他車の検出について説明するための図である。 警報レベルを設定するためのテーブルを示す図である。 運転者の顔の向き、視線方向を取得する動作を示す図であり、(a)は、基準となる顔、目を示し、(b)は、顔だけを横に向けた状態を示し、(c)は、顔と眼球とを横に向けたときの状態を示す。 運転者の視線を取得する動作を示す図である。 ミラー映り込みエリアを特定する動作を示す図である。 他車の映り込み量について説明するための図である。 図1に示すCPUが実行する車両用警報処理を示すフローチャートである。 車両用警報装置の具体的な動作(1)を示す図である。 図11に示す具体的な動作(1)の場合の警報レベルを示す図であり、(a)は、スピーカが出力する音声の警報レベルを示し、(b)は、表示部が表示するメッセージを示す。 車両用警報装置の具体的な動作(2)を示す図である。 図13に示す具体的な動作(2)の場合の警報レベルを示す図であり、(a)は、スピーカが出力する音声の警報レベルを示し、(b)、(c)は、表示部が表示するメッセージの一例を示す。
符号の説明
1 車両用警報装置
2 運転者
11 レーダ(障害物検出部)
12 カメラ
13 画像処理部
14 操作情報取得部
15 表示部(警報出力部)
16 スピーカ(警報出力部)
17 時間計測部
19 ROM
20 CPU(視線方向判別部、判定部、警報レベル設定部)
51L,51R ドアミラー(鏡)
以下、本発明の実施形態に係る装置を図面を参照して説明する。
本実施形態に係る車両用警報装置の構成を図1に示す。
本実施形態に係る車両用警報装置1は、レーダ11と、カメラ12と、画像処理部13と、操作情報取得部14と、表示部15と、スピーカ16と、時間計測部17と、RAM18と、ROM19と、CPU20と、を備える。
この車両用警報装置1は、図2に示すように、自車41の後側方に他車42が接近している場合、自車41の運転者がこの他車42の接近を認識していないと判別されるときに警報を発するものである。
この車両用警報装置1は、警報を適切に発するため、運転者が他車42を認識している程度に応じて、出力する警報のレベル(警報レベル)を設定するように構成されている。
図3に示すように、自車41の左右には、それぞれ、運転者2が自車41の後方を確認するため、他車42の像を反射するドアミラー51L,51Rが備えられ、4隅には、レーンチェンジするときに点滅させるウィンカ52Lf,52Lb,52Rf,52Rbが備えられている。
レーダ11は、後方から接近する障害物としての他車42を検出するとともに、自車41と他車42との間の距離を計測し、自車41に対する他車42の位置情報を取得するものである。レーダ11には、例えば、レーザレーダ、ミリ波レーダ、超音波レーダ、ドップラー音波レーダ等が用いられる。レーダ11は、図3に示すように、自車41の後部に取り付けられる。
そして、図4に示すように、レーダ11は、例えば、検知角度θ1の範囲内にて、自車41の右後方の他車42を検出し、その位置情報として、例えば、自車41の後側面に直交する方向の距離(例えば、10m)と、自車41の右側面に直交する方向の距離(例えば、3m)を検出する。レーダ11は、他車42を検出すると、他車42を検出した旨の情報とともに自車41と他車42との間の距離情報、位置情報をCPU20に供給する。
カメラ12は、自車41の運転者2の顔を撮影するためのものである。カメラ12は、図3に示すように、ハンドルのロッド53に取り付けられている。
図1に戻り、画像処理部13は、カメラ12が撮影によって得た運転者2の顔画像に対して画像処理を行うものである。画像処理部13は、画像処理として、顔画像を2値化して2値画像を生成し、さらに、エッジ化してエッジ画像を生成する。画像処理部13は、このようにして、運転者2の一般的な特徴点として、少なくとも顔の輪郭、目、鼻をエッジで表した顔画像を取得する。
また、画像処理部13は、運転者2の顔画像から、運転者2の瞳孔中心とプルキニエ像とを取得する。プルキニエ像は、眼球の表面に映り込んだ点光源(カメラ)の像である。
また、自車41は、モータ51Mと、スイッチ51S,52Sと、シート位置センサ54と、を備える。
モータ51Mは、ドアミラー51L,51Rを上下左右に駆動するモータであり、回転角度を検出するエンコーダ付きのものである。
スイッチ51Sは、ドアミラー51L,51R駆動用のスイッチであり、運転者2に操作されて、電源(図示せず)とモータ51Mとを接続する。
スイッチ52Sは、運転者2がレーンチェンジするときに操作するためのスイッチであり、運転者2によって操作されると、電源と左方向用のウィンカ52Lf,52Lb又は右方向用のウィンカ52Rf,52Rbとを接続する。
シート位置センサ54は、カメラ12に対する運転者2のシートの位置を検知するためのものである。
操作情報取得部14は、運転者2の操作情報を取得するものである。操作情報取得部14は、運転者2がスイッチ51Sを操作したときのモータ51Mの回転角度を検知することにより、ドアミラー51L,51Rの上下左右の角度を検出する。
また操作情報取得部14は、運転者2がスイッチ52Sを操作したときの操作情報を取得する。また、操作情報取得部14は、シート位置センサ54から、シートの位置情報を取得する。操作情報取得部14は、これらの操作情報をCPU20に供給する。
表示部15は、例えば、液晶ディスプレイを備え、各種の表示を行うものであり、自車41の運転者2に対して注意を喚起する表示による警報装置として用いられる。表示部15は、カーナビゲーション装置用のものであってもよい。表示部15は、CPU20によって制御され、警報の出力として、設定された警報レベルに応じた表示を行う。
スピーカ16は、カーオーディオ、ラジオの音声を発するものであり、音による警報装置として用いられる。スピーカ16は、CPU20によって制御され、設定された警報レベルに応じた音量で警報を出力する。
時間計測部17は、時間を計測するものである。RAM18は、CPU20が処理に必要なデータを記憶するための作業用メモリである。
ROM19は、CPU20が処理を実行するためのプログラム、メッセージデータ等のデータを記憶するためのものである。ROM19は、プログラムのデータとして、後述する車両用警報処理のプログラムデータを記憶する。
さらに、ROM19は、図5に示すような警報レベルを設定するためのテーブルを記憶する。この表において、映り込み量xは、ドアミラー51L又は51Rの映り込み領域(運転者2から見えるドアミラー51L又は51Rに映る範囲)に対して、他車が映り込んでいる割合(%)を示す。
また、注視時間tは、運転者2の視線がドアミラー51L又は51Rの方に向いている時間である。この注視時間tは、運転者2の視線が連続してドアミラー51L又は51Rの方に向いている時間であってもよいし、一定の時間にたびたび向いた時間のトータル時間であってもよい。
このテーブルは、映り込み量x及び注視時間tと警報レベルとの関係を示し、警報レベルは、0〜10に設定される。そして、この数値が小さいほど、警報レベルは低いことになる。
CPU20は、車両用警報装置1を制御するためのものである。CPU20は、レーダ11から、他車42を検出した旨の情報が供給されると、ROM19から、車両用警報処理のプログラムを読み出して、このプログラムを実行する。
まず、CPU20は、図3に示す運転者2の視線方向θ2を判別する。CPU20は、運転者2の視線方向θ2を判別するため、画像処理部13から、エッジ化された運転者2の顔画像を取得する。
CPU20は、図6(a)に示すように、運転者2が正面を向いている状態を基準(視線角度θ2=0)として、この顔画像から、運転者2の顔の角度、眼球の角度を判別する。
ROM19は、運転者2の顔の角度と顔画像との対応関係を予め記憶する。顔の角度が図6(b)に示すような角度の場合、CPU20は、このROM19に記憶された対応関係を参照して、この顔の角度を取得する。
また、図6(c)に示すように、顔が横向きになっているだけでなく眼球も横向きになっている場合、CPU20は、運転者2の眼球の角度を算出する。顔の角度は、カメラ12の位置を基準とし、眼球の角度は顔の方向を基準とする。CPU20は、画像処理部13が取得した瞳孔中心とプルキニエ像との相対位置関係から視線の角度を算出する。
図7に示すように、眼球62とカメラ12との間の距離が既知であるとして、CPU20は、画像中の瞳孔63の中心座標Oとプルキニエ像64の中心座標の位置関係から視線方向θ2を算出する。
CPU20は、顔の角度と眼球の角度とに基づいて、最終的な運転者2の視線方向θ2を判別する。
CPU20は、このように運転者2の視線方向θ2を判別すると、判別した視線方向θ2に基づいて、運転者2の視線がドアミラー51L又は51Rの方向に向いているか否かを判定する。
CPU20は、運転者2の視線がドアミラー51L及び51Rの何れの方向にも向いていないと判定した場合、ROM19のテーブルを参照する。
このテーブルを参照すると、注視時間tが0.0秒のときは、映り込み量xがどの割合であっても警報レベルは10である。この場合、CPU20は、警報レベルを10に設定する。
また、CPU20は、操作情報取得部14から、ウィンカ52Lf,52Lb,52Rf,52Rb用のスイッチ52Sの操作情報が供給された場合、運転者2がレーンチェンジするものと判別し、運転者2が他車を注視していると判定する。この場合、CPU20は、警報レベルを0に設定する。
運転者2の視線がドアミラー51L又は51Rの方向に向いていると判定し、操作情報取得部14からスイッチ52Sの操作情報が供給されなかった場合、CPU20は、警報レベルを設定するため、運転者2の視線がドアミラー51L又は51Rの方向に向いている度合いを判別する。
CPU20は、運転者2がドアミラー51L又は51Rを見たときのミラー映り込みエリアに対する他車42の映り込み量xと、運転者2の視線がドアミラー51L又は51Rの方に向いている注視時間tと、に基づいて、この度合いを判別する。
まず、CPU20は、カメラ12に映る運転者2の画像と、操作情報取得部14から供給されたシートの位置情報と、に基づいて3次元の顔位置を検出する。
CPU20は、この3次元の顔位置を検出すると、運転者2の視線方向θ2と、3次元の顔位置と、操作情報取得部14から供給されたドアミラー51L,51Rの上下左右方向のミラー角度と、に基づいて、図8に示すように、運転者2がドアミラー51L又は51Rを見たときのミラー映り込みエリアを判別する。図8の例では、運転者2がドアミラー51Rを見たときのミラー映り込みエリアA1が示されている。
CPU20は、ミラー映り込みエリアA1を判別すると、先に取得した他車42の位置情報を使用して、図9に示すように、ミラー映り込みエリアA1に対する他車42の映り込み量x(%)を取得する。
また、CPU20は、運転者2の視線がドアミラー51L又は51Rの方に向いている注視時間tを取得する。CPU20は、自車41の運転者2がドアミラー51L又は51Rの方に目を向けたときの時刻、目をそらしたときの時刻を時間計測部17から取得する。CPU20は、この取得した両時刻から、運転者2がドアミラー51L又は51Rの方に目を向けている注視時間tを取得する。
CPU20は、他車42の映り込み量x(%)と注視時間tとを取得すると、ROM19のテーブルを参照し、警報レベルを設定する。
そして、CPU20は、設定した警報レベルで警報を出力するように、表示部15、スピーカ16を制御する。
次に本実施形態に係る車両用警報装置1の動作を説明する。
レーダ11は、他車42を検知すると、他車42が接近していることを示す検知情報をCPU20に供給する。
CPU20は、レーダ11から、この検知情報が供給されるとROM19から車両用警報処理のプログラムのデータを読み出し、図10に示すフローチャートに従って、この処理を実行する。
CPU20は、レーダ11からの距離情報に基づいて、後方の他車の位置情報を取得する(ステップS11)。
CPU20は、画像処理部13から、運転者2の顔画像を取得し、取得した顔画像に基づいて、運転者2の視線方向θ2を検出する(ステップS12)。
CPU20は、検出した運転者2の視線方向θ2に基づいて、運転者2の視線がドアミラー51L又は51Rの方に向けられているか否かを判定する(ステップS13)。
運転者2の視線がドアミラー51L及び51Rの何れにも向けられていないと判定した場合(ステップS13においてNo)、CPU20は、ROM19のテーブルを参照する(ステップS14)。
CPU20は、注視時間tが0であるため、警報レベルを10に設定する(ステップS15)。
CPU20は、設定した警報レベルに従って、警報を出力するように、表示部15、スピーカ16を制御する(ステップS16)。そして、CPU20は、この動作を終了させる。
一方、運転者2の視線がドアミラー51L又は51Rの方に向けられていると判定した場合(ステップS13においてYes)、CPU20は、操作情報取得部14から供給された操作情報に基づいて、ウィンカ52Lf,52Lb,52Rf,52Rb用のスイッチ52Sが操作されたか否かを判定する(ステップS17)。
スイッチ52Sが操作されたと判定した場合(ステップS17においてYes)、CPU20は、警報レベルを0に設定し(ステップS18)、この車両用警報処理を終了させる。
一方、スイッチ52Sが操作されなかったと判定した場合(ステップS17においてNo)、CPU20は、カメラ12が撮影した運転者2の画像と操作情報取得部14から供給されたシート位置情報とに基づいて3次元の顔位置を検出する(ステップS19)。
CPU20は、この3次元の顔位置を検出すると、ドアミラー51L又は51Rの上下左右方向のミラー角度を検出する(ステップS20)。
CPU20は、運転者2の視線方向θ2と、検出した3次元の顔位置と、操作情報取得部14から供給されたドアミラー51L又は51Rの上下左右方向のミラー角度と、に基づいて、ミラー映り込みエリアA1を判別する(ステップS21)。
CPU20は、ミラー映り込みエリアA1に対して、映り込んだ他車42の映り込み量xを取得する(ステップS22)。
CPU20は、運転者2がドアミラー51L又は51Rを注視した開始時刻と終了時刻とを時間計測部17から取得し、取得した両時刻に基づいてドアミラー51L又は51Rの注視時間tを取得する(ステップS23)。
CPU20は、ROM19のテーブルを参照する(ステップS24)。
CPU20は、参照したテーブルの内容に従って警報レベルを設定する(ステップS25)。
CPU20は、設定した警報レベルに従って、警報を出力するように、表示部15、スピーカ16を制御する(ステップS16)。そして、CPU20は、この動作を終了させる。
次に、この車両用警報装置1の動作を具体例を挙げて説明する。
他車42が図11に示す位置まで接近した場合に、ミラー映り込み量xが20%であり、注視時間tが2.0秒であったものとする。
この場合、CPU20が図5に示すテーブルを参照すると(ステップS24の処理)、警報レベルLvは、「4」である。このため、CPU20は、警報レベルLvを「4」に設定する(ステップS25の処理)。そして、CPU20は、この警報レベルLvで警報を出力するように、表示部15、スピーカ16を制御する(ステップS16の処理)。
スピーカ16は、例えば、図12(a)に示すような警報レベルLvが「4」に設定された音声を出力し、表示部15は、図12(b)に示すようなメッセージを表示する。
また、他車42が図13に示す位置まで接近した場合に、ミラー映り込み量xが10%であり、注視時間tが0.5<t≦1.0(秒)であったものとする。CPU20が図5に示すテーブルを参照すると(ステップS24の処理)、警報レベルLvは「9」である。このため、CPU20は、警報レベルLvを「9」に設定する(ステップS25の処理)。そして、CPU20は、この警報レベルLvで警報を出力するように、表示部15、スピーカ16を制御する(ステップS16の処理)。
スピーカ16は、例えば、図14(a)に示すような警報レベルLvが「9」に設定された音声(例えば、警報レベルLv「4」よりも音量が大きい)を出力する。また、表示部15は、例えば、図14(b)に示すように表示文字を点滅させたり、あるいは、図14(c)に示すように、メッセージを構成する一部の文字(例えば、“注意”等)を拡大させる(目立たせる)等して、図12(b)の場合に比べ、より運転者2に注意を引かせるような態様で表示を行う。
以上説明したように、本実施形態によれば、自車の後側方から他車42が接近している場合に、CPU20は、運転者2の視線方向θ2を取得し、注視時間tと、他車42のミラー映り込み量xとに基づいて警報レベルを設定するようにした。
従って、運転者に適切に警報を発することができる。
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、CPU20は、ROM19のテーブルを参照し、注視時間tと映り込み量xとに基づいて警報レベルを設定するようにした。しかし、CPU20は、この注視時間tのみ、あるいは映り込み量xのみに基づいて警報レベルを設定することもできる。また、図5に示すテーブルのデータも一例であって、この注視時間t、映り込み量x、警報レベルに限られるものではない。
また、CPU20は、運転者2の視線がドアミラー51L又は51Rの方向に向いているか否かを判別する代わりに、レーダ11が計測した距離の情報に基づいて、警報レベルを設定するようにしてもよい。即ち、CPU20は、自車41に対して他車42の位置が離れているときは、警報レベルを低く設定し、近づくに従って警報レベルを高くする。
上記実施形態の視線方向θ2の算出方法は、このものに限られるものではない。例えば、顔の詳細な角度は、右眼の中心と左眼の中心とをつなぐ線の中心点が、顔の中でどのあたりに位置するかを検出することで視線方向θ2を求めることもできる。
上記実施形態では、他車42が自車41の右後方を走行している場合について説明した。しかし、他車42が左後方を走行している場合も同様に上記実施形態を適用できる。
上記実施形態では、障害物を車両として説明した。しかし、障害物は、車両に限られるものではない。例えば、障害物は、電柱、樹木、植え込みのような路上設置物であってもよく、自車を後退させるときにも本実施形態を適用できる。
上記実施形態では、障害物としての他車42の検出にレーダ11を用いるようにした。しかし、他車42の検出に、カメラが用いられてもよい。
また、障害物の像を反射するミラーは、ドアミラーに限られるものではなく、サイドミラー、ルームミラーであってもよい。ルームミラーの場合、自車の後側方ではなく、後方に位置する他車についても対応することができる。さらに、ドアミラーとルームミラーとを組み合わせてもよい。
上記実施形態では、警報を出力する手段として、表示部とスピーカとが用いられた。しかし、例えば、LED(Light Emitting Diode)のような光を発する発光器を備え、車両用警報装置は、設定した警報レベルに従って発光器の光強度と点滅間隔を設定し、この発光器を点滅させるようにしてもよい。
また、車両用警報装置は、設定した警報レベルに基づいて、表示部、スピーカ、発光器のいずれかを組み合わせ、警報を出力することもできる。
本出願は、2006年9月29日にされた、日本国特許出願特願2006−268799に基づく。本明細書中に、その明細書、特許請求の範囲、図面全体を参照して取り組むものとする。
本発明は、後方の障害物を検出した際、状況に応じた適切なレベルで警報を発することができるので、自動車、自動二輪車等の車両に搭載される警報装置として、その利用価値は非常に高い。
CPU20は、図6(a)に示すように、運転者2が正面を向いている状態を基準として、この顔画像から、運転者2の顔の角度(θ3)、眼球の角度(θ4)を判別する。
また、図6(c)に示すように、顔が横向きになっているだけでなく眼球も横向きになっている場合、CPU20は、運転者2の眼球の角度(θ4)を算出する。顔の角度(θ3)は、カメラ12の位置を基準とし、眼球の角度は顔の方向を基準とする。CPU20は、画像処理部13が取得した瞳孔中心とプルキニエ像との相対位置関係から視線の角度を算出する。
図7に示すように、眼球62とカメラ12との間の距離が既知であるとして、CPU20は、画像中の瞳孔63の中心座標Oとプルキニエ像64の中心座標の位置関係から眼球の角度(θ4)を算出する。
CPU20は、顔の角度(θ3)と眼球の角度(θ4)とに基づいて、最終的な運転者2の視線方向θ2を判別する。

Claims (10)

  1. 自車の後方に位置する障害物を検出する障害物検出部と、
    前記障害物検出部により前記障害物が検出された際、警報を出力する警報出力部と、
    前記障害物の像を反射する鏡と、
    前記自車の運転者の視線方向を判別する視線方向判別部と、
    前記視線方向判別部が判別した前記視線方向に基づいて、前記運転者の視線が前記鏡の方向に向いているか否かを判定する判定部と、
    前記判定部の判定結果に従って、前記警報出力部が出力する警報のレベルを設定する警報レベル設定部と、を備えた、
    ことを特徴とする車両用警報装置。
  2. 前記判定部は、前記視線方向判別部が判別した前記視線方向に基づいて前記運転者の視線が前記鏡の方向に向いているか否かを判定するとともに、前記運転者の視線が前記鏡の方向に向いている度合いを判別し、
    前記警報レベル設定部は、前記判定部が判別した前記度合いに基づいて、前記警報出力部が出力する警報のレベルを設定する、
    ことを特徴とする請求項1に記載の車両用警報装置。
  3. 前記警報レベル設定部は、前記度合いが大きくなると、前記警報出力部が出力する警報のレベルを低減させる、
    ことを特徴とする請求項2に記載の車両用警報装置。
  4. 前記判定部は、前記運転者の視線が前記鏡の方向に向いている時間に基づいて前記度合いを判別する、
    ことを特徴とする請求項2に記載の車両用警報装置。
  5. 前記障害物検出部は、前記障害物を検出するとともに、前記自車に対する前記障害物の位置情報を取得し、
    前記判定部は、前記視線方向判別部が判別した前記運転者の視線方向に基づいて前記鏡に映り込む領域を判別し、判別した領域と前記障害物検出部が取得した前記位置情報とに基づいて、前記障害物が前記鏡に映り込んでいる割合を判別し、判別した割合に基づいて前記運転者の視線が前記鏡の方向に向いている度合いを判別する、
    ことを特徴とする請求項2に記載の車両用警報装置。
  6. 前記警報出力部が出力する警報のレベルが設定されたテーブルを記憶する記憶部をさらに備え、
    前記警報レベル設定部は、前記記憶部に記憶された前記テーブルを参照して、前記警報のレベルを設定する、
    ことを特徴とする請求項1に記載の車両用警報装置。
  7. 前記自車の運転者が方向指示器を操作したときの操作情報を取得する操作情報取得部をさらに備え、
    前記警報レベル設定部は、前記操作情報取得部が取得した前記操作情報も加味して、前記警報出力部が出力する警報のレベルを設定する、
    ことを特徴とする請求項1に記載の車両用警報装置。
  8. 前記判定部により前記運転者の視線が前記鏡の方向に向いていないと判定された場合、前記警報レベル設定部は、前記警報出力部が出力する警報を最も高いレベルに設定する、
    ことを特徴とする請求項1に記載の車両用警報装置。
  9. 自車の後方に位置する障害物を検出するとともに、前記自車と検出した前記障害物の間の距離を計測する障害物検出部と、
    前記障害物検出部により前記障害物が検出された際、警報を出力する警報出力部と、
    前記障害物検出部が計測した前記距離に基づいて、前記警報出力部が出力する警報のレベルを設定する警報レベル設定部と、を備えた、
    ことを特徴とする車両用警報装置。
  10. 自車の後方に位置する障害物を検出する障害物検出ステップと、
    前記障害物が検出された際、警報を出力する警報出力ステップと、
    前記自車の運転者の視線方向を判別する視線方向判別ステップと、
    判別した前記視線方向に基づいて、前記運転者の視線が、前記障害物の像を反射する鏡の方向に向いているか否かを判定する判定ステップと、
    該判定ステップでの判定結果に従って、出力する警報のレベルを設定する警報レベル設定ステップと、を備えた、
    ことを特徴とする車両用警報方法。
JP2008537451A 2006-09-29 2007-09-20 車両用警報装置及び車両用警報方法 Expired - Fee Related JP4924611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008537451A JP4924611B2 (ja) 2006-09-29 2007-09-20 車両用警報装置及び車両用警報方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006268799 2006-09-29
JP2006268799 2006-09-29
JP2008537451A JP4924611B2 (ja) 2006-09-29 2007-09-20 車両用警報装置及び車両用警報方法
PCT/JP2007/068304 WO2008041497A1 (en) 2006-09-29 2007-09-20 Alarm device for vehicle and alarm method for vehicle

Publications (2)

Publication Number Publication Date
JPWO2008041497A1 true JPWO2008041497A1 (ja) 2010-02-04
JP4924611B2 JP4924611B2 (ja) 2012-04-25

Family

ID=39268359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008537451A Expired - Fee Related JP4924611B2 (ja) 2006-09-29 2007-09-20 車両用警報装置及び車両用警報方法

Country Status (5)

Country Link
US (1) US8013758B2 (ja)
EP (1) EP2061016B1 (ja)
JP (1) JP4924611B2 (ja)
CN (1) CN101536057B (ja)
WO (1) WO2008041497A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US8624505B2 (en) 2010-05-28 2014-01-07 Tsmc Solid State Lighting Ltd. Light color and intensity adjustable LED
JP5141725B2 (ja) * 2010-07-05 2013-02-13 株式会社デンソー 障害物探索システム
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
JP5742201B2 (ja) * 2010-12-15 2015-07-01 富士通株式会社 運転支援装置、運転支援方法及び運転支援プログラム
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN103999138B (zh) * 2011-09-26 2015-06-17 丰田自动车株式会社 后侧方接近警报装置
US20130113614A1 (en) * 2011-11-03 2013-05-09 Ford Global Technologies, Llc Systems and methods for vehicle door clearance zone projection
JP5972332B2 (ja) * 2014-09-26 2016-08-17 本田技研工業株式会社 鞍乗型車両の接近報知装置
JP6303975B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 障害物警報装置
CN107662559A (zh) * 2016-07-28 2018-02-06 奥迪股份公司 警告控制装置及方法
CN112534487B (zh) * 2018-08-09 2024-03-08 索尼半导体解决方案公司 信息处理设备、移动体、信息处理方法和程序
CN110525337B (zh) * 2019-09-11 2021-09-21 北京经纬恒润科技股份有限公司 车辆安全控制装置及方法
JP2021174054A (ja) * 2020-04-20 2021-11-01 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2023203706A1 (ja) * 2022-04-21 2023-10-26 三菱電機株式会社 乗員監視装置及び乗員監視方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JP2004114977A (ja) * 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005018235A (ja) * 2003-06-24 2005-01-20 Aisin Seiki Co Ltd 車両用警報装置
JP2005032075A (ja) * 2003-07-08 2005-02-03 Nissan Motor Co Ltd 後側方警報装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199296A (ja) 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
JP4189858B2 (ja) * 2004-11-16 2008-12-03 株式会社ホンダアクセス 障害物検知装置
KR101115221B1 (ko) * 2005-01-07 2012-02-14 주식회사 현대오토넷 차량 근접 경고 시스템 및 방법
JP4557819B2 (ja) * 2005-06-21 2010-10-06 アルパイン株式会社 車両周辺情報提供装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JP2004114977A (ja) * 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005018235A (ja) * 2003-06-24 2005-01-20 Aisin Seiki Co Ltd 車両用警報装置
JP2005032075A (ja) * 2003-07-08 2005-02-03 Nissan Motor Co Ltd 後側方警報装置

Also Published As

Publication number Publication date
JP4924611B2 (ja) 2012-04-25
US20100060440A1 (en) 2010-03-11
US8013758B2 (en) 2011-09-06
WO2008041497A1 (en) 2008-04-10
EP2061016A4 (en) 2011-03-09
EP2061016B1 (en) 2012-05-16
EP2061016A1 (en) 2009-05-20
CN101536057B (zh) 2011-03-02
CN101536057A (zh) 2009-09-16

Similar Documents

Publication Publication Date Title
JP4924611B2 (ja) 車両用警報装置及び車両用警報方法
JP6369487B2 (ja) 表示装置
JP2929927B2 (ja) 走行情報提供装置
RU2724935C1 (ru) Способ и система оповещения водителя грузового автомобиля
JP4134891B2 (ja) 衝突可能性判定装置
JP4825868B2 (ja) 車両用警報装置
JP4946661B2 (ja) 車両用警報表示装置
JP2018081624A (ja) 車両システム
JP6103138B2 (ja) ドライバ支援システム
EP2535224A1 (en) Driving support equipment for vehicles
JP2012084108A (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
JP3941770B2 (ja) 衝突可能性判定装置
JP2009184554A (ja) 安全走行支援システム
JP4647387B2 (ja) 車両の運転支援装置
CN112119438A (zh) 车辆用后侧方警报装置和车辆用后侧方警报方法
JPH11245683A (ja) 車両用情報提示装置
JP2005063105A (ja) 脇見判定装置
JP6811743B2 (ja) 安全運転支援装置
JP7287199B2 (ja) 車両用注視誘導装置
JP2982377B2 (ja) 障害物表示装置
JP2013186728A (ja) 警報システム
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
KR20130044565A (ko) 후방 레이더 시스템 및 그 제어 방법
JP5289920B2 (ja) 車両用警報装置
JP2023089428A (ja) 運転支援装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4924611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees