JP4622544B2

JP4622544B2 - 車両の運転支援装置

Info

Publication number: JP4622544B2
Application number: JP2005019021A
Authority: JP
Inventors: 謙一小川
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2005-01-27
Filing date: 2005-01-27
Publication date: 2011-02-02
Anticipated expiration: 2025-01-27
Also published as: US7333006B2; US20060165259A1; EP1686000A1; EP1686000B1; JP2006209368A; DE602006002755D1

Description

本発明は、車両の運転者に対し警報を行なう車両の運転支援装置に関し、特に、対向車両との情報交換に基づく警報を行なう車両の運転支援装置に係る。

車両の運転者に対し警報を行なう運転支援装置の一つとして、特許文献１には、運転者に対してわき見運転や居眠り運転などの運転行為を検出するための運転状態検出装置が提案されており、運転中に運転者の顔が向くべき基準方向を予め設定すると共に、運転者の顔が向いている方向を検出し、これらの方向がなす顔向き角度を検出し、許容角度か否かを判定する技術が開示されている。

また、特許文献２には、目位置及び顔位置検出装置が開示されており、ＴＶカメラによって撮影した被験者の顔画像から、エッジ画像を検出し、顔画像データとエッジ画像から顔の中心線を求め、この中心線に基づき顔領域を決定し、左目領域、右目領域と鼻領域に分割し、更に、各領域の顔画像データとエッジ画像から目の位置を検出することとしている。

一方、特許文献３には、複数の車両間において情報を通信可能な車車間通信システムが開示されている。この特許文献３においては、各車両は、運転支援用として自車両に搭載された運転支援用カメラによって、自車両の周囲の画像を撮影し、撮影された周囲画像に基づいて自車両の周囲の交通状況等の走行関連情報を検出し、他車両に無線で送信するシステムが提案されている。

特許第２８２２５０８号公報特開２０００−３３９４７６号公報特開２００１−２８３３８１号公報

前述のように、特許文献１には、運転者の顔が向いている方向を検出し、これらの方向がなす顔向き角度を検出し、許容角度か否かを判定する技術が開示されているが、自車両の運転者に対し警報を行なうものであり、対向車両との関係において警報を行なうものではない。しかも、頻繁に警報が発せられ、却ってストレスとなるおそれがある。また、特許文献２には、顔画像データとエッジ画像から顔の中心線を求める技術が開示されているが、これも自車両の運転者に関するもので、対向車両とは無関係である。

これに対し、自車両と対向車両との関係において、一旦停止した状態から発進する際には、夫々の運転者が相互の意思を確認し得るように、少なくとも夫々の運転者が対面した状態とすることが望ましいが、これを確認する手段はなく、相互に異なる方向を向いたまま発進するおそれがある。従って、このような状態であるときには、何らかの警報を行なうことが望ましい。尚、前掲の特許文献３には、運転支援用カメラによって撮影された自車両の周囲の交通状況等の走行関連情報を、他車両に無線で送信することが開示されているが、運転支援用カメラは自車両の周囲の撮影に供されるものであり、運転者の顔画像を撮影するものではなく、自車両と対向車両の運転者の動向に言及されているものではない。

そこで、本発明は、車両の運転者に対し対向車両との情報交換に基づく警報を行なう車両の運転支援装置において、両車両の運転者が対面状態にあることを相互に確認し得るようにすることを課題とする。

上記の課題を達成するため、本発明は、請求項１に記載のように、車両の運転者に対し対向車両との情報交換に基づく警報を行なう車両の運転支援装置において、前記車両及び前記対向車両が夫々、当該車両内の運転者の前方に配置し、該運転者の顔面を含む画像を入力する画像入力手段と、該画像入力手段が入力した前記運転者の顔画像に基づき前記運転者の顔向角度を検出する顔向角度検出手段と、当該車両の進行方位を検出する進行方位検出手段と、該進行方位検出手段が検出した当該車両の進行方位と前記顔向角度検出手段が検出した前記運転者の顔向角度に基づき、前記運転者の顔向方位を検出する顔向方位検出手段と、該顔向方位検出手段が検出した前記運転者の顔向方位を表す信号を前記車両及び前記対向車両間で情報交換する車車間通信手段と、該車車間通信手段を介して入力した前記対向車両の前記運転者の顔向方位を表す信号と当該車両内の前記運転者の顔向方位を表す信号とを比較し、該比較結果に基づき前記車両及び前記対向車両の両運転者の顔面が対向し、且つ両運転者の顔向方位が一致するか否かを判定する判定手段と、該判定手段が両運転者の顔向方位の一致と判定しないときには前記車両が一旦停止した状態から発進する際に警報を発する警報手段とを備えることとしたものである。

上記請求項１に記載の車両の運転支援装置において、請求項２に記載のように、更に、前記車両及び前記対向車両の少なくとも一方が、前記車両と前記対向車両との間の車間距離を検出する車間距離検出手段を備えたものとし、前記車車間通信手段は、前記車間距離検出手段が検出した車間距離が所定距離未満のときにのみ、前記対向車両の前記運転者の顔向方位を表す信号を入力するように構成するとよい。

更に、請求項３に記載のように、前記車両及び前記対向車両の少なくとも一方が、当該車両の車速を検出する車速検出手段を備えたものとし、前記判定手段は、前記車速検出手段が検出した車速が所定速度未満のときにのみ、前記両運転者の顔向方位が一致するか否かを判定するように構成するとよい。

本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項１に記載の車両の運転支援装置においては、進行方位検出手段が検出した当該車両の進行方位と顔向角度検出手段が検出した運転者の顔向角度に基づき、運転者の顔向方位を検出し、この顔向方位を表す信号を車車間通信手段によって両車両間で情報交換を行ない、両運転者の顔面が対向し、且つ両運転者の顔向方位が一致しないときには車両が一旦停止した状態から発進する際に警報を発することとしているので、容易且つ迅速に、両車両の運転者が対面状態にあることを相互に確認することができる。

更に、請求項２に記載のように構成すれば、車間距離が所定距離未満のときにのみ、対向車両の運転者の顔向方位を表す信号が入力されるので、相互に干渉するおそれがある場合にのみ警報を発するようにすることができる。また、請求項３に記載のように構成すれば、車速が所定速度未満のときにのみ、両運転者の顔向方位が一致するか否かが判定されるので、一旦停止した状態から発進する際にのみ判定を行なうようにすることができる。

上記の構成になる本発明の車両の運転支援装置の具体的一態様について、以下に図面を参照して説明する。図１は、夫々運転支援装置ＤＡ１及びＤＡ２を装着した相互に対向する車両ＶＨ１及びＶＨ２を示すもので、両者を代表して運転支援装置ＤＡ１の構成について説明する。即ち、運転支援装置ＤＡ１は、車両ＶＨ１内の運転者ＤＲ１の前方に配置し、運転者ＤＲ１の顔面を含む画像を入力する画像入力手段Ｍ１と、この画像入力手段Ｍ１が入力した運転者ＤＲ１の顔画像に基づき運転者ＤＲ１の顔向角度を検出する顔向角度検出手段Ｍ２と、車両ＶＨ１の進行方位を検出する進行方位検出手段Ｍ３と、この進行方位検出手段Ｍ３が検出した車両ＶＨ１の進行方位と顔向角度検出手段Ｍ２が検出した運転者ＤＲ１の顔向角度に基づき、運転者ＤＲ１の顔向方位を検出する顔向方位検出手段Ｍ４と、この顔向方位検出手段Ｍ４が検出した運転者ＤＲ１の顔向方位を表す信号を車両ＶＨ１及び対向車両ＶＨ２間で情報交換する車車間通信手段Ｍ５とを備えている。そして、車車間通信手段Ｍ５を介して入力した運転者ＤＲ２の顔向方位を表す信号と車両ＶＨ１内の運転者ＤＲ１の顔向方位を表す信号とを比較し、この比較結果に基づき車両ＶＨ１び対向車両ＶＨ２の運転者ＤＲ１及びＤＲ２の顔面が対向し、且つ両運転者の顔向方位が一致するか否かを判定する判定手段Ｍ６と、この判定手段Ｍ６が両運転者の顔向方位の一致と判定しないときには警報を発する警報手段Ｍ７とを備えている。

画像入力手段Ｍ１としては撮像手段を含み、図１に示すように、例えばＣＣＤカメラ（以下、単にカメラという）ＣＭがステアリングコラムＳＣに固定されており、運転者ＤＲ１の顔画像が連続して撮像される。尚、カメラＣＭは、ステアリングコラムＳＣに限らず、運転者ＤＲの顔画像を連続して撮像し得る位置であればよく、例えばインスツルメントパネル（図示せず）内に配設することとしてもよい。また、進行方位検出手段Ｍ３としては、例えばナビゲーションシステムに供するＧＰＳが用いられ、車両ＶＨ１の進行方位を表す方位信号が出力される。

本実施形態においては、更に、車両ＶＨ１及びＶＨ２間の車間距離を検出する車間距離検出手段Ｍ８を備え、車車間通信手段Ｍ５は、この車間距離検出手段Ｍ８が検出した車間距離が所定距離未満のときにのみ、運転者ＤＲ２の顔向方位を表す信号を入力するように構成されている。また、車両ＶＨ１の車速を検出する車速検出手段Ｍ９を備えたものとし、この検出車速が所定速度未満のときにのみ、両運転者（ＤＲ１及びＤＲ２）の顔向方位が一致するか否かを判定するように構成されている。尚、車間距離検出手段Ｍ８としてはレーザビームを利用した測距センサ等、種々の装置が知られており、また、車速検出手段Ｍ９としては、例えば周知の車輪速度センサの検出信号に基づき車体速度を推定するように構成することができる。

図２は、画像処理に係る各手段の具体的構成の一例を示すもので、カメラＣＭの映像信号は、ビデオ入力バッファ回路ＶＢ、同期分離回路ＳＹを経てＡ／Ｄ変換されフレームメモリＦＭに格納される。このフレームメモリＦＭに格納された画像データは、画像処理部ＶＣで処理される。本実施形態の画像処理部ＶＣは、画像データ制御部ＶＰ、エッジ検出部ＥＰ及び顔向角度検出部ＦＡ及び顔向方位検出部ＦＤで構成されている。

画像処理部ＶＣにおいては、フレームメモリＦＭ内の画像データから、画像データ制御部ＶＰでアドレス指定されたデータが呼び出された画像に対してエッジ検出部ＥＰにてSobelオペレータ等によりエッジ検出が行われ、顔向角度検出部ＦＡにて、エッジ点群に基づき顔幅として確からしい線分が選択されて輪郭として認識され、顔幅に関するデータが決定される。そして、この顔幅データに基づき顔構成部分の探索領域が決定され、この探索領域内に横方向の連続したエッジ点が検出されたときに、顔構成部分が特定される。そして、この顔構成部分に基づき運転者ＤＲ１（及びＤＲ２）の顔中心が判定される。

更に、図１に示すＧＰＳからの方位信号、並びに、車間距離検出手段Ｍ８及び車速検出手段Ｍ９の出力信号（図２に車両信号として示す）が入力インターフェース回路ＩＮを介してシステム制御部ＳＣに供給され、更に上記方位信号が画像処理部ＶＣに供給され、顔向方位検出部ＦＤにおける演算に供される。そして、演算結果がシステム制御部ＳＣに供給され、出力インターフェース回路ＯＵから車内ＬＡＮに出力され、このＬＡＮを介して、図１の車車間通信手段Ｍ５、判定手段Ｍ６及び警報手段Ｍ７に供給される。尚、図２におけるＣＬ、ＰＷは夫々クロック回路及び電源回路である。

図３は、上記の構成に成る車両ＶＨ１の運転支援装置ＤＡ１のメインルーチン（対向車両ＶＨ２についても同様）を示すもので、先ず、ステップ１０１において初期化され、ステップ１０２にて車速検出手段Ｍ９の出力信号が入力され、ステップ１０３にて車間距離検出手段Ｍ８の出力信号が入力され、更に、ステップ１０４において、進行方位検出手段Ｍ３によって検出される車両ＶＨ１の進行方位を表す方位信号が入力される。続いて、ステップ１０５において、運転者ＤＲ１の顔向角度が検出される。

このステップ１０５における顔向角度検出は、図４に示すように行なわれる。即ち、先ずステップ２０１において運転者ＤＲ１の顔画像が入力され、ステップ２０２において、例えば入力画像から上下（縦）方向の連続したエッジ点が検出され、顔幅に関するデータが決定される。続いて、この顔幅データに基づき、眉等の顔構成部分の探索領域が決定され、この探索領域内に横方向の連続したエッジ点が検出されたときには顔構成部分として抽出され、運転者ＤＲ１の顔中心が求められる。そして、ステップ２０３において、顔構成部分の対称性に基づき顔向角度が演算される。このようにして求められた顔向角度と、前述のように進行方位検出手段Ｍ３によって検出された車両ＶＨ１の進行方位に基づき、図３のステップ１０６にて運転者ＤＲ１の顔向方位（角度で表す）が検出される。

而して、ステップ１０７に進み、対向車両ＶＨ２と車両ＶＨ１（以下において、前者との対比を明確にするため自車両ＶＨ１ともいう）との車間距離が所定距離Ｋｄ（ｍ）と比較される。この結果、車間距離が所定距離Ｋｄ未満と判定されると、ステップ１０８にて対向車両ＶＨ２との顔向方位データの交換が行なわれ、更に、ステップ１０９に進み、自車両ＶＨ１の車速が所定速度Ｋｓ（ｋｍ／ｈ）と比較される。自車両ＶＨ１の車速が所定速度Ｋｓ未満と判定され、実質的に停車したと判定されると、ステップ１１０に進み、運転者ＤＲ１及びＤＲ２の顔面が対向し、且つ両運転者の顔向方位が一致するか否かが判定される。特に、本実施形態では、自車両ＶＨ１の顔向方位（角度）と、対向車両ＶＨ２の顔向方位（角度）に１８０°を加算した値との差が求められ、この差の絶対値が所定角度Ｋａ未満の状態が所定時間Ｔａ継続したか否かに基づいて、運転者ＤＲ１及びＤＲ２の顔向方位が一致しているか否かが判定される。

そして、ステップ１１０において、上記の差の絶対値が所定角度Ｋａ未満の状態が所定時間Ｔａ継続していると判定されると、ステップ１１１に進み、運転者ＤＲ１及びＤＲ２の顔向方位が一致しており、所謂アイコンタクトがなされたと判定され、ステップ１０２に戻る。一方、ステップ１１０の条件を充足していないと判定されると、ステップ１１２に進み、アイコンタクトがなされていないと判定され、更にステップ１１３に進む。ステップ１１３においては、車両ＶＨ１が発進状態か否かが判定され、発進状態である場合には、ステップ１１４に進み、音声信号、警報音、インジケータ点灯等の警報が発せられる。この場合において、更にスロットル制御装置（図示せず）等を制御し、発進を制限するように構成することとしてもよい。尚、ステップ１０７、１０９及び１１３において「否」と判定されたときには、ステップ１０２に戻り、上記の処理が所定サイクルで繰り返される。

而して、上記の実施形態によれば、両車両の運転者ＤＲ１及びＤＲ２は容易且つ迅速に、対面状態にあることを相互に確認することができる。しかも、車両ＶＨ１及びＶＨ２間の車間距離が短く、発進状態にある場合にのみ警報が発せられるので、頻繁な警報を回避し、適切に報知することができる。

本発明の一実施形態に係る車両の運転支援装置の構成を示すブロック図である。本発明の一実施形態における画像処理に係る各手段の主要構成を示すブロック図である。本発明の一実施形態におけるメインルーチンを示すフローチャートである。本発明の一実施形態における顔向角度検出処理を示すフローチャートである。

符号の説明

ＶＨ１，ＶＨ２車両
ＣＭカメラ
ＤＲ１，ＤＲ２運転者
Ｍ１画像入力手段
Ｍ２顔向角度検出手段
Ｍ３進行方位検出手段
Ｍ４顔向方位検出手段
Ｍ５車車間通信手段
Ｍ６判定手段
Ｍ７警報手段

Claims

車両の運転者に対し対向車両との情報交換に基づく警報を行なう車両の運転支援装置において、前記車両及び前記対向車両が夫々、当該車両内の運転者の前方に配置し、該運転者の顔面を含む画像を入力する画像入力手段と、該画像入力手段が入力した前記運転者の顔画像に基づき前記運転者の顔向角度を検出する顔向角度検出手段と、当該車両の進行方位を検出する進行方位検出手段と、該進行方位検出手段が検出した当該車両の進行方位と前記顔向角度検出手段が検出した前記運転者の顔向角度に基づき、前記運転者の顔向方位を検出する顔向方位検出手段と、該顔向方位検出手段が検出した前記運転者の顔向方位を表す信号を前記車両及び前記対向車両間で情報交換する車車間通信手段と、該車車間通信手段を介して入力した前記対向車両の前記運転者の顔向方位を表す信号と当該車両内の前記運転者の顔向方位を表す信号とを比較し、該比較結果に基づき前記車両及び前記対向車両の両運転者の顔面が対向し、且つ両運転者の顔向方位が一致するか否かを判定する判定手段と、該判定手段が両運転者の顔向方位の一致と判定しないときには前記車両が一旦停止した状態から発進する際に警報を発する警報手段とを備えたことを特徴とする車両の運転支援装置。
前記車両及び前記対向車両の少なくとも一方が、前記車両と前記対向車両との間の車間距離を検出する車間距離検出手段を備え、前記車車間通信手段は、前記車間距離検出手段が検出した車間距離が所定距離未満のときにのみ、前記対向車両の前記運転者の顔向方位を表す信号を入力することを特徴とする請求項１記載の車両の運転支援装置。
前記車両及び前記対向車両の少なくとも一方が、当該車両の車速を検出する車速検出手段を備え、前記判定手段は、前記車速検出手段が検出した車速が所定速度未満のときにのみ、前記両運転者の顔向方位が一致するか否かを判定することを特徴とする請求項１又は２記載の車両の運転支援装置。