JP5488105B2 - 車両の運転支援装置 - Google Patents

Description

この発明は、自車を運転する運転者の視線を認識する視線認識手段を備え、該視線認識手段により認識された視線情報に基づいて、自車の運転を支援する車両の運転支援装置に関する。

従来より、自車の車外走行環境を判定し、その判定結果に応じて運転補助を実行する運転支援装置が知られている。

運転支援装置では、一般的に、車外走行環境の判定において、前方物体の有無を判定する。そして、前方物体が存在した時には、自車から前方物体までの距離を求め、その距離に基づいて所定の運転補助を実行する。

図１３は、従来の運転支援装置を備えた車両（自車）Ｖが、右カーブの直前の直線道路を走行している状態を示している。図１３では、車両Ｖが走行する走行帯Ｚａの右側に対向車用の走行帯Ｚｂが隣接しており、車両Ｖの前方で同じ走行帯Ｚａを走行している他車Ｖａと、走行帯Ｚｂを走行している他車Ｖｂとが存在している。

車両Ｖには、自車の車外走行環境を判定すべく、前方物体を検出する検出手段１１４が備えられており、この検出手段１１４は、例えば、所定周波数の電波や、赤外線等の電磁波を送信するレーダー装置、または公知のステレオカメラ等によって構成される。ここで、図中二点鎖線で示す領域Ａは、検出手段１１４によって前方物体の検出が行われる検出領域を示している。

図１３の場合、走行帯Ｚａ、Ｚｂとの間で車線変更を行うことができないため、通常であれば、車両Ｖにおいて運転補助を実行する際に考慮すべき対象物体は、同じ走行帯Ｚａを走行している先行走行車両（他車Ｖａ）のみであり、隣接する走行帯Ｚ２を走行する対向車（他車Ｖｂ）については、接近状態になったとしても上述した上記対象物体になることはない。

しかしながら、従来、図示のように右カーブ前方から接近してきた他車Ｖｂが他車Ｖａよりも車両Ｖの手前側に進入することによって、車両Ｖの視認面上で他車Ｖａと他車Ｖｂとが略近づいて（略重なって）見える状態になると、他車Ｖｂが上記対象物体であると誤判定される場合があった。

このような誤判定が発生すると、他車Ｖｂとの距離が求められ、しかも他車Ｖｂは車両Ｖに接近する方向に走行していることから、運転支援装置は、結果としてこの他車Ｖｂとの接触を回避しようとして誤って運転補助を実行してしまう。

つまり、従来の運転支援装置では、上記対象物体を正確に認識できない場合があり、その結果、不適切な運転補助が実行される虞があった。

ところで、従来、車両を運転する運転者の視線を認識し、認識された視線情報に基づいて車両の運転補助を実行するものが提案されている。下記特許文献１では、運転者の視線情報に基づいて自車の進行路形状を推定するものが開示されており、進行路形状としてカーブ形状（カーブの曲率半径）を推定している。そして、同文献では、推定されたカーブ形状に応じて速度警告や、車線認識追従走行等の運転補助を実行している。

また、下記特許文献２には、運転者の視線情報と、運転者の眼球運動の特性とに基づいて、自車前方の注意対象に対する運転者の視認状態を判定するものが開示されている。この場合、運転者が本当に注意対象を視認しているか否かを精度良く判定でき、上記注意対象を視認していないと判定した時には、所定の運転補助を実行することにより、上記注意対象との接触を回避する等して、自車の走行に関連する緊急度を低減した走行を実現可能にしている。

特開平１１−３４８６９６号公報 特開２００７−６８９１７号公報

しかしながら、上記特許文献１、２のいずれの場合においても、自車から前方物体（先行走行車両）までの距離は、レーダー装置から出力されるデータのみによって求められている。このため、図１３を参照して説明した場合と同様、対象物体を正確に認識できない場合が生じてしまう。

この発明は、運転補助を実行する際に考慮すべき対象物体を正確に認識することで、適切な運転補助を実行することを可能にする車両の運転支援装置を提供することを目的とする。

この発明の車両の運転支援装置は、自車を運転する運転者の視線を認識する視線認識手段を備え、該視線認識手段により認識された視線情報に基づいて、自車の運転を支援する車両の運転支援装置であって、上記視線認識手段は、運転者の両眼の視線に基づいて、自車から運転者が視認している視認物体までの第１距離を判定するとともに、上記第１距離に基づいて、運転を補助する運転補助手段を備え、自車前方の車外走行環境を、電磁波の反射、または自車前方を撮影した撮影画像の処理により認識する車外走行環境認識手段を備え、該車外環境認識手段は、自車から上記前方物体までの第２距離の算出を行うとともに、上記運転補助手段は、上記第１距離に基づいて運転を補助する第１運転補助部と、上記第１距離よりも上記第２運転距離を主体とした距離に基づいて運転を補助する第２運転補助部とを備え、上記車外環境認識手段により認識した車外走行環境に基づいて、第１運転補助部による運転補助、第２運転補助部による運転補助のいずれかを選定するものである。

この構成によれば、運転補助を実行する際に考慮すべき対象物体を、運転者が視認物体を注視している時の視線に基づいて正確に認識することができ、適切な運転補助を実行することが可能になる。

また、上記対象物体を、様々な車外走行環境に応じて的確に認識することができ、最適な運転補助を実行することが可能になる。

なお、本発明で言うところの、上記第１距離よりも上記第２運転距離を主体とした距離に基づいて運転を補助するとは、第２距離に基づく運転補助に高い優先度が設定されていることを意味している。従って、重み付け等によって、第１距離に基づく運転補助よりも第２距離に基づく運転補助のほうが高い確率で選定されるような制御であってもよい。

この発明の一実施態様においては、上記視線認識手段が、両眼の瞳孔の状態に基づいて上記視認物体までの距離を判定するものである。

この構成によれば、瞳孔の状態の認識により、上記対象物体までの距離をより高精度に判定することが可能になる。

この発明の一実施態様においては、上記運転補助手段が、所定の車外走行環境時において、上記第１距離と上記第２距離とが実質的に不一致の時には、上記第１運転補助部による運転補助を優先するものである。

この構成によれば、上記対象物体を、車外走行環境に応じてより高精度に認識することができる。これにより、例えば、自車の走行に関連する緊急度が低い状態（所定の車外走行環境時）であるにも関わらず、過剰な運転補助が実行されることを回避でき、過剰な運転補助による煩わしさを低減できる。

また、この発明の車両の運転支援装置は、自車を運転する運転者の視線を認識する視線認識手段を備え、該視線認識手段により認識された視線情報に基づいて、自車の運転を支援する車両の運転支援装置であって、上記視線認識手段は、運転者の両眼の視線に基づいて、自車から運転者が視認している視認物体までの第１距離を判定するとともに、上記第１距離に基づいて、運転を補助する運転補助手段を備え、自車前方の車外走行環境を、電磁波の反射、または自車前方を撮影した撮影画像の処理により認識する車外走行環境認識手段と、自車前方の車線形状を認識する車線形状認識手段とを備え、上記車外走行環境認識手段は、自車から上記前方物体までの第２距離の算出を行うとともに、上記運転補助手段は、上記第１距離、若しくは上記第２距離に基づいて、自車から上記前方物体までの距離を確定する距離確定部を備え、該距離確定部は、上記車線形状認識手段による車線形状認識に基づき、上記車線形状が所定のカーブ形状と判定した場合には、上記第１距離を確定するものである。

この構成によれば、運転補助を実行する際に考慮すべき対象物体を、運転者が視認物体を注視している時の視線に基づいて正確に認識することができ、適切な運転補助を実行することが可能になる。

また、例えば、隣接する走行帯に他車が存在し、所定のカーブ形状により先行走行車両と上記他車とが略近づいて（略重なって）見える場合であっても、運転者は先行走行車両を視認する可能性が高いと判定し、該先行走行車両を上記対象物体として運転補助を実行することができる。

この発明の一実施態様においては、上記視線認識手段が、両眼の瞳孔の状態に基づいて上記視認物体までの距離を判定するものである。

この構成によれば、瞳孔の状態の認識により、上記対象物体までの距離をより高精度に判定することが可能になる。

この発明の一実施態様においては、上記車外走行環境認識手段が、更に前方物体の位置を認識するとともに、上記運転補助手段は、上記車外走行環境認識手段により認識した前方物体の位置の移動と、上記視線認識手段により認識した視認物体の位置の移動とが、実質的に同じ状態の後、上記視線が実質的に変化せずに、上記第１距離と上記第２距離とが実質的に不一致となった時、上記第１距離に基づいて運転を補助するものである。

この構成によれば、所定期間前までの上記前方物体及び上記視認物体の移動軌跡を解析することで、第１、第２距離が不一致となった原因を認識でき、その結果、車外走行環境の変化を高精度に認識することができる。このため、第１距離に基づく運転補助、第２距離に基づく運転補助の選定をより高精度に行うことが可能になる。

この発明によれば、運転補助を実行する際に考慮すべき対象物体を、運転者が視認物体を注視している時の視線に基づいて正確に認識することができ、適切な運転補助を実行することが可能になる。

この発明の実施形態に係る運転支援装置を備える車両の概略的な構成を示すブロック図。 直線道路を走行する自車の前方に先行走行車両が存在している状態を例として、自車から先行走行車両までの第１距離を求める方法を説明するための概略説明図。 直線道路を自車が走行している状態を示す概略平面図であり、自車の前方に先行走行車両が存在している状態を示す図。 図２、図３に示す状態において生成される前方物体認識データを示す図。 視認物体を認識する方法を説明するための説明図。 右カーブの手前の直線道路を自車が走行している状態を示す概略平面図であり、自車の前方で同じ走行帯を走行している他車と、自車が走行する走行帯の右側に隣接する対向車用の走行帯を走行している他車とが存在している状態を示す図。 図６に示す状態に対応する前方物体認識データを示す図。 直線道路上を自車が走行している状態を示す概略平面図であり、自車の前方に先行走行車両が存在するとともに、距離の閾値の範囲外において、侵入物体が自車と先行走行車両との間の道路上を横切っている状態を示す図。 図８に示す状態に対応する前方物体認識データを示す図。 直線道路上を自車が走行している状態を示す概略平面図であり、自車の前方に先行走行車両が存在するとともに、距離の閾値の範囲内において、侵入物体が自車と先行走行車両との間の道路上を横切っている状態を示す図。 図１０に示す状態に対応する前方物体認識データを示す図。 車両に備えられた運転支援装置の動作を示すフローチャート。 従来の運転支援装置を備えた自車が、右カーブの手前の直線道路を走行している状態を示す概略平面図であり、自車の前方で同じ走行帯を走行している他車と、自車が走行する走行帯の右側に隣接する対向車用の走行帯を走行している他車とが存在している状態を示す図。

以下、図面に基づいて本発明の実施形態を詳述する。
図１は、本発明の実施形態に係る運転支援装置１を備える車両Ｖの概略的な構成を示すブロック図である。図１に示す車両Ｖの運転支援装置１は、パワートレイン２やブレーキ装置３等を制御する制御装置としてのＣＰＵ１０、該ＣＰＵ１０に接続され、これに各種データを出力する車速センサ１１、前方撮影カメラ１２、レーダー装置１４、及び視線検出カメラ１３を備えている。

さらに、運転支援装置１は、運転者に対して所定の警報を行うワーニング装置１５と、各種制御プログラムや、ＣＰＵ１０に出力された各種データを記憶する記憶装置１６とを備えている。

また、運転支援装置１は、その車速を制御して定速走行させるか、または先行車両に追従走行させる公知のＡＣＣ制御システムを備えており、このＡＣＣ制御システムによる運転補助を実行可能としている。

ここで、車速センサ１１は、車両Ｖの車速を検出して、検出した車速に対応するデータをＣＰＵ１０に出力するものであり、上記ＡＣＣ制御では、ＣＰＵ１０が、車速センサ１１からのデータに基づいてパワートレイン２やブレーキ装置３を適宜制御し、先行走行車両が存在しない時には車両Ｖを一定の目標速度で定速走行させる定速走行制御（所謂クルーズ走行制御）を、先行走行車両が存在する時には該先行走行車両に対して一定の目標車間距離を維持した状態で車両Ｖを追従走行させる追従走行制御を行う。

前方撮影カメラ１２は、主に車両Ｖの前方の道路を撮影することにより車線形状を認識するものである。この前方撮影カメラ１２は、車室のルーフ前端部に取付けられ、例えばＣＣＤやＣＭＯＳセンサを利用したデジタル式のカメラにより構成され、撮影データをＣＰＵ１０に出力する。

視線検出カメラ１３は、可視光領域や赤外線領域にて運転者の両眼の瞳孔を撮影して視線を認識する手段である。この視線検出カメラ１３は、車室内のインストルメントパネル上部に配設され、ステアリングホイール４のコラム付近に位置している。視線検出カメラ１３は、撮影した瞳孔の画像を利用して認識した運転者の視線に関連する情報を視線情報としてＣＰＵ１０に出力する。

ワーニング装置１５は、車両Ｖの運転者に対して音声や画面表示等で所定の警報を行うものであり、例えば、車両Ｖと前方の前方物体とが急接近した時等、自車の走行に関連する緊急度が高まった時に、ＣＰＵ１０からの制御信号を受信して所定の警報を行う。

レーダー装置１４は、車両Ｖの前方の走行環境を認識するためのものであり、例えば、前方物体の検出が行われる。レーダー装置１４は、フロントバンパの前端部に取付けられ、所定周波数の電波を送信する。そして、車両Ｖの前方の物体に当たって反射してきた電波を受信し、この受信信号を物体情報としてＣＰＵ１０に出力する。この時、送信波と受信波との時間差から、自車（車両Ｖ）から物標（前方物体）までの距離が求められる。また、送信波に対する受信波の波長シフトから、自車と前方物体との相対速度が求められる。

なお、レーダー装置１４としては、電磁波を送信するものであればよく、例えば赤外線を送信するものであってもよい。この場合、電波と同様、赤外線の反射により自車から前方物体までの距離、及び自車と前方物体との相対速度を求めることができる。また、本実施形態では、車両Ｖがレーダー装置１４を備えているが、２つのカメラ装置により撮影された画像を処理することによって前方物体までの距離を求めることができる公知のステレオカメラであってもよい。

記憶装置１６は、各種制御プログラムや、ＣＰＵ１０に出力された各種データの他、運転補助の実行に際して考慮すべき対象物体を判定する際に用いられる閾値として、車両Ｖから前方物体までの距離に関連する閾値Ｄ１、Ｄ２、車両Ｖと前方物体との相対速度に関連する閾値ΔＤ３を記憶している。なお、上記対象物体の判定については後述する。

次に、本実施形態に係る運転支援装置１の動作について説明する。図２、図３は、直線道路を車両（自車）Ｖが走行している状態を示しており、車両Ｖの前方には先行走行車両として他車Ｖ１が存在している。図示の場合、前方撮影カメラ１２（図１参照）により、車線Ｌ１、Ｌ２が撮影され、この車線Ｌ１、Ｌ２の撮影画像から前方の車線形状が直線であると認識される。

この場合、通常であれば、車両Ｖの運転者Ｍは、図２に示すように他車Ｖ１を注視している。この時、運転者Ｍの両眼の視線Ｘは、略他車Ｖ１を指向しており、運転者Ｍの両眼の視線Ｘが交わる焦点Ｆは、他車Ｖ１に位置している。

そこで、本実施形態では、視線検出カメラ１３によって撮影した撮影画像から、両眼の瞳孔の状態が認識され、この瞳孔の状態に基づいて視線Ｘの方向が認識される。そして、認識された視線Ｘの方向と車両Ｖの進行方向のとの角度のずれΔθが算出され、この角度のずれΔθに基づいて焦点Ｆの位置が検出されるようになっている。

さらに、本実施形態では、上述した焦点Ｆの検出により、運転者Ｍから、該運転者Ｍが視認している視認物体（図２では、他車Ｖ１）までの距離Ｄｅ１′が求められ、この距離Ｄｅ１′に基づいて車両Ｖから他車Ｖ１までの第１距離Ｄｅ１が求められるようになっている。

また、図１に示す運転支援装置１のうち、レーダー装置１４では、図３にて二点鎖線で示すように車両Ｖの進行方向に対して左右に所定角度広がりをもつ電波Ｗ１の照射領域Ａが設定されており、図３では、照射領域Ａに他車Ｖ１が入っている。この時、他車Ｖ１で反射された受信波Ｗ２に基づいて、車両Ｖから他車Ｖ１までの第２距離Ｄｒ１、及び車両Ｖと他車Ｖ１との相対速度ΔＤｒ１が求められる。

また、レーダー装置１４は、前方物体で反射される受信波Ｗ２に基づき、この前方物体の像（輪郭線）に対応するエッジを検出し、図４、図５に示すような仮想の視認面上に前方物体認識データを生成する。図３の場合、レーダー装置１４は、他車Ｖ１の像に対応するエッジを検出し、このエッジの検出によって、他車Ｖ１は、図４にて太い破線で示すような前方物体ＰＦＭ１として認識される。そして、レーダー装置１４は、この前方物体ＰＦＭ１の認識結果を示す前方物体認識データを生成し、これを物体情報としてＣＰＵ１０に出力する。この前方物体認識データにより、ＣＰＵ１０は、車両Ｖに対する前方物体ＰＦＭ１の相対的な位置を認識することが可能になる。

なお、上述したエッジは、レーダー装置１４から送信した電波Ｗ１に対して受信波Ｗ２を受けたものについてのみ検出される。このため、例えば、図３に示す車線Ｌ１、Ｌ２については、レーダー装置１４から電波Ｗ１を送信したとしても電波の反射がなく、受信波Ｗ２を受信できないため、前方物体認識データでは、車線Ｌ１、Ｌ２に対応するエッジが検出されることはない。図４、図５では、便宜上車線Ｌ１等を仮想線（二点鎖線）で示している。

また、本実施形態では、視線検出カメラ１３が焦点Ｆの位置を所定時間毎にサンプリングしている。そして、焦点Ｆのサンプリング結果は、視線情報としてＣＰＵ１０に送信され、ＣＰＵ１０では、サンプリングされた焦点Ｆを、図５に示すように前方物体認識データ上に重畳し、焦点Ｆの分布を解析するようになっている。

ここで、図２に示すように、運転者Ｍが他車Ｖ１を注視している場合について見てみると、この場合、焦点Ｆは、図５に示すように視認面上の限られた領域に略集中することになる。

そこで、焦点Ｆの分布解析では、先ず所定のフィルタ処理により、よそ見や検出誤差等によって他から大きく離間した焦点Ｆ_ｏｕｔが除去される。そして、上記フィルタ処理後に残った焦点Ｆはグループ化され、グループ化された焦点Ｆが集中している集中領域が特定される。

この場合、特定された集中領域と視認面上で対応する位置に運転者Ｍが注視している他車Ｖ１が存在していると推測できることから、本実施形態では、この集中領域の特定によって、他車Ｖ１が、図４、図５にて細い破線で示すような視認物体ＥＬＭ１として認識される。ここでは、視認物体ＥＬＭ１のエッジが、上記集中領域の縁部によって設定される。

上述した前方物体認識データでは、最終的に前方物体ＰＦＭ１及び視認物体ＥＬＭ１が、１つの視認面上に重畳される。そして、ＣＰＵ１０は、前方物体ＰＦＭ１及び視認物体ＥＬＭ１の位置データを含む前方物体認識データを所定時間毎に記憶装置１６に記憶させる。記憶装置１６では、上記前方物体認識データが所定期間分蓄積される。

図２〜図５に示す場合には、運転者Ｍが注視している前方物体と、レーダー装置１４が検出している前方物体とが同じ他車Ｖ１であることから、前方物体認識データでは、視認物体ＥＬＭ１と前方物体ＰＦＭ１とが図４、図５に示すように略同じ領域に位置している。そして、この場合、視線検出カメラ１３の視線情報により求められる視認物体ＥＬＭ１までの第１距離Ｄｅ１と、レーダー装置１４から出力される上記受信信号により求められる前方物体ＰＦＭ１までの第２距離Ｄｒ１とは略同じになる。

ところで、運転支援装置１では、運転補助を実行する際に考慮すべき対象物体を判定し、この対象物体までの距離に基づいて所定の運転補助を実行するようになっている。

具体的には、車両Ｖの前方に存在する前方物体を上記対象物体とし、車両Ｖから前方物体までの距離、及び車両Ｖと前方物体との相対速度に基づいて、該前方物体との接近状態が判定される。ここでは、該前方物体との距離が所定の閾値Ｄ１未満であって、かつ上記相対速度が所定の負（進行方向の速度を正とする）の値ΔＤ３未満、つまりは前方物体の移動速度が車両Ｖの車速に比べて著しく低速であった場合、両者が所定の接近状態であると判定される。

このように、所定の接近状態であると判定されると、車両Ｖの車外走行環境が大きく変化していることから、運転補助が実行されるようになっている。ここでは、ワーニング装置１５による警報が行われる。

一方、所定の接近状態ではないと判定された場合には、上述したＡＣＣ制御システムが作動し、上記定速走行制御や、上記追従走行制御が実行される。

ここで、図２〜図５の場合について見てみると、上述したように、視認物体ＥＬＭ１と前方物体ＰＦＭ１とは同じ領域に位置しており、しかも車両Ｖからの第１、第２距離Ｄｅ１、Ｄｒが略同じである。この場合、運転者Ｍのよそ見や微細な視線Ｘの変化による第１距離Ｄｅの誤差を考慮して、図４、図５にてハッチングで示す前方物体ＰＦＭ１が上記対象物体とされ、この前方物体ＰＦＭ１までの第２距離Ｄｒ１を主体として運転補助が実行されるようになっている。

図６は、右カーブの手前の直線道路を車両（自車）Ｖが走行している状態を示しており、図６では、車両Ｖが走行する走行帯Ｚ１の右側に隣接する位置に対向車用の走行帯Ｚ２が隣接している。図示の場合、前方撮影カメラ１２により、車線Ｌ４〜Ｌ５が撮影され、この車線Ｌ３〜Ｌ５の撮影画像から前方の車線形状が右カーブであると認識される。

また、図６では、車両Ｖの前方で同じ走行帯Ｚ１を走行している他車Ｖ２と、走行帯Ｚ２を走行している他車Ｖ３とが存在している。そして、右カーブ前方から接近してきた他車Ｖ３が、他車Ｖ２よりも手前側に進入することによって、車両Ｖの視認面上で他車Ｖ２と他車Ｖ３とが略近づいて（略重なって）見える状態になっている。

この場合、走行帯Ｚ１、Ｚ２は車線変更ができないため、通常であれば、上記対象物体となるのは、同じ走行帯Ｚ１を走行している先行走行車両（他車Ｖ２）のみであり、隣接する走行帯Ｚ２を走行する対向車（他車Ｖ３）については、接近状態になったとしても上記対象物体となることはない。

このため、運転者Ｍは、先行走行車両である他車Ｖ２のみを注視しており、視線Ｘはこの他車Ｖ２の方向を指向したまま変化しない。この場合、上述した焦点Ｆの分布解析により、前方物体認識データ上では、他車Ｖ２が、図７に示すように視認物体ＥＬＭ２として認識される。

一方、照射領域Ａには他車Ｖ２、Ｖ３が入っているものの、他車Ｖ２は、他車Ｖ３によって略隠れた状態であることから、ここでは、他車Ｖ３までの第２距離Ｄｒ３、及びＶ３との相対速度ΔＤｒ３が求められるとともに、他車Ｖ３のエッジが検出され、前方物体認識データ上では、他車Ｖ３が、図７に示すように前方物体ＰＦＭ３として認識される。

この場合、車線変更ができない点を考慮しなければ、対向車である他車Ｖ３が車両Ｖに接近する方向に走行していることから、前方物体ＰＦＭ３までの第２距離Ｄｒ３を主体として運転補助が実行されることになるが、この場合は誤判定となってしまう。

そこで、本実施形態では、他車Ｖ３と他車Ｖ２とが略近づいて（略重なって）見えるカーブにおいて、視認物体ＥＬＭ２と前方物体ＰＦＭ３とが同じ領域に位置しているものの、車両Ｖからの第１、第２距離Ｄｅ２、Ｄｒ３が実質的に不一致となった場合には、所定期間前における視認物体及び前方物体の移動軌跡が解析されるようになっている。

図７では、視認物体ＥＬＭ２と前方物体ＰＦＭ３とが同じ領域に位置する少し前の視認物体、前方物体をそれぞれ符号ＥＬＭ２′、ＰＦＭ２′で示している。図７では、視認物体ＥＬＭ２′、前方物体ＰＦＭ２′の移動軌跡が略同じであり、つまりは、第１、第２距離Ｄｅ２′、Ｄｒ２′は所定期間前まで略同じである。

このことから、運転者Ｍは、以前から他車Ｖ２を注視していると推測することができ、第１、第２距離Ｄｅ３、Ｄｒ２が不一致となったのは、運転者Ｍのよそ見が原因ではなく、他車Ｖ２が他車Ｖ３によって隠れた状態になっても、運転者Ｍの視線Ｘが他車Ｖ２を向いたまま実質的に変化していないことが原因であると推測できる。

このように、所定期間前における視認物体ＥＬＭ２の移動軌跡が、前方物体ＰＦＭ２の移動軌跡と実質的に同じであった後、視線Ｘが他車Ｖ２を注視したまま視線Ｘが変化せず、第１、第２距離Ｄｅ２、Ｄｒ３が不一致となった場合には、前方物体ＰＦＭ３ではなく、図７にてハッチングで示す視認物体ＥＬＭ２が対象物体とされ、この視認物体ＥＬＭ２までの第１距離Ｄｅ２を主体として運転補助が実行されるようになっている。

図８は、直線道路上を車両（自車）Ｖが走行している状態を示している。図示の場合、前方撮影カメラ１２により、車線Ｌ６、Ｌ７が撮影され、この車線Ｌ６、Ｌ７の撮影画像から前方の車線形状が直線であると認識される。

また、図８では、車両Ｖの前方に先行走行車両として他車Ｖ４が存在するとともに、車両Ｖと他車Ｖ１との間の道路上を侵入物体ｉが横切っている。但し、運転者Ｍは、他車Ｖ４のみを注視しており、視線Ｘはこの他車Ｖ４の方向を指向している。

この場合、図９に示すように、他車Ｖ４、侵入物体ｉのエッジが検出され、物体認識データ上では、他車Ｖ４が前方物体ＰＦＭ４、侵入物体ｉが前方物体ＰＦＭｉとして認識される一方、焦点Ｆの分布解析により、他車Ｖ４が、視認物体ＥＬＭ４として認識される。

この場合、通常であれば、侵入物体ｉのほうが車両Ｖに接近していることから、前方物体ＰＦＭｉを主体として運転補助が実行されることになるが、車両Ｖと侵入物体ｉとの距離が十分大きければ、侵入物体ｉは、車両Ｖが接近するまでに道路を渡りきって道路の外に出る可能性が高い。この場合、車両Ｖの走行に関連する緊急度は低く、侵入物体ｉを考慮した運転補助は不要である。

そこで、本実施形態では、車両Ｖが直線道路を走行中、視認物体ＥＬＭ４と、最も車両Ｖに接近している前方物体ＰＦＭｉとが物体認識データ上で略同じ領域に位置しているものの、視認物体ＥＬＭ４の第１距離Ｄｅ４と、前方物体ＰＦＭｉの第２距離Ｄｒｉとが実質的に不一致の場合、前方物体ＰＦＭｉが、図８に示す所定の距離の閾値Ｄ２の範囲内であるか否かが判定されるようになっている。

図８の場合、前方物体ＰＦＭｉが閾値Ｄ２の範囲外であるため、侵入物体ｉに対する上記緊急度は低いと判定される。そして、前方物体ＰＦＭｉではなく、図７にてハッチングで示す視認物体ＥＬＭ４が対象物体とされ、この視認物体ＥＬＭ４までの第１距離Ｄｅ４を主体として運転補助が実行されるようになっている。

一方、図１０に示すように、車両Ｖと侵入物体ｉとの第２距離Ｄｉが閾値Ｄ２の範囲内であるにも関わらず、運転者Ｍが他車Ｖ４を注視しており、視線Ｘが他車Ｖ４を指向している場合には、他車Ｖ４に対して注意が集中しているために、運転者Ｍが侵入物体ｉを見落としていると推測できる。

このように、視認物体ＥＬＭ４の第１距離Ｄｅ４と、前方物体ＰＦＭｉの第２距離Ｄｒｉとが実質的に不一致の場合、前方物体ＰＦＭｉが閾値Ｄ２の範囲内である時には、視認物体ＥＬＭ４ではなく、図１１にてハッチングで示す前方物体ＰＦＭｉが対象物体とされ、この前方物体ＰＦＭｉまでの第２距離Ｄｒｉを主体として運転補助が実行されるようになっている。

次に、図１２に示すフローチャートとともに、車両Ｖに備えられた運転支援装置１の動作について説明する。
先ず、運転支援装置１では、ステップＳ１において、車速センサ１１、前方撮影カメラ１２、視線検出カメラ１３、及びレーダー装置１４から各種データがＣＰＵ１０に入力される。

ＣＰＵ１０は、入力された各種データのうち、前方撮影カメラ１２から入力される前方の撮影画像データに基づいて、前方の車線形状を認識する（ステップＳ２）。

さらに、ＣＰＵ１０は、ステップＳ３に移行して、レーダー装置１４から入力されるデータに基づいて、前方物体ＰＦＭ１、…（以下、前方物体ＰＦＭ）の検出状態を認識するとともに、ステップＳ４では、視線検出カメラ１３から入力されるデータに基づいて、焦点Ｆの分布を解析し、視認物体ＥＬＭ１、…（以下、視認物体ＥＬＭ）を認識する。

ここで、視認物体ＥＬＭを認識できた時には、ＣＰＵ１０は、運転者Ｍから視認物体ＥＬＭまでの距離に基づいて車両Ｖから視認物体ＥＬＭまでの第１距離Ｄｅ１、…（以下、第１距離Ｄｅ）を求める。

そして、ステップＳ３において、レーダー装置１４により前方物体ＰＦＭが検出された時には（ステップＳ５：ＹＥＳ）、ＣＰＵ１０は、レーダー装置１４から入力されるデータに基づいて車両Ｖから前方物体ＰＦＭまでの第２距離Ｄｒ１…（以下、第２距離Ｄｒ）、及び車両Ｖと前方物体との相対速度ΔＤｒ１、…を求める。

その後、ＣＰＵ１０は、ステップＳ６に移行し、ステップＳ４で認識した視認物体ＥＬＭと前方物体ＰＦＭとが、前方物体認識データの視認面上で同じ領域に存在するか否かを判定する。

この時、視認物体ＥＬＭと前方物体ＰＦＭとが同じ領域に存在していれば（ステップＳ６：ＹＥＳ）、ＣＰＵ１０は、ステップＳ７に移行し、第１距離Ｄｅと第２距離Ｄｒとが実質的に不一致となったか否かを判定する。

ここで、第１、第２距離Ｄｅ、Ｄｒが実質的に不一致となった場合（ステップＳ７：ＹＥＳ）、ＣＰＵ１０は、ステップＳ８において、ステップＳ２で認識された車線形状が所定のカーブであったか否かを判定し、所定のカーブであれば（ステップＳ８：ＹＥＳ）、ステップＳ９に移行する。なお、ここで言う所定のカーブとは、例えば、図６に示すように、車両Ｖの走行帯Ｚ１に隣接する走行帯Ｚ２に他車Ｖ３が存在している時、カーブによって他車Ｖ３を上記対象物体と誤判定する可能性があるようなカーブ形状を意味する。

ステップＳ９では、ＣＰＵ１０が、所定期間前までの前方物体認識データを記憶装置１６から読み出し、視認物体ＥＬＭ及び前方物体ＰＦＭの移動軌跡を解析する。ここで、図７に示す視認物体ＥＬＭ２、前方物体ＰＦＭ２のように、視認物体ＥＬＭの移動軌跡と、前方物体ＰＦＭの移動軌跡とが同じであった場合（ステップＳ９：ＹＥＳ）、ＣＰＵ１０は、第１距離Ｄｅを確定距離Ｄ０に設定する（ステップＳ１０）。

次に、ＣＰＵ１０は、ステップＳ１１に移行し、確定距離Ｄ０と所定の閾値Ｄ１とを比較するとともに、視認物体ＥＬＭと車両Ｖとの相対速度ΔＤ０と所定の閾値ΔＤ３とを比較することにより、車両Ｖとの接近状態を判定する。

ここで、確定距離Ｄ０が閾値Ｄ１未満であって、かつ相対速度ΔＤ０が閾値ΔＤ３未満であった場合には（ステップＳ１１：ＹＥＳ）、車両Ｖの走行に関連する緊急度が高い状態であると判定し、ＣＰＵ１０は、ステップＳ１２に移行して、運転補助を実行する。ここでは、ＣＰＵ１０が、図１に示すワーニング装置１５に所定の制御信号を送信して、ワーニング装置１５による警報を行わせる。そして、一連の処理をステップＳ１にリターンする。

一方、確定距離Ｄ０が閾値Ｄ１以上であるか、相対速度ΔＤ０が閾値ΔＤ３以上であった場合には（ステップＳ１１：ＮＯ）、上記緊急度が低い状態であると判定し、ＣＰＵ１０は、ステップＳ１３に移行して、運転補助を実行する。ここでは、ＣＰＵ１０が、パワートレイン２やブレーキ装置３を適宜制御し、上述した追従走行制御を実行する。そして、一連の処理をステップＳ１にリターンする。

ところで、ステップＳ８において、ステップＳ２で認識された前方道路形状が所定のカーブでなかった場合（ステップＳ８：ＮＯ）、ＣＰＵ１０は、ステップＳ１４に移行し、前方物体ＰＦＭが車両Ｖから所定の閾値Ｄ２の範囲内に存在するか否かを判定する。

ここで、前方物体ＰＦＭが所定の閾値Ｄ２の範囲外である場合（ステップＳ１４：ＮＯ）、前方物体ＰＦＭに対する上記緊急度は低いと判定する。この時、ＣＰＵ１０は、ステップＳ１０に移行して、第１距離Ｄｅを確定距離Ｄ０に設定し、ステップＳ１１以降の処理を実行する。

一方、前方物体ＰＦＭが所定の閾値Ｄ２の範囲内であった場合（ステップＳ１４：ＹＥＳ）、運転者Ｍが視認している視認物体ＥＬＭよりも、前方物体ＰＦＭに対する緊急度のほうが高いと判定する。この時、ＣＰＵ１０は、ステップＳ１５に移行して、第２距離Ｄｒを確定距離Ｄ０に設定し、ステップＳ１１以降の処理を実行する。

また、ステップＳ６において、視認物体ＥＬＭと前方物体ＰＦＭとが同じ領域に存在していなかった場合や（ステップＳ６：ＮＯ）、ステップＳ７において、第１、第２距離Ｄｅ、Ｄｒが実質的に一致していた場合（ステップＳ７：ＮＯ）、または、ステップＳ９において、視認物体ＥＬＭの移動軌跡と、前方物体ＰＦＭの移動軌跡とが同じでなかった場合は（ステップＳ９：ＮＯ）、運転者Ｍのよそ見や視線Ｘの微細な変化による第１距離Ｄｅの誤差を考慮して、いすれも、ＣＰＵ１０は、第２距離Ｄｒを確定距離Ｄ０に設定し（ステップＳ１５）、ステップＳ１１以降の処理を実行する。

また、ステップＳ５において、レーダー装置１４により前方物体ＰＦＭが検出されなかった場合には（ステップＳ５：ＮＯ）、ＣＰＵ１０は、ステップＳ１６に移行して運転補助を実行する。ここでは、ＣＰＵ１０が、パワートレイン２やブレーキ装置３等を適宜制御し、上述したクルーズ走行制御を実行する。そして、一連の処理をステップＳ１にリターンする。

このように、本実施形態では、ＣＰＵ１０が、視線検出カメラ１７により認識された運転者Ｍの両眼の視線Ｘに基づいて、車両Ｖから運転者Ｍが視認する視認物体ＥＬＭまでの第１距離Ｄｅを求め、この第１距離Ｄｅに基づいて運転補助を実行している。これにより、運転補助を実行する際に考慮すべき対象物体を、運転者Ｍが視認物体ＥＬＭを注視している時の視線Ｘに基づいて正確に認識することができ、適切な運転補助を実行することが可能になる。

また、運転者Ｍの両眼の瞳孔の状態に基づいて、視認物体ＥＬＭまでの第１距離Ｄｅを求めることにより、上記対象物体までの距離をより高精度に判定することが可能になる。

但し、車線形状の違いや前方物体の状態等、車外走行環境の違いにより、第１距離Ｄｅよりも、第２距離Ｄｒを主体として運転補助を実行するのが適切な場合もある。

そこで、運転支援装置１は、車線形状を認識する前方撮影カメラ１２と、車両Ｖの前方の走行環境を電波の反射により認識するレーダー装置１４とを備え、道路形状（直線、カーブ形状）や前方物体への接近状態といった車外走行環境を認識するとともに、レーダー装置１４から出力されるデータにより車両Ｖから前方物体ＰＦＭまでの第２距離Ｄｒを求め、第１距離Ｄｅに基づく運転補助と、第２距離Ｄｒに基づく運転補助とを、上記車外走行環境に基づいて選定している。

これにより、上記対象物体を、様々な車外走行環境に応じて的確に認識することができ、最適な運転補助を実行することが可能になる。

また、図８、図９に示すように、侵入物体ｉに対する上記緊急度が低い所定の車外走行環境時において、第１、第２距離Ｄｅ４、Ｄｒｉが実質的に不一致の時、視認物体ＥＬＭ４を対象とした運転補助を優先することにより、上記対象物体をより高精度に認識することができる。

これにより、上記緊急度が低い状態であるにも関わらず、侵入物体ｉを上記対象物体として過剰な運転補助が実行されることを回避でき、過剰な運転補助による煩わしさを低減できる。

また、前方撮影カメラ１２によって所定のカーブ形状を認識した時、第１距離Ｄｅを確定距離Ｄ０とすることにより、例えば、図６、図７に示すように、隣接する走行帯Ｚ２に対向車（他車Ｖ３）が存在し、右カーブにより先行走行車両（他車Ｖ２）と他車Ｖ３とが略近づいて（略重なって）見える場合であっても、運転者Ｍは他車Ｖ２を視認する可能性が高いと判定し、他車Ｖ２を上記対象物体として運転補助を実行することができる。

ところで、上述したように、第１、第２距離Ｄｅ、Ｄｒが不一致となる場合としては、視認物体ＥＬＭと前方物体ＰＦＭとが視認面上で略近づいた（略重なった）場合以外に、例えば、運転者Ｍがよそ見をしている場合も考えられる。

そこで、本実施形態では、前方物体認識データにより前方物体の位置を認識するとともに、図６、図７に示すように、前方物体ＰＦＭ２の移動軌跡と、視認物体ＥＬＭ２の移動軌跡とが実質的に同じ状態の後、他車Ｖ２を注視したまま視線Ｘが実質的に変化せずに、第１、第２距離Ｄｅ２、Ｄｒ３が不一致となった時、第１距離Ｄｅ２を確定距離Ｄ０とし、視認物体ＥＬＭ２を対象物体として運転補助を実行している。

このように、所定期間前までの視認物体ＥＬＭ２及び前方物体ＰＦＭ２の移動軌跡を解析することで、第１、第２距離Ｄｅ、Ｄｒが不一致となった原因を認識でき、その結果、車外走行環境の変化（例えば、視認物体ＥＬＭ２と前方物体ＰＦＭ３と視認面上で略近づいた（略重なった）状態）を高精度に認識することができる。このため、第１距離Ｄｅに基づく運転補助、第２距離Ｄｒに基づく運転補助の選定をより高精度に行うことが可能になる。

なお、本発明で言うところの運転補助は、ステップＳ１２で実行される警報、ステップＳ１３で実行される追従走行制御、及びステップＳ１６で実行されるクルーズ走行制御に必ずしも限定されない。例えば、所定の認識手段により認識された車線に沿って車両を走行させる車線追従走行制御や、前照灯の光軸制御等であってもよい。

また、車両が目的地までの走行路を案内するナビゲーション装置を備えている場合であれば、該ナビゲーション装置の位置判定情報に基づいて車線形状を認識してもよい。

この発明の構成と、上述の実施形態との対応において、
この発明の、視線認識手段は、視線検出カメラ１３、及びステップＳ４を実行するＣＰＵ１０に対応し、
以下同様に、
運転補助手段は、ステップＳ６〜Ｓ１６を実行するＣＰＵ１０に対応し、
車外走行環境認識手段は、レーダー装置１４、及びステップＳ３、Ｓ５を実行するＣＰＵ１０に対応し、
第１運転補助部は、ステップＳ１０〜Ｓ１３を実行するＣＰＵ１０に対応し、
第２運転補助部は、ステップＳ１１〜Ｓ１３、及びステップＳ１５を実行するＣＰＵ１０に対応し、
車線形状認識手段は、前方撮影カメラ１２、及びステップＳ２を実行するＣＰＵ１０に対応し、
距離確定部は、ステップＳ１０、Ｓ１５を実行するＣＰＵ１０に対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。

１…運転支援装置
１０…ＣＰＵ
１２…前方撮影カメラ
１３…視線検出カメラ
１４…レーダー装置

Claims (6)

1. 自車を運転する運転者の視線を認識する視線認識手段を備え、
   該視線認識手段により認識された視線情報に基づいて、自車の運転を支援する車両の運転支援装置であって、
   上記視線認識手段は、運転者の両眼の視線に基づいて、自車から運転者が視認している視認物体までの第１距離を判定するとともに、
   上記第１距離に基づいて、運転を補助する運転補助手段を備え、
   自車前方の車外走行環境を、電磁波の反射、または自車前方を撮影した撮影画像の処理により認識する車外走行環境認識手段を備え、
   該車外環境認識手段は、自車から上記前方物体までの第２距離の算出を行うとともに、
   上記運転補助手段は、上記第１距離に基づいて運転を補助する第１運転補助部と、
   上記第１距離よりも上記第２運転距離を主体とした距離に基づいて運転を補助する第２運転補助部とを備え、
   上記車外環境認識手段により認識した車外走行環境に基づいて、第１運転補助部による運転補助、第２運転補助部による運転補助のいずれかを選定する
   車両の運転支援装置。
2. 上記視線認識手段は、両眼の瞳孔の状態に基づいて上記視認物体までの距離を判定する
   請求項１記載の車両の運転支援装置。
3. 上記運転補助手段は、所定の車外走行環境時において、上記第１距離と上記第２距離とが実質的に不一致の時には、上記第１運転補助部による運転補助を優先する
   請求項１または２記載の車両の運転支援装置。
4. 自車を運転する運転者の視線を認識する視線認識手段を備え、
   該視線認識手段により認識された視線情報に基づいて、自車の運転を支援する車両の運転支援装置であって、
   上記視線認識手段は、運転者の両眼の視線に基づいて、自車から運転者が視認している視認物体までの第１距離を判定するとともに、
   上記第１距離に基づいて、運転を補助する運転補助手段を備え、
   自車前方の車外走行環境を、電磁波の反射、または自車前方を撮影した撮影画像の処理により認識する車外走行環境認識手段と、
   自車前方の車線形状を認識する車線形状認識手段とを備え、
   上記車外走行環境認識手段は、自車から上記前方物体までの第２距離の算出を行うとともに、
   上記運転補助手段は、上記第１距離、若しくは上記第２距離に基づいて、自車から上記前方物体までの距離を確定する距離確定部を備え、
   該距離確定部は、上記車線形状認識手段による車線形状認識に基づき、上記車線形状が所定のカーブ形状と判定した場合には、上記第１距離を確定する
   車両の運転支援装置。
5. 上記視線認識手段は、両眼の瞳孔の状態に基づいて上記視認物体までの距離を判定する
   請求項４記載の車両の運転支援装置。
6. 上記車外走行環境認識手段は、更に前方物体の位置を認識するとともに、
   上記運転補助手段は、上記車外走行環境認識手段により認識した上記前方物体の位置の移動と、上記視線認識手段により認識した視認物体の位置の移動とが、実質的に同じ状態の後、上記視線が実質的に変化せずに、上記第１距離と上記第２距離とが実質的に不一致となった時、上記第１距離に基づいて運転を補助する
   請求項１〜５のいずれか一項に記載の車両の運転支援装置。

Images