JP4879189B2 - 安全走行支援装置 - Google Patents

Description

本発明は、自動車などの車両を運転する運転者に対して衝突や追突、歩行者との接触などの危険があるかどうかを案内するための安全走行支援装置に関するものである。

従来、車両の運転者に対して、危険な状態または安全な状態であるかを案内する装置としては、例えば、運転者が交通環境を認識しているかどうかを判定して、その認識の度合に応じて危険な要因を案内するものがあった。

図１１は、従来の安全走行支援装置の概念図である。この安全走行支援装置では、運転者が注視しなければならない対象の方向を必要注視方向として決定し、運転者がその必要注視方向を見た頻度を注視頻度として求め、この頻度を用いて運転者が交通環境について認識しているかどうかを判定している（例えば、特許文献１参照）。

図１２は、他の従来の安全走行支援装置の概念図である。この安全走行支援装置では、運転者の視線方向から注視点を決定し、その注視点を基準にその近傍を注視エリアとして定義し、注視エリア内に道路設備があるかどうかで、運転者が道路設備の状態を認識しているかどうかを判定している（例えば、特許文献２参照）。

車両の運転者に対して、衝突や追突、歩行者との接触などの危険があるかどうかを案内する場合、運転者にとって必要なときだけ警告することが望ましい。すなわち、運転者が既に危険な状態であることを認知している場合には警報を出力する必要はなく、運転者にとって余計な警報が報知されると、かえって煩わしさが増加してしまう。

例えば、交差点などで運転者が見落とすと危険な状態になる可能性がある対象物を検知し、運転者がその認知すべき対象物を見落としている場合にのみ、その見落とした内容を警告すれば安全走行に対する支援を効率的に行うことが可能になる。
特開平７−１６７６６８号公報（第７頁、図１） 特開２００５−１８２３０７号公報（第１３頁、図４）

しかしながら、運転者が注意を払うべき対象物の大きさは大小さまざまであるとともに、走行中の運転者は遠方にある小さな対象物に対しても十分注意を払う必要がある。

例えば、図１３に示すように、１００ｍ先にある信号機を視認したかどうかを判定する場合、信号機の大きさは高さが約３０ｃｍ程度であるので、対象物に視線方向が重なる頻度を用いて視認の判定を行う場合には、視線方向の検出精度は０．１７度以下でないと正確に対象物と重なっているかは分からないため、対象物に対して視線方向が重なる頻度では正確な判定ができない。

一方で、視線方向を検出する技術としては近赤外によるカメラを用いた瞳孔角膜反射法などがあり、検出精度は現状で０．３〜０．４度程度であり（参考文献：「眼球形状モデルに基づく視線測定法」、第８回画像センシングシンポジウムPP.307-312,2002.）、検出精度が不十分である。

また、今後、カメラの解像度などが改善され０．１７度以下の精度が実現されたとしても、高精度の視線検出装置が必要になりコストアップにつながってしまう。

さらに、視線方向そのものの定義としても人間の眼の構造を考慮すると困難になる。つまり、人間は眼の中の黄斑と呼ばれる眼球の後極の外側にある直径２mmの部分が色の識別や視力が良く、さらにこの中の中心窩と呼ばれる部分に写った写像で詳細な視界情報を認知しており、認知できる網膜にある程度の面積が存在する事を考慮すると、この黄斑や中心窩のどの部分が視線方向としての基準位置になるのかの定義が困難になる。

また、図１４に示すように、視認の判定を行うべき対象物が運転者から重なって見える場合には、注視点を基準に注視エリアを設定し注視エリア内に対象物があるかどうかを判定する方法ではどちらの対象物を見ているのか判定することは不可能である。

本発明は、従来の問題を解決するためになされたもので、視線方向検出の精度が１度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができる安全走行支援装置を提供することを目的とする。

本発明の安全走行支援装置は、設定された対象物の存在または状態を検出する交通環境検出手段と、前記対象物の中から運転者が安全運転のために注意を払うべき注視目標を決定する注視目標決定手段と、運転者の片眼あるいは両眼の視線方向を検知する視線方向検出手段と、前記注視目標と前記視線方向検出手段で検出した視線方向の移動パタンとの相関から運転者が前記注視目標を視認しているかどうかを判定する視認判定手段と、前記視認判定手段で判定した視認判定結果から運転者が安全不確認かどうかを判定する安全不確認判定手段と、前記安全不確認判定手段で決定した安全不確認判定結果に従い安全不確認の内容を案内する提示手段とを備える構成を有している。

この構成により、運転者の視線方向の移動パタンにより注視目標を視認しているかが判定され、高精度な視線検出装置が不要となり、コストを抑えることができる。

本発明によれば、運転者の視線方向の移動パタンにより注視目標を視認しているかを判定することにより、視線方向検出の精度が１度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態の安全走行支援装置を示す図である。

図１において、本実施の形態の安全走行支援装置は、対象物となる車や歩行者などの移動体と道路標識や信号機などの道路設備の存在あるいは状態を検出する交通環境検出手段１１と、運転者が安全運転のために注意を払うべき対象物を交通環境検出手段１１で検出した対象物の中から選別あるいは注意すべき度合を決定する注視目標決定手段１２と、運転者の片眼あるいは両眼の視線方向を検知する視線方向検出手段１３と、注視目標決定手段１２で決定した注視目標と視線方向検出手段１３で検出した視線方向の移動パタンから運転者が対象物を見ているかどうかを判定あるいは視認の度合を判定する視認判定手段１４と、視認判定手段１４で判定した視認判定結果から運転者の安全不確認の度合を求める安全不確認判定手段１５と、安全不確認判定手段１５で決定した安全不確認判定結果に従い安全不確認の内容を案内する提示手段１６とを備えている。

交通環境検出手段１１は、例えば、車両前方の映像を撮影するカメラと、演算機で構成したセンサーから構成され、図２に示すような、車両用の信号機と歩行者用の信号機を検出するとともに、歩行者を検出する。図２において対象物は歩行者用信号機Ｍ１、Ｍ２と、自車両用信号機Ｍ４と歩行者Ｍ３、Ｍ５、Ｍ６である。このとき、一時停止線や横断歩道や白線などの道路にペイントされた表示も対象物に含めてもよい。

具体的には、カメラを車両前方の映像を写すように二個車室内に配置してステレオカメラとして用い、車両前方の映像を常に撮影するようにする。演算機は、この二個のカメラで撮影した映像それぞれに対してフレーム毎に処理を行う。

まず、映像のノイズを取り除くために移動平均を用いて平滑化を行い、デジタルフィルタを用いて映像の高周波成分を抽出することによりエッジ抽出を行う。

一方で、車両や歩行者や信号機などの運転者が注意を払うべき対象物の画像を複数用意し、これらの画像に対してエッジ抽出をしておく。

そして、カメラより得られたエッジ抽出結果と予め用意してあるエッジ抽出を行った対象物の画像とのパターンマッチングにより運転者が注意を払うべき対象物の検出を行う。

さらに、抽出した対象物に対して、二個のカメラから得られた映像の差分を計算することにより、二つの映像の視差を計算し、視差が大きいものは近くに存在する対象物とし、視差が小さいものは遠くにある対象物とする。この時、自車と立体物との相対位置関係は三角測量を用いて計算すればよい。

車両や歩行者などの移動体の場合には、その位置や速度や進んでいる方向を検知する。具体的には、撮影した画像のフレーム毎の対象物の相対位置関係を記録しておき、移動体の速度や移動方向をフレーム間の差分から計算する。相対位置の座標は自車位置を原点とし、自車が向いている方向をｙ軸の正方向とし、自車両右側をｘ軸の正方向として二次元座標を設定する。交通環境検出手段１１が検出する移動体としては、車両のほか、歩行者、バイク、自転車などが含まれる。

注視目標決定手段１２は、運転者が注意を払うべき対象物を交通環境検出手段１１が検出した対象物の中から選別する。

例えば、直進する場合、運転者が注意を払うべき対象物は自車両用信号機Ｍ４とする。このとき、歩行者Ｍ６が交通環境検出手段１１によって自車両前方に移動してくると予測されれば、歩行者Ｍ６も運転者が注意を払うべき対象物に含めるようにしてもよい。

一方、右折する場合の運転者が注意を払うべき対象物は自車両用信号機Ｍ４、歩行者Ｍ３とＭ５とする。その選別する方法としては、自車前方の右側にいる歩行者を注意を払うべき対象物とする。

自車前方の右側と判断する方法は、上述の二次元座標を用いて、ｘ座標がプラスの歩行者とする。

自車両が直進するか右折するかの判定はウインカーの信号を検出することにより行う。また、アクセル操作、ブレーキ操作、ハンドル操作の特徴を直進の場合と右折の場合で記憶しておき、運転者がウインカーを出し忘れた場合には、これらの情報から直進か右折かを予測するようにすることも可能である。

さらに、過去の走行データを蓄積しておき右折時の走行軌跡を予測し、歩行者Ｍ５に対して十分な間隔を保って右折できるかどうかを判断し、十分な間隔があると判断できた場合には運転者が注意を払うべき対象物として歩行者Ｍ５を外すようにしてもよい。

このときの十分な間隔を保てるかどうかの判定は、自車を原点とした二次元座標を用いて、ある一定時間まで、予測した走行軌跡の自車と各歩行者との間のユーグリット距離を計算し、ある一定以下の距離にならない事で判断するようにする。

なお、ここでは注視目標決定手段１２は交通環境検出手段１１とは別の手段として説明したが、注視目標決定手段１２が決定する注視目標を運転者が注意を払うべき領域、例えば、前方右側などと簡易化し、交通環境検出手段１１の中に含めて実装することで交通環境検出手段１１の演算処理を軽減することなども可能であり、本実施の形態は、交通環境検出手段１１と注視目標決定手段１２の構成の関係に対して制約を加えるものではない。

以降の説明では、運転者が注意を払うべき対象物として、直進時は自車両用信号機Ｍ４のみで、右折時は自車両用信号機Ｍ４と歩行者Ｍ３、Ｍ５として説明する。

視線方向検出手段１３は、運転者の視線方向を検出する。具体的な実現方法の一例として、近赤外線カメラを用いた瞳孔角膜反射法による視線検出方法を説明する。

近赤外線のカメラを運転者の眼が撮影できる位置に配置する。例えば、ダッシュボード上やルームミラーの位置に配置する。このとき、カメラの光軸とほぼ同じ位置に近赤外線を照射するためのＬＥＤ（Light Emitting Diode）を同時に設置しておく。

そして、運転者の眼を撮影する場合にはこのＬＥＤを照射するようにする。撮影された画像から瞳孔の中心位置を検出する。瞳孔の検出は、例えば、眼の位置を検出した後に、その中心に最も黒く円形に写っている部分を検出し瞳孔とすればよい。

眼の位置の検出には、例えば、エッジ抽出を行い、左右に弧を描きながら延びる曲線を上まぶたと下まぶたとして検出する。

また、眼を撮影する際に照射したＬＥＤの反射像を検出する。ＬＥＤの反射像は眼球上に明るく写っている点であるので、最も簡単な検出方法の例としては、眼の中で一番輝度が高い部分を検出すればよい。

そして、瞳孔の中心とＬＥＤの反射像の位置関係から運転者の視線方向を検出する。つまり、瞳孔と反射像が重なっている場合にはカメラ方向に視線方向があることになり、ずれている場合にはそのずれた分だけその方向に視線方向があるとする。

上述の説明では特に言及しなかったが、片目だけから視線方向を検出してもよいし、両目からそれぞれ視線方向を求めてもよい。このとき、両目の視線方向をそれぞれ求め、その角度の差から視認している対象物の距離を求めて、視認判定手段１４の判定時に利用するようにしてもよい。

視認判定手段１４は、視線方向の移動パタンから対象物を視認したかどうかの判定を行う。この原理を図３から図６を用いて説明する。

まず、図３に示すように、対象物と運転者の間に二次元空間を設定しＸ軸とＹ軸を設定する。Ｙ軸は垂直方向で上がプラスとなるように設定し、Ｘ軸は水平方法で右がプラスとなるように設定する。原点は何処に設定してもよいが、ここでは運転者の顔正面を原点において説明する。

交通環境検出手段１１で検出した対象物の中から注視目標決定手段１２で決定した注視目標の対象物を上述のＸ−Ｙの二次元空間上に表す。このとき、運転者の眼の位置と対象物とを結んだ線がＸ−Ｙの二次元空間と交わる位置に写像するようにする。図３では信号機を例にして、信号機の外枠の範囲をＸ−Ｙの二次元空間に写像する例を示している。

一方、視線方向検出手段１３で検出した視線方向をＸ−Ｙの二次元空間上に写像する。このようにすることにより、二次元空間上で対象物と視線方向の関係を比較することが可能となる。

図４は、視線方向の移動パタンを用いて運転者が対象物を見ているかどうかを判定する方法の概念図である。

図４は、Ｘ−Ｙの二次元空間に写像した場合の例で、車を対象物とし、右から左へ移動している場合を例にしている。ここでは、説明を簡単にするために、運転者が運転している車は停止しているものとして説明する。

運転者が車を見ているかどうかを判定する場合に、まず、視認しているかを判定する対象物を絞り込むため、明らかに視認していない対象物の除外を行う。例えば、視線方向に対して、ある一定角度の閾値を設け、検出された視線方向の上下左右方向にこの閾値を加算した範囲よりも外側にある対象物を明らかに視認していない対象物として視認しているかを判定する対象物から除外する。

この閾値は、運転中の人間の有効視野である５度から３０度の値を設定してもよいし、視線方向検出の検出誤差の最大値を用いて設定してもよい。

次に、視認しているかを判定する対象物の候補として残った対象物の移動パタンのベクトルを求める。図４の例では、対象物である車の移動を検出し、車の移動パタンを求めベクトルＶ１として表す。このベクトルはある一定期間を設定し、開始時刻と終了時刻における車の位置をＸ−Ｙ空間で表現し、この位置の差分として求めればよい。

ここでは、視認しているかを判定する対象物の候補を絞ってから対象物の移動パタンのベクトルを求める場合について説明したが、検出できる対象物全てに対して移動パタンのベクトルを求め、その後明らかに視認していない対象物を候補から除外するようにしてもよい。この場合には、対象物の移動パタンのベクトルを求める際に設定した一定期間において、視線方向から明らかに視認していない対象物であるかを判定し、この一定期間の間に一度でも明らかに視認していない対象物であると判定された対象物を除外するようにしてもよい。

一方、視線の移動方向についても、車の移動を検出したのと同じ一定期間において移動パタンを調べる。視線方向は既に説明した検出精度の関係上、誤差が大きいことがあるので、開始時刻と終了時刻での位置での差分を求めるのではなく、一定期間内に検出された視線方向の軌跡全体から移動パタンを検出するようにする。

具体的には、眼を撮影した動画像のフレーム毎に検出された視線方向毎に、その位置をＸ−Ｙの二次元空間に写像し、写像した位置を各サンプル点とする。図４では「×」で示した点が各サンプル点に相当する。

そしてこのサンプル点の回帰直線を求め、Ｘ−Ｙの二次元空間上に新たな一次元のＺ軸を設ける。このＺ軸のプラス方向とマイナス方向の定義は、開始時刻と終了時刻のサンプル点がある位置の相対関係からそのプラス／マイナスの方向を決定する。図４では、Ｚ軸はＸ−Ｙの二次元空間におけるＸ座標と並行でプラス／マイナスの方向が逆の場合に相当する。そして、Ｘ−Ｙの二次元空間におけるＺ軸の方向を視線移動のベクトルの方向とする。

さらに、このＺ軸を用いて、全てのサンプル点に対して最大値と最小値を求め、最大値と最小値の差の絶対値を求め、この絶対値に１以下のある一定の割合を乗算することにより、視線移動のベクトルの大きさとする。

また、視線移動のベクトルは、視線方向の局所的な変化点を抽出し、変化点の間の区間毎にベクトルを求めるようにしてもよい。視線方向の局所的な変化点は、ある閾値を設定し、前フレームとの視線方向の検出結果の差が、この閾値以上の場合、局所的な変化点であると検出すればよい。

図５は水平方向における視線方向と対象物の正面からの角度の推移を示したグラフである。この例では、視線方向の角度が変化している点α、βが変化点として抽出され、この区間で視線移動のベクトルを求めることになる。

この時、視線方向の移動パタンのベクトルは、単純に二次元空間上の抽出された変化点間の差を求めて視線移動のベクトルとしてもよいし、回帰直線を求めてベクトルの方向とし、ベクトルの大きさはＸ−Ｙの二次元空間上の抽出された変化点での視線方向の間の距離としてもよい。

また、対象物の移動パタンのベクトルは、抽出された変化点間での移動についてベクトルを求めればよい。

また、変化点は最初の部分のみを検出し、ある一定期間を過ぎても後続する変化点が抽出できない場合には、この一定期間経過後の点を変化点としてベクトルを求めるようにしてもよい。

そして、対象物の移動ベクトルＶ１と視線の移動ベクトルＶ２の内積を計算し、その大きさが対象物の移動ベクトルＶ１の大きさに対して、ある一定値以上の割合の場合に対象物を見ていると判定する。

このようにして対象物と視線の移動のパタンを用いて見ているかどうかの視認判定を行えば、視線方向の検出精度が不十分で、検出した視線方向が対象物と重ならない場合においても、対象物を見ているかどうかの判定が可能になる。また、前記の判定方法に加えて、Ｚ軸から対象物までの距離を考慮すれば、さらに視認の判定精度を向上させることも期待できる。

図６は、自車両が移動している場合における視線方向の移動パタンを用いて運転者が対象物を見ているかどうかの判定する方法の概念図である。基本的な考え方は図４を用いて説明した場合と同じであるので省略する。

図６では信号機を例に説明する。信号機や道路標識のような道路設備は移動体ではないが、自車両が動いている事で相対的には移動体として扱うことが可能であり、図４で説明した場合と同様な処理を用いることが可能である。

つまり、ある一定期間を設定し、信号機の位置がＸ−Ｙの二次元空間上でどのように動いて見えるのかをベクトルＶ３として求める。そして、視線方向の移動についても同様に視線方向のサンプル点から回帰直線を求めることにより、Ｘ−Ｙの二次元空間上にＺ軸を設定し、図４の場合の説明と同様の方法にて視線の移動のベクトルＶ４を求める。

そして、これらのベクトルＶ３とベクトルＶ４の内積を求め、この内積の大きさがベクトルＶ３の絶対値に対してある一定以上の大きさがある場合に、この対象物を見ていると判定する。

なお、対象物の移動と視線方向の移動を表すベクトルの比較として、ここでは内積と対象物のベクトルの大きさを用いた説明を行ったが、視線方向の移動ベクトルの大きさとも比較すれば更に精度の高い視認の判定を行うことが可能である。

安全不確認判定手段１５は、注視目標決定手段１２で決定した注視目標に対して視認判定手段１４で視認の判定が下されたかどうかで安全不確認であるかどうかを判断する。

例えば、直進する場合には図２の信号機Ｍ４に対して視認が行われたかどうかを判断すればよく、右折の場合には図２の信号機Ｍ４と歩行者Ｍ３と歩行者Ｍ５の全てに対して視認が行われたかを判断すればよい。つまり、どれか一つでも視認と判定できなければ運転者は安全不確認と判断する。

また、運転者が各対象物に対して安全確認を行ったかどうかの判断は、ある一定期間を設定して安全確認判定期間とし、この安全確認判定期間内に１回以上視認したという判定が視認判定手段１４でされた場合に、その対象物を安全確認したと判断するようにしてもよい。

安全確認判定期間の開始タイミングは交差点手前のある一定距離の通過時刻としてもよいし、交差点進入までのある一定時間前としてもよいし、現在時刻よりもある一定時間前としてもよい。安全確認判定期間の終了タイミングは、注視目標決定手段１２で決定した注視目標の対象物までの距離が一定距離より近くなったタイミングとしてもよいし、自車の移動軌跡を車速、加速度、舵角などから予測し、対象物に到達する時刻までの時間がある一定時間よりも短くなるタイミングとしてもよいし、交差点の中央位置や停止線などを基準位置として、特定の通過ポイントを安全確認判定終了位置として設定し、安全確認判定終了位置を通過するタイミングとしてもよい。そして、安全不確認と判断した場合には、その視認が不十分な対象物に関する対象物の種別や対象物の方向などの情報を提示手段１６に出力する。

提示手段１６は、モニタを用いて映像を表示するようにしてもよいし、スピーカを用いて音声で案内するようにしてもよいし、モニタとスピーカの両方を用いて案内するようにしてもよい。ここでは、一例として、スピーカを用いて音声で危険内容を案内する方法を説明する。

まず、交通環境検出手段１１が検出できる対象物毎に、それぞれの対象物を認識できる音声データを用意し、これを電子データとして格納しておく。これは、例えば車両を認知させる場合の音としては「車」と発声している音声を用いてもよいし、車両が走っている効果音のような車両をイメージできる音を用いてもよい。これを、信号機、歩行者、バイク、自転車というように交通環境検出手段１１が検出できる対象物毎にすべて用意しておき、電子データとして格納しておく。

そして、安全不確認判定手段１５が注視目標決定手段１２で決定された対象物に対して安全確認を怠っていると判断した場合には、その対象物に対応する音データをＤ／Ａ（Digital to Analog）コンバータでアナログに変換し、パワーアンプを用いてゲインを増幅してスピーカから出力するようにする。

このとき、スピーカを複数設置すると共に、運転者が安全確認として怠っている対象物の相対的な方向を計算し、その方向に一番近い位置に設置したスピーカから音が聞こえてくるようにして、運転者が確認すべき対象物の方向をも運転者が確認できるようにしてもよい。さらに、スピーカの数を減らすと同時に音像定位技術を用いて同様の効果が得られるようにしてもよい。

また、本実施の形態では、対象物と視線方向の比較をする際に二次元空間を用いて説明したが、現実の三次元空間をそのまま用いて比較するようにしてもよい。この場合には、両眼の視線方向を別々に検出し、その角度の差から運転者が視認している対象物までの距離を算出して、これを視認の判定に用いることも可能である。

以上のように、本実施の形態によれば、視線方向の移動のパタンを利用することにより、視線方向の検出精度が視認を判定しようとする対象物と重ならないレベルの精度であっても、見ているかどうかの視認の判定を行う事が可能となる。

また、視認判定手段１４は、所定期間における注視目標の移動パタンと視線方向の移動パタンとに関連性がある場合、視認をしたと判定するので、注視目標を目で追うような動作により視認したと判定され、高精度な視線検出装置が無くても視認したかどうかを判定することができる。

また、視認判定手段１４は、視線方向の所定の変化点を抽出し、抽出された変化点の間の期間において注視目標の移動パタンと視線方向の移動パタンとの関連性を判断するので、視認したかどうかを判定するための期間を適切に決めることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の安全走行支援装置について説明する。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、図１を流用して特徴部分のみ説明する。

本実施の形態の安全走行支援装置の視認判定手段１４は、視線方向の大局的な移動パタンに基づいて対象物を視認したかどうかを判定する。

図７は、本実施の形態の安全走行支援装置の視認判定方法の概念図であり、第１の実施の形態で説明したＸ−Ｙの二次元空間を表している。図７において、検出した視線方向は「×」で示した部分であり、Ｅ１は運転者の視線方向の移動を示した概念図である。ここでは、対象物Ｍ７を見た後に対象物Ｍ８を見た場合を例にしている。

視認を判定する際に、まず、対象物の近辺の視線方向について大局的な移動のパタンを求める。

対象物の近辺に視線方向があるかどうかは、ある一定期間の視線方向のサンプル点についてＸ−Ｙの二次元空間上での座標を平均し、その平均座標が視認を判定する対象物とある一定距離以下であるかどうかにより判定する。

ここでは対象物Ｍ７の場合を例にとり説明する。対象物Ｍ７の近辺には視線方向のサンプル点があるので、例えば、Ｅ１の開始から対象物Ｍ８の右側までの期間の視線方向のサンプル点の座標を平均すると、平均座標は対象物Ｍ７から設定された距離以下となる。

そして、対象物の近辺であるかどうかを判定するための平均を計算した期間の中央の時刻でのサンプル点を基準に、平均をとった開始のサンプル点から、基準のサンプル点までの視線方向の大局的な移動方向Ｖ５を求める。

具体的には、開始のサンプル点から、基準のサンプル点までの回帰直線を求め、その大きさは第１の実施の形態で説明した場合と同様にしてベクトルの大きさを求める。同様に、基準のサンプル点から平均を計算した最後のサンプル点までのサンプル点を用いて、同様に大局的な移動方向Ｖ６を求める。

次に、この大局的な移動方向のベクトルＶ５とＶ６の角度を計算し、角度が大きい場合には、ある一定値を閾値として視認したと判定する。このとき、ベクトルの角度を直接計算せずに、二つのベクトルの内積を計算し、この内積を二つのベクトルの大きさで割った指標を求め、この指標を用いて視認が行われたかどうかの判定を行っても同様に判断することができる。

このようにすると、対象物Ｍ７の場合は二つのベクトルのなす角度が大きいので視認したと判定する。一方、対象物Ｍ９の場合はベクトルとしてＶ７とＶ８が求められるが、この二つのベクトルのなす角度が小さいため視認したと判定しないようになる。

このように視線方向の大局的な移動パタンを用いることにより、視線検出の精度に関わりなく対象物を見たかどうかを判定する事が可能になる。

また、視認判定手段１４は、視線方向が注視目標近傍にあり、注視目標近傍の視線方向の移動パタンの、注視目標に近づく方向と遠ざかる方向が設定された量より変化している場合に視認をしたと判定するので、遠くにある小さな対象物であっても運転者が視認したかどうかを、視線検出精度が１度程度の検出精度で判定することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態の安全走行支援装置について説明する。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、図１を流用して特徴部分のみ説明する。

本実施の形態の安全走行支援装置の視認判定手段１４は、予め設定された対象物の種類毎の該対象物を視認したときの対象物近辺の視線方向の移動パタンの特徴に基づき、実際の対象物近辺の視線方向の移動パタンが当該対象物を視認したときの視線方向の移動パタンの特徴にあてはまるかにより対象物を視認したかどうかを判定する。

図８および図９は、本実施の形態の安全走行支援装置の視認判定方法の概念図であり、第１の実施の形態で説明したＸ−Ｙの二次元空間を表している。図８および図９において、検出した視線方向は「×」で示した部分であり、Ｅ２、Ｅ３は運転者の視線方向の移動を示した概念図である。

ここでは、説明を簡略化するために、例えば、図８に示すように道路標識の場合には容易にその内容を認識でき、視線方向の移動パタンは滑らかになるとともに、図９に示すように信号機の場合には多くの注意を必要とし、視線方向の移動パタンは複雑な形状になるものとして説明する。

このとき、図８の示す視線方向の移動パタンＥ２は低い次数での多項式近似曲線を当てはめることができる。これを利用して、対象物毎の視認の判定を行う。

つまり、図１０に示すように、視認を判定する対象物がＸ−Ｙの二次元空間上で近くにある場合に、道路標識と信号機のどちらを見ているかを、視線方向の移動パタンを用いて判別を行う。

まず、この近辺の視線方向のサンプル点を求める。これは、第１の実施の形態で説明した方法と同様にすればよい。次に、このサンプル点に対して、低次の多項式近似式を当てはめてみる。

このとき、近似式の当てはまりが良ければ標識を見ていると判定し、当てはまりが悪ければ信号機を見ていると判定する。当てはまりの度合（一致度合）は、近似式を計算する際に行う重回帰分析において、重回帰係数がある一定値以上の場合は当てはまりが良いと判定すればよい。

このようにすれば、運転者の視線方向に視認すべき対象物が複数あり重なって見える場合にも、どの対象物を視認しているかの判定を行う事が可能となる。

また、視認判定手段１４は、対象物の種類毎に視認した場合の視線方向の移動パタンを有し、注視目標となった対象物近辺の視線方向の移動パタンと視認した場合の視線方向の移動パタンの一致度合によって視認したか判定を行うので、運転者から視認すべき対象物が重なって見える場合にも、重なった対象物のどちらを見ているかを判定することができる。

なお、本実施の形態においては、視線方向の移動パタンを区別する方法として、近似曲線を用いる方法を説明したが、各移動パタンに対して、実際に運転者が視認したかどうかの正解なデータを用意し、この移動パタンをニューラルネットワークなどの非線形モデルを用いて判定するようにすることも可能である。

また、対象物そのものについて視線方向の移動パタンを分類するようにして説明したが、対象物のＸ−Ｙの二次元空間上での大きさや、対象物の輝度などで分類して移動パタンを求めるようにして、視認の判定を行う対象物のＸ−Ｙの二次元空間上での大きさや、対象物の輝度などを検出してから視認の判定を行うようにしてもよい。

以上のように、本発明にかかる安全走行支援装置は、視線方向検出の精度が１度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができるという効果を有し、車両を運転する運転者に対して衝突や追突、歩行者との接触などの危険があるかどうかを案内するための安全走行支援装置等として有用である。

本発明の第１の実施の形態における安全走行支援装置のブロック図 本発明の第１の実施の形態における安全走行支援装置の検出する対象物の例を示す図 本発明の第１の実施の形態における安全走行支援装置の視認判定のための二次元空間の設定例を示す図 本発明の第１の実施の形態における安全走行支援装置の視認判定方法を示す図 本発明の第１の実施の形態における安全走行支援装置の視線と対象物の推移の例を示すグラフ 本発明の第１の実施の形態における安全走行支援装置の視認判定方法の他の例を示す図 本発明の第２の実施の形態における安全走行支援装置の視認判定方法を示す図 本発明の第３の実施の形態における安全走行支援装置の道路標識を視認したときの視線方向の移動パタンの例を示す図 本発明の第３の実施の形態における安全走行支援装置の信号機を視認したときの視線方向の移動パタンの例を示す図 本発明の第３の実施の形態における安全走行支援装置の複数の注視目標が近くにあるときの視線方向の移動パタンの例を示す図 従来の安全走行支援装置の概念図 他の従来の安全走行支援装置の概念図 従来の安全走行支援装置において必要な視線検出精度を説明する図 従来の安全走行支援装置において視認判定不可能な場合の例を示す図

符号の説明

１１ 交通環境検出手段
１２ 注視目標決定手段
１３ 視線方向検出手段
１４ 視認判定手段
１５ 安全不確認判定手段
１６ 提示手段

Claims (6)

1. 車外を撮影する第１のカメラと車内を撮影する第２のカメラとを備えた車両の運転者に対して、交通環境において走行支援する安全走行支援装置であって、
   前記第１のカメラによって撮影された映像から前記交通環境における第１の対象物を検出する交通環境検出部と、
   前記第２のカメラによって撮影された前記運転者の眼の映像に基づいて、前記運転者の視線方向を検出する視線方向検出部と、
   前記第１の対象物と前記運転者の眼とを結んだ線分と交わる２次元平面に写像された前記第１の対象物の、所定の期間における第１の移動ベクトルを算出し、前記視線方向検出部において検出された前記運転者の視線方向と前記２次元平面との交点の、前記所定の期間における第２の移動ベクトルを算出し、前記第１の移動ベクトルと前記第２の移動ベクトルとの内積値と、前記第１の移動ベクトルの大きさとに基づいて、前記運転者が前記第１の対象物を視認しているか否かを判定する視認判定部と、
   を備える安全走行支援装置。
2. 前記交通環境検出部が前記第１の対象物および第２の対象物を含む複数の対象物を検出した場合に、予め定められた基準に基づいて、前記複数の対象物から前記第１の対象物を抽出する注視目標決定部を更に備える請求項１に記載の安全走行支援装置。
3. 前記視認判定部における判定結果に基づいて、前記運転者が安全不確認か否かを判定する安全不確認判定部を更に備える請求項１に記載の安全走行支援装置。
4. 前記安全不確認判定部において安全不確認であると判定された場合に、前記第１の対象物に関する情報を提示する提示部を更に備える請求項３に記載の安全走行支援装置。
5. 前記視認判定部は、前記視線方向と前記２次元平面との交点が前記第１の対象物近傍に存在する場合において、前記交点の移動ベクトルの前記第１対象物に近づく方向と遠ざかる方向の移動量の変化量が、予め設定された値以上である場合に、前記運転者が前記第１の対象物を視認したと判定する請求項１に記載の安全走行支援装置。
6. 前記視認判定部は、前記所定の期間の開始時刻における前記２次元平面に写像された前記第１の対象物の位置と、前記所定の期間の終了時刻における前記２次元平面に写像された前記第１の対象物の位置とに基づいて前記第１の移動ベクトルを算出し、前記開始時刻における前記交点の位置と、前記終了時刻における前記交点の位置とに基づいて前記第２の移動ベクトルを算出する請求項１に記載の安全走行支援装置。

Images