WO2007069489A1

WO2007069489A1 - 安全走行支援装置

Info

Publication number: WO2007069489A1
Application number: PCT/JP2006/324169
Authority: WO
Inventors: Hirofumi Nishimura; Hisashi Kurokawa; Makoto Mochizuki
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-12-12
Filing date: 2006-12-04
Publication date: 2007-06-21
Also published as: CN101356078A; US7884705B2; US20090128311A1; EP1961622A4; JP4879189B2; JPWO2007069489A1; EP1961622B1; CN101356078B; EP1961622A1

Abstract

【課題】視線方向検出の精度が１度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができる安全走行支援装置を提供すること。【解決手段】交通環境検出手段１１が、車や歩行者や道路標識や信号機などの対象物を検出し、注視目標決定手段１２が、検出された対象物から運転者が注意を払うべき注視目標を決定し、視線方向検出手段１３が、運転者の視線方向を検出し、視認判定手段１４が、注視目標と視線方向の移動パタンから運転者が注視目標を視認しているかを判定し、安全不確認判定手段１５が、視認判定手段１４の判定結果から運転者が安全不確認かどうかを判定し、提示手段１６が、安全不確認判定手段１５の判定結果に従い安全不確認の内容を案内する。

Description

安全走行支援装置

技術分野

[0001] 本発明は、自動車などの車両を運転する運転者に対して衝突や追突、歩行者との接触などの危険があるかどうかを案内するための安全走行支援装置に関するものである。

背景技術

[0002] 従来、車両の運転者に対して、危険な状態または安全な状態であるかを案内する装置としては、例えば、運転者が交通環境を認識しているかどうかを判定して、その認識の度合に応じて危険な要因を案内するものがあった。

[0003] 図 11は、従来の安全走行支援装置の概念図である。この安全走行支援装置では、運転者が注視しなければならない対象の方向を必要注視方向として決定し、運転者がその必要注視方向を見た頻度を注視頻度として求め、この頻度を用いて運転者が交通環境について認識しているかどうかを判定している（例えば、特許文献 1参照

) o

[0004] 図 12は、他の従来の安全走行支援装置の概念図である。この安全走行支援装置では、運転者の視線方向から注視点を決定し、その注視点を基準にその近傍を注視エリアとして定義し、注視エリア内に道路設備があるかどうかで、運転者が道路設備の状態を認識しているかどうかを判定している（例えば、特許文献 2参照)。

[0005] 車両の運転者に対して、衝突や追突、歩行者との接触などの危険があるかどうかを案内する場合、運転者にとって必要なときだけ警告することが望ましい。すなわち、運転者が既に危険な状態であることを認知している場合には警報を出力する必要はなぐ運転者にとって余計な警報が報知されると、力えって煩わしさが増加してしまう。

[0006] 例えば、交差点などで運転者が見落とすと危険な状態になる可能性がある対象物を検知し、運転者がその認知すべき対象物を見落としている場合にのみ、その見落とした内容を警告すれば安全走行に対する支援を効率的に行うことが可能になる。特許文献 1 :特開平 7— 167668号公報 (第 7頁、図 1) 特許文献 2：特開 2005— 182307号公報 (第 13頁、図 4)

発明の開示

発明が解決しょうとする課題

[0007] し力しながら、運転者が注意を払うべき対象物の大きさは大小さまざまであるとともに、走行中の運転者は遠方にある小さな対象物に対しても十分注意を払う必要がある。

[0008] 例えば、図 13に示すように、 100m先にある信号機を視認したかどうかを判定する場合、信号機の大きさは高さが約 30cm程度であるので、対象物に視線方向が重なる頻度を用いて視認の判定を行う場合には、視線方向の検出精度は 0. 17度以下でな!、と正確に対象物と重なって、るかは分力な、ため、対象物に対して視線方向が重なる頻度では正確な判定ができな、。

[0009] 一方で、視線方向を検出する技術としては近赤外によるカメラを用いた瞳孔角膜反射法などがあり、検出精度は現状で 0. 3〜0. 4度程度であり（参考文献：「眼球形状モデルに基づく視線測定法」、第 8回画像センシングシンポジウム PP.307-312,2002.

)、検出精度が不十分である。

[0010] また、今後、カメラの解像度などが改善され 0. 17度以下の精度が実現されたとしても、高精度の視線検出装置が必要になりコストアップにつながってしまう。

[0011] さらに、視線方向そのものの定義としても人間の眼の構造を考慮すると困難になる。つまり、人間は眼の中の黄斑と呼ばれる眼球の後極の外側にある直径 2mmの部分が色の識別や視力が良ぐさらにこの中の中心窩と呼ばれる部分に写った写像で詳細な視界情報を認知しており、認知できる網膜にある程度の面積が存在する事を考慮すると、この黄斑や中心窩のどの部分が視線方向としての基準位置になるのかの定義が困難になる。

[0012] また、図 14に示すように、視認の判定を行うべき対象物が運転者から重なって見える場合には、注視点を基準に注視エリアを設定し注視エリア内に対象物があるかどうかを判定する方法ではどちらの対象物を見ているのか判定することは不可能である。

[0013] 本発明は、従来の問題を解決するためになされたもので、視線方向検出の精度が 1度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができる安全走行支援装置を提供することを目的とする。課題を解決するための手段

[0014] 本発明の安全走行支援装置は、設定された対象物の存在または状態を検出する交通環境検出手段と、前記対象物の中から運転者が安全運転のために注意を払うべき注視目標を決定する注視目標決定手段と、運転者の片眼あるいは両眼の視線方向を検知する視線方向検出手段と、前記注視目標と前記視線方向検出手段で検出した視線方向の移動パタンとの相関力運転者が前記注視目標を視認しているかどうかを判定する視認判定手段と、前記視認判定手段で判定した視認判定結果から運転者が安全不確認かどうかを判定する安全不確認判定手段と、前記安全不確認判定手段で決定した安全不確認判定結果に従い安全不確認の内容を案内する提示手段とを備える構成を有して、る。

[0015] この構成により、運転者の視線方向の移動パタンにより注視目標を視認しているかが判定され、高精度な視線検出装置が不要となり、コストを抑えることができる。発明の効果

[0016] 本発明によれば、運転者の視線方向の移動パタンにより注視目標を視認しているかを判定することにより、視線方向検出の精度が 1度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができる。

図面の簡単な説明

[0017] [図 1]本発明の第 1の実施の形態における安全走行支援装置のブロック図

[図 2]本発明の第 1の実施の形態における安全走行支援装置の検出する対象物の例を示す図

[図 3]本発明の第 1の実施の形態における安全走行支援装置の視認判定のための二次元空間の設定例を示す図

[図 4]本発明の第 1の実施の形態における安全走行支援装置の視認判定方法を示す図

[図 5]本発明の第 1の実施の形態における安全走行支援装置の視線と対象物の推移の例を示すグラフ

[図 6]本発明の第 1の実施の形態における安全走行支援装置の視認判定方法の他の例を示す図

[図 7]本発明の第 2の実施の形態における安全走行支援装置の視認判定方法を示す図

[図 8]本発明の第 3の実施の形態における安全走行支援装置の道路標識を視認したときの視線方向の移動パタンの例を示す図

[図 9]本発明の第 3の実施の形態における安全走行支援装置の信号機を視認したときの視線方向の移動パタンの例を示す図

[図 10]本発明の第 3の実施の形態における安全走行支援装置の複数の注視目標が近くにあるときの視線方向の移動パタンの例を示す図

[図 11]従来の安全走行支援装置の概念図

[図 12]他の従来の安全走行支援装置の概念図

[図 13]従来の安全走行支援装置において必要な視線検出精度を説明する図

[図 14]従来の安全走行支援装置において視認判定不可能な場合の例を示す図符号の説明

[0018] 11 交通環境検出手段

12 注視目標決定手段

13 視線方向検出手段

14 視認判定手段

15 安全不確認判定手段

16 提示手段

発明を実施するための最良の形態

[0019] 以下、本発明の実施の形態について、図面を参照して説明する。

[0020] (第 1の実施の形態）

図 1は本発明の第 1の実施の形態の安全走行支援装置を示す図である。

[0021] 図 1において、本実施の形態の安全走行支援装置は、対象物となる車や歩行者などの移動体と道路標識や信号機などの道路設備の存在あるいは状態を検出する交通環境検出手段 11と、運転者が安全運転のために注意を払うべき対象物を交通環境検出手段 11で検出した対象物の中から選別あるいは注意すべき度合を決定する注視目標決定手段 12と、運転者の片眼あるいは両眼の視線方向を検知する視線方向検出手段 13と、注視目標決定手段 12で決定した注視目標と視線方向検出手段 1 3で検出した視線方向の移動パタン力運転者が対象物を見ているかどうかを判定あるいは視認の度合を判定する視認判定手段 14と、視認判定手段 14で判定した視認判定結果から運転者の安全不確認の度合を求める安全不確認判定手段 15と、安全不確認判定手段 15で決定した安全不確認判定結果に従い安全不確認の内容を案内する提示手段 16とを備えている。

[0022] 交通環境検出手段 11は、例えば、車両前方の映像を撮影するカメラと、演算機で構成したセンサーから構成され、図 2に示すような、車両用の信号機と歩行者用の信号機を検出するとともに、歩行者を検出する。図 2において対象物は歩行者用信号機 Ml、 M2と、自車両用信号機 M4と歩行者 M3、 M5、 M6である。このとき、一時停止線や横断歩道や白線などの道路にペイントされた表示も対象物に含めてもよい。

[0023] 具体的には、カメラを車両前方の映像を写すように二個車室内に配置してステレオカメラとして用い、車両前方の映像を常に撮影するようにする。演算機は、この二個のカメラで撮影した映像それぞれに対してフレーム毎に処理を行う。

[0024] まず、映像のノイズを取り除くために移動平均を用いて平滑化を行い、デジタルフィルタを用いて映像の高周波成分を抽出することによりエッジ抽出を行う。

[0025] 一方で、車両や歩行者や信号機などの運転者が注意を払うべき対象物の画像を複数用意し、これらの画像に対してエッジ抽出をしておく。

[0026] そして、カメラより得られたエッジ抽出結果と予め用意してあるエッジ抽出を行った対象物の画像とのパターンマッチングにより運転者が注意を払うべき対象物の検出を行う。

[0027] さらに、抽出した対象物に対して、二個のカメラ力得られた映像の差分を計算することにより、二つの映像の視差を計算し、視差が大きいものは近くに存在する対象物とし、視差が小さいものは遠くにある対象物とする。この時、自車と立体物との相対位置関係は三角測量を用いて計算すればよい。

[0028] 車両や歩行者などの移動体の場合には、その位置や速度や進んでいる方向を検知する。具体的には、撮影した画像のフレーム毎の対象物の相対位置関係を記録しておき、移動体の速度や移動方向をフレーム間の差分力計算する。相対位置の座標は自車位置を原点とし、自車が向いている方向を y軸の正方向とし、自車両右側を X軸の正方向として二次元座標を設定する。交通環境検出手段 11が検出する移動体としては、車両のほか、歩行者、ノイク、自転車などが含まれる。

[0029] 注視目標決定手段 12は、運転者が注意を払うべき対象物を交通環境検出手段 11 が検出した対象物の中から選別する。

[0030] 例えば、直進する場合、運転者が注意を払うべき対象物は自車両用信号機 M4とする。このとき、歩行者 M6が交通環境検出手段 11によって自車両前方に移動してくると予測されれば、歩行者 M6も運転者が注意を払うべき対象物に含めるようにしてもよい。

[0031] 一方、右折する場合の運転者が注意を払うべき対象物は自車両用信号機 M4、歩行者 M3と M5とする。その選別する方法としては、自車前方の右側にいる歩行者を注意を払うべき対象物とする。

[0032] 自車前方の右側と判断する方法は、上述の二次元座標を用いて、 X座標がプラスの歩行者とする。

[0033] 自車両が直進する力右折するかの判定はウィンカーの信号を検出することにより行う。また、アクセル操作、ブレーキ操作、ハンドル操作の特徴を直進の場合と右折の場合で記憶しておき、運転者がウィンカーを出し忘れた場合には、これらの情報から直進か右折力を予測するようにすることも可能である。

[0034] さらに、過去の走行データを蓄積しておき右折時の走行軌跡を予測し、歩行者 M5 に対して十分な間隔を保って右折できるかどうかを判断し、十分な間隔があると判断できた場合には運転者が注意を払うべき対象物として歩行者 M5を外すようにしてもよい。

[0035] このときの十分な間隔を保てるかどうかの判定は、自車を原点とした二次元座標を用いて、ある一定時間まで、予測した走行軌跡の自車と各歩行者との間のユーグリツト距離を計算し、ある一定以下の距離にならない事で判断するようにする。

[0036] なお、ここでは注視目標決定手段 12は交通環境検出手段 11とは別の手段として説明したが、注視目標決定手段 12が決定する注視目標を運転者が注意を払うべき領域、例えば、前方右側などと簡易化し、交通環境検出手段 11の中に含めて実装することで交通環境検出手段 11の演算処理を軽減することなども可能であり、本実施の形態は、交通環境検出手段 11と注視目標決定手段 12の構成の関係に対して制約をカ卩えるものではな、。

[0037] 以降の説明では、運転者が注意を払うべき対象物として、直進時は自車両用信号機 M4のみで、右折時は自車両用信号機 M4と歩行者 M3、 M5として説明する。

[0038] 視線方向検出手段 13は、運転者の視線方向を検出する。具体的な実現方法の一例として、近赤外線カメラを用いた瞳孔角膜反射法による視線検出方法を説明する。

[0039] 近赤外線のカメラを運転者の眼が撮影できる位置に配置する。例えば、ダッシュボ一ド上ゃルームミラーの位置に配置する。このとき、カメラの光軸とほぼ同 Cf立置に近赤外線を照射するための LED (Light Emitting Diode)を同時に設置しておく。

[0040] そして、運転者の眼を撮影する場合にはこの LEDを照射するようにする。撮影された画像力も瞳孔の中心位置を検出する。瞳孔の検出は、例えば、眼の位置を検出した後に、その中心に最も黒く円形に写っている部分を検出し瞳孔とすればよい。

[0041] 眼の位置の検出には、例えば、エッジ抽出を行い、左右に弧を描きながら延びる曲線を上まぶたと下まぶたとして検出する。

[0042] また、眼を撮影する際に照射した LEDの反射像を検出する。 LEDの反射像は眼球上に明るく写っている点であるので、最も簡単な検出方法の例としては、眼の中で一番輝度が高ヽ部分を検出すればょヽ。

[0043] そして、瞳孔の中心と LEDの反射像の位置関係から運転者の視線方向を検出する。つまり、瞳孔と反射像が重なっている場合にはカメラ方向に視線方向があることになり、ずれて、る場合にはそのずれた分だけその方向に視線方向があるとする。

[0044] 上述の説明では特に言及しな力つた力片目だけ力も視線方向を検出してもよいし

、両目力それぞれ視線方向を求めてもよい。このとき、両目の視線方向をそれぞれ求め、その角度の差力も視認している対象物の距離を求めて、視認判定手段 14の判定時に利用するようにしてもょ、。

[0045] 視認判定手段 14は、視線方向の移動パタン力も対象物を視認した力どうかの判定を行う。この原理を図 3から図 6を用いて説明する。 [0046] まず、図 3に示すように、対象物と運転者の間に二次元空間を設定し X軸と Y軸を設定する。 Y軸は垂直方向で上がプラスとなるように設定し、 X軸は水平方法で右がプラスとなるように設定する。原点は何処に設定してもよいが、ここでは運転者の顔正面を原点において説明する。

[0047] 交通環境検出手段 11で検出した対象物の中から注視目標決定手段 12で決定した注視目標の対象物を上述の X— Yの二次元空間上に表す。このとき、運転者の眼の位置と対象物とを結んだ線力 —Yの二次元空間と交わる位置に写像するようにする。図 3では信号機を例にして、信号機の外枠の範囲を X—Yの二次元空間に写像する例を示している。

[0048] 一方、視線方向検出手段 13で検出した視線方向を X— Yの二次元空間上に写像する。このようにすることにより、二次元空間上で対象物と視線方向の関係を比較することが可能となる。

[0049] 図 4は、視線方向の移動パタンを用いて運転者が対象物を見て、るかどうかを判定する方法の概念図である。

[0050] 図 4は、 X— Yの二次元空間に写像した場合の例で、車を対象物とし、右から左へ移動している場合を例にしている。ここでは、説明を簡単にするために、運転者が運転して、る車は停止して、るものとして説明する。

[0051] 運転者が車を見ているかどうかを判定する場合に、まず、視認しているかを判定する対象物を絞り込むため、明らかに視認していない対象物の除外を行う。例えば、視線方向に対して、ある一定角度の閾値を設け、検出された視線方向の上下左右方向にこの閾値を加算した範囲よりも外側にある対象物を明らかに視認していない対象物として視認しているかを判定する対象物カゝら除外する。

[0052] この閾値は、運転中の人間の有効視野である 5度から 30度の値を設定してもよいし、視線方向検出の検出誤差の最大値を用いて設定してもよい。

[0053] 次に、視認しているかを判定する対象物の候補として残った対象物の移動パタンのベクトルを求める。図 4の例では、対象物である車の移動を検出し、車の移動パタンを求めベクトル VIとして表す。このベクトルはある一定期間を設定し、開始時刻と終了時刻における車の位置を X— Y空間で表現し、この位置の差分として求めればよい。

[0054] ここでは、視認しているかを判定する対象物の候補を絞って力対象物の移動パタンのベクトルを求める場合について説明した力検出できる対象物全てに対して移動ノタンのベクトルを求め、その後明らかに視認していない対象物を候補から除外するようにしてもよい。この場合には、対象物の移動パタンのベクトルを求める際に設定した一定期間にお、て、視線方向から明らかに視認して、な、対象物であるかを判定し、この一定期間の間に一度でも明らかに視認していない対象物であると判定された対象物を除外するようにしてもょヽ。

[0055] 一方、視線の移動方向についても、車の移動を検出したのと同じ一定期間において移動パタンを調べる。視線方向は既に説明した検出精度の関係上、誤差が大きいことがあるので、開始時刻と終了時刻での位置での差分を求めるのではなぐ一定期間内に検出された視線方向の軌跡全体力移動パタンを検出するようにする。

[0056] 具体的には、眼を撮影した動画像のフレーム毎に検出された視線方向毎に、その位置を X—Yの二次元空間に写像し、写像した位置を各サンプル点とする。図 4では「 X」で示した点が各サンプル点に相当する。

[0057] そしてこのサンプル点の回帰直線を求め、 X— Yの二次元空間上に新たな一次元の Z軸を設ける。この Z軸のプラス方向とマイナス方向の定義は、開始時刻と終了時刻のサンプル点がある位置の相対関係力そのプラス Zマイナスの方向を決定する。図 4では、 Z軸は X— Yの二次元空間における X座標と並行でプラス Zマイナスの方向が逆の場合に相当する。そして、 X—Yの二次元空間における Z軸の方向を視線移動のベクトルの方向とする。

[0058] さらに、この Z軸を用いて、全てのサンプル点に対して最大値と最小値を求め、最大値と最小値の差の絶対値を求め、この絶対値に 1以下のある一定の割合を乗算することにより、視線移動のベクトルの大きさとする。

[0059] また、視線移動のベクトルは、視線方向の局所的な変化点を抽出し、変化点の間の区間毎にベクトルを求めるようにしてもよい。視線方向の局所的な変化点は、ある閾値を設定し、前フレームとの視線方向の検出結果の差が、この閾値以上の場合、局所的な変化点であると検出すればよい。 [0060] 図 5は水平方向における視線方向と対象物の正面力の角度の推移を示したダラフである。この例では、視線方向の角度が変化している点 OC、 βが変化点として抽出され、この区間で視線移動のベクトルを求めることになる。

[0061] この時、視線方向の移動パタンのベクトルは、単純に二次元空間上の抽出された変化点間の差を求めて視線移動のベクトルとしてもよいし、回帰直線を求めてベタトルの方向とし、ベクトルの大きさは X— Υの二次元空間上の抽出された変化点での視線方向の間の距離としてもよい。

[0062] また、対象物の移動パタンのベクトルは、抽出された変化点間での移動についてベタトルを求めればよい。

[0063] また、変化点は最初の部分のみを検出し、ある一定期間を過ぎても後続する変化点が抽出できない場合には、この一定期間経過後の点を変化点としてベクトルを求めるようにしてもよい。

[0064] そして、対象物の移動ベクトル VIと視線の移動ベクトル V2の内積を計算し、その大きさが対象物の移動ベクトル VIの大きさに対して、ある一定値以上の割合の場合に対象物を見ていると判定する。

[0065] このようにして対象物と視線の移動のパタンを用いて見て、るかどうかの視認判定を行えば、視線方向の検出精度が不十分で、検出した視線方向が対象物と重ならない場合においても、対象物を見ているかどうかの判定が可能になる。また、前記の判定方法に加えて、 Ζ軸力も対象物までの距離を考慮すれば、さらに視認の判定精度を向上させることも期待できる。

[0066] 図 6は、自車両が移動している場合における視線方向の移動パタンを用いて運転者が対象物を見て!/、るかどうかの判定する方法の概念図である。基本的な考え方は図 4を用いて説明した場合と同じであるので省略する。

[0067] 図 6では信号機を例に説明する。信号機や道路標識のような道路設備は移動体ではないが、自車両が動いている事で相対的には移動体として扱うことが可能であり、図 4で説明した場合と同様な処理を用いることが可能である。

[0068] つまり、ある一定期間を設定し、信号機の位置力 ¾—Υの二次元空間上でどのように動いて見えるのかをベクトル V3として求める。そして、視線方向の移動についても同様に視線方向のサンプル点から回帰直線を求めることにより、 X— Yの二次元空間上に Ζ軸を設定し、図 4の場合の説明と同様の方法にて視線の移動のベクトル V4を求める。

[0069] そして、これらのベクトル V3とベクトル V4の内積を求め、この内積の大きさがベタトル V3の絶対値に対してある一定以上の大きさがある場合に、この対象物を見て!/、ると判定する。

[0070] なお、対象物の移動と視線方向の移動を表すベクトルの比較として、ここでは内積と対象物のベクトルの大きさを用いた説明を行った力視線方向の移動ベクトルの大きさとも比較すれば更に精度の高い視認の判定を行うことが可能である。

[0071] 安全不確認判定手段 15は、注視目標決定手段 12で決定した注視目標に対して視認判定手段 14で視認の判定が下されたカゝどうかで安全不確認であるかどうかを判断する。

[0072] 例えば、直進する場合には図 2の信号機 Μ4に対して視認が行われた力どうかを判断すればよぐ右折の場合には図 2の信号機 Μ4と歩行者 Μ3と歩行者 Μ5の全てに対して視認が行われたかを判断すればよい。つまり、どれか一つでも視認と判定できなければ運転者は安全不確認と判断する。

[0073] また、運転者が各対象物に対して安全確認を行ったかどうかの判断は、ある一定期間を設定して安全確認判定期間とし、この安全確認判定期間内に 1回以上視認した t ヽぅ判定が視認判定手段 14でされた場合に、その対象物を安全確認したと判断するようにしてちょい。

[0074] 安全確認判定期間の開始タイミングは交差点手前のある一定距離の通過時刻としてもよいし、交差点進入までのある一定時間前としてもよいし、現在時刻よりもある一定時間前としてもよい。安全確認判定期間の終了タイミングは、注視目標決定手段 1 2で決定した注視目標の対象物までの距離が一定距離より近くなつたタイミングとしてもよいし、自車の移動軌跡を車速、加速度、舵角などから予測し、対象物に到達する時刻までの時間がある一定時間よりも短くなるタイミングとしてもよいし、交差点の中央位置や停止線などを基準位置として、特定の通過ポイントを安全確認判定終了位置として設定し、安全確認判定終了位置を通過するタイミングとしてもよい。そして、安全不確認と判断した場合には、その視認が不十分な対象物に関する対象物の種別や対象物の方向などの情報を提示手段 16に出力する。

[0075] 提示手段 16は、モニタを用いて映像を表示するようにしてもよ!、し、スピーカを用いて音声で案内するようにしてもよいし、モニタとスピーカの両方を用いて案内するようにしてもよい。ここでは、一例として、スピーカを用いて音声で危険内容を案内する方法を説明する。

[0076] まず、交通環境検出手段 11が検出できる対象物毎に、それぞれの対象物を認識できる音声データを用意し、これを電子データとして格納しておく。これは、例えば車両を認知させる場合の音としては「車」と発声して、る音声を用いてもょ、し、車両が走っている効果音のような車両をイメージできる音を用いてもよい。これを、信号機、歩行者、ノイク、自転車というように交通環境検出手段 11が検出できる対象物毎にすべて用意しておき、電子データとして格納しておく。

[0077] そして、安全不確認判定手段 15が注視目標決定手段 12で決定された対象物に対して安全確認を怠っていると判断した場合には、その対象物に対応する音データを D/A (Digital to Analog)コンバータでアナログに変換し、パワーアンプを用いてゲインを増幅してスピーカから出力するようにする。

[0078] このとき、スピーカを複数設置すると共に、運転者が安全確認として怠っている対象物の相対的な方向を計算し、その方向に一番近い位置に設置したスピーカから音が聞こえてくるようにして、運転者が確認すべき対象物の方向をも運転者が確認できるようにしてもよい。さらに、スピーカの数を減らすと同時に音像定位技術を用いて同様の効果が得られるようにしてもょ、。

[0079] また、本実施の形態では、対象物と視線方向の比較をする際に二次元空間を用いて説明したが、現実の三次元空間をそのまま用いて比較するようにしてもよい。この場合には、両眼の視線方向を別々に検出し、その角度の差力運転者が視認している対象物までの距離を算出して、これを視認の判定に用いることも可能である。

[0080] 以上のように、本実施の形態によれば、視線方向の移動のパタンを利用することにより、視線方向の検出精度が視認を判定しょうとする対象物と重ならないレベルの精度であっても、見て、るかどうかの視認の判定を行う事が可能となる。 [0081] また、視認判定手段 14は、所定期間における注視目標の移動パタンと視線方向の移動パタンとに関連性がある場合、視認をしたと判定するので、注視目標を目で追うような動作により視認したと判定され、高精度な視線検出装置が無くても視認したかどうかを判定することができる。

[0082] また、視認判定手段 14は、視線方向の所定の変化点を抽出し、抽出された変化点の間の期間において注視目標の移動パタンと視線方向の移動パタンとの関連性を判断するので、視認した力どうかを判定するための期間を適切に決めることができる

[0083] (第 2の実施の形態）

次に、本発明の第 2の実施の形態の安全走行支援装置について説明する。なお、本実施の形態は、上述の第 1の実施の形態と略同様に構成されているので、図 1を流用して特徴部分のみ説明する。

[0084] 本実施の形態の安全走行支援装置の視認判定手段 14は、視線方向の大局的な移動パタンに基づいて対象物を視認した力どうかを判定する。

[0085] 図 7は、本実施の形態の安全走行支援装置の視認判定方法の概念図であり、第 1 の実施の形態で説明した X— Yの二次元空間を表している。図 7において、検出した視線方向は「 X」で示した部分であり、 E 1は運転者の視線方向の移動を示した概念図である。ここでは、対象物 M7を見た後に対象物 M8を見た場合を例にしている。

[0086] 視認を判定する際に、まず、対象物の近辺の視線方向について大局的な移動のパタンを求める。

[0087] 対象物の近辺に視線方向があるかどうかは、ある一定期間の視線方向のサンプル点につヽて X— Yの二次元空間上での座標を平均し、その平均座標が視認を判定する対象物とある一定距離以下であるかどうかにより判定する。

[0088] ここでは対象物 M7の場合を例にとり説明する。対象物 M7の近辺には視線方向のサンプル点があるので、例えば、 E1の開始力対象物 M8の右側までの期間の視線方向のサンプル点の座標を平均すると、平均座標は対象物 M7から設定された距離以下となる。

[0089] そして、対象物の近辺であるかどうかを判定するための平均を計算した期間の中央の時刻でのサンプル点を基準に、平均をとつた開始のサンプル点から、基準のサンプル点までの視線方向の大局的な移動方向 V5を求める。

[0090] 具体的には、開始のサンプル点から、基準のサンプル点までの回帰直線を求め、その大きさは第 1の実施の形態で説明した場合と同様にしてベクトルの大きさを求める。同様に、基準のサンプル点から平均を計算した最後のサンプル点までのサンプル点を用いて、同様に大局的な移動方向 V6を求める。

[0091] 次に、この大局的な移動方向のベクトル V5と V6の角度を計算し、角度が大きい場合には、ある一定値を閾値として視認したと判定する。このとき、ベクトルの角度を直接計算せずに、二つのベクトルの内積を計算し、この内積を二つのベクトルの大きさで割った指標を求め、この指標を用いて視認が行われた力どうかの判定を行っても同様に判断することができる。

[0092] このようにすると、対象物 M7の場合は二つのベクトルのなす角度が大きいので視認したと判定する。一方、対象物 M9の場合はベクトルとして V7と V8が求められるが、この二つのベクトルのなす角度が小さ、ため視認したと判定しな、ようになる。

[0093] このように視線方向の大局的な移動パタンを用いることにより、視線検出の精度に関わりなく対象物を見た力どうかを判定する事が可能になる。

[0094] また、視認判定手段 14は、視線方向が注視目標近傍にあり、注視目標近傍の視線方向の移動パタンの、注視目標に近づく方向と遠ざ力る方向が設定された量より変化して、る場合に視認をしたと判定するので、遠くにある小さな対象物であっても運転者が視認したかどうかを、視線検出精度が 1度程度の検出精度で判定することができる。

[0095] (第 3の実施の形態）

次に、本発明の第 3の実施の形態の安全走行支援装置について説明する。なお、本実施の形態は、上述の第 1の実施の形態と略同様に構成されているので、図 1を流用して特徴部分のみ説明する。

[0096] 本実施の形態の安全走行支援装置の視認判定手段 14は、予め設定された対象物の種類毎の該対象物を視認したときの対象物近辺の視線方向の移動パタンの特徴に基づき、実際の対象物近辺の視線方向の移動パタンが当該対象物を視認したときの視線方向の移動パタンの特徴にあてはまるかにより対象物を視認した力どうかを判定する。

[0097] 図 8および図 9は、本実施の形態の安全走行支援装置の視認判定方法の概念図であり、第 1の実施の形態で説明した X— Yの二次元空間を表している。図 8および図 9において、検出した視線方向は「X」で示した部分であり、 E2、 E3は運転者の視線方向の移動を示した概念図である。

[0098] ここでは、説明を簡略ィ匕するために、例えば、図 8に示すように道路標識の場合には容易にその内容を認識でき、視線方向の移動パタンは滑らかになるとともに、図 9 に示すように信号機の場合には多くの注意を必要とし、視線方向の移動パタンは複雑な形状になるものとして説明する。

[0099] このとき、図 8の示す視線方向の移動パタン E2は低い次数での多項式近似曲線を当てはめることができる。これを利用して、対象物毎の視認の判定を行う。

[0100] つまり、図 10に示すように、視認を判定する対象物が X— Yの二次元空間上で近くにある場合に、道路標識と信号機のどちらを見ているかを、視線方向の移動パタンを用いて判別を行う。

[0101] まず、この近辺の視線方向のサンプル点を求める。これは、第 1の実施の形態で説明した方法と同様にすればよい。次に、このサンプル点に対して、低次の多項式近似式を当てはめてみる。

[0102] このとき、近似式の当てはまりが良ければ標識を見ていると判定し、当てはまりが悪ければ信号機を見ていると判定する。当てはまりの度合 (一致度合)は、近似式を計算する際に行う重回帰分析において、重回帰係数がある一定値以上の場合は当てはまりが良、と判定すればょ、。

[0103] このようにすれば、運転者の視線方向に視認すべき対象物が複数あり重なって見える場合にも、どの対象物を視認しているかの判定を行う事が可能となる。

[0104] また、視認判定手段 14は、対象物の種類毎に視認した場合の視線方向の移動パタンを有し、注視目標となった対象物近辺の視線方向の移動パタンと視認した場合の視線方向の移動パタンの一致度合によって視認した力判定を行うので、運転者から視認すべき対象物が重なって見える場合にも、重なった対象物のどちらを見ているかを判定することができる。

[0105] なお、本実施の形態においては、視線方向の移動パタンを区別する方法として、近似曲線を用いる方法を説明したが、各移動パタンに対して、実際に運転者が視認したかどうかの正解なデータを用意し、この移動パタンを-ユーラルネットワークなどの非線形モデルを用いて判定するようにすることも可能である。

[0106] また、対象物そのものについて視線方向の移動パタンを分類するようにして説明したが、対象物の X—Yの二次元空間上での大きさや、対象物の輝度などで分類して移動パタンを求めるようにして、視認の判定を行う対象物の X— Yの二次元空間上での大きさや、対象物の輝度などを検出してカゝら視認の判定を行うようにしてもよい。産業上の利用可能性

[0107] 以上のように、本発明にかかる安全走行支援装置は、視線方向検出の精度が 1度前後の検出精度であっても、運転者が注意すべき対象物を認知しているかどうかを判定することができるとヽぅ効果を有し、車両を運転する運転者に対して衝突や追突、歩行者との接触などの危険があるかどうかを案内するための安全走行支援装置等として有用である。

Claims

請求の範囲

[1] 設定された対象物の存在または状態を検出する交通環境検出手段と、前記対象物の中から運転者が安全運転のために注意を払うべき注視目標を決定する注視目標決定手段と、運転者の片眼あるいは両眼の視線方向を検知する視線方向検出手段と、前記注視目標と前記視線方向検出手段で検出した視線方向の移動パタンとの相関から運転者が前記注視目標を視認してヽるかどうかを判定する視認判定手段と、前記視認判定手段で判定した視認判定結果から運転者が安全不確認かどうかを判定する安全不確認判定手段と、前記安全不確認判定手段で決定した安全不確認判定結果に従い安全不確認の内容を案内する提示手段とを備えることを特徴とする安全走行支援装置。

[2] 前記視認判定手段は、所定期間における前記注視目標の移動パタンと前記視線方向の移動パタンとに関連性がある場合、視認をしたと判定することを特徴とする請求項 1に記載の安全走行支援装置。

[3] 前記視認判定手段は、前記視線方向の所定の変化点を抽出し、抽出された変化点の間の期間において前記注視目標の移動パタンと前記視線方向の移動パタンとの関連性を判断することを特徴とする請求項 2に記載の安全走行支援装置。

[4] 前記視認判定手段は、前記視線方向が前記注視目標近傍にあり、前記注視目標近傍の前記視線方向の移動パタンの前記注視目標に近づく方向と遠ざかる方向の移動量が設定された量より変化している場合に視認をしたと判定することを特徴とする請求項 1に記載の安全走行支援装置。

[5] 前記視認判定手段は、前記対象物の種類毎に視認した場合の視線方向の移動バタンを有し、前記注視目標となった対象物近辺の視線方向の移動パタンと前記視認した場合の視線方向の移動パタンの一致度合によって視認した力判定を行うことを特徴とする請求項 1に記載の安全走行支援装置。