しかしながら、撮影された顔画像中の目および眉毛の位置と実際の視線の方向とは、必ずしも常に一定の関係にある訳ではない。すなわち、撮影された顔画像中の目および眉毛の位置が前方注視時の位置であったとしても、実際の視線の方向は前方注視時の視線の方向であるとは限らない。よって、ドライバーが安全確認を怠ったことを、撮影された顔画像中の目および眉毛の位置に基づいて正確に行うことは難しい。従って、特許文献1の安全促進装置では、ドライバーが安全確認を十分に行ったか否かを正確に判定できないという問題点を有している。
また、特許文献2および特許文献3の技術では、自己の運転の客観的な判断に利用可能な情報をドライバーに対して提供する場合に、以下のような問題点を有している。
まず、特許文献2の交通安全診断方法では、ドライバーに通知する安全運転診断の結果が自車の挙動のみから算出される構成となっているため、運転中のドライバーの安全確認の状況についての情報をドライバーに通知することができない。続いて、特許文献3の車両搭載型ドライビングレコーダでも、運転中のドライバーの安全確認の状況を示すデータを記録していないため、運転中のドライバーの安全確認の状況についての情報をドライバーに示すことができない。
運転中のドライバーの安全確認の状況は、交差点における接触事故の発生と密接に関係しているため、運転中のドライバーの安全確認の状況についての情報をドライバーに提供することができない特許文献2および特許文献3の技術では、交差点における接触事故の防止の効果が薄いという問題点を有している。
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、交差点への進入時にドライバーが安全確認を十分に行ったか否かを、より正確に判定することを可能にする安全確認判定装置を提供することにある。また、本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、交差点における接触事故を防止する効果のより高い運転教示支援システムを提供することにある。
請求項1の安全確認判定装置は、上記課題を解決するために、車両に備えられる安全確認判定装置であって、前記車両に固定して設置され、少なくとも前記車両のドライバーの目を含む範囲を撮像する撮像装置で撮像された画像を、交差点への前記車両の進入時に逐次取得する画像取得手段と、前記画像取得手段で取得した画像から黒目の位置を検出する黒目位置検出手段と、前記黒目位置検出手段で検出した黒目の位置に基づいてドライバーの視線の方向を算出する視線方向算出手段と、前記視線方向算出手段で算出した視線の方向に基づいて、前記車両のドライバーが安全確認を十分に行ったか否かを判定する安全確認判定手段と、を備え、前記安全確認判定手段は、前記交差点の中心座標から求められる、当該交差点への前記車両の進入方向に対して直交する水平線と、前記黒目位置検出手段で検出したドライバーの左右の黒目の位置から求められる両目の中心座標と、前記視線方向算出手段で算出した視線の方向とをもとに、2次元座標上において、両目の中心座標を始点として視線の方向に伸ばした直線が当該水平線と交わる交点までの距離を求め、この距離と当該交点と所定の中心視野の角度とに応じて定まる、この距離が長いほど広くなる一方この距離が短いほど狭くなる区域を、安全確認済み単区域として決定する安全確認済み単区域決定手段と、前記安全確認済み単区域決定手段で決定した安全確認済み単区域を順次足し合わせて得られる領域を、安全確認済み領域として決定する安全確認済み領域決定手段とを備え、前記安全確認済み領域決定手段で得られた安全確認済み領域の大きさが所定の判定基準値以下であった場合に、前記車両のドライバーが安全確認を十分に行わなかったと判定することを特徴としている。
これによれば、交差点への車両の進入時にドライバーの目を含む画像を逐次取得しており、その画像に基づいて算出した視線方向から、車両のドライバーが安全確認を十分に行なったか否かを判定している。そして、ドライバーの視線方向は、画像取得手段で取得した画像から黒目の位置を検出し、その黒目の位置に基づいて算出している。目や眉毛と異なり、黒目の方向は必ず視線の方向と一致しているので、このようにすれば、ドライバーの視線の方向を正確に算出することができる。従って、交差点の進入時にドライバーが安全確認を十分に行なったか否かを、より正確に判定することができる。
また、請求項2の安全確認判定装置では、前記安全確認済み単区域決定手段は、前記安全確認済み単区域を、前記交差点への前記車両の進入方向に対して直交する水平線上に決定することを特徴としている。
このように、安全確認済み単区域を、交差点への車両の進入方向に対して直交する水平線上の区域とすれば、本来は3次元で表される安全確認済み単区域を1次元の区域として用いることが可能になるので、安全確認判定装置で扱う情報量を減らすことができる。よって、安全確認判定装置の記憶領域を節約したり、安全確認判定装置での演算処理の負担を減らしたりすることができる。
また、請求項3の安全確認判定装置では、前記安全確認済み単区域決定手段は、2次元座標上において、前記視線の方向を表す直線と、前記交差点の前記車両が進入する側の入り口の幅を示す線分とが交差しない場合は、その視線の方向に基づいて前記安全確認済み単区域を決定しないことを特徴としている。
交差点の周囲の構造物・樹木等の障害物が、道路端から間隔を空けずに存在している場合がある。このような状況においては、交差点の入り口の幅を越える方向に向けられた視線は、これらの障害物に遮られる可能性がある。そこで、請求項3では、交差点において車両が進入する側の入り口の幅を越える方向に向いている視線の方向に基づいては安全確認済み単区域を決定しないようにしている。これによって、実際には安全確認ができない区域を安全確認済み単区域に決定してしまうことを抑制できる。
また、請求項4の安全確認判定装置では、前記車両の速度の情報を取得する速度情報取得手段をさらに備え、前記安全確認判定手段は、前記速度情報取得手段で取得した速度の値が大きくなるほど前記判定基準値を小さく設定し直して前記判定を行うことを特徴としている。
車両の速度が速くなるほど交差点内を通過する時間は短くなる。また、車両が交差点内を通過する時間が短くなるほど、車両が交差点内を通過する時間内に交差点内に進入する可能性のある他車両や通行人の存在する領域は狭くなる。
請求項4によれば、速度情報取得手段で取得した速度の値が大きくなるほど、判定基準値を小さく設定し直して安全確認を行なったか否かの判定を行うので、車両が交差点内を通過する時間が短くなるのに合わせて、ドライバーが安全確認を十分に行ったといえる範囲を小さく設定して安全確認を行なったか否かの判定を行うことが可能になる。よって、車両が交差点内を通過する時間の変化に合わせて、ドライバーが安全確認を十分に行ったか否かの判定をより適切に行うことが可能になる。
また、請求項5の安全確認判定装置では、前記視線方向算出手段で逐次算出した前記視線の方向に基づいて、前記視線の方向の一方向への停留時間を算出する停留時間算出手段をさらに備え、前記安全確認済み単区域決定手段は、前記停留時間算出手段で算出した停留時間が所定の時間以下であった前記視線の方向に基づいては前記安全確認済み単区域を決定しないことを特徴としている。
ある方向の安全確認をドライバーが完了するまでには、対象を視認して運転安全上の判断を下す時間が必要となる。すなわち、ある方向の安全確認をドライバーが完了するためには、その方向に視線を一定時間よりも長く停留させる必要がある。
請求項5によれば、ドライバーの視線の方向の一方向への停留時間を停留時間算出手段で算出し、算出した停留時間が所定の時間以下であった視線の方向に基づいては安全確認済み単区域を決定しないので、視線は向いたものの安全確認を完了していなかった区域を安全確認済み単区域としてしまうことを抑制できる。よって、交差点への進入時にドライバーが安全確認を十分に行ったか否かを、より正確に判定することが可能になる。
また、請求項6の安全確認判定装置では、前記安全確認済み単区域決定手段で前記安全確認済み単区域が決定されてからの経過時間を計測する経過時間計測手段をさらに備え、前記安全確認済み領域決定手段は、前記経過時間計測手段で計測した経過時間が所定の時間以上となった前記安全確認済み単区域を、前記安全確認済み領域から除外して前記決定を行うことを特徴としている。
ある方向の安全確認をドライバーが完了した場合であっても、時間が経過すればその方向の状況も変化するため、再度安全確認を行う必要がある。
請求項6によれば、安全確認済み単区域として決定されてからの経過時間を経過時間計測手段で計測し、計測した経過時間が所定の時間以上となった安全確認済み単区域を、安全確認済み領域から除外するので、安全確認は完了したものの再度安全確認が必要な時間が経過してしまった範囲を安全確認済み領域から除外することが可能になる。よって、交差点への進入時にドライバーが安全確認を十分に行ったか否かを、より正確に判定することが可能になる。
また、請求項7の安全確認判定装置では、前記所定の時間は、前記交差点の中心に近い
安全確認済み単区域ほど短い時間となるように設定されていることを特徴としている。
交差点の中心に近い場所ほど、他車両や通行人の運動状態の変化および死角からの進入の結果が安全運転に及ぼす影響が大きい。
請求項7によれば、交差点の中心に近い安全確認済み単区域ほど、再度安全確認が必要になる時間を短く設定することが可能になるので、安全運転に及ぼす影響が大きい範囲ほど、十分な安全確認を行わせることが可能になる。
また、請求項8の安全確認判定装置では、前記車両のドライバーが安全確認を十分に行わなかったものとして前記安全確認判定手段で判定が行われた場合に前記車両のドライバーに対して警告を行う警告手段をさらに備えることを特徴としている。
これにより、車両のドライバーが安全確認を十分に行わなかったものとして安全確認判定手段で判定が行われた場合に車両のドライバーに対して警告を行うことが可能になる。
また、請求項9の運転教示支援システムは、上記課題を解決するために、前記のいずれかに記載の安全確認判定装置と、情報を記録する記録装置と、を含み、前記視線方向算出手段で逐次算出したドライバーの視線の方向の情報を、その視線の方向に基づいた前記安全確認判定手段での判定結果に応じて記録装置に記録することを特徴としている。
これによれば、車両のドライバーが安全確認を十分に行った場合の交差点への進入時のドライバーの視線の方向の情報を記録装置に記録したり、車両のドライバーが安全確認を十分に行わなかった場合の交差点への進入時のドライバーの視線の方向の情報を記録装置に記録したりすることが可能になる。よって、交差点を通過後の駐車時など、ドライバーに余裕があるときに、記録装置からこれらの情報を読み出してドライバーに提示することが可能になる。従って、交差点への進入時におけるドライバーの安全確認の状況をドライバーに提示して、ドライバーの安全運転スキルを向上させることが可能になる。
また、請求項10の運転教示支援システムでは、上記課題を解決するために、前記のいずれかに記載の安全確認判定装置と、前記視線方向算出手段で逐次算出したドライバーの視線の方向の情報を記録する記録装置と、その視線の方向に基づいた前記安全確認判定手段での判定結果に応じた、前記交差点への前記車両の進入時における前記視線の方向の動きを示す教示画像を、前記記録装置に記録されている前記視線の方向の情報をもとに生成する教示画像生成装置と、前記教示画像を表示する表示装置と、を含むことを特徴としている。
これによれば、記録装置に記録されている視線の方向の情報をもとに、交差点への車両の進入時における視線の方向の動きを示す教示画像を生成して表示することができる。よって、交差点を通過後の駐車時など、ドライバーに余裕があるときに、車両のドライバーが安全確認を十分に行った場合の交差点への進入時のドライバーの視線の方向の動きや、車両のドライバーが安全確認を十分に行わなかった場合の交差点への進入時のドライバーの視線の方向の動きなどを示す教示画像を、ドライバーに提示することが可能になる。従って、交差点への進入時におけるドライバーの安全確認の状況をドライバーに提示して、ドライバーの安全運転スキルを向上させることができる。
また、請求項11の運転教示支援システムでは、前記安全確認判定装置によって前記安全確認の判定を行う道路上の区間は、前記交差点への進入時において前記車両とその交差点との中心間の距離が所定値以下の区間であることを特徴としている。
また、請求項12の運転教示支援システムでは、前記安全確認判定装置によって前記安全確認の判定を行う道路上の区間は、前記交差点への進入時において前記車両の速度が所定値以下になった道路上の区間であることを特徴としている。
また、請求項13の運転教示支援システムでは、前記安全確認判定装置によって前記安全確認の判定を行う道路上の区間は、前記交差点への進入時において前記車両の速度が最低値となる地点の所定範囲内の区間であることを特徴としている。
請求項11〜13のようにしても、交差点における接触事故を防止する効果のより高い運転教示支援システムを提供することができる。
また、請求項14の運転教示支援システムでは、前記車両の挙動に関する情報である車両挙動情報を逐次取得する車両挙動センサをさらに含み、前記視線の方向に対応する時点の前記車両挙動情報を、その視線の方向の情報に対応付けてさらに前記記録装置に記録し、前記教示画像生成装置では、前記記録装置に記録されている前記視線の方向の情報に加えて、その視線の方向に対応付けられている前記車両挙動情報をもとに、前記視線の方向の動きに加え前記車両挙動情報の変化を示す画像を前記教示画像として生成することを特徴としている。
これにより、車両の挙動に関する情報である車両挙動情報は、交差点への進入時の安全確認の状況の理解を助ける情報であるので、請求項14のようにすれば、交差点への進入時の安全確認の状況を、より解りやすくドライバーに示すことができ、交差点における接触事故を防止する効果をさらに高めることができる。
また、請求項15の運転教示支援システムでは、前記交差点への進入時の前記車両の前方の画像を逐次撮像する車両前方画像撮像装置をさらに含み、ドライバーが前記視線の方向を見ているときの前記前方の画像の情報を、その視線の方向の情報に対応付けてさらに前記記録装置に記録し、前記教示画像生成装置では、前記記録装置に記録されている情報のうちの少なくとも前記視線の方向の情報に加えて、その視線の方向に対応付けられている前記前方の画像の情報をもとに、前記前方の画像に少なくともその視線の方向の動きを示す画像を重畳した画像を前記教示画像として生成することを特徴としている。
これによれば、教示画像を前方の画像に基づいて生成しているので、交差点への進入時のドライバーの実際の視界の中での視線の方向の動きを教示画像で擬似的に示すことができる。よって、交差点への進入時の安全確認の状況を、より解りやすくドライバーに示すことができ、交差点における接触事故を防止する効果をさらに高めることができる。
また、請求項16の運転教示支援システムでは、前記車両の現在位置を検出する現在位置検出装置をさらに含み、前記現在位置検出装置で検出した現在位置が所定の位置であった場合に、前記教示画像を前記表示装置に表示させることを特徴としている。
これにより、所定の位置に車両が位置したときに教示画像を表示装置に表示することが出来る。例えば、車両が自家用車である場合、車両の所有者の自宅の駐車場の位置を所定の位置とすれば、帰宅後に、交差点での安全確認の状況をドライバーが教示画像を見て振り返ることが可能になる。また、車両が商用車である場合、車両を所有する会社の駐車場の位置を所定の位置とすれば、帰社後に、交差点での安全確認の状況をドライバーが教示画像を見て振り返ることが可能になる。
また、請求項17の運転教示支援システムでは、前記教示画像は、前記視線の方向の動
きを、前記車両の進行方向に対しての左右方向の幅として示すことを特徴としている。
請求項17のようにしても、交差点における接触事故を防止する効果のより高い運転教示支援システムを提供することができる。
また、請求項18の運転教示支援システムでは、前記表示装置での前記教示画像の表示の要否の入力をユーザから受け付ける操作入力装置をさらに含むとともに、前記表示装置は、前記教示画像を表示する前に、その教示画像の表示の要否をユーザに問い合わせる要否問い合わせ画像をさらに表示し、その教示画像の表示が必要との入力を前記操作入力装置で受け付けた場合に、その教示画像を前記表示装置に表示することを特徴としている。
これにより、ユーザが教示画像の表示を必要としない場合には、その教示画像を表示装置に表示しないようにすることが可能になる。
〔第1実施形態〕
以下、本発明の安全確認判定装置1の一実施形態について図面を用いて説明する。図1は、安全確認判定装置1の概略的な構成を示すブロック図である。本実施形態では、本発明が車両用に適用された例であって、車両にナビゲーションシステムが備えられている例を説明する。なお以下、この安全確認判定装置1を備えている車両を自車両という。
図1に示す安全確認判定装置1は、位置情報取得部11、画像取得部12、黒目位置検出部13、視線方向算出部14、速度情報取得部15、停留時間算出部16、経過時間計測部17、安全確認判定部18、および警告部22を備えている。また、安全確認判定部18は、安全確認済み単区域決定部19、安全確認済み領域決定部20、および判別部21を備えている。
位置情報取得部11は、ナビゲーションシステムに含まれる地図データ格納部に格納されている電子地図のデータやナビゲーションシステムによって検出された当該電子地図上での自車両の位置・方向の情報を取得する。また、位置情報取得部11は、取得した電子地図のデータおよび自車両の位置・方向の情報を画像取得部12、視線方向算出部14、安全確認済み単区域決定部19、および安全確認済み領域決定部20に送る。なお、以降では、位置情報取得部11が取得した電子地図のデータおよび自車両の位置・方向の情報を、位置情報と呼ぶ。また、電子地図のデータには、道路を示すリンクデータとノードデータとが含まれる。ここで、リンクとは、地図上の各道路を交差・分岐・合流する点等の複数のノードにて分割したときのノード間を結ぶものであり、各リンクを接続することにより道路が構成される。リンクデータは、リンクを特定する固有番号(リンクID)、リンクの長さを示すリンク長、リンクの始端及び終端ノード座標(緯度・経度)、道路名称、道路種別、道路幅員、車線数、右折・左折専用車線の有無とその専用車線の数、制限速度、および所定距離ごとの道路中心の座標の情報等の各データから構成される。一方、ノードデータは、地図上の各道路が交差、合流、分岐するノード毎に固有の番号を付したノードID、ノード座標、ノード名称、ノードに接続するリンクのリンクIDが記述される接続リンクID、交差点種類、交差点における信号機の有無、交差点の入り口中心の座標、交差点の入り口の幅、および交差点の中心座標の情報等の各データから構成される。
画像取得部12は、位置情報取得部11から送られてきた位置情報に基づいて、信号機のない交差点への自車両の進入時に、自車両のドライバーの目を含む範囲を撮像する撮像装置で得られた画像のデータを逐次(例えば100msecごとに)取得する。また、画像取得部12は、取得した画像のデータを黒目位置検出部13に送る。なお、本実施形態の撮像装置は自車両に固定して設置されており、撮像方向も固定されているものとする。また、上述のドライバーの目を含む範囲とは、ドライバーの目を含む範囲であれば任意に設定可能な範囲であって、例えばドライバーの顔全体を含む範囲としてもよい。
黒目位置検出部13は、画像取得部12から送られてきた画像のデータに基づいて、公知の画像認識技術を用いて画像解析を行い、画像取得部12で取得した画像中でのドライバーの黒目の位置を検出する。また、黒目位置検出部13は、検出した黒目の位置の情報を視線方向算出部14に送る。なお、本実施形態では、虹彩と瞳孔とからなる部分を黒目として用いてもよいし、瞳孔の部分または虹彩の部分を黒目として用いてもよい。
視線方向算出部14は、位置情報取得部11から送られてきた位置情報および黒目位置検出部13から送られてきた黒目の位置の情報に基づいて、ドライバーの視線の方向を逐次算出する。本実施形態の撮像装置は自車両に固定して設置されているとともに、撮像方向も固定されているので、撮像した画像中の基準点から黒目の位置がどの方向にどの程度離れているかに応じて、自車両の運転席の位置や、ドライバーの両目の中心が位置すると想定される位置等、車両座標系において時間変化がない基準位置を基準にしたドライバーの視線の方向を求めることができる。なお、視線方向算出部14では、車両座標系において時間変化がない基準位置を基準にしたドライバーの視線の方向を、後述する交差点座標系における直線の式に変換して算出する。また、視線方向算出部14は、算出した視線の方向の情報を安全確認判定部18に送る。なお、本実施形態では、上述の基準位置に対して、自車両の上下方向への視線の傾きを視線の上下角、自車両の左右方向への視線の傾きを視線の左右角とする。
速度情報取得部15は、自車両に備えられた車速センサで検出された速度の値を速度情報として取得する。また、速度情報取得部15は、取得した速度の値を判別部21に送る。
停留時間算出部16は、視線方向算出部14で逐次算出した視線の方向に基づいて、視線の方向の一方向への停留時間を算出する。また、停留時間算出部16は、算出した停留時間を、その停留時間に対応する視線の方向に基づいて定まる安全確認済み単区域を個別に識別可能な指標(例えばIDなど)と対応付けて安全確認済み領域決定部20に送る。本実施形態では、視線の方向が一方向に停留している状態とは、例えば視線の左右角の変化が2度以下の状態であるものとする。
経過時間計測部17は、安全確認済み単区域決定部19で決定される安全確認済み単区域について、安全確認済み単区域決定部19で安全確認済み単区域として決定されてからの経過時間を計測する。また、経過時間計測部17は、計測した経過時間を、対応する安全確認済み単区域を個別に識別可能な指標(例えばIDなど)と対応付けて安全確認済み領域決定部20に送る。
安全確認判定部18は、視線方向算出部14から送られてきた視線の方向の情報に基づいて、自車両のドライバーが安全確認を十分に行ったか否かを判定する。
詳しくは、安全確認判定部18に備えられる安全確認済み単区域決定部19は、位置情報取得部11から送られてきた位置情報、および視線方向算出部14から送られてきた視線の方向の情報に基づいて、所定の区域を安全確認済み単区域として決定する。また、安全確認済み単区域決定部19は、決定した安全確認済み単区域の情報を安全確認済み領域決定部20に送る。なお、ここで言うところの所定の区域とは、交差点への自車両の進入方向に対して直交する水平線と視線方向算出部14で算出した視線の方向との交点を中心とする、当該水平線上の区域である。また、所定の区域の範囲は、当該視線の方向についての中心視野(視線を中心とした約20度の範囲)と上記水平線とが交わる範囲である。
さらに、安全確認判定部18に備えられる安全確認済み領域決定部20は、安全確認済み単区域決定部19から送られてきた安全確認済み単区域を順次足し合わせて得られる領域を安全確認済み領域として決定する。すなわち、安全確認済み領域決定部20は、画像取得部12で逐次取得した画像をもとにして検出された視線の方向に対応する各安全確認済み単区域を順次足し合わせて安全確認済み領域とする。また、安全確認済み領域決定部20は、位置情報取得部11から送られてきた位置情報に基づいて、自車両の位置が交差点の入り口から所定の距離に達した時点までに得られた視線の方向に対応する安全確認済み単区域を順次足し合わせて得られる領域を安全確認済み領域として決定する。そして、安全確認済み領域決定部20は、決定した安全確認済み領域の情報を判別部21に送る。なお、ここで言うところの所定の距離とは、ドライバーが安全確認を完了しているべき時点での自車両の位置から交差点の入り口までの距離である。
また、安全確認済み領域決定部20は、停留時間算出部16から送られてきた停留時間が所定の時間以下であった安全確認済み単区域を、停留時間算出部16から送られてきた指標をもとに、安全確認済み領域から除外して安全確認済み領域を決定する。なお、ここで言うところの所定の時間とは、ある方向の安全確認をドライバーが完了するまでに、対象を視認して運転安全上の判断を下すまでに必要となる時間である。
さらに、安全確認済み領域決定部20は、経過時間計測部17から送られてきた経過時間が所定の時間以上であった安全確認済み単区域を、経過時間計測部17から送られてきた指標をもとに、安全確認済み領域から除外して安全確認済み領域を決定する。なお、ここで言うところの所定の時間とは、安全確認済みの方向に対して運転安全上の観点から再度安全確認が必要となる時間である。
そして、安全確認判定部18に備えられる判別部21は、安全確認済み領域決定部20から送られてきた安全確認済み領域の大きさが判定基準値以下であった場合に、自車両のドライバーが安全確認を十分に行わなかったものとして判別する。また、判別部21は、速度情報取得部15から送られてきた速度の値が大きくなるほど判定基準値を小さく設定し直して判別を行う。そして、判別部21は、判別の結果を警告部22に送る。なお、ここで言うところの判定基準値とは、交差点に進入するドライバーが安全確認すべき領域に応じて設定される値であって、三叉路、四叉路、五叉路、六叉路、および七叉路などの交差点の種類ごとに決まる値である。また、本実施形態では、位置情報取得部11で取得する位置情報のうちの電子地図のデータに基づいて、交差点ごとに個別に判定基準値が設定される構成であってもよい。
警告部22は、自車両のドライバーが安全確認を十分に行わなかったものとして安全確認判定部18で判定が行われた場合(自車両のドライバーが安全確認を十分に行わなかったとの判別結果が判別部21から送られてきた場合)に自車両のドライバーに対して警告を行う。なお、警告部22による警告の具体例としては、警告を表す文字または絵などを液晶ディスプレイ等の表示装置に表示する構成であってもよいし、スピーカ等の音声出力装置から警告を表す音声を発する構成であってもよい。
なお、位置情報取得部11、画像取得部12、黒目位置検出部13、視線方向算出部14、速度情報取得部15、停留時間算出部16、経過時間計測部17、および安全確認判定部18は、CPU、ROM、RAM等を備えたコンピュータによって構成される。
また、本実施形態では、車速センサ、撮像装置、およびナビゲーションシステムから安全確認判定装置1へ情報を送るときに、例えばCAN(Controller AreaNetwork)などの通信プロトコルに準拠した車内LANを介して行う。
次に、図2を用いて、安全確認判定装置1での動作フローについての説明を行う。図2は、安全確認判定装置1での動作フローを示すフローチャートである。なお、本フローは、自車両のイグニッションがオンされたときに開始される。
まず、ステップS1では位置検出処理を行ってステップS2に移る。位置検出処理では、自車両の電子地図上の位置および方向の情報を位置情報取得部11で取得するとともに、自車両の進行先にある信号機のない交差点のうち、最も近くに存在する交差点(以降では、進入対象交差点と呼ぶ)の中心座標の情報を位置情報取得部11で取得する。なお、本実施形態では、自車両の電子地図上の位置は座標(Xv,Yv)で表し、進入対象交差点の中心座標は座標(Xc,Yc)で表すものとする。
ステップS2では、自車両から進入対象交差点の中心までの距離Lcが所定の距離以下となったか否か(安全確認判定開始距離か否か)を、自車両の位置座標(Xv,Yv)と進入対象交差点の中心座標(Xc,Yc)とに基づいて、画像取得部12が判定する。そして、安全確認判定開始距離であると判定した場合(ステップS2でYes)には、ステップS3に移る。また、安全確認判定開始距離でないと判定した場合(ステップS2でNo)には、ステップS1に戻ってフローを繰り返す。なお、距離Lcは、(Xv−Xc)2+(Yv−Yc)2の平方根の値を求めることによって得ることができる。また、ここで言うところの所定の距離とは、ドライバーが安全確認を開始しているべき時点での自車両の位置から交差点の入り口までの距離よりも長い距離であって、ここでは例えば15mとする。
なお、本実施形態では、距離Lcが所定の距離以下であるか否かの判定結果のみを、安全確認判定開始距離であることの判定条件とする構成を示したが、必ずしもこれに限らない。例えば、距離Lcが所定の距離以下であるか否かに加えて、ウインカーが作動中であるか否かの判定結果を加えた2つの成否の論理和を、安全確認判定開始距離であることの判定条件としてもよい。
ステップS3では、安全確認済み領域決定処理を行って安全確認済み領域を決定し、ステップS4に移る。なお、安全確認済み領域決定処理の詳細については後述する。続いて、ステップS4では、安全確認済み決定処理で得られた安全確認済み領域の大きさが判定基準値以下であるか否かを、速度情報取得部15から送られてきた速度の値および安全確認済み領域決定処理で決定された安全確認済み領域の大きさに基づいて判別部21が判別する。そして、この安全確認済み領域の大きさが判定基準値以下であったと判別した場合(ステップS4でYes)には、ステップS5に移る。また、この安全確認済み領域の大きさが判定基準値以下でなかったと判別した場合(ステップS4でNo)には、ステップS6に移る。なお、ここで言うところの判定基準値とは、前述したように、交差点に進入するドライバーが安全確認すべき領域に応じて設定される値であって、ここでは例えば20mとする。
ステップS5では、警告部22によって自車両のドライバーに対して警告を行ってステップS6に移る。そして、ステップS6では、自車両のイグニッションがオフになっていた場合(ステップS6でYes)には、フローを終了し、自車両のイグニッションがオフになっていなかった場合(ステップS6でNo)には、ステップS1に戻ってフローを繰り返す。なお、ステップS2〜ステップS5までの処理を安全確認判定処理と呼ぶものとする。
次に、図3を用いて、安全確認済み領域決定処理についての説明を行う。図3は、安全確認済み領域決定処理のフローを示すフローチャートである。なお、ここでは直行する道路によって生じる交差点(すなわち十字路)を進入対象交差点とした場合を例に挙げて説明を行う。
まず、ステップS31では、視線方向検出処理を行ってステップS32に移る。視線方向検出処理では、自車両のドライバーの目を含む範囲を撮像する撮像装置で得られた画像のデータを画像取得部12が取得し、取得した画像のデータを黒目位置検出部13に送る。続いて、画像取得部12から送られてきた画像のデータに基づいて、画像取得部12で取得した画像中でのドライバーの黒目の位置を黒目位置検出部13が検出し、検出した黒目の位置の情報を視線方向算出部14に送る。そして、位置情報取得部11から送られてきた位置情報および黒目位置検出部13から送られてきた黒目の位置の情報に基づいて、ドライバーの視線の方向を視線方向算出部14が算出する。なお、ドライバーの視線の方向は、対象交差点の中心座標(Xc,Yc)を原点(0,0)とするとともに、対象交差点への自車両の進入方向をY軸とする図4に示すような座標系(以降では、交差点座標系と呼ぶ)における直線の式として算出する。また、後述するステップS37で安全確認領域決定開始距離であると判定されない場合には、ステップS31に戻ってフローが繰り返されるため、ステップS37で安全確認領域決定開始距離であると判定されるまで、視線方向検出処理は一定時間ごとに行われることになる。なお、本実施形態では、例として100msecごとに視線方向検出処理を行うものとして説明を行う。
ステップS32では、視線方向検出処理が2回目以降の視線方向検出処理であった場合(ステップS32でYes)には、ステップS33に移る。また、視線方向検出処理が初回の視線方向検出処理であった場合(ステップS32でNo)には、ステップS36に移る。
ステップS33では、1回前の視線方向検出処理で算出したドライバーの視線の方向と、新たに算出したドライバーの視線の方向との差が、角度として表した場合に2度以下か否かを停留時間算出部16が判定する。そして、2度以下であったと判定した場合(ステップS33でYes)には、ステップS34に移る。また、2度以下でなかったと判定した場合(ステップS33でNo)には、ステップS31に戻ってフローを繰り返す。
ステップS34では、新たに算出したドライバーの視線の方向について、停留時間算出部16によってカウンタに1加える。また、1回前の視線方向検出処理で算出したドライバーの視線の方向について、停留時間算出部16によって既にカウンタに加算が行われていた場合には、その分の値を、新たに算出したドライバーの視線の方向について、カウンタにさらに加算する。そして、ステップS35に移る。
ステップS35では、カウンタの値が所定の値以下か否かを安全確認済み単区域決定部19が判定する。すなわち、ドライバーの視線の方向の、一方向への停留時間が所定の時間以下か否かを安全確認済み単区域決定部19が判定する。ここでは、所定の時間を0.3secとした場合を例に挙げて説明を続ける。視線方向検出処理は100msecごとであるので、所定の時間が0.3secの場合には、所定の値は3ということになる。従って、ステップS35では、カウンタの値が3以下か否かを安全確認済み単区域決定部19が判定する。そして、カウンタの値が3以下であったと判定した場合(ステップS35でYes)には、ステップS31に戻ってフローを繰り返す。また、カウンタの値が3よりも大きかったと判定した場合(ステップS35でNo)には、ステップS36に移る。
ステップS36では、位置情報取得部11から送られてきた位置情報、および視線方向算出部14から送られてきた視線の方向の情報に基づいて、対象となる視線の方向に対応する安全確認済み単区域[XLi,XRi]を決定し、ステップS37に移る(iは自然数であって、安全確認済み単区域として決定された順に数値が入る)。
ここで、安全確認済み単区域[XLi,XRi]の決定の方法について詳細な説明を行う。まず、図5(a)を用いて、ドライバーの視線とその視線によって安全確認した範囲とを示す。図5(a)には、ドライバーの視線、その視線によって安全確認した範囲、および路面上での安全確認すべき領域が示されている。信号機のない交差点を通過する場合にドライバーが安全確認すべき領域は、路面上では、交差点内の路面の範囲および交差点外の路面のうち、交差点中心から所定距離内の路面の範囲である。また、路面に直交した面上では、路面から上方向に数mまでの範囲である。ここで、交差点通過時において、視線の上下角度は0度近くであること、および路面から上方向に数mまでの範囲は、上下方向の視野角20度に収まる範囲であることから、ドライバーが安全確認すべき領域のうち、路面に直行した面上の領域は、常にドライバーの上下方向の視野内に収まるといえる。よって、安全確認すべき領域は、路面上の2次元の範囲として表すことが可能である。また、同様の理由によって、ドライバーの視線によって安全確認した範囲も路面上の2次元の範囲として表すことが可能である。なお、図5(a)において、ドライバーの視線の始点はドライバーの両目の中心の位置である。また、前述したように目には20度近くの中心視野があることから、視線の方向に対して左右に約10度ずつ傾いた2つの線分が挟む範囲が、ドライバーの視線によって安全確認した範囲となる。
ドライバーの視線によって安全確認した範囲および安全確認すべき領域は、上述の通り、路面上の2次元の範囲として表すことが可能であるが、ドライバーの視線によって安全確認した範囲および安全確認すべき領域を、図5(b)に示すように、ある特定の直線上の区間に対応させることによって、さらに一次元の範囲として表すことが可能である。なお、ここで言うところのある特定の直線とは、交差点への自車両の進入方向に対して直交する水平線である。本実施形態では、安全確認判定装置1の記憶領域の節約、および安全確認判定装置1での演算処理の低減を行う目的で、ドライバーの視線によって安全確認した範囲および安全確認すべき領域を、交差点への自車両の進入方向に対して直交する水平線上の一区画に対応させて用いる。また、本実施形態では、交差点への自車両の進入方向に対して直交する水平線として、十字路の交差点の4つ角のうち、自車両の進入方向に対して奥にある2つの角A・Bを通る直線(以降では、直線ABと呼ぶ)を選定した場合を例に挙げて説明を続ける。
十字路の交差点の4つ角の位置の座標については、進入対象交差点の中心座標(Xc,Yc)から、自車両の通行方向を0度としたときの+135度、−135度、+45度、−45度の方向に距離2〜4(単位はm)の各点(すなわち、進入対象交差点の中心から90度の角度間隔で4方向に伸びる直線上の点)であるものとして算出すればよい。なお、上述の2〜4mの距離は、信号機のない交差点で交差する道路の幅に対応して定めた長さであって、これによれば、上述の算出によって得られる4つの点は、この交差点で交差する2本の道路の幅がいずれも2√2m〜4√2mと仮定した場合に、実際の十字路の交差点の4つ角の位置におおよそ一致する。また、上述の算出によって得られる4つの点の座標を定めるための座標系は、(Xc,Yc)を原点とする上述の交差点座標系とする。
続いて、ドライバーの視線によって安全確認した範囲を、上述の水平線上の区間(本実施形態における安全確認済み単区域)に対応させるために、この視線に対する中心視野に含まれる上述の水平線上の区間を求める。このために、まず直線ABとドライバーの視線の方向を表す直線との交点の座標(XEi,YEi)を求める(図6参照)。直線ABとドライバーの視線の方向を表す直線とは、同じ座標系で表すことができるので、直線ABの式とドライバーの視線の方向を表す直線の式とを連立させて解を求めることによって、交点の座標(XEi,YEi)が算出される。さらに、この視線に対する中心視野に含まれる直線AB上の区間の2つの端点の座標を求めるために、ドライバーの両目の中心の位置(本実施形態では、自車両の位置の座標を用いる)とこの交点との間の距離をL3として、この交点からL3×tan(θ/2)だけ直線AB上の左方向に位置する座標(XLi,YLi)とL3×tan(θ/2)だけ直線AB上の右方向に位置する座標(XRi,YRi)とを算出する(図6参照)。ここでθは、中心視野の角度(すなわち、中心視野角)であって、約20度とする。そして、(XLi,YLi)と(XRi,YRi)とを結ぶ線分のX座標成分である[XLi,XRi]を得ることによって、[XLi,XRi]を安全確認済み単区域として決定する。なお、[XLi,YLi]の単位は、m(メートル)とする。
なお、本実施形態では、θを約20度としているが、必ずしもこれに限らない。θは中心視野角の値以下であればよく、例えば約10度としてもよい。
また、決定した安全確認済み単区域[XLi,XRi]について、経過時間計測部17が経過時間の計測(カウント)を開始し、安全確認済み単区域[XLi,XRi]を個別に識別する指標(例として、以降ではIDとして説明を行う)が、経過時間の情報に対応付けられる。
なお、本実施形態では、交差点が十字路である場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、三叉路、十字路以外の四叉路、五叉路、六叉路、および七叉路などの交差点についても、交差点への自車両の進入方向に対して直交する水平線とドライバーの視線の方向を示す直線との交点に基づいて、安全確認済み単区域を決定することができる。
ステップS37では、距離Lcが所定の距離以下となったか否か(安全確認領域決定開始距離か否か)を、自車両の位置座標(Xv,Yv)と進入対象交差点の中心座標(Xc,Yc)とに基づいて、安全確認済み領域決定部20が判定する。そして、安全確認領域決定開始距離であると判定した場合(ステップS37でYes)には、ステップS38に移る。また、安全確認領域決定開始距離でないと判定した場合(ステップS37でNo)には、ステップS31に戻ってフローを繰り返す。なお、ここで言うところの所定の距離とは、前述したように、ドライバーが安全確認を完了しているべき時点での自車両の位置から交差点の入り口までの距離であって、ここでは例えば0.5mとする。
ステップS38では、経過時間計測部17による安全確認済み単区域[XL1,XR1]〜[XLi,XRi]についての経過時間のカウントを終了する。そして、経過時間が所定の時間以上であった安全確認済み単区域を、経過時間計測部17から送られてきたIDをもとに除外するとともに、残った安全確認済み単区域を足し合わせて安全確認済み領域決定部20が安全確認済み領域を決定し、ステップS4に移る。なお、ここで言うところの所定の時間とは、前述したように、安全確認済みの方向に対して運転安全上の観点から再度安全確認が必要となる時間であって、ここでは例えば2secとする。
また、ステップS38の安全確認済み単区域の足し合わせでは、上述の残った安全確認済み単区域の長さを積算した値から、上述の残った安全確認済み単区域同士の共通する部分(重なりあった部分)の長さの値を減算することによって、安全確認済み領域の値が求められる。なお、ステップS4では、安全確認済み決定処理で得られた安全確認済み領域の大きさが判定基準値以下であるか否かを判別部21が判別するが、図3のフローで説明を行ったような、安全確認済み単区域および安全確認済み領域が直線上の一区間である場合は、安全確認済み領域の大きさとは、安全確認済み領域の長さの値を表すことになる。
以上の構成によれば、自車両に固定して設置されている撮像装置で撮像されたドライバーの目を含む範囲の画像中の基準点から黒目の位置がどの方向にどの程度離れているかに応じて、自車両の運転席の位置を基準にしたドライバーの視線の方向を求めるので、交差点への自車両の進入時にドライバーが実際に見た範囲を決定することができる。従って、交差点への車両の進入時にドライバーが実際に見た範囲を安全確認済み領域として決定することができる。そして、安全確認済み領域の大きさが、判定基準値以下であった場合には、ドライバーが安全確認を十分に行わなかったものとして判定するので、ドライバーが実際に見た範囲が、ドライバーが安全確認を十分に行ったといえる範囲以下であった場合に、ドライバーが安全確認を十分に行わなかったものとして判定することができる。その結果、交差点への進入時にドライバーが安全確認を十分に行ったか否かを、より正確に判定することが可能になる。
また、ドライバーが安全確認を行った範囲を、交差点への自車両の進入方向に対して直交する水平線上の一区間に対応付ける本実施形態の構成によれば、ドライバーが安全確認を行った本来は3次元で表される範囲を、1次元の範囲に対応付けて用いるので、安全確認判定装置1で扱う情報量を減らすことができる。よって、安全確認判定装置1の記憶領域を節約したり、安全確認判定装置1での演算処理の負担を減らしたりすることができる。
〔第2実施形態〕
以下、本発明の運転教示支援システム100の一実施形態について図面を用いて説明する。図8は、運転教示支援システム100の概略的な構成を示すブロック図である。なお、説明の便宜上、前記の第1実施形態の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。なお、運転教示支援システム100は車両に搭載されるものとする。
図8に示す運転教示支援システム100は、ナビゲーションシステム101、撮像装置102、車速センサ103、ドライブレコーダ104、運転教示支援ECU105、表示装置106、および操作スイッチ群107を含んでいる。また、運転教示支援ECU105は、安全確認判定装置1、教示情報収集装置2、教示情報記録装置3、表示制御装置4、および画像生成装置5を備えている。
ナビゲーションシステム101は第1実施形態のナビゲーションシステムと同様のものであって、前述の電子地図上での自車両の位置・方向を検出する。また、撮像装置102も第1実施形態の撮像装置と同様のものであって、自車両のドライバーの目を含む範囲を撮像する。そして、車速センサ103も第1実施形態の車速センサと同様のものであって、自車両の速度を検出する。
ドライブレコーダ104は、一般的なドライブレコーダと同様のものであって、主要部材として小型CCDカメラ、車速センサ103から車速の情報を受信する部材、加速度センサ、メモリカードを備え、自車両のフロントガラスの内側に装着される小型CCDカメラによって自車両前方の画像(以下、前方画像と呼ぶ)を常時(例えばドライブレコーダ104の起動中)撮像し続けるとともに、それに同期した車速や加速度の情報等の車両の挙動の情報(以下、車両挙動情報と呼ぶ)も取得し続ける。ドライブレコーダ104は、これらの同期した前方画像の情報や車両挙動情報を常に新しく仮記録していきながらも、古くなった記録から順次消去を行っている。そして、衝撃などのイベントを検知した場合にのみ、イベント検知の前後数秒間の記録をメモリカードに本記録している。
なお、本実施形態では、車速センサ103から車速の情報を受信する部材をドライブレコーダ104に備える代わりに、速度パルス受信部をドライブレコーダ104に備えることによって、ドライブレコーダ104で車速を検出し、車速の情報を得る構成としてもよい。また、この場合、運転教示支援システム100が車速センサ103を備えずにドライブレコーダ104から車速の情報を得る構成としてもよい。
運転教示支援ECU105の安全確認判定装置1は、判別部21での判別結果を教示情報収集装置2に送る。
運転教示支援ECU105の教示情報収集装置2は、安全確認判定装置1から判別結果が送られてきた場合に、ドライブレコーダ104に仮記録されている前述の前方画像の情報および車両挙動情報を取得するとともに、それに同期する視線の方向の情報を安全確認判定装置1から取得する。なお、視線方向算出部14で逐次算出した視線の方向の情報については、安全確認判定装置1に備えられる一時保存メモリ(図示せず)にドライブレコーダ104の仮記録と同様にして保存されているものとする。教示情報収集装置2は、判別部21で当該判別結果が得られた時点の前後数秒間の前方画像の情報、車両挙動情報、および視線の方向の情報を取得するものとし、取得した情報は、教示情報収集装置2に備えられる一時保存メモリ(図示せず)に仮記録する。そして、教示情報収集装置2は、安全確認判定装置1から送られてきた判別結果が、自車両のドライバーが安全確認を十分に行わなかった旨の結果であった場合に、取得した情報同士を対応付けて教示情報記録装置3に本記録する。教示情報収集装置2が取得する前方画像の情報、車両挙動情報、および視線の方向の情報はそれぞれが同期しているが、この同期とは、当該視線の方向をドライバーが見ているとき(例えば、当該視線の方向の算出に用いた黒目の位置の画像が撮像装置102で撮像された時点)と同じ時点にドライブレコーダ104で当該前方画像および当該車両挙動情報が取得されたことを意味している。
運転教示支援ECU105の教示情報記録装置3は、書き込み、読み取り、および消去が可能な記録装置であって、上述したように、同期した前方画像の情報、車両挙動情報、および視線の方向の情報が対応付けられて記録されている。
運転教示支援ECU105の表示制御装置4は、ナビゲーションシステム101で検出した自車両の現在位置が所定の位置であった場合に、後述する教示画像を表示装置106に表示させるか否かを問い合わせる画像(以下、要否確認画像と呼ぶ)を生成させる指示(以下、要否確認画像生成指示と呼ぶ)を画像生成装置5に送る。また、表示制御装置4は、教示画像を表示装置106に表示させる操作指示を操作スイッチ群107から受けた場合に、教示画像を生成させる指示(以下、教示画像生成指示と呼ぶ)を画像生成装置5に送る。なお、ここで言うところの所定の位置とは任意に設定可能な位置であり、例えば自車両が自家用車であった場合は、車両の所有者の自宅の駐車場の位置としてもよいし、自車両が商用車であった場合は、車両を所有する会社の駐車場の位置としてもよい。本実施形態では、自車両が自家用車であって、所定の位置が車両の所有者の自宅の駐車場の位置(以下、自宅駐車場位置と呼ぶ)である場合を例に挙げて以降の説明を行う。
運転教示支援ECU105の画像生成装置5は、表示制御装置4から要否確認画像生成指示が送られてきた場合に要否確認画像を生成し、表示装置106にその要否確認画像を表示させる。また、画像生成装置5は、表示制御装置4から教示画像生成指示が送られてきた場合に、教示情報記録装置3に対応付けて記録されている前方画像の情報、車両挙動情報、および視線の方向の情報をもとに、教示画像を生成し、表示装置106にその教示画像を表示させる。なお、教示画像については後に詳述する。
表示装置106は、運転教示支援ECU105の画像生成装置5で生成された画像を表示するものであって、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。また、表示装置106は、例えば車室内のインストルメントパネル内やダッシュボード上等に設置されるものとする。なお、表示装置106としてナビゲーションシステム101のディスプレイを利用する構成であってもよい。
操作スイッチ群107は、例えば表示装置106と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により運転教示支援ECU105へ各種機能(例えば、教示画像の表示、教示画像の選択等)の操作指示を行う。
次に、図9を用いて運転教示支援ECU105での処理についての説明を行う。図9は、運転教示支援ECU105での動作フローを示すフローチャートである。なお、本フローは、自車両のイグニッションがオンされたときに開始される。
まず、ステップS101では、第1実施形態のステップS1と同様の位置検出処理を行ってステップS102に移る。ステップS102では、第1実施形態のステップS2と同様にして安全確認判定開始距離か否かを判定する。そして、安全確認判定開始距離であると判定した場合(ステップS102でYes)には、ステップS103に移る。また、安全確認判定開始距離でないと判定した場合(ステップS102でNo)には、ステップS101に戻ってフローを繰り返す。
ステップS103では、安全確認判定処理を行ってステップS104に移る。安全確認判定処理では、まず第1実施形態のステップS3の処理を行う。そして、第1実施形態のステップS4のうちの、安全確認済み決定処理で得られた安全確認済み領域の大きさが判定基準値以下であるか否かを判別部21で判別する処理までを行い、判別結果を教示情報収集装置2に送る。
ステップS104では、安全確認判定装置1から判別結果が送られてきた場合に、教示情報収集装置2が、ドライブレコーダ104に仮記録されている前述の前方画像の情報および車両挙動情報を取得するとともに、それに同期する視線の方向の情報を安全確認判定装置1から取得し、教示情報収集装置2に備えられる一時保存メモリに、取得した前方画像の情報、車両挙動情報、および視線の方向の情報(以下、教示情報と呼ぶ)を仮記録してステップS105に移る。
ステップS105は、安全確認判定装置1から送られてきた判別結果をもとに教示情報収集装置2が、自車両のドライバーが安全確認を十分に行わなかったか否かの判定を行う。そして、安全確認を十分に行わなかったと判定した場合(ステップS105でYes)には、ステップS106に移る。また、安全確認を十分に行ったと判定した場合(ステップS105でNo)には、ステップS107に移る。なお、教示情報収集装置2は、自車両のドライバーが安全確認を十分に行わなかった旨の判別結果が安全確認判定装置1から送られてきた場合には、安全確認を十分に行わなかったと判定し、自車両のドライバーが安全確認を十分に行った旨の判別結果が安全確認判定装置1から送られてきた場合には、安全確認を十分に行ったと判定するものとする。
ステップS106では、教示情報収集装置2が、仮記録されている教示情報(つまり、同期している前方画像の情報、車両挙動情報、および視線の方向の情報)をお互い対応付けて教示情報記録装置3に記録(つまり、本記録)し、ステップS107に移る。ステップS107では、教示情報収集装置2に備えられる一時保存メモリに仮記録してある教示情報を消去し、ステップS108に移る。
ステップS108では、表示制御装置4が、ナビゲーションシステム101で検出した自車両の現在位置が自宅駐車場位置であるか否かを判定する。そして、自宅駐車場位置であると判定した場合(ステップS108でYes)には、ステップS109に移る。また、自宅駐車場位置でないと判定した場合(ステップS108でNo)には、ステップS101に戻ってフローを繰り返す。なお、自宅駐車場位置であるか否かの判定は、予め保持しておいた自宅駐車場位置の座標とナビゲーションシステム101で検出した自車両の現在位置の座標とを比較し、一致するか否かによって判定すればよい。
ステップS109では、表示制御装置4が要否確認画像生成指示を画像生成装置5に送り、画像生成装置5が要否確認画像を生成する。そして、画像生成装置5が表示装置106に要否確認画像のデータを出力し、表示装置106に表示させ、ステップS110に移る。具体例として、例えば「交差点通過時の安全確認状況の確認を行いますか?」などの文字情報を含む要否確認画像を表示させることによって、教示画像を表示装置106に表示させるか否かをドライバーに問い合わせる。
ステップS110では、表示制御装置4が、教示画像を表示装置106に表示させる操作指示を操作スイッチ群107から受けた場合(ステップS110でYes)には、ステップS111に移る。また、表示制御装置4が、教示画像を表示装置106に表示させる操作指示を操作スイッチ群107から受けなかった場合(ステップS110でNo)には、フローを終了する。
ステップS111では、表示制御装置4が教示画像生成指示を画像生成装置5に送る。そして、画像生成装置5が、教示情報記録装置3に対応付けて記録されている前方画像の情報、車両挙動情報、および視線の方向の情報をもとに、教示画像を生成してステップS112に移る。ステップS112では、画像生成装置5が表示装置106に教示画像のデータを出力し、表示装置106に教示画像を表示させてフローを終了する。
前方画像の情報、車両挙動情報、および視線の方向の情報をもとに生成される教示画像は、具体的には、ドライバーの視線の方向の動きを示す曲線と車両挙動情報としての車速を示す文字情報とを前方画像に重畳させた画像である。また、教示画像は、数秒間分の前方画像の情報、車両挙動情報、および視線の方向の情報をもとに生成されるので、動画として表示されることになる。つまり、教示画像では、前方画像中でのドライバーの視線の方向の動きおよび車速の変化を示すことができる。
なお、教示画像は、必ずしも上述したものに限らない。例えば、図10に示すように、ドライバーの視線の方向の動きとしてドライバーの視線によって安全確認した範囲を示す領域(図10中の直方体で示す領域)を前方画像中に重畳して示す構成であってもよい。また、第1実施形態に示すような安全確認済み領域を前方画像中に重畳して示す構成であってもよいし、図5(b)に示すような安全確認済み単区域を前方画像中に重畳して示す構成であってもよいし、図5(a)に示すような安全確認した範囲を前方画像中に重畳して示す構成であってもよい。また、視線の方向の動きとして安全確認済み単区域や安全確認済み領域や図5(a)に示すような安全確認した範囲を用いる構成とした場合、これらを前方画像中でなく電子地図上に重畳して示す構成としてもよい。この場合、教示情報収集装置2は、ドライブレコーダ104から前方画像の情報を取得して以降の処理を行う代わりに、ナビゲーションシステム101から電子地図のデータを取得して以降の処理を行う構成とすればよい。
以上の構成によれば、自車両を自宅駐車場に駐車していてドライバーに余裕があるときに、車両のドライバーが安全確認を十分に行わなかった場合の、交差点への進入時における前方画像中でのドライバーの視線の方向の動きおよび車速の変化を示す教示画像を、ドライバーに提示することができる。また、教示画像を前方画像に基づいて生成しているので、交差点への侵入時のドライバーの実際の視界の中での視線の方向の動きを教示画像で擬似的に示すことができ、交差点への進入時の安全確認の状況を、より解りやすくドライバーに示すことができる。よって、交差点への進入時における安全確認の状況を、容易かつ余裕をもってドライバーが確認することができる。従って、ドライバーの安全運転スキルをより向上させることができる。
また、本発明では、教示画像を表示装置106に表示した後に、図11に示すような、どの方向の安全確認が十分に行われていなかったのかをドライバーに示す表示(以下、ガイダンス表示と呼ぶ)を表示装置106に行わせる構成であってもよい。この場合、第1実施形態の安全確認領域決定処理を車両の進行方向の左右に分けて行い、それぞれの安全確認済み領域の大きさがそれぞれに対して設定された判定基準値以下であるかを判別部21で判別することによって、車両の進行方向の左右のそれぞれの安全確認が不十分か否かを判定する構成にすればよい。
なお、本実施形態では、安全確認判定装置1が速度情報取得部15を備える構成を示したが、必ずしもこれに限らず、安全確認判定装置1に速度情報取得部15を備えない構成であってもよい。また、本実施形態では、安全確認判定装置1に停留時間算出部16を備える構成を示したが、必ずしもこれに限らず、安全確認判定装置1に停留時間算出部16を備えない構成であってもよい。さらに、本実施形態では、安全確認判定装置1に経過時間計測部17を備える構成を示したが、必ずしもこれに限らず、安全確認判定装置1に経過時間計測部17を備えない構成であってもよい。以上のそれぞれの場合であっても、ドライバーが実際に見た範囲に基づいて、ドライバーが安全確認を十分に行ったか否かを判定することが可能になるので、交差点への進入時にドライバーが安全確認を十分に行ったか否かを、より正確に判定することが可能になる。
また、本実施形態では、経過時間が所定の時間以上であったか否かを判定するための所定の時間が一律で2secに設定されている構成を示したが、必ずしもこれに限らない。例えば、この所定の時間は、交差点の中心に近い安全確認済み単区域ほど短い時間となるように設定されていてもよい。具体的には、図7に示すように、交差点の中心に近い安全確認済み単区域ほど段階的に短い時間となるように設定されていてもよい。なお、図7の横軸は交差点座標系のX軸方向における位置(m)を表しており、縦軸はこの所定の時間として設定される設定時間(sec)を表している。
これにより、交差点の中心に近い安全確認済み単区域ほど、再度安全確認が必要になる時間を短く設定することが可能になる。交差点の中心に近い場所ほど、他車両や通行人の運動状態の変化および死角からの進入の結果が安全運転に及ぼす影響が大きいので、安全運転に及ぼす影響が大きい範囲ほど、十分な安全確認を行わせることが可能になる。
なお、本実施形態では、信号機のない交差点への自車両の進入時に安全確認判定処理を開始する構成を示したが、必ずしもこれに限らず、信号機(例えば黄色または赤色の点滅状態の信号機)のある交差点への自車両の進入時にも安全確認判定処理を開始する構成であってもよい。
また、本実施形態では、視線の左右角の変化が2度以下であった場合に、視線の方向が一方向に停留していると停留時間算出部16で判定する構成を示したが、必ずしもこれに限らず、2度以外の値に設定する構成であってもよい。
なお、本実施形態では、安全確認判定装置1に警告部22を備える構成を示したが、必ずしもこれに限らない。例えば、ナビゲーションシステムに含まれる表示装置や音声出力装置から警告を行わせることによって、安全確認判定装置1に警告部22を備えない構成であってもよい。
さらに、ドライバーに対しての警告は、安全確認が行われたと安全確認判定部18で判定されるまで継続される構成であってもよいし、対象となる交差点を通過し終わるまで継続される構成であってもよいし、一定時間継続される構成であってもよい。
また、本実施形態では、ドライバーが安全確認を行った範囲を、交差点への自車両の進入方向に対して直交する水平線上に決定する構成を示したが、必ずしもこれに限らない。例えば、ドライバーが安全確認を行った範囲を、例えば3次元で表される範囲のまま用いる構成であってもよいし、図5(a)で示したような、路面上の2次元の範囲に対応付けて用いる構成であってもよい。この場合、判別部21で用いられる判定基準値もそれに応じて設定され、判定基準値の大きさも長さではなく広さで表されることになる。
なお、本実施形態では、安全確認すべき領域がすべて繋がっている場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、安全確認すべき領域が複数に分かれて存在している場合であっても、複数に分かれて存在している安全確認すべき領域に対する安全確認済み領域の割合に応じて、自車両のドライバーが安全確認を十分に行わなかったか否かを判別部21が判別する構成としてもよい。
また、本発明は、安全確認済み領域決定部20が、進入対象交差点の入り口の幅を越える方向に向いているドライバーの視線の方向に対応する安全確認済み単区域を、安全確認済み領域から除外して安全確認済み領域を決定する構成であってもよい。この場合には、位置情報取得部11によって電子地図のデータ中の交差点の入り口の中心座標および交差点の入り口の幅の情報を取得し、安全確認済み領域決定部20が、この情報に基づいて交差点座標系での交差点の入り口を示す線分の座標を求めるとともに、この線分とドライバーの視線の方向を表す直線とが交差するか否かを判定することによって上述の構成を実現すればよい。また、交差点の入り口を示す線分について、十字路を進入対象交差点とした場合を例に挙げて説明を行うと、自車両の進入側にある交差点の2つの角の座標を結んだ線分が、上述の交差点の入り口を示す線分となる。
以上の構成によれば、道路端から間隔を空けずに存在している、交差点の周囲の構造物・樹木等の障害物によって遮られる可能性のあるドライバーの視線の方向に対応する安全確認済み単区域を安全確認済み領域から除外することができる。よって、交差点への進入時にドライバーが安全確認を確実に行ったといえる範囲を、安全確認済み領域とすることが可能になる。
さらに、本発明は、自車両から進入対象交差点の中心までの距離が所定の距離以下、且つ、自車両が一旦停止した状態にある場合に、安全確認済み領域決定処理を開始する構成であってもよい。または、自車両から進入対象交差点の中心までの距離が所定の距離以下、且つ、自車両が所定の速度以下の状態(例えば10km/h以下の状態)にある場合のみ、安全確認済み領域決定処理を開始する構成であってもよい。
また、視線の方向の算出は次のようにして行ってもよい。すなわち、黒目の位置を画像から検出するとともに、その画像から体中心線あるいは頭部の中心線の位置を検出し、体中心線あるいは頭部の中心線と直交し、且つ、黒目を通る直線の方向を視線の方向としてもよい。
なお、本実施形態では、安全確認判定開始距離から安全確認領域決定開始距離までの区間(以下、安全確認判定区間と呼ぶ)を、自車両から進入対象交差点の中心までの距離Lcが15mの地点から距離Lcが0.5mの地点までとする構成を示したが、必ずしもこれに限らない。例えば、自車両と進入対象交差点の中心間の距離Lcが所定値以下である区間を安全確認判定区間とする構成であってもよい。ここで言うところの所定値は、ドライバー視力と交差点内および交差点周囲を安全確認する場合の障害となる建物、フェンス、樹木等が存在する可能性とを考慮して、約10mと設定することが好ましい。なお、電子地図のデータ中の交差点の位置情報が、交差点の中心座標ではなく交差点のいずれかの端点の座標を示している場合、距離Lcは、この端点から推定して求める構成にすればよい。また、進入対象交差点の近傍(例えば進入対象交差点の手前30m以内)において、自車両の速度が所定値以下である道路上の区間を安全確認判定区間とする構成であってもよい。なお、この所定値は例えば約50km/hとする。さらに、進入対象交差点の近傍において、自車両の速度が最低値となる地点の所定範囲内の区間を安全確認判定区間とする構成であってもよい。この所定範囲は、自車両の速度が最低値となる地点を基準に交差点中心から遠ざかる側へ約8mの地点から、近づく側へ約2mの地点までの範囲とする。
また、本実施形態では、自車両のドライバーが安全確認を十分に行わなかった旨の判別結果が安全確認判定装置1から送られてきた場合に、仮記録されている教示情報を教示情報記録装置3に本記録して以降の処理を行う構成を示したが、必ずしもこれに限らない。例えば、自車両のドライバーが安全確認を十分に行った旨の判別結果が安全確認判定装置1から送られてきた場合に、仮記録されている教示情報を教示情報記録装置3に本記録して以降の処理を行う構成としてもよい。この場合、安全確認を十分に行った場合の教示画像を表示させることができる。また、自車両のドライバーが安全確認を十分に行わなかった旨の判別結果が安全確認判定装置1から送られてきた場合も安全確認を十分に行った旨の判別結果が安全確認判定装置1から送られてきた場合も、仮記録されている教示情報にこの判別結果の情報をさらに対応付けて教示情報記録装置3に本記録して以降の処理を行う構成としてもよい。この場合には、教示画像を表示させる場合に、判別結果も合わせて表示させるようにすればよい。なお、判別結果の情報は例えばIDなどとして教示情報に対応付ければよい。
なお、本実施形態では、教示情報記録装置3を運転教示支援ECU105に備える構成を示したが、必ずしもこれに限らない。例えば、教示情報記録装置3をドライブレコーダ104に備える構成であってもよい。
また、教示情報記録装置3は、運転教示支援ECU105およびドライブレコーダ104から脱着可能な構成であってもよい。例えば、教示情報記録装置3を外部記憶装置としてパソコンに接続し、そのパソコンのディスプレイに前述の教示画像を表示可能にする構成であってもよい。
なお、教示情報記録装置3に複数組の教示情報が記録されている場合には、教示画像の表示前に、ナビゲーションシステム101の電子地図のデータなどを利用してこれら複数組の教示情報が得られた交差点のリストを画像生成装置5で生成し、表示装置106にこのリストを表示させ、教示画像として表示させる教示情報を、操作スイッチ群107を介してドライバーに選択させる構成としてもよい。なお、教示情報に判別結果の情報も対応付けられている場合には、この判別結果の情報を利用して自車両のドライバーが安全確認を十分に行わなかったか否かに応じてリストを分けて表示させる構成としてもよい。
また、本実施形態では、車両挙動情報として車速を示す文字情報を教示画像で表示する構成を示したが、必ずしもこれに限らない。例えば、車両挙動情報として前後や左右の加速度を示す情報も教示画像で表示する構成としてもよい。なお、この場合、前後や左右の加速度の情報はドライブレコーダ104の加速度センサから取得する構成とすればよい。
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 安全確認判定装置、2 教示情報収集装置、3 教示情報記録装置(記録装置)、4 表示制御装置、5 画像生成装置(教示画像生成装置)、11 位置情報取得部、12 画像取得部(画像取得手段)、13 黒目位置検出部(黒目位置検出手段)、14 視線方向算出部(視線方向算出手段)、15 速度情報取得部(速度情報取得手段)、16 停留時間算出部(停留時間算出手段)、17 経過時間計測部(経過時間計測手段)、18 安全確認判定部(安全確認判定手段)、19 安全確認済み単区域決定部(安全確認済み単区域決定手段)、20 安全確認済み領域決定部(安全確認済み領域決定手段)、21 判別部、22 警告部(警告手段)、100 運転教示支援システム、101 ナビゲーションシステム(現在位置検出装置)、102 撮像装置、103 車速センサ(車両挙動センサ)、104 ドライブレコーダ(車両前方画像撮像装置)、105 運転教示支援ECU、106 表示装置、107 操作スイッチ群(操作入力装置)