JPWO2019239459A1 - 運転支援装置、運転支援システムおよび運転支援方法 - Google Patents

Abstract

運転支援装置（２）は、運転者の視界が撮影された映像（３ａ）内における、運転者の視界に現れた物体に対して運転者が反応を起こすまでの反応時間情報の分布を示す反応時間分布データ（４ａ）を用いて障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて運転者が障害物を見落としているか否かを判定する。

Description

この発明は、車両の運転者が障害物を見落としているか否かを判定する運転支援装置に関する。

例えば、特許文献１に記載された装置は、障害物情報、運転者の視線が向いている方向および運転者の視野範囲に基づいて、運転者が障害物を見落としているか否かを判定している。

国際公開第２０１５／０１９５４２号

実際には、運転者の視線が向いている方向に対象物が存在する場合であっても、運転者が直ちに反応できる程度に対象物を認知しているとは限らない。
このため、特許文献１に記載された装置では、運転者が障害物を見落としているか否かを正確に判定できないという課題があった。

この発明は上記課題を解決するものであり、運転者が障害物を見落としているか否かを正確に判定できる運転支援装置を得ることを目的とする。

この発明に係る運転支援装置は、識別部、抽出部および判定部を備える。識別部は、車両の運転者の視界が撮影された映像内の画像要素を識別する。抽出部は、識別部によって識別された画像要素の中から映像内の障害物の画像要素を抽出する。判定部は、運転者の視界に現れた物体に対して運転者が反応を起こすまでの反応時間情報の映像内での分布を示す反応時間分布データを用いて、抽出部によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて運転者が障害物を見落としているか否かを判定する。

この発明によれば、運転支援装置は、運転者の視界が撮影された映像内における、運転者の視界に現れた物体に対して運転者が反応を起こすまでの反応時間情報の分布を示す反応時間分布データを用いて障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて運転者が障害物を見落としているか否かを判定する。これにより、運転支援装置は、運転者が障害物を見落としているか否かを正確に判定できる。

この発明の実施の形態１に係る運転支援システムの車両内における配置の一例を示す図である。 実施の形態１に係る運転支援システムの構成を示すブロック図である。 実施の形態１に係る運転支援装置の動作を示すフローチャートである。 運転者の視界が撮影された映像の一例を示す図である。 障害物判定表の一例を示す図である。 障害物の画像要素以外の画像要素を除去した映像の一例を示す図である。 反応時間分布データの一例を示す図である。 図６の映像と図７の反応時間分布データとを重ね合わせた映像を示す図である。 この発明の実施の形態２に係る運転支援システムの車両内における配置の一例を示す図である。 実施の形態２に係る運転支援システムの構成を示すブロック図である。 実施の形態２における反応時間分布データの一例を示す図である。 実施の形態２に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態３に係る運転支援システムの構成を示すブロック図である。 この発明の実施の形態４に係る運転支援システムの構成を示すブロック図である。 実施の形態４に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態５に係る運転支援システムの構成を示すブロック図である。 実施の形態５に係る運転支援装置の動作を示すフローチャートである。 図１８Ａは、実施の形態１から実施の形態５までのいずれかに係る運転支援装置の機能を実現するハードウェア構成を示すブロック図である。図１８Ｂは、実施の形態１から実施の形態５までのいずれかに係る運転支援装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る運転支援システム１の車両Ａ内における配置の一例を示す図である。運転支援システム１は、車両Ａに搭載されたシステムであり、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定し、運転者Ｂが障害物を見落としている場合に、運転者Ｂに対して障害物への注意を喚起する警告処理を実行する。図１において、運転支援システム１は、運転支援装置２、撮影装置３、データ記憶装置４および警告装置５を備える。

撮影装置３は、車両Ａ内で運転者Ｂの頭上付近に配置され、運転者Ｂの前方視界を撮影する。例えば、撮影装置３は、運転者Ｂの前方視界として、車両Ａのフロントウィンドウを通して運転者Ｂが見ることができる車両Ａの前方風景を撮影する。なお、撮影装置３の配置位置は、必ずしも運転者Ｂの頭上でなくてもよく、フロントウィンドウの撮影が可能な位置であればよい。運転者Ｂの視界の撮影には、複数の撮影装置３を用いてもよい。

撮影装置３は、運転支援装置２に接続されている。また、運転支援装置２には、撮影装置３のほかに、データ記憶装置４および警告装置５に接続されている。これらの装置間の接続には、有線ケーブルを用いてもよいし、無線通信を用いてもよい。

運転支援装置２は、撮影装置３によって撮影された映像情報および反応時間分布データを用いて、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定する。
また、警告装置５は、運転者Ｂに対する警告処理を実行する装置である。例えば、警告装置５は、運転者Ｂに対して障害物への注意を喚起する音声または表示を行う。

データ記憶装置４には、運転者Ｂの反応時間分布データが記憶されている。反応時間分布データは、運転支援装置２による上記判定に使用される。なお、反応時間分布データは、運転者Ｂの視界が撮影された映像内における運転者Ｂの反応時間情報の分布を示すデータである。反応時間情報は、運転者Ｂの視界に現れた物体に対して運転者Ｂが反応を起こすまでの反応時間に関する情報である。反応時間に関する情報には、例えば、“１０ミリ秒未満で反応できた”、“１００ミリ秒以内に反応できた”、“１００ミリ秒以内に反応できなかった”といった反応時間の時間範囲が含まれる。

反応時間分布データは、運転者Ｂが運転支援システム１を利用する前段階で作成される。例えば、運転支援装置２は、運転者Ｂが運転席に着座した状態で、フロントウィンドウの固定位置に一定のマークを投影する。マークは、反応時間分布データの作成処理において、フロントウィンドウに輝点が投影されるまでに、運転者Ｂが注視する位置を示している。運転支援装置２は、運転者Ｂがマークを注視した状態で、フロントウィンドウのランダムな位置に輝点を投影し、一定時間（例えば、１秒間）が経過すると輝点を消去する処理を繰り返す。

マークおよび輝点の投影には、車両に搭載されたヘッドアップディスプレイまたは運転者Ｂに装着されたヘッドマウントディスプレイが利用される。なお、運転者Ｂが運転席に着座した状態では、フロントウィンドウの全体が運転者Ｂの視界に収まる。これにより、撮影装置３によって撮影されたフロントウィンドウの映像は、運転者Ｂの視界が撮影された映像に相当する。

また、運転支援装置２には、車両に搭載されたボタンスイッチが接続されている。反応時間分布データの作成において、運転者Ｂは、マークから視線を移動させて輝点を見たときにボタンスイッチを押下する。ボタンスイッチは、運転者Ｂによる押下を運転支援装置２に通知する。この通知を受けると、運転支援装置２は、フロントウィンドウに輝点を投影してから運転者Ｂによってボタンスイッチが押下されるまでの時間を算出する。この時間が、輝点が投影された位置に現れた物体に対して運転者Ｂが反応を起こすまでの反応時間とみなされる。

運転支援装置２は、フロントウィンドウのランダムな位置に輝点の投影と消去とを繰り返し実行し（例えば、１００回）、フロントウィンドウの複数の位置に対応する運転者Ｂの反応時間を取得する。続いて、運転支援装置２は、前述した繰り返し処理で取得された運転者Ｂの反応時間を、フロントウィンドウの映像をメッシュ状に分割した複数の分割領域の各々に分類し、反応時間の時間範囲を分割領域ごとに設定する。このように分割領域ごとに設定された反応時間の時間範囲を示すデータが反応時間分布データである。

なお、運転者Ｂに関する反応時間分布データは、反応時間分布データを作成したときの運転者Ｂの状態ごとに設けてもよい。例えば、運転者Ｂが裸眼であるときに作成された反応時間分布データ、運転者Ｂが眼鏡を掛けたときに作成された反応時間分布データおよび運転者Ｂがサングラスを掛けたときに作成された反応時間分布データのそれぞれを独立したデータとしてデータ記憶装置４に記憶してもよい。

図２は、実施の形態１に係る運転支援システム１の構成を示すブロック図である。運転支援装置２は、撮影装置３によって運転者Ｂの視界が撮影された映像とデータ記憶装置４に記憶された運転者Ｂの反応時間分布データとに基づいて、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定する。運転支援装置２は、図２に示すように、識別部２０、抽出部２１および判定部２２を備える。識別部２０は、撮影装置３によって運転者Ｂの視界が撮影された映像内の画像要素を識別する。抽出部２１は、識別部２０によって識別された画像要素の中から映像内の障害物の画像要素を抽出する。

判定部２２は、データ記憶装置４に記憶されている運転者Ｂの反応時間分布データ４ａを用いて、抽出部２１によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定する。判定部２２は、障害物の画像要素の位置に対応する反応時間情報に基づいて運転者Ｂが障害物を見落としているか否かを判定する。例えば、判定部２２は、障害物の画像要素の位置に対応する反応時間情報が判定基準時間ａを超える場合に、運転者Ｂが障害物を見落としていると判定する。

次に動作について説明する。
図３は、運転支援装置２の動作を示すフローチャートである。
識別部２０は、撮影装置３によって運転者Ｂの視界が撮影された映像内の画像要素を識別する（ステップＳＴ１）。前述したように、運転者Ｂの視界とは、フロントウィンドウを通した車両Ａの前方風景である。図４は、運転者Ｂの視界が撮影された映像３ａの一例を示す図である。図４に示す例では、運転者Ｂの視界が撮影された映像３ａに、道路３ａ−１、背景３ａ−２、建造物３ａ−３および歩行者３ａ−４が写っている。これらが画像要素の識別対象物である。

識別部２０は、映像３ａを画像解析して、道路３ａ−１、背景３ａ−２、建造物３ａ−３および歩行者３ａ−４のそれぞれの画像要素を、映像３ａから識別する。識別部２０によって識別された画像要素に関する情報は、抽出部２１に出力される。画像要素に関する情報は、道路、背景、建造物および歩行者などの画像要素の種別と画像要素の映像３ａ内での位置とを含む情報である。なお、画像要素の識別対象物は、図４に示したものに限定されるものではなく、例えば、道路上の落下物の画素要素を識別してもよい。この場合、識別対象物の種別“道路”と落下物の位置情報との組み合わせた付属情報を有する画素要素が識別される。

次に、抽出部２１は、識別部２０によって映像３ａから識別された画像要素の中から、映像３ａ内の障害物の画像要素を抽出する（ステップＳＴ２）。例えば、抽出部２１は、予め設定された障害物判定表を参照して、識別部２０によって識別された画像要素から、映像３ａ内の障害物の画像要素を抽出する。図５は障害物判定表の一例を示す図である。図５に示すように、障害物判定表には、車両Ａの障害物となり得る物体の種別が登録されている。種別が“歩行者”および“自転車”である画像要素は、図５に示す障害物判定表から、抽出部２１によって障害物であると判断される。抽出部２１は、障害物と判断した画像要素に関する情報および映像３ａを判定部２２に出力する。

続いて、判定部２２は、データ記憶装置４に記憶された運転者Ｂの反応時間分布データを用いて、抽出部２１によって抽出された映像３ａ内の障害物の画像要素の位置に対応する反応時間情報を特定する（ステップＳＴ３）。例えば、判定部２２は、障害物の画像要素のみを含む映像３ａと運転者Ｂの反応時間分布データとを重ね合わせて、障害物の画像要素の位置に対応する反応時間情報を特定する。

図６は、障害物の画像要素以外の画像要素を除去した映像３ａの一例を示す図である。判定部２２は、映像３ａから、抽出部２１によって障害物と判断された歩行者３ａ−４の画像要素のみを残し、それ以外の画像要素を除去する。これによって図６に示す映像３ａが得られる。

図７は、運転者Ｂの反応時間分布データ４ａの一例を示す図である。図７に示す反応時間分布データ４ａは、運転者Ｂの視界内にあるフロントウィンドウの映像において、フロントウィンドウ枠で囲まれた運転者Ｂの視界領域が、横２０区画、縦９区画の矩形状の領域に分割されており、運転者Ｂの反応時間の時間範囲が分割領域ごとに設定されている。運転者Ｂの反応時間の時間範囲は、（１）〜（３）の３つの区分に分類されている。

例えば、白色の分割領域に設定された時間範囲（１）は、運転者Ｂの反応時間が１０ミリ秒未満であることを示している。灰色の分割領域に設定された時間範囲（２）は、運転者Ｂの反応時間が１０ミリ秒以上３００ミリ秒未満であることを示している。黒色の分割領域に設定された時間範囲（３）は、運転者Ｂが３００ミリ秒未満で反応できないことを示している。黒色の分割領域で構成された領域４ａ−１、領域４ａ−２および領域４ａ−３では、運転者Ｂが物体を反応できないか、反応に長時間を要する。

なお、図７では反応時間の時間範囲を３つの区分に分類したが、２つの区分に分類してもよいし、４つ以上の区分に分類してもよい。また、分割領域が矩形である場合を示したが、六角形などの多角形であってもよいし、円形であってもよい。さらに、フロントウィンドウの映像を横２０区画、縦９区画に分割した場合を示したが、分割数は、これ以外であってもよい。

図８は、図６の映像３ａと図７の反応時間分布データ４ａとを重ね合わせた映像を示す図である。判定部２２は、図６に示した映像３ａと図７に示した反応時間分布データ４ａとを重ね合わせて、障害物である歩行者３ａ−４の画像要素の位置に対応する反応時間情報を特定する。図８において、歩行者３ａ−４の画像要素は、黒色のメッシュ領域で構成された領域４ａ−２内の位置にある。このとき、判定部２２は、歩行者３ａ−４の画像要素について“運転者Ｂが３００ミリ秒未満で反応できない”という内容の反応時間情報を取得する。

図３の説明に戻る。
判定部２２は、ステップＳＴ３で得た反応時間情報と予め設定された判定基準時間ａとの比較結果に基づいて、運転者Ｂが障害物（歩行者３ａ−４）を見落としているか否かを判定する（ステップＳＴ４）。ここで、運転者Ｂが歩行者３ａ−４を見落としていないと判定した場合（ステップＳＴ４；ＮＯ）、判定部２２は、図３の処理を終了する。車両Ａが走行している間、図３に示す一連の処理は周期的に実行される。

例えば、図７に示した領域４ａ−１、領域４ａ−２および領域４ａ−３に対応する実際の位置に障害物が出現した場合に、運転者Ｂが、この障害物を認知して何らかの反応を起こすまでに要する反応時間は、他の位置に比べて長いことが予想される。歩行者３ａ−４は領域４ａ−２に存在するため、歩行者３ａ−４に対応する反応時間情報は、運転者Ｂが３００ミリ秒未満で反応できないことを示す情報である。

判定基準時間ａが３００ミリ秒である場合、判定部２２は、上記反応時間情報と判定基準時間ａとを比較することで、運転者Ｂが判定基準時間ａ以内に歩行者３ａ−４に対して何らかの反応を起こせないとみなす。これにより、判定部２２は、運転者Ｂが歩行者３ａ−４を見落としていると判定する（ステップＳＴ４；ＹＥＳ）。

次に、判定部２２は、運転者Ｂが歩行者３ａ−４を見落としていることを示す警告情報を警告装置５に出力し、歩行者３ａ−４に対する警告処理を実行させる。警告装置５は、判定部２２からの指示に従って、運転者Ｂに対して歩行者３ａ−４の警告処理を実行する（ステップＳＴ５）。例えば、警告装置５は、運転者Ｂに対して歩行者３ａ−４への注意を喚起する音声または表示を行う。

前述したように、実施の形態１に係る運転支援装置２は、運転者Ｂの反応時間分布データを用いて障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて運転者Ｂが障害物を見落としているか否かを判定する。運転者Ｂの反応時間分布データは、運転者Ｂの視界に現れた物体に対して運転者Ｂが反応を起こすまでの反応時間情報の分布を示すので、運転支援装置２は、運転者Ｂが障害物を見落としているか否かを正確に判定することができる。

実施の形態１に係る運転支援システム１は、図１に示した構成要素を備え、判定部２２が、運転者Ｂが障害物を見落としていると判定した場合、障害物の警告処理を警告装置５に実行させる。運転支援システム１では、運転支援装置２によって運転者Ｂが障害物を見落としているか否かが正確に判定され、障害物への注意を喚起すべき適切なタイミングで警告処理を行うことができる。

実施の形態１に係る運転支援方法では、図３に示すように運転者Ｂの反応時間分布データを用いるので、運転者Ｂが障害物を見落としているか否かが正確に判定され、障害物への注意を喚起すべき適切なタイミングで警告処理を行うことができる。

実施の形態２．
図９は、この発明の実施の形態２に係る運転支援システム１Ａの車両Ａ内における配置の一例を示す図である。図９において、図１と同一の構成要素には、同一の符号を付して説明を省略する。運転支援システム１Ａは、車両Ａに搭載されたシステムであり、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定し、運転者Ｂが障害物を見落としている場合に、運転者Ｂに対して障害物への注意を喚起する警告処理を実行する。運転支援システム１Ａは、運転支援装置２Ａ、撮影装置３、警告装置５、データ記憶装置６および照度センサ７を備える。

データ記憶装置６には、照度情報に対応付けられた複数の反応時間分布データが記憶されている。照度情報とは、反応時間分布データが作成されたときの車両Ａの周辺の照度を示す情報である。反応時間分布データは、運転者Ｂの視界が撮影された映像内における運転者Ｂの反応時間情報の分布を示すデータである。照度センサ７は、車両Ａの周辺の照度を検出するセンサである。照度センサ７によって検出された照度情報は運転支援装置２Ａに出力される。運転支援装置２Ａは、撮影装置３によって運転者Ｂの視界が撮影された映像情報と照度センサ７によって検出された照度情報に対応する反応時間分布データとを用いて、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定する。

図１０は、実施の形態２に係る運転支援システム１Ａの構成を示すブロック図である。図１０において、図２と同一の構成要素には、同一の符号を付して説明を省略する。運転支援装置２Ａは、識別部２０、抽出部２１および判定部２２Ａを備えて構成される。判定部２２Ａは、図１０に示すように、データ記憶装置６および照度センサ７に接続されている。これらの接続には、有線ケーブルを用いてもよいし、無線通信を用いてもよい。

判定部２２Ａは、データ記憶装置６に記憶されている、反応時間分布データ６ａを構成する複数の反応時間分布データのうちから、照度センサ７によって検出された照度情報に対応した反応時間分布データを選択する。例えば、判定部２２Ａは、データ記憶装置６に記憶されている、各々が照度情報に対応付けられた複数の反応時間分布データの中から、照度センサ７によって検出された照度に最も近い照度に対応付けられている反応時間分布データを選択する。

判定部２２Ａは、前述のように選択した反応時間分布データ６ａを用いて、抽出部２１によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて運転者Ｂが障害物を見落としているか否かを判定する。例えば、判定部２２は、障害物の画像要素の位置に対応する反応時間情報が判定基準時間ａを超える場合、運転者Ｂが障害物を見落としていると判定する。

図１１は、この実施の形態２における反応時間分布データ６ａの一例を示す図である。図１１に示すように、データ記憶装置６には、運転者Ｂの反応時間分布データ６ａが記憶されている。反応時間分布データ６ａは、図１１に示すように、反応時間分布データ６ａ−１、反応時間分布データ６ａ−２および反応時間分布データ６ａ−３を含む複数の反応時間分布データから構成されている。反応時間分布データ６ａ−１、反応時間分布データ６ａ−２および反応時間分布データ６ａ−３には、これらが作成されたときの照度を示す照度情報が対応付けられている。

次に動作について説明する。
図１２は、運転支援装置２Ａの動作を示すフローチャートである。なお、図１２に示すステップＳＴ１ａからステップＳＴ２ａまでの処理は、図３に示したステップＳＴ１からステップＳＴ２までの処理と同じである。図１２に示すステップＳＴ６ａからステップＳＴ７ａまでの処理は、図３に示したステップＳＴ４からステップＳＴ５までの処理と同じである。これらの処理の説明は省略する。

ステップＳＴ２ａの処理が完了すると、判定部２２Ａは、照度センサ７によって検出された車両Ａの周辺の照度情報を取得する（ステップＳＴ３ａ）。例えば、照度センサ７によって車両Ａの前方の照度情報が検出され、この照度情報が判定部２２Ａに取得される。次に、判定部２２Ａは、データ記憶装置６に記憶された複数の反応時間分布データ６ａの中から、照度センサ７によって検出された照度情報に対応する反応時間分布データ６ａを選択する（ステップＳＴ４ａ）。

判定部２２Ａは、ステップＳＴ４ａで選択した反応時間分布データ６ａを用いて、抽出部２１によって抽出された映像３ａ内の障害物の画像要素の位置に対応する反応時間情報を特定する（ステップＳＴ５ａ）。例えば、判定部２２Ａは、障害物の画像要素のみを含む映像３ａと運転者Ｂの反応時間分布データ６ａとを重ね合わせて、障害物の画像要素の位置に対応する反応時間情報を特定する。以降の処理は、図３と同じである。

前述したように、実施の形態２に係る運転支援装置２Ａにおいて、判定部２２Ａが、照度情報に対応付けられた複数の反応時間分布データ６ａの中から、車両Ａの周辺の照度情報に対応した反応時間分布データ６ａを選択する。人間の視覚感度は、周辺の照度に依存して変動する。例えば、昼間の視界の中央付近の視覚感度は高いが、暗所では視界の中央付近の視覚感度が低下する場合がある。運転支援装置２Ａは、車両Ａの周辺の照度情報に対応した反応時間分布データ６ａを選択することで、運転者Ｂが障害物を見落としているか否かの判定に対して、照度に応じた視覚感度の変動を反映させている。これにより、運転支援装置２Ａでは、運転者Ｂが障害物を見落としているか否かを正確に判定することが可能である。

また、実施の形態２では、照度情報ごとに反応時間分布データを用意したが、反応時間分布データは、背景画像テクスチャの種別ごとに用意してもよい。例えば、図４に示した映像３ａにおける障害物（歩行者３ａ−４など）の背景画像テクスチャの種別（例えば、物体および地物の画像を構成するテクスチャの種別）によって人間の視覚感度は変化する。そこで、反応時間分布データを背景画像テクスチャの種別ごとに用意しておき、判定部２２Ａが、背景画像テクスチャの種別ごとの反応時間分布データの中から、現在の映像３ａにおける背景画像テクスチャの種別に対応した反応時間分布データを選択してもよい。この場合も、運転者Ｂが障害物を見落としているか否かを正確に判定することが可能である。

実施の形態３．
図１３は、この発明の実施の形態３に係る運転支援システム１Ｂの構成を示すブロック図である。図１３において、図２と同一の構成要素には、同一の符号を付して説明を省略する。運転支援システム１Ｂは、実施の形態１および実施の形態２と同様に、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定し、運転者Ｂが障害物を見落としている場合に、運転者Ｂに対して障害物への注意を喚起する警告処理を実行する。運転支援システム１Ｂは、運転支援装置２Ｂ、撮影装置３、データ記憶装置４および警告装置５を備える。

運転支援装置２Ｂは、識別部２０、抽出部２１、判定部２２およびデータ取得部２３を備えている。データ取得部２３は、反応時間分布データを保持している外部記憶装置８から反応時間分布データを取得する。外部記憶装置８は、ＳＤカードなどの記憶媒体が挙げられるが、運転支援装置２Ｂと通信接続が可能な記憶装置であってもよい。

例えば、外部記憶装置８が記憶媒体である場合、データ取得部２３は、運転支援装置２Ｂが備える不図示の読み取り装置を用いて記憶媒体から反応時間分布データを取得する。また、外部記憶装置８が通信接続可能な記憶装置である場合、データ取得部２３は、運転支援装置２Ｂが備える不図示の通信装置を用いて記憶装置に通信接続して、この記憶装置から反応時間分布データを取得する。

なお、図１３には、実施の形態１に係る運転支援装置２にデータ取得部２３を追加した構成を示したが、データ取得部２３は、実施の形態２に係る運転支援装置２Ａに追加してもよい。例えば、各々が照度情報に対応付けられた複数の反応時間分布データが記憶媒体に記憶されている場合、データ取得部２３は、照度センサ７によって検出された車両Ａの周辺照度に対応する反応時間分布データを上記記憶媒体から取得して判定部２２Ａに出力する。

前述したように、実施の形態３に係る運転支援装置２Ｂは、外部装置から反応時間分布データを取得するデータ取得部２３を備える。この構成を有することで、運転支援装置２Ｂでは、以前に作成された反応時間分布データを利用することが可能である。
例えば、運転者Ｂが車両を変えた場合に、データ取得部２３は、変える前の車両で作成された反応時間分布データが記憶されたデータ記憶装置４から反応時間分布データを取得する。これにより、運転支援装置２Ｂでは、変えた後の車両で反応時間分布データを再び作成する必要がない。

実施の形態４．
図１４は、この発明の実施の形態４に係る運転支援システム１Ｃの構成を示すブロック図である。図１４において、図２と同一の構成要素には、同一の符号を付して説明を省略する。運転支援システム１Ｃは、実施の形態１および実施の形態２と同様に、運転者Ｂの視界に現れた障害物を運転者Ｂが見落としているか否かを判定し、運転者Ｂが障害物を見落としている場合に、運転者Ｂに対して障害物への注意を喚起する警告処理を実行する。

運転支援システム１Ｃは、図１４に示すように、運転支援装置２Ｃ、撮影装置３、警告装置５およびデータ記憶装置９を備えている。データ記憶装置９には、反応時間分布データ９ａと、反応時間分布データ９ａが作成された日付（データ作成日）とが対応付けて記憶されている。運転支援装置２Ｃは、識別部２０、抽出部２１および判定部２２Ｂを備えている。

判定部２２Ｂは、実施の形態１と同様に、データ記憶装置９に記憶されている運転者Ｂの反応時間分布データ９ａを用いて、抽出部２１によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定する。判定部２２Ｂは、障害物の画像要素の位置に対応する反応時間情報が判定基準時間ａを超える場合、運転者Ｂが障害物を見落としていると判定する。

さらに、判定部２２Ｂは、反応時間分布データ９ａが作成されてからの経過期間が再作成基準期間ｂを超えた場合に、運転者Ｂに反応時間分布データ９ａの再作成を促す処理を警告装置５に実行させる。例えば、再作成基準期間ｂが１年であり、反応時間分布データ９ａが作成されてからの経過期間が１年を超える場合に、判定部２２Ｂは、反応時間分布データ９ａの再作成を促す処理を警告装置５に実行させる。

次に動作について説明する。
図１５は、実施の形態４に係る運転支援装置２Ｃの動作を示すフローチャートであり、反応時間分布データ９ａの更新に関する一連の処理を示している。
判定部２２Ｂは、データ記憶装置９に記憶された反応時間分布データ９ａに対応付けられている、反応時間分布データ９ａが作成された日付を取得する（ステップＳＴ１ｂ）。
続いて、判定部２２Ｂは現在の日付を取得する（ステップＳＴ２ｂ）。現在の日付は、運転支援装置２Ｃに内蔵されたタイマから取得してもよいし、通信ネットワークを介して外部装置から取得してもよい。判定部２２Ｂに対して運転者Ｂが手入力で日付を設定しても構わない。

判定部２２Ｂは、反応時間分布データ９ａが作成された日付と現在の日付とから、反応時間分布データ９ａが作成されてからの経過時間を算出し、この経過時間が再作成基準期間ｂを超えたか否かを確認する（ステップＳＴ３ｂ）。ここで、経過時間が再作成基準期間ｂ以下である場合（ステップＳＴ３ｂ；ＮＯ）、判定部２２Ｂは図１５の処理を終了する。なお、図１５に示す一連の処理は、判定部２２Ｂによって周期的に実行される。

一方、経過時間が再作成基準期間ｂを超えた場合（ステップＳＴ３ｂ；ＹＥＳ）、判定部２２Ｂは、警告装置５を用いて、運転者Ｂに反応時間分布データ９ａの再作成を促す処理を実行する（ステップＳＴ４ｂ）。例えば、再作成基準期間ｂが１年である場合、判定部２２Ｂは、反応時間分布データ９ａが作成されてから１年が経過したことを警告装置５に通知する。警告装置５は、判定部２２Ｂから上記通知を受けると、運転者Ｂに対して反応時間分布データ９ａの更新を要求する音声または表示を行う。なお、再作成基準期間ｂを１年としたが、これは一例であって、１年よりも短い期間であってもよいし、１年よりも長い期間であってもよい。

前述したように、実施の形態４に係る運転支援装置２Ｃにおいて、判定部２２Ｂが、反応時間分布データ９ａが作成されてからの経過期間が再作成基準期間ｂを超えた場合に、運転者Ｂに反応時間分布データ９ａの再作成を促す処理を警告装置５に実行させる。運転者Ｂが、運転支援装置２Ｃからの要求に応じて反応時間分布データ９ａを再作成することで、反応時間分布データ９ａと運転者Ｂの視覚応答速度との乖離が抑制されて、運転者Ｂが障害物を見落としているか否かを正確に判定することが可能である。

実施の形態５．
図１６は、この発明の実施の形態５に係る運転支援システム１Ｄの構成を示すブロック図である。図１６において、図２と同一の構成要素には、同一の符号を付して説明を省略する。運転支援システム１Ｄは、運転者Ｂの視界に現れた障害物に対する運転者Ｂの反応時間レベルを判定し、反応時間レベルに応じて異なる内容の警告処理を実行する。また、運転支援システム１Ｄは、図１６に示すように、運転支援装置２Ｄ、撮影装置３、データ記憶装置４および警告装置５を備える。

運転支援装置２Ｄは、識別部２０、抽出部２１および判定部２２Ｃを備えている。判定部２２Ｃは、映像３ａ内の障害物の画像要素の位置に対応する反応時間情報に基づいて、障害物に対する運転者Ｂの反応時間レベルを判定し、反応時間レベルに応じて異なる内容の警告処理を警告装置５に実行させる。

例えば、判定部２２Ｃには、反応時間レベルに対応する警告レベルが設定されている。ここで、反応時間レベルは、反応時間が短いほど高いレベルになり、反応時間が長くなると低いレベルになる。警告レベルは、反応時間レベルが高いほど低いレベルとなり、反応時間レベルが低くなると高いレベルとなる。障害物の警告処理は、警告レベルごとに内容が異なる。なお、警告レベルを設けずに、反応時間レベルと警告処理の内容とを直接対応付けてもよい。

次に動作について説明する。
図１７は、運転支援装置２Ｄの動作を示すフローチャートである。なお、図１７に示すステップＳＴ１ｃからステップＳＴ３ｃまでの処理は、図３に示したステップＳＴ１からステップＳＴ３までの処理と同じであるので、これらの処理の説明は省略する。
判定部２２Ｃは、ステップＳＴ３ｃにて特定された反応時間情報に基づいて、障害物に対する運転者Ｂの反応時間レベルを判定する（ステップＳＴ４ｃ）。

例えば、映像３ａ内の障害物の画像要素の位置に対応する反応時間情報が、運転者Ｂの反応時間が１０ミリ秒未満であることを示す場合に、判定部２２Ｃは、反応時間レベルが高レベルであると判定する。反応時間情報が、運転者Ｂの反応時間が１０ミリ秒以上３００ミリ秒未満であることを示す場合、判定部２２Ｃは、反応時間レベルが中レベルであると判定する。反応時間情報が、運転者Ｂが３００ミリ秒未満で反応できないことを示す場合には、判定部２２Ｃは、反応時間レベルが低レベルであると判定する。

続いて、判定部２２Ｃは、反応時間レベルに対応する警告レベルを特定する（ステップＳＴ５ｃ）。例えば、反応時間レベルが高レベルであった場合、判定部２２Ｃは、障害物に対する警告レベルを低レベルとし、反応時間レベルが中レベルであれば、判定部２２Ｃは、障害物に対する警告レベルを中レベルとする。さらに、反応時間レベルが低レベルであった場合には、判定部２２Ｃは、障害物に対する警告レベルを高レベルとする。

判定部２２Ｃは、警告装置５を用いて、警告レベルに応じた内容の警告処理を実行する（ステップＳＴ６ｃ）。例えば、警告レベルが低レベルである場合、警告装置５は、障害物の存在を通知するためのブザー音を出力する。警告レベルが中レベルである場合、警告装置５は、低レベルよりも大きな音量で上記ブザー音を出力する。警告レベルが高レベルである場合には、警告装置５は、最大の音量で上記ブザー音を出力する。

なお、判定部２２Ｃは、反応時間レベルに対応する警告レベルごとに異なる文字情報を警告装置５に出力させてもよい。例えば、反応時間レベルが高レベル（警告レベル低）であれば、警告装置５は、“歩行者がいます”といった障害物の存在を通知する文字情報を表示する。また、反応時間レベルが中レベル（警告レベル中）であれば、警告装置５は、“歩行者の行動に気を付けて下さい”といった障害物に対する注意を喚起する文字情報を表示する。さらに、反応時間レベルが低レベル（警告レベル高）である場合、警告装置５は、“歩行者に接触する可能性があります”といった障害物の回避を警告する文字情報を表示する。

警告装置５による警告情報の表示には、警告レベルに応じた表示色を使用してもよい。例えば、警告を意味する赤色、注意を意味する黄色、単なる通知を意味する青色を、警告レベルに応じて使い分けてもよい。また、警告レベルが高い場合、判定部２２Ｃは、車両制御装置に指示して車両Ａを自動制動してもよい。

前述したように、実施の形態５に係る運転支援装置２Ｄは、識別部２０、抽出部２１および判定部２２Ｃを備える。判定部２２Ｃは、障害物の画像要素の位置に対応する反応時間情報に基づいて、障害物に対する運転者Ｂの反応時間レベルを判定し、反応時間レベルに応じて異なる内容の警告処理を警告装置５に実行させる。運転支援装置２Ｄでは、障害物に対する運転者Ｂの反応時間レベルに応じて異なる内容の警告処理が実行されるので、運転者Ｂに対して効果的な警告を与えることができる。

次に、実施の形態１から実施の形態５までに係る運転支援装置を実現するハードウェア構成について説明する。実施の形態１から実施の形態５までのいずれかに係る運転支援装置における構成要素の機能は、処理回路によって実現される。すなわち、実施の形態１から実施の形態５までのいずれかに係る運転支援装置は、これまで説明したフローチャートにおける各々のステップの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図１８Ａは、実施の形態１から実施の形態５までのいずれかに係る運転支援装置の機能を実現するハードウェア構成を示すブロック図である。図１８Ｂは、実施の形態１から実施の形態５までのいずれかに係る運転支援装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１８Ａおよび図１８Ｂにおいて、カメラ１００は、実施の形態１から実施の形態５までに示した撮影装置３である。

スピーカ１０１およびディスプレイ１０２は、実施の形態１から実施の形態５に示した警告装置５を実現する装置である。例えば、スピーカ１０１は、車両Ａに搭載されたスピーカであり、ディスプレイ１０２は、車両Ａに搭載された電子機器が備えるディスプレイである。記憶装置１０３は、実施の形態１から実施の形態５に示したデータ記憶装置４，６，９のいずれかを実現する記憶装置である。記憶装置１０３は、運転支援装置が備える記憶装置であってもよいが、運転支援装置とは独立して設けられた記憶装置であってもよい。これらの記憶装置は、運転支援装置から通信可能に設けられた記憶装置、例えば、クラウド上に存在する記憶装置であってもよい。

処理回路が図１８Ａに示す専用のハードウェアの処理回路１０４である場合、処理回路１０４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。運転支援装置２，２Ａ〜２Ｄにおける構成要素の機能を別々の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。

処理回路が図１８Ｂに示すプロセッサ１０５である場合、運転支援装置２，２Ａ〜２Ｄにおける構成要素の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０６に記憶される。

プロセッサ１０５は、メモリ１０６に記憶されたプログラムを読み出して実行することによって、運転支援装置２，２Ａ〜２Ｄにおける構成要素の機能を実現する。すなわち、運転支援装置２，２Ａ〜２Ｄは、プロセッサ１０５によって実行されるときに、これまで説明したフローチャートにおける各々のステップの処理が結果的に実行されるプログラムを記憶するためのメモリ１０６を備える。これらのプログラムは、運転支援装置２，２Ａ〜２Ｄにおける各々の構成要素の手順または方法をコンピュータに実行させる。
なお、メモリ１０６は、コンピュータを、運転支援装置２，２Ａ〜２Ｄにおける各々の構成要素として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

運転支援装置２，２Ａ〜２Ｄにおける構成要素の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、識別部２０および抽出部２１は、専用のハードウェアである処理回路１０４で機能を実現し、判定部２２，２２Ａ〜２２Ｃは、プロセッサ１０５がメモリ１０６に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

この発明に係る運転支援装置は、運転者が障害物を見落としているか否かを正確に判定できるので、車両の安全技術の分野において広範な利用可能性を有する。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ 運転支援システム、２，２Ａ，２Ｂ，２Ｃ，２Ｄ 運転支援装置、３ 撮影装置、３ａ 映像、３ａ−１ 道路、３ａ−２ 背景、３ａ−３ 建造物、３ａ−４ 歩行者、４ データ記憶装置、４ａ，６ａ，６ａ−１，６ａ−２，６ａ−３，９ａ 反応時間分布データ、４ａ−１，４ａ−２，４ａ−３ 領域、５ 警告装置、６，９ データ記憶装置、７ 照度センサ、８ 外部記憶装置、２０ 識別部、２１ 抽出部、２２，２２Ａ，２２Ｂ，２２Ｃ 判定部、２３ データ取得部、１００ カメラ、１０１ スピーカ、１０２ ディスプレイ、１０３ 記憶装置、１０４ 処理回路、１０５ プロセッサ、１０６ メモリ。

Claims (8)

1. 車両の運転者の視界が撮影された映像内の画像要素を識別する識別部と、
   前記識別部によって識別された画像要素の中から前記映像内の障害物の画像要素を抽出する抽出部と、
   前記運転者の視界に現れた物体に対して前記運転者が反応を起こすまでの反応時間情報の前記映像内での分布を示す反応時間分布データを用いて、前記抽出部によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて前記運転者が障害物を見落としているか否かを判定する判定部とを備えたこと
   を特徴とする運転支援装置。
2. 前記判定部は、前記運転者が障害物を見落としていると判定した場合に、障害物の警告処理を警告装置に実行させること
   を特徴とする請求項１記載の運転支援装置。
3. 前記判定部は、照度情報に対応付けられた複数の前記反応時間分布データの中から、前記車両の周辺の照度情報に対応した前記反応時間分布データを選択すること
   を特徴とする請求項１記載の運転支援装置。
4. 前記反応時間分布データを保持している外部装置から、前記反応時間分布データを取得するデータ取得部を備えたこと
   を特徴とする請求項１記載の運転支援装置。
5. 前記判定部は、前記反応時間分布データが作成されてからの経過期間が再作成基準期間を超えた場合に、前記運転者に前記反応時間分布データの再作成を促す処理を警告装置に実行させること
   を特徴とする請求項１記載の運転支援装置。
6. 前記判定部は、障害物の画像要素の位置に対応する反応時間情報に基づいて、障害物に対する前記運転者の反応時間レベルを判定し、反応時間レベルに応じて異なる内容の警告処理を警告装置に実行させること
   を特徴とする請求項１記載の運転支援装置。
7. 車両の運転者の視界を撮影する撮影装置と、
   前記車両に設けられた警告装置と、
   前記運転者の視界が撮影された映像内の画像要素を識別する識別部と、
   前記識別部によって識別された画像要素の中から前記映像内の障害物の画像要素を抽出する抽出部と、
   前記運転者の視界に現れた物体に対して前記運転者が反応を起こすまでの反応時間情報の前記映像内での分布を示す反応時間分布データを用いて、前記抽出部によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて前記運転者が障害物を見落としているか否かを判定する判定部とを備え、
   前記判定部は、前記運転者が障害物を見落としていると判定した場合に、障害物の警告処理を前記警告装置に実行させること
   を特徴とする運転支援システム。
8. 識別部が、車両の運転者の視界が撮影された映像内の画像要素を識別するステップと、
   抽出部が、前記識別部によって識別された画像要素の中から前記映像内の障害物の画像要素を抽出するステップと、
   判定部が、前記運転者の視界に現れた物体に対して前記運転者が反応を起こすまでの反応時間情報の前記映像内での分布を示す反応時間分布データを用いて、前記抽出部によって抽出された障害物の画像要素の位置に対応する反応時間情報を特定し、特定した反応時間情報に基づいて前記運転者が障害物を見落としているか否かを判定するステップと、
   前記判定部が、前記運転者が障害物を見落としていると判定した場合に、障害物の警告処理を警告装置に実行させるステップとを備えたこと
   を特徴とする運転支援方法。

Images