JPWO2019167285A1 - 運転支援装置及び運転支援方法 - Google Patents

Abstract

地図情報に基づいて目的地までの経路を探索する経路探索部（１０８）と、車両の位置である車両位置を検出する車両位置検出部（１０４）と、地図情報に基づいて、車両位置における道路状態を判定する道路状態判定部（１０６）と、道路状態が分岐を示している場合に、道路状態から分岐の種類を特定するとともに、経路から車両の進行方向を特定し、特定された種類及び特定された進行方向に対応して、車両の運転者が目視する必要のある方向である目視必要方向を決定する目視必要方向決定部（１１０）と、運転者の映像である運転者映像を撮像する運転者撮像部（１０２）と、運転者映像から、運転者の視線の方向である視線方向を検出する視線方向検出部（１０３）と、目視必要方向の内、視線方向を含まない方向を見落とし方向として判定する見落とし方向判定部（１１１）と、運転者に、見落とし方向の注意を喚起する注意喚起部（１１２）とを備える。

Description

本発明は、運転支援装置及び運転支援方法に関する。

従来から、車外に取り付けられたカメラで取られた映像をナビ画面等に表示することにより、自動車の周囲の安全確認を行う機能が提供されている。

例えば、特許文献１には、方向指示器の操作、あるいは、ハンドル操作に応じて、その方向のカメラ映像を表示する車両監視装置が記載されている。

特開平７−２１５１３０号公報

従来の技術は、運転者の目視による確認動作と関係なく、一律に確認が必要な箇所の映像を表示するのみである。
このため、運転者が本来確認すべき方向を見ているかどうかはまったく考慮されておらず、安全性の向上にはつながらないという問題がある。

そこで、本発明の１又は複数の態様は、運転者が本来確認しなければならない方向を見落としている場合に、そのような方向を運転者に確認するように警告できるようにすることを目的とする。

本発明の１の態様に係る運転支援装置は、地図情報を記憶する地図情報記憶部と、目的地の入力を受け付ける入力部と、前記地図情報に基づいて、前記目的地までの経路を探索する経路探索部と、車両の位置である車両位置を検出する車両位置検出部と、前記地図情報に基づいて、前記車両位置における道路状態を判定する道路状態判定部と、前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定するとともに、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定する目視必要方向決定部と、前記運転者の映像である運転者映像を撮像する運転者撮像部と、前記運転者映像から、前記運転者の視線の方向である視線方向を検出する視線方向検出部と、前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定する見落とし方向判定部と、前記運転者に、前記見落とし方向の注意を喚起する注意喚起部と、を備えることを特徴とする。

本発明の１の態様に係る運転支援方法は、目的地の入力を受け付け、地図情報に基づいて、前記目的地までの経路を探索し、車両の位置である車両位置を検出し、前記地図情報に基づいて、前記車両位置における道路状態を判定し、前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定し、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定し、前記運転者の映像である運転者映像から、前記運転者の視線の方向である視線方向を検出し、前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定し、前記運転者に、前記見落とし方向の注意を喚起することを特徴とする。

本発明の１の態様によれば、運転者が本来確認しなければならない方向を見落としている場合に、そのような方向を運転者に確認するように警告することができる。

実施の形態１に係る運転支援装置の構成を概略的に示すブロック図である。 車両周囲撮像部の設置状況を示す概略図である。 運転者の視線方向を説明するための概略図である。 目視必要方向情報の一例を示す概略図である。 視線方向と目視必要方向との関係を説明する概略図である。 ハードウェア構成例を示すブロック図である。 運転支援装置の処理の流れを示すフローチャートである。 運転支援装置を搭載した車両がＴ字路にいる時の状態を示す概略図である。 見落とし方向判定部での処理を示すフローチャートである。 目視確認実施回数テーブルの一例を示す概略図である。 実施の形態２に係る運転支援装置の構成を概略的に示すブロック図である。 実施の形態２において表示される映像の一例を示す概略図である。 実施の形態３に係る運転支援装置の構成を概略的に示すブロック図である。 見落とし回数情報の一例を示す概略図である。

実施の形態１．
図１は、実施の形態１に係る運転支援装置１００の構成を概略的に示すブロック図である。
実施の形態１に係る運転支援装置１００は、車両周囲撮像部１０１と、運転者撮像部１０２と、視線方向検出部１０３と、車両位置検出部１０４と、地図情報記憶部１０５と、道路状態判定部１０６と、入力部１０７と、経路探索部１０８と、目視必要方向情報記憶部１０９と、目視必要方向決定部１１０と、見落とし方向判定部１１１と、注意喚起部１１２と、出力部１１３とを備える。

車両周囲撮像部１０１は、運転支援装置１００が取り付けられている車両の周囲の複数の方向に対応する複数の映像を撮像する。
車両周囲撮像部１０１は、左前方撮像部１０１ａと、右前方撮像部１０１ｂと、左側方撮像部１０１ｃと、右側方撮像部１０１ｄと、左後方撮像部１０１ｅと、右後方撮像部１０１ｆとを備える。

左前方撮像部１０１ａは、その車両の左前方向の映像を撮像する。
右前方撮像部１０１ｂは、その車両の右前方向の映像を撮像する。
左側方撮像部１０１ｃは、その車両の左側方向の映像を撮像する。
右側方撮像部１０１ｄは、その車両の右側方向の映像を撮像する。
左後方撮像部１０１ｅは、その車両の左後方向の映像を撮像する。
右後方撮像部１０１ｆは、その車両の右後方向の映像を撮像する。

図２は、車両周囲撮像部１０１の設置状況を示す概略図である。
図２において、車両１２０には、運転支援装置１００が搭載されているものとする。
左前方撮像部１０１ａは、車両１２０のフロントの中央に、その光軸が前方正面に対して左４５度の角度で設置されている。
右前方撮像部１０１ｂは、車両１２０のフロントの中央に、その光軸が前方正面に対して右４５度の角度で設置されている。
左側方撮像部１０１ｃは、車両１２０の左側に、その光軸が車両１２０の前方正面に対して左９０度の角度で設置されている。
右側方撮像部１０１ｄは、車両１２０の右側に、その光軸が車両１２０の前方正面に対して右９０度の角度で設置されている。
左後方撮像部１０１ｅは、車両１２０のバックの中央に、その光軸が車両１２０の後方正面に対して右４５度の角度で設置されている。
右後方撮像部１０１ｆは、車両１２０のバックの中央に、その光軸が車両１２０の後方正面に対して左４５度の角度で設置されている。
図２に示されているようにこれらの撮像部１０１ａ〜１０１ｆを配置することにより、これらの撮像部１０１ａ〜１０１ｆの水平画角が９０度であれば、車両１２０の前方及び後方については、死角無く撮像することができる。なお、水平画角は、水平方向において撮像する範囲である。
なお、これらの撮像部１０１ａ〜１０１ｆの光軸は、地面に対して、平行となっていることが望ましい。

図１に戻り、運転者撮像部１０２は、車両１２０内に設置され、車両１２０の運転者の映像である運転者映像を撮像する。具体的には、運転者撮像部１０２は、運転者の顔の映像を撮像する。
視線方向検出部１０３は、運転者撮像部１０２で撮像された映像から、運転者の顔の向き及びその眼球の向きを検出し、運転者の視線の方向である視線方向を検出する。なお、視線方向検出部１０３は、運転者の顔の向きのみを用いて、運転者の視線方向を検出してもよい。なお、視線方向検出部１０３は、検出された視線方向を示す視線方向情報を見落とし方向判定部１１１に与える。

図３は、運転者の視線方向を説明するための概略図である。
図３において、視線方向は、車両１２０の運転者１２１の位置から車両１２０の正面方向を見た場合の視線方向１２２と、運転者１２１が見ている視線方向１２３との間のなす角度で示される。運転者１２１が見ている視線方向１２３との間のなす角度は、車両１２０を真上から見て時計周りの方向を正とする。従って、運転者１２１が右真横を見た場合の視線方向は９０度、運転者１２１が真後ろを見た場合の視線方向は１８０度、運転者１２１が左真横を見た場合の視線方向は２７０度となる。

図１に戻り、車両位置検出部１０４は、現在の車両１２０の位置である車両位置を検出し、検出された車両位置を示す車両位置情報を道路状態判定部１０６に与える。車両位置情報は、例えば、緯度及び経度の情報である。

地図情報記憶部１０５は、地図情報を記憶する。地図情報は、ノード及び補完点のポイントデータと、リンクデータとから構成されている。ノードは、交差点又はジャンクション等の分岐点である。補完点は、道路の屈曲を表す点である。ポイントデータは、ノード及び補完点の位置を示す位置情報である。位置情報は、例えば、緯度及び経度の情報である。リンクデータは、ノード同士の接続関係を表す情報である。
ポイントデータ及びリンクデータは、それぞれ属性情報を持っている。例えば、ポイントデータの属性情報は、信号の有無等であり、リンクデータの属性情報は、道路種別、道幅及び車線数等である。

道路状態判定部１０６は、地図情報記憶部１０５が記憶する地図情報を参照して、車両位置検出部１０４から与えられる車両位置情報で示される、車両の現在位置の道路状態を判定する。ここでは、道路状態判定部１０６は、道路状態として、分岐の種類（十字路、Ｔ字路、インター出口又はインター入口）及び信号有無等を判定する。そして、道路状態判定部１０６は、判定された道路状態を示す道路状態情報を目視必要方向決定部１１０に与える。

入力部１０７は、各種入力を受け付ける。例えば、入力部１０７は、車両１２０の出発地の位置及び目的地の位置の入力を受け付ける。
経路探索部１０８は、地図情報記憶部１０５が記憶する地図情報に基づいて、入力された目的地までの経路を探索する。具体的には、経路探索部１０８は、地図情報記憶部１０５が記憶する地図情報を参照して、入力された出発地の位置と、入力された目的地の位置とから車両１２０の経路の探索を行い、探索された経路を示す経路情報を生成する。経路情報は、車両１２０が出発地から目的地に到達するための経路を示す情報である。経路情報は、例えば、車両１２０が通過するノードの位置及びノードにおける進行方向を示す。進行方向は、例えば、左折、右折又は直進である。
なお、ここでは、入力部１０７は、出発地の位置の入力も受け付けているが、出発地の入力は、必ずしも必要ではない。例えば、経路探索部１０８は、車両位置検出部１０４で検出される車両位置を出発地として、目的地までの経路を探索してもよい。

目視必要方向情報記憶部１０９は、条件に応じて運転者が目視する必要のある方向である目視必要方向を示す目視必要方向情報を記憶する。
図４は、目視必要方向情報の一例である目視必要方向テーブル１０９ａを示す概略図である。
目視必要方向テーブル１０９ａは、判断条件列１０９ｂと、目視必要方向列１０９ｃとを有する。
判断条件列１０９ｂは、道路状態列１０９ｄと、進行方向列１０９ｅとを有する。
目視必要方向列１０９ｃは、左前方列１０９ｆと、右前方列１０９ｇと、左側方列１０９ｈと、右側方列１０９ｉと、左後方列１０９ｊと、右後方列１０９ｋとを有する。

道路状態列１０９ｄは、道路状態を格納する。ここでは、道路状態として、分岐の種類が格納される。
進行方向列１０９ｅは、進行方向を格納する。進行方向列１０９ｅが空欄の場合には、条件として進行方向が定義されていないこと、言い換えると、全ての進行方向が条件に該当することを示しているものとする。

左前方列１０９ｆ、右前方列１０９ｇ、左側方列１０９ｈ、右側方列１０９ｉ、左後方列１０９ｊ及び右後方列１０９ｋのそれぞれは、目視必要方向に、左前方、右前方、左側方、右側方、左後方及び右後方のそれぞれが該当するか否かを格納する。
例えば、左前方列１０９ｆ、右前方列１０９ｇ、左側方列１０９ｈ、右側方列１０９ｉ、左後方列１０９ｊ又は右後方列１０９ｋに「ＹＥＳ」が格納されている場合には、同じ行の道路状態及び進行方向において、対応する方向が目視必要方向であることを示す。一方、左前方列１０９ｆ、右前方列１０９ｇ、左側方列１０９ｈ、右側方列１０９ｉ、左後方列１０９ｊ又は右後方列１０９ｋに「ＮＯ」が格納されている場合には、同じ行の道路状態及び進行方向において、対応する方向が目視必要方向ではないことを示す。

言い換えると、図４に示されている目視必要方向テーブル１０９ａにより、判断条件列１０９ｂに格納されている条件が満たされている場合に、目視必要方向列１０９ｃにおいて「ＹＥＳ」となっている方向が、目視必要方向となる。
なお、ここでは、条件を道路状態及び進行方向としたが、信号の有無を含めても良い。

図１に戻り、目視必要方向決定部１１０は、目視必要方向情報記憶部１０９に記憶されている目視必要方向情報を参照して、経路探索部１０８で生成された経路情報と、道路状態判定部１０６で判定された道路状態とから、運転者が目視する必要のある方向である目視必要方向を決定する。目視必要方向は、安全に運転を行うために他の車両又は歩行者等の移動物体を確認するために見る必要がある車外の方向である。例えば、道路状態がＴ字路で、進行方向が右折であった場合、交差する道路の左方向から来る移動物体、右方向から来る移動物体及び右後方から来る移動物体を確認する必要があるため、左前方、右前方、右側方及び右後方が目視必要方向となる。

具体的には、目視必要方向決定部１１０は、道路状態が分岐を示している場合に、道路状態から分岐の種類を特定するとともに、車両の経路から車両の進行方向を特定し、特定された種類及び特定された進行方向に対応して、目視必要方向を決定する。

見落とし方向判定部１１１は、視線方向検出部１０３が検出した運転者の視線方向と、目視必要方向決定部１１０が決定した目視必要方向とを比較し、目視必要方向の内、視線方向を含まない方向を、見落とし方向として判定する。

図５は、視線方向と目視必要方向との関係を説明する概略図である。
図５に示すように、０度≦視線方向＜４５度の場合、右前方の目視必要方向に視線方向が含まれる。４５度≦視線方向＜１３５度の場合、右側方の目視必要方向に視線方向が含まれる。１３５度≦視線方向＜１８０度の場合、右後方の目視必要方向に視線方向が含まれる。１８０度≦視線方向＜２２５度の場合、左後方の目視必要方向に視線方向が含まれる。２２５度≦視線方向＜３１５度の場合、左側方の目視必要方向に視線方向が含まれる。３１５度≦視線方向＜３５９度の場合、左前方の目視必要方向に視線方向が含まれる。

図１に戻り、注意喚起部１１２は、見落とし方向判定部１１１が判定した見落とし方向の注意を喚起する。言い換えると、注意喚起部１１２は、見落とし方向判定部１１１が判定した見落とし方向を確認するように、運転者の注意を喚起する。
例えば、注意喚起部１１２は、車両周囲撮像部１０１が撮像した複数の映像の内、見落とし方向判定部１１１が判定した見落とし方向に対応する映像である見落とし方向映像を、出力部１１３に表示させる。また、注意喚起部１１２は、見落とし方向判定部１１１が判定した見落とし方向の注意を喚起する音声を、出力部１１３に出力させる。具体的には、出力部１１３は、左前方が見落とし方向と判定された場合、「左前方に注意ください」等の音声を流す。

出力部１１３は、注意喚起部１１２からの指示に応じて、映像及び音声の少なくとも何れか一方を出力する。例えば、出力部１１３は、音声出力部１１３ａ及び表示部１１３ｂを備える。
音声出力部１１３ａは、注意喚起部１１２からの指示に応じて、運転者に、見落とし方向の注意を喚起するために、見落とし方向に注意する旨の音声を出力する。
表示部１１３ｂは、注意喚起部１１２からの指示に応じて、見落とし方向に対応する映像である見落とし方向映像を表示する。

図６は、実施の形態１に係る運転支援装置１００のハードウェア構成を示すブロック図である。
運転支援装置１００は、左前方カメラ１３０ａと、右前方カメラ１３０ｂと、左側方カメラ１３０ｃと、右側方カメラ１３０ｄと、左後方カメラ１３０ｅと、右後方カメラ１３０ｆと、運転者モニタカメラ１３１と、プロセッサ１３２と、メモリ１３３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機１３４と、方位センサ１３５と、車速センサ１３６と、グラフィックコントローラ１３７と、グラフィックメモリ１３８と、ディスプレイ１３９と、音声出力回路１４０と、スピーカ１４１と、入力装置１４２とを備える。

左前方カメラ１３０ａ、右前方カメラ１３０ｂ、左側方カメラ１３０ｃ、右側方カメラ１３０ｄ、左後方カメラ１３０ｅ、右後方カメラ１３０ｆ及び運転者モニタカメラ１３１は、映像を撮像する。
プロセッサ１３２は、メモリ１３３に記憶されているプログラムを実行することで、運転支援装置１００での処理を行う。
メモリ１３３は、運転支援装置１００での処理を実現するためのプログラム及び運転支援装置１００での処理に必要な情報を記憶する。

ＧＰＳ受信機１３４は、車両の位置を検出するために、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信する。
方位センサ１３５は、車両の方向を検出するものであり、例えば、ジャイロスコープ等である。
車速センサ１３６は、車両の速度を検出する。

グラフィックコントローラ１３７は、プロセッサ１３２からの命令に基づいて、車両周囲撮像部１０１である左前方撮像部１０１ａ、右前方撮像部１０１ｂ、左側方撮像部１０１ｃ、右側方撮像部１０１ｄ、左後方撮像部１０１ｅ、右後方撮像部１０１ｆから取得した映像をディスプレイ１３９に表示したり、注意喚起情報の画像の画像データを生成して、ディスプレイ１３９に表示したりする。
グラフィックメモリ１３８は、車両周囲撮像部１０１で撮像された映像の映像データ及びグラフィックコントローラ１３７で生成された画像の画像データを保存する。
ディスプレイ１３９はグラフィックメモリ１３８に保存されている映像データの映像及び画像データの画像を表示する表示装置である。ディスプレイ１３９は、例えば、車内の運転者が確認できる位置、例えば、正面メーター内又はセンターコンソール等の位置に設置されている液晶モニタ等である。もちろん、ディスプレイ１３９は、液晶モニタに限定されるものではない。

音声出力回路１４０は、音声データから音声信号を生成する。音声出力回路１４０は、例えば、メモリ１３３に格納されている注意喚起の音声データから音声信号を生成する。その音声データは、例えば、「左前方を確認していません。確認してください」等の音声を示すデータである。
スピーカ１４１は、音声出力回路１４０が生成した音声信号を受けて音声を出力する。
入力装置１４２は、指示の入力を受け付ける、ボタン等の装置である。

メモリ１３３に格納されているプログラムに基づき、プロセッサ１３２が左前方カメラ１３０ａ、右前方カメラ１３０ｂ、左側方カメラ１３０ｃ、右側方カメラ１３０ｄ、左後方カメラ１３０ｅ及び右後方カメラ１３０ｆを制御することにより、左前方撮像部１０１ａ、右前方撮像部１０１ｂ、左側方撮像部１０１ｃ、右側方撮像部１０１ｄ、左後方撮像部１０１ｅ及び右後方撮像部１０１ｆを実現することができる。
メモリ１３３に格納されているプログラムに基づき、プロセッサ１３２が運転者モニタカメラ１３１を制御することにより、運転者撮像部１０２を実現することができる。

メモリ１３３に格納されるプログラムに基づき、プロセッサ１３２がＧＰＳ受信機１３４、方位センサ１３５及び車速センサ１３６を制御することで、車両位置検出部１０４が実現される。
プロセッサ１３２がメモリ１３３を制御することで、地図情報記憶部１０５及び目視必要方向情報記憶部１０９が実現される。

メモリ１３３に格納されるプログラムに基づき、プロセッサ１３２が入力装置１４２を制御することで、入力部１０７が実現される。
メモリ１３３に格納されるプログラムを実行することで、視線方向検出部１０３、道路状態判定部１０６、経路探索部１０８、目視必要方向決定部１１０、見落とし方向判定部１１１及び注意喚起部１１２が実現される。
メモリ１３３に格納されるプログラムに基づき、プロセッサ１３２が、グラフィックコントローラ１３７、グラフィックメモリ１３８、ディスプレイ１３９、音声出力回路１４０及びスピーカ１４１を制御することで、出力部１１３が実現される。

以上に記載されたプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

図７は、実施の形態１に係る運転支援装置１００の処理の流れを示すフローチャートである。
図８は、実施の形態１に係る運転支援装置１００を搭載した車両１２０がＴ字路にいる時の状態を示す概略図である。
図８において、車両１２０は、Ｔ字路の手前に一時停止している。他の車両１２４は、Ｔ字路右方向からＴ字路に向けて移動している。Ｔ字路左方向から歩行者１２５がＴ字路に向けて移動している。Ｔ字路は、塀１２６、塀１２７及び塀１２８によって囲まれており、車両１２０の運転者１２１の視界が妨げられている。

図７及び図８を使って、実施の形態１に係る運転支援装置１００の処理の流れについて説明する。
なお、ここでは、車両１２０の運転者１２１は、入力部１０７を介して、出発地及び目的地を入力し、経路探索部１０８は、出発地から目的地までの経路を示す経路情報を生成し、その経路情報を目視必要方向決定部１１０に与えているものとする。

まず、車両位置検出部１０４は、複数のＧＰＳ衛星からＧＰＳ信号を受信して自車の現在位置を測位して、車両位置を検出する（Ｓ１０）。そして、車両位置検出部１０４は、検出された車両位置を示す情報を車両位置情報として道路状態判定部１０６に与える。

次に、道路状態判定部１０６は、車両位置情報と、地図情報記憶部１０５に記憶されている地図情報とから自車がいる位置の道路状態を判定する（Ｓ１１）。そして、道路状態判定部１０６は、判定された道路状態を示す道路状態情報を目視必要方向決定部１１０に与える。

次に、目視必要方向決定部１１０は、道路状態判定部１０６からの道路状態情報に基づいて、車両１２０のいる位置が分岐点であるか否かを判断する（Ｓ１２）。分岐点とは、例えば、Ｔ字路、十字路、インター出口又はインター入口である。車両１２０のいる位置が分岐点である場合（Ｓ１２でＹｅｓ）には、処理はステップＳ１３に進み、車両１２０のいる位置が分岐点ではない場合（Ｓ１２でＮｏ）には、処理はステップＳ１０に戻る。

次に、目視必要方向決定部１１０は、道路状態情報及び経路情報から目視必要方向を決定する（Ｓ１３）。例えば、図８に示すように道路状態がＴ字路であり、進行方向が右折である場合、目視必要方向決定部１１０は、図４に示されている目視必要方向テーブル１０９ａから目視必要方向を、左前方、右前方、右側方及び右後方と判定する。

次に、見落とし方向判定部１１１は、視線方向検出部１０３から取得した運転者の視線方向を示す視線方向情報と、経路探索部１０８から取得した経路情報と、目視必要方向決定部１１０から取得した目視必要方向情報とから、見落とし方向を判定する。見落とし方向を判定する処理については、図９を用いて後述する。

次に、見落とし方向判定部１１１は、見落とし方向があるか否かを判定する（Ｓ１５）。見落とし方向がある場合（Ｓ１５でＹｅｓ）には、処理はステップＳ１６に進み、見落とし方向がない場合（Ｓ１５でＮｏ）には、処理はステップＳ１０に戻る。
なお、見落とし方向がある場合には、見落とし方向判定部１１１は、見落とし方向を示す見落とし方向情報を注意喚起部１１２に与える。

次に、注意喚起部１１２は、見落とし方向情報を元に注意喚起を行う（Ｓ１６）。例えば、注意喚起部１１２は、予め準備された音声データを使用し、見落とし方向を通知する音声を出力部１１３から出力させる。
具体的には、見落とし方向情報が左前方であれば、次の音声が出力される。「左前方を確認していません。注意して下さい。」
または、注意喚起部１１２は、見落とし方向の映像を出力部１１３に表示させてもよい。
さらに、注意喚起部１１２は、出力部１１３に音声及び映像の両方を出力させてもよい。

図９は、見落とし方向判定部１１１での処理を示すフローチャートである。
まず、見落とし方向判定部１１１は、目視必要方向決定部１１０から与えられる目視必要方向情報で示される目視必要方向の各々の目視確認回数を０に初期化する（Ｓ２０）。具体的には、見落とし方向判定部１１１は、目視必要方向決定部１１０から与えられる目視必要方向情報に基づいて、図１０に示されているような、目視確認実施回数テーブル１１１ａを生成する。

目視確認実施回数テーブル１１１ａは、目視確認方向列１１１ｂと、目視確認回数列１１１ｃとを有する。
目視確認方向列１１１ｂの各々の行は、目視必要方向決定部１１０から与えられる目視必要方向情報で示される目視必要方向の各々を、目視確認方向として格納する。図１０は、目視必要方向情報で示される目視必要方向が、左前方、右前方、右側方及び右後方である場合の例を示している。
目視確認回数列１１１ｃの各々の行は、同じ行に格納されている目視確認方向を目視した回数を格納する。

図９に戻り、見落とし方向判定部１１１は、見落とし方向判定時間Ｔｍを設定する（Ｓ２１）。見落とし方向判定時間Ｔｍは、例えば、運転者が目視確認を行う時間の長さであり、予め定められているものとする。
次に、見落とし方向判定部１１１は、見落とし方向判定開始時刻Ｔｓｔａｒｔを現在時刻に設定する（Ｓ２２）。

次に、見落とし方向判定部１１１は、視線方向検出部１０３から視線方向情報を取得する（Ｓ２３）。
次に、見落とし方向判定部１１１は、視線方向情報で示される視線方向から、目視確認方向を判定する（Ｓ２４）。目視確認方向の判定は、図５を用いて説明した目視必要方向の判定と同様である。例えば、視線方向が３０度であるとすると、図５に示されているように、目視確認方向は、右前方と判定される。

次に、見落とし方向判定部１１１は、目視確認実施回数テーブル１１１ａの該当する目視確認方向の目視確認回数に「１」を加算する（Ｓ２５）。例えば、判定された目視確認方向が右前方であれば、右前方の目視確認回数に「１」が１加算される。

次に、見落とし方向判定部１１１は、現在時刻Ｔｎｏｗを取得して、見落とし方向判定開始時刻Ｔｓｔａｒｔと、現在時刻Ｔｎｏｗとの差分から、見落とし方向判定開始からの経過時間Ｔｐａｓｓを算出する（Ｓ２６）。

次に、見落とし方向判定部１１１は、経過時間Ｔｐａｓｓと、見落とし方向判定時間Ｔｍとを比較して、経過時間Ｔｐａｓｓが見落とし方向判定時間Ｔｍ未満であるか否かを判断する（Ｓ２７）。経過時間Ｔｐａｓｓが見落とし方向判定時間Ｔｍ未満である場合（Ｓ２７でＹｅｓ）には、処理はステップＳ２３に戻り、経過時間Ｔｐａｓｓが見落とし方向判定時間Ｔｍ以上である場合（Ｓ２７でＮｏ）には、処理はステップＳ２８に進む。

ステップＳ２８では、見落とし方向判定部１１１は、目視確認実施回数テーブル１１１ａを確認して、目視確認回数が「０」である目視確認方向を、見落とし方向と判断する。

以上のように、実施の形態１によれば、車両の運転者が安全のために確認すべき方向を見ているかどうかを判定し、見ていない場合には見落とした方向として映像及び音声の少なくとも何れか一方で注意を喚起することで、見落としを防ぎ、安全性を高めることができる。

実施の形態２．
図１１は、実施の形態２に係る運転支援装置２００の構成を概略的に示すブロック図である。
実施の形態２に係る運転支援装置２００は、車両周囲撮像部１０１と、運転者撮像部１０２と、視線方向検出部１０３と、車両位置検出部１０４と、地図情報記憶部１０５と、道路状態判定部１０６と、入力部１０７と、経路探索部１０８と、目視必要方向情報記憶部１０９と、目視必要方向決定部１１０と、見落とし方向判定部１１１と、注意喚起部２１２と、出力部１１３と、移動物体検出部２１４とを備える。
実施の形態２における車両周囲撮像部１０１、運転者撮像部１０２、視線方向検出部１０３、車両位置検出部１０４、地図情報記憶部１０５、道路状態判定部１０６、入力部１０７、経路探索部１０８、目視必要方向情報記憶部１０９、目視必要方向決定部１１０、見落とし方向判定部１１１及び出力部１１３は、実施の形態１における対応する部分と同様である。
但し、見落とし方向判定部１１１は、見落とし方向を示す見落とし方向情報を移動物体検出部２１４に与える。

移動物体検出部２１４は、見落とし方向判定部１１１から与えられる見落とし方向情報で示される全ての見落とし方向について、車両周囲撮像部１０１で撮像された映像から移動物体を検出し、検出された移動物体を示す移動物体検出情報及び見落とし方向情報を、注意喚起情報として注意喚起部２１２に与える。移動物体の検出は、例えば、画像マッチング等で行われればよい。移動物体検出情報は、例えば、移動物体が検出された見落とし方向、見落とし方向を撮像した映像内の移動物体数、並びに、各移動物体の位置及び大きさといった情報である。
また、移動物体検出部２１４は、見落とし方向に対応する映像の映像データを注意喚起部２１２に与える。

注意喚起部２１２は、移動物体検出部２１４から与えられた注意喚起情報に基づいて、移動物体が検出された見落とし方向への注意を喚起する。
例えば、注意喚起部２１２は、移動物体検出部２１４から与えられた注意喚起情報に基づいて、移動物体が検出された見落とし方向について、音声を使って注意喚起を行う。具体的には、注意喚起部２１２は、予め準備された見落とし方向別の注意喚起の音声データから、移動物体の検出された見落とし方向に対応する音声データを選択して、選択された音声データを出力部１１３に与えることで、音声出力部１１３ａにその音声データに対応する音声を出力させればよい。ここでは、移動物体に注意する旨の音声が出力されればよい。一例として、左後方が、移動物体の検出された見落とし方向であれば、「左後方に移動物体があります。ご注意下さい。」という音声を、音声出力部１１３ａが出力する。このような場合、移動物体検出部２１４は、注意喚起情報として、移動物体が検出された見落とし方向を示す移動物体検出情報を注意喚起部２１２に与えればよい。また、注意喚起部２１２は、実施の形態１と同様に、見落とし方向の注意を喚起する音声も音声出力部１１３ａに出力させてもよい。さらに、注意喚起部２１２は、検出された移動物体の数、位置及び大きさの少なくとも１つも出力部１１３から出力させる音声に含めてもよい。

また、注意喚起部２１２は、移動物体検出部２１４から与えられた注意喚起情報に基づいて、移動物体が検出された見落とし方向について映像と音声を使って注意喚起を行っても良い。具体的には、注意喚起部２１２は、移動物体検出部２１４から移動物体が検出された見落とし方向の映像の映像データを取得する。そして、注意喚起部２１２は、移動物体検出情報から各移動物体の位置及び大きさを特定し、取得された映像データに、特定された位置及び大きさで枠を書き込む。注意喚起部２１２は、枠を書き込んだ映像データを出力部１１３に与える。これにより、表示部１１３ｂは、移動物体に対応する位置に枠を追加して表示することができる。
なお、見落とし方向の映像データは、注意喚起情報に含まれていてもよい。
ここでは、枠により移動物体が示されているが、例えば、矢印等により移動物体が示されてもよい。言い換えると、映像中で移動物体を特定できるような表示であれば、どのような表示方法であってもよい。

図１２は、実施の形態２において表示される映像の一例を示す概略図である。
図１２において、Ｔ字路の左前方から人が歩いてきている場合、移動物体検出部２１４が、人を検出して、人の位置及び大きさを示す情報を移動物体検出情報として注意喚起部２１２に与える。注意喚起部２１２は、人の位置及び大きさを示す情報を元に、映像２５０に枠２５０ａを追加する。また、注意喚起部２１２は、同時に音声として予め準備された見落とし方向別の注意を喚起するための音声の音声データを選択して出力部１１３に与える。見落とし方向が左前方であれば、「左前方に移動物体があります。ご確認下さい。」という音声が出力部１１３から出力される。

以上のように、実施の形態２によれば、運転者が安全のために確認すべき方向を見ているかどうか判定し、見ていない場合は見ていない方向の移動物体の検知を行い、移動物体が検出された場合は、検出された移動物体に対する注意を喚起する。これにより、見落としを防ぎ、安全性を高めるという効果がある。また、運転者が見ている方向の移動物体の検出を行わないため、運転支援装置２００の負荷を下げることができる。また、運転者が見る必要の無い方向の移動物体の検出を行わないため、運転支援装置２００の負荷を下げることができる。

実施の形態３．
図１３は、実施の形態３に係る運転支援装置３００の構成を概略的に示すブロック図である。
実施の形態３に係る運転支援装置３００は、車両周囲撮像部１０１と、運転者撮像部１０２と、視線方向検出部１０３と、車両位置検出部１０４と、地図情報記憶部１０５と、道路状態判定部１０６と、入力部１０７と、経路探索部１０８と、目視必要方向情報記憶部１０９と、目視必要方向決定部１１０と、見落とし方向判定部３１１と、注意喚起部３１２と、出力部１１３と、見落とし回数記憶部３１５とを備える。
実施の形態３における車両周囲撮像部１０１、運転者撮像部１０２、視線方向検出部１０３、車両位置検出部１０４、地図情報記憶部１０５、道路状態判定部１０６、入力部１０７、経路探索部１０８、目視必要方向情報記憶部１０９、目視必要方向決定部１１０及び出力部１１３は、実施の形態１における対応する部分と同様である。

見落とし回数記憶部３１５は、分岐の種類及び進行方向の組み合わせに対応する目視必要方向毎に、これまでに見落とし方向として判定された回数を示す見落とし回数情報を記憶する。

図１４は、見落とし回数情報の一例である見落とし回数テーブル３５１ａを示す概略図である。
見落とし回数テーブル３５１ａは、判断条件列３５１ｂと、見落とし回数列３５１ｃとを有する。
判断条件列３５１ｂは、道路状態列３５１ｄと、進行方向列３５１ｅとを有する。
見落とし回数列３５１ｃは、左前方列３５１ｆと、右前方列３５１ｇと、左側方列３５１ｈと、右側方列３５１ｉ、左後方列３５１ｊと、右後方列３５１ｋとを有する。

道路状態列３５１ｄは、道路状態を格納する。ここでは、分岐の種類が格納される。
進行方向列３５１ｅは、進行方向を格納する。進行方向列３５１ｅが空欄の場合には、条件として進行方向が定義されていないこと、言い換えると、全ての進行方向が条件に該当することを示しているものとする。

左前方列３５１ｆ、右前方列３５１ｇ、左側方列３５１ｈ、右側方列３５１ｉ、左後方列３５１ｊ及び右後方列３５１ｋのそれぞれは、見落とし回数を格納する。
例えば、道路状態列３５１ｄが「Ｔ字路」で、進行方向列３５１ｅが「左折」である行の左前方列３５１ｆに「１」が格納されている場合には、そのような条件において左前方が見落とし方向と判断された回数が「１」であることを示す。
なお、ここでは、判断条件を道路状態及び進行方向としたが、信号の有無が含まれていてもよい。

見落とし方向判定部３１１は、道路状態と、進行方向と、目視必要方向と、見落とし回数記憶部３１５に記憶されている見落とし回数情報とから、目視必要方向のうち、見落とし回数が予め定められた閾値以上の見落としがある目視必要方向を、見落とし方向判定前に見落とし事前注意喚起方向として示す見落とし事前注意喚起方向情報を、注意喚起部３１２に与える。ここで、予め定められた閾値は、例えば、「３」等とすればよい。
見落とし方向判定部３１１は、その後、実施の形態１と同様に、一定時間の間、運転者の視線方向を特定し、見落とし方向を判定するとともに、見落とし回数情報において、判定された見落とし方向の見落とし回数に「１」を加算する。

例えば、車両位置検出部１０４の車両位置情報及び地図情報記憶部１０５が保持する地図情報から、道路状態判定部１０６がＴ字路にいると判定する。
次に、目視必要方向決定部１１０は、道路状態及び経路探索部１０８が持つ経路情報から進行方向を求め、目視必要方向を決定する。例えば、道路状態がＴ字路、進行方向が右折方向であった場合、図４に示されている目視必要方向テーブル１０９ａにより、目視必要方向は、左前方、右前方、右側方及び右後方となる。

次に、見落とし方向判定部３１１は、道路状態と、進行方向と、目視必要方向とに基づいて、見落とし回数テーブル３５１ａから、目視必要方向毎の見落とし回数を特定し、すべての目視必要方向に対して、見落とし回数が３回以上かどうか判定する。結果、左前方の見落とし回数が５回で、３回以上なので、左前方を見落とし事前注意喚起方向として示す見落とし事前注意喚起方向情報を注意喚起部３１２に与える。

注意喚起部３１２は、見落とし事前注意喚起方向情報で示されている見落とし事前注意喚起方向に注意するように、運転者に通知を行う。例えば、注意喚起部３１２は、予め準備された音声データを使用して、見落とし事前注意喚起方向として左前方を通知する注意喚起を行う。例えば、見落とし事前注意喚起方向が左前方であれば、次の音声が出力部１１３から出力される。「左前方を注意して下さい。」

あるいは、注意喚起部３１２は、出力部１１３に、左前方を撮像している左前方撮像部１０１ａからの映像データに基づいて映像を表示させてもよい。
また、注意喚起部３１２は、出力部１１３に、上述の音声及び映像の両方を出力させてもよい。

以上のように、実施の形態３によれば、過去に見落とし回数が多い場合は、見落としやすい方向として、運転者に事前に知らせることができ、目視の確認を行う際の見落としを防止することができる。

１００，２００，３００ 運転支援装置、 １０１ 車両周囲撮像部、 １０２ 運転者撮像部、 １０３ 視線方向検出部、 １０４ 車両位置検出部、 １０５ 地図情報記憶部、 １０６ 道路状態判定部、 １０７ 入力部、 １０８ 経路探索部、 １０９ 目視必要方向情報記憶部、 １１０ 目視必要方向決定部、 １１１，３１１ 見落とし方向判定部、 １１２，２１２，３１２ 注意喚起部、 １１３ 出力部、 １１３ａ 音声出力部、 １１３ｂ 表示部、 ２１４ 移動物体検出部、 ３１５ 見落とし回数記憶部。

本発明の１の態様に係る運転支援装置は、地図情報を記憶する地図情報記憶部と、目的地の入力を受け付ける入力部と、前記地図情報に基づいて、前記目的地までの経路を探索する経路探索部と、車両の位置である車両位置を検出する車両位置検出部と、前記地図情報に基づいて、前記車両位置における道路状態を判定する道路状態判定部と、前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定するとともに、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定する目視必要方向決定部と、前記運転者の映像である運転者映像を撮像する運転者撮像部と、前記運転者映像から、前記運転者の視線の方向である視線方向を検出する視線方向検出部と、前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定する見落とし方向判定部と、前記運転者に、前記見落とし方向の注意を喚起する注意喚起部と、前記車両の周囲の複数の方向に対応する複数の映像を撮像する車両周囲撮像部と、前記注意喚起部からの指示に応じて、前記複数の映像の内、前記見落とし方向に対応する映像である見落とし方向映像を表示する表示部と、を備えることを特徴とする。

本発明の１の態様に係る運転支援方法は、目的地の入力を受け付け、地図情報に基づいて、前記目的地までの経路を探索し、車両の位置である車両位置を検出し、前記地図情報に基づいて、前記車両位置における道路状態を判定し、前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定し、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定し、前記運転者の映像である運転者映像から、前記運転者の視線の方向である視線方向を検出し、前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定し、前記運転者に、前記見落とし方向の注意を喚起し、前記車両の周囲の複数の方向に対応する複数の映像を撮像し、前記複数の映像の内、前記見落とし方向に対応する映像である見落とし方向映像を表示することを特徴とする。

Claims (8)

1. 地図情報を記憶する地図情報記憶部と、
   目的地の入力を受け付ける入力部と、
   前記地図情報に基づいて、前記目的地までの経路を探索する経路探索部と、
   車両の位置である車両位置を検出する車両位置検出部と、
   前記地図情報に基づいて、前記車両位置における道路状態を判定する道路状態判定部と、
   前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定するとともに、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定する目視必要方向決定部と、
   前記運転者の映像である運転者映像を撮像する運転者撮像部と、
   前記運転者映像から、前記運転者の視線の方向である視線方向を検出する視線方向検出部と、
   前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定する見落とし方向判定部と、
   前記運転者に、前記見落とし方向の注意を喚起する注意喚起部と、を備えること
   を特徴とする運転支援装置。
2. 前記注意喚起部からの指示に応じて、前記運転者に、前記見落とし方向の注意を喚起するために、前記見落とし方向に注意する旨の音声を出力する音声出力部をさらに備えること
   を特徴とする請求項１に記載の運転支援装置。
3. 前記車両の周囲の複数の方向に対応する複数の映像を撮像する車両周囲撮像部と、
   前記注意喚起部からの指示に応じて、前記複数の映像の内、前記見落とし方向に対応する映像である見落とし方向映像を表示する表示部をさらに備えること
   を特徴とする請求項１に記載の運転支援装置。
4. 前記見落とし方向映像から、移動する移動物体を検出する移動物体検出部をさらに備え、
   前記表示部は、前記見落とし方向映像に、前記移動物体を示す画像を追加して表示すること
   を特徴とする請求項３に記載の運転支援装置。
5. 前記表示部は、前記画像として、前記移動物体に対応する位置に枠を表示すること
   を特徴とする請求項４に記載の運転支援装置。
6. 前記注意喚起部からの指示に応じて、前記移動物体に注意する旨の音声を出力する音声出力部をさらに備えること
   を特徴とする請求項４又は５に記載の運転支援装置。
7. 前記分岐の複数の種類の各々及び複数の進行方向の各々の組み合わせに対応する目視必要方向毎に、前記見落とし方向として判定された回数を記憶する見落とし回数記憶部をさらに備え、
   前記注意喚起部は、前記特定された種類と前記特定された進行方向に対応する前記目視必要方向の前記回数が、予め定められた閾値以上である場合に、前記見落とし方向の注意を喚起する前に、前記回数が前記予め定められた閾値以上となっている前記目視必要方向である見落とし事前注意喚起方向に注意するように、前記運転者に通知を行うこと
   を特徴とする請求項１から６の何れか一項に記載の運転支援装置。
8. 目的地の入力を受け付け、
   地図情報に基づいて、前記目的地までの経路を探索し、
   車両の位置である車両位置を検出し、
   前記地図情報に基づいて、前記車両位置における道路状態を判定し、
   前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定し、
   前記経路から前記車両の進行方向を特定し、
   前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定し、
   前記運転者の映像である運転者映像から、前記運転者の視線の方向である視線方向を検出し、
   前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定し、
   前記運転者に、前記見落とし方向の注意を喚起すること
   を特徴とする運転支援方法。

Images