JP6869448B2 - 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体に関する。

車両の周囲を撮像することで得られた画像を、車両内の表示手段で表示することで、運転支援を行う装置が知られている。特許文献１には、運転者の視線に基づき、運転者が注視している対象を特定し、特定された注視対象に応じて表示される情報の種類を切り替える表示装置が開示されている。

特開２００８−１３０７０号公報（段落００２１、００２２）

特許文献１の装置では、運転者が表示情報を確認するには、注視対象から表示手段に視線を移動させなければならず、注視対象と表示手段とが異なる方向にある場合に、表示情報の確認までに時間を要するという課題があった。

本発明の情報提示装置は、
車両の周辺を撮像し、車外画像を生成する車外撮像部と、
前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
複数の表示手段を有する表示装置と、
前記車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数の表示手段の各々における表示を制御する情報提示制御装置とを備え、
前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
前記情報提示制御装置は、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
ことを特徴とする。

本発明によれば、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させるので、車両の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するために、視線を移動させる必要がないので、表示された画像の確認までの時間を短くすることができる。

本発明の実施の形態１の情報提示装置を示すブロック図である。 情報提示装置が搭載された車両を示す概略図である。 左表示器及び右表示器の位置関係を示す図である。 車外撮像部を構成する広角カメラの撮像範囲と運転者の視野を示す図である。 図１の情報提示制御装置の構成例を示すブロック図である。 左表示器及び右表示器で表示される画像の視野角を示す図である。 撮像画像中で検出される障害物、及び当該障害物を内包する矩形の領域の一例を示す図である。 実施の形態１の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 表示装置の変形例を示す概略図である。 本発明の実施の形態２の情報提示装置を示すブロック図である。 図１０の情報提示制御装置の構成例を示すブロック図である。 本発明の実施の形態３で用いられる情報提示制御装置の構成例を示すブロック図である。 実施の形態３の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 狭い道路を走行中の車両を示す概略図である。 本発明の実施の形態４の情報提示装置を示すブロック図である。 図１５の情報提示制御装置の構成例を示すブロック図である。 本発明の実施の形態５で用いられる情報提示制御装置を示すブロック図である。 （ａ）及び（ｂ）は、障害物の危険度の判定方法の一例を示す図である。 実施の形態５の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 車外撮像部のカメラの配置の変形例を示す図である。 車外撮像部のカメラの配置の変形例を示す図である。 車外撮像部のカメラの配置の変形例を示す図である。 実施の形態１〜５で用いられる情報提示制御装置の諸機能を実現する１つのプロセッサを備えたコンピュータの構成例を示すブロック図である。

以下、添付の図面を参照して本発明の実施の形態を説明する。

実施の形態１．
図１は、本発明の実施の形態１の情報提示装置１の構成例を示すブロック図である。
図示の情報提示装置１は、例えば図２に示されるように、車両１０２に搭載されるものであり、車外撮像部２と、車内撮像部３と、情報提示制御装置４と、表示装置５とを有する。

表示装置５は、左表示手段としての左表示器５Ｌと、右表示手段としての右表示器５Ｒとを含む。例えば、図３に示すように、車両の右側にある運転席に、前方ＦＷを向いて着座している運転者Ｕの視点Ｕｅから見て、左表示器５Ｌは左側に配置されており、右表示器５Ｒは右側に配置されている。

車外撮像部２は、車両１０２の周辺を撮像し、車外画像Ｄａを生成して出力する。
車外撮像部２は、図４に示される広角カメラ２ａを含む。広角カメラ２ａは、車両１０２に取り付けられ、車外を撮像する。広角カメラ２ａは例えば車両１０２の前端部１０４に設置されている。図示の例では、広角カメラ２ａは車両の幅方向の中央部に設けられている。
広角カメラ２ａの水平方向の視野角θａが１８０度以上であるのが望ましい。

図４では、車両１０２が、狭くて両側に視界を遮る側壁などの建造物１１４等がある道路１１２から交差点１１６に進入しようとしている。この場合、運転者Ｕにとって、視点Ｕｅと、建造物１１４の突端部１１４ａ、１１４ｂとを結ぶ直線Ｕｖａ、Ｕｖｂの集合で画定される視認可能範囲の外側に位置する範囲αＬ、αＲが見えない又は見えにくい範囲である。ここで、「見えにくい範囲」とは、運転者が大きく姿勢を変えるなどしないと見えない範囲である。見えにくい範囲は、通常の姿勢では見えない範囲であるので、その意味で見えない範囲、或いは死角の範囲であるとも言える。

カメラ２ａの視野角θａには、上記の見えない又は見えにくい範囲αＬ、αＲの少なくとも一部が含まれる。従って、カメラ２ａによる撮像画像は、上記の見えない又は見えにくい範囲の障害物が含まれる。

上記の例は、交差点に進入する場合であるが、建物内の駐車場から道路に進入する場合にも同様の問題がある。

車内撮像部３は、車両の内部、特に運転者の顔及びその周辺を撮像して、車内画像Ｄｂを生成して出力する。

車内撮像部３は、運転者の顔及びその周辺を撮像可能なように設置されたカメラ（図示しない）を含む。
カメラとして、車両の内部が暗くても撮像が可能なように、赤外線センサを備えたものを用いても良い。赤外線センサとともに赤外線照射器をさらに備えたものを用いても良い。

情報提示制御装置４は、車外画像Ｄａ及び車内画像Ｄｂに基づいて、表示装置５での画像の表示を制御する。

情報提示制御装置４は、例えば、図５に示すように、画像補正部４１と、画像認識部４２と、視線情報取得部４３と、強調判定部４４と、表示制御部４５とを有する。

画像補正部４１は、車外撮像部２から入力された車外画像Ｄａから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像ＦＬ及び右補正画像ＦＲとして出力する。

左画像及び右画像はそれぞれ例えば図６における視野角βＬ及びβＲの画像である。
視野角βＬは、正面方向よりも左向きの方向を中心とする角度範囲である。
視野角βＲは、正面方向よりも右向きの方向を中心とする角度範囲である。
視野角βＬには、見えない又は見えにくい範囲αＬの少なくとも一部が含まれ、視野角βＲには、見えない又は見えにくい範囲αＲの少なくとも一部が含まれる。

左画像及び右画像は、広角レンズでの撮像で得られた画像であるので、歪みがあって、人には見にくく、また画像認識部４２による画像認識処理がしにくい。そこで、この歪みを除いて、見やすい画像にするのが歪補正である。

画像認識部４２は、左補正画像ＦＬ及び右補正画像ＦＲの各々につき画像認識を行い、画像中の１又は２以上の障害物を認識し、障害物認識結果を示す障害物情報を生成して出力する。画像認識には公知の種々のアルゴリズムを用いることができる。
ここでいう障害物は、運転上衝突を避ける必要のある他の車両、歩行者などである。車両には自動車及び自転車が含まれる。
他の車両との区別のため情報提示装置１が搭載されている車両１０２を「自車両」と言うことがある。

障害物情報には、各障害物の種類を示す情報、当該障害物の画像内における位置を示す情報、及び当該障害物の画像内におけるサイズを示す情報が含まれる。

画像内における障害物の位置は、図７に示すように、画像の基準点、例えば、左上隅を原点とする、障害物の代表点の位置の二次元座標（ｘ,ｙ）で表される。ここで言う代表点は、例えば障害物を内包する矩形の領域の左上隅である。

各障害物を内包する矩形の領域は、画像中における当該障害物の最も下に位置する点を通過する水平方向の線分、最も上に位置する点を通過する水平方向の線分、最も左に位置する点を通過する垂直方向の線分、及び最も右に位置する点を通過する垂直方向の線分を辺とする矩形の領域である。
例えば、図７に示すように、画像中に障害物ＢＪを認識した場合、それを内包する矩形の領域ＢＲを検出する。

障害物のサイズを示す情報は、矩形の領域ＢＲの幅ｗ及び高さｈを示す情報であっても良い。代わりに、矩形の領域ＢＲの左上隅の座標及び右下隅の座標を、サイズを示す情報として用いても良い。

視線情報取得部４３は、車内画像Ｄｂに対して顔検出及び顔特徴検出を行い、視線の方向を検出し、視線の方向を示す視線情報を生成して出力する。顔検出、顔特徴検出、及びこれらの検出結果に基づく視線の方向の検出には、公知の種々の方法を用いることができる。

強調判定部４４は、画像認識部４２からの障害物情報と、視線情報取得部４３からの視線情報とに基づいて、左表示器５Ｌ及び右表示器５Ｒの各々における表示に関する決定を行う。
表示に関する決定は、表示が必要か否かの決定、及び強調処理に関する決定を含む。強調処理に関する決定は、強調処理が必要か否かの決定及び強調レベルの決定を含む。

強調処理は、画像中の障害物が目立つようにする処理である。強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ａ１） 障害物を目立つ色の線で囲む。
（ａ２） 障害物を囲む枠線を点滅させる。
（ａ３） 障害物周辺の輝度を上げる。
（ａ４） 障害物以外の画像をぼかす、消す、輝度を下げる。

本実施の形態では、強調処理は異なるレベルで行われる。
強調レベルをより高くする方法としては、以下の方法を用い得る。
（ｂ１） 強調が方法（ａ１）で行われる場合、枠線の色をより目立つものにする。
例えば、赤色はオレンジ色よりもより目立つ色として用いることができる。
（ｂ２） 強調が方法（ａ２）で行われる場合、枠線の点滅の周期を短くする。
（ｂ３） 強調が方法（ａ３）で行われる場合、障害物周辺の輝度をより高くする。
（ｂ４） 強調が方法（ａ４）で行われる場合、画像をぼやかす、消す、輝度を下げる程度をより大きくする。

また、方法（ａ１）〜（ａ４）のうちいずれかをあるレベルの強調処理として用い、別のものをそれとは異なるレベルの強調処理で用いることとしても良い。

上記のように、強調判定部４４が行う表示に関する決定には、表示器の各々における表示が必要か否かの決定及び強調レベルの決定が含まれる。
図８は、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。

図８において、条件１Ａ〜１Ｄは、左補正画像ＦＬ内に障害物があるか否かの判定の結果と視線が左向きであるか否か判定の結果の組合せ、即ち全部で４つの場合に対応する。図８には、それぞれの場合における左表示器５Ｌにおける表示の要否、及び強調レベルが示されている。

条件１Ａでは、左側に障害物がなく、運転者の視線は左側に向けられていない。条件１Ａが満たされた場合には、表示は不要と判断する。この結果、左表示器５Ｌでは、画像ＦＬ又はこれを元にして生成された画像の表示は行われず、或いは表示の輝度が大幅に低くされる。

条件１Ｂでは、左側に障害物がなく、運転者の視線は左側に向けられている。条件１Ｂが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル０」で示す。

条件１Ｃでは、左側に障害物があり、運転者の視線は左側に向けられていない。条件１Ｃが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。

条件１Ｄでは、左側に障害物があり、運転者の視線は左側に向けられている。条件１Ｄが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。

強調のレベルは、条件１Ｄの場合よりも条件１Ｃの場合により高くする。図示の例では、条件１Ｄの場合には、強調レベルを１にするのに対し、条件１Ｃの場合には、強調レベルを２にしている。
これは、条件１Ｄの場合には、運転者が障害物に気付いている可能性が大きいのに対し、条件１Ｃの場合には、運転者が気付いていない可能性が大きいからである。
強調レベルをより高くすることにより、画像中の障害物がより目立つものとなり、運転者が障害物に気付くのを早めることが可能となる。

以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。

左表示器５Ｌについての判定方法に関し、「視線が左向きである」と言うのは、視線が左向きである状態が連続的に維持されている場合に限定されず、短い時間の中断を伴っていても良い。例えば、左に向けられている状態と、短い時間だけ他の方向に向けられている状態とが交互に繰り返されていても良い。

従って、例えば、左に向けられている状態と右に向けられている状態が短時間ずつ交互に繰り返されている場合には、「左向きである」とともに「右向きである」という判断になる。
この場合、左表示器５Ｌ及び右表示器５Ｒの双方について表示が必要と判断される。
このようにするのは、短時間ずつ視線方向が切り替わるのは、運転者にとって見えない又は見えにくい範囲が大きく、直視での障害物の有無の確認が困難である状況にあると推定されるためである。

表示制御部４５は、強調判定部４４における決定の結果に基づいて、左表示器５Ｌ及び右表示器５Ｒの各々における表示の制御を行なう。表示の制御には、表示を行うかどうかの制御、及び強調処理に関する制御を含む。強調処理に関する制御は、強調処理を行うかどうかの制御及び強調レベルの制御を含む。

強調判定部４４で、左表示器５Ｌに関して表示が必要と判断されたときは、表示制御部４５は、左表示器５Ｌに画像の表示を行わせる。その場合、左補正画像ＦＬに対して、強調判定部４４で決定された強調レベルに応じた強調処理を施して左提示画像ＧＬを生成して、左表示器５Ｌに供給して表示を行わせる。
強調判定部４４で、左表示器５Ｌにおける表示が不要と判断されたときは、表示制御部４５は、左表示器５Ｌにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。

強調判定部４４で、右表示器５Ｒに関して表示が必要と判断されたときは、表示制御部４５は、右表示器５Ｒに画像の表示を行わせる。その場合、右補正画像ＦＲに対して、強調判定部４４で決定された強調レベルに応じた強調処理を施して右提示画像ＧＲを生成して、右表示器５Ｒに供給して表示を行わせる。
強調判定部４４で、右表示器５Ｒにおける表示が不要と判断されたときは、表示制御部４５は、右表示器５Ｒにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。

画像ＦＬ、ＦＲ、ＧＬ、ＧＲはいずれも撮像で得られた画像であるので、これらを単に撮像画像と呼ぶことがある。

左表示器５Ｌで左提示画像ＧＬが表示される場合、左方向の撮像画像（例えば、視野角βＬの画像）が表示されるので、左方向にある障害物の画像を左表示器５Ｌ上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αＬにあっても、当該障害物を表示画像で認識することができる。
同様に、右表示器５Ｒで右提示画像ＧＲが表示される場合、右方向の撮像画像（例えば、視野角βＲの画像）が表示されるので、右方向にある障害物の画像を右表示器５Ｒ上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αＲにあっても、当該障害物を表示画像で認識することができる。

上記の説明における表示に関する決定は、撮像画像、即ち、車外撮像部２による撮像で得られた画像の表示に関する決定である。即ち、表示が不要と判定したときには、表示を行わず、又は表示の輝度を大幅に低くする。
ここで、表示を行わないとは、撮像画像の表示を行わないという意味であり、撮像画像、即ち車外撮像部２による撮像で得られた画像の表示を行わないときには、他の画像を表示することとしても良い。

上記の図３では、車両１０２が右ハンドル車であり、運転者の視点Ｕｅの位置が車両１０２の右側にある場合を示す。車両１０２は左ハンドル車である場合には、運転者の視点Ｕｅが車両１０２の左側にあるが、上記の同様の制御を行ない得る。

上記の例では、表示装置５が左表示器５Ｌ及び右表示器５Ｒを備えている。代わりに表示装置として、図９に示すように１枚の横長の表示面５１を有し、表示面５１内の左側の表示領域５２Ｌと右側の表示領域５２Ｒに別個の画像を表示し得るものを用いても良い。
この場合は、左側の表示領域５２Ｌが左表示手段を構成し、右側の表示領域５２Ｒが右表示手段を構成する。

上記の例では、画像補正部４１が、車外撮像部２から入力された車外画像Ｄａから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像ＦＬ及び右補正画像ＦＲとして出力する。
カメラ２ａの機種によっては、左画像及び右画像を抽出し、歪補正を行った後の画像を出力する場合もある。その場合、画像補正部４１における抽出処理及び歪補正処理は省略可能である。即ち、画像補正部４１を省略しても良い。

上記の例では、表示装置が左表示手段及び右表示手段を有するが、表示装置５が３個以上の表示手段を有していても良い。

上記した実施の形態１によれば、各障害物を含む画像を、当該障害物の方向又はこれに近い方向にある表示手段に表示させるので、運転者にとって自然な動作で、障害物の画像を視認することができる。即ち、車両１０２の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するには、視線を移動させる必要がないので、画像の確認までに時間を短くすることができる。

また、表示手段に表示されている画像中の障害物が、当該表示手段と同じ方向に位置しているので、運転者は、当該障害物が存在する方向を直感的に把握することができる。

また、運転者の視線の方向に応じて、各表示手段での画像の表示が必要か否かの決定を行なうので、必要であるときは、障害物の表示を行って注意喚起を行い、不要であるときは表示を行わず又は表示輝度を下げることで不要な注意喚起をしないようにすることができる。

さらに、運転者の視線の方向に応じて、表示手段に表示される画像中の障害物に対する強調の制御を行なうので、必要の度合いに応じて強調のレベルを適切に変えることができる。例えば、運転者の視線が障害物とは異なる方向に向けられている場合、強調表示を行うことで障害物に対する注意を喚起し、障害物を認識させやすくすることができる。一方、運転者の視線が障害物の方向に向けられている場合、強調表示を行わず、或いは強調のレベルをより低くすることで、画像が過度に目立つことがないようにすることができる。

実施の形態２．
図１０は、本発明の実施の形態２の情報提示装置１ａの構成例を示すブロック図である。
図示の情報提示装置１ａは、図１の情報提示装置１と概して同じであるが、音声出力装置６と、表示灯７とが付加されており、情報提示制御装置４の代わりに、情報提示制御装置４ａを備えている。

音声出力装置６は、１又は２以上のスピーカを含む。
表示灯７は、例えば、１又は２以上の表示素子で構成されている。各表示素子はＬＥＤで構成されていても良い。
表示灯７は、例えばダッシュボード上に設けられていても良く、Ａピラー（前方のピラー）に設けられていても良い。

図１１は、図１０の情報提示制御装置４ａを示す。図示の情報提示制御装置４ａは、図５の情報提示制御装置４と概して同じであるが、音声出力制御部４６と、表示灯制御部４７とが付加されており、強調判定部４４の代わりに強調判定部４４ａが設けられている。

強調判定部４４ａは、実施の形態１の強調判定部４４と同様に、表示に関する決定を行うとともに、表示に関する決定に準じて、音声出力及び表示灯制御に関する決定を行う。

例えば、左表示器５Ｌ及び右表示器５Ｒの少なくとも一方における画像の表示に関して、表示が必要であり、強調が必要であり、強調レベルが予め定められた値以上とすべきであると決定した場合に、音声出力及び表示灯による注意喚起が必要と決定する。
強調レベルについての上記の予め定められた値は、表示に関する決定で用いられるレベルのうち最も高い値であっても良い。例えば、図８に示される例では強調レベル２が最も高い値である。
上記の予め定められた値とし強調レベル２を用いる場合、左表示器５Ｌについて、図８の条件１Ｃが満たされた場合又は右表示器５Ｒに同様の条件が満たされた場合に、注意喚起が必要と決定することになる。

音声出力制御部４６は、強調判定部４４ａにおける決定に従って、音声出力装置６に注意喚起のための音声を出力させる。具体的には、音声制御信号Ｓａを音声出力装置６に供給して音声を出力させる。
この音声は、警報音であっても良く、音声メッセージであっても良い。

例えば、左表示器５Ｌに関し、図８の条件１Ｃが満たされた場合、又は右表示器５Ｒに関し、図８の条件１Ｃと同様の条件が満たされた場合に、音声を出力させても良い。
左表示器５Ｌに関し、図８の条件１Ｃが満たされた場合には、「左側の車にご注意下さい」と言ったメッセージを出力させても良い。右表示器５Ｒに関し、図８の条件１Ｃと同様の条件が満たされた場合には、「右側の車にご注意下さい」と言ったメッセージを出力させても良い。

表示灯制御部４７は、強調判定部４４ａにおける決定に従って、表示灯７に注意喚起のための点灯、或いは点滅を行わせる。具体的には、表示灯駆動信号Ｓｂを表示灯７に供給して点灯又は点滅を行わせる。

なお、音声出力装置６として複数のスピーカを含むものを用いて、障害物のある方向から音声が聞こえるようにする制御を行なっても良い。このような制御は例えば音像制御によって実現し得る。

また、表示灯７を線状に配置された複数の表示素子の列で構成し、該列の一端から他端に順に点滅させることで、注意を向けるべき方向を示すこととしても良い。例えば、複数の表示素子の列を、水平方向に延びる列としておき、運転者の視線を左に誘導したいときは、右端から左端に順次点滅させ、運転者の視線を右に誘導したいときは、左端から右端に順次点滅させることとしても良い。

実施の形態３．
本発明の実施の形態３の情報提示装置の全体的構成は、実施の形態１に関し、図１を参照して説明したのと同様である。図１２は、実施の形態３の情報提示装置で用いられる情報提示制御装置４ｂの構成例を示すブロック図である。

図示の情報提示制御装置４ｂは、図５の情報提示制御装置４と概して同じであるが、図５の画像認識部４２及び強調判定部４４の代わりに、画像認識部４２ｂ及び強調判定部４４ｂが設けられている。

画像認識部４２ｂは、図５の画像認識部４２と同様に、障害物についての認識を行うだけでなく、自車両の周辺の状況に対する認識をも行い、認識結果を示す周辺状況情報を生成して出力する。自車両の周辺の状況に対する認識には、例えば自車両が交差点の付近にいるか否かについての判定結果が含まれる。

自車両の周辺の状況の認識には公知の種々のアルゴリズムを用い得る。
自車両が交差点の付近にいるか否かについては、画像中の信号機、道路標識、路面標示等に基づいて判断を行なっても良い。

強調判定部４４ｂは、障害物情報及び視線情報のみならず、周辺状況情報をも用いて表示に関する決定を行なう。

例えば、自車両が交差点の付近にいないと判断したときは、撮像画像の表示は不要と判断する。
自車両が交差点の付近にいる判断したときには、図８と同様に、障害物情報及び視線情報に基づいて表示に関する決定を行う。

図１３は、実施の形態３における、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。

条件３Ａでは、自車両が交差点の付近にいない。条件３Ａが満たされた場合には、表示は不要と判断する。即ち、自車両が交差点の付近にいない場合には、障害物の有無及び視線の方向に関わらず、左表示器５Ｌにおける表示は不要と判断する。

条件３Ｂ〜３Ｅは、自車両が交差点の付近にいる場合である。
条件３Ｂ〜３Ｅは、自車両が交差点の付近にいるという条件が付加されていることを除けば、図８の条件１Ａ〜１Ｄと同じであり、左表示器５Ｌにおける表示に関する決定（表示の要否及び強調レベル）も、条件１Ａ〜１Ｄの場合と同じである。

上記の例では、強調判定部４４ｂは、自車両が交差点の付近にいる場合には、その他の条件に基づく決定を実施の形態１の強調判定部４４と同様に行い、自車両が交差点の付近にいないときは、左表示器５Ｌにおける表示を不要と決定する。
即ち、自車両が交差点の付近にいるときは、注意喚起レベルを高くして、左表示器５Ｌにおける表示に関する決定を実施の形態１と同様に行う一方、自車両が交差点の付近にいないときは、注意喚起レベルを低くして、表示器における表示は不要と決定している。

以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。

上記の例では、交差点の付近か否かを判断しているが、交差点であっても見通しの良い交差点では、注意喚起レベルを高くする必要がないと考えることもできる。そこで、狭くて見通しの悪い道路から交差点に入ろうとしているか否かを判断し、判断結果をも考慮に入れて、表示に関する決定を行なっても良い。

例えば、図１４に示すように、自車両が側壁などの建造物１１４に挟まれた狭い道路１１２を一定時間以上走行しているか否かを判定し、判定結果を利用しても良い。即ち、そのような判定の結果がＹＥＳであり、かつ自車両が交差点１１６の付近にいることが検出された場合には、注意喚起レベルを上げることとしても良い。

代わりに、距離センサで自車両の側方にある側壁などの建造物１１４までの距離を測定し、測定結果を利用しても良い。即ち、建造物１１４までの距離が短く、かつ自車両が交差点１１６の付近にいることが検出された場合には注意喚起レベルを上げることとしても良い。

以上、自車両が交差点の付近にいる場合に注意喚起レベルを高くする例について説明したが、代わりに、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。

これらの場合、注意喚起レベルを高くした場合には、図１３の条件３Ｂ〜３Ｅによる表示に関する決定を行なうことになる。

上記した実施の形態３によれば、実施の形態１と同様の効果に加えて以下の効果が得られる。
即ち、画像認識部４２ｂで生成された周辺状況情報に基づいて表示に関する決定及び表示の制御を行なうので、表示の要否の判定及び強調レベルの決定などを、自車両の周辺の状況に応じて適切に行うことができる。

実施の形態４．
図１５は、本発明の実施の形態４における情報提示装置１ｃの構成例を示すブロック図である。

図示の情報提示装置１ｃは、図１の情報提示装置１と概して同じであるが、位置情報取得装置８及び地図情報データベース９が付加されており、情報提示制御装置４の代わりに、情報提示制御装置４ｃが設けられている。

位置情報取得装置８は、自車両の位置を示す位置情報Ｄｐを生成して出力する。代表的な例としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機が挙げられるが、どのような位置情報取得装置を用いても良い。

地図情報データベース９は、地図情報を記憶しているデータベースである。地図情報には、交差点に関する情報が含まれる。

図１６は、情報提示制御装置４ｃの構成例を示すブロック図である。
図示の情報提示制御装置４ｃは、図１２の情報提示制御装置４ｂと概して同じであるが、周辺状況認識部４８が付加されており、強調判定部４４ｂの代わりに強調判定部４４ｃを備える。

周辺状況認識部４８は、位置情報取得装置８から自車両の位置情報Ｄｐを取得し、地図情報データベース９から、自車両の周辺の地図情報Ｄｍを取得し、位置情報で示される位置の周辺の地図情報を参照することで、自車両の周辺の状況を認識し、認識結果を示す周辺状況情報を生成して出力する。周辺状況情報は、例えば、自車両が交差点の付近にいるか否かを示すものである。

図１６の強調判定部４４ｃは、図１２の強調判定部４４ｂと同様に、障害物情報、視線情報及び周辺状況情報に基づいて、表示に関する決定を行う。但し、図１２では、周辺状況情報が画像認識部４２ｂから供給されるのに対し、図１６では、周辺状況認識部４８から供給される。

障害物情報、視線情報及び周辺状況情報に基づく、表示に関する決定の方法は、実施の形態３に関し、図１３を参照して説明したのと同じである。

以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。

なお、地図情報に道路の広さを示す情報が含まれる場合には、そのような情報を併せて利用しても良い。例えば狭い道路から交差点に進入する場合に限り、注意喚起レベルを高くして、表示器における表示に関する決定を実施の形態１と同様に行う一方、それ以外のとき、即ち、自車両が交差点の付近にいないとき、或いは交差点の付近にいるが走行中の道路が広いときは、注意喚起レベルを低くして、表示器における表示は不要と判断しても良い。

また、周辺状況情報として、自車両が交差点の付近にいるか否かについての判定結果ではなく、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。

上記した実施の形態４によれば、実施の形態３と同様の効果が得られる。
また、位置情報と地図情報から周辺状況情報を生成しているので、撮像画像に基づく認識が困難である場合にも、周辺の状況を正しく認識することが可能である。

実施の形態３では、自車両が交差点の付近にいるか否の判断に画像認識部４２ｂによる認識結果を用いており、実施の形態４では、自車両が交差点の付近にいるか否の判断に、地図情報データベース９からの地図情報を用いているが、これらの代わりに、或いはこれらとともに、自車両の速度及び運転者によるウィンカーの操作の少なくとも一方に基づいて自車両が交差点にいるかの判断を行なっても良い。

実施の形態５．
本発明の実施の形態５の情報提示装置の全体的構成は、実施の形態１に関し、図１を参照して説明したのと同様である。図１７は、実施の形態５の情報提示装置で用いられる情報提示制御装置４ｄの構成例を示すブロック図である。

図示の情報提示制御装置４ｄは、図５の情報提示制御装置４と概して同じであるが、危険度判定部４９が付加されており、図５の強調判定部４４の代わりに、強調判定部４４ｄが設けられている。

危険度判定部４９は、画像認識部４２からの障害物情報に基づいて、障害物の危険度を判定し、判定結果を示す危険度情報を生成して出力する。

例えば、画像内における障害物の位置に基づいて危険度を判定することとしても良い。
例えば左補正画像ＦＬについて、図１８（ａ）に示すように、画像のうちの左端に近い部分ＦＬａを危険度の比較的高い領域と指定し、残りの部分ＦＬｂを危険度の比較的低い領域と指定する。そして、領域ＦＬａ内にある障害物は危険度が高いと判定する。このように判定するのは、領域ＦＬａ内にある障害物は自車両により近い位置にあるためである。

同様に、右補正画像ＦＲについて、図１８（ｂ）に示すように、画像のうちの右端に近い部分ＦＲａを危険度の比較的高い領域と指定し、残りの部分ＦＲｂを危険度の比較的低い領域と指定する。そして、領域ＦＲａ内にある障害物は危険度が高いと判定する。このように判定するのは、領域ＦＲａ内にある障害物は自車両により近い位置にあるためである。

なお、障害物の種類によって移動速度が異なるため、領域ＦＬａ、ＦＲａの位置、広さを切り替えても良い。例えば、障害物の種類を判定し、判定結果に応じて、上記の切り替えを行なっても良い。

強調判定部４４ｄは、実施の形態１の強調判定部４４の説明で示した障害物情報及び視線情報に加えて、上記した危険度情報をも用いて表示に関する決定を行う。
画像内に複数の障害物がある場合、最も危険度の高い障害物の危険度に基づいて表示に関する決定を行うこととしても良い。

図１９に、実施の形態５における、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。

条件５Ａでは、左側に障害物がなく、運転者の視線が左側に向けられていない。条件５Ａが満たされた場合には、表示は不要と判断する。

条件５Ｂでは、左側に障害物がなく、運転者の視線が左側に向けられている。条件５Ｂが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル０」で示す。

条件５Ｃでは、左側に障害物があり、その危険度は低い。条件５Ｃが満たされた場合には、視線の方向に関わらず、表示が必要と判断し、強調レベルを１とする。

条件５Ｄでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられていない。条件５Ｄが満たされた場合には、表示が必要と判断し、強調レベルを３とする。

条件５Ｅでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられている。条件５Ｅが満たされた場合には、表示が必要と判断し、強調レベルを２とする。

条件５Ｃの場合と、条件５Ｄの場合と、条件５Ｅの場合との比較から分かるように、同じく表示が必要と判断する場合でも危険度に応じて強調レベルを変えている。即ち、危険度が高いほど、強調レベルを高くしている。このようにすることで、障害物の危険度が高いほど、運転者により早く認識させることが可能となる。

条件５Ｄの場合と、条件５Ｅの場合との比較から分かるように、同じく危険度の高い障害物が左側にあっても、運転者の視線の方向に応じて強調レベルを変えている。例えば、運転者の視線の方向が左向きでなければ、強調レベルをより高くしている。
このようにするのは、視線の方向が左向きでなければ、運転者が左側の障害物に気付いていない可能性が大きく、強調レベルをより高くすることで、運転者が左側の障害物に気付くのを早くすることが望ましいからである。

なお、ここで示した強調レベル０〜３は、実施の形態１、３で示した強調レベル０〜２に対して、レベルの数を増やしたものである。

以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。

上記の例では、画像内の障害物の位置に基づいて危険度を判定している。このため比較的簡単な処理で危険度を判定することが可能である。

上記の例では、危険度が比較的高いかどうかを判定している。危険度をその高さに応じて３以上の段階に区分けしてそのいずれであるかに応じて表示に関する決定を行なっても良い。

危険度の判定を上記の方法以外の方法で行っても良い。例えば、自車両と障害物との相対速度に基づいて危険度の判定を行なっても良い。

例えば、他のセンサの結果を利用して危険度の判定を行なってもよい。
また、実施の形態３及び実施の形態４と同様に、自車両が交差点の付近にいるか否かの判定を行ない、判定結果に基づいて危険度の判定を行なっても良い。例えば、交差点の付近にいる場合には、危険度がより高いと判断しても良い。

上記した実施の形態５によれば、実施の形態１と同様の効果に加えて以下の効果が得られる。
即ち、危険度情報に基づいて表示に関する決定を行うので、危険度に応じて適切に表示の制御を行うことができる。
例えば、認識した障害物の危険度が高いときは、表示を行うとともに、危険度に応じた強調レベルで強調を行うことができる。一方、危険度が低い場合には、表示を行わず又は表示輝度を大幅に下げることとし、或いは、低い強調レベルで表示を行うことができる。即ち、必要に応じて表示及び強調を行うとともに、不要なときには過度の注意喚起をしないようにすることができる。

実施の形態１〜５においては、車外撮像部のカメラとして車両１０２の前端部であって、幅方向の中央部に広角カメラ２ａが設置されている。
この点は必須ではなく、要するに、図６に示したように、運転者に見えない又は見えにくい方向を撮像できれば良い。即ち、車外撮像部に含まれるカメラの配置、個数に制約はない。

例えば、図２０に示すように車両１０２の前端部の左側の部分１０４Ｌ及び右側の部分１０４Ｒに１台ずつ広角ではないカメラ２ｂ、２ｃを設置することとしても良い。図２０に示す例では、カメラ２ｂは、左前方を中心とする視野角θｂの範囲を撮像し、カメラ２ｃは、右前方を中心とする視野角θｃの範囲を撮像する。視野角θｂ、θｃは例えば９０度である。

広角ではないカメラを用いる場合には、画像補正部４１において歪補正を行う必要がない。また２台のカメラからそれぞれの撮像画像が得られる場合には、画像補正部４１では、左画像、右画像の抽出を行う必要がない。

また、図２１に示すように、車両１０２の前端部の左側の部分１０４Ｌに設置された第１のカメラ２ｄで右前方を中心とする視野角θｄの範囲を撮像し、車両１０２の前端部の右側の部分１０４Ｒに設置された第２のカメラ２ｅで左前方を中心とする視野角θｅの範囲を撮像することで、車両１０２の一部が各カメラの撮像範囲に入るようにしても良い。

即ち、車外撮像部２は、車両１０２の前端部の左側の部分１０４Ｌに設置された第１のカメラ２ｄと、車両１０２の前端部の右側の部分１０４Ｒに設置された第２のカメラ２ｅとを含み、第１のカメラ２ｄの視野角θｄが、車両１０２の前方から右横方向までの範囲を含み、第２のカメラ２ｅの視野角θｅが、車両１０２の前方から左横方向までの範囲を含み、第１のカメラ２ｄの撮像範囲に、車両１０２の一部、例えば、前端部の右側部分の少なくとも一部が含まれ、第２のカメラ２ｅの撮像範囲に、車両１０２の一部、例えば、前端部の左側部分の少なくとも一部が含まれるものであっても良い。

このようにカメラ２ｄ、２ｅの各々の撮像範囲に車両１０２の一部が入るようにすれば、運転者にとって撮像範囲の範囲が把握しやくなり、撮像画像中の位置と実空間の位置との対応付けが容易になるという利点がある。

さらにまた、図２２に示すように、車両１０２の左側の部分１０５Ｌと右側の部分１０５Ｒに広角カメラ２ｆ、２ｇを配置し、各カメラで車両１０２の前方だけでなく車両１０２の後方をも撮像できるようにしても良い。図示の例では、カメラ２ｆ、２ｇが車両の前端部の左側の部分の前端部と右側の部分の前端部に配置されているが、左側、右側であればどこでもよく、例えば後方であっても良い。後方に配置することとすれば、後進の際に有効である。

即ち、車外撮像部２が、車両１０２の左側の部分１０４Ｌに設置された第１の広角カメラ２ｆと、車両１０２の右側の部分１０４Ｒに設置された第２の広角カメラ２ｇとを含み、第１の広角カメラ２ｆは、左側方を中心とする視野角θｆの範囲を撮像し、第２の広角カメラ２ｇは、右側方を中心とする視野角θｇの範囲を撮像し、視野角θｆ及び視野角θｇは、ともに１８０度以上であって、第１の広角カメラ２ｆの撮像範囲に、車両１０２の左側方、前方及び後方が含まれ、第２の広角カメラ２ｇの撮像範囲に、車両１０２の右側方、前方及び後方が含まれるものであっても良い。

このような構成であれば、車両１０２の左右の広い範囲につき撮像画像が得られるので、広い範囲の障害物に対する注意喚起が可能となる。

実施の形態１について説明した変形は、実施の形態２〜５に対して加えることができる。
また、実施の形態２を実施の形態１に対する変形として説明したが、実施の形態３〜５に対しても同様の変形を加えることができる。

上記の情報提示制御装置４、４ａ、４ｂ、４ｃ及び４ｄの各々は、１又は２以上の処理回路により構成される。
各処理回路は、専用のハードウェアで構成されていても良く、プロセッサとプログラムメモリとで構成されていても良い。

専用のハードウェアで構成されている場合、各処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせであっても良い。

プロセッサとプログラムメモリとで構成される場合、各処理回路は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現されていても良い。ソフトウェア又はファームウェアはプログラムとして記述され、プログラムメモリに格納される。プロセッサは、プログラムメモリに記憶されたプログラムを読み出して実行することにより、各処理回路の機能を実現する。

ここで、プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）と呼ばれるものであっても良い。
プログラムメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

情報提示制御装置４、４ａ、４ｂ、４ｃ及び４ｄの諸機能は、その一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上記の各機能を実現することができる。

図２３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄの諸機能を実現する１つのプロセッサを含むコンピュータを示す。
図示のコンピュータは、プロセッサ９４１、メモリ９４２、不揮発性記憶装置９４３、車外撮像部インタフェース９４４、車内撮像部インタフェース９４５、左表示器インタフェース９４６、及び右表示器インタフェース９４７を備えている。
不揮発性記憶装置９４３は、プロセッサ９４１が実行するプログラムを記憶している。
プロセッサ９４１は、不揮発性記憶装置９４３に記憶されているプログラムを読み出して、メモリ９４２に保存し、実行する。

車外撮像部インタフェース９４４は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと車外撮像部２との間のインタフェースであり、車外撮像部２から情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄへ出力される画像情報を中継する。

車内撮像部インタフェース９４５は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと車内撮像部３との間のインタフェースであり、車内撮像部３から情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄへ出力される画像情報を中継する。

左表示器インタフェース９４６及び右表示器インタフェース９４７は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと左表示器５Ｌ及び右表示器５Ｒとの間のインタフェースであり、それぞれ情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄから左表示器５Ｌ及び右表示器５Ｒに出力される画像を中継する。

図２３の車外撮像部２、車内撮像部３、左表示器５Ｌ及び右表示器５Ｒは、図１に示したものと同じであっても良い。

不揮発性記憶装置９４３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄにおける処理で用いられる情報をも記憶する。例えば不揮発性記憶装置９４３には、画像補正部４１における画像補正、及び画像認識部４２又は４２ｂにおける画像認識、及び強調判定部４４、４４ａ、４４ｂ又は４４ｄにおける強調判定等に使用されるパラメータ情報を記憶する。
不揮発性記憶装置９４３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄとは独立して設けられた記憶装置であってもよい。例えば、不揮発性記憶装置９４３として、クラウド上に存在する記憶装置を利用してもよい。

不揮発性記憶装置９４３は、実施の形態４の地図情報データベース９を兼ねていても良く、地図情報データベースとして別個の記憶装置又は記憶媒体が設けられていても良い。

以上、本発明に係る情報提示制御装置について説明したが、情報提示制御装置で実施される情報提示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。

２ 車外撮像部、 ２ａ〜２ｇ カメラ、 ３ 車内撮像部、 ４，４ａ，４ｂ，４ｃ，４ｄ 情報提示制御装置、 ５Ｌ 左表示器、 ５Ｒ 右表示器、 ６ 音声出力装置、 ７ 表示灯、 ８ 位置情報取得装置、 ９ 地図情報データベース、 ４１ 画像補正部、 ４２，４２ｂ 画像認識部、 ４３ 視線情報取得部、 ４４，４４ａ，４４ｂ，４４ｄ 強調判定部、 ４５ 表示制御部、 ４６ 音声出力制御部、 ４７ 表示灯制御部、 ４８ 周辺状況認識部、 ４９ 危険度判定部、 ９４１ プロセッサ、 ９４２ メモリ、 ９４３ 不揮発性記憶装置、 ９４４ 車外撮像部インタフェース、 ９４５ 車内撮像部インタフェース、 ９４６ 左表示器インタフェース、 ９４７ 右表示器インタフェース。

Claims (15)

1. 車両の周辺を撮像し、車外画像を生成する車外撮像部と、
   前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
   複数の表示手段を有する表示装置と、
   前記車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数の表示手段の各々における表示を制御する情報提示制御装置とを備え、
   前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
   前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
   前記情報提示制御装置は、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
   ことを特徴とする情報提示装置。
2. 前記情報提示制御装置は、前記表示に関する決定において、表示が不要と決定したときは、当該障害物を含む画像の、当該表示手段での表示をさせず、又は表示の輝度を低くする
   ことを特徴とする請求項１に記載の情報提示装置。
3. 前記情報提示制御装置は、前記車両の周辺の状況を認識して、周辺状況情報を生成し、
   前記障害物情報及び前記視線情報のみならず、前記周辺状況情報にも基づいて、前記表示に関する決定を行なう
   ことを特徴とする請求項１又は２に記載の情報提示装置。
4. 前記情報提示制御装置は、前記車外画像から前記周辺の状況を認識する
   ことを特徴とする請求項３に記載の情報提示装置。
5. 前記車両の位置を示す位置情報を取得する位置情報取得装置と、
   地図情報を格納した地図情報データベースとをさらに有し、
   前記情報提示制御装置は、前記位置情報で表される位置の周辺の地図情報を参照することで前記周辺の状況を認識する
   ことを特徴とする請求項３に記載の情報提示装置。
6. 前記情報提示制御装置は、前記車外画像中の障害物の各々について危険度を検出して危険度情報を生成し、
   前記障害物情報及び前記視線情報のみならず、前記危険度情報にも基づいて、前記表示に関する決定を行う
   ことを特徴とする請求項１から５のいずれか１項に記載の情報提示装置。
7. 前記車外撮像部は、前記車両の前端部に設置された広角カメラを含む
   ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
8. 前記車外撮像部は、
   前記車両の前端部の左側の部分に設置された第１のカメラと、
   前記車両の前端部の右側の部分に設置された第２のカメラとを含み、
   前記第１のカメラが、車両の前方から右横方向までの範囲を撮像し、
   前記第２のカメラが、車両の前方から左横方向までの範囲を撮像し、
   前記第１のカメラの撮像範囲に、前記車両の前端部の右側部分の少なくとも一部が含まれ、
   前記第２のカメラの撮像範囲に、前記車両の前端部の左側部分の少なくとも一部が含まれる
   ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
9. 前記車外撮像部は、
   前記車両の左側の部分に設置された第１の広角カメラと、
   前記車両の右側の部分に設置された第２の広角カメラとを含み、
   前記第１の広角カメラの撮像範囲に、前記車両の左側方、前方及び後方が含まれ、
   前記第２の広角カメラの撮像範囲に、前記車両の右側方、前方及び後方が含まれる
   ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
10. 前記表示装置は、運転者から見て左前方に配置された第１の表示器と、運転者から見て右前方に配置された第２の表示器とを含む
    ことを特徴とする請求項１から９のいずれか１項に記載の情報提示装置。
11. 前記表示装置は、運転者から見て左前方に配置された第１の表示領域と、運転者から見て右前方に配置された第２の表示領域とを含む表示面を有する
    ことを特徴とする請求項１から９のいずれか１項に記載の情報提示装置。
12. さらに音声出力装置を有し、
    前記情報提示制御装置は、認識された障害物に対する注意喚起のための音声を、前記音声出力装置に出力させる
    ことを特徴とする請求項１から１１のいずれか１項に記載の情報提示装置。
13. 車両の周辺を撮像することで生成した車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、
    前記車両の内部を撮像することで生成した車内画像から、運転者の視線の方向を表す視線情報を生成し、
    前記障害物情報と前記視線情報とに基づいて、複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数の表示手段の各々における表示を制御する情報提示制御方法であって、
    前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
    前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
    認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
    ことを特徴とする情報提示制御方法。
14. 請求項１３に記載の情報提示制御方法における処理をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読取可能な記録媒体。

Images