JP5294756B2 - 車両周囲画像提供装置および車両周囲画像提供方法 - Google Patents

Description

本発明は、車両周囲画像提供装置および車両周囲画像提供方法に関し、特に、車両周囲に検出した障害物の画像を提供する装置に用いて好適なものである。

近年、交通事故を未然に防ぐための先進安全システムの開発・実用化が積極的に行われている。その技術の１つに、車両周囲に存在する障害物を検出して運転者に警告するシステムがある。この種の車両周囲障害物警告システムでは、例えば、車両前方をカメラで撮影し、その撮影画像をセンターコンソール等に配置されたディスプレイに表示する。そして、当該撮影画像を処理して歩行者等の障害物を検出した場合に、検出した障害物の画像位置に枠線を付すなどの強調表示を行うことにより運転者に警告をしていた。

ところが、従来の車両周囲障害物警告システムは、強調表示はしているものの、カメラにより撮影された車両周囲の画像を単純にディスプレイに表示しているに過ぎない。このため、ディスプレイ上に強調表示されている障害物を実際に目視で確認するために、運転者は何度か視線を変えて、ディスプレイ上の表示画像と窓から見える周囲の実風景との照合を行う必要があった。

これに対して、運転者の視点位置から液晶ディスプレイの設置領域が透過して車外が見えた場合と同じ映像を液晶ディスプレイに表示（以下、これをシースルー表示と呼ぶ）するようにした技術が提案されている（例えば、特許文献１を参照）。この技術によれば、液晶ディスプレイに表示される映像とその周囲の窓などを通して見える実風景とが連続的に見えることとなり、死角となる車両周囲映像を運転者に提供するにあたり運転者の違和感を軽減することができる。
特開２００７−９６６３８号公報

しかしながら、上記特許文献１に記載の従来技術では、運転席から見て斜め前方に位置するＡピラー、運転席と助手席との間に位置するセンターコンソール、または、運転席から見て斜め後方に位置するＣピラーの何れかにディスプレイが設置される。これら設置位置は、運転者の死角となる位置である。このため、限られた方向の車外に存在する障害物しかディスプレイに表示することができないという問題がある。

また、上記特許文献１に記載の従来技術では、ディスプレイの配置された方向に障害物が存在するか否かによらず、カメラにより撮影された画像を常にディスプレイにシースルー表示している。すなわち、車両周囲の景色が画像として常にディスプレイに表示されている。このため、景色の中に障害物の画像が写り込んでも、運転者がそれを景色の一部と認識して障害物の存在に気付かないことがあるという問題もある。

本発明は、このような問題を解決するために成されたものであり、車両前方の広範囲において検出した障害物をディスプレイにシースルー表示できるようにすることを目的とする。
また、本発明は、車両前方における障害物の存在をシースルー表示によって運転者に強く印象付けることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、車両のダッシュボード上で運転席側から助手席側にかけて、１または複数のディスプレイを配置する。また、カメラにより撮影された車両周囲画像を処理して、車両周囲画像の一部に設定した表示対象領域内に障害物が存在するか否かを検出する。そして、障害物の存在が検出された場合に、車両周囲画像のうち表示対象領域の中から、障害物が写っている領域を含む所定範囲を規定する障害物領域の画像を切り出し、どの座標の画像を１または複数のディスプレイのどの座標に表示するかの対応関係を表した座標対応テーブルにより指定されるディスプレイの対応座標領域に上記切出した画像を表示させるようにしている。

上記のように構成した本発明によれば、カメラにより撮影された車両周囲画像の表示対象領域内で障害物が写っている位置に応じて、車両のダッシュボード上で運転席側から助手席側にかけて広範囲に設置された１または複数のディスプレイのうち、何れかのディスプレイの対応座標領域に障害物領域の画像が表示されることとなる。ここで、カメラの設置位置、ディスプレイの設置位置および運転者の仮想的な視点位置に基づいて、運転者の視点位置からディスプレイの設置領域が透過して車外が見えた場合と同じ画像をディスプレイに表示するシースルー表示状態となるように座標対応テーブルをあらかじめ設定しておけば、何れかのディスプレイの対応座標領域に表示される障害物を含む画像と、そのディスプレイの周囲の窓を通して見える実風景とが運転者から連続的に見えるようになる。

本発明では、ダッシュボード上で運転席側から助手席側にかけて広範囲に設置されたディスプレイに対して障害物領域の画像を表示しているので、車両前方の広範囲において検出した障害物をシースルー表示することができる。また、本発明によれば、障害物が検出された場合に、車両周囲画像のうち表示対象領域の中から、その障害物を含む所定領域の画像が切り出されてディスプレイに表示されるので、障害物が検出されたときのディスプレイの表示状態が、障害物が検出されていないときのディスプレイの表示状態と比べて大きく変化する。これにより、車両前方における障害物の存在をシースルー表示によって運転者に強く印象付けることができるようになる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周囲画像提供装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態による車両周囲画像提供装置１０は、テーブル情報記憶部１１、画像入力部１２、障害物検出部１３、画像切り出し部１４、歪み補正部１５および表示制御部１６を備えて構成されている。画像入力部１２はカメラ１００に接続され、表示制御部１６はディスプレイ２００に接続されている。また、表示制御部１６には他画像生成装置３００が接続されている。

カメラ１００は、車両の前方に設置され、自車周辺の前方領域を撮影する。カメラ１００の設置位置は、車両の幅方向中央付近の位置であっても良いし、運転席寄りあるいは助手席寄りの位置であっても良い。本実施形態において、カメラ１００は魚眼レンズ等の超広角レンズを備え、自車周辺の前方領域を広範囲に撮影するものとする。魚眼レンズを使用しているため、カメラ１００により撮影される画像は、撮影範囲の周囲が丸く歪んだものとなる。

ディスプレイ２００は、車両のダッシュボード上で運転席側から助手席側にかけて配置された１つの表示装置（例えば、液晶ディスプレイ）であり、カメラ１００により撮影された車両周囲画像（具体的には、その一部）などを表示する。図２は、ディスプレイ２００の設置例を示す図である。図２に示すように、ディスプレイ２００は、車両のフロントウィンドウ下で、ダッシュボードの運転席正面から助手席正面までを広範囲につなぐインストルメントパネル（インパネ）に設けられた液晶ディスプレイである（以下、インパネディスプレイ２００と称する）。

他画像生成装置３００は、インパネディスプレイ２００に表示する他画像、すなわち、カメラ１００による撮影画像以外の画像を生成する装置である。他画像生成装置３００は、例えば、スピードメータ、タコメータ、燃料計、水温計、距離計など、自動車の走行に必要な情報を指し示す計器類の画像を生成する。あるいは、他画像生成装置３００は、車両の走行案内を行う際に必要なナビゲーション画像や走行案内に関する様々なメニュー画像などを生成する。あるいは、他画像生成装置３００は、オーディオ再生を行う際に使用する様々なメニュー画像や再生状態を表す情報の画像などを生成する。すなわち、図１では単に１つのブロックとして示しているが、他画像生成装置３００は、計器類画像生成装置、ナビゲーション装置、オーディオ再生装置などを含む総称とする。

車両周囲画像提供装置１０の機能構成において、テーブル情報記憶部１１は、カメラ１００により撮影される車両周囲画像の一部に設定した表示対象領域内において、どの座標の画像をインパネディスプレイ２００のどの座標に表示するかの対応関係を表した座標対応テーブルをあらかじめ記憶した記録媒体である。ここに記憶する座標対応テーブルは、カメラ１００の設置位置、インパネディスプレイ２００の設置位置および運転者の仮想的な視点位置に基づいて、運転者の視点位置からインパネディスプレイ２００の設置領域が透過して車外が見えた場合と同じ画像をインパネディスプレイ２００に表示するシースルー表示状態となるように、表示対象領域内の各座標とインパネディスプレイ２００の各表示座標との対応関係があらかじめ設定されたものである。

図３は、カメラ１００により撮影される車両周囲画像の一部に設定した表示対象領域の例を示す図である。図３に示す車両周囲画像は、魚眼レンズを通してカメラ１００により撮影された歪みのある画像である。この車両周囲画像の全領域のうち、枠線ＤＡで示される領域が表示対象領域である。この表示対象領域ＤＡの全体は、インパネディスプレイ２００の全表示領域に対応する。すなわち、表示対象領域ＤＡ内の画像を全て座標対応テーブルに基づき座標変換して表示すると、インパネディスプレイ２００に表示対象領域ＤＡの画像がフル画面表示される関係となっている。

本実施形態では、図３に示すように、カメラ１００が設置されている車両の前方約５ｍの位置に人物が存在する場合に、その人物の胴体の一部が表示対象領域ＤＡに入るような位置に、表示対象領域ＤＡを設定している。約５ｍというのは、例えば駐車動作中の徐行運転時に、車両の間近に存在する歩行者等の障害物が撮影画像の一部に比較的大きく写り込む距離である。なお、５ｍという数字は単なる例示に過ぎず、これより短くても良いし、長くても良い。

画像入力部１２は、カメラ１００により撮影された車両周囲画像を入力する。障害物検出部１３は、画像入力部１２により入力された車両周囲画像を認識処理して、車両周囲画像の表示対象領域ＤＡ内に存在する障害物を検出する。例えば、障害物検出部１３は、画像入力部１２より入力した撮影画像に対してエッジ抽出処理を行い、抽出したエッジの形状と、あらかじめ登録してある障害物の形状とのパターンマッチングにより撮影画像内における障害物の存在を検出する。さらに、障害物検出部１３は、存在が確認された障害物の少なくとも一部が表示対象領域ＤＡ内に入っているか否かを検出する。なお、ここに挙げた処理は単なる例示であり、画像処理に基づく障害物の検出方法はこれに限定されない。障害物検出部１３は、表示対象領域ＤＡ内における障害物の存在の検出結果を画像切り出し部１４および表示制御部１６に通知する。

画像切り出し部１４は、障害物検出部１３により障害物が検出された場合に、画像入力部１２により入力された車両周囲画像（具体的には、当該車両周囲画像内の表示対象領域ＤＡ）から、障害物が存在する領域を含む所定の領域である障害物領域の画像を切り出す。図３には、表示対象領域ＤＡから切り出す障害物領域ＣＡも図示している。

図３に示す例では、障害物検出部１３により表示対象領域ＤＡ内で検出された障害物のエッジが内接する領域を障害物領域ＣＡとしている。具体的には、障害物検出部１３により検出された障害物の表示対象領域ＤＡ内に位置するエッジのうち、表示対象領域ＤＡの長手方向（インパネディスプレイ２００の左右方向に相当）に最も突出した部分のエッジ位置を障害物領域ＣＡの横幅方向の境界として設定する。一方、障害物領域ＣＡの縦幅方向の境界は常に、表示対象領域ＤＡの上下のエッジ位置に設定する。

歪み補正部１５は、画像切り出し部１４により切り出された障害物領域ＣＡの画像の魚眼レンズに起因する歪みを補正する。この歪み補正処理は、あらかじめ用意している内部パラメータを用いて行うものであり、公知の手法を適用することが可能である。

表示制御部１６は、他画像生成装置３００より出力された他画像および歪み補正部１５より出力された障害物領域ＣＡの画像をインパネディスプレイ２００に表示させる制御を行う。具体的には、表示制御部１６は、障害物検出部１３により障害物の存在が検出されない場合、つまり画像切り出し部１４により画像の切り出しが行われない場合には、他画像生成装置３００により生成された他画像をインパネディスプレイ２００に表示させる。一方、障害物検出部１３により障害物の存在が検出された場合には、他画像に代えて、歪み補正部１５より出力された障害物領域ＣＡの画像をインパネディスプレイ２００の対応座標領域に表示させる。

障害物領域ＣＡの画像をインパネディスプレイ２００に表示させる際、表示制御部１６は、テーブル情報記憶部１１に記憶されている座標対応テーブルを参照して、歪み補正部１５より出力された障害物領域ＣＡの画像を、座標対応テーブルにより指定されるインパネディスプレイ２００の対応座標領域に表示させる。図４は、インパネディスプレイ２００の対応座標領域に対する障害物領域ＣＡの画像の表示イメージを示す図である。図４に示すように、インパネディスプレイ２００には、他画像生成装置３００により生成された他画像に代えて、障害物領域ＣＡの画像のみが対応座標領域に表示されている。

次に、上記のように構成した車両周囲画像提供装置１０の動作を説明する。図５は、本実施形態による車両周囲画像提供装置１０の動作例を示すフローチャートである。図５において、まず画像入力部１２は、カメラ１００により撮影された車両周囲画像を入力する（ステップＳ１）。そして、障害物検出部１３は、画像入力部１２により入力された車両周囲画像を処理して、車両周囲画像の一部に設定した表示対象領域ＤＡ内に存在する障害物を検出する（ステップＳ２）。

障害物検出部１３は、画像認識処理の結果、表示対象領域ＤＡ内において障害物が検出されたか否かを判定する（ステップＳ３）。ここで、障害物の存在が検出されたと判定した場合、障害物検出部１３は、その旨を画像切り出し部１４および表示制御部１６に通知する。この通知を受けた画像切り出し部１４は、画像入力部１２により入力された車両周囲画像から、障害物が存在する領域を含む障害物領域ＣＡの画像を切り出す（ステップＳ４）。

障害物領域ＣＡの画像が切り出された場合、歪み補正部１５は、当該切り出された障害物領域ＣＡの画像に対して歪み補正処理を行う（ステップＳ５）。そして、表示制御部１６は、テーブル情報記憶部１１に記憶されている座標対応テーブルを参照して、歪み補正された障害物領域ＣＡの画像をインパネディスプレイ２００の対応座標領域に表示させる（ステップＳ６）。

最後に、車両周囲画像提供装置１０の全体を制御するコントローラ（図示せず）は、車両周囲画像の表示処理を終了するか否かを判定し（ステップＳ７）、終了しない場合はステップＳ１に戻る。車両周囲画像の表示処理を終了する場合とは、例えば、インパネディスプレイ２００の電源をオフにした場合や、車両のアクセサリーキーをオフにした場合などである。

上記ステップＳ３において、表示対象領域ＤＡ内に障害物の存在が検出されていないと障害物検出部１３により判定された場合、障害物検出部１３はその旨を表示制御部１６に通知する。この通知を受けて表示制御部１６は、他画像生成装置３００から入力される他画像をインパネディスプレイ２００に表示させる（ステップＳ８）。その後、処理はステップＳ７に進む。

以上詳しく説明したように、本実施形態では、カメラ１００により撮影された車両周囲画像の一部に設定した表示対象領域ＤＡ内に障害物が存在するか否かを検出する。そして、障害物の存在が検出された場合に、障害物が写っている障害物領域ＣＡの画像を、座標対応テーブルにより指定されるインパネディスプレイ２００の対応座標領域に表示させるようにしている。座標対応テーブルは、運転者の視点位置からインパネディスプレイ２００の設置領域が透過して車外が見えた場合と同じ画像をインパネディスプレイ２００に表示するシースルー表示状態となるように、あらかじめ計算した値を設定している。

このように構成した車両周囲画像提供装置１０によれば、カメラ１００により撮影された車両周囲画像の表示対象領域ＤＡ内で障害物が写っている位置に応じて、インパネディスプレイ２００の対応座標領域に障害物領域ＣＡの画像が表示されることとなる。これにより、図６に示すように、インパネディスプレイ２００の対応座標領域に表示される障害物領域ＣＡの画像６１と、そのインパネディスプレイ２００の周囲の窓を通して見える実風景６２とが運転者からほぼ連続的に見えるようになる。

本実施形態では、ダッシュボード上で運転席側から助手席側にかけて広範囲に設置されたインパネディスプレイ２００に対して障害物領域ＣＡの画像を表示しているので、車両前方の広範囲において検出した障害物をシースルー表示することができる。また、本実施形態によれば、障害物が検出された場合に、障害物領域ＣＡの画像が切り出されてインパネディスプレイ２００に表示されるので、障害物が検出されたときのインパネディスプレイ２００の表示状態（図４、図６参照）が、障害物が検出されていないときのインパネディスプレイ２００の表示状態（他画像が表示されている状態）と比べて大きく変化する。これにより、車両前方における障害物の存在をシースルー表示によって運転者に強く印象付けることができる。

なお、上記実施形態では、表示対象領域ＤＡ内に障害物が検出されたときに、他画像に代えて障害物領域ＣＡの画像を表示するようにしたが、本発明はこれに限定されない。例えば、図７に示すように、他画像の上に重ねて障害物領域ＣＡの画像を表示する（他画像と障害物領域ＣＡの画像とを合成して表示する）ようにしても良い。ただし、単に合成表示するだけでは、計器類情報などの他画像に障害物領域ＣＡの画像が溶け込んでしまい、少し分かりにくい。そこで、以下のようにしても良い。

例えば、表示制御部１６は、障害物検出部１３により障害物の存在が検出されない場合には、他画像生成装置３００により生成された他画像をインパネディスプレイ２００に表示させる。一方、障害物検出部１３により障害物の存在が検出された場合、表示制御部１６は、インパネディスプレイ２００の対応座標領域を含みこれより広い領域を覆うマスク画像を他画像上に合成し、障害物領域ＣＡの画像をマスク画像上の対応座標領域に表示させるようにする。図８は、この場合の表示例を示す図である。

図８（ａ）は、障害物検出部１３により検出された障害物の表示対象領域ＤＡ内におけるエッジのうち、表示対象領域ＤＡの長手方向に最も突出した左右のエッジ位置で規定される障害物領域ＣＡの横幅がｘ画素分（ｘは正の整数）であることを示している。図８（ｂ）は、上述した左右のエッジ位置よりも左右にｙ画素分（ｙは正の整数）ずつ広めに横幅を設定し、インパネディスプレイ２００の上下方向の幅と同じに縦幅を設定したマスク画像を示している。このマスク画像は、透明度が０％の完全なマスク（黒などの特定色による塗り潰し）でも良いし、透明度が０％より大きく１００％より小さい半透明のマスクでも良い。

図８（ｃ）は、図８（ｂ）に示すマスク画像の上に図８（ａ）に示す障害物領域ＣＡの画像を合成し、その合成画像を計器類や操作メニューなどを表した他画像の上に、障害物領域ＣＡの画像部分が対応座標領域に位置するように合成してインパネディスプレイ２００に表示した状態を示している。図８（ｃ）に示すように、障害物領域ＣＡの画像６１の近くでは、他画像がマスクにより表示されなくなる（あるいは、半透化されて薄く表示される）ので、障害物領域ＣＡの画像６１の視認性が向上する。これにより、他画像をバックに表示しつつも、車両前方における障害物の存在をシースルー表示によって運転者に分かりやすく報知することができる。

また、マスク画像によって他画像の一部を見えなくするのではなく、他画像の一部を消去して、その上に障害物領域ＣＡの画像を表示するようにしても良い。すなわち、表示制御部１６は、障害物検出部１３により障害物の存在が検出された場合には、インパネディスプレイ２００の対応座標領域を含みこれより広い領域（例えば、図８（ｂ）と同様の領域）についてのみ他画像を消去させて、障害物領域ＣＡの画像を対応座標領域に表示させる。

また、上記実施形態では、障害物が検出されていない場合には他画像をインパネディスプレイ２００に表示するようにしたが、本発明はこれに限定されない。例えば、表示制御部１６は、障害物検出部１３により障害物の存在が検出されていない場合には、インパネディスプレイ２００に何も表示させないようにしても良い。この場合、表示制御部１６は、障害物検出部１３により障害物の存在が検出されたときにのみ、障害物領域ＣＡの画像をインパネディスプレイ２００の対応座標領域に表示させる。

あるいは、表示制御部１６は、障害物検出部１３により障害物の存在が検出されていない場合には、カメラ１００による撮影画像（歪み補正部１５により表示対象領域ＤＡの全体を歪み補正した画像）をインパネディスプレイ２００に表示させるようにしても良い。この場合、表示制御部１６は、障害物検出部１３により障害物の存在が検出されたときには、表示対象領域ＤＡの撮影画像に代えて、障害物領域ＣＡの画像をインパネディスプレイ２００の対応座標領域に表示させる。

なお、障害物が検出されていない場合にインパネディスプレイ２００を無表示としたり、カメラ１００による撮影画像を表示させたりすると、その間は計器類情報などの他画像がインパネディスプレイ２００に表示されなくなる。そこで、この場合は１つのインパネディスプレイ２００の代わりに、複数のディスプレイを車両のダッシュボード上で運転席側から助手席側にかけて離間的に配置するのが好ましい。

図９は、例えば３つディスプレイ２０１，２０２，２０３の設置例を示す図である。図９に示すように、第１のディスプレイ２０１は、ダッシュボードの運転席正面に当たるインパネに設置する（図２に示したインパネディスプレイ２００よりは横幅の狭いインパネディスプレイとする）。第２のディスプレイ２０２は、運転席と助手席との間のダッシュボード上の位置、すなわちセンターコンソールに設置する。第３のディスプレイ２０３は、ダッシュボードの助手席正面に当たる位置に、運転席側に傾けて設置する。

３つのディスプレイ２０１，２０２，２０３を設置した場合、例えば、第１のディスプレイ２０１については、障害物が検出されていないときは計器類等の他画像を表示し、障害物が検出されたときは図６、図７または図８のように障害物領域ＣＡの画像を表示する。一方、残り２つのディスプレイ２０２，２０３については、障害物が検出されていないときは無表示または撮影画像の表示とし、障害物が検出されたときは障害物領域ＣＡの画像を表示する。

第１のディスプレイ２０１をインパネディスプレイとせずに、ディスプレイ２０２，２０３と同様にインパネとは別に設けても良い。この場合は、第１のディスプレイ２０１に関しても他のディスプレイ２０２，２０３と同様、障害物が検出されていないときは無表示または撮影画像の表示とし、障害物が検出されたときは障害物領域ＣＡの画像を表示することが可能である。

３つのディスプレイ２０１，２０２，２０３を設置した場合でも、障害物が検出されていないときにそれぞれのディスプレイ２０１，２０２，２０３に他画像を表示するようにしても良い。例えば、第１のディスプレイ２０１（インパネディスプレイ）は計器類の画像を表示し、第２のディスプレイ２０２はナビゲーション画像を表示し、第３のディスプレイ２０３はＤＶＤ（Digital Versatile Disk）等の再生画像を表示するようにしても良い。

この場合において、例えば第１のディスプレイ２０１の方向に障害物が検出されたときは、表示制御部１６は、図６、図７または図８のように障害物領域ＣＡの画像を第１のディスプレイ２０１に表示させる。このとき表示制御部１６は、第２のディスプレイ２０２にはナビゲーション画像を、第３のディスプレイ２０３にはＤＶＤ再生画像を表示させたままとする。

また、第２のディスプレイ２０２の方向に障害物が検出されたときは、表示制御部１６は、ナビゲーション画像に代えてまたはこの上に合成して、障害物領域ＣＡの画像を第２のディスプレイ２０２に表示させる。このとき表示制御部１６は、第１のディスプレイ２０１には計器類の画像を、第３のディスプレイ２０３にはＤＶＤ再生画像を表示させたままとする。

また、第３のディスプレイ２０３の方向に障害物が検出されたときは、表示制御部１６は、ＤＶＤ再生画像に代えてまたはこの上に合成して、障害物領域ＣＡの画像を第３のディスプレイ２０３に表示させる。このとき表示制御部１６は、第１のディスプレイ２０１には計器類の画像を、第２のディスプレイ２０２にはナビゲーション画像を表示させたままとする。

このように３つのディスプレイ２０１，２０２，２０３を設置して、障害物が検出されたときにはその検出方向に係るディスプレイについて障害物領域ＣＡの画像を表示させるようにする場合、テーブル情報記憶部１１は、車両周囲画像の一部に設定した表示対象領域ＤＡ内において、どの座標の画像を３つのうちどのディスプレイに表示させるか、表示させるディスプレイのどの座標に表示させるかの対応関係を表した座標対応テーブルを記憶する。

また、上記実施形態では、車両周囲画像の表示対象領域ＤＡ内で障害物の存在が検出された場合に、障害物領域ＣＡの画像を切り出してインパネディスプレイ２００に表示するようにしたが、表示対象領域ＤＡに対して所定の割合以上の大きさで障害物の画像が写っている場合にのみ、障害物領域ＣＡの画像を切り出してインパネディスプレイ２００に表示するようにしても良い。例えば、表示対象領域ＤＡ内に障害物が写っていても、実際には自車両から比較的遠く離れた位置に障害物が存在していて警告表示を行う必要がない場合もある。この場合には、障害物は表示対象領域ＤＡ内に小さく写っている。

そこで、障害物検出部１３は、車両周囲画像の表示対象領域ＤＡ内に障害物が存在するか否かに加えて、表示対象領域ＤＡに対して所定の割合以上の大きさで障害物の画像が写っているか否かを検出する。例えば、図１０に示すように、表示対象領域ＤＡに写っている障害物の高さｈが、表示対象領域ＤＡの高さ方向の長さＨに対して所定の割合以上の大きさになっているか否かを検出する。画像切り出し部１４は、表示対象領域ＤＡに対して所定の割合以上の大きさで障害物の画像が写っていると障害物検出部１３により判定された場合にのみ、障害物領域ＣＡの画像を切り出して歪み補正部１５に供給する。このようにすれば、自車両から比較的遠く離れた位置に障害物が存在している場合に、シースルー表示による無用な警告を行わないようにすることができる。

また、上記実施形態では、障害物のエッジのうち、表示対象領域ＤＡの長手方向に最も突出した左右のエッジ位置を障害物領域ＣＡの横幅方向の境界として設定しているが、本発明はこれに限定されない。例えば、表示対象領域ＤＡ内の障害物を全て含み、それより若干広い領域を障害物領域ＣＡとして設定するようにしても良い。すなわち、表示対象領域ＤＡ内で長手方向に最も突出した障害物のエッジ位置よりも所定画像分、当該長手方向に広めの位置を障害物領域ＣＡの横幅方向の境界として設定しても良い。

また、上記実施形態では、カメラ１００が魚眼レンズを備える例について説明したが、魚眼レンズに代えて、歪みの少ない画像を撮影可能なレンズを用いるようにしても良い。この場合、歪み補正部１５は不要となる。

また、駐車動作中の徐行運転時にのみシースルー表示を行うようにするために、車速を検出し、車速が所定値より小さいときにのみシースルー表示の機能をオンとするようにしても良い。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態による車両周囲画像提供装置の機能構成例を示すブロック図である。 本実施形態によるインパネディスプレイの設置例を示す図である。 本実施形態の車両周囲画像の一部に設定した表示対象領域の例を示す図である。 インパネディスプレイの対応座標領域に対する障害物領域の画像の表示イメージを示す図である。 本実施形態による車両周囲画像提供装置の動作例を示すフローチャートである。 インパネディスプレイに対する障害物領域の画像の表示イメージを示す図である。 インパネディスプレイに対する障害物領域の画像の他の表示イメージを示す図である。 インパネディスプレイに対する障害物領域の画像の更に別の表示イメージを示す図である。 本実施形態によるディスプレイの他の設置例を示す図である。 本実施形態の障害物検出部による障害物の他の検出例を説明するための図である。

符号の説明

１０ 車両周囲画像提供装置
１１ テーブル情報記憶部
１２ 画像入力部
１３ 障害物検出部
１４ 画像切り出し部
１５ 歪み補正部
１６ 表示制御部
１００ カメラ
２００〜２０３ ディスプレイ
３００ 他画像生成装置

Claims (8)

1. 車両のダッシュボード上で運転席側から助手席側にかけて配置された１または複数のディスプレイに対して、カメラにより撮影された車両周囲画像を表示する車両周囲画像提供装置であって、
   上記カメラにより撮影される車両周囲画像の一部に設定した表示対象領域内において、どの座標の画像を上記１または複数のディスプレイのどの座標に表示するかの対応関係を表した座標対応テーブルを記憶したテーブル情報記憶部と、
   上記カメラにより撮影された車両周囲画像を入力する画像入力部と、
   上記画像入力部により入力された車両周囲画像を処理して、上記車両周囲画像の上記表示対象領域内に存在する障害物を検出する障害物検出部と、
   上記障害物検出部により上記障害物が検出された場合に、上記画像入力部により入力された車両周囲画像のうち上記表示対象領域の中から、上記障害物が存在する領域を含む所定の領域である障害物領域の画像を切り出す画像切り出し部と、
   上記画像切り出し部により上記障害物領域の画像が切り出された場合に、上記テーブル情報記憶部に記憶されている上記テーブル情報を参照して、上記画像切り出し部により切り出された上記障害物領域の画像を、上記座標対応テーブルにより指定される上記１または複数のディスプレイの対応座標領域に表示させる表示制御部とを備えたことを特徴とする車両周囲画像提供装置。
2. 上記表示制御部は、上記障害物検出部により上記障害物の存在が検出されない場合には、上記１または複数のディスプレイには何も表示させず、上記障害物検出部により上記障害物の存在が検出された場合にのみ、上記障害物領域の画像を上記１または複数のディスプレイの上記対応座標領域に表示させることを特徴とする請求項１に記載の車両周囲画像提供装置。
3. 上記表示制御部は、上記障害物検出部により上記障害物の存在が検出されない場合には、上記画像入力部により入力された車両周囲画像を上記１または複数のディスプレイに表示させ、上記障害物検出部により上記障害物の存在が検出された場合には、上記画像入力部により入力された車両周囲画像に代えて、上記障害物領域の画像を上記１または複数のディスプレイの上記対応座標領域に表示させることを特徴とする請求項１に記載の車両周辺監視装置。
4. 上記表示制御部は、上記障害物検出部により上記障害物の存在が検出されない場合には、上記画像入力部により入力された車両周囲画像でも上記障害物領域の画像でもない他画像を上記１または複数のディスプレイに表示させ、上記障害物検出部により上記障害物の存在が検出された場合には、上記他画像に代えて、上記障害物領域の画像を上記１または複数のディスプレイの上記対応座標領域に表示させることを特徴とする請求項１に記載の車両周辺監視装置。
5. 上記表示制御部は、上記障害物検出部により上記障害物の存在が検出されない場合には、上記画像入力部により入力された車両周囲画像でも上記障害物領域の画像でもない他画像を上記１または複数のディスプレイに表示させ、上記障害物検出部により上記障害物の存在が検出された場合には、上記１または複数のディスプレイの上記対応座標領域を含みこれより広い領域を覆うマスク画像を上記他画像上に合成し、上記障害物領域の画像を上記マスク画像上の上記対応座標領域に表示させることを特徴とする請求項１に記載の車両周辺監視装置。
6. 上記表示制御部は、上記障害物検出部により上記障害物の存在が検出されない場合には、上記画像入力部により入力された車両周囲画像でも上記障害物領域の画像でもない他画像を上記１または複数のディスプレイに表示させ、上記障害物検出部により上記障害物の存在が検出された場合には、上記１または複数のディスプレイの上記対応座標領域を含みこれより広い領域について上記他画像を消去させて、上記障害物領域の画像を上記対応座標領域に表示させることを特徴とする請求項１に記載の車両周辺監視装置。
7. 上記障害物検出部は、上記車両周囲画像の上記表示対象領域内に上記障害物が存在するか否かに加えて、上記表示対象領域に対して所定の割合以上の大きさで上記障害物の画像が写っているか否かを検出し、
   上記画像切り出し部は、上記表示対象領域に対して所定の割合以上の大きさで上記障害物の画像が写っていることが上記障害物検出部により検出された場合にのみ、上記障害物領域の画像を切り出すことを特徴とする請求項１に記載の車両周囲画像提供装置。
8. 車両のダッシュボード上で運転席側から助手席側にかけて配置された１または複数のディスプレイに対して、カメラにより撮影された車両周囲画像を表示する車両周囲画像提供方法であって、
   上記カメラにより撮影された車両周囲画像を入力する画像入力ステップと、
   上記画像入力ステップで入力された車両周囲画像を処理して、上記車両周囲画像の一部に設定した表示対象領域内に存在する障害物を検出する障害物検出ステップと、
   上記障害物検出ステップで上記障害物が検出された場合に、上記画像入力部により入力された車両周囲画像のうち上記表示対象領域の中から、上記障害物が存在する領域を含む所定の領域である障害物領域の画像を切り出す画像切り出しステップと、
   上記障害物領域の画像が切り出された場合に、上記表示対象領域内においてどの座標の画像を上記１または複数のディスプレイのどの座標に表示するかの対応関係を表した座標対応テーブルを参照して、上記障害物領域の画像を、上記座標対応テーブルにより指定される上記１または複数のディスプレイの対応座標領域に表示させる表示制御ステップとを有することを特徴とする車両周囲画像提供方法。