JP4807104B2 - 車両周囲監視システム及び画像表示方法 - Google Patents

Description

本発明は、複数の車載カメラの撮影画像を用いて作成した俯瞰表示画像を表示装置に表示して、車両乗員に車両周囲の様子を認識させる車両周囲監視システム及び画像表示方法に関する。

従来、車両の死角となる領域の画像を車載カメラで撮影し、この車載カメラで撮影された原画像を車両上方の仮想視点から見下ろした俯瞰画像に変換して表示装置に表示する技術が知られており、車両の駐車時や狭い道路の通行時などにおいて運転者の視界を補助する目的で利用されている。また、近年では、車両前方、後方、左右両側方の全ての領域を例えば４台の車載カメラで撮影し、これら車載カメラで撮影された原画像をそれぞれ俯瞰画像に変換して繋ぎ合わせ、車両周囲全域を表す１つの連続した俯瞰表示画像として表示装置に表示することで、車両周囲全域の様子を車両乗員が一目で認識できるようにした車両周囲監視システムが提案されている。

ところで、この種の車両周囲監視システムでは、通常、隣り合う車載カメラが撮影する領域は、その端部において互いに重複しており、この重複した領域に対応する画像部分で、隣り合う車載カメラの原画像を変換した俯瞰画像を合成することにより、表示装置に表示する俯瞰表示画像に連続性を持たせるようにしている。このため、隣り合う車載カメラで重複して撮影される重複領域に車両の走行を妨げるような立体物（障害物）が存在する場合、この障害物は俯瞰表示画像では鮮明に表示されず、車両乗員は、俯瞰表示画像を見ただけでは障害物の存在自体は認識できるものの、その障害物が何であるかを特定できず、最適な対応を瞬時に判断することが難しいという問題が指摘されている。

このような問題への対応策として、例えば特許文献１には、車両周囲全域を表す上述した俯瞰表示画像を表示装置に表示する通常モードのほかに例外モードを設け、例外モード選択時には、隣り合う車載カメラで重複して撮影される重複領域に対応する画像部分を合成せずに、各車載カメラ毎に個別に表示することで、重複領域に存在する障害物を認識しや易くするという技術が開示されている。特に、この特許文献１には、重複領域に存在する障害物を物体検知センサで検知したときに、その障害物が存在する重複領域を撮影する２つの車載カメラの原画像から重複領域に対応する画像部分を切り出して、俯瞰表示画像上に貼り付けた状態で表示装置に表示するという例が記載されている。
特開２００２−１９５５６号公報（第５−６頁、第１６図）

しかしながら、上述した特許文献１にて開示される技術では、障害物が存在する重複領域を撮影する２つの車載カメラの原画像の一部を切り出して俯瞰表示画像上に貼り付けて表示するようにしているため、画像全体としての違和感が大きく、表示されている画像を見た車両乗員が、その画像から障害物の種類などを直感的且つ瞬時に特定することが困難で、迅速な回避操作などの妨げになるといった問題が懸念される。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、俯瞰表示画像の表示中に、隣り合う車載カメラで重複して撮影される重複領域に障害物が存在することを検知したときに、その障害物の種類などを車両乗員が直感的且つ瞬時に特定できるような画像に表示画像を切り替えて、迅速な回避動作などを適切に支援できるようにした車両周囲監視システム及び画像表示方法を提供することを目的としている。

本発明は、前記目的を達成するために、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、障害物を検知した重複領域を撮影する複数の車載カメラの原画像へと切り替えるようにした。

本発明によれば、複数の車載カメラで重複して撮影される重複領域内に障害物が存在する場合に、表示装置に表示される画像が俯瞰表示画像から重複領域を撮影する複数の車載カメラの原画像に切り替えられるので、車両乗員は、この表示装置に表示される画像から、重複領域に存在する障害物の種類などを直感的且つ瞬時に特定することができ、この障害物を回避する操作などを迅速に行うことができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された原画像を用いて車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示する車両周囲監視システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、一部が重複する車両周囲の領域を複数の車載カメラで撮影して、これら複数の車載カメラの原画像から１つの俯瞰表示画像を作成して表示する機能を持った各種システムに対して広く適用可能である。

本発明を適用した車両周囲監視システムの概略構成を図１に示す。この車両周囲監視システムは、図１に示すように、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラと、第１のソナー２１、第２のソナー２２、第３のソナー２３、第４のソナー２４の４つの障害物検知用ソナーとが画像処理ユニット３０にそれぞれ接続され、この画像処理ユニット３０の出力側に、車室内に設置された液晶ディスプレイ等の表示装置４０が接続された構成とされる。また、画像処理ユニット３０には、例えば車両のシフトレバーの位置などを表す各種車両信号を取得する車両信号取得装置５０も接続されている。

フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラは、例えば１８０度程度の画角を有する広角カメラよりなり、これら４つの車載カメラで車両周囲を囲む全ての領域の映像を撮影できるように、車両の適所に搭載されている。具体的には、フロントカメラ１１は、図２に示すように、車両前方のフロントバンパーなどに設置され、車両前方の所定領域Ａ１を撮影範囲として、この領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２２は、車両後方のリアバンパーなどに設置され、車両後方の所定領域Ａ２を撮影範囲として、この領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ２３は、車両右側のサイドミラーなどに設置され、車両右側方の所定領域Ａ３を撮影範囲として、この領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ２４は、車両左側のサイドミラーなどに設置され、車両左側方の所定領域Ａ４を撮影範囲として、この領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。そして、これら４つの車載カメラ１１，１２，１３，１４は、それぞれ画像処理ユニット３０からの指令に応じて車両周囲の所定領域Ａ１，Ａ２，Ａ３，Ａ４の画像を撮影し、撮影した画像を電気信号に変換して、例えば、コンポジット信号（アナログ形式の画像信号）として、所定のアナログ通信線を介して画像処理ユニット３０に出力する。

これら４つの車載カメラ１１，１２，１３，１４が撮影する領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ端部において、隣り合う他の車載カメラが撮影する領域と互いに重複している。すなわち、フロントカメラ１１が撮影する領域Ａ１と右サイドカメラ１３が撮影する領域Ａ３とは車両右前方の重複領域ＯＡ１において重複し、フロントカメラ１１が撮影する領域Ａ１と左サイドカメラ１４が撮影する領域Ａ４とは車両左前方の重複領域ＯＡ２において重複する。また、リアカメラ１２が撮影する領域Ａ２と右サイドカメラ１３が撮影する領域Ａ３とは車両右後方の重複領域ＯＡ３において重複し、リアカメラ１２が撮影する領域Ａ２と左サイドカメラ１４が撮影する領域Ａ４とは車両左後方の重複領域ＯＡ４において重複する。言い換えると、重複領域ＯＡ１の画像はフロントカメラ１１と右サイドカメラ１３の何れでも撮影可能であり、重複領域ＯＡ２の画像はフロントカメラ１１と左サイドカメラ１４の何れでも撮影可能である。また、重複領域ＯＡ３の画像はリアカメラ１２と右サイドカメラ１３の何れでも撮影可能であり、重複領域ＯＡ４の画像はリアカメラ１２と左サイドカメラ１４の何れでも撮影可能である。

本発明を適用した車両周囲監視システムでは、以上の４つの車載カメラ１１，１２，１３，１４で撮影した領域Ａ１，Ａ２，Ａ３，Ａ４の画像（原画像）をそれぞれ画像処理ユニット３０に取り込み、画像処理ユニット３０においてこれらの原画像をそれぞれ俯瞰画像に変換すると共に、これら俯瞰画像を各重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、車両周囲全域を表す１つの連続した俯瞰表示画像を作成するようにしている。そして、この画像処理ユニット３０で作成した俯瞰表示画像を表示装置４０に表示させるようにしている。

ところで、このような俯瞰表示画像は、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で俯瞰画像が合成された画像であるため、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に障害物が存在する場合、この障害物が画像上で鮮明に映し出されず、その障害物が、例えば、路上に設置されたポールのような構造物であるのか、或いは人などの動く物体であるのかといった特定をすることができず、最適な対応を瞬時に判断することが難しいという問題がある。そこで、本発明を適用した車両周囲監視システムでは、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在する場合には、表示装置４０に表示する画像を、上述した俯瞰表示画像から、その障害物が存在する重複領域を撮影する２つの車載カメラの原画像で構成する警報画像に切り替えることで、車両乗員が障害物の種類などを直感的且つ瞬時に特定できるようにしている。そして、本発明を適用した車両周囲監視システムでは、これら重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に存在する障害物を検知する手段として、第１乃至第４の４つのソナー２１，２２，２３，２４を用いている。

第１のソナー２１は、図２に示すように、その検知範囲ＳＡ１が車両右前方の重複領域ＯＡ１と重なるように、車両右前方の所定の位置に設置され、車両右前方の重複領域ＯＡ１内に存在する障害物を検知する。また、第２のソナー２２は、その検知範囲ＳＡ２が車両左前方の重複領域ＯＡ２と重なるように、車両左前方の所定の位置に設置され、車両左前方の重複領域ＯＡ２内に存在する障害物を検知する。また、第３のソナー２３は、その検知範囲ＳＡ３が車両右後方の重複領域ＯＡ３と重なるように、車両右後方の所定の位置に設置され、車両右後方の重複領域ＯＡ３内に存在する障害物を検知する。また、第４のソナー２４は、その検知範囲ＳＡ４が車両左後方の重複領域ＯＡ４と重なるように、車両左後方の所定の位置に設置され、車両左後方の重複領域ＯＡ４内に存在する障害物を検知する。そして、これら第１乃至第４のソナー２１，２２，２３，２４は、それぞれ検知範囲とする重複領域に存在する障害物を検知した場合に、その旨を示す障害物検知信号を所定のアナログ通信線を介して画像処理ユニット３０に出力する。

画像処理ユニット３０は、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラで撮影された原画像を用い、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を作成して表示装置４０に表示させると共に、第１乃至第４のソナーによって重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在することが検知された場合は、障害物が存在する重複領域を撮影する２つの車載カメラの原画像で構成された警報画像を作成して表示装置４０に表示させるものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。

特に、この画像処理ユニット３０は、本発明に関わる部分として、図３に示すように、４つの車載カメラ１１，１２，１３，１４から画像信号として入力された原画像のデータをフレーム毎に一時的に保持する４つの入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄと、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに保持された車載カメラ１１，１２，１３，１４の原映像を用いて俯瞰表示画像を作成する俯瞰表示画像作成部３２と、第１乃至第４のソナー２１，２２，２３，２４から入力された障害物検知信号に基づいて重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内の障害物の有無を判定するとともに、車両から障害物までの距離や車両信号取得装置５０から入力された車両信号などに基づいて警報の対象とすべき重複領域を特定する警報判定部３３と、警報判定部３３で警報の対象として特定された重複領域の画像を撮影する２つの車載カメラの原画像を用いて警報画像を作成する警報画像作成部３４と、警報判定部３３での判定結果に従って表示装置４０に出力する画像を切り替える出力画像切替部３５と、表示装置４０に対して出力する表示対象となる画像のデータをフレーム毎に一時的に保持する出力フレームバッファ３６とを備える。

フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラから出力された画像信号は、それぞれＡ/Ｄ変換されてＲＧＢ信号にデコードされた上で、各車載カメラ１１，１２，１３，１４が撮影した原画像のフレームを構成するフレームデータとして、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄにそれぞれ格納される。そして、画像処理ユニット３０の俯瞰表示画像作成部３２は、内蔵する所定の変換アルゴリズムに従って、これら入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納されている各車載カメラ１１，１２，１３，１４の原画像を、それぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換する処理を行なうと共に、これら俯瞰画像を重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、車両周囲全域を表す一連の俯瞰表示画像を作成する。

このとき、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在しておらず、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーも障害物検知信号を出力していなければ、警報判定部３３は障害物が存在していない旨の判定し、この警報判定部３３の判定結果に従って、出力画像切替部３５が、表示装置４０に出力する画像として俯瞰表示画像作成部３２で作成された俯瞰表示画像を選択する。その結果、俯瞰表示画像作成部３２で作成された俯瞰表示画像の画像データが、フレームデータとして出力フレームバッファ３６に格納される。

出力フレームバッファ３６に格納された俯瞰表示画像の画像データ（ＲＧＢ信号）は、各車載カメラ１１，１２，１３，１４の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット３０から出力され、所定のアナログ通信線を介して表示装置４０に出力される。そして、表示装置４０がこの画像処理ユニット３０からの画像信号に基づいて表示動作を行うことで、表示装置４０の表示画面に、例えば図４に示すように、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示されることになる。

なお、この図４に例示した俯瞰表示画像において、画像領域Ｂ１がフロントカメラ１１の原画像を視点変換した俯瞰画像であり、画像領域Ｂ２がリアカメラ１２の原画像を視点変換した俯瞰画像であり、画像領域Ｂ３が右サイドカメラ１３の原画像を視点変換した俯瞰画像であり、画像領域Ｂ４が左サイドカメラ１４の原画像を視点変換した俯瞰画像である。また、この図４に例示した俯瞰表示画像において、画像領域Ｂ１３がフロントカメラ１１の原画像を視点変換した俯瞰画像と右サイドカメラ１３の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ１４がフロントカメラ１１の原画像を視点変換した俯瞰画像と左サイドカメラ１４の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ２３がリアカメラ１２の原画像を視点変換した俯瞰画像と右サイドカメラ１３の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ２４がリアカメラ１２の原画像を視点変換した俯瞰画像と左サイドカメラ１４の原画像を視点変換した俯瞰画像とを合成した合成画像である。また、画像中央部に表示される画像Ｃは車両の位置を表す自車画像であり、コンピュータグラフィックス等で作成されて俯瞰表示画像上に重畳されている。

一方、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在し、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーが障害物検知信号を出力した場合には、警報判定部３３は、障害物が存在する旨の判定をして警報対象とする重複領域を特定する。そして、警報画像作成部３４が、４つの車載カメラ１１，１２，１３，１４で撮影されて入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに各々格納されている原画像のうちで、警報判定部３３で警報対象として特定された重複領域の画像を撮影する２つの車載カメラの原画像を用いて、警報画像を作成する。この警報画像は、２つの車載カメラの原画像を視点変換することなく、少なくとも障害物が存在する重複領域とその近傍の領域を切り出して、或いは原画像をそのまま並べた画像である。

また、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーが障害物検知信号を出力し、警報判定部３３が重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在する旨の判定をした場合には、出力画像切替部３５が、この警報判定部３３の判定結果に従って、表示装置４０に出力する画像を俯瞰表示画像作成部３２で作成された俯瞰表示画像から警報画像作成部３４で作成された警報画像へと切り替える。その結果、警報画像作成部３４で作成された警報画像の画像データが、フレームデータとして出力フレームバッファ３６に格納される。

出力フレームバッファ３６に格納された警報画像の画像データは、各車載カメラ１１，１２，１３，１４の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット３０から出力され、所定のアナログ通信線を介して表示装置４０に出力される。そして、表示装置４０がこの画像処理ユニット３０からの画像信号に基づいて表示動作を行うことで、表示装置４０の表示画面に、障害物が存在する重複領域を撮影する２つの車載カメラの原画像を並べた警報画像が表示されることになる。

具体的には、重複領域ＯＡ１に障害物（棒状の立体物）が存在することが第１のソナー２１により検出され、警報判定部３３により重複領域ＯＡ１が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図５に示すように、フロントカメラ１１で撮影された原画像と、右サイドカメラ１３で撮影された原画像とを並べた構成の警報画像を作成し、この図５のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図５に例示した警報画像では、フロントカメラ１１の原画像はそのまま画面左側に表示し、右サイドカメラ１３の原画像は重複領域ＯＡ１とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図５に例示した警報画像において、画像中のハッチング部分は車体の一部（フロントバンパーと右前方のフェンダーなど）が映りこんでいる部分である。

また、重複領域ＯＡ２に障害物（棒状の立体物）が存在することが第２のソナー２２により検出され、警報判定部３３により重複領域ＯＡ２が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図６に示すように、フロントカメラ１１で撮影された原画像と、左サイドカメラ１４で撮影された原画像とを並べた構成の警報画像を作成し、この図６のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図６に例示した警報画像では、フロントカメラ１１の原画像はそのまま画面右側に表示し、左サイドカメラ１４の原画像は重複領域ＯＡ２とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図６に例示した警報画像において、画像中のハッチング部分は車体の一部（フロントバンパーと左前方のフェンダーなど）が映りこんでいる部分である。

また、重複領域ＯＡ３に障害物（棒状の立体物）が存在することが第３のソナー２３により検出され、警報判定部３３により重複領域ＯＡ３が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図７に示すように、リアカメラ１２で撮影された原画像と、右サイドカメラ１３で撮影された原画像とを並べた構成の警報画像を作成し、この図７のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図７に例示した警報画像では、リアカメラ１２の原画像はそのまま画面右側に表示し、右サイドカメラ１３の原画像は重複領域ＯＡ３とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図７に例示した警報画像において、画像中のハッチング部分は車体の一部（リアバンパーと右後方のフェンダーなど）が映りこんでいる部分である。

また、重複領域ＯＡ４に障害物（棒状の立体物）が存在することが第４のソナー２４により検出され、警報判定部３３により重複領域ＯＡ４が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図８に示すように、リアカメラ１２で撮影された原画像と、左サイドカメラ１４で撮影された原画像とを並べた構成の警報画像を作成し、この図８のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図８に例示した警報画像では、リアカメラ１２の原画像はそのまま画面左側に表示し、左サイドカメラ１４の原画像は重複領域ＯＡ４とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図８に例示した警報画像において、画像中のハッチング部分は車体の一部（リアバンパーと左後方のフェンダーなど）が映りこんでいる部分である。

以上のように、本発明を適用した車両周囲監視システムにおいては、隣り合う車載カメラで重複して撮影される重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在していない間は、表示装置４０の表示画面に車両周囲全域を表す俯瞰表示画像を表示して、車両の乗員が、この俯瞰表示画像を見て車両周囲全域の様子を一目で認識できるようにしている。そして、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれかに障害物が存在することが検知された場合には、その障害物が検知された重複領域を撮影する２つの車載カメラの原画像を警報画像として表示装置４０の表示画面に表示することで、特に注目すべき領域の画像を違和感のない状態で車両の乗員に提示して、車両乗員が、この警報画像を見て障害物の種類などを直感的且つ瞬時に特定して回避操作などを迅速に行えるようにしている。

なお、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれかに存在する障害物が検知され、表示装置４０の表示画面に表示される画像が上述した俯瞰表示画像から警報画像へと切り替わった直後は、車両の乗員が、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識できないことも想定される。そこで、表示装置４０の表示画面に警報画像を表示させるときは、警報画像として表示されている原画像を撮影した車載カメラの撮影領域を認識させるための画像、具体的には、例えば図９に示すように、俯瞰表示画像を縮小した表示形態で原画像の対象となる領域を明示した画像などを、表示画面の一部に合わせて表示させるようにすることが望ましい。これにより車両の乗員は、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識することが可能となり、障害物の位置などを瞬時に判断できるようになる。なお、以上のような車載カメラの撮影領域を認識させるための画像は、警報画像の表示中に常に表示させるようにしてもよいが、警報画像の表示を開始してから所定時間が経過するまでの間だけ表示するようにしてもよい。

また、警報画像は、上述したように障害物が存在する重複領域を撮影する２つの車載カメラの原画像を表示したものであるので、障害部が実際の形に近く違和感の少ない状態で表示されるが、警報画像の中で障害物が存在する位置をより迅速に車両乗員に判断させる上では、警報画像を表示する際に、例えば図１０に示すように、各車載カメラの原画像上にソナーの検知範囲を認識させるための画像を重畳して表示させることも有効である。なお、図１０に例示した警報画像においては、図中の網掛け部分がソナーの検知範囲であることを示している。

ところで、以上の説明では、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれか１つの重複領域で障害物が検知され、警報対象とする重複領域が一意に特定される場合を想定して説明したが、実際には、複数の重複領域でそれぞれ障害物が検知される場合もある。このような場合、本発明を適用した車両周囲監視システムでは、警報判定部３３が以下のロジックに従って、警報対象とする重複領域を特定する。

・２つの重複領域で障害物が検知された場合
車両前方の２つの重複領域ＯＡ１，ＯＡ２、または車両後方の２つの重複領域ＯＡ３，ＯＡ４でそれぞれ障害物が検知された場合、警報判定部３３は、各重複領域で障害物を検知したソナーの障害物検知信号から、各障害物が存在する位置までの車両からの距離を求める。そして、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。したがって、この場合には、車両からの距離が近い障害物が存在する重複領域を撮影する２つの車載カメラの原画像が、警報画像として表示装置４０の表示画面に表示される。なお、車両前方の２つの重複領域ＯＡ１，ＯＡ２、または車両後方の２つの重複領域ＯＡ３，ＯＡ４でそれぞれ障害物が検知された場合であって、これら２つの重複領域で検出された障害物の車両からの距離が等しい場合は、フロントカメラ１１の原画像、またはリアカメラ１２の原画像のみを警報画像として表示装置４０に表示させるようにていもよい。

また、重複領域ＯＡ１と重複領域ＯＡ３、重複領域ＯＡ１と重複領域ＯＡ４、重複領域ＯＡ２と重複領域ＯＡ３、重複領域ＯＡ２と重複領域ＯＡ４といったように、車両前方の１つの重複領域と車両後方の１つの重複領域とでそれぞれ障害物が検知された場合には、警報判定部３３は、車両信号取得装置５０で取得された車両信号から、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合には、車両後方の重複領域を警報対象として特定し、車両のシフトレバーがリバース以外を選択している場合には、車両前方の重複領域を警報対象として特定する。したがって、この場合には、車両のシフトレバーがリバースであれば車両後方の重複領域を撮影する２つの車載カメラの原画像、車両のシフトレバーがリバース以外であれば車両前方の重複領域を撮影する２つの車載カメラの原画像が、警報画像として表示装置４０の表示画面に表示される。

・３つの重複領域で障害物が検知された場合
車両前方の２つの重複領域ＯＡ１，ＯＡ２と車両後方の１つの重複領域（ＯＡ３またはＯＡ４）、または車両後方の２つの重複領域ＯＡ３，ＯＡ４と車両前方の１つの重複領域（ＯＡ１またはＯＡ２）といったように、３つの重複領域でそれぞれ障害物が検知された場合には、警報判定部３３は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が１つであれば、その車両後方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が２つであれば、これら２つの車両後方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が１つであれば、その車両前方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が２つであれば、これら２つの車両前方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。

・４つの全ての重複領域で障害物が検知された場合
４つの重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の全てで障害物が検知された場合には、警報判定部３３は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合は、２つの車両後方の重複領域ＯＡ３，ＯＡ４のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合は、２つの車両前方の重複領域ＯＡ１，ＯＡ２のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。

ここで、本発明を適用した車両周囲監視システムにおける一連の処理の流れについて、図１１のフローチャートに沿って説明する。この図１１の処理フローは、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムが起動されたときに開始される。

図１１の処理フローが開始されると、まず、ステップＳ１において、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラにより、車両周囲の領域の画像がそれぞれ撮影される。そして、各車載カメラ１１，１２，１３，１４で撮影された原画像の画像信号が画像処理ユニット３０にそれぞれ入力され、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに、フレームデータとしてそれぞれ格納される。

次に、ステップＳ２において、画像処理ユニット３０の俯瞰表示画像作成部３２が、所定の変換アルゴリズムに従って、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納された各車載カメラ１１，１２，１３，１４の原画像を俯瞰画像に変換すると共に、これら俯瞰画像を重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、俯瞰表示画像を作成する。そして、この俯瞰表示画像の画像データを出力フレームバッファ３６に格納する。

次に、ステップＳ３において、出力フレームバッファ３２に保持された俯瞰表示画像の画像データが、画像信号として画像処理ユニット３０から表示装置４０へと出力される。そして、表示装置４０が、この画像処理ユニット３０からの画像信号に基づいて表示動作を行うことにより、表示装置４０の表示画面には、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示される。

以上のステップＳ１〜ステップＳ３の処理は、次のステップＳ４で第１乃至第４のソナー２１，２２，２３，２４が障害物を検知するまで、車載カメラ１１，１２，１３，１４の撮影周期に同期して繰り返し行われる。これにより、表示装置４０の表示画面には、上述した俯瞰表示画像が動画として表示されることになる。

ステップＳ４では、画像処理ユニット３０の警報判定部３３が、第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号に基づいて、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在するか否かを判定する。そして、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在すると判定した場合、ステップＳ５に進んで、警報判定部３３は、警報対象とする重複領域を特定する。このとき、警報判定部３３は、障害物を検知したソナーが１つであれば、そのソナーの検知範囲となる重複領域を警報対象の重複領域として特定する。また、障害物を検知したソナーが複数ある場合には、上述したロジックに従って警報対象の重複領域を特定する。

次に、ステップＳ６において、上述したステップＳ１と同様、４つの車載カメラ１１，１２，１３，１４により車両周囲の領域の画像がそれぞれ撮影され、各車載カメラ１１，１２，１３，１４で撮影された原画像の画像信号が画像処理ユニット３０にそれぞれ入力されて、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに、フレームデータとしてそれぞれ格納される。

次に、ステップＳ７において、画像処理ユニット３０の警報画像作成部３４が、警報判定部３３で警報対象として特定された重複領域を撮影した２つの車載カメラの原画像を用いて、警報画像を作成する。そして、この警報画像の画像データを出力フレームバッファ３６に格納する。

次に、ステップＳ８において、出力フレームバッファ３２に保持された警報画像の画像データが、画像信号として画像処理ユニット３０から表示装置４０へと出力される。そして、表示装置４０が、この画像処理ユニット３０からの画像信号に基づいて表示動作を行うことにより、表示装置４０の表示画面には、障害物が存在する重複領域を撮影した２つの車載カメラの原画像で構成された警報画像が表示される。

以上のステップＳ６〜ステップＳ８の処理は、次のステップＳ９で第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号が途絶えるまで、車載カメラ１１，１２，１３，１４の撮影周期に同期して繰り返し行われる。これにより、表示装置４０の表示画面には、上述した警報画像が動画として表示されることになる。

ステップＳ９では、画像処理ユニット３０の警報判定部３３が、第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号が途絶えたか、すなわち第１乃至第４のソナー２１，２２，２３，２４が障害物を検知しなくなったか否かを判断し、第１乃至第４のソナー２１，２２，２３，２４が障害物を検知しなくなった段階で次のステップＳ１０に進む。そして、ステップＳ１０において、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムの動作を停止する旨の指示が入力されたか否かが判定され、動作停止の指示入力がなければステップＳ１に戻って、ステップＳ１以降の処理が繰り返される。一方、動作停止の指示入力があった場合には、一連の処理を終了する。

以上、具体的な例を挙げて詳細に説明したように、本発明を適用した車両周囲監視システムでは、４つの車載カメラ１１，１２，１３，１４のうちの隣り合う２つの車載カメラで重複して撮影される重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在していない間は、表示装置４０の表示画面に、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を表示し、いずれかの重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に障害物が存在することが、第１乃至第４のソナー２１，２２，２３，２４の何れかで検知された場合には、この障害物が検知された重複領域を撮影する２つの車載カメラの原画像で構成される警報画像を作成し、表示装置４０の表示画面に表示する画像を、俯瞰表示画像から警報画像へと切り替えるようにしている。したがって、この車両周囲監視システムによれば、特に注目すべき障害物が存在する領域の画像を、違和感の少ない見やすい画像として車両乗員に提示することができ、車両乗員は、表示装置４０の表示画面を参照することで、障害物の種類などを直感的且つ瞬時に特定して、障害物を回避するための操作などを迅速に行うことが可能となる。

なお、以上説明した車両周囲監視システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両周囲監視システムでは、障害物を検知する手段として第１乃至第４のソナー２１，２２，２３，２４を用いているが、障害物を検知する手段としては、これらソナー２１，２２，２３，２４以外にも、レーザレーダや、カメラで撮影した画像を画像処理する手法など、既知の障害物検知装置が何れも採用可能である。また、上述した車両周囲監視システムでは、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラを用いているが、車載カメラの数は４つに限定されるものではなく、一部が重複する車両周囲の領域の画像を各々撮影する複数の車載カメラを備えた車両周囲監視システムに対して、本発明は広く適用可能である。

本発明を適用した車両周囲監視システムの概略構成を示すブロック図である。 ４つの車載カメラの取り付け位置及び各車載カメラが撮影する領域と、４つのソナーの取り付け位置及び各ソナーの検知範囲とを説明する図である。 画像処理ユニットの詳細な構成を示すブロック図である。 表示装置に表示される俯瞰表示画像の一例を示す図である。 表示装置に表示される警報画像の一例を示す図であり、右前方の重複領域に障害物が存在することが検知された場合の警報画像を示す図である。 表示装置に表示される警報画像の一例を示す図であり、左前方の重複領域に障害物が存在することが検知された場合の警報画像を示す図である。 表示装置に表示される警報画像の一例を示す図であり、右後方の重複領域に障害物が存在することが検知された場合の警報画像を示す図である。 表示装置に表示される警報画像の一例を示す図であり、左後方の重複領域に障害物が存在することが検知された場合の警報画像を示す図である。 警報画像として表示されている原画像を撮影した車載カメラの撮影領域を認識させるための画像を、警報画像と合わせて表示する場合の表示例を示す図である。 障害物を検知しているソナーの検知範囲を示す画像を警報画像に重畳して表示する場合の表示例を示す図である。 本発明を適用した車両周囲監視システムにおける一連の処理の流れを示すフローチャートである。

符号の説明

１１ フロントカメラ
１２ リアカメラ
１３ 右サイドカメラ
１４ 左サイドカメラ
２１ 第１のソナー
２２ 第２のソナー
２３ 第３のソナー
２４ 第４のソナー
３０ 画像処理ユニット
３２ 俯瞰表示画像作成部
３３ 警報判定部
３４ 警報画像作成部
４０ 表示装置

Claims (11)

1. 一部が重複する車両周囲の複数の領域の画像を各々撮影する複数の車載カメラと、
   前記複数の車載カメラで撮影された原画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、これら俯瞰画像を前記複数の車載カメラで重複して撮影される重複領域に対応する画像部分で合成して、１つの連続した俯瞰表示画像を作成する俯瞰表示画像作成手段と、
   前記俯瞰表示画像作成手段で作成された俯瞰表示画像を表示する表示装置とを有する車両周囲監視システムにおいて、
   前記複数の車載カメラで重複して撮影される重複領域を検知範囲とし、当該重複領域内に存在する障害物を検知する障害物検知装置と、
   前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、障害物を検知した重複領域を撮影する複数の車載カメラの原画像へと切り替える表示制御手段とを備えることを特徴とする車両周囲監視システム。
2. 前記障害物検知装置は、複数の重複領域をそれぞれ検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が複数の重複領域でそれぞれ障害物を検知した場合には、車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
3. 前記障害物検知装置は、車両前方の重複領域と車両後方の重複領域とをそれぞれ検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が車両前方の重複領域と車両後方の重複領域とでそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
4. 前記障害物検知装置は、車両前方の複数の重複領域と車両後方の複数の重複領域とをそれぞれ検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が３つ以上の重複領域でそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
5. 前記表示制御手段は、前記複数のカメラの原画像を表示装置に表示させる際に、これら複数の撮影カメラの撮影領域を認識させるための画像を合わせて表示させることを特徴とする請求項１乃至４の何れかに記載の車両周囲監視システム。
6. 前記表示制御手段は、前記複数のカメラの原画像を表示装置に表示させる際に、これら複数の撮影カメラの原画像上に前記障害物検知装置の検知範囲を認識させるための画像を重畳して表示させることを特徴とする請求項１乃至５の何れかに記載の車両周囲監視システム。
7. 前記複数の車載カメラとして、車両前方領域の画像を撮影するフロントカメラと、車両右側方領域の画像を撮影する右サイドカメラとを備え、
   前記障害物検知装置は、前記フロントカメラと前記右サイドカメラとで重複して撮影される車両右前方の重複領域を検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が車両右前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
8. 前記複数の車載カメラとして、車両前方領域の画像を撮影するフロントカメラと、車両左側方領域の画像を撮影する左サイドカメラとを備え、
   前記障害物検知装置は、前記フロントカメラと前記左サイドカメラとで重複して撮影される車両左前方の重複領域を検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が車両左前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
9. 前記複数の車載カメラとして、車両後方領域の画像を撮影するリアカメラと、車両右側方領域の画像を撮影する右サイドカメラとを備え、
   前記障害物検知装置は、前記リアカメラと前記右サイドカメラとで重複して撮影される車両右後方の重複領域を検知範囲とし、
   前記表示制御手段は、前記障害物検知装置が車両右後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
10. 前記複数の車載カメラとして、車両後方領域の画像を撮影するリアカメラと、車両左側方領域の画像を撮影する左サイドカメラとを備え、
    前記障害物検知装置は、前記リアカメラと前記左サイドカメラとで重複して撮影される車両左後方の重複領域を検知範囲とし、
    前記表示制御手段は、前記障害物検知装置が車両左後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。
11. 一部が重複する車両周囲の複数の領域の画像を複数の車載カメラで各々撮影し、これら複数の車載カメラで撮影された原画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、これら俯瞰画像を前記複数の車載カメラで重複して撮影される重複領域に対応する画像部分で合成して、１つの連続した俯瞰表示画像を作成して表示装置に表示する画像表示方法において、
    前記表示装置に前記俯瞰表示画像を表示するステップと、
    前駆俯瞰表示画像の表示中に、前記複数の車載カメラで重複して撮影される重複領域内に存在する障害物を、障害物検知装置を用いて検知するステップと、
    前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、障害物を検知した重複領域を撮影する複数の車載カメラの原画像へと切り替えるステップとを有することを特徴とする画像表示方法。

Images