JP4707109B2 - 複数カメラ撮影画像処理方法及び装置 - Google Patents

Description

本発明は、車両に搭載した複数のカメラにより車外周辺を撮影し、その撮影画像を合成処理することにより、車両の上方に設置した１台のカメラで車両の周囲を撮影しているような画像を表示するための、複数カメラ撮影画像処理方法及び装置に関する。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラを超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。

しかしながら、上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突やこすりを生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図４に示すように、車両３１の左側を撮影する車両左側撮影用カメラ３２、車両３１の右側を撮影する車両右側撮影用カメラ３３、車両３１の後方を撮影する後方撮影用カメラ３４、車両３１の前側を撮影する車両前方撮影用カメラ３５の合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図４（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両３１の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。

なお、後方撮影用カメラの画像における地上高のある目標物に対して、画面上でマーカー表示を行う技術は下記特許文献１に開示されており、車両の周囲を複数のカメラで撮影して合成画像を得る際に複数カメラの撮影境界領域にある物体が見えなくならないように、カメラの撮影方向を設定する技術は下記特許文献２に開示されている。
特開２００４−５６２１９号公報 特開２００３−２０４５４７号公報

上記のように、車両の周囲を撮影するカメラを複数用い、その撮影画像を合成することにより、車両の上方に設置した１つのカメラで車両を中心として周囲を撮影しているような画像を表示するトップビューシステムを採用すると、車両周囲の物体の撮影画像が違和感なく表示され、距離感がつかみやすく見やすい車両周囲表示装置とすることができるものであるが、カメラ設置位置よりも高い物体は撮影することができない、或いはそのような立体物が巨大に写る等の問題があった。

例えば図５に示すように車両３１が車庫入れ等により徐行して後退しようとしているとき、車両後方にポール３６が存在する際には、これを撮影した後方カメラによる画像を処理した表示画像においては、同図（ｂ）に示すように平面状の模様のように、また長く展開して表示される。そのためこの画面からは、この表示物が平面状の模様なのか、或いはどのような物体であるのかを判別するのは困難である。そのためこれを見ながら運転している運転は不安になると共に、この物体に衝突する危険もある。

したがって本発明は、車両に複数設置した車両外部を撮影するカメラの画像を合成処理し、車両の上方に設置した１つのカメラにより撮影した画像のように表示するに際して、車両近辺の立体物を見やすく表示することができるようにした複数カメラ撮影画像表示処理方法、及びその方法を実施する装置を提供することを主たる目的とする。

本発明に係る複数カメラ撮影画像表示処理方法は、前記課題を解決するため、車外を撮影する複数のカメラの撮影画像を取り込んで車両上方を視点とした画像を合成処理して表示し、前記画像合成処理した画像内において他とは異なる画像表示変化部分の検出により立体物を検出し、検出した立体物を前記車両上方視点画像合成処理とは異なる態様で画像処理して、前記車両上方視点画像と接続した画像により立体物画像を表示する複数カメラ撮影画像表示処理方法において、前記立体物の検出は、前記他とは異なる画像表示変化部分を検出した後、該検出部分について、画像表示変化が連続的であることを検出することによって、立体物特有の画像変化を検出することを特徴とする。

また本発明に係る他の複数カメラ撮影画像表示処理方法は、前記複数カメラ撮影画像表示処理方法において、車両走行方向に合わせて表示画面内に所定領域を設定し、該所定領域における画像表示変化部分の検出により前記立体物を検出することを特徴とする。

また本発明に係る他の複数カメラ撮影画像表示処理方法は、前記複数カメラ撮影画像表示処理方法において、前記立体物表示画像が２視点画像であることを特徴する。

また本発明に係る複数カメラ撮影画像表示処理装置は、車外を撮影する複数のカメラの撮影画像を取り込んで車両上方を視点とした画像を合成処理して表示する車両上方視点画像処理手段と、前記画像合成処理した画像内において、他と異なる画像表示変化部分の検出により立体物を検出する立体物検出手段と、前記立体物検出手段で検出した立体物を、前記車両上方視点画像とは異なる態様の画像を形成する立体物画像処理手段と、前記立体物検出手段により立体物を検出したとき、前記車両上方視点画像と立体物画像とを接続して表示する画像表示手段とを備えた複数カメラ撮影画像表示処理装置において、前記立体物検出手段は、前記他とは異なる画像表示変化部分を検出した後、該検出部分について、画像表示変化が連続的であることを検出することによって、立体物特有の画像変化を検出することを特徴とする。

また本発明に係る他の複数カメラ撮影画像表示処理装置は、前記複数カメラ撮影画像表示処理装置において、車両走行方向に合わせて表示画面内に所定領域を設定し、該所定領域における画像表示変化部分の検出により前記立体物を検出することを特徴とする。

また本発明に係る他の複数カメラ撮影画像表示処理装置は、前記複数カメラ撮影画像表示処理装置において、前記立体物表示画像が、２視点画像であることを特徴する。

本発明は上記のように構成したので、車両に複数設置した車両外部を撮影するカメラの画像を合成処理し、車両の上方に設置した１つのカメラにより撮影した画像のように表示するに際して、車両近辺の立体物を見やすく表示することができるため、利用者は安心して車両の運転を行うことができ、障害物に衝突する等の事故を防止することができる。

本発明は、車両に複数設置した車両外部を撮影するカメラの画像を合成処理し、車両の上方に設置した１つのカメラにより撮影した画像のように表示するに際して、車両近辺の立体物を見やすく表示するという目的を、車外を撮影する複数のカメラの撮影画像を取り込んで車両上方を視点とした画像を合成処理して表示し、前記画像合成処理した画像内において他とは異なる画像表示変化部分の検出により立体物を検出し、検出した立体物を前記車両上方視点画像合成処理とは異なる態様で画像処理して、前記車両上方視点画像と接続した画像により立体物画像を表示することによって実現した。

本発明の実施例を図面に沿って説明する。図１は本発明の実施例において、車外を撮影する複数のカメラの撮影画像を合成して、車両の上方に設置した１つのカメラにより車両を中心とした周囲の画像を表示するトップビュー方式の画像表示において、特に車両周囲に立体物が存在するときの立体物の表示を行う機能を中心に示した機能ブロック図である。同図において、各機能を行う機能部は、各機能を行う手段ともいうことができる。

図１に示す例においては前記図４に示すものと同様に、車両１の外部を撮影するカメラ（２、３、４、５）で撮影した画像は、複数カメラ撮影画像表示処理部６におけるカメラ撮影画像取込部７にそれぞれ取り込まれる。この画像は画像表示処理部８において所定の画像表示処理を行うが、通常の画像処理においてはトップビュー画像処理部としての車両上方視点画像処理部９において、前記図４と同様の手法により車両上方視点の画像処理を行い、これを画像出力表示部１７から出力し、モニタ１８に表示する。

立体物検出領域設定部１３では、図３（ａ）のように、車両上方視点画像内において、例えば自車両の後方領域の特定の画像表示領域に立体物検出領域Ｃを設定する。画像内輝度・色差判別部１１では車両上方視点画像処理部９で上記のようにして表示処理を行った車両上方視点画像の中で、特に前記立体物検出領域設定部１３で設定した立体物検出領域Ｃ部分について、その部分の輝度、或いは色素変化としての色差が所定以上異なる部分を検出する。即ち図３（ｂ）に示すように、立体物２０の検出に際しては立体物の前方に存在する路面の領域Ａと、立体物２０の前面部分Ｂとについて、輝度、あるいは色素変化としての色差を比較することにより、輝度或いは色差が所定以上大きいとき、その部分は立体物である可能性が高いものと判別する。

立体物検出部１２では、前記のように設定された立体物検出領域Ｃにおいて、輝度或いは色差が所定以上ある部分が存在したとき、輝度或いは色差の変化が連続的であるか否かを継続的に監視し、連続的であるときには検出された部分が立体物であると判別する。この判別に際しては、立体物が立体物検出部Ｑに至ったとき、最終的に立体物であると判別する。立体物基部前端検出部１４では、立体物検出部１２により立体物を検出したとき、立体物画像表示処理部１０で処理された立体物の画像の中で、接地側としての基部の前端、即ち車両に近い側の部分を基部前端として検出する。

画像表示処理部８における立体物画像表示処理部１０は、この立体物検出部１２で上記のように立体物を検出したとき、その立体物の設置部分である基部の前端Ｐを検出し、その基部前端Ｐが予め設定している立体物画像表示開始位置Ｒに至ったとき、この立体物を通常のカメラ撮影画像による立体物表示、或いは２視点画像による立体物表示をするための処理を行う。画像接続合成部１５においては、例えば図３（ｄ）のように車両上方視点画像表示処理部９による車両上方視点画像と、立体物画像表示処理部１０による立体物画像とを、立体物の基部Ｐにおいて接続する画像合成を行って表示する。その後車両の走行と共に立体物２０が接近すると、立体物２０がその接近に合わせて表示が変化し、この立体物の形状変化によっても立体物の状態を正確に理解することができる。

画像表示切換部１６では立体物検出部１２で立体物検出領域Ｃ内に立体物２０を検出し、その立体物の基部前端Ｐが予め設定した立体物画像表示開始位置Ｒに至ったとき、通常表示である車両上方視点画像処理部９によるトップビュー画像としての車両上方視点画像のみの表示から、前記画像合成部１５で接続合成した合成画像に切り替える。画像出力表示部１７では画像表示切換部１６で選択して切り換えた画像を外部に出力し、モニタ１８に表示する。その後この立体物２０が車両に特に接近する所定の線Ｓに到達したときには、運転者に対して障害物が接近していることを警告出力を行うようにしても良い。

なお、図示実施例においては立体物検出エリア等の領域設定に際して、直線で設定した例を示したが、円弧で領域設定をすることもできる。また、立体物表示処理に際しては、広角レンズによる画像をそのまま表示すると視認性が悪くなるので、画像の歪みを補正し取り除いて表示することが好ましい。また、領域等の設定に際しては、画面上で車両からの距離等を設定する以外に、従来から用いられているレーダーやソナーにより、立体物と車両との距離を計測し、立体物が所定の領域等に存在することを検出しても良い。更に、前記実施例においては車両の後退の例を示したが、前進時においても同様に適用することができ、更にその時の領域等の設定に際しては、車両の蛇角を検出し、車両の進行方向を考慮して設定することもできる。

上記のような機能ブロックからなる実施例の複数カメラ撮影画像表示手法は、例えば図２に示すような作動フローにしたがって作動させることができる。図２に示す複数カメラ撮影画像処理においては、最初車外撮影カメラの画像の取り込みを行い（ステップＳ１）、その後立体物検出エリア内に輝度・色差の大きな表示物が存在するか否かを判別する（ステップＳ２）。

この処理に際しては図１の画像内輝度・色差判別部１１において、カメラ撮影画像取込部２で取り込んだ複数カメラの画像に基づき、車両上方視点画像処理部９で処理した画像の中で立体物検出領域設定部３が所定の立体物検出領域を設定したとき、その立体物検出領域の画像内で輝度・色差が所定以上大きい部分を検出して判別する。このステップＳ２においてそのような表示部分が存在しないと判別したときには、再びステップＳ１に戻って前記作動を繰り返す。

ステップＳ２において、立体物検出エリア内に輝度・色差の大きな表示部分が存在すると判別したときには、その後に車両が移動すると（ステップＳ３）、その移動によって前記のようにして検出した立体物の疑いのある表示部分の輝度の差・色差の程度を検出し、輝度・色差の変化が連続的か否かを判別する（ステップＳ４）。この判別処理は図１の立体物検出部１２において、前記のようにして行う。

ステップＳ４において先に検出した表示部分の輝度・色差の変化が連続的であると判別したときには、それにより立体物検出エリア内に立体物が存在すると認識する（ステップＳ５）。次いで、このようにして認識した立体物の基部前端、即ち立体物における接地部の車両に近い部分を検出する（ステップＳ６）。この作動は図１における立体物基部前端検出部１４において行う。

その後、検出した立体物基部前端以降部分を通常画像表示、或いは２視点による立体物画像の形成処理を行う（ステップＳ７）。これは図１の立体物画像表示処理部１０で行う。立体物画像表示処理部１０においてこの画像処理をすると、車両上方視点画像と上記のような通常画像或いは２視点画像による立体物表示画像とを接続合成表示する（ステップＳ８）。次いで、図示実施例では車両が停止したか否かを判別し（ステップＳ９）、未だ停止していないときにはステップＳ８に戻って再び前記画像形成・表示処理を継続する。

また、前記ステップＳ４において、表示物の輝度・色差の変化が連続的ではないと判別したときには、車両が停止したか否かを判別し（ステップＳ１１）、未だ停止していないときにはステップＳ１に戻って前記作動を繰り返す。ステップＳ１１で車両が停止したと判別したときには、前記ステップＳ１０において車両が停止したと判別したときと共にこの処理を終了する（ステップＳ１２）。

本発明の実施例の機能ブロック図である。 同実施例の作動フロー図である。 同実施例の作動を示す説明図である。 複数カメラ撮影画像により車両上方視点画像を形成する例を示す説明図である。 従来の複数カメラ撮影画像表示処理によって表示される立体物の表示例を示す図である。

符号の説明

１ 車両
２、３、４、５ カメラ
６ 複数カメラ撮影画像表示処理部
７ カメラ撮影画像取込部
８ 画像表示処理部
９ 車両上方視点画像処理部
１０ 立体物画像表示処理部
１１ 画像内輝度・色差判別部
１２ 立体物検出部
１３ 立体物検出領域設定部
１４ 立体物基部前端検出部
１５ 画像接続合成部
１６ 画像表示切換部
１７ 画像出力表示部
１８ モニタ
２０ 立体物

Claims (6)

1. 車外を撮影する複数のカメラの撮影画像を取り込んで車両上方を視点とした画像を合成処理して表示し、
   前記画像合成処理した画像内において他とは異なる画像表示変化部分の検出により立体物を検出し、
   検出した立体物を前記車両上方視点画像合成処理とは異なる態様で画像処理して、前記車両上方視点画像と接続した画像により立体物画像を表示する複数カメラ撮影画像表示処理方法において、
   前記立体物の検出は、前記他とは異なる画像表示変化部分を検出した後、該検出部分について、画像表示変化が連続的であることを検出することによって、立体物特有の画像変化を検出することを特徴とする複数カメラ撮影画像表示処理方法。
2. 前記立体物表示画像は、２視点画像であることを特徴とする請求項１記載の複数カメラ撮影画像表示処理方法。
3. 車両走行方向に合わせて表示画面内に所定領域を設定し、該所定領域における画像表示変化部分の検出により前記立体物を検出することを特徴とする請求項１または請求項２に記載の複数カメラ撮影画像表示処理方法。
4. 車外を撮影する複数のカメラの撮影画像を取り込んで車両上方を視点とした画像を合成処理して表示する車両上方視点画像処理手段と、
   前記画像合成処理した画像内において、他と異なる画像表示変化部分の検出により立体物を検出する立体物検出手段と、
   前記立体物検出手段で検出した立体物を、前記車両上方視点画像とは異なる態様の画像を形成する立体物画像処理手段と、
   前記立体物検出手段により立体物を検出したとき、前記車両上方視点画像と立体物画像とを接続して表示する画像表示手段とを備えた複数カメラ撮影画像表示処理装置において、
   前記立体物検出手段は、前記他とは異なる画像表示変化部分を検出した後、該検出部分について、画像表示変化が連続的であることを検出することによって、立体物特有の画像変化を検出することを特徴とする複数カメラ撮影画像表示処理装置。
5. 前記立体物表示画像は、２視点画像であることを特徴とする請求項４記載の複数カメラ撮影画像表示処理装置。
6. 車両走行方向に合わせて表示画面内に所定領域を設定し、該所定領域における画像表示変化部分の検出により前記立体物を検出することを特徴とする請求項４または請求項５に記載の複数カメラ撮影画像表示処理装置。

Images