JP4556494B2 - 車両周囲表示装置及び車両周囲表示方法 - Google Patents

Description

本発明は、車両の周囲映像を撮影して表示する車両周囲表示装置及び車両周囲表示方法に係り、特に、路面に対して高さを有する物体を容易に認識する技術に関する。

特開２０００−６５９４８号公報（特許文献１）に開示されているように、カメラを用いて物体の存在を検知方法としてステレオ映像を用いる仕組みは提案されているが、車両周囲映像を撮影して車両の乗員が直視しにくい視野の補助を行う仕組みにおいては、まだ応用されていないのが現状である。
特開平２０００−６５９４９号公報

そこで、車両に複数のカメラを設置し、各カメラで車両周囲の映像を撮影し、視点変換等の処理を加えることにより、車両の周囲映像を取得して乗員に提示する方式を採用すると、カメラ映像のみを元にして視点位置を上方に設定することにより俯瞰映像にするような視点変換を行った場合に、路面の映像は提示される画面上でほぼ正確な位置に表示されるが、路面上に存在する車両や突起物等の、路面に対して高さを有する物体を視点変換して表示した場合には、実際の仮想視点から見た映像と異なって表示される場合があり、認識しずらいという問題があった。

この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、路面に対して高さを有する物体の存在を確実に認識することのできる車両周囲表示装置及び車両周囲表示方法を提供することにある。

上記目的を達成するため、本発明は、車両に搭載され、該車両の周囲映像を表示する車両周囲表示装置において、少なくとも一部の撮影領域が互いに共通となる車両の周囲映像を撮影する第１の撮影手段、及び第２の撮影手段を２組備え、前記各組ごとに、前記第１の撮影手段により撮影された画像及び第２の撮影手段により撮影された画像の少なくとも一方を視点変換処理して、視点が同一となる２つの画像を生成する視点変換処理手段と、前記視点変換処理手段により生成された２つの画像の間で、前記共通の撮影領域となる部分の画素値を比較する画素比較処理手段と、前記画素比較処理手段にて、前記視点変換処理して得られた２つの画像間で画素値が相違すると判定された部分を強調した画像を生成する画像処理手段と、前記２つの組毎の、前記画像処理手段で生成された画像を合成して一つの画像を生成し、表示する表示手段と、を備える。

本発明に係る車両周囲表示装置及び方法では、２つの撮影手段により撮影された２つの画像のうちの少なくとも一方を視点変換処理することにより、視点が一致する２つの画像を生成する。そして、２つの画像の対応する部分の画素値を比較し、画素値が相違する部分については、撮影する領域に対して高さ方向の成分を有する物体が存在するものと判断し、強調した画像として画面表示する。従って、車両の乗員は強調された表示を見ることにより、障害物の存在を容易に認識することができるようになる。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明に係る車両周囲表示装置の第１の実施形態の構成を示すブロック図である。同図に示すように、この車両周囲表示装置は、車両に搭載されて車両周辺の共通となる視野領域の映像を撮影する撮影装置１１０ａ，１１０ｂと、各撮影装置１１０ａ（第１の撮影手段），１１０ｂ（第２の撮影手段）にて撮影された画像を処理して車両の乗員に提示する画像を生成する画像処理装置（画像処理手段）１００と、この画像処理装置１００で生成された画像を画面表示する液晶ディスプレイ（表示手段）１２０とを備えている。

画像処理装置１００は、撮影装置１１０ａ，１１０ｂにより撮影された画像のうちの少なくとも一方を、撮影した領域中に路面に対する高さ成分を持つ物体が存在しないものと仮定して所望の仮想視点から撮影された画像に視点変換処理を行う視点変換処理部１３０を備え、更に、視点変換処理により取得される同一視点とされた複数の画像について、その画素毎の値を比較し、画素値の差に応じて色味（色彩）を変更する処理を行う画像比較処理部（画像比較処理部）１４０とを備えている。

撮影装置１１０ａ，１１０ｂとしては、例えば、ＣＣＤカメラやＣＭＯＳカメラ等を使用することができる。

視点変換処理部１３０や画素ごとの画像比較処理部１４０としては、例えば、マイクロコンピュータとメモリから構成される画像処理装置１００上で動作するプログラムや、それぞれの処理を回路として組み込んだＡＳＩＣ、ＦＰＧＡを用いることができる。

次に、上述のように構成された本実施形態に係る車両周囲表示装置の動作を、図２に示すフローチャートを参照しながら説明する。

まず、車両周囲の所望する撮影対象領域を、撮影装置１１０ａ及び１１０ｂの双方を用いて撮影し、その画像データを読み込む（ステップＳ１００１；撮影工程）。

次いで、各撮影装置１１０ａ，１１０ｂにて撮影された画像は同一の撮影対象領域を撮影しているものの、その視点位置が異なるので、視点変換処理部１３０では、これらを一致させるべく視点変換処理を行う（ステップＳ１００２；視点変換処理工程）。ここでは、２つの撮影装置１１０ａ，１１０ｂにて撮影された画像の視点位置を一致させるため、撮影装置１１０ａで撮影された画像を基準画像とし、撮影装置１１０ｂで撮影された画像の視点位置を、基準画像の視点位置に変換する処理を行い、この変換後の画像を比較画像とする。

図３は、視点変換処理を模式的に示す説明図であり、実カメラ系で撮影した画像の視点を仮想カメラ系の画像に変換する処理を示している。ここでの処理では、実カメラ系にて所望の撮影対象領域の映像を撮影する。そして、撮影された画像の各画素について、仮想カメラ系の中心点までの直線を引き、仮想カメラ系の画像面との交点をその画素とすることにより、仮想カメラ系での画像を作成することができる。

この手法を用いることにより、撮影装置１１０ｂで撮影された画像を視点変換処理により、撮影装置１１０ａによる視点に変更することができる。

各画素についての視点変換処理が終了すると（ステップＳ１００４でＹＥＳ）、撮影装置１１０ａで撮影された画像データ、即ち基準画像と、撮影装置１１０ｂで撮影された画像データを基準画像の視点位置となるように視点変換して得られた画像データ、即ち比較画像との比較処理を行う（ステップＳ１００５〜Ｓ１００９；画素比較処理工程）。

そして、基準画像と比較画像の全画素に対して、それぞれ画素値の比較を行い（ステップＳ１００６）、等しい場合は（ステップＳ１００６でＹＥＳ）、例えば、その画素の色味成分をリセットして、濃淡成分だけを残し、モノクロの画素とする（ステップＳ１００７）。

他方、画素値が相違する場合には（ステップＳ１００６でＮＯ）、基準画像或いは比較画像のいずれかに、路面に対して高さ成分を有する物体の映像が映っているものと判断することができる。即ち、上記の視点変換処理では、地面に対して高さ成分を持つものが存在しないことを前提に画像の処理を行っているので、基準画像と比較画像との間で画素値の相違が生じた場合には、それは地面に対して高さ成分を有する物体が存在していることに起因するものであるということができる。

そして、この画素については、画素値として、例えば、撮影装置１１０ａの画像データの濃淡成分だけを残し、色味成分を赤色に設定したり、撮影装置１１０ａの画像データと撮影装置１１０ｂを元にした画像データの濃淡成分の平均値をその画素の濃淡成分とし、色味成分を赤色に設定したりする等の処理を加えて、対応する画素の値が等しい場合に対し（ステップＳ１００７の場合に対し）色味を変える（ステップＳ１００８）。

全画素の処理が終わり、比較処理が終了すると（ステップＳ１００９でＹＥＳ）、生成された画像データを液晶ディスプレイ１２０に出力し、この画像データを画面表示する（ステップＳ１０１０；表示工程）。その後、ステップＳ１００１から処理を繰り返す。

こうして、路面に対して高さ成分を有する物体については、赤色などの色味が付けられて画面表示されるので、車両の乗員は障害物の存在をいち早く認識することができるのである。

図６は、液晶ディスプレイ１２０の表示例を示す説明図であり、（ａ）は色味表示を行わない場合、（ｂ）は色味表示を行う場合をそれぞれ示している。各図を比較して理解されるように、同図（ｂ）に示す色味表示をしている画像では、車両周辺に存在する障害物の存在を色合いで認識することができるので、車両をバックさせながら車庫入れする際などに障害物の存在にいち早く気づくことができる。

このようにして、本実施形態に係る車両周囲表示装置では、複数の撮影装置１１０ａ，１１０ｂを用いて撮影した画像を、高さ成分を持たない画像として同一視点の画像となるように視点変換処理を行い、双方の画像の各画素値を比較し、画素値が等しい場合と相違する場合とで色味を変えるようにしているので、液晶ディスプレイ１２０に表示される画像は、高さ成分を有する場合には異なる色味で表示されることになる。従って、車両の乗員は、液晶ディスプレイ１２０に表示される画像を見たときに、一見して地面に対して高さ成分を有する物体が表示されていることを認識することができる。

また、視点変換する際には、路面に対して高さ成分を有する物体が存在しないものとして画像処理を行うので、基準画像と比較画像との間で対応する画素値が相違する場合には、高さ成分を有することに起因するものであると判断することができるので、高さ成分を有する障害物の存在を確実に認識し、且つ車両の乗員に提示することができる。

更に、撮影装置１１０ａで撮影した画像を基準画像とし、撮影装置１１０ｂで撮影した画像を視点変換処理したものを比較画像とするので、視点変換処理が一回のみとなり、処理演算が簡素化される。

また、上述した実施形態では、撮影装置１１０ａで撮影された画像を基準画像とし、撮影装置１１０ｂで撮影された画像を視点変換処理して得られた画像を比較画像として両者の比較を行う例について説明したが、双方の撮影装置１１０ａ，１１０ｂで撮影された画像を共に視点変換処理して、同一視点となる画像を作成し、これらの比較を行うようにすることも可能である。このような手法を採用すれば、撮影装置１１０ａ，１１０ｂの設置位置と異なる位置に視点位置を設定することができるので、より柔軟な画像表示を実現することができる。

更に、２つの撮影手段１１０ａ，１１０ｂによる撮影領域が全て共通であるように設定することにより、広い範囲で且つ高精度に、障害物の存在を乗員に提示することができる。

更に、地面に対して高さ成分を有する物体を強調表示するために、色彩を変化させる手法を用いることにより、乗員は色を見ることでいち早く障害物の存在を認識することができるようになる。

また、上記した実施形態では、２つの撮影装置１１０ａ，１１０ｂによる撮影対象領域が同一である場合を例に挙げて説明したが、２つの撮影装置１１０ａ，１１０ｂの撮影対象領域が全て一致せず、一部のみが一致する場合であっても、この一致する領域において、本実施形態の手法を用いることができる。

従って、車両に設置する撮影装置として、同一の撮影対象領域を撮影するために複数の撮影装置を設けなくても、特に注意を要するような車両の４つのコーナー付近の領域についてのみ複数の撮影装置による撮影領域が重複するように設定することで、コーナー付近の視野についてのみ、地面に対して高さを有する物体の存在を乗員に認識させることができる。

更に、上述した実施形態では、地面に対して高さ成分を有すると判断された領域を赤色に着色することにより色味を変化させる例について説明したが、本発明はこれに限定されるものではなく、他の色を用いても良い。また、色の変化でなく、その他の強調表示を用いることにより、識別するようにすることも可能である。

次に、本発明に係る車両周囲表示装置の第２の実施形態について説明する。第２の実施形態では、上述した第１の実施形態で示した撮影装置１１０ａ，１１０ｂの組を２組備えることにより、地面に対して高さ成分を備える物体に色味を付けて表示すると共に、２組の画像を用いることによりこの物体をステレオ視して、より立体的に表示するものである。以下、詳細に説明する。

図４は、第２の実施形態に係る車両周囲表示装置の構成を示すブロック図である。同図に示すように、この車両周囲表示装置は、２つ以上のそれぞれ異なる位置に設置して車両周辺の共通な視野領域の映像を撮影する撮影装置２１０ａ，２１０ｂ，２１０ｃ，２１０ｄと各撮影手段２１０ａ〜２１０ｄにより撮影された画像を処理して車両の乗員に提示する画像を生成する画像処理装置２００と、この画像処理装置２００で生成された画像を画面表示する液晶ディスプレイ（表示手段）２２０とを備えている。

画像処理装置２００は、各撮影装置２１０ａと２１０ｂ、及び２１０ｃと２１０ｄにより撮影された画像をそれぞれ組とし、各組毎に、撮影装置で撮影した領域中に路面に対する高さ成分を持つ物体が存在しないものと仮定して所望の仮想視点から撮影された画像に視点変換処理を行う視点変換処理部２３０を有している。

更に、視点変換処理により取得される同一視点とされた複数の画像について、その画素毎の値を比較し、画素値の差に応じて色味（色彩）を変更する処理を行う画像比較処理部２４０と、各撮影装置の組で得られる色味が変更された画像を合成して、ステレオ視した画像を生成する画像合成処理部２５０とを備えている。

また、上述した第１の実施形態と同様に、撮影装置２１０ａ〜２１０ｄとしては、例えば、ＣＣＤカメラやＣＭＯＳカメラ等を使用することができる。

視点変換処理部２３０や画素ごとの画像比較処理部２４０、画像合成処理部２５０としては、例えば、マイクロコンピュータとメモリから構成される画像処理装置２００上で動作するプログラムや、それぞれの処理を回路として組み込んだＡＳＩＣ、ＦＰＧＡを用いることができる。

次に、第２の実施形態の動作を、図５に示すフローチャートを参照しながら説明する。まず、撮影装置２１０ａ〜２１０ｄを用いて、車両周辺の映像を撮影し、撮影された画像データを読み込む（ステップＳ２００１）。

ここでは、撮影装置２１０ａと２１０ｃで撮影された画像を基準画像とし、撮影装置２１０ｂで撮影された画像を撮影装置２１０ａで撮影された画像の比較画像とし、撮影装置２１０ｄで撮影された画像を撮影装置２１０ｃで撮影された画像の比較画像とする。従って、撮影装置２１０ｂと２１０ｄで撮影された画像を視点変換処理部２３０にて視点変換処理して、視点変換した画像を取得する（ステップＳ２００２〜Ｓ２００４）。視点変換処理の具体的な手法については、上述した図３で説明した手法を用いることができる。

そして、視点変換処理が終了すると（ステップＳ２００４でＹＥＳ）、撮影装置２１０ａで撮影された画像データ（基準画像）と、撮影装置２１０ｂで撮影された画像データを視点変換して得られた画像データ（比較画像）の比較処理、及び撮影装置２１０ｃで撮影された画像データ（基準画像）と、撮影装置２１０ｄで撮影された画像データを視点変換して得られた画像データ（比較画像）の比較処理を行う（ステップＳ２００５〜Ｓ２００９）。

全画素に対して、それぞれ画素の値の比較を行い（ステップＳ２００６）、等しい場合は（ステップＳ２００６でＹＥＳ）、例えば、その画素の色味成分をリセットして、濃淡成分のみを残し、モノクロの画素とする（ステップＳ２００７）。

他方、撮影装置２１０ａで撮影された画像データと撮影装置２１０ｂに基づいて作成された視点変換後の画像データが相違する場合、或いは撮影装置２１０ｃで撮影された画像データと撮影装置２１０ｄに基づいて作成された視点変換後の画像データが相違する場合は（ステップＳ２００６でＮＯ）、少なくともいずれかの画像に高さ成分を有する物体の映像が存在しているため、その画素の値としては、例えば、撮影装置２１０ａや２１０ｃで撮影された画像データの濃淡成分のみを残し、色味成分を赤色に設定する処理を行う。

また、撮影装置２１０ａで撮影した基準画像と撮影装置２１０ｂに基づいて作成された比較画像の濃淡成分の平均値をその画素の濃淡成分とし、色味成分を赤色に設定する等して、対応する画素の値が等しい場合に対して、色味を変える処理を行う（ステップＳ２００８）。同様に、撮影装置２１０ｃで撮影した基準画像と撮影装置２１０ｄに基づいて作成された比較画像の濃淡成分の平均値をその画素の濃淡成分とし、色味成分を赤色に設定する等して、対応する画素の値が等しい場合に対して、色味を変える処理を行う。

全画素の処理が終了し、比較処理を終えると（ステップＳ２００９でＹＥＳ）、２つの撮影装置の組（２１０ａと２１０ｂの組、及び２１０ｃと２１０ｄの組）で得られた画像を合成する処理を行う（ステップＳ２０１０〜２０１２）。

次いで、画像合成処理部２５０では、画像比較処理部２４０より出力される２つの画像に基づいて、これらを合成した画像を生成する。そして、全画素の処理が終了するまでステップＳ２０１０〜Ｓ２０１２の処理を繰り返す。

全画素の処理が終わり、合成処理が終了すると（ステップＳ２０１２でＹＥＳ）、生成された画像データを、液晶ディスプレイ２２０に出力し、該液晶ディスプレイ２２０では、合成された画像を画面表示することにより、この画像を乗員に提示する（ステップＳ２０１３）。以後、ステップＳ２００１からの処理を繰り返す。

このようにして、本実施形態に係る車両周囲表示装置では、複数の撮影装置２１０ａ〜２１０ｄにより取得した画像を高さ成分を持たない画像として同一視点の画像となるように視点変換し、基準画像と比較画像の各画素値を比較して等しい場合と異なる場合で色味が異なるようにして、合成した画像を液晶ディスプレイ２２０に表示するので、乗員に提示される画像は高さ成分がある場合は色味が変わって表示されることになり、乗員は映像を見たときに一見して地面と同レベルにある物体ではなく、高さ成分を持つ物体が表示されていることを認識することができる。

更に、２つの組となる撮影装置を備え、各組の撮影装置で撮影された画像を合成して得られる画像を液晶ディスプレイ２２０に表示するので、立体的な画面表示が可能となり、乗員による障害物の認識性を向上させることができる。

また、上述した第２の実施形態では、撮影装置２１０ａ，２１０ｃで撮影した画像を基準画像とし、撮影装置２１０ｂ，２１０ｄで撮影した画像を比較画像として用いる例について説明したが、撮影装置２１０ａ，２１０ｂで撮影された画像の双方、或いは撮影装置２１０ｃ，２１０ｄで撮影された画像の双方を視点変更して同一視点の画像とし、これらの画素値を比較することにより、高さ成分を持つ物体を認識するようにすることも可能である。

更に、第２の実施形態では、撮影装置２１０ａ，２１０ｂによる撮影対象領域が同一であり、撮影装置２１０ｃ，２１０ｄによる撮影対象領域が同一である場合を例に挙げて説明したが、２つの撮影装置２１０ａ，２１０ｂの撮影対象領域が全て一致せず、一部のみが一致する場合であっても、この一致する領域において、本実施形態の手法を用いることができる。同様に、２つの撮影装置２１０ｃ，２１０ｄの撮影対象領域が全て一致せず、一部のみが一致する場合であっても、この一致する領域において、本実施形態の手法を用いることができる。

従って、車両に設置する撮影装置として、同一の撮影対象領域を撮影するために複数の撮影装置を設けなくても、特に注意を要するような車両の４つのコーナー付近の領域についてのみ複数の撮影装置による撮影領域が重複するように設定することで、コーナー付近の視野についてのみ、地面に対して高さを有する物体の存在を乗員に認識させることができる。

車両周囲に存在する障害物の存在を認識する上で極めて有用である。

本発明の第１の実施形態に係る車両周囲表示装置の構成を示すブロック図である。 第１の実施形態に係る車両周囲表示装置の処理動作を示すフローチャートである。 視点変換処理の手法を模式的に示す説明図である。 本発明の第２の実施形態に係る車両周囲表示装置の構成を示すブロック図である。 第２の実施形態に係る車両周囲表示装置の処理動作を示すフローチャートである。 画像の表示例を示す説明図であり、（ａ）は高さ成分を持つ物体に色味を付けない場合、（ｂ）は高さ成分を持つ物体に色味を付ける場合の例を示す。

符号の説明

１００ 画像処理装置（画像処理手段）
１１０ａ 撮影装置（第１の撮影手段）
１１０ｂ 撮影装置（第２の撮影手段）
１２０ 液晶ディスプレイ（表示手段）
１３０ 視点変換処理部（視点変換処理手段）
１４０ 画像比較処理部（画像比較処理手段）
２００ 画像処理装置（画像処理手段）
２１０ａ，２１０ｃ 撮影装置（第１の撮影手段）
２１０ｂ，２１０ｄ 撮影装置（第２の撮影手段）
２２０ 液晶ディスプレイ（表示手段）
２３０ 視点変更処理部（視点変更処理手段）
２４０ 画像比較処理部（画像比較処理手段）
２５０ 画像合成処理部

Claims (6)

1. 車両に搭載され、該車両の周囲映像を表示する車両周囲表示装置において、
   少なくとも一部の撮影領域が互いに共通となる車両の周囲映像を撮影する第１の撮影手段、及び第２の撮影手段を２組備え、
   前記各組ごとに、前記第１の撮影手段により撮影された画像及び第２の撮影手段により撮影された画像の少なくとも一方を視点変換処理して、視点が同一となる２つの画像を生成する視点変換処理手段と、
   前記視点変換処理手段により生成された２つの画像の間で、前記共通の撮影領域となる部分の画素値を比較する画素比較処理手段と、
   前記画素比較処理手段にて、前記視点変換処理して得られた２つの画像間で画素値が相違すると判定された部分を強調した画像を生成する画像処理手段と、
   前記２つの組毎の、前記画像処理手段で生成された画像を合成して一つの画像を生成し、表示する表示手段と、
   を備えたことを特徴とする車両周囲表示装置。
2. 前記第１の撮影手段、及び第２の撮影手段は、車両周囲の路面を含む領域を撮影し、前記視点変換処理手段は、前記第１の撮影手段にて撮影された画像、或いは前記第２の撮影手段にて撮影された画像を視点変換処理する際に、路面に対して高さ成分を有する物体が存在しないものと仮定して処理を行うことを特徴とする請求項１に記載の車両周囲表示装置。
3. 前記第１の撮影手段にて撮影された画像を基準画像とし、前記視点変換処理手段は、前記第２の撮影手段にて撮影された画像の視点が前記基準画像の視点と一致するように視点変換処理を行うことを特徴とする請求項１または請求項２のいずれかに記載の車両周囲表示装置。
4. 前記第１の撮影手段の撮影領域、及び第２の撮影手段の撮影領域は全体が共通する領域であることを特徴とする請求項１〜請求項３のいずれか１項に記載の車両周囲表示装置。
5. 前記画素値が相違すると判定された画素を強調する処理は、色彩を変化させることによるものであることを特徴とする請求項１〜請求項４のいずれか１項に記載の車両周囲表示装置。
6. 車両に搭載され、該車両の周囲映像を表示する車両周囲表示方法において、
   少なくとも一部の撮影領域が互いに共通となる車両の周囲映像を撮影した第１の画像、及び第２の画像を、２組取得する撮影工程と、
   前記各組毎に、第１の画像及び第２の画像のうちの少なくとも一方を視点変換処理して、視点が同一となる２つの画像を生成する視点変換処理工程と、
   前記視点変換処理工程により生成された２つの画像の間で、前記共通の撮影領域となる部分の画素値を比較する画素比較処理工程と、
   前記画素比較処理工程にて、前記視点変換処理後の２つの画像間で画素値が相違すると判定された部分を強調した画像を生成し、各組毎に生成された画像を合成して一つの画像を生成し、この合成した画像を表示する表示工程と、
   を備えたことを特徴とする車両周囲表示方法。
   

Images