JP4797877B2 - 車両用映像表示装置及び車両周囲映像の表示方法 - Google Patents

Description

本発明は、車両の周囲の状況を運転者に認識させるために車両周囲を撮像した映像を表示する車両用映像表示装置及び車両周囲映像の表示方法に関する。

従来、固定的に設置されたカメラによりある視点から撮像された実画像に対して画像処理を施すことにより、この実画像を別の視点から見た画像に変換する技術が知られている。このような画像処理は視点変換処理と呼ばれ、例えば、車載カメラで車両周囲の死角領域を撮像し、この死角領域を上から見下ろすような俯瞰画像として表示するといった用途に用いられている。

このような視点変換処理は、実際のカメラによって撮像された実画像を仮想カメラによって上から撮像したと仮定して俯瞰画像を作成するものである。このため、実画像内に高さを有する物体が存在する場合、この物体は俯瞰画像では違和感のある状態（倒れ込んだ状態）で表示されることになり、実際の状況を認識しづらいという問題がある。

以上のような高さを有する物体を俯瞰画像で表示した場合の違和感をなくすための技術として、例えば特許文献１においては、車両走行にともない撮像対象物とカメラとが相対移動することによって得られる動画像データを解析して撮像対象物の高さ情報を取得し、この高さ情報に基づいて所定の演算を行うことにより、違和感のない俯瞰画像を作成する技術が開示されている。
特開２００２−３４０３５号公報

しかしながら、上述した特許文献１に記載された従来の技術においては、車両走行にともない撮像対象物とカメラとが相対移動することによって得られる動画像データを解析して、撮像対象物の高さ情報を演算し、得られた高さ情報を考慮して撮像対象物の俯瞰画像を作成するようにしているため、情報量が膨大な動画像データ解析して演算しなくてはならず、演算処理が複雑になり多くの処理時間が必要になる。したがって、このようなシステムを車載して車両の走行にともなって遅れの少ない俯瞰画像を表示するためには、演算処理を高速に実行する必要があり、構成の大型化や複雑化、ならびにシステムコストの上昇を招くおそれがあった。

そこで、本発明は、上記に鑑みてなされたものであり、構成の大型化や複雑化ならびにコストの上昇を招くことなく、表示した俯瞰画像から障害物を的確に検出して運転者に障害物を容易に認識させることを目的とする。

上記目的を達成するために、本発明の課題を解決する手段は、車両周辺を撮像する撮像手段と、前記撮像手段で撮像された画像を視点変換して俯瞰画像を作成する俯瞰画像作成手段と、第１の時刻に前記撮像手段で撮像された画像を前記俯瞰画像作成手段で変換して作成された第１の俯瞰画像を、前記車両の移動量に基づいて第２の時刻の前記車両の位置に対応して移動させ、この移動された第１の俯瞰画像と、第２の時刻に前記撮像手段で撮像された画像を前記俯瞰画像作成手段で変換して作成された第２の俯瞰画像との差分を抽出して差分俯瞰画像を作成すると共に、作成した差分俯瞰画像を第２の俯瞰画像に重畳して合成する画像合成手段と、前記画像合成手段で合成された俯瞰画像を表示する表示手段とを有し、画像合成手段は、差分俯瞰画像から障害物を検出し、この障害物に強調処理を施すことを特徴とする。

本発明によれば、装置の大型化、複雑化ならびにコストの上昇を招くことなく、車両の進行方向に存在する高さを有する障害物を的確に検出して表示することが可能となり、運転者に障害物を容易に認識させることができる。

以下、図面を用いて本発明を実施するための最良の実施例を説明する。

図１は本発明の実施例１に係る車両用映像表示装置の構成を示す図である。図１に示す実施例１の車両用映像表示装置は、車両に搭載されて車両後方の高さを有する障害物を的確に検出して俯瞰表示し、車両後方の障害物を運転者に認識させて運転者の運転操作を支援する装置に適用されたものである。

図１において、車両用映像表示装置は、カメラ１、処理部２ならびにディスプレイ３を備えて構成されている。

カメラ１は、車両の後方のトランクの上方に取り付けられ、図２もしくは図３に示すように車両４の後方の路面を含む車両周囲を斜め上方から見下ろすような画角（俯角）で撮像する。カメラ１は、撮像した画像データを処理部２に与える。

処理部２は、ＣＰＵ、記憶装置、入出力装置等を備えた例えばマイクロコンピュータ等により実現される。処理部２は、カメラ１で得られた画像データならびに車速信号、運転者のハンドル操作を示す舵角信号等を読み込み、読み込んだ信号ならびに予め内部に保有する制御ロジック（プログラム）に基づいて、以下に説明する画像処理を実行して表示するための処理動作を制御する。このような処理動作を行うために、処理部２は、俯瞰変換処理部２１、画像一時記憶部２２、画像合成処理部２３を備えている。

俯瞰変換処理部２１は、カメラ１によって撮像された画像データ上における表示位置に基づいて、俯瞰画像データを作成する。具体的には、俯瞰変換処理部２１は、メモリ等に記憶された所定の変換テーブルに基づいて、画像データを作業用のメモリに画素毎に順次コピーして座標変換を行うことにより俯瞰画像データを作成する。なお、変換テーブルは、カメラ１によって撮像された画像データを俯瞰画像データに変換するために、俯瞰画像データ上の各点が画像データ上のどの点と同一であるかを示す２次元テーブルであり、カメラ１のカメラレンズの光学特性並びに車両に対する取り付け位置及び取り付け角度に基づいて一意に決定されるものである。俯瞰変換処理部２１は、変換で得られた俯瞰画像データを画像一時記憶部２２に与える。

画像一時記憶部２２は、俯瞰変換処理部２１で得られた俯瞰画像データをその表示座標に対応させて一時的に記憶し、記憶した俯瞰画像データを画像合成処理部２３に与える。

画像合成処理部２３は、車両の移動にともなって、撮像時刻ｔでカメラ１で撮像された画像データを変換して得られた俯瞰画像データと、撮像時刻ｔに対して微少時間Δｔ前の撮像時刻（ｔ−Δｔ）でカメラ１で撮像された画像データを変換して得られた俯瞰画像データとを微少時間Δｔにおける車両４の移動量を加味して重ね合わせ、両俯瞰画像データの差分を抽出し、抽出した差分俯瞰画像データに強調処理等を施し、この強調処理等を施した俯瞰画像を撮像時刻ｔで撮像された俯瞰画像に重畳して合成する。

画像合成処理部２３は、撮像時刻ｔの俯瞰画像データと撮像時刻（ｔ−Δｔ）の俯瞰画像データとを重ね合わせる際に、車速信号に基づいて車両４の移動量を算出し、算出した移動量に基づいて撮像時刻（ｔ−Δｔ）の俯瞰画像データを座標データとして移動させ、撮像時刻ｔの俯瞰画像データに重ね合わせる。

画像合成処理部２３は、画像の強調処理として例えば俯瞰画像の輪郭を囲む処理や、抽出した部分をカラー映像として表示しそれ以外の部分をモノクロ映像として表示することで障害物と他の部分とを識別して認識できるような処理を行う。画像合成処理部２３は、上記合成で得られた俯瞰画像データをディスプレイ３に与える。

ディスプレイ３は、画像合成処理部２３で合成した俯瞰画像データに基づいて俯瞰画像を表示し、運転者が表示された俯瞰画像を視認することで車両後方に存在する障害物を運転者に認識させる。

このような車両用映像表示装置においては、図４のフローチャートに示す手順を予め設定された所定時間、例えば１０ｍｓ毎に繰り返し実行してディスプレイ３に俯瞰画像を表示する。図４において、車両４が後進している状態において、先ず図２に示すように撮像時刻ｔでカメラ１で車両後方を撮像し、例えば図５に示すような画像を得る（ステップＳ４１）。ここで、図２に示すように、車両４の後方に高さを有する障害物５が存在するものとし、車両４が後進して障害物５に接近しているものとする。続いて、撮像時刻ｔの撮像で得られた画像データは、処理部２の俯瞰変換処理部２１に与えられ、この俯瞰変換処理部２１で俯瞰画像データに変換され、例えば図６に示すような俯瞰画像が得られる（ステップＳ４２）。

その後、前回すなわち今回撮像した撮像時刻ｔよりも微少時間Δｔだけ以前の撮像時刻（ｔ−Δ１）に撮像して今回（撮像時刻ｔ）と同様にして変換されて画像一時記憶部２２に記憶された前回撮像の俯瞰画像データを画像一時記憶部２２から画像合成処理部２３に読み出す（ステップＳ４３）。ここで、前回の撮像では例えば図７に示すような画像が得られ、この画像を俯瞰変換処理することで例えば図８に示すような俯瞰画像が得られたものとする。続いて、今回の俯瞰変換処理で得られた俯瞰画像データを画像一時記憶部２２に格納して記憶する（ステップＳ４４）。

次いで、今回の撮像時刻ｔと前回の撮像時刻（ｔ−Δｔ）との間すなわち微少時間Δｔにおける車両４の移動量を車速に基づいて算出する（ステップＳ４５）。算出後、前回と今回の俯瞰画像データの路面の俯瞰画像データが一致するように、前回の俯瞰画像データを路面を基準にして先に算出した移動量分だけ移動させることによって図８に示す前回撮像の俯瞰画像は例えば図９に示すような俯瞰画像となる（ステップＳ４６）。

その後、今回の俯瞰画像データと移動させた前回の俯瞰画像データとを重ね合わせる。すなわち、図６に示す俯瞰画像と図９に示す俯瞰画像を重ね合わせる。重ね合わせた俯瞰画像データは、路面状態は一致するが、障害物５は車両４の後進によりカメラ１に対する俯角が異なるため、障害物５は前回と今回とで大きさや形状が異なった画像としてて表示され、障害物５の俯瞰画像は図１０に示すように一致しない。そこで、重ね合わせた俯瞰画像データから一致しない部分を差分俯瞰画像データとして抽出する（ステップＳ４７）。このとき、撮像間隔すなわち上記微少時間Δｔを短くすることで、差分俯瞰画像データは障害物５の輪郭を表し、障害物５の輪郭を抽出することが可能となる。これにより、障害物５が的確に検出される。

続いて、抽出した差分俯瞰画像データを強調表示するために画像処理する。例えば抽出した差分俯瞰画像データを予め設定された特定の単色表示となるように画像処理を施す（ステップＳ４８）。最後に、今回の撮像で得られた俯瞰画像データに単色化されて障害物５の輪郭を表現した差分俯瞰画像データを重畳して合成し、合成によって得られた俯瞰画像をディスプレイ３に表示する（ステップＳ４９）。

合成されてディスプレイ３に表示された俯瞰画像は、障害物５の輪郭が単色化により強調表示された俯瞰画像となるので、障害物５の認識に有効な俯瞰画像を表示することができる。これにより、運転者はこの表示を視認することで障害物５を容易かつ的確に認識することが可能となり、運転者の運転操作を支援することができる。

また、上記実施例の装置では、２次元データの座標変換で俯瞰画像を得るようにしているので、従来のように３次元の動画像データを処理して俯瞰画像を得る手法に比べて、高速な変換処理が要求されることはなく、従来に比べて比較的小型で簡単かつ安価な構成で装置を実現することが可能となる。

なお、検出された障害物５を強調表示するようにしてもよい。例えば予め設定された特定の色で障害物５を表示し、かつ障害物５以外の他の部分はモノクロで表示するようにしてもよい。もしくは検出した障害物５の周囲を特定の枠で囲んで強調表示するようにしてもよい。このようにすることで、運転者に障害物５の認識性を高めることが可能となる。

また、上記では障害物５は静止物して説明したが、障害物５が移動体である場合であっても上記と同様にして移動体の俯瞰画像を表示して検出することが可能となり、同様の効果を得ることができる。

さらに、上記実施例では、単一のカメラで撮像を行っているが、複数のカメラを使用して同様に俯瞰画像を表示して障害物を検出する場合には、それぞれのカメラで撮像された画像を変換して得られたそれぞれの俯瞰画像毎に別々に障害物を検出し、その後それぞれの俯瞰画像を合成して障害物を検出する方法の他に、複数のカメラで撮像された画像を変換して得られたそれぞれの俯瞰画像を合成した状態で障害物を検出する方法を採用することも可能である。

また、複数のカメラで俯瞰画像を作成する場合に、複数のカメラで撮像されたそれぞれの画像の重畳部分で、それぞれのカメラの光軸に沿って画像の歪みが生じるため、障害物との距離を測定し、この距離を合わせて表示することが可能である。

具体的には、例えば車両の後方のトランクにリアカメラを設置し、かつ車両の左側部（例えば左ドアミラー）にサイドカメラを設置し、リアカメラで車両４の後方を撮像した際に例えば図１１に示すような画像が得られ、サイドカメラで車両４の左サイドを撮像した際に例えば図１２に示すような画像が得られた場合に、それぞれのカメラと障害物５とをつなぐラインと垂直な方向の距離は正しく表示することが可能であることから、図１１ならびに図１２の矢印ａ，ｂで示す距離（画面上でのドット数）をカウントし、このカウント値に基づいて三平方の定理を用いて演算することにより車両４から障害物５までの距離を算出することが可能となる。

なお、実施例の構成要件と、特許請求の範囲における構成要件との対応関係は、撮像手段がカメラ１に、俯瞰画像作成手段が俯瞰変換処理部２１に、画像合成手段が画像合成処理部２３に、表示手段がディスプレイ３にそれぞれ対応する。

本発明の実施例に係る車両用映像表示装置の構成を示す図である。 撮像時刻ｔにおける車両と障害物との位置関係を示す図である。 撮像時刻（ｔ−Δｔ）における車両と障害物との位置関係を示す図である。 本発明の実施例に係る動作の手順を示すフローチャートである。 図２に示す状態における撮影画像の一例を示す図である。 図５の撮影画像における俯瞰画像を示す図である。 図３に示す状態における撮影画像の一例を示す図である。 図６の撮影画像における俯瞰画像を示す図である。 図５の俯瞰画像を車両の移動を考慮してシフトした俯瞰画像を示す図である。 図６に示す俯瞰画像と図９に示す俯瞰画像との差分を示す差分俯瞰画像である。 リアカメラで撮像された撮影画像に対応した俯瞰画像の一例である。 サイドカメラで撮像された撮影画像に対応した俯瞰画像の一例である。

符号の説明

１…カメラ
２…処理部
３…ディスプレイ
４…車両
５…障害物
２１…俯瞰変換処理部
２２…画像一時記憶部
２３…画像合成処理部

Claims (4)

1. 車両周辺を撮像する撮像手段と、
   前記撮像手段で撮像された画像を視点変換して俯瞰画像を作成する俯瞰画像作成手段と、
   第１の時刻に前記撮像手段で撮像された画像を前記俯瞰画像作成手段で変換して作成された第１の俯瞰画像を、前記車両の移動量に基づいて第２の時刻の前記車両の位置に対応して移動させ、この移動された第１の俯瞰画像と、第２の時刻に前記撮像手段で撮像された画像を前記俯瞰画像作成手段で変換して作成された第２の俯瞰画像との差分を抽出して差分俯瞰画像を作成すると共に、作成した差分俯瞰画像を第２の俯瞰画像に重畳して合成する画像合成手段と、
   前記画像合成手段で合成された俯瞰画像を表示する表示手段とを有し、
   前記画像合成手段は、前記差分俯瞰画像から障害物を検出し、この障害物に強調処理を施す
   ことを特徴とする車両用映像表示装置。
2. 前記強調処理は、検出された障害物の輪郭を囲む
   ことを特徴とする請求項１に記載の車両用映像表示装置。
3. 前記強調処理は、検出された障害物が他の部分と異なる色で表示されるように処理する
   ことを特徴とする請求項１または２に記載の車両用映像表示装置。
4. 第１の時刻に車両周辺を撮像する第１のステップと、
   前記第１のステップで撮像された画像を視点変換して第１の俯瞰画像を作成する第２のステップと、
   第２の時刻に車両周辺を撮像する第３のステップと、
   前記第３のステップで撮像された画像を視点変換して第２の俯瞰画像を作成する第４のステップと、
   前記第２のステップで作成された第１の俯瞰画像を、前記車両の移動量に基づいて第２の時刻の前記車両の位置に対応して移動する第５のステップと、
   前記第５のステップで移動された第１の俯瞰画像と、前記第４のステップで作成された第２の俯瞰画像との差分を抽出して差分俯瞰画像を作成し、作成した差分俯瞰画像から障害物を検出し、この障害物に強調処理を施す第６のステップと、
   前記第６のステップで強調処理が施された差分俯瞰画像を第２の俯瞰画像に重畳して合成する第７のステップと、
   前記第７のステップで合成された俯瞰画像を表示する第８のステップと
   を有することを特徴とする車両周囲映像の表示方法。

Images