JP7109715B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、画像処理装置およびその方法に関する。

車両の走行状態を示すパラメータを用いて過去の画像を変形し、最新の時刻に得られた画像と合成することにより、最新の時刻の車両下、車両の後方およびその他車両の死角領域を含む車両周辺画像を生成して表示する装置が知られている。しかしながら、常に近い過去の１フレーム分前の時刻における表示画像を用いて、最新の時刻における表示画像を生成すると、多くの回数、変形された領域を含む表示画像から、最新の表示画像が生成されることとなる。従って、このように表示画像を生成すると、最新の表示画像において、多くの回数、変形された領域に対応する部分に不明瞭さ（ボケ）の欠陥が生じてしまう。一方、表示画像の生成のために常に遠いフレーム分前の表示画像を用いると、車度が速いときには、最新の表示画像において、古い表示画像に対応する領域と最新の時刻に得られた画像との間に不整合（ガタ）の欠陥が生じることがある。

特許第４６９６６９１号公報 特開２０１４－２０７６０５号公報 特開２０１６－６６８５５号公報

本願の実施形態は、最新の時刻に得られた画像と、過去の時刻において表示された車両外部画像とを適切に合成することにより、欠陥が低減された車両周辺画像を生成できる画像処理装置およびその方法を提供することを課題とする。

上記に記載された課題を解決するために、一実施形態にかかる画像処理装置は、移動する車両の外部において予め決められた範囲に対応する画像データを、予め決められた時間間隔で取得する取得装置と、取得された複数の前記画像データから生成され、前記車両の外部の画像を表示する表示画像データを複数、前記時間間隔ごとに順次、記憶する記憶装置と、最も新しく取得された前記画像データを処理して、前記範囲の俯瞰画像に対応する俯瞰画像データを生成する第１の処理装置と、記憶された複数の前記表示画像データから車両速度に応じて選択された画像を処理して、前記範囲以外に対応する部分を、生成された前記俯瞰画像データに適合させる第２の処理装置と、前記最も新しく生成された俯瞰画像データと、この俯瞰画像データに適合させられた前記表示画像データの部分とを合成して、最も新しい前記表示画像データを生成する生成装置とを有する。

一実施形態が適用される自動車と、自動車が駐車される駐車場とを例示する側面図である。 図１に示され自動車および駐車場の俯瞰図である。 直線上を後方に移動する時刻ｔ－１，ｔにおける自動車の位置と、自動車の後方に設けられたカメラが撮影する撮影範囲と、自動車の移動により定義される速度ｖおよび移動量Ｔｒａｎｓを例示する図である。 自動車の車両周辺画像を例示する図である。 図５は、点Ｃ（Ｃ_ｘ，Ｃ_ｙ）を中心とする半径ｒ（ｍｍ）の円上を後方に等速で移動する時刻ｔ－１，ｔにおける自動車１の位置と、自動車１の後方に設けられたカメラが撮影する撮影範囲と、自動車の移動により定義される回転角θ_ｔを例示する図である。 図５に示した自動車の時刻ｔ－１，ｔにおけるカメラの撮影範囲を例示する図である。 図６に示した時刻ｔにおける俯瞰画像データｔと、変換後の表示画像データｔ－1とから、最新の表示画像データｔを生成する第１の方法を例示する図である。 時刻ｔ－３～ｔまでの各時刻における自動車１の速度、角速度、旋回半径および旋回中心を例示する図である。 時刻ｔにおいて生成された表示画像データｔの生成に用いられた表示画像データｔ－ｉを例示する図である。 図３，図７，図９などを参照して説明された方法により各時刻における表示画像データを生成して表示する表示画像データ生成装置の構成を示す図である。 旋回半径を計算するための座標系を例示する図である。 図１０に示した表示画像選択装置の処理（Ｓ１０）を示すフローチャートである。 図１０に示した表示画像データ生成装置の処理（Ｓ１２）を示すフローチャートである。 時刻ｔにおける俯瞰画像データｔと、変換後の表示画像データｔ－iとから、最新の表示画像データｔを生成する方法を例示する図である。 図１０に示した表示画像データ生成装置を実現するためのコンピュータの構成を示す図である。 常に時刻ｔに近い時刻ｔ－ｉ（例えば、ｔ－１）の表示画像データｔ－ｉを用いて得られた最新の時刻ｔにおける表示画像データｔを例示する図である。 常に時刻ｔから遠い時刻ｔ－ｉ（例えば、ｔ－Ｎ）の表示画像データｔ－Ｎを用いて得られた最新の時刻ｔにおける表示画像データｔを例示する図である。 変換後の表示画像データｔ－ｉの一部と、時刻ｔの画像データｔから得られた俯瞰画像データｔとを合成して最新の表示画像データｔを生成する第２の方法を説明する図である。

以下、実施形態が、図面への参照とともに詳細に説明される。なお、実施形態において、同一の構成部分には同一の符号が付されている。

［自動車１の撮影範囲と表示画像データ生成の概要］
まず、自動車の撮影範囲と表示画像データ生成の概要を説明する。図１は、一実施形態が適用される自動車１と、自動車１が駐車される駐車場とを例示する側面図である。図２は、図１に例示された自動車１および駐車場の俯瞰図である。図１，図２に示されるように、自動車１（車両）の後方には、予め決められた時間間隔で撮影範囲の画像を撮影して画像データとして出力するカメラ１０が備えられる。また、過去の表示画像データｔ－ｉ（ただし、Ｎは１以上の整数、ｉは１～Ｎの整数）を選択するための座標として、例えば、自動車１の後輪の車軸の中心が（Ｒ_ｘ，Ｒ_ｙ）として設定される。

駐車場は、アスファルトで舗装された地面１００に設けられる。駐車場には、障がい者用駐車スペースと、一般駐車スペースとが設けられ、これらの駐車スペースの間には白線が引かれる。駐車場の駐車スペース以外の自動車１が走行可能な範囲は、自動車走行路とされ、自動車１が走行不可能な範囲には、車止めと、支柱と手すりとを含む柵とが設けられ、さらに、車止めの外部は草地とされている。

図３は、直線上を後方に移動する時刻ｔ－１，ｔにおける自動車１の位置と、自動車１の後方に設けられたカメラ１０が撮影する撮影範囲と、自動車１の移動により定義される速度ｖおよび移動量Ｔｒａｎｓを例示する図である。図４は、自動車１の車両周辺画像を例示する図である。

図３に示すように、自動車１が移動すると、時刻ｔ－１，ｔにおけるカメラ１０の撮影範囲も移動する。自動車１が、比較的、速い速度ｖで直線上を後退しているときに、自動車１の真下、自動車１の後方などの運転手の死角の画像を含む最新の車両周辺画像を示す表示画像データｔは、以下のように得られる。

まず、時刻ｔにおいてカメラ１０により撮影された画像データから俯瞰画像データｔが生成される。さらに、例えば、時刻ｔ－１において生成された表示画像データｔ－１が、表示画像データｔの生成のために取得される。さらに、俯瞰画像データｔと、表示画像データｔ－１とを接合するために、俯瞰画像データｔと表示画像データｔ－１との重複部分が削除され、合成されて、時刻ｔにおける表示画像データｔが生成される。

図５は、点Ｃ（Ｃ_ｘ，Ｃ_ｙ）を中心とする半径ｒ（ｍｍ）の円上を後方に等速で移動する時刻ｔ－１，ｔにおける自動車１の位置と、自動車１の後方に設けられたカメラ１０が撮影する撮影範囲と、自動車１の移動により定義される回転角θ_ｔとを例示する図である。図５に示すように、円上を移動する自動車１の座標（Ｒ_ｘ，Ｒ_ｙ）の移動に応じて、速度ｖ（ｋｍ／ｈ）、移動量Ｔｒａｎｓ（ｍｍ／フレーム）、自動車１が半径ｒ（ｍｍ）の円上を移動するときの回転角θ_ｔ（ｄｅｇｒｅｅ）が定義される。

図６は、図５に示した自動車１の時刻ｔ－１，ｔにおけるカメラ１０の撮影範囲を例示する図である。図５に示したように、自動車１は点Ｃ（Ｃ_ｘ，Ｃ_ｙ）を中心とする半径ｒ（ｍｍ）の円上を移動する。従って、時刻ｔ－１における車両外部画像の表示画像データｔ－１は、時刻ｔにおける俯瞰画像データｔに対してそれぞれ角度θ_ｔだけ傾いている。つまり、表示画像データｔ－１のいずれかから一部を取得して、そのまま俯瞰画像データｔと接合して合成すると、これらの間の傾きに起因する欠陥が表示画像データｔに現れてしまう。

図７は、図６に示した時刻ｔにおける俯瞰画像データｔと、変換後の表示画像データｔ－1とから、最新の表示画像データｔを生成する第１の方法を例示する図である。図７に示されるように、まず、表示画像データｔの生成に用いられる表示画像データｔ－１が、取得される。

取得された表示画像データｔ－1は、式２を参照して後述されるように、点Ｃ（Ｃ_ｘ，Ｃ_ｙ）を中心として回転角θ_ｔが補償される。つまり、表示画像データｔ－１にアフィン変換が行われる。このように、アフィン変換された表示画像データｔ－１の内、俯瞰画像データｔと接合される一部が取り出され、俯瞰画像データｔと合成されて、時刻ｔにおける表示画像データｔが生成される。

図８は、時刻ｔ－３～ｔまでの各時刻における自動車１の速度、角速度、旋回半径および旋回中心を例示する図であり、自動車１は時刻ｔ－３～時刻ｔ－２では直進、時刻ｔ－２～時刻ｔの間ではハンドル舵角を変化させながら旋回している場合を示している。なお、図３，図５には、以上の説明においては、自動車１が等速直線運動をするときと、同一円周上を等角速度運動するときとが具体例とされ、表示画像データｔの生成のために、俯瞰画像データｔと、表示画像データｔ－１が用いられる場合が説明された。しかしながら、自動車１の速度、角速度および回転中心は、実際には、アクセル、ブレーキおよびハンドル操作などにより変化する。従って、図８を参照して説明されるように、自動車１は時刻の間において、等速直線運動もしくは等角速度運動していると仮定される。また、図９，図１０，図１４などを参照して下記に詳細に説明されるように、最新の表示画像データｔは、俯瞰画像データｔと、適応的に選択された過去の表示画像データｔ－ｉとから生成される。さらに、表示画像データｔを求めるために、表示画像データｔ－ｉは、時刻ｔ－ｉ～ｔまでの各フレームにおける速度、角速度、旋回半径、旋回中心を用いてアフィン変換される。

図９は、時刻ｔにおいて生成された表示画像データｔの生成に用いられた表示画像データｔ－ｉを例示する図である。最新の表示画像データｔの生成に用いられる過去の表示画像データｔ－ｉは、自動車１の速度に応じて選択される。図９に示されるように、自動車１の速度が速いときには、表示画像データｔの生成のために、記憶されたＮ個の表示画像データｔ－Ｎ～ｔ－１の内、例えば、直前の時刻ｔ－１に生成された表示画像データｔ－１が用いられる。一方、自動車１の速度が遅いときには、表示画像データｔの生成のために、例えば、時刻ｔ－４に生成された表示画像データｔ－４が用いられる。

なお、記憶される過去の表示画像データｔ－Ｎ～ｔ－１の数（Ｎ）は、記憶に必要なメモリ量と、表示画像データｔの画質のトレードオフを考慮して決定される。例えば、図１０を参照して後述される表示画像データ生成装置１２のメモリが大きければ大きいほどＮの値は大きされ得る。

しかしながら、Ｎの値が大きくされ得るからといって、表示画像データｔの生成に用いられる表示画像データｔ－ｉを示すｉの値を不必要に大きくすると、表示画像データｔが、不必要に古い表示画像データを用いて生成されることになってしまう。つまり、表示画像データｔの生成のために過去の古すぎる表示画像データを用いると、例えば、既に通過した他の自動車が表示されたり、逆に、接近してきた物体が表示されなかったりする不具合が生じてしまう。

［表示画像データ生成装置１２の構成］
図１０は、図３，図７，図９などを参照して説明された方法により各時刻における表示画像データを生成して表示する表示画像データ生成装置１２の構成を示す図である。表示画像データ生成装置１２は、基本的に、自動車１が後退するときに、自動車１の下、自動車１の後方およびその他の死角部分を含む車両周辺画像を生成する。ただし、表示画像データ生成装置１２は、例えば、自動車１の運転手が、駐車場の駐車位置に正しい向きで停車するための切り返しを行う際に、自動車１を前進させるときにも、上記車両周辺画像を生成することができる。

図１０に示されるように、表示画像データ生成装置１２は、図１，図２などに示されたカメラ１０が、図２，図３などに示された撮影範囲を撮影して得た画像データを、３０フレーム／秒で取得する画像取得装置１２０を備える。また、表示画像データ生成装置１２は、画像取得装置１２０に接続される最新画像処理装置１２２と、最新画像処理装置１２２に接続される表示画像生成装置１３２とをさらに備える。また、表示画像データ生成装置１２は、表示画像生成装置１３２に接続されるパラメータ生成装置１２６と、表示画像・パラメータ記憶装置１２８と、過去画像処理装置１３０と、表示画像選択装置１３４とをさらに備える。

また、表示画像データ生成装置１２は、パラメータ生成装置１２６に接続される走行情報取得装置１２４をさらに備える。

［表示画像データ生成装置１２の構成要素］
以下、表示画像データ生成装置１２の構成要素を詳細に説明する。表示画像データ生成装置１２において、最新画像処理装置１２２（第1の処理装置）は、画像取得装置１２０から入力される最新の画像データｔを処理し、図５，図６に示した撮影範囲から俯瞰画像データｔを生成して表示画像生成装置１３２に出力する。

走行情報取得装置１２４は、自動車１のハンドルの舵角、速度およびシフトレバーの状態（走行情報）を検出し、検出された走行情報を、表示画像データｔの生成のたびにパラメータ生成装置１２６に出力する。パラメータ生成装置１２６は、走行情報取得装置１２４から入力された走行情報を処理して、最新の表示画像データｔの生成のためにアフィン変換に用いられる平行移動行列Ｔ_ｔと回転行列Ｒ_ｔとを他の構成要素に出力する。なお、以下、平行移動行列Ｔ_ｔ-N～Ｔ_ｔおよび回転行列Ｒ_ｔ-N～Ｒ_ｔは、パラメータｔ－Ｎ～ｔとも略記される。

表示画像・パラメータ記憶装置１２８は、表示画像・パラメータ記憶装置１２８は、要素数Ｎ＋１のリングバッファの構成を採る。つまり、表示画像・パラメータ記憶装置１２８は、図９を参照して説明したように、Ｎ＋１個の表示画像データｔ－Ｎ～ｔと、表示画像データｔ－Ｎ～ｔの生成に用いられた平行移動行列Ｔ_ｔ－N～Ｔ_ｔおよび回転行列Ｒ_ｔ－N～Ｒ_ｔとを対応づけて記憶する。

また、表示画像・パラメータ記憶装置１２８は、最新の表示画像データｔおよびそのパラメータｔとを記憶すると、それまでの表示画像データｔ－（Ｎ－１）～ｔおよびそれらのパラメータｔ－（Ｎ－１）～ｔを、表示画像データｔ－Ｎ～ｔ－１およびそれらのパラメータｔ－Ｎ～ｔ－１として記憶する。さらに、表示画像・パラメータ記憶装置１２８は、最新の表示画像データｔおよびそのパラメータｔとを記憶すると、それまでの最古の表示画像データｔ－Ｎおよびパラメータｔ－Ｎを削除する。なお、表示画像・パラメータ記憶装置１２８は、表示画像選択装置１３４により選択された過去の表示画像データｔ－ｉと、これに対応するパラメータｔを過去画像処理装置１３０に出力する。

表示画像選択装置１３４は、表示画像・パラメータ記憶装置１２８に記憶された過去の表示画像データｔ－Ｎ～ｔ－１から、時刻ｔの表示画像データの生成に用いられる表示画像データを選択する。表示画像選択装置１３４は、選択した過去の表示画像データを、表示画像・パラメータ記憶装置１２８に通知する。なお、表示画像選択装置１３４の処理内容は、下式５，６を参照してさらに詳細に後述される。

過去画像処理装置１３０（第２の処理装置）は、表示画像・パラメータ記憶装置１２８から入力された過去の表示画像データを処理して変換し、表示画像生成装置１３２に出力する。表示画像生成装置１３２は、変換後の過去の表示画像データを俯瞰画像と合成して車両周辺の俯瞰画像とし、最新の表示画像データとして出力する。

［パラメータ生成装置１２６］
以下、パラメータ生成装置１２６の処理をさらに詳細に説明する。時刻ｔにおいて得られた俯瞰画像データｔに含まれる画素の座標（ｘ_ｔ，ｙ_ｔ）を、直前の時刻ｔ－１における表示画像データｔ－１の座標（ｘ_ｔ-1，ｙ_ｔ-1）に変形するためのアフィン変換は、平行移動行列Ｔ_ｔおよび回転行列Ｒ_ｔ（パラメータｔ）を用いて、下式１により表される。

パラメータ生成装置１２６は、過去画像処理装置１３０におけるアフィン変換処理において用いられるパラメータを、図３に示したように自動車１が直線上を移動するときと、図５に示したように円上を移動するときとでは異なる方法で算出する。時刻ｔ－１，ｔの期間において、自動車１が、図５に示したように、旋回運動するときには、円周上を等角速運動していると仮定して、パラメータ生成装置１２６は、下式２により平行移動行列Ｔ_ｔおよび回転行列Ｒ_ｔ（パラメータｔ）を算出する。ただし、下式２において、θ_tは、図５に示されたθ_ｔ－１に対応する。

上式１における回転半径ｒは、自動車１が横滑りしないときには、ハンドルの舵角と車種に応じて一意に決まるので、ハンドルの舵角と回転半径ｒとの関係を予め測定すれば、これらを対応付けたテーブルが作成されうる。測定された舵角を用いて、このように作成されたテーブルを参照することにより、回転半径ｒが求められ得る。また、自動車１の舵角により一意に定められるタイヤ角αと、既知の自動車１のホイールベースＷおよびトレッドＴにより、回転半径ｒは、ｒ＝Ｗ／ｔａｎα＋Ｔ／２と求められる。

図１１は、旋回半径を計算するための座標系を例示する図である。ここで、座標系を図１１に示すように定義する。このとき、上記式３における円の中心座標Ｃ（Ｃ_ｘ，Ｃ_ｙ）の内、座標Ｃ_ｘは、Ｃ_ｘ＝ｒ（ハンドルを左に曲げたとき）、または、Ｃ_ｘ＝－ｒ（ハンドルを右に曲げたとき）と求められる。また、座標Ｃ_ｙは、Ｃ_ｙ＝Ｌ_ｒｏｈ（Ｌ_ｒｏｈはリアオーバーハング）と求められる。なお、図１１においては、図５，図８においてとは異なり、自動車１の最後部の中心が座標系の原点とされている。

図５に示されたように自動車１が旋回運動するときには、円周上を等角速運動していると仮定して、パラメータ生成装置１２６は、時刻ｔ－１，ｔの期間における図１などに示した自動車１の回転角θ（ｄｅｇｒｅｅ）および移動量Ｔｒａｎｓ（ｍｍ／フレーム）を、下式３により算出する。なお、上式３において、Ｓｈｉｆｔ＝Ｒｅｖｅｒｓｅは、自動車１が後退していることを示し、Ｓｈｉｆｔ≠Ｒｅｖｅｒｓｅは、自動車１が前進していることを示す。

また、１００００００ｖを３６００ＦｒａｍｅＲａｔｅで除算して得られる値の単位は、ｍｍ／フレームである。また、上式３において、Ｔｒａｎｓは変更後のフレームに対応する長さ（ｍｍ／ｆｒａｍｅ）であり、ｒは円の半径である。

なお、図３に示したように、自動車１が直線上を等速で移動しているときには、パラメータ生成装置１２６は、時刻ｔ－１，ｔの期間における自動車１の移動量Ｔｒａｎｓ（ｍｍ／フレーム）を、下式４により生成する。ただし、下式４において、ｆは、表示画像データｔ－１の１ピクセル分に対応する長さである。なお、ｆは、表示画像データに含まれるピクセルの縦横比と、表示画像データに対応する画像の長さの縦横比が同じであれば、（ｆ＝表示画像データに対応する画像の縦（または横）の長さ（ｍｍ））／表示画像データの縦（または横）のピクセル数）として求められる。

［表示画像選択装置１３４］
以下、表示画像選択装置１３４の動作をさらに詳細に説明する。時刻ｔ－ｉの表示画像データｔ－ｉを用いて時刻ｔの表示画像データｔを生成するアフィン変換のための平行移動行列Ｔ_ｔ，ｉおよび回転行列Ｒ_ｔ，ｉ（パラメータｔ，ｉ）は、下式５により計算される。ただし、ｉ＝１～Ｎ－１である。

上式５において、常にｉ＝１とすると、時刻ｔの表示画像データｔの生成のために、常に多くの回数の変形を経た時刻ｔ－１の表示画像データｔ－１が使用される。従って、時刻ｔの表示画像データｔにボケが生じてしまう。一方、このようなボケの発生を防ぐために、上式５において、常にｉ＝ｊ（ｊは２～Ｎ－１の整数）とすることも考えられる。このとき、自動車１の速度が速いと、表示画像生成装置１３２における時刻ｔの俯瞰画像データと、時刻ｔ－ｊの表示画像データが変換されて得られた表示画像データとを合成するための接合がうまくゆかず、接合部分に不整合（ズレ）が生じてしまうことがある。

表示画像選択装置１３４は、上述したボケおよびズレを防ぐために、各時刻ｔの表示画像データを生成するために最適な時刻ｔ－ｉの表示画像データｔ－ｉを選択する。このような最適な選択のために、表示画像選択装置１３４は、図２，図３に示された自動車１の座標（Ｒ_ｘ，Ｒ_ｙ）の時刻ｔ－ｉ～ｔの移動量Ｄ_iを、下式６に示されるように算出し、最小のＤ_ｉ＞閾値Ｔｈを与える時刻ｉの表示画像データを選択する。

以下、表示画像選択装置１３４の処理をさらに詳細に説明する。図１２は、図１０に示した表示画像選択装置１３４の処理（Ｓ１０）を示すフローチャートである。表示画像選択装置１３４は、ステップＳ１００において、Ｓ１０２～Ｓ１０６の処理のループを、変数ｉを１からインクリメントさせながらＮ回、繰り返すことを宣言する（ｉ＝１～Ｎ）。

ステップＳ１０２において、表示画像選択装置１３４は、パラメータ生成装置１２６を制御して、時刻ｔの表示画像データの生成のために、時刻ｔ－ｉの表示画像データを用いるためのパラメータＲ_ｔ，ｉ，Ｔ_ｔ，ｉを、上式５により算出させる。ステップＳ１０４において、表示画像選択装置１３４は、上式６を用いて、パラメータＲ_ｔ，ｉ，Ｔ_ｔ，ｉから移動量Ｄ_ｉを算出する。

ステップＳ１０６において、表示画像選択装置１３４は、Ｓ１０２の処理により算出された移動量Ｄ_ｉが、予め実験またはシミュレーションにより決められた閾値Ｔｈよりも大きいか否かを判断する。表示画像選択装置１３４は、移動量Ｄ_ｉが、閾値Ｔｈよりも大きいとき（Ｓ１０６の処理においてＹ）にはＳ１１０の処理に進み、これ以外のとき（Ｓ１０６の処理においてＮ）にはＳ１００の処理に戻る。

ステップＳ１１０において、表示画像選択装置１３４は、移動量Ｄ_ｉ＞閾値Ｔｈを与える時刻ｉの表示画像データｔ－ｉを、時刻ｔにおける表示画像データｔの生成に用いるように選択する。なお、ｉ＝１～Ｎの全てにおいて、移動量Ｄ_ｉ≦閾値Ｔｈであったときには、表示画像選択装置１３４は、時刻ｔ－Ｎの表示画像データｔ－Ｎを、時刻ｔにおける表示画像データｔの生成に用いるように選択する。

［表示画像データ生成装置１２の全体的処理］
以下、図１０に示した表示画像データ生成装置１２の全体的な処理を説明する。図１３は、図１０に示した表示画像データ生成装置１２の処理（Ｓ１２）を示すフローチャートである。ステップＳ１２０において、画像取得装置１２０は、図１，図２に示したカメラ１０から時刻ｔにおける撮影範囲の画像データｔを１フレーム分、取得する。

ステップＳ１２２において、最新画像処理装置１２２は、Ｓ１２０において取得された画像データｔから俯瞰画像データｔを生成する。ステップＳ１２４において、走行情報取得装置１２４は、式５に示した時刻ｔの表示画像データの生成に必要なパラメータｔ（式５；Ｔ_ｔ，ｉ，Ｒ_ｔ，ｉ）を算出するために必要な走行情報を取得する。

ステップＳ１２６において、表示画像選択装置１３４は、時刻ｔ－ｉの表示画像データｔ－ｉを用いて時刻ｔの表示画像データｔを生成するために必要なパラメータｔ，ｉ（Ｔ_ｔ，ｉ，Ｒ_ｔ，ｉ）を、上式５により順次、生成させる。ステップＳ１２８において、表示画像選択装置１３４は、図１２を参照して説明されたように、時刻ｔの表示画像データを生成するために用いられる過去の時刻ｔ－ｉの表示画像データを選択する。

図１４は、時刻ｔにおける俯瞰画像データｔと、変換後の表示画像データｔ－iとから、最新の表示画像データｔを生成する方法を例示する図である。ステップＳ１３０において、過去画像処理装置１３０は、パラメータ生成装置１２６により生成されたパラメータｔ（Ｔ_ｔ，ｉ，Ｒ_ｔ，ｉ）を用いて、時刻ｔ－ｉの表示画像データｔ－ｉを処理する。つまり、過去画像処理装置１３０は、時刻ｔ－ｉの表示画像データｔ－ｉの内、時刻ｔの表示画像データｔを、図＊３および上式５の最下行に示したように変換する。ステップＳ１３２において、最新画像処理装置１２２は、図７に示したように、時刻ｔにおいて取得された画像データｔから俯瞰画像データｔを生成する。

ステップＳ１３２において、表示画像生成装置１３２は、過去画像処理装置１３０により処理された表示画像データｔ－ｉの内、俯瞰画像データｔと重複しない部分と、最新画像処理装置１２２により生成された俯瞰画像データｔとを、図７に示したように接合して合成し、時刻ｔにおける表示画像データｔを生成する。ステップＳ１３４において、表示画像・パラメータ記憶装置１２８は、Ｓ１３２の処理において生成された最新の時刻ｔの表示画像データおよびそのパラメータＴ_ｔ，Ｒ_ｔを記憶し、最古の表示画像データおよびそのパラメータを削除する。

［ハードウェア構成］
図１５は、図１０に示した表示画像データ生成装置１２を実現するためのコンピュータ１４の構成を示す図である。図１５に示されるように、コンピュータ１４は、表示画像データをユーザに表示する表示装置１４０と、ＣＰＵおよびその周辺回路を含むＣＰＵ１４２と、ＲＯＭおよびＲＡＭを含むメモリ１４４と、走行情報計器からのデータを受けるＩ／Ｏ回路１４６とを備える。また、コンピュータ１４は、カメラ１０からの画像データを受けるカメラインターフェース（ＩＦ）１５０と、ＨＤＤ、ＤＶＤ、フラッシュメモリなどの不揮発性記録媒体との間でデータの書き込みおよび読み出しを行う記録装置１４８とをさらに備える。

これらコンピュータ１４の各構成要素は、バス１５２を介して互いに接続される。つまり、コンピュータ１４は、情報の取得、処理および表示が可能な一般的なコンピュータとしての構成要素を備える。図１０に示した表示画像データ生成装置１２の各構成要素それぞれは、ハードウェアおよびソフトウェアまたはこれらのいずれかにより実現され得る。従って、表示画像データ生成装置１２の構成要素の内、ソフトウェアにより実現される構成要素は、メモリ１４４にロードされたプログラムの実行により実現される。

図１６は、常に時刻ｔに近い時刻ｔ－ｉ（例えば、ｔ－１）の表示画像データｔ－ｉを用いて得られた最新の時刻ｔにおける表示画像データｔを例示する図である。最新の時刻ｔに近い時刻ｔ－ｉ（例えば、ｔ－１）の表示画像データｔ－ｉを用いて最新の時刻ｔにおける表示画像データｔを生成すると、上式５を参照して説明したように、図１６に示されるように表示画像データｔにボケが生じてしまう。一方、図１０に示された表示画像データ生成装置１２によれば、最新の時刻ｔにおける表示画像データｔの生成に用いられる画像データｔ－ｉが、図１２を参照して説明されたように適応的に選択されるので、表示画像データｔに生じるボケを低減することができる。

図１７は、常に時刻ｔから遠い時刻ｔ－ｉ（例えば、ｔ－Ｎ）の表示画像データｔ－Ｎを用いて得られた最新の時刻ｔにおける表示画像データｔを例示する図である。最新の時刻ｔから遠い時刻ｔ－ｉ（例えば、ｔ－Ｎ）の表示画像データｔ－ｉを用いて最新の時刻ｔにおける表示画像データｔを生成すると、図１７に示されるように、表示画像データｔ－ｉから得られた部分と、俯瞰画像データｔとの接合部分にガタつきが生じてしまう。一方、図１０に示された表示画像データ生成装置１２によれば、最新の時刻ｔにおける表示画像データｔの生成に用いられる画像データｔ－ｉが、図１２を参照して説明されたように適応的に選択されるので、表示画像データｔに生じるガタつきを低減することができる。

［変形例］
図１８は、変換後の表示画像データｔ－ｉの一部と、時刻ｔの画像データｔから得られた俯瞰画像データｔとを合成して最新の表示画像データｔを生成する第２の方法を説明する図である。図１８に示すように、まず、図７に示された表示画像データ生成装置１２の表示画像生成装置１３２が、最新の時刻ｔの俯瞰画像データの内、変換後の表示画像データの一部と接合される部分を、数ライン分、削除する。さらに、表示画像生成装置１３２が、このように接合部分のデータが削除された俯瞰画像データと、変換処理後の表示画像データｔ－ｉとを接合して合成する。このようにことにより、写り込んだバンパーなどの自動車１の部分の画像が排除される。従って、このような表示画像生成装置１３２の処理により、表示画像データの画質が改善される。

なお、表示画像・パラメータ記憶装置１２８に記憶される表示画像データｔ－Ｎ～ｔは、実際に表示される画像よりも大きい画像に対応するように生成されるとよりよい。このようにすると、表示画像データｔの生成に用いられる表示画像データｔ－ｉの情報量が大きいため、画像の変形とそれに伴う補間処理による情報の損失の影響が相対的に小さくなる。従って、表示画像データｔの生成に用いられるときに、変形の蓄積の影響を軽減できる。従って、実際に表示される画像よりも大きい画像に対応するように生成された表示画像データｔ－ｉを用いて最新の表示画像データｔを生成すると、ボケの発生を軽減することができる。また、表示画像生成装置１３２が、最新の時刻ｔの俯瞰画像データと、処理後の時刻ｔ－ｉの表示画像データとの対応点を検出する処理をさらに行い、俯瞰画像データと処理後の時刻ｔ－ｉの表示画像データとの対応点を合わせるように接合すると、表示画像データに生じるズレを改善できる。

また、表示画像生成装置１３２が、表示画像データに写り込んだ自動車１のバンパーなどの部分を検出する処理をさらに行い、検出された自動車１の部分を除いた表示画像データを生成すると、表示画像データの品質をさらに高めることができる。また、カメラ１０の撮影範囲は、自動車１の後方でなくてもよく、自動車１において、その運転手の死角となりうる範囲であればどのような範囲でもよい。また、自動車１の前方にカメラ１０を増設することにより、切り返しなどの際に自動車１が前進するときの死角保障ができる。なお、自動車１の前方にカメラ１０が元々、設けられているときには、このようなカメラ１０を用いて前進の際の死角を保証できる。

本発明の実施形態が説明されたが、この実施の形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 自動車
１０ カメラ
１００ 地面
１２ 表示画像データ生成装置
１２０ 画像取得装置
１２２ 最新画像処理装置
１２４ 走行情報取得装置
１２６ パラメータ生成装置
１２８ 表示画像・パラメータ記憶装置
１３０ 過去画像処理装置
１３２ 表示画像生成装置
１３４ 表示画像選択装置
１４ コンピュータ
１４０ 表示装置
１４２ ＣＰＵ
１４４ メモリ
１４６ Ｉ／Ｏ回路
１４８ 記録装置
１５０ カメラＩＦ
１５２ バス

Claims (11)

1. 移動する車両の外部において予め決められた範囲に対応する画像データを、予め決められた時間間隔で取得する取得装置と、
   取得された複数の前記画像データから生成され、前記車両の外部の画像を表示する表示画像データを複数、前記時間間隔ごとに順次、記憶する記憶装置と、
   最も新しく取得された前記画像データを処理して、前記範囲の俯瞰画像に対応する俯瞰画像データを生成する第１の処理装置と、
   記憶された複数の前記表示画像データから車両速度に応じて選択された画像を処理して、前記範囲以外に対応する部分を、生成された前記俯瞰画像データに適合させる第２の処理装置と、
   前記生成された俯瞰画像データと、この俯瞰画像データに適合させられた前記表示画像データの部分とを合成して、最も新しい前記表示画像データを生成する生成装置と
   を有する画像処理装置。
2. 前記第２の処理装置は、パラメータを用いて前記表示画像データの部分を処理して前記生成された俯瞰画像データに適合させ、
   前記記憶装置は、前記最も新しい表示画像データと、この表示画像データの処理に用いられた前記パラメータとを対応づけて記憶する
   請求項１に記載の画像処理装置。
3. 前記パラメータは、前記表示画像データそれぞれの前記範囲以外に対応する部分を少なくとも変換し、前記表示画像データの生成に用いられた前記俯瞰画像データに適合させる処理のために用いられる
   請求項２に記載の画像処理装置。
4. 前記変換は、アフィン変換である
   請求項３に記載の画像処理装置。
5. 前記記憶された表示画像データに対応づけられたパラメータに基づいて、前記記憶された表示画像データのいずれかを選択する選択装置
   をさらに有する請求項２～４のいずれかに記載の画像処理装置。
6. 前記選択装置は、前記記憶された表示画像データそれぞれに対応づけられた前記パラメータを処理して、前記記憶された表示画像データそれぞれが生成されたときの前記車両の位置と、最も新しく表示画像データが生成されるときの前記車両の位置との間の距離を算出し、算出された前記距離が、予め決められた閾値を最も少なく超える前記表示画像データを選択する
   請求項５に記載の画像処理装置。
7. 前記生成装置は、前記最も新しく生成された俯瞰画像データと、この俯瞰画像に適合された前記表示画像データの部分とを接合する処理をして、最も新しい前記表示画像データを生成する
   請求項１～６のいずれかに記載の画像処理装置。
8. 前記生成装置は、前記最も新しく生成された俯瞰画像データと、この俯瞰画像に適合された前記表示画像データの部分とを、これらの対応点で接合する処理をする
   請求項７に記載の画像処理装置。
9. 前記生成装置は、前記最も新しく生成された俯瞰画像データから、前記表示画像データに接合される部分を除いてから、この俯瞰画像データと前記表示画像データとを接合する処理をする
   請求項７に記載の画像処理装置。
10. 前記生成装置は、実際に表示される画像よりも大きい画像に対応する前記表示画像データを生成する
    請求項１～９のいずれかに記載の画像処理装置。
11. 移動する車両の外部において予め決められた範囲に対応する画像データを、予め決められた時間間隔で取得し、
    取得された複数の前記画像データから生成され、前記車両の外部の画像を表示する表示画像データを複数、前記時間間隔ごとに順次、記憶し、
    最も新しく取得された前記画像データを処理して、前記範囲の俯瞰画像に対応する俯瞰画像データを生成し、
    記憶された複数の前記表示画像データから車両速度に応じて選択された画像を処理して、前記範囲以外に対応する部分を、生成された前記俯瞰画像データに適合させ、
    前記生成された俯瞰画像データと、この俯瞰画像データに適合させられた前記表示画像データの部分とを合成して、最も新しい前記表示画像データを生成する
    画像処理方法。

Images