JP6379967B2 - 画像生成装置および画像生成方法 - Google Patents

Description

本発明は、車載カメラを備える車両に適用されて、車両の周囲を撮影した画像を視線変換して車載モニターに表示するための技術に関する。

車載カメラで撮影した画像を、その車載カメラの視線とは異なる仮想の視線（例えば車両の真上から見下ろす視線）から撮影したかのように変換して、得られた視線変換画像を車載モニターに表示することが広く行われている。この視線変換画像は以下のようにして生成する。まず、実際に撮影したときの視線の向きと、仮想の視線の向きとが決まれば、実際に撮影した撮影画像の画素と、視線変換画像中の画素とは一対一に対応する。そこで、視線変換画像の１つ１つの画素について、対応する撮影画像の画素の画像データ（輝度や彩度等）を設定する。こうすれば、撮影画像に基づいて視線変換画像を生成することができる。

ここで、例えば視線変換画像の大きさが８００画素×５００画素だとすると、画素数は４０万画素にもなる。４０万個の画素について撮影画像中の対応する画素を算出したのでは、撮影周期（例えば３０Ｈｚ）で視線変換画像を表示することは困難である。そこで、視線変換画像の画素に対して撮影画像のどの画素を割り当てるかという対応関係を表した変換テーブルを予め作成しておくという手法が一般に採用されている。予め作成しておいた変換テーブルを読出し可能に記憶しておけば、変換テーブルを参照するだけで、撮影画像中の対応する画素を特定することができるので、より迅速に撮影画像を視線変換することができる。

ところが、路面を基準とする車載カメラの取付位置あるいは取付角度が変わると、記憶しておいた変換テーブルは使えなくなる。例えば、曲がった道路の走行中や、加減速時、重量物の積載時などには車両が傾くので、路面を基準とする車載カメラの取付位置や取付角度が変化する。あるいは、車載カメラの締結部分の緩みなどによって、車両に対する車載カメラの取付位置や取付角度が変化する場合もある。このように、路面を基準とする車載カメラの取付位置や取付角度が変わった後も、記憶している変換テーブルを使って視線変換すると、不自然な視線変換画像になってしまう。

そこで、路面を基準とするカメラの取付位置および取付角度が変化した場合には、新たな取付位置および取付角度に合わせて変換テーブルを更新するための技術が提案されている（特許文献１）。

特開２０１３−２２２３０２号公報

しかし、変換テーブルはデータ量が大きく、更新に時間がかかってしまうため、変換テーブルの更新が完了するまでの間は、不自然な視線変換画像が生成されてしまうという問題があった。

この発明は、従来の技術が有する上記の課題に対応してなされたものであり、変換テーブルの更新が必要となった場合でも、不自然な視線変換画像が生成される状態から迅速に復帰することを可能とする技術の提供を目的とする。

上述した課題を解決するために本発明の画像生成装置および画像生成方法は、予め記憶した対応関係に基づいて、車載カメラの撮影画像から視線変換画像を生成する。また、路面を基準とする車載カメラの取付位置または取付角度の少なくとも一方にズレが生じたことを検知すると、新たな取付位置および取付角度を検出する。そして、視線変換画像中に設定された第１領域の対応関係については、新たな取付位置および取付角度に応じた対応関係に更新する。また、第１領域以外の第２領域の対応関係については、所定の更新条件が満たされた後に更新する。

こうすれば、車載カメラにズレが生じた場合でも、視線変換画像中の第１領域の対応関係については迅速に更新することができる。このため、視線変換画像中の適切な領域（例えば目立ち易い領域や、重要な領域）を第１領域に設定しておけば、車載カメラにズレが生じた時に、不自然な視線変換画像が表示された状態から迅速に復帰させることが可能となる。

本実施例の画像生成装置１０を搭載した車両１の大まかな説明図である。 画像生成装置１０の内部構成を示したブロック図である。 画像生成装置１０が変換テーブルを用いて撮影画像から鳥瞰画像を生成する様子を示す説明図である。 画像生成装置１０が実行する鳥瞰画像生成処理のフローチャートである。 車載カメラ２ａにズレが生じたときの撮影画像を示す説明図である。 優先領域更新処理のフローチャートである。 非優先領域更新処理のフローチャートである。 変換テーブルの更新の進捗状況に応じた鳥瞰画像である。 変形例１の車両１が後ろに傾いた様子を示した説明図である。 変形例２で優先領域の変更をするための処理のフローチャートである。 優先領域を変更する様子を示した説明図である。

以下では、上述した本願発明の内容を明確にするために画像生成装置の実施例について説明する。
Ａ−１．本実施例の装置構成 ：
図１には、画像生成装置１０を搭載した車両１の大まかな構造が示されている。図示されるように車両１は、画像生成装置１０に加えて、車両１の前後左右にそれぞれ一台ずつ設けられた車載カメラ２ａ〜２ｄと、運転席から視認できる車載モニター３と、車速センサー４とを備えている。車載カメラ２ａは、車両１から前方の状況を写した前方撮影画像を取得する。同様に、車載カメラ２ｂは車両１から後方の状況を写した後方撮影画像を取得し、車載カメラ２ｃは車両１から左方の状況を写した左方撮影画像を、車載カメラ２ｄは車両１から右方の状況を写した右方撮影画像を取得する。

これら車載カメラ２ａ〜２ｄで取得した撮影画像は、画像生成装置１０に供給されて、所定の画像処理が施された後、画像生成装置１０から車載モニター３に出力される。上述したように、車載カメラ２ａから得られる撮影画像は車両１から前方の状況を撮影した画像であるが、画像生成装置１０は、車両１の前方をあたかも上方から見下ろして撮影したかのような画像に変換する。ここで、車載カメラ２ａ〜２ｄの撮影画像を、上方から見下ろす撮影方向の画像に変換する処理を「鳥瞰変換」と称する。また、鳥瞰変換を施して得られた画像を「鳥瞰画像」と称する。
尚、本実施例では、車載カメラ２ａ〜２ｄの撮影画像を、上方から見下ろす撮影方向の画像に変換（鳥瞰変換）するものとして説明するが、変換する撮影方向は、必ずしも上方から見下ろす方向である必要はなく、実際の撮影方向とは異なる方向であればよい。また、車載カメラの撮影画像を実際とは異なる撮影方向の画像に変換する処理は、「視線変換」と呼ばれることがある。従って、鳥瞰変換は視線変換の一態様と考えることができる。

車載カメラ２ａ〜２ｄからは車両１の前後左右の撮影画像が得られるから、これらの撮影画像を鳥瞰変換してやれば、車両１の前後左右の鳥瞰画像を得ることができる。そして、車載カメラ２ａ〜２ｄの画角を十分に広く設定しておけば、車載カメラ２ａ〜２ｄから得られた鳥瞰画像を繋ぎ合わせることによって、図１（ｂ）に示すように、車両１の周囲を上方から見下ろすような状態で、車載モニター３に表示することが可能となる。

図２には、車載モニター３に鳥瞰画像を表示する画像生成装置１０の内部構造が示されている。図示されるように、画像生成装置１０は、撮影画像取得部１１と、画像生成部１２と、表示部１３と、変換テーブル記憶部１４とを備えている。このうちの撮影画像取得部１１は、車載カメラ２ａ〜２ｄが一定の撮影周期（例えば３０Ｈｚ）で撮影した画像を取得して、画像生成部１２に出力する。尚、変換テーブル記憶部１４が本発明の「対応関係記憶部」に対応する。
画像生成部１２は、変換テーブル記憶部１４に記憶されている変換テーブルを参照しながら、撮影画像に対して鳥瞰変換を施すことによって鳥瞰画像を生成する。前述したように鳥瞰変換とは、車載カメラ２ａ〜２ｄの撮影画像を、あたかも上方から車両１を見下ろす方向から撮影したような画像（鳥瞰画像）に変換する処理である。以下では、車両１から前方を撮影する車載カメラ２ａの場合を例に用いて、画像生成部１２が変換テーブルを参照して撮影画像を鳥瞰画像を生成する方法について説明する。

図３には、画像生成部１２が撮影画像を鳥瞰変換する際に変換テーブルを参照する様子が示されている。図３（ａ）は車載カメラ２ａが撮影した車両１の前方の撮影画像を表しており、図３（ｃ）は、その撮影画像を変換した鳥瞰画像を表している。尚、図３（ｃ）では、理解の便宜から、鳥瞰画像だけでなく、車両１の位置も併せて表示してある。また、図３（ｂ）には、撮影画像を鳥瞰画像に変換するために用いられる変換テーブルが示されている。
図示されるように変換テーブルには、鳥瞰画像の画素に対応する撮影画像の画素が設定されている。例えば、鳥瞰画像の座標（Ｘｅ，Ｙｆ）の画素に対しては、撮影画像の座標（Ａｇ，Ｂｈ）の画素が設定されている。また、鳥瞰画像の座標（Ｘｐ，Ｙｑ）の画素に対しては、撮影画像の座標（Ａｒ，Ｂｓ）の画素が設定されている。このように、変換テーブルには、鳥瞰画像の複数（あるいは全て）の画素について、その画素と撮影画像中の画素との対応関係が記述されている。従って、変換テーブルを参照しながら、鳥瞰画像中の全ての画素について、撮影画像中の対応する画素の画像データ（例えば輝度や彩度）を反映させれば、撮影画像を視線変換した鳥瞰画像を生成することができる。

変換テーブルの作成方法については周知であるため詳細な説明は省略するが、変換テーブルは、大まかには次のような原理に基づいて作成されている。
先ず、車載カメラ２ａで路面を撮影すると、その撮影領域にある路面上の任意の一点は、撮影画像のいずれかの一点に必ず対応する。鳥瞰画像は、その路面を上方から見下ろす視線で撮影したかのように変換した画像であるから、鳥瞰画像の任意の一点についても、撮影画像のいずれかの一点に必ず対応することとなる。このことから、車載カメラ２ａの路面を基準とする取付位置および取付角度の関係が一定であれば、鳥瞰画像上の点と撮影画像上の点との対応関係は一つに決定される。そこで鳥瞰画像の画素一つ一つについて、その対応関係を計算することで変換テーブルは作成される。図２に示された変換テーブル記憶部１４には、車両１に対して車載カメラ２ａの取付位置および取付角度が固定された状態で算出された変換テーブルが記憶されている。

変換テーブル記憶部１４には、車載カメラ２ａについての変換テーブルだけでなく、車載カメラ２ｂについての変換テーブルや、車載カメラ２ｃについての変換テーブル、車載カメラ２ｄについての変換テーブルも記憶されている。そして、画像生成部１２は、車載カメラ２ｂ〜２ｄの撮影画像に対しても、それぞれの車載カメラ２ｂ〜２ｄについての変換テーブルを参照して鳥瞰画像を生成する。
表示部１３は、車両１の前後左右の鳥瞰画像を画像生成部１２から受け取って、車載モニター３に出力する。その結果、車載モニター３には、図１（ｂ）に示したように、車両１の周囲を上方から見下ろしたような状態で鳥瞰画像が表示されることとなる。

また、図２に示されるように、本実施例の画像生成装置１０は、上述した撮影画像取得部１１や、画像生成部１２、表示部１３、変換テーブル記憶部１４に加えて、ズレ発生検知部１５や、取付状態算出部１６、優先領域更新部１７、非優先領域更新部１８も備えている。尚、この優先領域更新部１７が本発明の「第１領域更新部」に対応し、非優先領域更新部１８が本発明の「第２領域更新部」に対応する。
また、画像生成装置１０が備える８の「部」は、画像生成装置１０の内部を機能の観点から分類した概念であり、画像生成装置１０が物理的に８の部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。

このうちのズレ発生検知部１５は、撮影画像取得部１１から取得した車載カメラ２ａ〜２ｄの撮影画像に基づいて、車両１に搭載された車載カメラ２ａ〜２ｄの取付位置または取付角度にズレが生じたことを検知する。前述したように、変換テーブルは、車両１に対して車載カメラ２ａ〜２ｄが固定されているものとして設定されているから、車両１に対してズレが生じた車載カメラについては、変換テーブルを更新する必要が生じる。
そこで、ズレ発生検知部１５でズレが生じた車載カメラ２ａ〜２ｄが検知されると、取付状態算出部１６は、その車載カメラ２ａ〜２ｄの車両１に対する取付位置および取付角度を算出する。そして、算出した取付位置および取付角度に基づいて、ズレが生じた車載カメラについての変換テーブルを更新する。

ここで本実施例の画像生成装置１０では、変換テーブルの更新に際して、変換テーブル全体を一様に更新するのではなく、所定の領域を優先して更新する。すなわち、本実施例の変換テーブルには、優先領域と非優先領域とが設定されており、変換テーブルを更新する際には優先領域を優先して更新する。ここで、変換テーブルの優先領域は、鳥瞰画像中の所定範囲を生成するために参照される領域である。図３（ｃ）に例示した鳥瞰画像中では、白線を含む一点鎖線で囲った範囲が鳥瞰画像中の所定範囲に対応し、従って、図３（ｂ）に例示した変換テーブル中で破線を用いて囲った領域が、変換テーブルの優先領域に対応する。また、変換テーブル中で優先領域以外の部分が、非優先領域となる。
尚、この優先領域に対応する鳥瞰画像中の上記の所定範囲が本発明の「第１領域」に対応し、鳥瞰画像中の他の範囲が本発明の「第２領域」に対応する。

変換テーブルに優先領域と非優先領域とが設けられることに対応して、本実施例の画像生成装置１０には、優先領域更新部１７と非優先領域更新部１８とが設けられている。そして、車載カメラ２ａ〜２ｄの何れかでズレが生じて、その車載カメラの取付位置および取付角度を取付状態算出部１６が算出すると、直ちに優先領域更新部１７が変換テーブル中の優先領域を更新する。その後、非優先領域更新部１８が、所定の更新条件を満足したことを確認した後、変換テーブル中の非優先領域を更新する。
こうすることによって、たとえ車両１の走行中に車載カメラ２ａ〜２ｄの何れかでズレが生じて、車載モニター３に表示される鳥瞰画像に異常が生じた場合（例えば、白線が食い違って表示されたり、白線が折れ曲がって表示されたりするなど）でも、異常の影響を抑制しつつ、正常な状態に迅速に復帰させることが可能である。以下では、このようなことを可能とするために、画像生成装置１０内で行われている鳥瞰画像生成処理について詳しく説明する。

Ａ−２．鳥瞰画像生成処理 ：
図４には、本実施例の画像生成装置１０が実行する鳥瞰画像生成処理のフローチャートが示されている。この鳥瞰画像生成処理は、車載カメラ２ａ〜２ｄから取得した撮影画像に基づいて鳥瞰画像を生成して車載モニター３に表示する処理である。車載カメラ２ａ〜２ｄは所定の周期（例えば３０Ｈｚ）で撮影を繰り返すため、鳥瞰画像生成処理はこれに対応する周期で繰り返し実行されることとなる。
鳥瞰画像生成処理を開始すると先ず、車載カメラ２ａ〜２ｄから撮影画像を取得する（Ｓ１０１）。本実施例では、撮影画像として、前方撮影画像、後方撮影画像、左方撮影画像および右方撮影画像を取得する。次に、何れかの車載カメラ２ａ〜２ｄでズレを検知したか否かを判断する（Ｓ１０２）。

通常は、何れの車載カメラ２ａ〜２ｄでもズレが検知されないので、Ｓ１０２では「ｎｏ」と判断して、続いて、非優先領域の未更新フラグがＯＮに設定されているか否かを判断する（Ｓ１０３）。ここで、非優先領域の未更新フラグとは、変換テーブル中の非優先領域が未だ更新されていないことを示すフラグである。すなわち、後述するように本実施例の画像生成装置１０は、変換テーブルを更新する必要が生じると、変換テーブルの優先領域については直ちに更新するが、非優先領域については、所定の更新条件が満足された後に更新する。従って、更新条件が満足されていない場合は、変換テーブルの優先領域が更新されても、非優先領域は更新されないままとなっている。未更新フラグとは、このように非優先領域が更新されないままであることを表すために設定されるフラグであり、未更新フラグがＯＮに設定されている状態は、優先領域は更新済みであるが非優先領域は未更新のままである状態を表している。

上記のように何れの車載カメラ２ａ〜２ｄでもズレが検知されていなければ（Ｓ１０２：ｎｏ）、優先領域更新処理もしていないので、非優先領域の未更新フラグはＯＦＦである（Ｓ１０３：ｎｏ）。そこで、取得していた撮影画像を鳥瞰変換する（Ｓ１０４）。鳥瞰変換とは上述したように、車載カメラ２ａ〜２ｄの撮影画像を、あたかも上方から車両１を見下ろす方向から撮影したような画像（鳥瞰画像）に変換する処理である。ここでは、前方撮影画像、後方撮影画像、左方撮影画像および右方撮影画像のそれぞれを変換テーブルに従って鳥瞰変換し、これらを繋ぎ合わせることによって、車両１の周囲を真上から見下ろした一つの鳥瞰画像を合成する。続いて、得られた鳥瞰画像を車載モニター３に出力する（Ｓ１０５）。

そして、鳥瞰画像生成処理を終了するか否かを判断し（Ｓ１０６）、終了しない場合は（Ｓ１０６：ｎｏ）、処理の先頭に戻って、車載カメラ２ａ〜２ｄからの撮影画像を取得する（Ｓ１０１）。前述したように、車載カメラ２ａ〜２ｄは、所定の周期（例えば３０Ｈｚ）で画像を撮影するため、Ｓ１０１においても、同じ周期（例えば３０Ｈｚ）で撮影画像が取得されることになる。車載モニター３の表示を止める等して鳥瞰画像生成処理を終了するまでは（Ｓ１０６：ｙｅｓ）、ここまでの処理（Ｓ１０１〜Ｓ１０６）を繰り返す。

以上では、車載カメラ２ａ〜２ｄの取付位置または取付角度にズレが生じていない場合に（Ｓ１０２：ｎｏ）、撮影画像から鳥瞰画像を生成して車載モニター３に出力する処理について説明した。
ところが、車載カメラ２ａ〜２ｄの取付位置や取付角度は、何らかの理由でズレが生じることがある。車載カメラ２ａ〜２ｄの何れかでズレが生じると、Ｓ１０２では「ｙｅｓ」と判断される。車載カメラ２ａ〜２ｄのズレの有無を検知する方法は、種々の方法を適用することができるが、本実施例の画像生成装置１０は次のような方法で、車載カメラ２ａ〜２ｄのズレの有無を検知する。

図５（ａ）には、一例として車載カメラ２ａで撮影された撮影画像（ここでは、前方撮影画像）が示されている。車載カメラ２ａ〜２ｄには広角レンズ（魚眼レンズなど）が装着されているので、図示されるように、撮影画像には車両１のバンパーが写り込む。当然ながら、車載カメラ２ａ〜２ｄが車両１に対して正しい取付位置および取付角度で取り付けられていれば、撮影画像中に写り込んだバンパーの位置は自ずから定まる正規の位置となる。逆に、車載カメラ２ａ〜２ｄの車両１に対する取付位置あるいは取付角度にズレが生じると、撮影画像中に写り込んだバンバーの位置は正規の位置から移動する。そこで、車載カメラ２ａ〜２ｄにズレが生じていない状態で撮影画像中に写り込んだバンパーの位置（正規の位置）を記憶しておく。そして、その後に撮影した撮影画像中でのバンパーの位置を検出して、正規の位置と比較すれば、車載カメラ２ａ〜２ｄでズレが生じているか否かを判断することができる。

図５に示した例では、図５（ａ）には車載カメラ２ａにズレが生じていない場合の前方撮影画像が示されており、図５（ｂ）には車載カメラ２ａにズレが生じた場合の前方撮影画像が示されている。また、図５（ｃ）には、ズレが生じていない場合のバンパーの位置（実線で表示）と、ズレが生じた場合のバンパーの位置（破線で表示）とが重ねて示されている。従って、図５（ｃ）中で斜線を付して示した部分の面積は、車載カメラ２ａのズレによるバンパーの移動量となる。そこで、本実施例では、この面積が所定の閾値以上であった場合に、車載カメラ２ａでズレが生じたものと判断する。他の車載カメラ２ｂ〜２ｄについても、同様にして、ズレが生じたか否かを検知することができる。
このようにして車載カメラのズレを検知したら（Ｓ１０２：ｙｅｓ）、優先領域更新処理（Ｓ１１０）を開始する。

図６には、優先領域更新処理（Ｓ１１０）のフローチャートが示されている。ここでは先ず、車載カメラの取付位置および取付角度を再計算する（Ｓ１１１）。車載カメラの取付位置および取付角度を再計算するには種々の方法があり、何れの方法を採ってもよい。例を挙げると、撮影画像に写った白線を指標物とする方法がある。車載カメラの取付位置または取付角度のうち少なくとも一方にズレが生じた場合、その撮影画像では、車線に沿って互いに平行に検出される筈の左右の白線がハの字形（または逆ハの字形）に検出されることとなる。この場合、左右の白線が平行に検出されるように最適化することで車載カメラの取付位置および取付角度を再計算することができる。また別の例を挙げると、車載カメラの取付位置および取付角度にズレが生じた場合、二つの車載カメラの撮影領域が重複した領域で、一致して表示されるはずの白線が不一致になる。この場合には、その白線が一致して表示されるように最適化することで、車載カメラの取付位置および取付角度を再計算することができる。

車載カメラの取付位置および取付角度を再計算したら（Ｓ１１１）、優先領域の変換テーブルを更新する（Ｓ１１２）。上述したように本実施例では、鳥瞰画像で白線が表示される車両１の左右両側の所定範囲に対応する変換テーブルの領域を優先領域としている（図３参照）。この優先領域は前方の撮影領域全体の変換テーブルの中では比較的小さな一部分に過ぎず、大部分は残りの非優先領域である。従って、この優先領域の変換テーブルの更新は、車載カメラの取付位置および取付角度を再計算した後、迅速に完了することができる。優先領域の変換テーブルを更新したら（Ｓ１１２）、非優先領域の未更新フラグをＯＮにして（Ｓ１１３）、図４の鳥瞰画像生成処理に復帰する。
復帰した鳥瞰画像生成処理では、非優先領域の未更新フラグがＯＮになっているので（Ｓ１０３：ｙｅｓ）、非優先領域の更新条件を満たすか否かを判断する（Ｓ１０７）。

ここで、非優先領域の変換テーブルの更新条件（Ｓ１０７）について説明する。本実施例では、車速センサー４から取得する車両１の走行速度を用いて非優先領域の更新条件を設定する。例えば、車速が４０ｋｍ／ｈ以下のときは非優先領域の変換テーブルを更新し、４０ｋｍ／ｈより大きいときは非優先領域の変換テーブルを更新しないとすることができる。こうすれば、車両１の速度が上がって鳥瞰画像の生成ないし出力のためにＣＰＵに大きな処理負荷が生じるときには、非優先領域については更新しないことで、ＣＰＵの処理能力を確保することができる。尚、本実施例では、非優先領域の更新条件を車両１の走行速度に基づいて設定しているが、これに限られることはない。その他の更新条件については後述する。

上記のような非優先領域の更新条件の判断（Ｓ１０７）の結果、これを満たさない場合には（Ｓ１０７：ｎｏ）、そのときの変換テーブルに従って撮影画像を鳥瞰変換し（Ｓ１０４）、その鳥瞰画像を出力する（Ｓ１０５）。そして、非優先領域の未更新フラグがＯＮになっているので（Ｓ１０３：ｙｅｓ）、以降は鳥瞰画像生成処理を実行する度に、非優先領域の更新条件を満たすか否かを判断し続けることになる（Ｓ１０７）。その結果、やがては非優先領域の更新条件を満たしたと判断されることとなり（Ｓ１０７：ｙｅｓ）、非優先領域更新処理が開始される（Ｓ１２０）。

図７には、非優先領域更新処理（１２０）のフローチャートが示されている。ここでは先ず、所定データ量だけ非優先領域の変換テーブルを更新する（Ｓ１２１）。所定データ量として例えば、変換テーブルを更新する任意の画素数を予め設定しておくことが考えられる。所定データ量だけ更新したら、非優先領域の更新が完了していないこと（Ｓ１２２：ｎｏ）、未だ撮影タイミングでないこと（Ｓ１２３：ｎｏ）、引き続き非優先領域の更新条件を満たしていること（Ｓ１２４：ｙｅｓ）を確認する。これら三つの条件を全て満たしている場合は、再度、所定データ量だけ非優先領域の変換テーブルを更新する（Ｓ１２１）。そして、以下のように、これら３つの条件のうち何れか一つでも満たさなくなった場合には、図４の鳥瞰画像生成処理に復帰することとなる。

１つ目の条件について、非優先領域の更新が完了した場合には（Ｓ１２２：ｎｏ）、もはや更新すべき変換テーブルが残っていないので、非優先領域の未更新フラグをＯＦＦにした上で（Ｓ１２５）、図４の鳥瞰画像生成処理に復帰する。
２つ目の条件について、撮影タイミングになった場合には（Ｓ１２３：ｙｅｓ）、遅延なく車載モニター３に鳥瞰画像を出力するために、図４の鳥瞰画像生成処理に復帰する。ここでいう撮影タイミングとは、次の鳥瞰画像生成処理で取得する撮影画像の撮影タイミングのことである。このように、非優先領域更新処理を中断するタイムリミットを設定することで、次の撮影画像の取得（Ｓ１０１）に備えることができ、以降も遅延なく車載モニター３に鳥瞰画像を出力することが可能となる。尚、この遅延をより着実に防止するために、このＳ１２３の判断では、撮影タイミングよりも前のタイミングで非優先領域更新処理を中断するように設定してもよい。

３つ目の条件について、この非優先領域の更新条件（Ｓ１２４）は、図４で示した鳥瞰画像生成処理のＳ１０７で判断した条件と同じである。つまり、非優先領域更新処理（Ｓ１２０）を開始する前に、非優先領域の更新条件を満たすことを確認するし（Ｓ１０７：ｙｅｓ）、非優先領域更新処理（Ｓ１２０）の実行中にも、非優先領域の更新条件を満たすことを定期的に確認することとなる（Ｓ１２４：ｙｅｓ）。そして、非優先領域更新処理（Ｓ１２０）の実行中に非優先領域の更新条件を満たさなくなった場合には（Ｓ１２４：ｎｏ）、未だ、非優先領域の更新が完了せず（Ｓ１２２：ｎｏ）、撮影タイミングになっていなくても（Ｓ１２３：ｎｏ）、図４の鳥瞰画像生成処理に復帰する。

上記の２つ目の条件で撮影タイミングになった場合（Ｓ１２３：ｙｅｓ）、および、３つ目の条件で非優先領域の更新条件を満たさなくなった場合（Ｓ１２４：ｎｏ）には、図４の鳥瞰画像生成処理に復帰するが、未だ非優先領域の更新は完了していない（Ｓ１２２：ｎｏ）。従って、以降の鳥瞰画像生成処理では、非優先領域の未更新フラグがＯＮであると判断され（Ｓ１０３：ｙｅｓ）、非優先領域の更新条件を満たすか否かを判断する（Ｓ１０７）。そして、非優先領域の更新を完了し（Ｓ１２２：ｙｅｓ）、非優先領域の未更新フラグをＯＦＦにするまでは（Ｓ１２５）、非優先領域の更新条件を満たすこと（Ｓ１０７：ｙｅｓ）を確認した上で、非優先領域更新処理（Ｓ１２０）を繰り返し実行することになる。
このような処理手順に従って、図４の鳥瞰画像生成処理を繰り返す中で車載カメラの取付けにズレが生じた場合には、図６の優先領域更新処理と、図７の非優先領域更新処理とを実行することで変換テーブルが更新される。以下では、変換テーブルの更新過程における鳥瞰画像の表示状態について説明する。

図８には、変換テーブルの更新の進捗状況に応じた鳥瞰画像の様子が示されている。図８の上段には、前方の車載カメラ２ａのズレを検知してから変換テーブル全体の更新を完了するまでの進捗状況が、右方向に進む時間軸上で表わされている。上述したように、車載カメラ２ａのズレを検知したら、間を置くことなく優先領域の変換テーブルを更新するのだが、図８（ａ）には、車載カメラ２ａのズレを検知した直後、優先領域の変換テーブルを更新する前であるタイミングＡの時の鳥瞰画像が例示されている。尚、この図面で例示する鳥瞰画像の路面は、変換テーブルの更新状況を視認しやすいように石畳のように表している。

図８（ａ）に示されるように、タイミングＡの時の鳥瞰画像では、前方の車載カメラ２ａの撮影領域と、左右の車載カメラ２ｂ，２ｃの撮影領域との境界で、白線や石畳の表示にズレが生じている。このような鳥瞰画像が映し出された車載モニター３を運転者が見た場合、石畳の表示ズレに運転者が気付くかどうかは車載モニター３を注視する度合い等にもよるであろうが、白線の表示ズレについては運転者が一目で気付いてしまう虞がある。また、白線の表示ズレが発生している前方の撮影領域からは、鳥瞰画像上で白線の位置を正確に検出することが難しくなる。そうすると、例えば車両１が車線を維持するように制御されている場合には、車線の検出に支障をきたす虞もある。そこで、上述した処理手順に従って車載カメラ２ａについての変換テーブルを更新する。

上述したように、変換テーブルは、先ず優先領域から更新される。優先領域は全体の変換テーブルの中で半分にも満たない領域に過ぎないことから、車載カメラのズレを検知してから間もなく完了する（図８の上段参照）。その後、上述した車速等の所定条件の下で非優先領域の変換テーブルが更新されるのだが、図８（ｂ）に示された鳥瞰画像は、その非優先領域の変換テーブルの更新を開始する直前のタイミングＢの時の例示である。
図８（ｂ）の破線部で囲った領域で示されるように、優先領域は車両１の左右の白線周辺に設定されており、この優先領域の変換テーブルは既に更新されているので、図８（ａ）のときに見られた白線の表示ズレは解消されている。

一方、非優先領域の変換テーブルは、この段階では未だ更新されていないので、前方の車載カメラ２ａが撮影した領域で表示される石畳の大部分は依然としてズレが生じたままである。しかし、運転者にとって目に付きやすい白線の表示ズレは既に解消されているし、白線の位置を検出することにも支障は無くなっている。残るのは石畳の表示ズレの問題となるが、これは以下のことから大きな支障とはならないと考えられる。上述したように図８では、路面が石畳であるとして図示されているが、実際には路面のほとんどがアスファルト舗装面である。アスファルト舗装は石畳に比べて見た目が一様な舗装面のため、図８（ｂ）で示した鳥瞰画像の段階では未だ路面の表示ズレが残っているとしても、その鳥瞰画像を見た運転者が表示ズレを認識することはないと考えられる。

図８（ｂ）で示すように優先領域の変換テーブルを更新した後、所定条件を満たせば、非優先領域の変換テーブルを更新していく。非優先領域の更新は、図８の上段に示されるように、撮影タイミングの度に更新処理が中断され（Ｓ１２３：ｙｅｓ）、非優先領域の更新条件を満たしていない間にも中断される（Ｓ１２４：ｎｏ）。こうしたことから、非優先領域の変換テーブルの更新には、優先領域の変換テーブルを更新した後（図８でいうタイミングＢ）から、変換テーブル全体の更新が完了した時（図８でいうタイミングＣ）までの優先領域と比較すればある程度長い時間を要する。
しかし、上述したように、優先領域の変換テーブルを更新した図８（ｂ）の時点で、白線の表示ズレは既に解消しているし、白線が含まれていない路面部分の表示ズレは目立ちにくいので、非優先領域の更新に多少の時間を要したとしても大きな支障はない。

非優先領域の変換テーブルの更新が進むにつれて、図８（ｂ）に示された非優先領域で生じている表示ズレも順次解消されていき、やがて図８（ｃ）に示した鳥瞰画像の状態になる。
図８（ｃ）には、非優先領域の更新が完了したタイミングＣの時の鳥瞰画像が例示されている。非優先領域にある変換テーブルの更新が完了すれば、変換テーブル全体の更新が完了したことになる。その結果、鳥瞰画像では、前方の撮影領域と左右の撮影領域との境界にあった左右の白線や石畳の表示ズレが全て解消されることとなる。

上述したように本実施例では、白線のような道路標示等が含まれていない路面部分については見た目がほとんど一様であるため、鳥瞰画像中で多少の表示ズレが生じていても目立ちにくいということに着目することで、非優先領域の更新を後回している。このことから、鳥瞰画像中で表示ズレが目立つ範囲を生成するために参照される変換テーブルの領域を優先領域に設定し、その他の表示ズレが目立たない範囲を生成するために参照される変換テーブルの領域を非優先領域に設定するとよい。鳥瞰画像中で表示ズレが目立つ範囲としては、白線や横断歩道、停止線のような道路標示等が挙げられる。本実施例では、鳥瞰画像中で白線が表示される車両１の左右両側の周辺範囲を生成するために参照する変換テーブルの領域を優先領域に設定しておくことで、車載カメラのズレを検知した場合には、車両１の左右にある白線の表示ズレを迅速に解消することが可能となっている。

Ｂ．変形例１ ：
上述の本実施例では、車両１に対する車載カメラ２ａの取付位置または取付角度にズレが生じた場合に変換テーブルを更新することについて説明してきた。しかし、車両１に対してズレが生じた場合に限られず、路面に対してズレが生じた場合についても変換テーブルを更新できる。そこで本変形例では、路面を基準とする車載カメラ２ａ〜２ｄの取付位置および取付角度にズレが生じたことを受けて、変換テーブルを更新する場合について説明する。
図９には車両１が後ろに傾く様子が示されている。図９（ａ）の実線で示された車両１は傾いていない通常の状態である。この状態から、車両１の後部座席に体重の重い人が乗り込んだりして車両１の重量のバランスが変化すると、図９（ａ）の破線部で示されるように、車両１は後方が沈み込んで前方が浮き上がるように傾く。これに伴って、車両１に取り付けられた車載カメラ２ａ〜２ｄはそれぞれ、図９（ａ）の矢印で示された方向に向かって動くため、車両１が後ろに傾くと、路面を基準とする取付位置および取付角度のズレが生じることになる。

ここで、車両１が後ろに傾くことで鳥瞰画像に生じる影響について考える。車両１が傾いていない状態では、適切に更新された変換テーブルを参照すれば、撮影された実際の景色が正しく反映された鳥瞰画像が生成される。例えば、車両１が真っ直ぐな車線を走っているとすれば、そのときの鳥瞰画像には、車両１の左右両側にある白線がそれぞれ、進行方向と平行にして一直線に延びるように表示されることとなる。
しかし、車両１が傾いた場合にあっても、車両１が傾く前に更新されていた古い変換テーブルを参照すると、撮影された実際の景色とは異なる鳥瞰画像が生成されてしまう。図９（ｂ）には、撮影された実際の景色が正しく反映されずに異常な表示となった鳥瞰画像の例が示されている。車両１の進行方向に沿って一直線に延びている筈の白線が、車載カメラ２ａ〜２ｄの撮影領域の境界で食い違って表示されていることから、撮影された実際の景色が正しく反映されていないことがわかる。そこで、本変形例でも、上述した本実施例と同様に、車載カメラ２ａ〜２ｄのそれぞれの撮影領域に対応する変換テーブルを更新し、白線の表示ズレを解消する。以下では、本実施例と異なる事柄に焦点を絞って説明する。

変換テーブルの更新を開始する条件として、上述した本実施例では、車載カメラのズレを検知したことを判断していた（図４のＳ１０２：ｙｅｓ）。しかし、本変形例では、車両１に対しては車載カメラ２ａ〜２ｄの取付位置および取付角度にズレが生じていないため、図５を用いて説明したように車両１（バンパー）が写る領域の変化に基づいて車載カメラのズレを検知することはできない。
そこで本変形例では、撮影された実際の景色とは異なる表示が鳥瞰画像から検出された場合には、車載カメラ２ａ〜２ｄの路面を基準とする取付位置および取付角度にズレが生じたと判断する。図９（ｂ）に示した例で言えば、車両１の左右両側で互いに平行であるはずの白線が平行でないことや、左右それぞれの白線が幅方向で断続していることを検出することで、車載カメラ２ａ〜２ｄの路面に対するズレが検知できる。

このような鳥瞰画像の異常を検知する代わりに、ハイトセンサーを用いて、車載カメラ２ａ〜２ｄのズレを検知してもよい。尚、図９に示されるように車両１が傾くのは、積載重量のバランスの変化など、ある程度の時間継続する場合に限られず、車両１の加減速や進路変更などから生じる荷重変化によって、ごく短い時間だけ車両１が傾く場合もある。そこで、車両１が傾いても、それがごく短い時間ならば、変換テーブルを更新しないようにしてもよい。

ここで、更新する変換テーブルの範囲について考えると、上述した本実施例では、車載カメラ２ａにズレが生じたことに対応して、車載カメラ２ａの撮影領域に相当する部分に限って変換テーブルを更新していた。本変形例では、図９を用いて上述したように、車両１が傾いたことによって、車載カメラ２ａ〜２ｄの何れの撮影領域についても、変換テーブルを更新することになる。この場合でも、車載カメラ２ａ〜２ｄのうち何れか１つの車載カメラにズレが生じた場合と同様に考えて、各車載カメラの撮影領域ごとに独立して優先領域を設定することができる。しかし、これに限られず、以下のように優先領域を設定してもよい。

すなわち、本変形例の優先領域は、車載カメラ２ａ〜２ｄの撮影領域ごとに分断することなく、車載モニター３に表示する鳥瞰画像全体を一体的に扱って設定するとよい。図９（ｂ）の例で言うと、車両１の左右２つの破線部で囲った領域で表されるように、車載カメラ２ａ〜２ｄの撮影領域によらず、鳥瞰画像全体で車両１の前後に亘って優先領域を設定している。こうすれば、進行している変換テーブルの更新が撮影領域の境界で途切れることを無くし、より迅速に白線の表示ズレを解消できる。
さらに本変形例では以下のようにして優先領域を設定してもよい。

図９（ｂ）を見ると明らかなように、優先領域には２つの閉じた領域が存在している。これらを区別することなく、変換テーブルを更新してもよいが、２つの優先領域のうち何れか一方をさらに優先して更新する最優先領域として扱ってもよい。例えば、車両１の左側の優先領域を最優先領域としてその変換テーブルを更新し、次に車両１の右側の優先領域の変換テーブルを更新し、その後、上述の本実施例と同様の所定条件下でその他の非優先領域の変換テーブルを更新する。
こうすれば、車両１の左側については、より迅速に白線の位置を正確に検出できるようになるため、例えば、車両１で車線維持などの運転支援制御をするときに有益である。

Ｃ．変形例２ ：
上述の本実施例で説明した優先領域は、車両１の左右で白線を検出しやすい周辺領域に予め設定されるものとしていた。本変形例では、必要に応じて優先領域の設定領域を変更することについて説明する。
図４を用いて上述したように、本実施例の鳥瞰画像生成処理では、車載カメラのズレを検知したと判断すると（Ｓ１０２：ｙｅｓ）、次に優先領域更新処理（Ｓ１１０）を実行していた。これに対して本変形例では、車載カメラのズレを検知したと判断すると（Ｓ１０２：ｙｅｓ）、図１０に示すような処理を開始する。

図１０には、優先領域の変更をするための処理のフローチャートが示されている。ここでは先ず、白線を検出したか否かを判断する（Ｓ１３１）。白線検出の対象は、そのときの鳥瞰画像生成処理のＳ１０１で取得していた撮影画像からでもよいし、その前の鳥瞰画像生成処理のＳ１０４で生成していた鳥瞰画像からでもよい。
白線を検出しなかった場合は（Ｓ１３１：ｎｏ）、上述の本実施例と同様に、図６の優先領域更新処理（Ｓ１１０）を開始する。
一方、白線を検出した場合は（Ｓ１３１：ｙｅｓ）、検出した白線の位置に対して優先領域の設定が妥当であるか否かを判断した上で（Ｓ１３２）、必要な場合には設定されていた優先領域を変更する（Ｓ１３３）。これについて図１１を用いて説明する。

図１１には、優先領域を変更する様子が示されている。車両１は常に白線に沿って走行するわけではなく、例えば進路変更する時には、図示されるように白線を横切ることがある。このとき、上述の本実施例と同様にして車両１の左右に優先領域（図１１（ａ）の破線で囲った領域）を設けたままでは、優先領域が白線の表示範囲に対応した位置にないため、優先領域の変換テーブルを更新したところで白線の表示ズレは解消されない。このような場合は、検出した白線の位置に対して優先領域の設定が妥当でないと判断されることとなる（Ｓ１３２：ｎｏ）。
そこで、図１１（ｂ）に示されるように、検出している白線が優先領域に収まるようにして、優先領域の設定を変更する（Ｓ１３３）。こうすれば、変換テーブルを更新する際には、より確実に白線の表示ズレを解消することができる。

優先領域の設定を変更するに当たっては、上記のようにその位置の変更に限らず、その領域の広さを変更することとしてもよい。例えば、車両１の走行速度が大きい時は、鳥瞰画像中の白線が表示される位置が頻繁に動きやすい。このようなときは優先領域を広く設定してやれば、より確実に白線を優先領域に収めやすくなる。
これとは逆に、車両１の走行速度が大きい時は優先領域を狭くし、走行速度が小さくなるほど優先領域を広く設定してもよい。これは、車両１の走行速度が大きい時ほど、鳥瞰画像の生成ないし表示のためにＣＰＵの処理能力を多く必要とすることを考慮した設定である。

ここまでは、鳥瞰画像中で白線が表示される周辺範囲に対応して優先領域を設定する場合について説明してきた。しかし、優先領域は、白線が表示される周辺範囲に限らず設定することができる。例えば、白線の他、横断歩道、停止線のような道路標示全般を対象とすることについては、上述の本実施例でも説明した通りである。横断歩道や停止線等の道路標示は、車両１が走行している時には、鳥瞰画像中で表示される位置が定まることはなく、時々刻々と変化することになる。そこで、本変形例のように変換テーブルを更新する都度、優先領域を設定すればよい。こうすることで、より確実に、鳥瞰画像中で時々刻々と表示位置が変化する道路標示の周辺に対応して優先領域を設定することができる。

さらに道路標示に限らず、車両や歩行者、障害物等の鳥瞰画像に表示される所望の観測対象が表示される周辺範囲に対応して優先領域を設定することもできる。例えば、衝突回避や前走車追従等の運転支援機能を実行するために、鳥瞰画像中から先行車を検出している場合、その先行車の表示範囲に対応して優先領域を設定すれば、変換テーブルを更新する際、先行車の検出精度をより迅速に回復することができる。

Ｄ．変形例３ ：
ここでは、非優先領域の更新条件についての変形例を説明する。上述の本実施例で説明した非優先領域の更新条件は（図４の処理Ｓ１０７）、ＣＰＵの処理能力を確保する観点から、車両１の走行速度が４０ｋｍ／ｈより大きいときは非優先領域の変換テーブルを更新しないとするものであった。しかし、非優先領域の更新条件はこれに限られない。
例えば、画像生成装置１０のプログラムを実行するＣＰＵの使用率を、他のアプリケーションプログラムの実行のために占有される処理時間も含めて監視し、そのＣＰＵの使用率が所定値より高いときには、非優先領域の変換テーブルを更新しないとしてもよい。

また、車速が１０ｋｍ／ｈ以下のときは非優先領域の変換テーブルを更新し、１０ｋｍ／ｈより大きいときは非優先領域の変換テーブルを更新しないとすることもできる。図８で上述したように、非優先領域で生じる表示ズレは目立ちにくいとは言え、車両１の速度が相当程度に小さいときは、駐車のために車載モニター３を注視する可能性がある程度高いと考えられる。また、駐車時には白線（駐車位置の区切り線）の表示位置が大きく変化することからも、鳥瞰画像全体の変換テーブルを迅速に更新しておく必要性がある。
また、車両１の変速機がバックギアに入れられているときは、同様に、駐車のために車載モニター３を注視する可能性がある程度高いと考えられるため、非優先領域の変換テーブルを更新することとしてもよい。

また、非優先領域には白線が表示されず、アスファルト舗装面だけが表示される状況であれば、非優先領域の変換テーブルを急いで更新する必要性は低いと言える。そこで、車両１の左右両側の白線を所定時間検出し続けているときや、操舵角等の情報から車両１が直進しているときには、非優先領域の変換テーブルを更新しないこととしてもよい。
また、同様に考えて、車両１が高速道路を走行しているときには、非優先領域にはほとんどアスファルト舗装面だけが一様に表示されることとなる。そこで、ＧＰＳ情報等により車両１が高速道路などの自動車専用道路を走行していると判断されるときには、非優先領域の更新をしないとすることもできる。
さらに、上記の更新条件を組み合わせて総合的に判断することとしてもよい。

以上、本実施例および各種の変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施をすることができる。

１…車両、 ２ａ〜２ｄ…車載カメラ、 ３…車載モニター、
１０…画像生成装置、 １１…撮影画像取得部、 １２…画像生成部、
１３…表示部、 １４…変換テーブル記憶部、 １５…優先領域更新部、
１６…非優先領域更新部、 １７…ズレ発生検知部、 １８…取付状態算出部。

Claims (7)

1. 車載カメラ（２ａ〜２ｄ）を搭載した車両（１）に適用されて、該車載カメラによる撮影画像を該車載カメラとは異なる方向から撮影された画像に視線変換することによって、視線変換画像を生成する画像生成装置（１０）であって、
   路面を基準とする前記車載カメラの取付位置および取付角度に応じて決定され、前記視線変換画像上の画素位置と前記撮影画像上の画素位置とを対応付ける対応関係を記憶した対応関係記憶部（１４）と、
   前記対応関係を参照して、前記撮影画像から前記視線変換画像を生成する画像生成部（１２）と、
   前記車載カメラの前記取付位置または前記取付角度の少なくとも一方にズレが生じたことを検知するズレ発生検知部（１７）と、
   前記ズレの発生が検知されると、前記ズレが検知されない新たな前記取付位置および取付角度を算出する取付状態算出部（１８）と、
   前記新たな取付位置および取付角度が算出されると、前記視線変換画像中に設定された所定の第１領域内の画像についての前記対応関係を、該新たな取付位置および取付角度に応じた対応関係に更新する第１領域更新部（１５）と、
   前記第１領域についての前記対応関係の更新後、所定の更新条件が満たされると、前記視線変換画像中で前記第１領域を除いた第２領域についての前記対応関係を、前記新たな取付位置および取付角度に応じた対応関係に更新する第２領域更新部（１６）と
   を備える画像生成装置。
2. 請求項１に記載の画像生成装置であって、
   前記更新条件は、前記車両の走行速度が所定値以下であれば、前記第２領域についての前記対応関係を更新するという条件である
   画像生成装置。
3. 請求項１または請求項２に記載の画像生成装置であって、
   前記第１領域が視線変換画像で所望の観測対象が表示される周辺範囲に設定された
   画像生成装置。
4. 請求項１ないし請求項３の何れか一項に記載の画像生成装置であって、
   前記第１領域が視線変換画像で道路標示が表示される周辺範囲に設定された
   画像生成装置。
5. 請求項１ないし請求項４の何れか一項に記載の画像生成装置であって、
   所望の観測対象が含まれるように前記第１領域の設定を変更する第１領域変更部を備える
   画像生成装置。
6. 請求項１に記載の画像生成装置であって、
   前記対応関係記憶部は、前記対応関係を変換テーブルとして記憶している記憶部である
   画像生成装置。
7. 車載カメラを搭載した車両に適用されて、該車載カメラによる撮影画像を該車載カメラとは異なる方向から撮影された画像に視線変換することによって、視線変換画像を生成する画像生成方法であって、
   路面を基準とする前記車載カメラの取付位置および取付角度に応じて決定され、前記視線変換画像上の画素位置と前記撮影画像上の画素位置とを対応付ける対応関係を参照して、前記撮影画像から前記視線変換画像を生成する工程（Ｓ１０４）と、
   前記車載カメラの前記取付位置または前記取付角度の少なくとも一方にズレが生じたことを検知する工程（Ｓ１０２）と、
   前記ズレの発生が検知されると、前記ズレが検知されない新たな前記取付位置および取付角度を算出する工程（Ｓ１１１）と、
   前記新たな取付位置および取付角度が算出されると、前記視線変換画像中に設定された所定の第１領域内の画像についての前記対応関係を、該新たな取付位置および取付角度に応じた対応関係に更新する工程（Ｓ１１２）と、
   前記第１領域についての前記対応関係の更新後、所定の更新条件が満たされると、前記視線変換画像中で前記第１領域を除いた第２領域についての前記対応関係を、前記新たな取付位置および取付角度に応じた対応関係に更新する工程（Ｓ１２１）と
   を備える画像生成方法。

Images