JP5020792B2 - 合成画像生成装置および合成画像生成方法 - Google Patents

Description

本発明は、合成画像生成装置および合成画像生成方法に関し、例えば、運転支援用の車両周辺画像を生成することができる車両周辺画像生成装置に用いて好適なものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮像した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周辺画像を生成し、当該車両周辺画像をディスプレイ等の表示装置に表示する技術（以下、車両周辺画像生成技術という）が提案されている。この技術によれば、例えば、運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲に存在する障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

図７は、車両に設置されるカメラの配置例を示す図である。図７において、フロントカメラ１ａは自車両２の前面に配置され、前方の範囲３の画像を撮像する。左サイドカメラ１ｂは自車両２の左側面に配置され、左方の範囲５を撮像する。リアカメラ１ｃは自車両２の後部面に配置され、後方の範囲７の画像を撮像する。右サイドカメラ１ｄは自車両２の右側面に配置され、右方の範囲９の画像を撮像する。

ここで、フロントカメラ１ａにより撮像される範囲３と左サイドカメラ１ｂにより撮像される範囲５（範囲３に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、左サイドカメラ１ｂにより撮像される範囲５とリアカメラ１ｃにより撮像される範囲７（範囲５に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、リアカメラ１ｃにより撮像される範囲７と右サイドカメラ１ｄにより撮像される範囲９（範囲７に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、右サイドカメラ１ｄにより撮像される範囲９とフロントカメラ１ａにより撮像される範囲３（範囲９に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。以下、隣接した撮像範囲を持つカメラどうしを「隣接するカメラ」と称する。

上述の車両周辺画像生成技術では、複数のカメラにより撮像された車両周辺の撮像画像を視点変換処理する際、撮像範囲が一部重複する重複画像部分については、隣接するカメラのうち何れかのカメラにより撮像された画像を採用している。なお、従来の車両周辺画像生成技術では、隣接するカメラのうちいずれのカメラにより撮像された画像を採用するかはあらかじめ決められていた。通常は、リアカメラ１ｃと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてリアカメラ１ｃにより撮像された画像が採用される。また、フロントカメラ１ａと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてフロントカメラ１ａにより撮像された画像が採用される。

ところで、車両周辺画像生成技術では、複数のカメラ間において撮像範囲が重複する重複画像部分において、一のカメラによって撮像された画像の輝度値または当該一のカメラと撮像範囲が隣接する他のカメラによって撮像された画像の輝度値のうち、何れか一方のみが白飛び（真っ白に近い画像となる）や黒潰れ（真っ黒に近い画像となる）に近い状態になってしまうことがあった。

例えば、自車両が車庫に入ったり出たりする際に、隣接するカメラの撮像範囲への日差し（光源）の当たり方が異なることによって、当該隣接するカメラのうちフロントカメラ１ａまたはリアカメラ１ｃによって撮像された画像の重複画像部分の輝度値が白飛びまたは黒潰れに近い状態になってしまうことがある。

従来の技術では、上述のように、複数のカメラによって撮像された自車両周囲の画像を合成して車両周辺画像を生成する際、重複画像部分の画像として、隣接するカメラのうちフロントカメラ１ａまたはリアカメラ１ｃによって撮像された画像が固定的に採用されていた。これにより、重複画像部分において白飛びまたは黒潰れに近い輝度値を有する方の画像が選択されてしまうこともあるため、合成された車両周辺画像には一部の領域（重複画像部分）に白飛びまたは黒潰れが生じてしまう問題があった。また、場合によっては、その重複画像部分とそこに隣接する画像部分との間の輝度差が大きくなってしまうことがあるという問題があった。このため、車両周辺画像において重複画像部分とそれに隣接する画像部分との繋ぎ目において運転者に違和感を与えてしまう。

なお、複数の画像間の輝度を調整する技術として、複数台のカメラにより撮像された画像を連結して合成画像を生成する際に、各画像の輝度が合う合成画像を生成するとともに、白飛びや黒潰れの無い見やすい画像を生成する技術が知られている（例えば、特許文献１を参照）。特許文献１に記載の技術では、複数のカメラにより撮像された複数の画像のうち、一の画像およびそれに隣接して一部が重複する隣接画像の輝度値を圧縮し、圧縮された一の画像および隣接画像の輝度値の両方または何れか一方を重複する部分の輝度差がなくなるようにシフトし、一の画像および隣接画像の輝度値を、伸張後の全画素の輝度値が絶対白の輝度値と絶対黒の輝度値との間に入る範囲で伸張するようにしている。
特開２００７−７２７５０号公報

しかしながら、特許文献１に記載の技術では、複数台のカメラにより撮像された画像を連結して合成画像を生成する度に、一の画像および隣接画像の輝度値に対して、圧縮処理、シフト処理、伸張処理等の複雑な演算を行うため、多くの演算負荷がかかってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、複数のカメラによって撮像された複数の画像を合成して合成画像を生成する際、当該複数の画像について一部の撮像範囲が互いに重複する重複画像部分になるべく白飛びまたは黒潰れの無い合成画像を、複雑な演算を行うことなく生成することができるようにすることを目的とする。また、本発明はこれに加えて、重複画像部分とそこに隣接する画像部分との間の輝度差をなるべく小さくすることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、複数のカメラによって車両周囲の異なる撮像範囲が撮像された複数の画像について、一の画像および当該一の画像と撮像範囲の一部が重複する他の画像のそれぞれから、撮像範囲が重複する重複画像部分の輝度値を検出し、何れかの輝度値のみが所定範囲内にある場合、重複画像部分の輝度値を当該所定範囲内にある輝度値に設定するようにしている。
ここで、検出された一の画像の輝度値および他の画像の輝度値のうち何れか一方のみが所定範囲内にある場合、所定範囲内にある輝度値を有する一方の画像のボケ具合がもう一方の画像のボケ具合より大きいときは、重複画像部分に当該もう一方の画像を採用し、当該採用した画像の重複画像部分の輝度値を、所定範囲内にある輝度値に設定するようにしている。

また、本発明の他の態様では、重複画像部分の輝度値が設定された後に、一の画像および他の画像のうち、当該設定された重複画像部分の輝度値とは異なる輝度値を重複画像部分に有する画像から重複画像部分を除いた非重複画像部分を複数のブロックに分割し、当該複数のブロックの輝度値を、当該重複画像部分の輝度値を用いた補間演算により求めた輝度値にそれぞれ設定するようにしている。

上記のように構成した本発明によれば、複数のカメラによって撮像された複数の画像について、一の画像および他の画像の重複画像部分の輝度値のうち、何れかの輝度値のみが所定範囲外、例えば白飛びまたは黒潰れに近い状態の輝度値にあったとしても、重複画像部分の輝度値には、当該一の画像および当該他の画像のうち重複画像部分の輝度値が所定範囲内にある方の輝度値が設定されることとなる。これにより、複数のカメラによって撮像された複数の画像を合成して合成画像を生成する際、重複画像部分になるべく白飛びや黒潰れの無い合成画像を生成することができる。

また、本発明によれば、重複画像部分の輝度値に、一の画像および他の画像のうち重複画像部分の輝度値が所定範囲内にある輝度値を設定するという簡易な処理を用いて重複画像部分になるべく白飛びや黒潰れの無い合成画像の生成が実現されるので、複数のカメラによって撮像された複数の画像を合成して合成画像を生成する際、従来技術のように複雑な演算を行うことなく重複画像部分になるべく白飛びや黒潰れの無い合成画像を生成することができる。

また、本発明の別の態様によれば、非重複画像部分の輝度値は、当該非重複画像部分を分割した複数のブロック毎に、重複画像部分の輝度値を用いた補間演算によって求まる輝度値に設定される。すなわち、非重複画像部分の輝度値は、画像位置が重複画像部分に近づくにつれて徐々に当該重複画像部分の輝度値に近い値となる。これによって、重複画像部分になるべく白飛びまたは黒潰れが生じないようにすることに加えて、その重複画像部分とそこに隣接する画像部分（非重複画像部分）との間の輝度差をなるべく小さくすることができる。

以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による合成画像生成装置を備えた車両周辺画像生成装置の構成例を示すブロック図である。図１に示すように、第１の実施形態の車両周辺画像生成装置は、合成画像生成装置１００の他に、撮像部１２０、モニタ１４０を備えている。

撮像部１２０は、車両の前後左右に設置された４つの撮像装置からなり、車両の周辺において複数箇所をフロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像として撮像する。具体的には、撮像部１２０は、自車両の前方を撮像するためのフロントカメラ、自車両の左側方を撮像するための左サイドカメラ、自車両の右側方を撮像するための右サイドカメラおよび自車両の後方を撮像するためのリアカメラを備えて構成されている。なお、撮像部１２０の各撮像装置で撮像したい範囲は主に自車両周辺の路面である。そのため、各撮像装置は、その撮像範囲に路面が多く含まれるような姿勢で車両に設置される。モニタ１４０は、合成画像生成装置１００により生成された合成画像を表示するためのものである。

次に、合成画像生成装置１００の内部構成について説明する。合成画像生成装置１００は、画像入力部１６０、輝度検出部１８０、輝度差検出部２００、輝度設定部２２０および合成画像生成部２４０を備えて構成される。

画像入力部１６０は、撮像部１２０に含まれる４つの撮像装置によって車両周囲の異なる撮像範囲が撮像された４つの画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）を入力する。輝度検出部１８０は、画像入力部１６０により入力された４つの画像について、一の画像および当該一の画像と撮像範囲の一部が重複する他の画像のそれぞれから、撮像範囲が重複する重複画像部分（合成画像生成部２４０が上述の４つの画像を視点変換処理して４つの画像（フロント画像、左サイド画像、右サイド画像、リア画像）を生成し、これらを合成する際に重複することとなる画像部分に相当する）の輝度値を検出する。以下、撮像範囲が重複する画像どうしを「重複する画像」と称する。例えば、一の画像を左サイドビュー画像とした場合、これと撮像範囲の一部が重複する他の画像はフロントビュー画像およびリアビュー画像の２つとなる。この場合、輝度検出部１８０は、フロントビュー画像と左サイドビュー画像とのそれぞれから重複画像部分の輝度値を検出する。また、輝度検出部１８０は、リアビュー画像と左サイドビュー画像とのそれぞれから重複画像部分の輝度値を検出する。

ここで、重複画像部分の輝度値は、重複画像部分を構成する全画素の輝度値を平均した平均輝度値とする。各画素の輝度値は、ＲＧＢ成分の各輝度値（２５６階調）で表現される。例えば、完全な黒潰れのときにおける輝度値は、Ｒ（赤）＝０、Ｇ（緑）＝０、Ｂ（青）＝０で表現される。また、完全な白飛びのときにおける輝度値は、Ｒ（赤）＝２５５、Ｇ（緑）＝２５５、Ｂ（青）＝２５５で表現される。以下、説明の簡便のため、画像の輝度値を０（完全な黒潰れ）から２５５（完全な白飛び）の２５６段階の値で表現する。

輝度設定部２２０は、４ヶ所の重複画像部分のそれぞれ毎に注目して、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値のうち何れかのみが所定範囲内（例えば６０から２２０の範囲、以下同じ）にあるか否かを判定する。そして、何れかの輝度値のみが所定範囲内にあると判定した場合、輝度設定部２２０は、重複画像部分の輝度値を、所定範囲内にある方の輝度値に設定する。具体的には、重複する画像（一の画像および他の画像）のうち、重複画像部分の輝度値が所定範囲内にある方の画像の重複画像部分を、合成画像生成部２４０により車両周辺画像を生成するときに使用する画像部分として選択することにより、重複画像部分の輝度値を所定範囲内にある方の輝度値に設定する。

また、輝度設定部２２０は、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値の双方が所定範囲外にあると判定した場合、重複画像部分の輝度値を、合成画像生成装置１００にデフォルト設定されている画像の輝度値に設定する。具体的には、重複する画像（一の画像および他の画像）のうち、デフォルト設定されている画像（本実施形態では、フロントビュー画像またはリアビュー画像）の重複画像部分を、合成画像生成部２４０により車両周辺画像を生成するときに使用する画像部分として選択することにより、重複画像部分の輝度値をデフォルト設定されている画像の重複画像部分における輝度値に設定する。

輝度差検出部２００は、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値の双方が所定範囲内にあると輝度設定部２２０により判定された場合に、その重複画像部分における輝度値の輝度差を求める。輝度設定部２２０は、輝度差算出部２００により求められた輝度差が所定値（例えば６０、以下同じ）以上である場合、重複画像部分の輝度値を、重複する画像の重複画像部分における輝度値のうち高い方の輝度値に設定する。具体的には、重複する画像（一の画像および他の画像）のうち、重複画像部分の輝度値が高い方の画像の重複画像部分を、合成画像生成部２４０により車両周辺画像を生成するときに使用する画像部分として選択することにより、重複画像部分の輝度値を高い方の輝度値に設定する。

輝度設定部２２０は、４ヶ所の重複画像部分の輝度値を設定（一の画像または他の画像の何れかの重複画像部分を選択）した後に、重複画像部分で重複する画像のうち、輝度設定部２２０により設定された重複画像部分の輝度値とは異なる輝度値を重複画像部分に有する画像から重複画像部分を除いた非重複画像部分を複数（例えば、４つ）のブロックに分割し、当該分割した４つのブロックの輝度値を、重複画像部分の輝度値を用いた補間演算により求めた輝度値にそれぞれ設定する。なお、補間演算の具体的な方法については後述する。

合成画像生成部２４０は、輝度設定部２２０により重複画像部分の輝度値が設定（一の画像または他の画像の何れかの重複画像部分を選択）されるとともに、非重複画像部分の輝度値が補間演算により求めた輝度値に設定された後に、画像入力部１６０により入力された複数のビュー画像に基づいて、重複画像部分については輝度設定部２２０により選択された画像部分を採用して合成画像を生成する。本実施形態では、合成画像生成部２４０は、画像入力部１６０により入力された４つのビュー画像を合成することにより、車両の上方の仮想視点から見た車両周辺画像を合成画像として生成する。

図２は、本実施形態による車両周辺画像の例を示す図である。図２（ａ）に示すように、車両周辺画像は、画像入力部１６０により入力されたフロントビュー画像、左サイドビュー画像、リアビュー画像、右サイドビュー画像をそれぞれ視点変換してフロント画像３００、左サイド画像３２０、リア画像３４０、右サイド画像３６０とし、これらを重複画像部分３８０、４００、４２０、４４０ができるように繋ぎ合わせ、その中心に車両の画像２８０を合成することにより生成される。

フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分３８０については、フロント画像３００または左サイド画像３２０が選択的に採用される（デフォルト設定では、図２（ｂ）のようにフロント画像３００が採用される）。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した重複画像部分４００については、左サイド画像３２０またはリア画像３４０が選択的に採用される（デフォルト設定では、図２（ｂ）のようにリア画像３４０が採用される）。

また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分４２０については、リア画像３４０または右サイド画像３６０が選択的に採用される（デフォルト設定では、図２（ｂ）のようにリア画像３４０が採用される）。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した重複画像部分４４０については、右サイド画像３６０またはフロント画像３００が選択的に採用される（デフォルト設定では、図２（ｂ）のようにフロント画像３００が採用される）。

次に、合成画像生成装置１００の動作について図３を参照しながら説明する。図３は、合成画像生成装置１００による輝度調整処理の例を示す図である。なお、図３では、視点変換処理によりフロント画像３００、左サイド画像３２０、リア画像３４０および右サイド画像３６０が生成される前の４つのビュー画像をそれぞれフロントビュー画像３００′、左サイドビュー画像３２０′、リアビュー画像３４０′、右サイドビュー画像３６０′として示している。輝度値の検出および設定の段階で車両２８０は存在しないが、各ビュー画像の位置関係を分かりやすくするために図示している。

図３は、車両２８０の左後方の重複画像部分４００′およびリアビュー画像３４０′の非重複画像部分にのみ注目して輝度値の設定を行う例について示しているが、合成画像生成装置１００は、車両周辺画像の４つの重複画像部分３８０′、４００′、４２０′、４４０′に対して輝度値の設定を順次行うとともに、４つの非重複画像部分のうち必要なものに対して輝度値の設定を行う。

図３（ａ）は、車両２８０の左後方の重複画像部分４００′（リアビュー画像３４０を採用した場合）の輝度値が白飛びしている（輝度値が所定範囲外にある）ことを示している。それによって、重複画像部分４００′とそこに隣接する左サイドビュー画像３２０′の非重複画像部分との間の輝度差が大きくなってしまっている様子を示している。

このとき、まず、輝度検出部１８０は、左サイドビュー画像３２０′およびそれと撮像範囲の一部が重複するリアビュー画像３４０′のそれぞれから、重複画像部分４００′における輝度値を検出する。次に、輝度設定部２２０は、輝度検出部１８０により検出された左サイドビュー画像３２０′の重複画像部分４００′における輝度値およびリアビュー画像３４０′の重複画像部分４００′における輝度値のうち何れかのみが所定範囲内にあるか否かを判定する。ここで、輝度設定部２２０は、例えば、左サイドビュー画像３２０′の重複画像部分４００′における輝度値のみが所定範囲内にあると判定した場合、重複画像部分４００′の輝度値を、所定範囲内にある左サイドビュー画像３２０′の重複画像部分４００′における輝度値に設定する。図２（ｂ）は、重複画像部分４００′の輝度値が、所定範囲内にある左サイドビュー画像３２０′の重複画像部分４００′における輝度値に設定された様子を示している。他の３ヶ所の重複画像部分３８０′、４２０′、４４０′についても同様に輝度設定処理を行う。

次に、輝度設定部２２０は、４ヶ所の重複画像部分３８０′、４００′、４２０′、４４０′の輝度値を設定した後に、重複する画像（リアビュー画像３４０′と左サイドビュー画像３２０′）のうち、輝度設定部２２０により設定された重複画像部分４００′の輝度値（左サイドビュー画像３２０′の輝度値）とは異なる輝度値を重複画像部分４００′に有するリアビュー画像３４０′から重複画像部分４００′および４２０′を除いた非重複画像部分を４つのブロックに分割する。図３（ｃ）は、輝度設定部２２０によりリアビュー画像３４０′が４つのブロック４６０、４８０、５００、５２０に分割された様子を示している。なお、リアビュー画像３４０′の非重複画像部分において分割された４つのブロック４６０、４８０、５００、５２０にはブロック番号が、画像位置が重複画像部分４００から重複画像部分４２０に近づくにつれて大きくなるように割り当てられる。

輝度設定部２２０は、４つのブロック４６０、４８０、５００、５２０の輝度値を、非重複画像部分を挟んでいる重複画像部分４００′および４２０′の輝度値を用いた補間演算により求めた輝度値にそれぞれ設定する。具体的には、輝度設定部２２０は、重複画像部分４００′の輝度値と重複画像部分４２０′の輝度値との間で線形補間した輝度値を各ブロック４６０、４８０、５００、５２０に設定する。すなわち、各ブロックの輝度値は、以下の式（１）により求めた値に設定される。
ブロックの輝度値＝（重複画像部分４００′の輝度値）＋｛（（重複画像部分４２０′の輝度値）−（重複画像部分４００′の輝度値））×（ブロック番号）／（ブロック数＋１）｝・・・（１）

例えば、重複画像部分４００′の輝度値が２００、重複画像部分４２０′の輝度値が１００であるとする。重複画像部分４００′の輝度値が２００というのは、リアビュー画像３４０′が白飛びしていて重複画像部分４００′の輝度値が所定範囲外となっているために、所定範囲内の輝度値を有する左サイドビュー画像３２０′が重複画像部分４００′において選択された結果である。同様に、重複画像部分４２０′の輝度値が１００というのは、リアビュー画像３４０′が白飛びしておらず重複画像部分４２０′の輝度値が所定範囲内となっているために、リアビュー画像３４０′が重複画像部分４２０′において選択された結果である。以上のように重複画像部分４００′、４２０′の輝度値が設定されている場合、各ブロックの輝度値は、以下の式（２）により求めた値に設定される。すなわち、式（２）を用いて求めた各ブロックの輝度値は、ブロック４６０の輝度値が１８０、ブロック４８０の輝度値が１６０、ブロック５００の輝度値が１４０、ブロック５２０の輝度値が１２０にそれぞれ設定される。
ブロックの輝度値＝２００−｛１００×ブロック番号／５｝・・・（２）

なお、輝度設定部２２０により重複画像部分４００′に対して設定された輝度値を有する左サイドビュー画像３２０′における非重複画像部分（左サイドビュー画像３２０′から重複画像部分３８０′および４００′を除いた部分）については、重複画像部分４００′の輝度値とそこに隣接する左サイド画像３２０′の非重複画像部分の輝度値とは元々同じカメラで撮像された画像に基づくものであり輝度差はあまり大きくなることもないと考えられる。よって、輝度設定部２２０は、左サイドビュー画像３２０′の非重複画像部分については補間演算により輝度値を設定することは行わない。

次に、第１の実施形態における合成画像生成装置１００の動作について説明する。図４は、第１の実施形態による合成画像生成装置１００の動作例を示すフローチャート図である。図４における各処理は、例えば、ユーザによる操作部（図示せず）の操作を介して車両周辺画像生成機能の実行要求を受け付けることにより開始する。

まず、画像入力部１６０は、撮像部１２０が備える４つの撮像装置によって車両周囲の異なる撮像範囲が撮像された４つの画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）を入力する（ステップＳ１００）。次に、輝度検出部１８０は、画像入力部１６０により入力された４つの画像のうち、ある１つの画像（一の画像）およびそれと共通の重複画像部分を有するもう１つの画像（他の画像）の組み合わせに着目して、重複する画像のそれぞれから、撮像範囲が重複する重複画像部分の輝度値を検出する（ステップＳ１２０）。

次に、輝度設定部２２０は、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値のうち何れかのみが所定範囲内にあるか否かを判定する（ステップＳ１４０）。もし、重複する画像の重複画像部分における輝度値のうち何れかのみが所定範囲内にあると輝度設定部２２０にて判定した場合（ステップＳ１４０にてＹＥＳ）、輝度設定部２２０は、重複画像部分の輝度値を所定範囲内にある輝度値に設定する（ステップＳ１６０）。その後、処理はステップＳ２８０に遷移する。

一方、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値のうち何れかのみが所定範囲内にあると輝度設定部２２０にて判定しなかった場合（ステップＳ１４０にてＮＯ）、輝度設定部２２０は、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値の双方が所定範囲内にあるか否かを判定する（ステップＳ１８０）。

もし、重複する画像の重複画像部分における輝度値の双方が所定範囲内にあると輝度設定部２２０にて判定しなかった場合（ステップＳ１８０にてＮＯ）、重複画像部分における輝度値は両方とも所定範囲外にあるということになる。この場合、輝度設定部２２０は、重複画像部分の輝度値を当該重複画像部分についてデフォルト設定されている画像（本実施形態では、フロントビュー画像３２０′またはリアビュー画像３４０′）の重複画像部分における輝度値に設定する（ステップＳ２００）。その後、処理はステップＳ２８０に遷移する。一方、重複する画像の重複画像部分における輝度値の双方が所定範囲内にあると輝度設定部２２０にて判定した場合（ステップＳ１８０にてＹＥＳ）、輝度差検出部２００は、当該重複する画像の重複画像部分における双方の輝度値の輝度差を求める（ステップＳ２２０）。

次に、輝度設定部２２０は、輝度差算出部２００により求められた輝度差が所定値以上であるか否かを判定する（ステップＳ２４０）。もし、輝度差算出部２００により求められた輝度差が所定値以上でないと輝度設定部２２０にて判定した場合（ステップＳ２４０にてＮＯ）、輝度設定部２２０は、重複画像部分の輝度値を当該重複画像部分についてデフォルト設定されている画像の重複画像部分における輝度値に設定する（ステップＳ２００）。その後、処理はステップＳ２８０に遷移する。

一方、輝度差算出部２００により求められた輝度差が所定値以上であると輝度設定部２２０にて判定した場合（ステップＳ２４０にてＹＥＳ）、輝度設定部２２０は、重複画像部分の輝度値を、一の画像の重複画像部分における輝度値および他の画像の重複画像部分における輝度値のうち高い方の輝度値に設定する（ステップＳ２６０）。その後、処理はステップＳ２８０に遷移する。

ステップＳ２８０では、輝度設定部２２０は、車両周辺画像に存在する４つの重複画像部分について輝度設定が全て完了したか否かを判定する。もし、車両周辺画像に存在する４つの重複画像部分についてまだ輝度設定が完了していないところがあると輝度設定部２２０にて判定した場合（ステップＳ２８０にてＮＯ）、処理はステップＳ１２０に遷移し、４つの重複画像部分のうち未処理の部分についてステップＳ１２０〜Ｓ２６０の処理を同様に行う。すなわち、４つの重複画像部分について輝度設定が全て完了するまでステップＳ１２０〜ステップＳ２６０における処理が繰り返される。

そして、４つの重複画像部分について輝度設定が完了したと輝度設定部２２０にて判定した場合（ステップＳ２８０にてＹＥＳ）、輝度設定部２２０は、重複画像部分で重複する画像のうち、輝度設定部２２０により設定された重複画像部分の輝度値とは異なる輝度値を重複画像部分に有する画像から重複画像部分を除いた非重複画像部分を対象として、補間演算により輝度値の設定を行う。すなわち、当該非重複画像部分を４つのブロックに分割し、当該分割した４つのブロックの輝度値を、重複画像部分の輝度値を用いた補間演算により求めた輝度値にそれぞれ設定する（ステップＳ３００）。最後に、合成画像生成部２４０は、画像入力部１６０により入力された４つの画像で以上の手順により輝度値が設定済みの画像に基づいて、車両上方の仮想視点から見た車両周辺画像を生成する（ステップＳ３２０）。これにより、合成画像生成装置１００は、図４における処理を終了する。

以上詳しく説明したように、第１の実施形態では、輝度検出部１８０が、４つのカメラによって車両周囲の異なる撮像範囲が撮像された４つの画像について、重複する画像のそれぞれから、撮像範囲が重複する重複画像部分の輝度値を検出し、何れかの輝度値のみが所定範囲内にある場合、輝度設定部２００は、当該重複画像部分の輝度値を、当該重複する画像のうち重複画像部分の輝度値が所定範囲内にある輝度値に設定するようにしている。

このようにすれば、重複する画像の重複画像部分の輝度値のうち何れかの輝度値のみが所定範囲外、例えば白飛びまたは黒潰れに近い状態の輝度値にあったとしても、重複画像部分の輝度値には所定範囲内にある方の輝度値が設定されることとなる。これにより、合成画像生成部２４０は、４つのカメラによって撮像された４つの画像を合成して車両周辺画像を生成する際、重複画像部分になるべく白飛びや黒潰れの無い車両周辺画像を生成することができる。

また、第１の実施形態によれば、輝度検出部１８０により検出された重複する画像の重複画像部分における輝度値の双方が所定範囲内にある場合に、当該重複する画像の輝度差が所定値以上であるとき、輝度設定部２２０は、当該重複画像部分の輝度値をより高い方の輝度値に設定している。これにより、４つのカメラによって撮像された４つの画像を合成して車両周辺画像を生成する際、輝度値が適正範囲内（所定範囲内）でより明るく見やすい車両周辺画像を生成することができる。

また、第１の実施形態によれば、重複画像部分の輝度値が設定された後に、輝度設定部２００が、重複する画像のうち、輝度設定部２００により設定された重複画像部分の輝度値とは異なる輝度値を重複画像部分に有する画像から重複画像部分を除いた非重複画像部分を４つのブロックに分割し、当該４つのブロックの輝度値を、当該重複画像部分の輝度値を用いた線形補間演算により求めた輝度値にそれぞれ設定するようにしている。なお、このような非重複画像部分の輝度設定は必須の処理ではない。ただし、この処理を行えば、非重複画像部分の輝度値は、画像位置が重複画像部分に近づくにつれて徐々に当該重複画像部分の輝度値に近い値となる。これによって、重複画像部分になるべく白飛びまたは黒潰れが生じないようにすることに加えて、その重複画像部分とそこに隣接する非重複画像部分の輝度差をなるべく小さくすることができる。すなわち、車両周辺画像における重複画像部分および非重複画像部分の境界部分の違和感がなくなって、運転者は当該車両周辺画像をより見やすくなる。

また、第１の実施形態によれば、重複画像部分の輝度値に、重複する画像のうち重複画像部分の輝度値が所定範囲内にある輝度値を設定するという簡易な処理を用いて重複画像部分になるべく白飛びや黒潰れの無い合成画像の生成を実現している。これにより、複数のカメラによって撮像された複数の画像を合成して合成画像を生成する際、従来技術のように複雑な演算を行うことなく重複画像部分になるべく白飛びや黒潰れの無い合成画像を生成することができる。

次に、本発明の第２の実施形態について説明する。図５は、第２の実施形態による合成画像生成装置を備えた車両周辺画像生成装置の構成例を示すブロック図である。第２の実施形態においても合成画像生成装置６００は、図１の合成画像生成装置１００と同様に構成されている。ただし、輝度設定部２２０′の行う処理内容が第１の実施形態における輝度設定部２２０と若干異なっている。以下では、第１の実施形態との相違点のみについて説明する。

第２の実施形態において、輝度設定部２２０′は、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値のうち何れか一方のみが所定範囲内にあると判定した場合、当該所定範囲内にある輝度値を有する一方の画像のボケ具合がもう一方の画像のボケ具合より大きいとき、重複画像部分に当該もう一方の画像を採用し、当該採用した画像の重複画像部分の輝度値を、当該所定範囲内にある輝度値に設定する。

本実施形態では、各重複画像部分について重複する画像の間におけるボケ具合の大小を示す情報が、合成画像生成装置１００の図示しない記憶部に記憶されている。例えば、フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分については、フロントビュー画像のボケ具合の方が左サイドビュー画像のボケ具合より小さい。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した重複画像部分については、リアビュー画像のボケ具合の方が左サイドビュー画像のボケ具合より小さい。

また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分については、リアビュー画像のボケ具合の方が左サイドビュー画像のボケ具合より小さい。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した重複画像部分については、フロントビュー画像のボケ具合の方が左サイドビュー画像のボケ具合より小さい。このように、重複画像部分においてどちらの画像の方がボケ具合が小さいかは、重複する撮影範囲とカメラとの距離関係から既知である。

例えば、輝度設定部２２０′は、重複する画像（リアビュー画像、左サイドビュー画像）について輝度検出部１８０により検出された重複画像部分の輝度値のうち左サイドビュー画像のみが所定範囲内にあると判定した場合、当該所定範囲内にある輝度値を有する左サイドビュー画像のボケ具合はリアビュー画像のボケ具合より大きいので、重複画像部分にリアビュー画像を採用し、当該採用したリアビュー画像の重複画像部分の輝度値を、当該所定範囲内にある左サイドビュー画像の重複画像部分における輝度値に設定する。

また、輝度設定部２２０′は、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値の双方が所定範囲内にあると判定した場合、当該重複画像部分の輝度値のうち高い方の輝度値を有する画像のボケ具合が、低い方の輝度値を有する画像のボケ具合より大きいとき、重複画像部分に低い方の輝度値を有する画像を採用し、当該採用した画像の重複画像部分の輝度値を当該所定範囲内において高い方の輝度値に設定する。

例えば、重複する画像（リアビュー画像、左サイドビュー画像）について、輝度検出部１８０により検出された重複画像部分の輝度値の双方が所定範囲内にあって、左サイドビュー画像の重複画像部分における輝度値がリアビュー画像の重複画像部分における輝度値よりも高いとする。この場合、輝度設定部２２０′は、重複画像部分にボケ具合の小さい方のリアビュー画像を採用し、当該採用したリアビュー画像の重複画像部分の輝度値を、高い方の輝度値を有する左サイドビュー画像の輝度値に設定する。なお、左サイドビュー画像の重複画像部分における輝度値がリアビュー画像の重複画像部分における輝度値より低い場合は、輝度設定部２２０′は、重複画像部分にボケ具合が小さい方のリアビュー画像を採用し、当該採用したリアビュー画像の重複画像部分の輝度値を高い方の輝度値を有するリアビュー画像の輝度値に設定する。

図６は、第２の実施形態による合成画像生成装置６００の動作例を示すフローチャートである。第２の実施形態においても合成画像生成装置６００の動作手順は、図４に示す合成画像生成装置１００の動作手順と同様である。ただし、ステップＳ１６０′およびステップＳ２６０′の処理内容が第１の実施形態（図４を参照）におけるステップＳ１６０およびステップＳ２６０と若干異なっている。以下では、第１の実施形態との相違点のみ説明する。

輝度設定部２２０′は、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値のうち何れか一方のみが所定範囲内にあると判定した場合（ステップＳ１４０にてＹＥＳ）、図６のステップＳ１６０′において、重複する画像の各重複画像部分のうちボケ具合が小さい方を採用し、当該採用した重複画像部分の輝度値を、当該所定範囲内にある輝度値に設定する。

また、輝度設定部２２０′は、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値の双方が所定範囲内にあって、双方の輝度差が所定値以上であると判定した場合（ステップＳ２４０にてＹＥＳ）、図６のステップＳ２６０′において、重複する画像の各重複画像部分のうちボケ具合が小さい方を採用し、当該採用した重複画像部分の輝度値を、当該所定範囲内にある２つの輝度値のうち高い方の輝度値に設定する。

以上詳しく説明したように、第２の実施形態において、輝度設定部２２０′は、重複画像部分にボケ具合が小さい方の画像を採用するとともに、当該採用した画像の重複画像部分の輝度値を所定範囲内にある方の輝度値に設定している。このとき、重複する画像の輝度値の双方が所定範囲内にある場合は、当該採用した画像の重複画像部分の輝度値には高い方の輝度値を設定している。これにより、４つのカメラによって撮像された複数の画像を合成して車両周辺画像を生成する際、重複画像部分になるべく白飛びや黒潰れの無い車両周辺画像を生成することに加えて、当該重複画像部分のボケ具合が大きくなることを防止することができる。

なお、上述した第１および第２の実施形態では、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値の双方が所定範囲外にあると判定された場合、輝度設定部２２０（２２０′）が重複画像部分の輝度値をデフォルト設定されている画像の輝度値に設定する例について説明したが、これに限定されない。例えば、輝度設定部２２０（２２０′）は、重複画像部分の輝度値を、所定範囲の境界値との輝度差がより小さい方の輝度値に設定するようにしても良い。

また、上述した第１および第２の実施形態では、重複する画像について輝度検出部１８０により検出された重複画像部分の輝度値の双方が所定範囲内にある場合、輝度差算出部２２０（２２０′）により求められた当該重複する画像の重複画像部分における輝度差が所定値以上でないとき、輝度設定部２２０（２２０′）が重複画像部分の輝度値をデフォルト設定されている画像の輝度値に設定する例について説明したが、これに限定されない。例えば、輝度設定部２２０（２２０′）は、重複画像部分の輝度値を、より高い方の輝度値に設定するようにしても良い。

また、上述した第１および第２の実施形態では、非重複画像部分を４つのブロックに分割し、当該４つのブロックの輝度値を、当該非重複画像部分を両側で挟む重複画像部分の輝度値を用いた線形補間演算により求めた輝度値にそれぞれ設定する例について説明したが、当該４つのブロックの輝度値を、当該非重複画像部分を両側で挟む重複画像部分の輝度値を用いた多項式補間演算やスプライン補間演算により求めた輝度値にそれぞれ設定するようにしても良い。

また、上述した第１および第２の実施形態では、重複画像部分で重複する画像のうち、輝度設定部２２０（２２０′）により設定された重複画像部分の輝度値とは異なる輝度値を重複画像部分に有する画像から重複画像部分を除いた非重複画像部分に対して必ず補間演算による輝度値の設定を行うが、これに限定されない。例えば、非重複画像部分とそれに隣接する重複画像部分の輝度差が所定値以上である場合に限って、非重複画像部分に対する輝度設定を行うようにしても良い。

また、上述した第１および第２の実施形態では、輝度設定部２２０（２２０′）は、非重複画像部分を４つのブロックに分割しているが、４つ未満のブロックに分割するようにしても良いし、または５つ以上のブロックに分割するようにしても良い。なお、重複画像部分と非重複画像部分の輝度差をより小さくするために、非重複画像におけるブロックの数を増やすことが好適である。

また、上述した第１および第２の実施形態では、合成画像を車両周辺画像としているが、これに限定されない。例えば、複数のカメラにより撮像された画像を横方向に一部が重複するように合成して得られるパノラマ画像や、複数のカメラにより撮像された画像を縦横に一部が重複するように合成して得られるマルチ画像などであっても良い。

その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態による合成画像生成装置の構成例を示すブロック図である。 車両周辺画像の例を示す図である。 合成画像生成装置による輝度調整処理の例を示す図である。 第１の実施形態による合成画像生成装置の動作例を示すフローチャート図である。 第２の実施形態による合成画像生成装置の構成例を示すブロック図である。 第２の実施形態による合成画像生成装置の動作例を示すフローチャート図である。 車両に設置されるカメラの配置例を示す図である。

符号の説明

１００，６００ 合成画像生成装置
１２０ 撮像部
１４０ モニタ
１６０ 画像入力部
１８０ 輝度検出部
２００ 輝度差検出部
２２０，２２０′ 輝度設定部
２４０ 合成画像生成部

Claims (5)

1. 複数のカメラによって車両周囲の異なる撮像範囲が撮像された複数の画像を入力する画像入力部と、
   前記画像入力部により入力した複数の画像について、一の画像および前記一の画像と撮像範囲の一部が重複する他の画像のそれぞれから、前記撮像範囲が重複する重複画像部分の輝度値を検出する輝度検出部と、
   前記輝度検出部により検出された前記一の画像の輝度値および前記他の画像の輝度値のうち何れかのみが所定範囲内にある場合、前記重複画像部分の輝度値を、前記所定範囲内にある輝度値に設定する輝度設定部と、
   前記輝度設定部により前記重複画像部分の輝度値が設定された後に、前記複数の画像に基づいて、前記重複画像部分については前記一の画像または前記他の画像の何れかを採用して合成画像を生成する合成画像生成部とを備え、
   前記輝度検出部により検出された前記一の画像の輝度値および前記他の画像の輝度値のうち何れか一方のみが前記所定範囲内にある場合、前記所定範囲内にある輝度値を有する一方の画像のボケ具合がもう一方の画像のボケ具合より大きいとき、前記輝度設定部は、前記重複画像部分に前記もう一方の画像を採用し、当該採用した画像の前記重複画像部分の輝度値を、前記所定範囲内にある輝度値に設定することを特徴とする合成画像生成装置。
2. 請求項１に記載の合成画像生成装置において、
   前記一の画像の輝度値と前記他の画像の輝度値との間の輝度差を求める輝度差算出部を更に備え、
   前記輝度検出部により検出された前記一の画像の輝度値および前記他の画像の輝度値の双方が前記所定範囲内にある場合、前記輝度差算出部により求められた前記輝度差が所定値以上であるとき、前記輝度設定部は、前記重複画像部分の輝度値を、前記一の画像の輝度値および前記他の画像の輝度値のうち高い方の輝度値に設定することを特徴とする合成画像生成装置。
3. 請求項２に記載の合成画像生成装置において、
   前記輝度検出部により検出された前記一の画像の輝度値および前記他の画像の輝度値の双方が前記所定範囲内にある場合、前記一の画像の輝度値および前記他の画像の輝度値のうち高い方の輝度値を有する画像のボケ具合が、低い方の輝度値を有する画像のボケ具合より大きいとき、前記輝度設定部は、前記重複画像部分に前記低い方の輝度値を有する画像を採用し、当該採用した画像の前記重複画像部分の輝度値を、前記高い方の輝度値に設定することを特徴とする合成画像生成装置。
4. 請求項１〜３の何れか１項に記載の合成画像生成装置において、
   前記輝度設定部により前記重複画像部分の輝度値が設定された後に、前記輝度設定部は、前記一の画像および前記他の画像のうち、前記輝度設定部により設定された前記重複画像部分の輝度値とは異なる輝度値を前記重複画像部分に有する画像から前記重複画像部分を除いた非重複画像部分を複数のブロックに分割し、当該複数のブロックの輝度値を、前記重複画像部分の輝度値を用いた補間演算により求めた輝度値にそれぞれ設定し、
   前記合成画像生成部は、前記輝度設定部により前記非重複画像部分の輝度値が設定された後に、前記複数の画像に基づいて合成画像を生成することを特徴とする合成画像生成装置。
5. 複数のカメラによって車両周囲の異なる撮像範囲が撮像された複数の画像を入力する第１のステップと、
   前記第１のステップにより入力した複数の画像について、一の画像および前記一の画像と撮像範囲の一部が重複する他の画像のそれぞれから、前記撮像範囲が重複する重複画像部分の輝度値を検出する第２のステップと、
   前記第２のステップにより検出された前記一の画像の輝度値および前記他の画像の輝度値のうち何れかのみが所定範囲内にある場合、前記重複画像部分の輝度値を、前記所定範囲内にある輝度値に設定する第３のステップと、
   前記第３のステップにより前記重複画像部分の輝度値が設定された後に、前記複数の画像に基づいて、前記重複画像部分については前記一の画像または前記他の画像の何れかを採用して合成画像を生成する第４のステップとを備え、
   前記第２のステップで検出された前記一の画像の輝度値および前記他の画像の輝度値のうち何れか一方のみが前記所定範囲内にある場合、前記所定範囲内にある輝度値を有する一方の画像のボケ具合がもう一方の画像のボケ具合より大きいとき、前記第３のステップでは、前記重複画像部分に前記もう一方の画像を採用し、当該採用した画像の前記重複画像部分の輝度値を、前記所定範囲内にある輝度値に設定することを特徴とする合成画像生成方法。