JP4632907B2 - 合成画像生成装置及び合成画像生成方法 - Google Patents

Description

本発明は、複数台のカメラにより撮影された画像を連結して合成する合成画像生成装置及び合成画像生成方法に関する。

従来、自車両に複数台のカメラを設置し、複数台のカメラにより自車両の周囲の画像を撮影して、撮影した画像を自車両内に設置したディスプレイ等の表示装置に表示する技術が提案されている。自車両のドライバーは、表示装置に表示された画像を確認することで、自車両と障害物との距離を把握し、自車両と障害物との衝突や追突等の交通事故を防ぐように運転を行う。

また、自車両に複数台のカメラを設置し、複数台のカメラにより撮影された画像をもとに、自車両の上方の仮想視点から見たトップビュー画像を生成し、このトップビュー画像をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が知られている。

一般的に、カメラは、ＡＧＣ（automatic gain control）機能を搭載している。ＡＧＣ機能とは、被写体が暗くカメラへの入光量が少なくなると自動的に信号を増幅し、被写体が非常に明るくカメラへの入光量が多くなると自動的に信号を低減して画像（輝度レベル）を補正する機能である。複数台のカメラにより複数の画像を撮影した場合、本来は各画像毎に輝度レベルの範囲が異なるはずであるが、ＡＧＣの機能によって全てが同じ輝度レベルの範囲の画像となってしまう。

例えば、図８（ａ）に示すように、第１のカメラにより撮影された画像の輝度レベルの範囲ｋ１１と、第１のカメラにより撮影された画像に隣接する第２のカメラにより撮影された画像の輝度レベルの範囲ｋ１２とは、ＡＧＣ機能により同じレベルとなっている。ここで、第１のカメラにより撮影された画像の輝度レベルの範囲ｋ１１の中には、第２のカメラにより撮影された画像と重複する部分の輝度レベルａ１１が存在する。また、第２のカメラにより撮影された画像の輝度レベルの範囲ｋ１２の中には、第１のカメラにより撮影された画像と重複する部分の輝度レベルｂ１１が存在する。互いに重複する部分の輝度レベルａ１１，ｂ１１は本来等しいはずであるが、各カメラで独立してかけられるＡＧＣによって、図８（ａ）のように輝度レベルａ１１，ｂ１１が異なったものとなってしまう。そのため、これらの画像を連結して合成画像を生成する際に、それぞれの画像の輝度や色調が合わなくなってしまい、画像の繋ぎ目に違和感を生じてしまうという問題があった。

これに対して、重複する部分の輝度レベルａ１１，ｂ１１を合わせるようにすると、輝度レベルの範囲ｋ１１，ｋ１２は、図８（ｂ）や図８（ｃ）に示すような異なるレベルとなる。しかしながら、図８（ｂ）に示すような輝度レベルの範囲ｋ１１，ｋ１２では、輝度レベルの範囲ｋ１１が絶対白を超えてしまうので、画像が白飛び（真っ白に近い画像となる）を発生してしまうという問題があった。また、図８（ｃ）に示すような輝度レベルの範囲ｋ１１，ｋ１２では、輝度レベルの範囲ｋ１２が絶対黒を超えてしまうので、画像が黒潰れ（真っ黒に近い画像となる）を発生してしまうという問題があった。

ところで、複数のカメラにより撮影された画像を合成して表示する際に、各画像の繋ぎ目が目立たない画質が均一な合成画像を表示するために、複数のカメラに対して画質を決定するための画質パラメータのデータを設定する技術が知られている（例えば、特許文献１など）。
特開２００１−３２０６１６号公報

しかしながら、特許文献１に記載の技術によれば、各カメラに対して共通の画質パラメータを設定した場合には、各カメラにより撮影された画像の画質を同じレベルとすることはできるが、各画像の輝度レベルが合わなくなってしまい、違和感を生じてしまうという問題があった。

また、複数のカメラにより撮影された画像を合成して表示する際に、第１のカメラと第１のカメラに隣接して配置された第２のカメラとにより撮影された画像間の差異が小さくなるようにするために、以下のように撮影画像を補正する技術が知られている（例えば、特許文献２など）。すなわち、第１のカメラと第２のカメラとを撮影範囲が重なるように各々配置し、第１のカメラにおける重複した撮影範囲の輝度値の平均値と第２のカメラにおける重複した撮影範囲の輝度値の平均値とが互いに等しくなるように、各カメラの撮影画像を補正する。
特開２００２−３２４２３５号公報

しかしながら、特許文献２に記載の技術によれば、輝度値を平均した値が等しくなるように各カメラの撮影画像を補正しているだけなので、図８（ｂ）や図８（ｂ）と同様に、輝度値を平均した値の差が大きすぎると画像が白飛びしたり黒潰れしたりしてしまい、見易い画像が得られなくなってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、複数のカメラにより撮影された画像を合成して合成画像を生成する際に、各画像の輝度が合った合成画像を生成すると共に、白飛びや黒潰れの無い見易い合成画像を生成することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、複数のカメラにより撮影された複数の画像のうち、一の画像及びそれに隣接して一部が重複する隣接画像の輝度値を圧縮し、圧縮された一の画像及び隣接画像の輝度値の両方又は何れか一方を重複する部分の輝度差がなくなるようにシフトし、一の画像及び隣接画像の輝度値を、伸張後の全画素の輝度値が絶対白の輝度値と絶対黒の輝度値との間に入る範囲で伸張するようにしている。

上記のように構成した本発明によれば、輝度値を圧縮してから撮影範囲が重複する部分の輝度差がなくなるように合成画像の輝度値がシフトされると共に、合成画像の輝度値の範囲が絶対白及び絶対黒の範囲内となるように伸張されるので、各画像の輝度が合った合成画像で、白飛びや黒潰れの無い見易い合成画像を生成することができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による合成画像生成装置の構成例を示すブロック図である。ここで、本実施形態では、合成画像生成装置としてトップビュー画像生成装置１を例示して説明する。図１において、２は画像撮影部であり、自車両の周辺を撮影するための第１のカメラ２ａ、第２のカメラ２ｂ、第３のカメラ２ｃ、第４のカメラ２ｄにより構成されている。ここで、第１のカメラ２ａ〜第４のカメラ２ｄは、ＡＧＣ機能が搭載されている。このＡＧＣ機能により、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像の輝度レベルの範囲が同じレベルとなる。

図２は、第１のカメラ２ａ〜第４のカメラ２ｄの配置の例を示す図である。図２において、第１のカメラ２ａは自車両１１の前方に配置され、前方Ａの範囲の画像を撮影する。第２のカメラ２ｂは自車両１１の左側方に配置され、左方Ｂの範囲の画像を撮影する。第３のカメラ２ｃは自車両１１の後方に配置され、後方Ｃの範囲の画像を撮影する。第４のカメラ２ｄは自車両１１の右側方に配置され、右方Ｄの範囲の画像を撮影する。

ここで、第１のカメラ２ａにより撮影される範囲Ａと第２のカメラ２ｂにより撮影される範囲Ｂ（範囲Ａに隣接している）との間では、画像が一部重複する。また、第２のカメラ２ｂにより撮影される範囲Ｂと第３のカメラ２ｃにより撮影される範囲Ｃ（範囲Ｂに隣接している）との間では、画像が一部重複する。また、第３のカメラ２ｃにより撮影される範囲Ｃと第４のカメラ２ｄにより撮影される範囲Ｄ（範囲Ｃに隣接している）との間では、画像が一部重複する。また、第４のカメラ２ｄにより撮影される範囲Ｄと第１のカメラ２ａにより撮影される範囲Ａ（範囲Ｄに隣接している）との間では、画像が一部重複する。

３は画像入力部であり、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像データを入力し、後述する圧縮部４ａに画像データを出力する。また、４は演算部であり、圧縮部４ａ、第1のシフト部４ｂ（特許請求の範囲の調整シフト部に該当する）、輝度差分析部４ｃ、第２のシフト部４ｄ（特許請求の範囲のシフト部に該当する）、伸張部４ｅ、補正部４ｆを備えて構成されている。ここで、あるカメラにより撮影された画像を基準画像とし、あるカメラに隣接するカメラにより撮影された画像を隣接画像とする。例えば、第１のカメラ２ａにより撮影された画像を基準画像とし、第２のカメラ２ｂにより撮影された画像を隣接画像とした場合に、基準画像及び隣接画像の輝度レベルを補正するときには、演算部４は、以下の処理を行う。

図３は、本実施形態のトップビュー画像生成装置１による輝度補正の処理の例を示す図である。画像入力部３より入力される第１のカメラ２ａ及び第２のカメラ２ｂの各画像データの輝度レベルは、図３（ａ）に示すようになっている。図３において、ｋ１は、第１のカメラ２ａにより撮影された基準画像の輝度レベルの範囲を模式的に示すものであり、ｋ２は、第２のカメラ２ｂにより撮影された隣接画像の輝度レベルの範囲を模式的に示すものである。

図３（ａ）において、基準画像の輝度レベルの範囲ｋ１と隣接画像の輝度レベルの範囲ｋ２とは、各カメラ２ａ，２ｂのＡＧＣ機能により、所定の範囲内で輝度レベルが揃った状態となっている。ここで、所定の範囲内とは、絶対白を表示するための輝度レベル及び絶対黒を表示するための輝度レベルの範囲内である。例えば、ある画素の輝度レベルを８ビットで表す場合に、絶対白の輝度レベルは２５５となり、絶対黒の輝度レベルは０となる。

また、ａ１は、基準画像と隣接画像とが重複する部分の基準画像における輝度レベルである。また、ｂ１は、基準画像と隣接画像とが重複する部分の隣接画像における輝度レベルである。ここで、図４に示すように、第１のカメラ２ａにより撮影された基準画像と第２のカメラ２ｂにより撮影された隣接画像とが重複する部分の輝度レベルａ１，ｂ１は、重複部分の一部（例えば、縦３画素×横３画素の９画素）を抜粋した点の輝度レベルとする。

圧縮部４ａは、画像入力部３から各画像データを入力し、基準画像の輝度レベル及び隣接画像の輝度レベルを１／３に圧縮する。具体的には、圧縮部４ａは、図３（ｂ）に示すように、各画像データの各画素の輝度レベルを１／３倍する。これにより、基準画像の輝度レベルの範囲ｋ１はｋ１´に圧縮され、隣接画像の輝度レベルの範囲ｋ２はｋ２´に圧縮される。

また、第１のシフト部４ｂは、図３（ｃ）に示すように、圧縮部４ａにて圧縮された各画像の輝度レベルをシフトする。具体的には、第１のシフト部４ｂは、圧縮された各画像の輝度レベルに所定の輝度レベルを加算する（例えば、輝度レベルを８ビットで表す場合には、輝度レベルの最高値２５５の１／３の値である８５を加算する）。これにより、圧縮された各画像の輝度レベルの範囲ｋ１´，ｋ２´は上方に移動する。ここで、圧縮された各画像の輝度レベルの範囲ｋ１´，ｋ２´は、シフト後には、輝度レベルの最高値２５５の１／３〜２／３の範囲に必ず入る。

ここで、圧縮部４ａによって各画像データの各画素の輝度レベルを１／３に圧縮し、圧縮された各画像の輝度レベルを、全画素の輝度レベルが最高値２５５の１／３〜２／３の範囲内に入るように第１のシフト部４ｂによってシフトしているが、これは以下のような理由による。圧縮された隣接画像の輝度レベルを後述する第２のシフト部４ｄによりシフトする場合に、圧縮された隣接画像の輝度レベルの範囲ｋ２´が、レベルシフト後においても絶対白を表示するための輝度レベルの上限を超えず、且つ、絶対黒を表示するための輝度レベルの下限も超えないようにシフトする必要があるからである。

また、輝度差分析部４ｃは、基準画像と隣接画像とが重複する部分の基準画像における輝度レベルａ１及び基準画像と隣接画像とが重複する部分の隣接画像における輝度レベルｂ１を比較し、輝度レベルの差分を求める。具体的には、輝度分析部４ｃは、図４に示す比較点において、基準画像の各画素Ｐ１〜Ｐ９及び隣接画像の各画素Ｐ１´〜Ｐ９´における輝度レベルの対応する画素間の差分をそれぞれ求め、それらの平均値を求める。なお、基準画像の各画素Ｐ１〜Ｐ９の輝度レベルの合計及び隣接画像の各画素Ｐ１´〜Ｐ９´の輝度レベルの合計を求め、各合計の差分を画素数（ここでは９となる）で除算するようにして平均値を求めても良い。

また、第２のシフト部４ｄは、図３（ｄ）に示すように、圧縮された隣接画像の各画素の輝度レベルを、輝度差分析部４ｃにより求められた差分だけシフトする（ここでは、黒側である下方にシフトする）。すなわち、第２のシフト部４ｄは、圧縮された隣接画像の各画素の輝度レベルから前記差分の平均値を減算する。これにより、圧縮された隣接画像の輝度レベルの範囲ｋ２´が下方に移動する。

伸張部４ｅは、図３（ｅ）に示すように、第２のシフト部４ｄによりシフトされた基準画像の輝度レベル及び隣接画像の輝度レベルのうち、最も輝度レベルの低い部分（黒側に近い部分）が絶対黒となるように、圧縮された各画像の輝度レベルをシフトする。ここでは、圧縮された隣接画像の輝度レベルのうち最も低い輝度レベルの値を各画像の輝度レベルから減算する。これにより、圧縮された基準画像の輝度レベルの範囲ｋ１´及び圧縮された隣接画像の輝度レベルの範囲ｋ２´が下方に移動する。

また、伸張部４ｅは、図３（ｆ）に示すように、第２のシフト部４ｄによりシフトされた基準画像の輝度レベル及び隣接画像の輝度レベルのうち、最も輝度レベルの高い部分（白側に最も近い部分）が絶対白となるように、圧縮された各画像の輝度レベルを伸張する。具体的には、第２のシフト部４ｄによりシフトされた各画像の輝度レベルを所定の倍率で増幅する。ここで、所定の倍率とは、絶対白の輝度レベルを前記白側に最も近い部分の輝度レベルで除算したものである。このように伸張することにより、補正された各画像の輝度レベルの範囲は、ｋ１´´，ｋ２´´のようになる。つまり、最も輝度レベルの高い部分が絶対白となり、最も輝度レベルの低い部分が絶対黒となるので、白飛びや黒潰れの無い合成画像が得られる。

演算部４は、第１のカメラ２ａ〜第４のカメラ２ｄの全ての組み合わせについて、同様の処理を行う。つまり、演算部４は、前述した処理の他に、第２のカメラ２ｂにより撮影された画像を基準画像とし、第３のカメラ２ｃにより撮影された画像を隣接画像として同様の処理を行う。また、演算部４は、第３のカメラ２ｃにより撮影された画像を基準画像とし、第４のカメラ２ｄにより撮影された画像を隣接画像として同様の処理を行う。また、画像補正部４は、第４のカメラ２ｄにより撮影された画像を基準画像とし、第１のカメラ２ａにより撮影された画像を隣接画像として同様の処理を行う。

ここで、図５（ａ）に示すように、第２のシフト部４ｄは、第２のカメラ２ｂにより撮影された画像を圧縮した輝度レベルの範囲ｋ２´と第３のカメラ２ｃにより撮影された画像を圧縮した輝度レベルの範囲ｋ３´との間の重複部分の輝度レベルｃ１，ｄ１の差分だけ第３のカメラ２ｃの画像の輝度レベルをシフトする。また、第２のシフト部４ｄは、第３のカメラ２ｃにより撮影された画像を圧縮した輝度レベルの範囲ｋ３´と第４のカメラ２ｄにより撮影された画像を圧縮した輝度レベルの範囲ｋ４´との間の重複部分の輝度レベルｅ１，ｆ１の差分だけ第４のカメラ２ｄの画像の輝度レベルをシフトする。

このような処理を行った場合には、補正時の誤差の累積などにより、第４のカメラにより撮影された画像を圧縮した輝度レベルの範囲ｋ４´と第１のカメラ２ａにより撮影された画像を圧縮した輝度レベルの範囲ｋ５´との間の重複部分の輝度レベルｇ１，ｈ１が合わない場合が生じる。そのために補正部４ｆを設けるのが好ましい。

まず、第１のカメラ２ａにより撮影された画像を圧縮した輝度レベルの範囲ｋ１´と第２のカメラ２ｂにより撮影された画像を圧縮した輝度レベルの範囲ｋ２´との間の重複部分の輝度レベルａ１，ｂ１の差分を輝度差分析部４ｃにより求めて、その差分だけ第２のカメラ２ｂの画像の輝度レベルを第２のシフト部４ｄによりシフトする。このとき、第２のカメラ２ｂと第３のカメラ２ｃとの重複部分の輝度レベルｃ１もシフトされる。

次に、第２のカメラ２ｂにより撮影された画像を圧縮した輝度レベルの範囲ｋ２´と第３のカメラ２ｃにより撮影された画像を圧縮した輝度レベルの範囲ｋ３´との間の重複部分の輝度レベルｃ１（シフトされたもの），ｄ１の差分を輝度差分析部４ｃにより求めて、その差分だけ第３のカメラ２ｃの画像の輝度レベルを第２のシフト部４ｄによりシフトする。このとき、第３のカメラ２ｃと第４のカメラ２ｄとの重複部分の輝度レベルｅ１もシフトされる。

次に、第３のカメラ２ｃにより撮影された画像を圧縮した輝度レベルの範囲ｋ３´と第４のカメラ２ｄにより撮影された画像を圧縮した輝度レベルの範囲ｋ４´との間の重複部分の輝度レベルｅ１（シフトされたもの），ｆ１の差分を輝度差分析部４ｃにより求めて、その差分だけ第４のカメラ２ｄの画像の輝度レベルを第２のシフト部４ｄによりシフトする。これにより、第４のカメラ２ｄと第１のカメラ２ａとの重複部分の輝度レベルｇ１もシフトされる。

そして、第４のカメラ２ｄにより撮影された画像を圧縮した輝度レベルの範囲ｋ４´と第１のカメラ２ａにより撮影された画像を圧縮した輝度レベルの範囲ｋ５´との間の重複部分の輝度レベルｇ１（シフトされたもの），ｈ１の差分を輝度差分析部４ｃにより求める。補正部４ｆは、図５（ｂ）に示すように、第１のカメラ２ａにより撮影された画像の輝度レベルに関するシフト量の補正値を０とし、第４のカメラ２ｄにより撮影された画像の輝度レベルに関するシフト量の補正値を最大の補正値（ｈ１−ｇ１）として、他のカメラ２ｂ，２ｃの補正値を線形補間により求める。これにより、第２のカメラ２ｂにより撮影された画像の輝度レベル及び第３のカメラ２ｃにより撮影された画像の輝度レベルのシフト量に関する補正値が求められる。そして、第２のシフト部４ｄは、各画像の輝度レベルのシフト量に対してそれぞれの補正値を加算することで、補正されたシフト量を求め、補正後のシフト量に従って各画像の輝度レベルをシフトする。

５はトップビュー画像生成部（特許請求の範囲の合成画像生成部に該当する）であり、画像処理部５ａ、マッピングテーブル５ｂ、画像記憶部５ｃにより構成されている。画像処理部５ａでは、画像補正部４ｅにて補正された画像データを入力し、マッピングテーブル５ｂに記憶されている変換情報に従って、自車両１１の周辺を上方から見たときの背景画像を生成する。この状態では、自車両１１に設置された第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像に基づいて背景画像を生成しているので、背景画像に表示されているのは、実際の背景のみとなり、自車両１１の画像は表示されない。

また、画像処理部５ａは、自車両１１を上方から見た画像を示す自車両画像データを画像記憶部５ｃから読み出し、背景画像の所定の位置（例えば背景画像における自車両１１が存在する位置）に合成してトップビュー画像を生成する。

マッピングテーブル５ｂは、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像の画素データと自車両１１の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。画像記憶部５ｃは、自車両１１を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて画像処理部５ａにより読み出される。

６は表示制御部であり、トップビュー画像生成部５からトップビュー画像データを入力し、後述する表示部７に出力する。表示部７は、表示制御部６から出力されたトップビュー画像データを入力し、トップビュー画像を表示する。

例えば、図６に示すように、自車両１１の前方に第１のカメラ２ａにより撮影された画像に基づく前方画像ａが表示され、自車両１１の左方に第２のカメラ２ｂにより撮影された画像に基づく左側方画像ｂが表示される。また、自車両１１の後方に第３のカメラ２ｃにより撮影された画像に基づく後方画像ｃが表示され、自車両１１の右方に第４のカメラ２ｄにより撮影された画像に基づく右側方画像ｄが表示される。

次に、本実施形態による合成画像生成装置の動作及び合成画像生成方法について説明する。図７は、本実施形態による合成画像生成装置の動作及び合成画像生成方法を示すフローチャートである。図７において、自車両１１に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、自車両１１の周辺を常に撮影している。

ここで、圧縮部４ａは、複数のカメラ２ａ〜２ｄにより撮影された自車両１１の周辺の画像データを画像入力部３から入力し、基準となる画像を撮影するカメラ、例えば第１のカメラ２ａにより撮影された基準画像の輝度レベルと、基準となる画像と隣接する画像を撮影するカメラ、例えば第２のカメラ２ｂにより撮影された隣接画像の輝度レベルを１／３に圧縮する（ステップＳ１）。

第１のシフト部４ｂは、ステップＳ２にて圧縮された各画像の輝度レベルを上方にシフトする（ステップＳ２）。ここで、圧縮された各画像の輝度レベルの範囲ｋ１´，ｋ２´は、シフト後には、輝度レベルの最高値２５５の１／３〜２／３の範囲に入る。また、輝度差分析部４ｃは、基準画像と隣接画像とが重複する部分の輝度レベルａ１，ｂ１の差分を求める（ステップＳ３）。

第２のシフト部４ｄは、ステップＳ３にて求められた基準画像と隣接画像とが重複する部分の輝度レベルａ１，ｂ１の差分だけ、圧縮された隣接画像の輝度レベルをシフトする（ステップＳ４）。伸張部４ｅは、ステップＳ４にてシフトされた基準画像の輝度レベル及び隣接画像の輝度レベルのうち、最も輝度レベルの低い部分が絶対黒となるように、圧縮された各画像の輝度レベルをシフトする（ステップＳ５）。そして、伸張部４ｅは、ステップＳ５にてシフトされた基準画像の輝度レベル及び隣接画像の輝度レベルのうち、輝度レベルの最も高い部分が絶対白となるように、圧縮された各画像の輝度レベルを伸張する（ステップＳ６）。

演算部４は、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像の全ての組み合わせに対して処理が終了したか否かを調べる（ステップＳ７）。全ての組み合わせに対して処理が終了したと演算部４にて判断した場合には（ステップＳ７にてＹＥＳ）、演算部４は、補正された各画像データをトップビュー画像生成部５に出力する（ステップＳ８）。トップビュー画像生成部５は、画像データを伸張部４ｅから入力し、この画像データに基づいて自車両１１を上方の仮想視点から見たトップビュー画像データを生成し、表示制御部６に出力する（ステップＳ９）。表示制御部６は、トップビュー画像生成部５により生成されたトップビュー画像を表示部７に表示させる。

一方、全ての組み合わせに対して処理が終了していないと演算部４が判断した場合には（ステップＳ７にてＮＯ）、演算部４は、隣接画像を撮影した第２のカメラ２ｂを基準画像を撮影するカメラとする（ステップＳ１０）。そして、ステップＳ１の処理に戻る。そして、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像の全ての組み合わせに対して処理が終了するまで、前述した処理が繰り返される。

なお、補正部４ｆによる補正を行う場合は、まず、第１のカメラ２ａにより撮影された画像を基準画像とし、第２のカメラ２ｂにより撮影された画像を隣接画像とした場合のステップＳ１〜Ｓ３の処理、第２のカメラ２ｂにより撮影された画像を基準画像とし、第３のカメラ２ｃにより撮影された画像を隣接画像とした場合のステップＳ１〜Ｓ３の処理、第３のカメラ２ｃにより撮影された画像を基準画像とし、第４のカメラ２ｄにより撮影された画像を隣接画像とした場合のステップＳ１〜Ｓ３の処理を繰り返し行う。次に、このステップＳ１〜Ｓ３の繰り返し処理の結果を利用して、各カメラ２ａ〜２ｄによる画像のシフト量に関する補正値を図５（ｂ）の要領で求める。そして、補正されたシフト量に従って、各カメラ２ａ〜２ｄによる画像に対してステップＳ４〜Ｓ６の処理を順次行う。

以上詳しく説明したように、本実施形態では、撮影範囲が重複する部分を持つ複数のカメラ２ａ〜２ｄにより撮影された画像の輝度レベルを圧縮部４ａにて１／３に圧縮し、圧縮された各画像の輝度レベルを第１のシフト部４ｂにより上方にシフトしている。そして、互いの画像の重複部分の輝度レベルａ１，ｂ１の差分だけ、圧縮された隣接画像の輝度レベルを第２のシフト部４ｄによりシフトし、圧縮された各画像の輝度レベルの最も輝度レベルが高い部分が絶対白に、最も輝度レベルが低い部分が絶対黒になるように伸張部４ｅにより伸張するようにしている。

これにより、基準画像及び隣接画像の重複する部分の輝度レベルａ１，ｂ１が等しくなるように各画像の輝度レベルが補正される。また、基準画像及び隣接画像は、輝度レベルが１／３に圧縮され、輝度レベルの最高値２５５の１／３〜２／３の範囲内に入るように上方にシフトされてから、重複部分の輝度レベルａ１，ｂ１の差分だけシフトされるので、画像の輝度レベルの範囲が絶対白及び絶対黒の範囲内となる。また、輝度レベルの最も高い部分が絶対白に、輝度レベルの最も低い部分が絶対黒になるように、圧縮された各画像の輝度レベルが伸張されるので、画像の輝度レベルの範囲が絶対白及び絶対黒の範囲内となる。従って、各画像の輝度が合ったトップビュー画像であって、白飛びや黒潰れの無い見易いトップビュー画像を生成することができる。

なお、前述した実施形態では、圧縮部４ａは、１／３の圧縮率で各画像の輝度レベルを圧縮しているが、１／３以下の圧縮率で圧縮するようにしても良い。

また、前述した実施形態では、第１のシフト部４ｂは、圧縮された各画像の輝度レベルを上方にシフトしているが、これに限定されない。例えば、第１のシフト部４ｂによるシフトを行わないようにしても良い。具体的には、第２のシフト部４ｄは、各画像が重複する部分の輝度レベルａ１，ｂ１の差分により、必ず輝度レベルの小さい方の画像の輝度レベルを上方にシフトする。これにより、第１のシフト部４ｂによるシフトを行わなくても、第２のシフト部４ｄによるシフトの際に、シフトされた画像の輝度レベルが絶対黒を超えることがなくなるので、黒潰れを生じなくなる。

また、このような場合において、圧縮部４ａは、各画像の輝度レベルを１／３以上の圧縮率で圧縮するようにしても良い。具体的には、圧縮された画像の輝度レベルは、第２のシフト部４ｄにより一方向（上方）にしかシフトされないことから、各画像の輝度レベルを１／２の圧縮率で圧縮するようにする。これにより、輝度レベルの圧縮率が低くなるので、圧縮による劣化の少ない画像が得られる。

また、前述した実施形態では、第１のシフト部４ｂは、圧縮された各画像の輝度レベルを上方にシフトしているが、これに限定されない。例えば、第１のシフト部４ｂは、圧縮された基準画像の輝度レベルのみを上方にシフトするようにしても良い。このような場合に、輝度差分析部４ｃは、シフト後の基準画像と隣接画像とが重複する部分の輝度レベルａ１，１の差分を求める。そして、第２のシフト部４ｄは、その求めた差分だけ、圧縮された隣接画像の輝度レベルをシフトする。これにより、圧縮された隣接画像の輝度レベルの第１のシフト部４ｂによる上方へのシフトが行われないので、演算の行程を減らすことができる。

また、前述した実施形態では、図３（ｅ）（ｆ）のような手順で画像を伸張しているが、これに限定されない。例えば、基準画像及び隣接画像が図３（ｄ）に示す状態において、最も輝度レベルの高い部分と最も輝度レベルが低い部分との差分が、輝度レベルの最高値２５５の１／３の値（＝８５）より小さい場合に限り、最も輝度レベルの高い部分が輝度レベルの最高値２５５の１／３の値と等しくなるように基準画像及び隣接画像をシフトする。そして、圧縮時の圧縮率１／３の逆数である３倍の倍率で基準画像及び隣接画像を伸張する。

伸張部４ｅによるシフトは図３（ｅ）と同様に行う。そして、このシフト後の基準画像及び隣接画像において、最も輝度レベルの高い部分の値が、輝度レベルの最高値２５５の１／３の値（＝８５）より小さい場合に限り、圧縮時の圧縮率１／３の逆数である３倍の倍率で基準画像及び隣接画像を伸張する。このように３倍の倍率で伸張することにより、圧縮前の画像の輝度レベルと伸張後の画像の輝度レベルとが略等しくなるので、元の画像に近い自然な画像が得られる。

また、前述した実施形態では、第１のシフト部４ｂは、圧縮された各画像の輝度レベルに８５を加算して、圧縮された各画像の輝度レベルを上方に移動しているが、これに限定されない。シフトされた基準画像及び隣接画像の各画素の輝度レベルが、輝度レベルの最高値２５５の１／３〜２／３の範囲内に入るようにすれば、シフトの方法は問わない。例えば、第１のシフト部４ｂは、圧縮された各画像の輝度レベルの中央の値（上限の値と下限の値を２で除算した値）と輝度レベルの最高値２５５の中央の値（２５５／２）との差分の値を各画像の輝度レベルに加算するようにしても良い。これにより、圧縮された各画像の輝度レベルの範囲ｋ１´，ｋ２´が絶対黒の輝度レベルと絶対白の輝度レベルとの中央に配置されるようになる。

また、前述した実施形態では、第２のシフト部４ｄは、圧縮された隣接画像の輝度レベルをシフトするようにしているが、これに限定されない。例えば、圧縮された各画像の何れかをシフトするようにしても良いし、両方をシフトするようにしても良い。

また、前述した実施形態では、トップビュー画像を生成するために４台のカメラ２ａ〜２ｄを用いているが、これに限定されない。また、前述した実施形態では、合成画像をトップビュー画像としているが、これに限定されない。例えば、複数のカメラにより撮影された画像を横方向に連結して得られるパノラマ画像や、複数のカメラにより撮影された画像を縦横に連結して得られるマルチ画像などであっても良い。

その他、前記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、複数のカメラにより撮影された画像を連結して得られる合成画像を生成する合成画像生成装置に有用である。

本実施形態による合成画像生成装置の構成例を示すブロック図である。 本実施形態の合成画像生成装置と共に使用されるカメラの配置と撮影範囲の例を示す図である。 本実施形態の合成画像生成装置による画像の処理の例を示す図である。 本実施形態の合成画像生成装置による画像が重複する部分の比較点の例を示す図である。 本実施形態の合成画像生成装置による各カメラにより撮影された画像の輝度及び補正値の例を示す図である。 本実施形態の合成画像生成装置により生成されたトップビュー画像の例を示す図である。 本実施形態による合成画像生成装置の動作及び合成画像生成方法を示すフローチャートである。 従来の合成画像生成装置による画像処理の例を示す図である。

符号の説明

１ トップビュー画像生成装置
２ 画像撮像部
２ａ〜２ｄ カメラ
３ 画像入力部
４ 演算部
４ａ 圧縮部
４ｂ 第１のシフト部
４ｃ 輝度差分析部
４ｄ 第２のシフト部
４ｅ 伸張部
４ｆ 補正部
５ トップビュー画像生成部
５ａ 画像処理部
５ｂ マッピングテーブル
５ｃ 画像記憶部
６ 表示制御部
７ 表示部

Claims (5)

1. 複数のカメラで撮影された複数の画像を入力する画像入力部と、
   前記画像入力部により入力した複数の画像について、一の画像及びそれに隣接して前記一の画像と一部が重複する隣接画像の輝度値を所定の圧縮率で圧縮する圧縮部と、
   前記一の画像と前記隣接画像との重複する画像部分の輝度差を求める輝度差分析部と、
   前記輝度差分析部により求められた輝度差に基づいて、前記圧縮部により圧縮された一の画像及び隣接画像の両方又は何れか一方の輝度値を前記輝度差がなくなるようにシフトするシフト部と、
   前記シフト部によるシフトの後に、前記圧縮された一の画像及び隣接画像の輝度値を、伸張後の全画素の輝度値が絶対白の輝度値と絶対黒の輝度値との間に入る範囲で伸張する伸張部と、
   前記伸張部により伸張された画像を入力し、この画像に基づいて合成画像を生成する合成画像生成部と、
   を備えたことを特徴とする合成画像生成装置。
2. 前記圧縮部により圧縮された一の画像及び隣接画像の少なくとも一方の輝度値を、全画素の輝度値が前記絶対白及び前記絶対黒の間の所定の範囲内に入るようにシフトする調整シフト部を備えたことを特徴とする請求項１に記載の合成画像生成装置。
3. 前記圧縮部は、前記一の画像及び前記隣接画像の輝度値を圧縮する圧縮率を１／３以下とすることを特徴とする請求項２に記載の合成画像生成装置。
4. 前記画像入力部は、ｎ台のカメラ（ｎは３以上の整数）で撮影されたｎ枚の画像を入力し、
   前記一の画像がｎ台目のカメラで撮影されたｎ枚目の画像である場合に、前記ｎ枚目の画像に隣接して前記ｎ枚目の画像と一部が重複する１枚目の画像を隣接画像とし、
   前記ｎ枚目の画像と前記１枚目の画像とが重複する画像部分の輝度差に基づいて、前記１枚目の画像と前記ｎ枚目の画像とを除く他の画像を補正するための補正値を線形補間により求め、前記他の画像の輝度値に対する前記シフト部によるシフト量を前記補正値により補正する補正部を備えたことを特徴とする請求項１乃至請求項３の何れか一項に記載の合成画像生成装置。
5. 複数のカメラで撮影された一の画像及びそれに隣接して前記一の画像と一部が重複する隣接画像を取得する第１のステップと、
   前記第１のステップにて取得した画像を入力し、前記一の画像及び前記隣接画像の輝度値を圧縮部により所定の圧縮率で圧縮する第２のステップと、
   前記第２のステップにて圧縮した前記一の画像と前記隣接画像とで重複する画像部分の輝度差を輝度差分析部にて求める第３のステップと、
   前記第２のステップにて圧縮した前記一の画像及び前記隣接画像の両方又は何れか一方の輝度値を、前記第３のステップにて求めた輝度差がなくなるようにシフト部によりシフトする第４のステップと、
   前記第４のステップによるシフト後に、前記一の画像及び前記隣接画像の輝度値を、伸張後の全画素の輝度値が絶対白の輝度値と絶対黒の輝度値との間に入る範囲で伸張部により伸張する第５のステップと、
   前記第５のステップにて伸張された画像に基づいて合成画像生成部により合成画像を生成する第６のステップと、
   を備えた合成画像生成方法。

Images