JP6696596B2 - 画像処理システム、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、重複する画像領域を重複領域として含む複数の画像に対して画像処理を行う画像処理システム、撮像装置、画像処理方法およびその方法をコンピュータに実行させるためのプログラムに関する。

３６０°のあらゆる方向を撮像可能な撮像装置として、全天球撮像カメラが知られ、監視カメラ等として使用されている。全天球撮像カメラは、複数の広角レンズまたは魚眼レンズを用い、複数の撮像素子で撮像し、得られた複数の画像に対して歪み補正や射影変換等を行い、それらを結合して１枚の全天球画像を生成する。隣接する撮像素子で撮像して得られた画像には、画像の一部が重複した画像重複領域が存在し、全天球撮像カメラでは、その画像重複領域で各画像を結合している。

全天球撮像カメラでは、撮像方向が異なる複数の撮像素子を用いて撮像を行うため、各撮像素子により得られた画像の画像重複領域の明るさや色合いが異なり、結合した場合に視認性が悪くなるという問題があった。そこで、画像重複領域の色調を揃える初期ゲインと、他の撮像素子との差異を小さくする補正ゲインとを用い、画像重複領域を補正し、その画像重複領域の色調の差異を小さくする技術が提案されている（例えば、特許文献１参照）。

全天球撮像カメラでは、広角レンズや魚眼レンズを用いて広い範囲を撮像することから、その撮像範囲内に太陽や照明等の光源が入りやすい。このため、画像の一部が白くぼやけ、光が滲んだように見えるフレアが発生する可能性が高いことが知られている。フレアは、各画像に均一に発生するものではないため、フレアが発生した画像とフレアが発生していない画像とは、輝度の差だけではなく、色差も生じる。このため、これら画像を結合すると、その繋ぎ目が目立つという問題がある。

上記の従来技術では、画像重複領域の色調の差異を小さくし、繋ぎ目を目立たなくすることはできるが、それ以外の領域は補正されないので、結合した画像は、輝度の差や色差を有する画像となる。

そこで、結合する複数の画像の輝度の差や色差を低減することができるシステムおよび方法等の提供が望まれていた。

本発明は、上記課題に鑑みなされたものであり、重複する画像領域を重複領域として含む複数の画像に対して画像処理を行う画像処理システムであって、各重複領域内の１以上の画素の画素値を用いて各画像を評価するための評価値を算出する演算部と、演算部により算出された評価値に基づき、複数の画像の中に補正対象画像があるか否かを判断する判断部と、判断部により補正対象画像があると判断された場合に、演算部により算出された評価値に基づき、複数の画像の中から補正を行う際の基準となる補正基準画像を決定する画像決定部と、画像決定部により決定された補正基準画像に基づき、補正対象画像を補正する画像補正部とを含む、画像処理システムが提供される。

本発明によれば、結合する複数の画像の輝度の差や色差を低減することができる。

撮像装置の外観図。 撮像像置のハードウェア構成を示した図。 撮像装置に用いられる魚眼レンズについて説明する図。 撮像装置により撮像された複数の画像における重複領域について説明する図。 全天球画像のフォーマットについて説明する図。 魚眼画像から全天球画像に変換する変換テーブルについて説明する図。 全天球画像を生成する処理の流れを示したフローチャート。 歪み補正を行った結果を示した図。 繋ぎ位置を検出する方法について説明する図。 画像処理システムの機能ブロック図。 画像処理システムが実行する全体の処理の流れを示したフローチャート。 図１１に示すステップ１１１０における評価値の取得について説明する図。 図１１に示すステップ１１２０における判断の詳細な処理の流れを示したフローチャート。 図１１に示すステップ１１３０における補正マップ作成の詳細な処理の流れを示したフローチャート。 補正除外マップ作成について説明する図。 重複領域の補正量を算出する方法について説明する図。 重複領域の補正量から画像全体の補正量を算出する方法について説明する図。 図１４で作成した補正マップを、図１５で作成した補正除外マップにより修正する方法について説明する図。 図１３に示すステップ１３１０における重複領域の平均値を算出する１つの処理の流れを示したフローチャート。 図１３に示すステップ１３１０における重複領域の平均値を算出する別の処理の流れを示したフローチャート。 図２０に示すステップ２０３０のマッチング度を算出する方法を説明する図。 図１４に示すステップ１４３０の補正量の補間処理について説明する図。 図１４に示すステップ１４３０の補正量の補間処理について説明する図。 図１４に示すステップ１４３０の補正量の補間処理について説明する図。 図１４に示すステップ１４３０の補正量の補間処理について説明する図。 重複領域の補正量を修正する処理の流れを示したフローチャート。 重複領域の補正量を制限する処理の流れを示したフローチャート。 図２７に示す処理で用いられる閾値テーブルを例示した図。

図１は、画像処理システムを備える撮像装置の外観を示した図である。ここでは、撮像装置を、全天球撮像カメラとしているが、これに限られるものではない。撮像装置としては、複数の撮像素子で重複する画像領域（重複領域）を撮影し、撮影した複数の画像を、その重複領域で繋ぎ合わせることができる撮像機器であってもよい。なお、撮影した複数の画像を、その重複領域で繋ぎ合わせる処理は、画像処理ＩＣやソフトウェアを用いて実行することができる。

全天球撮像カメラ１０は、撮像位置から全方位を撮像することができるように、１８０°を超える画角をもつ２つの魚眼レンズ１１、１２と、それぞれに対応する２つの撮像素子１３、１４とを備えている。ここでは、魚眼レンズ１１、１２および撮像素子１３、１４をそれぞれ２つずつ備える構成を例示しているが、これに限られるものではなく、３つ以上備える構成であってもよい。なお、画角とは、魚眼レンズ１１、１２を用いて撮像できる範囲を角度で表したものである。

魚眼レンズ１１、１２は、撮像した画像の中心からの距離と光の入射角度が比例する等距離射影方式を採用することができる。撮像素子１３、１４としては、入射された光を電気信号に変換するＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いることができる。２つの撮像素子１３、１４は、撮像した画像に、重複する画像領域としての重複領域が含まれるように、全方位を撮像する。

撮像は、撮影者が撮像ＳＷ１５を押下し、それをトリガーとして撮像素子１３、１４が同時に露光することにより行われる。撮像素子１３、１４は、受光した光を電気信号に変換することにより画像を取得する。取得した画像は、魚眼レンズ１１、１２を使用して得られた画像であるため、魚眼画像と呼ばれる。２つの撮像素子１３、１４によって取得された２つの魚眼画像は、その後の画像処理において、画像変換が行われ、重複領域で結合されて、全天球画像が生成される。

全天球撮像カメラ１０は、生成した全天球画像のデータを格納し、要求を受けて、図示しないＰＣ等の表示装置を備える機器へ出力し、その表示装置に表示させることができる。また、全天球撮像カメラ１０は、生成した全天球画像を、図示しないプリンタやＭＦＰ(Multi-Function Peripheral)等に出力し、印刷出力することもできる。また、ＭＦＰやＰＣへ出力し、ＦＡＸ送信やメール送信することも可能である。

図２は、全天球撮像カメラ１０のハードウェア構成を示した図である。図２では、魚眼レンズ１１、１２を省略している。全天球撮像カメラ１０は、２つの撮像素子１３、１４および撮像ＳＷ１５のほか、コントローラ２０、ＳＤＲＡＭ２１、外部記憶装置２２を備えている。ＳＤＲＡＭ２１は、コントローラ２０とともに使用され、所定の画像処理を実現するためのプログラムを格納する。外部記憶装置２２は、画像処理されたデータ、すなわち上記の全天球画像のデータを格納する。

コントローラ２０は、ＣＰＵ２３、ＲＯＭ２４、ＳＲＡＭ２５、画像処理ブロック２６、ＳＤＲＡＭ Ｉ／Ｆ２７、外部記憶Ｉ／Ｆ２８を含み、各々がバス２９に接続されている。ＣＰＵ２３は、全天球撮像カメラ１０全体の制御を行う。ＲＯＭ２４は、全天球撮像カメラ１０を起動させるプログラムや後述する変換テーブル等を記憶する。ＳＲＡＭ２５は、ＣＰＵ２３に対して作業領域を提供し、画像処理ブロック２６は、ＣＰＵ２３、ＳＲＡＭ２５およびＳＤＲＡＭ２１等とともに上記の所定の画像処理を実行する。画像処理ブロック２６としては、特定用途向けの集積回路であるＡＳＩＣ(Application Specific Integrated Circuit)を用いることができる。

全天球撮像カメラ１０は、２つの撮像素子１３、１４により２つの魚眼画像を取得する。このとき、撮像素子１３、１４は、Ａ／Ｄ変換器を備えており、変換した電気信号を、このＡ／Ｄ変換器によりデジタルデータへ変換する。撮像素子１３、１４は、コントローラ２０が備える画像処理ブロック２６へこのデジタルデータを、魚眼画像のデータとして出力する。画像処理ブロック２６は、ＣＰＵ２３等とともに、所定の画像処理として上記の画像変換、画像を繋ぎ合わせて全天球画像を生成する処理を行い、生成した全天球画像のデータを、外部記憶Ｉ／Ｆ２８を介して外部記憶装置２２に格納する。

全天球撮像カメラ１０は、そのほか、通信Ｉ／Ｆを備え、有線または無線により図示しないＰＣやＭＦＰ等と通信を行い、全天球画像データをそれらの機器へ送信し、表示や印刷出力等させることができる。無線により通信を行う場合、Ｗｉ−Ｆｉ等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等を用いることができる。

図３を参照して、魚眼レンズ１１について詳細に説明する。魚眼レンズ１２は、魚眼レンズ１１と同様のものであるため、ここでは魚眼レンズ１１についてのみ説明する。１８０°を超える画角をもつ魚眼レンズ１１を有する撮像素子１３で撮像された魚眼画像は、撮像位置を中心として、略半球分の被写体の画像となる。

ここで、図３（ａ）に示すように、魚眼レンズ１１への光の入射角度をφ、画像の中心と像点との距離を像高ｈ、射影関数をｆとすると、これらの関係は、式１のように表すことができる。

射影関数ｆは、魚眼レンズ１１の性質により異なり、例えば、等距離射影方式の魚眼レンズを採用した場合、図３（ｂ）に示すように、入射角度φが矢線に示すように大きくなる程、像高ｈが大きくなるという比例関係で表される。なお、図３（ｂ）中、円の外側の黒く塗り潰された領域は、光が入射されない領域である。

図４を参照して、撮像素子１３、１４により撮像された２つの魚眼画像の重複領域について説明する。図４中、撮像素子１３を「撮像素子１」とし、撮像素子１４を「撮像素子２」とする。魚眼レンズ１１、１２は、１８０°を超える画角をもっているため、撮像素子１３、１４で撮像された魚眼画像には、重複領域が含まれる。図４（ａ）は、撮像素子１３、１４で撮像された魚眼画像で、黒く塗り潰された領域は、光が入射されない領域、白い領域が入射角度９０°までの領域、斜線で示される領域が入射角度９０°を超える領域を示している。

図４（ａ）の斜線で示される領域は、２つの魚眼画像の重複する画像領域を示すことから、重複領域として定義することができる。しかしながら、魚眼レンズ１１、１２は、像高ｈが大きくなり、像点が画像の中心から離れるほど歪みや収差が発生しやすくなる。また、魚眼レンズ１１、１２の周囲の外枠等が写り込む場合もある。歪みや収差が発生した領域や外枠等の画像は、画像を繋ぎ合わせるために使用することはできない。

そこで、図４（ｂ）に示すように、重複領域３０としては、その内側の所定幅を有する縦縞で示されるリング状の領域に限定することができる。ちなみに、図４（ｂ）中、２つの魚眼画像は、撮像素子１３、１４を同時に露光し、撮像しているため、重複領域３０は、基本的に同じ被写体の画像となる。

次に、図５を参照して、全天球画像について説明する。魚眼画像は、図５（ａ）に示す略半分の球面を円形で表したフォーマットとされ、地球儀でいう経度が水平角度に相当し、緯度が垂直角度に相当している。水平角度は、０〜３６０°の範囲とされ、垂直角度は、０〜１８０°の範囲とされている。

全天球画像は、図５（ｂ）に示す矩形で表したフォーマットとされ、水平方向が水平角度、垂直方向が垂直角度とされる２つの半天球画像を結合することにより生成される画像である。実際には、重複領域がある分、半天球画像より大きい画像であるが、ここでは半天球画像と呼ぶものとする。

２つの半天球画像は、魚眼画像の水平角度と垂直角度に対応する画素が有する画素値と同じ画素値を、図５（ｂ）に示す矩形で表したフォーマットの同じ水平角度と垂直角度に対応する画素が有する画像として生成される。この半天球画像は、魚眼画像を射影変換することにより生成することができ、生成した２つの半天球画像を結合することで、水平方向および垂直方向に３６０°の全方位を表す全天球画像を生成することができる。

魚眼画像を射影変換する際に使用する変換テーブルを、図６に例示する。変換テーブルは、図６（ａ）に示すように、変更前画像である魚眼画像の水平角度と垂直角度の値である座標値と、変更後画像である半天球画像の座標値とを対応付けたテーブルである。変更前画像の座標値は、(x,y)で表され、変更後画像の座標値は、(θ,φ)で表される。図６（ｂ）に示すように、いずれの画像も左上隅の座標(0,0)を基準とし、変更前画像における画素と、変更後画像における対応する画素とを決定し、それらの画素の座標値の組み合わせを、変換テーブルにデータとして保持する。対応関係は、変換前画像と変換後画像との射影関係から求めることができる。

変換テーブルは、２つの魚眼レンズ１１、１２および撮像素子１３、１４の各々に対してレンズ設計データ等を基に事前に作成することができ、図２に示したＲＯＭ２４に格納しておき、必要に応じて読み出して使用することができる。この変換テーブルを用いることで、魚眼画像を射影変換して、魚眼画像の歪みを補正することができる。この補正をした画像を結合することで、全天球画像を生成することができる。

図７を参照して、全天球画像を生成する処理の流れについて説明する。２つの撮像素子１３、１４により２つの魚眼画像を撮像し、２つの魚眼画像が入力されることにより、ステップ７００からこの処理を開始する。ステップ７１０では、ＲＯＭ２４に格納された図６（ａ）に示したような変換テーブルを用いて各魚眼画像を射影変換して歪み補正を行う。この歪み補正により、図５（ａ）に示す半天球画像が２つ得られる。

ステップ７２０では、得られた２つの半天球画像の重複領域で繋ぎ合わせるために、繋ぎ位置の検出を行う。繋ぎ位置の検出の詳細については後述する。ステップ７３０では、検出結果に基づき、ステップ７１０で使用した変換テーブルを補正する。補正を行う目的や具体的な処理の内容については後述する。ステップ７４０では、補正した変換テーブルに対して回転変換を行い、画像生成用の変換テーブルを作成する。なお、回転変換を行う目的は、画像生成用の変換テーブルにおいて、画像の上下方向と、全天球撮像カメラ１０の天頂方向とを一致させるためである。

ステップ７５０では、２つの魚眼画像に対して、画像生成用の変換テーブルを用いて射影変換を行い、画像の歪みを補正する。ステップ７６０では、歪みが補正された２つの画像を結合するためのブレンド処理を実行する。２つの画像は、その重複領域において結合されるが、一方の画像の重複領域にしかデータが存在しない場合、そのデータをそのまま使用して結合を行う。ブレンド処理が終了した後、ステップ７７０へ進み、この処理を終了する。

図８を参照して、図７のステップ７１０の歪み補正について詳細に説明する。２つの撮像素子１３、１４で撮像された２つの魚眼画像を、それぞれの変換テーブルを用いて射影変換し、歪み補正を行うと、図８（ａ）に示すようなそれぞれが矩形の半天球画像に変換される。撮像素子１３で撮像され、変換された画像３１は、図８（ａ）の上側の画像となり、撮像素子１４で撮像され、変換された画像３２は、図８（ａ）の下側の画像となる。上側の画像と下側の画像とが重複する中央部分の画像領域が重複領域３０となり、その重複領域３０を簡単に検出することができる。

このように変換された画像は、その画像の上下方向が、図８（ｂ）に示す魚眼レンズ１１、１２を有する撮像素子１３、１４を備える全天球撮像カメラ１０の矢線Ａに示す天頂方向に対して略９０°回転したものとなっている。

図９を参照して、繋ぎ位置を検出する処理について説明する。繋ぎ位置の検出には、一般によく知られているテンプレートマッチングを使用することができる。テンプレートマッチングでは、図８に示すようにして重複領域を検出した後、図９（ａ）に示すように、２つの半天球画像のうちの一方から、重複領域３０内の所定サイズの画像を、テンプレート画像３４として取り出す。テンプレート画像３４は、所定の間隔stepで等間隔に、水平方向のサイズｗ、垂直方向のサイズｈで、複数個取り出す。図９（ａ）中、テンプレート画像３４は、番号１〜６で示される矩形の画像である。テンプレート画像３４は、その画像の左上隅の座標を、テンプレート画像３４の取り出し座標(sx1,sy1)等とする。取り出したテンプレート画像３４は、例えば、図９（ｂ）に示す画像である。

繋ぎ位置は、図９（ｃ）に示すように、テンプレート画像３４の左上隅の座標(kx,ky)を探索位置とし、その探索位置を２つの半天球画像のうちの他方の重複領域内をずらしながら、その評価値が最も高い位置を探索して検出する。探索範囲は、重複領域内とすることができる。テンプレートマッチングにより検出した座標(kx,ky)と、テンプレート画像３４の取り出し座標の座標値(sx1,sy1)の差分を、繋ぎ位置の検出結果として出力する。この検出結果は、複数個のテンプレート画像を所定の間隔stepで取り出しているため、離散データとなる。このため、データ間は、線形補間を行う等して、その間のデータを取得することができる。

重複領域は、同じ被写体の画像となるが、その被写体に対して撮像素子１３、１４が向く方向が異なるため、視差が生じる。視差が生じると、被写体が二重像に見えてしまうことから、いずれか一方の画像に合わせる必要がある。この繋ぎ位置の検出は、こうした視差を補正するために行われる。なお、視差は、被写体の位置によって異なるため、撮像するたびに重複領域内で領域毎に最適な繋ぎ位置を検出する必要がある。

図７にステップ７３０で行う変換テーブルの補正は、テンプレートマッチングにより検出された座標を用いて行われる。具体的には、一方の魚眼画像に対して使用する変換テーブルの座標値(x,y)に繋ぎ位置の検出結果である差分を加算し、その座標値を補正する。この補正は、一方の魚眼画像を、繋ぎ合わせる他方の画像に繋ぎ合わせるための補正であるため、他方の魚眼画像に対して使用する変換テーブルの補正は行わない。

これまでは、２つの撮像素子１３、１４を用いて撮像した魚眼画像を画像変換し、それを繋ぎ合わせて全天球画像を生成する処理について説明してきた。以下、魚眼画像にフレアが発生しているかどうかを判断し、発生している場合には適切に補正をして、フレアの発生によって生じた輝度の差や色差を低減させる処理について説明する。ここでは、輝度の差や色差を生じる例として、フレアを取り挙げるが、それらの差が生じて結合した画像が不自然になるような例であれば、フレアに限定されるものではない。

図１０は、この処理を実現するための画像処理システムの機能ブロック図である。画像処理システムは、複数の撮像素子１３、１４等から入力された複数の画像に対して画像処理を行う画像処理システムである。画像処理システムは、演算部４０と、判断部４１と、画像決定部４２と、画像補正部４３とを含んで構成される。これらの機能部は、例えば、図２に示すＣＰＵ２３がＳＤＲＡＭ２１に記憶されたプログラムを実行することにより、あるいは画像処理ブロック２６により実現される。

演算部４０は、各重複領域内の１以上の画素の画素値を用いて各画像を評価するための評価値を算出する。評価値は、例えば、各重複領域内の複数の画素の画素値の平均値や分散値とすることができる。画素値は、カラー画像でＲＧＢ色空間を採用する場合、ＲＧＢの各色の信号量を含むことができる。ＹＣｂＣｒ色空間を採用する場合は、輝度値、青系統の色の色相および彩度の値、赤系統の色の色相および彩度の値を含むことができる。

判断部４１は、演算部４０により算出された評価値に基づき、複数の画像の中に補正対象画像があるか否かを判断する。例えば、判断部４１は、閾値をもち、閾値と比較することにより補正対象画像の有無を判断することができる。具体的には、判断部４１は、上記の平均値や分散値が閾値を超える画像を補正対象画像と判断し、その画像がある場合に補正対象画像があると判断することができる。

画像決定部４２は、判断部４１により補正対象画像があると判断された場合に、演算部４０により算出された評価値に基づき、複数の画像の中から補正を行う際の基準となる補正基準画像を決定する。補正基準画像は、複数の画像の補正対象画像を除いた画像の中から選択することができ、例えば、補正対象画像と結合する画像であって、補正対象画像ではない画像を、補正基準画像として決定することができる。上記の全天球撮像カメラ１０の場合は、一方が補正対象画像であれば、他方の画像を補正基準画像として決定することができる。

画像補正部４３は、画像決定部４２により決定された補正基準画像に基づき、補正対象画像を補正する。画像補正部４３は、補正基準画像の輝度や色に近づけるように、補正対象画像の輝度や色を補正する。この補正により、結合する複数の画像の輝度の差や色差を低減することができる。

図１１を参照して、画像処理システムが実行する処理について説明する。画像処理システムは、２つの撮像素子１３、１４が撮像した２つの魚眼画像の入力を受け付けることにより、ステップ１１００から処理を開始する。ステップ１１１０では、演算部４０が、２つの魚眼画像の各重複領域内の１以上の画素の画素値を用いて各画像を評価するための評価値を算出する。

ステップ１１２０では、判断部４１が、演算部４０が算出した評価値に基づき、２つの魚眼画像の中にフレアが発生した画像（フレア画像）があるか否かを判断する。ステップ１１２０で、フレア画像がある場合はステップ１１３０へ進み、ない場合はステップ１１５０へ進み、この処理を終了する。

ステップ１１３０では、画像決定部４２が、フレアが発生していない画像を、補正基準画像と決定し、画像補正部４３が、ステップ１１１０で算出した評価値を用い、フレア画像を補正するための補正値をマップした補正マップを作成する。ステップ１１４０では、画像補正部４３が、作成した補正マップを用いてフレア画像を補正する。補正が終了した後、ステップ１１５０へ進み、この処理を終了する。

図１１に示すステップ１１１０の評価値の算出について、図１２を参照して説明する。評価値は、重複領域内の１以上の画素の画素値を用いて算出することから、図１２（ａ）の縦縞で示される重複領域３０内の１以上の画素の画素値を取得する必要がある。その１つの方法を以下に説明する。なお、この方法は一例であるため、評価値を算出することができれば、いかなる方法でも使用することができる。

最初に、図１２（ａ）に示すように、入力された２つの魚眼画像の各々を、予め決定された数のそれぞれが同じサイズの矩形からなる複数の評価領域に分割する。例えば、各魚眼画像のサイズが１９５２(pix)×１９３２(pix)である場合、４８×４８に分割することができる。この分割数は一例であるため、試験等により最適な分割数を決定し、その分割数を採用することができる。画像処理システムは、このような分割を行うための機能部として、複数の評価領域に分割する領域分割部を備えることができる。

次に、図１２（ｂ）に示すように、縦縞で示される重複領域３０内に、領域全部が含まれる評価領域を、重複領域３０に対応する評価領域として検出する。図１２（ｂ）では、検出した評価領域３５が灰色で示されている。画像処理システムは、この検出を行うための機能部として、領域検出部を備えることができる。

検出された評価領域３５は、複数の画素により構成される。各画素は、画素値を有している。評価値は、各評価領域３５につき、画素値を合計してその数で除して平均値を求め、各評価領域につき求めた平均値を合計してその数で除して平均値を求めることにより算出することができる。また、評価値は、各評価領域につき求めた平均値を用い、その分散値を求めることにより算出することができる。したがって、評価値としては、上記の平均値あるいは分散値を用いることができる。画像処理システムは、評価領域の平均値を算出するための平均値算出部を、機能部として備えることができる。

図１に示す構造の全天球撮像カメラ１０で撮像する場合、３６０°撮像するため、撮像ＳＷ１５を押下する撮影者の指が大きく写り込んでしまうときがある。この場合、重複領域３０において一方は指の画像があり、他方は指の画像がないことになる。この指の画像の有無によって算出される平均値や分散値は大きく変わってくるので、その部分の画像は、評価値の算出において採用しないほうが望ましい。

そこで、指の写り込みが予想される重複領域３０の下側１／４の領域は、不要領域として設定し、その他の重複領域３０内に含まれる評価領域のみを、重複領域３０に対応する評価領域３５として検出することができる。ここでは、重複領域の下側１／４の領域を、不要領域として設定したが、これに限られるものではなく、１／５以下や１／３以上の領域を不要領域としてもよいし、その他の領域を不要領域に追加してもよい。

このように不要領域を設定し、指等の障害物を評価対象から除くことで、フレア画像と補正基準画像との相関性の高い評価領域のみを使用して平均値や分散値を求めることができる。

図１１に示すステップ１１２０のフレア画像の有無の判断について、図１３を参照して説明する。この処理は、評価値を算出したことを受けて、ステップ１３００から開始する。ステップ１３１０では、評価値として算出された、重複領域に対応する評価領域のすべての平均値を平均して、その平均値を算出する。この処理は、繋ぎ合わせる画像毎に行う。したがって、２つの画像を繋ぎ合わせる場合は、２つの画像の各々につき平均値を算出する。

ステップ１３２０では、繋ぎ合わせる画像の間で算出した平均値を比較する。ここでは、平均値の差分の絶対値を算出し、平均値が最小の画像を抽出する。そして、これらの情報を比較結果として出力する。例えば、画像１と画像２とを繋ぎ合わせる場合、その平均値をAVE_1とAVE_2とすると、比較結果は、|AVE_1-AVE_2|と、AVE_1>AVE_2のとき画像２、AVE_1<AVE_2のとき画像１となる。

ステップ１３３０では、比較結果の差分の絶対値が、予め設定された閾値Ｔより大きいか否かを判断する。大きい場合は、輝度値等の差が大きいことから、ステップ１３４０へ進み、フレアが発生し、その画像はフレア画像であると判断する。これに対し、小さい場合は、その差が小さいことから、ステップ１３５０へ進み、フレアが発生しておらず、フレア画像ではないと判断する。この判断が終了したところで、ステップ１３６０へ進み、この処理を終了する。

なお、ステップ１３２０で比較し、抽出した平均値が最小の画像を、フレアが発生していない画像であって、補正基準画像として定めることができる。基本的に、同時露光により撮像した場合、重複領域は同じ被写体の画像が同じ明るさで撮像されるはずである。しかしながら、一方の画像でフレアが発生している場合、重複領域の上記平均値が高くなるため、上記のように閾値を設け、その閾値より大きいとき、フレア画像と判断することができる。また、平均値が最小の画像では、フレアが発生していない可能性が高いことから、補正基準画像として使用することができる。

図１１に示すステップ１１３０の補正マップの作成について、図１４を参照して説明する。フレア画像があると判断されたことを受けて、ステップ１４００からこの処理を開始する。ステップ１４１０では、補正を除外する領域を指定する補正除外マップを作成する。補正除外マップは、補正対象画像を構成する複数の画素の各画素値に基づき判定された補正対象画像内の補正を行わない補正除外領域に含まれる評価領域に対応する位置のブロックに、補正除外する値を格納したものである。なお、それ以外のブロックには補正除外しない値が格納される。画像処理システムは、この補正除外マップを作成するために、補正除外領域を判定するための領域判定部を、機能部として備えることができる。

フレアが発生していない平均値が最小の画像に基づき、フレアが発生している画像を補正する場合、そのフレアが発生している画像全体を補正することになる。画像全体に対して補正を行うと、全体的に輝度が低下し、色が変化することになる。すると、画像を結合した場合に目で見て不自然な画像になることがある。例えば、光源の実際の輝度や色は、フレアが発生している画像における輝度や色であるにもかかわらず、補正によってその輝度が低下し、その色も暗い色になる。そこで、光源のように補正しないほうが良い被写体の画像に対しては、補正しないようにするため、補正除外マップを作成する。

ステップ１４２０では、重複領域に対応する評価領域の平均値や分散値といった評価値から、重複領域の補正量を算出する。補正量は、どの程度輝度値を低下させたら良いか、どの程度色を変化させたら良いかを数値で表したものである。ステップ１４３０では、ステップ１４２０で算出した補正量を基に、補正対象画像、すなわちフレアが発生している画像全体の補正量を、補間処理により算出し、算出した補正量を用いて補正マップを作成する。補正マップは、算出した各補正量を、補正対象画像の各評価領域に対応する位置のブロックに格納したものである。

ステップ１４４０では、ステップ１４３０で作成した補正マップに対し、ステップ１４１０で作成した補正除外マップを適用し、補正マップを修正する。そして、ステップ１４５０では、補正マップ内の補正値に、極端に高い値や低い値が存在する場合、それらの値を平準化する平準化処理、すなわちローパスフィルタ(LPF)処理を行う。ＬＰＦとしては、ガウシアンフィルタを用いることができる。

ＬＰＦ処理は、１回に限らず、複数回行ってもよい。ただし、回数が多いと、補正除外した画像に対する補正値が大きく変化し、補正除外した意味がなくなってしまうことから、その回数は少ないほうが好ましい。図１４に示す実施形態では、ステップ１４６０に示すように２回としている。画像処理システムは、この平準化処理を実施するための機能部として、平準化処理部をさらに備えることができる。

ステップ１４６０ではＬＰＦ処理を２回実施したかを判断する。２回実施していない場合は、ステップ１４４０へ戻り、２回実施した場合は、ステップ１４７０へ進む。ステップ１４７０では、補正マップのリサイズ処理を行う。リサイズ処理は、補正マップが有する評価領域の数を、補正対象画像の画素数へ変更する処理である。このため、画像処理システムは、サイズ変更処理部を機能部として備えることができる。

ステップ１４４０までに生成される補正マップは、図１２に示すように、魚眼画像を水平方向および垂直方向に分割した分割数のサイズとされている。すなわち、４８×４８に分割されていれば、４８×４８のサイズである。実際の魚眼画像は、上記の例では１９５２(pix)×１９３２(pix)のサイズであるため、リサイズ処理では、４８×４８から１９５２×１９３２へサイズを変更する処理を行う。このリサイズ処理が終了したところで、ステップ１４８０へ進み、この処理を終了する。

リサイズの方法としては、これまでに知られたいかなる方法でも使用することができる。例えば、バイリニア、ニアレストネイバー、バイキュービック等の方法を使用してサイズを変更することができる。

図１４に示すステップ１４１０の補正除外マップの作成方法を、図１５を参照して説明する。図１５では、図１５（ａ）に示すように、光源５０が写り込んだ画像において、この光源５０の画像を、補正を除外する被写体の画像とする。まず、図１５（ｂ）に示すように、画像を複数の評価領域に分割し、各評価領域の平均値や分散値を算出し、評価領域ごとに補正除外領域か否かを判断する。なお、この判断を、上記の領域判定部で行うことができる。

補正除外領域の条件は、「高輝度かつ無彩色」または「高輝度かつ輝度の最大値が閾値以上」とすることができる。「高輝度かつ無彩色」を条件１とすると、高輝度は、輝度値が０〜２５５の場合、例えば２００以上とすることができ、無彩色は、色差値が−１２７〜１２７の場合、例えば−１〜１とすることができる。「高輝度かつ輝度の最大値が閾値以上」を条件２とすると、高輝度は、輝度値が０〜２５５の場合、例えば２３０以上とすることができ、閾値としては、輝度値が０〜２５５の場合、例えば２５０とすることができる。これらの数値は一例を示したものであり、本発明はこれらの数値に限定されるものではない。

補正除外領域の条件は、上記条件１と条件２の両方で判断することが望ましい。１つの評価領域全体が均一な輝度や色を有している場合、条件１のみで判断することができる。しかしながら、１つの評価領域内に光源５０等の高輝度の被写体と、木の枝等の低輝度の被写体が存在する場合、条件１に適合しなくなるため、光源５０の画像が補正され、光源５０が暗く不自然な画像になってしまうからである。この条件２を含めることで、このような光源５０と木の枝等を含む画像も、補正除外領域として適切に抽出することができる。

図１５（ｂ）ではこれらの条件に適合する領域として、８つの領域５１が抽出されている。補正除外マップは、補正対象画像を複数の評価領域に分割した際のフォーマットと同様のフォーマットをもつ。補正除外マップは、図１５（ｃ）に示すように、条件に適合する評価領域に対応する位置のブロックに補正除外する値である「１」が格納される。条件に適合しない評価領域に対応する位置のブロックには補正除外しない値である「０」が格納される。

図１４に示すステップ１４２０の補正量の算出方法を、図１６を参照して説明する。図１６（ａ）は、フレア画像と、基準画像とを示した図で、図１６（ｂ）は、図１６（ａ）中、破線で示された重複領域３０に含まれる評価領域３５を拡大して示した図である。繋ぎ位置に対応する評価領域３５は、同じ符号で示された領域となる。すなわち、図１６（ｂ）のフレア画像から抽出された左図の符号ａで示された評価領域と、基準画像から抽出された右図の符号ａで示された評価領域とが繋ぎ合わせる領域となる。これは、全天球撮像カメラ１０が表裏を同時に撮像するため、重複領域内の同じ画像は１８０°回転した位置となるからである。

繋ぎ合わせる際、符号ａで示された２つの評価領域の値は、一方はフレアが発生しているため、高い値を示し、他方はフレアが発生していないため、それより低い値を示す。このため、同じ値にするべく、補正をしなければならない。その補正に用いる補正量ｃは、下記式２または式３により算出することができる。式２中、Ｅ_ｂは、補正基準画像としての基準画像の評価値を示し、Ｅ_ｔは、補正対象画像、すなわちフレア画像の評価値である。

補正量ｃは、上記式２および式３のいずれの式を用いて算出してもよい。算出した補正量ｃは、フレア画像の対応する評価領域の値として格納される。したがって、図１６（ｂ）に示す符号ａについての補正量ｃを算出した場合、その補正量ｃが符号ａの値として格納される。

図１４に示すステップ１４３０の補正量の補間処理について、図１７を参照して説明する。重複領域の補正量ｃは、上記式２または式３を用いて算出される。重複領域の内側については、重複領域内の複数の評価領域３５につき算出された補正量を用い、図１７（ａ）の矢線に示すように画像の中心へ向けて補正量を補間し、内側の各評価領域の補正量を決定する。詳細な方法については後述する。

重複領域の外側については、後のステップ１４５０でＬＰＦ処理を実施することから、ＬＰＦ処理を実施しても重複領域の補正量に大きな変化が出ない補正量を設定する必要がある。そこで、例えば、図１７（ｂ）に示すように、評価領域ｘで示される領域は、それぞれ１つ上の評価領域の補正量と同じ補正量とし、評価領域ｙで示される領域は、それぞれ１つ左の評価領域の補正量と同じ補正量とする。なお、どの評価領域の補正量を使用するかは、予め設定により決定することができる。

図１４に示すステップ１４４０の補正マップの修正について、図１８を参照して説明する。図１８（ａ）は、図１４に示す処理により作成した補正マップの一部を示した図で、図１８（ｂ）は、図１５（ｃ）に示す補正除外マップの一部を示した図である。図１８（ａ）に示す補正マップは、上記式２の評価値の比率を補正量とし、それを各評価領域の補正量として格納したものである。

図１８（ａ）に示す補正マップの修正は、図１８（ｂ）に示す補正除外マップを参照し、対応する評価領域における補正除外マップの補正量が「0」の場合、その評価領域については修正を行わない。これに対し、補正除外マップの補正量が「1」の場合、その補正量に対して補正が施されないような値に変更する。図１８（ｂ）を参照すると、座標(x3,y2)、(x3,y3)、(x4,y2)の評価領域に補正量１の値が格納されているため、補正マップの同じ位置にあるブロックの値を「1.00」に置換し、補正マップを修正する。これにより、その補正除外領域については、補正の効果を弱めるように補正マップを修正することができる。

フレア画像の補正は、図１４に示す処理でリサイズ処理が実施された後の補正マップを用いて実施される。補正マップは、リサイズ処理によりフレア画像と同じ画素数の画像サイズとなっている。補正マップに、式２により算出された評価値の比率を用いて決定された各画素の補正量が格納されている場合、フレア画像内の各画素の画素値に、対応する各画素の補正量を乗算して、フレア画像内の各画素の画素値を補正する。補正マップに、式３により算出された評価値の差分を用いて決定された各画素の補正量が格納されている場合、フレア画像内の各画素の画素値から、対応する各画素の補正量を加算して、フレア画像内の各画素の画素値を補正する。

なお、モノクロ画像である場合、フレア画像に対する補正マップは１つとなるが、カラー画像の場合、フレア画像は３つのプレーンから構成されるため、補正マップは３つとなる。すなわち、カラー画像がＲＧＢ画像であれば、フレア画像は、赤、青、緑の３つの色のプレーンから構成され、各プレーンを補正するための３つの補正マップが作成され、フレア画像を補正するために使用される。

このようにフレア画像を補正することができるので、結合した場合の輝度の差や色差を低減することができる。また、光源等を補正除外し、光源等に対して補正を実施しないようにすることができるので、光源が暗くならず、色の飽和部の色ずれを防止することができる。さらに、補正マップにＬＰＦを施し、平準化処理を実施することで、補正量の急激な変化をなくし、補正を除外した光源とその周辺との画素値の変化を緩和し、不自然な補正がかからないようにすることができる。

図１３に示したステップ１３１０の重複領域の平均値を算出する処理の別の例を、図１９を参照して説明する。図１３では、重複領域内の評価領域すべてを用いて平均値を算出したが、図１９に示す例では、予め条件を設定し、評価領域を分別して平均値を算出する。具体的には、処理に入る前に、予め評価領域の平均値に対して閾値（上限Ｔ_ｕｐ、下限Ｔ_ｄｗ）を設け、その値を上限値および下限値として設定しておく。

ステップ１９００からこの処理を開始し、ステップ１９１０では、評価領域の１つを任意に選択し、その評価領域が重複領域内にあるか否かを判断する。評価領域は、例えば、画像の左上隅にある評価領域から順に選択することができる。これは一例であるので、これ以外の方法で選択することも可能である。

評価領域が重複領域内にない場合、ステップ１９２０へ進み、その評価領域の平均値は積算除外となる。すなわち、その平均値は積算しない。これに対し、重複領域内にある場合、ステップ１９３０へ進み、その評価領域の平均値が上限Ｔ_ｕｐより大きいかどうかを判断する。大きい場合は、ステップ１９２０へ進み、その評価領域の平均値は積算除外となる。同じか、または小さい場合は、ステップ１９４０へ進み、その評価領域の平均値が下限Ｔ_ｄｗより小さいかどうかを判断する。小さい場合は、ステップ１９２０へ進み、その評価領域の平均値は積算除外となる。同じか、または大きい場合は、ステップ１９５０へ進み、その評価領域の平均値を積算する。

ステップ１９２０で積算除外となった場合、ステップ１９５０で積算した場合、ステップ１９６０へ進み、全評価領域について終了したかどうかを判断する。まだ終了していない場合は、ステップ１９１０へ戻り、次の評価領域に対して同様の処理を行う。終了した場合は、ステップ１９７０へ進み、重複領域内にある評価領域の平均値を積算した値を、その評価領域の数で除して重複領域の平均値を算出し、ステップ１９８０でこの処理を終了する。

上限Ｔ_ｕｐ、下限Ｔ_ｄｗは、フレア画像の有無を判断する際の影響を考慮し、積算を除外したい評価領域を適切に除外できるように決定することができる。

図１３に示したステップ１３１０の重複領域の平均値を算出する処理のさらに別の例を、図２０を参照して説明する。図１９では、閾値として上限Ｔ_ｕｐ、下限Ｔ_ｄｗを設けたが、図２０に示す例では、一致度（マッチング度）と呼ばれる指標の閾値を設定し、マッチング度に基づき、積算する評価領域か、積算除外する評価領域かを判断する。なお、マッチング度は、補正基準画像の重複領域に含まれる各評価領域の画像と、補正対象画像であるフレア画像の重複領域に含まれる各評価領域の画像との一致する度合いを表す指標である。画像処理システムは、マッチング度を算出するための一致度算出部を、機能部として備えることができる。

ステップ２０００からこの処理を開始し、ステップ２０１０では、評価領域が重複領域内にあるか否かを判断する。重複領域内にない場合、ステップ２０２０へ進み、その評価領域の平均値は積算除外となる。重複領域内にある場合、ステップ２０３０へ進み、その評価領域のマッチング度を算出する。マッチング度およびその算出方法については後述する。ステップ２０４０では、算出したマッチング度が、予め設定した一致度閾値であるマッチング度の閾値Ｔ_ｍより小さいかどうかを判断する。

大きい場合は、ステップ２０２０へ進み、その評価領域の平均値は積算除外となる。同じか、または小さい場合は、ステップ２０５０へ進み、その評価領域の平均値を積算する。ステップ２０２０で積算除外となった場合、ステップ２０５０で積算した場合、ステップ２０６０へ進み、全評価領域について終了したかどうかを判断する。まだ終了していない場合は、ステップ２０１０へ戻り、次の評価領域に対して同様の処理を行う。終了した場合は、ステップ２０７０へ進み、重複領域内にある評価領域の平均値を積算した値を、その評価領域の数で除して重複領域の平均値を算出し、ステップ２０８０でこの処理を終了する。

図２１を参照して、図２０で使用されるマッチング度およびマッチング度の算出方法について説明する。繋ぎ位置と評価領域との関係は、図１６に示した通りであるが、評価領域は、画像を水平方向および垂直方向に均等に分割しているため、繋ぎ位置と評価領域は完全に一致していない。

例えば、図２１に示すように、評価領域３５を灰色で示した領域とし、その領域の中心の座標をＯ_１、Ｏ_２とする。そして、テンプレートマッチング等により検出した繋ぎ位置をＰ_１、Ｐ_２とし、その繋ぎ位置を中心とした評価領域と同じサイズの破線で示す領域を繋ぎ領域３６と定義する。

繋ぎ領域３６に含まれる被写体の画像は、フレア画像と基準画像で等しくなる。評価領域３５の中心Ｏ_１と繋ぎ領域３６の中心Ｐ_１、評価領域３５の中心Ｏ_２と繋ぎ領域３６の中心Ｐ_２がそれぞれ一致する場合、評価領域３５と繋ぎ領域３６は一致するため、評価領域３５の被写体の画像は一致する。

しかしながら、中心の座標のいずれかが一致しない場合、評価領域３５の被写体の画像は一致しない。空や平坦な壁等の変化が少ない被写体の画像であれば、被写体の画像が完全に一致していなくても、評価値への影響は少ない。反対に、その変化が大きい被写体の画像の場合は、少しのずれで明るさや色味が異なり、評価値への影響が大きい。そこで、マッチング度という指標を用い、評価領域３５の被写体の画像が一致しているかどうかを判定している。

マッチング度は、評価領域３５毎に算出する分散値を用い、下記式４または式５により算出することができる。式４中、ｍはマッチング度、σ_１はフレア画像の分散値、σ_２は基準画像の分散値である。また、式５中、ｖ_１はフレア画像の輝度値、ｖ_２は基準画像の輝度値である。

上記式４におけるマッチング度ｍは、フレア画像と基準画像の間の分散値の差分の絶対値により定義している。このため、通常はマッチング度が大きいほど被写体の画像が一致するが、この場合は、マッチング度が小さいほど被写体の画像が一致していることを示す。なお、被写体の画像の変化が大きい場合、分散値が大きくなり、被写体の画像の変化が小さい場合、分散値が小さくなる傾向がある。このことから、変化が大きい被写体の画像は少しのずれでもマッチング度への影響が大きく、反対に、変化が小さい被写体の画像は大きいずれでもマッチング度への影響は小さい。

なお、マッチング度を算出するために使用する画素値は、すべての画素の画素値を用いてもよいが、すべての画素値を用いると計算コストがかかることから、画像の明るさに影響がある画素値のみを用いることが好ましい。このような画素値としては、ＲＧＢ画像であればＧの値、ＹＣｂＣｒ画像であればＹの値を挙げることができる。

上記式５では、分散値を用いず、輝度値のみで算出することを示している。式５におけるマッチング度ｍは、輝度値の差分の絶対値で定義するため、式４と同様、マッチング度が小さいほど被写体の画像が一致していることを示す。

図１７に示す補正量の補間方法の１つの例を、図２２を参照して説明する。図２２（ａ）に灰色で示す重複領域３０内にある複数の評価領域３５の平均値を平均し、重複領域の平均値を算出する。その算出した平均値を、重複領域３０内側の中心の斜線で示す部分の補正量とする。

図２２（ｂ）に示すように、中心Ｃ、中心Ｃから重複領域に向けて水平方向および垂直方向に延ばした交点の重複領域Ｏ、その間の算出対象の領域Ｔとし、それらの補正量をｒ_ｃ、ｒ_ｏ、ｒ_ｔとする。また、中心Ｃと領域Ｔとの間の距離をｄ_１、領域Ｔと重複領域Ｏとの間の距離をｄ_２とする。すると、領域Ｔの補正量ｒ_ｔは、距離を重みとした加重平均により算出される下記式６で表すことができる。

上記式６を用いて、図２２（ｂ）の中心Ｃから重複領域に向けて垂直方向および水平方向に延びる各領域の補正量を算出する。図２２（ｃ）の補正量が算出された灰色で示される算出領域と重複領域との間の白色で示される領域の補正量は、それらの間の距離に応じた加重平均により算出することができる。算出する領域をＴ、領域Ｔから垂直方向上側に延ばしたときの算出領域との交点をＨとする。また、垂直方向下側に延ばしたときの重複領域との交点をＯ_１、領域Ｔから水平方向右側に延ばしたときの算出領域との交点をＶ、水平方向左側に延ばしたときの重複領域との交点をＯ_２とする。領域Ｔと領域Ｖとの距離をｄ_ｈ１、領域Ｔと領域Ｏ_２との距離をｄ_ｈ２、領域Ｔと領域Ｈとの距離をｄ_ｖ１、領域Ｔと領域Ｏ_１との距離をｄ_ｖ２とする。また、領域Ｔ、Ｈ、Ｖ、Ｏ_１、Ｏ_２のそれぞれの補正量をｒ_ｔ、ｒ_ｈ、ｒ_ｖ、ｒ_ｏ１、ｒ_ｏ２とする。すると、領域Ｔの補正量ｒ_ｔは、下記式７により算出することができる。

上記式６および式７を用いて、重複領域内側の評価領域すべての補正量を算出することができる。

図２２に示した補正量の補間方法では、特定の方向によらず、均等に補間している。繋ぎ合わせる画像で重複領域に同じ被写体の画像がある場合は問題が生じないが、障害物があって被写体の画像が異なる場合に、このような均等な補間では問題が生じる。例えば、被写体として一方の画像にのみ上記の指が写っている場合である。このような場合、均等に補間処理を行うことができないため、この例のように、特定の方向から順に補間処理を実施する。この方法を、図２３を参照して説明する。

図２３（ａ）に示すように、例えば、重複領域内の３つの評価領域Ｏ_１、Ｏ_２、Ｏ_３を用い、重複領域の垂直方向の最上部の１段下の領域から順に下方向へ向けて補正量を算出する。最初に、図２３（ａ）に示す重複領域内の最上部の評価領域に接する重複領域内側の領域Ｔ_１を、補正量を算出する対象の領域とする。その補正量は、領域Ｔ_１の１段上の重複領域内側に接する評価領域Ｏ_１、領域Ｔ_１の左右の重複領域内側に接する評価領域Ｏ_２、Ｏ_３の補正量ｒ_１、ｒ_２、ｒ_３と、領域Ｔ_１と領域Ｏ_２の距離ｄ_１、領域Ｔ_１と領域Ｏ_３の距離ｄ_２を用いて算出する。この補正量ｒ_ｔ１は、下記式８を用いて算出することができる。

上記式８を用いて、図２３（ｂ）に示す領域Ｔ_１の左右の水平方向にある重複領域内側のすべての領域について補正量を算出する。次に、その１段下の重複領域内側の領域Ｔ_２の補正量ｒ_ｔ２を算出する。この補正量ｒ_ｔ２は、領域Ｔ_２の１段上の領域Ｐの補正量ｒ_ｐ、その水平方向の重複領域内側に接する評価領域Ｏ_４、Ｏ_５の補正量ｒ_４、ｒ_５と、領域Ｔ_２と領域Ｏ_４の距離ｄ_３、領域Ｔ_２と領域Ｏ_５の距離ｄ_４を用いて算出する。この補正量ｒ_ｔ２は、下記式９により算出することができる。これを垂直方向の下方向へ向けて繰り返し算出することで、重複領域内側の全ての領域の補正量を算出することができる。

重複領域内の評価領域に極端に大きい、または小さい補正量を有するものがある場合、補間によってその補正量が全体に広がり、結果として不自然な画像になることがある。

図１４に示すステップ１４１０の補正除外マップの作成において、補正除外領域となったブロックの平均座標値を算出すると、その平均座標値をその補正除外領域の中心として求めることができる。求めた中心を含む所定の領域（中心領域）に対して補正を行わないように補正量を設定し、その中心領域に向けて、補間処理を実施すれば、極端に大きい、または小さい補正量が波及するのを最小限に留めることができる。

図２４に示すように、補正除外領域の中心領域が斜線で示される領域であった場合、その領域を補間基準領域とし、周囲の重複領域からその補間基準領域へ向けて重複領域内側の評価領域の補正量を補間により算出する。補正量は、上記式６、式７に示した加重平均を用いて算出することができる。なお、式８、式９を用いて算出してもよい。

図２４では、重複領域内側の評価領域の補正量を、補間基準領域に向けて四方から補間により算出しているが、特定の方向に特化して補間により算出してもよい。特定の方向に特化して算出すべき場合としては、重複領域に障害物がある場合や均等な補間では問題が生じる場合等である。図２５に示す斜線の領域は、補間基準領域６０が垂直方向に延び、その補間基準領域６０には補正が施されないような値が格納されている。このため、重複領域の内側領域は、補間基準領域６０により２つに分けられており、分けられた領域毎に上記式６、式７に示した加重平均により補正量を算出することができる。なお、式８、式９を用いて算出してもよい。

マッチング度が高い重複領域は、同じ被写体の画像が含まれるため、繋ぎ合わせる際の信頼性が高い。反対に、マッチング度が低い重複領域は、異なる被写体の画像が含まれるため、繋ぎ合わせる際の信頼性が低い。このため、マッチング度が低い重複領域では、補正量を算出したとしても誤った値が算出される可能性が高い。

図２６を参照して、マッチング度を用いて重複領域の補正量を補正する処理について説明する。この補正は、図１４に示すステップ１４２０の重複領域の補正量を算出後に行うことができる。処理を開始する前に、マッチング度に対して閾値Ｔ_ｍを設け、その値を設定しておく。

ステップ２６００からこの処理を開始し、ステップ２６１０では、評価領域が重複領域内にあるか否かを判断する。重複領域内にない場合、その評価領域に対しては補正量の補正は行わず、ステップ２６５０へ進む。重複領域内にある場合、ステップ２６２０へ進み、その評価領域のマッチング度を参照する。なお、マッチング度が算出されていない場合は、上記の方法によりマッチング度を算出する。

ステップ２６３０では、参照したマッチング度が、予め設定したマッチング度の閾値Ｔ_ｍより大きいかどうかを判断する。小さい場合は、その評価領域に対しては補正量の補正は行わず、ステップ２６５０へ進む。これに対し、大きい場合は、ステップ２６４０へ進み、その評価領域の補正量を補正する。補正は、その評価領域の補正量を、補正が施されないような値に補正する。具体的には、補正量が上記の評価値の比率で表される値である場合、補正量は「1.0」に補正し、上記の評価値の差分で表される値である場合、補正量は「0」に補正する。

ステップ２６５０では、全評価領域に対して処理が終了したかを判断する。まだ終了していない場合は、ステップ２６１０へ戻り、次の評価領域に対して同様の処理を行う。終了した場合は、ステップ２６６０へ進み、この処理を終了する。

図１４に示すステップ１４２０の重複領域の補正量の算出において、意図しない補正量が算出される場合がある。例えば、繋ぎ合わせる重複領域で同じ被写体の画像がない場合や、明るさが極端に異なる場合である。このような場合でも、極端に大きい、または小さい補正量とならないように所定の範囲内の補正量とすべく、補正量に対して制限処理を行うことができる。

図２７を参照して、その制限処理について説明する。この制限処理は、図１４に示すステップ１４２０の重複領域の補正量の算出後、またはステップ１４３０の補間処理による補正量の算出後に実行することができる。制限処理を開始する前に、フレア画像の画素値と制限処理の閾値との関係を示す閾値テーブルを作成しておく。

閾値テーブルは、例えば、図２８（ａ）、（ｂ）に示すようなグラフ、あるいはそれらを数値として保持する表とすることができる。図２８（ａ）は、補正量が評価値の比率の場合のテーブルを示し、図２８（ｂ）は、補正量が評価値の差分の場合のテーブルを示している。閾値テーブルでは、フレア画像の画素値としての信号量に対応した上限Ｔ_ｕｐと下限Ｔ_ｄｗの閾値が定められている。

図２８（ａ）における上限Ｔ_ｕｐ、下限Ｔ_ｄｗは、フレア画像の信号量ｓ、補正を許容する信号量ａとすると、下記式１０、１１で表すことができる。

図２８（ｂ）における上限Ｔ_ｕｐ、下限Ｔ_ｄｗは、フレア画像の信号量ｓ、補正を許容する信号量ａとすると、下記式１２、１３で表すことができる。

ステップ２７００からこの処理を開始し、ステップ２７１０では、評価領域が重複領域内にあるか否かを判断する。重複領域内にない場合、その評価領域に対しては補正量の補正は行わず、ステップ２７５０へ進む。重複領域内にある場合、ステップ２７２０へ進み、図２８に示した閾値テーブルを参照し、補正量の閾値であるＴ_ｕｐ、Ｔ_ｄｗを取得する。Ｔ_ｕｐ、Ｔ_ｄｗは、上記式１０、１１または上記式１２、１３を用いて算出することができる。

ステップ２７３０では、その評価領域の補正量が閾値テーブルの上限Ｔ_ｕｐより大きいか、または下限Ｔ_ｄｗより小さいかどうかを判断する。上限Ｔ_ｕｐより大きいか、または下限Ｔ_ｄｗより小さい場合、その評価領域の補正量に対しては制限処理を実行せず、ステップ２７５０へ進む。これに対し、上限Ｔ_ｕｐと同じか、小さく、下限Ｔ_ｄｗと同じか、大きい場合は、ステップ２７４０へ進み、その評価領域の補正量に対して制限処理を実行する。

制限処理は、その評価領域の補正量を、補正が施されないような値に補正する。具体的には、補正量が上記の評価値の比率で表される値である場合、補正量は「1.0」に補正し、上記の評価値の差分で表される値である場合、補正量は「0」に補正する。

ステップ２７５０では、全評価領域に対して処理が終了したかを判断する。まだ終了していない場合は、ステップ２７１０へ戻り、次の評価領域に対して同様の処理を行う。終了した場合は、ステップ２７６０へ進み、この処理を終了する。

以上のことから、本発明は、画像にフレアが発生していても、適切に補正を行うことができる。その際、フレア発生確率が最も低い画像を補正基準画像とし、その他の画像を補正することができる。また、通常におけるマッチング度が低い平均値（上記式４および式５で算出されるマッチング度の場合は高い平均値）を積算しないので、フレア画像と補正基準画像の相関性が高い平均値のみを使用して重複領域の平均値を算出できる。光源等の極端に明るい被写体や極端に暗い被写体が入った場合でも、それらの平均値は除外して重複領域の平均値を算出するので、重複領域の平均値算出への影響を少なくすることができる。

制限処理を実施することで、極端に補正量が大きくなる場合にその補正量で補正されないようにすることができ、平準化処理を実施することで、部分的に極端な補正がかからないようにすることができる。また、補正マップに対してリサイズ処理を実施することで、画素単位の演算で補正が可能となり、補正マップの複雑な変換が必要なくなる。加重平均を用いて評価領域全体に対して補正量を算出することで、補正により画像内に輝度の差や色差といった信号段差が発生せず、自然な補正が可能となる。上記の比率や差分により補正量を算出するので、補正したときに信号段差が発生することがない。

これまで本発明を、画像処理システム、画像処理方法として上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。本発明は、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、画像処理方法をコンピュータに実行させるためのプログラムやそのプログラムが記録された記録媒体、そのプログラムを、ネットワークを介して提供するサーバ装置等も提供することができるものである。

１０…全天球撮像カメラ、１１、１２…魚眼レンズ、１３、１４…撮像素子、１５…撮像ＳＷ、２０…コントローラ、２１…ＳＤＲＡＭ、２２…外部記憶装置、２３…ＣＰＵ、２４…ＲＯＭ、２５…ＳＲＡＭ、２６…画像処理ブロック、２７…ＳＤＲＡＭ Ｉ／Ｆ、２８…外部記憶Ｉ／Ｆ、２９…バス、３０…重複領域、３１、３２…画像、３４…テンプレート画像、３５…評価領域、３６…繋ぎ領域、４０…演算部、４１…判断部、４２…画像決定部、４３…画像補正部、５０…光源、５１…領域、６０…補間基準領域

特許第４７３９１２２号公報

Claims (6)

1. 重複する画像領域を重複領域として含む複数の画像に対して画像処理を行い、前記複数の画像から全天球画像を生成する画像処理システムであって、
   前記画像処理システムは、
   各画像の前記重複領域内の画像に基づき、前記複数の画像の中に補正を行う画像があるか否かを判断することを特徴とする、画像処理システム。
2. 前記補正を行う画像の複数の画素の各画素値に基づき、該補正を行う画像内の補正を行わない補正除外領域を判定し、
   前記補正除外領域を除く画像領域を補正する、請求項１に記載の画像処理システム。
3. 前記複数の画像の各々を複数の評価領域に分割し、
   分割された各前記評価領域につき、前記複数の画像の中に補正を行う画像があるか否かを判断することを特徴とする、請求項１または２に記載の画像処理システム。
4. 複数の撮像素子と、前記複数の撮像素子により撮像された重複する画像領域を重複領域として含む複数の画像に対して画像処理を行う画像処理システムとを含む撮像装置であって、前記画像処理システムが、
   各画像の前記重複領域内の画像に基づき、前記複数の画像の中に補正を行う画像があるか否かを判断し、全天球画像を生成することを特徴とする、撮像装置。
5. 重複する画像領域を重複領域として含む複数の画像に対して画像処理を行い、前記複数の画像から全天球画像を生成する画像処理システムにより実行される画像処理方法であって、
   各画像の前記重複領域内の画像に基づき、前記複数の画像の中に補正を行う画像があるか否かを判断するステップを含む、画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータに実行させるためのプログラム。