JP7484242B2 - 画像処理装置、画像処理方法、撮像装置、画像処理システムおよびプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、撮像装置、画像処理システムおよびプログラムに関する。

従来、全方位を撮影する撮像装置においては、複数の広角レンズ（または魚眼レンズ）を用いて撮影し、複数の画像に対して歪み補正および射影変換を行い、各レンズにより撮影された部分画像を繋ぎ合わせて１枚の全天球画像とする処理が行われる。画像を繋ぎ合わせる処理においては、各部分画像の重複領域について、パターンマッチング手法などを用いて、撮影されている物体が重なる位置を検出し、画像を繋ぎ合わせる技術が既に知られている。

また、新しい画像処理技術が開発された場合に、既存の画像に対して事後的に画像補正処理を適用したい場合がある。また、撮像素子や光学系（レンズなど）の特性に応じて実施することが好ましい画像補正処理がある。

しかしながら、従来技術のシステムでは、一度画像が繋ぎ合わせられた後は、撮影に用いて光学系や撮像素子の情報をそのまま適用できないため、その画像から撮像素子や光学系に依存する画像補正技術を適切に適用することができなかった。また、繋ぎ合わせ後の画像に加えて、繋ぎ合わせ前の画像を併せて保存する手法も想定されるが、記憶容量が余分に必要となり、コストアップとなる可能性があった。

特開２００３－１９９０３４号公報（特許文献１）は、パノラマ画像を形成する目的で、複数個のスチル画像を格納する方法を開示する。特許文献１は、メモリ内に複数個のスチル画像を格納すること、および、現在の画像とメモリ内に格納されている前の画像との間のパノラマパラメータを計算しメモリ内に格納することを開示する。しかしながら、特許文献１は、複数の光学系とこれら複数の光学系に対応する撮像素子を用いて撮影した複数の画像を繋ぎ合わせて一つの画像を作成する点を開示するものではなく、画像が繋ぎ合わされた後、撮像素子や光学系など撮像手段に依存する画像補正技術を適用するという観点から開示を行うものではない。

本開示は、上記点に鑑みてなされたものであり、複数の撮像手段を用いて撮像された画像に対して、複数の撮像手段に応じた画像補正技術を適用することが可能な画像処理装置を提供することを目的とする。

本開示では、上記課題を解決するべく、下記特徴を有する画像処理装置を提供する。本画像処理装置は、第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、合成画像中の所定部分の撮像に用いられた撮像手段を判定する判定手段を含む。本画像処理装置は、さらに、判定手段の判定結果に基づいて、合成画像に対し画像補正を適用する補正手段を含む。

上記構成により、複数の撮像手段で撮影された画像に対して、複数の撮像手段に応じた画像補正技術を適用することが可能となる。

図１は、本実施形態による全天球カメラの断面図である。 図２は、（Ａ）本実施形態による全天球カメラおよび（Ｂ）他の実施形態によるユーザ端末装置のハードウェア構成を示す。 図３は、本実施形態による全天球カメラにおける画像処理パスを概略説明する。 図４は、本実施形態による全天球カメラ上に実現される画像繋ぎ処理および後続の画像補正処理に関連する主要な機能ブロックである。 図５は、本実施形態による全天球カメラにおける射影関係を説明する図である。 図６は、本実施形態で用いられる正距円筒射影画像（全天球画像）フォーマットの画像データのデータ構造を説明する図である。 図７は、本実施形態による位置検出用歪み補正部および画像合成用歪み補正部が参照する変換データを説明する図である。 図８は、本実施形態による位置検出処理の際における、２つの魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。 図９は、本実施形態によるテンプレート生成部によるテンプレート画像の生成方法を説明する図である。 図１０は、本実施形態における繋ぎ位置検出結果のデータ構造を示す図。 図１１は、本実施形態による画像合成処理の際における、２つの魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図。 図１２は、本実施形態における、画像データと関連付けて画像格納部２７０に格納された繋ぎ情報を説明する図である。 図１３は、本実施形態による補正テーブルを用いた画像補正方法を説明する図である。 図１４は、本実施形態による全天球カメラが実行する、事後的な画像補正処理を示すフローチャートである。 図１５は、本実施形態による全天球カメラが実行する座標変換処理を示すフローチャートである。 図１６は、本実施形態による全天球カメラが実行する、天頂補正されていない場合の回転変換について説明する図である。 図１７は、本実施形態による全天球カメラが実行する、天頂補正された場合の回転変換について説明する図である。 図１８は、本実施形態による全天球カメラが実行する繋ぎ変換について説明する図である。 図１９は、本実施形態による全天球カメラが実行する繋ぎ前画像の判定処理を説明する図である。 図２０は、本実施形態による全天球カメラが実行する繋ぎ前画像の座標値の取得処理を説明する図である。 図２１は、本実施形態による全天球カメラが実行する座標値補正処理を説明する図である。 図２２は、本実施形態による全天球カメラが実行する画素値取得および画素値補正の応用的な処理を説明する図である。 図２３は、本実施形態による全天球カメラが実行する、事後的な周辺光量補正処理を示すフローチャートである。 図２４は、特定の実施形態において、画像補正が周辺光量補正である場合の処理を説明する図である。 図２５は、本実施形態による全天球カメラが実行する、事後的なブレ補正処理を示すフローチャートである。 図２６は、ブレ補正におけるローリングシャッタの影響について説明する図である。 図２７は、特定の実施形態において、画像補正がローリングシャッタを考慮したブレ補正である場合の処理を説明する図である。 図２８は、特定の実施形態において記録される、変換情報のフォーマットの一例を示す図である。 図２９は、本実施形態における画像補正処理に関連するテーブル依存関係を説明する図である。 図３０は、本実施形態において再度画像補正する場合のテーブル依存関係を示す。 図３１は、本実施形態において行われる事後的な画像補正処理の流れのまとめを示す図である。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置、画像処理システムおよび撮像装置の一例として、２つの魚眼レンズ（広角レンズ）を備える全天球カメラ１１０を用いて説明する。なお、以下の実施形態では、２つの魚眼レンズとしているが、３つ以上の複数の魚眼レンズでもよい。
＜全天球カメラの構成＞

以下、図１および図２を参照しながら、本実施形態による全天球カメラ１１０の全体構成について説明する。図１は、本実施形態による全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた操作ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０は、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

図２（Ａ）は、本実施形態による全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ１３６と、ジャイロセンサ１３７とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、さらに、撮像素子１３０から取得された複数の画像を合成処理し、これにより、上述した全天球画像を生成する。

動画圧縮ブロック１１８は、ＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを生成するために用いられる。静止画圧縮ブロック１１９は、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）などの静止画圧縮および伸張を行うコーデック・ブロックである。静止画圧縮ブロック１１９は、生成された全天球画像の静止画データを生成するために用いられる。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ１３６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。ジャイロセンサ１３７は、３軸の角速度成分を検出し、検出された角速度成分は、全天球カメラ１１０の動きを検出してブレ補正を施すために用いられる。また、全天球カメラ１１０が加速度を伴って移動している場合は、加速度センサ１３６では鉛直方向を検出できないため、ジャイロセンサ１３７のデータも用いて鉛直方向を検出する。

全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８と、映像出力インタフェース１２９とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。

ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線モジュール１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、撮像した画像を外部ディスプレイなどに映像出力することができる。

電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。
＜画像繋ぎ処理および後続の画像補正処理を含む全体的な処理の流れ＞

以下、図３を参照しながら、全天球カメラ１１０における画像繋ぎ処理およびその後の画像補正処理について説明する。図３は、本実施形態による全天球カメラ１１０における画像処理フローを概略説明する図である。

部分画像取得処理２１０では、全天球カメラ１１０は、２つの撮像素子１３０Ａ，１３０Ｂを制御し、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球（全方位）のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれで撮像される各フレームの画像を部分画像と参照する。

取得された２つの部分画像間の繋ぎ位置を検出する繋ぎ位置検出処理２２０を実行する。繋ぎ位置検出処理２２０では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われ、繋ぎ位置検出結果が生成される。

繋ぎ位置検出処理２２０に引き続き、傾き検出処理２３０が実行される。傾き検出処理２３０では、全天球カメラ１１０は、図２（Ａ）に示した加速度センサ１３６およびジャイロセンサ１３７を制御し、所定の基準方向に対する全天球カメラ１１０の傾きを検出する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出処理２３０により、フレーム毎に、３軸加速度センサ１３６の各加速度成分および３軸ジャイロセンサ１３７の各角速度成分が測定され、傾き検出結果が生成される。

上述した繋ぎ位置検出処理２２０による繋ぎ位置検出結果および傾き検出処理２３０による傾き検出結果により、各フレームの複数の部分画像を合成するための繋ぎパラメータ２４０が構成される。

全天球カメラ１１０は、引き続き、得られた繋ぎパラメータ２４０に基づいて、部分画像取得処理２１０で取得された２つの部分画像を繋ぎ合わせる繋ぎ処理２５０を実行する。繋ぎ処理２５０では、繋ぎ位置検出結果に基づく繋ぎ位置で複数の部分画像の位置合わせが行われ、傾き検出結果に基づいて天頂補正が行われる。これにより、部分画像取得処理２１０で取得された２つの部分画像が合成され、全天球画像が生成される。３つ以上の複数の魚眼レンズの場合は、３以上の複数の部分画像が合成され、全天球画像が生成される。

フレーム毎に繋ぎ位置検出および傾き検出が行われるので、繋ぎパラメータ２４０は、フレーム毎に動的に更新される。そして、繋ぎ処理は、これらの検出結果が反映された繋ぎパラメータ２４０を適用してフレーム毎に実行される。そのため、撮影中、全天球カメラ１１０の傾きや向きが変化したり、重複領域付近の被写体が移動したりした場合であっても、適切に天頂補正および繋ぎ補正が施された状態で出力画像を生成することができる。

繋ぎ処理２５０が完了した後、全天球カメラ１１０は、データ出力処理２６０を実行し、画像格納部２７０にフレームを順次保存したり、全天球カメラ１１０が備えるディスプレイでモニタ表示を行ったり、全天球カメラ１１０から外部のユーザ端末装置にデータ出力し、出力される画像に基づきモニタ表示を行ったりすることができる。

全天球カメラ１１０が備えるディスプレイまたは外部のユーザ端末装置が備えるディスプレイでのモニタ表示では、出力データをモニタに表示する。なお、モニタ表示では、全天球画像をそのまま表示してもよいし、全天球画像を所定の画角で射影表示して生成された画像（全天球画像から指定された画角で切り出された画像）を表示してもよい。

画像格納部２７０に格納された繋ぎ合わせた後の全天球画像に対して、さらに、事後的に画像補正処理２８０で画像補正を施すことができる。これについては、詳細を後述する。
＜画像繋ぎ処理の詳細説明＞

以下、図４～図１１を参照しながら、画像繋ぎ処理の詳細を説明する。図４は、本実施形態による全天球カメラ１１０上に実現される主要な機能ブロックを示す。本実施形態による画像処理ブロック３００は、図４に示すように、位置検出用歪み補正部３０２と、繋ぎ位置検出部３０４と、テーブル修正部３０６と、テーブル生成部３０８と、傾き検出部３１０と、画像合成用歪み補正部３１２と、画像合成部３１４とを含み構成される。
＜射影方式＞

画像処理ブロック３００には、２つの撮像素子１３０Ａ，１３０Ｂから、各種画像信号処理を経て、フレーム毎に２の部分画像が入力される。ここで、撮像素子１３０Ａをソースとするフレームの画像を「部分画像０」のように参照し、撮像素子１３０Ｂをソースとするフレームの画像を「部分画像１」のように参照する。画像処理ブロック３００には、さらに、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用変換テーブル３３０が提供される。

位置検出用歪み補正部３０２は、入力される部分画像０，１に対し、位置検出用変換テーブル３３０を用いて歪み補正を施し、位置検出用補正画像（以下、単に補正画像と参照する場合がある。）０および位置検出用補正画像１を生成する。入力される部分画像０，１は、平面座標系（ｘ，ｙ）で表現された画像データであり、これに対し、位置検出用変換テーブル３３０を用いて歪み補正がかけられた補正画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された正距円筒射影画像データとなる。

図５は、本実施形態による全天球カメラ１１０における射影関係を説明する図である。１つの魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズでは、図５（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。また、説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図６は、本実施形態で用いられる正距円筒射影画像データのデータ構造を説明する図である。図６に示すように、正距円筒射影画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が正距円筒射影画像上にマッピングされる。

図７は、本実施形態による位置検出用歪み補正部３０２が参照する変換データを説明する図である。変換テーブル３３０は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換テーブル３３０は、図７（Ａ）および（Ｂ）に示すように、魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図７の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。繋ぎ位置検出の際に用いられる位置検出用変換テーブル３３０は、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。
＜繋ぎ位置検出＞

図８は、本実施形態による位置検出処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。位置検出用歪み補正部３０２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図８に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね上半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね下半球にマッピングされる。全天球フォーマットで表現された補正画像０および補正画像１は、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出している。その結果、補正画像０および補正画像１を重ね合わせると、画像間で撮影範囲が重複する重複領域が発生する。

繋ぎ位置検出部３０４は、位置検出用歪み補正部３０２により変換された補正画像０，１の入力を受けて、パターンマッチング処理により、入力された補正画像０，１間の繋ぎ位置を検出し、繋ぎ位置検出結果３３２を生成する。本実施形態による位置検出用変換テーブル３３０では、図８に示すように、２つのレンズ光学系各々の光軸を球面の２つの極に射影するとともに、画像間の重複領域を球面の赤道近傍に射影するように作成される。球面座標系では、垂直角度φが０度または１８０度である極に近接するほど歪みが大きくなり、繋ぎ位置検出精度が劣化してしまう。これに対し、上述したような射影とすることによって、繋ぎ位置検出精度を向上させることができる。なお、図８は、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図であるが、３つ以上の複数の魚眼レンズでもよい。

図９は、本実施形態による繋ぎ位置検出処理を説明する図である。説明する実施形態では、テンプレート用画像５００は、位置検出用補正画像１の重複領域の部分の画像であり、探索用画像５１０は、位置検出用補正画像０の重複領域の部分の画像である。ここで、指定されたサイズＷ、指定された生成間隔Ｓｔｅｐでテンプレート画像が生成されるものとすると、図９に示すような態様で複数のテンプレート画像５０２－１～５０２－＃が生成される。

生成された複数のテンプレート画像５０２－１～５０２－＃に対し、テンプレート・マッチングにより、探索用画像５１０上での対応部分５１４が所定の探索範囲５１２内で探索される。この各テンプレート画像５０２－１～５０２－＃に対して、それぞれ、マッチングスコアが最大となる位置の基準位置からのずらし量が検出される。
＜繋ぎパラメータ＞

図１０は、本実施形態における繋ぎ位置検出結果のデータ構造を示す図である。繋ぎ位置検出処理に基づき、図１０に示すような、変換後の各座標値（θ，φ）に対して、ずらし量（Δθ，Δφ）が対応付けられた情報を全座標値について保持するデータが生成される。このとき、上記繋ぎ位置検出により求められたテンプレート・ブロック毎のずらし量（Δθｉ，Δφｉ）を、テンプレート・ブロックの中心座標の値として設定し、各座標値（θ，φ）に対応するずらし量（Δθ，Δφ）を補間して、繋ぎ位置データが計算される。

テーブル修正部３０６は、繋ぎ位置検出結果３３２に基づいて、事前準備された位置検出用変換テーブル３３０に対し修正を施し、テーブル生成部３０８に渡す。上述した繋ぎ位置検出により、図１０に示すように、全天球画像フォーマットの座標値毎にずらし量が求まっているので、テーブル修正部３０６は、部分画像０の歪み補正に用いた検出用歪み補正テーブル０において、入力座標値（θ，φ）に対し、修正前に（θ＋Δθ，φ＋Δφ）に対応付けられていた（ｘ，ｙ）を対応付けるように修正する。なお、部分画像１の歪み補正に用いた検出用歪み補正テーブル１については対応付けを変える必要がない。

テーブル生成部３０８は、上記テーブル修正部３０６により修正された変換データから、回転座標変換に基づき、画像合成用変換テーブル３３６を生成する。なお、この際に、傾き検出部３１０が生成した傾き検出結果３３４に基づいて、傾き補正を反映させて画像合成用変換テーブル３３６を生成することができる。

このように、フレーム毎に繋ぎ位置検出が行われ、画像合成用変換テーブル３３６が更新される。位置検出用歪み補正部３０２、繋ぎ位置検出部３０４、テーブル修正部３０６およびテーブル生成部３０８が実行する処理は、図３に示した繋ぎ位置検出処理２２０に対応しており、傾き検出部３１０が実行する処理は、傾き検出処理に対応している。生成される画像合成用変換テーブル３３６は、繋ぎパラメータ２４０に対応する。

画像合成用歪み補正部３１２は、画像合成処理の前段の処理として、部分画像０および部分画像１に対し、画像合成用変換テーブル３３６を用いて歪み補正をかけ、画像合成用補正画像０および画像合成用補正画像１を生成する。生成される画像合成用補正画像０，１は、位置検出用補正画像と同様に、球面座標系で表現されている一方で、上記回転座標変換により、位置検出用補正画像とは座標軸の定義が異なったものとなる。画像合成部３１４は、得られた画像合成用補正画像０および画像合成用補正画像１を合成し、全天球画像（正距円筒射影画像）フォーマットの合成画像のフレームを生成する。

図１１は、本実施形態による画像合成処理の際における、魚眼レンズで撮像された部分画像の球面座標系へのマッピングを説明する図である。上記回転座標変換により、図８に示すような、一方のレンズ光学系の光軸を軸とした水平角度および垂直角度の座標軸の定義から、図１１に示すような、光軸に垂直な軸を基準とした水平角度および垂直角度の定義に変換される。これにより、画像合成用歪み補正部３１２による処理の結果、魚眼レンズで撮像された２つの部分画像０，１は、図１１に示すように全天球画像（正距円筒射影画像）フォーマット上に展開される。魚眼レンズ０により撮影された部分画像０は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像１は、全天球のうちの概ね右半球にマッピングされる。なお、図１１は、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングについて説明しているが、３つ以上の複数の魚眼レンズの場合は、３以上の複数の部分画像が合成され、全天球画像が生成される。

画像合成用変換テーブル３３６に基づき繋ぎ処理が行われる。画像合成用歪み補正部３１２および画像合成部３１４が実行する処理は、図３に示した繋ぎ処理２５０に対応する。
＜表示、保存＞

図４に示す画像処理ブロック３００は、さらに、モニタ画像生成部３２２を含むことができる。上記生成された合成画像は、全天球画像フォーマットで表現されるため、そのまま、ディスプレイなどの平面表示デバイスに表示させると、垂直角度０度および１８０度に近づくほど画像が歪んで表示されることになる。好ましい実施形態では、全天球画像を平面表示デバイスに投影するための画像処理を実行することができる。

モニタ画像生成部３２２は、全天球画像フォーマットの合成画像から、球面座標系から特定方向および特定画角の平面座標系への順次変換し、ユーザが指定する特定の視野方向の一定画角の画像に投影する処理を行う。これにより、視聴者は、所定の視点および視野で観察した場合に相当する画像をモニタすることができるようになる。

また、上述した説明では、撮影前または撮影中のモニタ画像表示について説明した。しかしながら、上述した画像処理パスで生成される全天球画像の静止画を生成し、または、全天球画像の複数のフレームからなる画像列を動画圧縮して動画像を生成し、これらの静止画または動画の画像データを保存することもできる。

本実施形態による画像処理ブロック３００は、図４に示すように、さらに、画像格納部２７０を含み構成される。画像格納部２７０は、全天球画像の静止画または動画を画像データとして保存する。静止画の場合には、静止画圧縮ブロック１１９でＪＰＥＧ、ＴＩＦＦなどの静止画フォーマットへ圧縮を行い、動画の場合は、動画圧縮ブロック１１８でＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮を行い、その後に画像格納部２７０に格納されてもよい。画像格納部２７０は、外部ストレージ１３４などの記憶領域によって提供される。

以上、全天球カメラ１１０上での複数の魚眼レンズおよび撮像素子の組み合わせを用いて撮像された部分画像を繋ぎ合わせて全天球画像を生成し、格納するまでの処理について説明した。

特に、上記説明においては、画像の繋ぎ処理を全天球カメラ１１０の内部リソースを用いて行う場合について説明した。しかしながら、全天球カメラ１１０とは別の外部リソース（例えばＰＣなどの外部のユーザ端末装置）を用いて画像の繋ぎ処理を行うこともできる。

全天球カメラ１１０の内部で繋ぎ処理を行う際は、全天球カメラ１１０のリソース（ＣＰＵ１１２やＧＰＵなど）を使って繋ぎ処理を行い、上述したように、繋ぎ処理された後の画像を保存する。一方、全天球カメラ１１０の外部で繋ぎ処理を行う場合、撮像素子１３０Ａ，１３０Ｂにより撮影された繋ぎ前の画像（例えば部分画像）を各々または１つの画像として保存することができる。その際に、撮影時の光学情報を画像内にメタデータとして埋め込んだり、別のファイルとして保存したりする。そして、外部リソースで、繋ぎ前の画像（例えば部分画像）および撮影時の光学情報などに基づいて繋ぎ処理が行われ、繋ぎ後の画像が生成される。

ところで、新たな画像補正技術が開発された場合において、既に撮影済みの画像に対しても、新たに開発された画像補正技術を適用したい場合がある。このとき、全天球カメラ１１０の外部で繋ぎ処理を行っていた場合は、繋ぎ前の画像データおよび撮影時の光学情報などが保持されているので、従来からの外部のユーザ端末装置で行う繋ぎ処理フローの途中に、新たな画像補正技術を組み入れることが可能である。

しかしながら、全天球カメラ１１０の内部で繋ぎ処理を行った場合は、既に繋がれた後の画像が保存されており、通常、保存された繋ぎ後の画像だけでは、撮像素子や光学系などの撮像手段に依存する画像補正技術を行うことは困難である。外部のユーザ端末装置で繋ぎ処理をした場合であっても、一度繋ぎ処理した後に、繋ぎ前の画像やメタデータが削除される場合もある。また、撮影される画像に対して、新たな画像補正技術が全天球カメラ１１０の内部リソースでは実現できない場合や、実現できたとしても処理時間が間に合わない場合が考えられる。特に、動画撮影などでは所定時間内にフレーム毎の処理を完了させなければならない場合に実現が難しくなる。繋がれた画像と繋がれていない画像の両方を保存する方法も想定されるが、特に動画では記憶容量の圧迫を引き起こしかねない。

そのため、繋ぎ合わせ後の全天球画像に対し、撮像素子や光学系に依存する画像補正技術を事後的に適用可能な技術の提供が望まれる。

そこで、本実施形態による全天球カメラ１１０は、繋ぎ合わせ後の全天球画像の座標値から撮像に用いた撮像素子や光学系を判定し、その判定結果に基づいて、画像補正を行うよう構成されている。以下、図４および図１２～図３１を参照しながら、本実施形態において画像繋ぎ処理後に行われる画像補正処理について、より詳細に説明する。

説明する実施形態では、繋ぎ合わせ後の全天球画像（静止画または動画）データを画像格納部２７０に格納する際に、事後的に画像補正を適用可能なように、画像データに対し、さらに、繋ぎ合わせ処理で用いた情報（繋ぎ情報）が関連付けられて格納される。
＜繋ぎ情報＞

ここで、本実施形態において、画像データと関連付けて画像格納部２７０に格納される繋ぎ情報について、図１２を参照しながら説明する。図１２（Ａ）は、繋ぎ情報である繋ぎテーブルのデータ構造を示す。繋ぎテーブルは、繋ぎ後画像である全天球画像（正距円筒射影画像）を構成する画素各々の座標値に対し、繋ぎ前画像（上述した部分画像０，１）の座標値と、図９および図１０を参照して説明した繋ぎ位置検出処理結果である繋ぎ位置と対応付けるように構成される。ここで、繋ぎ前画像は、複数の撮像手段（撮像素子１３０および光学系の組み合わせ）により撮像されるものである。このため、図１２（Ａ）に示す繋ぎテーブルのデータ構造では、繋ぎ前画像の情報として、いずれの撮像素子の画像であるか識別できる識別情報（同時に対応する光学系も識別される。）の項目が加えられている。繋ぎテーブルの内容は、図４に示した位置検出用変換テーブル３３０および繋ぎ位置検出結果３３２を併せたものに相当する。

なお、図１２（Ａ）に示すデータ構造は、一例であり、図１２に示すように、両方の繋ぎ前画像に対応したテーブルのデータ構造に限定されるものではなく、繋ぎ前画像毎に繋ぎテーブルを準備するようにしてもよい。図１２（Ｂ）のように、繋ぎテーブルは、繋ぎ後画像（図中、長方形で表している正距円筒射影画像）の座標値から繋ぎ前画像（図中、ＡおよびＢの記号を付した円で像を表している魚眼画像）の座標値を参照できるようにするためのものである。繋ぎ前画像の座標値の参照方法については、図７で説明した通りであり、重ねての説明は、割愛する。

図１２（Ａ）に示すような繋ぎテーブルは、全天球カメラ１１０で撮影時に全天球画像（静止画または動画）に関連付けられるように保存される。例えば、静止画であれば、繋ぎテーブルは、ＥＸＩＦ（Exchangeable Image File Format）、ＴＩＦＦなどの既存のメタデータフォーマットを使用して記録され得る。動画であれば、繋ぎテーブルは、ＭＰ４（ＭＰＥＧ（Moving Picture Experts Group）－４ Ｐａｒｔ １４）など既存のコンテナフォーマットを使用して記録されてもよいし、独自のメタデータフォーマットを作成して記録してもよい。また、繋ぎテーブルは、静止画または動画のファイルとは別ファイルとして記録されてもよい。

また、動画の場合は、フレーム毎に繋ぎテーブルを記録することが望ましい。しかしながら、フレームに依存して変動しない情報（例えば、繋ぎ前画像の情報）に関しては、１つの動画に対して１つのテーブル値が保持されてもよく、フレーム間で変動した部分（繋ぎ位置や差分）だけの情報が保持されてもよい。

また、上述した説明では、画像データと関連付けて繋ぎ情報のみが格納されるものとして説明した。しかしながら、天頂補正が施された全天球画像が格納される場合もあり、そのような場合には、画像データと関連付けて、複数の撮像手段の姿勢変動の情報として天頂補正データ（傾き検出結果３３４相当の内容）が画像格納部２７０に格納され得る。傾き検出結果３３４についても、繋ぎテーブルと同様の方法で、メタデータとして、画像データに関連付けて画像格納部２７０に格納され得る。

このように、全天球画像の画像データには、複数の撮像手段で撮像された複数の部分画像から全天球画像を生成するための変換テーブル、全天球画像に適用された座標変換（回転変換や繋ぎ位置検出結果に応じた変換（繋ぎ変換））の情報および複数の撮像手段の姿勢変動の情報からなる群から選択された少なくとも１つの情報を含む情報が関連付けて格納される。

本実施形態による画像処理ブロック３００は、図４に示すように、さらに、繋ぎ処理後の画像に対し、画像補正処理を適用するための画像補正処理部３５０を含み構成される。複数の撮像手段においては、撮像素子や光学系の一方または両方に関連して特性に差異が存在し得るところ、画像補正処理部３５０は、上述した画像データに関連付けて格納された情報に基づいて、繋ぎ処理後の全天球画像に対し、対応する撮像素子や光学系に依存した画像補正を適用する。

図４に示す画像補正処理部３５０は、より詳細には、画像入力部３５２と、座標変換部３５４と、判定部３５６と、画像補正部３５８とを含み構成される。

画像補正処理部３５０は、画像格納部２７０から保存済みの全天球画像（静止画または動画の各フレーム）を読み出し、画像入力部３５２に全天球画像を入力する。画像入力部３５２に入力される画像は、上述したように、撮像素子１３０Ａ，１３０Ｂ各々により撮像された部分画像０，１を歪み補正するとともに領域毎の繋ぎ位置で繋ぎ合わせた全天球画像（合成画像）であり得る。画像補正処理部３５０は、また、全天球画像の撮像に用いられた複数の撮像手段に関する情報である繋ぎテーブルや天頂補正データを読み出す。画像補正処理部３５０は、本実施形態による画像入力手段および情報読出部を構成する。

画像補正部３５８は、入力された全天球画像に対し、画像補正を適用する。画像補正としては、特に限定されるものではないが、全天球画像を構成する画素に対する座標補正および画素値補正の一方または両方を含み得る。画素値補正としては、全天球画像を構成する画素各々に対する独立した補正のほか、画素各々に対する周辺画素に依存した補正を含んでもよい。

座標変換部３５４は、上述した画像補正の１つとしての座標補正の実施を容易にするべく、座標変換を実行する。座標変換により、入力された全天球画像は、画像格納部２７０に格納された繋ぎテーブルの状態に適合した形に変換される。上述したように、説明する実施形態では、部分画像０が上半分、部分画像１が下半分となり、重複領域および繋ぎ位置を赤道上に変換する位置検出用変換テーブル３３０の内容が、繋ぎテーブルのテーブル値となる。このため、画像合成用変換テーブル３３６に基づいて生成された全天球画像を、位置検出用変換テーブル３３０の状態に適合するように座標変換が行われる。座標変換については、詳細を後述する。

判定部３５６は、全天球画像中の複数の部分各々について、これら複数の部分各々の撮像に用いられた撮像手段（以下、対応撮像手段と記載する。）を判定する。ここで、判定は、例えば、全天球画像を構成する各画素毎に行われ得る。また、上述した座標変換部３５４による座標変換は、ここでの判定が容易となるように行われる。

画像補正部３５８は、複数の部分（例えば画素）各々についての対応撮像手段の判定結果に基づいて、全天球画像に対し画像補正を適用する。画像補正部３５８は、好ましくは、判定された対応撮像手段に対して事前準備されたデータに基づいて、画像補正を行うことができる。また、画像補正は、上述した全天球画像における複数の部分（例えば画素）の座標、または、この複数の部分（例えば画素）各々に繋ぎテーブルで対応付けられた対応撮像手段での画素位置に基づき行われる。ここで、各部分の座標変換後の座標および各部分に対応付けられた画素位置は、対応撮像手段における光学位置を示すものである。上記判定結果には、対応撮像手段の識別の結果および対応撮像手段における光学位置の特定の結果が含まれる。画像補正部３５８は、本実施形態における補正手段を構成する。

特定の実施形態において、上述した画像補正の一種としての座標補正は、ブレ補正であってよい。その場合、判定された対応撮像手段および対応する繋ぎ前画像の画素位置（光学位置）に基づいて、フレーム内の露光時間の時間差に応じた補正量で行われる。

別の特定の実施形態において、上述した画像補正の一種としての画素値補正は、光量補正であり、判定された対応撮像手段および対応する全天球画像の座標または繋ぎ前画像の画素位置に基づいて、像高に応じた補正量で行われる。

好ましい実施形態において、画像補正部３５８は、画像補正処理中、所定の補正テーブルを生成し、生成した補正テーブルに基づいて、全天球画像に対して画像補正を適用する。画像補正部３５８は、この全天球画像に適用した際に生成した補正テーブルを、画像補正適用後の画像に対してさらに別の画像補正を事後的に適用できるように、補正後の画像データに関連付けて出力することができる。

補正テーブルは、補正後の画像（全天球画像）の各座標に対し、補正前の画像（全天球画像）の座標、補正の方式を指定する方式指定値、および、前記方式指定値で指定された方式での補正の補正量を保持するものである。

以下、本実施形態による補正テーブルを用いた画像補正方法について、図１３を参照しながら説明する。図１３（Ａ）は、補正後画像を補正前画像から生成するための補正テーブルのデータ構造を示す。図１３（Ｂ）は、補正テーブルを用いた画像補正方法を説明する図である。図１３に示すように、補正後画像の各座標値については、補正テーブルを参照して、補正前画像から、対応する座標の画素値（ｖ０）を取得し、それに対し補正処理を行った後の値を補正後画像の画素値（ｖ１）とする。図１３（Ａ）に示す補正テーブルにおいては、補正後画像の座標値に対して、補正前画像の座標値と補正方法が設定されている。ここで、補正方法とは、補正前画像の画素値に対して補正計算を行うのに必要な情報である。

図１３（Ｃ）は、補正モードとしての四則演算およびそれぞれを指定する指定値を対応付けるテーブルを示しており、「加算」、「減算」、「乗算」および「除算」の補正モードに対して、「１」、「２」、「３」および「４」の値が与えられている。

したがって、図１３（Ｃ）のように、補正モードを四則演算と設定している場合、図１３（Ａ）の補正テーブルは、補正後画像の座標値（θａ，φａ）に対する補正として、補正前画像の座標値（θｂ，φｂ）の画素値（ｖ０）を取得し、補正モード＝１（加算）および補正量（ｎ）で補正すること、つまり、ｖ１＝ｆ_１（ｖ０，ｎ）＝ｖ０＋ｎが、補正後画像の座標値（θａ，φａ）の画素値となることを記述している。

以下、図１３～図２２を参照しながら、本実施形態の事後的な画像補正処理の処理フローを説明する。なお、以下の説明では、全天球画像フォーマットとして正距円筒図法により表された画像（以下、正距円筒射影画像）を用いるものとする。また、全天球カメラ１１０で撮影され、外部ストレージ１３４に保存された、繋ぎ後の静止画または動画を対象とし、本実施形態の処理フローは全天球カメラ１１０内で行うものとして説明するが、後述するように、ユーザ端末装置等の全天球カメラ１１０の外部の装置上で行ってもよい。

図１４は、本実施形態による全天球カメラ１１０が実行する、事後的な画像補正処理を示すフローチャートである。図１４に示す処理は、操作者からの画像補正の適用の指示に応答して、ステップＳ１００から開始される。なお、上記指示には、補正対象となる画像および画像補正の種類が指定されるものとする。

ステップＳ１０１では、全天球カメラ１１０は、画像入力部３５２により、画像格納部２７０から、補正対象の画像を読み出すとともに、補正対象の画像を撮像する際に用いられた複数の撮像手段に関する情報（繋ぎテーブルおよび天頂補正データ）を読み出す。

ステップＳ１０２～ステップＳ１１１のループでは、補正後の画像を構成する各画素毎に、すべての画素に対する処理が完了するまで、ステップＳ１０３～１１０の処理を実行する。以下、ステップＳ１０３～１１０の処理の対象として注目している補正後画像の画素を処理対象画素と参照する。

ステップＳ１０３では、全天球カメラ１１０は、座標変換部３５４により、処理対象画素の座標値に対し、第１座標変換を適用する。第１座標変換は、回転変換および領域毎の繋ぎ位置に基づく繋ぎ変換を含み得る。

図１５（Ａ）および図１６～図１８を参照して、第１座標変換についてより詳細に説明する。図１５（Ａ）は、第１座標変換処理を示すフローチャートである。図１５（Ａ）に示す第１座標変換は、図１４に示すステップＳ１０３の呼び出しに応答して、ステップＳ２００から開始される。

ステップＳ２０１では、全天球カメラ１１０は、第１回転変換の要否を判定する。ここで、第１回転変換とは、繋ぎ後の正距円筒射影画像の繋ぎ位置（重複領域）を球面座標系で赤道面上に移動させるための回転処理をいう。上述したように、保存された正距円筒射影画像は、図８に示した座標系ではなく、利用者が見やすいように、図１１に示した座標系となるような回転変換や、同じく回転変換である天頂補正が施されており、繋ぎ位置（重複領域）が球面の赤道以外の位置となっている。したがって、入力された正距円筒射影画像の座標系に対して適用されていた回転変換を相殺するために第１回転変換の処理が必要となる。ステップＳ２０１で、第１回転変換が必要であると判定された場合（ＹＥＳ）は、ステップＳ２０２へ処理が分岐され、全天球カメラ１１０は、処理対象画素の座標値に対し、第１回転変換を適用する。

図１６および図１７を参照しながら、ステップＳ２０２で行われる第１回転変換の処理について説明する。

図１６は、天頂補正されていない場合の回転変換について説明する。図１６において、正距円筒射影画像上に表現された画像領域Ａ（灰色）は、撮像素子１３０Ａ（２２Ａ）に由来する領域を示しており、画像領域Ｂ（白色）は、撮像素子１３０Ｂ（２２Ｂ）に由来する領域を示している。図１６中の破線は、２つの撮像素子１３０Ａ，１３０Ｂから得られた画像を繋いだ際の繋ぎ位置を示している。なお、ステップＳ１０３～１１０の処理は、処理対象画素毎に行われ、全画素に対して回転変換を施した画像が生成されるわけではないが、図１６では、全画素に対して、ステップＳ２０２の回転変換を適用した場合に得られであろう画像を模式的に表している。同様の表現のある他の図についても同じである。

図１６において、球面座標系である正距円筒射影画像４００の座標値からの３次元直交座標系の球面４０２上の座標値へ変換し、３次元直交座標上でＺ軸周りに－９０度回転すると、繋ぎ位置が球面４０４の赤道面上に移動する。そして、３次元直交座標系上で回転変換が施された球面４０４上の座標値を、球面座標系の座標値に変換すると、画像の上半分が画像領域Ａ、下半分が画像領域Ｂとなり、画像の垂直方向の中央が繋ぎ位置（点線）となる正距円筒射影画像４０６が得られる。

図１７は、天頂補正された場合の回転変換について説明する。図１６との相違点は、図１７において、正距円筒射影画像４１０が天頂補正されている点が異なっている。図１７においても、まず、図１６と同様に、球面座標系である正距円筒射影画像４１０の座標値から３次元直交座標系の球面４１２上の座標値へ変換する。ここで、正距円筒射影画像４１０が３次元直交座標の各軸に対して（Ｘ，Ｙ，Ｚ）＝（ｘ，ｙ，ｚ）の角度で天頂補正されていた場合、この天頂補正を打ち消すように（Ｘ，Ｙ，Ｚ）＝（－ｘ，－ｙ，－ｚ）の回転処理を行って、３次元直交座標系の球面４１４上の座標値へと変換する。その後は、図１６で説明した処理と同様であり、３次元直交座標系の球面４１４上の座標値をＺ軸周りに－９０度回転すると、繋ぎ位置が球面４１６の赤道面上に移動する。回転変換を施した球面４１６上の座標値を、球面座標系である座標値に変換すると、画像の上半分が画像領域Ａ、下半分が画像領域Ｂとなり、画像の垂直方向の中央が繋ぎ位置（点線）となる正距円筒射影画像４１８が得られる。

ここで、再び図１５を参照する。ステップＳ２０３では、全天球カメラ１１０は、第１繋ぎ変換の要否を判定する。ここで、第１繋ぎ変換とは、繋ぎ後の正距円筒射影画像の繋ぎ位置が、図９で示したパターンマッチング処理などによる繋ぎ位置検出結果に基づいて繋がれた場合に、繋ぎ処理のために伸縮された座標値を修正するための変換をいう。

ステップＳ２０３で、第１繋ぎ変換が必要であると判定された場合（ＹＥＳ）は、ステップＳ２０４で、全天球カメラ１１０は、座標変換部３５４により、処理対象画素の座標値に対し、第１繋ぎ変換を適用する。一方、繋ぎ後の正距円筒射影画像が、繋ぎ検出が行われず一律の被写体距離で繋げられた場合は、ステップＳ２０４の第１繋ぎ変換は、必要ないと判定され、そのままステップＳ２０５へ分岐され、本処理は終了する。

図１８を参照しながら、ステップＳ２０４で実行される第１繋ぎ変換について説明する。図１８において、第１回転変換により繋ぎ位置が球面の赤道面上に移動した後の状態の正距円筒射影画像４２０が示されている。ただし、繋ぎ処理によって、繋ぎ位置検出結果に基づいて繋がれているため、領域毎に繋がれている被写体距離が異なっている。第１繋ぎ変換では、領域毎に異なる被写体距離で繋がれたことによって伸縮された座標値を、一律の被写体距離で繋がれた状態にするように座標変換する。

第１繋ぎ変換には、繋ぎ処理に使用された繋ぎ情報が必要であり、図１２を参照して説明した繋ぎテーブルを使用して、画像繋ぎ処理の時とは逆の処理を行う。図１２（Ａ）に示す繋ぎテーブルにおいて、繋ぎ位置の値に対してマイナスをつけたものが、ステップＳ２０４の第１繋ぎ変換で用いる繋ぎ変換用テーブルとなる。図１８には、第１繋ぎ変換の座標変換のイメージ４２２も示されており、変換後画像（４２４に相当）の座標値は、繋ぎ変換用テーブルから変換前画像（４２０に相当）の座標値を参照する。イメージ４２２における点線部分が繋ぎ位置を示しており、第１繋ぎ変換によって一律の被写体距離に繋いだ状態と同等の座標値変換を行うと、変換後画像（４２４に相当）において、繋ぎ位置は、赤道面上から外れた位置に移動する。

再び図１４を参照する。ステップＳ１０４では、全天球カメラ１１０は、判定部３５６により、処理対象画素の座標値について、繋ぎ前画像の判定を行う。より具体的には、ステップＳ１０４では、正距円筒射影画像の垂直位置に基づいて、繋ぎ前画像の判定が行われ得る。第１繋ぎ変換（Ｓ２０４）を行っていない場合は、正距円筒射影画像の上半分は撮像素子１３０Ａ（２２Ａ）で撮影された画像領域Ａ、下半分は撮像素子１３０Ｂ（２２Ｂ）で撮影された画像領域Ｂとなる。

つまり、正距円筒射影画像での垂直座標に対して、処理対象画素の座標（第１座標変換が適用された後の座標値）が上半分に位置する場合（９０度未満）は、撮像素子１３０Ａ（２２Ａ）で撮影された繋ぎ前画像であると判定される。一方、座標が下半分に位置する場合（９０度以下）は、撮像素子１３０Ｂ（２２Ｂ）で撮影された繋ぎ前画像であると判定される。ここで、繋ぎ前画像の判定は、処理対象画素の部分の撮像に用いられた対応撮像手段、つまり処理対象画素が由来する対応撮像手段を判定することと等価である。

一方、第１繋ぎ変換（Ｓ２０４）が行われた場合は、例えば、図１９に示すように第１回転変換（Ｓ２０２）を行った後、かつ、第１繋ぎ変換（Ｓ２０４）を行う前の段階４３０の座標の垂直座標４３２で判定することができる。つまり、繋ぎ前画像（対応撮像手段）の判定は、第１座標変換における回転変換の適用によって得られた座標に基づいて行うことができる。

再び図１４を参照する。ステップＳ１０５では、全天球カメラ１１０は、処理対象画素の座標値について、繋ぎ前画像における座標値を取得する。図２０を参照しながら、ステップＳ１０５で行われる、繋ぎ前画像の座標値の取得の処理について説明する。

図２０（Ａ）は、繋ぎ前画像の座標値の取得の処理を示すフローチャートである。図２０（Ａ）に示す処理は、図１４に示すステップＳ１０５の呼び出しに応答して、ステップＳ４００から開始される。ステップＳ４０１では、全天球カメラ１１０は、繋ぎ前画像の座標値の取得が必要であるか否か判断する。補正処理の種類によっては、繋ぎ前画像の座標値が無くても補正処理が実行可能である場合もある。このため、要求された補正の種類が、繋ぎ前画像の座標値が必要な所定の種類の処理に該当する場合に必要であると判断される。繋ぎ前画像の座標値の要否は、補正処理の種類毎に保持しておき、実施される補正処理の種類によって切り替えられるようにしておくことが好ましい。

ステップＳ４０１で、繋ぎ前画像の座標値の取得が必要であると判定された場合（ＹＥＳ）は、ステップＳ４０２へ処理が分岐される。ステップＳ４０２では、全天球カメラ１１０は、繋ぎテーブルの選択を行い、より具体的には、繋ぎ前画像判定（Ｓ１００４）で判定された繋ぎ前画像に対応する繋ぎテーブルを選択する。なお、図１２（Ａ）に示すように、繋ぎテーブルが正距円筒射影画像に対して１つだけしか用意されていない場合は、ステップＳ４０２の繋ぎテーブルの選択は省略されてよい。

ステップＳ４０３では、全天球カメラ１１０は、図２０（Ｂ）に示すように、選択した繋ぎテーブルを参照して処理対象画素の座標（座標変換が適用された後の座標）に対応する繋ぎ前画像の座標値（ｘ，ｙ）を取得し、ステップＳ４０４で本処理を終了する。一方、ステップＳ４０１で、繋ぎ前画像の座標値の取得が不要であると判定された場合（ＮＯ）は、ステップＳ４０４へ処理が直接分岐される。

ここで、再び図１４を参照する。ステップＳ１０６では、全天球カメラ１１０は、画像補正部３５８により、処理対象画素に対し、補正値を算出する。ステップＳ１０６では、図１３（Ａ）に示した補正テーブルの補正前画像の座標値および補正方法（補正モードおよび補正量）の一方または両方に設定するための値が算出される。補正前画像の座標値および補正方法は、処理対象画素について判定された対応撮像手段に応じて決定されることになる。なお、補正値算出については、具体例をもって詳細を後述するため、ここでは補正値が算出され、補正テーブルの補正前画像の座標値および補正方法の一方または両方に値が設定されたものとして説明を続ける。

ステップＳ１０７では、全天球カメラ１１０は、画像補正部３５８により、座標値補正の適用を行う。以下、図２１を参照しながら、図１４に示すステップＳ１０７で実行される座標値補正の処理について説明する。ステップＳ１０７で実行される座標値補正は、ステップＳ１０６の補正値算出で設定された補正テーブルにおける補正前画像の座標値を参照することによって行われる。座標値補正されない場合は、図２１（Ａ）のように補正後画像と補正前画像とは同じ座標値となる。一方、座標値補正される場合は、図２１（Ｂ）のように補正後画像と補正前画像の座標値とが異なる値となる。補正テーブルの補正前画像における参照先の座標値で決まるため、座標補正される場合と、座標補正されない場合があることになる。

ステップＳ１０８では、全天球カメラ１１０は、座標変換部３５４により、処理対象画素の座標値（ステップＳ１０７の座標値補正の適用後の座標値）に対し、第２座標変換を適用する。第２座標変換は、回転変換および領域毎の繋ぎ位置に基づく繋ぎ変換を含み得るが、第２座標変換は、ステップＳ１０３で実行した第１座標変換とは逆の変換となる。

図１５（Ｂ）、図１６～図１８を参照して、第２座標変換についてより詳細に説明する。図１５（Ｂ）は、第２座標変換処理を示すフローチャートである。図１５（Ｂ）に示す第２座標変換は、図１４に示すステップＳ１０８の呼び出しに応答して、ステップＳ３００から開始される。

ステップＳ３０１では、全天球カメラ１１０は、第２繋ぎ変換の要否を判定する。図８で示したパターンマッチング処理などにより検出した結果を繋ぎ位置として使用する場合は、ステップＳ１０３の第１座標変換で第１繋ぎ変換が行われており、それを戻すために、第２繋ぎ変換が必要になる。これに対し、繋ぎ位置検出結果が使用されず一律の被写体距離で繋ぎ処理が行われた場合は、ステップＳ１０３の第１座標変換で第１繋ぎ変換が行われておらず、第２繋ぎ変換も必要ないということになる。

ステップＳ３０１で、第２繋ぎ変換が必要であると判定された場合（ＹＥＳ）は、ステップＳ３０２を処理が分岐され、全天球カメラ１１０は、処理対処画素の座標に対し、第２繋ぎ変換を適用する。一方、繋ぎ検出が行われず一律の被写体距離で繋げられていた場合は、ステップＳ３０２の第２繋ぎ変換は、必要ないと判定され、そのままステップＳ３０３へ分岐される。

図１８を用いて第２繋ぎ変換の処理について説明する。図１８において、正距円筒射影画像４２４は、第１繋ぎ変換により一律の被写体距離に繋いだ状態と同等の座標値変換を行った状態となっている。第２繋ぎ変換では、繋ぎ位置を繋ぎ位置検出結果に基づいた位置に変換するため、図１２で説明した繋ぎテーブルを使用する。第２繋ぎ変換では、繋ぎテーブルの繋ぎ位置を使用して、繋ぎ処理の時と同等の処理を行う。図１２の繋ぎテーブルにおいて、そのままの繋ぎ位置の値を有するものが、第２繋ぎ変換で用いる繋ぎ変換用テーブルとなる。

図１８には、第２繋ぎ変換の座標値変換のイメージ４２６も示されており、変換後画像（４２０に相当）は、繋ぎ変換用テーブルを参照して、変換前画像（４２４に相当）の座標値を取得する。図１８において、点線部分が繋ぎ位置を示しており、第２繋ぎ変換によって繋ぎ位置検出結果が反映された座標値変換を行うと、変換後画像（４２０に相当）の繋ぎ位置は、赤道面上に移動する。

再び図１５（Ｂ）を参照すると、ステップＳ３０３では、全天球カメラ１１０は、第２回転変換の要否を判定する。繋ぎ後の正距円筒射影画像の繋ぎ位置が球面の赤道面上にある状態からの第２回転変換の要否が判定される。上述したように、正距円筒射影画像は、一般的には、利用者が見やすいように、図１１に示した座標系となるような回転変換や、同じく回転変換である天頂補正が施されており、繋ぎ位置が球面座標の赤道面上となっていない。そして、その場合、ステップＳ１０３の第１座標変換で第１回転変換が行われており、ステップＳ３０３では、これを戻すために、第２回転変換が必要になる。ステップＳ３０３で、第２回転変換が必要であると判定された場合（ＹＥＳ）は、ステップＳ３０４へ処理が分岐され、全天球カメラ１１０は、処理対象画素の座標値に対し、第２回転変換を適用する。

図１６および図１７を再び参照して、ステップＳ３０４で行われる第２回転変換の処理について説明する。

図１６は、天頂補正されていない場合の第２回転変換について説明する。球面座標である正距円筒射影画像４０６の座標値から、３次元直交座標系の球面４０４上の座標値へ変換し、３次元直交座標系において、球面４０４をＺ軸周りに＋９０度回転すると、繋ぎ位置が球面４０２の経度方向へ移動する。そして、３次元直交座標系で回転変換を施した球面４０２上の座標値を、球面座標系の座標値に変換すると、天頂補正されていない状態の正距円筒射影画像４００が得られる。

図１７は、天頂補正されている場合の第２回転変換について説明する。図１６との相違点は、図１７において、天頂補正されている点が異なっている。図１７においても、球面座標系である正距円筒射影画像４１８の座標値から、３次元座標系の球面４１４上の座標値までの変換は、図１６で示した天頂補正されていない場合と同じである。続いて、３次元直交座標系で球面４１４上から各軸に（Ｘ,Ｙ,Ｚ）＝（ｘ,ｙ,ｚ）の角度で天頂補正の回転を行って３次元直交座標系上の球面４１２の座標値へ変換し、さらに、球面座標系の座標値に変換すると、天頂補正された状態の正距円筒射影画像４１０が得られる。

このように、ステップＳ３０４では、処理対象画素の座標値に対し、座標補正を施した後、再び、入力された全天球画像の状態に戻すための逆の第２回転変換を施すよう構成されている。

再び図１４を参照する。ステップＳ１０９では、全天球カメラ１１０は、画像補正部３５８により、図１３（Ａ）で示した補正テーブルを参照し、処理対象画素の座標値について、補正前画像の画素値を取得する。ステップＳ１１０では、全天球カメラ１１０は、処理対象画素の座標値について、取得した画素値に対し、指定の補正モードで所定の補正量の補正を適用する。ステップＳ１０９およびステップＳ１１０の画素値取得および画素値補正の基本的な処理は、図１３を参照しながら説明済みであるため、ここでは、説明を省略する。

ここで、図２２を参照して、画素値取得および画素値補正の応用的な処理として２種類の画像補正を行う場合について説明する。

図２２（Ａ）は、２つの補正テーブルを用いる場合の補正前画像の画像値取得および画素値補正を説明する。それぞれの補正テーブルは、図１３（Ａ）に示したフォーマットと同様であり、第１の補正テーブルの補正後画像の座標値は、第２補正テーブルの補正前画像の座標値と対応する。

画素値補正を行わない場合は、補正後画像の処理対象画素の画素値（ｖ１）は、補正後画像の処理対象画素の座標値（θａ，φａ）に対して、第２補正テーブルおよび第１補正テーブルの順番で補正テーブルを参照して、補正前画像の該当座標値（θｂ，φｂ）を求め、補正前画像の該当座標値から取得した画素値（ｖ０）となる。

画素値補正を行う場合は、まず、補正前画像から取得した画素値（ｖ０）に対して第１補正テーブルの補正方法による補正を行って画素値（ｖ２＝ｆ１_ｍ（ｖ０，ｎ１）、ｆ１_ｍ（）は、第１補正テーブルでの補正モード（ｍ）での補正関数を表す。ｎ１は、第１補正テーブルで与えられた補正量を表す。）を得る。更に、得られた画素値（ｖ２）に対して、第２補正テーブルの補正方法による補正を行って得られた画素値（ｖ３＝ｆ２_ｍ（ｖ２，ｎ２）、ｆ２_ｍ（）は、第２補正テーブルでの補正モード（ｍ）での補正関数を表す。ｎ２は、第２補正テーブルで与えられた補正量を表す。）が補正後画像の処理対象画素の画素値（ｖ１）となる。図２２（Ａ）は、画像補正が第１の画像補正および第２の画像補正を含む場合において、第１の画像補正および第２の画像補正を直接重ねて適用する場合に対応する。

これに対し、図２２（Ｂ）は、同じく２つの補正テーブルを用いるが、途中で一旦中間画像を生成する場合の補正前画像の画像値取得および画素値補正を説明する。この場合、まず、中間画像を作成する処理が実行される。基本的には図１３（Ｂ）を参照して説明した方法と同様であり、中間画像の処理対象画素の座標値（θｃ，φｃ）に対して、第１補正テーブルを参照して補正前画像の該当座標値（θｂ，φｂ）を取得し、補正前画像の該当座標値から画素値（ｖ０）を取得する。そして、取得した画素値（ｖ０）に対して第１補正テーブルの補正方法による補正を行って画素値（ｖ２＝ｆ１_ｍ（ｖ０，ｎ１））を得て、これを中間画像の画素値（ｖ４）とする。ここで、中間画像の全ての画素に対して上述した第１補正テーブルに基づく処理を行って、一旦、中間画像が作成される。

続いて、補正後画像の作成についても同様にして、補正後画像の処理対象画素に対して、補正後画像の処理対象画素の座標値（θａ，φａ）から第２補正テーブルを参照して中間画像の該当する座標値（θｃ，θｃ）を取得し、取得した座標値の画素値（ｖ４）を中間画像から取得する。画素値（ｖ４）に対して第２補正テーブルの補正方法による補正を行って画素値（ｖ３＝ｆ２_ｍ（ｖ４，ｎ２））を得て、これを補正後画像の処理対象画素の画素値（ｖ１）とする。図２２（Ｂ）は、画像補正が第１の画像補正および第２の画像補正を含む場合において、第１の画像補正を適用して得られる中間画像に対して第２の画像補正を適用する場合に対応する。

上述した説明では、補正テーブルが、参照先の１つの画素値を参照するものとして説明したが、処理対象画素の近傍画素も利用して画像補正を行うこともできる。図２２（Ｂ）に示す中間画像を作成する方法は、そのような、処理対象画素の近傍画素も利用して画像補正を行う場合に有効であり、複数の画像補正を適用する場合に処理対象画素の近傍画素で前の補正処理がされた結果が必要な場合に好適に利用することができる。これに対して、図２２（Ａ）の中間画像を作成しない方法は、処理対象画素だけの計算でよい場合に好適に利用することができる。

再び図１４を参照すると、すべての処理対象画素についての処理が完了し、ステップＳ１０２～ステップＳ１１１のループを抜けると、ステップＳ１１２で、全天球カメラ１１０は、画像格納部２７０などに補正後の画像および補正テーブルを書き出し、ステップＳ１１３で本処理を終了する。

以下、図２３および図２４並びに図２５～図２７を参照して、図１４に示したステップＳ１０６の補正値算出について、２つの具体例をもって、より詳細に説明する。
＜周辺光量補正の場合＞

第１の具体例は、画像補正が周辺光量補正である場合であり、図２３および図２４を参照しながら、事後的な周辺光量補正について説明する。図２３は、事後的な周辺光量補正処理を示すフローチャートである。図２４（Ａ）は、補正前後の正距円筒射影画像を示しており、補正前は、天頂補正なしの画像とし、補正後は、周辺光量補正と天頂補正を行った画像とする。なお、図２３は、基本的な部分は、図１４に示したフローチャートと共通しており、新規のステップを中心に説明を行う。

図２３に示すステップＳ５００では、全天球カメラ１１０は、周辺光量補正テーブルを参照し、補正値を算出する。ステップＳ５００は、図１４に示したステップＳ１０６の補正値算出処理に対応する。

図２４を参照しながら周辺光量補正テーブルについて説明する。図２４（Ｂ）は、２つの魚眼レンズ（２０Ａ、２０Ｂ）で得られる部分画像を示しており、各部分画像における点ＯＡおよび点ＯＢは、対応する魚眼レンズの光軸中心に相当する座標値を示す。

ここで、一方の魚眼画像上の点Ｐの位置における周辺光量補正について説明する。一般的に点Ｐでの周辺光量落ちは、レンズの光軸中心ＯＡからの点Ｐまでの距離（以下、像高）ｌに依存して生じる。図２４（Ｃ）は、補正前の正距円筒射影画像に対して第１座標変換を適用した後の画像を示している。図２４（Ｃ）で示す正距円筒射影画像において、その上端は、魚眼レンズ（２０Ａ）の光軸中心ＯＡに相当し、その下端は、魚眼レンズ（２０Ｂ）の光軸中心ＯＢに相当する位置となる。また、図２４において、点Ｐは、画像領域Ａに帰属し、その像高は、画像上端から点Ｐまでの距離（ｌ）に相当する。ここで、仮に、点Ｐが画像領域Ｂに帰属する場合は、画像下端からの距離が像高に相当することになる。

図２４（Ｄ）は、レンズの像高と周辺光量補正量との関係を示す。図２４（Ｅ）は、図２４（Ｄ）に示すレンズの像高と周辺光量補正量との関係をテーブル化したものである。像高が大きくなるにつれて、周辺光量落ちが大きくなるため、周辺光量補正量は大きくなる。ここで、周辺光量補正量とは、補正前画素値に乗算するゲイン値である。図２４（Ｅ）に示す、各像高における周辺光量補正量を設定したものを周辺光量補正テーブルとする。ここで、光学系によって特性が異なるため、魚眼レンズ（撮像素子）毎に周辺光量補正量が設定される。

図２３を参照しながら、周辺光量補正の処理についてより詳細に説明する。図２３に示すように、処理対象画素毎に処理が行われる。ステップＳ１０３では、第１座標変換が行われ、補正前画像で繋ぎ前画像判定がしやすいように座標配置が変更される。ステップＳ１０４では、繋ぎ前画像判定が行われ、処理対象画素が帰属する繋ぎ前画像（対応撮像手段）を判定する。

なお、周辺光量補正では、ステップＳ１０５の繋ぎ前画像の座標値取得は、必要ない。このため、周辺光量補正の種類に対応して、繋ぎ前画像の座標値が不要である旨の要否情報を予め保持しておき、周辺光量補正が選択された場合にその情報を取得して、ステップＳ１０５の繋ぎ前画像の座標値取得処理において、座標値取得要否判定（Ｓ４０１）で、ステップＳ４０２およびステップＳ４０３の処理をバイパスする。なお、説明する実施形態では、正距円筒射影画像上で距離ｌとして像高が求められるため、繋ぎ前画像の座標値の取得は不要としたが、処理対象画素に対応する繋ぎ前画像の座標値を取得して、繋ぎ前画像の座標値から、繋ぎ前画像における光軸中心との距離を計算し、像高を求めてもよい。また、像高だけでなく、画素位置自体を用いる補正を行う場合は、繋ぎ前画像の座標値は取得される。

ステップＳ５００での周辺光量補正テーブル参照では、ステップＳ１０３で繋ぎ前画像判定で判定した繋ぎ前画像用の周辺光量補正テーブルを参照し、上述した処理対象画素の座標に対応する像高に応じて周辺光量補正量（補正値）を取得し、図１３（Ａ）に示した補正テーブルの補正方法に補正モードと補正量を設定する。補正モードは、乗算を示す「３」が設定される。また、補正テーブルの補正前画像の座標値には、補正後画像の座標値と同じ値を設定する。このように、判定された対応撮像手段および正距円筒射影画像上の座標または繋ぎ前画像の画素位置に基づいて、像高に応じた補正量で行われる。

ステップＳ１０６の座標値補正では、補正テーブルを参照して、処理対象画素の座標値に対する補正前画像の座標値を取得する。周辺光量補正では、上述したように、補正テーブルの補正前画像の座標値と補正後画像の座標値とは同じ値を設定しているため、座標値補正は、されない。周辺光量補正の場合は、ステップＳ１０６を省略することができる。

ステップＳ１０８の第２座標変換では、ステップＳ１０３の第１座標変換で回転させた状態を戻すとともに、保存されている天頂補正データを使用して、天頂補正の回転処理を行う。上述したように、補正前は、天頂補正なしの画像とし、補正後は、周辺光量補正と天頂補正を行った画像としているところ、このような場合は、第１座標変換とと第２座標変換とが全くの逆の変換とはならない。

ステップＳ１０８では、補正前画像の座標から画素値を取得し、ステップＳ５００で設定した補正テーブルの補正方法に従って画素値補正する。ここでは、周辺光量補正の場合、補正テーブルの法制方法には乗算を示す「３」が設定されているので、ステップＳ１０８で取得した画素値に対し、補正量を乗算することで周辺光量補正が適用される。
＜ローリングシャッタを考慮したブレ補正の場合＞

第２の具体例は、画像補正が、ローリングシャッタを考慮したブレ補正である場合であり、図２５～図２７を参照しながら、事後的なローリングシャッタを考慮したブレ補正について説明する。図２５は、事後的なローリングシャッタを考慮したブレ補正処理を示すフローチャートである。図２６（Ａ）は、補正前後の正距円筒射影画像を示しており、補正前は天頂補正なしの画像とし、補正後はブレ補正のみ行い、天頂補正は、そのまま行わないものとする。なお、図２５は、基本的な部分は、図１４に示したフローチャートと共通しており、新規のステップを中心に説明を行う。

図２５に示す処理は、動画に対する処理であり、ステップＳ６００～ステップＳ６０４のループでは、最終フレームまで、フレーム毎にループ内側の処理が実行される。ステップＳ６０１では、全天球カメラ１１０は、現在の処理対象のフレームの画像を、補正対象の画像として取得するとともに、そのフレームの区間に対応するジャイロデータを取得する。画像データに付属して、ジャイロデータがメタデータなどとして与えられており、ここでは、処理対象のフレームに対応するデータが取得されるものとする。

ステップＳ６０２では、全天球カメラ１１０は、ローリングシャッター（以下、ＲＳと省略する）補正テーブルを算出する。ステップＳ６０２のＲＳ補正テーブル算出処理について、図２６および図２７を参照して説明する。まず、ローリングシャッタを考慮したブレ補正の概要について、図２６を参照して説明する。図２６（Ｂ）は、ローリングシャッタの動作状態を示している。一般的な撮像素子１３０は、画像上端から画像下端へライン毎に画素値をスキャンしながらデータを読み出す。撮像素子１３０の画像上端が読み出される時間をＴ１とし、画像中間が読み出される時間をＴ５とし、画像下端が読み出される時間をＴ９とすると、撮像素子１３０から１フレームの画像が読み出される場合に、フレーム内で露光時間の時間差が発生し、画像下端と画像上端の間では（Ｔ９－Ｔ１）の時間差が発生する。

このフレームに対し、画像補正（例えばブレ補正）を行なおうとする場合、フレーム内のある１点の時間（例えば、中間のＴ５）を基準として補正を適用することが考えられる。しかしながら、その場合、指定した時間に該当する領域では正しく補正されたとしても、それ以外の領域では、上述した時間差により、正しく補正されない可能性がある。

例えば、図２６（Ｃ）のような魚眼画像で、図２６（Ｂ）のローリングシャッタによるスキャン時間Ｔ１，Ｔ５，Ｔ９が魚眼画像の画像上端、画像中間、画像下端に該当するとする。その場合、画像中間の時間Ｔ５で補正処理を行うと、画像上端Ｔ１、画像下端Ｔ９には補正残存（補正が不充分または過剰である部分）が発生する。さらに、この魚眼画像を、図２６（Ｄ）に示すように正距円筒射影画像へ変換すると、補正残存は、複雑な状態となる。

続いて、図２７を参照してＲＳ補正テーブル算出について説明する。図２７（Ａ）は、ローリングシャッタによるブレ補正への影響を抑えるためのＲＳ補正テーブルを示している。横軸の時間Ｔ１～Ｔ９は、図２６を参照して説明したローリングシャッタによるスキャン時間と対応している。縦軸の角度変動は、１フレーム内の一定周期でサンプリングされたジャイロセンサデータから算出しており、Ｘ、ＹおよびＺの３軸の値となり、複数の撮像手段の姿勢変動を表す。図２７に示す角度変動は、時間Ｔ５を基準とした値となっている。つまり、時間Ｔで角度変動が０となっている。図２７（Ｂ）は、図２７（Ａ）の関係をテーブル化したものであり、ステップＳ６０３で参照されるＲＳ補正テーブルである。なお、撮像素子の組付けなどに起因して補正値に違いが出る場合があるため、撮像素子毎にテーブルを準備している。また、ＲＳ補正テーブルは、フレーム単位で算出される。

図２５を参照しながら、ローリングシャッタを考慮したブレ補正処理についてより詳細に説明する。

図２５に示すように、処理対象画素毎に処理が行われる。ステップＳ１０３では、第１座標変換が行われ座標配置が変更される。ステップＳ１０４では、繋ぎ前画像判定が行われ、処理対象画素が帰属する繋ぎ前画像（対応撮像手段）を判定する。

ローリングシャッタを考慮したブレ補正では、ステップＳ１０５の繋ぎ前画像の座標値の取得が行われる。そのため、ローリングシャッタを考慮したブレ補正の種類に対しては、繋ぎ前画像の座標値の要否情報を予め保持しておき、ローリングシャッタを考慮したブレ補正の実施が選択された場合にその情報を取得し、繋ぎ前画像の座標値取得の処理を行い、処理対象画素に対応する繋ぎ前画像の座標値を取得する。

ステップＳ６０３のＲＳ補正テーブル参照では、ステップＳ１０３の繋ぎ前画像判定で判定した繋ぎ前画像（魚眼レンズ）のＲＳ補正テーブルを参照し、ＲＳ補正量（補正値）が取得される。ステップＳ１０５で取得された繋ぎ前画像の座標値から、ＲＳ補正テーブルにおける時間（ライン）が特定され、それに対応付けられた、フレーム内の露光時間の時間差に応じた補正量が取得される。図１３で説明した補正テーブルの補正前画像の座標値には、補正後画像の座標値を３次元直交座標系の球面上の座標値に変換し、ＲＳ補正量（ｘ、ｙ、ｚ補正値）で３軸（Ｘ，Ｙ，Ｚ）方向に回転変換し、球面座標系である正距円筒射影画像の座標値に戻した値を設定する。ここで、ローリングシャッタを考慮したブレ補正では、画素値補正を行わないため、補正テーブルの補正方法には、画素値が補正されない設定（例えば、補正モードとして加算を示す「１」および補正量０）を設定する。ステップＳ６０３のＲＳ補正テーブル参照のステップが、ステップＳ１０６の補正値算出ステップに該当する。

ステップ１０７の座標値補正では、補正テーブルを使用して処理対象画素の座標値に対する補正前画像の座標値を取得する。補正テーブルの補正前画像の座標値は、ブレ補正では、補正後画像の座標値と異なっているため、座標値補正が行われる。ステップＳ１０８の第２座標変換では、ステップＳ１０３の第１座標変換で回転させた状態を戻す処理を行う。ステップＳ１０９の画素値取得では、補正前画像の画素値を取得し、ステップＳ１１０では、画素値補正で取得した画素値を補正テーブルの補正方法に従って補正し、補正後の画素値とする。ただし、ローリングシャッタを考慮したブレ補正では、補正テーブルの補正方法に画素値が補正されない設定をしているため、ステップＳ１０９で取得された補正前画像の画素値が、そのまま補正後画像の画素値となる。ローリングシャッタを考慮したブレ補正において、ステップＳ１０９は、省略されてもよい。

上述したローリングシャッタを考慮したブレ補正を全天球画像の動画に適用することにより、フレーム全体のブレが抑えられた全天球画像の動画を得ることが可能となる。

＜変換情報＞
図１４における第１座標変換（Ｓ１０３）および第２座標変換（Ｓ１０８）では、繋ぎ位置が球面の赤道面上となるように座標変換するために、回転軸、回転角度および天頂補正データなどの変換情報が必要となる。このような変換情報は、利用者が自ら算出するのは困難である。また、全天球カメラ１１０の型番や製造元によっても値が異なり得る。このため、全天球カメラ１１０で撮影時に予め変換情報を記録しておくことで、利用者に手間を掛けることなく、事後的な画像補正処理を行うことができる。

図２８は、変換情報のフォーマットの一例を示す。変換情報は、図１２で示した繋ぎテーブルと共に全天球カメラ１１０で撮影時に画像に関連付けて記録されることが望ましい。また、図１２の繋ぎテーブルのテーブルで第１座標変換の処理を施した座標値を補正後画像の座標値に設定するようにすれば、変換情報がなくても座標変換することが可能である。
＜補正後画像への補正テーブル添付＞

図２９は、本実施形態における画像補正処理に関連するテーブル依存関係を説明する図である。撮影時に繋ぎ後画像（補正前画像）５００のメタデータなどとして繋ぎテーブル５０２が保存されている。魚眼画像５０４への対応関係を保持する繋ぎテーブル５０２は、補正値算出のために使用され、算出された補正値は、補正テーブル５１２に設定される。これにより、補正前画像５１０から、補正テーブル５１２に基づいて画像補正を適用し、補正後画像５１４を得ることができる。

補正後画像を再度画像補正したい場合には、前回の補正処理によって最初の座標値から変更されていて適切に補正できない場合も想定される。そのような不具合を防止するために、好ましい実施形態では、補正後画像５１４に関連付けて、補正で使用した補正テーブル５１２を繋ぎテーブル５０２と共に保存する。

図３０は、再度画像補正する場合のテーブル依存関係を示す。図３０に示すテーブル依存関係は、図２９と異なっている。図３０の場合は、繋ぎテーブル５０２を参照する前に前回の補正後画像（今回の画像補正対象画像（繋ぎ後画像））５１４と共に保存した補正テーブル５１２を参照するようにする。そして、補正テーブル５１２および繋ぎテーブル５０２を参照して算出した補正値を、今回の補正テーブル５２２に設定することで、補正前画像５２０から画像補正して補正後画像５２４が得られる。これにより、前回の補正処理（主に、座標値補正）による影響をなくして補正値を算出することができる。

図３１は、本実施形態における事後的な画像補正処理の流れを総括して説明する。画像補正処においては、（１）参照座標算出および（２）画素値補正の順に処理が実行される。図３１において、矢印は、参照先を表す。上記（２）の画素値補正は、上記（１）の参照座標算出によって得られた座標値の画素値を補正前画像から取得し、取得した画素値に対し適用する。座標値補正しない場合は、上記（１）の参照座標算出は、必ずしも要するものではなく、補正後画像の処理対象画素の座標値を使用してもよい。

第１座標変換および第２座標変換を適用し、画像領域Ａが上半分、画像領域Ｂが下半分となった状態に一旦変換するのは、図１２（Ａ）に示す繋ぎテーブルが、該繋ぎテーブルでマッピングすると画像領域Ａが上半分、画像領域Ｂが下半分となり、繋ぎ位置が赤道上となるように構成されているためである。繋ぎ前画像と、繋ぎ後画像との関係は、図１２（Ａ）で示す繋ぎテーブルで決定しているため、繋ぎ後画像の状態を揃えておく方が座標値補正の計算がしやすいためである。なお、繋ぎテーブルが、異なるマッピングとなるテーブルであってもよいが、複雑性を低減する観点からは、第１座標変換および第２座標変換を適用する前提で、上述したような繋ぎ位置が赤道上となるように構成された繋ぎテーブルを画像データに関連付けて記憶しておくことが好ましい。

以上説明したように、上述した実施形態によれば、複数の撮像手段を用いて撮像された画像に対して、複数の撮像手段に応じた画像補正技術を適用することが可能な画像処理装置、画像処理方法、撮像装置、画像処理システムおよびプログラムを提供することができる。

上述した実施形態では、繋ぎ合わされた画像（静止画または動画）の座標値から、撮影された撮像手段（撮像素子および光学系の組）を判定し、判定した撮像手段に応じて画像補正処理が行われる。これにより、複数の撮像手段で撮像され、繋ぎ合わされた状態の静止画または動画に対して、撮像手段に依存する画像補正技術を適用できることが可能となる。特に、過去に保存された静止画または動画に対して最新の画像補正技術を適用することが可能もなる。また、繋ぎ合わせ前の画像を別途保持する必要もなく、ストレージの容量の増大を防止することができ、コストを削減することができる。

以上、全天球カメラ１１０を画像処理装置および画像処理システムの一例として、全天球カメラ１１０上で事後的な画像補正処理を行う場合について説明した。しかしながら、事後的に画像補正処理を行う画像処理装置および画像処理システムの構成は、上述した構成に限定されるものではない。

図２（Ｂ）は、他の実施形態による画像処理装置および画像処理システムとしてのユーザ端末装置１５０のハードウェア構成を示す。図２（Ｂ）に示すユーザ端末装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線モジュール１６４と、ＵＳＢコネクタ１６６とを含み構成される。

ＣＰＵ１５２は、ユーザ端末装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による上述した画像補正処理部３５０の処理を担うアプリケーションなどのプログラムを格納する。

入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。無線モジュール１６４は、全天球カメラ１１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線モジュール１６４およびＵＳＢコネクタ１６６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。

ディスプレイ１６２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球カメラ１１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行う。ディスプレイ１６２および入力装置１５８により、ユーザは、操作画面を介して全天球カメラ１１０に対する撮影指示や各種設定変更を行うことが可能となる。

ユーザ端末装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６からプログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、上述した画像補正処理部３５０およびその処理が実現される。

また、他の実施形態では、上述した部分画像取得処理２１０を除く画像処理を、ユーザ端末装置１５０を含む１以上の外部のパーソナル・コンピュータやサーバなどの画像処理装置上で分散実装してもよい。例えば、特定の実施形態では、画像処理２２０～２８０を、画像処理装置としてのユーザ端末装置１５０上で実行することができる。上述した画像処理２８０を、ユーザ端末装置１５０を含む１以上の外部のパーソナル・コンピュータやサーバなどの画像処理装置上で分散実装してもよい。

さらに、上記実施形態では、天頂補正としては、鉛直方向を基準として傾き角を求めるものするが、鉛直方向以外で、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。また、上記実施形態では、傾きの検出に加速度センサ及びジャイロセンサを用いたが、加速度センサと地磁気センサ、ジャイロセンサと地磁気センサ、加速度センサとジャイロセンサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ１１０や全天球カメラ１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。その場合に、天頂補正に加えて、鉛直方向周りの回転を補正する回転補正を適用することもできる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…操作ボタン、２０…結像光学系、２２…撮像素子、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１１９…静止画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１２９…映像出力インタフェース、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ、１３７…ジャイロセンサ、１３８…ＵＳＢコネクタ、１４０…無線モジュール、１４２…バス、１５０…ユーザ端末装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線モジュール、１６６…ＵＳＢコネクタ、１６８…バス、２００…画像処理、２１０…部分画像取得処理、２２０…繋ぎ位置検出処理、２３０…傾き検出処理、２４０…繋ぎパラメータ、２５０…繋ぎ処理、２６０…データ出力処理、２７０…画像格納部、２８０…画像補正処理、３００…画像処理ブロック、３０２…位置検出用歪み補正部、３０４…繋ぎ位置検出部、３０６…テーブル修正部、３０８…テーブル生成部、３１０…傾き検出部、３１２…画像合成用歪み補正部、３１４…画像合成部、３１６…画像切出部、３２２…モニタ画像生成部、３３０…位置検出用変換テーブル、３３２…繋ぎ位置検出結果、３３４…傾き検出結果、３３６…画像合成用変換テーブル、３５０…画像補正処理部、３５２…画像入力部、３５４…座標変換部、３５６…判定部、３５８…画像補正部、５００…テンプレート用画像、５０２…テンプレート画像、５１０…探索用画像、５１２…探索範囲、５１４…対応部分

特開２００３－１９９０３４号公報

Claims (19)

1. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、
   前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記合成画像に対し画像補正を適用する補正手段と
   を含み、前記画像補正は、前記合成画像を構成する画素に対する座標補正を含む、画像処理装置。
2. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、
   前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記合成画像に対し画像補正を適用する補正手段と
   補正後の合成画像の各座標に対し、補正前の合成画像の座標補正の方式を指定する方式指定値、および、前記方式指定値で指定された方式での補正の補正量を保持した補正データを出力する出力部
   を含む、画像処理装置。
3. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、
   前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記合成画像に対し画像補正を適用する補正手段と
   を含み、前記画像補正は、第１の画像補正および第２の画像補正を含み、前記第１の画像補正および前記第２の画像補正は、直接重畳して適用されるか、または前記第１の画像補正を適用して得られる中間画像に対して第２の画像補正を適用することで実行される、画像処理装置。
4. 前記合成画像の前記所定部分の座標に対し、前記画像補正の適用前に、第１の座標変換を適用する第１座標変換手段と、
   前記画像補正の適用によって得られた座標に対し、前記第１の座標変換とは反対の座標変換を適用する第２の座標変換を適用する第２座標変換手段と
   を含む、請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記第１の座標変換および前記第２の座標変換は、それぞれ、回転変換を含む、請求項４に記載の画像処理装置。
6. 前記判定手段の判定は、前記第１の座標変換の前記回転変換の適用によって得られた座標に基づいて行われる、請求項５に記載の画像処理装置。
7. 前記合成画像は、前記第１の部分画像および前記第２の部分画像とに歪み補正をかけるとともに、領域毎の繋ぎ位置で繋ぎ合わせた画像であり、前記第１の座標変換および前記第２の座標変換は、それぞれ、前記領域毎の繋ぎ位置に基づく繋ぎ変換を含む、請求項４～６のいずれか１項に記載の画像処理装置。
8. 前記座標補正は、前記判定手段の判定結果に基づいて対応付けられる撮像手段での画素位置に基づき行われ、前記合成画像中の所定部分と前記第１の部分画像での画素位置または前記第２の部分画像での画素位置とを対応付けた情報が、前記合成画像とともに提供される、請求項１または請求項１を引用する請求項４～７のいずれか１項に記載の画像処理装置。
9. 前記座標補正はブレ補正であり、前記判定手段で判定された撮像手段および前記画素位置に基づいて、フレーム内の露光時間の時間差に応じた補正量で行われる、請求項８に記載の画像処理装置。
10. 前記画像補正は、前記合成画像を構成する画素に対する画素値補正を含む、請求項１～９のいずれか１項に記載の画像処理装置。
11. 前記画素値補正は、前記合成画像中の所定部分の座標、または、前記合成画像中の所定部分に対応付けられる前記第１の部分画像または前記第２の部分画像での画素位置、に基づき行われる、請求項１０に記載の画像処理装置。
12. 前記画素値補正は光量補正であり、前記判定手段で判定された撮像手段、および前記合成画像中の所定部分の座標または前記画素位置に基づいて、像高に応じた補正量で行われる、請求項１１に記載の画像処理装置。
13. 前記画像処理装置は、さらに、
    前記第１の撮像手段および前記第２の撮像手段に関する情報を読み出す情報読出部
    を含み、
    前記第１の撮像手段および前記第２の撮像手段に関する情報は、前記合成画像中の所定部分と前記第１の部分画像または前記第２の部分画像での画素位置とを対応付けた情報、前記合成画像に適用された座標変換の情報、および前記第１の撮像手段および前記第２の撮像手段の姿勢変動の情報、から選択された少なくとも１つの情報を含む、請求項１～１２のいずれか１項に記載の画像処理装置。
14. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像を処理する画像処理方法であって、
    前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定するステップと
    前記判定するステップの判定結果に基づいて、前記合成画像に対し画像補正を適用するステップと
    を実行し、前記画像補正は、前記合成画像を構成する画素に対する座標補正を含む、画像処理方法。
15. 前記画像補正は、前記合成画像を構成する画素に対する画素値補正をさらに含む、請求項１４に記載の画像処理方法。
16. 請求項１～１３のいずれか１項に記載の画像処理装置の各手段と、
    第１の部分画像を撮像する第１の撮像手段と、
    第２の部分画像を撮像する第２の撮像手段と、
    前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせた合成画像を記録する記録手段と、
    を含む、撮像装置。
17. 第１の部分画像を撮像する第１の撮像手段と、
    第２の部分画像を撮像する第２の撮像手段と、
    前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせ処理をして生成される合成画像を出力する画像出力手段と、
    前記合成画像中の所定部分と前記第１の部分画像または前記第２の部分画像での画素位置とを対応付けた情報を出力する情報出力手段と
    を含み、前記合成画像中の所定部分と前記第１の部分画像または前記第２の部分画像での画素位置とを対応付けた情報は、
    前記繋ぎ合わせ処理で使用した投影モデルに基づく変換データ、または前記第１の部分画像と前記第２の部分画像との繋ぎ位置検出結果、の少なくとも一方である、撮像装置。
18. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、
    前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定する判定手段と、
    前記判定手段の判定結果に基づいて、前記合成画像に対し画像補正を適用する補正手段と
    を含み、前記画像補正は、前記合成画像を構成する画素に対する座標補正を含む、画像処理システム。
19. 第１の撮像手段を用いて撮像された第１の部分画像と第２の撮像手段を用いて撮像された第２の部分画像とを繋ぎ合わせた合成画像について、
    コンピュータを
    前記合成画像中の所定部分について、該所定部分の撮像に用いられた撮像手段を判定する判定手段、および
    前記判定手段の判定結果に基づいて、前記合成画像に対し画像補正を適用する補正手段
    として機能させるためのプログラムであり、前記画像補正は、前記合成画像を構成する画素に対する座標補正を含む、プログラム。