JP5935432B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、全天球や広画角等の画像を処理する画像処理装置及び画像処理方法、並びに撮像装置に関する。

従来から、全天球（全方位）を撮影する全天球（全方位）撮像装置が知られている。このような撮像装置を用いて、晴れた野外で撮影を行うと、全ての方向が撮影されるため、逆光状態の領域が必ず含まれる。逆光状態の場合、主要被写体よりも背景の方が明るい状態となるため、背景の明るさを基準に露光補正やゲイン調整がなされ、主要被写体が暗く撮影されてしまう。

従来、このような逆光状態を適切に撮影するため、撮像画像の輝度分布などから、射影するシーンが逆光状態か否かを判定し、判定結果に応じて露出補正、ゲイン調整を適切に行う技術が知られている。しかし、画像情報のみから逆光状態や逆光領域を高精度に検出することは容易ではない。

そのため、画像以外の情報、例えば赤外線センサによる赤外線検出情報に基づいて、逆光状態を高精度に判定する技術が提案されている（例えば、特許文献１）。しかしながら、これは赤外線センサのような特殊な手段を必要とする問題がある。

本発明は、全天球や広画角等の画像を処理する際に、特殊な手段を使用することなく、画像情報から高精度に逆光状態の領域を検出し、適切な逆光補正を行うことにある。

本発明は、全天球画像データを処理する画像処理装置であって、前記全天球画像データの中から太陽の位置を検出する太陽検出手段と、前記全天球画像データの中の、前記検出された太陽の位置の近傍の所定領域である逆光領域を検出する逆光検出手段と、前記検出された逆光領域について、明るさを補正する逆光補正手段と、を備え、前記太陽検出手段は、天に向かう方向に対する太陽の傾き角度を算出する手段と、算出した太陽の傾き角度が９０度以下であるか否かを判定し、９０度以下である場合に、検出された太陽の位置が真の太陽の位置であると判定する手段と、を更に有する、ことを特徴とする。

本発明によれば、赤外線検出センサのような特殊な手段を利用することなく、高精度に逆光領域を検出し、適切な逆光補正を行うことが可能になる。

全天球撮像装置の一実施形態の概略構成図である。 全天球撮像装置の一実施形態のハードウェア構成図である。 本発明の一実施形態に係る画像処理装置の機能ブロック図である。 図３の全体的な処理フローチャートである。 魚眼カメラの射影関係を説明する図である。 全天球画像のフォーマットを説明する図である。 太陽検出の処理フローチャートである。 太陽検出のための画像の二値化を説明する図である。 全天球画像での逆光検出を説明する図である。 明るさ補正ガンマテーブルを説明する図である。 全天球撮像装置の別の実施形態のハードウェア構成図である。 本発明の別の実施形態に係る画像処理装置の機能ブロック図である。 太陽検出の別の処理フローチャートである。 撮像装置の一実施形態のハードウェア構成図である。 本発明の更に別の実施形態に係る画像処理装置の機能ブロック図である。 図１５の全体的な処理フローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

本実施例は、撮影地点からの全ての方向を撮影する全天球（全方位）撮像装置によって撮影された全天球画像を対象にする。全天球撮影装置では、射影地点から見渡すことのできる全ての方向を撮影できるため、逆光状態の発生するような野外の晴れたシーンで撮影すると、ほぼ確実に太陽を画像内に含んだ撮影画像の全天球画像を得ることになる。この全天球画像中の太陽の位置を検出することによって、太陽を背にする領域、すなわち、逆光状態の領域を高精度に検出することができる。

図１に、本実施例の全天球撮像装置の概略構成図を示す。本全天球撮像装置は、互々半球画像を結像するための１８０度以上の画角を有する２つの魚眼レンズ１１，１２と、各魚眼レンズ１１，１２による半球画像の結像位置に設けられた２つのＣＭＯＳセンサなどの撮像素子２１，２２を備えている。筐体１００の側面には射影スイッチ１３０を備えている。また、この全天球撮像装置は、種々の操作ボタンや電源スイッチ、タッチパネル等も備えている。

図２に、本実施例の全天球撮像装置のハードウェア構成図を示す。本全天球撮像装置は、画像処理ブロック１１０、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、操作部１５０、外部記憶Ｉ／Ｆ１６０、外部Ｉ／Ｆ１７０などで構成され、これら各部はバス１００で接続される。

画像処理ユニット１１０は、２つの撮像素子２１，２２が出力する２つの半球画像（魚眼画像）データに対してそれぞれ所定の処理（例えば黒レベル補正、色補正、欠陥画素補正等）を施した後、これら２つの半球画像データを合成処理して全天球画像データを作成する。この全天球画像データがＲＡＭ１４０に記憶されて、ＣＰＵ１２０での以後の処理に使用される。

ＣＰＵ１２０は、当該全天球撮像装置の全体の動作を制御すると共に必要な処理を実行する。本実施例では、後述するように、ＣＰＵ１２０は、全天球画像データから太陽の位置を検出し、該太陽の位置をもとに全天球画像中の逆光領域を検出して、該逆光領域に対して明るさを補正する。

ＲＯＭ１３０は、ＣＰＵ１２０の制御や処理ための種々のプログラムを記憶している。ＲＡＭ１４０はワークメモリであり、ＣＰＵ１２０で実行するプログラムや処理途中のデータ、画像データ等を記憶する。

操作部１５０は、種々の操作ボタンや電源スイッチ、撮影スイッチ、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

外部メモリＩ／Ｆ１６０は、外部メモリのインターフェース回路で、ＳＤカードやフラッシュメモリ等の外部（外付け）メモリ１８０を接続するのに利用される。ネットワークＩ／Ｆ１７０は通信回線１９０とのインターフェース回路である。通信回線１９０にはパソコンなどが接続される。なお、通信回線１９０は無線、有線を問わない。

図３に、本実施例に係る画像処理装置の機能ブロック図を示す。画像処理装置２００は、画像入力部２１０、太陽検出部２２０、逆光検出部２３０、逆光補正部２４０及び画像出力部２５０で構成される。実際には、この画像処理装置２００の各部は、図２のＣＰＵ１２０とＲＯＭ１３０に記憶されているプログラムとの協働により実現される。換言すれば、図２のＣＰＵ１２０とＲＯＭ１３０内の所定のプログラムが、図２の画像処理装置２００の各部として機能することになる。

図４に、本実施例に係る画像処理装置の全体的フローチャートを示す。

画像入力部２１０は全天球画像データを入力する（ステップ１００１）。具体的には、ＣＰＵ１２０がＲＡＭ１４０から全天球画像データを読み出すことで入力する。全天球（全方位）画像データは画像処理ユニット１１０で作成されてＲＡＭ１４０に記憶されている。

ここで、全天球画像のフォーマットについて説明する。図５は魚眼カメラの射影関係を説明する図、図６は全天球画像のフォーマットを説明する図である。

１８０度を超える画角を持つ魚眼カメラで撮影された画像は、射影位置から、半球分のシーンの撮影画像となる。ただし、図５（ａ）のように、入射角度θに対応する像高ｈで画像が生成される。入射角度θと像高ｈの関係は、図５（ｂ）のように、射影関数ｆで決められている。射影関数ｆは魚眼レンズの性質によって異なる。

全天球画像は、図６（ａ）に示すように、水平角度θが０〜３６０度、垂直角度φが０〜１８０度の、角度座標に対応する画素値を持つ画像である。角度座標は、球面上の各点（座標点）と対応づいており、図６（ｂ）の地球儀の緯度経度座標のようなものとなっている。魚眼画像の平面座標と、全天球画像の球面上の座標との関係は、図５で説明したような射影関数を用いることで対応付けることができる。よって、２つの魚眼画像（半球画像）を変換して合成することで、全天球画像を作成することができる（例えば、特許文献２参照）。一般に２つの魚眼画像は、互いにオーバーラップ領域を有している。このオーバーラップ領域をもとに、２つの魚眼画像を合成することで、全天球画像（全天球画像データ）を作成することができる。

太陽検出部２２０は、全天球画像データの中から太陽の位置を検出する（ステップ１００２）。逆光状態を発生させるような晴れた野外で撮影して得られた全天球画像データには、ほぼ確実に太陽が含まれている。

図７に、太陽検出部２２０の処理フローチャートを示す。

まず、太陽検出部２２０は、全天球画像データを二値化して、二値化画像データを作成する（ステップ１０１１）。二値化の目的は、太陽領域をその他の領域から区別するためである。画像中に太陽が写り込んだ場合、通常、太陽は最も明るい光源であるため、最も明るい領域となる。ここでは、全天球画像データはＲＧＢのカラー画像データであるとして、明るさとの相関が最も高いＧ成分の全天球画像データを二値化する。ここで、画素値は８ビットとし、０〜２５５階調からなるとする。この場合、太陽の領域は、Ｇ成分の画像データの中で画素値が２５５となるはずである。したがって、閾値を２５４として、Ｇ成分の全天球画像データを二値化すると、太陽の領域をその他の領域から区別することができる。ただし、ノイズ等による誤差も考慮し、例えば２５０を閾値として、Ｇ成分の全天球画像データについて、２５０以上の画素値を“１”、２５０未満の画素値は“０”に変換する。なお、閾値の値は、ノイズの大きさによって適切な値に設定すればよい。例えば、撮像光学系や撮像素子の特性等によって適切な値に設定すればよい。

なお、ここでは、全天球画像データのＧ成分に着目したが、ＲＧＢの全天球カラー画像データからＹＣｂＣｒの画像データを生成し、そのＹ成分（輝度成分）について二値化することでもよい。

次に、太陽検出部２２０は、Ｇ信号の全天球画像データ等を二値化した２値化画像データを用いて、全天球画像データ中の太陽の位置を検出する。これには、例えばパターンマッチング技術を用いる。すなわち、予め太陽の２値化パターン（円形パターン）を用意しておき、この円形パターンと２値化画像データ中の値“１”の領域とのパターンマッチングを行い、マッチングした円形領域を太陽領域とする。そして、この円形領域の円中心の位置を全天球画像データ中の太陽の位置とする。なお、太陽の２値化パターン（円形パターン）は、複数の大きさのものを用意しておく。

図８は、画像データの二値化の様子を示した図である。このように、太陽の写っている画像データを二値化することで、太陽部分を抽出することができる。なお、図８では便宜上、通常の画角の画像データを模式的に示したが、全天球画像データでも同様である。

逆光検出部２３０は、太陽検出部２２０で検出された太陽の位置をもとに、全天球画像データ中の逆光領域を検出する（ステップ１００３）。全天球画像データの場合、太陽のある方角に近い方向のみが逆光領域となる。

図９は、全天球画像データにおける逆光検出について説明する図である。図９（ａ）は全天球画像データのフォーマット、図９（ｂ）は、対応する実空間（球面）を示している。これらは、図６と同様である。

全天球画像データ上で、図９（ａ）のように太陽の位置が検出されたとすると、図９（ｂ）の実空間での位置関係では、太陽検出位置から射影中心に向かう方向が、太陽光の方向となる。これから、全天球画像データ中で、太陽を背にして被写体が射影される可能性が高い領域、すなわち、逆光領域が予測できる。

逆光領域は、水平角度θは太陽の方向と同じで、垂直角度φは水平面と平行な角度である９０度の位置を中心（検出中心）として、所定角度の範囲を逆光領域として検出する。図９（ａ）は、±４５度の領域を逆光領域として検出した例である。

本実施例で、垂直角度を地上面と平行な角度を中心に±45度としたのは、被写体は地上面から大きく離れた位置にはないという予測のもと、設定している。また、水平角度を太陽の方角を中心に±４５度としたのは、太陽光を背にする領域として設定している。それを超えると、太陽光は横から射したりする。例えば、太陽の方角から１８０度、すなわち真逆の方角では、順光状態となる。このように、全天球画像においては、全域が逆光領域となることはあり得ないため、一部の逆光領域を検出する必要がある。

逆光補正部２４０は、逆光検出部２３０で検出された逆光領域に対して、その他の領域よりも明るさを高めに補正する（ステップ１００４）。すなわち、逆光領域では、被写体が暗く写る可能性が高いため、暗い画素値を上げるような調整を行う。例えば、全天球画像データが、ＲＧＢの各画素値が８ビット（０〜２５５階調）のカラー画像データであるとした場合、Ｒ／Ｇ／Ｂ成分毎に、暗い画素を上げ、明るい画素を少し落とすようなガンマテーブルを用いてガンマ補正を行う。例えば、図１０に示すような「明るい補正ガンマテーブル」を用いる。

画像出力部２５０は、明るさ補正された全天球画像データを出力する（ステップ１００５）。具体的には、ＣＰＵ１２０が明るさ補正された全天球画像データをＲＡＭ１４０に書き込むことで出力する。このＲＡＭ１４０に書き込まれた全天球画像データは、ＣＰＵ１２０の制御下で、外部メモリＩ／Ｆ１６０を通して外部メモリ（ＳＤカード、フラッシュメモリ等）１８０に保存されたり、ネットワークＩ／Ｆ１７０を通してパソコン、その他の機器に送られる。

本実施例によれば、晴れた野外で撮影した全天球画像データには、ほぼ確実に太陽が写っていることを利用して、赤外線センサ等の特殊な手段を使用することなく、全天球画像データ中の太陽の位置を検出し、該太陽の位置から高精度に逆光状態の領域を検出し、適切な逆光補正を行うことができる。

図１１に、本実施例の全天球撮像装置のハードウェア構成図を示す。図１１は、図２の構成に加速度センサ１３と外部センサＩ／Ｆ１１５を追加したもので、これ以外の構成は図２と同じである。図１１において、加速度センサ１３は外部センサＩ／Ｆ１１５を介してバス１００に接続される。

加速度センサ１３は、撮像装置本体に対して上下、左右、前後の互いに直交する３方向の加速度を検出する３軸加速度センサである。撮像装置本体が静止するように、該撮像装置本体を手で保持した場合、重力加速度のみがかかる。したがって、上下方向の下向きにのみ加速度が検出された場合は、撮像装置本体の上下方向が地上面の天地方向に一致していることが分かる。天地方向から傾いている場合は、傾き方に応じて、左右、前後の方向にも加速度が検出される。よって、上下、左右、前後の加速度の大きさの比によって、撮像装置の傾き角度を求めることができる。

本実施例は、加速度センサ１３を撮像装置の傾きを検出する傾き検出手段として利用して、該加速度センサ13で撮像装置の傾き角度を検出することで、太陽の写る可能性の高い領域を予測して、太陽の位置を、より高精度に検出するものである。

図１２に、本実施例に係る画像処理装置の機能ブロック図を示す。本実施例に係る画像処理装置３００は、画像入力部２１０、太陽検出部３２０、逆光検出部２３０、逆光補正部２４０及び画像出力部２５０で構成される。実際には、この画像処理装置３００は、図１１のＣＰＵ１２０とＲＯＭ１３０に記憶されているプログラムとの協働により実現される。すなわち、図１１のＣＰＵ１２０とＲＯＭ１３０内の所定のプログラムが、図１２の画像処理装置３００の各部として機能する。

図１２において、画像入力部２１０、逆光検出部２３０、逆光補正部２４０、画像出力部２５０は図３と同じであり、太陽検出部３２０のみが図３と異なる。したがって、以下では太陽検出部３２０の処理について説明する。それ以外の各部の処理は先の実施例１の場合と同様であるので、説明は省略する。

図１２に、本実施例における太陽検出部３２０の処理フローチャートを示す。

まず、全天球画像データを二値化して、二値化画像データを作成する（ステップ２００１）。すなわち、全天球画像データの中の太陽領域をその他の領域から区別可能な画像データを作成する。次に、二値化画像データを用いて、パターンマッチング技術などにより、全天球画像データ中の太陽の位置を検出する（ステップ２００２）。ここまでの処理は、先の図７と同じである。ただし、本実施例では、まだ太陽の位置は確定ではなく、この段階では太陽位置候補とする。

次に、撮像装置本体に対する太陽の傾き角度を求める（ステップ２００３）。図９より、全天球画像の垂直角度φ＝０の点が撮像装置本体の上下方向に対応するため、撮像装置本体に対する太陽の傾き角度は太陽検出位置のφ座標値に対応する。次に、加速度センサ１３で検出された加速度データから、天地方向に対する撮像装置本体の傾き角度を求める（ステップ２００４）。そして、これら撮像装置本体に対する太陽の傾き角度と天地方向に対する撮像装置本体の傾き角度とを加算して、天地方向に対する太陽の傾き角度を求める（ステップ３００５）。

太陽は、天地方向の天に向かう向きから角度を測ると、９０度以下の領域しか存在しないと考えることができる。よって、天地方向に対する太陽の傾き角度が９０度を超える場合には、ステップ２００２で検出された太陽の位置は誤りであったと判定できる。

そこで、次にステップ３００５で算出した天地方向に対する太陽の傾き角度が９０度以下か否か判定する（ステップ２００６）。そして、天地方向に対する太陽の傾き角度が９０度以下だった場合、ステップ２００２で検出された太陽位置候補を太陽位置と決定する（ステップ２００７）。一方、天地方向に対する太陽の傾き角度が９０度を超える場合には、ステップ２００２で検出された太陽位置候補は太陽位置ではないと決定する（ステップ２００８）。この場合、当該太陽位置候補は無効とする。

本実施例によれば、傾き検出手段としての加速度センサを追加して、撮像装置本体の傾き角度を検出することで、太陽位置の誤検出を減らすことが可能になる。

実施例１及び実施例２は、全天球画像データを対象にしているが、必ずしも全天球画像データである必要はない。本実施例では、通常の画角や広画角（例えば、１８０度程度）の画像データを対象とする。

図１４に、本実施例の撮像装置のハードウェア構成図を示す。図１４は、１つの撮像素子２１を備えている以外、図２と同じである。

撮像素子２１は、通常の画角あるいは広画角（例えば、１８０度程度）なレンズで撮影された光学画像を電気信号の画像データに変換して出力する。画像処理ユニット１１０は、撮像素子１１から出力される画像データを取り込み、所定の処理（黒レベル補正、色補間、欠陥画素補正等）を施す。画像処理ユニット１１０で所定の処理を施された画像データはＲＡＭ１４０に記憶されて、以後の処理に供される。

図１５に、本実施例に係る画像処理装置の機能ブロック図を示す。本実施例に係る画像処理装置４００は、画像入力部４１０、太陽検出部４２０、逆光検出部４３０、逆光補正部４４０及び画像出力部４５０で構成される。実際には、この画像処理装置４００の各部は、図１４のＣＰＵ１２０とＲＯＭ１３０に記憶されているプログラムとの協働により実現される。すなわち、図１４のＣＰＵ１２０とＲＯＭ１３０内の所定のプログラムが、図１５の画像処理装置４００の各部として機能する。

図１５に、本実施例における画像処理装置の全体的処理フローチャートを示す。

画像入力部４１０は、通常の画角や広画角（例えば、１８０度程度）の画像データを入力する（ステップ３００１）。具体的には、ＣＰＵ１２０がＲＡＭ１４０から画像データを読み出すことで入力する。

太陽検出部４２０は、画像データ中から太陽の位置を検出する（ステップ３００２）。この太陽検出部４２０の処理は、先の実施例１の場合と基本的に同じである（図７）。ただし、通常の画角や広画角の画像データは、必ず太陽が含まれているとは限らず、太陽が検出されない場合もある。

逆光検出部４３０は、太陽検出部４２０で太陽が検出されたか否か判定し（ステップ３００３）、太陽が検出された場合、太陽の位置をもとに、画像データ中の逆光領域を検出する（ステップ３００４）。例えば、太陽が検出された場合、画像データの全領域を逆光領域とする。ただし、広画角な画像データについては、画像データの全領域ではなく、太陽から位置の近い所定領域のみを逆光領域とすることでもよい。

逆光補正部４４０は、逆光検出部４３０で検出された逆光領域に対して明るさ補正処理を行う（ステップ３００５）。この逆光補正部４４０の処理は、先の実施例１の場合と基本的に同じである。すなわち、逆光領域では、被写体が暗く写る可能性が高いため、暗い画素値を上げるような調整を行う（図１０）。

画像出力部４５０は、明るさ補正された画像データを出力する（ステップ２００６）。具体的には、ＣＰＵ１２０が明るさ補正された画像データをＲＡＭ１４０に書き込むことで出力する。このＲＡＭ１４０に書き込まれた画像データは、ＣＰＵ１２０の制御下で、外部メモリＩ／Ｆ１６０を通して外部メモリ（ＳＤカード、フラッシュメモリ等）１８０に保存されたり、ネットワークＩ／Ｆ１７０を通してパソコン、その他の機器に送られる。

本実施例によれば、通常の画角や広画角の画像データにおいても、赤外線センサ等の特殊な手段を使用することなく、画像データ中の太陽の位置を検出し、該太陽の位置から高精度の逆光状態の領域を検出し、適切な逆光補正を行うことができる。

以上、本発明の実施形態について説明したが、本発明は図示の構成に限定されるものではない。例えば、全天球撮像装置は、２つの魚眼レンズと２つの撮像素子を備えるとしたが、３つ以上の魚眼レンズと、これらに対応する３つ以上の撮像素子を使用することでもよい。

また、実施形態では、本発明の画像処理装置の機能を撮像装置に含めたが、本発明の画像処理装置の機能は、例えば、パソコン上に持たせることでもよい。

１１，１２ 魚眼レンズ
２１，２２ 撮像素子
２３ 加速度センサ
１２０ ＣＰＵ
１３０ ＲＯＭ
１４０ ＲＡＭ
２００，３００，４００ 画像処理装置
２２０，３２０，４２０ 太陽検出部
２３０，４３０ 逆光検出部
２４０，４４０ 逆光補正部

特開２０１０−２１９８１０号公報 特許第３２９０９９３号公報

Claims (8)

1. 全天球画像データを処理する画像処理装置であって、
   前記全天球画像データの中から太陽の位置を検出する太陽検出手段と、
   前記全天球画像データの中の、前記検出された太陽の位置の近傍の所定領域である逆光領域を検出する逆光検出手段と、
   前記検出された逆光領域について、明るさを補正する逆光補正手段と、を備え、
   前記太陽検出手段は、天に向かう方向に対する太陽の傾き角度を算出する手段と、算出した太陽の傾き角度が９０度以下であるか否かを判定し、９０度以下である場合に、検出された太陽の位置が真の太陽の位置であると判定する手段と、を更に有する、ことを特徴とする画像処理装置。
2. 前記太陽検出手段は、前記全天球画像データについて、明るさが所定の閾値以上の領域を“１”、所定の閾値未満の領域を“０”に二値化する手段と、前記“１”の領域について円形パターンとのパターンマッチングを行い、マッチングした円形領域の中心位置を太陽の位置とする手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 画像データを処理する画像処理装置であって、
   前記画像データの中から太陽の位置を検出する太陽検出手段と、
   前記画像データの中の、前記検出された太陽の位置の近傍の所定領域である逆光領域を検出する逆光検出手段と、
   前記検出された逆光領域について、明るさを補正する逆光補正手段と、
   前記太陽検出手段は、天に向かう方向に対する太陽の傾き角度を算出する手段と、算出した太陽の傾き角度が９０度以下であるか否かを判定し、９０度以下である場合に、検出された太陽の位置が真の太陽の位置であると判定する手段と、を更に有する、ことを特徴とする画像処理装置。
4. 全天球画像データを処理する画像処理方法であって、
   前記全天球画像データの中から太陽の位置を検出する太陽検出工程と、
   前記全天球画像データの中の、前記検出された太陽の位置の近傍の所定領域である逆光領域を検出する逆光検出工程と、
   前記検出された逆光領域について明るさを補正する逆光補正工程と、を含み、
   前記太陽検出工程は、天に向かう方向に対する太陽の傾き角度を算出する工程と、算出した太陽の傾き角度が９０度以下であるか否かを判定し、９０度以下である場合に、検出された太陽の位置が真の太陽の位置であると判定する工程と、を更に含む、ことを特徴とする画像処理方法。
5. 画像データを処理する画像処理方法であって、
   前記画像データの中から太陽の位置を検出する太陽検出工程と、
   前記画像データの中の、前記検出された太陽の位置の近傍の所定領域である逆光領域を検出する逆光検出工程と、
   前記検出された逆光領域について明るさを補正する逆光補正工程と、を含み、
   前記太陽検出工程は、天に向かう方向に対する太陽の傾き角度を算出する工程と、算出した太陽の傾き角度が９０度以下であるか否かを判定し、９０度以下である場合に、検出された太陽の位置が真の太陽の位置であると判定する工程と、を更に有する、ことを特徴とする画像処理方法。
6. 全天球を撮像するための複数の魚眼レンズと、
   前記複数の魚眼レンズで撮像されたそれぞれの光学魚眼像を電気信号に変換して魚眼画像データとして出力する複数の撮像素子と、
   前記複数の撮像素子から出力される複数の魚眼画像データを座標変換し合成して全天球画像データを作成する画像処理ユニットと、
   請求項１乃至２のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
7. 全天球を撮像するための複数の魚眼レンズと、
   前記複数の魚眼レンズで撮像されたそれぞれの光学魚眼像を電気信号に変換して魚眼画像データとして出力する複数の撮像素子と、
   当該撮像装置の傾きを検出する傾き検出手段と、
   前記複数の撮像素子から出力される複数の魚眼画像データを座標変換し合成して全天球画像データを作成する画像処理ユニットと、
   請求項１に記載の画像処理装置と、
   を有する撮像装置であって、
   前記太陽検出手段は、当該撮像装置に対する太陽の傾き角度を算出し、前記傾き検出手段で検出された当該撮像装置の傾きデータをもとに、天地方向に対する当該撮像装置の傾き角度を算出し、これら算出した傾き角度から、天に向かう方向に対する太陽の傾き角度を算出する、
   ことを特徴とする撮像装置。
8. 被写体を撮像するためのレンズと、
   前記レンズで撮像された光学像を電気信号に変換して画像データとして出力する撮像素子と、
   前記撮像素子から出力される画像データに対して所定の処理を施す画像処理ユニットと、
   請求項３に記載の画像処理装置と、
   を有することを特徴とする撮像装置。

Images