JP6291748B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

従来、複数の撮像素子を有する複眼撮像装置が知られている。また、撮像装置において、白色の被写体の色あいを調整する、いわゆるホワイトバランス（以下、ホワイトバランスという。）が知られている。

複眼撮像装置において、各撮像素子の分光特性の固有差を減らすために、各撮像素子におけるホワイトバランスで、異なるホワイトバランスの補正係数を用いる方法が知られている（例えば、特許文献１参照）。

しかしながら、従来の方法では、複眼撮像装置において各撮像素子で撮像される画像でホワイトバランスの補正係数を別々に算出していたため、色あいを均一にすることが難しかった。

本発明の１つの側面は、複数の撮像素子を有する撮像装置において色あいを均一にできる撮像装置を提供することを目的とする。

一態様における、画像を出力する複数の撮像素子と、前記画像の画素値の積算値に基づいて算出された前記撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手段と、前記相対値を用いて、前記複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、前記画像に対して歪み補正を行う歪み補正部と、前記画像からホワイトバランスの補正係数を演算する演算手段と、を有し、前記第１撮像素子は、第１画像を撮像し、前記第２撮像素子は、第２画像を撮像し、前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、前記歪み補正部が補正した第１画像又は第２画像と、前記歪み補正部が補正した第３画像とを結合して結合画像を生成し、前記演算手段は、前記結合画像に基づいて前記ホワイトバランスの補正係数を演算することを特徴とする。

複数の撮像素子を有する撮像装置において色あいを均一にすることができる。

本発明の一実施形態に係る撮像システムの全体構成の一例を示す図である。 本発明の一実施形態に係る撮像システムのハードウェア構成の一例を示す図である。 本発明の一実施形態に係る撮像システムの一例を示す機能ブロック図である。 本発明の一実施形態に係る撮像システムによる全体処理の一例を示す図である。 本発明の一実施形態に係る歪曲補正・画像合成部の一例を示す機能ブロック図である。 本発明の一実施形態に係る歪曲補正・画像合成部による全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る撮像システムにおける魚眼レンズの射影関係の一例を説明する図である。 本発明の一実施形態に係る全天球画像のデータ構造の一例を説明する図である。 本発明の一実施形態に係る平面座標系から球面座標系への変換の一例を説明する図である。 本発明の一実施形態に係る位置検出用補正画像を用いたマッピングの一例を説明する図である。 本発明の一実施形態に係るつなぎ位置検出の処理の一例を説明するフローチャートである。 本発明の一実施形態に係るつなぎ位置検出の処理、及び検出結果データの一例を説明する図である。 本発明の一実施形態に係る位置合わせの修正の一例を説明する図である。 本発明の一実施形態に係る画像合成用変換テーブルの生成の一例を説明するフローチャートである。 本発明の一実施形態に係る画像合成におけるマッピングの一例を説明する図である。 本発明の一実施形態に係るホワイトバランスのための処理を説明するデータフロー図である。

以下、本発明の実施の形態について説明する。

＜実施形態＞
＜全体構成＞
複数の撮像素子を有する複眼撮像装置は、例えば魚眼レンズや超広角レンズなどの広角なレンズ有する撮像素子を複数使用し、全方位（以下、全天球という。）を一度に撮像する全天球撮像システム（以下、単に撮像システムという。）などである。本実施形態の一例として、以下、撮像システムを例にして説明する。

図１は、本発明の一実施形態に係る撮像システムの全体構成の一例を示す図である。図１は、断面図である。

撮像システム１０は、撮像体１２と、筐体１４と、シャッター・ボタン１８と、を有する。

撮像体１２は、結像光学系２０Ａ、及び２０Ｂと、固体撮像素子２２Ａ、及び２２Ｂと、を有する。

筐体１４は、撮像システム１０に係る部品を収納する。

結像光学系２０Ａ、及び２０Ｂは、例えば魚眼レンズ、広角レンズなどのレンズである。

結像光学系２０Ａは、例えば６群７枚の魚眼レンズなど複数のレンズで構成された光学系でもよい。結像光学系２０Ｂも同様である。
なお、結像光学系２０Ａ、及び２０Ｂは、プリズム、フィルタ、絞りなどレンズ以外の光学要素を有してもよい。

結像光学系２０Ａ、及び２０Ｂは、例えば１８０度以上の画角を有する。なお、画角は１９０度以上であってもよい。

固体撮像素子２２Ａ、及び２２Ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、または（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など光学センサを有する撮像素子である。各固体撮像素子２２Ａ、及び２２Ｂは、シャッター・ボタン１８が押下されると、シャッターを切る。

結像光学系２０Ａは、固体撮像素子２２Ａに対して位置関係が定まる。位置関係は、結像光学系２０Ａの光軸が固体撮像素子２２Ａの受光領域の中心部に直交し、かつ、受光領域が結像面となるように定められる。同様に、結像光学系２０Ｂは、固体撮像素子２２Ｂに対して位置関係が定まる。

固体撮像素子２２Ａ、及び２２Ｂは、結像光学系２０Ａ、及び２０Ｂによって集光された光を画像信号に変換する。

なお、撮像システム１０は、筐体１４の内部にコントローラ（図示せず）、またはバッテリ（図示せず）などを有してもよい。

図１に示す場合では、結像光学系２０Ａ、及び２０Ｂは、光軸が同一となり、かつ、互いに逆向きになるように設置されている。固体撮像素子２２Ａ、及び２２Ｂは、集光した光から画像信号を生成し、出力する。画像信号に基づく各画像は、詳細は後述する画像処理によって双方がつなぎ合わせられる。撮像システム１０は、立体角４πラジアンの画像（以下、全天球画像という。）を生成する。全天球画像は、撮影地点から見渡すことのできる全方向を撮影した画像である。なお、全天球画像は、水平面のみ３６０度を撮影した、いわゆるパノラマ画像でもよい。

結像光学系２０Ａ、及び２０Ｂの画角が１８０度を超える場合、固体撮像素子２２Ａ、及び２２Ｂが生成する画像信号に基づく各画像は、同じ被写体を写す。画像信号に基づく各画像の双方をつなぎ合わせる際、各画像に写された被写体が参考となる。

生成された全天球画像は、撮像システム１０に接続されたディスプレイ、または画像形成装置などの出力装置（図示せず）に出力される。また、生成された全天球画像は、ＳＤ（登録商標）カード、ＵＳＢメモリ、またはコンパクトフラッシュ（登録商標）などの記憶媒体に出力されてもよい。

＜ハードウェア構成＞
図２は、本発明の一実施形態に係る撮像システムのハードウェア構成の一例を示す図である。

撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単に、プロセッサという。）１００と、鏡胴ユニット１０２と、を有する。

プロセッサ１００は、画像データ転送処理回路１２６と、ＳＤＲＡＭＣ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ Ｃｏｎｔｒｏｌｌｅｒ）１２８と、を有する。

また、プロセッサ１００は、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０８Ａ、及び１０８Ｂと、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）１１０と、を有する。

さらに、プロセッサ１００は、メモリアクセス調停回路（以下、ＡＲＢＭＥＭＣ（Ａｒｂｉｔｒａｔｉｏｎ Ｍｅｍｏｒｙ Ｃｏｎｔｒｏｌｌｅｒ）という。）１１２と、ＭＥＭＣ（Ｍｅｍｏｒｙ Ｃｏｎｔｒｏｌｌｅｒ）１１４と、を有する。

そのうえ、プロセッサ１００は、歪曲補正・画像合成処理回路１１８と、ＤＭＡＣ１２２と、画像処理回路１２４と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０と、リサイズ処理回路１３２と、を有する。

また、プロセッサ１００は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｒｔｓ Ｇｒｏｕｐ）処理回路１３４と、Ｈ．２６４処理回路１３６と、メモリカード制御処理回路１４０と、ＵＳＢ（Ｕｎｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）処理回路１４６と、ペリフェラル通信処理回路１５０と、を有する。

ならびに、プロセッサ１００は、音声ユニット１５２と、シリアル通信処理回路１５８と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ドライバ１６２と、ブリッジ回路１６８と、を有する。

プロセッサ１００には、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３８と、メモリカードスロット１４２と、フラッシュＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、が接続されている。

また、プロセッサ１００には、ＵＳＢコネクタ１４８と、スピーカ１５４と、マイク１５６と、無線ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）１６０と、ＬＣＤモニタ１６４と、電源スイッチ１６６と、が接続されている。

ＩＳＰ１０８Ａ、及びＩＳＰ１０８Ｂは、入力された画像信号に基づく画像データに、ホワイトバランス、ガンマ補正、歪曲補正、画像合成などの処理を行う。

ＤＭＡＣ１１０、及び１２２は、メモリに対する処理の制御を行う。メモリに対する処理は、例えばメモリへ画像データを書き込み、または読み出しする処理などである。

ＡＲＢＭＥＭＣ１１２は、各メモリへアクセスする処理を調停する処理を行う。

ＭＥＭＣ１１４は、メモリを制御する処理を行う。ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続されている。ＳＤＲＡＭ１１６は、ＩＳＰ１０８Ａ、及びＩＳＰ１０８Ｂが処理を行う際、処理に用いるデータなどが記憶される。

歪曲補正・画像合成処理回路１１８は、固体撮像素子２２Ａ、及び２２Ｂから出力される画像信号を処理する。歪曲補正・画像合成処理回路１１８は、例えば、歪曲補正などの処理を行う。

歪曲補正・画像合成処理回路１１８には、３軸加速度センサ１２０が接続されている。３軸加速度センサ１２０は、撮像システム１０の姿勢、及び向きなどの情報を出力する。歪曲補正・画像合成処理回路１１８は、３軸加速度センサ１２０からの情報に基づいて、いわゆる天地補正処理を行ってもよい。なお、３軸加速度センサ１２０はジャイロセンサなどでもよい。さらに、歪曲補正・画像合成処理回路１１８は、天地補正処理の処理に限られない。例えば、手ぶれ補正処理などを行ってもよい。

画像処理回路１２４は、各種の画像処理を行う。画像処理回路１２４は、リサイズ処理回路１３２と、ＪＰＥＧ処理回路と、Ｈ．２６４処理回路１３６と、に画像データを処理させる制御を行う。

画像データ転送処理回路１２６は、画像処理回路１２４から出力された画像データを転送する処理を行う。

ＳＤＲＡＭＣ１２８は、ＳＤＲＡＭ１３８の制御を行う。ＳＤＲＡＭ１３８には、プロセッサ１００で処理される画像データなど各種のデータが記憶される。

ＣＰＵ１３０は、各種の処理、及び各種のハードウェアの制御を行う。

リサイズ処理回路１３２は、画像データのサイズを拡大、または縮小する処理を行う。

ＪＰＥＧ処理回路１３４は、画像データをＪＰＥＧ圧縮、及び伸張するコーデック（Ｃｏｄｅｃ）処理を行う。

Ｈ．２６４処理回路１３６は、動画圧縮、及び伸張するコーデック処理を行う。

なお、静止画のコーデック処理は、ＪＰＥＧ、及びＨ．２６４の形式に限られない。例えば、静止画のコーデック処理は、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、またはＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）などでもよい。また、静止画のコーデック処理は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｂｉｔｍａｐ Ｉｍａｇｅ、またはＲＡＷ ｉｍａｇｅ ｆｏｒｍａｔなど圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。

また、動画のコーデック処理は、ＭＰ４（ＭＰＥＧ−４ Ｐａｒｔ１４）などでもよい。また、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）など圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。

メモリカード制御処理回路１４０は、メモリカードスロット１４２に接続されているメモリカード（図示せず）に対する読み込み、または書き込みなどの処理の制御を行う。メモリカードスロット１４２には、メモリカードなど外部の記憶媒体が接続される。

フラッシュＲＯＭ１４４は、ＣＰＵ１３０が実行するプログラム、及び各種のパラメータを記憶する。フラッシュＲＯＭ１４４に記憶されているプログラム、及び各種のパラメータは、メインメモリ（図示せず）、またはＣＰＵ１３０のレジスタなどにロードされ、ＣＰＵ１３０によって実行される。

ＵＳＢ処理回路１４６は、ＵＳＢコネクタ１４８を介して接続されるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など外部装置（図示せず）とのＵＳＢ通信を制御する。

ペリフェラル通信処理回路１５０は、電源スイッチ１６６による入力を制御する。

音声ユニット１５２は、スピーカ１５４と、マイク１５６と、を制御し、音声の入出力を制御する。音声ユニット１５２は、マイク１５６からの音声入力を制御する。音声ユニット１５２は、スピーカ１５４への音声出力を制御する。

シリアル通信処理回路１５８は、ＰＣなど外部装置（図示せず）とのシリアル通信を制御する。シリアル通信処理回路１５８は、接続されている無線ＮＩＣ１６０を制御して、ネットワークを介して外部装置と通信を行う。

なお、外部装置との接続は、ＵＳＢ通信、及びシリアル通信に限られない。例えば、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４、及びＴｈｕｎｄｅｒｂｏｌｔ（登録商標）などの規格に準じた通信でもよい。また、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線による通信でもよい。

ＬＣＤドライバ１６２は、接続されているＬＣＤモニタ１６４を制御する回路である。ＬＣＤドライバ１６２は、ＬＣＤモニタ１６４へ出力する画像信号を制御する。ＬＣＤモニタ１６４は、出力された画像信号に基づいて、各種の表示を行う。

各要素間での送受信は、ブリッジ回路１６８を介して送受信されてもよい。

鏡胴ユニット１０２は、結像光学系２０Ａ、及び２０Ｂと、固体撮像素子２２Ａ、及び２２Ｂと、を有する。固体撮像素子２２Ａ、及び２２Ｂは、ＣＰＵ１３０によって制御される。

なお、歪曲補正・画像合成処理回路１１８による処理は、歪曲補正などの処理に限られない。例えば、シェーディング（Ｓｈａｄｉｎｇ）補正、欠陥画素補正、オプティカル・ブラック（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）補正、リニア（Ｌｉｎｅａｒ）補正、または色空間を変換する処理などが行われてもよい。

なお、歪曲補正・画像合成処理回路１１８による処理は、歪曲補正・画像合成処理回路１１８が処理を行うに限られない。例えば、歪曲補正・画像合成処理回路１１８による処理の全部または一部を、画像処理回路１２４、またはＣＰＵ１３０などが処理を行ってもよい。また、同様に、ＩＳＰ１０８Ａ、ＩＳＰ１０８Ｂ、及び画像処理回路１２４による処理の全部または一部は、歪曲補正・画像合成処理回路１１８、またはＣＰＵ１３０などが処理を行ってもよい。

なお、回路による各処理は、回路によって行われることに限られない。例えば、各処理の一部または全部は、ソフトウェア、またはファームウェアによって処理されてもよい。

＜機能ブロック図＞
図３は、本発明の一実施形態に係る撮像システムの一例を示す機能ブロック図である。

撮像システム１０は、撮像部１００１と、画像処理部１００２と、制御部１００３と、出力部１００４と、を有する。

撮像部１００１は、固体撮像素子２２Ａ、及び２２Ｂによって撮像を行う。

画像処理部１００２は、各種の画像処理を行う。画像処理部１００２は、前処理部１００２１と、後処理部１００２２と、歪曲補正・画像合成処理部１００２３と、を有する。

制御部１００３は、撮像システム１０のハードウェア、及び処理の制御を行う。

出力部１００４は、画像処理部１００２によって画像処理された画像を出力する。

＜全体処理＞
図４は、本発明の一実施形態に係る撮像システムによる全体処理の一例を示す図である。

ステップＳ１０１Ａでは、図３の撮像部１００１は、図２の固体撮像素子２２Ａによって撮像処理を行う。

ステップＳ１０１Ｂでは、ステップＳ１０１Ａと同様に、図３の撮像部１００１は、図２の固体撮像素子２２Ｂによって撮像処理を行う。

ステップＳ１０２Ａでは、図３の画像処理部１００２は、ステップＳ１０１Ａで撮像された画像に前処理を行う。前処理は、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理、及び領域分割平均処理などである。

ステップＳ１０２Ｂでは、ステップＳ１０２Ａと同様に、図３の画像処理部１００２は、ステップＳ１０１Ｂで撮像された画像に前処理を行う。

ステップＳ１０３Ａでは、図３の制御部１００３は、ステップＳ１０２Ａで前処理された画像を図２のＤＭＡＣ１１０によってメモリへ記憶する。

ステップＳ１０３Ｂでは、図３の制御部１００３は、ステップＳ１０３Ａと同様に、ステップＳ１０２Ｂで前処理された画像を図２のＤＭＡＣ１１０によってメモリへ記憶する。

ステップＳ１０４Ａでは、図３の画像処理部１００２は、ステップＳ１０３Ａで図２のＤＭＡＣ１１０によって記憶された画像に後処理を行う。後処理は、ホワイトバランス、ガンマ補正処理、ベイヤー（Ｂａｙｅｒ）補間処理、ＹＵＶ変換処理、エッジ（Ｅｄｇｅ）強調処理、及び色補正処理などである。

ステップＳ１０４Ｂでは、図３の画像処理部１００２は、ステップＳ１０３Ｂで図２のＤＭＡＣ１１０によって記憶された画像に後処理を行う。

ステップＳ１０５Ａでは、図３の制御部１００３は、ステップＳ１０４Ａで後処理された画像を図２のＤＭＡＣ１１０によって記憶する。

ステップＳ１０５Ｂでは、図３の制御部１００３は、ステップＳ１０５Ａと同様に、ステップＳ１０４Ｂで後処理された画像を図２のＤＭＡＣ１１０によって記憶する。

ステップＳ１０６では、図３の画像処理部１００２は、ステップＳ１０５Ａ、及びステップＳ１０５Ｂで記憶された画像に後述する歪曲補正処理、及び後述する画像合成処理を行う。

ステップＳ１０７では、図３の出力部１００４は、ステップＳ１０６で処理された画像をファイル、または画像信号などで出力する。

＜歪曲補正・画像合成処理＞
撮像システム１０は、図４のステップＳ１０５Ａ、及びステップＳ１０５Ｂで記憶される２つの画像を画像合成処理して全天球画像を生成する。

画像合成処理は、歪曲補正・画像合成処理部１００２３によって処理が行われる。

図５は、本発明の一実施形態に係る歪曲補正・画像合成部の一例を示す機能ブロック図である。

歪曲補正・画像合成処理部１００２３は、位置検出用歪み補正部２０２と、つなぎ位置検出部２０４と、テーブル修正部２０６と、テーブル生成部２０８と、画像合成用歪み補正部２１０と、画像合成部２１２と、を有する。また、歪曲補正・画像合成処理部１００２３は、位置検出用変換テーブル２２０と、検出結果データ２２２と、画像合成用変換テーブル２２４と、を有する。なお、歪曲補正・画像合成処理部１００２３は、表示画像生成部２１４を有してもよい。

図６は、本発明の一実施形態に係る歪曲補正・画像合成部による全体処理の一例を示すフローチャートである。

ステップＳ２００では、歪曲補正・画像合成処理部１００２３は、処理を開始する。例えば、歪曲補正・画像合成処理部１００２３は、図１のシャッター・ボタン１８が押された際、処理を開始する。

処理を開始されると歪曲補正・画像合成処理部１００２３には、部分画像０、及び部分画像１の画像が入力される。部分画像０は、例えば図２の固体撮像素子２２Ａによって撮像された画像に基づいた画像である。部分画像１は、例えば図２の固体撮像素子２２Ｂによって撮像された画像に基づいた画像である。

ステップＳ２０１では、歪曲補正・画像合成処理部１００２３は、部分画像０、及び部分画像１に後述する位置検出用歪み補正を行う。歪曲補正・画像合成処理部１００２３は、後述する位置検出用歪み補正によって、位置検出用補正画像（以下、単に、補正画像という場合もある。）０、及び位置検出用補正画像１を生成する。

ステップＳ２０２では、歪曲補正・画像合成処理部１００２３は、位置検出用補正画像０、及び位置検出用補正画像１によって、後述するつなぎ位置検出を行う。

ステップＳ２０３では、歪曲補正・画像合成処理部１００２３は、つなぎ位置検出に基づいて、後述する位置合わせの修正を行う。

ステップＳ２０４では、歪曲補正・画像合成処理部１００２３は、後述する画像合成用変換テーブルを生成する。

ステップＳ２０５では、歪曲補正・画像合成処理部１００２３は、ステップＳ２０４で生成された部分画像０、及び部分画像１に後述する画像合成用変換テーブルに基づいた歪み補正を行う。

ステップＳ２０６では、歪曲補正・画像合成処理部１００２３は、ステップＳ２０５で生成された補正画像０、及び補正画像１を合成し、全天球画像を生成する。

合成は、補正画像０と補正画像１の双方に重複して存在する領域（以下、重複領域という。）の画素について補正画像０と補正画像１の双方が有する画素をブレンドする処理などである。合成は、重複領域以外の画素について補正画像０、または補正画像１の画素をそのまま使用する。

歪曲補正・画像合成処理部１００２３は、合成によって、補正画像０と補正画像１から１つの全天球画像が生成する。

＜位置検出用歪み補正＞
位置検出用歪み補正は、図５の位置検出用歪み補正部２０２がステップＳ２００で入力された部分画像０、及び部分画像１に対して行う処理である。位置検出用歪み補正は、つなぎ位置検出の処理を行うための前段の処理として行われる。

位置検出用歪み補正は、位置検出用変換テーブル２２０を用いて、位置検出用補正画像０、及び位置検出用補正画像１を生成する。位置検出用変換テーブル２２０は、レンズの設計データなどに基づいて生成されたデータである。

部分画像０、及び部分画像１は、面積エリアを成す２次元の受光領域を有する固体撮像素子で撮像された画像である。部分画像０、及び部分画像１は、平面座標系（ｘ、ｙ）で表現された画像である。

位置検出用補正画像０、及び位置検出用補正画像１は、球面座標系（θ、φ）で表現された画像である。

図７は、本発明の一実施形態に係る撮像システムにおける魚眼レンズの射影関係の一例を説明する図である。

図７（Ａ）に示すように、光学系の光軸に対してφの入射角で入射した光は、図７（Ｂ）に示すように、像高ｈの位置に画像形成される。像高ｈと、入射角φと、の関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、光学系の性質によって決定される。等距離射影方式の投影モデルの光学系は、焦点距離ｆとして、下記の（式１）のように表現できる。

投影モデルは、下記の（式２）のように表現できるいわゆる中心投影方式、下記の（式３）のように表現できるいわゆる立体投影方式、下記の（式４）のように表現できる等立体角射影方式などでもよい。いずれの投影モデルでも、像高ｈは、焦点距離ｆと、入射角φと、に対応して決定される。

本実施例では、画像対角線よりも光が結像する円形の範囲、いわゆるイメージサークル（以下、イメージサークルという。）径が小さい、いわゆる円周魚眼レンズを例にして説明する。部分画像０、及び部分画像１は、図７（Ｂ）に示すように、撮影範囲が半球程度の範囲であり、イメージサークル全体が含まれる画像である。

図８は、本発明の一実施形態に係る全天球画像のデータ構造の一例を説明する図である。

図８（Ａ）、及び（Ｂ）の縦軸は、光軸に対して垂直方向の角度を示す垂直角度φである。角度φの範囲は、０度から１８０度である。なお、角度φの範囲は、−９０度から９０度としてもよい。

図８（Ａ）、及び（Ｂ）の横軸は、光軸に対して水平方向の角度を示す水平角度θである。角度θの範囲は、０度から３６０度である。なお、。角度θの範囲は、−１８０度から１８０度としてもよい。

球面座標系の各座標（θ、φ）は、（式１）で説明した射影関数によって平面座標系の各座標（ｘ、ｙ）と対応付けられる。

図９は、本発明の一実施形態に係る平面座標系から球面座標系への変換の一例を説明する図である。

図９（Ａ）は、球面座標系の各座標（θ、φ）と平面座標系の各座標（ｘ、ｙ）を対応付けさせた変換テーブルの一例である。変換テーブルは、球面座標系の各座標に対応する平面座標系の座標を記憶する。変換テーブルは、例えば図５の位置検出用変換テーブル２２０、及び画像合成用変換テーブル２２４である。

図９（Ｂ）は、図９（Ａ）で示した変換テーブルに基づいて、平面座標系である部分画像から球面座標系である補正画像に変換する一例を説明する図である。

図９（Ａ）の場合、θ軸方向、及びφ軸方向の１画素は、１／１０度分である。したがって、変換テーブルは、３６００×１８００のレコードを有する。

なお、変換テーブルは、図９（Ａ）に示した形式に限られない。例えば、レコードの単位は、レンズの画角、または補正画像の画素数などによって変更されてもよい。

図５の位置検出用変換テーブル２２０は、レンズの設計データ、及び（式１）で示した射影関数に基づいて、理想状態のレンズから算出されたデータである。

なお、平面座標系から球面座標系への変換は、変換テーブルを用いて行うに限られない。例えば、１または複数の関数を用いて行ってもよい。

位置検出用歪み補正は、図５の位置検出用変換テーブル２２０を用いて行われる。位置検出用歪み補正は、図５の位置検出用変換テーブル２２０に基づいて位置検出用補正画像０、及び１にマッピング（Ｍａｐｐｉｎｇ）する部分画像０、及び１の対応する画素の座標を算出する。位置検出用歪み補正は、算出された部分画像０、及び１の座標値の画素値を参照し、位置検出用補正画像０、及び１を生成する。

図１０は、本発明の一実施形態に係る位置検出用補正画像を用いたマッピングの一例を説明する図である。

位置検出用歪み補正によって生成された位置検出用補正画像０、及び１は、図１０に示すようにマッピングできる。したがって、例えばレンズ０で撮像された部分画像０は、全天球画像の上半球部分にマッピングされ、レンズ１で撮像された部分画像１は、全天球画像の下半球部分にマッピングされる。レンズ０、及びレンズ１の画角が１８０度以上である場合、部分画像０と部分画像１との重複領域が発生する。

＜つなぎ位置検出＞
つなぎ位置検出は、重複領域においてつなぎ位置を検出する。

垂直角度φは、極となる０度または１８０度に近づくにつれて水平角度θと実際の距離との乖離が大きくなる。垂直角度φが０度または１８０度の場合、水平方向の距離が０となり、水平方向に並ぶ画素はすべて同じ方位を表現する。水平方向の距離の変化量は、極となる０度または１８０度に近づくにつれて大きくなり、９０度の場合、最も小さくなる。水平方向の距離の変化量は、水平方向に画像がずれた場合に歪み方が変化する量となるため、垂直角度φが０度または１８０度に近づくほどつなぎ位置検出精度が悪化する。

図５の位置検出用変換テーブル２２０は、図１０に示すように、レンズ０及び１の光軸が極であるφ＝０度または１８０度となる射影をするように生成される。また、図５の位置検出用変換テーブル２２０は、図１０に示すように、重複領域がφ＝９０度±（（全画角−１８０度）／２）となる射影をするように生成される。図１０の場合、レンズ０の光軸は、マッピングした図のθ軸、及びφ軸と一致する。このように図５の位置検出用変換テーブル２２０を生成するため、重複領域は、図１０に示すように、垂直角度φ９０度を中心として生成される。水平方向の距離の変化量が最も少ない領域が重複領域となるため、画像が水平方向にずれた場合、図５のつなぎ位置検出部２０４は、精度良くつなぎ位置検出を行うことができる。

図１１は、本発明の一実施形態に係るつなぎ位置検出の処理の一例を説明するフローチャートである。図１１の処理は、図６のステップＳ２０２で行われる処理の一例である。

図１２は、本発明の一実施形態に係るつなぎ位置検出の処理、及び検出結果データの一例を説明する図である。以下、パターン画像３００の場合を例に説明する。

ステップＳ３００では、図５のつなぎ位置検出部２０４は、図６のステップＳ２０１で歪み補正が行われ、位置検出用補正画像０、及び１が生成された際、つなぎ位置検出の処理を開始する。

ステップＳ３０１では、図５のつなぎ位置検出部２０４は、重複領域内で任意の範囲をパターン画像として設定する。パターン画像３００は、図内で「☆」と示されている画素を中心に、縦１１画素×横１１画素の範囲をパターン画像に設定する。なお、θ軸の極である０度及び３６０度はつながっているため、画像の右端と左端は、連続してパターン画像に設定してもよい。

ステップＳ３０２では、図５のつなぎ位置検出部２０４は、位置検出用補正画像０においてステップＳ３０１でされたパターン画像３００をパターンマッチングする。図５のつなぎ位置検出部２０４は、パターンマッチングによってパターン画像３００と同一の画像のある箇所を検出する。パターンマッチングは、例えばパターン画像３００を利用したテンプレートマッチング法などである。

ステップＳ３０３では、図５のつなぎ位置検出部２０４は、ステップＳ３０２で検出された位置検出用補正画像０と位置検出用補正画像１のパターン画像３００のずれ量（Δθ、Δφ）を算出する。具体的には、図５のつなぎ位置検出部２０４は、図１２（Ｂ）で示すように、ステップＳ３０１で設定した「☆」と示されている画素の座標についてずれ量（Δθ、Δφ）を算出する。

ずれ量（Δθ、Δφ）は、位置検出用補正画像１の任意の座標（θ、φ）をずれ量（Δθ、Δφ）移動させると位置検出用補正画像０と一致する補正量を示す。図５のつなぎ位置検出部２０４は、ずれ量（Δθ、Δφ）を図５の検出結果データ２２２として出力する。

ステップＳ３０４では、図５のつなぎ位置検出部２０４は、つなぎ位置検出の処理を終了させる。

＜位置合わせの修正＞
図５のテーブル修正部２０６は、図５の検出結果データ２２２に基づいて図５の位置検出用変換テーブル２２０を修正する。位置合わせの修正は、図６のステップＳ２０３で行われる処理の一例である。

図１３は、本発明の一実施形態に係る位置合わせの修正の一例を説明する図である。

修正テーブル４００は、位置合わせの修正によって図９（Ａ）の球面座標系の各座標（θ、φ）を修正する一例である。位置合わせの修正によって、位置合わせの修正前では（θ、φ）に対応していた（ｘ、ｙ）が（θ＋Δθ、φ＋Δφ）に対応するように変更される。

＜画像合成用変換テーブル＞
図５のテーブル生成部２０８は、位置合わせの修正で生成された修正テーブル４００を回転変換させて図５の画像合成用変換テーブル２２４を生成する。

図１４は、本発明の一実施形態に係る画像合成用変換テーブルの生成の一例を説明するフローチャートである。画像合成用変換テーブルの生成は、図６のステップＳ２０４で行われる処理の一例である。

ステップＳ４００では、図５のテーブル生成部２０８は、位置合わせの修正によって図５の位置検出用変換テーブル２２０を修正された際に開始する。

ステップＳ４０１では、図５のテーブル生成部２０８は、画像合成用の球面座標系（θｇ、φｇ）に対応する位置検出用の球面座標系（θｄ、φｄ）を算出する。

図１５は、本発明の一実施形態に係る画像合成におけるマッピングの一例を説明する図である。

図５のテーブル生成部２０８は、回転変換によって図１０に示した光軸を垂直方向とした軸から図１５で示すように光軸を水平方向とした軸に軸を回転させて変換する。

位置検出用の球面座標系（θｄ、φｄ）は、動径を１とした場合、（θｇ、φｇ）と、（θｇ、φｇ）に対応する３次元座標系（ｘｇ、ｙｇ、ｚｇ）と、（θｄ、φｄ）対応する３次元座標系（ｘｄ、ｙｄ、ｚｄ）を用いて下記（式５）のように示せる。

ここで、係数βは３次元直交座標におけるｘ軸周りの回転変換を規定する回転角であり、本実施例では９０度である。

図５の位置検出用変換テーブル２２０は、光軸が球面の極に、画像間の重複部分が球面赤道近傍に射影されていたため、全天球画像の上下方向と撮影された画像の上下方向が一致していない。撮像システム１０は、図５の画像合成用変換テーブル２２４を用いる回転変換によって、全天球画像の上下方向と撮影された画像の上下方向を一致させることができる。

ステップＳ４０２では、図５のテーブル生成部２０８は、図５の画像合成用変換テーブル２２４に基づいて位置検出用の球面座標系（θｄ、φｄ）に対応する部分画像における座標（ｘ、ｙ）を算出する。算出によって、図５の画像合成用変換テーブル２２４が生成される。

なお、図５の位置検出用変換テーブル２２０、及び画像合成用変換テーブル２２４は、整数値による算出に限られない。例えば、小数点以下の値を重み係数として、周辺の画素から補間を行ってもよい。補間は、例えばバイリニア法（Ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（Ｂｉ−ｃｕｂｉｃ ｃｏｎｖｏｌｕｔｉｏｎ）などを用いて算出してもよい。

ステップＳ４０３では、図５のテーブル生成部２０８は、すべての座標について算出が終了した場合、処理を終了する。

＜画像合成用変換テーブルに基づいた歪み補正＞
図５の画像合成用歪み補正部２１０は、図５の変換データの一例である画像合成用変換テーブル２２４に基づいて部分画像０、及び部分画像１に歪み補正を行い、画像合成用補正画像０、及び画像合成用補正画像１を生成する。部分画像０、及び部分画像１は、図５の画像合成用歪み補正部２１０による処理によって、図１５で示した全天球画像のようにマッピングが行われる。

図１０で示した全天球画像では、重複領域が赤道付近にマッピングされるのに対して、図１５で示した全天球画像では、部分画像０、及び部分画像１の中心部分が歪みの少ない赤道付近にマッピングされる。

図６のステップＳ２０２のつなぎ位置検出に用いるテーブルと図６のステップＳ２０５の画像合成に用いるテーブルを別のテーブルを用いる構成によって、精度良くつなぎ位置検出を行うことができる。

＜ホワイトバランス＞
図１６は、本発明の一実施形態に係るホワイトバランスのための処理を説明するデータフロー図である。

ステップＳ５０１Ａでは、固体撮像素子２２Ａは、撮像によってＲａｗＲＧＢデータＡを生成する。同様に、ステップＳ５０１Ｂでは、固体撮像素子２２Ｂは、撮像によってＲａｗＲＧＢデータＢを生成する。

ステップＳ５０２では、図２のＩＳＰ１０８Ｂは、ステップＳ５０１Ｂで生成されたＲａｗＲＧＢデータＢに感度差補正係数を乗算して補正ＲａｗＲＧＢデータＢを生成する。

なお、感度差補正係数が１．０である補正を行って、各撮像素子から出力される画像が均一の処理となるようにしてもよい。

感度差補正係数は、固体撮像素子２２Ａと固体撮像素子２２Ｂの固体撮像素子による感度の個体差を補正する係数である。ＲａｗＲＧＢデータＢの各画素の値に、感度差補正係数を乗算するとＲａｗＲＧＢデータＡと出力レベルを同一に揃えることができる。感度差補正係数は、固体撮像素子２２Ａの相対値をＡ、固体撮像素子２２Ｂの相対値をＢとした場合、下記（式６）のように示すことができる。

相対値は、例えば同一の光源下で撮像されたＲａｗＲＧＢデータＡ、及びＲａｗＲＧＢデータＢのＲＧＢの値、すなわち全画素の値を積算して、各個体撮像素子から得られた画像の画素値の積算値が算出されることで求められる。

なお、相対値は、全画素のうちＲｅｄの値をＧｒｅｅｎ／Ｒｅｄで乗算、及び全画素のうちＢｌｕｅの値をＧｒｅｅｎ／Ｂｌｕｅで乗算し、Ｇｒｅｅｎの出力レベルに各色の値を同一にしてから積算して、算出されてもよい。

また、相対値は、画像を所定の領域に分割して領域ごとに算出されてもよい。

相対値Ａ、及び相対値Ｂは、予め算出され、メモリ（図示せず）などに記憶される。ここで、相対値A、及びBは、予め算出されていると、処理スピードが向上する。しかしながら、必ずしも相対値が記憶されている必要は無く、適宜に、求められてもよい。このような仕組みは、時間が経過、または温度の変化などによって、レンズなどの光学系、または光学センサなどの固体撮像素子などに変化が生じた場合、変化の影響を少なくすることができる。

なお、予め感度差補正係数を算出し、感度差補正係数を記憶してもよい。

また、相対値は、積算した値（積算値）を画素数で除算し、平均値としてもよい。

さらに、感度差補正係数は、各個体撮像素子の出力を平均化させるために、各相対値の平均値を算出し、各相対値に感度差補正係数を乗算すると平均値となる値でもよい。

ステップＳ５０３では、ステップＳ５０１Ａで生成されたＲａｗＲＧＢデータＡ、及びステップＳ５０２で生成された補正ＲａｗＲＧＢデータＢを結合する。結合によって、ＲａｗＲＧＢデータＡと、補正ＲａｗＲＧＢデータＢと、が結合した結合画像が生成される。

ステップＳ５０４では、ステップＳ５０３で生成された結合画像を用いてホワイトバランスの補正係数が算出される。ホワイトバランスの補正係数の算出は、具体的には、結合画像から白色と推定される領域を検出する。白色の領域におけるＲｅｄ、Ｇｒｅｅｎ、及びＢｌｕｅの値において、ホワイトバランス補正の係数は、ＲＧＢの値の対比が１：１：１となるようにＲｅｄ、及びＢｌｕｅの色データに対して乗算するゲインの値を求めることで算出される。

なお、ホワイトバランスの補正係数は、ゲインの値に限られない。例えば、加算する値、またはゲインの値と加算する値を組み合わせて用いてもよい。

撮像システム１０は、結合画像を用いることで固体撮像素子の生成する画像を用いる場合より画素数が多く用いられるため、ホワイトバランスの補正係数を算出する際、白色と推定される領域のデータを得られる確率を高くすることができる。

なお、ホワイトバランスの補正係数の算出は、検出された白色の画素の被写体を追尾する処理を行ってもよい。

結合画像を用いることで、ホワイトバランスの補正係数の算出に用いられる画像を１つにすることができるため、従来のホワイトバランス用のアルゴリズム及び装置などを転用することができる。

さらに、結合画像を用いることで、被写体が異なるなどの撮像条件の影響を少なくすることができる。そのため、各個体撮像素子ごとにホワイトバランスの補正係数を算出する場合よりも均一のホワイトバランスの補正係数を算出することができる。

図２のＩＳＰ１０８Ａ、及びＩＳＰ１０８Ｂは、結合画像を用いて算出されたホワイトバランスの補正係数に基づいてホワイトバランスを行う。撮像システム１０は、ホワイトバランスが補正された画像を、図５の部分画像０、及び部分画像１として全天球画像を生成するための処理を行う。撮像システム１０は、結合画像を用いて算出されたホワイトバランスの補正係数に基づいて補正された画像を用いることで、色あいが均一となった全天球画像を生成することができる。

なお、ホワイトバランスは、ＲａｗＲＧＢデータＡ、及びＲａｗＲＧＢデータＢに行われるに限られない。例えば、ホワイトバランスは、図６のステップＳ２０６で合成された画像に行われてもよい。

なお、撮像システム１０は、撮像素子が２つの場合に限られない。例えば、３つ以上の撮像素子を有してもよい。さらに、撮像システム１０は、１つの撮像素子の撮像角度を変えて、複数の部分画像を撮像するでもよい。

また、撮像システム１０は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。

なお、撮像システム１０は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムによって実現されてもよい。プログラムは、ＲＯＭ、またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの記録媒体に格納して頒布することができる。プログラムは、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの記録媒体に格納して頒布することができる。プログラムは、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、またはＤＶＤ−ＲＷなどの記録媒体に格納して頒布することができる。プログラムは、ブルーレイディスク、ＳＤ（登録商標）カード、またはＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

また、機能の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができる。または機能の一部または全部は、ＡＳＩＣ（特定用途向集積）として実装することができる。

機能の一部または全部は、ＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）などで記述され、ＰＤにダウンロードして実現されてもよい。さらに、機能の一部または全部は、ＶＨＤＬ（ＶＨＳＩＣ（Ｖｅｒｙ Ｈｉｇｈ Ｓｐｅｅｄ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）ＨＤＬ）、またはＶｅｒｉｌｏｇ−ＨＤＬなどで記述され、ＰＤにダウンロードして実現されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 全天球撮像システム
１２ 撮像体
１４ 筐体
１８ シャッター・ボタン
２０Ａ、２０Ｂ 結像光学系
２２Ａ、２２Ｂ 固体撮像素子
２０２ 位置検出用歪み補正部
２０４ つなぎ位置検出部
２０６ テーブル修正部
２０８ テーブル生成部
２１０ 画像合成用歪み補正部
２１２ 画像合成部
２２０ 位置検出用変換テーブル
２２２ 検出結果データ
２２４ 画像合成用変換テーブル
３００ パターン画像
３１０ 位置検出用補正画像０
４００ 修正テーブル
１００１ 撮像部
１００２ 画像処理部
１００２１ 前処理部
１００２２ 後処理部
１００２３ 歪曲補正・画像合成処理部
１００３ 制御部
１００４ 出力部

特開２０１１−３００９１号公報

Claims (6)

1. 画像を出力する複数の撮像素子と、
   前記画像の画素値の積算値に基づいて算出された前記撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手段と、
   前記相対値を用いて、前記複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、
   前記画像に対して歪み補正を行う歪み補正部と、
   前記画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
   前記第１撮像素子は、第１画像を撮像し、
   前記第２撮像素子は、第２画像を撮像し、
   前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、
   前記歪み補正部が補正した第１画像又は第２画像と、前記歪み補正部が補正した第３画像とを結合して結合画像を生成し、
   前記演算手段は、
   前記結合画像に基づいて前記ホワイトバランスの補正係数を演算する撮像装置。
2. 画像を出力する複数の撮像素子と、
   前記画像の画素値の積算値に基づいて算出された撮像素子ごとの出力レベルを示す相対値を用いて、複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する予め算出された感度差補正係数を記憶する記憶手段と、
   前記画像に対して歪み補正を行う歪み補正部と、
   前記画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
   前記第１撮像素子は、第１画像を撮像し、
   前記第２撮像素子は、第２画像を撮像し、
   前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、
   前記歪み補正部が補正した第１画像又は第２画像と、前記歪み補正部が補正した第３画像とを結合して結合画像を生成し、
   前記演算手段は、
   前記結合画像に基づいて前記ホワイトバランスの補正係数を演算する撮像装置。
3. 画像を出力する複数の撮像素子と、
   前記画像の画素値の積算値に基づいて前記撮像素子ごとの出力レベルを示す相対値を算出する相対値算出手段と、
   前記相対値を用いて、前記複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、
   前記画像に対して歪み補正を行う歪み補正部と、
   前記画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
   前記第１撮像素子は、第１画像を撮像し、
   前記第２撮像素子は、第２画像を撮像し、
   前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、
   前記歪み補正部が補正した第１画像又は第２画像と、前記歪み補正部が補正した第３画像とを結合して結合画像を生成し、
   前記演算手段は、
   前記結合画像に基づいて前記ホワイトバランスの補正係数を演算する撮像装置。
4. 前記演算手段が演算したホワイトバランスの補正係数に基づいてホワイトバランスを行った画像を変換データに基づいて異なる座標系に変換する変換手段と、
   前記変換手段によって変換された複数の画像間をつなぐ位置を検出するつなぎ位置検出手段と、
   前記つなぎ位置検出手段による検出結果に基づいて前記変換データを修正する修正手段と、
   前記修正手段によって修正された変換データに基づいて複数の画像を合成する合成手段を有する請求項１乃至３のいずれかに記載の撮像装置。
5. 複数の撮像素子が出力する画像の画素値の積算値に基づいて算出された撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手順と、
   前記相対値を用いて、前記複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手順と、
   前記画像に対して歪み補正を行う歪み補正手順と、
   前記画像からホワイトバランスの補正係数を演算する演算手順と、を有し、
   前記第１撮像素子は、第１画像を撮像し、
   前記第２撮像素子は、第２画像を撮像し、
   前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、
   前記歪み補正手順で補正した第１画像又は第２画像と、前記歪み補正手順で補正した第３画像とを結合して結合画像を生成し、
   前記演算手順では、
   前記結合画像に基づいて前記ホワイトバランスの補正係数を演算する撮像方法。
6. 複数の撮像素子が出力する画像の画素値の積算値に基づいて算出された撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手順と、
   前記相対値を用いて、前記複数の撮像素子のうちの第１撮像素子の出力レベルと、第２撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手順と、
   前記画像に対して歪み補正を行う歪み補正手順と、
   前記画像からホワイトバランスの補正係数を演算する演算手順と、を有し、
   前記第１撮像素子は、第１画像を撮像し、
   前記第２撮像素子は、第２画像を撮像し、
   前記第１画像又は前記第２画像に、前記第１撮像素子と、前記第２撮像素子との感度の個体差を補正する係数である前記感度差補正係数を乗算して前記感度差補正係数に基づいて補正した第３画像を生成し、
   前記歪み補正手順で補正した第１画像又は第２画像と、前記歪み補正手順で補正した第３画像とを結合して結合画像を生成し、
   前記演算手順では、
   前記結合画像に基づいて前記ホワイトバランスの補正係数を演算する撮像方法を
   コンピュータに実行させるプログラム。

Images