JP5742179B2 - 撮像装置、画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、撮像装置において撮影された画像の補正を行う撮像装置、画像処理装置、および画像処理方法、並びにプログラムに関する。

近年、スチルカメラ、ビデオカメラ、一眼レフカメラ、携帯機器内蔵カメラ、監視カメラ、パソコン内蔵カメラなどの撮像装置では、小型化、軽量化、低価格化が進んでいる。しかし、これら小型・軽量化がなされたカメラは、レンズ等の光学系の設計上の制約が多く発生し、これに起因して例えばレンズ収差などによる画像劣化が生じやすくなるという問題が発生する。

レンズ歪曲収差（ディストーション、ｄｉｓｔｏｒｔｉｏｎ）は、カメラのズーム倍率が高くなるほど現れやすい現象である。レンズ歪曲収差の具体例として例えば以下のようなものがある。
（ａ）撮影された画像が樽のように丸く外側に曲がる樽型歪曲（ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）
（ｂ） 画像の四隅が引き伸ばされ糸巻き型に曲がる糸巻き型歪曲 （ｐｉｎ ｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）
（ｃ）上記（ａ），（ｂ）の両者が混在した歪曲
例えば、これらのレンズ歪曲収差がある。

この歪曲収差は、レンズ設計の精度を向上させることによってある程度回避できるが、完全に取り除くことは困難である。特に前述したように小型化，軽量化、低コストのカメラにおいて、高精度加工を施したレンズを装着することは現実的に難しいという問題がある。この問題を解決するため、昨今、画像処理により幾何学変換を施して撮影画像の歪曲を補正する機能を搭載したカメラが出現している。

また、カメラの小型・軽量化に伴う別の問題点として、撮影者の手振れや、撮影状況の振動（乗り物など）が撮影画像の安定感を損なってしまうという問題がある。このぶれ成分を抑制する手法は、レンズ部分またはイメージセンサ部分で光学的にぶれをキャンセルする方向へ光を導いてぶれを抑える手法と（光学的補正）、撮像した後の画像データからぶれの分だけキャンセルして読み出す手法（電子的補正）の２つが主流である。いずれも補正方法としては、例えば左右方向（Ｘ方向）と上下方向（Ｙ方向）の２つの軸でぶれ成分を平行移動ベクトルに分割し、それぞれの補正量を算出する。ところが実際には、この平行移動ベクトルに回転ベクトルの成分が加わった手振れの現象が多く、この回転手振れはＸ，Ｙ方向の平行移動補正では除去できない。

ところで人間が物体を立体的に見ることができるのは、両目がある一定の間隔をおいて、別の方向から物体を観察し、それぞれの網膜に、空間的にやや異なる像が映るという原理による。すなわち、両目の視差によって立体感を認識しているのである。

撮像装置で立体映像を取り込むためのいわゆるステレオカメラ、つまり２つの光学撮像系を持つカメラはこの原理を応用しており、立体映像の元となる微小に異なった２系統の画像を撮影する構成を持つ。

このようにステレオカメラは２系統の画像、すなわち左目用画像と右目用画像を生成してメモリに記録する。これらの画像を利用して３Ｄ表示ディスプレイに例えば左目用画像と右目用画像を交互に表示する。観察者は各画像を左目のみまたは右目のみで観察するためのシャッタ式メガネを装着して観察することで、立体映像として観察することが可能となる。なお３Ｄ表示方式には、シャッタ式メガネを用いた方式以外にも様々な方式が存在する。

３Ｄ表示画像は撮影画像の視差に応じた奥行感を認識することができるが、観察者の疲労を抑え快適な観賞を実現するための画像を撮影するステレオカメラにはいくつかの条件が求められる。具体的には、視差の設定の調整や、左目用画像と右目用画像の２系統の光学撮像系の取り付け位置や方向を厳密に最適化するといったことが求められる。

ステレオカメラの左目用画像と右目用画像の２系統の光学撮像系は、それぞれ独立のレンズを用いており、独立に個別のレンズ歪曲収差が生じる。従って、歪曲収差の除去のため、各レンズ対応の個別の補正が必要となる。
なお、このようなステレオカメラにおいて撮影される２つの画像の補正処理について開示した従来技術としては、例えば特許文献１（特表２００８−５２４６７３号公報）がある。

上述したように、カメラによって撮影された画像に対する画像補正処理としてレンズ歪曲収差補正、平行移動の手振れ補正、回転手振れ補正があり、さらにステレオカメラの場合には、２系統の光学撮像系に対する視差補正等、多くの異なる目的に従った補正が必要となる。

特表２００８−５２４６７３号公報

本発明は、例えば上述の状況に鑑みてなされたものであり、カメラによって撮影された画像に対するレンズ歪曲収差補正、平行移動の手振れ補正、回転手振れ補正、２系統の光学撮像系に対する視差補正等の多くの異なる補正を確実に実行する撮像装置、画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
複数の撮像部と、
前記複数の撮像部の撮影画像に対する補正処理を実行する補正部と、
前記補正部での補正処理に適用する補正パラメータを算出する制御部を有し、
前記補正部は、
前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行する撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記補正部は、前記画像特性合わせこみ補正処理として、前記複数の撮像部において撮影された複数の画像のズーム倍率を一致させるズーム倍率補正処理を実行する。

さらに、本発明の撮像装置の一実施態様において、前記補正部は、前記画像特性合わせこみ補正処理として、前記複数の撮像部において撮影された複数の画像の光軸中心を一致させる光軸中心補正処理を実行する。

さらに、本発明の撮像装置の一実施態様において、前記補正部は、さらに、前記複数の撮像部において撮影された複数の画像の視差を調整する視差補正処理を実行する。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記補正部での補正処理に適用する補正パラメータの算出を実行して、前記補正部に提供する。

さらに、本発明の撮像装置の一実施態様において、前記補正パラメータは、補正部における画像の座標変換に適用する補正ベクトルである。

さらに、本発明の撮像装置の一実施態様において、前記補正部は、前記撮影画像各々に対する歪曲収差補正を実行する歪曲収差補正部と、前記撮影画像各々に対する回転手振れ補正を実行する回転手振れ補正部と、前記撮影画像各々に対する平行移動手振れ補正を実行する平行移動手振れ補正部と、前記複数の撮像部において撮影された複数の画像の特性であるズーム倍率を一致させるズーム倍率補正部と、前記複数の撮像部において撮影された複数の画像の特性である光軸中心を一致させる光軸中心補正部と、前記複数の撮像部において撮影された複数の画像の視差を調整する視差補正処理を実行する視差補正部を有する構成である。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記補正部において実行する複数の異なる補正処理に適用する補正ベクトルを統合した統合補正ベクトルを算出し、前記補正部に提供し、前記補正部は、前記統合補正ベクトルを適用した画像変換処理により複数の異なる補正処理を一括して実行する構成である。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、歪曲収差補正処理と、回転手振れ補正処理と、平行移動手振れ補正処理と、ズーム倍率補正処理と、光軸中心補正処理と、視差補正処理、各々の補正処理に適用する補正ベクトルを統合した統合補正ベクトルを算出して前記補正部に提供し、前記補正部は、前記統合補正ベクトルを適用した画像変換処理により、歪曲収差補正処理と、回転手振れ補正処理と、平行移動手振れ補正処理と、ズーム倍率補正処理と、光軸中心補正処理と、視差補正処理を一括して実行する構成である。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、歪曲収差補正に適用する撮像部対応の歪曲収差データを格納した歪曲収差データ格納部を有し、前記制御部は、前記歪曲収差データ格納部から取得したデータに基づいて歪曲収差補正パラメータを生成する。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、複数の撮像部において撮影された複数の画像の特性である光軸中心を一致させる光軸中心補正に適用する光軸中心補正データを格納した光軸中心補正値格納部を有し、前記制御部は、前記光軸中心補正値格納部から取得したデータに基づいて光軸中心補正パラメータを生成する。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、複数の撮像部において撮影された複数の画像の特性であるズーム倍率を一致させるズーム倍率補正に適用するズーム倍率補正データを格納したズーム倍率補正値格納部を有し、前記制御部は、前記ズーム倍率補正値格納部から取得したデータに基づいてズーム倍率補正パラメータを生成する。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、複数の撮像部において撮影された複数の画像の視差を調整する視差補正に適用する視差データを格納した視差データ格納部を有し、前記制御部は、前記視差データ格納部から取得したデータに基づいて視差補正パラメータを生成する。

さらに、本発明の第２の側面は、
複数の撮像部の撮影画像に対する補正処理を実行する補正部と、
前記補正部での補正処理に適用する補正パラメータを算出する制御部を有し、
前記補正部は、
前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行する画像処理装置にある。

さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
制御部が、補正部での補正処理に適用する補正パラメータを算出するパラメータ算出ステップと、
補正部が、複数の撮像部の撮影画像に対して、前記補正パラメータを適用した補正処理を実行する補正ステップを実行し、
前記補正ステップは、
前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行するステップである画像処理装方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
制御部に、補正部での補正処理に適用する補正パラメータを算出させるパラメータ算出ステップと、
補正部に、複数の撮像部の撮影画像に対して、前記補正パラメータを適用した補正処理を実行させる補正ステップを実行させ、
前記補正ステップは、
前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行させるとともに、
前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行させるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、撮像画像に対する複数の異なる画像補正を確実に、効率的に実現する構成が提供可能となる。具体的には、ズーム倍率補正、歪曲収差補正、回転手振れ補正、平行手振れ補正、光軸中心補正、視差補正、これらの補正を全て確実に実行する構成が提供される。また、これらの補正処理を一括して実行して効率的な処理を実現する構成が提供される。特に２つの異なる視点からの２つの画像を撮影するステレオカメラにおいて必要となるズーム倍率補正、光軸中心補正、視差補正についても、２つの撮像部の撮影画像の少なくともいずれかを補正することで品質の高い３Ｄ画像を提供することが可能となる。さらに各補正に適用する補正ベクトルを統合した統合補正ベクトルを算出して補正する構成によれば、効率的で確実な補正が実現される。

本発明に係る撮像装置の構成例（第１実施例）について説明する図である。 本発明に係る撮像装置の構成例（第２実施例）について説明する図である。 本発明に係る撮像装置の構成例（第３実施例）について説明する図である。 歪曲収差について説明する図である。 手振れセンサの構成と取り付け例について説明する図である。 ズーム位置と手振れセンサのゲイン値との対応について説明する図である。 歪曲収差補正ベクトルおよび平行移動手振れ補正ベクトルについて説明する図である。 回転手振れ補正ベクトルについて説明する図である。 視差補正ベクトルについて説明する図である。 歪曲収差補正と回転手振れ補正の加算ベクトル設定例について説明する図である。 歪曲収差補正と回転手振れ補正の補正例について説明する図である。 本発明に係る画像処理装置の実行する画像補正処理シーケンスについて説明するフローチャートを示す図である。 本発明に係る画像処理装置の実行する画像補正処理シーケンスについて説明するフローチャートを示す図である。 ズームレンズやフォーカスレンズの位置に応じた補正用データの設定、取得処理例について説明する図である。 ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトルの例を示す図である。 代表点の設定例と補間ベクトルの生成処理例について説明する図である。 光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトルについて説明する図である。 各補正部による補正ベクトルを適用した補正処理が実行される場合の処理例を示す図である。 補正ベクトルの加算処理例について説明する図である。 補正ベクトルの加算処理例について説明する図である。

以下、図面を参照しながら本発明の撮像装置、画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成と処理例について
１−１．第１実施例の構成
１−２．第２実施例の構成
１−３．第３実施例の構成
２．本発明の装置における処理の詳細について．
３．撮像装置における画像補正処理シーケンスについて
３−１．個別の補正処理を順次実行する補正シーケンス
３−２．複数の補正処理を一括補正処理として実行する補正シーケンス
４．補正目的に応じた補正パラメータとしての補正ベクトルについて
４−１．（ａ）ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトル
４−２．（ｂ）歪曲収差補正処理に適用する歪曲収差補正パラメータとしての補正ベクトル
４−３．（ｃ）回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトル
４−４．（ｄ）平行手振れ補正処理に適用する平行手振れ補正パラメータとしての補正ベクトル
４−５．（ｅ）光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトル
４−６．（ｆ）視差補正処理に適用する視差補正パラメータとしての補正ベクトル
５．補正ベクトルの統合処理の具体例について

［１．撮像装置の構成と処理例について］
図１以下を参照して、本発明の画像処理装置の一例である撮像装置の構成と処理例について説明する。
本発明の撮像装置は、例えば光学撮像系で生じるレンズ歪曲収差や、撮影者や撮影状況に起因する装置の手振れ、例えば平行移動手振れや回転手振れなど、様々な要因によって発生する画像の品質低下を除去するための画像補正を実行する。

特に、ステレオカメラなど複数の撮像系を持つ装置において、それぞれの撮像系に最適な歪曲収差補正、平行移動手振れ補正、回転手振れ補正、さらに互いの出力画像の位置関係を調整する視差補正等を行う。例えば、これらの補正により生成された画像を３Ｄ画像表示装置に出力することで高品質な画像を快適に疲労感や違和感無く観賞できる。

画像に対する補正処理として行われる歪曲収差補正、平行移動手振れ補正、回転手振れ補正、および視差補正などの画像補正処理の各々は画像の幾何学変換、座標変換によって実現できる。従って、例えば各目的に応じて実行すべき補正成分を加算して画像補正を行うことで、複数種類の補正の同時処理が可能となり効率的な補正を実現することができる。

なお、以下では、本発明の撮像装置の複数の実施例について説明する。これらの実施例には、歪曲収差補正、平行移動手振れ補正、回転手振れ補正、および視差補正等の各補正を個別に実行する実施例と、これらの補正を一括して実行する実施例が含まれる。

（１−１．第１実施例の構成）
図１は、本発明の撮像装置の一実施例を示す構成図である。
図１に示す撮像装置は、ステレオカメラであり、左目用画像と右目用画像を撮影する２系統の撮像部、すなわち図１に示すように第１撮像部１１１、第２撮像部１２１を有する。

第１撮像部１１１は、入射光を集めて結像させるレンズ群１１２（１枚以上のレンズのユニット）の他、レンズ群１１２の出力光が結像するＣＣＤやＣＭＯＳなどのイメージセンサ１１３、レンズ群１１２の中の所定のレンズを駆動させ、その位置を読み取るレンズ駆動部１１４、レンズ群１１２の歪曲収差データを保持した歪曲収差データ格納部１１５、光学撮像部の付近に取り付けられ、そのぶれを検出する手振れセンサ１１６を備える。

第２撮像部１２１も第１撮像部１１１と同様の構成であり、レンズ群１２２、イメージセンサ１２３、レンズ駆動部１２４、歪曲収差データ格納部１２５、手振れセンサ１２６を備える。

歪曲収差データ格納部１１５，１２５に格納される歪曲収差データは、それぞれの撮像部のレンズ群１１２，１２２に対応する歪曲収差態様を示すデータである。この歪曲収差データはレンズ群に固有の値であり、またはズーム位置等によって変化する。従って、歪曲収差データ格納部１１５と、歪曲収差データ格納部１２５の各々は、それぞれの撮像部のレンズ群１１２とレンズ群１２２のズーム範囲として許容される広角端から望遠端まででいくつかの代表的なズーム位置に対応する離散的な歪曲収差データを格納している。なお、複数のズーム位置に加え、フォーカス位置に対応した歪曲収差データについても格納する構成としてもよい。

各撮像部１１１，１２１では、レンズ駆動部１１４，１２４からズームレンズやフォーカスレンズの位置情報が制御部１７２に与えられる。また、レンズ位置に応じた歪曲収差データを歪曲収差データ格納部１１５，１２５から読み出して制御部１７２に提供する。制御部１７２では、これらの入力値に基づいて撮影画像の歪曲収差を補正するための歪曲収差補正値を算出し、歪曲収差補正部１５３において実行する歪曲収差補正用のパラメータとして出力する。

各撮像部１１１，１２１の手振れセンサ１１６，１２６は撮像部付近に取り付けられ、手振れ量や方向を含む手振れ態様に応じた電気信号を手振れデータとして出力し、制御部１７２へ出力する。制御部１７２では、手振れセンサ１１６，１２６から入力する手振れデータを、レンズ駆動部１１４，１２４から得られるズームレンズやフォーカスレンズの位置によって調整し、回転手振れ補正値や平行移動手振れ補正値を算出し、これらを回転手振れ補正を実行する回転手振れ補正部１５４や平行移動手振れ補正を実行する平行移動手振れ補正部１５５へ補正パラメータとして出力する。

図１に示す撮像装置の構成において、２つの撮像部、すなわち第１撮像部１１１，第２撮像部１２１をそれぞれ、３Ｄ画像表示に利用する右目用画像を撮影する右カメラと、左目用画像を撮影する左カメラとする。このような設定では、それぞれの撮像部１１１，１２１でイメージセンサ１１３，１２３の出力信号を読み出し、これを切替え多重化部１４１において一定時間ごとに切替えながら１組のカメラ信号処理部１５１へ出力して、所定のフォーマットの画像信号へ変換する。

このカメラ信号処理部１５１に入力される画像信号に対して、図に示すズーム倍率補正部１５２〜視差補正部１５７において順次、補正処理が行われる。
ズーム倍率補正部１５２〜視差補正部１５７において実行する補正用パラメータの一部は制御部１７２において算出される。制御部１７２は、各撮像部１１１，１２１から以下のデータを入力する。
レンズ駆動部１１４，１２４からズーム・フォーカス位置情報、
歪曲収差データ格納部１１５，１２５から歪曲収差データ、
手振れセンサ１１６，１２６から手振れデータ、
さらに、この他、
光学系視差データ格納部１３１から視差データ、
ズーム倍率補正値格納部１３２からズーム倍率補正データ、
光軸中心補正値格納部１３３から光軸中心補正データ、
これらの各データを入力し、ズーム倍率補正部１５２〜視差補正部１５７において実行する補正用パラメータを算出し、ズーム倍率補正部１５２〜視差補正部１５７において実行する補正用パラメータ提供する。

ズーム倍率補正部１５２〜視差補正部１５７では制御部１７２から入力する補正パラメータを適用してそれぞれ画像補正処理を実行する。ズーム倍率補正部１５２〜視差補正部１５７の各々において実行された補正画像は、一旦、画像データ格納部１７１に格納され、各補正部は、前段の補正部の補正結果を画像データ格納部１７１から取り出して補正を実行する。

なお、ズーム倍率補正部１５２〜視差補正部１５７は、第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像を所定間隔ごとに交互に切り替えて補正処理を実行する。すなわち、切替え多重化部１４１が第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像を所定間隔ごとに交互に切り替えて出力する。制御部１７２は、この切り替えタイミングに応じて各画像の補正に適用するパラメータ、例えば補正ベクトルを算出してズーム倍率補正部１５２〜視差補正部１５７に提供する。

ズーム倍率補正部１５２は、画像撮影時のズーム倍率に応じた画像の拡大縮小等の補正を実行する。具体的には、第１撮像部１１１において撮影された画像と、第２撮像部１２１において撮影された画像のペアからなる複数の画像のズーム倍率を一致させる処理、すなわち複数画像の特性を一致させる画像特性合わせこみ補正処理である。

制御部１７２は、レンズ駆動部１１４，１２４から入力するズーム倍率情報に基づいてズーム倍率補正値格納部１３２からズーム倍率補正データを取得し、これを補正パラメータとしてズーム倍率補正部１５２に提供する。ズーム倍率補正部１５２は入力パラメータを適用して補正を行う。

図１に示すように撮像部が複数ある場合、ユーザがあるズーム位置に設定した撮影を行っても各撮像部のズームレンズの位置、あるいは光学ズーム倍率に微小な差異が生じ、結果として得られる複数の画像が互いに微小に異なってしまう場合がある。図１に示すような第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像を用いて３Ｄ画像（立体画像）の生成を行う場合、このズーム倍率の差異を極力低減することが重要となる。

ズーム倍率補正値格納部１３２は、このズーム倍率の差異を極力低減するための補正値を保持する。制御部１７２は、ズームレンズやフォーカスレンズの状態に応じた
補正値をズーム倍率補正値格納部１３２から読み出し、この読み出し値に基づくズーム倍率補正パラメータを算出してズーム倍率補正部１５２に提供する。ズーム倍率補正部１５２は、このズーム倍率補正パラメータに従って画像の拡大や縮小処理等を実行し、撮影時に設定したズーム倍率に応じたズーム倍率補正画像を生成する。なお、ズーム倍率補正部１５２は、複数の撮像部の撮影画像の１つだけ、または各々に対して処理を行い、互いの倍率を合わせこむ（一致させる）調整を行う。

歪曲収差補正部１５３は、撮影画像に生じているレンズ歪曲収差の補正を実行する。補正処理に適用するパラメータは制御部１７２で算出する。制御部１７２は、レンズ駆動部１１４，１２４から得られるズームレンズ位置情報に従って、歪曲収差データ格納部１１５，１２５から必要な歪曲収差データを読み出し、歪曲収差補正パラメータを算出する。算出パラメータは歪曲収差補正部１５３に提供され、歪曲収差補正部１５３は入力パラメータを適用して補正を行う。この歪曲収差補正によって、各画素の座標は、歪曲収差が生じていない状態で結像すべき座標へと変換され、歪曲収差が除去または軽減された、被写体の形状により忠実な画像信号が得られる。

回転手振れ補正部１５４は、歪曲収差が補正された画像信号に対して、回転方向の手振れを補正する。
さらに、平行移動手振れ補正部１５５において上下・左右の平行移動の手振れを補正して、画像を安定化させる。
制御部１７２はこれらの手振れ補正に適用するパラメータを算出して回転手振れ補正部１５４と平行移動手振れ補正部１５５に提供する。

制御部１７２は、手振れセンサ１１６，１２６から回転手振れデータや平行移動手振れデータを読み取り、レンズ駆動部１１４，１２４から得られるズーム位置・フォーカス位置を入力する。制御部１７２は、これらの入力値に基づいて回転手振れ補正と平行移動手振れ補正に適用する補正パラメータを算出する。なお、レンズ駆動部１１４，１２４から得られるズーム位置・フォーカス位置や、手振れセンサ１１６，１２６から得られる回転手振れデータ・平行移動手振れデータは、第１撮像部１１１と第２撮像部１２１の切替え多重化に連動して、読み込まれるデータが切り替えられる。

回転手振れ補正部１５４と平行移動手振れ補正部１５５の実行する手振れ補正によって、手振れの中に混在する種々のぶれが、回転方向の手振れと、上下・左右の平行移動の手振れに分解され、各々のぶれが除去または軽減される。出力画像では、静止している物体が静止して観賞できる状態になり、ユーザにとって安定感のある高品位な画像となる。

光軸中心補正部１５６は、２つの撮像部１１１，１２１から得られる１組の出力画像に関する光軸中心の補正を行う。
２つの撮像部１１１，１２１から得られる１組の出力画像は、画像表示部１５９において例えば交互切替え表示等の３Ｄ画像表示処理を実行することで、ユーザが立体画像（３Ｄ画像）として観賞することができる。しかし、第１撮像部１１１と第２撮像部１２１の光学撮像系の互いの取り付け位置によって画像に微小な差異があり、光軸中心にずれがある場合がある。これを最適な位置関係となるよう光軸中心補正部１５６は、２つの撮像部１１１，１２１から得られる１組の出力画像に関する光軸中心の補正を行う。具体的には、第１撮像部１１１において撮影された画像と、第２撮像部１２１において撮影された画像のペアからなる複数の画像の光軸中心を一致させる処理、すなわち複数画像の特性を一致させる画像特性合わせこみ補正処理を実行する。

制御部１７２は、光軸中心補正格納部１３３から光軸中心補正データを取得して光軸中心補正部１５６に提供し、光軸中心補正部１５６はこの補正値に基づく補正を行う。

図１に示すような撮像部が複数ある構成では、レンズユニットとイメージセンサとの取り付け（組み立て）精度などによって、レンズユニットを通過する光軸の中心が、イメージセンサ上で互いに微小にずれてしまい、得られる画像の中心と一致しない。また得られる複数の画像で互いに光学中心座標が一致しない場合がある。光学ズームやレンズの歪曲収差は、この光軸中心が基準となるため、これを合わせ込む処理、すなわち撮像部１１１の撮影画像と、撮像部１２１の撮影画像の光学中心座標を一致させる処理としての光軸中心補正処理が必要となる。

光軸中心補正値格納部１３３は、この補正のための光軸中心補正データである補正値を保持する。制御部１７２は、ズームレンズ・フォーカスレンズの状態に応じて、光軸中心補正値格納部１３３から補正値を読み出し、光軸中心補正部１５６に提供する補正パラメータ、例えば２つの撮像部の撮影画像の中心を一致させる補正ベクトルを算出する。光軸中心補正部１５６は、複数の撮像部の撮影画像の１つ、または各々に対して処理を行い、互いに光軸中心座標を合わせ込む補正処理を行う。

視差補正部１５８は、２つの撮像部１１１，１２１から得られる１組の出力画像に関する視差補正を行う。視差補正部１５８は、制御部１７２の算出した視差補正パラメータに基づいて視差補正を行う。レンズ駆動部１１４，１２４から得られるフォーカス位置、ズーム位置を用いると、主たる被写体が撮像装置からどの程度の距離にあるかを知ることができる。制御部１７２は、この距離を算出し、２つの撮像部１１１，１２１の間隔距離に応じて、光学系視差データ格納部１３１から視差データを読み取り、視差補正パラメータを算出して視差補正部１５８に提供する。視差補正部１５８はこの入力パラメータを用いて視差の歪み等を補正する視差補正を実行する。

これらの補正により、ユーザは快適に立体画像を観賞でき、疲労感や違和感を最小限に抑えられる。なお、視差補正部１５８において実行する視差の歪みの補正処理としては、例えば公表特許公報２００８−５２４６７３号に記載された処理を適用可能である。

こうして得られた３Ｄ画像（立体画像）は画像表示部１５９でユーザへ表示される。また、必要に応じてデータ圧縮部１５８で圧縮処理が施され容量を削減されて、画像記憶媒体／入出力端子１６０に出力されて記憶部に対する格納処理や外部出力処理がなされる。

図１に示すように、各々の補正処理部は、制御部１７２との間で制御データや設定パラメータをやり取りする。また各補正部は、画像データ格納部１７１から補正対象画像を取得し補正結果を格納する。なお、各々の補正処理部が直接、画像データを受け渡す設定としてもよいし、画像データ格納部１７１を経由して受け渡す設定としてもよい。

（１−２．第２実施例の構成）
図２に示す撮像装置は、本発明に係る撮像装置の第２実施例である。図２に示す撮像装置は、２つの撮像部の各々がカメラ信号処理部以降の補正処理部を個別に備えた構成である。

すなわち、第１撮像部１１１からの出力信号に対して、カメラ信号処理部１５１、ズーム倍率補正部１５２、歪曲収差補正部１５３、回転手振れ補正部１５４、平行移動手振れ補正部１５５、光軸中心補正部１５６、視差補正部１５７において補正処理が実行される。

一方、第２撮像部１２１からの出力信号に対して、カメラ信号処理部２０１、ズーム倍率補正部２０２、歪曲収差補正部２０３、回転手振れ補正部２０４、平行移動手振れ補正部２０５、光軸中心補正部２０６、視差補正部２０７において補正処理が実行される。
このように本実施例では各撮像部に対応する２つの処理系を有する。

例えば、歪曲収差データ、回転手振れデータ、平行移動手振れデータ等は、各撮像部において個別のデータとして取得され、これらのデータが制御部１７２に入力されて各撮像部対応の補正パラメータが算出され、各処理系の各補正部に提供される。このように、各撮像部に対応する独立した信号処理系を備え、並列動作させることで処理の高速化が図れる。なお、図２に示す構成では、補正過程の画像を格納する画像データ格納部も図に示すように、第１撮像部１１１の出力に対応する画像データ格納部１７１と、第２撮像部１２１の出力に対応する画像データ格納部２１１を個別に設定した構成としている。

（１−３．第３実施例の構成）
図３は、本発明に係る撮像装置の第３実施例である。図３に示す撮像装置は、図１に示すズーム倍率補正部１５２、歪曲収差補正部１５３、回転手振れ補正部１５４、平行移動手振れ補正部１５５、光軸中心補正部１５６、視差補正部１５７を１つの画像変換補正部２５１に置き換えた構成である。

図１に示すズーム倍率補正部１５２、歪曲収差補正部１５３、回転手振れ補正部１５４、平行移動手振れ補正部１５５、光軸中心補正部１５６、視差補正部１５７において実行する補正処理を画像変換補正部２５１において一括処理する。図１に示各補正部において実行する補正はそれぞれ、全て座標変換処理の一種であるため、いずれか２つ以上をまたは全てを組み合わせて同時処理することが可能である。このような同時処理により、装置の簡素化や低コスト化、低電力化が実現される。また、これらの複数の補正部が共通化されることにより、画像データ格納部との画像データの受け渡しも格段に簡素になり、処理の高速化、装置の低電力化につながる。

図３に示す実施例では、図１に示す構成と同様、第１撮像部１１１と第２撮像部１２１の各々に手振れセンサ１１６，１２６、歪曲収差データ格納部１１５，１２５が個別に備えられている。図１に示す構成と同様、画像信号の切替え多重化と同期して参照先が切替えられる。しかし、同一の撮像装置内に２つの撮像部があることから、手振れの値、レンズ歪曲収差の特性を同一とみなすことも可能であり、手振れセンサと、歪曲収差データ格納部は個別に設定せず各撮像部に共通の構成部として簡略化することも可能である。すなわち、１つの手振れセンサと、１つの歪曲収差データ格納部のみを設定して、複数の撮像部に共通する情報として利用する構成としてもよい。

［２．本発明の装置における処理の詳細について］
次に、本発明の画像処理装置において実行する個別の処理の詳細について説明する。
まず、図４を参照して歪曲収差の例について説明する。
図４は、レンズ歪曲収差が生じた画像を示している。
（ａ）は画像が外側に丸くふくらんで曲がる樽型歪曲
（ｂ）は画像の四隅が外側に引き伸ばされるように曲がる糸巻き型歪曲
を示しており、この両者の混在型（例えば陣笠型歪曲）なども知られている。図１〜図３を参照して説明した本発明の画像処理装置の歪曲収差補正部、あるいは画像変換補正部は、（ａ）樽型歪曲、（ｂ）糸巻き型歪曲、あるいはこれらの混在した歪曲のいずれが生じた画像に対しても歪曲収差データ格納部に予め記憶された歪曲収差データ（パラメータ）の値に応じて容易に補正することが可能である。

図５は、手振れセンサの取り付け例を示す図である。
手振れの検出装置としては、ジャイロセンサのような機械的な検出装置と、複数枚の画像から画像処理で動きベクトルを抽出する検出装置とがある。本発明における手振れセンサとしては、いずれを用いることも可能である。

ジャイロセンサのような機械的な検出装置の例としては、図５のように柱形状のセンサで回転速度を知るジャイロセンサが広く知られている。回転手振れ、平行移動手振れの値を検知するためには、
撮像部の撮影画角が左右にぶれる平行移動手振れ（画像のＸ軸方向の動き）、
撮像部が上下にぶれる平行移動手振れ（画像のＹ軸方向の動き）、
撮像部の光軸と平行の軸を中心とした回転方向のぶれ（画像が回転する動き）、
これらの３つの軸に対して、それぞれ手振れセンサを備え、３個のセンサが互いに直交するように取り付ける必要がある。また、撮像部のごく近くに取り付け、より正確な手振れセンサ値を得る必要がある。撮像部が２つ以上ある場合は、それぞれに対して最適な位置に手振れセンサを取り付けるか、あるいは２つの撮像部の双方に適した位置に手振れセンサを１つ取り付け、共用する構成のいずれかとする。

図６は、ズームレンズ位置に応じた手振れセンサ値の調整ゲインを示している。手振れ検出装置がジャイロセンサのような機械的な検出装置で、かつ、手振れ補正部が電子式（画像信号をシフトして切出す方式）の場合、同じ手振れセンサ値でも、ズームレンズ位置が望遠へ近付くほど、画像に対する上下・左右の補正量は大きくなるため、その調整ゲインのルックアップテーブルが必要となる。このルックアップテーブル参照や手振れ値の調整は制御部で行なわれる。なお、手振れ補正処理についての先行技術として、例えば登録３２７９３４２号などがある。

手振れ検出装置のもう１つの実施例として、動きベクトル検出装置がある。撮影して得られた一定時間間隔の画像を複数枚格納し、これら複数の画像から画像処理によって動きベクトルを抽出する手法を適用した処理である。平行移動の動きベクトルだけでなく、回転方向の動きベクトルも知ることができる。なお、この処理構成については、例えば、登録４２１２１０９号（パナソニック）、登録４４８７８１１号（ソニー）などにも記載がある。

図７（１）は、樽型歪曲収差が生じた画像に対する補正ベクトルの設定例を示す図である。画像内に示すベクトル（矢印）が補正ベクトルである。
縦横に直交する格子状の被写体を撮影するとき、樽型歪曲収差が生じると、撮影された画像は縦横の直線がレンズ外側に向かって樽のように丸くふくらんで曲がった状態になる。これを補正するためのベクトルは、図７（１）に示すように、レンズ中心（画像中心付近）からの距離に応じてレンズ外側へ画像を拡大するような設定値となる。一般に、レンズ中心から離れるほど、補正ベクトルの大きさはレンズ外側へ向かって大きくなる。

また図７（２）は、平行移動手振れが生じた画像に対する補正ベクトルの設定例を示す図である。画像内に示すベクトル（矢印）が補正ベクトルである。
図７（２）に示す例は、撮影画像が右上から左下方向に流れるようにして撮影されて平行移動手振れが生じた画像に対する補正ベクトルの設定例を示している。

通常はイメージセンサ上でやや大きめのサイズの像から、中央寄りの必要な像を切出して使用するが、手振れなどにより撮像装置が上下左右にぶれた場合は、イメージセンサで得られた像の全体からぶれの分だけ座標をシフトして切出すことによって、ぶれをキャンセルできる。つまり画像全体を均一に同じ大きさ・同じ方向のベクトルで補正したのと等価になる。

平行移動手振れの検出には、先に図５を参照して説明したＸ軸ぶれセンサとＹ軸ぶれセンサからそれぞれ値を得て補正値を算出し、その値だけ切り出し位置をシフトすればよい。この切出し位置のシフトは、イメージセンサの読み出し時に実行される場合もあり、イメージセンサから画像全体を読み出し何らかの処理を行なった後、画像データ保持部に格納する際の書き込みアドレス、または読み出しアドレスがシフトされる場合もある。

図８は、回転手振れが生じた画像に対する補正ベクトルの設定例を示す図である。各画像内に示すベクトル（矢印）が補正ベクトルである。
図８（ａ）〜（ｅ）の撮影画像は、全て撮像装置側で反時計回りの回転手振れが生じ、その結果、画像が時計回りに傾いた状態で撮像されたものであるが、回転補正の中心を画像のどこに設けるかで補正ベクトルの設定が変わる。ちなみにこの回転補正の中心は、実際の回転ぶれの中心である必要は無く、補正ベクトルを設定する際に仮想的に設けるものであるから、基本的には画像のどこに設けても問題ない。回転補正の中心は、補正ベクトルの設定値の精度が保たれるためには画像から大きく離れない方が好ましいが、画像の内側でも外側でも便宜的に設定して良い。

図８（ａ）は、回転補正の中心が画像の右下のコーナー付近（画像の内側でも外側でも良い）に設けられており、補正ベクトルはその点を中心に反時計回りに設定されている。また補正ベクトルの大きさは、回転補正の中心からの距離に応じて大きくなっている。

回転補正の中心は、図８（ｂ）では画像の左下、（ｃ）では画像の右上、（ｄ）では画像の左上、（ｅ）では画像のほぼ中央に位置している。
図８（ａ）〜（ｅ）に示すように、同じような回転手振れが生じた入力画像でも、回転補正の中心位置の設定によって補正ベクトルの向きと大きさの設定が変わる。

図９は、視差補正の例を示す図である。
図９には、
（ａ）第１撮像部の撮影画像
（ｂ）第２撮像部の撮影画像
これらを示している。

（ａ）第１撮像部の撮影画像内に示すベクトル（矢印）が視差補正ベクトルである。
先に説明した図１の実施例での処理順序に従えば、視差補正部１５７の入力画像は、ズーム倍率補正部１５２〜光軸中心補正部１５６において各補正が実行済みの画像である。この時点で第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像は、視差補正のみが必要な画像となる。第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像は、互いに微小に異なる画像である。

視差補正部１５７は、両者から構成される立体画像が好ましい視差を有するよう、光学系視差データ格納部１３１から補正データを得て、第１撮像部１１１の撮影画像、または第２撮像部１２１の撮影画像の少なくともいずれか一方に対して視差補正を行なう。一般的には、視差補正は画像の平行移動によって実現でき、また必要に応じて拡大・縮小処理を行なう。撮像装置から各被写体までの距離に応じて、視差補正データを調整する場合と、固定データを用いる場合のいずれかが適用される。

例えば図７〜図９を参照した説明から理解されるように、歪曲収差補正、平行移動手振れ補正、回転手振れ補正、視差補正は全て座標変換処理として実行可能な処理である。このうち平行移動手振れ補正は、上下と左右の平行移動の組み合わせで、画面全体に均一に補正ベクトルを生成でき、画像をシフトすることでも実現できる。また歪曲収差補正と回転手振れ補正は、共に画像内の位置に応じて補正ベクトルが設定されるため、両者の補正ベクトルを統合したものを設定することにより、先に説明した図３の画像変換補正部２５１のような１つの補正部において同時に補正処理することが可能である。

図１０は、図７（１）を参照して説明した樽型歪曲収差補正に適用する補正ベクトルと、図８（ｅ）に示す回転中心が画像内にある場合の回転補正処理に適用する補正ベクトルの両者を統合したベクトルの設定例である。画像内に示すベクトル（矢印）が樽型歪曲収差補正と回転補正を合わせて実行する補正ベクトルである。

画面内の各座標において、座標変換として複数のベクトル同士を加算すれば補正値の統合が可能であり、各種の補正用のベクトルを１つの統合された補正ベクトルとして設定して図３の画像変換補正部２５１のような１つの補正部において統合補正ベクトルを適用した座標変換処理を実行することで複数種類の補正処理を同時に実行することができる。

図１０に示す例は、歪曲収差補正と回転手振れ補正のみの統合処理例を示しているが、その他の平行移動手振れ補正、視差補正等の各補正ベクトルも含めてベクトルを統合することが可能であり、この統合補正ベクトルを適用した座標変換処理により複数種類の補正処理を同時に実行することが可能となる。

図１１は、樽型歪曲収差と回転手振れが生じた画像の補正前と補正後のイメージである。
２組の光学撮像部でそれぞれ、樽型歪曲収差と回転手振れを含んだ画像が撮影され、両者はその取り付け位置の違いだけ、微小に差異のある画像となる。
撮影された２枚の画像は共に、図９（ａ）のようにレンズの歪曲収差によって画像が樽型に丸くふくらみ、かつレンズ光軸と平行の軸を中心にして回転手振れが起こっている。これらに対して、樽型歪曲収差補正と回転手振れ補正を施すことにより縦横が直交する格子状の被写体に戻る（または歪曲が軽減される）。さらに両目視差を補正して、ユーザが快適に画像を観賞できる状態にして、最終的な出力画像となる。

［３．撮像装置における画像補正処理シーケンスについて］
次に、本発明の撮像装置における画像補正処理のシーケンスについて説明する。

（３−１．個別の補正処理を順次実行する補正シーケンス）
図１２および図１３は、本発明の撮像装置における画像補正処理の処理手順を説明するフローチャートである。
図１２は、図１または図２に示す装置に対応する処理フローである。すなわち、各補正の目的に応じた個別の補正部を備える装置における画像補正処理のシーケンスを説明するフローを示す図である。
図１３は、図３に示す装置に対応する処理フローである。すなわち、複数の補正の目的に応じた複数の補正を一括して実行する画像変換補正部２５１を備える装置における画像補正処理のシーケンスを説明するフローを示す図である。

まず、図１２に示すフローを参照して、図１または図２に示す装置の処理、すなわち各補正の目的に応じた個別の補正部を備えた装置における画像補正処理の手順について説明する。

まず、ステップＳ１０１において、２つの撮像部のイメージセンサで露光が行なわれ、ステップＳ１０２において、撮像光が電気信号へ変換されてイメージセンサから読み出される。このイメージセンサからの読み出し画像は、撮像部のレンズの特性から歪曲収差が発生し、またユーザの手振れや様々な撮影状況から画像のぶれが発生した画像である。また、撮像部のレンズユニットのばらつきなどから、光学ズーム倍率が互いに正確には一致しない場合や、レンズユニットとイメージセンサとの取付けのばらつきなどから光軸中心座標が互いに一致しない場合が生じる。さらに２つの撮像部のイメージセンサから入力する２つの画像は、撮像部の取り付け位置の距離に依存した視差を有する画像となる。

ステップＳ１０３において、２つの撮像部において撮影された２つの画像信号は図１の構成では、切替え多重化部１４１において一定時間ごとに切替えられながらカメラ信号処理部１５１へ出力される。図２の構成の場合、２つの撮像部において撮影された２つの画像信号は、個別にそれぞれのカメラ信号処理部１５１，２０１へ出力される。ステップＳ１０４においてカメラ信号処理部は補正部へ出力するための所定のフォーマットの画像信号へ変換する処理を実行する。

次にステップＳ１０５において、制御部がレンズ駆動部から、ズームレンズ位置、フォーカスレンズ位置を読み取る。

次に、ステップＳ１０６において、制御部は、これらの取得値に応じて補正処理に必要となるデータの読み出し処理や、各補正部における補正パラメータの算出に適用する補正値の算出を行う。さらに、必要に応じて補正値の補間処理、すなわち、補正値格納部から補正値が直接得られない場合、複数の補正値から必要となる補正値を算出する補間処理等を実行する。補間処理は例えば近傍の補正値を利用した線形補間処理等などによって行われる。

具体的には、例えば、以下の処理を実行する。
レンズ駆動部からのズーム・フォーカス位置を取得してズーム倍率補正部に提供するためのズーム倍率補正値の算出、
撮影時の各レンズ位置に対応する歪曲収差データを歪曲収差データ格納部から読み出す処理、すなわち、歪曲収差補正部における歪曲収差補正処理に適用するパラメータを算出するための歪曲収差データの取得、
光軸中心補正値格納部から光軸中心補正部における補正に適用する光軸中心補正データの取得、
光学系視差データ格納部から視差補正部に提供するための視差データの取得、
直接、補正値の取得できない補正値を算出する補間処理、
これらの処理を実行する。

本発明の装置において実行する補正、例えば光学ズーム倍率補正、レンズ歪曲収差補正、光軸中心座標補正、視差補正の各補正処理のために適用するデータには、例えば、図１に示す各構成部から取得する以下のデータが適用される。
レンズ駆動部１１４，１２４から取得するズーム・フォーカス位置情報、
歪曲収差データ格納部１１５，１２５から取得する歪曲収差データ、
光学系視差データ格納部１３１から取得する視差データ、
ズーム倍率補正値格納部１３２から取得するズーム倍率補正データ、
光軸中心補正値格納部１３３から取得する光軸中心補正データ、
これらのデータが利用される。

歪曲収差データ格納部１１５，１２５、光学系視差データ格納部１３１、ズーム倍率補正値格納部１３２、さらに光軸中心補正値格納部１３３には、予め様々なズームレンズやフォーカスレンズの位置に応じたデータが格納されている。

図１４は、これらのデータを離散的に保持する様子を示す図である。ズームレンズやフォーカスレンズが可動範囲の端から端まで動く構成において、レンズ位置の代表点（ｐｏｓ０〜ｐｏｓＮ）を何点か設け、その点に対して離散的に各補正値を保持する。図に示す例は、代表点（ｐｏｓＸ）を等間隔に設定した例である。これらの代表点に対応する補正値としてのデータを離散的に歪曲収差データ格納部１１５，１２５、光学系視差データ格納部１３１、ズーム倍率補正値格納部１３２、さらに光軸中心補正値格納部１３３に格納しておく。

なお、代表点は等間隔でも良いし、データの変化率の大きい範囲で密に設けても良い。代表点以外の任意のレンズ位置に対しては、近傍の設定値から補間処理によって補正値を算出する。補間値算出は、例えば制御部において実行される。

図１４に示すように例えば代表点１（ｐｏｓ１）の補正値と、代表点２（ｐｏｓ２）の補正値がデータ格納部から得られるが、実際の撮影時のレンズ位置が、代表点１（ｐｏｓ１）と、代表点２（ｐｏｓ２）の間の点Ｐである場合は、代表点１（ｐｏｓ１）と、代表点２（ｐｏｓ２）の補正値を取得して、これらの補正値から代表点１（ｐｏｓ１）と、代表点２（ｐｏｓ２）の間のレンズ位置に対応する補正値を一次補間で算出する。あるいは、さらに代表点０（ｐｏｓ０）と、代表点３（ｐｏｓ３）などさらに点数を増やして高次補間で求めても良い。

なお、光学系視差データ格納部から読み出される視差データは、被写体距離に応じた視差データである。制御部は、撮影時の各レンズ位置情報をレンズ駆動部から取得し、取得したレンズ位置情報に基づいて撮影画像内の主たる被写体までの距離を算出し、その距離に応じた両目視差を調整するための視差データを視差データ格納部から取得する。

図１２のフローに戻り説明を続ける。ステップＳ１０６の処理の終了後、ステップＳ１０７〜Ｓ１０８において、手振れセンサから上下方向、左右方向、回転方向の３チャネル分の手振れセンサ値を読み取り、先に図６を参照して説明したズームレンズ位置と手振れセンサ値の調整ゲインとの関係データ等に基づいて、各レンズ位置に応じて取得した手ぶれセンサ値を調整して、回転手振れ補正部と平行手振れ補正部に提供する補正パラメータを算出するための手ぶれセンサ値の調整値を算出する。

先に図６を参照して説明したように、手振れセンサ値が同じでもズームレンズ位置が望遠側にあるほど上下・左右方向の手振れは大きく画像に現れる。制御部は、図６に示す調整ゲイン値を例えば予めメモリに保持したルックアップテーブルから読み取り、手振れセンサ読み取り値に乗算して手振れセンサからの入力値の調整を行う。

ステップＳ１０９〜Ｓ１１４の処理は、図１、図２に示す各補正部における補正処理に適用する補正パラメータの算出処理である。このパラメータ算出処理は制御部において実行される。なお、パラメータ算出に必要となるデータを制御部から各補正部に提供して各補正部でパラメータの算出を実行する構成としてもよい。

ステップＳ１０９では、ズーム倍率補正部におけるズーム倍率補正パラメータを算出する。このズーム倍率補正パラメータは、レンズ駆動部から取得するズーム・フォーカス位置情報に基づいて制御部が算出するズーム倍率補正値に基づいて設定される。
ステップＳ１１０では、歪曲収差補正部における歪曲収差補正パラメータを算出する。この歪曲収差補正パラメータは、歪曲収差データ格納部から読み出された撮影時の各レンズ位置に対応する歪曲収差データに基づいて算出される。

ステップＳ１１１では、回転手振れ補正部における回転手振れ補正パラメータを算出する。この回転手振れ補正パラメータは、ステップＳ１０７〜Ｓ１０８において、手振れセンサから読み取った回転方向の手振れセンサ値の調整値、すなわち図６を参照して説明したズームレンズ位置と手振れセンサ値の調整ゲインとの関係データ等に基づいて調整した調整値に基づいて算出される。

ステップＳ１１２では、平行移動手振れ補正部における平行移動手振れ補正パラメータを算出する。この平行移動手振れ補正パラメータは、ステップＳ１０７〜Ｓ１０８において、手振れセンサから読み取った上下、左右方向の手振れセンサ値の調整値、すなわち図６を参照して説明したズームレンズ位置と手振れセンサ値の調整ゲインとの関係データ等に基づいて調整した調整値に基づいて算出される。

ステップＳ１１３では、光軸中心補正部における光軸中心補正パラメータを算出する。この光軸中心補正パラメータは、光軸中心補正値格納部から読み出された光軸中心補正データに基づいて算出される。

ステップＳ１１４では、視差補正部における視差補正パラメータを算出する。この視差補正パラメータは、光学系視差データ格納部から読み出された視差データに基づいて算出される。なお、前述したように光学系視差データ格納部から読み出される視差データは、撮影時の各レンズ位置情報に基づいて制御部が算出した撮影画像内の主たる被写体までの距離に応じた両目視差調整用のデータである。視差補正パラメータは、被写体距離に応じた視差データに基づいて算出される。

次のステップＳ１１５〜Ｓ１２０の処理は、図１、図２に示す各補正部における補正処理の実行ステップである。
ステップＳ１１５〜Ｓ１２０において以下の補正処理が順次実行される。
ステップＳ１１５において、ズーム倍率補正部においてズーム倍率補正パラメータを適用したズーム倍率補正処理を実行する。
ステップＳ１１６において、歪曲収差補正部において歪曲収差補正パラメータを適用した歪曲収差補正処理を実行する。

ステップＳ１１７において、回転手振れ補正部において回転手振れ補正パラメータを適用した回転手振れ補正処理を実行する。
ステップＳ１１８において、平行手振れ補正部において平行手振れ補正パラメータを適用した平行手振れ補正処理を実行する。

ステップＳ１１９において、光軸中心補正部において光軸中心補正パラメータを適用した光軸中心補正処理を実行する。
ステップＳ１２０において、視差補正部において視差補正パラメータを適用した視差補正処理を実行する。

なお、ステップＳ１１６〜Ｓ１２０の各補正処理は、図１の構成の場合は、第１撮像部１１１の撮影画像と、第２撮像部１２１の撮影画像を交互に切替えながら処理が行われる。一方、図２の構成の場合は、第１撮像部１１１の撮影画像と、第２撮像部１２１の撮影画像がそれぞれの補正部において並列に補正処理が実行される。

ステップＳ１１６〜Ｓ１２０の各補正処理が完了するとステップＳ１２２に進む。
ステップＳ１２２では、第１撮像部１１１の撮影画像に基づく補正画像と、第２撮像部１２１の撮影画像に基づく補正画像を適用した３Ｄ画像の画像表示処理を、画像表示部を適用して実行する。あるいは補正された１組の画像データを圧縮して画像記憶媒体に記録したり、出力端子から装置外部へ出力する。

（３−２．複数の補正処理を一括補正処理として実行する補正シーケンス）
次に、図１３に示すフローチャートを参照して図３に示す装置に対応する処理、すなわち、複数の補正の目的に応じた複数の補正を一括して実行する画像変換補正部２５１を備える装置における画像補正処理のシーケンスについて説明する。

ステップＳ２０１〜Ｓ２０８の処理は、図１２を参照して説明したステップＳ１０１〜Ｓ１０８の処理と同様の処理である。

まず、ステップＳ２０１において、２つの撮像部のイメージセンサで露光が行なわれ、ステップＳ２０２において、撮像光が電気信号へ変換されてイメージセンサから読み出される。
ステップＳ２０３において、２つの撮像部において撮影された２つの画像信号が図３の構成の切替え多重化部１４１において一定時間ごとに切替えられながらカメラ信号処理部１５１へ出力される。

ステップＳ２０４においてカメラ信号処理部は補正部へ出力するための所定のフォーマットの画像信号へ変換する処理を実行する。
次にステップＳ２０５において、制御部がレンズ駆動部から、ズームレンズ位置、フォーカスレンズ位置を読み取る。
次に、ステップＳ２０６において、制御部は、これらの取得値に応じて補正処理に必要となるデータの読み出し処理や、各補正部における補正パラメータの算出に適用する補正値の算出を行う。さらに、必要に応じて補正値データ格納部等から直接取得できない補正値を算出する補間処理等を実行する。

ステップＳ２０６の処理は、先に図１２のステップＳ１０６の処理として説明したと同様、例えば、以下の処理である。
レンズ駆動部からのズーム・フォーカス位置を取得してズーム倍率補正部に提供するためのズーム倍率補正値の算出、
撮影時の各レンズ位置に対応する歪曲収差データを歪曲収差データ格納部から読み出す処理、すなわち、歪曲収差補正部における歪曲収差補正処理に適用するパラメータを算出するための歪曲収差データの取得、
光軸中心補正値格納部から光軸中心補正部における補正に適用する光軸中心補正データの取得、
光学系視差データ格納部から視差補正部に提供するための視差データの取得、
直接、補正値の取得できない補正値を算出する補間処理、
これらの処理を実行する。

次に、ステップＳ２０７〜Ｓ２０８において、手振れセンサから上下方向、左右方向、回転方向の３チャネル分の手振れセンサ値を読み取り、先に図６を参照して説明したズームレンズ位置と手振れセンサ値の調整ゲインとの関係データ等に基づいて、各レンズ位置に応じて取得した手ぶれセンサ値を調整して、回転手振れ補正部と平行手振れ補正部に提供する補正パラメータを算出するための手ぶれセンサ値の調整値を算出する。

次のステップＳ２０９〜Ｓ２１０の処理は、図３の構成に特有の処理となる。図３のようにそれぞれの補正部が共通化された画像変換補正部２５１を備えている場合、制御部は、個別の補正目的に応じた補正パラメータの算出後に、算出した複数の補正パラメータを統合した１つの補正パラメータを算出する処理を実行する。

すなわち、制御部は、図１，図２に示す各補正部における補正処理に適用する以下の補正パラメータを統合した統合補正パラメータを算出する。
（ａ）ズーム倍率補正部におけるズーム倍率補正処理に適用するズーム倍率補正パラメータ
（ｂ）歪曲収差補正部における歪曲収差補正処理に適用する歪曲収差補正パラメータ
（ｃ）回転手振れ補正部における回転手振れ補正処理に適用する回転手振れ補正パラメータ
（ｄ）平行手振れ補正部における平行手振れ補正処理に適用する平行手振れ補正パラメータ
（ｅ）光軸中心補正部における光軸中心補正処理に適用する光軸中心補正パラメータ
（ｆ）視差補正部における視差補正処理に適用する視差補正パラメータ
これらの各補正処理に適用する補正パラメータを統合した統合補正パラメータを算出する。

補正パラメータを統合するには、各々の座標変換ベクトルの和を求めればよい。
すなわち、
統合補正ベクトル
＝ズーム倍率補正ベクトル＋歪曲収差補正ベクトル＋回転手振れ補正ベクトル＋平行移動手振れ補正ベクトル＋光軸中心補正ベクトル＋視差補正ベクトル
このような補正ベクトルの加算によって複数の補正ベクトルを統合した統合補正ベクトルを算出する。
画像変換補正部２５１は、この統合補正ベクトルを利用した座標変換処理を行う。
なお、この統合パラメータである統合補正ベクトルは、第１撮像部１１１の撮影画像、第２撮像部１２１の撮影画像等、各撮影画像単位で算出される。

図３の制御部１７２は、上記（ａ）〜（ｆ）の補正パラメータを統合した統合補正パラメータを算出して、画像変換補正部２５１に提供する。なお、制御部１７２は、この統合パラメータ算出処理に必要となるデータを取得または算出するのみとして、このデータを制御部から画像変換補正部２５１に提供に提供して画像変換補正部２５１に提供で統合補正パラメータの算出を実行する構成としてもよい。

ステップＳ２１１において、画像変換補正部２５１は、統合補正パラメータを適用した画像補正処理を実行する。
ステップＳ２１２では、第１撮像部１１１の撮影画像に対する統合補正パラメータを適用した画像補正処理によって生成した補正画像と、第２撮像部１２１の撮影画像に対する統合補正パラメータを適用した画像補正処理によって生成した補正画像を適用した３Ｄ画像の画像表示処理を画像表示部を適用して実行する。あるいは補正された１組の画像データを圧縮して画像記憶媒体に記録したり、出力端子から装置外部へ出力する。

［４．補正目的に応じた補正パラメータとしての補正ベクトルについて］
次に、補正目的に応じた補正パラメータとしての補正ベクトルについて説明する。

図１〜図３に示す装置において実行する撮影画像に対する補正処理には、以下の補正処理が含まれる
（ａ）ズーム倍率補正処理
（ｂ）歪曲収差補正処理
（ｃ）回転手振れ補正処理
（ｄ）平行手振れ補正処理
（ｅ）光軸中心補正処理
（ｆ）視差補正処理
これらの補正処理である。
先に図３を参照して説明したように、これらの補正処理は、いずれも撮影画像に対する座標変換処理として実行することができる。

上記（ａ）〜（ｆ）の補正に適用する補正パラメータとしては、座標変換処理を実行するための座標変換ベクトルが利用できる。すなわち、補正前の画像の各画素位置を補正後の画像の画素位置に変換するためのベクトルである。

図１、または図２の装置構成では、各補正部における補正パラメータとして、以下の個別のベクトルを算出して、各補正部において補正ベクトルによる座標変換が実行される。
（ａ）ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトル
（ｂ）歪曲収差補正処理に適用する歪曲収差補正パラメータとしての補正ベクトル
（ｃ）回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトル
（ｄ）平行手振れ補正処理に適用する平行手振れ補正パラメータとしての補正ベクトル
（ｅ）光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトル
（ｆ）視差補正処理に適用する視差補正パラメータとしての補正ベクトル
以下、上記の（ａ）〜（ｆ）の各補正処理に適用する補正ベクトルの例について説明する。

（４−１．（ａ）ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトル）
図１５に、ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトルの例を示す。画像内に示すベクトル（矢印）が補正ベクトルである。

ズーム倍率補正ベクトルは、図１５に示すようなベクトルである。例えば図１に示す撮像部１１１と撮像部１２１のように複数の撮像部から得られる複数画像間で微小に異なる光学ズーム倍率を他方の画像の倍率と合わせ込む（一致させる）ための画素位置を移動させるベクトルがズーム倍率補正処理に利用される。図１５に示すベクトルはズーム倍率補正ベクトルの一例であり、画像処理による拡大処理を行うための１つのベクトル設定例である。このズーム倍率補正ベクトルを適用した座標変換処理によって、例えば図１に示す撮像部１１１と撮像部１２１のように複数の撮像部から得られる複数の画像を、どのズーム位置でも同じズーム倍率に合わせ込むことができる。なお、画像縮小時には図１３（１）とは逆向き、すなわち周囲から中心方向に向かう補正ベクトルが設定される。

なお、図１５には画像内に１４個のベクトルのみを示しているが、これは画像内に設定した代表点に対応する代表ベクトルを示している。代表点以外の任意の座標の画素位置に対応するベクトルは、近傍の代表点のベクトルから補間処理によって算出し、そのベクトルに基づいて座標変換を実行する。これは、以下に説明するその他の補正ベクトルを利用した補正処理においても同様である。

代表点の設定例と補間ベクトルの生成処理例について図１６を参照して説明する。
図１６（ａ）は格子状に代表点を設ける例であり、縦横に規則的に代表点が配置されている。代表点以外の任意の座標に対しては近傍の代表点のベクトルから補間処理によってベクトルを算出する。

図１６（ｂ）は、レンズの歪曲収差が像高（光軸中心からの距離）に伴って変化することに着目し、光軸を中心とした同心円状に代表点を設ける例である。光軸に近い、画像中央付近では、ベクトルは小さく、画像の外側へ行くほどベクトルが大きく、変化率も大きくなる傾向が強いため、代表点は画像の外側ほど密に設けるのが適している。こちらも代表点以外の任意の座標に対しては、近傍のベクトルからの補間処理や、光軸中心からの距離計算によってベクトルを算出する。

（４−２．（ｂ）歪曲収差補正処理に適用する歪曲収差補正パラメータとしての補正ベクトル）
歪曲収差補正処理に適用する歪曲収差補正パラメータとしての補正ベクトルについては先に図７（１）を参照して説明している。
先に、図７（１）を参照して説明したように、図７（１）に示すベクトルは樽型歪曲収差が生じた画像に対する補正ベクトルの設定例である。画像内に示すベクトル（矢印）が補正ベクトルである。

縦横に直交する格子状の被写体を撮影するとき、樽型歪曲収差が生じると、撮影された画像は縦横の直線がレンズ外側に向かって樽のように丸くふくらんで曲がった状態になる。これを補正するためのベクトルは、図７（１）に示すように、レンズ中心（画像中心付近）からの距離に応じてレンズ外側へ画像を拡大するような設定値となる。一般に、レンズ中心から離れるほど、補正ベクトルの大きさはレンズ外側へ向かって大きくなる。

なお、先に図４を参照して説明したように、歪曲収差には、樽型歪曲、糸巻き型歪曲、さらに、この両者の混在型（例えば陣笠型歪曲）などがある。これらの歪曲収差の態様は、撮像装置の持つレンズ構成や、撮影時の各レンズ位置に応じて異なるものとなる。制御部は、撮影時のレンズ位置に応じた最適な歪曲収差データを歪曲収差データ格納部から読み出し、読み出したデータに基づいて歪曲収差補正ベクトルを設定する。

（４−３．（ｃ）回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトル）
次に、回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトルについて説明する。

回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトルについても、先に図８を参照して説明している。
図８（ａ）〜（ｅ）を参照して説明した例は、全て撮像装置側で反時計回りの回転手振れが生じ、その結果、画像が時計回りに傾いた状態で撮像された場合の回転手振れ補正ベクトルの設定例である。

先に図８を参照して説明したように、回転補正の中心を画像のどこに設けるかで補正ベクトルの設定が変わるが回転補正の中心は、実際の回転ぶれの中心である必要は無く、補正ベクトルを設定する際に仮想的に設けるものである。回転補正の中心は、補正ベクトルの設定値の精度が保たれるためには画像から大きく離れない方が好ましいが、画像の内側でも外側でも便宜的に設定して良い。
図８（ａ）〜（ｅ）には、それぞれ異なる位置の回転補正の中心の設定に基づくベクトル設定例を示している。

制御部は、手振れセンサから回転方向の手振れセンサ値を読み取り、先に図６を参照して説明したズームレンズ位置と手振れセンサ値の調整ゲインとの関係データ等に基づいて、各レンズ位置に応じて取得した手ぶれセンサ値を調整して、手ぶれセンサ値の調整値を算出して、この算出値に基づいて例えば図８に示す代表点に対応する回転手振れ補正ベクトルを算出する。

先に図６を参照して説明したように、手振れセンサ値が同じでもズームレンズ位置が望遠側にあるほど上下・左右方向の手振れは大きく画像に現れる。制御部は、図６に示す調整ゲイン値を例えば予めメモリに保持したルックアップテーブルから読み取り、手振れセンサ読み取り値に乗算して手振れセンサからの入力値の調整を行う。

（４−４．（ｄ）平行手振れ補正処理に適用する平行手振れ補正パラメータとしての補正ベクトル）
次に、平行手振れ補正処理に適用する平行手振れ補正パラメータとしての補正ベクトルについて説明する。
この平行手振れ補正ベクトルについても、先に、図７（２）を参照して説明している。
図７（２）は、平行移動手振れが生じた画像に対する補正ベクトルの設定例を示す図である。画像内に示すベクトル（矢印）が補正ベクトルである。図７（２）に示す例は、撮影画像が右上から左下方向に流れるようにして撮影されて平行移動手振れが生じた画像に対する補正ベクトルの設定例を示している。

先に図７（２）を参照して説明したように、手振れなどにより撮像装置が上下左右にぶれた場合は、イメージセンサで得られた像の全体からぶれの分だけ座標をシフトして切出すことでぶれをキャンセルする。平行移動手振れ補正ベクトルは、この切り出し位置を決定するベクトルに対応することになる。ベクトルの設定は、先に図５を参照して説明したＸ軸ぶれセンサとＹ軸ぶれセンサからそれぞれ移動量を示す値を得てこの値に基づいて切り出し位置のシフト方向とシフト量を算出し、この算出値に基づいて行われる。

（４−５．（ｅ）光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトル）
次に、光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトルについて、図１７を参照して説明する。

図１７には、光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトルの設定例を示している。
図１７に示す光軸中心補正ベクトルは、複数の撮像部から得られる複数画像間で微小に異なる光軸中心座標を他方の画像に合わせ込む（一致させる）ため、画像全体を平行移動して切出すベクトルを設定した例である。このベクトルを適用した座標変換処理によって、ズームやフォーカスレンズの状態に応じて、複数の画像の中心座標を一致させることができる。

（４−６．（ｆ）視差補正処理に適用する視差補正パラメータとしての補正ベクトル）
次に、視差補正処理に適用する視差補正パラメータとしての補正ベクトルについて説明する。
視差補正ベクトルについては、先に図９を参照して説明した通りである。
図９には、
（ａ）第１撮像部の撮影画像
（ｂ）第２撮像部の撮影画像
これらを示している。（ａ）第１撮像部の撮影画像内に示すベクトル（矢印）が視差補正ベクトルである。例えば図１の構成において、第１撮像部１１１と第２撮像部１２１は、レンズ取り付け位置が異なり、第１撮像部１１１の撮影画像と第２撮像部１２１の撮影画像は、互いに微小に異なる画像となる。

視差補正部１５７は、両者から構成される立体画像が好ましい視差を有するよう、光学系視差データ格納部１３１から補正データを得て、第１撮像部１１１の撮影画像、または第２撮像部１２１の撮影画像の少なくともいずれか一方に対して視差補正を行なうことが必要となる。この補正処理に適用するベクトルが例えば図９ｉ示すベクトルである。一般的には、視差補正は画像の平行移動によって実現でき、また必要に応じて拡大・縮小処理を行なう。撮像装置から各被写体までの距離に応じて、視差補正データを調整する場合と、固定データを用いる場合のいずれかが適用される。

上述したように、図１、または図２の装置構成では、各補正部における補正パラメータとして、各補正目的に応じた個別の補正ベクトルを算出して、各補正部において補正ベクトルによる座標変換を順次実行する。

図１８に、図１、または図２に示す装置構成において、各補正部による補正ベクトルを適用した補正処理が実行される場合の処理例を示す。
図１８は、図１、または図２に示す装置構成に従って、以下の補正処理が順次実行される場合の補正ベクトルと出力画像の例を示している。
（ａ）ズーム倍率補正処理
（ｂ）歪曲収差補正処理
（ｃ）回転手振れ補正処理
（ｄ）平行手振れ補正処理
（ｅ）光軸中心補正処理
（ｆ）視差補正処理

図１８に示す、
画像系列（１ａ）〜（１ｆ）〜（１ＯＵＴ）が図１、図２に示す第１撮像部１１１の出力画像に対する補正処理、
画像系列（２ａ）〜（２ｆ）〜（２ＯＵＴ）が図１、図２に示す第２撮像部１２１の出力画像に対する補正処理、
これらを示している。
各画像中のベクトル（矢印）が、各補正処理において適用される代表点の補正ベクトルである。

まず、２つの撮像部、すなわち、図１または図２に示す第１撮像部１１１と、第２撮像部１２１の出力画像に対して、ズーム倍率補正部においてズーム倍率補正ベクトルを適用したズーム倍率補正処理を実行する。
この処理を示しているのが図１８に示す（１ａ），（２ａ）である。
（１ａ）は、第１撮像部１１１の出力画像と、画像に対するズーム倍率補正ベクトルを示している。
（２ａ）は、第２撮像部１２１の出力画像を示している。

ズーム倍率補正処理は、先に図１５等を参照して説明した処理であり、２つの出力画像のズーム倍率を一致させる処理であり、いずれか一方の画像に対する拡大または縮小処理を実行することで処理可能となる。
図１８に示す例では、第１撮像部１１１の出力画像に対してのみ補正ベクトルを設定して画像変換を実行している。第２撮像部１２１の出力画像に対しては補正ベクトル＝０の設定である。

図１８（１ａ）および（２ａ）に示す画像に対して、画像内に示すベクトルを適用したズーム倍率補正結果が、それぞれ（１ｂ）および（２ｂ）となり、次の歪曲収差補正処理が行われる。

図１８（１ｂ），（２ｂ）は、それぞれ以下の処理を示している。
（１ｂ）第１撮像部１１１の出力画像のズーム倍率補正結果画像に対する歪曲収差補正ベクトルの設定例
（２ｂ）第２撮像部１２１の出力画像のズーム倍率補正結果画像に対する歪曲収差補正ベクトルの設定例
なお、本例では、第２撮像部１２１の出力画像に対するズーム倍率補正は実質的に実行されていないので、（２ａ），（２ｂ）の画像は同じ未処理の画像である。

歪曲収差補正は、例えば先に図７（１）を参照して説明した補正である。例えば樽型歪曲収差が生じた画像に対する補正ベクトルは、図７（１）に示すように、レンズ中心（画像中心付近）からの距離に応じてレンズ外側へ画像を拡大するような設定値となる。一般に、レンズ中心から離れるほど、補正ベクトルの大きさはレンズ外側へ向かって大きくなる。
図１８（１ｂ），（２ｂ）に示すベクトルも図７（１）に示すベクトルと同様の設定であり、樽型歪曲収差が生じた画像に対する補正ベクトルの例を示している。

図１８（１ｂ）および（２ｂ）に示す画像に対して、画像内に示すベクトルを適用した歪曲収差補正処理が実行される。その補正結果が、それぞれ（１ｃ）および（２ｃ）となる。歪曲収差が補正されると曲線部分が直線に戻り、格子状の被写体が再現される。

歪曲収差補正結果である（１ｃ）および（２ｃ）の画像に対して、次の回転手振れ補正処理が行われる。
図１８（１ｃ），（２ｃ）は、それぞれ以下の処理を示している。
（１ｃ）第１撮像部１１１の出力画像に対してズーム倍率補正と、歪曲収差補正の実行された補正画像に対する回転手振れ補正ベクトルの設定例
（２ｃ）第２撮像部１２１の出力画像に対してズーム倍率補正と、歪曲収差補正の実行された補正画像に対する回転手振れ補正ベクトルの設定例

図１８（１ｃ），（２ｃ）に示すベクトルによって実行される回転手振れ補正は、例えば先に図８を参照して説明した補正である。図１８（１ｃ），（２ｃ）に示す例は、図８の（ｅ）に示す回転中心を画像中心に設定した例に対応するベクトルの設定例である。先に図８を参照して説明したように、回転補正の中心を画像のどこに設けるかで、補正ベクトルの設定が変わるが、回転補正の中心は実際の回転ぶれの中心である必要は無く、補正ベクトルを設定する際に仮想的に設けるものであり、予め規定した位置に設定してベクトルを設定する。

図１８（１ｃ）および（２ｃ）に示す画像に対して、画像内に示すベクトルを適用した回転手振れ補正処理が実行される。その補正結果が、それぞれ（１ｄ）および（２ｄ）となる。（１ｄ）および（２ｄ）は回転成分が除去された画像となる。この（１ｄ），（２ｄ）に示す画像に対して、次の平行移動手振れ補正処理が行われる。

図１８（１ｄ），（２ｄ）は、それぞれ以下の処理を示している。
（１ｄ）第１撮像部１１１の出力画像に対してズーム倍率補正、歪曲収差補正、さらに回転手振れ補正処理の実行された補正画像に対する平行移動手振れ補正ベクトルの設定例
（２ｃ）第２撮像部１２１の出力画像に対してズーム倍率補正、歪曲収差補正、さらに回転手振れ補正処理の実行された補正画像に対する平行移動手振れ補正ベクトルの設定例

図１８（１ｄ），（２ｄ）に示すベクトルによって実行される平行移動手振れ補正は、例えば先に図７（２）を参照して説明した補正である。図７（２）に示した例は、撮影画像が右上から左下方向に流れるようにして撮影されて平行移動手振れが生じた画像に対する補正ベクトルの設定例を示している。図１８（１ｃ）および（２ｃ）に示す補正ベクトルは、図７（２）に示した例と異なり、撮影画像が右下から左上方向に流れるようにして撮影されて平行移動手振れが生じた画像に対する補正ベクトルの設定例である。

図１８（１ｄ）および（２ｄ）に示す画像に対して、画像内に示すベクトルを適用した平行移動手振れ補正処理が実行される。その補正結果が、それぞれ（１ｅ）および（２ｅ）となり、平行移動手振れ成分が除去され、時間軸方向に安定した画像となる。これらの（１ｅ）および（２ｅ）に示す画像に対して、次の光軸中心補正処理が行われる。

図１８（１ｅ），（２ｅ）は、それぞれ以下の処理を示している。
（１ｅ）第１撮像部１１１の出力画像に対してズーム倍率補正、歪曲収差補正、回転手振れ補正、さらに平行移動手振れ補正処理の実行された補正画像に対する光軸中心補正ベクトルの設定例
（２ｅ）第２撮像部１２１の出力画像に対してズーム倍率補正、歪曲収差補正、回転手振れ補正、さらに平行移動手振れ補正処理の実行された補正画像に対する光軸中心補正ベクトルの設定例

ただし、光軸中心補正は、いずれか一方の画像のみに対して行うことで補正可能であり、本例では、図１８（１ｅ）に示す第１画像に対してのみベクトルを設定して補正を行っている。

図１８（１ｅ），（２ｅ）に示すベクトルによって実行される光軸中心補正処理は、例えば先に図１７を参照して説明した補正である。図１７を参照して説明したように、光軸中心補正ベクトルは、複数の撮像部から得られる複数画像間で微小に異なる光軸中心座標を他方の画像に合わせ込む（一致させる）ため、画像全体を平行移動して切出すベクトルとして設定される。

図１８（１ｅ）および（２ｅ）に示す画像に対して、画像内に示すベクトルを適用した光軸中心補正処理が実行される。その補正結果が、それぞれ（１ｆ）および（２ｆ）となり、次の視差補正処理が行われる。

図１８（１ｆ），（２ｆ）は、それぞれ以下の処理を示している。
（１ｆ）第１撮像部１１１の出力画像に対してズーム倍率補正、歪曲収差補正、回転手振れ補正、平行移動手振れ補正、光軸中心補正処理の実行された補正画像に対する視差補正ベクトルの設定例
（２ｆ）第２撮像部１２１の出力画像に対してズーム倍率補正、歪曲収差補正、回転手振れ補正、平行移動手振れ補正、光軸中心補正処理の実行された補正画像に対する視差補正ベクトルの設定例

ただし、視差補正は、いずれか一方の画像のみに対して行うことで補正可能であり、本例では、図１８（１ｆ）に示す第１画像に対してのみベクトルを設定して補正を行っている。

図１８（１ｆ），（２ｆ）に示すベクトルによって実行される視差補正処理は、例えば先に図９を参照して説明した補正である。図９を参照して説明したように、視差補正は、両者から構成される立体画像が好ましい視差を有するように視差の調整を実行する補正処理である。第１撮像部１１１の撮影画像、または第２撮像部１２１の撮影画像の少なくともいずれか一方に対してベクトルに基づく視差補正を行なう。一般的には、視差補正は画像の平行移動によって実現できる。また必要に応じて拡大・縮小処理を伴う処理として実行することもある。
図１８に示す例では、図１８（１ｆ）に示す第１画像に対してのみ平行移動ベクトルを設定して視差補正を行っている。

図１８（１ｆ）および（２ｆ）に示す画像に対して、画像内に示すベクトルを適用した視差補正処理が実行される。その補正結果が、それぞれ（１ｏｕｔ）および（２ｏｕｔ）となる。これらの画像が例えば３Ｄ画像表示を実行する表示装置に対して出力され３Ｄ画像表示が実行される。

立体映像を観賞する際、見えにくい感じや、目の疲労が問題になる場合がある。一般的にこれらの原因として考えられるのは、二枚の映像のずれ、大きさの差、二重像、などである。図１８の補正処理の中で、立体映像の処理に関して特に重要となるのは、
（ａ）光学ズーム倍率補正、
（ｅ）光軸中心座標補正、
（ｆ）視差補正
これらの補正である。２系統の画像処理で、一方に他方を合わせ込む補正処理、もしくは両者を極力近づける補正処理を行なうことで、得られる立体映像は格段に観賞しやすい快適な画像になる。

さらに、
（ｂ）歪曲収差補正、
（ｃ）回転手振れ補正、
（ｄ）平行移動手振れ補正
これらの各補正処理は、単眼カメラにおいても、より鮮明で忠実な、かつ、ぶれの無い安定した画像を作るために必要な補正処理であり、２次元画像、３次元画像、いずれの表示においても不可欠な補正処理となる。

［５．補正ベクトルの統合処理の具体例について］
図１８を参照して説明したように、各補正部における補正処理はすべてベクトルを適用した座標変換処理として実行できる。
すなわち、各補正処理においては、以下のベクトルが利用される。
（ａ）ズーム倍率補正処理に適用するズーム倍率補正パラメータとしての補正ベクトル
（ｂ）歪曲収差補正処理に適用する歪曲収差補正パラメータとしての補正ベクトル
（ｃ）回転手振れ補正処理に適用する回転手振れ補正パラメータとしての補正ベクトル
（ｄ）平行手振れ補正処理に適用する平行手振れ補正パラメータとしての補正ベクトル
（ｅ）光軸中心補正処理に適用する光軸中心補正パラメータとしての補正ベクトル
（ｆ）視差補正処理に適用する視差補正パラメータとしての補正ベクトル

図１、または図２の装置構成では、各補正部における補正パラメータとして、以下の個別のベクトルを算出して、各補正部において補正ベクトルによる座標変換が実行される。

これに対して、図３の装置構成では、制御部１７２において、上記の（ａ）〜（ｆ）の各補正処理に適用する補正ベクトルを統合して１つの統合補正ベクトルを算出し、画像変換補正部２５１において統合補正ベクトルを適用した処理を実行する。
このような処理を行うことで図１８を参照して説明した一連の補正処理を一度の補正処理として実行することができる。

上記の（ａ）〜（ｆ）の各補正処理に適用する補正ベクトルを統合して１つの統合補正ベクトルを算出する処理は、ベクトルの加算処理として実行可能である。
ベクトル加算の例を図１９を参照して説明する。

図１９は、ベクトル加算の一例として、
（１）歪曲収差補正、
（２）回転手振れ補正、
これ等の２つの異なる補正に適用するベクトルの加算処理について説明する図である。

補正ベクトルの統合を行なう場合は、仮想的な補正処理順を逆にたどって、設定値を求める。例えば、図１９に示す点Ｃは、補正パラメータを保持すべき格子の交点に位置するものとする。
統合補正ベクトルの算出処理としては、例えば、点Ｃを歪曲収差補正と、回転手振れ補正を行った補正後の点としたとき、補正前の入力画像の対応点を求める処理として実行できる。ここで、（２）回転手振れ補正によって点Ｃへ座標変換されるのは点Ｂである。また、（１）歪曲収差補正によって点Ｂへ座標変換されるのは点Ａである。

つまり（１）歪曲収差補正、（２）回転手振れ補正、これらの２つの異なる補正に適用するベクトル補正ベクトルを統合すると、点Ｃに対応する入力画での座標は点Ａになる。この時、点Ｂに対する回転手振れ補正ベクトルは、点Ａに対する回転手振れ補正ベクトルとは異なるので、必ず処理の順序を逆にたどって各段階でのベクトルを求めることが重要である。

点Ｃに設定すべき補正パラメータとしてのベクトルは、点Ａから点Ｃへ向かうベクトルとなる。このように、補正ベクトルの統合は、単なるベクトル和ではなく、各補正処理の順序を逆にたどって、入力画での変換元の座標を求めることによって得られる。

図１９では、（１）歪曲収差補正と、（２）回転手振れ補正との２つの補正ベクトルの統合例を説明したが、さらに、ズーム倍率補正、平行移動手振れ補正、光軸中心補正、視差補正のそれぞれの補正ベクトルを統合する場合も、同様に、各補正処理の順序を逆にたどって、補正前の元座標に順に戻ることで算出できる。この統合ベクトルを、格子の交点全てに対して算出すればよい。

図３のように複数種類の補正処理が統合された「画像変換補正部２５１」を有している場合、制御部は、各補正処理での座標変換の順序を考慮し、図１８（１ｆ），（２ｆ）から逆の順に（１ａ），（２ａ）までその元座標をたどることによって各代表点に設定すべき統合補正ベクトルを求める。

なお、制御部において、複数の補正ベクトルに基づく統合補正ベクトルを算出する処理に際して、統合対象とする補正ベクトルを水平方向ベクトルと、垂直方向ベクトルとに分解した後、統合することで演算効率を高めることが可能である。

ただし、このような分解ベクトルに基づくベクトル統合処理を実行する場合、例えば、以下のような注意点がある。図２０は、補正処理を水平、垂直の順に分割処理する場合の構成例である。
図２０（ａ）のように格子を設定し、点Ａと点Ｃに対して補正ベクトルを設定する場合を考える。点Ｂを点Ａへ、点Ｄを点Ｃへ座標変換する２Ｚのベクトルについて考察する。通常のベクトル分解を考えると、図２０（ｂ）のように、
点Ａに関しては水平ベクトルＶＨＡ'と垂直ベクトルＶＶＡ、
点Ｃに関しては水平ベクトルＶＨＣ'と垂直ベクトルＶＶＣ、
このように分けることができる。

しかし図１９を参照して説明した通り、格子点Ａに設定すべきベクトルは、点Ａへ移したい元座標、つまり点Ｂからの相対位置である。図２０（ｂ）のＶＨＡ'とＶＨＣ'を用いて補間すると、点Ａの元座標は点Ｂ'となってしまい、正しい座標変換とならない。よって図２０（ｂ）は用いない。

この場合、図２０（ｃ）のように、水平の補正ベクトルは、垂直の補正処理を考慮して求める必要がある。垂直方向で補間する時に点Ｂを通るよう、水平ベクトルＶＨＡとＶＨＣを設定すれば、点Ｂは正しく点Ａへ座標変換される。
このように、制御部において、補正ベクトルを水平ベクトルと垂直ベクトルに分割して処理を行う場合、各段階で変換前の元座標を求める処理を順次実行して統合補正ベクトルを算出する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例によれば、撮像画像に対する複数の異なる画像補正を確実に、効率的に実現する構成が提供可能となる。具体的には、ズーム倍率補正、歪曲収差補正、回転手振れ補正、平行手振れ補正、光軸中心補正、視差補正、これらの補正を全て確実に実行する構成が提供される。また、これらの補正処理を一括して実行して効率的な処理を実現する構成が提供される。特に２つの異なる視点からの２つの画像を撮影するステレオカメラにおいて必要となるズーム倍率補正、光軸中心補正、視差補正についても、２つの撮像部の撮影画像の少なくともいずれかを補正することで品質の高い３Ｄ画像を提供することが可能となる。さらに各補正に適用する補正ベクトルを統合した統合補正ベクトルを算出して補正する構成によれば、効率的で確実な補正が実現される。

１１１ 第１撮像部
１１２ レンズ群
１１３ イメージセンサ
１１４ レンズ駆動部
１１５ 歪曲収差データ格納部
１１６ 手振れセンサ
１２１ 第２撮像部
１２２ レンズ群
１２３ イメージセンサ
１２４ レンズ駆動部
１２５ 歪曲収差データ格納部
１２６ 手振れセンサ
１３１ 光学計視差データ格納部
１３２ ズーム倍率補正値格納部
１３３ 光軸中心補正値格納部
１４１ 切替え多重化部
１５１ カメラ信号処理部
１５２ ズーム倍率補正部
１５３ 歪曲収差補正部
１５４ 回転手振れ補正部
１５５ 平行移動手振れ補正部
１５６ 光軸中心補正部
１５７ 視差補正部
１５８ データ圧縮部
１５９ 画像表示部
１６０ 画像記憶媒体ｏｒ入出力端子
１７１ 画像データ格納部
１７２ 制御部
２０１ カメラ信号処理部
２０２ ズーム倍率補正部
２０３ 歪曲収差補正部
２０４ 回転手振れ補正部
２０５ 平行移動手振れ補正部
２０６ 光軸中心補正部
２０７ 視差補正部
２０８ データ圧縮部

Claims (15)

1. 複数の撮像部と、
   前記複数の撮像部の撮影画像に対する補正処理を実行する補正部と、
   前記補正部での補正処理に適用する補正パラメータを算出する制御部を有し、
   前記補正部は、
   前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
   前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行する構成であり、
   前記制御部は、
   前記補正部において実行する複数の異なる補正処理に適用する補正ベクトルを統合した統合補正ベクトルを画像内に離散的に設定した複数の代表点の各々について算出し、前記補正部に提供し、
   前記補正部は、前記統合補正ベクトルを適用した画像変換処理により複数の異なる補正処理を一括して実行する構成であり、
   前記制御部は、前記複数の異なる補正処理の仮想的実行順を逆にたどって、代表点が補正後の点となる入力画像の対応点を算出し、対応点から代表点に向かうベクトルを代表点対応の統合補正ベクトルとして算出する撮像装置。
2. 前記補正部は、
   前記画像特性合わせこみ補正処理として、前記複数の撮像部において撮影された複数の画像のズーム倍率を一致させるズーム倍率補正処理を実行する請求項１に記載の撮像装置。
3. 前記補正部は、
   前記画像特性合わせこみ補正処理として、前記複数の撮像部において撮影された複数の画像の光軸中心を一致させる光軸中心補正処理を実行する請求項１に記載の撮像装置。
4. 前記補正部は、
   さらに、前記複数の撮像部において撮影された複数の画像の視差を調整する視差補正処理を実行する請求項１に記載の撮像装置。
5. 前記制御部は、
   前記補正部での補正処理に適用する補正パラメータの算出を実行して、前記補正部に提供する請求項１に記載の撮像装置。
6. 前記補正パラメータは、
   補正部における画像の座標変換に適用する補正ベクトルである請求項５に記載の撮像装置。
7. 前記補正部は、
   前記撮影画像各々に対する歪曲収差補正を実行する歪曲収差補正部と、
   前記撮影画像各々に対する回転手振れ補正を実行する回転手振れ補正部と、
   前記撮影画像各々に対する平行移動手振れ補正を実行する平行移動手振れ補正部と、
   前記複数の撮像部において撮影された複数の画像の特性であるズーム倍率を一致させるズーム倍率補正部と、
   前記複数の撮像部において撮影された複数の画像の特性である光軸中心を一致させる光軸中心補正部と、
   前記複数の撮像部において撮影された複数の画像の視差を調整する視差補正処理を実行する視差補正部を有する構成である請求項１に記載の撮像装置。
8. 前記制御部は、
   歪曲収差補正処理と、回転手振れ補正処理と、平行移動手振れ補正処理と、ズーム倍率補正処理と、光軸中心補正処理と、視差補正処理、各々の補正処理に適用する補正ベクトルを統合した統合補正ベクトルを算出して前記補正部に提供し、
   前記補正部は、前記統合補正ベクトルを適用した画像変換処理により、歪曲収差補正処理と、回転手振れ補正処理と、平行移動手振れ補正処理と、ズーム倍率補正処理と、光軸中心補正処理と、視差補正処理を一括して実行する構成である請求項１に記載の撮像装置。
9. 前記撮像装置は、
   歪曲収差補正に適用する撮像部対応の歪曲収差データを格納した歪曲収差データ格納部を有し、
   前記制御部は、前記歪曲収差データ格納部から取得したデータに基づいて歪曲収差補正パラメータを生成する請求項１に記載の撮像装置。
10. 前記撮像装置は、
    複数の撮像部において撮影された複数の画像の特性である光軸中心を一致させる光軸中心補正に適用する光軸中心補正データを格納した光軸中心補正値格納部を有し、
    前記制御部は、前記光軸中心補正値格納部から取得したデータに基づいて光軸中心補正パラメータを生成する請求項１に記載の撮像装置。
11. 前記撮像装置は、
    複数の撮像部において撮影された複数の画像の特性であるズーム倍率を一致させるズーム倍率補正に適用するズーム倍率補正データを格納したズーム倍率補正値格納部を有し、
    前記制御部は、前記ズーム倍率補正値格納部から取得したデータに基づいてズーム倍率補正パラメータを生成する請求項１に記載の撮像装置。
12. 前記撮像装置は、
    複数の撮像部において撮影された複数の画像の視差を調整する視差補正に適用する視差データを格納した視差データ格納部を有し、
    前記制御部は、前記視差データ格納部から取得したデータに基づいて視差補正パラメータを生成する請求項１に記載の撮像装置。
13. 複数の撮像部の撮影画像に対する補正処理を実行する補正部と、
    前記補正部での補正処理に適用する補正パラメータを算出する制御部を有し、
    前記補正部は、
    前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
    前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行する構成であり、
    前記制御部は、
    前記補正部において実行する複数の異なる補正処理に適用する補正ベクトルを統合した統合補正ベクトルを画像内に離散的に設定した複数の代表点の各々について算出し、前記補正部に提供し、
    前記補正部は、前記統合補正ベクトルを適用した画像変換処理により複数の異なる補正処理を一括して実行する構成であり、
    前記制御部は、前記複数の異なる補正処理の仮想的実行順を逆にたどって、代表点が補正後の点となる入力画像の対応点を算出し、対応点から代表点に向かうベクトルを代表点対応の統合補正ベクトルとして算出する画像処理装置。
14. 画像処理装置において実行する画像処理方法であり、
    制御部が、補正部での補正処理に適用する補正パラメータを算出するパラメータ算出ステップと、
    補正部が、複数の撮像部の撮影画像に対して、前記補正パラメータを適用した補正処理を実行する補正ステップを実行し、
    前記補正ステップは、
    前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行するとともに、
    前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行するステップであり、
    前記制御部は、前記パラメータ算出ステップにおいて、
    前記補正部において実行する複数の異なる補正処理に適用する補正ベクトルを統合した統合補正ベクトルを画像内に離散的に設定した複数の代表点の各々について算出し、前記補正部に提供し、
    前記補正部は、前記補正ステップにおいて、
    前記統合補正ベクトルを適用した画像変換処理により複数の異なる補正処理を一括して実行し、
    前記制御部は、前記パラメータ算出ステップにおいて、前記複数の異なる補正処理の仮想的実行順を逆にたどって、代表点が補正後の点となる入力画像の対応点を算出し、対応点から代表点に向かうベクトルを代表点対応の統合補正ベクトルとして算出する画像処理装方法。
15. 画像処理装置において画像処理を実行させるプログラムであり、
    制御部に、補正部での補正処理に適用する補正パラメータを算出させるパラメータ算出ステップと、
    補正部に、複数の撮像部の撮影画像に対して、前記補正パラメータを適用した補正処理を実行させる補正ステップを実行させ、
    前記補正ステップは、
    前記撮影画像各々に対する歪曲収差補正と手振れ補正を実行させるとともに、
    前記複数の撮像部において撮影された複数の画像の特性を一致させる画像特性合わせこみ補正処理を実行させるステップであり、
    前記パラメータ算出ステップは、
    前記補正部において実行する複数の異なる補正処理に適用する補正ベクトルを統合した統合補正ベクトルを画像内に離散的に設定した複数の代表点の各々について算出して、前記補正部に提供するステップであり、
    前記補正ステップは、
    前記統合補正ベクトルを適用した画像変換処理により複数の異なる補正処理を一括して実行するステップであり、
    前記パラメータ算出ステップは、前記複数の異なる補正処理の仮想的実行順を逆にたどって、代表点が補正後の点となる入力画像の対応点を算出し、対応点から代表点に向かうベクトルを代表点対応の統合補正ベクトルとして算出するステップであるプログラム。