JP4843750B2 - 撮像装置、方法およびプログラム - Google Patents

Description

本発明は複眼撮像装置の手振れ補正に関する。

特許文献１では、デジタル双眼鏡の一対の対物レンズを介して入射された光を一対の撮像素子によって撮影することで、両眼視差に相当する相違が生じている一対の画像（ステレオ画像）を取得し、各種の補正を経てメモリに記憶された一対の画像に対し、両眼視差に相当する像構造の幾何学的な相違を認識した後に、認識した像構造の幾何学的な相違以外の相違（例えば撮像素子によって一対の画像に各々重畳されているランダムなノイズの相違）を減少させるノイズ低減処理を行う。そして、ノイズ低減処理後の画像を表示デバイスに表示させる。表示デバイスに表示された画像は、接眼レンズを介してユーザにより視認（立体視）される。

特許文献２では、被写体を撮像し、ステレオアダプタにより２つの左眼撮像領域及び右眼撮像領域の画像データを生成する撮像部と、手振れによる位置補正量を算出する手振れ補正部と、撮像部のズーム制御を行うズーム制御部と、サイズ決定部と、位置決定部と、適切な立体視を生成するための左右の画像領域を切り出す切り出し部と、拡大／縮小部と、左右の画像から立体視を生成するための左右の画像領域を結合する結合部及び記録部とを備える３次元画像撮像装置が開示されている。

特許文献３に記載されるように、撮像装置での手振れ補正の方式は、電子式、光学式、センサ（撮像素子）シフト式がある。

特許文献４に記載されるように、異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）を算出し、視差に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成することができる。ステレオマッチングを行う際には、基準画像上のある画素に写像される実空間上の点は、複数存在するため、実空間上の点の写像である直線（エピポーラ線）上に、当該画素に対応する参照画像上の画素′が存在することに基づいて、当該画素に対応する参照画像上の画素である対応点が探索される。ステレオマッチングを行う際には、基準画像上に対応点探索の対象となる画素を含む相関ウィンドウを設定し、参照画像上において基準画像に設定したものと同一の相関ウィンドウをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、画素の対応点として求めている。

特許文献５に記載されるように、異なる視点画像間の対応点検索の方法としては、絶対値和法（Sum of Absolute Difference：ＳＡＤ法）や位相限定相関法(Phase-Only Correlation: ＰＯＣ法）などがある。

特許文献６に記載されるように、この対をなす画像における測定対象の像は、光学的な歪みなどが無いかぎりは距離や位置が異なっても必ず対をなす画像において互いに対応する直線上に存在する。この直線はエピポーラ線と呼ばれ事前に光学的な歪み等を補正し直線になるようにし、相関を取る際にこの直線上の相関をとり左右のカメラにて得られた像の位置関係を演算する。また、このエピポーラ線が両画像にて互いに水平等位になるようにカメラを構成すれば画像処理上、演算量が減少するため処理が向上する。

特開２００４−１２０６００号公報 特開２００５−４５３２８号公報 特開２００８−６４８６３号公報 特開２００９−２０５１９３号公報 特開２００９−１４４４５号公報 特開２００８−１６４３３８号公報

複眼カメラは、光軸中心が水平方向に一致するように調整されており、立体視を可能にする。よって、個々のカメラで手振れ補正を行い、個々のカメラで補正量に差が出ると、レンズの初期中心位置がずれて立体視ができなくなる。

本発明は、複眼カメラの個々のカメラで手振れ補正を行っても立体視を可能にする。

本発明は、異なる視点から被写体像を撮影する複数の撮像部と、撮像部の各々の振れを検出する振れ検出部と、振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置であって、複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するサイズ決定部であって、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とした規定の撮像領域と、複数の撮像部の各々の振れ補正後の撮像領域との共通領域に含まれる、初期光軸中心を中心とした候補領域のサイズのうち、最小のサイズの候補領域に基づいて、複数の撮像部の各々から取得された複数の画像に共通の所定のアスペクト比を有する切り出しサイズを決定するサイズ決定部と、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の画像の各々から出力用画像を切り出す切出部と、を備える撮像装置を提供する。

また、本発明は、異なる視点から被写体像を撮影する複数の撮像部と、撮像部の各々の振れを検出する振れ検出部と、振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置であって、複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するサイズ決定部であって、複数の撮像部の各々に対する振れ補正部の振れ補正に依存しない不変の撮像領域に含まれる、初期光軸中心を中心とした切り出し候補領域を複数の撮像部ごとに決定した上、複数の撮像部に対応する切り出し候補領域のサイズの最小値に基づいて、複数の撮像部の各々からの画像に共通の所定のアスペクト比を有する切り出しサイズを決定するサイズ決定部と、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の撮像部の各々から出力用画像を切り出す切出部と、を備える撮像装置を提供する。

好ましくは、サイズ決定部は、複数の撮像部の各々に対する振れ補正部の振れ補正により鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域に基づき、複数の撮像部ごとに不変の撮像領域を決定する。

好ましくは、サイズ決定部は、複数の撮像部の各々に対して振れ補正部が少なくとも２回実施した振れ補正により得られた鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域を複数の撮像部ごとに決定し、複数の撮像部ごとに決定した共通領域を各撮像部に対応する不変の撮像領域とする。

好ましくは、サイズ決定部は、複数の撮像部の各々に対する振れ補正部の振れ補正により鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域に基づき、複数の撮像部ごとに不変の撮像領域を決定する。

好ましくは、サイズ決定部は、複数の撮像部の各々に対して振れ補正部が少なくとも２回実施した振れ補正により得られた鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域を複数の撮像部ごとに決定し、複数の撮像部ごとに決定した共通領域を各撮像部に対応する不変の撮像領域とする。

好ましくは、この撮像装置は、切出部の切り出した出力用画像が、規定の切出範囲を超える補完対象領域を有する場合、補完対象領域に相当する撮像部の有効画素領域の画像で補完対象領域を補完する画像補完部を備える。

好ましくは、この撮像装置は、切出部の切り出した出力用画像が、撮像部の規定の切出範囲を超える補完対象領域を有する場合、補完対象領域を所定の色で補完する色補完部を備える。

好ましくは、この撮像装置は、切出部の切り出した各出力用画像の初期光軸中心を基準に各画像を合成することでパノラマ画像を作成するパノラマ画像作成部を備える。

好ましくは、この撮像装置は、切出部の切り出した各出力用画像の初期光軸中心を基準にエピポーラ線を設定し、エピポーラ線に沿って各出力用画像の相関を演算することでステレオマッチングを行うステレオマッチング演算部を備える。

好ましくは、この撮像装置は、複数の撮像部の各々からの各画像と各画像の初期光軸中心位置および切り出しサイズとを関連づけて記憶する記憶部を備える。

好ましくは、この撮像装置は、複数の撮像部の各々から同一の撮影時刻に取得された各画像に対応する各出力用画像を撮影時系列順に関連づけて記憶する記憶部を備える。

好ましくは、この撮像装置は、出力用画像の補完対象領域の座標と補完対象領域の面積が最小の出力用画像の識別情報を出力用画像に対応づけて記憶する記憶部を備える。

好ましくは、この撮像装置は、出力用画像の切り出しサイズを保ったまま、出力用画像間の視差が所定の視差量になるよう、出力用画像の切り出し位置を決定する視差調整部を備える。

好ましくは、この撮像装置は、切出部の切り出した画像に基づいて平面画像または立体画像を出力する出力部を備える。

好ましくは、この撮像装置は、拡大位置の指定を受け付ける指定部を備え、切出部は、指定部の受け付けた拡大位置が画像から出力用画像を切り出す境界に達した場合、出力用画像を切り出す位置を拡大位置に応じて変更する。

好ましくは、この撮像装置は、記憶部に記憶された識別情報に基づいて補完対象領域の面積が最小の画像を平面画像として出力する平面画像出力部を備える。

好ましくは、この撮像装置は、記憶部に記憶された補完対象領域を所定の色で補完する色補完部と、色補完部が色を補完した画像に基づいて平面画像または立体画像を出力する出力部と、を備える。

好ましくは、この撮像装置は、記憶部に記憶された各画像に対応する初期光軸中心位置および切り出しサイズを基準に各出力用画像を切り出した上、各出力画像を合成することでパノラマ画像を作成するパノラマ画像作成部を備える。

好ましくは、この撮像装置は、記憶部に記憶された各画像に対応する初期光軸中心位置および切り出しサイズを基準に各出力画像を切り出した上、初期光軸中心を基準に各出力用画像にエピポーラ線を設定し、エピポーラ線に沿って各出力用画像の相関を演算することでステレオマッチングを行うステレオマッチング演算部を備える。

本発明は、異なる視点から被写体像を撮影する複数の撮像部と、撮像部の各々の振れを検出する振れ検出部と、振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置で実行される撮像方法であって、複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するため、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とした規定の撮像領域と、複数の撮像部の各々の振れ補正後の撮像領域との共通領域に含まれる、初期光軸中心を中心とした候補領域のサイズのうち、最小のサイズの候補領域に基づいて、複数の撮像部の各々から取得された複数の画像に共通の所定のアスペクト比を有する切り出しサイズを決定するステップと、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の画像の各々から出力用画像を切り出すステップと、を含む撮像方法を提供する。

また、本発明は、異なる視点から被写体像を撮影する複数の撮像部と、撮像部の各々の振れを検出する振れ検出部と、振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置で実行される撮像方法であって、複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するため、複数の撮像部の各々に対する振れ補正部の振れ補正に依存しない不変の撮像領域に含まれる、初期光軸中心を中心とした切り出し候補領域を複数の撮像部ごとに決定した上、複数の撮像部に対応する切り出し候補領域のサイズの最小値に基づいて、複数の撮像部の各々からの画像に共通の所定のアスペクト比を有する切り出しサイズを決定するステップと、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の撮像部の各々から出力用画像を切り出すステップと、を含む撮像方法を提供する。

この撮像方法を撮像装置に実行させるためのプログラムも本発明に含まれる。さらに、当該プログラムのコンピュータ読取可能なコードを記録した記録媒体も本発明に含まれる。そのような記録媒体としては半導体メモリやハードディスク、ＣＤ・ＤＶＤ等の各種光磁気記録媒体を用いることができる。

本発明によると、初期光軸中心を中心とした候補領域のサイズのうち、最小のサイズに基づいて、複数の撮像部の各々から取得された複数の画像に共通の所定のアスペクト比を有する切り出しサイズを決定し、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の画像の各々から出力用画像を切り出す。

あるいは、本発明によると、複数の撮像部に対応する振れ補正に依存しない切り出し候補領域のサイズの最小値に基づいて、複数の撮像部の各々からの画像に共通の所定のアスペクト比を有する切り出しサイズを決定し、複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、サイズ決定部の決定した共通の切り出しサイズで、複数の撮像部の各々から出力用画像を切り出す。

これにより、手振れ補正前後で光軸中心位置の保たれた出力画像が得られるから、この出力用画像を用いて立体視が可能になる。

図１Ａは第１実施形態に係る撮像装置のブロック図であり； 図１Ｂは第１実施形態に係る撮像装置の他のブロック図であり； 図２Ａは撮像装置の正面図であり； 図２Ｂは撮像装置の背面図であり； 図３は第１実施形態に係る処理のフローチャートであり； 図４は第１実施形態に係る第ｉ画像データと第ｉ視点画像の一例を示す図であり； 図５Ａは第２実施形態に係る撮像装置のブロック図であり； 図５Ｂは第２実施形態に係る撮像装置の他のブロック図であり； 図６は第２実施形態に係る処理のフローチャートであり； 図７は第２実施形態に係る第ｉ画像データと第ｉ視点画像の一例を示す図であり； 図８は有効画素領域ＲＡから処理に都合の良い切り取り領域Ｒｏｕｔを取得する様子を示した図であり； 図９Ａは第３実施形態に係る撮像装置のブロック図であり； 図９Ｂは第３実施形態に係る撮像装置の他のブロック図であり； 図１０は第３実施形態に係る処理のフローチャートであり； 図１１Ａは第１・２視点画像の補完対象領域の一例を示す図であり； 図１１Ｂは第１・２視点画像の補完対象領域の他の例を示す図であり； 図１２Ａは第４実施形態に係る撮像装置のブロック図であり； 図１２Ｂは第４実施形態に係る撮像装置の他のブロック図であり； 図１３は第４実施形態に係る処理のフローチャートであり； 図１４は補完対象領域が塗りつぶされた例を示す図であり； 図１５Ａは第５実施形態に係る撮像装置のブロック図であり； 図１５Ｂは第５実施形態に係る撮像装置の他のブロック図であり； 図１６は第５実施形態に係る処理のフローチャートであり； 図１７はパノラマ画像の一例を示す図であり； 図１８Ａは第６実施形態に係る撮像装置のブロック図であり； 図１８Ｂは第６実施形態に係る撮像装置の他のブロック図であり； 図１９は第６実施形態に係る処理のフローチャートであり； 図２０はステレオマッチングの演算を模式的に示した図であり； 図２１Ａは第７実施形態に係る撮像装置のブロック図であり； 図２１Ｂは第７実施形態に係る撮像装置の他のブロック図であり； 図２２は第７実施形態に係る処理のフローチャートであり； 図２３Ａは画像と各種情報との関連付けの方法の一例を示す図であり； 図２３Ｂは画像と各種情報との関連付けの方法の他の例を示す図であり； 図２４Ａは第８実施形態に係る撮像装置のブロック図であり； 図２４Ｂは第８実施形態に係る撮像装置のブロック図であり； 図２５は第８実施形態に係る処理のフローチャートであり； 図２６Ａは画像と各種情報との関連付けの方法の一例を示す図であり； 図２６Ｂは画像と各種情報との関連付けの方法の一例を示す図であり； 図２７は第９実施形態に係る処理のフローチャートであり； 図２８Ａは画像同士の関連付けの方法の一例を示す図であり； 図２８Ｂは画像同士の関連付けの方法の一例を示す図であり； 図２９Ａは第１０実施形態に係る撮像装置のブロック図であり； 図２９Ｂは第１０実施形態に係る撮像装置のブロック図であり； 図３０は第１０実施形態に係る処理のフローチャートであり； 図３１は視差補正ボタンの一例を示す図であり； 図３２Ａは立体画像の視差補正の様子を模式的に示した図であり； 図３２Ｂは立体画像の視差補正の様子を模式的に示した他の図であり； 図３２Ｃは立体画像の視差補正の様子を模式的に示した他の図であり； 図３２Ｄ立体画像の視差補正の様子を模式的に示した他の図であり； 図３３Ａは第１１実施形態に係る撮像装置のブロック図であり； 図３３Ｂは第１１実施形態に係る撮像装置の他のブロック図であり； 図３４は第１１実施形態に係る処理のフローチャートであり； 図３５Ａは３Ｄ画像の表示例を示す図であり； 図３５Ｂは２Ｄ画像の表示例を示す図であり； 図３６Ａは視点画像の表示例を示す図であり； 図３６Ｂは２Ｄ画像の表示例を示す図であり； 図３７Ａは第１２実施形態に係る撮像装置のブロック図であり； 図３７Ｂは第１２実施形態に係る撮像装置の他のブロック図であり； 図３８は第１２実施形態に係る処理のフローチャートであり； 図３９Ａは拡大領域の切り出し位置の例を示す図であり； 図３９Ｂは拡大領域の切り出し位置の例を示す他の図であり； 図３９Ｃは拡大領域の切り出し位置の例を示す他の図であり； 図４０Ａは拡大領域の表示例を示す図であり； 図４０Ｂは拡大領域の表示例を示す他の図であり； 図４０Ｃは拡大領域の表示例を示す他の図であり； 図４１Ａは第１３実施形態に係る撮像装置のブロック図であり； 図４１Ｂは第１３実施形態に係る撮像装置の他のブロック図であり； 図４２は第１３実施形態に係る処理のフローチャートであり； 図４３Ａは補完対象領域の画素数が最小の画像データの他の例を示す図であり； 図４３Ｂは補完対象領域の画素数が最小の画像データの他の例を示す図であり； 図４３Ｃは補完対象領域の画素数が最小の画像データの他の例を示す図であり； 図４３Ｄは補完対象領域の画素数が最小の画像データの他の例を示す図であり； 図４４は第１４実施形態に係る処理のフローチャートであり； 図４５Ａは無画素領域と塗りつぶしの例を示す図であり； 図４５Ｂは無画素領域と塗りつぶしの例を示す他の図であり； 図４５Ｃは無画素領域と塗りつぶしの例を示す他の図であり； 図４５Ｄは無画素領域と塗りつぶしの例を示す他の図であり； 図４６は第１５実施形態に係る処理のフローチャートであり； 図４７は探索範囲の補正の例を示す図であり； 図４８はパノラマ画像の例を示す図であり； 図４９は第１６実施形態に係る処理のフローチャートであり； 図５０Ａは第１６実施形態に係るステレオマッチングを模式的に示す図であり； 図５０Ｂは第１６実施形態に係るステレオマッチングを模式的に示す他の図であり； 図５０Ｃは第１６実施形態に係るステレオマッチングを模式的に示す他の図である。

＜第１実施形態＞
図１Ａは本発明の第１実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図１Ｂは本発明の第１実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。図１Ａ，図１Ｂの撮像装置１０ａ／１０ｂ間で同様の機能のブロックには枝番ａおよびｂを除いて同一の番号を付しており、以下、これらの同一の番号の付与されたブロックの各々の説明をまとめて行う。

カメラ制御部４０は、ＣＰＵなどで構成され、撮像装置１０ａ全体の動作を統括的に制御する。カメラ制御部４０には、ｎ（ｎは２以上の整数）個の撮像部３と手振れ補正制御部１５、ズームボタン部１６、操作部１７、モニタ部１８、記録制御部１９、記録媒体２０、入出力部２１、切り出し位置・サイズ決定部５１、初期光軸中心位置メモリ部５２のほか、ＲＡＭ４２、ＲＯＭ４１が接続されている。ＲＯＭ４１は、本発明に係る撮像方法を実行するプログラム等、カメラ制御部４０の実行する各種プログラムを記憶し、ＲＡＭ４２は、プログラムの実行の際のバッファとなる。ＲＯＭ４１はフラッシュメモリのような書き換え可能な不揮発性記録媒体でもよい。なお本発明に係る撮像方法を実行するプログラムは、ハードディスクやＣＤ・ＤＶＤ等の記録媒体やネットワーク上のサーバに予め記録されているものを撮像装置に読み込んで使用するようにしてもよい。

第ｉ（ｉ＝１〜ｎの整数。ｎは２以上）撮像部３ａは、レンズ光軸Ｌｉに沿って配列されたレンズ１１−ｉ、イメージセンサ１２−ｉ、Ａ／Ｄ変換器１３−ｉ、画像信号処理部１４−ｉを含む。第１〜ｎ撮像部１１−１〜ｎは、同一の構成を有する。

レンズ１１は、鏡筒内に固設されており、変倍レンズとフォーカスレンズを含む。カメラ制御部４０は、ズームボタン部１６（ただしボタンでなくリング状操作部材も可）へのテレまたはワイドのズーム方向情報の入力操作に応じて、カメラレンズモータなどの駆動手段を制御し、変倍レンズをレンズ光軸方向に沿ってテレ側（繰り出し側）／ワイド側（繰り込み側）に移動させ、焦点距離（撮影倍率）を変化させる。

レンズ１１のフォーカスレンズは、レンズ光軸に沿って移動させられ、ピント調整が行われる。フォーカスレンズは、変倍レンズの移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。

イメージセンサ１２は、レンズ１１によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。イメージセンサ１２は、タイミングジェネレータ（不図示）から入力されるタイミング信号（クロックパルス）により光電荷蓄積・転送動作が制御され、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、図示しない相関二重サンプリング回路（ＣＤＳ）に入力する。なお、イメージセンサ１２として、ＣＣＤ型やＭＯＳ型の固体撮像装置が用いられる。

相関二重サンプリング回路（ＣＤＳ）は、イメージセンサ１２から入力された１画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを図示しない増幅器（ＡＭＰ）に入力する。ＡＭＰは、入力された画像データを増幅してＡ／Ｄ変換器１３に入力する。Ａ／Ｄ変換器１３は、入力された画像データをアナログからデジタルに変換する。ｎ＝２の場合、第１イメージセンサ２３の撮像信号は、ＣＤＳ、ＡＭＰ、Ａ／Ｄ変換器１３を介して、第１画像データ（右眼用画像データ）となることができる。

Ａ／Ｄ変換器１３−ｉの各々から出力された画像データである第ｉ画像は、画像信号処理部１４−ｉにそれぞれ入力される。画像信号処理部１４−ｉは、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を各画像データに施す。画像信号処理部１４−ｉから出力された第ｉ画像データは、フレームメモリ４３に入力される。フレームメモリ４３は、第ｉ画像データを一時的に格納する作業用メモリである。

立体画像処理回路４５５は、フレームメモリ４３に格納された第ｉ画像データから切り出された第ｉ視点画像を、モニタ部１８が立体表示を行うための立体画像データに合成する。モニタ部１８は、撮影モード時において、立体画像処理回路４５５によって合成された立体画像データをスルー画（継続的に更新される立体画像。以下スルー立体画像と呼ぶこともある）として表示させる。

記録制御部１９は、フレームメモリ４３に記憶された第ｉ画像データまたは第ｉ視点画像に対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。記録制御部１９は、圧縮処理された各画像データをメモリカード等の記録媒体２０に記録させる。

このようにして記録媒体２０に記録された第ｉ画像データをモニタ部１８に再生表示させる場合、記録制御部１９は、記録媒体２０に記録された第ｉ画像データを読み出し、伸張処理を行ってフレームメモリ４３に記憶する。フレームメモリ４３に記憶された第ｉ画像データは、立体画像処理回路４５５によって立体画像データに変換された後、モニタ部１８に再生表示される。

図示は省略するが、モニタ部１８は、その表面にパララックスバリア表示層を備えている。モニタ部１８は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とする。

なお、モニタ部１８は、所望の第ｉ撮像部１１からフレームメモリ４３に取得された同一の第ｉ画像データを出力することで２次元の画像を観察者に表示することもできる。

切り出し位置・サイズ決定部５１はＣＰＵなどの演算処理装置、初期光軸中心位置メモリ部５２はＲＯＭなどの記憶媒体で構成することができる。

図１Ａに示す撮像装置１０ａの振れ補正制御部１５−ｉ−ａは、イメージセンサ１２−ｉに対応する駆動部および振動検出部を備える。駆動部はプランジャや圧電素子などで構成されうる。また、振動検出部は３次元方向で発生する振れの量と方向とを検知するジャイロセンサ、加速度センサ、速度センサなどで構成されうる。振れ補正制御部１５−ｉ−ａは、駆動部を制御して、イメージセンサ１２−ｉをレンズ１１−ｉ−ａの光軸に対して直交するイメージセンサ１２−ｉの結像面に平行なＸＹ平面において、振動検出部により量と方向の検出された各撮像部３−ｉの振れを打ち消すようにイメージセンサ１２−ｉをそれぞれ揺動させて振れを補正する。

図１Ｂに示す撮像装置１０ｂのレンズ１１−ｉ−ｂは、振動検出部、手振れを補正するための補正光学系（防振レンズ）とその駆動部を備える。防振レンズは、対応するレンズ１１−ｉ−ｂの撮影光軸と直交するイメージセンサ１２の結像面に平行なＸＹ平面内で移動自在に支持されている。手振れ補正制御部１５−ｉ−ｂは、イメージセンサ１２−ｉに対応する振動検出部を備える。手振れ補正制御部１５−ｉ−ｂは、振動検出部により量と方向の検出された各撮像部３−ｉの振れを打ち消すように補正光学系を駆動部によって駆動させることにより、イメージセンサ１２−ｉでの結像面上での手振れを防止する。

図２Ａはｎ＝２の場合の撮像装置１０ａまたは１０ｂの正面図を示し、図２Ｂはｎ＝２の場合の撮像装置１０ａまたは１０ｂの背面図を示す。

図３は第１実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１実施形態に係るプログラムはＲＯＭ４１に記憶されている。簡略のため、カメラ制御部４０ａまたは４０ｂをまとめてカメラ制御部４０で表すこともあるが、以下の処理の実行主体は、撮像装置１０ａの場合はカメラ制御部４０ａであり、撮像装置１０ｂの場合はカメラ制御部４０ｂである。また、カメラ制御部４０ａおよびカメラ制御部４０ｂの制御対象は、それぞれ撮像装置１０ａのブロックおよび撮像装置１０ｂのブロックである。

ＳＴ１では、カメラ制御部４０は、操作部１７から撮影モード設定が指示されたことに応じ、通常の振れ補正を実行する。通常の振れ補正とは、振動検出部により量と方向の検出された各撮像部３−１〜ｎの振れを打ち消すようにイメージセンサ１２−ｉあるいは防振レンズを揺動させて振れを補正する。

ＳＴ２では、カメラ制御部４０は、通常の振れ補正の間に各撮像部３−ｉから同期して出力された多視点の第ｉ画像データをフレームメモリ４３に取り込む。

ＳＴ３では、カメラ制御部４０は、初期光軸中心位置メモリ部５２に記憶されているレンズ１１−ｉの初期光軸中心位置を読み出す。そして、カメラ制御部４０は、その初期光軸中心位置と、駆動部による振れ補正量と補正方向とから、振れ補正前の初期光軸中心位置に対応する振れ補正後の第ｉ画像データ内の画素の位置である補正後位置を算出する。なお、カメラ制御部４０は、駆動部による振れ補正量と補正方向を、イメージセンサ１２−ｉのＸＹ平面上の画素の単位に換算しているものとする。

ＳＴ４では、カメラ制御部４０は、補正後の光軸中心位置を中心とし、かつＲＯＭ４１に保存されるモニタ部１８のアスペクト比（ｘ：ｙ）を有し、かつ振れのない場合の撮像画素領域と振れ補正後の第ｉ画像データとの双方に含まれる最大の共通領域を候補領域とする。そして、カメラ制御部４０は、補正後の光軸中心位置から候補領域の外縁ＸＹ方向の各辺までの垂線の長さを算出し、そのＸＹ方向の各辺までの距離の中の最小値である最短距離Ｌｉを算出する。

ＳＴ５では、カメラ制御部４０は、各第ｉ画像データから最短距離Ｌｉが得られたか否かを判断し、各第ｉ画像データから最短距離Ｌｉが得られていないと判断した場合はＳＴ４を繰り返す。カメラ制御部４０は、各第ｉ画像データから最短距離Ｌｉが得られたと判断した場合は、各最短距離Ｌｉの中から最小値Ｌｍｉｎを求める。

ＳＴ６では、カメラ制御部４０は、ＲＯＭ４１からモニタ部１８のアスペクト比（ｘ：ｙ）を読み込む。

ＳＴ７では、カメラ制御部４０は、ＳＴ５で求めた最小値Ｌｍｉｎが、補正後位置からＸ方向に平行な横辺までの距離であるか、補正後位置からＹ方向に平行な縦辺までの距離であるかを判断する。Ｌｍｉｎが横辺までの距離であればＳＴ８、縦辺までの距離であればＳＴ８．１に進む。

ＳＴ８では、カメラ制御部４０は、立体表示用の画像の切り出しサイズを演算するよう切り出し位置・サイズ決定部５１を制御する。すなわち、切り出し位置・サイズ決定部５１は、ｘ方向の切り出しサイズは２×Ｌｍｉｎ、ｙ方向の切り出しサイズは（ｙ／ｘ）×（２×Ｌｍｉｎ）とする。

ＳＴ８．１では、カメラ制御部４０は、立体表示用の画像の切り出しサイズを演算するよう切り出し位置・サイズ決定部５１を制御する。すなわち、切り出し位置・サイズ決定部５１は、ｘ方向の切り出しサイズは（ｘ／ｙ）×（２×Ｌｍｉｎ）、ｙ方向の切り出しサイズは２×Ｌｍｉｎとする。

ＳＴ９では、カメラ制御部４０は、初期光軸中心位置を中心とし、かつＳＴ８または８．１で算出したサイズの矩形領域を、各第ｉ画像データから切り出すことで、第ｉ視点画像を得る。

ＳＴ１０では、立体画像処理回路４５５は、第ｉ視点画像に基づいて立体画像をモニタ部１８に出力する。このＳＴ１〜１０の処理は、シャッタボタンの押下などによる撮像指示により繰り返される。このＳＴ１〜１０の処理がシャッタボタンの押下があるまで繰り返されることによりモニタ部１８に継続的に出力される画像は、スルー画像やライブビューなどと呼ばれる。

図４はｎ＝２の場合の各第ｉ画像データと第ｉ視点画像の一例を示す。Ｆｉ−１は実空間、Ｆｉ−２は振れのない場合の撮像画素領域、Ｆｉ−３が振れ補正後の撮像画素領域、Ｆｉ−４が初期光軸中心位置に基づいて切り出された第ｉ視点画像を示す。ＸＹ座標系は実空間Ｆｉ−１を基準に定められ、Ｘは水平方向、Ｙは鉛直方向を表す。

例えば、Ｆ１−１とＦ１−３との間のＸ方向の振れ補正量がｘ'Ｒピクセル、Ｆ１−１とＦ１−３との間のＹ方向の振れ補正量がｙ'Ｒピクセルであるとし、｜ｘ'Ｒ｜＞｜ｙ'Ｒ｜とする。また、モニタ部１８の縦横比は３：４とする。この場合、Ｌｍｉｎ＝｜ｙ'Ｒ｜であるから、第１・第２画像データのｘ方向の切り出しサイズは（８／３）×（２×Ｌｍｉｎ）、ｙ方向の切り出しサイズは２×Ｌｍｉｎとなる。

以上の処理により、各々振れ補正量の異なる複数の画像データから、光軸中心の位置がずれないように共通のサイズおよびアスペクト比で視点画像が切り出される。このため、手振れ補正後も振れ補正前と同様な品質で立体画像を生成することができる。

＜第２実施形態＞
図５Ａは本発明の第２実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図５Ｂは本発明の第２実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付すものとし、以下、これらの同一の番号以外の番号が付与されたブロックの説明を行う。

撮像装置１０ａ／１０ｂは、ＲＡＭなどの書き換え可能な記憶媒体で構成された切り出しサイズメモリ部５３を備えている。

図６は第２実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第２実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、操作部１７から撮影モード設定が指示されたことに応じ、ＳＴ２に進む。

ＳＴ２では、ｉ＝１〜ｎについて以下のＳＴ３〜ＳＴ５をループする。

ＳＴ３では、カメラ制御部４０ａまたは４０ｂは、それぞれ対応する手振れ補正制御部１５−ｉ−ａまたは４０ｂによる振れ補正を２回（またはそれ以上）実行するよう制御するとともに、その振れ補正の間に各撮像部３−ｉから同期して出力された多視点の第ｉ画像データをフレームメモリ４３に取り込む。この振れ補正は、振動検出部の振れ検出に関係なく、各駆動部のＸ方向およびＹ方向の最大駆動範囲に渡って行われる。なおこの振れ補正の実行の開始および終了のタイミングは任意である。例えば、撮像装置１０の起動後から所定の時間が経過するまでなど所定の時間に行われてもよい。

カメラ制御部４０は、初期光軸中心位置メモリ部５２に記憶されているレンズ１１−ｉ−ａまたはｂの初期光軸中心位置を読み出す。またカメラ制御部４０は、ＲＯＭ４１からモニタ部１８のアスペクト比（ｘ：ｙ）を読み込む。

そして、カメラ制御部４０は、２回分の振れ補正後の第ｉ画像データとレンズ１１−ｉ−ａまたはｂの初期光軸中心位置とモニタ部１８のアスペクト比とから、切り出し候補領域を決定する。

すなわち、カメラ制御部４０は、２回分の振れ補正後の第ｉ画像データの外縁部の辺同士の交点を求め、その交点を対角点とする矩形領域である共通領域Ｒｃ（ｉ）を第ｉ画像データごとに決定する。カメラ制御部４０は、共通領域Ｒｃ（ｉ）に含まれかつモニタ部１８のアスペクト比を有する最大の矩形領域を第ｉ画像データの切り出し候補領域に決定する。共通領域Ｒｃ（ｉ）は、異なる振れ補正に対応する異なる最大駆動範囲の共通部分であるため、いかなる振れ補正が行われても、必ず画像データの得られる不変な撮像領域となる。すなわち共通領域Ｒｃ（ｉ）では振れ補正に依存せず画像データが得られる。

ＳＴ４では、カメラ制御部４０ａまたは４０ｂは、初期光軸中心位置メモリ部５２に記憶されているレンズ１１−ｉ−ａまたはｂの初期光軸中心位置をそれぞれ読み出す。そして、カメラ制御部４０ａまたは４０ｂは、その初期光軸中心位置と、切り出し候補領域の外縁ＸＹ方向の各辺までの距離を算出し、その双方の距離から最短距離Ｌｉを算出する。

ＳＴ５では、カメラ制御部４０は、各切り出し候補領域から最短距離Ｌｉが得られたか否かを判断し、最短距離Ｌｉが得られていないと判断した場合はＳＴ３・４を繰り返す。カメラ制御部４０は、最短距離Ｌｉが得られたと判断した場合は、各最短距離Ｌｉの中から最小値Ｌｍｉｎを求める。

ＳＴ６では、カメラ制御部４０は、ＲＯＭ４１からモニタ部１８のアスペクト比（ｘ：ｙ）を読み込む。

ＳＴ７では、カメラ制御部４０は、最小値Ｌｍｉｎが、初期光軸中心位置からＸ方向に平行な横辺までの距離であるか、初期光軸中心位置からＹ方向に平行な縦辺までの距離であるかを判断する。横辺までの距離であればＳＴ８、縦辺までの距離であればＳＴ８．１に進む。

ＳＴ８では、カメラ制御部４０は、立体表示用の画像の切り出しサイズを演算する。すなわち、ｘ方向の切り出しサイズは２×Ｌｍｉｎ、ｙ方向の切り出しサイズは（ｙ／ｘ）×（２×Ｌｍｉｎ）とする。

ＳＴ８．１では、カメラ制御部４０は、立体表示用の画像の切り出しサイズを演算する。すなわち、ｘ方向の切り出しサイズは（ｘ／ｙ）×（２×Ｌｍｉｎ）、ｙ方向の切り出しサイズは２×Ｌｍｉｎとする。

ＳＴ９では、カメラ制御部４０は、初期光軸中心位置を中心としかつＳＴ８または８．１で算出したサイズの矩形領域を、切り出しサイズメモリ部５３に記憶する。

ＳＴ１０〜Ｓ１３では、まずカメラ制御部４０は、第１〜ｎ撮像部１１−１〜ｎに関して振れ補正を行う。ここでいう振れ補正とは、通常の振れ補正すなわち振動検出部により量と方向の検出された各撮像部３−１〜ｎの振れを打ち消すようにイメージセンサ１２−ｉや防振レンズをそれぞれ揺動させて振れを補正することをいう。カメラ制御部４０は、補正後に各撮像部３−１〜ｎから同期して出力された多視点の第１〜ｎ画像データをフレームメモリ４３に取り込む。

カメラ制御部４０は、切り出しサイズメモリ部５３に記憶された中心位置およびサイズを有する矩形領域を、それぞれ振れ補正後の第１〜ｎ画像データから切り出すことで、第１〜ｎ視点画像を得る。そして、立体画像処理回路４５は、第１〜ｎ視点画像に基づいて立体画像をモニタ部１８に出力する。ＳＴ１〜１０の処理は、撮像指示があるか撮影モードがキャンセルされるまで繰り返される。これによりモニタ部１８には逐次撮影された画像データに基づくスルー画像が継続的に表示される。

図７はｎ＝２の場合の各第ｉ画像データと第ｉ視点画像の一例を示す。Ｆｉ−１は実空間、Ｆｉ−２は振れのない場合の撮像画素領域、Ｆｉ−３−ｌが第ｌ（ｌ＝１，２）回の振れ補正後の撮像画素領域、Ｆｉ−４が初期光軸中心位置に基づいて切り出された第ｉ視点画像を示す。ＸＹ座標系は実空間Ｆｉ−１を基準に定められる。

例えば、第１回の振れ補正後の撮像画素領域Ｆ１−３−１と振れのない場合の撮像画素領域Ｆ１−２との間のＸ・Ｙ方向のずれ量（単位はピクセル）を（ｘ'Ｒ１，ｙ'Ｒ１）とする。また、第２回の振れ補正後の撮像画素領域Ｆ１−３−２と振れのない場合の撮像画素領域Ｆ１−２との間のＸ・Ｙ方向のずれ量（単位はピクセル）を（ｘ'Ｒ２，ｙ'Ｒ２）とする。また、振れのない場合の撮像画素領域Ｆ１−２の右下対角点のＸ座標をｘＲ０＿ｍａｘとし、Ｆ１−２の左上対角点のＹ座標をＹＲ０＿ｍａｘとする。また、Ｌｍｉｎ＝｜ｙ'Ｒ０｜とする。

以上を前提とすると、Ｆ１−３−１とＦ１−３−２の左下交点座標は（ｘ'Ｒ２，ｙ'Ｒ１）であり、右上交点座標が（ｘＲ０＿ｍａｘ−ｘ'Ｒ１，ｙＲ０＿ｍａｘ−ｙ'Ｒ２）である。共通領域Ｒｃ（１）はこの２つの交点を対角点として決定される。また、モニタ部１８の縦横比は３：４とする。Ｌｍｉｎ＝｜ｙ'Ｒ０｜であれば、第１・第２画像データのｘ方向の切り出しサイズは（８／３）×（２×Ｌｍｉｎ）、ｙ方向の切り出しサイズは２×Ｌｍｉｎとなる。

第１実施形態では、ＬｍｉｎはＳＴ１での個々の振れ補正の大きさの変化に依存するから、これに伴って第ｉ視点画像の切り出しサイズが振れ補正の度に変化し、モニタ部１８での立体画像の表示画素が変化する可能性がある。これに対し第２実施形態では、予め実施される振れ補正により決定されたＬｍｉｎに基づいて算出された切り出しサイズをサイズメモリ部５３に記憶し、その記憶された共通の中心位置およびサイズを有する第ｉ視点画像をモニタ部１８に出力するから、任意の第ｉ撮像部３でいかなる大きさの振れ補正を行っても、スルー画像の表示画素が変化することがない。

さらに、上記では、振れ補正を２回（またはそれ以上）実行するよう制御するとともに、その振れ補正の間に各撮像部３−ｉから同期して出力された多視点の第ｉ画像データをフレームメモリ４３に取り込んでいたが、これは、上下（Ｙ方向）および左右（Ｘ方向）に関する最大駆動範囲（最大の振れ補正量）を取得するために行われるにすぎない。

すなわち、既知の値として、各第ｉ撮像部３−１−ｉごとのＸ方向・Ｙ方向の最大駆動範囲が、ＲＯＭ４１、あるいはＲＯＭ４１のような書き換え不可能な記憶媒体でなく、ＥＥＰＲＯＭやフラッシュメモリのような書き換え可能な不揮発性記憶媒体に保存されていれば、その値に基づいて第ｉ撮像部３−１−ｉごとの共通領域Ｒｃ（ｉ）を決定し、かつ第ｉ撮像部３−１−ｉごとの切り出し候補領域を決定することができる。この場合は振れ補正を２回実行することは必須でなくなる。

あるいは、撮像装置１０の起動時など任意のタイミングおよび期間で２回かそれ以上の振れ補正を１度行っておき、その結果得られた各撮像部３−ｉの最大駆動範囲を、書き換え可能な不揮発性記憶媒体に記憶しておいてもよい。一旦それが記憶されれば、以後はその不揮発性記憶媒体内の各撮像部３−ｉの最大駆動範囲に従って第ｉ撮像部３−１−ｉごとの共通領域Ｒｃ（ｉ）を決定し、かつ第ｉ撮像部３−１−ｉごとの切り出し候補領域を決定することができる。

あるいは、既知の値として、各第ｉ撮像部３−１−ｉごとの共通領域Ｒｃ（ｉ）をＲＯＭ４１やＥＥＰＲＯＭなどに保存しておき、その値に基づいて第ｉ撮像部３−１−ｉごとの切り出し候補領域を決定してもよい。

＜第３実施形態＞
図８に例示するように、撮影時にセンサ１２の全有効画素領域ＲＡから最大サイズの画像Ｉを読み出すと、モニタ部１８などに撮影された画像を順次出力するための映像信号を生成するにはかなり高速な信号処理を行う必要が有り、また、回路規模も大きくなってしまう。そこで、通常のカメラでは、予めＲＯＭ４１などにデフォルトの切り取り範囲情報ＴＲを記憶しておき、撮影時は、デフォルトの切り取り範囲情報に従って有効画素領域ＲＡから処理に都合の良い切り取り領域Ｒｏｕｔを選んで読み出す制御を行う。

ここで、第２実施形態のように算出された第ｉ視点画像の切り出しサイズ・位置を、切り出しサイズメモリ部５３に記憶し、その記憶された共通の中心位置およびサイズを有する第ｉ視点画像をモニタ部１８に出力すると、第ｉ視点画像がデフォルトの切り取り範囲ＴＲに収まらない画像情報のない領域を含む場合が生じる。そこで、本実施形態では、第ｉ視点画像の中で画像情報がない部分を、デフォルトの切り取り範囲ＴＲよりも外の有効画素領域から取り込んで補完する。

図９Ａは本発明の第３実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図９Ｂは本発明の第３実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、補完対象領域算出部７０と領域補完部５５を備えている。

図１０は第３実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第３実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、撮影の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、切り出しサイズをユーザが設定するか否かの選択を操作部１７から受け付ける。切り出しサイズをユーザが設定する選択が受け付けられた場合はＳＴ３．１に進み、切り出しサイズをユーザが設定しない選択が受け付けられた場合はＳＴ３に進む。

ＳＴ３では、カメラ制御部４０は、第２実施形態のＳＴ９で切り出しサイズメモリ部５３に記憶された切り出しサイズを第ｉ視点画像の切り出しサイズに設定する。

ＳＴ３．１では、カメラ制御部４０は、初期光軸中心位置メモリ部５２に記憶されているレンズ１１−ｉ−ａまたはｂの初期光軸中心位置を切り出し領域の中心とした、第ｉ視点画像の所望の切り出しサイズを操作部１７から受け付ける。

ＳＴ４では、カメラ制御部４０は、レンズ１１−ｉ−ａまたはｂの初期光軸中心位置とＳＴ３またはＳＴ３．１で設定された切り出しサイズから、切り出し候補領域を決定し、その座標を切り出しサイズメモリ部５３に記憶する。

ＳＴ５〜ＳＴ７は、第２実施形態のＳＴ１０〜ＳＴ１２と同様である。すなわち、カメラ制御部４０は、切り出しサイズメモリ部５３に記憶された中心位置およびサイズを有する矩形領域を、それぞれ振れ補正後の第１〜ｎ画像データから切り出すことで、第１〜ｎ視点画像を得る。ただし、本実施形態では、第１〜ｎ視点画像の切り出し元は、第１〜ｎ画像データのうちデフォルトの切り取り範囲内に含まれるものである。すなわち、第１〜ｎ視点画像に対応する切り出し領域のうちデフォルトの切り取り範囲内に含まれない箇所では、画素情報の欠損が生じうる。このためカメラ制御部４０は、第ｉ画像データから第ｉ視点画像が切り出された後の残りの画像データである第ｉ残余データをフレームメモリ４３あるいはＲＡＭ４２に記憶する。

ＳＴ８では、カメラ制御部４０は、第１〜ｎ視点画像の各々について、画素情報がない領域である補完対象領域が存在するか否かを判断する。これは、補完対象領域算出部７０が各第ｉ視点画像から色情報の無い領域を抽出したか否かで判断されうる。ある第ｉ視点画像について補完対象領域が存在する場合はＳＴ９に進み、ない場合はＳＴ９に進まずＳＴ１０に進む。図１１ＡのＢＬ−１・２は、それぞれ第１・２視点画像の補完対象領域の一例を示す。

ＳＴ９では、カメラ制御部４０は、第ｉ残余データから補完対象領域に相当する画像領域を切り出し、切り出した画像領域を各第ｉ視点画像の補完対象領域に重畳することで、画素情報がない領域を補完するよう領域補完部５５を制御する。図１１ＢのＩ−１・２は、それぞれ補完対象領域に第１・２残余データの合成された第１・２視点画像の一例を示す。

ＳＴ１０では、立体画像処理回路４５は、カメラ制御部４０は、画素情報がない領域の補完された第ｉ視点画像に基づいて継続的にスルー画像をモニタ部１８に出力する。

以上の処理によると、手振れ補正量が大きいため、あるいは手振れ補正量に合った切り出しサイズが選択されなかったため、視点画像に画素情報のない領域が発生したり、としても、従来では画像処理の途中で切り捨てられていた領域の画素情報により当該領域が補完される。従って、大幅な手振れ補正による切り出し範囲のシフトにも対応できるような切り出し範囲の余剰（マージン）を確保でき、立体画像の表示解像度も向上する。しかも、手振れ補正前後での画像の光軸中心は変化せず、手振れ補正がないときと同じ品質で立体画像を出力できる。

＜第４実施形態＞
図１２Ａは本発明の第４実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図１２Ｂは本発明の第４実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、補完対象領域算出部７０と塗りつぶし部５６を備えている。

図１３は第４実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第４実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、撮影の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、切り出しサイズと画素情報がない部分の塗りつぶし色をユーザが設定するか否かの選択を操作部１７から受け付ける。当該設定をユーザが行う選択が受け付けられた場合はＳＴ３．１に進み、当該設定をユーザが行わない選択が受け付けられた場合はＳＴ３に進む。

ＳＴ３では、カメラ制御部４０は、予めＲＯＭ４１に記憶されたデフォルト塗りつぶし色を、第ｉ視点画像の塗りつぶし色に設定する。

ＳＴ３．１では、カメラ制御部４０は、補完対象領域の塗りつぶし色の選択を操作部１７から受け付ける。色見本のカラーパレットをモニタ部１８に表示して、その中から所望の色を指定させてもよい。

ＳＴ４〜ＳＴ８は第３実施形態のＳＴ４〜ＳＴ８と同様である。

ＳＴ９では、カメラ制御部４０は、ＳＴ３またはＳＴ３．１で設定された塗りつぶし色を、各第ｉ視点画像の補完対象領域に重畳することで、画素情報がない領域を補完するよう塗りつぶし部５６を制御する。

Ｓ１０では、カメラ制御部４０は、塗りつぶし色の重畳された各第ｉ視点画像に基づいてスルー画像を継続的にモニタ部１８に出力するよう立体画像処理回路４５５を制御する。

図１４の（ａ）部分は各第１・２視点画像の補完対象領域ＢＬ−１・２、図１４の（ｂ）部分は補完対象領域ＢＬ−１・２がデフォルト色あるいは選択された色Ｃ１で塗りつぶされた例、図１４の（ｃ）部分は補完対象領域ＢＬ−１・２が色Ｃ２で塗りつぶされた例を示す。

以上の処理によると、視点画像に画素情報のない領域が発生したとしても、画素情報がない領域がデフォルトの色またはユーザの選択した任意の色で塗りつぶされる。従って、大幅な手振れ補正による切り出し範囲のシフトにも対応できるような切り出し範囲の余剰（マージン）を確保でき、立体画像の表示解像度も向上する。また、手振れ補正前後での画像の光軸中心は変化せず、手振れ補正がないときと同じ品質で立体画像を出力できる。しかも、塗りつぶし領域がモニタ部１８に表示されることで、手振れ補正が限界まで行われたことがユーザにより認識できる。

＜第５実施形態＞
上記第１〜４実施形態で切り出された第ｉ視点画像の光軸中心位置、特にＹ軸方向の光軸中心位置はそろっているため、当該第ｉ視点画像Ｙ軸方向の光軸中心位置同士が揃うように第ｉ視点画像をつなぎ合わせると、容易に横長のパノラマ画像を作成することができる。

図１５Ａは本発明の第５実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図１５Ｂは本発明の第５実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、パノラマ合成演算部５７を備えている。

図１６は第５実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第５実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、切り出された第ｉ視点画像からパノラマ画像を作成するか否かの選択を操作部１７から受け付ける。切り出された第ｉ視点画像からパノラマ画像を作成する選択を受け付けた場合はＳＴ３、切り出されていない第ｉ画像データからパノラマ画像を作成しない選択を受け付けた場合はＳＴ３．１に進む。

ＳＴ３および４では、カメラ制御部４０は、第２〜４実施形態と同様に切り出しサイズを決定してこれを切り出しサイズメモリ部５３に記憶する。

ＳＴ３．１では、カメラ制御部４０は、第２実施形態のＳＴ１０〜ＳＴ１１あるいは第３・４実施形態のＳＴ５・６と同様に、手振れ補正を行った上、手振れ補正後の第ｉ撮像部３ａの第ｉ画像データをフレームメモリ４３に出力する。

ＳＴ５〜ＳＴ７は、第２実施形態のＳＴ１２あるいは第３実施形態あるいは第４実施形態のＳＴ５〜ＳＴ７と同様にして第ｉ画像データから第ｉ視点画像を切り出す。

図１７の（ａ）部分は第１・２画像データの一例、図１７の（ｂ）部分は第１・２画像データから切り出された第１・２視点画像の一例を示す。

ＳＴ８では、カメラ制御部４０は、切り出された第ｉ視点画像からパノラマ画像を作成する選択をＳＴ２で受け付けた場合、ＳＴ７で切り出された第ｉ視点画像のＹ軸方向の光軸中心位置同士が揃うように第ｉ視点画像をつなぎ合わせることでパノラマ画像を合成するようパノラマ合成演算部５７を制御する。一方、カメラ制御部４０は、切り出されていない第ｉ画像データからパノラマ画像を作成する選択をＳＴ２で受け付けた場合、ＳＴ３．１で取得された第ｉ画像データの被写体同士が揃うように第ｉ視点画像をつなぎ合わせることでパノラマ画像を合成するようパノラマ合成演算部５７を制御する。パノラマ合成演算部５７は合成されたパノラマ画像をモニタ部１８に出力する。なお、第ｉ画像データが逐次かつ継続的に取得される場合、パノラマ画像も継続的にモニタ部１８に出力される（スルーパノラマ画像）。

図１７の（ｃ）部分は第１・２視点画像から合成されたパノラマ画像の一例を示す。

なお、図２と異なり、レンズ１１-ｉが縦に並んでいる場合、上記第１〜４実施形態で切り出された第ｉ視点画像のＸ軸方向の光軸中心位置もそろっているから、当該第ｉ視点画像Ｘ軸方向の光軸中心位置同士が揃うように第ｉ視点画像をつなぎ合わせると、容易に縦長のパノラマ画像を作成することもできる。

ＳＴ９では、カメラ制御部４０は、順次取得される第ｉ視点画像に基づいてパノラマ合成演算部５７の合成したパノラマ画像をモニタ部１８に継続的に出力する。

以上の処理により、手振れ補正後の画像同士の光軸中心が揃うようパノラマ画像が作成されるから、手振れ補正後の第ｉ視点画像からのパノラマ画像の合成の精度を、手振れ補正していない（すなわち元々光軸中心のずれがない）第ｉ画像データからのパノラマ画像の合成の精度と同等にできる。また、光軸中心を揃えるだけでパノラマ画像が作成されるので、計算量が少なくて済む。

＜第６実施形態＞
図１８Ａは本発明の第６実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図１８Ｂは本発明の第６実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、ステレオマッチング演算部５８を備えている。ステレオマッチング演算部５８の実施するステレオマッチングは特許文献４・５と同様である。すなわち、ステレオマッチング演算部５８は、参照画像（例えば第２視点画像や第２画像データ）上において基準画像（例えば第１視点画像や第１画像データ）に設定したものと同一の相関ウィンドウをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、画素の対応点として求める。

図１９は第６実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第６実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、ステレオマッチングの開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、切り出された第ｉ視点画像からステレオマッチングを実施するか否かの選択を操作部１７から受け付ける。切り出された第ｉ視点画像からステレオマッチングを実施する選択を受け付けた場合はＳＴ３、切り出されていない第ｉ画像データからステレオマッチングを実施する選択を受け付けた場合はＳＴ３．１に進む。

ＳＴ３〜ＳＴ７は、それぞれ第５実施形態のＳＴ３〜ＳＴ７と同様である。

ＳＴ８では、カメラ制御部４０は、切り出された第ｉ視点画像からステレオマッチングを実施するようステレオマッチング演算部５８を制御する。この制御に応じ、まずステレオマッチング演算部５８は、基準画像である第ｉｂａｓｅ（ｉｂａｓｅは１〜ｎのうちの任意に固定されたもの）視点画像および参照画像である第ｉｒｅｆ（ｉｒｅｆは１〜ｎの整数で、ｉｒｅｆ≠ｉｂａｓｅ）視点画像の各々の光軸中心座標を水平に通る線をエピポーラ線に設定する。次に、ステレオマッチング演算部５８は、第ｉｒｅｆ視点画像上において第ｉｂａｓｅ視点画像に設定したものと同一の相関ウィンドウを、上記設定されたエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、画素の対応点として求める。

ＳＴ８．１では、カメラ制御部４０は、第ｉ画像データからステレオマッチングを実施するようステレオマッチング演算部５８を制御する。手振れによる第ｉ視点画像間の光軸位置のずれが補正されないので、このステレオマッチングのためのエピポーラ線は光軸に沿って設定されるとは限らない。

ＳＴ９では、カメラ制御部４０は、ステレオマッチングの結果定まった、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の３次元形状を表す距離画像を生成するよう立体画像処理回路４５５を制御する。立体画像処理回路４５５は、生成した距離画像をモニタ部１８に出力する。

図２０は基準画像が第２視点画像（左画像）、参照画像が第１視点画像（右画像）の場合のステレオマッチングの演算を模式的に示している。このうち、図２０の（ａ）部分は実空間の被写体、カメラ、光軸、画像の関係、図２０の（ｂ）部分は切り出し前の第１・２画像データ、図２０の（ｃ）部分は切り出し後の第１・２視点画像、図２０の（ｄ）部分は第１・２視点画像の光軸中心座標を水平に通るエピポーラ線Ｌ、図２０の（ｅ）部分は当該エピポーラ線Ｌに沿って相関ウィンドウを移動し対応点を求める様子を模式的に示している。

本処理によると、光軸を中心に切り出した視点画像をステレオマッチングの演算対象にする。つまり、各切り出し画像の光軸を水平に通るエピポーラ線に沿ってステレオマッチングを行うため、切り出し前の第ｉ画像データを対象にステレオマッチングする場合に比べて、ステレオマッチングの演算精度が向上し、演算量も削減する。さらに、手振れ補正前後でステレオマッチングの演算精度を同等に確保できる。

＜第７実施形態＞
図２１Ａは本発明の第７実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図２１Ｂは本発明の第７実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、関連付け処理部５９を備えている。関連付け処理部５９は、手振れ補正後の画像データと各種関連情報（視点画像の最小切り出しサイズ、視点画像の切り出し位置座標、初期光軸中心位置、補正後位置など）とを関連付けて所定の記録媒体２０に保存する。

図２２は第７実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第７実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、撮影動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２〜６は第６実施形態（図１９）のＳＴ３〜７と同様である。ただし、ＳＴ２〜６の処理は撮影動作の開始が指示されたことに応じて実施される点が第６実施形態と異なる。

ＳＴ７は第１実施形態（図３）のＳＴ１０と同様である。ただし、表示される立体画像は、撮影動作の開始が指示されたことに応じて取得された第ｉ視点画像に由来する立体画像である。

ＳＴ８は、カメラ制御部４０は、画像と各種情報とを関連付けて保存するか否かの選択を操作部１７から受け付けたか否かを判断する。画像と各種関連情報とを関連付けて保存する選択が受け付けられた場合はＳＴ９、画像と各種関連情報とを関連付けて保存しない選択が受け付けられた場合はＳＴ１４に進む。

ＳＴ９では、カメラ制御部４０は、ＳＴ３で保存された切り出しサイズが、フラッシュメモリなどの記録媒体２０に過去に保存された最小切り出しサイズよりも小さいか否かを判断する。Ｙｅｓの場合はＳＴ１０、Ｎｏの場合はＳＴ１１に進む。なお、記録媒体２０に最小切り出しサイズが保存されていない場合はＹｅｓとみなしてＳＴ１０に進む。

ＳＴ１０では、カメラ制御部４０は、ＳＴ３で保存された切り出しサイズを最小切り出しサイズとして記録媒体２０に保存する。

ＳＴ１１では、カメラ制御部４０は、各種関連情報を含む保存情報をＲＡＭ４２に保存するよう関連付け処理部５９を制御する。なお、最小切り出しサイズだけでなく、ＳＴ２で指定された各第ｉ視点画像の切り出しサイズも合わせて保存してもよい。

ＳＴ１２では、カメラ制御部４０は、撮影を終了するか否かの選択を操作部１７から受け付けたか否かを判断する。撮影を終了する選択が受け付けられた場合はＳＴ１３、撮影を終了する選択が受け付けられない場合はＳＴ４に戻る。

ＳＴ１３では、カメラ制御部４０は、撮影開始の指示から撮影終了までの指示の間に継続的かつ定期的に取得された第１〜ｎ画像データのコマで構成される画像群（再生時は動画として扱われても連写静止画として扱われてもよい）と、ＲＡＭ４２の保存情報とを関連づけて所定の記録媒体２０に保存する。なお、ここで保存される画像群は、再生時は動画として扱われても連写静止画として扱われてもよい。コマが１つの場合は静止画が保存される。

ＳＴ１４では、カメラ制御部４０は、撮影開始の指示から撮影終了までの指示の間に継続的かつ定期的に取得された第１〜ｎ画像データで構成される画像群をＲＡＭ４２に記憶する。

ＳＴ１５では、ＳＴ１２と同様の判断を行い、ＹｅｓであればＳＴ１６に進み、ＮｏであればＳＴ４に戻る。

ＳＴ１６では、ＲＡＭ４２の画像群を記録媒体２０に記録する。その保存方式は任意である。

図２３Ａ及び図２３Ｂは画像と各種情報との関連付けの方法の一例を示す。このうち図２３Ａは動画のヘッダに各種情報を書き込む態様、図２３Ｂは動画の格納フォルダ内に各種情報を保存したファイルを一緒に格納する態様を示す。

図２３Ａのように、同一の取得時点の第ｉ画像データの組（コマ）が１つの画像として連結されている場合は、その連結された１つの画像のファイルの付帯情報（ヘッダ、タグなど）に、各コマの第ｉ画像データに固有の関連情報（切り出し位置座標・光軸中心位置座標）を記録する。また、同一の取得時点のコマを構成する第ｉ画像データをそれぞれ個別に記録する場合は、それらの各撮影時間に対応する第ｉ画像データのセットを全て包含する記録単位（ファイルやフォルダなど）の付帯情報に、各撮影時間に対応する全ての第ｉ画像データについて最小の切り出しサイズ情報を保存する。

図２３Ｂのように、同一の取得時間に対応する第ｉ画像データの組（コマ）が１つのフォルダに一括して格納されている場合は、その画像格納フォルダに、各画像に固有の関連情報と、各撮影時間に対応する全ての第ｉ画像データについて最小の切り出しサイズ情報を記録した関連情報ファイル、例えばテキストファイルを保存する。あるいは、別のフォルダに関連情報ファイルを保存することもできるが、画像格納フォルダとの関連性を示す情報を関連情報ファイルに保存しておく必要がある。あるいは、コマを構成する第ｉ画像データを個別に格納するフォルダのそれぞれに、関連情報ファイルを保存してもよい。画像と各種情報との関連づけの具体的方法は図示のものに限られない。

いずれにせよ、各コマには、そのコマの取得時間ないしはその代替情報（コマの取得時系列順序すなわちコマ番号など）に対応づけられている。

以上の処理により、切り出し前の第ｉ画像データが、視点画像の最小切り出しサイズ、視点画像の切り出し位置座標、光軸中心位置などを含む関連情報に関連付けられて記録媒体２０に保存されるため、パソコンなどの情報処理装置でその記録媒体２０から関連情報と第ｉ画像データを読み出し、それらに基づいて立体画像の出力、三次元測距、パノラマ画像の出力、あるいは平面画像の出力などを行える。

＜第８実施形態＞
図２４Ａは本発明の第８実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図２４Ｂは本発明の第８実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、画像関連付け処理部６０を備えている。画像関連付け処理部６０は、手振れ補正後の第ｉ画像データ同士を関連付けて所定の記録媒体２０（ハードディスクやメモリカードなど）に保存する。

図２５は第８実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第８実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１〜７は第７実施形態（図２２）のＳＴ１〜７と同様である。

ＳＴ８では、カメラ制御部４０は、同一の取得時間に対応する第ｉ画像データ同士を関連付けて保存するか否かの選択を操作部１７から受け付ける。上記保存をする選択が受け付けられた場合はＳＴ９、上記保存をする選択が受け付けられない場合はＳＴ１４に進む。

ＳＴ９では、カメラ制御部４０は、同一の撮影時点のコマを構成する第ｉ視点画像同士の関連性、および、各コマの撮影時系列順を示す画像関連情報をコマと対応づけてメモリに保存するよう画像関連付け処理部６０を制御する。

ＳＴ１０では、第７実施形態のＳＴ１２と同様の判断を行い、ＹｅｓであればＳＴ１１、ＮｏであればＳＴ１２に進む。

ＳＴ１２〜ＳＴ１４は第７実施形態のＳＴ１４〜ＳＴ１６と同様である。

図２６Ａ及び図２６Ｂは画像群と各種情報との関連付けの方法の一例を示す。このうち図２６Ａはコマのヘッダに画像関連情報を書き込む態様、図２６Ｂは画像群の格納フォルダと一緒にあるいは別のフォルダに画像関連情報を保存したファイルを一緒に格納する態様を示す。

図２６Ａのように、同一の取得時点の第ｉ画像データが１つの画像として連結されている場合は、その連結された１つの画像のファイルの付帯情報（ヘッダ、タグなど）に、画像関連情報（ファイル内の各画像の視点を示す情報やコマ番号など）を記録する。また、同一の取得時点のコマを構成する第ｉ画像データをそれぞれ個別に記録する場合は、同一の取得時間に対応する第ｉ画像データの組を示す情報と、その組を全て包含する記録単位（ファイルやフォルダなど）の付帯情報に、各取得時間に対応する全ての第ｉ画像データについて画像関連情報を保存する。

図２６Ｂのように、同一の取得時間に対応する第ｉ画像データの組（コマ）が１つのフォルダに一括して格納されている場合は、その画像格納フォルダに、画像関連情報ファイル、例えばテキストファイルを保存する。あるいは、別のフォルダに関連情報ファイルを保存することもできるが、画像格納フォルダとの関連性を示す情報を関連情報ファイルに保存しておくことが望ましい。あるいは、コマを構成する第ｉ視点画像を個別に格納するフォルダのそれぞれに、画像関連情報ファイルを保存してもよい。画像同士、あるいは画像と画像関連情報との関連づけの具体的方法は図示のものに限られない。

いずれにせよ、各コマには、そのコマの取得時間ないしはその代替情報（コマの取得時系列順序すなわちコマ番号など）に対応づけられている。

以上の処理により、各コマを構成する同一の取得時点の第ｉ視点画像の視点位置を示す画像関連情報がコマや各第ｉ視点画像に関連付けられて保存されるため、視点位置の混乱が生じることなく、保存された第ｉ画像に基づいて立体画像やパノラマ画像を再生したり３次元測距することが容易にできる。

＜第９実施形態＞
図２７は第９実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第９実施形態に係るプログラムはＲＯＭ４１に記憶されている。この処理は図２１の撮像装置１０ａまたは１０ｂによって実行することができる。

ＳＴ１〜ＳＴ７は第７実施形態（図２２）と同様である。

ＳＴ８では、カメラ制御部４０は、第ｉ画像データ内で画素情報がない無画素領域を特定する無画素領域情報と、第ｉ画像データとを関連付けて保存するか否かの選択を操作部１７から受け付ける。上記保存をする選択が受け付けられた場合はＳＴ９、上記保存をする選択が受け付けられない場合はＳＴ１３に進む。例えば、無画素領域が多角形の場合は、無画素領域情報は、当該多角形の頂点の番号、座標と、そのような領域の画素数が最低となる撮像部３の番号（枝番）とを含む。

ＳＴ９では、カメラ制御部４０は、撮像部３ごとに画素情報がない無画素領域の総画素数を演算する。無画素領域の例は図１１の補完対象領域ＢＬ−１・ＢＬ−２と同様である。

ＳＴ１０では、カメラ制御部４０は、第ｉ画像データとその無画素領域情報とを関連付けて記録媒体２０に保存するよう関連付け処理部５９を制御する。

ＳＴ１１〜ＳＴ１２、ＳＴ１３〜ＳＴ１５は、それぞれ第７実施形態のＳＴ１２〜ＳＴ１３、ＳＴ１４〜ＳＴ１６と同様である。

図２８Ａ及び図２８Ｂは画像と各種情報との関連付けの方法の一例を示す。このうち図２８Ａはコマのヘッダに無画素領域情報を書き込む態様、図２８Ｂは動画の格納フォルダと一緒にあるいは別のフォルダに無画素領域情報を保存したファイルを一緒に格納する態様を示す。

図２８Ａのように、同一の取得時点の第ｉ視点画像が１つの画像として連結されている場合は、その連結された１つの画像のファイルの付帯情報（ヘッダ、タグなど）に、無画素領域情報を記録する。また、同一の取得時点のコマを構成する第ｉ視点画像をそれぞれ個別のファイルに記録する場合は、同一の取得時間に対応する第ｉ視点画像のセットを全て包含する記録単位（ファイルやフォルダなど）の付帯情報に、各取得時間に対応する全ての第ｉ視点画像について無画素領域情報を保存する。

図２８Ｂのように、同一の取得時間に対応する第ｉ画像データの組（コマ）が１つのフォルダに一括して格納されている場合は、その画像格納フォルダに、無画素領域情報ファイル、例えばテキストファイルを保存する。あるいは、別のフォルダに無画素領域情報ファイルを保存することもできるが、画像格納フォルダとの関連性を示す情報を関連情報ファイルに保存しておくことが望ましい。あるいは、コマを構成する第ｉ画像データを個別に格納するフォルダのそれぞれに、無画素領域情報ファイルを保存してもよい。第ｉ画像データと画像関連情報との関連づけの具体的方法は図示のものに限られない。

カメラ制御部４０は、上記処理によって記録媒体２０に保存された無画素領域情報と第ｉ画像データと関連情報に基づいて、当該領域を所定の色で塗りつぶして立体画像やパノラマ画像を表示することができる。あるいは、カメラ制御部４０は、上記処理によって記録媒体２０に保存された無画素領域情報に基づいて当該領域の面積が最小の第ｉ画像データを選択し、選択された第ｉ画像データを最も品質の良い平面画像として表示することができる。

＜第１０実施形態＞
図２９Ａは本発明の第１０実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図２９Ｂは本発明の第８実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどの演算装置で構成された、視差補正部６１を備えている。

図３０は第１０実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１０実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、操作部１７から視差調整の開始が指示されたことに応じ、ＳＴ２に進む。例えば、図３１に示すように、操作部１７として「視差補正ボタン」を設け、そのボタンが押下されたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に記録された第ｉ画像データ（上記で説明済みの実施形態により保存されたものを含む）を使用し、視差補正と連動して画像切り出し位置を変更するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１０に進み、当該指示を受け付けない場合はＳＴ３に進む。

ＳＴ３〜ＳＴ７は、第９実施形態（図２７）のＳＴ２〜ＳＴ６と同様である。

ＳＴ８では、ＳＴ７で切り出した第ｉ視点画像間の視差量がＲＯＭ４１に記憶された所定の視差量になるよう、第ｉ視点画像からの視差補正後の第ｉ視点画像の切り出し位置を決定する。カメラ制御部４０は、決定された第ｉ画像データの切り出し位置から第ｉ視点画像を切り出す（図３２Ａ参照）。

ＳＴ９では、カメラ制御部４０は、この切り出された第ｉ視点画像をモニタ部１８に出力する。これにより、所定の視差量に調整された立体画像がモニタ部１８に表示される。ただし、立体画像のサイズは、視差調整の結果減少することがある（図３２Ｂ参照）。

ＳＴ１０では、カメラ制御部４０は、操作部１７から、全フレーム中の最小切り出しサイズで表示するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１１に進み、当該指示を受け付けない場合はＳＴ１２に進む。

ＳＴ１１では、カメラ制御部４０は、記録媒体２０の画像ファイルの付帯情報などから、光軸中心座標と最小切り出しサイズ（第７実施形態のＳＴ１０で保存されたものを含む）を読み出す。

ＳＴ１２では、カメラ制御部４０は、記録媒体２０の画像ファイルの付帯情報などから、光軸中心座標と切り出しサイズ（第１実施形態のＳＴ８または８．１で算出されたもの）を読み出す。

ＳＴ１３では、カメラ制御部４０は、ＳＴ１１またはＳＴ１２で読み出した光軸中心座標と切り出しサイズを切り出しサイズメモリ部５３に保存する。

ＳＴ１４では、カメラ制御部４０は、切り出しサイズメモリ部５３に保存された中心位置およびサイズを有する矩形領域を、それぞれ振れ補正後の第１〜ｎ画像データから切り出すことで、第１〜ｎ視点画像を得る。

ＳＴ１５では、カメラ制御部４０は、この切り出された第ｉ視点画像をモニタ部１８に出力する（図３２Ｃ参照）。第７実施形態のＳＴ１０で保存された最小切り出しサイズで切り出すと、第ｉ視点画像は最小サイズで表示され、手振れ補正が動作しても画角が変化することが防げる。例えば、静止画をムービー撮影しているとき、手振れ補正量は常に変化し、画角がデジタルズームを繰り返しているように変化してしまうが、常に最小サイズで表示していればこのように画角が変化することがない。

ＳＴ１６では、カメラ制御部４０は、視差補正を実行するよう視差補正部６１を制御する。視差補正部６１は、カメラ制御部４０から視差補正の開始が指示されたことに応じ、ＳＴ１３でＲＡＭ４２に保持された第ｉ視点画像のｘ・ｙ方向の切り出しサイズを保ったまま、第ｉ視点画像間の視差がＲＯＭ４１に記憶された所定の視差量になるよう、第ｉ画像データからの第ｉ視点画像の切り出し位置を決定する。

カメラ制御部４０は、決定された第ｉ画像データの切り出し位置から視差調整後の第ｉ視点画像を切り出す（図３２Ｄ参照）。そして、カメラ制御部４０は、この切り出された視差調整後の第ｉ視点画像をモニタ部１８に出力する。これにより、画像のサイズが保たれたまま所定の視差量に調整された立体画像がモニタ部１８に表示される。

通常は図３２Ｂのように立体画像の視差補正を行うことで立体視範囲が狭くなるが、本処理では、図３２Ｄのように各第ｉ視点画像の切り出し範囲を視差補正と連動させることで、立体視範囲が狭くなることを防ぐことができる。

＜第１１実施形態＞
図３３Ａは本発明の第１１実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図３３Ｂは本発明の第１１実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ユーザインターフェースで構成された、３Ｄ・２Ｄ切り替え画像選択部６２を備えている。

図３４は第１１実施形態に係る撮像装置１０ａまたは１０ｂの実行する処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１１実施形態に係るプログラムはＲＯＭ４１に記憶されている。この処理は図２１の撮像装置１０ａまたは１０ｂによって実行することができる。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に記録された第ｉ画像データ（上記で説明済みの実施形態により保存されたものを含む）を使用し、立体画像（３Ｄ画像）と平面画像（２Ｄ画像）を表示するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１５に進み、当該指示を受け付けない場合はＳＴ３に進む。図３５Ａは３Ｄ画像の表示、図３５Ｂは２Ｄ画像の表示を模式的に示している。

ＳＴ３〜ＳＴ８は第１０実施形態（図３０）と同様である。

ＳＴ９では、カメラ制御部４０は、３Ｄ・２Ｄ切り替え画像選択部６２から２Ｄ表示が指示されたか否かを判断する。ＹＥＳの場合はＳＴ１０に進み、ＮＯの場合はＳＴ５に戻る。

ＳＴ１０では、カメラ制御部４０は、ＳＴ５〜ＳＴ７の結果、第ｉ撮像部３から得られる画像のうちＲＯＭ４１に保存された所望の番号ｐに対応した第ｐ撮像部３、例えば第１撮像部３からの画像データについて、手振れ補正を実施する。

ＳＴ１１では、カメラ制御部４０は、ＳＴ１０で手振れ補正した後の画像データを取得する。

ＳＴ１２では、カメラ制御部４０は、取得した画像データから、ＳＴ４で保存された光軸中心と切り出しサイズで決まる領域である２Ｄ画像を切り出す。

ＳＴ１３では、カメラ制御部４０は、ＳＴ１２で切り出された２Ｄ画像をモニタ部１８に出力する。図３６Ａはｎ＝２の場合の３Ｄ画像を構成する第１視点画像Ｉ−１・第２視点画像Ｉ−２、図３６Ｂはｐ＝１の場合の２Ｄ画像Ｉ−１の表示例を示す。

なお、その後ＳＴ９に戻り、第ｉ撮像部３から取得された別の画像に基づいて３Ｄ／２Ｄ画像の表示を行うこともできる。

ＳＴ１４〜ＳＴ１９は第１０実施形態（図３０）のＳＴ１０〜１５と同様である。

ＳＴ２０ではＳＴ９と同様の判断を行う。ＹＥＳであればＳＴ２１に進み、ＮＯであればＳＴ１９に戻る。

ＳＴ２１〜２２はＳＴ１２〜１３と同様である。なお、その後ＳＴ２０に戻り、別の記録画像に基づいて３Ｄ／２Ｄ画像の表示を行うこともできる。

手振れ補正後の第ｐ画像データをそのまま２Ｄ画像として表示すると、３Ｄ画像から２Ｄ画像への切り替えの際に画角の変化が生じていたが、本処理では、手振れ補正後の第ｐ画像データから初期光軸位置を中心に切り出された第ｐ視点画像が２Ｄ画像として表示される。つまり、手振れ補正によって３Ｄ画像と２Ｄ画像との間で光軸がずれることを防止するので、手振れ補正後の３Ｄ画像から２Ｄ画像への切り替えの際の画角の変化が少なく、見やすさが向上する。

＜第１２実施形態＞
図３７Ａは本発明の第１２実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図３７Ｂは本発明の第１２実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ・ｂは、ＣＰＵなどで構成された、表示枠と切り出し枠連動演算部６３を備えている。

図３８は第１２実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１２実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に記録された第ｉ画像データ（上記で説明済みの実施形態により保存されたものを含む）を使用し、立体画像を表示するとともに、その立体画像のうち表示枠で指定された一部を切り出して拡大表示するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１８に進み、当該指示を受け付けない場合はＳＴ３に進む。

ＳＴ３〜ＳＴ８は第１１実施形態（図３４）と同様である。

ＳＴ９では、カメラ制御部４０は、操作部１７に設けられた拡大表示ボタンから、３Ｄ画像の一部領域の拡大表示を開始する指示を受け付ける。当該指示を受け付けた場合はＳＴ１０に進み、当該指示を受け付けない場合はＳＴ５に戻る。

ＳＴ１０では、カメラ制御部４０は、操作部１７に設けられた切り出し枠指定ボタンを介して、３Ｄ画像のうち拡大表示すべき領域である拡大領域の指定を受け付ける。カメラ制御部４０は、指定された拡大領域が３Ｄ画像の外縁すなわち第ｉ画像データからの第ｉ視点画像の切り出し領域の境界に達しているか否かを判断する。ＹＥＳの場合はＳＴ１１に進み、ＮＯの場合は拡大領域の指定とこの判断を繰り返す。

ＳＴ１１では、カメラ制御部４０は、指定された拡大領域の位置に基づいて、第ｐ画像データからの拡大領域の切り出し位置を演算するよう表示枠と切り出し枠連動演算部６３を制御する。

ＳＴ１２では、カメラ制御部４０は、ＳＴ５〜７の結果、第ｉ撮像部３の中の所望の１つの第ｐ撮像部３から得られた第ｐ視点画像、例えば第ｎ撮像部３からの第ｎ視点画像について、手振れ補正を実施する。

ＳＴ１３では、カメラ制御部４０は、ＳＴ１２で手振れ補正した後の画像データを取得する。

ＳＴ１４では、カメラ制御部４０は、取得した画像データから、ＳＴ１１で決定された拡大領域を切り出す。

ＳＴ１５では、カメラ制御部４０は、ＳＴ１４で切り出された拡大領域をモニタ部１８の所定位置に出力する。

ＳＴ１６では、ＳＴ９と同様の判断を行う。ＹＥＳの場合はＳＴ５に戻り、ＮＯの場合はＳＴ１０に戻る。

ＳＴ１７〜ＳＴ２２は第１１実施形態のＳＴ１４〜ＳＴ１９と同様である。

ＳＴ２３〜ＳＴ２８はＳＴ９〜ＳＴ１６と同様である。ただし、ここで拡大領域の切り出し元となる画像は、記録媒体２０から再生された第ｐ視点画像である。

図３９Ａ乃至３９Ｃは任意に指定された拡大領域の切り出し位置Ｚａ〜Ｚｃの例、図４０Ａ乃至４０Ｃはそれぞれ図３９Ａ乃至３９Ｃはに対応する拡大領域の表示例を示す。Ｉｐは第ｐ画像データを示している。

以上の処理により、手振れ補正後の視点画像の中の任意の一部領域を拡大表示できる。拡大領域の指定位置が視点画像をはみだした場合でも、拡大領域に相当する画像が第ｐ画像データから切り出されるため、拡大領域に画像の欠損が生じない。

＜第１３実施形態＞
図４１Ａは本発明の第１３実施形態に係る撮像素子シフト式手振れ補正制御部を備えた撮像装置１０ａの概略ブロック図を示し、図４１Ｂは本発明の第１３実施形態に係る光学式手振れ補正制御部を備えた撮像装置１０ｂの概略ブロック図を示す。両図の撮像装置１０ａ／１０ｂ間、あるいは説明済みの実施形態で同様の機能のブロックには枝番を除いて同一の番号を付している。

撮像装置１０ａ／１０ｂは、ＣＰＵなどで構成された、画素数カウント・比較部６４を備えている。画素数カウント・比較部６４は補完対象領域算出部７０と共通化されてもよい。

図４２は第１３実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１３実施形態に係るプログラムはＲＯＭ４１に記憶されている。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に記録された第ｉ視点画像に画素情報のない無画素領域（あるいは補完対象領域）が含まれる場合、その第ｉ画像視点画像の表示優先度を下げるか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１１に進み、当該指示を受け付けない場合はＳＴ３に進む。

ＳＴ３〜７は第１２実施形態（図３８）と同様である。

ＳＴ８では、カメラ制御部４０は、Ｓ６で取得された第１〜ｎ視点画像の各々について、画素情報がない領域である無画素領域とその画素数を算出するよう、画素数カウント・比較部６４を制御する。またカメラ制御部４０は、第１〜ｎ視点画像のうち、補完対象領域の画素数が最小の視点画像である第ｍ１視点画像を選択するよう画素数カウント・比較部６４を制御する。

ＳＴ９では、カメラ制御部４０は、ＳＴ８で選択された第ｍ１視点画像を２Ｄ画像としてモニタ部１８に出力する。

ＳＴ１０〜１２は第１２実施形態と同様である。ただし、ＳＴ１２では、第９実施形態で説明した無画素領域（あるいは補完対象領域）が記録媒体２０に保存されていれば、それも読み込まれる。

ＳＴ１３では、カメラ制御部４０は、Ｓ１０またはＳ１２で記録媒体２０から読み込んだ各種情報の中に、無画素領域情報が含まれているか否かを判断する。ＹＥＳの場合はＳＴ１４に進み、ＮＯの場合はＳＴ１５に進む。

ＳＴ１４では、カメラ制御部４０は、第１〜ｎ視点画像の無画素領域情報に基づいて、第１〜ｎ視点画像のうち、無画素領域（あるいは補完対象領域）の画素数が最小の画像データである第ｍ２画像データを選択するよう、画素数カウント・比較部６４を制御する。

ＳＴ１５では、カメラ制御部４０は、ＳＴ１０または１２で読み出した光軸中心座標および切り出しサイズに基づき、第ｍ２画像データから第ｍ２視点画像を切り出す。

ＳＴ１６では、カメラ制御部４０は、切り出した第ｍ２視点画像を２Ｄ画像としてモニタ部１８に出力する。

図４３Ａ乃至図４３Ｄは第ｉ（ｉ＝１，２）視点画像と、補完対象領域の画素数が最小の画像データの一例を示す。このうち、図４３Ａでは、左右画像ともに無画素領域ＢＬが存在しないためいずれか任意の一方が２Ｄ画像として出力されることが例示される。図４３Ｂでは、左画像に無画素領域ＢＬが存在するため右画像が２Ｄ画像として出力されることが例示される。図４３Ｃは、右画像の無画素領域ＢＬ−１の方が左画像の無画素領域ＢＬ−２よりも小さいため右画像が２Ｄ画像として出力されることが例示される。図４３Ｄでは、左右画像ともに同一面積の無画素領域ＢＬが存在するためいずれか任意の一方が２Ｄ画像として出力されることが例示される。

以上の処理により、無画素領域が小さい画像データに基づいて２Ｄ画像が出力されるため、２Ｄ画像の品質が下がらない。

＜第１４実施形態＞
図４４は第１４実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１４実施形態に係るプログラムはＲＯＭ４１に記憶されている。この処理は第４実施形態（図１２）の撮像装置１０ａまたは１０ｂによって実行することができる。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２〜３．１は第４実施形態（図１３）と同様である。ただし、切り出しサイズは選択される必要はない。

ＳＴ４では、カメラ制御部４０は、操作部１７から、記録媒体２０に記録された第ｉ視点画像に画素情報のない領域が含まれる場合、その第ｉ視点画像の無画素領域を塗りつぶすか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ１２に進み、当該指示を受け付けない場合はＳＴ３に進む。

ＳＴ５〜９は第１３実施形態のＳＴ３〜７と同様である。

ＳＴ１０〜１１は第４実施形態（図１３）のＳＴ９〜１０と同様である。ただし、塗りつぶしは第ｉ撮像部３からの第ｉ画像データから切り出された第ｉ視点画像（または第１〜ｎ画像データ）の無画素領域について行われる。

ＳＴ１２〜１５は第１３実施形態（図４２）のＳＴ１０〜１３と同様である。

ＳＴ１６では、カメラ制御部４０は、第１〜ｎ画像データの無画素領域を、ＳＴ３または３．１で設定された色で塗りつぶすよう塗りつぶし部５６を制御する。図４５Ａ乃至４５Ｄはｎ＝２の場合（第１・２画像データ）の無画素領域と塗りつぶしの例を示す。

Ｓ１７は第１３実施形態（図４２）のＳＴ１５と同様である。ただし、第ｉ視点画像の切り取り元は無画素領域の塗りつぶされた第１〜ｎ画像データである。

Ｓ１８は第１３実施形態（図４２）のＳＴ１６と同様である。

以上の処理により、記録された第ｉ画像データから第ｉ視点画像を切り出して再生する際、その無画素領域を塗りつぶすことで、無画素領域が単なる空白の場合よりも目立たないようにすることができる。また、無画素領域とそれ以外の領域を区別させることができる。

＜第１５実施形態＞
図４６は第１５実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１５実施形態に係るプログラムはＲＯＭ４１に記憶されている。この処理は第５実施形態（図１５）の撮像装置１０ａまたは１０ｂによって実行することができる。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に保存された画像の保存情報に含まれる切り出し範囲に基づいてパノラマ画像を合成するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ３に進み、当該指示を受け付けない場合はＳＴ９に進む。

ＳＴ３では、カメラ制御部４０は、操作部１７から、全フレーム中の最小切り出しサイズで表示するか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ４に進み、当該指示を受け付けない場合はＳＴ５に進む。

ＳＴ４では、カメラ制御部４０は、記録媒体２０に保存された画像とその保存情報を読み出す。この保存情報は第７実施形態で保存されたものであり、光軸中心座標、最小切り出しサイズ、画像切り出し座標を含む。

ＳＴ５では、カメラ制御部４０は、記録媒体２０に保存された画像とそれに付帯する保存情報を読み出す。この保存情報は第７実施形態（図２２）で保存されたものであり、光軸中心座標、各第ｉ視点画像の切り出しサイズ、画像切り出し座標を含む。

ＳＴ６では、カメラ制御部４０は、記録媒体２０から読み出された保存情報をＲＡＭ４２に保存する。

ＳＴ７では、カメラ制御部４０は、ＳＴ５または６でＲＡＭ４２に保存した保存情報に基づいてパノラマ画像の合成位置の基準となる類似点を探索するようパノラマ合成演算部５７を制御する。すなわち、パノラマ合成演算部５７は、異なる第ｉ画像データ間の画像切り出し座標間のずれの分だけ補正した範囲を、異なる第ｉ画像データ間の類似点の探索範囲とし、その探索範囲内で類似点を探索する。

図４７はｎ＝２（第１・２画像データ）の場合の探索範囲の補正の例を示す。パノラマ合成演算部５７は、第１画像データ内で同一のＸ座標を有する縦方向に並んだ画素群Ｇを基準画素として、第１画像データ内で画素群ＧをＸ方向に走査しながら（画素群ＧのＸ座標を移動させながら）画素群Ｇと類似する類似点を第２画像データから探索するものとする。この場合、パノラマ合成演算部５７は、画素群Ｇを構成する各画素ＹｉのＹ座標から、第１画像データの切り出し範囲Ｃ−１と第２画像データの切り出し範囲Ｃ−２との間のＹ方向のずれ量ΔＹを減じた値を、画素群Ｇの各画素Ｙｉに対応する類似点Ｙ'ｉを探索すべきＹ座標とする。パノラマ合成演算部５７が、同一の座標Ｘ０を有する画素群Ｇの各画素Ｙｉに対応する類似点Ｙ'ｉのＸ座標であるＸ'０を特定した場合、画素群Ｇ'を、画素群Ｇに対応する類似点と決定する。パノラマ合成演算部５７は、第１画像データの画素群Ｇと第２画像データの画素群Ｇ'とが一致するように第１画像データと第２画像データを張り合わせ、パノラマ画像を合成する（図４８参照）。

以上の処理により、手振れ補正して保存された画像からでも、手振れ補正をしない画像からと同等の精度でパノラマ画像を合成できる。

＜第１６実施形態＞
図４９は第１６実施形態に係る撮像装置１０ａまたは１０ｂの実行する補正処理のフローチャートを示す。この処理をカメラ制御部４０ａまたは４０ｂに実行させるための、第１６実施形態に係るプログラムはＲＯＭ４１に記憶されている。この処理は第６実施形態（図１８）の撮像装置１０ａまたは１０ｂによって実行することができる。

ＳＴ１では、カメラ制御部４０は、表示動作の開始を操作部１７から受け付けたことに応じてＳＴ２に進む。

ＳＴ２では、カメラ制御部４０は、操作部１７から、記録媒体２０に保存された画像の付帯情報に含まれる切り出し範囲に基づいてステレオマッチングを行うか否かの指示を受け付ける。当該指示を受け付けた場合はＳＴ３に進み、当該指示を受け付けない場合はＳＴ９に進む。

ＳＴ３〜６は第１５実施形態と同様である。

ＳＴ７〜８は第６実施形態（図１９）のＳＴ８〜９と同様である。ただし、ここでのステレオマッチングおよび表示出力の対象は、ＳＴ５で記録媒体２０から読み出された第ｉ画像データから切り出される第ｉ視点画像である。図５０Ａは記録媒体２０から読み出された第ｉ画像データの一例、図５０Ｂは第ｉ視点画像に対して設定されたエピポーラ線Ｌの一例、図５０Ｃはこの第ｉ視点画像に対するステレオマッチングを模式的に示す。

ＳＴ９では、カメラ制御部４０は、記録媒体２０に保存された画像をフレームメモリ４３に読み出す。

ＳＴ１０では、カメラ制御部４０は、フレームメモリ４３の画像をモニタ部１８に出力する。この画像は３Ｄ画像でも２Ｄ画像でもよい。

＜第１７実施形態＞
上記実施形態において、記録媒体２０に記録される動画のコマを静止画と同視することができる。すなわち、本発明は動画および静止画の双方の記録に適用しうる。なお、連写のように複数の静止画を記録する際には、動画のように各コマを撮影時系列順に記録してもよいし、しなくてもよい。

＜第１８実施形態＞
撮像部３の並び方向は横（Ｘ）方向でなく縦（Ｙ）方向でもよい。この場合、例えば、第５・１５実施形態では、縦長のパノラマ画像を得ることができる。あるいは第６・１６実施形態では、エピポーラ線をＹ方向に設定して対応点検索を行える。撮像部３の並び方向は斜め方向でもよい。要するに、撮像部３のレンズ光軸Ｌｉの並び方向にエピポーラ線を設定し、そのエピポーラ線と平行な方向に対応点検索を行えばよい。

５１：切り出し位置・サイズ決定部、５２：初期光軸中心位置メモリ部、５３：切り出しサイズメモリ部、７０：補完対象領域算出部、５６：塗りつぶし部、５７：パノラマ合成演算部、５８：ステレオマッチング演算部、５９：関連付け処理部、６０：画像関連付け処理部、６１：視差補正部、６２：３Ｄ・２Ｄ切り替え画像選択部、６３：表示枠と切り出し枠連動演算部、６４：画素数カウント・比較部

Claims (21)

1. 異なる視点から被写体像を撮影する複数の撮像部と、前記撮像部の各々の振れを検出する振れ検出部と、前記振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置であって、
   前記複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するサイズ決定部であって、前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とした規定の撮像領域と、前記複数の撮像部の各々の振れ補正後の撮像領域との共通領域に含まれる、前記初期光軸中心を中心とした候補領域のサイズのうち、最小のサイズの候補領域に基づいて、前記複数の撮像部の各々から取得された複数の画像に共通の所定のアスペクト比を有する切り出しサイズを決定するサイズ決定部と、
   前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、前記サイズ決定部の決定した共通の切り出しサイズで、前記複数の画像の各々から出力用画像を切り出す切出部と、
   を備える撮像装置。
2. 異なる視点から被写体像を撮影する複数の撮像部と、前記撮像部の各々の振れを検出する振れ検出部と、前記振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置であって、
   前記複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するサイズ決定部であって、前記複数の撮像部の各々に対する前記振れ補正部の振れ補正に依存しない不変の撮像領域に含まれる、前記初期光軸中心を中心とした切り出し候補領域を前記複数の撮像部ごとに決定した上、前記複数の撮像部に対応する切り出し候補領域のサイズの最小値に基づいて、前記複数の撮像部の各々からの画像に共通の所定のアスペクト比を有する切り出しサイズを決定するサイズ決定部と、
   前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、前記サイズ決定部の決定した共通の切り出しサイズで、前記複数の撮像部の各々から出力用画像を切り出す切出部と、
   を備える撮像装置。
3. 前記サイズ決定部は、前記複数の撮像部の各々に対する前記振れ補正部の振れ補正により鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域に基づき、前記複数の撮像部ごとに前記不変の撮像領域を決定する請求項２に記載の撮像装置。
4. 前記サイズ決定部は、前記複数の撮像部の各々に対して前記振れ補正部が少なくとも２回実施した振れ補正により得られた前記鉛直方向および／または水平方向に最大限変位した異なる２つの撮像領域間の共通領域を前記複数の撮像部ごとに決定し、前記複数の撮像部ごとに決定した共通領域を各撮像部に対応する不変の撮像領域とする請求項３に記載の撮像装置。
5. 前記切出部の切り出した出力用画像が、規定の切出範囲を超える補完対象領域を有する場合、前記補完対象領域に相当する前記撮像部の有効画素領域の画像で前記補完対象領域を補完する画像補完部を備える請求項１〜４のいずれかに記載の撮像装置。
6. 前記切出部の切り出した出力用画像が、前記撮像部の規定の切出範囲を超える補完対象領域を有する場合、前記補完対象領域を所定の色で補完する色補完部を備える請求項１〜４のいずれかに記載の撮像装置。
7. 前記切出部の切り出した各出力用画像の初期光軸中心を基準に各画像を合成することでパノラマ画像を作成するパノラマ画像作成部を備える請求項１〜６のいずれかに記載の撮像装置。
8. 前記切出部の切り出した各出力用画像の初期光軸中心を基準にエピポーララインを設定し、前記エピポーララインに沿って各出力用画像の相関を演算することでステレオマッチングを行うステレオマッチング演算部を備える請求項１〜７のいずれかに記載の撮像装置。
9. 前記複数の撮像部の各々からの各画像と各画像の初期光軸中心位置および切り出しサイズとを関連づけて記憶する記憶部を備える請求項１〜８のいずれかに記載の撮像装置。
10. 前記複数の撮像部の各々から同一の撮影時刻に取得された各画像に対応する各出力用画像を関連づけて記憶する記憶部を備える請求項１〜８のいずれかに記載の撮像装置。
11. 前記出力用画像の補完対象領域の座標と前記補完対象領域の面積が最小の出力用画像の識別情報を前記出力用画像に対応づけて記憶する記憶部を備える請求項５または６に記載の撮像装置。
12. 前記出力用画像の切り出しサイズを保ったまま、前記出力用画像間の視差が所定の視差量になるよう、前記出力用画像の切り出し位置を決定する視差調整部を備える請求項１〜１１のいずれかに記載の撮像装置。
13. 前記切出部の切り出した画像に基づいて平面画像または立体画像を出力する出力部を備える請求項１〜１２のいずれかに記載の撮像装置。
14. 拡大位置の指定を受け付ける指定部を備え、
    前記切出部は、前記指定部の受け付けた拡大位置が前記画像から前記出力用画像を切り出す境界に達した場合、前記出力用画像を切り出す位置を前記拡大位置に応じて変更する請求項１〜１３のいずれかに記載の撮像装置。
15. 前記記憶部に記憶された識別情報に基づいて前記補完対象領域の面積が最小の画像を平面画像として出力する平面画像出力部を備える請求項１１に記載の撮像装置。
16. 前記記憶部に記憶された補完対象領域を所定の色で補完する色補完部と、
    前記色補完部が色を補完した画像に基づいて平面画像または立体画像を出力する出力部と、
    を備える請求項１１または１５に記載の撮像装置。
17. 前記記憶部に記憶された各画像に対応する初期光軸中心位置および切り出しサイズを基準に各出力用画像を切り出した上、各出力画像を合成することでパノラマ画像を作成するパノラマ画像作成部を備える請求項９に記載の撮像装置。
18. 前記記憶部に記憶された各画像に対応する初期光軸中心位置および切り出しサイズを基準に各出力画像を切り出した上、前記初期光軸中心を基準に各出力用画像にエピポーララインを設定し、前記エピポーララインに沿って各出力用画像の相関を演算することでステレオマッチングを行うステレオマッチング演算部を備える請求項９に記載の撮像装置。
19. 異なる視点から被写体像を撮影する複数の撮像部と、前記撮像部の各々の振れを検出する振れ検出部と、前記振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置で実行される撮像方法であって、
    前記複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するため、前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とした規定の撮像領域と、前記複数の撮像部の各々の振れ補正後の撮像領域との共通領域に含まれる、前記初期光軸中心を中心とした候補領域のサイズのうち、最小のサイズの候補領域に基づいて、前記複数の撮像部の各々から取得された複数の画像に共通の所定のアスペクト比を有する切り出しサイズを決定するステップと、
    前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、前記サイズ決定部の決定した共通の切り出しサイズで、前記複数の画像の各々から出力用画像を切り出すステップと、
    を含む撮像方法。
20. 異なる視点から被写体像を撮影する複数の撮像部と、前記撮像部の各々の振れを検出する振れ検出部と、前記振れ検出部の検出した各撮像部の振れに基づいて各撮像部で撮影される被写体像の振れを補正する振れ補正部とを備える撮像装置で実行される撮像方法であって、
    前記複数の撮像部から各々取得された画像から出力用画像を切り出すための切り出しサイズを決定するため、前記複数の撮像部の各々に対する前記振れ補正部の振れ補正に依存しない不変の撮像領域に含まれる、前記初期光軸中心を中心とした切り出し候補領域を前記複数の撮像部ごとに決定した上、前記複数の撮像部に対応する切り出し候補領域のサイズの最小値に基づいて、前記複数の撮像部の各々からの画像に共通の所定のアスペクト比を有する切り出しサイズを決定するステップと、
    前記複数の撮像部の各々の振れ補正前の初期光軸中心を基準とし、前記サイズ決定部の決定した共通の切り出しサイズで、前記複数の撮像部の各々から出力用画像を切り出すステップと、
    を含む撮像方法。
21. 請求項１９または２０に記載の撮像方法を撮像装置に実行させるためのプログラム。

Images