JP4699995B2 - 複眼撮像装置及び撮像方法 - Google Patents

Description

本発明は、画素ずらし機能を有する複眼撮像装置及び撮像方法に関する。

携帯機器に用いる撮像装置には、高解像度化と小型化の両立が必要とされている。撮像装置の小型化は、撮像光学レンズの大きさや焦点距離、撮像素子の大きさにより制限される。

一般的に、光は波長により屈折率が異なるため、全波長の情報が含まれる景色を単レンズで撮影面に結像することはできない。このため、通常の撮像装置の光学系は、赤、緑、青の波長の光を同一の撮像面に結像するため、複数のレンズを重ねた構成となっている。この構成では、必然的に撮像装置の光学系が長くなり、撮像装置が厚くなる。そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短い単レンズを用いる複眼方式の撮像装置が提案されている（例えば特許文献１）。

複眼方式のカラー画像撮像装置は、撮像光学系を青色の波長の光を受け持つレンズと緑色の波長の光を受け持つレンズと赤色の波長の光を受け持つレンズとを平面内に並べた構成にし、それぞれのレンズに対して、撮像領域を設けるものである。

この撮像領域は、複数の撮像素子を並べて配置するだけでなく、一つの撮像素子を複数の領域に分けてもよい。この構成では、各レンズが受け持つ光の波長が限定されるため、単レンズにより被写体像を撮像面に結像することが可能となり、撮像装置の厚さを大幅に小さくできる。

図１９に従来の複眼方式の撮像装置の一例について要部の概略斜視図を示す。１９００はレンズアレイであり、３つのレンズ１９０１ａ、１９０１ｂ、１９０１ｃが一体で成型されている。１９０１ａは、赤色の波長の光を受け持つレンズであり、結像した被写体像を赤色の波長分離フィルター（カラーフィルター）を受光部に貼り付けた撮像領域１９０２ａで画像情報に変換する。同様に１９０１ｂは、緑色の波長の光を受け持つレンズであり、撮像領域１９０２ｂで緑色の画像情報に変換され、１９０１ｃは青色の波長の光に対応するレンズであり、撮像領域１９０２ｃで青色の画像情報に変換する。

これらの画像を重ね合わせて合成することにより、カラー画像を取得することができる。なお、レンズは３個に限定する必要はなく、複数の同色の画像を取得し合成することもできる。

このように複眼方式の撮像装置は、撮像装置の厚さを薄くすることができるが、単純に各色の画像を重ね合わせて合成する場合、各色に分離した画像の画素数により合成した画像の解像度が決まることになる。このため、緑、赤、青のフィルターを千鳥にならべた通常のベイヤー配列の撮像装置に比べて、解像度が劣る問題がある。

一方、撮像装置の解像度を向上させるには、「画素ずらし」と呼ばれる技術がある。図２０は、画素ずらしを用いた高解像度化の概念説明図である。本図は、撮像素子の一部の拡大部分を示している。図２０Ａに示すように、撮像素子には受光した光を電気信号に変換する光電変換部２１０１（以下、「光電変換部」という）と、転送電極などの光を電気信号に変換することができない無効部分２１０２（以下、「無効部分」という）が存在する。撮像素子においては、この光電変換部２１０１と無効部分２１０２とを合わせて、１画素となる。この画素は、ある一定の間隔（ピッチ）で規則正しく形成されているのが普通である。図２０Ａの太線で囲んだ部分が１画素分であり、Ｐは１ピッチ分を指している。

このような撮像素子を用いて行われる画素ずらしの概略を以下に示す。まず、図２０Ａに示す撮像素子の位置で撮影を行なう。次に、図２０Ｂに示したように、各画素の光電変換部２１０１が無効部分２１０２に移動するように、斜め方向（水平方向、垂直方向ともに画素の１／２ピッチ分）に移動させて、撮影を行なう。その後、撮像素子の移動量を考慮の上、図２０Ｃで示したように、これら２枚の撮影画像を合成する。

このことにより、本来信号として取り得ることのできなかった無効部分からも信号を取り出すことができる。すなわち、図２０Ｃの撮像状態は、図２０Ａの撮像素子で撮像した1回分の撮像状態と比べると、２倍の光電変換部を有する撮像素子で撮像したものと同等の解像度となる。したがって、前記のような画像ずらしを行えば、撮像素子の画素数を増やすことなく、２倍の画素数の撮像素子を用いて撮影した画像と等価な画像を得ることができる。

なお、例示したように斜め方向にずらした場合に限らず、水平方向、垂直方向にずらした場合は、ずらした方向に解像度を向上させることができる。例えば、ずらしを縦横に組み合わせると、４倍の解像度を得ることができる。また、画素ずらしの量は、０．５画素に限る必要は無く、無効部分を補間するように、細く画素ずらしすることにより、解像度をさらに向上させることができる。

また、前記の例では、撮像素子と入射光線の相対的な位置関係を、撮像素子を移動させることにより変化させたが、画素ずらしの方法はこの方法に限らない。例えば、撮像素子の代わりに光学レンズを移動させてもよい。また、別の方法として平行平板を用いた方法などが提案されている（例えば特許文献１）。特許文献１に記載の発明では、平行平板を傾斜させることによって撮像素子に結像する像をずらしている。

このように画素ずらしにより、解像度を向上させることができるが、画素ずらしにおいては、複数の画像を時系列で撮影した後、合成処理を行ない、高解像画像を生成している。このため、本来、補完しあう画像がずれてしまうと解像度が劣化する可能性がある。すなわち、時系列的に撮影した複数画像から、高解像度画像を合成するためには、手ぶれなどにより撮影中に撮像装置が動いてしまうことによるぶれ（以下、「手ぶれ」という）、および被写体が動いてしまうことなどによる被写体側のぶれ（以下、「被写体ぶれ」とする）を除かなくてはならない。

したがって、小型、薄型化を実現するために採用した複眼方式の短所である解像度低下を、画素ずらし技術によって補うためには、画素ずらしにおけるぶれを除去または補正することが必須となる。

ぶれをできる限り除去する方法、またはぶれを補正する先行技術がいくつか提案されている。１つの方法は、カメラを三脚等で固定して撮影するものである。この方法は、手ぶれによる影響を低減することができる。

別の方法は、角速度センサーなどのぶれ検知手段を用いて、手ぶれを検知し、補正するものである。この手ぶれ補正を行う機構と画素ずらし機構とを兼用し、補正する方法が提案されている（例えば、特許文献２、特許文献３）。

特許文献２に記載の発明では、ぶれ検知手段を用いてぶれ量を検知し、そのぶれ量に基づき画素ずらし方向、画素ずらし量の補正をした上で、撮像素子を移動させて画素ずらしをしている。こうすることで、手ぶれによる影響を低減することができる。

また、前記のように、撮像素子を移動させる方法に限る必要はなく、特許文献３では、検知されたぶれ量に対応させて光学レンズの一部を動かすことにより、手ぶれ補正と画素ずらしを行い、同様な効果を得ている。ぶれ検知の方法としては、振動ジャイロなどの角速度センサーを用いる方法、時系列で撮影した画像を比較し、動きベクトルを求める方法など多彩な方法が提案されている。

さらに、ぶれを低減する別の方法として、特許文献３では、時系列で撮影した複数の画像を比較し、手ぶれなどにより、画像の位置関係が適切にずれて、解像度の向上が期待できる関係になっている画像のみ選択し、合成する方法が提案されている。この方法は、すべて、電子的に行われ、手ぶれ補正をする機械的な機構を設ける必要がなく、撮像装置を小型化することができる。
特開平６−２６１２３６号公報 特開平１１−２２５２８４号公報 特開平１０−１９１１３５号公報

しかしながら、前記の三脚などにより固定する方法は、三脚を常に持ち歩く必要があるなどユーザーの利便性を大きく損ない実用的ではない。

また、特許文献２、３に記載のセンサーにより手ぶれを検知し、手振れ補正と画素ずらしを行う方法は、新たにセンサーが必要であり、また、複雑な光学系が必要であるなど、小型、薄型化に不利になる。

一方、特許文献３に記載の時系列で撮影した複数の画像を比較し、合成に適切な画像のみを選び出して合成する方法は、新たにセンサーを加える必要はないが、手ぶれなどにより偶然に適切な位置に画像が来ることを期待しており、確実に解像度が向上するとは限らない。

本発明は、前記のような従来の問題を解決するものであり、画素ずらしをする複眼撮像装置において、手ぶれ、または被写体ぶれがある場合にも画素ずらしの効果の低下を防止できる複眼撮像装置及び撮像方法を提供することを目的とする。

前記目的を達成するために本発明の複眼撮像装置は、光学系と撮像素子とを含みそれぞれ光軸が異なる撮像系を複数備えた複眼撮像装置であって、前記複数の撮像系は、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係を変化させる画素ずらし手段を持つ第１の撮像系と、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が時系列の撮影において固定されている第２の撮像系とを含んでおり、時系列で撮影した複数フレームの画像情報を蓄積する画像メモリと、前記画像メモリに蓄積された前記複数フレームの画像情報を比較して、ぶれ量を導出するぶれ量導出手段と、前記第１の撮像系と第２の撮像系とでそれぞれ撮影された画像から視差の大きさを求める視差量導出手段と、前記画像メモリに蓄積された前記複数フレームの画像を合成する画像合成手段と、前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記画像メモリに蓄積された前記第１の撮像系で撮影された画像情報と、前記第２の撮像系で撮影された画像情報とから前記画像合成手段の合成に用いる画像情報を選択する最適画像選択手段と、をさらに備えていることを特徴とする。
また、本発明の撮像方法は、光学系と撮像素子とを含み、それぞれ光軸が異なる第１の撮像系と第２の撮像系とを含む複眼撮像装置を用いた撮像方法であって、略同一時刻に、前記第１の撮像系及び前記第２の撮像系において撮影する、第１の撮影ステップと、前記第１の撮影ステップとは異なる時刻であって、略同一時刻に、前記第１の撮像系において、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が、第１の撮影ステップにおける位置関係と異なる関係で撮影し、前記第２の撮像系において、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が、第１の撮影ステップにおける位置関係と同じ関係で撮影する、第２の撮影ステップと、前記第１の撮影ステップ及び前記第２の撮影ステップにおいて、前記第２の撮像系で撮影された画像を比較して、ぶれ量を導出するぶれ量導出ステップと、前記第１の撮影ステップにおいて、前記第１の撮像系及び前記第２の撮像系で撮影された画像から、視差の大きさを求める視差量導出ステップと、前記ぶれ量導出ステップにおいて求めたぶれ量と、前記視差量導出ステップにおいて求めた視差量とに基づき、前記第１の撮影ステップ及び前記第２の撮影ステップにおいて、前記第１の撮像系及び前記第２の撮像系で撮影された画像の中から、合成した場合に解像度が向上する組合せの画像を選択する、画像選択ステップと、前記画像選択ステップにおいて、選択した画像を合成する画像合成ステップとを含むことを特徴とする。

本発明によれば、複眼方式の光学系による撮像装置の小型化、薄型化とともに、画素ずらしをしない第２の撮像系により時系列で撮影した画像同士を比較することにより、撮像装置のぶれ量（手ぶれの量）を検知することができる。このぶれ量を用いて、画素ずらしをする第１の撮像系で撮影した画像に対し、手ぶれを補正することができる。すなわち、撮像装置の小型化及び薄型化と高解像度化とを両立することができる。

また、前記画素ずらし手段による前記位置関係の変化量が固定されている構成でもよい。この構成によれば、撮影中にぶれ量を導出して画素ずらし量を調整する必要がなく、時系列の撮影時刻間隔を短くすることができる。これにより、手ぶれが少なくなるとともに、被写体の動きが速い場合にも撮影できるようになる。

また、前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記画像合成手段の合成に用いる画像を補正することが好ましい。この構成によれば、画像を合成する際は、ぶれの補正に加え、被写体の距離に依存する視差の補正もするので、合成した画像の解像度をさらに高めることができる。すなわち、被写体の距離に依存した解像度の低下を防ぐことができる。

本発明の複眼撮像装置は、前記ぶれ量導出手段により求めたぶれ量と、前記視差量導出手段によって求めた視差量とに基づいて、前記画像メモリに蓄積された前記第１の撮像系で撮影された画像情報と、前記第２の撮像系で撮影された画像情報とから前記画像合成手段の合成に用いる画像情報を選択する最適画像選択手段を備える。この構成によれば、第１、２の撮像系により、ぶれ前後の画像、視差のある画像、画素ずらしした画像を得ることができるので、偶然性に依存することなく、解像度向上に適した画像を選択することができる。

また、異なる被写体を判別する手段をさらに備えており、前記ぶれ量導出手段は、前記異なる被写体毎にぶれ量を導出し、前記画像合成手段は、前記異なる被写体毎に画像を合成することが好ましい。この構成によれば、被写体毎にぶれ量を導出することにより、被写体が動くことにより画像全体が均一に移動しない場合においても、解像度を向上させることができる。

また、画像情報を複数のブロックに分割する手段をさらに備えており、前記ぶれ量導出手段は、前記複数のブロック毎にぶれ量を導出し、前記画像合成手段は、前記複数のブロック毎に画像を合成することが好ましい。この構成によっても、被写体の移動量が存在する場合における解像度の向上を図ることができる。さらに、被写体の検出が不要となり、処理時間の短縮することができる。

また、前記光軸が異なる複数の撮影系は、赤色を扱う撮像系と、緑色を扱う撮像系と、青色を扱う撮像系とで構成されており、前記各色に対応した撮像系のうち、少なくとも１色に対応した撮像系の個数は、２個以上であり、前記同色を扱う２個以上の撮像系は、前記第１の撮像系と前記第２の撮像系とを含んでいることが好ましい。この構成によれば、解像度を向上させたカラー画像を得ることができる。
また、画像情報を複数のブロックに分割する手段をさらに備えており、前記ぶれ量導出手段は、前記複数のブロック毎にぶれ量を導出し、前記視差量導出手段は、前記複数のブロック毎に視差量を導出し、前記画像合成手段は、前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記複数のブロック毎に画像を補正し合成することが好ましい。

以下、本発明の一実施の形態について図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１に係る撮像装置の構成を示すブロック図である。システム制御手段１００は、撮像装置の全体を制御する中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）である。システム制御手段１００は、画素ずらし手段１０１、転送手段１０２、画像メモリ１０３、ぶれ量導出手段１０４、画像合成手段１０５を制御するものである。

撮影する被写体（図示せず）は、画素ずらし手段１０１を持つ第１の撮像系１０６ｂと、画素ずらし機能を持たない第２の撮像系１０６ａとによって撮影される。撮像光学系１０７ａおよび撮像光学系１０７ｂとによって、被写体は撮像素子１０８ａ、１０８ｂ上に結像し、光の強度分布として画像情報に変換される。

画素ずらし手段１０１は、撮像光学系１０７ｂによって撮像素子１０８ｂ上に結像する被写体像と、撮像素子１０８ｂとの相対的な位置関係を、撮像素子１０８ｂの面内方向にずらすものである。すなわち、画素ずらし手段１０１により、撮像素子１０８ｂと、撮像素子１０８ｂに入射する入射光線との相対的な位置関係を時系列の撮影において変化させることができる。

一方、撮像光学系１０７ａと撮像素子１０８ａとの位置関係は、撮像素子１０８ａの面内方向にずれないようにしてある。したがって、撮像光学系１０７ａによって撮像素子１０８ａ上に結像する被写体像と、撮像素子１０８ａとの相対的な位置関係は、時系列の撮影において固定されていることになる。すなわち、第２の撮像系１０６ａは、撮像素子１０８ａと、撮像素子１０８ａに入射する入射光線との相対的な位置関係は、時系列の撮影において固定されていることになる。

転送手段１０２は、撮像素子１０８ａ、１０８ｂで光電変換した画像情報を、画像を記憶する画像メモリ１０３に伝達するものである。

第１の撮像系１０６ｂと第２の撮像系１０６ａは個別に駆動し、それぞれの画像を順次画像メモリ１０３に転送し、蓄積する。後述するように第２の撮像系１０６ａで撮影した画像を用いて、ぶれ量を検出しながら、画素ずらし量を調整する。このため、第２の撮像系１０６ａの方が、高速で駆動できるようになっている。すなわち、第２の撮像系１０６ａの方が、単位時間当たりの画像の取り込み回数を多くできるようにしている。

ぶれ量導出手段１０４は、第２の撮像系１０６ａ、すなわち画素ずらしをしない光学系によって異なる時刻に（時系列的に）撮影した画像情報を比較し、ぶれ量を導出するものである。詳細は後に説明するが、このぶれ量を補正するように第１の撮像系１０６ｂの画素ずらし量を設定し、画素ずらしした画像を画像メモリ１０３に蓄積する。

画像合成手段１０５は、第１の撮像系１０６ｂ及び第２の撮像系１０６ａで撮影し、画像メモリ１０３に蓄積された画像を合成し、高解像度画像を生成するものである。

図２は、本実施の形態の撮像装置における全体動作を示すフローチャートである。ステップ２００の撮影開始指令により、撮影が開始する。撮影が開始すると、まずステップ２０１の撮影前処理が行われる。これは、最適な露出時間の計算、焦点合わせ処理を行なうものである。

例えば、被写体と撮像装置の距離が変わると、結像距離が変化し画像がぼける現象がある。この現象を補正するために、撮像光学系と撮像素子との距離調整（焦点合わせ）が行われる。焦点合わせは、焦点が合った場合に撮影した画像のコントラストが最大になる特性を用い、撮像光学系と撮像素子との間（結像距離）を焦点合わせ用のアクチュエータ（図示せず）で変化させることで実現できる。

なお、焦点合わせには必ずしもコントラストを用いる必要はなく、レーザーや電波などにより被写体の距離を計測し、焦点合わせをしてもよい。

また、周辺環境光などを考慮のうえ、最適な露光時間を調整する必要がある。これには、照度センサーにより明るさを検出し、露光時間を設定する方法や、撮影開始前に画像取り込みをするプレビュー機能を設ける方法などがある。プレビュー機能を設ける方法は、撮影開始前に取り込んだ画像をグレイスケール化して明るさ情報に変換する。そして、そのヒストグラムが白色（明るい）に偏っていれば、露出過剰（露光時間が長すぎる）と判定し、ヒストグラムが黒色（暗い）に偏っていれば、露出不足（露出時間が短すぎる）と判定し、露出時間を調整する。

また、プレビュー機能を有する場合、撮影開始指令前に、この前処理を行なっておくことで、撮影開始指令から、露光を始めるまでの時間を短縮することができる。

次に、ステップ２０２で画素ずらしによる撮影が行われる。この撮影はステップ２０３からステップ２０８までの各処理を繰り返して行われる。

ステップ２０３は第２の撮像系１０６ａの露光処理であり、ステップ２０４は第２の撮像系１０６ａで撮影した画像の画像メモリ１０３への転送処理である。画像メモリ１０３へは、第２の撮像系１０６ａによって異なる時刻に撮影された画像が転送されることになる。

ステップ２０５において、画像メモリ１０３に蓄積された画像を比較し、ぶれ量（撮像装置のぶれ量）を求める。ステップ２０６では、ステップ２０５で求めたぶれ量を反映させて調整した画素ずらし量に基づいて、第１の撮像系１０６ｂにより画素ずらしをして撮影をする。ステップ２０７は、第１の撮像系１０６ｂの露光処理であり、ステップ２０８は、第１の撮像系１０６ｂで撮影した画像の画像メモリ１０３への転送処理である。

これらの各処理のうち、まずぶれ量導出について、具体的に説明する。前記のように、異なる時刻に撮影すると、その間における手ぶれ、または被写体ぶれにより画像にぶれが生じる。画素ずらしにより画素の無効部分を活用するためには、このぶれを考慮して画素ずらしの量を決める必要がある。

そのため、ステップ２０２では、画素ずらしをする直前に画素ずらしをしない第２の撮像系１０６ａで異なる時刻に撮影した画像を取り込み、ぶれ量を算出し、画素ずらし量に反映させている。

ステップ２０５のぶれ量の導出処理では、前記のように撮像装置の手ぶれ量を求める。以下、その具体的な方法を説明する。手ぶれや被写体のぶれがあると時系列で撮影した画像のなかで、被写体が映っている位置が移動することになる。

短い時間間隔であれば、被写体の形状は変らず、位置が移動しているとみなすことができる。このため、撮影時刻の異なる２つの画像のうち、一方を比較元画像、他方を比較先画像とし、その比較元画像の所定の領域が、比較先画像のどの部分に移動したかを調べることにより、画像がどのように動いたかを求めることができる。

より具体的には、比較元画像内の特定領域（以下、「比較元領域」という）が、比較先画像のどの領域に対応するかを調べるためには、比較先画像に比較元領域と同じサイズの評価領域を設定し、比較元領域と評価領域がどれだけ似ているかを評価する。以後、順次別の位置に評価領域を設定し、各評価領域において前記の評価をしながら、比較元領域の移動先を探索する。この場合、比較元領域と最も似ている評価領域が、比較元領域の移動先になる。

撮像素子で撮影した画像は、それぞれの画素に対応する光強度の集合とみなせるので、画像の左上を原点とし、水平方向の右向きにｘ番目、垂直方向下向きにｙ番目の画素の光強度をＩ（ｘ，ｙ）とすれば、画像はこの光強度Ｉ（ｘ，ｙ）の分布と考えることができる。

図３に比較元領域３０１と評価領域３０２との位置関係を示す。図３の例では、比較元領域の左上の画素の位置が（ｘ１，ｙ１）であり、右下の画素の位置が（ｘ２，ｙ２）となるような長方形の形に比較元領域を設定している。この場合、比較元領域から右方向にｍ画素、下方向にｎ画素移動した評価領域（ｍ，ｎ）は、左上の画素が（ｘ１＋ｍ，ｙ１＋ｎ）で、右下の位置が（ｘ２＋ｍ，ｙ２＋ｎ）となる領域で表すことができる。

この評価領域と比較元領域の相関（どれだけ似ているか）を表す評価値Ｒ（ｍ，ｎ）は、（数１）に示すように、各画素における光強度の差分の絶対値総和によって表される。

比較元領域と評価領域とが似ているほど、両領域において対応する両画素間の光強度の差は小さくなる。このため、評価値Ｒ（ｍ，ｎ）は、比較元領域と評価領域の光強度分布（画像）の相関が大きい（似ている）ほど小さい値を示すことになる。

なお、領域の相関を比較するので、ｍ、ｎは整数に限る必要は無く、もとの光強度Ｉ（ｘ，ｙ）から各々のピクセル間を内挿したデータＩ′（ｘ，ｙ）を新たに作成し、Ｉ′（ｘ，ｙ）をもとに（数１）によって評価値Ｒ（ｍ,ｎ）を算出することで、整数以下（サブピクセル）でぶれ量を導出することができる。データの内挿の方法としては、線形補間、非線形補間いずれの方法を用いてもよい。

以上より、ぶれ量を導出するには、ｍ、ｎの値を変化させて、評価値が比較元領域と一番似ている評価領域をサブピクセルの精度で探索することになる。この場合、手ぶれ、および被写体ぶれのぶれ方向は特定方向に限定されないので、ｍ、ｎの値は負の値（左方向や上方向に移動した領域の評価）を含めて検討を行なう必要がある。

また、比較先画像の全ての範囲を評価できるようにｍ、ｎを変化させてもよいが、手ぶれなどで大きく被写体の結像が移動し、撮像素子の受光範囲から外れると画像として合成できないので、一般的に、所定の範囲にｍ、ｎを限定し、計算時間を短縮するのが好ましい。このようにして見出した評価値Ｒ（ｍ，ｎ）が最小値となるｍ、ｎの組合せが、比較元領域に対応する比較先画像の領域の位置を示すぶれ量となる。

なお、比較元領域は長方形に限る必要はなく、任意形状を設定することが可能である。また、評価値の算出は、光強度の差分の絶対値総和に限る必要はなく、各領域で正規化してから相関を求めるなど、相関を示す関数であれば、どのような関数を用いて評価値を算出してもよい。

この画像の相関を用いて、比較する方法は、後述の視差量を求める際にも用いることができ、さらに画素ずらし手段のキャリブレーションにも用いることができる。例えば、画素ずらし手段により画素ずらしをする前後に、画像を撮影しておき、その画像のズレ量を評価することにより、周辺環境（気温や経時劣化）により画素ずらしに用いるアクチュエータが正確に動いていうか確認することができる。このような処理により、アクチュエータによる画素ずらしを確実にすることができる。

以下、図４を参照しながら、手ぶれについてさらに具体的に説明する。図４は、本実施の形態において、手ぶれによる画像の動きを示す図である。本図は、被写体の動きが少ない風景の画像を撮影する例を示している。図４Ａは被写体とカメラとが平行移動した場合の図であり、図４ＣのＡ図は、この場合の撮影時刻１と２との間の画像の変化を示している。図４Ｂはカメラが横方向に回転した場合の図であり、図４ＣのＢ図は、この場合の撮影時刻１と２との間の画像の変化を示している。

図４Ａのように、撮像装置が平行移動する場合と図４Ｂのように回転移動する場合のいずれの場合も、画像が面内で平行移動するとみなすことができるが、図４Ｃに示すように、平行移動した場合よりも、回転して光軸がぶれる場合の方が、画像に与える影響が大きい。図４Ｂはカメラが横方向に回転した例であるが、縦方向に回転した場合も同様である。このような、撮像装置の平行移動または回転による画像の平行移動を補正することにより、手ぶれの補正をすることができる。

なお、撮像装置が回転する場合は、画像が平行移動するとみなすことができるが、厳密には被写体とレンズの距離が一部変化するため、画像にわずかなひずみが生じることになる。このわずかにひずんだ画像を単純に重ね合わせると、本来重なりあう部分が、重なり合わず、画素ずらしによっても高解像度化する効果が低下する。

したがって、この回転による画像のひずみを検出し、補正することで解像度がさらに向上する。また、特定の１ヶ所の評価領域を対象に画像のぶれ量を求めるだけでは、画像の平行移動しか求めることができないので、複数の評価領域を設定し、それぞれの場所におけるぶれ量を求めることで、それぞれの評価領域における手ぶれ量、および画像のひずみを求めることができる。この画像のひずみにしたがって、重ね合わせる画像を変形することにより、画像劣化を防止し、高解像度画像を得ることができることになる。

次に、画素ずらし量の調整について、具体的に説明する。図５は、画素ずらし量の調整を説明する図である。本図は、撮像素子の一部の拡大部分を示しており、想定していた画素ずらしベクトル４００と、ぶれ導出手段によって検出されたぶれベクトル４０１と、実際に行った画素ずらしベクトル４０２を示している。

手ぶれが全く無い場合、光電変換部４０４の右にある無効部分４０５を有効に活用するためには、ベクトル４００のようにＸ方向に０．５画素、Ｙ方向に０画素ずらす必要がある。一方、ベクトル４０１は、手ぶれにより、Ｘ方向に１．２５画素、Ｙ方向に１．５画素ずれた例を示している。この場合、画素ずらし量を調整せずに画素ずらしを行うと、すなわちベクトル４００のようにＸ方向に０．５画素ずらす画素ずらしを行うと、ベクトル４００とベクトル４０１を合成した位置４０３で、次の撮影を行うことになる。この場合、本来、活用しようとしていた光電変換部４０４の右側の部分とは異なる部分を撮影することになる。

ここで、手ぶれによる移動により光軸がわずかにずれることになるが、非常に微小である。このため、ベクトル４０１のＸ方向、Ｙ方向のずれ量がそれぞれ整数ピッチ（１画素ピッチの整数倍）の場合の画像は、画素の座標を整数画素分ずらした画像と同じものとみなすことができる。すなわち、画素ずらしをしない第２の撮像系１０６ａによる撮影時刻２における撮影は、撮影時刻１においてすでに撮影した画像を異なる画素で重ねて撮影したのと同じことなる。したがって、この場合は、画素ずらしをする第１の撮像系１０６ｂでは、手ぶれが全く無い場合と同様に、ベクトル４００のようにＸ方向に０．５画素ずらすことにより、光電変換部４０４の右にある無効部分４０５の部分を撮影でき、画素ずらしの効果を得ることができる。

すなわち、画素ずらしの効果に影響を与えるのは、手ぶれのうち、整数ピッチ以下（小数点以下）の部分である。

したがって、手ぶれのうち整数ピッチ以下の部分が、ベクトル４００のずらし量と同じになるように、新たな画素ずらしベクトルを設定すれば、画素ずらしの効果を得ることができる。前記の例では、ぶれベクトル４０１のＸ方向の整数ピッチ以下の部分は０．２５画素、Ｙ方向の整数ピッチ以下の部分は０．５画素である。この場合、Ｘ方向の整数ピッチ以下の部分が０．５画素、Ｙ方向の整数ピッチ以下の部分が０画素になるように、新たな画素ずらしベクトルを設定すればよいことになる。

したがって、画素ずらしベクトルを図５のベクトル４０２のように、Ｘ方向に０．２５画素、Ｙ方向に０．５画素とすることにより、手ぶれベクトル４０１と合成した際に、本来の画素ずらしベクトル４００による画素ずらしをした場合と同じ位置関係になる。すなわち、本実施の形態によれば、ぶれベクトルにあわせて、画素ずらしベクトルを調整するので、常に画素ずらしの効果を得ることができるようになる。

ステップ２０２における一連のステップを、設定した画像ずらしの回数が終わるまで繰り返した後、ステップ２０９において画像メモリに蓄積された画像を合成し、ステップ２１０において画像を出力して撮影が終了する。具体的に実施した例を以下に示す。

（実施例１）
図６は実施例１に係る撮像光学系、画素ずらし手段および撮像素子の構成を示している。撮像光学系として、直径２．２ｍｍの非球面レンズ６０１ａ、６０１ｂを２枚用いた。レンズの光軸は図６中のＺ軸とほぼ平行で、その間隔は３ｍｍとした。

画素ずらしをする第１の撮像系には、レンズ６０１ｂの光軸上にガラス板６０２を設けた。ガラス板６０２は、圧電アクチュエータおよび傾斜機構（図示せず）によりＸ軸、Ｙ軸に対して傾けることができる。本実施例は、水平方向（Ｘ軸方向）に画素ピッチの１／２（１．２μｍ）だけ画素ずらしをし、画素数を２倍にする構成とした。ガラス板６０２には、幅（Ｘ軸方向）２ｍｍ、高さ（Ｙ軸方向）２ｍｍ、厚さ（Ｚ軸方向）５００μｍの光学ガラスであるＢＫ７を用いた。

撮像素子６０３として、隣り合う画素のピッチが２．４μｍの白黒ＣＣＤ６０３を用いた。ガラス板６０２および撮像素子６０３の受光面は、図６中のＸＹ平面とほぼ平行となっている。また、各光学系に１対１に対応するように撮像素子６０３を、２つの領域６０３ａと６０３ｂとに分けている。読み出し回路、駆動回路を撮像素子６０３の各領域６０３ａ、６０３ｂ毎に設けることにより、各領域６０３ａ、６０３ｂの画像を個別に読み出せるようにした。

本実施例に係る装置を手で保持し、撮影を行ったところ、晴天における屋外の風景など、露光時間が短く、被写体の動きが少ない環境において、解像度が向上した。

なお、本実施例では画素ずらし手段としてガラス板を傾斜させる方法を用いているが、この方法には限らない。例えば、圧電素子を用いたアクチュエータや、電磁アクチュエータなどを用いて撮像素子やレンズを所定量だけ物理的に動かしてもよい。このように画素ずらし手段として他の手段を用いても、図６に示した構成は、ガラス板６０２を除き同様である。

また、本実施例では１つの撮像素子を異なる２つの領域に分けているが、それぞれの光学系と１対１に対応するように異なる２つの撮像素子を用いてもよく、撮像素子の形態は、複数の撮像領域がそれぞれの光学系と１対１に対応していればどのような形態でもよい。

（実施の形態２）
図７は、実施の形態２に係る撮像装置の構成を示している。実施の形態１との主な相違点は、実施の形態２は、視差量導出手段７００が加えられている点、撮像素子７０１が一体であり、略同一時刻に第１の撮像系と第２の撮像系の撮影が行われる点、および視差量とぶれ量とをもとに画像合成する画像を選択する最適画像選択手段７０２が加えられている点である。実施の形態１との重複部分については、説明は省略する。

図８は本実施の形態に係る撮像装置の全体動作のフローチャートを示している。ステップ２００の撮像開始指令、ステップ２０１の撮影前処理については、実施の形態１と同様である。

ステップ８００で画素ずらしによる撮影が行われる。ステップ８００は、ステップ８０１の撮像素子の露光処理と、ステップ８０２の撮像素子の画像の画像メモリ１０３への転送処理と、ステップ８０３の画素ずらし処理とを繰り返して行われる。

撮像素子７０１は、第１の撮像系１０６ｂと第２の撮像系１０６ａとで共有する構成になっているため、ほぼ同じタイミングで撮影されることになる。また、画素ずらし量は、手ぶれ量にかかわらず固定した値とし、手ぶれがないときに無効画素を有効に活用できるように設定した画素分（例えば、０．５画素分）とした。

すなわち、ステップ８００は実施の形態１の図２のステップ２０２に比べて、画素ずらし量を調整するために、第２の撮像系１０６aにおいて画像を取り込み、ぶれ量を導出するステップ（図２のステップ２０５）が省略されている。このため、画素ずらし無しで撮影する撮影時刻１と、画素ずらしをして撮影する撮影時刻２との間隔を短くすることができる。これにより、手ぶれが少なくなるとともに、被写体の動きが実施の形態１に比べて速い場合にも撮影できるようになる。

ステップ８０３の画素ずらしの撮影が終わった後、ステップ８０４で画像メモリ１０３に蓄積された画像のうち、時系列で撮影されたものを実施の形態１のステップ２０５と同様の方法で比較し、ぶれ量を求める。被写体の移動などがあると、ぶれ量は、画像の中においてすべて均一とならず、一括してぶれ量を求め重ね合わせると、正確に重なり合わず、場所によっては解像度が向上しないことになる。

そこで、画像をブロックに分割し、その分割したブロックごとにぶれ量を求めることにより、画像全体において解像度を向上させることができる。この分割は、長方形に限る必要は無く、被写体の検出を別途行い、被写体毎に分割して、ぶれ量を検出してもよい。

次に、ステップ８０５において、同時刻に光軸の異なる撮像系で撮影した画像を比較し、視差量を求める。光軸の異なる撮像系で撮影する場合、結像する位置がレンズの中心間距離だけ離れるだけではなく、被写体の距離に応じて、撮像素子上に結像する被写体像の相対位置が変化する。

この差を視差と呼んでいる。図９は視差を説明する図である。図９では、簡単のため、同じ特性の２つの撮像光学系１３０１ａ、１３０１ｂが距離Ｄ離れた位置に設置されており、各撮像光学系の結像面をそれぞれ１３０２ａ、１３０２ｂとしている。

このとき、撮像光学系１３０１ａと１３０１ｂとでは、異なる位置から同一被写体を観察することになる。このため、結像面１３０２ａ、１３０２ｂ上で結像する画像の間には視差が生じる。視差量Δは、下記の（数２）で与えられる。Ｄは撮像光学系１３０１ａの光軸と撮像光学系１３０１ｂの光軸との間隔、ｆは撮像光学系１３０１ａおよび１３０１ｂの焦点距離、Ａは被写体と結像面１３０２ａおよび１３０２ｂとの距離である。

Ａが十分大きく、被写体が無限遠にあるとみなせる場合は、視差量ΔはＤ・ｆ／Ａと表すことができ、Δは０とみなすことができる。この場合は、撮像光学系１３０１ａと１３０１ｂとにより撮影した画像は同一のものとみなすことができる。このため、レンズ中心間距離Ｄの補正をすれば、そのまま合成処理することができる。

しかし、Ａが小さい場合は、視差量Δは有限の値となり、無視することができない。すなわち、撮像光学系１３０１ａと撮像光学系１３０１ｂとで撮影した画像は、被写体の距離に依存して、視差によるずれがある画像であり、同一とみなすことができない。したがって、そのまま、重ねあわせて合成することができない。

この視差を補正するためには、被写体ごとに視差を求める必要がある。この視差は、同時刻に撮影した光軸の異なる画像を、それぞれブロックに分割し、対応するブロックがどの位置に移動しているかを調べればよい。この処理は、前記の画像を比較し、ぶれ量を求める場合と同様に、（数１）を用いて画像を比較し、相関の高い場所を探索する処理をすることにより、実現することができる。

なお、レンズ中心間距離Ｄはレンズ間距離から算出してもよいが、無限遠にマーカーとなる被写体を設置し、その画像が結像する位置をレンズの中心とみなし、算出してもよい。

また、ブロックの分割の方法はこの方法に限らず、画素数や形状を変えて分割してもよい。ぶれ導出のときとは異なり、視差が生じる方向は撮像素子の原点（撮像素子と、それぞれが対応する光学系の光軸との交点）を結ぶ直線方向に限られるので、視差検出の際には、その方向に合わせて（数１）におけるｍ、ｎの組み合わせを限定すればよい。

次に、ステップ８０６では、ぶれ量と視差量とをもとに合成した場合に解像度が向上する組み合わせになっている画像を選択する。前記のように画素ずらしにより解像度が向上するのは、重ね合わせる画素が無効部分を活用するようにずれていればよく、時系列で画素ずらしした画像だけでなく、視差や手ぶれによりずれている場合も同様に利用できる。

図１０は最適画像の選択方法の説明図である。本図の斜線部は、撮像素子上に結像した被写体像である。時刻１において、第２の撮像系の撮影領域１０００ａと第１の撮像系の撮像領域１０００ｂには、被写体像１００１ａと１００１ｂとが結像している。被写体は、第２の撮像系の中心線上にあるとする。このとき、視差により、撮像領域１０００ｂ上では、Δだけずれた位置に被写体像１００１ｂが結像している。

それぞれの撮像領域の画像を画像メモリ１０３に転送すると、２次元データとして格納される。各画像領域の左上の点を原点とし、被写体像の位置を座標で示すと、被写体像１００１ａの左上の座標は（ａｘ，ａｙ）となり、被写体像１００１ｂの左上の座標は、視差Δの分だけずれているので、（ａｘ＋Δ，ａｙ）となる。

次に、時刻２においては、第２の撮像領域は１００２ａとなり、第１の撮像領域は１００２ｂとなり、そのときの被写体像が１００３ａ、１００３ｂとなったとする。第１の撮像系は、画素ずらし手段により、０．５画素右側に移動させた。撮像領域１００２ａ上の被写体像１００３ａは、原点から（ｂｘ、ｂｙ）ずれた位置に結像している。

被写体の動きが無いとすると、このずれ量は、手ぶれによりずれである。それぞれの画像領域の画像を画像メモリに転送し、座標で表示すると、被写体像１００３ａの左上の座標は、（ａｘ＋ｂｘ，ａｙ＋ｂｙ）となる。撮像領域１００２ｂは、画素ずらしされているので、座標の原点が右側に０．５画素ずれることになる。このため、第２の撮像系の撮像領域１００２ａと比べると、第１の撮像系の撮像領域１００２ｂにおいては、座標の原点が０．５画素分だけ被写体像１００３ｂに、近づいていることになる。また、時刻１と同様に、被写体像１００３ｂは、視差Δの分だけ右側にずれていることになる。したがって、被写体像１００３ｂの左上の座標は、（ａｘ＋ｂｘ＋Δ−０．５，ａｙ＋ｂｙ）となる。

図１１は、最適画像の選択方法の別の説明図である。ずれ量ｂｘ及び視差量Δは、整数ピッチに近い場合と、整数ピッチに０．５画素ピッチを加えた値に近い場合とに、区分することができる。ずれ量ｂｘ及び視差量Δを整数ピッチ以下の値で表現すると、整数ピッチの場合はｂｘ＝０、Δ＝０となり、整数ピッチに０．５画素ピッチを加えた値の場合はｂｘ＝０．５、Δ＝０．５になる。

図１１のｂｘ、Δは、整数ピッチ以下の値を示している。図１１中の各値は、基準となる撮像領域１０００ａのＸ座標の値ａｘを０として、被写体の各Ｘ座標の値を算出したものである。図１１中、０で示したところは、被写体を画像に変換する撮像素子の画素と被写体の位置関係が、基準となる撮像領域１０００ａの場合に比べ整数ピッチずれていることを示している。０．５で示したところは、０．５画素ピッチずれていることを示している。この０．５で示した部分に対応する画像は、無効部分を有効活用できる画像である。

ここで、図１１から分るように、視差量Δ、手ぶれ量ｂｘがどのような組み合わせになっても、４枚の画像にはＸ座標の値の算出値が０．５になる画像がある。このため、どの組み合わせにおいても、無効部分を有効に利用した画像を得ることが可能となる。すなわち、手ぶれ、被写体の距離によらず、解像度を向上させることができる。

なお、手ぶれ量、視差量ともに、０．５画素単位でデジタル的に変化するのではなく、実際には、連続的に徐々に変化する。このため、図１１中のｂｘ、Δの値を０．５としている部分は、０．５に近い値（例えば０．３から０．７までの値）の場合もある。また、０としている部分は、０に近い値（例えば０．３に満たない値、０．７より大きい値）の場合もある。一方、画像のデータは、グリッド上に配置されている必要がある。そこで、画像を重ね合わせ合成する際に、線形補完処理などを行えばよい。

なお、本実施の形態では、撮像素子の水平方向の画素ピッチを基準に最適画像の選択を行なったが、斜め方向の画素ピッチを基準としてもよい。また、状況に応じて画素ピッチの基準を混在させてもよい。

（実施例２）
以下、実施の形態２に係る実施例２について説明する。実施例２の外観上の構成は実施例１の図６と同様の構成であり、実施例２の光学系、画素ずらし機構についても、実施例１と同じであり、重複説明は省略する。

実施例２は、撮像素子６０３が略同一時刻に露光し、画像を転送する点と、画素ずらし機構の駆動量が固定されている点が異なる。

画素ずらしを行う第1の撮像系として、レンズ６０１ｂの光軸上に厚さ５００μｍの光学ガラスＢＫ７（図中６０２）を設け、圧電アクチュエータおよび傾斜機構により約０．４度傾けることにより、被写体像を水平方向（Ｘ軸方向）に画素ピッチの１／２（１．２μｍ）だけ画素ずらし、画素数を２倍にする構成とした。

この構成により、１回の画素ずらしをして画像メモリに記憶された画像を図１２に示す。１枚目の画像を撮影した時刻を撮影時刻１、画素ずらしをした後（ガラス板を傾斜させた後）に２枚目の画像を撮影した時刻を撮影時刻２とする。

本実施例では、被写体の移動が十分小さい場面（例えば風景など）を撮影した。したがって、撮影時刻１に撮影した画像７０１と、撮影時刻２に撮影した画像７０３とには被写体ぶれはない。ぶれが存在する場合は、異なる時刻１、２間において手ぶれにより画像全体が移動している場合である。

そこで、画像全体が均一に移動するとみなし、画素ずらしをしない第２の撮影系で撮影した撮像時刻１の画像７０１と、撮影時刻２に同撮像系で撮影した画像７０３とを比較して手ぶれ量を導出した。より具体的には、画像７０１の中央部分（例えば１００×１００画素の領域）が、画像７０３のどの領域に移動したかを前記の（数１）を用いた画像比較方法で評価し、手ぶれ量を導出した。その結果、ぶれ量は画面上方向に２．２画素、横方向に２．５画素であった。

この場合、画面上方向のぶれ量２．２画素のうち整数ピッチ以下の値ｂｙは０．２画素になり、ｂｙ＝０とみなすことができる。横方向のぶれ量２．５画素のうち整数ピッチ以下の値ｂｘは、０．５画素になり、ｂｘ＝０．５となる。

なお、比較する領域のサイズは、正方形に限る必要はなく任意に設定してもよい。

また、視差量導出手段により、撮像時刻１における撮像画像７０１と撮像画像７０２とから、視差量を求めた。その結果、被写体距離が遠いため、視差量は画像のいずれの領域においても、０．１画素以下であり、Δ＝０とみなすことができる。すなわち、視差量の分布は無視し、全体が均一な視差であるとみなすことができる。

これらのぶれ量と視差量をもとに、最適画像選択手段で、合成する画像を選択する。前記の結果は、図１１のΔ＝０、ｂｘ＝０．５の部分に相当する。最適画像選択手段は、図１１のΔ＝０、ｂｘ＝０．５の列において、０の部分と０．５の部分に相当する画像の組み合わせを選ぶことになる。

この場合、３枚分の画像の値が０であるので、複数の組み合わせが選択可能になる。このように、複数の組み合わせがある場合、同じ時刻で組み合わせる場合を選択すると被写体のぶれが小さくなり、より高解像度な画像が得られる。

なお、前記の図１１の例では、Ｙ軸方向のぶれ量の整数ピッチ以下の値ｂｙがｂｙ＝０とみなされる場合について説明したが、ｂｙ＝０．５とみなされる場合であってもよい。この場合は、解像度向上に寄与する画像が、光電変換部の下側の無効部分に対応した位置で撮影した画像、または光電変換部の右下部分の無効部分に対応した位置で撮影した画像になる。

また、本実施例では画素ずらし手段としてガラス板を傾斜させる方法を用いているが、この方法には限らない。例えば、圧電素子を用いたアクチュエータや、電磁アクチュエータなどを用いて撮像素子やレンズを所定量だけ物理的に動かしてもよい。

また、本実施例では１つの撮像素子を異なる２つの領域に分けているが、それぞれの光学系と１対１に対応するように異なる２つの撮像素子を用いてもよい。撮像素子の形態は、複数の撮像領域がそれぞれの光学系と１対１に対応していればどのような形態でもよい。

（実施例３）
本実施例は、撮影対象の被写体の移動量が存在する（例えば人や動物など）点が実施例２と異なる。本実施例では、１枚目の画像を撮影し、そのデータをメモリに記憶して２枚目の撮影を行なうまでの間に、被写体が別の場所に移動してしまい、１枚目の画像と２枚目の画とでは、被写体の一部が別の場所に移動するような場面を撮影する。

基本的な構成については実施例２と同様であるので、重複部分については説明を省略する。被写体の移動がある場合は、画像全体が均一に移動することはなく、実施例２のように画像の一部領域の移動から、全体の移動を推定することができない。

そこで実施例３では、画像を複数のブロックに分割するブロック分割手段を備えており、ブロック毎にぶれ量を導出するようにしている。ブロック分割手段は、システム制御手段１００で制御され、画素ずらしをしない第２の撮像系１０６ａで撮影した１枚目の画像全体を１０×１０画素のブロックに分割する。ぶれ量導出手段１０４は、そのブロックごとに、分割したそれぞれの画像が２枚目の画像のどの位置に対応するのかを調べるようにしている。画像の移動量の導出には（数１）を用いた。

図１３は本実施例において画像メモリに記憶された画素ずらしをしない第２の撮像系１０６ａで、時系列撮影した画像を示したものである。図１３Ａは撮影時刻１に撮影した画像であり、図１３Ｂは、撮影時刻２に撮影した画像である。また、図１３Ｃはブロックごとに導出した画像の移動量を示したものである。

図１３Ｃにおいて、Ａと示しているブロックは図１３Ａにおいて右に１０．１画素のぶれが導出されたブロックであり、Ｂと示しているブロックは図１３Ａにおいて左に８．８画素のぶれが導出されたブロックである。このぶれ量には、手ぶれと被写体の動きが積算されている。

同様に視差に関しても、ブロックに分割し、それぞれのブロックについて求めることができる。これらのぶれ量と視差量を合わせたものの中から、実施例２の場合と同様に、整数ピッチ（または整数ピッチに近い）の配置のものと、０．５画素ピッチ（または０．５画素ピッチに近い）の配置のものを選び出すことによって、合成したときに、解像度が向上する画像を選び出すことができる。

このようにして、ブロック毎に選び出した最適画像を合成することにより、被写体の移動が大きい場合でも、画像全体で、解像度を向上させることができる。

なお、ユーザーの選択によって、手ぶれのみ補正を行ない、被写体ぶれの補正を意図的に行わないように画像処理することにより、動きのある場面の躍動感を強調する補正モードを設けることもできる。

また、被写体が移動している場合、時系列で撮影した画像において、一部被写体が隠れる部分が存在する（図１３Ｃにおいて×で示したブロック）。このような場合には、その部分だけ、複数の画像の合成をすることなくある特定の時刻に撮影した画像のみを選択すること自然な仕上がりの画像を得ることができる。

また、画素ずらし技術は、解像度を向上させる技術であるため、撮影対象の被写体が滑らかな表面や、レンズの解像性能以下の細かな模様に関しては、効果が無い。一方で、画素ずらしをする上では、撮影と撮影の間にかかる時間を短縮することで、手ぶれや被写体ぶれが小さくなり、解像度が向上する。

そこで、ブロックに分割した画像を分析し、画素ずらしの効果が無い画像である場合は、そのブロックについては、処理を中止することで、撮影間隔を短くすることができる。一般的に解像度が高い部分は、フーリエ変換すると高周波成分が多く見られる。そこで、画像を取り込みブロック分割したのちに、画像の周波数成分を分析し、所定の条件以下であれば、その部分のぶれ量導出や視差計算を中止すればよい。

また、撮影と撮影の間には、露光する時間と、撮像素子から画像メモリに画像を転送する時間がある。露光は一括で行われため省略できないが、画像メモリへの転送は、必要なブロックのみにすることにより、処理時間を短縮することができる。

（実施例４）
本実施例は、画像の中の異なる被写体を判別する被写体判別手段を用いている点が前記の実施例３と異なっている。被写体判別手段を用いることにより、被写体ごとにぶれ量を導出することが容易となる。このため、手ぶれに加えて被写体ぶれが存在するような、画像の中でぶれ量が異なる場合にもぶれ量を正確に導出することができる。

また、実施例３のように画像をブロックに分けてぶれ量を導出する場合にも、被写体ごとにブロック分けをしたり、被写体ごとにブロックの大きさを変えたりすることができる。また、画像合成する際に、ある特定の被写体のみを選択的に合成することもできる。

被写体判別手段としては、電波などにより被写体までの距離を測り、異なる画像領域を識別する手段、画像処理によりエッジ検出などをして異なる被写体を判別する手段、視差量を利用し被写体を画像から抽出する方法などがある。また、これらに限るものではなく、画像の中の異なる被写体を判別できれば、具体的手段は問わない。本実施例における基本的な構成については、実施例２と同様であるので重複部分については説明を省略する。

図１４は、本実施例で撮影した画像、および被写体判別手段により判別した被写体群を示す図である。本実施例では、撮影した画像を１０×１０画素のブロック（横１１×縦９）に分け、それぞれのブロックごとに電波により被写体までの距離を測り異なる被写体を判別した。被写体の判別では、距離の測定においてある誤差範囲内に入るものを同一被写体として判別した。本実施例では、誤差範囲を５％とした。

図１４Ａは撮影時刻１に第２の撮像系１０６ａで画素ずらしをせず撮影した画像であり、図１４Ｂは撮影時刻２に第２の撮像系１０６ａで画素ずらしをせず撮影した画像である。また、ブロック毎に電波により測定した距離（単位はメートル）を示している。この距離については、ブロック毎に求めた視差Δを用いて、前記の（数１）によりブロック毎に距離Ａを算出するようにしてもよい。

撮影時刻１に撮影する前、電波により被写体の距離を測定したところ、図１４Ａのように、大きく２つの被写体群を判別できた。１つは距離およそ５メートルにおける被写体群１、もう１つは距離およそ２メートルにおける被写体群２である。各被写体群は、前記の５％の誤差範囲内に入る距離で判別されている。

撮影時刻２に撮影する前、電波により被写体の距離を測定したところ、それぞれの被写体群は図１４Ｂのように判別された。本実施例では、これら被写体群ごとに画素ずらし前後におけるぶれ量の導出を行なった。

ぶれ量導出手段により、それぞれの被写体群のぶれ量を導出したところ、被写体群１に関しては、図中左方向に１０.３画素ピッチのぶれが導出された。このぶれは、図中には１ブロックのぶれとして図示している。被写体群２に関しては、被写体ぶれが大きく、一部画像からはみ出してしまっているため、被写体群全体としてのぶれ量を正確に導出することができなかった。

そこで、本実施例においては、撮影時刻２に撮影した画像において、被写体群１のみぶれ補正を行ない画像合成を行なうことにした。最適画像選択手段によって画像を選択する方法は、実施例２と同様な方法を用いた。

より具体的には、被写体群１の１０.３画素ピッチのぶれのうち整数ピッチ以下の値ｂｘは０．３画素になり、図１１におけるｂｘはｂｘ＝０．５とみなすことができる。

なお、被写体群１は、左方向に移動しているので、ｂｘの値を負の値−０．５とすることもできる。この場合は、表１１中の０．５が−０．５となる。また、Δ＝０、ｂｘ＝−０．５のときのａｘ＋ｂｘ＋Δ−０．５の値は、−１となるが、これは整数ピッチであるので０になり、ｂｘ＝０．５のときと同じである。

すなわち、ｂｘの正負の差は、有効活用する無効画素の位置が光電変換部の右であるか左であるかの差であり、解像度への寄与は同じである。

本実施例のように、被写体判別手段を用いて異なる被写体を判別することにより、その被写体ごとにぶれ量の導出ができるため、正確に画像のぶれ量を補正することができる。

また、手ぶれ、および被写体ぶれにより画像が一部撮影範囲内からはみ出してしまい画像を認識できない場合は、その画像領域において画素ずらしによる高解像度化を行なわず、撮影した複数の画像の中から１枚のみを選択すればよい。

（実施例５）
図１５に、本実施例に係る撮像系、画素ずらし手段および撮像素子の構成を示す。撮像光学系として、直径２ｍｍの非球面レンズ１１０１ａ〜１１０１ｄを用いた。レンズの光軸は、図１５中のＺ軸とほぼ平行となっており、間隔は２．５ｍｍである。各レンズの前（被写体側）には、特定の波長のみを透過する波長分離手段としてカラーフィルター１１０２ａ〜１１０２ｄを設けた。１１０２ａ、１１０２ｄは緑色を透過するカラーフィルター、１１０２ｂは赤色を透過するカラーフィルター、１１０２ｃは青色を透過するカラーフィルターである。

１１０３ａ〜１１０３ｄは、各レンズと１対１に対応する４つの撮像素子であり、駆動回路を共通にし、同期して動作するようにした。各光学系（色成分）により撮影した画像を合成することにより、カラー画像を得ることができる。撮像素子の画素ピッチは、本実施例では３μｍである。

また、各レンズおよび撮像素子は、図１５中のＸ軸と平行かつ等間隔に設置されており、各撮像素子の受光面は、図１５中のＸＹ平面とほぼ平行となっている。

１１０４は、画素ずらし手段となる圧電微動機構である。画素ずらしをする第１の撮像系として、撮像素子１１０３ａ〜１１０３ｃは圧電微動機構１１０４に取り付け、図中Ｘ方向、Ｙ方向に駆動できるようにした。１１０３ｄは、圧電微動機構とは独立しており、画素ずらしをしない第２の撮像系となる。

図１６は、圧電微動機構１１０４の平面図である。中央部分のステージ１２０１に、撮像素子１１０３ａ〜１１０３ｃが設置される。積層型の圧電素子１２０２ａ、１２０２ｂによってステージ１２０１を図中のＸ軸方向に微動し、積層型の圧電素子１２０３ａ〜１２０３ｄによって、ステージ固定枠１２０２を図中のＹ軸方向に微動する。このことにより、撮像素子を撮像素子の水平面内で直交する２軸方向に、独立して微動させることができる。

本実施例では、１回の撮影指令により画素ずらしをしながら、各撮像素子について４枚分の撮影をした。１枚目の撮影により、４つの各撮像素子１１０３ａ〜１１０３ｄに対応した４枚の画像が得られる。３つの各撮像素子１１０３ａ〜１１０３ｃはＸ方向、Ｙ方向に０．５画素ピッチ（１．５μｍ）ずつ移動させながら撮影する構成にした。具体的には、画素ずらしをしない状態で１枚目の撮影を行い、Ｘ方向に０．５画素ピッチ動かして２枚目の撮影を行ない、次にＸ方向の位置を保ったままＹ方向に０．５画素ピッチ動かして３枚目の撮影を行ない、最後にＹ方向の位置を保ったままＸ方向に−０．５画素ピッチ動かして４枚目の撮影を行なった。これら４枚の画像を合成することによって、高解像度な画像を得るようにした。

まず、画素ずらしをしない第２の撮像系のレンズ１１０１ｄを用いて時系列的に撮影した複数の画像からそれぞれの撮影時刻におけるぶれ量を導出した。また、緑色のカラーフィルター１１０２ａを取り付けた第１の撮像系と、緑色のカラーフィルター１１０２ｄを取り付けた第２の撮像系とで１枚目に撮影した画像から、視差量導出手段により、視差量を求めた。これは、同色のカラーフィルターを用いて撮影した画像の方が、画像の比較をし易く、視差量をより精密に求めることができるためである。

次に、導出したぶれ量、視差量をもとにして、最適画像選択手段で画像合成をする画像を選択し、各色の画像を合成した。カラー画像を生成するためには、各画素において、三原色の輝度データが必要となる。緑色の画像データは、第１の撮像系と第２の撮像系の両方に入っているため、解像度を向上させることができる。

一方、赤色、青色の画像に関しては、画素ずらしをすることなく撮影した画像が無いため、ぶれ量や視差量によっては、０．５画素ずれている（無効部分を利用した）画像が得られず解像度が向上しないことがある。

しかしながら、一般的に人の目は緑色に関する情報を多く受けるので、青色、赤色の解像度が緑色に比べて悪くなっていても、自然風景や人物などを撮影する際には影響を受けにくい。また、画像の局所領域では、緑色と青、赤の画像に強い相関があることが知られており、この特性を利用し、緑色の画像から、青、赤の画像の補間部分を推測することも可能である。

また、緑、赤、青色の各色すべてについて、画素ずらしをしない撮像光学系を備えた構成にすれば、最適画像選択手段が選択する画像に、無効部分を利用できる０．５画素ずれている画像を確実に含ませることができ、確実に高解像度な画像が得られる。

なお、本実施例では、４つの光学系を１つの直線上に配置したが、この配置に限定する必要はない。図１７は、４つの光学系の配置の別の一例を示している。図１７Ａは、４つの光学系を長方形の頂点に配置した例である。Ｇ０、Ｇ１は緑、Ｒは赤、Ｂは青の波長分離手段（カラーフィルター）を示している。

図１７Ｂは、図１７Ａの配置において、視差量の導出を説明する図である。視差量の導出には、対角線上に配置された緑色の撮像系を用いる。その他の赤色、青色の撮像系の視差は、４つの光学系が長方形の長方形状に配置されているため、緑色の撮像系における視差量の直交成分となる。

また、本実施例ではレンズの前にカラーフィルターを設けて波長分離をしているが、レンズと撮像素子の間にカラーフィルターを設けたり、レンズ上に直接カラーフィルターを形成したりしてもよい。

また、カラーフィルターは、Ｒ、Ｇ、Ｂの３原色に限る必要はなく、補色フィルターを用いて波長を分離し、画像処理によりカラー情報を反転し合成してもよい。

さらに、波長分離手段はカラーフィルターに限らない。例えば、画素ずらし手段としてガラス板を用いて傾斜させる機構を用いた場合には、そのガラス板として色ガラスを用いることもできる。このように、波長分離手段としては、所定の波長成分のみを分離する手段であれば、具体的手段は問わない。

また、緑色を扱う光学系で撮影された画像を比較し、視差およびぶれ量を導出した例で説明したが、緑色に限る必要はなく、同色の波長分離手段を第１の撮像系と第２の撮像系に配置することにより、同様な結果を得ることが可能である。

（実施の形態３）
図１８は、実施の形態３の撮像装置における全体動作を示すフローチャートである。前記実施の形態２は、最初に画素ずらしの動作方法を決めて、規定回数撮影する構成である。実施の形態３は、撮影した画像に応じて、撮影枚数が異なる構成である。

図１８において、ステップ１５００、１５０１、１５０３、１５０４は、図８のステップ２００、２０１、８０１、８０２と同様である。図１８の構成は、これ以降の構成が、図８の構成と異なっている。図１８のフローチャートでは、画素ずらしと撮影を繰り返す処理ステップ１５０２のうち、ステップ１５０５でぶれ量を求め、ステップ１５０６で合成する画像を選択する。

ぶれ量、視差量によっては、１回の撮影で、合成に必要な０．５画素ピッチずれた画像が複数得られることになる。このため、最初に決めた画素ずらし動作を行うと、同じ位置関係の画像を取り込むことになり、高解像度化に貢献しない画像を取り込むことになる。

したがって、ステップ１５０６で画像の選択を行った後、ステップ１５０７では、合成に足りない画像を見つけ出し、その画像が得られるようにズレ量を決定し、ステップ１５０８では、画素ずらしを実行する。

ステップ１５０２における一連のステップを、合成に必要な画像が得られるまで繰り返してステップ１５０２が終了する。その後は、ステップ１５０９で視差量を導出し、ステップ１５１０において画像メモリに蓄積された画像を合成し、ステップ１５１１において画像を出力して撮影が終了する。

このような処理により、画素ずらしの回数を少なくすることができ、手ぶれや被写体の移動の影響を最小限に抑え、より高解像度の画像を得ることができるようになる。

以上のように、本発明によれば、画素ずらしをする際に手ぶれ、被写体ぶれが存在したとしても、画素ずらしの効果の低下を防止でき、高解像度な画像を得ることができる。このため、本発明は、例えばデジタルスチルカメラ、携帯電話などにおける撮像装置に有用である。

本発明の実施の形態１に係る撮像装置の構成を示すブロック図。 本発明の実施の形態１に係る撮像装置における全体動作を示すフローチャート。 本発明の一実施の形態に係る比較元領域と評価領域との位置関係を示す図。 本発明の一実施の形態において、手ぶれによる画像の動きを示す図。 本発明の一実施の形態において、画素ずらし量の調整を説明する図。 本発明の実施例１に係る撮像光学系、画素ずらし手段および撮像素子の構成図。 本発明の実施の形態２に係る撮像装置の構成を示すブロック図。 本発明の実施の形態２に係る撮像装置の全体動作のフローチャート。 本発明の一実施の形態において視差を説明する図 本発明の一実施の形態において、最適画像の選択方法を説明する図。 本発明の一実施の形態において、最適画像の選択方法を説明する別の図。 本発明の実施例２において、１回の画素ずらしをして画像メモリに記憶された画像を示す図。 本発明の実施例３において、画像メモリに記憶された画素ずらしをしない第２の撮像系で時系列撮影した画像を示す図。 本発明の実施例３で撮影した画像、および被写体判別手段により判別した被写体群を示す図。 本発明の実施例５に係る撮像光学系、画素ずらし手段および撮像素子の構成図。 本発明の一実施の形態に係る圧電微動機構の平面図。 本発明の一実施の形態に係る光学系の配置の一例を示す図。 本発明の実施の形態３に係る撮像装置における全体動作のフローチャート。 従来の複眼方式の撮像装置の一例の要部の概略斜視図。 従来の画素ずらしを用いた高解像度化の概念説明図。

Claims (9)

1. 光学系と撮像素子とを含みそれぞれ光軸が異なる撮像系を複数備えた複眼撮像装置であって、
   前記複数の撮像系は、
   前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係を変化させる画素ずらし手段を持つ第１の撮像系と、
   前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が時系列の撮影において固定されている第２の撮像系とを含んでおり、
   時系列で撮影した複数フレームの画像情報を蓄積する画像メモリと、
   前記画像メモリに蓄積された前記複数フレームの画像情報を比較して、ぶれ量を導出するぶれ量導出手段と、
   前記第１の撮像系と第２の撮像系とでそれぞれ撮影された画像から視差の大きさを求める視差量導出手段と、
   前記画像メモリに蓄積された前記複数フレームの画像を合成する画像合成手段と、
   前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記画像メモリに蓄積された前記第１の撮像系で撮影された画像情報と、前記第２の撮像系で撮影された画像情報とから前記画像合成手段の合成に用いる画像情報を選択する最適画像選択手段と、を備えていることを特徴とする複眼撮像装置。
2. 前記画素ずらし手段による前記位置関係の変化量が固定されている請求項１に記載の複眼撮像装置。
3. 前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記画像合成手段の合成に用いる画像を補正する請求項１に記載の複眼撮像装置。
4. 異なる被写体を判別する手段をさらに備えており、
   前記ぶれ量導出手段は、前記異なる被写体毎にぶれ量を導出し、
   前記画像合成手段は、前記異なる被写体毎に画像を合成する請求項１に記載の複眼撮像装置。
5. 画像情報を複数のブロックに分割する手段をさらに備えており、
   前記ぶれ量導出手段は、前記複数のブロック毎にぶれ量を導出し、
   前記画像合成手段は、前記複数のブロック毎に画像を合成する請求項１に記載の複眼撮像装置。
6. 前記光軸が異なる複数の撮影系は、
   赤色を扱う撮像系と、
   緑色を扱う撮像系と、
   青色を扱う撮像系とで構成されており、
   前記各色に対応した撮像系のうち、少なくとも１色に対応した撮像系の個数は、２個以上であり、
   前記同色を扱う２個以上の撮像系は、前記第１の撮像系と前記第２の撮像系とを含んでいる請求項１に複眼撮像装置。
7. 画像情報を複数のブロックに分割する手段をさらに備えており、
   前記ぶれ量導出手段は、前記複数のブロック毎にぶれ量を導出し、
   前記視差量導出手段は、前記複数のブロック毎に視差量を導出し、
   前記画像合成手段は、前記視差量導出手段によって求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき、前記複数のブロック毎に画像を補正し合成する請求項１に記載の複眼撮像装置。
8. 光学系と撮像素子とを含み、それぞれ光軸が異なる第１の撮像系と第２の撮像系とを含む複眼撮像装置を用いた撮像方法であって、
   略同一時刻に、前記第１の撮像系及び前記第２の撮像系において撮影する、第１の撮影ステップと、
   前記第１の撮影ステップとは異なる時刻であって、略同一時刻に、
   前記第１の撮像系において、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が、第１の撮影ステップにおける位置関係と異なる関係で撮影し、前記第２の撮像系において、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が、第１の撮影ステップにおける位置関係と同じ関係で撮影する、第２の撮影ステップと、
   前記第１の撮影ステップ及び前記第２の撮影ステップにおいて、前記第２の撮像系で撮影された画像を比較して、ぶれ量を導出するぶれ量導出ステップと、
   前記第１の撮影ステップにおいて、前記第１の撮像系及び前記第２の撮像系で撮影された画像から、視差の大きさを求める視差量導出ステップと、
   前記ぶれ量導出ステップにおいて求めたぶれ量と、前記視差量導出ステップにおいて求めた視差量とに基づき、前記第１の撮影ステップ及び前記第２の撮影ステップにおいて、前記第１の撮像系及び前記第２の撮像系で撮影された画像の中から、合成した場合に解像度が向上する組合せの画像を選択する、画像選択ステップと、
   前記画像選択ステップにおいて、選択した画像を合成する画像合成ステップと
   を含む撮像方法。
9. 前記第２の撮影ステップにおける、前記第１の撮像系の前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係は、
   前記第１の撮影ステップにおける位置関係に対し、前記ぶれ量導出ステップにおいて求めたぶれ量によらず固定された量だけ異なる関係である、
   請求項８に記載の撮像方法。

Images