JP6381112B2 - 撮像装置、撮像方法、プログラム - Google Patents

Description

本発明は、画素ずらしを行って高解像度の合成画像データを生成する撮像装置、撮像方法、プログラムに関する。

画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像データを合成し、高解像度の合成画像データを生成する技術は、従来より提案されている。

こうした技術においては、複数の画像間の画素ずらしを高い精度で実行する必要があり、手ブレや被写体ブレの影響があると、高解像度の合成画像データを生成することができない。

そこで例えば、特開平７−１７７４２４号公報には、画素ずらし撮影において振動を検知し、合成に適した画像が撮影されるまで再露光を繰り返して行う技術が記載されている。

また、特開２００６−１１５０７４号公報には、露光後の画像転送に要する時間を削減することにより、撮影の時間間隔を短縮する技術が記載されている。そしてこれにより、三脚などの固定手段を用いることなく、画素ずらしによる擬似高解像度化が可能になるとされている。

ところで、画素ずらしは高いレスポンスでの高精度な動きが必要であるために、例えば特開平８−２５１６０４号公報に記載されているように、ボイスコイルモータ（ＶＣＭ）が利用されることがある。

このボイスコイルモータ（ＶＣＭ）は、対象物（例えば、撮像素子、あるいはレンズ等）を磁力で宙に浮かせて、磁力を制御することにより位置を移動するものとなっている。従って、画素ずらし位置を一定に保とうとしても微小振動が発生する。このとき、何らかの要因により、図２２に示すように、ある画素ずらし位置（例えばセンサ位置）からのズレ量が許容範囲を超えてしまうことがある。

ここに図２２は、第２フレーム画像Ｆ２を露光している最中に、許容範囲を超える位置ズレが発生した様子を示す図である。なお、この図２２および後述する図２３には、垂直方向のセンサ位置を半画素ピッチＨＰＰずつ画素ずらししながら、露光時間Ｔｅで複数のフレーム画像Ｆ１，Ｆ２，…を撮影する様子を示している。

図示のようにセンサ位置に許容範囲を超える位置ズレが発生すると、位置ズレが発生した画像部分を含む第２フレーム画像Ｆ２を、位置ズレが発生していないその他のフレーム画像Ｆ１，Ｆ３，Ｆ４，…と合成して得られる合成画像ＳＰには、アーチファクト領域ＡＦＴが生じてしまう。このようなアーチファクト領域ＡＦＴでは、解像度の向上も期待することができない。

このために、従来は、例えば図２３に示すような処理を行っている。ここに図２３は、従来において、許容範囲を超える位置ズレが発生したフレーム画像を再撮影する様子を示す図である。

この図２３に示す例では、第２フレーム画像Ｆ２の撮影時に許容範囲を超える位置ズレが発生したために、第２フレーム画像Ｆ２の撮影が終了した後に、再度、第２フレーム画像の撮影を行ってＦ２−２を取得している。しかし、再度の第２フレーム画像Ｆ２−２の撮影中にも許容範囲を超える位置ズレが発生したために、再々度、第２フレーム画像の撮影を行ってＦ２−３を取得している。この第２フレーム画像Ｆ２−３の撮影中には許容範囲を超える位置ズレは発生しなかったために、その後は続く第３フレーム画像Ｆ３、第４フレーム画像Ｆ４、等の撮影を行っている。

特開平７−１７７４２４号公報 特開２００６−１１５０７４号公報 特開平８−２５１６０４号公報

図２３に示したように、合成画像を作成するための複数のフレーム画像を取得する際に、従来は、許容範囲を超えたフレームについて再撮影を行っていたために、撮影時間がフレーム単位で増加し、高解像度の合成画像を取得するまでに長い時間を要していた。

本発明は上記事情に鑑みてなされたものであり、解像感を損なうことのない合成画像を取得するまでの時間を短縮することができる撮像装置、撮像方法、プログラムを提供することを目的としている。

本発明のある態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、上記画素ずらし部に画素ずらしを行わせ、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御部と、上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、上記撮像素子の画素領域としての特定領域を設定する領域特定部と、上記撮影動作中の上記相対位置を時系列に検出する位置検出部と、を有し、上記領域特定部は、上記位置検出部により検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定し、上記撮像制御部は、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させ、上記画像合成部は、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成する。

本発明のある態様による撮像方法は、所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらしステップと、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御ステップと、上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、上記撮像素子の画素領域としての特定領域を設定する領域特定ステップと、上記撮影動作中の上記相対位置を時系列に検出する位置検出ステップと、を有し、上記領域特定ステップは、上記位置検出ステップにより検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定するステップであり、上記撮像制御ステップは、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させるステップであり、上記画像合成ステップは、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成するステップである。
本発明のある態様によるプログラムは、撮像装置のコンピュータに、以下の各ステップを実行させるためのプログラム、所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらしステップと、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御ステップと、上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、上記撮像素子の画素領域としての特定領域を設定する領域特定ステップと、上記撮影動作中の上記相対位置を時系列に検出する位置検出ステップと、ここに、上記領域特定ステップは、上記位置検出ステップにより検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定するステップであり、上記撮像制御ステップは、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させるステップであり、上記画像合成ステップは、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成するステップである。

本発明の撮像装置、撮像方法、プログラムによれば、解像感を損なうことのない合成画像を取得するまでの時間を短縮することが可能となる。

本発明の実施形態１におけるデジタルカメラの構成を示すブロック図。 上記実施形態１のデジタルカメラにおけるメイン処理の流れを示すフローチャート。 上記実施形態１のデジタルカメラにおける撮影処理の流れを示すフローチャート。 上記実施形態１のボイスコイルモータ（ＶＣＭ）による撮像素子のセンタリング位置の例を示す図。 上記実施形態１において、あるフレーム画像を撮影している最中に、許容範囲を超えるセンタリング位置の位置ズレが発生した例を示すタイミングチャート。 上記実施形態１において、位置ズレの影響を含むフレーム画像と再撮影された部分フレーム画像とを合成する処理を説明するための図。 上記実施形態１の合成処理部の構成を示すブロック図。 上記実施形態１において、撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図。 上記実施形態１において、８枚分の図８に示す画素配置から画素配置部により得られたＲ画素配置を示す図。 上記実施形態１において、８枚分の図８に示す画素配置から画素配置部により得られたＧｒ画素配置を示す図。 上記実施形態１において、８枚分の図８に示す画素配置から画素配置部により得られたＧｂ画素配置を示す図。 上記実施形態１において、８枚分の図８に示す画素配置から画素配置部により得られたＢ画素配置を示す図。 上記実施形態１の合成処理部により合成された高解像度のベイヤ画像の画素配置を示す図。 上記実施形態１において、許容範囲を超える位置ズレが発生したフレームの直後に、再撮影領域の再撮影を行う例を示すタイミングチャート。 本発明の実施形態２のデジタルカメラにおける撮影処理の流れを示すフローチャート。 上記実施形態２において、許容範囲を超える位置ズレが発生したことが判明した時点で、位置ズレの影響を受けるライン以降のラインを再撮影する例を示すタイミングチャート。 本発明の上記実施形態３において、画面内に動体領域が含まれているときのデジタルカメラにおけるメイン処理の流れを示すフローチャート。 上記実施形態３において、動体が含まれる範囲をデジタルカメラにより撮影する様子を示す図。 上記実施形態３において、画面内に高周波領域が含まれているときのデジタルカメラにおけるメイン処理の流れを示すフローチャート。 上記実施形態３において、高周波領域が含まれる範囲をデジタルカメラにより撮影する様子を示す図。 上記実施形態３のデジタルカメラにおける撮影処理の流れを示すフローチャート。 従来において、第２フレーム画像を露光している最中に、許容範囲を超える位置ズレが発生した様子を示す図。 従来において、許容範囲を超える位置ズレが発生したフレーム画像を再撮影する様子を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１はデジタルカメラの構成を示すブロック図である。

このデジタルカメラは、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信可能に接続して構成されている。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信可能となっている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、絞り１２は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで駆動させず維持される。これは、絞り１２を駆動するときの振動が、画素ずらし位置に影響を及ぼさないようにするためである。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４５と通信し、マイクロコンピュータ４５からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４５へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４５とを、双方向に通信可能に接続する。

次に、カメラ本体２は、メカニカルシャッタ（メカシャッタ）２１と、撮像素子２２と、ボイスコイルモータ（ＶＣＭ）２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、モニタ３８と、ホール素子３９と、メモリインタフェース（メモリＩ／Ｆ）４１と、記録媒体４２と、操作部４３と、フラッシュメモリ４４と、マイクロコンピュータ４５と、を備えている。

メカシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカシャッタとなっている。このメカシャッタ２１は、マイクロコンピュータ４５の指令により駆動されて、光束の撮像素子２２への到達時間、つまり撮像素子２２による被写体の露光時間を制御する。なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、メカシャッタ２１は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開いた状態に維持される。これは、メカシャッタ２１を開閉するときの振動が、画素ずらし位置に影響を及ぼさないようにするためである。

撮像素子２２は、所定の画素ピッチ（図４に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ４５の制御に基づき、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２２は、撮影された画像データを所定の読出順序（例えば、ローリング読出（あるいはラスタスキャン）の順序）で読み出すものとなっており、さらに、所望の画素領域（例えば、所望のライン群）の画像データのみを読み出し可能となっている。

本実施形態の撮像素子２２は、輝度相当色（例えば緑色）を含む複数色の色フィルタを１画素に１色が対応するように配置して構成され、具体的に、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

ボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２と、この撮像素子２２により受光される光束と、の上述した２次元状配列方向の相対位置が、画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部である。具体的に、ボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２を磁力で宙に浮かせて、磁力を制御することにより位置を移動するものとなっている。

そして、図１に示す構成例においては、このボイスコイルモータ（ＶＣＭ）２３は、レンズ１１の光軸に垂直な面内で撮像素子２２を移動させているが、レンズ１１を移動させるようにしても良いし、撮像素子２２とレンズ１１との両方を移動させても構わない。本実施形態において、このボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２から得られる画像データよりも高解像度の合成画像を得るべく複数枚の画像を撮影する際に、画素ピッチの非整数倍の移動量、例えば半画素ピッチ単位の移動量で撮像素子２２を移動させるのに用いられる。

なお、ここでは画素ずらし部としてボイスコイルモータ（ＶＣＭ）２３を例に挙げているが、これに限るものではなく、画素ずらしを行うときに所望の相対位置からの位置ズレが発生するような機構の画素ずらし部に対して、本発明を広く適用することが可能である。

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス２６は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、ボイスコイルモータ（ＶＣＭ）２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、ホール素子３９と、メモリＩ／Ｆ４１と、マイクロコンピュータ４５と、に接続されている。

Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。

ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは合成処理部３１、画像処理部３２、ＪＰＥＧ処理部３６等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。

ＡＥ処理部２９は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。

合成処理部３１は、取得された複数の画像データ（ボイスコイルモータ（ＶＣＭ）２３により撮像素子２２を移動させて撮影された複数の画像データ）を合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データ（適宜、超解像画像という）を生成する画像合成部である。

画像処理部３２は、ＲＡＷ画像データあるいは合成処理部３１により生成された合成画像データに対して種々の画像処理を行うものであり、同時化処理部３３、エッジ強調処理部３４、ノイズ低減処理部３５を含んでいる。

同時化処理部３３は、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う。

エッジ強調処理部３４は、画像データにエッジ強調処理を行うものである。

ノイズ低減処理部３５は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３２によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。

ＪＰＥＧ処理部３６は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出して、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２７に一旦記憶させる。こうしてＳＤＲＡＭ２７に記憶された圧縮した画像データは、マイクロコンピュータ４５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４５の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４１を介して記録媒体４２に記録される。

また、ＪＰＥＧ処理部３６は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４５の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４１を介して記録媒体４２から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３６は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。

モニタドライバ３７は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、モニタ３８を駆動制御して映像信号に基づく画像をモニタ３８に表示させる。このモニタドライバ３７により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４２に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

モニタ３８は、上述したようなモニタドライバ３７の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。

ホール素子３９は、ボイスコイルモータ（ＶＣＭ）２３により移動される撮像素子２２の撮影動作中の上述した相対位置を時系列に検出する位置検出部である。ここでは位置検出部としてホール素子３９を用いているが、ホール素子３９に限定されるものでないことは勿論である。

また、本実施形態では撮像素子２２をボイスコイルモータ（ＶＣＭ）２３により移動しているために、撮像素子２２の位置をホール素子３９により検出しているが、レンズ１１をボイスコイルモータ（ＶＣＭ）２３により移動する構成を採用する場合には、レンズ１１の位置をホール素子３９により検出することになる。同様に、撮像素子２２とレンズ１１との両方をボイスコイルモータ（ＶＣＭ）２３により移動する場合には、撮像素子２２の位置を検出するホール素子３９と、レンズ１１の位置を検出するホール素子３９と、の両方を設けることになる。

メモリＩ／Ｆ４１は、上述したように、画像データの記録媒体４２への書き込み、および記録媒体４２からの画像データの読み出しを行う。

記録媒体４２は、画像データを不揮発に記憶するものであり、例えばカメラ本体２に着脱可能なメモリカード等により構成されている。ただし、記録媒体４２は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。こうして記録媒体４２は、デジタルカメラに固有の構成である必要はない。

操作部４３は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、画素ずらし超解像撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４３に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４５へ出力される。

フラッシュメモリ４４は、マイクロコンピュータ４５により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４４が記憶する情報としては、例えば、エッジ強調処理に用いるパラメータやノイズ低減処理に用いるパラメータ等のデジタルカメラの動作に必要な各種パラメータ、画素ずらし超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４４が記憶する情報は、マイクロコンピュータ４５により読み取られる。

マイクロコンピュータ４５は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ４５は、ユーザにより操作部４３から操作入力が行われると、フラッシュメモリ４４に記憶されている処理プログラムに従って、フラッシュメモリ４４から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

そして、マイクロコンピュータ４５は、上述したボイスコイルモータ（ＶＣＭ）２３に画素ずらしを行わせ、画素ずらしを行った複数の相対位置のそれぞれにおいて撮像素子２２に撮影動作を行わせ複数の画像データを取得させる撮像制御部としても機能するようになっている。このときマイクロコンピュータ４５は、特定領域の画像データと、特定領域以外の画像データと、を異なるタイミングで撮像素子２２に取得させるように制御する。具体的に、マイクロコンピュータ４５は、ホール素子３９により検出された位置に許容範囲を超えたずれがある場合には、所定の許容範囲内にないタイミングが発生したフレームの次のフレームの画像データを取得させる前に、撮像素子２２に再度の撮影動作を行わせる制御を行い、特定領域の画像データを取得させる。

さらに、マイクロコンピュータ４５は、撮像素子２２の画素領域（１つ以上の画素でなる領域）としての特定領域を設定する領域特定部としても機能する。マイクロコンピュータ４５は、位置検出部であるホール素子３９により検出された相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を特定領域に設定する。すると、マイクロコンピュータ４５は撮像制御部として機能して、上述したように、特定領域に対する再撮影動作を撮像素子２２に行わせて特定領域の画像データを取得させる。

次に、図２はデジタルカメラにおけるメイン処理の流れを示すフローチャートである。この図２に示す処理は、マイクロコンピュータ４５の制御に基づき行われる。

操作部４３の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１）。

次に、マイクロコンピュータ４５は、操作部４３の再生ボタンが操作されたか否かを判定する（ステップＳ２）。

ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体４２に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理である。

ステップＳ２において再生ボタンが操作されていないか、あるいはステップＳ３の処理が行われた場合には、操作部４３のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ４）。

ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをモニタ３８に表示して、カメラ設定を変更するユーザ操作が操作部４３からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、上述したような
撮影モード：通常撮影モード、画素ずらし超解像撮影モード
記録モード：ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード
などが挙げられるが、これらに限るものではない。

そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ５）。

ステップＳ４においてカメラ設定が選択されていないか、あるいはステップＳ５の処理が行われた場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ６）。

ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部２９により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部２８により行う（ステップＳ７）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。

そして、電源ボタンがオフ操作されたか否かを判定し（ステップＳ８）、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

また、上述したステップＳ６において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ９）。

ここで、２ｎｄレリーズオンの状態となっていない場合には、メカシャッタ２１を開放状態にして、ライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部２９により行い、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ１０）。

こうして撮影された画像に対して、記録画像に対して行う画像処理の幾つかを例えば省略した基本画像処理を行い（ステップＳ１１）、基本画像処理されたフレーム画像をモニタ３８にライブビューの１フレームとして表示する（ステップＳ１２）。

その後、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定し、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

一方、上述したステップＳ９において、２ｎｄレリーズオンの状態となっている場合には、後で図３を参照して説明する撮影処理を実行する（ステップＳ１３）。

続いて、ＲＡＷ記録モードが設定されているか否かを判定して（ステップＳ１４）、設定されている場合にはＲＡＷ画像を記録媒体４２に記録する（ステップＳ１５）。

ステップＳ１４においてＲＡＷ記録モードが設定されていないか、あるいはステップＳ１５の処理が行われた場合には、撮影により得られた画像に対して画像処理部３２により画像処理を行う（ステップＳ１６）。

その後、画像処理された画像をＪＰＥＧ圧縮してヘッダを付加し、ＪＰＥＧファイルとして記録媒体４２に記録する（ステップＳ１７）。

このステップＳ１７の処理が行われたら、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定する。

こうして、ステップＳ８において、電源ボタンがオフ操作された場合には、このメイン処理を終了する。

図３は、デジタルカメラにおける撮影処理の流れを示すフローチャートである。

この処理を開始すると、撮影モードが画素ずらし超解像撮影モードに設定されているか否かを判定する（ステップＳ２１）。

ここで、画素ずらし超解像撮影モードに設定されていない場合には、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する通常の撮影処理を行う（ステップＳ２２）。

また、画素ずらし超解像撮影モードに設定されている場合には、レンズ１１の光軸に垂直な面内における撮像素子２２のセンタリング位置を設定して（ステップＳ２３）、ボイスコイルモータ（ＶＣＭ）２３により撮像素子２２を設定したセンタリング位置へ移動する（ステップＳ２４）。

ここに、図４はボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のセンタリング位置の例を示す図である。

本実施形態においては、あるセンタリング位置に対して画素ピッチの非整数倍で位置が異なるセンタリング位置を含む、例えば８つの異なるセンタリング位置に撮像素子２２を移動して、各センタリング位置において画像を撮影し、撮影して得られた８枚の画像を合成することにより１枚の超解像画像を取得するようになっている。

そして、画素ピッチをＰとすると、図４に示す例では、センタリング位置Ａ１に対して、センタリング位置Ａ２は右方向に１Ｐだけずれた位置、センタリング位置Ａ３は右方向に（１／２）Ｐかつ下方向に（１／２）Ｐだけずれた位置、センタリング位置Ａ４は左方向に（１／２）Ｐかつ下方向に（１／２）Ｐだけずれた位置、センタリング位置Ａ５は下方向に１Ｐだけずれた位置、センタリング位置Ａ６は右方向に１Ｐかつ下方向に１Ｐだけずれた位置、センタリング位置Ａ７は右方向に（１／２）Ｐかつ下方向に（３／２）Ｐだけずれた位置、センタリング位置Ａ８は左方向に（１／２）Ｐかつ下方向に（３／２）Ｐだけずれた位置となっている。

従って、センタリング位置Ａ１に対して、センタリング位置Ａ３，Ａ４，Ａ７，Ａ８は画素ピッチの１／２倍または３／２倍（つまり非整数倍）の移動量の相対位置であるが、センタリング位置Ａ２，Ａ５，Ａ６は画素ピッチの１倍（つまり整数倍）の移動量の相対位置となる。このように、センタリング位置は、画素ピッチの非整数倍の移動量の相対位置を少なくとも１つ含む必要があるが、この条件を満たせば、画素ピッチの整数倍の移動量の相対位置をさらに含んでいても構わない。

原色ベイヤー配列の撮像素子２２に対してボイスコイルモータ（ＶＣＭ）２３がこの図４に示すような画素ずらしを行うと、複数の相対位置の内の少なくとも２つの相対位置において、輝度相当色（ここでは緑色）の色フィルタに対応する画素であって、異なる画素の位置が重複するように、複数の相対位置が設定される（図１０および図１１参照）。

ただし、図４に示したセンタリング位置は一例であり、その他の配置や、８以外のセンタリング位置数を採用しても勿論構わない。

そして、移動したセンタリング位置において、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影すると共に、ホール素子３９により露光中における撮像素子２２の位置を検出する（ステップＳ２５）。

続いて、ステップＳ２５における撮影中に、許容範囲を超えるセンタリング位置の位置ズレ（図５等参照）が発生したか否かを判定する（ステップＳ２６）。

ここに、マイクロコンピュータ４５は、フレームの露光時間が所定値以上である場合には、位置検出部であるホール素子３９の検出結果に関わらず、許容範囲を超えるセンタリング位置の位置ズレは発生しないと判定するようになっている。

ボイスコイルモータ（ＶＣＭ）２３を用いる場合には、下記に説明するように、センタリング位置を一定に保とうとしても微小振動してしまうことになるが、露光時間が所定値以上である場合には、振動が積分されて像としては若干ぼける程度で済み、つまり許容範囲を超えるセンタリング位置の位置ズレが発生しても影響が小さい。このために、ここでは位置ズレが発生しないと判定している。従って、この場合には、特定領域は設定されず、撮像素子２２による再撮影動作も行われない。

そして、マイクロコンピュータ４５は、フレームの露光時間が所定値未満である場合にのみ、ホール素子３９から取得したセンタリング位置の位置ズレを許容範囲（例えば−０．５画素ピッチよりも大きく＋０．５画素ピッチよりも小さい範囲を許容範囲とする等）と比較する。この比較の結果、位置ズレが許容範囲を超えた場合には位置ズレが発生したと判定し、位置ズレが許容範囲内である場合には位置ズレが発生していないと判定するようになっている。

画素ずらし部としてボイスコイルモータ（ＶＣＭ）２３を用いた場合には、上述したように撮像素子２２が磁力で宙に浮いた状態となるために、センタリング位置を一定に保とうとしても、図５に示すようにある周波数で微小振動してしまう。従って、何らかの要因により、図４に示したようなセンタリング位置の何れか１つからのズレ量が、所定の許容範囲を超えてしまうこともある。

図５は、あるフレーム画像を撮影している最中に、許容範囲を超えるセンタリング位置の位置ズレが発生した例を示すタイミングチャートである。

この図５に示す例では、時刻ｔｓにおいてフレーム画像の露光が開始され、露光時間Ｔｅの露光がライン毎に順次、ローリング読出（あるいはラスタスキャン）の順序で行われている。そして、最初のラインの露光が開始されたｔｓから、最後のラインの露光が終了するまでのフレーム期間Ｔｆ内において、時刻ｔｐ１〜ｔｐ２の間に許容範囲を超える位置ズレが発生している。

こうして、ステップＳ２６において位置ズレが発生していると判定された場合には、位置ズレによって影響を受けるライン群を再撮影領域（特定領域）として設定する（ステップＳ２７）。すなわち、領域特定部として機能するマイクロコンピュータ４５は、図５に示す例では、所定の許容範囲内にないタイミングで撮影された画素領域のみを特定領域に設定する。

図５に示す例では、撮像素子２２に構成された１〜Ｌｍａｘまでの全ラインの内の、位置ズレ開始時刻ｔｐ１の影響を受け始めるラインＬｓが、次の数式１に示すように、
［数１］
Ｌｓ＝Ｓｆ×｛ｔｐ１−ｔｓ−（Ｔｅ／２）｝
であり、位置ズレ終了時刻ｔｐ２の影響を受け終わるラインＬｎ（ここに、Ｌｎ≧Ｌｓ）が、次の数式２に示すように、
［数２］
Ｌｎ＝Ｓｆ×｛ｔｐ２−ｔｓ−（Ｔｅ／２）｝
である。

従って、ステップＳ２７においては、Ｌｓ以上Ｌｎ以下の各ラインが再撮影領域（特定領域）に設定される。

そして、設定された再撮影領域の再撮影を行いながら、ホール素子３９による露光中の撮像素子２２の位置検出も行う（ステップＳ２８）。

ここに、図１４は許容範囲を超える位置ズレが発生したフレームの直後に、再撮影領域の再撮影を行う例を示すタイミングチャートである。

撮像制御部として機能するマイクロコンピュータ４５は、所定の許容範囲内にないタイミングが発生したフレームの画像データの取得が終了した後であって、次のフレームの画像データを取得する前に、再撮影動作を撮像素子２２に行わせるようになっている。

この図１４に示す例では、第２フレーム画像Ｆ２を露光している最中に許容範囲を超える位置ズレが発生したために、第２フレーム画像Ｆ２の撮影が終了した直後（従って、第３フレーム画像Ｆ３の撮影を行う前）に、再撮影領域の再撮影を行って部分フレーム画像Ｆ２−２を取得している。

次に、合成処理部３１が、ステップＳ２５において取得された位置ズレの影響を含むフレーム画像（例えばＦ２）と、ステップＳ２８において取得された再撮影領域の部分フレーム画像（例えばＦ２−２）と、を画像合成する（ステップＳ２９）。このとき合成処理部３１は、所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、再撮影動作により取得された特定領域の画像データを用いて合成画像データを生成する。

ここに、図６は位置ズレの影響を含むフレーム画像と再撮影された部分フレーム画像とを合成する処理を説明するための図である。この図６においては、ライン方向をｘ方向、ライン方向に垂直な列方向をｙ方向として座標軸を設定している。なお、図６は、図５の上下を反転して示しているために、上側がライン１（ただし、座標軸には原点０を示している）、下側がラインＬｍａｘとなっている。

ラインＬｓ〜Ｌｎに位置ズレの影響を受けているフレーム画像Ｐ１（ｘ，ｙ）と、ラインＬｓ〜Ｌｎに対して再撮影された部分フレーム画像Ｐ２（ｘ，ｙ）とは、例えば規格化された重み付け加算により、次の数式３に示すように１つの画像Ｐ（ｘ，ｙ）として合成される。
［数３］
Ｐ（ｘ，ｙ）＝（ａ−１）×Ｐ１（ｘ，ｙ）＋ａ×Ｐ２（ｘ，ｙ−Ｌｓ）

ここに、重み付け係数ａは、ｙ座標に応じて次の数式４に示すように設定される。
［数４］
ｙ＜Ｌｓのとき ： ａ＝０
Ｌｓ≦ｙ＜Ｌｓ＋αのとき ： ａ＝（ｙ−Ｌｓ）／α
Ｌｓ＋α≦ｙ＜Ｌｎ−αのとき： ａ＝１
Ｌｎ−α≦ｙ＜Ｌｎのとき ： ａ＝（Ｌｎ−ｙ）／α
Ｌｎ＜ｙのとき ： ａ＝０

ここに、αは、フレーム画像Ｐ１（ｘ，ｙ）と部分フレーム画像Ｐ２（ｘ，ｙ）とを合成する際の境界部分を滑らかに接続するための係数であり、滑らかな接続を行うライン数を示し、次の数式５に示す条件を満たしている。
［数５］
０≦α＜（Ｌｎ−Ｌｓ）／２

こうして画像合成を行ったら、位置ズレが残存しているか否か、つまりステップＳ２８において再撮影領域を再撮影している最中に、許容範囲を超えるセンタリング位置の位置ズレが発生したか否かを判定する（ステップＳ３０）。

ここで、位置ズレが発生した場合には、上述したステップＳ２７へ戻って、位置ズレが発生したラインを再撮影領域に設定し、設定した再撮影領域に対してステップＳ２８およびステップＳ２９に示したような処理を行う。

このステップＳ３０において位置ズレが残存していないか、または上述したステップＳ２６において位置ズレが発生していないと判定された場合には、図４に示したような８つのセンタリング位置Ａ１〜Ａ８での処理が全て終了したか否かを判定する（ステップＳ３１）。

このステップＳ３１において、まだ終了していない場合には、ステップＳ２３へ戻って次のセンタリング位置の処理を行い、一方、全てのセンタリング位置の処理が終了した場合には、撮影により得られた８枚の画像を、合成処理部３１により以下に説明するように合成処理し、１枚の超解像画像を生成する（ステップＳ３２）。

ステップＳ３２または上述したステップＳ２２の処理が終了したら、この処理から図２に示す処理へリターンする。

次に、図７は、合成処理部３１の構成を示すブロック図である。

合成処理部３１は、画素配置部５１と、画素補間部５２と、加算部５３と、半値化部５４と、ベイヤ画像抽出部５５と、を備えている。

画素配置部５１は、画素ずらし超解像撮影モードで取得された８枚のベイヤ画像を、Ｒ成分、Ｇｒ成分（Ｒ成分と同一ラインにあるＧ成分）、Ｇｂ成分（Ｂ成分と同一ラインにあるＧ成分）、Ｂ成分にそれぞれ分離して、センタリング位置Ａ１〜Ａ８に応じて配置するものである。

ここに、図８は撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図、図９は８枚分の図８に示す画素配置から画素配置部５１により得られたＲ画素配置を示す図、図１０は８枚分の図８に示す画素配置から画素配置部５１により得られたＧｒ画素配置を示す図、図１１は８枚分の図８に示す画素配置から画素配置部５１により得られたＧｂ画素配置を示す図、図１２は８枚分の図８に示す画素配置から画素配置部５１により得られたＢ画素配置を示す図である。

画素配置部５１は、図８に示すような基本的な画素配置を繰り返して構成されている８枚のベイヤ画像から、Ｒ成分を抽出して図４に示したセンタリング位置Ａ１〜Ａ８に応じて再配置し、図９に示すような４×４画素配列中にＲ１〜Ｒ８画素が配列された画素配置のＲ合成画像を生成する。同様に、画素配置部５１は、８枚のベイヤ画像から、Ｇｒ，Ｇｂ，Ｂ成分を各抽出して、センタリング位置Ａ１〜Ａ８に応じて再配置し、図１０，図１１，図１２に各示すような画素配置のＧｒ合成画像，Ｇｂ合成画像，Ｂ合成画像をそれぞれ生成する。

画素補間部５２は、周辺のＲ画素に基づき、図９に示すｘ１〜ｘ４画素位置の画素を補間して、Ｒ’１〜Ｒ’４画素とする。同様に、画素補間部５２は、周辺のＢ画素に基づき、図１２に示すｙ１〜ｙ４画素位置の画素を補間して、Ｂ’１〜Ｂ’４画素とする。

この画素補間部５２による画素補間は、例えば周辺４画素補間を行う場合には、次の数式６，７に示すように表すことができる。
［数６］
Ｒ’１＝（Ｒ１＋Ｒ４＋（上Ｒ８）＋（左Ｒ２）／４
Ｒ’２＝（Ｒ１＋Ｒ２＋Ｒ３＋（上Ｒ７））／４
Ｒ’３＝（Ｒ４＋Ｒ５＋Ｒ８＋（左Ｒ６））／４
Ｒ’４＝（Ｒ３＋Ｒ５＋Ｒ６＋Ｒ７）／４
［数７］
Ｂ’１＝（Ｂ６＋Ｂ７＋Ｂ８＋Ｂ２）／４
Ｂ’２＝（Ｂ５＋Ｂ８＋Ｂ１＋（右Ｂ７））／４
Ｂ’３＝（Ｂ２＋Ｂ３＋Ｂ４＋（下Ｂ６））／４
Ｂ’４＝（Ｂ１＋Ｂ４＋（右Ｂ３）＋（下Ｂ５））／４

ここに、数式６，７中の「上」、「左」、「右」、「下」は、図９または図１２に示す４×４画素配列の、上側に位置する４×４画素配列、左側に位置する４×４画素配列、右側に位置する４×４画素配列、下側に位置する４×４画素配列をそれぞれ表している。

加算部５３は、図１０に示すＧｒ合成画像と、図１１に示すＧｂ合成画像とを、対応する画素位置同士で加算する。

半値化部５４は、加算部５３により加算されたＧｒＧｂ合成画像を２で割る。

つまり、加算部５３および半値化部５４により、図１０に示すＧｒ合成画像と、図１１に示すＧｂ合成画像とが、平均化される。この平均化の処理は、次の数式８に示すように表すことができる。
［数８］
Ｇ’１＝（Ｇｒ２＋Ｇｂ５）／２
Ｇ’２＝（Ｇｒ１＋Ｇｂ６）／２
Ｇ’３＝（Ｇｒ３＋Ｇｂ８）／２
Ｇ’４＝（Ｇｒ４＋Ｇｂ７）／２
Ｇ’５＝（Ｇｒ６＋Ｇｂ１）／２
Ｇ’６＝（Ｇｒ５＋Ｇｂ２）／２
Ｇ’７＝（Ｇｒ７＋Ｇｂ４）／２
Ｇ’８＝（Ｇｒ８＋Ｇｂ３）／２

こうして、合成処理部３１は、重複する位置において取得した輝度相当色（ここでは緑色）の複数の画素データを平均して、この重複する位置における合成後の画素データとすることにより、ノイズを低減して高画質化を図るようにしている。

ベイヤ画像抽出部５５は、画素補間部５２により補間されたＲ’１〜Ｒ’４画素、およびＢ’１〜Ｂ’４画素と、半値化部５４から出力された平均化されたＧｒＧｂ合成画像とを、１枚の高解像度のベイヤ画像として合成し、出力する。

ここに、図１３は合成処理部３１により合成された高解像度のベイヤ画像の画素配置を示す図である。

図１３と図８を比較すれば分かるように、画素ずらし超解像撮影モードにおいては、水平方向に２倍かつ垂直方向に２倍の解像度の超解像画像が得られるようになっている。

なお、上述では、合成処理部３１は高解像度のベイヤ画像を生成しているが、同時化された高解像度の画像を直接生成するようにしても構わない。つまり、図９に示すＲ１〜Ｒ８画素からｘ１〜ｘ４画素だけでなくその他の空白画素を補間して同時化された高解像度のＲ画像を生成し、同様に、図１０のＧｒ画像および図１１のＧｂ画像を平均して得られるＧ画像を補間して同時化された高解像度のＧ画像を生成し、図１２に示すＢ１〜Ｂ８画素からｙ１〜ｙ４画素だけでなくその他の空白画素を補間して同時化された高解像度のＢ画像を生成するようにしても良い。そして、この場合には、同時化処理部３３の処理を省略することも可能となる。

なお、上述では所定の許容範囲内にあるか否かを、ホール素子３９の検出結果に基づいて判定していたが、これに限定されるものではなく、例えば基準画像との比較結果に基づき判定するようにしても構わない。

このような実施形態１によれば、特定領域の画像データと、特定領域以外の画像データと、を異なるタイミングで取得するようにしために、合成画像を取得するまでの時間を短縮することが可能となる。

このとき、位置検出部により検出された相対位置が所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を特定領域に設定して、再撮影を行って特定領域の画像データを取得し、再撮影で取得された画像データを用いて合成画像データを生成するようにしたために、取得される合成画像の解像感が損なわれることはない。

具体的に、超解像画像を作成するために複数のフレーム画像を撮影する際に、許容範囲を超えたフレームに係る再撮影をフレーム単位で行っていた（つまり、撮影時間がフレーム単位で増加していた）従来に比して、本実施形態では再撮影領域のみを特定領域として再撮影するようにしたために、超解像画像を作成するのに必要な画像データが揃うまでの時間を短縮することが可能となる。

そして、所定の許容範囲内にないタイミングが発生したフレームの次のフレームの画像データを取得する前に、特定領域の画像データを取得するようにしたために、フレーム画像のタイムラグを小さくすることができる。

このとき、所定の許容範囲内にないタイミングで撮影された画素領域のみを特定領域に設定して、該当フレームの画像データを取得直後に再撮影を行うようにしたために、画素領域単位での再撮影時間の短縮を図ることができる。具体的に、ローリング読出を行う際に画像における許容範囲を超えた移動量が発生したラインのみを再撮影するようにしたために、ライン単位での時間短縮を図ることが可能となる。また、再撮影が１回で済む確立も高くなる利点がある。

さらに、フレームの露光時間が所定値以上である場合には、特定領域を設定せず、再撮影動作を行わないようにしたために、再撮影の必要度が低い場合における無駄な処理を省略して、合成画像を取得するまでの時間短縮を図ることができる。

加えて、特定位置への駆動精度が所定の許容範囲内（例えば−１／２〜＋１／２画素ピッチ内）に必ず収まるような高精度のボイスコイルモータ（ＶＣＭ）２３を用いなくても構わないために、部品コストひいては製造コストを低減することが可能となる。
［実施形態２］

図１５および図１６は本発明の実施形態２を示したものであり、図１５はデジタルカメラにおける撮影処理の流れを示すフローチャート、図１６は、許容範囲を超える位置ズレが発生したことが判明した時点で、位置ズレの影響を受けるライン以降のラインを再撮影する例を示すタイミングチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態における領域特定部として機能するマイクロコンピュータ４５は、所定の読出順序において、所定の許容範囲内にないタイミングで撮影された画素領域の読出順序を含む以降の読出順序となる画素領域を特定領域に設定するようになっている。さらに、撮像制御部として機能するマイクロコンピュータ４５は、所定の許容範囲内にないタイミングが発生した場合には、該フレームの読出順序での読み出しを中止して、再撮影動作を撮像素子２２に行わせるようになっている。

図２のステップＳ１３において、図１５に示す撮影処理に入ると、上述したような、ステップＳ２１，Ｓ２２の処理、またはステップＳ２１，Ｓ２３，Ｓ２４の処理を行う。

ここで、ステップＳ２４の処理を行った場合には、移動したセンタリング位置において、絞り１２を駆動しメカシャッタ２１を開いて、１枚の画像を撮影して取り込む動作を例えばライン１から順に開始する（ステップＳ４１）。

そして、ホール素子３９により露光中における撮像素子２２の位置をリアルタイムで検出する（ステップＳ４２）。

検出された位置に許容範囲を超える位置ズレが発生したか否かを判定し（ステップＳ４３）、発生した場合には、図１６に示すように、画像の取込位置を所定量だけ戻して、位置ズレによる影響を受けるラインからの再取込を開始する（ステップＳ４４）。

ここに、図１６には、例えば半画素ピッチＨＰＰで撮像素子２２のセンタリング位置を移動しながら第１フレーム画像Ｆ１から順に画像を撮影する際に、第２フレーム画像Ｆ２を露光している途中で許容範囲を超える位置ズレが発生した例を示している。この図１６に示すように、ライン毎に順次露光を開始し、露光時間Ｔｅが経過したラインから順に画像信号を読み出す際に、途中のラインを露光しているときに位置ズレが発生したために、位置ズレが発生したことが判明した時点で取込を一旦中止して、位置ズレによる影響を受けるラインから再取込を行っている。

こうしてステップＳ４４の処理を行うか、または上述したステップＳ４３において許容範囲を超える位置ズレが発生していないと判定された場合には、ラインＬｍａｘまでの全ラインの取り込みが終了したか否かを判定し（ステップＳ４５）、まだ終了していない場合にはステップＳ４２へ行って上述したような動作を繰り返して行う。

こうしてステップＳ４５において全ラインの取り込みが終了した場合には、上述したようなステップＳ３１，Ｓ３２の処理を行い、ステップＳ３２またはステップＳ２２の処理が終了したら、この処理から図２に示す処理へリターンする。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、所定の許容範囲内にないタイミングで撮影された画素領域の読出順序を含む以降の読出順序となる画素領域を特定領域に設定して、所定の許容範囲内にないタイミングが発生した場合には、フレームの読出順序での読み出しを中止して、再撮影動作を行うようにしたために、１回目の撮影により取得した非特定領域と再撮影により取得した特定領域とのタイムラグを縮小し、違和感のない画像データを得ることができる。

具体的に、１回目の撮影に係る画素領域と再撮影に係る画素領域とにおいて隣接するライン間の露光時刻のタイムラグを上述した実施形態１よりも小さくすることができるために、露光時刻の相違に起因する画像のズレ等を軽減することが可能となる。
［実施形態３］

図１７から図２１は本発明の実施形態３を示したものである。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態において、撮像制御部として機能するマイクロコンピュータ４５は、画素ずらし部であるボイスコイルモータ（ＶＣＭ）２３に画素ずらしを行わせて撮像素子２２に特定領域の複数の画像データを取得させる制御をまず行い、その後に、撮像素子２２に特定領域以外の画像データを取得させる制御を行う。ここに、特定領域以外の画像データの取得は、画素ずらしを行いながらの複数の画像データの取得が好ましいが、後述するような平坦な領域などである場合には、１枚の画像データのみの取得とすることも可能である。１枚の画像データのみを取得する場合には、画像処理により補間等を行って、画像の解像度を特定領域と一致させることになる。

本実施形態は、画面内に動く被写体の領域（動体領域）が含まれている場合と、画面内に空間周波数が高い被写体の領域（高周波領域）が含まれている場合と、に対応するものとなっているが、撮影時の作用は後述する図２１に示すように共通しているために、一つの実施形態として説明する。

まず、図１７および図１８は画面内に動体領域が含まれている場合に係り、図１７は画面内に動体領域が含まれているときのデジタルカメラにおけるメイン処理の流れを示すフローチャート、図１８は動体が含まれる範囲をデジタルカメラにより撮影する様子を示す図である。

領域特定部として機能するマイクロコンピュータ４５は、例えばライブビュー表示用として時系列に取得された複数枚の画像データから動体の存在する動体領域を検出し、動体領域を含む画素領域を特定領域に設定する。

図１８は、撮影範囲ＡＡ内に、動体領域（図１８に示す例では鳥）が存在しており、この動体領域が含まれるように特定領域Ａｍを設定している。特にここでは、撮像素子２２がライン単位で露光開始および読み出しが行われることを考慮して、連続する複数ラインに対応する領域を特定領域Ａｍとしている。

そして、このような撮影範囲ＡＡを、例えば三脚Ｔｒに固定されたデジタルカメラＣ（つまり、手ブレ等の影響は考慮しなくて良い状態）で撮影する状況を想定している。

このとき、デジタルカメラのメイン処理において、ステップＳ１２でライブビュー表示を行った後に、ライブビュー用に取得された時系列的な複数の画像に基づいて動体領域が含まれる特定領域Ａｍの判定を行い（ステップＳ５１）、ステップＳ８の処理に進む。このステップＳ５１の判定結果は、後で図２１を参照して説明するように、取込領域の設定に用いられる。

次に、図１９および図２０は画面内に高周波領域が含まれている場合に係り、図１９は画面内に高周波領域が含まれているときのデジタルカメラにおけるメイン処理の流れを示すフローチャート、図２０は高周波領域が含まれる範囲をデジタルカメラにより撮影する様子を示す図である。

領域特定部として機能するマイクロコンピュータ４５は、画像データから所定の空間周波数よりも高い空間周波数の被写体が存在する高周波領域を検出し、高周波領域を含む画素領域を特定領域に設定するようになっている。この高周波領域の検出は、ハイパスフィルタ等を用いて行っても良いし、エッジ成分を抽出した結果に基づき行っても良いし、フォーカス位置、絞り（被写界深度）、被写体距離から合焦している範囲を判定することにより行っても構わないし、その他の適宜の技術を採用することが可能である。

図２０は、撮影範囲ＡＡ内に、空間周波数の高い被写体（高周波領域）（図２０に示す例では、空や水面等の比較的平坦な被写体に比べて空間周波数が高い山岳）が存在しており、この高周波領域が含まれるように特定領域Ａｈを設定している。なお、ここでも、撮像素子２２がライン単位で露光開始および読み出しが行われることを考慮して、連続する複数ラインに対応する領域を特定領域Ａｈとしている。

そして、このような撮影範囲ＡＡを、ユーザＵｓがデジタルカメラＣを手持ちで（つまり、手ブレ等が発生すると考えられる状態で）撮影する状況を想定している。

このとき、デジタルカメラのメイン処理において、ステップＳ１２でライブビュー表示を行った後に、ライブビュー用に取得された画像に基づいて高周波領域が含まれる特定領域Ａｈの判定を行い（ステップＳ５６）、ステップＳ８の処理に進む。このステップＳ５６の判定結果は、後で図２１を参照して説明するように、取込領域の設定に用いられる。

図２１は、デジタルカメラにおける撮影処理の流れを示すフローチャートである。

この処理を開始すると、上述したステップＳ２１の処理を行って、撮影モードが画素ずらし超解像撮影モードに設定されているか否かを判定する。

ここで、画素ずらし超解像撮影モードに設定されている場合には、ステップＳ５１において判定された動体領域が含まれる特定領域ＡｍまたはステップＳ５６において判定された高周波領域が含まれる特定領域Ａｈを取込領域に設定する（ステップＳ６１Ａ）。

次に、上述したステップＳ２３と同様にセンタリング位置を設定し（ステップＳ６２Ａ）、上述したステップＳ２４と同様にセンタリング位置への移動を行い（ステップＳ６３Ａ）、設定されている取込領域の画像を１枚撮影する（ステップＳ６４Ａ）。

そして、上述したステップＳ３１と同様に、図４に示したような８つのセンタリング位置Ａ１〜Ａ８での処理が全て終了したか否かを判定する（ステップＳ６５Ａ）。

このステップＳ６５Ａにおいて、まだ終了していない場合には、ステップＳ６２Ａへ戻って次のセンタリング位置の処理を行う。

一方、ステップＳ６５Ａにおいて、全てのセンタリング位置の処理が終了した場合には、上述したステップＳ６１Ａにおいて設定した取込領域以外の領域を、新たに取込領域に設定する（ステップＳ６１Ｂ）。なお、ここでは特定領域以外の領域を新たな取込領域に設定したが、全画像領域を新たな取込領域に設定しても（つまり、特定領域について重複して取り込んでも）構わない。

次に、上述したステップＳ６２Ａと同様にセンタリング位置を設定し（ステップＳ６２Ｂ）、上述したステップＳ６３Ａと同様にセンタリング位置への移動を行い（ステップＳ６３Ｂ）、上述したステップＳ６４Ａと同様に設定されている取込領域の画像を１枚撮影する（ステップＳ６４Ｂ）。

そして、上述したステップＳ６５Ａと同様に、図４に示したような８つのセンタリング位置Ａ１〜Ａ８での処理が全て終了したか否かを判定する（ステップＳ６５Ｂ）。

このステップＳ６５Ｂにおいて、まだ終了していない場合には、ステップＳ６２Ｂへ戻って次のセンタリング位置の処理を行う。

こうして、ステップＳ６５Ｂにおいて、全てのセンタリング位置の処理が終了した場合には、ステップＳ６１Ａ〜Ｓ６５Ａの処理により得られた特定領域Ａｍまたは特定領域Ａｈの８枚の画像と、ステップＳ６１Ｂ〜Ｓ６５Ｂの処理により得られた特定領域Ａｍ以外の領域の、または特定領域Ａｈ以外の領域の８枚の画像と、を対応するセンタリング位置毎に（つまり、８つのセンタリング位置Ａ１〜Ａ８のそれぞれ毎に）合成して８枚の画像を生成し、さらに生成した８枚の画像を、上述したステップＳ３２と同様に合成処理して１枚の超解像画像を生成する（ステップＳ６６）。

こうしてステップＳ６６または上述したステップＳ２２の処理が終了したら、この処理から図２に示す処理へリターンする。

このような実施形態３によれば、画素ずらしを行って複数の画像データを取得することをまず特定領域について行い、その後に特定領域以外の画像データを取得するようにしたために、ブレの影響を受け易い特定領域の画像データを短いタイムラグで集中的に取得することができ、結果としてブレの影響を軽減することができる。

具体的に、被写体ブレが発生し易い動体領域が含まれる特定領域Ａｍ、または手ブレの影響が目立ち易い高周波領域が含まれる特定領域Ａｈに関して超解像画像を生成するために必要な複数のセンタリング位置での撮影をまず行い、その後にその他の領域に関して複数のセンタリング位置での撮影を行うようにしたために、特定領域Ａｍまたは特定領域Ａｈの画像を短いタイムラグで集中して取得することができ、動体の被写体ブレの発生を低減し、高周波領域において影響が大きい手ブレの発生を低減することが可能となる。従って、生成される超解像画像の画像解像度を有効に生かし、解像感を維持することができる。

なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに該撮像方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカシャッタ（メカニカルシャッタ）
２２…撮像素子
２３…ボイスコイルモータ（ＶＣＭ）
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＦ処理部
２９…ＡＥ処理部
３１…合成処理部
３２…画像処理部
３３…同時化処理部
３４…エッジ強調処理部
３５…ノイズ低減処理部
３６…ＪＰＥＧ処理部
３７…モニタドライバ
３８…モニタ
３９…ホール素子
４１…メモリインタフェース（メモリＩ／Ｆ）
４２…記録媒体
４３…操作部
４４…フラッシュメモリ
４５…マイクロコンピュータ
５１…画素配置部
５２…画素補間部
５３…加算部
５４…半値化部
５５…ベイヤ画像抽出部

Claims (7)

1. 所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、
   上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、
   上記画素ずらし部に画素ずらしを行わせ、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御部と、
   上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、
   上記撮像素子の画素領域としての特定領域を設定する領域特定部と、
   上記撮影動作中の上記相対位置を時系列に検出する位置検出部と、
   を有し、
   上記領域特定部は、上記位置検出部により検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定し、
   上記撮像制御部は、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させ、
   上記画像合成部は、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成することを特徴とする撮像装置。
2. 上記撮像制御部は、上記所定の許容範囲内にないタイミングが発生したフレームの次のフレームの画像データを取得させる前に、上記特定領域の画像データを取得させることを特徴とする請求項１に記載の撮像装置。
3. 上記領域特定部は、上記所定の許容範囲内にないタイミングで撮影された画素領域のみを上記特定領域に設定し、
   上記撮像制御部は、上記所定の許容範囲内にないタイミングが発生したフレームの画像データの取得が終了した後であって、次のフレームの画像データを取得する前に、上記再撮影動作を上記撮像素子に行わせることを特徴とする請求項２に記載の撮像装置。
4. 上記領域特定部は、上記所定の読出順序において、上記所定の許容範囲内にないタイミングで撮影された画素領域の読出順序を含む以降の読出順序となる画素領域を上記特定領域に設定し、
   上記撮像制御部は、上記所定の許容範囲内にないタイミングが発生した場合には、該フレームの上記読出順序での読み出しを中止して、上記再撮影動作を上記撮像素子に行わせることを特徴とする請求項２に記載の撮像装置。
5. 上記領域特定部は、フレームの露光時間が所定値以上である場合には、上記位置検出部の検出結果に関わらず上記特定領域を設定せず、
   上記撮像制御部は、上記再撮影動作を上記撮像素子に行わせないことを特徴とする請求項１に記載の撮像装置。
6. 所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらしステップと、
   上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御ステップと、
   上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、
   上記撮像素子の画素領域としての特定領域を設定する領域特定ステップと、
   上記撮影動作中の上記相対位置を時系列に検出する位置検出ステップと、
   を有し、
   上記領域特定ステップは、上記位置検出ステップにより検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定するステップであり、
   上記撮像制御ステップは、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させるステップであり、
   上記画像合成ステップは、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成するステップであることを特徴とする撮像方法。
7. 撮像装置のコンピュータに、以下の各ステップを実行させるためのプログラム、
   所定の画素ピッチで２次元状に配列された複数の画素を有し、撮影された画像データを所定の読出順序で読み出し、かつ所望の画素領域の画像データのみを読み出し可能な撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらしステップと、
   上記複数の相対位置のそれぞれにおいて上記撮像素子に撮影動作を行わせて複数の画像データを取得させる撮像制御ステップと、
   上記撮像素子により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、
   上記撮像素子の画素領域としての特定領域を設定する領域特定ステップと、
   上記撮影動作中の上記相対位置を時系列に検出する位置検出ステップと、
   ここに、上記領域特定ステップは、上記位置検出ステップにより検出された上記相対位置が所定の許容範囲内にない場合に、該所定の許容範囲内にないタイミングで撮影された画素領域を含む領域を上記特定領域に設定するステップであり、
   上記撮像制御ステップは、上記特定領域に対する再撮影動作を上記撮像素子に行わせて該特定領域の画像データを取得させるステップであり、
   上記画像合成ステップは、上記所定の許容範囲内にないタイミングで撮影された画素領域の画像データに代えて、上記再撮影動作により取得された上記特定領域の画像データを用いて合成画像データを生成するステップである。

Images