JP5217213B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、被写体を撮像する撮像素子を備える撮像装置及びプログラムに関する。

従来の撮像装置において、撮像者による手ぶれを補正するために、ジャイロなどの手ぶれ検出センサが設けられているものが知られている（例えば、特許文献１参照）。
この手ぶれ検出センサによって検出された角速度などに基づき、撮像装置のぶれ量を求め、そのぶれ量から撮像素子などの光学系の移動量を算出して、算出された移動量に応じて光学系を移動させて、撮像装置のぶれを光学系の移動で相殺するようにして、手ぶれ補正が行われるようになっている。
特開２００６−１４８７０２号公報

しかしながら、上記従来技術の場合、撮像装置にジャイロを搭載することにより、搭載スペースを要していた。そして、撮像装置の小型化に伴い、ジャイロを配設するスペースの確保が困難になりつつあるという問題があった。

本発明の目的は、小型化を可能にする撮像装置及びプログラムを提供することである。

請求項１に記載の発明の撮像装置は、
被写体を撮像する撮像素子と、
前記撮像素子に、撮像画像に係る撮像データを取得する撮像領域と、画像ぶれに関するぶれ検出データを取得するぶれ検出領域と、を設定する領域設定手段と、
前記領域設定手段により設定された前記撮像領域から前記撮像データを所定の第１の周期毎に読み出す第一読出制御手段と、
前記領域設定手段で設定した前記ぶれ検出領域から前記ぶれ検出データを前記第１の周期より短い所定の第２の周期毎に読み出す第二読出制御手段と、
前記第二読出制御手段により前記ぶれ検出領域から前記所定の第２の周期毎に読み出された前記ぶれ検出データに基づき、画像ぶれ量を逐次検出するぶれ量検出手段と、
前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上又は所定の基準値未満かを逐次判定する判定手段と、
前記判定手段による判定結果に基づいて、前記領域設定手段により設定された前記ぶれ検出領域の大きさを逐次変更する領域変更手段と、
を備えることを特徴とする。

請求項２に記載の発明は、請求項１記載の撮像装置において、
前記領域変更手段は、前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上の場合に、前記ぶれ検出領域の大きさを大きくする大ぶれ検出領域拡大手段を更に備えることを特徴とする。

請求項３に記載の発明は、請求項１記載の撮像装置において、
前記領域変更手段は、前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値未満の場合に、前記ぶれ検出領域の大きさを大きくする小ぶれ検出領域拡大手段を更に備えることを特徴とする。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記領領域設定手段は、前記ぶれ検出領域を前記撮像領域の外周側を囲うように設定し、
前記領域変更手段は、前記撮像領域の外周側を囲うように設定されたぶれ検出領域の大きさを変更することを特徴とする。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記ぶれ量検出手段により検出された前記画像ぶれ量に応じた補正処理を行うぶれ補正手段と、
前記ぶれ補正手段により画像ぶれが補正された前記撮像データに基づく画像情報を前記第一読出制御手段により読み出して取得する画像情報取得手段と、を更に備えることを特徴とする。

請求項６に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記ぶれ量検出手段により検出された前記画像ぶれ量に応じた補正処理を行うぶれ補正手段と、
前記第一読出制御手段により読み出した前記撮像データに基づく画像情報を取得して、前記ぶれ補正手段により画像ぶれを補正した画像情報を取得する画像情報取得手段と、を更に備えることを特徴とする。

請求項７に記載の発明のプログラムは、
被写体を撮像する撮像素子を備えるコンピュータを、
前記撮像素子に、撮像画像に係る撮像データを取得する撮像領域と、画像ぶれに関するぶれ検出データを取得するぶれ検出領域と、を設定する領域設定手段、
前記領域設定手段で設定した前記撮像領域から前記撮像データを所定の第１の周期毎に読み出す第一読出制御手段、
前記領域設定手段で設定した前記ぶれ検出領域から前記ぶれ検出データを前記第１の周期より短い所定の第２の周期毎に読み出す第二読出制御手段、
前記第二読出制御手段により前記ぶれ検出領域から前記所定の第２の周期毎に読み出された前記ぶれ検出データに基づき、画像ぶれ量を逐次検出するぶれ量検出手段、
前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上又は所定の基準値未満かを逐次判定する判定手段、
前記判定手段による判定結果に基づいて、前記領域設定手段により設定された前記ぶれ検出領域の大きさを逐次変更する領域変更手段、
として機能させることを特徴とする。

本発明によれば、撮像中に画像ぶれ量が変化しても、当該画像ぶれ量に応じた好適なぶれ検出領域の大きさで画像のぶれの補正ができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、撮像部１のＣＣＤ１２ａのぶれ検出領域Ａ２（図３参照）から得られる画像データに基づいて撮像画像のぶれ量を検出し、検出されたぶれ量に応じてＣＣＤ１２ａの主撮像領域Ａ１（図３参照）から得られる画像データにぶれ補正処理を施し、被写体の撮像画像のぶれを補正するものである。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３と、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。

撮像部１は、撮像者により撮像装置１００が向けられた方向の被写体を撮像するものである。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮像素子駆動部１５と、撮像制御部１６等を備えている。

撮像レンズ群１１は、フォーカス機能及びズーム機能を有し、複数の撮像レンズから構成されている。

電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）１２ａ等から構成されている。
ＣＣＤ１２ａは、撮像レンズ群１１を通過した光を光量に応じて光電変換して蓄積する複数の光電変換部が二次元マトリックス状に配列されたものである。また、ＣＣＤ１２ａは、被写体を撮像した際に、主撮像画像に係る主撮像データを保持する略矩形状の主撮像領域Ａ１（図３参照）と、主撮像領域Ａ１の外側（主撮像領域Ａ１と異なる領域）に隣接して設けられ、画像ぶれに関するぶれ検出データを保持する略「ロ」字状のぶれ検出領域Ａ２（図３参照）とを具備している。
そして、ＣＣＤ１２ａは、例えば、ＣＰＵ７１の制御下にて、複数の光電変換部に蓄積された電荷が順次所定方向（例えば、垂直方向）に転送されて読み出される、いわゆる破壊読み出し可能に構成されている。

映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
撮像素子駆動部１５は、撮像素子であるＣＣＤ１２ａを所定方向（例えば、垂直方向および水平方向）に移動させるアクチュエータと、そのアクチュエータを駆動させるアクチュエータドライバ等から構成されている。
撮像制御部１６は、ＣＰＵ７１の制御下にて、電子撮像部１２、映像信号処理部１３、撮像素子駆動部１５を制御する。

撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、例えば、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。
フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮像制御部１６に接続され、撮像制御部１６の制御下にて駆動する。

表示部３は、撮像部１により撮像された画像を表示するものであり、例えば、表示制御部３１と、画像表示部３２等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。

操作部４は、当該撮像装置１００の所定操作を行うためのものであり、例えば、シャッターボタン４１ａ等の各種操作スイッチ等を備える操作入力部４１と、入力回路４２等を備えている。
操作入力部４１におけるシャッターボタン４１ａは、撮像部１による被写体の撮像を指示する。このシャッターボタン４１ａは、半押し操作と全押し操作の２段階の押圧操作が可能に構成されている。
入力回路４２は、この操作入力部４１から入力された操作信号をＣＰＵ７１に入力するためのものである。

記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、画像記録部として、撮像部１により撮像された撮像画像の画像情報（画像データ）を記憶する。

ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。

制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。

ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。

データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。

プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものであり、具体的には、第一読出制御プログラム７２ａ、第二読出制御プログラム７２ｂ、ぶれ量検出プログラム７２ｃ、ぶれ補正プログラム７２ｄ、画像情報取得プログラム７２ｅ、領域変更プログラム７２ｆ等を記憶している。

第一読出制御プログラム７２ａは、ＣＰＵ７１を第一読出制御手段として機能させるものである。即ち、第一読出制御プログラム７２ａは、スルー画像表示時には撮像部１により撮像される撮像画像の範囲に対応するＣＣＤ１２ａの撮像領域に予め設定されている主撮像領域Ａ１から被写体の主撮像データを第１フレームレートで読み出す処理に係る機能、静止画の撮影時には所定の露光時間で露光して読み出す処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、図２に示すような被写体画像を撮像する際に、ＣＣＤ１２ａの撮像領域が、例えば、図３に示すように、撮像画像Ｇに対する中央側に位置する主撮像領域Ａ１と、主撮像領域Ａ１の外周側を囲うぶれ検出領域Ａ２とからなるように設定されている場合、ＣＰＵ７１は、ＣＣＤ１２ａにおける主撮像領域Ａ１に保持された主撮像データを所定の第１フレームレートで読み出して取得、又は所定の露光時間で露光して読み出すことにより取得する。

第二読出制御プログラム７２ｂは、ＣＰＵ７１を第二読出制御手段として機能させるものである。即ち、第二読出制御プログラム７２ｂは、撮像部１により撮像される撮像画像の範囲に対応するＣＣＤ１２ａの撮像領域に予め設定されているぶれ検出領域Ａ２からぶれ検出データを第１フレームレートより速い第２フレームレートで読み出す処理に係る機能、静止画の撮影時に主撮像データの露光時間中にぶれ検出データを所定のフレームレートで読み出す処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、図２に示すような被写体画像を撮像する際に、ＣＰＵ７１は、ＣＣＤ１２ａにおけるぶれ検出領域Ａ２に保持されたぶれ検出データを第２フレームレートで読み出して取得、又は主画像データの露光時間中にぶれ検出データを所定のフレームレートで読み出して取得する。
ここで、ぶれ検出領域Ａ２は、例えば、図３に示すように、主撮像領域Ａ１と重ならない配置に設定されているため、ぶれ検出領域Ａ２に対応する画像情報が破壊読み出しされても、主撮像領域Ａ１に対応する画像情報が損なわれることがないので、主撮像領域Ａ１から被写体の撮像データを良好に読み出して、取得することが可能である。
そして、図４に示すように、シャッター前のスルー画像表示時においては、ぶれ検出領域Ａ２に対しては、主撮像領域Ａ１に比べて短時間の露光による比較的速いフレームレートにより撮像画像データを読み出して、その画像に関する画素の取り込みが行われる。
またシャッター後の静止画撮影時においても、ぶれ検出領域Ａ２は、主撮像領域Ａ１の撮像露光時間中に、１回の露光時間が主画像領域Ａ１よりも短時間で且つ１回より多くの回数撮影画像データを読み出して、その画像に関する画素の取り込みが行われる。
なお、ぶれ検出領域Ａ２からの画像ぶれに関するぶれ検出データの読み出しに当たって、ゲイン調整され感度が高められていることが好ましい。

ぶれ量検出プログラム７２ｃは、ＣＰＵ７１をぶれ量検出手段として機能させるものである。即ち、ぶれ量検出プログラム７２ｃは、ＣＰＵ７１の制御により撮像部１で撮像された撮像画像Ｇにおけるぶれ検出領域Ａ２から得られたぶれ検出データに基づき、画像ぶれ量を検出するぶれ量検出処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
このＣＰＵ７１は、例えば、撮像画像Ｇにおけるぶれ検出領域Ａ２から第２フレームレートで読み出された画像ぶれに関するぶれ検出データであって、第２フレームレートで連続的に読み出された複数の撮像画像データに基づき、ぶれ検出領域Ａ２における特定画素の移動量を検出するようにして撮像画像Ｇの画像ぶれ量を検出する。

ぶれ補正プログラム７２ｄは、ＣＰＵ７１をぶれ補正手段として機能させるものである。即ち、ぶれ補正プログラム７２ｄは、検出された画像ぶれ量に応じた補正処理を行うぶれ補正処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
このＣＰＵ７１は、例えば、検出された画像ぶれ量に基づき電子撮像部１２におけるＣＣＤ１２ａの移動量を算出し、当該移動量に応じて撮像素子駆動部１５によりＣＣＤ１２ａを移動させて、撮像装置１００のぶれや被写体のぶれを相殺するようにして撮像画像Ｇのぶれ補正を実行する。

画像情報取得プログラム７２ｅは、ＣＰＵ７１を画像情報取得手段として機能させるものである。即ち、画像情報取得プログラム７２ｅは、ＣＰＵ７１による補正処理により、画像ぶれが補正された主撮像データに基づく画像情報を取得する画像情報取得処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
このＣＰＵ７１は、例えば、補正処理が実行されて、撮像部１によって撮像された撮像画像Ｇにおける主撮像領域Ａ１から第１フレームレートで読み出された主撮像データである被写体の撮像画像データを取得して記録媒体５に記憶させる。つまり、ＣＰＵ７１は、撮像画像Ｇにおける主撮像領域Ａ１部分に対応する画像を記録画像として取得する。

領域変更プログラム７２ｆは、ＣＰＵ７１を領域変更手段として機能させるものである。即ち、領域変更プログラム７２ｆは、撮像画像Ｇの範囲に対応するようにＣＣＤ１２ａに対して予め設定されている主撮像領域Ａ１とぶれ検出領域Ａ２とに区分けされた２つの領域におけるぶれ検出領域Ａ２の大きさを変更する領域変更処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。なお、主撮像領域Ａ１とぶれ検出領域Ａ２とは撮像画像範囲において重ならない配置をとるので、変更されたぶれ検出領域Ａ２の大きさに応じて、主撮像領域Ａ１の大きさも変更されることとなる。つまり、例えば、ぶれ検出領域Ａ２が大きくなれば、主撮像領域Ａ１は小さくなる。特に、このＣＰＵ７１は、検出された画像ぶれ量に応じて、ぶれ検出領域Ａ２の大きさを変更する処理を実行する。

次に、本実施形態における撮像装置１００において、被写体としての人物を撮像する際の処理について、図５に示すフローチャートに基づき説明する。

まず、ユーザ（撮像者）による所定操作によって撮像装置１００を所望する被写体である人物に向けると、撮像レンズ群１１を通じて電子撮像部１２に結像された画像が、図２に示すように、表示部３の画像表示部３２の表示画面にスルー画像となって表示される。
そして、ＣＰＵ７１は、プログラムメモリ７２から第二読出制御プログラム７２ｂを読み出して実行し、ＣＣＤ１２ａの撮像領域におけるぶれ検出領域Ａ２（図３参照）から画像ぶれに関するぶれ検出データを読み出して取得する。さらに、ＣＰＵ７１は、プログラムメモリ７２からぶれ量検出プログラム７２ｃを読み出して実行し、ぶれ検出領域Ａ２から第２フレームレートで読み出された画像ぶれに関するぶれ検出データに基づき、撮像画像Ｇの画像ぶれ量の検出処理を開始する（ステップＳ１）。

次いで、ＣＰＵ７１は、操作入力部４１における切り替え操作に基づいて、ぶれ検出領域Ａ２の変更処理の実行が指示されているか否かを判定する（ステップＳ２）。
ＣＰＵ７１が、ぶれ検出領域Ａ２の変更処理の実行が指示されていないと判定すると（ステップＳ２；Ｎｏ）、ステップＳ４へ進む。
一方、ＣＰＵ７１が、ぶれ検出領域Ａ２の変更処理の実行が指示されていると判定すると（ステップＳ２；Ｙｅｓ）、ＣＰＵ７１は、プログラムメモリ７２から領域変更プログラム７２ｆを読み出して実行し、画像ぶれ量に応じたぶれ検出領域Ａ２の変更を行う（ステップＳ３）。例えば、検出された画像ぶれ量が所定の基準より大きい場合、撮像画像Ｇの画像ぶれ量を適正に検出することができるように、図６に示すように、ぶれ検出領域Ａ２を大きくする変更を行う。また、検出された画像ぶれ量が所定の基準より小さい場合、図６に示すように、撮像画像Ｇの画像ぶれ量を精度よく検出することができるように、ぶれ検出領域Ａ２を大きくする変更を行ってもよい。また、ぶれ検出領域の大きさ変更は、手動で行ってもよい。
なお、ぶれ検出領域Ａ２が小さいほど画像ぶれ量の検出処理を短時間で行うことができるので、図７に示すように、検出された画像振れ量が所定の基準より小さい場合、撮像画像Ｇの画像振れ量を適正に検出することが可能な程度に、振れ検出エリアＡ２を小さくする変更を行ってもよい。

ステップＳ４において、ＣＰＵ７１は、ユーザの操作によりシャッターボタン４１ａが半押しされたハーフシャッタとなったか否かを判断する（ステップＳ４）。
ＣＰＵ７１が、ハーフシャッタとなっていないと判断すると（ステップＳ４；Ｎｏ）、ステップＳ２に戻る。
一方、ＣＰＵ７１が、ハーフシャッタとなったと判断すると（ステップＳ４；Ｙｅｓ）、ＣＰＵ７１は、プログラムメモリ７２からぶれ補正プログラム７２ｄを読み出して実行し、検出された画像ぶれ量に基づき算出した移動量に応じてＣＣＤ１２ａを移動させるぶれ補正処理を開始する（ステップＳ５）。

次いで、ＣＰＵ７１は、ユーザの操作によりシャッターボタン４１ａが全押しされ、撮像操作が行われたか否かを判断する（ステップＳ６）。
ＣＰＵ７１が、シャッターボタン４１ａが全押しされたと判断すると（ステップＳ６；Ｙｅｓ）、ステップＳ８へ進む。
一方、ＣＰＵ７１が、シャッターボタン４１ａは全押しされていないと判断すると（ステップＳ６；Ｎｏ）、ＣＰＵ７１は、シャッターボタン４１ａが半押しされたハーフシャッタが解除されたか否かを判断する（ステップＳ７）。
ＣＰＵ７１が、ハーフシャッタは解除されていないと判断すると（ステップＳ７；Ｎｏ）、ステップＳ６に戻る。一方、ＣＰＵ７１が、ハーフシャッタは解除されたと判断すると（ステップＳ７；Ｙｅｓ）、ステップＳ２に戻る。

ステップＳ８において、ＣＰＵ７１は、プログラムメモリ７２から、第一読出制御プログラム７２ａと画像情報取得プログラム７２ｅを読み出して実行し、シャッターボタン４１ａが全押しされたタイミングに、被写体の撮像を実行して、撮像レンズ群１１を通じて電子撮像部１２の主撮像領域Ａ１（図３参照）に結像されている主撮像画像に関する主撮像データであって、ＣＰＵ７１による補正処理により画像ぶれが補正された画像情報を読み出し取得して記録媒体５に記録する（ステップＳ８）。

そして、ユーザによるシャッターボタン４１ａの全押しが解除されると、ＣＰＵ７１は、ぶれ補正処理を終了した後（ステップＳ９）、画像ぶれ量の検出処理を終了して（ステップＳ１０）、撮像処理を終了する。

以上のように、この実施形態１の撮像装置１００によれば、ＣＣＤ１２ａのぶれ検出領域Ａ２から読み出したぶれ検出データに基づく画像ぶれ量に応じてＣＣＤ１２ａを移動させて、撮像装置１００のぶれや被写体のぶれを相殺することによる撮像画像のぶれ補正処理を実行することができ、そのぶれ補正処理によって画像ぶれが補正されている撮像画像が結像されたＣＣＤ１２ａの主撮像領域Ａ１から主撮像データを読み出して、所望する被写体の画像情報を取得することができる。
つまり、撮像装置１００は、撮像部１により撮像される撮像画像Ｇの範囲に対応するＣＣＤ１２ａの撮像領域に予め設定されている主撮像領域Ａ１とぶれ検出領域Ａ２とからそれぞれ撮像画像の画像データを読み取り、ぶれ検出領域Ａ２から得られるブレ検出データに基づき画像ぶれ量を取得し、取得した画像ぶれ量に応じた補正を主撮像領域Ａ１から得られる主撮像データに対して施すようにして、画像ぶれのない好適な被写体の画像情報を取得する撮像を可能にする。
特に、撮像装置１００において、撮像領域に対して互いに重ならない主撮像領域Ａ１とぶれ検出領域Ａ２を設定するとともに、被写体の撮像データを第１フレームレートで主撮像領域Ａ１から読み出すことと、画像ぶれに関するぶれ検出データを第１フレームレートより速い第２フレームレートでぶれ検出領域Ａ２から読み出すことを、撮像素子であるＣＣＤ１２ａによって可能にして、ジャイロを不要とするので、コスト低減とスペース有効活用（小型化）を可能にする撮像装置１００とすることができる。

そして、従来技術のようなジャイロなどの手ぶれ検出センサを備える撮像装置によっては、撮像装置側がぶれてしまう画像ぶれの補正（いわゆる手ぶれ補正）を行うことしかできないが、この撮像装置１００は、撮像部１により撮像される撮像画像に基づく画像ぶれを補正する処理が可能であるので、撮像装置１００側のぶれと被写体側のぶれの両方の画像ぶれを補正することができる。
また、撮像装置１００は、検出された画像ぶれ量に応じて、ぶれ検出領域Ａ２の大きさを変更することができるので、画像ぶれ量が大きい場合や小さい場合など、それぞれのぶれ量に適した画像ぶれの補正処理を行うことが可能になる。
従って、この撮像装置１００であれば、ジャイロなどのセンサを用いることなく、画像ぶれの補正を好適に行うことができる。

［実施形態２］
図８は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
実施形態２の撮像装置２００は、ＣＭＯＳ１２ｂの撮像領域Ａ３（図９参照）に含まれるぶれ検出領域Ａ４（図９参照）から得られる画像データに基づいて撮像画像のぶれ量を検出し、検出されたぶれ量に応じて撮像領域Ａ３から得られる画像データにぶれ補正処理を施し、被写体の撮像画像のぶれを補正するものである。
なお、実施形態２の撮像装置２００は、撮像素子としてＣＭＯＳ１２ｂを用い、撮像領域Ａ３にぶれ検出領域Ａ４が含まれている以外の点では、実施形態１におけるものと略同様であるので、異なる部分について説明し、詳細な説明については省略するものとする。

この撮像装置２００における電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換する撮像素子であるＣＭＯＳ（Complementary Metal-Oxide Semiconductor）１２ｂ等から構成されている。
ＣＭＯＳ１２ｂは、撮像レンズ群１１を通過した光を光量に応じて光電変換して蓄積する複数の光電変換部が二次元マトリックス状に配列されたものである。また、ＣＭＯＳ１２ｂは、被写体を撮像した際に、撮像画像に係る撮像データを保持する撮像領域Ａ３を備え、撮像領域Ａ３の内側の所定位置に、画像ぶれに関するぶれ検出データを保持するぶれ検出領域Ａ４を具備している。
そして、ＣＭＯＳ１２ｂは、例えば、ＣＰＵ７１の制御下にて、複数の光電変換部における任意の光電変換部の電荷が読み出される、いわゆる非破壊読み出し可能に構成されている。つまり、ＣＭＯＳ１２ｂの複数の光電変換部のうち、特定の光電変換部の電荷のみが読み出されても、当該光電変換部には電荷が保持されるようになっている。
なお、被写体を撮像する範囲に対応する撮像領域を主撮像領域とぶれ検出領域との異なる２つの領域に区分けしてもよい。

プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものであり、具体的には、第一読出制御プログラム７２ｇ、第二読出制御プログラム７２ｈ、ぶれ量検出プログラム７２ｉ、ぶれ補正プログラム７２ｊ、画像情報取得プログラム７２ｋ、領域変更プログラム７２ｌ、大ぶれ検出領域拡大プログラム７２ｍ、小ぶれ検出領域拡大プログラム７２ｎ等を記憶している。

そして、第一読出制御プログラム７２ｇは、ＣＰＵ７１を第一読出制御手段として機能させるものである。即ち、第一読出制御プログラム７２ｇは、撮像部１により撮像される撮像画像の範囲に対応するＣＭＯＳ１２ｂの撮像領域Ａ３から被写体の撮像データを読み出す処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、図２に示すような被写体画像を撮像する際に、例えば、図９に示すように、ＣＰＵ７１は、ＣＭＯＳ１２ｂにおける撮像領域Ａ３に保持された撮像データを所定のフレームレートで読み出して取得する。

第二読出制御プログラム７２ｈは、ＣＰＵ７１を第二読出制御手段として機能させるものである。即ち、第二読出制御プログラム７２ｈは、撮像部１により撮像される撮像画像の範囲に対応するＣＭＯＳ１２ｂの撮像領域Ａ３に予め設定されているぶれ検出領域Ａ４からぶれ検出データを読み出す処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、図２に示すような被写体画像を撮像する際に、その撮像領域が、例えば、図９に示すように、ＣＭＯＳ１２ｂの撮像画像Ｇに係る画像情報を保持する撮像領域Ａ３の４隅にぶれ検出領域Ａ４が設定されている場合、ＣＰＵ７１は、ぶれ検出領域Ａ４に保持されたぶれ検出データを所定のぶれ検出用のフレームレートで読み出して取得する。
ここで、ＣＭＯＳ１２ｂは、非破壊読み出し可能な撮像素子であるため、撮像領域Ａ３に重なった配置のぶれ検出領域Ａ４から画像ぶれに関するぶれ検出データを読み出す処理を行っても、撮像領域Ａ３から被写体の撮像データを読み出す処理を妨げることはなく、撮像データを良好に読み出して取得することが可能である。
ここで撮像領域Ａ３の４隅にぶれ検出領域Ａ４が設定されていなくても構わず、例えば十字状にぶれ検出領域を並べるように設定してもよい。

また、ぶれ量検出プログラム７２ｉは、ＣＰＵ７１をぶれ量検出手段として機能させるものであって、ぶれ量検出プログラム７２ｉを実行するＣＰＵ７１は、ＣＰＵ７１の制御によりＣＭＯＳ１２ｂのぶれ検出領域Ａ４から読み出された画像ぶれに関するぶれ検出データであって、所定のぶれ検出用のフレームレートで読み出された複数の撮像画像データに基づき、ぶれ検出領域Ａ４における特定画素の移動量を検出するようにして、撮像画像Ｇの画像ぶれ量を検出する。

また、ぶれ補正プログラム７２ｊは、ＣＰＵ７１をぶれ補正手段として機能させるものであって、ぶれ補正プログラム７２ｊを実行するＣＰＵ７１は、検出された画像ぶれ量に基づき電子撮像部１２におけるＣＭＯＳ１２ｂの移動量を算出して、当該移動量に応じて撮像素子駆動部１５によりＣＭＯＳ１２ｂを移動させて、撮像装置２００のぶれや被写体のぶれを相殺するようにして撮像画像Ｇのぶれ補正を実行する。

また、画像情報取得プログラム７２ｋは、ＣＰＵ７１を画像情報取得手段として機能させるものであって、画像情報取得プログラム７２ｋを実行するＣＰＵ７１は、補正処理が実行されて、ＣＭＯＳ１２ｂの撮像領域Ａ３から所定の撮像用のフレームレートで読み出された撮像データである被写体の撮像画像データを記録媒体５に記憶させて、被写体を撮像した記録画像に関する画像情報を取得する。

また、領域変更プログラム７２ｌは、ＣＰＵ７１を領域変更手段として機能させるものであって、領域変更プログラム７２ｌを実行するＣＰＵ７１は、撮像画像Ｇの範囲に対応して予め設定されているぶれ検出領域Ａ４の大きさと形状の少なくとも一方を変更する処理を実行する。特に、ＣＭＯＳ１２ｂは、非破壊読み出し可能な撮像素子であるため、撮像領域Ａ３にぶれ検出領域Ａ４が含まれる（重なった）配置となってもよいので、ぶれ検出領域Ａ４の大きさや形状、その配置位置に関する自由度が高く、所望するぶれ検出領域Ａ４に変更設定することが可能となる。
なお、ぶれ検出領域の変更は、手振れ量に応じて自動で行ってもよいし、手動で行ってもよい。

また、大ぶれ検出領域拡大プログラム７２ｍは、ＣＰＵ７１を領域変更手段の一部であるぶれ検出領域拡大手段として機能させるものであって、大ぶれ検出領域拡大プログラム７２ｍを実行するＣＰＵ７１は、検出された画像ぶれ量が所定の基準値より大きい場合に、ぶれ検出領域Ａ４を大きくするぶれ検出領域拡大処理を実行する。
つまり、このＣＰＵ７１は、検出された画像ぶれ量が大きい場合に、図１０に示すように、ぶれ検出領域Ａ４を大きくする変更を行い、ぶれ検出領域Ａ４における特定画素の移動量が大きい場合であっても、そのぶれ検出領域Ａ４内で特定画素の移動を検出可能にするようにして、撮像画像の画像ぶれ量を適正に検出するようになっている。このように、ぶれ検出領域Ａ４を大きくする変更によって、大きな画像ぶれを適正に補正するが可能になる。

また、小ぶれ検出領域拡大プログラム７２ｎは、ＣＰＵ７１を領域変更手段の一部である微小ぶれ検出領域拡大手段として機能させるものであって、小ぶれ検出領域拡大プログラム７２ｎを実行するＣＰＵ７１は、検出された画像ぶれ量が所定の基準値より小さい場合に、ぶれ検出領域Ａ４を大きくする微小ぶれ検出領域拡大処理を実行する。
つまり、このＣＰＵ７１は、検出された画像ぶれ量が小さい場合に、図１０に示すように、ぶれ検出領域Ａ４を大きくする変更を行い、ぶれ検出領域Ａ４における特定画素の移動量が小さい場合であっても、そのぶれ検出領域Ａ４内での特定画素の微小な移動も検出可能とするようにして、撮像画像の画像ぶれ量を精度よく検出するようになっている。このように、ぶれ検出領域Ａ４を大きくする変更によって、小さな画像ぶれでも正確に補正することが可能になる。

なお、ぶれ検出領域Ａ４が小さいほど画像ぶれ量の検出処理を短時間で行うことができるので、図１１に示すように、検出された画像振れ量が所定の基準より小さい場合、撮像画像Ｇの画像振れ量を適正に検出することが可能な程度に、ぶれ検出領域Ａ４を小さくする変更を行ってもよい。

また、検出された画像ぶれ量が大きい場合に撮像画像の画像ぶれ量を適正に検出するためにぶれ検出領域Ａ２を大きくする変更を行うことと、検出された画像ぶれ量が小さい場合に撮像画像の画像ぶれ量を精度よく検出するためにぶれ検出領域Ａ２を大きくする変更を行うこととは、ユーザが優先する撮像条件や、被写体の大きさや動きに関する条件に応じて、選択して切り替えるようにすればよい。

以上のように、実施形態２の撮像装置２００によれば、撮像画像Ｇにおけるぶれ検出領域Ａ４から読み出したぶれ検出データに基づく画像ぶれ量に応じてＣＭＯＳ１２ｂを移動させて、撮像装置２００のぶれや被写体のぶれを相殺することによる撮像画像のぶれ補正処理を実行することができ、そのぶれ補正処理によって画像ぶれが補正されている撮像画像が結像されたＣＭＯＳ１２ｂにおける撮像領域Ａ３から撮像データを読み出して、所望する被写体の画像情報を取得することができる。
特に、撮像装置２００は、非破壊読み出し可能な撮像素子であるＣＭＯＳ１２ｂを用いることにより、撮像領域Ａ３に重なった配置のぶれ検出領域Ａ４から画像ぶれに関するぶれ検出データを読み出す処理を行っても、撮像領域Ａ３から被写体の撮像データを読み出す処理を妨げることはないので、好適な画像ぶれの検出が可能となるようにぶれ検出領域Ａ４を任意に設定することができる。そして、好適な画像ぶれの検出に伴い好適な画像ぶれの補正がなされて、画像ぶれのない良好な被写体の画像情報を取得する撮像を行うことが可能になる。
従って、このような撮像装置２００であっても、ジャイロなどのセンサを用いることなく、画像ぶれの補正を好適に行うことができ、ジャイロを不要とすることにより、コスト低減とスペース有効活用を可能にする撮像装置２００とすることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行ってもよい。
実施形態１及び２においては、取得した画像ぶれ量に応じて、ＣＣＤ１２ａやＣＭＯＳ１２ｂを移動させる撮像素子シフトによるぶれ補正処理を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、画像ぶれ量に基づき算出された移動量に応じて撮像レンズ群１１を移動させるレンズシフトによるぶれ補正処理であってもよい。また、取得した画像ぶれ量に応じて、撮像した主撮像領域に関する複数の画像情報を重ね合わせるデジタル合成を行う電子式の画像補正処理であってもよい。
また、実施形態１及び２においては、図５にあるように、スルー画像表示や静止画撮影のために本発明の手振れ検出方法を用いたがこれに限らず、連写撮影や動画撮影に関するものであってもよい。例えば動画撮影においては、主撮像領域は３０ｆｐｓで画素の読み込みを行い、ぶれ検出領域は６０ｆｐｓで画素の読み込みを行うように構成してもよい。この場合、動画撮影前のスルー画像においては、主撮像領域は１５ｆｐｓで画素の読み込みを行い、ぶれ検出領域は３０ｆｐｓで画素の読み込みを行うように構成しておき、シャッターボタンを押下して撮影開始した場合に各フレームレートを変更する構成としてもよい。この時、主撮像領域のフレームレートと、ぶれ検出領域のフレームレートを別々に変更可能に構成してもよく、これにより所望の条件で撮影することができる。

また、実施形態２にあっては、検出された画像ぶれ量に応じて、ぶれ検出領域を変更する際、検出された画像ぶれ量が縦方向（上下方向）のぶれであった場合に、ぶれ検出領域を縦方向に長くする変更処理を行い、ぶれ検出領域における特定画素の縦方向への移動を検出しやすくし、また、検出された画像ぶれ量が横方向（左右方向）のぶれであった場合に、ぶれ検出領域を横方向に長くする変更処理を行い、ぶれ検出領域における特定画素の横方向への移動を検出しやすくするようにしてもよい。

加えて、上記実施形態１及び２では、第一読出制御手段、第二読出制御手段、ぶれ量検出手段、ぶれ補正手段、画像情報取得手段、領域変更手段、ぶれ検出領域拡大手段、微小ぶれ検出領域拡大手段としての機能を、ＣＰＵ７１によって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成してもよい。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 撮像装置が捉えた被写体の撮像画像を示す説明図である。 実施形態１の撮像素子における撮像領域とぶれ検出領域に関する説明図である。 撮像領域とぶれ検出領域に対するフレームレートの説明図である。 本発明に係る撮像装置による画像ぶれの補正処理を示すフローチャートである。 ぶれ検出領域を大きくする変更がなされた状態の説明図である。 ぶれ検出領域を小さくする変更がなされた状態の説明図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 実施形態２の撮像素子における撮像領域とぶれ検出領域に関する説明図である。 実施形態２においてぶれ検出領域を大きくする変更がなされた状態の説明図である。 実施形態２においてぶれ検出領域を小さくする変更がなされた状態の説明図である。

符号の説明

１ 撮像部
１２ 電子撮像部
１２ａ ＣＣＤ（撮像素子）
１２ｂ ＣＭＯＳ（撮像素子）
３ 表示部
３２ 画像表示部
５ 記録媒体
７ 制御部
７１ ＣＰＵ（第一読出制御手段、第二読出制御手段、ぶれ量検出手段、ぶれ補正手段、画像情報取得手段、領域変更手段、大ぶれ検出領域拡大手段、小ぶれ検出領域拡大手段）
１００、２００ 撮像装置
Ａ１ 主撮像領域
Ａ２ ぶれ検出領域
Ａ３ 撮像領域
Ａ４ ぶれ検出領域
Ｇ 撮像画像

Claims (7)

1. 被写体を撮像する撮像素子と、
   前記撮像素子に、撮像画像に係る撮像データを取得する撮像領域と、画像ぶれに関するぶれ検出データを取得するぶれ検出領域と、を設定する領域設定手段と、
   前記領域設定手段により設定された前記撮像領域から前記撮像データを所定の第１の周期毎に読み出す第一読出制御手段と、
   前記領域設定手段で設定した前記ぶれ検出領域から前記ぶれ検出データを前記第１の周期より短い所定の第２の周期毎に読み出す第二読出制御手段と、
   前記第二読出制御手段により前記ぶれ検出領域から前記所定の第２の周期毎に読み出された前記ぶれ検出データに基づき、画像ぶれ量を逐次検出するぶれ量検出手段と、
   前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上又は所定の基準値未満かを逐次判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記領域設定手段により設定された前記ぶれ検出領域の大きさを逐次変更する領域変更手段と、
   を備えることを特徴とする撮像装置。
2. 前記領域変更手段は、前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上の場合に、前記ぶれ検出領域の大きさを大きくする大ぶれ検出領域拡大手段を更に備えることを特徴とする請求項１に記載の撮像装置。
3. 前記領域変更手段は、前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値未満の場合に、前記ぶれ検出領域の大きさを大きくする小ぶれ検出領域拡大手段を更に備えることを特徴とする請求項１に記載の撮像装置。
4. 前記領領域設定手段は、前記ぶれ検出領域を前記撮像領域の外周側を囲うように設定し、
   前記領域変更手段は、前記撮像領域の外周側を囲うように設定されたぶれ検出領域の大きさを変更することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
5. 前記ぶれ量検出手段により検出された前記画像ぶれ量に応じた補正処理を行うぶれ補正手段と、
   前記ぶれ補正手段により画像ぶれが補正された前記撮像データに基づく画像情報を前記第一読出制御手段により読み出して取得する画像情報取得手段と、
   を更に備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
6. 前記ぶれ量検出手段により検出された前記画像ぶれ量に応じた補正処理を行うぶれ補正手段と、
   前記第一読出制御手段により読み出した前記撮像データに基づく画像情報を取得して、前記ぶれ補正手段により画像ぶれを補正した画像情報を取得する画像情報取得手段と、
   を更に備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
7. 被写体を撮像する撮像素子を備えるコンピュータを、
   前記撮像素子に、撮像画像に係る撮像データを取得する撮像領域と、画像ぶれに関するぶれ検出データを取得するぶれ検出領域と、を設定する領域設定手段、
   前記領域設定手段で設定した前記撮像領域から前記撮像データを所定の第１の周期毎に読み出す第一読出制御手段、
   前記領域設定手段で設定した前記ぶれ検出領域から前記ぶれ検出データを前記第１の周期より短い所定の第２の周期毎に読み出す第二読出制御手段、
   前記第二読出制御手段により前記ぶれ検出領域から前記所定の第２の周期毎に読み出された前記ぶれ検出データに基づき、画像ぶれ量を逐次検出するぶれ量検出手段、
   前記ぶれ量検出手段により検出された画像ぶれ量が所定の基準値以上又は所定の基準値未満かを逐次判定する判定手段、
   前記判定手段による判定結果に基づいて、前記領域設定手段により設定された前記ぶれ検出領域の大きさを逐次変更する領域変更手段、
   として機能させることを特徴とするプログラム。

Images