JP4911997B2 - 撮像装置 - Google Patents

Description

本発明は、像ぶれを補正する像ぶれ補正機能を有する撮像光学系を備えた小型且つ軽量な撮像装置に関する。

近年、ディジタル方式のスチルカメラやビデオムービーなどの撮像装置の普及に伴い機器の小型・軽量化が進展している。さらに撮像装置の高画質化に伴い像ぶれ補正機能に対する要望が益々高まっている。

従来の像ぶれ補正機能を有する撮像装置の一例（特許文献１）としては、互いに異なる情報に基づいて撮像装置のぶれ量を検出する第１および第２の動き検出手段と、第１および第２の動き検出手段より出力された第１および第２の動き情報に基づき演算して第３の動き情報を出力する第３の動き検出手段と、第３の動き検出手段より出力された第３の動き情報に基づいてぶれ量を補正すべく光学系の位置を制御する補正手段とを備えた物が知られている。

同撮像装置においては、検出対象の異なる複数の動き情報（例えば、加速度、速度および変位等を検出するセンサ等の各種の外部センサによって検出されるカメラの動き情報）を、映像信号の画像処理により得られる画像の動きベクトルと比較演算する事によりぶれ補正信号の適正化が行われる。そのようにして、画像のパターンによる検出精度のばらつきや誤動作を防止して応答性および感度等の諸特性に優れたぶれ補正機能を備えた撮像装置を提供することが図られている。

さらに、上述の従来の撮像装置は、撮像手段からの撮像信号に画像処理を施すことにより画像の動きベクトルを抽出する方式に基づいて、外部センサおよびビデオカメラの動き情報をそれぞれ抽出する手段と、画像の動きベクトルとビデオカメラの動き情報とを比較演算する手段とを備える。そして、演算結果に基づいてぶれ補正量を求めることにより、外部センサのみに基づいてぶれ補正量を求める他の従来の撮像装置に比較して高精度および高感度であると共に応答性も改善されている。

なお、被写体とビデオカメラとの相対的な運動により生じた画像の動きは、被写体の動きに起因するものと、ビデオカメラの動きに起因するものとに分離できる。したがって、補正すべき画像の動きと補正すべきでない画像の動きとを識別することによりぶれ補正システムのエラーが大幅に低減できる。又、カメラの動きベクトルの大きさを判断することによりカメラが動いていないと判断される場合には、ぶれ補正システム動作を停止させ、被写体の動きによる誤動作の防止を図っている。
特開平２−７５２８４号公報

上述の如く、特許文献１に提案されている撮像装置は、外部センサにのみ基づいてぶれ補正量を求める他の従来の撮像装置に比較して、より高精度および高感度で応答性も改善されている。そして、当該撮像装置は像ぶれを被写体の動きに起因するものと、ビデオカメラの動きに起因するものとの識別を意図している。しかしながら、同撮像装置においては、ユーザが撮像目的とする被写体のぶれを補正できない場合が多い。具体的には、動いている被写体は、必ずしもユーザが真に撮像目的と意図する被写体とは限らないので、ユーザの意図しない、例えば通行している車や人など背景の動く被写体によって、ユーザが撮像対象として意図する被写体に対するぶれ補正に関して誤動作を招いてしまう。
上述の問題を鑑みて、本発明は、ユーザが撮影したい被写体の像ぶれを防止する像ぶれ補正制御機能を有する撮像装置を提供する。

被写体の電気的な画像信号を出力する撮像装置であって、
光軸に対して垂直に移動制御することで像ぶれを防止する像ぶれ防止レンズを含む複数のレンズ群により被写体の光学的な像を形成する撮像光学系と、
被写体の光学的な像を撮像して、電気的な画像信号に変換する撮像素子と、
撮像素子から出力される電気的な画像信号から所定の範囲の画像を切り出すことでの出力画像信号を生成する画像処理手段と、
像ぶれ防止レンズの移動制御を行う像ぶれ制御手段とを備え、
像ぶれ制御手段は、像ぶれ補正誤差を演算する像ぶれ補正誤差演算手段と、像ぶれ補正誤差に基づいて画像信号の切り出し位置を補正する画像補正手段とで構成され、
像ぶれ補正誤差演算手段は、
画像信号から特徴点を抽出して特徴点の位置情報を演算する特徴点抽出手段と、
特徴点の位置情報に基づいて像ぶれ防止レンズの移動制御を行い、像ぶれ防止レンズの位置情報を検出する位置検出手段とを含み、
特徴点の位置情報と像ぶれ防止レンズの位置情報との差を像ぶれ補正誤差として演算することを特徴とする撮像装置。

本発明によれば、ユーザが撮影を意図する被写体の像ぶれを防止する像ぶれ補正制御を備えた撮像装置を提供できる。

（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係る撮像装置の構成について説明する。撮像装置ＩＣＤ１は、レンズ鏡筒１００、撮像光学系ＩＣＳａ、操作部１１０、表示部１１１、メモリーカード１１２、およびシステムコントローラ１２０を含む。撮像光学系ＩＣＳａは、ズームレンズ系１０１、像ぶれ補正用レンズユニット１０２ａ（以降、「ＯＩＳユニット１０２ａ」と称す）、およびフォーカスレンズユニット１０３を含む。

ズームレンズ系１０１は、ズームレンズ群１０１ａおよびズームレンズ群１０１ｂを含む。なお、ＯＩＳとはＯｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒの頭文字から成る略称である。

レンズ鏡筒１００は、撮像光学系ＩＣＳａを保持する。撮像光学系ＩＣＳａは、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ系１０１と、像ぶれ補正を行うために光軸に対して垂直に移動するＯＩＳユニット１０２ａと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズユニット１０３とによって、撮像対象物の光学画像を生成する。

そして、システムコントローラ１２０は、ＯＩＳユニット制御部１０４ａ、フォーカス駆動部１０５、撮像素子であるＣＣＤ１０６、画像処理部１０７、および合焦情報算出部１０９ａを含む。

ＣＣＤ１０６は、撮像光学系ＩＣＳａが生成した光学画像を所定のタイミングで撮像し、電気的な画像信号Ｓｖに変換して出力する撮像素子である。画像処理部１０７は、ＣＣＤ１０６から出力された画像信号Ｓｖにホワイトバランス補正やγ補正などの所定の画像処理を施すと共に、所定のアドレスで画像を切り出して画像信号を生成する。必要に応じて、ＣＣＤ１０６および画像処理部１０７から出力される画像信号Ｓｖをそれぞれ、第１の画像信号Ｓｖ１および第２の画像信号Ｓｖ２と呼んで識別するものとする。また、画像処理部１０７は、ユーザにより着脱可能なメモリーカード１１２と双方向にアクセス可能である。

表示部１１１は、好ましくは液晶ディスプレイで構成され、システムコントローラ１２０から出力される指令Ｃｍｄに基づいて、画像処理部１０７から出力される第２の画像信号Ｓｖ２を可視画像としてユーザに表示する。メモリーカード１１２は、システムコントローラ１２０から出力される指令Ｃｍｄに基づき、画像処理部１０７から出力される第２の画像信号Ｓｖ２を格納する。メモリーカード１１２は、当該格納されている第２の画像信号Ｓｖ２を画像処理部１０７を介して表示部１１１に供給する。このように、第１の画像信号Ｓｖ１はＣＣＤ１０６による対象物の撮影画像を表す電気信号であり、第２の画像信号Ｓｖ２は表示部１１１などが第１の画像信号Ｓｖ１に基づいて撮影画像を実際に表示する表示画像を表す電気信号である。

操作部１１０は、撮像装置本体の外側に設けられて、ユーザによる操作に応答して、撮像装置ＩＣＤ１の全体の動作を制御する。なお、操作部１１０は、電源スイッチやシャッターボタン等を含む。

以下に、フォーカス駆動部１０５の動作について説明する。操作部１１０のシャッターボタンが半押しされた場合に、システムコントローラ１２０はこの半押しされた状態を検知すると、ＣＣＤ１０６から出力される第１の画像信号Ｓｖ１を画像処理部１０７を経由して合焦情報算出部１０９ａに転送させる。

合焦情報算出部１０９ａは、転送された第１の画像信号Ｓｖ１に含まれるコントラスト情報Ｉｃと、フォーカス駆動部１０５から出力されるフォーカスレンズユニット１０３の位置情報Ｉｐｆとに基づいて、デフォーカス量Ｖｄｆ（図示せず）を算出する。合焦情報算出部１０９ａは、算出されたデフォーカス量Ｖｄｆに基づいて、フォーカスレンズユニット１０３の位置を制御するための制御信号Ｓｃを生成して、フォーカス駆動部１０５に出力する。

フォーカス駆動部１０５は、フォーカスレンズユニット１０３を駆動させたときの位置情報Ｉｐを合焦状態算出部１０９ａに出力する。また、フォーカス駆動部１０５はシステムコントローラ１２０からの指令Ｃｍｄ（図示せず）に基づき、フォーカスレンズユニット１０３を光軸方向に駆動する駆動信号Ｓｄｒを出力する機能も有する。なお、フォーカス駆動部１０５は、ユーザによるズームレバー（図示せず）の操作に応じてズームレンズ系１０１を光軸方向に駆動させる機能を有しても良い。

次に、図２、図３、図４、および図５を参照して、ＯＩＳユニット１０２ａについて詳細に説明する。図２は組み立てられたＯＩＳユニット１０２ａの状態を斜め上方からみた様子を示し、図３はＯＩＳユニット１０２ａの要部を分解した状態を示し、図４はピッチング移動枠２の背面を示し、図５は図４におけるＶ−Ｖ断面を示している。

図２に示すように、固定枠５には、ヨーイング移動枠４が左右方向のシャフト（図示せず）を介して左右方向に移動自在に支持されている。そして、ヨーイング移動枠４には、上下方向のシャフト４ａとガイド溝４ｂが設けられている。

図３に示すように、ピッチング移動枠２の本体２ａには、シャフト４ａにスライド自在に嵌合するガイド部材３ｂと、ガイド溝４ｂにスライド自在に嵌合するシャフト３ａが設けられている。これらにより、ＯＩＳユニット１０２ａの像ぶれ防止レンズ１を保持するピッチング移動枠２がヨーイング移動枠４に上下方向に移動自在に保持されている。このようにして、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）は、ピッチング移動枠２およびヨーイング移動枠４を介して、図２に示した固定枠５に対して上下方向および左右方向に移動自在に支持されている。

ピッチング移動枠２の本体２ａには、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）を駆動するヨーイング用コイルパターン７Ａおよびピッチング用コイルパターン７Ｂが形成された複数層、例えば４層の積層基板６が取付けられている。積層基板６には、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）の位置を検出するための位置検出センサであるホール素子（磁気センサ）８Ａおよび８Ｂが取付けられている。

ホール素子８Ａおよび８Ｂは高精度に位置決め固定するために、積層基板６の基準穴６ｃおよび６ｄと同時に金型で打ち抜き加工された位置決め穴６ａおよび６ｂに嵌合されている。位置決め穴６ａおよび６ｂは、ホール素子８Ａおよび８Ｂ（図３）が軽圧入可能なようにホール素子８Ａおよび８Ｂの外形より少し小さく形成されている。そして、ホール素子８Ａおよび８Ｂをそれぞれ位置決め穴６ａおよび６ｂに軽圧入することで、位置決め穴６ａおよび６ｂ内にホール素子８Ａおよび８Ｂがガタつくこともなく高精度に位置決めされる。

図４に示すように、積層基板６には、結線パターン９ｄが形成されたフレキシブルプリント板９が設けられている。フレキシブルプリント板９は、固定部９ａと、可動部９ｂと、端子部９ｃとで構成されている。なお、固定部９ａは積層基板６の背面に取付けられており、可動部９ｂは固定部９ａから導出されて固定枠５（図３および図５参照）側に接続され、端子部９ｃは可動部９ｂの端部に取付けられて固定枠５側の給電および信号送受に供される。

さらに、フレキシブルプリント板９の固定部９ａであって、上述の位置決め穴６ａおよび６ｂに近接する部分には、センサ用のランド部１３ａおよび１３ｂがそれぞれ設けられている。そして、位置決め穴６ａおよび６ｂに、それぞれホール素子８Ａおよび８Ｂを嵌合することによって、ホール素子８Ａおよび８Ｂの端子辺８ｂ（図５参照）がセンサ用ランド１３ａおよび１３ｂに接触する。その結果、半田付けする際に、ホール素子８Ａおよび８Ｂを加圧保持する必要がなく、作業が容易であるので生産性が良い。

また、積層基板６には、ピッチング用のコイルパターン７Ａとヨーイング用のコイルパターン７Ｂにそれぞれ接続されるランド部６ｅおよび６ｆが形成されている。ランド部６ｅおよび６ｆは、フレキシブルプリント板９の固定部９ａに対応して形成されたランド部１４ａおよび１４ｂに半田付けにより接続されている。そして、ランド部６ｅおよび６ｆは、フレキシブルプリント板９の固定部９ａと可動部９ｂとに形成された結線パターン９ｄによって、端子部９ｃを介してコネクタ１５に接続されている。結果、固定枠５（図２参照）側のコネクタ１５から可動側のヨーイング移動枠４（図２参照）に対して、ホール素子８Ａおよび８Ｂに対する電気信号の送受信と、コイルパターン７Ａおよび７Ｂへの電力供給とを行うことができる。

図３、図４、および図５に示すように、固定枠５には、コイルパターン７Ａおよび７Ｂに対向するマグネット１０Ａおよび１０Ｂがヨーク１１Ａおよび１１Ｂに取り付けられている。そして、ホール素子８Ａおよび８Ｂの移動範囲の中心位置と、２極着磁したマグネット１０Ａおよび１０Ｂの境界とが一致するように精度良く位置決めするために、固定枠５には、マグネット１０Ａおよび１０Ｂの上下位置の少なくとも一方と、左右位置の少なくとも一方に当接する位置決め用凸部（位置決め部）１２ａおよび１２ｂが設けられている。マグネット１０Ａおよび１０Ｂは、位置決用凸部１２ａおよび１２ｂに当接して、位置規制される。

図１に戻って、ＯＩＳユニット制御部１０４ａの機能について説明する。ＯＩＳユニット制御部１０４ａの動作する条件は、主に以下に述べるケース１、ケース２、およびケース３の３通りが考えられる。
＜ケース１＞
操作部１１０のシャッターボタンが半押しされた場合に、システムコントローラ１２０がシャッターボタンが半押し状態であることを検知して、ＯＩＳユニット制御部１０４ａをモニタ画面像ぶれ補正モードに設定する。そして、シャッターボタンが全押しされた場合には、システムコントローラ１２０がシャッターボタンの全押し状態であることを検知して、ＯＩＳユニット制御部１０４ａをモニタ画面像ぶれ補正モードから撮像画面像ぶれ補正モードに切換える。さらに、システムコントローラ１２０は、ＣＣＤ１０６に第１の画像信号Ｓｖ１を出力させ、当該第１の画像信号Ｓｖ１を画像処理部１０７を介して第２の画像信号Ｓｖ２としてメモリーカード１１２に格納させた後に、ＯＩＳユニット制御部１０４ａの動作を終了させる。

＜ケース２＞
操作部１１０のシャッターボタンが全押しされた場合に、システムコントローラ１２０がシャッターバタンが全押しされた状態であることを検知して、ＣＣＤ１０６から第１の画像信号Ｓｖ１が出力される直前に、ＯＩＳユニット制御部１０４ａを起動させる。そして、ＣＣＤ１０６から第１の画像信号Ｓｖ１が出力された後に、システムコントローラ１２０が画像処理部１０７を介してメモリーカードに第２の画像信号Ｓｖ２を格納させた後に、ＯＩＳユニット制御部１０４ａの動作を終了させる。

＜ケース３＞
操作部１１０の電源スイッチがＯＮになり、撮像装置ＩＣＤ１が撮影モードのときにシステムコントローラ１２０が撮像装置ＩＣＤ１が撮影モードであることを検知して、ＯＩＳユニット制御部１０４ａを起動させる。そして、電源スイッチがＯＦＦになったり、メモリーカード１１２に格納されている第２の画像信号Ｓｖ２が画像処理部１０７を介して表示部１１１に供給されて、表示部１１１で画像表示されたりするなどの撮影モード以外のときに、システムコントローラ１２０はＯＩＳユニット制御部１０４ａの動作を終了させる。

上述のケース１、ケース２、およびケース３の３通りの条件をそれぞれ撮像装置ＩＣＤ１の本体に取付けられたメニュー釦（図示せず）によって切換えるように構成しても良い。また、スチル画像を撮影する場合はケース１或いはケース２に、そして動画像を撮影する場合はケース３にというように撮影モードに応じて自動的に切換えるようにしても良い。

図６を参照して、本実施の形態に係る像ぶれ補正機能について説明する。贈ぶれ補正機能は、ＯＩＳユニット１０２ａおよびＯＩＳユニット制御部１０４ａによって実現される。ＯＩＳユニット１０２ａは、ＯＩＳアクチュエータ３１ｘおよび３１ｙと位置検出センサ３２ｘおよび３２ｙを含む。ＯＩＳアクチュエータ３１ｘは像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）と共に左右方向（ヨーイング方向）に移動するコイルパターン７Ｂと固定枠５に固定されたマグネット１０Ｂおよびヨーク１１Ｂで構成される。位置検出センサ３２ｘはホール素子８Ｂで形成される。

そして、ＯＩＳアクチュエータ３１ｙは、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）と共に上下方向（ピッチング方向）に移動するコイルパターン７Ａと固定枠５に固定されたマグネット１０Ａおよびヨーク１１Ａで構成される。位置検出センサ３２ｙはホール素子８Ａで構成される。

ＯＩＳユニット制御部１０４ａは、ゲイン補正部３３ｘおよび３３ｙと、角速度センサ３４ｘおよび３４ｙと、積分器３５ｘおよび３５ｙと、ゲイン補正部３６ｘおよび３６ｙと、比較部３７ｘおよび３７ｙと、ＯＩＳユニット駆動部３８ｘおよび３８ｙと、画像シフト量演算部３９ｘおよび３９ｙとを含む。

角速度センサ３４ｘは、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）を左右方向（ヨーイング方向）に移動させるＯＩＳアクチュエータ３１ｘに対応する方向の角速度Ａｘを検出する。積分器３５ｘは、角速度センサ３４ｘから出力される角速度Ａｘを積分して角度情報ＩＡｘを出力する。ＯＩＳユニット駆動部３８ｘは、コイルパターン７Ｂに電力を供給する。ゲイン補正部３３ｘは、位置検出センサ３２ｘから出力される可動部の位置情報ＩＰｘを所定のゲインＫ１で倍増させる。ゲイン補正部３６ｘは、積分器３５ｘから出力される角度情報ＩＡｘを所定のゲインＫ２で倍増させる。

比較部３７ｘは、ゲイン補正部３３ｘから出力される可動部の位置情報Ｋ１＊ＩＰｘと、ゲイン補正部３６ｘから出力される撮像装置本体の角度情報Ｋ２＊ＩＡｘとを比較する。その比較結果は、比較部３７ｘから、ＯＩＳユニット駆動部３８ｘおよび画像シフト量演算部３９ｘに対する制御信号Ｓｃｘとして出力される。つまり、当該制御信号Ｓｃｘに基づいて、ＯＩＳユニット駆動部３８ｘはＯＩＳアクチュエータ３１ｘの可動部の位置を制御する。また、画像シフト量演算部３９ｘは、同制御信号Ｓｃｘ（つまり、ゲイン調整部３３ｘから出力されるＯＩＳユニット１０２ａのｘ方向の位置情報であるＫ１・ＩＰｘとゲイン調整部３６ｘから出力される撮像装置のｘ方向の角度振れ情報Ｋ２・ＩＡｘとの差Ｋ２・ＩＡｘ−Ｋ１・ＩＰ）に基づいてｘ方向の画像シフト量ＩＳｘ（以降、「ｘ方向画像シフト量ＩＳｘ」）を演算する。

同様に、角速度センサ３４ｙは、像ぶれ防止レンズ１（ＯＩＳユニット１０２ａ）を上下方向（ピッチング方向）に移動させるＯＩＳアクチュエータ３１ｙに対応する方向の角速度Ａｙを検出する。積分器３５ｙは、角速度センサ３４ｙから出力される角速度Ａｙを積分して角度情報ＩＡｙを出力する。ＯＩＳユニット駆動部３８ｙは、コイルパターン７Ａに電力を供給する。ゲイン補正部３３ｙは、位置検出センサ３２ｙから出力される可動部の位置情報ＩＰｙを所定のゲインＫ１で倍増する。ゲイン補正部３６ｙは、積分器３５ｙから出力される角度情報を所定のゲインＫ２で倍増する。

比較部３７ｙは、ゲイン補正部３３ｙから出力される可動部の位置情報Ｋ１・ＩＰｙと、ゲイン補正部３６ｘから出力される撮像装置本体の角度情報Ｋ２・ＩＡｙとを比較する。その比較結果は、比較部３７ｘから、ＯＩＳユニット駆動部３８ｙおよび画像シフト量演算部３９ｙに対する制御信号Ｓｃｙとして出力される。つまり、当該制御信号Ｓｃｙに基づいて、ＯＩＳユニット駆動部３８ｙはＯＩＳアクチュエータ３１ｙの可動部の位置を制御する。また、画像シフト量演算部３９ｙは、同制御信号Ｓｃｙ（つまり、ゲイン調整部３３ｙから出力されるＯＩＳユニット１０２ａのｙ方向の位置情報Ｋ１・ＩＰｙとゲイン調整部３６ｙから出力される撮像装置のｙ方向の角度振れ情報Ｋ２・ＩＡｙとの差Ｋ２・ＩＡｙ−Ｋ１・ＩＰｙ）に基づいてｙ方向画像シフト量ＩＳｙ（以降、「ｙ方向画像シフト量ＩＳｙ」）を演算する。

以降、必要に応じて、ＯＩＳアクチュエータ３１ｘおよび３１ｙをＯＩＳアクチュエータ３１と総称し、位置検出センサ３２ｘおよび３２ｙを位置検出センサ３２と総称し、ゲイン補正部３３ｘおよび３３ｙをゲイン補正部３３と総称し、角速度センサ３４ｘおよび３４ｙを角速度センサ３４と総称し、積分器３５ｘおよび３５ｙを積分器３５と総称し、ゲイン補正部３６ｘおよび３６ｙをゲイン補正部３６と総称し、比較部３７ｘおよび３７ｙを比較部３７と総称し、ＯＩＳユニット駆動部３８ｘおよび３８ｙをＯＩＳユニット駆動部３８と総称し、そして画像シフト量演算部３９ｘおよび３９ｙを画像シフト量演算部３９と総称する。上述のように、ＯＩＳアクチュエータ３１、位置検出センサ３２、ゲイン補正部３３、比較部３７、およびＯＩＳユニット駆動部３８は制御ループゲインを構成している。

上述の如く構成された、ＯＩＳユニット１０２ａおよびＯＩＳユニット制御部１０４ａにおいて、像ぶれ補正機能は以下の如く実現される。つまり、撮像装置ＩＣＤ１の左右方向の振れに対して像ぶれを補正の元となるｘ方向の角度振れ情報Ｋ２・ＩＡｘは角速度センサ３４ｘおよび積分器３５ｘを通してゲイン補正部３６ｘから出力される。左右方向の振れのない状態では、ゲイン補正部３６ｘからは所定の基準電圧がｘ方向の角度振れ情報Ｋ２・ＩＡｘとして出力される。このｘ方向の角度振れ情報Ｋ２・ＩＡｘの基準電圧にあわせて、ＯＩＳユニット駆動部３８ｘ、ＯＩＳアクチュエータ３１ｘ、位置検出センサ３２ｘ、およびゲイン補正部３３ｘによって像ぶれ防止レンズ１の位置が制御される。すなわち、この状態では比較部３７ｘからＯＩＳユニット駆動部３８ｘに出力される電圧はほぼ０となり、像ぶれ防止レンズ１の中心は像ぶれ防止レンズ１以外の撮像光学系ＩＣＳａのほぼ中心を通る垂直線に一致する。

撮像装置ＩＣＤ１に左右方向の振れが生じた状態では、ゲイン補正部３６ｘからは撮像光学系ＩＣＳａのｘ方向の回転角度に基づく電圧が出力される。この電圧によって、像ぶれ防止レンズ１をこの左右方向の回転角度分だけ像ぶれを生じない方向に移動させる。したがって、ゲイン補正部３３ｘとゲイン補正部３６ｘとでは、像ぶれ防止レンズ１を位置検出センサ３２ｘで検出した出力（ｘ方向の角度振れ情報Ｋ２・ＩＡｘ）に対して像ぶれを生じない位置に移動させるために必要な電力がＯＩＳユニット駆動部３８ｘからＯＩＳアクチュエータ３１ｘに出力されるように調整される。具体的には、撮像装置ＩＣＤ１が工場より出荷される時点で調整される。

一方、撮像装置ＩＣＤ１の上下（ｙ）方向の振れに対する像ぶれを補正の元となるｙ方向の角度振れ情報Ｋ２・ＩＡｙは角速度センサ３４ｙおよび積分器３５ｙを通してゲイン補正部３６ｙから出力される。上下方向の振れのない状態では、ゲイン補正部３６ｙからは所定の基準電圧が制御指令信号として出力される。このｙ方向の角度振れ情報Ｋ２・ＩＡｙの基準電圧に一致するように、ＯＩＳユニット駆動部３８ｙ、ＯＩＳアクチュエータ３１ｙ、位置検出センサ３２ｙおよびゲイン補正部３３ｙによって像ぶれ防止レンズ１の位置が制御される。すなわち、この状態では比較部３７ｙからＯＩＳユニット駆動部３８ｙに出力される電圧はほぼ０となり、像ぶれ防止レンズ１の中心は像ぶれ防止レンズ１以外の撮像光学系ＩＣＳａのほぼ中心を通る水平線に一致する。

撮像装置ＩＣＤ１に上下方向の振れを生じた状態では、ゲイン補正部３６ｙからは撮像装置ＩＣＤ１のｙ方向の回転角度に基づく電圧が出力される。この上下方向の回転角度に基づく電圧によって、この上下方向の回転角度分だけ像ぶれを生じない方向に像ぶれ防止レンズ１が移動させられる。したがって、ゲイン補正部３３ｙとゲイン補正部３６ｙとでは、位置検出センサ３２ｙで検出した出力に対して像ぶれを生じない方向に像ぶれ防止レンズ１を移動させるために必要な電力がＯＩＳユニット駆動部３８ｙからＯＩＳアクチュエータ３１ｙに出力されるように調整される。具体的には、具体的には、撮像装置ＩＣＤ１が工場より出荷される時点で調整される。

次に、図７を参照して、画像処理部１０７について説明する。画像処理部１０７は、画像読出部４１、画像切出部４２、画像合成部４３、および画像メモリ４４を含む。画像処理部１０７は、主に電子的な像ぶれ補正機能を有する。画像読出部４１は、ＣＣＤ１０６から出力される第１の画像信号Ｓｖ１から１フレーム分の画像データを読み出して第１の画像データＤｉ１として合焦情報算出部１０９ａおよび画像切出部４２に対して出力する。合焦情報算出部１０９ａは、第１の画像データＤｉ１をフォーカスレンズユニット１０３を駆動して合焦させるための評価値として用いて、コントラスト情報を演算する。

画像切出部４２は、第１の画像データＤｉ１および第１の画像データＤｉ１に対応するｘ方向画像シフト量ＩＳｘとｙ方向画像シフト量ＩＳｙとに基づいて、ＯＩＳアクチュエータ３１によって補正しきれなかった像ぶれ分を補正するように第１の画像データＤｉ１から第２の画像データＤｉ２を切り出して、画像合成部４３へ出力する。つまり、第１の画像データＤｉ１は、ＯＩＳアクチュエータ３１で撮影前に光学的に像ぶれ防止された状態でのＣＣＤ１０６で撮像された撮影画像（第１の画像信号Ｓｖ１）の１フレーム画像データであり、画像データＤｉ２は光学的に像ぶれ防止されて撮影された後にさらに電子的に像ぶれ補正された１フレーム画像データである。

すなわち、第１の画像データＤｉ１は、前フレームから現フレームでの撮影に際して生じる撮像装置ＩＣＤの像ぶれ防止レンズ１（撮像光学系ＩＣＳａ）の動きに起因して生じるであろう像ふれが光学的に防止されて撮像される画像データである。そして、第２の画像データＤｉ２は、第１の画像データＤｉ１において光学的な像ぶれ防止機能で防ぎ切れていない像ぶれを、画像処理（ピクセル単位の切り出しアドレスを調整）することで、さらに補正された画像データである。

この意味において、第１の画像データＤｉ１および第２の画像データＤｉ２をそれぞれ、必要に応じて、光学的像ぶれ防止撮影画像データおよび光学的像ぶれ防止撮影／電子的像ぶれ補正画像データと呼んで識別する。また、第１の画像データＤｉ１および第２の画像データＤｉ２、すなわち光学的像ぶれ防止撮影画像データＤｉ１および光学的像ぶれ防止撮影／電子的像ぶれ補正画像データＤｉ２が表す画像を、それぞれ、光学的像ぶれ防止撮影画像Ｉ１および光学的像ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２と称する。

画像合成部４３は、ＣＣＤ１０６、画像読出部４１および画像切出部４２を介して入力された複数枚の撮影画像分の光学的像ぶれ防止撮影／電子的像ぶれ補正画像データＤｉ２を画像メモリ４４に記憶させる。画像合成部４３は、撮像装置ＩＣＤ像ぶれ防止レンズ１による撮像が終了した後に、画像メモリ４４に記憶されている複数枚の電子的像ぶれ補正画像データＤｉ２を加算平均して画像合成を行い、第３の画像データＤｉ３を生成する。なお、第１の画像データＤｉ１、第２の画像データＤｉ２、および第３の画像データＤｉ３を画像データＤｉと総称する。

そして、画像合成部４３は、第３の画像データＤｉ３を表示部１１１或いはメモリーカード１１２に転送する。なお、複数枚の画像データ（第２の画像データＤｉ２）は、１枚の画像データを１フレーム単位として、システムコントローラ１２０から出力される同期信号（３０〜１２０［Ｈｚ］）のタイミングで１フレームずつ処理される。

図８および図９を参照して、光学的像ぶれ防止撮影画像Ｉ１に対する電子的像ぶれ補正について説明する。図８は、光学的像ぶれ防止撮影画像Ｉ１（第１の画像データＤｉ１）における画素配置の一例を示している。図９はＣＣＤ１０６によって撮影され光学的像ぶれ防止撮影画像Ｉ１（第１の画像データＤｉ１）と、画像読出部４１によって読み出される電子的像ぶれ補正画像Ｉ２（第２の画像データＤｉ２）との位置関係を示している。

具体的には、図８において、ｒ（０，０）、ｇ（１，０）、ｂ（１，１）などは、（ｍ＋１）×（ｎ＋１）個の画素数で表される画素単位を表している。つまり、（ ）内は、光学的像ぶれ防止撮影画像Ｉ１として表示される或いは、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２として切り出される矩形画像を構成する個々の画素の座標を示している。つまり、本例においては、光学的像ぶれ防止撮影画像Ｉ１は左から順に０からｍまでのｍ＋１列、上から順に０からｎまでのｎ＋１行の画素マトリックにおける二次元の位置情報からなる。例えば、５００万画素のＣＣＤではｍ＝２５５９、ｎ＝１９１９、４００万画素のＣＣＤではｍ＝２３０３、ｎ＝１７２７で表される。

ｒ（０，０）、ｇ（１，０）、ｂ（１，１）は、それぞれ、ｒ（ｍ，ｎ）、ｇ（ｍ，ｎ）、ｂ（ｍ，ｎ）と一般化できる。つまり、１画素を２５６階調で表すと、ｒ（ｍ，ｎ）は赤色の情報を２５６階調で表した数値が格納される。ｇ（１，０）は緑色の情報を２５６階調で表した数値が格納される。ｂ（１，１）は青色の情報を２５６階調で表した数値が格納される。つまり、図８において、光学的像ぶれ防止撮影画像Ｉ１の画素配置において、ｍ座標が０とｍ、ｎ座標が０とｎで表される画素、つまり、ｒ（０，０）、ｇ（ｍ，０）、ｂ（ｍ，ｎ）、ｇ（０，ｎ）、ｒ（０，０）の順で結んだ画素を含む外側の枠は、光学的像ぶれ防止撮影画像Ｉ１の輪郭を表している。

図９において、実線で表されている矩形Ｏｉ１（１）、Ｏｉ１（２）、Ｏｉ１（３）、およびＯｉ１（４）は、ＣＣＤ１０６によって生成された連続する４フレームの光学的像ぶれ防止撮影画像Ｉ１（１）、Ｉ１（２）、Ｉｉ（３）、およびＩｉ（４）の輪郭を示している。本例においては、光学的像ぶれ防止撮影画像Ｉ１（１）、Ｉ１（２）、Ｉｉ（３）、およびＩｉ（４）は、それぞれ、１番目、２番目、３番目、および４番目のフレームの光学的像ぶれ防止撮影画像を表している。光学的像ぶれ防止撮影画像Ｉ１（１）〜Ｉ１（４）において、符号Ｐは被写体を表している。また、一点鎖線で表されている矩形Ｏｉ２（１）、Ｏｉ２（２）、Ｏｉ２（３）、およびＯｉ２（４）は、それぞれ、光学的像ぶれ防止撮影画像Ｉ１（１）、Ｉ１（２）、Ｉ１（３）、およびＩ１（４）から切り出される光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）、Ｉ２（２）、Ｉ２（３）、およびＩ２（４）の輪郭を示している。

光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）、Ｉ２（２）、Ｉ２（３）、およびＩ２（４）のそれぞれは同一の大きさである。しかしながら、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）、Ｉ２（２）、Ｉ２（３）、およびＩ２（４）それぞれの光学的像ぶれ防止撮影画像Ｉ１（１）、Ｉ１（２）、Ｉｉ（３）、およびＩｉ（４）における位置は異なる。

つまり、光学的像ぶれ防止撮影画像Ｉ１における像ぶれが補正されるように、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２が光学的像ぶれ防止撮影画像Ｉ１から切り出される位置がｘ方向或いはｙ方向へシフトされる。同図において、丸の中にそれぞれ１、２、３、および４を附した符号（以降、符号１、符号２、符号３、および符号４と称す）は、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２のシフト量について説明するために、光学的像ぶれ防止撮影画像Ｉ１の輪郭Ｏｉ１に対する、被写体Ｐ１の特定の一部を表す位置変化を示す為に任意に選ばれた指標点を示している。

以下に、上述の４枚の連続するフレームに関する光学的像ぶれ防止撮影画像Ｉ１（１）〜Ｉ１（４）と、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）〜Ｉ２（４）との画像例を参照して、露光期間内に像ぶれ防止レンズ１による光学的な像ぶれ補正処理で防止しきれなかった像ぶれを、ＯＩＳユニット制御部１０４ａから出力される像ぶれ補正誤差情報ＩＳｅを用いてさらに電子的に補正する電子的像ぶれ補正について述べる。

＜１番目フレーム＞
ＣＣＤ１０６から出力される１番目のフレームの光学的像ぶれ防止撮影画像Ｉ１（１）においては、被写体Ｐは光学的像ぶれ防止撮影画像Ｉ１（１）のほぼ中央に位置している。よって、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）は光学的像ぶれ防止撮影画像Ｉ１（１）に対してほぼ同心状に切り出される。このようにして、１番目フレームの第１の画像データＤｉ１（１）から１番目フレームの第２の画像データＤｉ２（１）が生成される。なお、光学的像ぶれ防止撮影画像Ｉ１（１）における被写体Ｐ１の指標点は初期位置である符号１の位置としている。

＜２番目フレーム＞
２番目のフレームの光学的像ぶれ防止撮影画像Ｉ１（２）において、光学的像ぶれ防止撮影画像Ｉ１（１）の輪郭Ｏｉ１（１）および被写体Ｐが点線で表されている。光学的像ぶれ防止撮影画像Ｉ１（１）の場合に比べて、光学的像ぶれ防止撮影画像Ｉ１（２）においては被写体Ｐ１は左斜め方向に、つまり指標点が符号１の位置から符号２の位置に移動している。よって、被写体Ｐ１が光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（２）のほぼ中心に位置するように、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（２）が光学的像ぶれ防止撮影画像Ｉ１（２）から切り出される。

この際の処理について、以下に具体的に説明する。１番目フレームと２番目フレームとの間隔を１／１２０［秒］とした場合には、１／１２０［秒］の間に、指標点が符号１の位置から符号２の位置へ移動したことを示すベクトル値が像ぶれ補正誤差情報ＩＳｅとして出力される。像ぶれ補正誤差情報ＩＳｅは、図６に示した画像シフト量演算部３９ｘで演算されるｘ方向画像シフト量ＩＳｘと、画像シフト量演算部３９ｙで演算されるｙ方向画像シフト量ＩＳｙとで表現される。

つまり、ｘ方向画像シフト量ＩＳｘは、ゲイン調整部３３ｘから出力されるＯＩＳユニット１０２ａのｘ方向の位置情報とゲイン調整部３６ｘから出力される撮像装置ＩＣＤ１のｘ方向の角度振れ情報との差（すなわち光学的な像ぶれ補正で補正しきれなかった像ぶれ）に基づいて、画像シフト量演算部３９ｘによって演算される。そして、ｙ方向画像シフト量ＩＳｙは、ゲイン調整部３３ｙから出力されるＯＩＳユニット１０２ａのｙ方向の位置情報とゲイン調整部３６ｙから出力される撮像装置ＩＣＤ１のｙ方向の角度振れ情報との差（すなわち光学的な像ぶれ補正で補正しきれなかった像ぶれ）に基づいて、画像シフト量演算部３９ｙによって演算される。

＜３番目フレーム＞
３番目のフレームの光学的像ぶれ防止撮影画像Ｉ１（３）において、光学的像ぶれ防止撮影画像Ｉ１（２）の輪郭Ｏｉ１（２）および被写体Ｐが点線で表されている。つまり、光学的像ぶれ防止撮影画像Ｉ１（３）においては、光学的像ぶれ防止撮影画像Ｉ１（２）の場合に比べて、被写体Ｐ１は下方向に、つまり指標点が符号２の位置から符号３の位置に移動している。よって、被写体Ｐ１が光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（３）のほぼ中心に位置するように、像ぶれ補正誤差情報ＩＳｅに基づいて、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（３）が光学的像ぶれ防止撮影画像Ｉ１（３）から切り出される。

＜４番目フレーム＞
４番目のフレームの光学的像ぶれ防止撮影画像Ｉ１（４）において、光学的像ぶれ防止撮影画像Ｉ１（３）の輪郭Ｏｉ１（３）および被写体Ｐが点線で表されている。光学的像ぶれ防止撮影画像Ｉ１（４）においては、点線で示す光学的像ぶれ防止撮影画像Ｉ１（３）の場合に比べて、被写体Ｐ１は右方向に、つまり指標点が符号３の位置から符号４の位置に移動している。よって、被写体Ｐ１が光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（４）のほぼ中心に位置するように、像ぶれ補正誤差情報ＩＳｅに基づいて、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（４）が光学的像ぶれ防止撮影画像Ｉ１（４）から切り出される。

上述のように、ＣＣＤ１０６から画像データを切り出す範囲がシフトされて、第２の画像データＤｉ２が生成される。（以降、「シフト切り出し」と称する）。このように、シフト切り出しされたフレーム分の第２の画像データＤｉ２（１）〜Ｄｉ２（４）が別々に画像メモリ４４に格納される。

そして、１番目フレームの光学的像ぶれ防止撮影画像Ｉ１（１）から切り出された光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）の第２の画像データＤｉ２（１）に対して、２番目フレームの光学的像ぶれ防止撮影画像Ｉ１（２）から切り出された光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（２）の第２の画像データＤｉ２（２）、３番目フレームの光学的像ぶれ防止撮影画像Ｉ１（３）から切り出された光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（３）の第２の画像データＤｉ２（３）、および４番目フレームの光学的像ぶれ防止撮影画像Ｉ１（４）から切り出された光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（４）の第２の画像データＤｉ２（４）が重ね合わされる。つまり、４つのフレームにおける同一アドレス上の画素毎にデータの加算が行われ、加算された各画素データが１０２４階調で表される。

具体的には、１番目フレームの被写体Ｐ１の指標点の符号１の位置の座標をｒ（２０，２０）、ｇ（２１，２０）、ｇ（２０，２１）、およびｂ（２１，２１）で表す。２番目フレームの被写体Ｐ１の指標点の符号２の位置の座標をｒ（１６，１６）、ｇ（１７，１６）、ｇ（１６，１７）、およびｂ（１７，１７）で表す。３番目フレームの被写体Ｐ１の指標点の符号３の位置の座標をｒ（１６，２４）、ｇ（１７，２４）、ｇ（１６，２５）、およびｂ（１７，２５）で表す。そして、４番目フレームの被写体Ｐ１の指標点の符号４のの座標をｒ（２４，２４）、ｇ（２５，２４）、ｇ（２４，２５）、およびｂ（２５，２５）で表す。この場合、それぞれ次式（１）、（２）、（３）、および（４）で表されるＲ（２０，２０）、Ｇ（２１，２０）、Ｇ（２０，２１）、およびＢ（２１，２１）の１０２４階調で表される画像データが生成される。

Ｒ（２０，２０）＝ｒ（２０，２０）＋ｒ（１６，１６）＋ｒ（１６，２４）
＋ｒ（２４，２４） ・・・・ （１）
Ｇ（２１，２０）＝ｇ（２１，２０）＋ｇ（１７，１６）＋ｇ（１７，２４）
＋ｇ（２５，２４） ・・・・ （２）
Ｇ（２０，２１）＝ｇ（２０，２１）＋ｇ（１６，１７）＋ｇ（１６，２５）
＋ｇ（２４，２５） ・・・・ （３）
Ｂ（２１，２１）＝ｂ（２１，２１）＋ｂ（１７，１７）＋ｂ（１７，２５）
＋ｂ（２５，２５） ・・・・ （４）

このように第２の画像データＤｉ２（１）〜Ｄｉ２（４）のすべての画素においても同様の計算を行い、例えばＣＣＤ１０６の画素数を５００万画素として、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）を、ｒ（８，８）、ｇ（２５５１，８）、ｂ（２５５１，１９１１）、ｇ（８，１９１１）、ｒ（８，８）の順番で結んだ輪郭Ｏｉ２（１）に含まれる画素エリアとして定義する。そして、１番目フレームと２番目フレーム、３番目フレーム、および４番目フレームの光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２（１）〜Ｉ２（４）の各画素を次式（５）、（６）、（７）、および（８）で表す様に順次加算して第３の画像データＤｉ３を生成する。

Ｒ（８，８）＝ｒ（８，８）＋ｒ（４，４）＋ｒ（４，１２）
＋ｒ（１２，１２） ・・・・（５）
Ｇ（９，８）＝ｇ（９，８）＋ｇ（５，４）＋ｇ（５，１２）
＋ｇ（１３，１２） ・・・・（６）
Ｇ（２５５１，８）＝ｇ（２５５１，８）＋ｇ（２５４７，４）
＋ｇ（２５４７，１２）＋ｇ（２５５５，１２）・・・・（７）
Ｂ（２５５１，１９１１）＝ｂ（２５５１，１９１１）＋ｂ（２５４７，１９０７）
＋ｂ（２５４７，１９１５）＋ｂ（２５５５，１９１５）
・・・・（８）

上述の式に基づき算出された第３の画像データＤｉ３に、ホワイトバランス補正やγ補正などの所定の画像処理を施して生成された第４の画像データＤｉ４（図示せず）を表示部１１１へ転送して画像を表示させたり、メモリーカード１１２に転送したりする。なお、上記のようにホワイトバランス補正やγ補正が施された生成された画像データの変わりに、そのような処理が施される前の加算した状態の第３の画像データＤｉ３を画像表示或いはメモリーカード１１２に転送しても良い。また、これらの第３の画像データＤｉ３或いは第４の画像データＤｉ４のそれぞれを４で除算して２５６階調の第５の画像データＤｉ５（図示）せずとして転送しても良い。なお、上述の第３の画像データＤｉ３、第４の画像データＤｉ４、および画像データＤｉ５のそれぞれに対応する画像信号を第３の画像信号Ｓｖ３、第４の画像信号Ｓｖ４、および第５の画像信号Ｓｖ５と識別するものとする。

次に、図１０に示すフローチャートを参照して、システムコントローラ１２０によるＯＩＳユニット制御部１０４ａの動作について説明する。簡単に言えば、システムコントローラ１２０は、操作部１１０のシャッターボタンが全押しされた状態を検知して、ＣＣＤ１０６が第１の画像信号Ｓｖ１（第１の画像データＤｉ１）を出力する直前にＯＩＳユニット制御部１０４ａを起動させる。そして、システムコントローラ１２０は、ＣＣＤ１０６から第１の画像信号Ｓｖ１を出力させて画像処理部１０７を介して、上述した電子的な像ぶれ補正を施した後に、上述の第３の画像データＤｉ３、第４の画像データＤｉ４、或いは画像データＤｉ５に想到する画像信号Ｓｖ（Ｓｖ３、Ｓｖ４、或いはＳｖ５）をメモリーカード１１２に格納させ、その後にＯＩＳユニット制御部１０４ａの動作を終了する例について説明する。なお、操作部１１０のシャッターボタンが全押しされた状態が検知された時点で、本フローチャートに示す処理が開始される。

先ず、ステップＳ１０１において、ＯＩＳユニット制御部１０４ａの動作が開始される。そして、先に述べた制御ループが機能して基準位置に、像ぶれ補正用レンズユニット（、ＯＩＳユニット）１０２が保持されるとともに、角速度センサ３４の出力が積分された撮像装置の振れ角度情報を指令として光学的な像ぶれ防止が機能する。そして、光学的像ぶれ防止撮影が行われる。

ステップＳ１０２において、ＣＣＤ１０６から１フレーム分の光学的像ぶれ防止撮影画像Ｉ１の第１の画像信号Ｓｖ１が画像処理部１０７へ出力される。

ステップＳ１０３において、上述の像ぶれ補正用レンズユニット（ＯＩＳユニット）１０２による光学的な像ぶれ補正処理で補正しきれなかった像ぶれが、ＯＩＳユニット制御部１０４ａから出力される像ぶれ補正誤差情報ＩＳｅに基づいて、ｘ方向およびｙ方向画像シフト量として算出される。なお、５００万画素ＣＣＤの場合、画像は２５６０×１９２０画素数で構成され、ｘ方向の２５６０画素に対応する画角を５０度とすると、５１．２［画素／度］を係数として角度で表される補正誤差情報が画像シフト量に換算可能である。

ステップＳ１０４ａにおいて、画像切出部４２によって、ｘ方向およびｙ方向のシフト量に基づき１フレーム分の光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２の第２の画像データＤｉ２が切り出されて、画像メモリ４４に記憶される。

ステップＳ１０５において、上述のように４フレーム分の第２の画像データＤｉ２（１）、第２の画像データＤｉ２（２）、第２の画像データＤｉ２（３）、および第２の画像データＤｉ２（４）の画像メモリ４４への記憶が完了したか否かが判定される。つまり、ステップＳ１０４ａ迄の処理が１番目、２番目、および３番目フレームに対する場合には、本ステップにおいてＮｏと判断されて制御は上述のステップＳ１０２に戻る。そして、ステップＳ１０４ａ迄の処理が４番目フレームに対する場合に、本ステップにおいてＹｅｓと判断されて制御は次のステップＳ１０６に進む。

ステップＳ１０６において、上述のように、４フレーム分の第２の画像データＤｉ２の加算処理が行われる。つまり、像ぶれ補正誤差情報ＩＳｅに基づいて、第２の画像データＤｉ２の切り出しおよび加算処理を行うことによって、光学的な像ぶれ防止処理で取りきれなかった像ぶれに対して電子的な像ぶれ補正処理が施されて、画像合成が行われる。結果、第３の画像データＤｉ３が生成される。

ステップＳ１０７において、表示部１１１或いはメモリーカード１１２に、ステップＳ１０６において合成された第３の画像データＤｉ３が出力される。そして、撮影処理が終了される。なお、ステップＳ１０６における画像処理後に、上述のように第３の画像データＤｉ３にさらに所定の画像処理を施して第４の画像データＤｉ４、さらに画像データＤｉ５を静止して、第３の画像データＤｉ３と同様に出力しても良いことは言うまでもない。

（第２の実施の形態）
以下に、図１１、図１２、および図１３図を参照して、本発明の第２の実施の形態に係る撮像装置について説明する。本実施の形態に係る撮像装置ＩＣＤ２は、図１に示した第１の実施の形態に係る撮像装置ＩＣＤ１において、ＯＩＳユニット１０２ａがＯＩＳユニット１０２ｂに交換され、ＯＩＳユニット制御部１０４ａがＯＩＳユニット制御部１０４ｂに交換され、合焦情報算出部１０９ａが合焦情報算出部１０９ｂに交換されると共に、特徴点抽出部１２２が新たに設けられている。よって、特に必要のない限り、撮像装置ＩＣＤ２に固有の特徴について重点的に説明する。

特徴点抽出部１２２は、画像処理部１０７、ＯＩＳユニット制御部１０４ｂ、および合焦情報算出部１０９ｂに接続されている。特徴点抽出部１２２は画像処理部１０７から入力される第２の画像信号Ｓｖ２に含まれる第２の画像データＤｉ２に基づいて、光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２にユーザの意図する参照すべき被写体Ｐ１があるか否かを判定すると共に、被写体Ｐ１の特徴点の位置を抽出する。特徴点抽出部１２２は抽出した特徴点の位置に基づいて、特徴点動きベクトル情報ＩＶｆを生成する。

ＯＩＳユニット制御部１０４ｂは、ＯＩＳユニット１０２ｂから入力される撮像装置ＩＣＤ２の本体の振れ角度情報を含む像ぶれ補正誤差情報ＩＳｅおよび特徴点抽出部１２２から入力される特徴点動きベクトル情報ＩＶｆの何れかを選択する。そして、ＯＩＳユニット制御部１０４ｂは、選択された情報に基づいて、ぶれ補正用レンズユニット（ＯＩＳユニット）１０２を移動制御して光学的な像ぶれ防止撮影を行う。そして、光学的像ぶれ防止撮影画像Ｉ１において光学的に防止しきれなかった像ぶれ分を電子的に補正すべく、画像処理部１０７が像ぶれ補正誤差情報像ＩＳｅに基づいて画像シフト量を算出する。

合焦情報算出部１０９ｂは、少なくとも、特徴点抽出部１２２を介して画像処理部１０７から入力される第２の画像信号Ｓｖ２に含まれるコントラスト情報と、フォーカス駆動部１０５から入力されるフォーカスレンズユニット１０３の位置情報とに基づいてデフォーカス量を算出してフォーカス駆動部１０５へ出力する機能を備えている。そして、合焦情報算出部１０９ｂは、特徴点抽出部１２２が被写体Ｐ１の特徴点の位置情報を抽出した場合には、この特徴点近傍のコントラスト情報を評価値として演算を行う。

なお、特徴点が存在しなければ、合焦情報算出部１０９ｂは所定の範囲からコントラスト情報を評価値として演算を行う。また、ユーザが表示部１１１に表示される撮影画像に対してタッチパネル等の入力手段を利用して、特徴点を指定するように構成しても良い。

次に、図１２を参照して、特徴点抽出部１２２について詳述する。特徴点抽出部１２２は、画像分割部７１、色情報算出部７２、参照位置演算部７３、参照色情報記憶部７４、および評価値演算部７５を含む。画像分割部７１は、画像処理部１０７から出力される第２の画像信号Ｓｖ２に基づいて、第２の画像データＤｉ２（光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２）を複数のエリアに分割する。例えば３２×２４分割や１６×１２分割する。

色情報算出部７２では、画像分割部７１で分割された第２の画像データＤｉ２毎に色情報を算出する。具体的には、以下に示すプログラムに従って色相Ｈを算出して、色相情報ＩＨが生成される。なお、当該プログラムによる実行結果と同じ効果を得られるような回路を構成して、当該回路によって色相Ｈを求めても良い。

Ｖ ＝ ｍａｘ（ｒ，ｇ，ｂ）
ｄ ＝ Ｖ − ｍｉｎ（ｒ，ｇ，ｂ）
Ｓ ＝ ｄ ＊ ２５５ ／ Ｖ
ｉｆ（Ｓ＝０）｛Ｈ＝０｝
ｅｌｓｅ｛ｉｆ（Ｖ＝ｒ） Ｈ ＝ （ｇ−ｂ）＊６０／ｄ
ｉｆ（Ｖ＝ｇ） Ｈ ＝ （ｂ−ｒ）＊６０／ｄ ＋ １２０
ｉｆ（Ｖ＝ｂ） Ｈ ＝ （ｒ−ｇ）＊６０／ｄ ＋ ２４０｝
ｉｆ（Ｈ＜０） ｛Ｈ ＝ Ｈ ＋ ３６０｝

上述のプログラムにおけるｒ、ｇ、およびｂは、図８を参照して説明した各画素を２５６階調で表した数値である。また、ｒ（０，０）、ｇ（１，０）、ｇ（０，１）、およびｂ（１，１）の４点で規定される正方形に含まれる画素単位で上記処理を行うようにしても良い。なお、ｇ（１，０）とｇ（０，１）は大きい方を選択してｇとしても良いし、平均値としても良い。以降、ｒ（２，０）、ｇ（３，０）、ｇ（２，１）、およびｂ（３，１）の単位、ｒ（４，０）、ｇ（５，０）、ｇ（４，１）、およびｂ（５，１）の単位・・・というように４点で規定される正方形に含まれる画素単位で上記処理を行うようにしても良い。また、２５６０×１９２０画素で構成される５００万画素のＣＣＤの場合には、画像分割部７１で３２×２４分割された８０画素単位でｒ、ｇ、およびｂの各平均値を演算して、色相Ｈを算出しても良い。

参照色情報記憶部７４では、色情報算出部７２で算出された色相情報ＩＨのうち表示部１１１で表示されたユーザの意図する被写体Ｐ１の特徴点（例えば図９に示した符号１、符号２、符号３、および符号４）での色情報が予め記憶させられる。具体例としては、表示部１１１で表示されている被写体Ｐ１で、ユーザが操作部１１０を操作して、ユーザが特徴点と意図する画像の上にカーソルを合わせて指示することにより、参照色情報記憶部７４に色情報を記憶させることができる。

参照位置演算部７３では、表示部１１１でモニタして撮影しようとしている画像情報に含まれる色情報と予め記憶させた色情報とを比較してユーザの意図する被写体の特徴点が存在するか否かを判定して、存在するのであればその位置情報ＩＰを演算してＯＩＳユニット制御部１０４ｂと評価値演算部７５へ出力する。 なお、予め記憶させておく色情報はデフォルトとして複数存在し、それらから選択するようにしても良い。

次に、図１３を参照して、ＯＩＳユニット１０２ｂについて説明する。ＯＩＳユニット１０２ｂは、図６に示したＯＩＳユニット１０２ａにおいて、動きベクトル検出部６０ｘおよび６０ｙと、ゲイン補正部６１ｘおよび６１ｘと、スイッチ６２ｘおよび６２ｙとが追加されている。なおスイッチ６２ｘおよび６２ｙは図面においては、紙面の都合上「ＳＷ」と標記されている。

動きベクトル検出部６０ｘは、参照位置演算部７３において演算された特徴点のｘ方向の位置情報ＩＰからｘ方向の動きベクトルＶｘを検出する。ゲイン補正部６１ｘは、ｘ方向の動きベクトルＶｘから振れ角度情報に対するゲインを換算する。例えば、５００万画素ＣＣＤで２５６０×１９２０画素数で構成され、ｘ方向の２５６０画素に対応する画角を５０度とすると、１／５１．２［度／画素］を係数Ｋ３として角度で表される情報に換算する。

スイッチ６２ｘは、ゲイン補正部３６ｘおよびゲイン補正部６１ｘに接続されている。そして、システムコントローラ１３０から入力されるｘ方向目標位置選択信号ＳＴｘに基づいて、ゲイン補正部３６ｘおよびゲイン補正部６１ｘの何れかを選択して比較部３７ｘに接続する。具体的には、既に参照色情報記憶部７４に記憶されている色相情報ＩＨとほぼ一致する色相情報ＩＨが画像データ内に存在する場合にはゲイン補正部６１ｘが選択され、一致する色相情報ＩＨが画像データ内に存在しない場合にはゲイン補正部３６ｘが選択される。

動きベクトル検出部６０ｙは参照位置演算部７３において演算された特徴点のｙ方向の位置情報ＩＰからｙ方向の動きベクトルＶｙを検出する。ゲイン補正部６１ｙは、ｙ方向の動きベクトルＶｙから振れ角度情報に対するゲインを換算する。例えば、５００万画素ＣＣＤで２５６０×１９２０画素数で構成され、ｙ方向の１９２０画素に対応する画角を３７．５度とすると、１／５１．２［度／画素］を係数Ｋ３として角度で表される情報に換算する。

スイッチ６２ｙは、ゲイン補正部３６ｙおよびゲイン補正部６１ｙに接続されている。そして、システムコントローラ１３０から入力されるｙ方向目標位置選択信号ＳＴｙに基づいて、参照位置演算部７３から出力される位置情報ＩＰに基づいて、ゲイン補正部３６ｙおよびゲイン補正部６１ｙの何れかを選択して比較部３７ｙに接続する。具体的には、既に参照色情報記憶部７４に記憶されている色相情報ＩＨとほぼ一致する色相情報ＩＨが画像データ内に存在する場合にはゲイン補正部６１ｙが選択され、一致する色相情報ＩＨが画像データ内に存在しない場合にはゲイン補正部３６ｙが選択される。

なお、ユーザの意図する被写体の特徴点が存在するか否かに基づいて、スイッチ６２ｘおよびスイッチ６２ｙの選択動作が行われる例について説明している。しかしながら、操作部１１０に備えるメニュー釦（図示せず）をユーザが操作することによって、スイッチ６２ｘおよびスイッチ６２ｙの選択動作を行うように設定しても良い。

図１４に、表示部１１１に表示される画面に対する空間上の２次元の静的な絶対座標を示す。例えば、原点（左上隅）をｘ方向０番およびｙ方向０番として、同図に示すエリアＢ０の座標は（１１，８）というように静的な座標が定義される。

図１５を参照して、像ぶれ補正機能について説明する。同図においては、ＣＣＤ１０６から出力される第１の画像信号Ｓｖ１に基づいて、表示部１１１に表示される連続する４フレームの光学的像ぶれ防止撮影画像Ｉ１（１）〜Ｉ１（４）が図１４に示した２次元の静的絶対座標上に例示されている。そして、被写体Ｐ１の頭部が特徴点として設定されると共にエリアＢ１（１）〜Ｂ１（４）として認識される。なお、光学的像ぶれ防止撮影画像Ｉ１（２）〜Ｉ１（４）における被写体Ｐ１の相対的に位置は、光学的像ぶれ防止撮影画像Ｉ１（１）における被写体Ｐ１の相対的な位置と同じである。

１番目のフレームに関しては、光学的像ぶれ防止撮影画像Ｉ１（１）は、表示部１１１の画面の左下隅に位置している。そして、光学的像ぶれ防止撮影画像Ｉ１（１）の概ね左半分の領域に被写体Ｐ１が表示されている。なお、本フレームにおける被写体Ｐ１の特徴点であるエリアＢ１（１）の座標は（５，７）である。

２番目のフレームに関しては、光学的像ぶれ防止撮影画像Ｉ１（２）は、光学的像ぶれ防止撮影画像Ｉ１（１）に比べて、ｘ方向およびｙ方向にそれぞれ＋２座標および−１座標移動している。結果、エリアＢ１（２）の座標は（７，６）である。

３番目のフレームに関しては、光学的像ぶれ防止撮影画像Ｉ１（３）は、光学的像ぶれ防止撮影画像Ｉ１（２）に比べて、ｘ方向およびｙ方向にそれぞれ＋２座標および−１座標移動している。結果、エリアＢ１（３）の座標は（９，５）である。

４番目のフレームに関しては、光学的像ぶれ防止撮影画像Ｉ１（４）は、光学的像ぶれ防止撮影画像Ｉ１（３）に比べて、ｘ方向およびｙ方向にそれぞれ＋２座標および−１座標さらに移動している。結果、エリアＢ１（３）の座標は（１１，４）である。つまり、１番目フレームから４番目フレームの間で、被写体Ｐ１は空間上の２次元の静的な座標上をｘ方向およびｙ方向にそれぞれ＋６座標および−３座標移動している。これは、静止している被写体Ｐ１を撮影時に撮像装置ＩＣＤをｘ方向およびｙ方向にそれぞれ−６座標および＋３座標に相当する方向に動かした状態でもある。

特徴点抽出部１２２は、上述の如く、被写体Ｐ１の特徴点をエリアＢ１ａ、Ｂ１ｂ、Ｂ１ｃ、およびＢ１ｄで示すようにそれらの位置として検出するので、フレーム毎にｘ方向は＋２座標分そしてｙ方向は−１座標分の特徴点の動きベクトルが検出される。この動きベクトルＶを用いて像ぶれ防止レンズ１を移動制御して、光学的な像ぶれ防止撮影を行う。さらに、第１の実施の形態に関して説明したように、補正しきれなかった像ぶれ補正誤差情報ＩＳｅにより電子的な像ぶれ補正を行うことによって意図する被写体に対する追従性を向上させることができ、意図する被写体に対する像ぶれ補正の性能を向上させることができる。

次に、図１６を参照して、本実施の形態に係る像ぶれ補正動作について説明する。なお、本実施の形態においては、同図に示す動作を撮像装置ＩＣＤに実行させるプログラムがシステムコントローラ１３０に格納されている。なお、本実施の形態においても、上述の第１の実施の形態におけるのと同様に、システムコントローラ１３０は、操作部１１０のシャッターボタンが全押しされている状態を検知して場合に、ＣＣＤ１０６から画像信号を出力する直前にＯＩＳユニット制御部１０４ｂを起動させ、ＣＣＤ１０６から第１の画像信号Ｓｖ１（光学的像ぶれ防止撮影画像Ｉ１）を出力させ、画像処理部１０７に第１の画像信号Ｓｖ１に対して電子的像ぶれ補正を行わせて第２の画像信号Ｓｖ２（光学的ぶれ防止撮影／電子的像ぶれ補正画像Ｉ２）を生成させ、当該第２の画像信号Ｓｖ２（第２の画像データＤｉ２）をメモリーカード１１１に格納させた後に、ＯＩＳユニット制御部１０４ａの動作を終了する例をとり上げて説明する。

よって、ステップＳ２０１において、特徴点抽出部１２２によってＣＣＤ１０６から出力された第１の画像データＤｉ１（第１の画像信号Ｓｖ１）に予め記憶している参照色情報（色相情報ＩＨ）に近い色情報（色相情報ＩＨ）を有するエリアが色情報の算出された画像分割部７１にて分割された各エリアに存在するか否かが判定される。

参照色情報に近い色情報を有するエリアが存在しない場合には、制御は上述のステップＳ１０１に進み、以降の処理は実施の形態１における図１５を用いて説明したように撮影装置本体の振れ角に基づいた像ぶれ補正撮影処理が行われる。一方、参照色情報に近い色情報を有するエリアが存在する場合には、ステップＳ２０２の処理に進む。

ステップＳ２０２において、システムコントローラ１３０からスイッチ６２ｘおよびスイッチ６２ｙにｘ方向目標位置選択信号ＳＴｘおよびｙ方向目標位置選択信号ＳＴｙが出力される。そして、制御は次のステップＳ２０３に進む。

ステップＳ２０３において、動きベクトル検出部６０から出力されるユーザの意図する被写体Ｐ１の特徴点に基づいた動きベクトルＶが目標位置指令情報としてスイッチ６２ｘおよびスイッチ６２ｙから出力される。そして、制御は上述のステップＳ１０１に進み、以降の処理は目標位置指令情報に基づいて第１の実施の形態に関して説明した光学的な像ぶれ防止が行われ。そして、像ぶれ補正誤差情報ＩＳｅに基づいて、光学的な像ぶれ防止しきれかった像ぶれに対してさらに電子的な像ぶれ補正が行われる。このように発明においては、光学的像ぶれ防止撮影手段と電子的像ぶれ補正手段とによりユーザが撮影を意図する被写体の像ぶれを防止する像ぶれ補正手段を構成している。

以上、本発明の実施の形態において説明したようにユーザの撮影したい意図する被写体の像ぶれを防止する像ぶれ補正制御手段を実現することが可能である。特に、気軽に撮影するメリットのあるモバイルカメラなどの小型軽量の撮像装置においては、それゆえに歩きながらの撮影や片手撮りなどユーザの使用状況によって像ぶれを生じやすく、光学的な像ぶれ補正機能に加えて電子的な像ぶれ補正機能を有することで像ぶれ補正効果を大幅に改善できる。

また、予め撮影したい被写体の特徴点を撮像装置本体に記憶させておき、記憶させた特徴点が存在する場合には、その特徴点がぶれないように動きベクトルを目標位置情報として光学的な像ぶれ補正を行うとともに、補正しきれなかった補正誤差をさらに電子的な像ぶれ補正を行うことでユーザの意図する被写体の像ぶれ補正効果を向上させることができる。

なお、本実施の形態においては電子的な像ぶれ補正機能の構成は回路で実現しても良いし、マイコンなどで処理を行うソフトウエアで構成しても良い。なお、光学的な像ぶれ防止の後に光学的に防止しきれなかった補正誤差をさらに電子的に行う事例が具体的に説明されている。しかしながら、光学的な像ぶれ防止の前に電子的な補正を行うように構成できること、さらに、光学的像ぶれ防止と電子的補正を平行して行うように構成することも、当業者にとっては容易であると共に効果的であることは明白である。

本発明は、ディジタルスチルカメラ、ディジタルビデオカメラ等の撮像装置に好適である。

本発明の第１の実施の形態にかかる撮像装置の構成を示すブロック図 図１のＯＩＳユニットの構成を示す斜視図 図２のＯＩＳユニットの要部分解斜視図 図２のピッチング移動枠の背面図 図４におけるＶ−Ｖ断面図 本発明の第２の実施の形態にかかる撮像装置における像ぶれ補正機能の構成を示すブロック図 図１の画像処理部の構成を示すブロック図 本発明の実施の形態１における画像データ配置説明図 本発明の実施の形態１における像ぶれ補正機能の動作説明図 本発明の実施の形態２における撮像装置のブロック図 本発明の実施の形態２における特徴点抽出部の詳細ブロック図 本発明の実施の形態２における像ぶれ補正機能の構成ブロック図 本発明の実施の形態２における空間座標説明図 本発明の実施の形態２における像ぶれ補正機能の動作説明図 本発明の実施の形態１における像ぶれ補正機能の動作フローチャート 本発明の実施の形態２における像ぶれ補正機能の動作フローチャート

符号の説明

ＩＣＤ１、ＩＣＤ２ 撮像装置
３１、３１ｘ、３１ｙ ＯＩＳアクチュエータ
３２、３２ｘ、３２ｙ 位置検出センサ
３３、３３ｘ、３３ｙ ゲイン補正部
３４、３４ｘ、３４ｙ 角速度センサ
３５、３５ｘ、３５ｙ 積分器
３６、３６ｘ、３６ｙ ゲイン補正部
３７、３７ｘ、３７ｙ 比較部
３８、３８ｘ、３８ｙ ＩＳユニット駆動部
３９、３９ｘ、３９ｙ 画像シフト量演算部
７１ 画像分割部
７２ 色情報算出部
７３ 参照位置演算部
７４ 参照色情報記憶部
７５ 強化値演算部
１００ レンズ鏡筒
１０１ ズームレンズ系
１０２ａ、１０２ｂ ＯＩＳユニット
１０３ フォーカスレンズユニット
１０４ａ、１０４ｂ ＯＩＳユニット制御部
１０５ フォーカス駆動部
１０６ ＣＣＤ
１０７ 画像処理部
１０９ａ、１０９ｂ 合焦情報算出部
１１０ 操作部
１１１ 表示部
１１２ メモリーカード
１２０ システムコントローラ
１２２ 特徴点抽出部

Claims (6)

1. 被写体の電気的な画像信号を出力する撮像装置であって、
   光軸に対して垂直に移動制御することで像ぶれを防止する像ぶれ防止レンズを含む複数のレンズ群により前記被写体の光学的な像を形成する撮像光学系と、
   前記被写体の光学的な像を撮像して、前記電気的な画像信号に変換する撮像素子と、
   前記撮像素子から出力される前記電気的な画像信号から所定の範囲の画像を切り出すことで出力画像信号を生成する画像処理手段と、
   前記像ぶれ防止レンズの移動制御を行う像ぶれ制御手段とを備え、
   前記像ぶれ制御手段は、像ぶれ補正誤差を演算する像ぶれ補正誤差演算手段と、前記像ぶれ補正誤差に基づいて前記画像信号の切り出し位置を補正する画像補正手段とで構成され、
   前記像ぶれ補正誤差演算手段は、
   画像信号から特徴点を抽出して前記特徴点の位置情報を演算する特徴点抽出手段と、
   前記特徴点の位置情報に基づいて像ぶれ防止レンズの移動制御を行い、前記像ぶれ防止レンズの位置情報を検出する位置検出手段とを含み、
   前記特徴点の位置情報と前記像ぶれ防止レンズの位置情報との差を像ぶれ補正誤差として演算することを特徴とする撮像装置。
2. 前記画像補正手段は、
   画像信号を複数枚記憶するメモリと、
   前記各画像信号を合成する合成手段を含んで構成されることを特徴とする請求項１に記載の撮像装置。
3. 前記特徴点抽出手段は、
   画像信号から色情報を算出する色情報算出手段と、
   予め参照色情報を設定する参照色情報設定手段と、
   前記参照色情報と前記算出された前記色情報とを比較して、その結果に基づいて、特徴点を抽出して前記特徴点の位置情報を演算することを特徴とする請求項１に記載の撮像装置。
4. 前記色情報および前記参照色情報の内の少なくとも一方は、色相に関する情報および彩度に関する情報の内の少なくとも一方を含む、請求項３に記載の撮像装置。
5. 前記像ぶれ補正誤差演算手段は、画像信号に特徴点が含まれている場合には前記特徴点の位置情報と前記像ぶれ防止レンズの位置情報との差を像ぶれ補正誤差として演算することを特徴とする請求項１に記載の撮像装置。
6. 前記像ぶれ防止レンズは、光軸に対して垂直に当該ぶれ防止レンズを移動するアクチュエータと、当該ぶれ防止レンズの位置を検出する位置検出センサによって移動制御されることを特徴とする請求項１に記載の撮像装置。
   

Images