JP7308696B2 - 像ブレ補正装置及びその制御方法、プログラム、像ブレ補正装置を備える撮像装置 - Google Patents

Description

本発明は、撮像装置において、装置の振れに起因する像ブレを補正する技術に関するものである。

近年、多くの撮像装置に、撮像素子を平行移動させることにより装置の振れに起因する像ブレを補正する像ブレ補正機構（像面像ブレ補正機構）が搭載されるようになってきた。また、より高い像ブレ補正性能を実現するために、像ブレ補正制御の方法に関しても多くの提案がなされている。

特許文献１には、カメラが回転運動を行った時の像ブレ（角度ブレ）およびカメラが平行移動した時の像ブレ（シフトブレ）に関して、それぞれ信号レベルが小さい場合には補正を停止する方法が開示されている。特許文献１に記載の方法によれば、三脚に設置した場合などの振れがない状態において、像ブレの誤補正を防ぐことが出来る。結果として、適切な画像をユーザーに提供することが可能となる。

特許文献２には、１つの加速度計と２つの角速度計の値からそれぞれ回転中心を推定し、露光中は角速度計の値を用いてシフトブレ補正を行う方法が開示されている。

特開２０１７－１９４５２９号公報 特開２０１２－８８４６６号公報

しかしながら、特許文献１および特許文献２に開示されている方法を用いた場合においても、ユーザーによってはうまくシフトブレの補正を行えない場合がある。

すなわち、特許文献１によると、カメラの状態（三脚設置などの静止状態か手持ちかの違い）によって制御を適切に切り替えることは出来るが、ユーザーの個人差に対して対応しているとは言えない。また、特許文献２においては、推定された回転中心の確からしさを判断する方法については開示されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置の振れに起因するシフトブレを精度よく補正できるようにすることである。

本発明に係わる像ブレ補正装置は、撮像素子により一定の時間間隔で取得された２つの画像から、第１の軸の方向と該第１の軸に直交する第２の軸の方向の２軸方向の動きベクトルを検出する動きベクトル検出手段と、撮像装置の振れを検出する振れ検出手段からの、前記第１の軸の回りの回転振れ信号と、前記第２の軸の回りの回転振れ信号と、前記第１及び第２の軸に直交する第３の軸の回りの回転振れ信号の３軸回りの回転振れ信号と、前記第１及び第２の軸の方向の２軸方向の並進振れ信号と、を取得する第１の取得手段と、前記３軸回りの回転振れ信号と、前記２軸方向の並進振れ信号のそれぞれの組み合わせについて、振れの回転半径を取得する第２の取得手段と、前記２軸方向の動きベクトルと前記３軸回りの回転振れ信号の相関を求める比較手段と、前記比較手段により求められた相関の高さに応じて、前記第２の取得手段により取得されたそれぞれの回転半径ごとの並進振れを補正する比率を調整する調整手段と、を備えることを特徴とする。

本発明によれば、撮像装置の振れに起因するシフトブレを精度よく補正することが可能となる。

レンズ交換式の一眼レフタイプのデジタルカメラの構成を示す図。 撮像素子ユニットにおける像ブレ補正機構の分解斜視図。 像ブレ補正制御部の構成を示す図。 出力補正部の内部構成を説明する図。 相関が高い信号の場合の補正方法を説明する図。 相関が低い信号の場合の補正方法を説明する図。 動きベクトル検出部の動作を説明する図。 デジタルカメラの撮像動作の流れを説明するフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の撮像装置の一実施形態であるレンズ交換式の一眼レフタイプのデジタルカメラ１００の構成を示す図である。図１（ａ）は一実施形態におけるデジタルカメラ１００の中央断面図であり、図１（ｂ）はデジタルカメラ１００の電気的構成を示すブロック図である。

図１（ａ）において、デジタルカメラ１００はカメラ本体１と、カメラ本体１に着脱可能に装着されるレンズ２とを備える。レンズ２は、光軸４を軸とする複数のレンズからなる撮影光学系３を備える。レンズ２は、レンズ２を透過した被写体からの光束がカメラ本体１の撮像素子ユニット６に良好に結像されるようにするために、レンズ駆動部１３を備える。レンズ駆動部１３は、レンズシステム制御回路１２からの制御信号を受けて撮影光学系３を駆動する。撮影光学系３は、焦点調節部、絞り駆動部などを備えている。

また、カメラ本体１は、シャッタ機構１６、撮像素子ユニット６、背面表示部９ａ、電子ビューファインダ（以下ＥＶＦ）９ｂ、振れ検出部１５を備える。カメラ本体１とレンズ２の間には、カメラ本体１とレンズ２を電気的に接続する電気接点１１が配置されている
図１（ｂ）において、レンズ２は、電気的な構成として、レンズシステム制御回路１２、レンズ駆動部１３、メモリ２５を備える。レンズシステム制御回路１５は、メモリ２５に記憶されているプログラムを実行することにより、レンズ２の全体を制御する。レンズ駆動部１３は、レンズシステム制御回路１２からの制御信号を受けて撮影光学系３を駆動する。

また、カメラ本体１は、電気的な構成として、カメラシステム制御回路５、撮像素子ユニット６、画像処理部７、メモリ８、背面表示部９ａとＥＶＦ９ｂとを含む表示部９、操作検出部１０、振れ検出部１５、振れ補正駆動部１４を備える。カメラシステム制御回路５は、メモリ８の不揮発性メモリ部に記憶されたプログラムを実行することにより、デジタルカメラ１００の全体を制御する。撮像素子ユニット６は、被写体像を光電変換し画像信号を出力する撮像素子と、撮像素子を光軸に垂直な方向において移動（チルトを含むものとする）させる像ブレ補正機構とを有する。画像処理部７は、撮像素子ユニット６の撮像素子から出力された画像信号に必要な画像処理を行う。メモリ８は、プログラムを記憶する不揮発性メモリ部と、画像データを一時記憶する揮発性メモリ部とを有する。操作検出部１０は、ユーザーの操作を受け付ける。表示部９は、撮影された画像やカメラの状態を示す情報などを表示する。振れ検出部１５は、デジタルカメラ１００の振れ量を検出する。振れ補正駆動部１４は、撮像素子ユニット６の像ブレ補正機構を駆動して撮像素子を光軸４と垂直な面内で移動させ、像振れ補正を行う。撮像素子位置検出部２１は、撮像ユニット６内の撮像素子の移動位置を検出する。

また、機能的な面から見ると、カメラ本体１およびレンズ２からなるデジタルカメラ１００は、撮像手段、画像処理手段、記録再生手段、制御手段を有する。

撮像手段は、撮影光学系３ 、撮像素子ユニット６、シャッタ機構１６を含み、画像処理手段は、画像処理部７を含む。また、記録再生手段は、メモリ８、表示部９を含む。なお、表示部９は、背面表示部９ａ、カメラ本体１の上面に設けられた撮影情報を表示する不図示の小型表示パネル、ＥＶＦ９ｂを包含する。制御手段は、カメラシステム制御回路５、操作検出部１０、振れ検出部１５、振れ補正駆動部１４、レンズシステム制御回路１２、レンズ駆動部１３を含む。なお、レンズシステム制御回路１２は、不図示のフォーカスレンズ、絞り、ズームなどの駆動を行う。

振れ検出部１５は、複数の慣性センサからなり、デジタルカメラ１００の移動、回転を検知可能である。具体的には、振動ジャイロなどが用いられる。振れ補正駆動部１４は撮像素子ユニット６内の像ブレ補正機構を駆動して、撮像素子を光軸４に垂直な平面上でシフトもしくはチルト駆動させる。

上記の各手段をさらに詳しく説明すると、撮像手段は、物体からの光を、撮影光学系３を介して撮像素子の撮像面に結像させる光学処理系である。撮像素子からピント評価量／適切な露光量の情報が得られるため、この情報に基づいて撮影光学系３が調整される。これにより、適切な光量の物体光を、撮像素子上にピントが合った状態で露光させることができる。シャッタ機構１６は、シャッタ幕を走行させることにより、撮像素子の露光状態と遮光状態を制御する。シャッタ機構１６は、少なくとも被写体像を遮るための幕（メカ後幕）を備えており、露光の完了はシャッタ機構１６によってなされる。また、本実施形態では、撮像素子がシャッタ機構１６の後幕走行に先だって、ラインごとに電荷をリセットすることで露光開始のタイミングを制御するモード（電子先幕）を備えている。電子先幕のモードでは、上記の撮像素子の電荷リセット（電子先幕）とシャッタ機構１６の後幕を同期させて動作させることにより露出制御を行う。電子先幕に関しては多くの先行技術文献に記載されているので、詳細な説明は省略する。

画像処理手段を構成する画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部はこの画像処理部７に備えられており、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて静止画、動画、音声などの圧縮を行う。

メモリ８は実際の記憶部を備えている。カメラシステム制御回路５により、メモリ８の記憶部へ画像データの出力を行うとともに、表示部９にユーザーに提示する像を表示する。

制御手段を構成するカメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力する。外部操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッターレリーズボタン（不図示）の押下をカメラシステム制御回路５が検出して、撮像素子ユニット６内の撮像素子の駆動、画像処理部７の動作、圧縮処理などを制御する。さらに情報表示を行う表示部９の各セグメントの状態を制御する。また、背面表示部９ａはタッチパネルを有し、操作検出部１０に接続される。

次に、撮影光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子ユニット６に設けられた撮像素子からの信号および、操作検出部１０により検出される撮影者の操作に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２は不図示の焦点距離変更部および絞り駆動部を制御する。さらに、像振れ補正を行うモードにおいては、振れ検出部１５から得られた信号と撮像素子位置検出部２１の検出情報とに基づいて、振れ補正駆動部１４を制御する。撮像素子ユニット６は、例えばマグネットと平板コイルを有する像ブレ補正機構を備える。また、撮像素子位置検出部２１は、例えばマグネットとホール素子を備える。

ここで、本実施形態における像ブレ補正の制御の流れについて簡単に説明する。本実施形態では、像ブレ補正制御部は、大きく分けて、カメラの振れを検出する振れ検出部１５、像ブレ補正動作を行う振れ補正駆動部１４、振れ検出部１５の信号から振れ補正駆動部１４の目標値を生成し駆動制御を行うカメラシステム制御回路５からなる。まず、不図示のレリーズボタンを半分押し下げて撮影予備動作に入る操作（スイッチＳＷ１のＯＮ）を操作検出部１０で検出する。いわゆる構図を定めるエイミング動作である。この時、構図決めを容易にするために、振れ補正駆動部１４を用いて像ブレ補正を行う。すなわち、振れ検出部１５からの信号に基づいて振れ補正駆動部１４を制御することにより像ブレ補正を実現する。その後、レリーズボタンを完全に押し下げて撮影動作に入る操作（スイッチＳＷ２のＯＮ）を操作検出部１０で検出する。この時、露光して取得される被写体像のぶれを抑制するために振れ補正駆動部１４を用いて像ブレ補正を行う。露光後一定時間が経過すると像ブレ補正動作は停止される。

図２は、撮像素子ユニット６内の像ブレ補正機構の機械的な構成を示す分解斜視図である。図２において縦の線は光軸４と平行な方向を示す。図２では、移動しない部材（＝固定部）には１００番台の符号を付し、移動する部材（＝可動部）には２００番台の符号を付している。さらに、固定部と可動部で挟持されるボールには３００番台の符号を付している。

図２において、像ブレ補正機構は、上部ヨーク１０１、ビス１０２ａ，１０２ｂ，１０２ｃ、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆ、補助スペーサ１０４ａ，１０４ｂ、メインスペーサ１０５ａ，１０５ｂ，１０５ｃ、固定部転動板１０６ａ，１０６ｂ，１０６ｃ、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ、下部ヨーク１０８、ビス１０９ａ，１０９ｂ，１０９ｃ、ベース板１１０を備える。像ブレ補正機構はさらに、ＦＰＣ２０１、取り付け位置２０２ａ，２０２ｂ，２０２ｃ、可動ＰＣＢ２０３、可動部転動板２０４ａ，２０４ｂ，２０４ｃ、コイル２０５ａ，２０５ｂ，２０５ｃ、可動枠２０６、ボール３０１ａ，３０１ｂ，３０１ｃを備える。なお、取り付け位置２０２ａ，２０２ｂ，２０２ｃは、撮像素子位置検出部２１を構成する複数の位置検出素子を取り付ける位置を示す。

上部ヨーク１０１、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆ、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路をなしている。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部ヨーク１０１に吸着した状態で接着固定されている。同様に下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部ヨーク１０８に吸着した状態で接着固定されている。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆおよび下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されており、隣接する磁石（磁石１０３ａと１０３ｂのような位置関係）は互いに異なる向きに着磁されている。また、対向する磁石（磁石１０３ａと１０７ａのような位置関係）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い密度の磁束が生じる。

上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるので、メインスペーサ１０５ａ，１０５ｂ，１０５ｃおよび補助スペーサ１０４ａ，１０４ｂで適切な間隔を保つように構成されている。ここでいう適切な間隔とは、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆの間にコイル２０５ａ，２０５ｂ，２０５ｃおよびＦＰＣ２０１を配置したときに適切な空隙を確保できるような間隔である。メインスペーサ１０５ａ，１０５ｂ，１０５ｃにはネジ穴が設けられており、ビス１０２ａ，１０２ｂ，１０２ｃによって、上部ヨーク１０１がメインスペーサ１０５ａ，１０５ｂ，１０５ｃに固定される。メインスペーサ１０５ａ，１０５ｂ，１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。

ベース板１１０には下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆを避けるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ，１０９ｂ，１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆがベース板１１０から突出するように固定される。

可動枠２０６はマグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動枠２０６に対して可動部の各要素が固定されて可動部を構成している。ＦＰＣ２０１には、取り付け位置２０２ａ、２０２ｂ，２０２ｃで示した位置で図２から見えない側の面に、撮像素子位置検出部２１を構成する位置検出素子が取り付けられている。位置検出素子としては、前述した磁気回路を利用して位置を検出できるように、例えばホール素子などを用いることが出来る。ホール素子は小型なので、コイル２０５ａ，２０５ｂ，２０５ｃの巻き線の内側に入れ子になるように配置される。

可動ＰＣＢ２０３には、不図示の撮像素子６、コイル２０５ａ，２０５ｂ，２０５ｃおよびホール素子が接続されている。可動ＰＣＢ２０３上のコネクタを介して外部との電気的なやり取りを行う。

ベース板１１０には固定部転動板１０６ａ，１０６ｂ，１０６ｃが、可動枠２０６には可動部転動板２０４ａ，２０４ｂ，２０４ｃが接着固定されており、ボール３０１ａ，３０１ｂ，３０１ｃの転動面を形成する。転動板を別途設けることにより、表面粗さや硬さなどを好ましい状態に設計することが容易となる。

上述した構成でコイルに電流を流すことにより、フレミングの左手の法則に従った力がコイル２０５ａ，２０５ｂ，２０５ｃに発生し、可動部を動かすことが出来る。また、前述した位置検出素子であるホール素子の信号を用いることにより、撮像素子の像ブレ補正動作をフィードバック制御することが出来る。ホール素子の信号の値を適切に制御することにより、光軸４に直交する平面内で可動枠２０６を並進運動させるとともに光軸周りに回転させることが出来る。

取付位置２０２ａに配置されるホール素子の信号を一定に保ったまま、取付位置２０２ｂ，２０２ｃに配置されたホール素子の信号を逆位相で駆動することにより、おおよそ光軸４回りの回転運動を生み出すことが出来る。

取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出される磁束密度は光軸方向の磁束密度である。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆなどからなる磁気回路の特性は一般的に非線形である。そのため、取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出される磁束密度は、必ずしも駆動範囲の全てで一定の分解能を持っているわけではない。磁束密度の変化が急峻な位置となだらかな位置があり、急峻な位置ほど検出分解能が高い。図２に示した磁気回路では、磁石の境界位置（例えば磁石１０３ａと１０３ｂの境界位置）で最も磁束密度の変化が大きく、検出分解能が高い。

図３は、カメラシステム制御回路５、画像処理回路７、振れ検出部１５、振れ補正駆動部１４で構成される像ブレ補正制御部３００の構成を示す図である。図３（ａ）は、像ブレ補正制御部３００の構成を示すブロック図であり、図３（ｂ）は比較部において比較される信号を具体的に示した表である。図３において図２と同じ機能部分には同じ番号を付している。

図３において、像ブレ補正制御部３００は、振れ検出部１５を含み、振れ検出部１５は、振動ジャイロ１５ａと加速度計１５ｂとを有する。また、像ブレ補正制御部３００は、積分器／ゲイン調整器２１ａ，２１ｂ、撮影予備動作におけるターゲット生成器２２、座標変換器２３、動きベクトル検出部２４、加算器２５、第１の帯域通過フィルタ２６ａ，２６ｂ、比較部２７を備える。さらに、像ブレ補正制御部３００は、積分器２８、第２の帯域通過フィルタ２９ａ，２９ｂ、回転半径推定器３０、像倍率情報記憶部３１、出力補正部３２、撮影動作でのターゲット生成器３３を備える。ここでいう撮影予備動作と撮影動作の違いは、取得した画像を最終的に不揮発メモリに記録するか否かの違いである。記録する場合を撮影動作、記録しない場合を撮影予備動作と呼ぶ。図３の構成要素のうち、動きベクトル検出部２４は画像処理部７に含まれる。

図３を用いて、像ブレ補正制御部３００の各部の動作について説明する。振動ジャイロ１５ａは角速度計（回転振れ検出）である。加速度計１５ｂ（並進振れ検出）はカメラの並進に伴う加速度を検出する。特許文献２の場合と同様に、本実施形態においても回転半径の推定処理が行われる。すなわち、加速度計１５ｂの出力を積分器２８で積分して並進の速度信号とし、さらに第２の帯域通過フィルタ２９ｂを介して回転半径の推定に用いる帯域の速度信号を抽出する。一方、振動ジャイロ１５ａからの信号も第２の帯域通過フィルタ２９ａを介して回転半径の推定に用いる帯域の角速度信号を抽出する。回転半径推定器３０では、前述の速度信号と角速度信号を比較し（速度信号を角速度信号で除算し）、回転半径を算出し推定する。この回転半径の求め方は、特許文献２に記載されているため、ここでは詳しい説明は省略する。

ここで、加速度計１５ｂは、少なくとも撮像素子の面内方向の２軸の加速度を検出可能である。例えば、撮像素子の長手方向をｘ、短手方向をｙとして、ｘ，ｙの２軸方向の加速度を検出する。それを積分した速度信号もｘ，ｙの２軸方向の値が得られ、図３（ａ）では、第２の帯域通過フィルタ２９ｂの出力信号ｖＸ，ｖＹとして示している。振動ジャイロ１５ａはｘ軸周りのＰｉｔｃｈ、ｙ軸周りのＹａｗ，ｚ軸周りのＲｏｌｌの３軸方向の角速度を検出可能である。この信号を、図３（ａ）では振動ジャイロ１５ａの出力信号ωＰ／Ｙ／Ｒとして示している。具体的な構成としては振動ジャイロ１５ａ、加速度計１５ｂともに１軸検知可能なセンサを複数設けてもよいし、多軸検知可能なセンサ（３軸加速度計など）を設けてもよい。

このような構成となっているため、回転半径推定器３０は多入力／多出力のシステムとなっている。図３（ｂ）にそのことを模式的に示している。角速度の入力が横方向に記載されており、ωＰ，ωＹ，ωＲの３次元の信号が示されている。速度の入力が縦方向に記載されており、ｖＸ，ｖＹの２次元の信号が示されている。なお、δＸ，δＹについては後述する。結果として信号の組み合わせは６つある。ωＰとｖＸの組み合わせをＩ、ωＹとｖＸの組み合わせをII、以下表に示されるように順次組み合わせがあり、ωＲとｖＹの組み合わせをVIとして図示している。このそれぞれについて回転半径の推定を行う。そのため回転半径推定器３０の出力は６次元の信号となる。

次に、撮影予備動作における比較部の動作について説明する。

本実施形態の撮像装置では、撮影予備動作で表示部９に画像を表示する場合（いわゆるライブビュー）において、像ブレ補正動作を行う。図３（ａ）においては、振動ジャイロ１５ａの信号を積分器／ゲイン調整器２１ａを介して角度信号に変換した後、撮影予備動作におけるターゲット生成器２２に入力することにより、撮像素子ユニット６の各アクチュエータの目標信号Ｃ１／２／３を生成する。この目標信号は図２で説明した位置検出素子の目標値となっている。フィードバック制御によって位置検出素子が目標信号となるようにコイル２０５ａ，２０５ｂ，２０５ｃの通電量が調整される。これにより像ブレ補正動作が実現される。

このとき、撮影予備動作におけるターゲット生成器２２はエイミングのしやすさを実現できる特性であればよく、撮影動作でのストロークを残せるように適切な制御がなされる。ここで、撮像素子上の被写体像を考えると、元々発生していたブレから、上記の像ブレ補正動作で像ブレが抑制された後のブレのみが残る。すなわちブレ残りが観測される。撮像素子により一定間隔で画像を取得し、動きベクトル検出部２４で時間間隔を有する２つの画像間の動き量を計測する。動きベクトル検出部２４の動作については図６を用いて後述する。動きベクトル検出部２４ではいわゆるブレ残り量が観測される。

座標変換器２３は位置検出素子の目標信号Ｃ１／２／３を撮像素子６の移動量に変換する。すなわち各コイルでの駆動量を撮像素子６の動きに変換する。この量が像ブレ補正を行った量となる。加算器２５において、座標変換器２３の出力と、動きベクトル検出部２４の出力を加算することによりデジタルカメラ１００に作用した振れ量全体を求めることができる。求められたデジタルカメラ１００に作用した振れ量を第１の帯域通過フィルタ２６ａに通すことにより、相関を求めるために用いる帯域のみを抜き出す。同時に振動ジャイロ１５ａの出力信号を第１の帯域通過フィルタ２６ｂに通して、同様に相関を求めるために用いる帯域のみを抜き出す。これらの信号を比較部２７に入力して相関を求める。具体的な相関の求め方については図４、図５を用いて後述する。

回転半径推定器３０と同様に比較部２７の入出力について考える。比較部２７に第１の帯域通過フィルタ２６ｂを通して入力される信号は、ωＰ、ωＹ、ωＲの３次元である。一方で、動きベクトル検出部２４の出力は２つの画像のＸ，Ｙ方向のずれ（正確には差分）である。第１の帯域通過フィルタ２６ａの出力も動きベクトル検出部２４の出力と同じ次元であり、ｘ，ｙの２方向の２つの画像間の動き量（＝差分値）が出力される。これを図３（ａ）ではδＸ、δＹとして図示している。

すなわち、比較部２７は回転半径推定器３０と同じ多入力／多出力のシステムとなっている。図３（ｂ）にそのことを模式的に示している。角速度の入力が横方向に記載されており、ωＰ，ωＹ，ωＲの３次元の信号が示されている。動きベクトル検出部２４からの入力が縦方向に記載されており、δＸ，δＹの２次元の信号が示されている。結果として信号の組み合わせは６つある。ωＰとδＸの組み合わせをＩ、ωＹとδＸの組み合わせをII、以下表に示されるように順次組み合わせがあり、ωＲとδＹの組み合わせをVIとして示している。このそれぞれについて相関の計算を行う。そのため比較部２７の出力は６次元の信号である。

最後に撮影動作での信号の処理方法について説明する。基本的な動作は特許文献２と同じである。特許文献２では角速度計の信号をＨＰＦ／積分フィルタ、利得調整に通した後、回転半径に対応させて出力補正部でゲインを調整する。この時ズームおよびフォーカス情報から撮影倍率を考慮してゲインの調整を実施する。

本実施形態においても、振動ジャイロ１５ａ（角速度計に相当）の信号を積分器／ゲイン調整器２１ａ（ＨＰＦ／積分フィルタ、利得調整に相当）を用いて角度信号に変換し、出力補正部３２で回転半径に対応するゲイン調整を行う。回転半径に関する情報は回転半径推定器３０から得る。回転半径に関する情報に加えて、像倍率情報記憶部３１から像倍率情報を取得して、対応したゲイン調整を実施する。回転半径および像倍率とゲイン補正の関係などについては、特許文献２に開示されているので、ここでは詳しい説明は省略する。

本実施形態の１つの特徴は、比較部２７の出力を出力補正部３２に与えることである。比較部２７において相関が高いと判断（判定）された場合と相関が低いと判断された場合とで、慣性センサからその軸方向への制御ゲインを変更する。制御ゲインは、検出したシフト振れに対する、像ブレ補正機構により補正をする量の比率であり、補正比率と呼ぶこともある。相関を利用したゲインの調整方法については、図４を用いて後に詳述する。

具体的に一例を説明すると、ωＹとδＸの相関が高いと判断された場合（図３（ｂ）のIIの組み合わせが高い相関を示した場合）、ωＹを用いたＸ方向の並進に伴う像ブレ補正を積極的に行う。相関が低い場合はその反対に、ωＹを用いたＸ方向の並進に伴う像ブレ補正の度合いを減らす。相関が低い場合は、像ブレ補正の度合いを０として、相関の低い軸については補正を停止してもよい。これにより、相関が高い軸が相関の低い軸よりも補正され、適切なシフトブレ補正が実現される。特に、個人差、姿勢差など、デジタルカメラ１００の状態によって相関の状況が変わっても、それに対応することができる。

出力補正部３２からの情報θＰ’、θＹ’、θＲ’は、撮影動作でのターゲット生成器３３に送られ、各アクチュエータの目標信号Ｃ１／２／３を生成する。この目標信号は図２で説明した位置検出素子の目標値となる。フィードバック制御によって位置検出素子が目標信号となるようにコイル２０５ａ，２０５ｂ，２０５ｃの通電量が調整される。これにより像ブレ補正動作が実現される。

この時、撮影動作におけるターゲット生成器３３は完全にブレを除去することが望まれる。前述したように出力補正部３２での補正が適切に行われることにより、相関が高く効果がある組み合わせでのシフトブレ補正が行われる。結果として、撮像素子上の被写体像を考えると、元々の発生していたブレから、角度ブレとシフトブレの双方が上記の像ブレ補正動作で抑制される。結果として高品位な画像を提供することができる。

図４を用いて、出力補正部３２の内部構成について説明する。図４において図３と同じ機能部分には同じ符号を付している。

出力補正部３２は、補正ゲイン演算器３２ａ，補正ゲイン調整器３２ｂ、ゲイン部３２ｃ１，３２ｃ２，３２ｃ３，３２ｃ４，３２ｃ５，３２ｃ６、加算器３２ｄ１，３２ｄ２，３２ｄ３，３２ｄ４を備えて構成されている。

図４では、回転半径推定器３０で得られた回転半径をそれぞれＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６として示している。添え字の１から６は図３（ｂ）の表に示したローマ数字に対応している。同様に比較部２７で得られた相関をそれぞれＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６として示している。添え字の１から６は図３（ｂ）の表に示したローマ数字に対応している。

補正ゲイン演算器３２ａは、特許文献２に記載された方法に基づいて各軸方向のゲイン補正量を決定する。回転半径Ｌ１と像倍率βから決定されるゲインをＧ１、回転半径Ｌ２と像倍率βから決定されるゲインをＧ２、以下同様にしてＧ１からＧ６を示している。

補正ゲイン調整器３２ｂは、比較部２７で得られた相関Ｃ１からＣ６を受け取り、補正ゲインを調整する。前述したように、相関が所定より高いと判断された場合は、補正ゲイン演算器３２ａの値をそのまま出力する。一方で、相関が所定以下と判断された場合は、補正ゲイン演算器３２ａの値をより小さい値として出力する。これにより、相関が低く弊害が発生する可能性があるセンサからの出力をカットする。

補正ゲイン調整器３２ｂの出力がゲイン部３２ｃ１，３２ｃ２，３２ｃ３，３２ｃ４，３２ｃ５，３２ｃ６にそれぞれ設定される。ゲイン部３２ｃ１，３２ｃ２，３２ｃ３，３２ｃ４，３２ｃ５，３２ｃ６と加算器３２ｄ１，３２ｄ２，３２ｄ３，３２ｄ４の演算においては、θＰ、θＹ、θＲとθＰ’、θＹ’、θＲ’は以下の式（１）ような関係になる。

θＰ’＝θＰ＋Ｇ１*θＰ＋Ｇ２*θＹ＋Ｇ３*θＲ
θＹ’＝θＹ＋Ｇ４*θＰ＋Ｇ５*θＹ＋Ｇ６*θＲ （１）
θＲ’＝θＲ
シフトブレの像ブレ補正が有効に作用しない場合は、比較部２７での相関が低くなる。その場合ゲインＧ１からＧ６が小さな値となる。式（１）を見ると明らかなように、例えばＧ１～Ｇ６＝０とすると、θＰ’＝θＰ、θＹ’＝θＹ、θＲ’＝θＲとなり、シフトブレの像ブレ補正は行われず角度ブレのみが補正される。

一方で、シフトブレの像ブレ補正が有効に作用する場合は、比較部２７での相関が高くなる。その場合ゲインＧ１からＧ６は値を持つようになる。式（１）を見ると明らかなように、この場合は加算されることによって角度ブレ、シフトブレの双方を補正する目標値（像ブレ補正量）が得られる。

図５および図６を用いて、比較部２７での相関の求め方について説明する。図５は相関が高い場合の例を、図６は相関が低い場合の例を示している。

図５（ａ）および図６（ａ）のグラフでは、横軸が時間、縦軸が信号のレベルを示している。図５（ｂ）および図６（ｂ）のグラフでは、横軸が動きベクトル検出部２４の出力、縦軸が慣性センサの出力を示している。図５および図６において、４１は動きベクトル検出部２４の出力を、４２は慣性センサの出力を、４３は主成分分析をした場合の第１主成分方向と線形近似したときの近似線を、４４は主成分分析をした場合の第２主成分方向を、４５はデータが分布する範囲をそれぞれ示している。

まず、図５の信号について考える。図５（ａ）に示した例では、動きベクトル検出部２４の出力４１が増えると、慣性センサの出力４２も増えており、相似に近い波形が得られている。すなわち正の相関が高いといえる。相関を判断するには、動きベクトル検出部２４の出力４１と慣性センサの出力４２で相関係数を計算すればよい。なお、本実施形態における相関の高さの判断においては、相関は必ずしも正の相関である必要はなく負の相関であっても相関が高ければ相関が高いと判断すればよい。相関係数で言えば、絶対値が１に近ければ相関が高いと言うことができる。

このように相関が所定より高い信号をそれぞれ縦軸横軸にとって表現すると図５（ｂ）のようになる。一方の変数に対して他方の変数が相似形をなして変化するため、近似直線４３の周りに信号の分布４５が形成される。このとき、動きベクトル検出部２４の出力４１と慣性センサの出力４２で主成分分析をすると、第１主成分として４３で示した軸方向が、第２主成分として４４で示した軸方向が得られる。明らかに４３で示した方向の分散が大きく、４４で示した方向の分散が小さい。第１主成分と第２主成分の分散の比を求めることにより、信号間の相関の指標としてもよい。すなわち第２主成分の分散に対して第１主成分の分散が十分に大きい場合には相関が高いと判断できる。

次に、図６の信号について考える。図６（ａ）に示した例では、動きベクトル検出部２４の出力４１と慣性センサの出力４２の間に連動する様子がみられない。このような場合は相関が低いと判断できる。図５の例と同様に相関係数を求めると、ゼロに近い値となる。

このように相関が低い信号をそれぞれ縦軸横軸にとって表現すると図６（ｂ）のようになる。一方の変数に対して他方の変数が全く異なった変化をするため、近似直線４３の周りに信号の分布４５が集中しない。このような場合、動きベクトル検出部２４の出力４１と慣性センサの出力４２で主成分分析をすると、第１主成分として４３で示した軸方向が、第２主成分として４４で示した軸方向が得られる。この場合は図５と異なり、４３で示した方向の分散と４４で示した方向の分散が同程度の値を示す。言い換えると、第１主成分と第２主成分の分散の比が１に近くなる。すなわち第１主成分の分散と第２主成分の分散の比が１に近い場合には相関が低いと判断できる。

図７を用いて動きベクトル検出部２４の動作について説明する。動きベクトル検出部２４は、２つの画像間の動き量を計測する。図７（ａ）は計算の１サンプル前に取得された画像を、図７（ｂ）は計算時に取得された画像を、図７（ｃ）は動きを分かりやすくするために図７（ａ）および図７（ｂ）の画像を重ねた画像をそれぞれ示している。

図７において、８１は取得した画像の境界を、８２ａ，８２ｂは被写体を、８３は動きベクトル算出に用いる領域を、８４は求めた動きベクトルをそれぞれ示している。動きベクトルを求める方法は多数の方法が提案されているが、ここでは説明を分かりやすくするためにブロックマッチングを用いた方法について説明する。その他にも特徴点を用いる方法などがあるが、本実施形態においては、動きベクトルが安定して取得できればどのような方法を用いてもよい。

動きベクトル検出部２４では、図７（ａ）に示す１サンプル前に取得した画像のうちテンプレートとなる領域を決定する。図７（ａ）ではテンプレート領域を８３ａで示した。テンプレート領域８３ａは、被写体８２ａの特徴的な部分を含むように設定すると都合がよい。次に、図７（ｂ）に示した計算時に取得された画像中で領域８３ａと類似している領域を探索する。例えば２つの画像間のＸＯＲ（排他的論理和）を計算してその値が最小となる領域を探すなどすればよい。その結果得られた領域を８３ｂで示した。つまり、領域８３ａの画像に対して図７（ｂ）では領域８３ｂ内の画像が最も類似していると判断されたことを示す。図７（ｃ）に示すように領域８３ａから領域８３ｂに向かうベクトル８４が動きベクトルであり、２つの画像間の動き量を示している。

図７に示すように、撮像素子６により一定間隔で画像を取得し、異なる時間に取得された２つの画像間の比較を行うことにより、いわゆる動きベクトルを得ることができる。

図８を用いて、本実施形態における撮像動作の流れについて説明する。

ステップＳ１００は動作の開始を示すステップであり、デジタルカメラ１００の電源のＯＮが対応する。

ステップＳ１１０では、デジタルカメラ１００の電源がＯＦＦされたか否かを確認する。電源がＯＦＦにされた場合はステップＳ１２０に進み動作を停止する。そうでない場合はステップＳ１３０に進む。

ステップＳ１３０では、ユーザーがデジタルカメラ１００を構えたか否かを判断する。カメラの振れは、ユーザーの個人差に加えて、姿勢差（デジタルカメラ１００の構え方など）の影響も受けるため、構図を決めて構えた後にゲイン推定動作を行うことが好ましい。例えば、シャッターレリーズボタンを半分押し下げて撮影予備動作に入る操作（スイッチＳＷ１のＯＮ）や、慣性センサの信号レベルなどを用いて構えたことを判断すればよい。構えたと判断された場合はステップＳ１４０に進み、構えていないと判断された場合はステップＳ１１０に戻る。

ステップＳ１４０では、本実施形態の要部であるゲイン推定動作を行う。この内容については図８（ｂ）を用いて説明する。その後ステップＳ１５０に進む。

ステップＳ１５０では、レリーズボタンを完全に押し下げて撮影動作に入る操作（スイッチＳＷ２のＯＮ）がなされたか否かを判断する。スイッチＳＷ２がＯＮされた場合はステップＳ１６０に進む。そうでない場合はステップＳ１１０に戻る。

ステップＳ１６０では撮影動作を行うとともに、像ブレ補正制御部３００においては、撮影動作でのターゲット生成器３３の出力に基づいて振れ補正駆動部１４の制御がなされる。

図８（ｂ）において、ステップＳ２００はゲイン推定動作の開始を示すステップである。

ステップＳ２１０では、撮像素子の信号の読み出しを行う。ここでは、ライブビュー状態にある撮像素子から画像を取得する。

ステップＳ２２０では、動きベクトルの算出を行う。ステップＳ２１０で求めた画像が現在の画像であり、図７（ｂ）に相当する。メモリ８に保持しておいた１サンプル前に取得された画像との比較を行い、動きベクトルの算出を行う。さらにはステップＳ２１０で求めた画像を次のタイミングでの比較対象とするためにメモリ８に保持する。

ステップＳ２３０では、ブレ量を算出する。具体的には、動きベクトル検出部２４からの動きベクトルと振動ジャイロ１５ａからの信号から、フィルタ２６ａ，２６ｂを用いて、必要な帯域の信号を抽出する。

ステップＳ２４０では、比較部２７がフィルタ２６ａの出力とフィルタ２６ｂの出力を比較する。比較部２７で相関係数等を求めることにより、慣性センサの出力と動きベクトル検出部２４の出力の相関を求める。

ステップＳ２５０では、比較部２７で求めた相関関係に基づいて、出力補正部３２のゲインを決定する。具体的には、図３に示した回転半径推定器３０を動作させ回転半径を求めるとともに、図４に示した補正ゲイン演算器３２ａ、補正ゲイン調整器３２ｂを動作させて、ゲインＧ１～Ｇ６を求める。ここで設定されたゲインがステップＳ１６０で用いられて、撮影動作でのターゲット生成器３３の出力が適切に調整される（補正量取得）。

ステップＳ２６０では、元のステップＳ１４０に戻る。

以上説明したように、本実施形態によれば、ユーザーの個人差、姿勢差等に対応して適切なシフトブレ補正を実施することができ、結果として高品位な画像を提供することが可能となる。

（変形例）
上述の実施形態では、撮像素子を光軸に垂直な方向において移動させる像ブレ補正機構を像ブレ補正手段として備える撮像装置について説明した。しかしながら、像ブレ補正手段はこれに限定されるものではない。例えば、動画撮影やライブビュー表示時の像ブレ補正であれば、撮像素子から画像信号を読み出す領域の位置をフレーム毎に変更する、いわゆる電子手振れ補正を用いて像ブレ補正を行ってもよい。また、撮影光学系を構成するレンズを駆動して像ブレを補正してもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：カメラ本体、２：レンズ、３：撮影光学系、５：カメラシステム制御回路、６：撮像素子ユニット、１２：レンズシステム制御回路、１３：レンズ駆動部、１４：振れ補正駆動部、１５：振れ検出部、２１：撮像素子位置検出部

Claims (9)

1. 撮像素子により一定の時間間隔で取得された２つの画像から、第１の軸の方向と該第１の軸に直交する第２の軸の方向の２軸方向の動きベクトルを検出する動きベクトル検出手段と、
   撮像装置の振れを検出する振れ検出手段からの、前記第１の軸の回りの回転振れ信号と、前記第２の軸の回りの回転振れ信号と、前記第１及び第２の軸に直交する第３の軸の回りの回転振れ信号の３軸回りの回転振れ信号と、前記第１及び第２の軸の方向の２軸方向の並進振れ信号と、を取得する第１の取得手段と、
   前記３軸回りの回転振れ信号と、前記２軸方向の並進振れ信号のそれぞれの組み合わせについて、振れの回転半径を取得する第２の取得手段と、
   前記２軸方向の動きベクトルと前記３軸回りの回転振れ信号の相関を求める比較手段と、
   前記比較手段により求められた相関の高さに応じて、前記第２の取得手段により取得されたそれぞれの回転半径ごとの並進振れを補正する比率を調整する調整手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記調整手段は、前記比較手段により、前記動きベクトルと前記回転振れ信号の相関が高いと判定された場合には、相関が低いと判定された場合よりも前記並進振れを補正する比率を高くすることを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記比較手段は、前記動きベクトルと前記回転振れ信号の相関係数を求めることにより、前記動きベクトルと前記回転振れ信号の相関を求めることを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記比較手段は、前記動きベクトルと前記回転振れ信号の主成分分析を行い、第１主成分と第２主成分の分散の比を求めることにより、前記動きベクトルと前記回転振れ信号の相関を求めることを特徴とする請求項１または２に記載の像ブレ補正装置。
5. 前記調整手段により調整された像ブレ補正量に基づいて、像ブレ補正手段による像ブレ補正を制御する制御手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
6. 前記撮像素子と、
   請求項５に記載の像ブレ補正装置と、
   前記制御手段により制御される前記像ブレ補正手段とを備え、
   前記像ブレ補正手段は、前記撮像素子を光軸に垂直な方向において移動させることを特徴とする撮像装置。
7. 前記撮像素子と、
   請求項５に記載の像ブレ補正装置と、
   前記制御手段により制御される前記像ブレ補正手段とを備え、
   前記像ブレ補正手段は、前記撮像素子からの画像信号の読み出し領域の位置を変更することを特徴とする撮像装置。
8. 撮像素子により一定の時間間隔で取得された２つの画像から、第１の軸の方向と該第１の軸に直交する第２の軸の方向の２軸方向の動きベクトルを検出する動きベクトル検出工程と、
   撮像装置の振れを検出する振れ検出手段からの、前記第１の軸の回りの回転振れ信号と、前記第２の軸の回りの回転振れ信号と、前記第１及び第２の軸に直交する第３の軸の回りの回転振れ信号の３軸回りの回転振れ信号と、前記第１及び第２の軸の方向の２軸方向の並進振れ信号と、を取得する第１の取得工程と、
   前記３軸回りの回転振れ信号と、前記２軸方向の並進振れ信号のそれぞれの組み合わせについて、振れの回転半径を取得する第２の取得工程と、
   
   前記２軸方向の動きベクトルと前記３軸回りの回転振れ信号の相関を求める比較工程と、
   前記比較工程おいて求められた相関の高さに応じて、前記第２の取得工程において取得されたそれぞれの回転半径ごとの並進振れを補正する比率を調整する調整工程と、
   を有することを特徴とする像ブレ補正装置の制御方法。
9. 請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images