JP6682360B2 - 防振制御装置、光学機器、防振制御方法および防振制御プログラム - Google Patents

Description

本発明は、デジタルカメラや交換レンズ等の光学機器において像振れを低減する防振制御装置に関する。

デジタルカメラにより静止画撮像を行う際にユーザの手振れ等によるカメラ振れに起因する像振れを補正（低減）する防振技術として、レンズや撮像素子（ＣＭＯＳセンサ等）を撮影光軸に対してシフトさせる光学防振がある。また、カメラ振れは、角速度センサ（ジャイロ）等の振れセンサを用いたり、特許文献１にて開示されているように撮像している動画を構成するフレーム画像間で動きベクトルを算出したりすることで検出される。

特開平０５−１２２５９０号公報

しかしながら、振れセンサを用いる場合には、本来のカメラ振れに応じたセンサ出力にドリフトと呼ばれる低周波ノイズ（誤差成分）が重畳することでカメラ振れの検出精度が低下し、この結果、良好な防振制御を行えなくなるおそれがある。一方、動きベクトルを検出する場合には、カメラ振れを高精度に検出することはできるが、静止画撮像のための撮像素子の露光時間中には動きベクトルを検出することができないため、動きベクトルを用いた防振制御を行うことができない。

本発明は、特に動きベクトルが得られない静止画撮像中において振れセンサからの出力を用いて良好な防振制御を行えるようにした防振制御装置およびこれを備えた光学機器等を提供する。

本発明の一側面としての防振制御装置は、振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出される動きベクトルを示す動きベクトル検出信号とを用いて、該振れによる像振れを低減するための防振制御を行う。該防振制御装置は、動きベクトル検出信号を用いて、振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成する予測手段と、振れ検出信号から予測誤差信号を差し引いて第１の防振信号を生成する信号生成手段と、第１の防振信号を用いて防振制御を行う制御手段と、を有し、前記予測手段は、静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行い、静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成することを特徴とする。

なお、上記防振制御装置を有する光学機器も、本発明の他の一側面を構成する。
また、本発明の一側面としての防振制御方法は、振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出された動きベクトルを示す動きベクトル検出信号とを用いて、前記振れによる像振れを低減するための防振制御を行う防振制御方法である。該防振制御方法は、前記動きベクトル検出信号を用いて、前記振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成する予測ステップと、前記振れ検出信号から前記予測誤差信号を差し引いて第１の防振信号を生成する信号生成ステップと、前記第１の防振信号を用いて前記防振制御を行う制御ステップと、を有し、前記予測ステップは、静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行うステップと、静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成するステップと、を有する。
さらに、本発明の他の一側面としての防振制御プログラムは、振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出された動きベクトルを示す動きベクトル検出信号とを用いて、該振れによる像振れを低減するための防振制御をコンピュータに行わせるコンピュータプログラムである。該プログラムは、コンピュータに、動きベクトル検出信号を用いて振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成させ、振れ検出信号から予測誤差信号を差し引いて第１の防振信号を生成させ、第１の防振信号を用いて防振制御を行わせ、静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行わせ、静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成させることを特徴とする。

本発明によれば、動きベクトル検出信号を利用することによって振れ検出信号に含まれる誤差信号の影響を低減した良好な防振制御を行うことができる。

本発明の実施例１である防振制御装置の構成を示すブロック図。 実施例１の防振制御装置を搭載した撮像装置の構成を示すブロック図。 実施例１における振れ信号を示す図。 実施例１における振れ予測部の構成を示すブロック図。 本発明の実施例２における適応アルゴリズムを用いた振れ予測部での予測処理を示すブロック図。 本発明の実施例２である防振制御装置の構成を示すブロック図。 本発明の実施例３である防振制御装置の構成を示すブロック図。 実施例１の処理を実行するための防振制御プログラムを示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図２には、本発明の実施例１である防振制御装置を備えた撮像システムとしてのデジタルカメラ１の構成を示している。本実施例のカメラ１は、交換レンズとしての撮影レンズ２と、該撮影レンズ２が取り外し可能に装着されるカメラ本体（撮像装置または光学機器）とにより構成されている。

カメラ本体は、撮影レンズ２内の撮影光学系２０により形成された光学像を光電変換（撮像）する撮像素子１１と、撮像素子１１から出力された撮像信号を用いて映像（動画）信号や静止画信号である画像信号を生成する画像処理部１２とを有する。また、カメラ本体は、後述するメモリ部１３と、映像信号から動きベクトルを検出する動きベクトル検出部（動きベクトル検出手段）１４と、ユーザの操作を認識する操作部１５と、画像信号に応じた画像を表示する画像表示部１６とを有する。さらに、カメラ本体は、撮影レンズ２を含むカメラ１全体の制御を司るカメラ制御部１０を有する。

動きベクトル検出部１４は、映像信号を構成する連続した２つのフレーム画像間において、対応点間の距離（変位）と方向を示す動きベクトルを検出し、その検出結果を示す動きベクトル検出信号を出力する。

撮影レンズ２内の撮影光学系２０は、変倍レンズその他のレンズにより構成されるレンズ群２１と、焦点調節を行うフォーカスレンズ２２と、光量を調節する虹彩絞り２３とを含む。また、撮影光学系２０は、該撮影光学系２０の光軸に対して、これに直交する方向に移動（シフト）することで後述するカメラ振れに起因する像振れを補正（低減）する光学防振素子としてのシフトレンズ２４を含む。なお、図に示すシフトレンズ２４には、シフトレンズと、これを光軸に直交する方向に駆動するシフトアクチュエータと、該シフトアクチュエータを駆動するドライバ回路が含まれる。

さらに、撮影レンズ２は、手振れ等に起因するカメラ１の振れであるカメラ振れを検出する振れセンサとしてのジャイロ２６と、フォーカスレンズ２２、虹彩絞り２３およびシフトレンズ２４の動作を制御するレンズ制御部２５とを有する。ジャイロ２６は、カメラ振れの角速度を示す信号である角速度検出信号を出力する。

レンズ制御部２５は、カメラ制御部１０との通信を行いながら、フォーカスレンズ２２および虹彩絞り２３の動作（ＡＦおよびＡＥ）を制御する。さらに、レンズ制御部２５は、動きベクトル検出部１４からの動きベクトル検出信号およびジャイロ２６からの角速度検出信号を用いてシフトレンズ２４のシフト駆動の制御、つまりはシフトアクチュエータの駆動の制御である防振制御を行う防振制御部を有する。この防振制御部が、防振制御装置に相当する。

撮影光学系２０により形成された光学像を光電変換した撮像素子１１からの撮像信号（アナログ信号）は、画像処理部１２内の不図示のＡ／Ｄ変換器によってデジタル信号に変換される。画像処理部１２は、カメラ制御部１０の命令に応じて、このデジタル撮像信号に対してホワイトバランス処理、ガンマ補正処理、画素補間処理等の各種画像処理を行い、画像信号（映像信号および静止画信号）を生成する。画像処理部１２で生成された画像信号は、メモリ部１３にて不図示の半導体メモリ等の記録媒体に記録される。

カメラ制御部１０は、ＣＰＵや内部メモリ等を含むコンピュータとして構成されている。カメラ制御部１０は、撮像に際してタイミング信号や命令をカメラ本体内の各部や撮影レンズ２内のレンズ制御部２５に出力する。また、カメラ制御部１０は、操作部１５に含まれるレリーズスイッチがユーザにより半押し操作されることで生成される撮像準備指示としての第１レリーズ信号ＳＷ１に応じて撮像準備動作（ＡＦおよびＡＥ等）の制御を行う。さらに、カメラ制御部１０は、レリーズスイッチが全押し操作されることで生成される静止画撮像指示としての第２レリーズ信号ＳＷ２に応じて静止画の撮像動作（静止画の生成／記録）の制御を行う。

次に、図３を用いて、静止画撮像時における防振制御の概要について説明する。図３の上部に示すグラフにおいて、横軸は時間を示し、縦軸はカメラ振れ量を示す。太実線３１は、動きベクトル検出部１４からの動きベクトル検出信号を示し、撮影光学系２０の焦点距離（撮像素子１１上での被写体像の大きさ）等によらず実際のカメラ振れ量に対応する信号値を有するように補正された信号として示している。細実線３２は、ジャイロ２６からの角速度信号が積分されることで生成される振れ検出信号（以下、ジャイロ振れ検出信号という）であり、動きベクトル検出信号が示すカメラ振れ量と同じカメラ振れ量に対して生成される信号として示している。一点鎖線３３は、ジャイロ２６において発生するドリフト（ノイズ）に相当する誤差成分（ドリフト成分：以下、誤差信号という）を示しており、ジャイロ振れ検出信号３２に含まれている。つまり、ジャイロ振れ検出信号３２は、本来のカメラ振れ量に対応する振れ信号に誤差信号３３が重畳された信号である。

また、破線３４により示される信号は、後述する予測処理により算出された予測誤差信号である。この予測誤差信号３４は、静止画撮像のための撮像素子１１の露光（以下、静止画露光という）中における防振制御においてジャイロ振れ検出信号３２とともに用いられる。

また、図３の下部に示すタイミングチャート３５は、撮像素子１１の露光タイミングを示しており、Ｈが撮像素子１１の露光中、Ｌｏｗが撮像素子１１の非露光中をそれぞれ示している。期間Ｔ１は、静止画露光前の期間であり、この期間では前述したフレーム画像を生成するための短時間の露光が一定周期で複数回繰り返される。これらフレーム画像のうち時間的に隣接する２つのフレーム画像間で動きベクトル検出部１４により動きベクトルが順次検出され、その検出結果とジャイロ振れ検出信号３２とを用いて予測誤差信号３４の生成に用いられる予測フィルタが順次生成（更新）される。この予測フィルタについては後述する。

なお、期間Ｔ１における短時間の露光の周期は、１２０ＦＰＳや２４０ＦＰＳ等に設定される。また、期間Ｔ１において、ユーザが操作部１５のレリーズボタンを操作することで生成される第１レリーズ信号ＳＷ１に対応してＡＦや測光等の撮像準備動作が行われる。

ユーザが操作部１５を通じて第２レリーズ信号ＳＷ２を発生させることに応じてタイミング３６から開始される期間Ｔ２では、撮像素子１１の静止画露光が行われる。期間Ｔ２においては、１回の露光が継続して行われるために動きベクトルを取得することはできない。

期間Ｔ３は、静止画露光が終了した後の期間であり、期間Ｔ１と同様に短時間の周期的な撮像素子１１の露光が行われる。

図３において、動きベクトル検出信号３１は、撮像により生成された映像信号から動きベクトルを算出するため、その動きベクトルの大きさは実際のカメラ振れ量とほぼ一致する。一方、前述したようにジャイロ振れ検出信号３２には誤差信号３３が含まれているため、動きベクトル検出信号３１とは乖離が生じている。

そこで、本実施例では、レンズ制御部２５の防振制御部は、静止画露光前の期間Ｔ１における動きベクトル検出信号３１とジャイロ振れ検出信号３２との差をとることでジャイロ振れ検出信号３２における誤差信号３３を算出する。そして、算出された誤差信号３３を用いて、静止画露光中（撮像中）の期間Ｔ２での誤差信号を予測する、つまり予測誤差信号３４を生成するための予測フィルタを生成（更新）する。上述したように動きベクトルの大きさは実際のカメラ振れ量とほぼ一致するため、ジャイロ振れ検出信号３２から予測誤差信号３４を差し引いた信号は、実際のカメラ振れ量を示すものとみなすことができる。

タイミング３６で第２レリーズ信号ＳＷ２が生成されると、防振制御部は、予測フィルタを用いて、静止画露光が行われる期間Ｔ２における予測誤差信号３４を演算する予測処理を行う。予測処理において、防振制御部は、ジャイロ振れ検出信号３２から予測誤差信号３４を差し引いた信号を振れ補正信号（第１の防振信号）として算出し、該振れ補正信号を用いてシフトレンズ２４をシフト駆動する防振制御を行う。

このように本実施例では、静止画露光中の期間Ｔ２にて取得するジャイロ振れ検出信号に含まれる誤差成分（予測誤差信号）を、静止画露光前の期間Ｔ１にて取得した動きベクトルとジャイロ振れ検出信号との差分として求める。これにより、動きベクトルが得られない静止画露光中の期間Ｔ２において、ジャイロ振れ検出信号における誤差成分の影響が低減された振れ補正信号を得ることができ、この結果、高精度の防振制御を行うことができる。

次に、図１を用いて、レンズ制御部２５内に設けられた前述した防振制御部３０の構成および動作について説明する。図１において、図２に示した構成要素は図２中と同じ符号を付している。

図中に破線で囲んだ防振制御部３０内において、５１はアナログデジタル（Ａ／Ｄ）変換器であり、ジャイロ２６からのアナログ角速度信号を量子化する。Ａ／Ｄ変換器５１のサンプリング周波数は、動きベクトル検出部１４で用いられる映像信号のフレームレート（つまりは撮像素子１１に対するサンプリング周波数）と同じ値に設定されている。５２は積分器であり、Ａ／Ｄ変換器５１からのデジタル角速度信号を積分して角変位信号であるジャイロ振れ検出信号を生成する。

５３ａ，５３ｂはバンドパスフィルタ（ＢＰＦ）であり、それぞれ積分器５２からのジャイロ振れ検出信号および動きベクトル検出部１４からの動きベクトル検出信号のうち所定の周波数帯域の信号を抽出する。５４はゲイン比較部であり、ＢＰＦ５３ａを通過したジャイロ振れ検出信号とＢＰＦ５３ｂを通過した動きベクトル検出部１４からの動きベクトル検出信号のゲイン（大きさ）を比較する。５５はゲイン補正部（ゲイン調整手段）であり、ゲイン比較部５４でのゲインの比較結果に応じて積分器５２からのジャイロ振れ検出信号のゲインを補正（調整）する。これは以下の理由による。

ジャイロ振れ検出信号は角変位を示す信号であるのに対して、動きベクトル検出信号は撮像素子１１上での被写体像の変位を示す信号である。このため、カメラ１の振れ方が同じであっても、撮影光学系２０の焦点距離や被写体距離によってジャイロ振れ検出信号と動きベクトル検出信号が示すカメラ振れ量が異なる。そこで、ゲイン比較部５４は、それぞれＢＰＦ５３ａ，５３ｂによって、手振れにはあまり含まれない高周波の振れ成分やドリフト成分が多く含まれる極低周波の信号成分がカットされたジャイロ振れ検出信号と動きベクトル検出信号を比較する。そして、ゲイン補正部５５は、ゲインの比較結果に応じてジャイロ振れ検出信号のゲインを動きベクトル検出信号のゲインと同レベルとなるように補正する。

５７ａは誤差検出手段としての減算器である。減算器５７ａは、ゲイン補正部５５によるゲイン補正後のジャイロ振れ検出信号から動きベクトル検出部１４からの動きベクトル検出信号を減算してジャイロ振れ検出信号に含まれる誤差信号を生成する。減算器５７ａは、生成した誤差信号を予測部５６に送る。

予測部（予測手段）５６は、静止画露光前は予測フィルタを順次更新する。具体的には、予測フィルタのフィルタ係数を順次更新する適応処理（適応動作）を行う。そして、予測部５６は、静止画露光中は、予測フィルタを用いて予測誤差信号を演算する予測処理を行う。

減算器（信号生成手段）５７ｂは、予測部５６から出力された予測誤差信号を、ゲイン補正部５５から出力されたジャイロ振れ検出信号から差し引いてその結果である振れ補正信号（第１の防振信号）をスイッチ５８に送る。スイッチ５８は、静止画露光前は図に示すようにオフになっており、静止画露光中にオンになることで減算器５７ｂからの振れ補正信号をシフト制御部５９に送る。予測部５６での予測処理の実行／不実行およびスイッチ５８のオン／オフの切り替えは、図２に示したカメラ制御部１０からの命令に応じて行われる。

シフト制御部（制御手段）５９は、スイッチ５８を介して入力された振れ補正信号に応じた目標シフト位置に（目標シフト駆動量だけ）シフトレンズ２４をシフト駆動する。シフトレンズ２４のシフト位置は、位置検出部２７によって検出される。位置検出部２７によるシフト位置の検出結果（以下、検出シフト位置という）はシフト制御部５９にフィードバックされ、シフト制御部５９は検出シフト位置が目標シフト位置に一致するようにシフト駆動のフィードバック制御を行う。

このように、本実施例では、静止画露光前は動きベクトル検出信号とジャイロ振れ検出信号との差分をジャイロ振れ検出信号に重畳する誤差信号とみなし、該誤差信号を用いて予測部５６で用いる予測フィルタを更新する。そして、静止画露光中は予測部５６にて予測フィルタを用いて生成された予測誤差信号をジャイロ振れ検出信号から差し引くことで、誤差信号の影響が低減された振れ補正信号を生成する。これにより、静止画露光中に高精度な防振制御を行うことができる。

次に、図４を用いて、予測部５６の構成および動作について説明する。図４において、６１は予測フィルタとしての線形予測部である。６２は適応部であり、６３は減算器である。４２は２つの単位遅延器であり、４３ａは予測入力切替えスイッチであり、４３ｂ，４３ｃは予測部入力切替えスイッチ４３ａの接点である。４５は適応処理スイッチであり、４６ａは出力切替えスイッチであり、４６ｂ，４６ｃは出力切替えスイッチ４６ａの接点である。予測入力切替えスイッチ４３ａ、出力切替えスイッチ４６ａおよび適応処理スイッチ４５の切り替えは、カメラ制御部１０からの命令に応じて行われる。

４１は図１に示した減算器５７ａからの誤差信号が入力される入力端子であり、４８は予測部５６から予測誤差信号を出力する出力端子を示している。

ｕ（ｎ）は図１に示した減算器５７ａから入力端子４１に入力される誤差信号（以下、観測値ともいう）を示し、ｙ（ｎ）は線形予測部６１からの予測誤差信号（以下、予測値ともいう）を示す。ｅ（ｎ）は線形予測部６１での線形予測処理において生じる誤差を示す。この誤差ｅ（ｎ）は、ジャイロ２６にて発生するドリフト成分のような誤差とは異なる線形予測処理自体の誤差であり、観測値ｕ（ｎ）と予測値ｙ（ｎ）との差分値である。以下の説明では、この誤差ｅ（ｎ）を予測処理誤差という。括弧内のｎは、ｎ番目のサンリング値であることを示す。

まず、静止画露光前における予測部５６の動作について説明する。静止画露光前においては、予測部入力切替えスイッチ４３ａは接点４３ｂ側に設定され、適応処理スイッチ４５はオンに設定され、出力切替えスイッチ４６ａは接点４６ｃ側に設定される。

このとき、予測部入力切替えスイッチ４３ａの出力は入力端子４１からの観測値ｕ（ｎ）を一方の単位遅延器４２により単位遅延させたｕ（ｎ−１）になり、このｕ（ｎ−１）が線形予測部６１に入力される。線形予測部６１は、入力されたｕ（ｎ−１）に応じて予測値ｙ（ｎ）を出力する。すなわち、線形予測部６１は、ｎ番目（現在）より１単位前のサンプリング時における観測値ｕ（ｎ−１）に基づいて現在の予測値ｙ（ｎ）を生成する。本実施例において、１単位以上前のサンプリング時の観測値から現在の予測値を得る処理を予測処理という。線形予測部６１の動作の詳細については後述する。

減算器６３は、現在の観測値ｕ（ｎ）と予測値ｙ（ｎ）との差である予測処理誤差ｅ（ｎ）＝ｕ（ｎ）−ｙ（ｎ）を計算する。適応部６２は、この予測処理誤差ｅ（ｎ）を用いて、適切な適応アルゴリズムによって線形予測部（予測フィルタ）６１のフィルタ係数を更新する。本実施例では、適応部６２によって行われる線形予測部６１の適切な更新のための動作を適応処理という。適応部６２の動作の詳細については後述する。出力切替えスイッチ４６ａを介して出力端子４８には、観測値ｕ（ｎ）が出力される。

このように、静止画露光前であって動きベクトル検出部１４から動きベクトル検出信号が得られる状態では、予測部５６は入力端子４１に入力された誤差信号をそのまま出力端子４８に出力する。その一方で、適応部６２に線形予測部６１に対する適応処理を行わせる。

次に、静止画露光中であって動きベクトル検出信号が得られない、つまりは減算器５７ａからの誤差信号としての観測値ｕ（ｎ）が得られない状態での予測部５６の動作について説明する。静止画露光中においては、予測部入力切替えスイッチ４３ａは接点４３ｃ側に設定され、適応処理スイッチ４５はオフに設定され、出力切替えスイッチ４６ａは接点４６ｂ側に設定される。

このとき、予測部入力切替えスイッチ４３ａからの出力は、もう１つの単位遅延器４２からの１つ前の予測値ｙ（ｎ−１）になり、このｙ（ｎ−１）が線形予測部６１に入力される。線形予測部６１は、入力された前の予測値ｙ（ｎ−１）に応じて現在の予測値ｙ（ｎ）を出力する。適応処理スイッチ４５はオフであるので、適応部６２および減算器６３は動作を停止している。出力切替えスイッチ４６ａを介して出力端子４８には、予測値ｙ（ｎ）が出力される。

このように、静止画露光中においては、予測部５６は、線形予測部６１が生成する予測値ｙ（ｎ）を出力端子４８に出力するとともに、適応部６２の動作を停止させる。

本実施例では、静止画露光中か否かをレンズ制御部２５が予め知る必要がある。このため、カメラ制御部１０は、操作部１５から第２レリーズ信号ＳＷ２が入力されることに応じて、静止画露光中であることを示す信号（通知）をレンズ制御部２５に送信する。

次に、図５（ａ），（ｂ）を用いて、線形予測部６１および適応部６２の詳細な構成と動作について説明する。図５（ａ）は静止画露光前のこれらの動作を、図５（ｂ）は静止画露光中のこれらの動作を示している。図５（ａ），（ｂ）には、線形予測部６１およびその周辺の動作に限って図示しており、図４に示したスイッチ４３ａ，４６ａ等、ここでの説明に関係のないものの図示は省略している。これらの図において、図４に示した構成要素には図４と同符号を付している。４４はフィルタ係数であり、４７は加算器である。

図５（ａ）に示すように、線形予測部６１は、いわゆるトランスバーサルフィルタにより構成されている。ただし、線形予測部６１として、適当な適応アルゴリズムを用いることが可能な他のフィルタ（例えば、ラティスフィルタ）を用いてもよい。

まず、適応処理について説明する。図５（ａ）に示すような適応処理を行う場合には、図からも明らかなように、以下に示す式（１）を用いて現在の予測値ｙ（ｎ）を得る。

ただし、Ｍはフィルタの次数であり、予測処理や適応処理を行う対象となる信号のサンプリング周波数や予測処理を行う時間等に応じて適宜設定する。
適応処理のためのアルゴリズムである適応アルゴリズムとしては様々なものが提案されているが、ここでは、ＬＭＳ（Least Mean Square）アルゴリズムについて説明する。このＬＭＳアルゴリズムは、勾配法から導出されており、以下に示す式（２）によってフィルタ係数ｈ_ｎを更新する。ただし、ｈの右下の添え字ｎはｎサンプル目のフィルタ係数であることを示している。

μはステップサイズパラメータと呼ばれる正の係数である。

ＬＭＳアルゴリズムは、最急降下法を利用するアルゴリズムであり、これによればフィルタ係数ｈ_ｎは初期値から誤差最小の値に近づいていく。予測処理誤差ｅ（ｎ）が十分小さくなれば、すなわち予測値ｙ（ｎ）が観測値ｕ（ｎ）に近い近似値になっていれば、適応処理による更新量は小さくなる。

次に、予測処理について説明する。図５（ｂ）に示すような予測処理を行う場合には、観測値ｕ（ｎ）の代わりに予測値ｙ（ｎ）を用いる。図５（ｂ）の例では、ｕ（ｎ−１）の代わりにｙ（ｎ−１）を用いる。一方、それ以前の予測での入力値としては観測値を用いているので、図５（ｂ）は１回の予測での入力値としての観測値が適当に得られない場合を示している。

前述した適応処理によって予測処理誤差ｅ（ｎ）が十分小さくなっていれば、ｕ（ｎ−１）≒ｙ（ｎ−１）となるので、１回の予測での入力値を観測値から予測値ｙ（ｎ−１）で置き換えて再度求めた予測値ｙ（ｎ）も良い近似値であることが期待される。次の予測では、入力値としてｕ（ｎ）の代わりにｙ（ｎ）を用いる。これを順次繰り返すことで、１回だけでなく複数回の予測を行うことも可能である。

前述したように、本実施例では、ジャイロ２６からの角速度信号をＡ／Ｄ変換するＡ／Ｄ変換器５１のサンプリング周波数を、動きベクトルの検出に用いる撮像素子１１のサンプリング周波数と同じに設定している。しかし、Ａ／Ｄ変換器５１のサンプリング周波数を他の周波数に設定していてもよい。

一般に、撮像素子のサンプリング周波数はジャイロ等のセンサに比べて低い。例えば、撮像素子のサンプリング周波数が３０〜２４０Ｈｚに対して、ジャイロ等のセンサは１〜５０ｋＨｚのサンプリング周波数を設定可能である。そこで、本実施例では、振れ検出信号を取得するためのＡ／Ｄ変換器５１のサンプリング周波数を動きベクトル検出信号を取得するための撮像素子１１のサンプリング周波数に合わせている。しかし、予測部５６の前段の減算器５７ａでサンプリングレートが一致していれば、Ａ／Ｄ変換器５１のサンプリング周波数をより高い周波数に設定してもよい。

例えば、減算器５７ａの前段に積分器５２からの信号のサンプリング周波数を低く変換するダウンサンプリング器を挿入する。これにより、高いサンプリング周波数でＡ／Ｄ変換器５１にてサンプリングされた角速度信号を、撮像素子１１のサンプリング周波数でサンプリングすることでダウンサンプリングを行う。そして、予測部５６の後段にサンプリング周波数を高く変換するアップサンプリング器を挿入し、予測部５６からの振れ補正信号を元のＡ／Ｄ変換器５１のサンプリング周波数でサンプリングすることによりアップサンプリングを行う。

また、本実施例では、静止画露光中に予測誤差信号をジャイロ振れ検出信号から一律に減算する場合について説明したが、静止画露光の開始からの経過時間に応じた重み付けをした予測誤差信号をジャイロ振れ検出信号から減算してもよい。例えば、静止画露光時間が長くなると予測誤差信号の予測精度は低下していく。このため、静止画露光の開始からの経過時間が長くなるほど減算する値が小さくなるような時間依存の重み付け係数を予測誤差信号に乗じた結果をジャイロ振れ検出信号から減算して振れ補正信号を算出してもよい。さらに、静止画露光時間が所定時間を超える場合は、予測誤差信号の減算を行わない等の処理も行ってもよい。

なお、動きベクトル検出部１４は、撮像素子１１上での被写体像の変位を検出するので、カメラ１の撮像素子１１の撮像面に平行な振れであるシフト振れも検出することができる。シフト振れは、被写体距離が短くて像倍率が大きい撮影に影響しやすい。一方、ジャイロ２６は角速度センサであるので、シフト振れを検出することはできない。つまり、静止画露光中はジャイロ２６によって角度振れしか検出することはできない。

ただし、ジャイロ振れ検出信号から動きベクトル検出信号を減算すると、ジャイロ２６からの角度振れ信号であるジャイロ振れ検出信号の誤差からシフト振れに相当する信号（シフト振れ信号）が減算されて算出される。そして、この差分信号を用いて静止画露光中の誤差信号を予測し、該予測誤差信号を静止画露光中に角度振れ信号から減算することで、結果的にジャイロ２６からの角度振れ信号から予測誤差信号が減算され、予測により得られるシフ振れ信号が加算されることとなる。つまり、静止画露光中はジャイロ２６により角度振れ信号しか検出できないが、予測処理によりシフト振れの影響も加味して振れ補正信号が算出されて防振制御が行われる。このため、本実施例は、像倍率が大きく、シフト振れの影響が大きい撮像に対しても有効である。

本実施例において説明した処理を、コンピュータにより構成された防振制御部３０がコンピュータプログラムとしての防振制御プログラムに従って実行してもよい。図８には、コンピュータである防振制御部３０が防振制御プログラムに従って実行する処理の流れを示している。

ステップＳ１０１では、防振制御部３０は、カメラ制御部１０から第２レリーズ信号ＳＷ２が入力したことが通知されたか否かを判定する。第２レリーズ信号ＳＷ２の入力が通知されていない場合はステップＳ１０２に進み、通知された（静止画露光中である）場合はステップＳ１０４に進む。

ステップＳ１０２では、防振制御部３０は、動きベクトル検出部１４から動きベクトル検出信号を取得するともに、ジャイロ２６から角速度信号を積分してジャイロ振れ検出信号を取得する。そして、防振制御部３０は、ジャイロ振れ検出信号から動きベクトル検出信号を差し引くことで誤差信号を算出する。

次にステップＳ１０３では、防振制御部３０は、誤差信号を用いて前述した予測フィルタの適応処理を行う。

この後、防振制御部３０はステップＳ１０１に戻り、再び第２レリーズ信号ＳＷ２が入力したことが通知されたか否かを判定する。通知されていない場合はステップＳ１０２およびステップＳ１０３の処理を繰り返す。

一方、ステップＳ１０４では、防振制御部３０は、適応処理を受けた予測フィルタを用いて予測誤差信号を演算する予測処理を行い、さらにステップＳ１０５では、ジャイロ振れ検出信号から予測誤差信号を差し引いて振れ補正信号を生成する。

次に、ステップＳ１０６では、防振制御部３０は、振れ補正信号を用いてシフトレンズ２４のシフト駆動（防振制御）を行う。

最後に、ステップＳ１０７では、防振制御部３０は、静止画露光中か否かを判定し、静止画露光中であればステップＳ１０４に戻り、ステップＳ１０４〜Ｓ１０６までの処理を繰り返す。一方、静止画露光が終了した場合は本処理を終了する。

次に、図６を用いて、本発明の実施例２である防振制御装置（防振制御部３０′）を備えたデジタルカメラについて説明する。実施例１では静止画露光を指示する第２レリーズ信号ＳＷ２に応じて防振制御を開始する場合について説明したが、本実施例では、静止画露光前においても画像表示部１６に像振れが少ないライブビュー画像を表示できるように防振制御を行う。具体的には、防振制御部３０′は、操作部１５から撮像準備動作を指示する第１レリーズ信号ＳＷ１が出力されることに応じて防振制御を開始する。この際、操作部１５から第２レリーズ信号ＳＷ２が出力されるまでは、実施例１で説明した合成振れ信号に代えて、動きベクトル検出信号としての振れ補正信号を用いた防振制御を行う。その後、操作部１５から第２レリーズ信号ＳＷ２が出力されると、実施例１と同様に、ジャイロ振れ検出信号から予測誤差信号を減算することで生成された振れ補正信号を用いた防振制御を行う。

なお、本実施例におけるカメラの構成は実施例１で図２に示したデジタルカメラ１と同様であるため、説明を省略する。また、図６において、実施例１で図１を用いて説明した防振制御部３０の構成要素と共通する構成要素には実施例１と同符号を付して説明に代える。

図６において、７１は加算器であり、動きベクトル検出部１４からの動きベクトル検出信号とシフト制御部５９からシフトレンズ２４に与えられるシフト駆動量（制御量）とを加算した信号をＢＰＦ５３ｂと減算器５７ａに出力する。５８′は出力切替えスイッチであり、シフト制御部５９に接続された端子５８ａを動きベクトル検出信号が供給される端子５８ｂに接続する状態と、減算器５７ｂからの振れ補正信号が供給される端子５８ｃに接続される状態とに切り替え可能である。出力切替えスイッチ５８′の切り替えは、図２に示したカメラ制御部１０からの命令に応じて行われる。

第１レリーズ信号ＳＷ１が出力される前においては、出力切替えスイッチ５８′の端子５８ａが端子５８ｂ，５８ｃのいずれにも接続されないオフ状態である。この状態では、シフトレンズ２４のシフト駆動、すなわち防振制御は行われない。

第１レリーズ信号ＳＷ１が出力されると（撮像準備期間となると）、出力切替えスイッチ５８′の端子５８ａが端子５８ｂに接続される。これにより、動きベクトル検出部１４からの動きベクトル検出信号が振れ補正信号（第２の防振信号）としてシフト制御部５９に入力され、該動きベクトル検出信号を振れ補正信号として用いた防振制御が行われる。

この動きベクトル検出信号を振れ補正信号として用いた防振制御中に検出される動きベクトル検出信号は、シフトレンズ２４のシフト駆動では除去しきれなかった撮像素子１１上での像振れ（以下、残像振れという）に対応するものとなる。つまり、シフトレンズ２４のシフト駆動量と残像振れに対応する動きベクトルとを加算したものが実際のカメラ振れ量に対応する動きベクトルとなる。このため、本実施例では、シフト制御部５９によるシフトレンズ２４のシフト駆動量を示す信号と残像振れに対応する動きベクトル検出信号とを加算し、その加算結果をジャイロ振れ検出信号から差し引くことで誤差信号を得る。予測部５６は、この誤差信号を用いて予測処理を行う。

具体的には、シフト制御部５９がシフトレンズ２４のシフト駆動量を示す信号を加算器７１に出力し、加算器７１はこのシフト駆動量信号と動きベクトル検出部１４からの残像振れに対応する動きベクトル検出信号とを加算する。ゲイン比較部５４は、加算器７１から出力されてＢＰＦ５３ｂを通過した動きベクトル検出信号（シフト駆動量信号を含む）とＢＰＦ５３ａを通過したジャイロ振れ検出信号とのゲインを比較し、ゲイン補正部５５にてジャイロ振れ信号のゲインを補正する。減算器５７ａは、ゲイン補正部５５から出力されたジャイロ振れ検出信号から加算器７１から出力された動きベクトル検出信号（シフト駆動量信号を含む）を減算してその結果である誤差信号を予測部５６に送る。予測部５６は、第２レリーズ信号ＳＷ２に応じて静止画露光が開始されるまでは、減算器５７ａからの誤差信号を用いて予測フィルタの適応処理を行う。

第２レリーズ信号ＳＷ２が出力されると（静止画露光が開始されると）、出力切替えスイッチ５８′の端子５８ａが端子５８ｃに接続される。予測部５６はそれまで適応処理を受けた予測フィルタにより算出された予測誤差信号を減算器５７ｂに出力する。減算器５７ｂは、ゲイン補正部５５から出力されたジャイロ振れ検出信号から予測部５６にて生成された予測誤差信号を減算して振れ補正信号を生成し、これをスイッチ５８′を介してシフト制御部５９に入力する。こうして、実施例１と同様にジャイロ振れ信号に含まれる誤差信号の影響が低減された振れ補正信号を用いた防振制御が行われる。

静止画露光が終了すると、予測部５６の処理や出力切替えスイッチ５８′が第１レリーズ信号ＳＷ１が出力される前の状態に戻される。

本実施例によれば、静止画露光前の撮像準備期間から動きベクトル検出信号を用いた防振制御を行うので、ユーザは像振れが良好に補正されたライブビュー画像を見ながらフレーミングを行うことができる。そして、静止画露光中は、実施例１と同様に、ジャイロ２６で発生した誤差成分の影響が低減された良好な防振制御を行うことができる。

本実施例では、撮像準備期間において、ゲイン比較器５４にて、動きベクトル検出部１４にて検出された残像振れに対応する動きベクトル検出信号とシフト制御部５９からのシフト駆動量信号とを加算した信号とジャイロ振れ検出信号とのゲイン比較を行った。しかし、他の方法として、撮像準備期間前のゲイン比較結果を撮像準備期間でも引き続き利用してもよい

次に、図７を用いて、本発明の実施例３である防振制御装置（防振制御部３０″）を備えたデジタルカメラについて説明する。本実施例では、実施例２と同様に撮像準備期間でも防振制御を行うが、動きベクトル検出信号ではなく、ジャイロ振れ検出信号を用いて防振制御を行う点で実施例２と異なる。なお、本実施例におけるカメラの構成は実施例１で図２に示したデジタルカメラ１と同様であるため、説明を省略する。また、図７において、実施例１で図１を用いて説明した防振制御部３０および実施例２で図６を用いて説明した防振制御部３０′の構成要素と共通する構成要素にはこれらと同符号を付して説明に代える。

図７において、５８″は出力切替えスイッチである。出力切替えスイッチ５８″は、シフト制御部５９に接続された端子５８ａをゲイン補正部５５からのジャイロ振れ検出信号が供給される端子５８ｂに接続する状態と、減算器５７ｂからの振れ補正信号が供給される端子５８ｃに接続される状態とに切り替え可能である。出力切替えスイッチ５８″の切り替えは、図２に示したカメラ制御部１０からの命令に応じて行われる。

第１レリーズ信号ＳＷ１が出力される前においては、出力切替えスイッチ５８″の端子５８ａが端子５８ｂ，５８ｃのいずれにも接続されないオフ状態である。この状態では、シフトレンズ２４のシフト駆動、すなわち防振制御は行われない。

第１レリーズ信号ＳＷ１が出力されると（撮像準備期間となると）、出力切替えスイッチ５８″の端子５８ａが端子５８ｂに接続される。これにより、ゲイン補正部５５からのジャイロ振れ検出信号が振れ補正信号（第３の防振信号）としてシフト制御部５９に入力され、該ジャイロ振れ検出信号を用いた防振制御が行われる。このジャイロ振れ検出信号を用いた防振制御中に動きベクトル検出部１４により検出される動きベクトル検出信号は、ジャイロ振れ検出信号に含まれる誤差信号に相当する。このため、予測部５６は、この防振制御中に動きベクトル検出部１４で検出された動きベクトル検出信号を用いて予測フィルタの適応処理を行う。

第２レリーズ信号ＳＷ２が出力されると（静止画露光が開始されると）、出力切替えスイッチ５８″の端子５８ａが端子５８ｃに接続される。予測部５６はそれまで適応処理を受けた予測フィルタにより算出された予測誤差信号を減算器５７ｂに出力する。減算器５７ｂは、ゲイン補正部５５から出力されたジャイロ振れ検出信号から予測部５６にて生成された予測誤差信号を減算して振れ補正信号を生成し、これをスイッチ５８″を介してシフト制御部５９に入力する。こうして、実施例１と同様にジャイロ振れ信号に含まれる誤差信号の影響が低減された振れ補正信号を用いた防振制御が行われる。

静止画露光が終了すると、予測部５６の処理や出力切替えスイッチ５８″が第１レリーズ信号ＳＷ１が出力される前の状態に戻される。

本実施例によれば、静止画露光前の撮像準備期間からジャイロ振れ検出信号を用いた防振制御を行うので、ユーザは像振れが良好に補正されたライブビュー画像を見ながらフレーミングを行うことができる。そして、静止画露光中は、実施例１と同様に、ジャイロ２６で発生した誤差成分の影響が低減された良好な防振制御を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１ カメラ
２ 撮影レンズ
１１ 撮像素子
１４ 動きベクトル検出部
２４ シフトレンズ
２５ レンズ制御部
２６ ジャイロ
３０，３０′，３０″ 防振制御部
５６ 予測部
５９ シフト制御部

Claims (11)

1. 振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出された動きベクトルを示す動きベクトル検出信号とを用いて、前記振れによる像振れを低減するための防振制御を行う防振制御装置であって、
   前記動きベクトル検出信号を用いて、前記振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成する予測手段と、
   前記振れ検出信号から前記予測誤差信号を差し引いて第１の防振信号を生成する信号生成手段と、
   前記第１の防振信号を用いて前記防振制御を行う制御手段と、を有し、
   前記予測手段は、
   静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行い、
   静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成することを特徴とする防振制御装置。
2. 前記予測手段は、前記振れ検出信号と前記動きベクトル検出信号との差を用いて前記予測誤差信号を生成することを特徴とする請求項１に記載の防振制御装置。
3. 前記制御手段は、前記第１の防振信号に代えて前記動きベクトル検出信号を第２の防振信号として用いて前記防振制御を行うことが可能であり、
   前記予測手段は、前記第２の防振信号を用いた前記防振制御における制御量に該防振制御中に検出される前記動きベクトル検出信号を加算した結果と前記振れ検出信号との差を用いて前記予測誤差信号を生成することを特徴とする請求項１に記載の防振制御装置。
4. 前記制御手段は、前記第１の防振信号に代えて前記振れ検出信号を第３の防振信号として用いて前記防振制御を行うことが可能であり、
   前記予測手段は、前記第３の防振信号を用いた前記防振制御中に検出される前記動きベクトル検出信号を用いて前記予測誤差信号を生成することを特徴とする請求項１に記載の防振制御装置。
5. 前記制御手段は、前記第１の防振信号を用いた前記防振制御を静止画の撮像中において行うことを特徴とする請求項１から４のいずれか一項に記載の防振制御装置。
6. 前記制御手段は、前記撮像素子を露光する時間の経過に応じて前記振れ検出信号から差し引く前記予測誤差信号の重み付けを小さくすることを特徴とする請求項１から５のいずれか一項に記載の防振制御装置。
7. 前記振れ検出信号を取得するためのサンプリング周波数と前記動きベクトル検出信号を取得するためのサンプリング周波数とが同じに設定されていることを特徴とする請求項１から６のいずれか一項に記載の防振制御装置。
8. 前記振れ検出信号と前記動きベクトル検出信号との比較結果に応じて前記振れ検出信号のゲインを調整するゲイン調整手段を有することを特徴とする請求項１から７のいずれか一項に記載の防振制御装置。
9. 請求項１から８のいずれか一項に記載の防振制御装置を有することを特徴とする光学機器。
10. 振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出された動きベクトルを示す動きベクトル検出信号とを用いて、前記振れによる像振れを低減するための防振制御を行う防振制御方法であって、
    前記動きベクトル検出信号を用いて、前記振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成する予測ステップと、
    前記振れ検出信号から前記予測誤差信号を差し引いて第１の防振信号を生成する信号生成ステップと、
    前記第１の防振信号を用いて前記防振制御を行う制御ステップと、を有し、
    前記予測ステップは、
    静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行うステップと、
    静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成するステップと、を有することを特徴とする防振制御方法。
11. 振れを検出する振れセンサを用いて得られる振れ検出信号と撮像素子を用いて生成された映像信号において検出された動きベクトルを示す動きベクトル検出信号とを用いて、前記振れによる像振れを低減するための防振制御をコンピュータに行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記動きベクトル検出信号を用いて、前記振れ検出信号に含まれる誤差信号の予測値を示す予測誤差信号を予測フィルタを用いて生成させ、
    前記振れ検出信号から前記予測誤差信号を差し引いて第１の防振信号を生成させ、
    前記第１の防振信号を用いて前記防振制御を行わせ、
    静止画露光前に、前記動きベクトル検出信号を用いて前記予測フィルタを更新する適応処理を行わせ、
    静止画露光中に、前記予測フィルタを更新せず静止画露光前に更新された前記予測フィルタを用いて前記予測誤差信号を生成させることを特徴とする防振制御プログラム。