JP6320164B2 - 像ブレ補正装置及びその制御方法、光学機器、撮像装置 - Google Patents

Description

本発明は、撮像装置等に搭載される像ブレ補正装置及びその制御方法に関する。

デジタルカメラで静止画を撮影する際、撮影者の手ブレの影響により生じ得る画像の劣化を防止する手ブレ補正手段として様々な方式が提案されている。デジタルカメラ内に搭載されたブレ検出センサ（ジャイロセンサ等）を用いて手ブレを検出し、検出結果に基づき補正レンズを光軸に対して略直交する方向にシフトさせて像ブレを補正する技術が知られている。ブレ検出センサを用いる手ブレ補正方式の場合、ブレ検出センサが大きな外乱ノイズを受けた場合、次のような問題が生じる。例えば、レリーズ釦のユーザ操作が検出されて、カメラ内のシャッタ等が駆動された際には、駆動に伴う衝撃がカメラボディを介しブレ検出センサに伝わる。このため、検出信号には実際の手ブレとは異なるノイズ成分が重畳される。以下、このレリーズ動作に伴うシャッタユニットによる外乱ノイズを「シャッタショックノイズ」と呼ぶ。

特許文献１には、シャッタショックノイズ対策が開示されている。ブレ検出センサの信号にシャッタショックノイズが重畳した区間において、信号の繰り返し性に着目し、それまでの信号から適応アルゴリズムを用いた線形予測により補間処理が行われる。適応アルゴリズムによる所定の次数からなる線形予測フィルタが使用され、予測信号と、置換の直前までの角速度信号を用いて適応的に線形予測フィルタの係数を随時更新する処理が行われる。適応アルゴリズムによって随時、線形予測フィルタの係数が更新されるので、レリーズ釦の押下時にシャッタショックノイズが発生しても、角速度信号の予測を行うことができる。

特開２０１３−１１８４５０号公報

特許文献１に開示の従来技術では、適応アルゴリズムにより係数が更新される線形予測フィルタは所定の次数を有しており、この次数が大きいほど予測精度は向上する。しかし次数が大きいと、演算負荷及びフィルタ係数を記憶する容量の増大が問題となる。また線形予測フィルタは原理的に、ブレ検出センサ信号のサンプリングピッチ（サンプリングレートの逆数）に線形予測フィルタの次数を乗算した時間長に対して、それよりも周期が長い周波数が含まれている場合には線形予測の精度が低下する。
本発明の目的は、演算負荷や回路規模を低減しつつ、高精度に像ブレ補正を行える像ブレ補正装置及びその制御方法の提供にある。

本発明に係る装置は、像ブレ補正手段により画像のブレを補正する像ブレ補正装置であって、装置のブレを検出する検出手段と、前記検出手段の検出信号をサンプリングレートにしたがってデジタル信号に変換するサンプリング手段と、前記検出信号に対して異なる周波数帯域の成分をそれぞれ分離する複数の帯域分離手段と、前記複数の帯域分離手段により帯域分離され、かつ前記サンプリング手段により変換されたデジタル信号を取得して、前記帯域分離手段のフィルタ係数を更新する適応アルゴリズムにより線形予測を前記帯域分離手段ごとに行う複数の信号予測手段と、前記検出信号または前記複数の信号予測手段の出力信号からブレ量を算出して前記像ブレ補正手段の制御により像ブレを補正する制御手段と、を備える。前記複数の信号予測手段は、前記複数の帯域分離手段をそれぞれ通過した異なるサンプリングレートのデジタル信号を取得して前記線形予測を行う。

本発明によれば、演算負荷や回路規模を低減しつつ、高精度に像ブレ補正を行うことができる。

本発明の第１実施形態における信号処理を示すブロック図である。 第１実施形態における撮像装置の構成例を示す図である。 第１実施形態における撮像装置のシステムを説明するブロック図である。 第１実施形態における信号予測処理部の構成例を示すブロック図である。 第１実施形態における線形予測部及び適応部を示すブロック図である。 第１実施形態の変形例の構成例を示すブロック図である。 本発明の第２実施形態およびその変形例の構成例を示すブロック図である。 外乱ノイズ発生時のブレ検出信号と信号予測処理を説明する模式図である。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。各実施形態に係る撮像装置の構成を説明する前に、図８を参照して線形予測による補間処理の概要を説明する。

図８は、ジャイロセンサで検出した角速度信号と、角速度信号を積分して求めた角度信号と、予測処理の切替タイミングを示す模式図である。図８（Ａ）〜（Ｅ）において横軸はいずれも時間軸であり、各信号について時間的に同期して表現している。図８（Ａ）は検出された手ブレの角速度信号２０１を示す。区間２１１にてシャッタショックノイズ２０２が重畳している。なお、図８（Ｂ）は、図８（Ａ）の角速度信号を積分して角度信号２０３に換算した信号を示す。シャッタショックノイズ２０２の影響により、角度誤差２０４が発生している。図８（Ｃ）は信号予測処理の切替のタイミングを示す。図８（Ｄ）は区間２１１において信号予測によって補間処理を施した後の角速度信号２０６を示す。図８（Ｅ）は図８（Ｄ）の角速度信号を積分して角度信号２０７に換算した信号を示す。図８（Ｃ）に示すように、区間２１１では予測信号への切替信号２０５がＯＮとなり、図８（Ｄ）に示すように、区間２１１での角速度信号が予測信号２０８に置換される。その結果、図８（Ｅ）に示すように、区間２１１において角度誤差が低減される。

線形予測による補間処理において問題となる線形予測精度について、具体的に説明すると、例えば、サンプリングレートｆｓを５００Ｈｚとし、線形予測フィルタの次数Ｍの値を２５６とする。この場合、サンプリングピッチに線形予測フィルタの次数を乗算した時間長Ｔｌは、下式（１）から０．５１２sec（秒）が求まる。

よって、周期が０．５１２sec以上である場合の周波数、つまり約２Ｈｚ以下の周波数の信号についての予測精度が低下する結果、手ブレ補正の精度が低下する。式（１）から分かるように、サンプリングレートｆｓを低くしていけば、低周波帯域の信号についての予測精度は高まるが、サンプリング限界により高周波帯域の信号取得時の精度が低下する。そこで、本発明の実施形態では、演算負荷や回路規模を低減しつつ、線形予測精度の低下を抑制する処理について説明する。各実施形態ではデジタルスチルカメラに具備される像ブレ補正装置を例にして説明するが、デジタルビデオカメラや、監視カメラ、Ｗｅｂカメラ、携帯電話等にも適用可能である。また交換レンズシステムのレンズ装置等の、各種光学機器にも適用可能である。

［第１実施形態］
図１から図５を参照して、本発明の第１実施形態に係る撮像装置について説明する。なお、被写体側を前面側と定義して各部の位置関係を説明する。
図２は本実施形態に係る撮像装置としてのデジタル一眼レフカメラの概略断面図を示す。撮像装置は、交換可能な撮影レンズ１と、カメラボディ２を備える。撮影レンズ１は、光軸１０上の複数のレンズ群や絞り等を備える。撮影光学系１１を構成するレンズ群は、ズームレンズやフォーカスレンズ、像ブレ補正用レンズ（例えばシフトレンズ）等を含む。レンズシステム制御部（以下、レンズ制御部という）１２は撮影レンズ１内の各部を制御する。レンズ駆動部１３は、レンズ制御部１２からの制御信号にしたがって可動光学部材を駆動する。角速度を検出するジャイロセンサ１４は、カメラに加えられる振れを検出し、振れ検出信号をレンズ制御部１２に出力するブレ検出センサである。

カメラボディ２には、メインミラー２２ａとサブミラー２３ｂを有するクイックリターンミラーユニット２２が配置されている。撮影レンズ１のレンズ群を介した後、光軸１０に沿って入射する光束の一部は、メインミラー２２ａの中央に配されたハーフミラー部を通過し、サブミラー２２ｂで反射したのちＡＦ（自動焦点調節）センサ２７に導かれる。ＡＦセンサ２７は自動焦点調節用の焦点検出手段であり、受光した光束の情報を用いて焦点検出を行う。一方、メインミラー２２ａで反射した一部の光束は、ファインダ光学系に含まれるピント板２８の位置に結像する。その光学像がペンタプリズム２９及び接眼光学系３０を通過し、撮影者の瞳に導かれる。ＡＥ（自動露出）センサ３１は、ピント板２８に結像した光学像の光量を検出する露光量検出手段であり、撮影レンズ１を通過した光束の光量を検出する。

クイックリターンミラーユニット２２の背面側には、フォーカルプレーンシャッタ２４が配置され、さらに撮像素子２５が配置されている。フォーカルプレーンシャッタ２４はシャッタ羽根２４ａを駆動して光束を遮光することで、光束が撮像素子２５で受光されるタイミング及び露光時間を調整する。撮像素子２５はＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等である。図２の状態からクイックリターンミラーユニット２２がミラーアップ状態に駆動されると、メインミラー２２ａとサブミラー２２ｂが光軸１０から退避し、この時の光束は撮像素子２５の撮像面の位置に集光する。撮像素子２５に集光した光束は光電変換によって画像信号として電気回路に送られて処理され、カメラボティ２の背面に設けた画像表示部２６の画面に表示される。カメラシステム制御部（以下、カメラ制御部という）２１は、不図示のレリーズ釦が押下された場合、ＡＦセンサ２７及びＡＥセンサ３１による検出動作、及びクイックリターンミラーユニット２２の退避駆動及びシャッタ２４の駆動等の制御を行う。

図３はデジタル一眼レフカメラの電気的構成を主に示すブロック図である。
レンズ駆動部１３はフォーカスレンズ駆動部１３ａ及びブレ補正駆動部１３ｂを含む。フォーカスレンズ駆動部１３ａは、撮影光学系１１に含まれるフォーカスレンズ１１ａを光軸に対して平行な方向に移動させて焦点調節を行う。ブレ補正駆動部１３ｂはシフトレンズ１１ｂを光軸１０に対して略直交する方向に移動させて像ブレ補正を行う。シフトレンズ及びブレ補正駆動部１３ａにより像ブレ補正手段が構成される。レンズ制御部１２にはジャイロセンサ１４の検出信号が入力される。レンズ制御部１２は電気接点３２を介してカメラボディ２内のカメラ制御部２１と通信し、レンズ駆動部１３の駆動制御を行う。つまり、レンズ制御部１２はカメラ制御部２１と相互に通信して制御に必要な情報を取得し、レンズ駆動部１３への駆動命令を出力する。また、レンズ駆動部１３はジャイロセンサ１４からの信号を処理し、像ブレ補正量の算出等を行う。レンズ制御部１２を構成するＣＰＵ（中央演算処理装置）はサンプリング手段、第１及び第２の帯域分離手段、第１及び第２の信号予測手段、像ブレ量算出手段としての機能を有する。

カメラ制御部２１の制御指令に従って、ミラー駆動部３７によりクイックリターンミラーユニット２２が光軸上から退避し、シャッタ駆動部３８によりシャッタ羽根２４ａが開くと、撮像素子２５は受光した光を光電変換する。不図示のＡ（Analog）／Ｄ（Digital）変換部は光電変換された出力に対して量子化処理を行い、デジタル信号を画像処理部３３に出力する。画像処理部３３は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、カメラ制御部２１の命令に従って撮像素子２５から取得した信号を処理して画像データを生成する。画像処理部３３が生成したデータは、メモリ部３４に記憶される。カメラ制御部２１はＣＰＵ（中央演算処理装置）等を備え、撮影レンズ１及びカメラボディ２の制御を統括する。カメラ制御部２１は、撮像の際のタイミング信号等を生成して各部に出力する。またカメラ制御部２１は、ユーザの操作指示を受け付けた場合、当該操作指示に応じてＡＦセンサ２７、ＡＥセンサ３１、ミラー駆動部３７、シャッタ駆動部３８、撮像素子２５の制御を行い、必要に応じてレンズ制御部１２へ命令信号を送信する。

次に、図４を参照して本実施形態における適応アルゴリズムによる予測処理の切替動作について説明する。レンズ制御部１２からの制御指令に従って信号予測処理部５０の動作が切り替えられる。信号予測処理部５０は線形予測部５１、適応部５２、減算部５３を備える。本実施形態では、２つの単位遅延部４２を使用する。

信号予測処理部５０の入力端子４１にはジャイロセンサ１４の検出信号が入力され、２つに分岐する。分岐した一方の信号は第１の単位遅延部４２に入力され、他方の信号は減算部５３及び出力切替スイッチの接点４６ｃに送られる。複数の単位遅延部４２の各出力のうちの一方は後段の予測入力切替スイッチ４３ａによって選択される。つまり、接点４３ｂ，４３ｃが単位遅延部４２の各出力端子にそれぞれ接続されており、予測入力切替スイッチ４３ａの切替はレンズ制御部１２からの制御指令にしたがって行われる。予測入力切替スイッチ４３ａが選択した信号は線形予測部５１に入力される。線形予測部５１の出力は第２の単位遅延部４２と、減算部５３及び出力切替スイッチの接点４６ｂに送られる。

減算部５３は接点４６ｃの手前で分岐した入力信号を正入力とし、線形予測部５１の出力信号を負入力として減算処理を行い、減算結果を適応部５２に出力する。適応部５２は適応動作スイッチ４５を介して線形予測部５１に出力する。適応動作スイッチ４５のオン／オフ切替はレンズ制御部１２からの制御指令にしたがって行われる。出力切替スイッチ４６ａは、レンズ制御部１２からの制御指令にしたがって接点４６ｂと４６ｃの一方の信号を選択する。選択された信号は信号予測処理部５０の出力端子４８から出力される。

図４に示すu(n)はジャイロセンサ１４の観測値を、y(n)は線形予測部５１の予測値を、e(n)は減算部５３の出力する予測誤差を夫々示している。これらの値において括弧内のnは、第ｎ番目のサンプル値であることを表している。２つの単位遅延部４２のうち、第１の単位遅延部は第「ｎ−１」番目のサンプル値（観測値）であるu(n-1)を出力し、第２の単位遅延部は第「ｎ−１」番目のサンプル値（予測値）であるy(n-1)を出力する。

まず、レリーズ動作前においてシャッタショックノイズが重畳されておらず、ジャイロセンサ１４からの信号が適切に取得されている場合について説明する。この場合、予測入力切替スイッチ４３ａは接点４３ｂ側の状態であり、適応動作スイッチ４５はＯＮ状態であり、出力切替スイッチ４６ａは接点４６ｃ側の状態である。予測入力切替スイッチ４３ａの出力は、入力端子４１からの信号を単位時間遅延させたu(n-1)になる。この信号が線形予測部５１に入力され、線形予測部５１は入力に応じて予測値y(n)を出力する。すなわち、１サンプル前の観測値u(n-1)に基づいて現在の予測値y(n)が生成される。本明細書では、１サンプル以上前の観測値から現在の予測値を得る動作を予測動作と呼ぶ。

減算部５３は、現時点での観測値u(n)と予測値y(n)との差である予測誤差を、「e(n)=u(n)-y(n)」により計算する。適応部５２は予測誤差e(n)を取得し、適応アルゴリズムによって線形予測部５１内のフィルタ係数を更新する。つまり、適応部５２が適応動作スイッチ４５を介して線形予測部５１に出力する信号によってフィルタ係数の値が変更される。出力切替スイッチ４６ａは接点４６ｃを選択する状態であるため、出力端子４８からは観測値u(n)の信号が出力される。すなわち、シャッタショックノイズが重畳せず、ジャイロセンサ１４の検出信号が適切に得られている場合には、入力端子４１の信号がそのまま出力端子４８に出力されるとともに、適応部５２によって線形予測部５１の適応動作が行われる。本明細書では、適応部５２によって線形予測部５１のフィルタ係数が適切に更新されることを適応動作と呼ぶ。なお、線形予測部５１及び適応部５２の動作の詳細については後述する。

次に、シャッタショックノイズが重畳された結果、ジャイロセンサ１４の検出信号が適切に得られていない場合について説明する。この場合、予測入力切替スイッチ４３ａは接点４３ｃ側の状態であり、適応動作スイッチ４５はＯＦＦ状態であり、出力切替スイッチ４６ａは接点４６ｂ側の状態である。

予測入力切替スイッチ４３ａの出力は、前回のサンプル値である予測値y(n-1)になる。この信号が線形予測部５１に入力され、線形予測部５１は入力に応じて予測値y(n)を出力する。適応動作スイッチ４５はＯＦＦ状態であるので、適応部５２の出力は線形予測部５１に供給されない（適応動作の停止状態）。出力切替スイッチ４６ａは接点４６ｂ側の状態であるので、出力端子４８からは予測値y(n)の信号が出力される。すなわち、ジャイロセンサ１４の検出信号が適切に得られていない場合には、線形予測部５１の生成する予測値の信号が出力端子４８に出力されるとともに、適応部５２による適応動作が停止する。

以上のように、ジャイロセンサ１４からの信号が適切に得られている場合と、ジャイロセンサ１４からの信号が適切に得られていない場合とでは、信号予測処理部５０の状態が異なる。本実施形態では、ジャイロセンサ１４の検出信号が適切に得られているか否かの判定処理をレンズ制御部１２が行う。カメラボディ２の操作部３６のレリーズ釦が押下されたことをカメラ制御部２１が検知すると、検知信号が通信によりレンズ制御部１２に通知される。シャッタショックノイズが重畳されるタイミングを示す信号がレンズ制御部１２に送信されることにより、当該タイミングで前記判定処理が実行され、ジャイロセンサ１４の検出信号が適切に得られていないことが判定される。

次に図５を参照して、線形予測部５１と適応部５２の詳細な構成と動作について説明する。図５（Ａ）はシャッタショックノイズが重畳される前の動作を説明する構成図である。図５（Ｂ）はシャッタショックノイズが重畳している時の動作を説明する構成図である。図５（Ａ）及び（Ｂ）では、線形予測部５１及びその周辺部に限って図示しており、図４に示した切替スイッチ等を割愛した。

図５（Ａ）は、複数の単位遅延部４２と、複数の加算部４７と、Ｍ個の係数部４４を示す。h_n(1)からh_n(M)はフィルタ係数をそれぞれ示す。hの右下の添え字nは、第ｎサンプル目のフィルタ係数であることを示している。u(n-1)からu(n-M)は単位遅延部４２の各出力を示す。図５（Ａ）に例示する線形予測部５１は、いわゆるトランスバーサルフィルタで構成される。適応アルゴリズムを利用可能なその他の形式のフィルタ（例えばラティスフィルタ等）も使用可能であるが、以下では、トランスバーサルフィルタを例にして説明する。

まず適応動作について説明する。予測値y(n)は最終段の加算部４７が出力し、減算部５３への負入力となる。図５（Ａ）に示す適応動作の場合、下式（２）によって現在の予測値y(n)が得られる。

式（２）中のＭはフィルタの次数を表し、予測動作や適応動作を行う対象となる信号のサンプリング周波数や、予測動作を行う時間等に応じて設定される。適応動作のためのアルゴリズム（いわゆる適応アルゴリズム）には様々なものが提案されている。本明細書では、いわゆるＬＭＳ（least-mean-square）アルゴリズムについて説明する。このアルゴリズムは勾配法から導出されており、下式（３）によってフィルタ係数h_nの更新処理が行われる。

式（３）中のμはステップサイズパラメータと呼ばれる正の係数である。e(n)は減算部５３が適応部５２に出力する予測誤差である。ＬＭＳアルゴリズムによると、いわゆる最急降下法を利用して、フィルタ係数h_nが初期値から誤差最小の値に近づいていく。予測誤差e(n)が十分小さい場合には、予測値y(n)が観測値u(n)の良い近似値になっていることを意味する。この場合、適応動作によって更新される量は小さくなる。

次に予測動作について説明する。図５（Ｂ）に示すように予測動作を行う場合には、観測値u(n)の代わりに予測値y(n)が使用される。図５（Ｂ）の例では、u(n-1)に代えてy(n-1)を利用している。一方、それ以前のサンプルについては観測値を利用しているので、図５（Ｂ）は、１サンプルのみ観測値が適当に得られない場合を示している。適応動作によって予測誤差e(n)が十分小さくなっていれば、「u(n-1)≒y(n-1)」となるので１サンプル分の予測値で置き換えて再度求めた予測値y(n)は良い近似であることが期待される。次回の予測ではu(n)の代わりにy(n)が使用される。この処理を順次繰り返していくことで、１サンプルだけでなく、それよりも少し長い区間の予測を行うことも可能である。

上述したように、適応アルゴリズムを用いた線形予測処理を行うには、フィルタ係数値を格納する為に、フィルタの次数であるＭ個の変数を確保するのに十分な記憶容量が必要である。また、フィルタの次数を大きくした方が信号予測の精度は向上する。しかし、変数用の記憶容量が増加するので、回路規模や演算負荷は増加してしまう。一方、予測を行う信号において、サンプリングピッチにフィルタの次数をかけた時間長よりも長い時間に相当する周波数成分が含まれている場合には、予測精度は低下する。つまり、幅広い帯域の信号を精度良く予測する上で問題となるのは、回路規模と演算負荷の増大である。

そこで本発明の実施形態では、複数の周波数帯域ごとに信号予測処理部を適用する。例えば、ジャイロセンサ信号を低周波帯域と高周波帯域の各成分に分離し、それぞれの周波数帯域ごとに信号予測処理部を使用する。これにより、全帯域でのジャイロセンサ信号に対して１つの信号予測処理部を使用する場合に比べて、線形予測フィルタの次数を抑えつつ、予測精度の低下を抑えることができる。

次に図１を参照して、ブレ量算出処理を説明する。図１は、ジャイロセンサ信号を低周波帯域及び高周波帯域へ分離する周波数帯域分離手段と、２つの信号予測手段を示す回路ブロック図である。なお、図１にて点線で囲まれた範囲はブレ量算出部に含まれる。
ジャイロセンサ１４はその検出信号を、ＢＰＦ（バンドパスフィルタ）６１に出力する。ＢＰＦ６１がフィルタ処理した信号は２つに分岐して、一方の信号がＨＰＦ（ハイパスフィルタ）６２に入力され、他方の信号がＬＰＦ（ローパスフィルタ）６３に入力される。ＨＰＦ６２は第１の帯域分離手段であり、高域周波数成分を抽出してＡ／Ｄ変換部６４ａに出力する。ＬＰＦ６３は第２の帯域分離手段であり、低域周波数成分を抽出してＡ／Ｄ変換部６４ｂに出力する。Ａ／Ｄ変換部６４ａ，６４ｂはサンプリング手段を構成し、サンプリング周波数がそれぞれ異なる。

第１の信号予測手段である高周波予測処理部５０ａはＡ／Ｄ変換部６４ａの出力信号を取得し、処理結果を加算部６６に出力する。また、第２の信号予測手段である低周波予測処理部５０ｂはＡ／Ｄ変換部６４ｂの出力信号を取得し、処理結果をアップサンプリング部６５に出力する。アップサンプリング後の信号は加算部６６に出力される。高周波予測処理部５０ａ，低周波予測処理部５０ｂの回路構成については、図４で示すようにフィルタ次数がＭ次の線形予測フィルタとする。

上述したように、それぞれの予測処理部５０ａ，５０ｂはレンズ制御部１２からの制御指令にしたがって予測動作と適応動作の切替が行われ、出力信号が制御される。加算部６６の出力信号は、積分部６７の積分処理により角度信号に変換されて出力される。レンズ制御部１２はブレ補正駆動部１３ｂを制御し、角度信号の示すブレ量を打ち消すように像ブレ補正を行う。なお、本実施形態では説明の便宜上、予測処理部５０ａ，５０ｂの線形予測フィルタの次数Ｍの値を２５６とし、ＨＰＦ６２及びＬＰＦ６３のカットオフ周波数を４Ｈｚとする。また、Ａ／Ｄ変換部６４ａにおける第１のサンプリングレートｆｓは５００Ｈｚに設定されている。Ａ／Ｄ変換部６４ｂにおける第２のサンプリングレートｆｓは、第１のサンプリングレートの２分の１以下であり、例えば１２５Ｈｚに設定される。アップサンプリング部６５は入力信号のサンプリングレートｆｓを１２５Ｈｚから５００Ｈｚに変換する。

図１においてジャイロセンサ１４の検出信号は、まずＢＰＦ６１を通ることで高周波ノイズとＤＣ（直流）成分が除去される。例えば、ＢＰＦ６１は０．１〜１００Ｈｚの周波数成分を通過させるフィルタである。ＨＰＦ６２を通過した高周波帯域の信号は、Ａ／Ｄ変換部６４ａによってサンプリングレート５００Ｈｚのデジタル信号に量子化され、高周波予測処理部５０ａは４Ｈｚ以上での信号予測処理を行う。レンズ制御部１２によって動作が切り替えられる高周波予測処理部５０ａは、切り替えに応じた信号を加算部６６に出力する。

一方、ＬＰＦ６３を通過した低周波帯域の信号は、Ａ／Ｄ変換部６４ｂによってサンプリングレート１２５Ｈｚのデジタル信号に量子化され、低周波予測処理部５０ｂは４Ｈｚ以下での信号予測処理を行う。低周波予測処理部５０ｂはフィルタ次数Ｍの値が２５６であり、処理対象とする信号のサンプリングレートｆｓは１２５Ｈｚである。サンプリングレートにフィルタの次数をかけた時間長Ｔｌは、前記の式（１）より２．０４８sec（秒）となる。つまり、約０．５Ｈｚまでの周波数のブレを精度よく補正することができる。仮にＡ／Ｄ変換部６４ｂのサンプリングレートｆｓが高周波予測処理部５０ａ側と同じ５００Ｈｚである場合、約０．５Ｈｚまでの信号を精度よく予測するには、式（１）より、フィルタ次数として約４倍の１０００が必要である。この比較から、本実施形態では、回路規模を縮小できることが分かる。

レンズ制御部１２によって動作が切り替えられる低周波予測処理部５０ｂは、切り替えに応じた信号をアップサンプリング部６５に出力する。アップサンプリング部６５は、高周波予測処理５０ａ側と同じサンプリングレートである５００Ｈｚにアップサンプリングを行った信号を加算部６６に出力する。加算部６６は、共にサンプリングレートが５００Ｈｚである４Ｈｚ以上の信号と４Ｈｚ以下の信号を加算合成し、処理結果を積分部６７に出力する。ジャイロセンサ１４の検出信号は角速度信号であり、積分部６７が１階積分処理を施すことで角度変位の信号（角度信号）となる。この信号はレンズ制御部１２において像ブレ補正部の駆動制御に用いられ、補正レンズによる像ブレ補正動作が行われる。

本実施形態では、ジャイロセンサの角速度信号に対して高周波帯域と低周波帯域の各帯域成分への分離が行われ、異なるサンプリングレートで量子化処理が実行される。その後、２つの予測処理部はそれぞれの周波数帯域について適応アルゴリズムによる信号予測処理を行う。そして、サンプリングレートを揃える処理（図１：アップサンプリング部６５参照）の後、加算部６６による合成処理の結果、全周波数帯域での信号が取得される。本実施形態では、低周波帯域の信号を、高周波帯域の場合の４分の１である、１２５Ｈｚのサンプリングレートで量子化する処理が行われる。これにより、同じフィルタ次数でサンプリングレート５００Ｈｚの場合に比べて、約４分の１の周波数の信号までの予想精度が向上する。つまり、同じ周波数帯域まで信号予測処理を行う場合、周波数帯域を分離しない従来の処理に対し、高周波帯域と低周波帯域のそれぞれに応じた予測処理部で処理する方が、結果的にフィルタの次数が半分でも同様の予測性能を達成できる。具体的には、信号予測処理部のフィルタ次数が２×Ｍである場合、低周波帯域側のサンプリングレートｆｓを高周波帯域側の場合の半分以下に設定すれば、それぞれのフィルタ次数をＭ以下として、従来と同等の信号予測性能が得られる。よって、振れ検出信号に外乱ノイズが重畳された区間における信号を信号予測処理により補間する撮像装置において、回路規模や演算負荷の増大を抑えつつ、ブレの信号予測の精度低下を抑制できる。

なお、本実施形態では、像ブレ補正手段として撮影光学系に含まれる補正レンズ（シフトレンズ等）を駆動する例を説明した。これに限らず、ブレ検出センサからの信号を利用する方法であれば、その他の方法を採用してもよい。例えば、撮影時に撮像素子において短時間の連続的な撮像動作及び画像生成が行われ、生成された連続的な画像を用いてブレ検出が行われる。この検出結果であるブレ量に基づき、画像を少しずつシフトさせて合成処理する方法がある。その他には、撮像素子を光軸に対し略直交方向に移動させる機構部を有する実施形態にて、ブレ検出結果であるブレ量に基づき撮像素子を移動させることで像ブレ補正を行う方法にも本発明は適用可能である。

［第１実施形態の変形例］
次に第１実施形態の変形例を説明する。なお、変形例において第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略する。このような説明の省略については後述する実施形態でも同じとする。

図６（Ａ）を参照して変形例に係る回路構成を説明する。図６（Ａ）では、Ａ／Ｄ変換後のデジタル信号に対し高周波帯域分離と低周波帯域分離の処理が行われる。図１とは異なり、ＢＰＦ６１の後段のＡ／Ｄ変換部６４によるＡ／Ｄ変換後のデジタル信号に対し、ＨＰＦ６２による高周波帯域分離とＬＰＦ６３による低周波帯域分離の各処理が実行される。Ａ／Ｄ変換部６４でのサンプリングレートは５００Ｈｚである。ＬＰＦ６３の後段には、信号のサンプリングレートを下げる変換を行うダウンサンプリング部６８が配置される。ダウンサンプリング後の信号は低周波予測処理部５０ｂに入力される。

図６（Ａ）に示す変形例では、低周波帯域分離後にダウンサンプリング部６８によってサンプリングレートの変更を行う必要があるが、Ａ／Ｄ変換部を１つに減らすことができる。
次に、図６（Ｂ）を参照して、別の変形例を説明する。本変形例では、Ａ／Ｄ変換部６４ｂのサンプリングレートが可変値（Ｘ［Ｈｚ］と記す）であり、以下のようにレンズ制御部１２の命令に従って変化する。特に、ブレ信号に低い周波数帯域が含まれる場合、サンプリングレートを所定値よりも下げる制御により、ブレ信号の予測性能の低下を抑えることができる。図６（Ｂ）は低周波帯域側のサンプリングレートを制御する場合の回路ブロック図である。図１との相違点は、以下の通りである。
・Ａ／Ｄ変換部６４ｃと、周波数解析部６９が設けられていること。
・レンズ制御部１２からの命令にしたがって、低周波帯域側のＡ／Ｄ変換部６４ｂのサンプリングレートが制御されること。

ジャイロセンサ１４の検出信号はＢＰＦ６１を通過してから３つに分岐する。そのうちの１系統の信号は、Ａ／Ｄ変換部６４ｃを介して周波数解析部６９に入力される。他の２系統の信号はそれぞれ、ＨＰＦ６２，ＬＰＦ６３を介して対応するＡ／Ｄ変換部６４ａ，６４ｂによってデジタル信号に変換される。

周波数解析部６９は周波数解析を行い、その出力はレンズ制御部１２に入力される。レンズ制御部１２にはサンプリングレート制御部が含まれ、その出力にしたがってＡ／Ｄ変換部６４ｂのサンプリングレートが変更される。なお、Ａ／Ｄ変換部６４ｃについては高周波帯域側のＡ／Ｄ変換部６４ａと同じサンプリングレート（例えば５００Ｈｚ）に設定されている。

Ａ／Ｄ変換部６４ｂのサンプリングレートの変更処理について説明すると、ＢＰＦ６１を通過した信号は周波数解析部６９が周波数解析を行い、信号に含まれる低周波数帯域の大きさが検出される。例えばオクターブバンド解析等より、周波数f(n)[Ｈｚ]から（√2）×f(n)[Ｈｚ]のように一定帯域ごとに分割した場合、各帯域のブレ成分を算出する処理が実行される。レンズ制御部１２内のサンプリングレート制御部は、各帯域に対し予め設定された閾値を参照し、解析後の各周波数帯域のブレ成分が閾値を超えたか否かを判断する。サンプリングレート制御部は、閾値を超える周波数帯域がある場合、その周波数帯域のブレ補正が必要と判断して適正なサンプリングレートを選択する。選択されたサンプリングレートに基づいて制御信号がＡ／Ｄ変換部６４ｂに出力される結果、Ａ／Ｄ変換部６４ｂのサンプリングレートＸ[Ｈｚ]が変更される。例えば、周波数帯域０．２８〜０．５６Ｈｚのブレ成分が閾値を超えた場合、サンプリングレートがＸ＝５０[Ｈｚ]に設定される。前記の式（１）より、約０．２Ｈｚまでの周波数の信号を精度よく予測できるので、ブレ補正の精度が向上する。各周波数帯域のブレ成分の閾値については、レンズ制御部１２が参照するテーブルデータとしてメモリに予め記憶されている。サンプリングレートの値は、閾値を超えたブレ成分の周波数帯域が複数ある場合、最も低い周波数帯域を含むように決定される。低周波帯域側のＡ／Ｄ変換部６４ｂのサンプリングレートを変更することは、図６（Ａ）を用いて説明した構成、つまりＡ／Ｄ変換後にダウンサンプリング部を配置した構成の場合にも有効である。

また、Ａ／Ｄ変換部６４ｂのサンプリングレートについては、レリーズ動作時のシャッタの露光時間に合わせて制御してもよい。例えば、露光時間が閾値より長い場合、低周波帯域のブレ成分は画像劣化の原因となるが、露光時間が短い場合にはあまり影響を与えない。よって、サンプリングレート制御部は、設定された露光時間に応じてサンプリングレートを変更する。具体的には、レリーズ動作前において図２および図３に示した露光量検出手段（ＡＥセンサ３１）が撮影光学系の光量を検出し、光量検出信号をレンズ制御部１２が取得する。レンズ制御部１２内の露光時間制御部は、予め定められたプログラム線図に基づき適正な露光時間を算出する。そして、サンプリングレート制御部は、算出された露光時間に応じてＡ／Ｄ変換部６４ｂのサンプリングレートの値を決定する。例えば、露光時間が１／１０００sec以上であれば２５０Ｈｚに設定され、１／２００sec以上であれば１２５Ｈｚに設定されるという具合に、露光時間が長くなるに従い、サンプリングレートを低くする制御が行われる。露光時間に対応するサンプリングレートの設定値は、レンズ制御部１２が参照するテーブルデータとしてメモリに予め記憶されている。

以上のように、振れ検出信号に係る高周波帯域の分離を行う第１の帯域分離手段と、低周波帯域の分離を行う第２の帯域分離手段を備える構成において、低周波帯域側のサンプリングレートを制御することでブレの信号予測の精度低下を抑制できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では３つ以上の帯域分離手段を設けた構成例を示す。図７は撮像装置におけるブレ量算出部の構成例を示す回路ブロック図である。図７（Ａ）を参照して、図１にて説明した第１実施形態の構成との相違点を説明する。

本実施形態では、第１の帯域分離手段としてＨＰＦ７１、第２の帯域分離手段としてＢＰＦ７２、第３の帯域分離手段としてＬＰＦ７３を有する。ＢＰＦ６１を通過した信号は各フィルタを通過した後で、対応するＡ／Ｄ変換部６４ａ，６４ｂ，６４ｃにより異なるサンプリングレートでデジタル信号にそれぞれ変換される。例えば、ＨＰＦ７１は５０Ｈｚ以上の信号を通過させ、ＢＰＦ７２は４〜５０Ｈｚの信号を通過させ、ＬＰＦ７３は４Ｈｚ以下の信号を通過させるようにカットオフ周波数がそれぞれ設定されている。また、ＨＰＦ７１の後段のＡ／Ｄ変換部６４ａはサンプリングレートｆｓがｆｓ＝１０００Ｈｚに設定され、ＢＰＦ７２の後段のＡ／Ｄ変換部６４ｂはｆｓ＝５００Ｈｚに設定されている。ＬＰＦ７３の後段のＡ／Ｄ変換部６４ｃはｆｓ＝１２５Ｈｚに設定されている。Ａ／Ｄ変換部６４ａ，６４ｂ，６４ｃにより変換されたデジタル信号はそれぞれ対応する予測処理部５０ａ，５０ｂ，５０ｃに入力される。つまり第１帯域予測処理部５０ａはＡ／Ｄ変換部６４ａの出力から第１帯域での予測処理を実行し、第２帯域予測処理部５０ｂはＡ／Ｄ変換部６４ｂの出力から第２帯域での予測処理を実行する。第３帯域予測処理部５０ｃはＡ／Ｄ変換部６４ｃの出力から第３帯域での予測処理を実行する。各信号予測処理部５０は、例えば２５６次のタップ数の線形予測フィルタを有しており、レンズ制御部１２からの制御指令に従い、帯域ごとに分離されたブレ信号について予測処理を行う。第１帯域予測処理部５０ａが処理した信号は加算部６６ｂに直接出力される。また、第２帯域予測処理部５０ｂと第３帯域予測処理部５０ｃが処理した各信号は、アップサンプリング部６５ｂ，６５ｃにそれぞれ出力される。アップサンプリング部６５ｂは第２帯域予測処理部５０ｂの出力信号を取得してサンプリングレートを１０００Ｈｚに変換した上で加算部６６ａに出力する。同様に、アップサンプリング部６５ｃは第３帯域予測処理部５０ｃの出力信号を取得してサンプリングレートを１０００Ｈｚに変換した上で加算部６６ａに出力する。サンプリングレートが同じ１０００Ｈｚに変換された信号は加算部６６ａが加算処理を行い、加算結果を加算部６６ｂに出力する。加算部６６ｂは第１帯域予測処理部５０ａの出力と加算部６６ａの出力を加算合成し、加算結果を積分部６７に出力する。

本実施形態では、２つの帯域分離手段を備える形態に比べて、高周波帯域を通過させる第１の帯域分離手段のサンプリングレートが１０００Ｈｚと高い値に設定されているので、ブレ信号に係る高周波側の量子化精度が向上する。サンプリングレートが１０００Ｈｚに設定される場合、上述と同様に低周波帯域で予測精度を得るためには、前記の式（１）より２０４８次の線形フィルタのタップ数が必要となる。これでは、図７（Ａ）に示すように、２５６次のフィルタを３つ備える形態に比べて回路規模が増加する。したがって、本実施形態によれば、高周波側の量子化精度を向上しつつ、回路規模の増大を伴わずにブレの信号予測の精度低下を抑制できる。なお、本実施形態の回路規模については、２つの帯域分離手段を備える第１実施形態との比較においては増加することになるが、高周波側の信号予測の精度が向上するというメリットが得られる。

［第２実施形態の変形例］
次に、図７（Ｂ）を参照して、第２実施形態の変形例を説明する。図７（Ａ）と同様の部分については説明を省略して、主に相違点を説明する。
本変形例では、ＨＰＦ、ＢＰＦ、ＬＰＦという各フィルタを用いて信号の帯域を３つに分離するのではなく、図７（Ｂ）に示すように、帯域分離のＬＰＦを２段階にして信号を通過させる構成である。図７（Ｂ）に示す例では、ＢＰＦ６１の後段において、第２の帯域分離手段としてＬＰＦ７４を配置する。さらに第３の帯域分離手段として、ＬＰＦ７４の通過後の信号を通過させるＬＰＦ７５が配置されている。つまり、ＢＰＦ６１を通過した信号は２つに分岐し、その１つはＨＰＦ７１に入力され、もう１つはＬＰＦ７４に入力される。ＬＰＦ７４を通過した信号はＡ／Ｄ変換部６４ｂに出力されるが、ＬＰＦ７４からさらにＬＰＦ７５を通過した信号はＡ／Ｄ変換部６４ｃに出力される。ＨＰＦ７１とＬＰＦ７４の各カットオフ周波数は５０Ｈｚに設定され、ＬＰＦ７５のカットオフ周波数は４Ｈｚに設定されている。図７（Ｂ）の構成でも、図７（Ａ）の構成の場合と同様の効果を得ることができる。

前記した各実施形態では、シャッタショックノイズの発生時について説明した。これに限らず、外乱による、ブレ検出センサへのノイズ発生のタイミングを、その発生前に検出可能であれば、その他の外乱ノイズの抑制についても適用可能である。また、振れ検出手段として角速度センサであるジャイロセンサを例示して説明したが、加速度センサ等のように外乱影響を受ける可能性がある、その他のセンサ信号を使用する場合でも構わない。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２ レンズシステム制御部
１３ｂ ブレ補正駆動部
１４ ジャイロセンサ
２１ カメラシステム制御部
５０ 信号予測処理部
５１ 線形予測部
５２ 適応部
６２ ハイパスフィルタ
６３ ローパスフィルタ
６４ Ａ／Ｄ変換部
６５ アップサンプリング部
６６ 加算部

Claims (14)

1. 像ブレ補正手段により画像のブレを補正する像ブレ補正装置であって、
   装置のブレを検出する検出手段と、
   前記検出手段の検出信号をサンプリングレートにしたがってデジタル信号に変換するサンプリング手段と、
   前記検出信号に対して異なる周波数帯域の成分をそれぞれ分離する複数の帯域分離手段と、
   前記複数の帯域分離手段により帯域分離され、かつ前記サンプリング手段により変換されたデジタル信号を取得して、前記帯域分離手段のフィルタ係数を更新する適応アルゴリズムにより線形予測を前記帯域分離手段ごとに行う複数の信号予測手段と、
   前記検出信号または前記複数の信号予測手段の出力信号からブレ量を算出して前記像ブレ補正手段の制御により像ブレを補正する制御手段と、を備え、
   前記複数の信号予測手段は、前記複数の帯域分離手段をそれぞれ通過した異なるサンプリングレートのデジタル信号を取得して前記線形予測を行うことを特徴とする像ブレ補正装置。
2. 前記複数の信号予測手段がそれぞれ備える線形予測フィルタの次数が同じであることを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記検出信号に対して第１の周波数帯域の成分を通過させる第１の帯域分離手段と、前記第１の周波数帯域よりも低い第２の周波数帯域の成分を通過させる第２の帯域分離手段を備え、
   前記第２の帯域分離手段を通過する信号のサンプリングレートは、前記第１の帯域分離手段を通過する信号のサンプリングレートよりも低く設定されることを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記サンプリング手段は、前記第１の帯域分離手段を通過する信号を第１のサンプリングレートでデジタル信号に変換する第１の変換手段と、前記第２の帯域分離手段を通過する信号を第２のサンプリングレートでデジタル信号に変換する第２の変換手段を備えることを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記サンプリング手段は、前記第１の帯域分離手段を通過する前の信号を第１のサンプリングレートでデジタル信号に変換する第１の変換手段と、当該変換手段から出力されて前記第２の帯域分離手段を通過したデジタル信号のサンプリングレートを第２のサンプリングレートに変換する第２の変換手段を備えることを特徴とする請求項３に記載の像ブレ補正装置。
6. 前記第２のサンプリングレートは、前記第１のサンプリングレートの２分の１以下に設定されることを特徴とする請求項４または請求項５に記載の像ブレ補正装置。
7. 前記第２の帯域分離手段を通過する信号のサンプリングレートを制御するサンプリングレート制御手段を有することを特徴とする請求項３から６のいずれか１項に記載の像ブレ補正装置。
8. 前記検出信号に含まれる周波数成分を解析する周波数解析手段をさらに有し、
   前記サンプリングレート制御手段は、前記周波数解析手段の出力信号を取得して、設定された周波数帯域におけるブレ成分が閾値を超えた場合に前記第２の帯域分離手段を通過する信号のサンプリングレートを変更する制御を行うことを特徴とする請求項７に記載の像ブレ補正装置。
9. 前記第１の帯域分離手段を通過する信号を取得して前記線形予測を行う第１の信号予測手段と、
   前記第２の帯域分離手段を通過する信号を取得して前記線形予測を行う第２の信号予測手段と、
   前記第２の信号予測手段の出力信号のサンプリングレートを前記第１のサンプリングレートに変換する第３の変換手段と、
   前記第１の信号予測手段の出力信号と前記第３の変換手段により前記第１のサンプリングレートに変換された信号とを加算する加算手段を備えることを特徴とする請求項４から６のいずれか１項に記載の像ブレ補正装置。
10. 請求項１から９のいずれか１項に記載の像ブレ補正装置を備えることを特徴とする光学機器。
11. 請求項１から９のいずれか１項に記載の像ブレ補正装置と、
    撮影光学系を通過した光束を受光する撮像素子と、を備えることを特徴とする撮像装置。
12. 請求項７または請求項８に記載の像ブレ補正装置と、
    撮影光学系を通過した光束を受光する撮像素子と、
    前記撮像素子での露光量を検出する露光量検出手段と、
    前記露光量検出手段が検出する信号を取得して撮影時の露光時間を決定する露光時間制御手段と、を有し、
    前記サンプリングレート制御手段は、前記第２の帯域分離手段を通過する信号のサンプリングレートを、前記露光時間から決定したサンプリングレートに設定することを特徴とする撮像装置。
13. 前記サンプリングレート制御手段は、前記第２の帯域分離手段を通過する信号のサンプリングレートを、前記露光時間が長くなるに従って低くする制御を行うことを特徴とする請求項１２に記載の撮像装置。
14. 像ブレ補正手段により画像のブレを補正する像ブレ補正装置にて実行される制御方法であって、
    検出手段が装置のブレを検出する検出ステップと、
    サンプリング手段が前記検出手段の検出信号をサンプリングレートにしたがってデジタル信号に変換する変換ステップと、
    複数の帯域分離手段が前記検出信号に対して異なる周波数帯域の成分をそれぞれ分離する帯域分離ステップと、
    複数の信号予測手段が、前記複数の帯域分離手段により帯域分離され、かつ前記サンプリング手段により変換されたデジタル信号を取得して、前記帯域分離手段のフィルタ係数を更新する適応アルゴリズムにより線形予測を前記帯域分離手段ごとに行う予測ステップと、
    制御手段が、前記検出信号または前記複数の信号予測手段の出力信号からブレ量を算出して前記像ブレ補正手段の制御により像ブレを補正する補正ステップと、を有し、
    前記予測ステップにて前記複数の信号予測手段は、前記複数の帯域分離手段をそれぞれ通過した異なるサンプリングレートのデジタル信号を取得して前記線形予測を行うことを特徴とする像ブレ補正装置の制御方法。
    

Images