JP6881969B2 - 撮像装置、交換レンズおよびそれらの制御方法 - Google Patents

Description

本発明は、撮像装置、交換レンズおよびそれらの制御方法に関する。

レンズや撮像素子を移動させて、機器の動き（振れ）に起因する像振れを補正する光学式振れ補正機能を備えた光学機器、例えば撮像装置や交換レンズが知られている。また、撮像画像の読み出し範囲を変更することによって像振れを補正する電子式振れ補正機能を有する光学機器も知られている。

一般に、機器の振れの検出には角速度センサ（ジャイロセンサ）が用いられ、検出した角速度をもとに振れを打ち消すように補正レンズおよび／または撮像素子を駆動したり、撮像画像の読み出し範囲を移動したりすることで、像振れを補正する。

また、連続的に撮影した画像間の動きベクトルに基づいて撮像装置の振れを検出する技術も知られている（特許文献１）。

特開２０１３−２０５７２３号公報

ジャイロセンサの出力にはオフセットとも呼ばれるノイズ成分が含まれること、オフセットは温度などによって変動することが知られている。しかし、オフセットはセンサ固有の特性であり、使われているジャイロセンサによって異なる。また、ジャイロセンサの感度もまたセンサ固有の特性であり、ばらつきが存在する。従って、ジャイロセンサを用いて精度良く装置の振れを検出するには、ジャイロセンサの固有特性を補正する必要がある。

従来、振れ補正機能を有する交換レンズにおいては、交換レンズ内のプロセッサがジャイロセンサの固有特性を補正している。しかし、一般には交換レンズが備えるプロセッサよりもカメラ本体が備えるプロセッサの方が処理能力が高い。また、カメラ本体では撮像画像に基づく動きベクトルの情報を用いることができるため、オフセットをより精度良く推定できると考えられる。

本発明はこのような従来技術の課題に鑑みなされたもので、交換レンズが備える、振れを検出するセンサの固有特性を推定可能な撮像装置およびその制御方法を提供することを目的の１つとする。

上述の目的は、光学像を撮像して画像信号を出力する撮像素子と、装着された交換レンズと通信する通信手段と、通信手段を通じて交換レンズから取得した、交換レンズが備える振れ検出センサの出力信号に基づいて、振れ検出センサの固有特性を推定する推定手段と、推定された固有特性を通信手段を通じて交換レンズに出力する出力手段と、を有する撮像装置であって、推定手段は、交換レンズが有する振れ検出センサの観測ノイズの情報を通信手段を通じて交換レンズから取得し、振れ検出センサの観測ノイズの情報と、振れ検出の出力信号とに基づいて振れ検出センサの固有特性を推定する、ことを特徴とする撮像装置によって達成される。

本発明によれば、交換レンズが備える、振れを検出するセンサの固有特性を推定可能な撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像システムの機能構成例を示すブロック図 実施形態に係る交換レンズの振れ補正に関する機能構成例を示すブロック図 実施形態に係る交換レンズおよび撮像装置の振れ補正に関する機能構成例を示すブロック図 実施形態に係るシステム推定部のモデルを表すブロック図 実施形態に係るシステム推定部の機能構成例を示すブロック図 実施形態に係る撮像装置の動作に関するフローチャート 実施形態に係る交換レンズの動作に関するフローチャート

以下、本発明の例示的な実施形態について、添付図面に基づいて詳細に説明する。なお、ここでは本発明に係る像振れ補正装置を交換レンズとデジタルカメラとを有する撮像システムに適用した実施形態について説明するが、交換レンズとデジタルビデオカメラとを有する撮像システムにも同様に適用可能である。

図１は、本発明の実施形態に係る像振れ補正装置を適用した撮像システムの機能構成例を示すブロック図である。
撮像システムはカメラ本体と交換レンズとを有し、交換レンズはカメラ本体と着脱可能である。本実施形態では交換レンズがズームレンズであるものとする。ズームユニット１０１はズーム駆動制御部１０２によって駆動される変倍レンズを含み、交換レンズの焦点距離（画角）を変更する。絞りユニット１０３は絞り駆動制御部１０４によって駆動される絞り機構を有する。像振れ補正ユニット１０５は、像振れ補正制御部１０６によって駆動される補正レンズを含む。フォーカスユニット１０７は、フォーカス駆動制御部によって駆動されるフォーカスレンズを含む。

操作部１０９はユーザが交換レンズの動作モードを設定したり、変倍レンズやフォーカスレンズを手動で操作したりするための操作部であり、スイッチや操作リングなどを含む。操作部１０９にはオートフォーカス（ＡＦ）のオン／オフ切り替えスイッチ、光学式振れ補正機能のオン／オフ切り替えスイッチが含まれる。

振れ検出部１１０は交換レンズの動き（振れ）を表す信号を出力する。本実施形態において振れ検出部１１０は出力信号に固有のノイズ成分を有するセンサであり、例えば出力信号にノイズ成分としてオフセットを含む、ジャイロを用いた３軸角速度センサ（ジャイロセンサ）である。レンズ制御部１１１は例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ）と、不揮発性メモリ（ＲＯＭ）、揮発性メモリ（ＲＡＭ）を有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵで実行することにより、交換レンズの動作を制御する。なお、レンズ制御部１１１の動作の少なくとも一部がＡＳＩＣやＡＳＳＰなどの専用ハードウェアで実現されてもよい。通信制御部１１２は例えばマウント部に設けられた端子を通じたカメラ本体との通信を制御する。

光学式振れ補正機能がオンに設定されている場合、レンズ制御部１１１は像振れ補正制御部１０６を有効にする。像振れ補正制御部１０６は、レンズ制御部１１１を通じて振れ検出部１１０の出力信号を取得し、振れ検出部１１０の出力信号が表す交換レンズの振れをキャンセルするように像振れ補正ユニット１０５の補正レンズを駆動し、光学式振れ補正機能を実現する。なお、像振れ補正制御部１０６は振れ検出部１１０の出力信号を直接取得してもよい。

カメラ本体において、シャッターユニット１１３は、シャッター駆動制御部１１４によって開閉が制御されるメカニカルシャッタである。撮像部１１５は撮像素子およびその周辺回路を含み、交換レンズが撮像面に形成する光学像を撮像素子の光電変換機能によって画素信号群に変換して出力する。

画像処理部１１６は、撮像部１１５から出力された画素信号群に対してホワイトバランス調整、色補間、階調補正など予め定められた画像処理を適用し、画像データを生成する。画像処理部１１６はまた、画像データから記録用のデータファイル（画像ファイル）を生成する。この際、必要に応じて画像処理部１１６は画像データを符号化する。なお、音声記録を行う場合（例えば動画撮影時）には、画像処理部１１６で音声信号の処理（ノイズ低減、符号化など）も実行する。

表示処理部１１７は、カメラ制御部１２５から供給されるＧＵＩデータなどの画像データや、画像処理部１１６から出力される画像データから、表示用画像データを生成する。表示部１１８は例えばタッチディスプレイであり、表示処理部１１７から出力される表示用画像データに基づく表示を行う。記憶部１１９は例えば半導体メモリカードである記録媒体に対するデータの読み書きを行う。

電源部１２０は、カメラ本体および交換レンズに電源を供給する。交換レンズへはマウント部に設けられた端子を通じて電源を供給する。操作部１２１はカメラ本体にユーザが指示を入力するためのスイッチ、ボタン、タッチパッド、ダイヤルなどである。操作部１２１には例えば、電源スイッチ、レリーズボタン、動画記録開始／停止ボタン、メニューボタン、方向キー、決定ボタン、振れ補正機能のオン／オフ切り替えスイッチなどが含まれる。表示部１１８がタッチディスプレイの場合、表示部１１８のタッチパネルも操作部１２１に含まれる。なお、操作部１２１には音声入力や視線入力などを受け付ける構成が含まれてもよい。

振れ検出部１２２はカメラ本体の動き（振れ）を表す信号を出力する。振れ検出部１２２は交換レンズが有する振れ検出部１１０と同様の構成であってよい。動きベクトル検出部１２３は、２フレーム分の画像データから、例えばパターンマッチングによって動きベクトルを検出する。電子防振制御部１２４は画像処理部１１６が撮像素子から読み出す画像の範囲を、撮影システムの振れの影響をキャンセルするように変更することにより、電子式振れ補正機能を実現する。カメラ制御部１２５は例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ）と、不揮発性メモリ（ＲＯＭ）、揮発性メモリ（ＲＡＭ）を有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵで実行することにより、撮影システムの動作を制御する。なお、カメラ制御部１２５の動作の少なくとも一部がＡＳＩＣやＡＳＳＰなどの専用ハードウェアで実現されてもよい。通信制御部１２６は例えばマウント部に設けられた端子を通じた交換レンズとの通信を制御する。

システム推定部１２７はカメラ制御部１２５が実現する機能の１つであり、交換レンズが有する振れ検出センサのノイズ成分（オフセット）および振れ検出センサの感度を推定するとともに推定結果の誤差分散を算出し、レンズ制御部１１１に周期的に送信する。システム推定部１２７の構成及び動作の詳細については後述する。なお、システム推定部１２７はカメラ制御部１２５のＣＰＵがプログラムを実行して実現する代わりに、個別のハードウェア回路（ＡＳＩＣやＡＳＳＰなど）として実現されてもよい。

振れ補正機能がオンに設定されている場合、カメラ制御部１２５は電子防振制御部１２４を有効にする。電子防振制御部１２４は、カメラ制御部１２５を通じて振れ検出部１２２の出力信号を取得し、撮像部１１５から読み出す画像の範囲を、振れ検出部１２２の出力信号が表すカメラ本体の振れをキャンセルするように変更し、電子式振れ補正機能を実現する。

操作部１２１に含まれるレリーズボタンは、約半分押し込まれたときにオンするスイッチＳＷ１と、最後まで押し込まれたときにオンするスイッチＳＷ２を有する。カメラ制御部１２５は、スイッチＳＷ１のオンを検出すると、撮影準備動作、具体的には、ＡＦ動作およびＡＥ動作を実行する。ＡＦ動作は、例えば撮像画像に基づくコントラスト検出方式もしくは位相差検出方式によって実行することができる。例えば画像処理部１１６が画像データからＡＦ評価値またはデフォーカス量を算出し、カメラ制御部１２５に出力する。カメラ制御部１２５は、ＡＦ評価値が最大となる位置、あるいはデフォーカス量によって定まる位置にフォーカスユニット１０７内のフォーカスレンズを移動するようにレンズ制御部１１１に指示する。レンズ制御部１１１は指示に応答してフォーカス駆動制御部１０６を制御し、フォーカスレンズを駆動する。また、ＡＥ動作は例えば画像処理部１１６が撮影画像の輝度情報を算出し、カメラ制御部１２５が輝度情報とプログラム線図とに基づいて、シャッタースピードおよび絞り値を決定することによって実施できる。なお、ここで説明したＡＦ動作やＡＥ動作は一例であって、公知の任意の方法を用いることができる。

カメラ制御部１２５はスイッチＳＷ２のオンを検出すると、記録用の撮影動作を実行する。カメラ制御部１２５は、ＡＥ処理で決定した絞り値をレンズ制御部１１１に指示する。レンズ制御部１１１は、指示された絞り値に従って絞り駆動制御部１０４を制御し、絞りユニット内の絞り羽根を駆動する。また、カメラ制御部１２５は、シャッター駆動制御部１１４を制御し、ＡＥ処理で決定したシャッタースピード（露光期間）でシャッターを駆動し、撮像部１１５内の撮像素子を露光する。

画像処理部１１６は撮像素子から読み出した画像信号に所定の画像処理を適用して記録用の画像ファイルを生成し、カメラ制御部１２５に出力する。カメラ制御部１２５は画像ファイルをＲＡＭに保存した後、記録部１１９を通じて記録媒体に記録する。

また操作部１２１に含まれる動画記録ボタンの押下を検出すると、カメラ制御部１２５は動画記録動作を開始する。動画記録動作は静止画撮影を継続的に実行する処理と同様である。カメラ制御部１２５は動画記録動作と並行してＡＦおよびＡＥ動作を継続的に実行する。カメラ制御部１２５は再度動画記録ボタンの押下を検出するまで動画記録動作を継続する。なお、動画記録動作中にスイッチＳＷ１やＳＷ２がオンになると、静止画撮影を行うように構成してもよい。

操作部１２１に含まれる再生スイッチの押下を検出すると、カメラ制御部１２５は動作モードを撮影モードから再生モードに切り替え、記憶部１１９の記録媒体に記録されている画像ファイルの再生動作を実行する。なお、カメラ制御部１２５は、再生モードでは電子防振制御部１２４の動作を無効にする。

（光学式振れ補正動作）
図２は、交換レンズが有する像振れ補正装置を構成する振れ検出部１１０、像振れ補正ユニット部１０５および像振れ補正制御部１０６を示し、特に像振れ補正制御部１０６の機能構成例について詳細に示したブロック図である。なお、像振れ補正は、レンズの光軸と水平に直交する軸周りの回転（Ｐｉｔｃｈ）および鉛直に直交する軸周りの回転（Ｙａｗ）について同じ構成で実行するため、ここでは１つの軸周りの回転に関する補正を行う構成について説明する。

振れ検出部１１０は、交換レンズの振れを表す振れ信号として、各軸についての角速度の大きさを電圧の大きさで表す信号（角速度信号）を出力する。角速度信号はレンズ制御部１１１を通じて像振れ補正制御部１０６に供給される。振れ検出部１１０から像振れ補正制御部１０６に角速度信号を直接供給してもよいため、図２ではレンズ制御部１１１を省略している。

角速度信号はＡＤ変換部２０１に入力され、デジタルデータ（角速度データ）に変換される。角速度データはハイパスフィルタ２０２、減算器２１４、オフセット算出部２０５に入力される。

ハイパスフィルタ（ＨＰＦ）２０２は角速度データから、センサ固有のノイズ成分（オフセット）や温度ドリフト成分などの低周波数成分を除去して積分部２０３に出力する。積分部２０３は角速度データを積分して角度データに変換する。積分はローパスフィルタ（ＬＰＦ）を用いた疑似積分であってもよい。

乗算器２０４は、角度データに敏感度を乗じて振れ補正レンズの駆動量に変換する。敏感度は交換レンズの焦点距離によって変化する。また、敏感度には振れ検出部１１０のセンサ感度のばらつき補正量も反映されている。乗算器２０４の出力を第１の振れ補正量とする。

オフセット算出部２０５は、角速度データから角速度データに含まれるオフセット成分を算出し、減算器２１４に出力する。オフセット成分の算出方法に特に制限はなく、例えば安定時の角速度データの平均値をオフセット成分として算出するなど、公知の方法を用いることができる。安定時とは例えばハイパスフィルタ２０２の出力と、角速度データとの差が所定位置以内で状態であってよい。減算器２１４は角速度データからオフセット成分を減算して積分器２０６に出力する。積分器２０６は積分器２０４と同様に、角速度データを積分して角度データに変換する。積分はローパスフィルタ（ＬＰＦ）を用いた疑似積分であってもよい。

乗算器２０７は角度データに敏感度を乗じて振れ補正レンズの駆動量に変換する。ここで乗じる敏感度は乗算器２０４が乗じるものと同じである。乗算器２０７の出力を第２の振れ補正量とする。積分器２０６で積分する角速度データにはハイパスフィルタが適用されていないため、第２の振れ補正量は第１の振れ補正量より低周波数の振れを補正することができる。

信号選択部２０８は、状況に応じて第１および第２の振れ補正量を一方を選択して出力する。例えば信号選択部２０８は、静止画撮影における露光期間中は振れ補正の性能を上げるために補正帯域の広い第２の振れ補正量を選択し、露光期間中以外は第１の振れ補正量を選択する。

補正量リミッタ部２０９は、信号選択部２０８が選択した像振れ補正量を、像振れ補正ユニット１０５内の補正レンズの可動範囲内の補正量となるようにクランプする。PID制御部２１０は、補正レンズの位置を制御する。ドライバ部２１１は像振れ補正量を補正レンズの駆動信号に変換する。位置検出部２１２は補正レンズの位置を表す信号（位置信号）を出力する。ＡＤ変換部２１３は位置信号をＡＤ変換して位置データに変換する。

図２は交換レンズ単体での動作に着目した構成を示した。しかし、本実施形態では交換レンズの振れ検出部１１０のセンサ固有特性を、交換レンズを装着したカメラ本体で推定して交換レンズでの振れ補正に利用することで、特に装着直後における振れ補正の性能を向上させる。

図３は、図２に対し、交換レンズでの光学式振れ補正に関連するカメラ本体の構成と信号線を追加した図である。
振れ補正制御部１０６からシステム推定部１２７（カメラ制御部１２５）への入力は、ＡＤ変換部２０１が出力する角速度データ（振れ信号）と、ＡＤ変換部２１３が出力する位置データである。また、システム推定部１２７には、カメラ本体の動きベクトル検出部１２３が出力する動きベクトルも入力される。システム推定部１２７はこれらの入力に基づいてセンサノイズ成分（オフセット）の推定値とその誤差分散値、センサ感度の推定値とその誤差分散値の計４つの値を求め、交換レンズ（振れ補正制御部１０６）に送信する。

カメラ本体から通信制御部１２６、１１２を通じて交換レンズの振れ補正制御部１０６に送信されたこれらの値は、オフセット算出部２０５、積分器２０６、乗算器２０７、信号選択部２０８に供給される。カメラ本体からオフセットが供給される場合、オフセット算出部２０５は角度データからのオフセット算出を行わずに（あるいは算出値の代わりに）、カメラ本体から供給されるオフセットを減算器２１４に出力する。

また、オフセットの誤差分散値とセンサ感度の誤差分散値は、値が小さいほど推定値の信頼度が高いことを示す。オフセットの誤差分散値とセンサ感度の誤差分散値が閾値より大きい（信頼度が低い）場合はオフセット算出部２０５が算出したオフセットを、閾値以下の（信頼度が高い）場合はらカメラ本体から受信したオフセットを、減算器２１４に出力するようにしてもよい。

また、これらの誤差分散値に応じて積分器（ローパスフィルタ）のカットオフ周波数を制御することで、信頼性の低い状態で低周波の振れに対する追従性を上げすぎて振れ補正の精度が低下しないように制御することができる。例えば積分器２０６は、誤差分散値が閾値より大きい場合（信頼度が低い場合）にはカットオフ周波数を高めに維持し、閾値以下（信頼度が高く）になったら低くするようにカットオフ周波数を制御することができる。

なお、通常はオフセットの誤差分散値とセンサ感度の誤差分散値は同様の変化を示すため、一方だけを用いても制御してもよい。あるいは、大きい方の値を用いて制御したり、平均値を用いて制御したりしてもよい。
また、センサ感度は、乗算器２０７で乗じる敏感度として用いることができる。

次に、システム推定部１２７の動作原理および機能構成例について図４および図５を用いて説明する。
図４は角速度センサとしてジャイロセンサを用いた場合の振れ検出部１１０のシステム推定モデルを示すブロック図である。
交換レンズに角速度Wが加わった場合、角速度Ｗは、交換レンズの振れ検出部１１０に搭載されたジャイロセンサでセンサに固有の感度ばらつきＡを反映した値として検出される（これを乗算器４０１で表している）。また、検出した角速度Ｗ＊Ａには、固有のノイズ成分であるオフセットＢが重畳される（これを加算器４０３で表している）。つまり、角速度Ｗに対するジャイロセンサの出力はＷ＊Ａ＋Ｂとなる。

ジャイロセンサの出力は、ローパスフィルタL(s)４０２で高周波成分をカットされて検出される。ここでｓはラプラス変換で用いる複素数である。なお、図４では、ローパスフィルタ４０２がジャイロセンサ内部に含まれるように示しているが、外部にあってもよい。以後、このような振れ検出部１１０の出力（角速度データとして観測される値）をＧと表記する。

角速度データＧは振れ補正制御部１０６に相当するI(s)４０６によってレンズ駆動量に変換され、その駆動量は位置検出部２１２によって位置信号Ｈとして観測される。
一方、交換レンズの角速度Wは1/s４０４で示すように積分することで交換レンズの動きを表す振れ角度となるが、振れ角度は観測できない。振れ角度から位置信号Hを減算すると振れ残り角度となり、振れ残り角度はフレーム関差分ｓ４０５によって動きベクトルＶとして観測される。

図４の角速度Wから動きベクトルVまでの伝達特性は以下の式（１）で表わされる。
V = W - sH …(1)
また、図４の角速度Wから角速度データGまでの伝達特性は以下の式（２）で表わされる。
G = L(s)(AW+B) …(2)
式（１），（２）から、観測できない角速度Wを消去すると以下の式（３）が得られる。
G = AL(s)(sH+V) + L(s)B …(3)

振れ補正の主な対象である手振れの周波数は20Hz以下であり、ローパスフィルタ４０２のカットオフ周波数は数100Hzのものが多いため、L(s)≒1と近似でき、式（３）は式（４）に変形できる。
G = A(sH+V) + B …(4)

ここまでは連続系の説明であるが、以下離散系の説明をする。
角速度データG(k)をy(k)（式（４）の左辺Ｇ）、ΔH(k)+V(k)をx(k)（式（４）の右辺のsH + V）、推定パラメータをθ(k)^T = (A(k),B(k))とする。A(k)はセンサ感度であり、B(k)はオフセットとする。すなわち、以下の式（５）のように定義する。

ただしkは離散時間である。

また新たな変数z(k)を以下の式（６）のように定義する。

式（４），（５），（６）から以下の式（７）に示す状態方程式を導くことができる。

ただしεは推定パラメータの変動成分を表すシステムノイズパラメータであり、ωは観測ノイズパラメータである。

式（７）から、状態変数として表すことのできた推定パラメータであるセンサ感度A(k)とオフセットB(k)は、観測量である角速度データG(k)、位置信号H(k)、動きベクトルV(k)の3つのデータから推定することができる。
またシステムノイズパラメータであるεを適切に設計することで、センサ感度A(k)とオフセットB(k)の温度変動成分も含めて推定することができる。

式（７）のθをカルマンフィルタを用いて推定するステップは以下の通りである。
（ステップ１）カルマンゲイン算出

（ステップ２）推定パラメータ算出

（ステップ３）推定誤差分散算出

ただしkは離散時間（フィルタリングステップ数）、Kはカルマンゲイン（1×2行列）、Pは推定誤差共分散行列（2×2行列）である。また、σ_ωは角速度データ観測ノイズ分散（スカラー量）であり、R_εは推定パラメータの温度変動を考慮したシステムパラメータ（2×2行列）である。推定誤差共分散行列Pの初期値は適当な大きな値を設計値として与えておく。ただしあまりにも大きな値を設定すると、推定結果が発散してしまうので、観測ノイズに応じて調整する。

またσ_ωは角速度データG(k)の観測ノイズ実測値を用いても良いが、式（８）および（１０）から分かるようにこのパラメータは大きいほど推定の収束が遅く、小さいほど収束が早くなる。一方、大きいほどフィルタが安定し、小さいほど推定結果が発散するリスクが高くなる。そのため、推定の収束速度とフィルタの安定性とを考慮して定めることができる。また、σ_ωをフィルタの収束スピードを決定するパラメータとして用いることもできる。

後述するように、本実施形態においては式（８）における観測ノイズ分散σ_ωと、オフセット初期値（式（９）の初期値θ（０））とを、交換レンズ装着時（あるいはカメラ本体の起動時）に交換レンズから受信する。これらの値を交換レンズから取得することにより、推定値が収束するまでの時間を大幅に短縮することができ、交換レンズ装着後（カメラ本体起動後）、振れ補正機能の実行的な性能が速やかに得られるようになる。

一方、カルマンフィルタはステップ３（式（１０））において推定誤差分散値も計算する。推定誤差分散値はある時刻jにおける推定結果θ(j)がk=0からk=jまでの区間でどれだけばらついているかを示す指標となる値である。そのため、時刻jにおける推定パラメータθの信頼度に相当する値と見なすことができる。時間の経過とともに推定パラメータθは収束し信頼性も高まる。

なお、推定パラメータθは、カルマンフィルタではなく逐次最小二乗法を用いても同様に求めることができる。ただし逐次最小二乗法は、観測ノイズやシステムノイズ（推定パラメータ変動成分）を考慮しないため、フィルタリングのロバスト性は低い。また、推定パラメータθの温度変動には適応せず、推定値はある一定値に収束するため、温度によってセンサ感度やオフセットが変化する場合にはカルマンフィルタを用いる方が精度のよい推定パラメータθが得られる。

このようなセンサ感度のばらつきAとオフセットBの推定をより簡便に説明すると以下の通りである。
観測量である角速度データGをyとし、振れ補正角速度と動きベクトルの和であるsH+Vをxとすると式（４）はy = Ax + Bと単純な線形モデルになる。そのため、観測される角速度データから直線y = Ax + Bの傾きAとy切片Bを決定する問題に置き換えることができる。つまり、傾きがセンサ感度Ａでy切片がオフセットＢとなる。

図５はシステム推定部１２７の機能構成例を示すブロック図である。
システム推定処理のサンプリング周波数は、観測データの中で最も低い、動きベクトルのサンプリング周波数（30Hzもしくは60Hz）とする。角速度データや位置信号はＡＤ変換部において数kHzでサンプリングされているため、露光重心タイミング信号を用いて動きベクトルと同期をとる。露光重心タイミングは露光期間の中央のタイミングであってよい。

露光重心タイミング信号は画像処理部１１６が発生し、フレーム間平均値算出部５０１とフレーム間差分算出部５０２に入力される。フレーム間平均値算出部５０１は隣接する露光重心タイミングで観測された角速度データの平均値を、フレーム間の角速度平均値として算出し、ローパスフィルタ５０４に出力する。

フレーム間差分算出部５０２は隣接する露光重心タイミングで観測された位置信号の差分値を、フレーム間の振れ補正角速度として算出する。単位変換部５０３は、動きベクトルを角速度に変換する。加算器５０７は、フレーム間の振れ補正角速度と、動きベクトルを変換した角速度との和を算出してローパスフィルタ５０５に出力する。

ローパスフィルタ５０４、５０５は入力される信号のエイリアシングを軽減してカルマンフィルタ５０６に供給する。カルマンフィルタ５０６は角速度平均値をＧ、振れ補正角速度と（角速度に換算した）動きベクトルとの和をｓＨ＋Ｖとして、センサ感度ＡとオフセットＢを推定する。またカルマンフィルタ５０６は同時に推定結果の信頼性を示す推定誤差分散値も算出する。これらの値はカメラ制御部１２５からレンズ制御部１１１に送信され、レンズ制御部１１１から像振れ補正制御部１０６に供給される。

推定動作はカメラ本体が撮影スタンバイ状態もしくは撮影状態の間、継続して実行される。また、推定値は周期的に交換レンズに送信される。

次に図６のフローチャートを用いて、本実施形態のカメラ本体のシステム推定に係る動作について説明する。このフローチャートはカメラ本体の電源がＯＮになると開始され、所定の周期（例えば、動きベクトルを検出するための動画のフレーム周期）ごとに繰り返し実行される。

Ｓ６０１で、カメラ制御部１２５は、交換レンズが装着されているか否かを判定し、装着されていると判定されればＳ６０２へ、判定されなければＳ６０７へ、処理を進める。

Ｓ６０２でカメラ制御部１２５は、例えば自身が有するＲＯＭに記憶されたＦｉｒｓｔフラグがＯＮか否かを判定し、ＯＮと判定されればＳ６０３へ、判定されなければＳ６０６へ処理を進める。ＦｉｒｓｔフラグがＯＮである場合、これから実行する推定処理が交換レンズの装着を検出してから最初の推定処理であることを示す。

Ｓ６０３でカメラ制御部１２５は、システム推定部１２７の推定初期値を再設定する。具体的にはカメラ制御部１２５は、交換レンズ（レンズ制御部１１１）から送信されるオフセットおよび観測ノイズ分散の初期値を推定初期値に設定する。具体的にはカメラ制御部１２５は、オフセット初期値を数式（９）のθの初期値θ（０）に、観測ノイズ分散の初期値を式（８）における観測ノイズ分散σ_ωにそれぞれ設定する。この初期値の設定は、交換レンズが装着された際に一度だけ実行され、装着された交換レンズに固有の初期値を用いて推定処理を実行することで、推定値の収束時間のばらつきを抑制しつつ短縮する。

Ｓ６０４でカメラ制御部１２５は、システム推定部１２７の推定誤差分散値をリセットする。具体的にはカメラ制御部１２５は数式（１０）の推定誤差分散値を初期値（信頼度が低いことを表す値）に戻す。

Ｓ６０５でカメラ制御部１２５は、装着された交換レンズに対応する初期値をシステム推定部１２７に設定し終わったため、ＦｉｒｓｔフラグをＯＦＦに設定する。
Ｓ６０６でカメラ制御部１２５は、システム推定部１２７によるシステム推定処理を開始する。具体的にはカメラ制御部１２５（システム推定部１２７）は、数式（８），（９），（１０）で示したステップ１〜３を実行する。

カメラ制御部１２５（システム推定部１２７）は、得られた推定値および誤差分散値を交換レンズ（レンズ制御部１１１）に送信し、処理をＳ６０１に戻し、次の周期に対する処理を継続する。

カメラ本体の電源ＯＮ時に交換レンズが装着されていない場合や、電源ＯＮ時に交換レンズが外された場合、カメラ制御部１２５は処理をＳ６０１からＳ６０７に進める。カメラ制御部１２５はＳ６０７でＦｉｒｓｔフラグをＯＮにしたのち、Ｓ６０８でシステム推定部１２７による推定処理を停止させ、処理をＳ６０１に戻す。

交換レンズが装着されていないことが検出された場合、ＦｉｒｓｔフラグをＯＮすることにより、交換レンズの装着が検出された場合にＳ６０２からＳ６０５の処理を実行し、交換レンズから取得した初期値を用いたシステム推定処理を実行できる。

上述の通り、交換レンズが備える振れ検出センサの特性（オフセットおよび観測ノイズ分散）は交換レンズごとに異なる。そのため、装着された交換レンズから振れ検出センサの特性に関する初期値を取得してそれらの特性の推定処理に用いることで、推定値の収束時間が短縮でき、かつ異なる交換レンズに対する収束時間のばらつきを抑制することができる。従って、交換レンズ装着後、良好な振れ補正の性能を速やかに得ることが可能になる。

次に、図７に示すフローチャートを用いて、本実施形態における交換レンズの動作について説明する。
Ｓ７０１でレンズ制御部１１１は、交換レンズがカメラ本体に装着されたか判定し、装着されたと判定されればＳ７０３へ、判定されなければＳ７０１を繰り返し実行する。

Ｓ７０３でレンズ制御部１１１は、振れ補正制御部１０６のオフセット算出部２０５によって、公知の任意の方法で角速度データから角速度データに含まれるオフセット成分を算出する。なお、Ｓ７０３の処理は必須ではなく、例えばレンズ制御部１１１が有するＲＯＭに記憶されているオフセット値を読み出して用いる場合には実行しなくてよい。この場合、レンズ制御部１１１はＳ７０１から直接Ｓ７０５へ処理を進める。ＲＯＭに記憶されているオフセット値は、交換レンズの製造時に記憶されたものであってもよいし、交換レンズが前回稼働した際にオフセット算出部２０５が算出した値であってよい。

Ｓ７０５でレンズ制御部１１１は、振れ検出部１１０が有するセンサ（振れ検出センサ）のオフセットと観測ノイズ分散の初期値をカメラ本体（カメラ制御部１２５）に送信する。なお、振れ検出センサの観測ノイズ分散の初期値は、レンズ制御部１１１が有するＲＯＭに例えば交換レンズの製造時に記憶されたものであってよい。

Ｓ７０７でレンズ制御部１１１は、振れ補正制御部１０６による振れ補正処理を開始させる。振れ補正制御部１０６は、図３を用いて説明した構成において、実質的には図２に示したような、交換レンズ内で独立した光学式振れ補正の実行を開始する。また、交換レンズ（振れ補正制御部１０６）からカメラ本体への角速度データおよび位置データの送信も開始される。なお、カメラ本体に送信するデータは、例えばカメラ本体から露光重心タイミング信号を受信した時点のデータであってよい。これらのデータと、Ｓ７０５で送信される初期値とを用いて、カメラ本体（システム推定部１２７）での推定処理が開始される。

Ｓ７０９で振れ補正制御部１０６は、振れ検出センサのオフセットおよび感度の推定値および、それらの誤差分散値をカメラ本体から（レンズ制御部１１１を通じて）受信したか否かを判定する。そして、振れ補正制御部１０６は、受信したと判定されればＳ７１１へ、判定されなければＳ７１３へ処理を進める。

Ｓ７１１で振れ補正制御部１０６は、カメラ本体から受信したオフセットおよび感度の推定値の信頼度が高いか否かを判定し、高いと判定されればＳ７１５へ、判定されなければＳ７１３へ、処理を進める。なお、振れ補正制御部１０６は、例えば受信した誤差分散値が予め定められた閾値未満である推定値は信頼度が高いと判定することができる。ここでは、振れ補正制御部１０６は、オフセットおよび感度の両方について信頼度が高いと判定される場合のみ処理をＳ７１５へ進めるものとするが、いずれか一方の推定値の信頼度が高いと判定されれば処理をＳ７１５へ進めるようにしてもよい。なお、上述したように、振れ補正制御部１０６は、カメラ本体から受信した誤差分散値の大きさ（推定値の信頼度）に応じて積分器２０６を構成するローパスフィルタのカットオフ周波数を制御してもよい。

Ｓ７１３で振れ補正制御部１０６は、オフセットおよび感度について、カメラ本体から受信した値でなく、交換レンズ側で算出した値を用いることを決定し、処理をＳ７１７に進める。

一方、Ｓ７１５で振れ補正制御部１０６は、オフセットおよび感度について、交換レンズ側で算出した値に代えて、カメラ本体から受信した値を用いることを決定し、処理をＳ７１７に進める。これにより、振れ補正制御部１０６は、オフセット算出部２０５の出力および乗算器２０７で乗じる感度にカメラ本体から受信した推定値を用いて振れ補正処理を実行するようになる。

Ｓ７１７で振れ補正制御部１０６は、露光期間中か否かを判定し、露光期間中と判定されればＳ７２１へ、判定されなければＳ７１９へ処理を進める。
Ｓ７１９で振れ補正制御部１０６の信号選択部２０８は、第１の補正値（乗算器２０４の出力）を選択する。
Ｓ７２１で振れ補正制御部１０６の信号選択部２０８は、第２の補正値（乗算器２０７の出力）を選択する。

Ｓ７２３で振れ補正制御部１０６のドライバ部２１１は、補正値に基づいて像振れ補正ユニット１０５を駆動し、処理をＳ７０９へ戻す。

オフセットや観測ノイズ分散は交換レンズが有する振れ検出センサに固有な値であるため、それらの初期値を一定値として推定した場合、推定値の収束時間が一定しない。また、収束時間が長くなると振れ補正機能の性能が得られるまでの時間が長くなる。これに対し、本実施形態に係る交換レンズ（レンズ装置）は、カメラ本体に装着されると、振れ検出センサの出力および振れ補正ユニットの位置情報に加え、振れ検出センサのオフセットおよび観測ノイズ分散の初期値をカメラ本体に送信する。そのため、振れ検出センサのオフセットおよび感度をカメラ本体で推定する際の推定値の収束（高信頼度の推測値が得られるまでの時間）を短縮することができる。従って、交換レンズをカメラ本体に装着してから短時間で十分な性能を有する振れ補正機能を利用することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０６…振れ補正制御部、１１０…振れ検出部、１１１…レンズ制御部、１２３…動きベクトル検出部、１２５…カメラ制御部、１２７…システム推定部、１１２，１２６…通信制御部

Claims (23)

1. 光学像を撮像して画像信号を出力する撮像素子と、
   装着された交換レンズと通信する通信手段と、
   前記通信手段を通じて前記交換レンズから取得した、前記交換レンズが備える振れ検出センサの出力信号に基づいて、前記振れ検出センサの固有特性を推定する推定手段と、
   前記推定された固有特性を前記通信手段を通じて前記交換レンズに出力する出力手段と、を有する撮像装置であって、
   前記推定手段は、該交換レンズが有する振れ検出センサの観測ノイズの情報を前記通信手段を通じて該交換レンズから取得し、前記振れ検出センサの観測ノイズの情報と、前記振れ検出の出力信号とに基づいて前記振れ検出センサの固有特性を推定する、
   ことを特徴とする撮像装置。
2. 前記推定手段は、前記振れ検出センサの出力信号と、前記撮像素子で撮像された複数の画像信号から検出された動きベクトルと、前記交換レンズから取得した前記観測ノイズの情報とを用いて前記固有特性を推定することを特徴とする請求項１に記載の撮像装置。
3. 前記推定手段は、前記撮像素子の露光のタイミングを示す露光タイミング信号を用いて、前記振れ検出センサの出力信号と前記動きベクトルとを同期することを特徴とする請求項２に記載の撮像装置。
4. 前記推定手段は、カルマンフィルタまたは逐次最小二乗法を用いて前記固有特性を推定することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記固有特性が、前記振れ検出センサのオフセットおよび感度であることを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記推定手段は、前記振れ検出センサのオフセットの初期値情報を前記通信手段を通じて前記交換レンズから取得し、前記振れ検出センサの観測ノイズの情報と、前記振れ検出の出力信号と前記オフセットの情報と前記オフセットの初期値情報とに基づいて前記振れ検出センサの固有特性を推定することを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 前記推定手段は、推定した前記固有特性の誤差分散値をさらに算出し、
   前記出力手段は、前記誤差分散値を前記推定手段により推定された前記固有特性とともに前記交換レンズに出力する、ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記推定手段は、
   第１のタイミングで前記交換レンズから取得した前記観測ノイズの情報と、前記第１のタイミングよりも後の第２のタイミングで前記交換レンズから取得した前記振れ検出の出力信号とに基づいて前記振れ検出センサの固有特性を推定することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
9. 振れを検出する振れ検出センサと、
   前記振れ検出センサが検出した振れを打ち消すように補正レンズを駆動する振れ補正制御手段と、
   装着された撮像装置と通信する通信手段と、
   を有する、前記撮像装置に着脱可能な交換レンズであって、
   前記通信手段は、前記振れ検出センサの観測ノイズの情報と、前記振れ検出センサの出力信号とを、前記撮像装置に送信する、
   ことを特徴とする交換レンズ。
10. 前記通信手段は、前記振れ検出センサの固有特性の推定値の情報を前記撮像装置から受信し、
    前記振れ補正制御手段は、前記固有特性の推定値の情報と前記振れ検出センサの検出結果とに基づいて前記補正レンズを駆動することを特徴とする請求項９に記載の交換レンズ。
11. 前記振れ補正制御手段は、前記固有特性を推定する推定手段を有し、前記撮像装置から前記固有特性の推定値を受信するまでは、前記推定手段によって推定された前記固有特性に基づいて前記補正レンズを駆動することを特徴とする請求項１０に記載の交換レンズ。
12. 前記振れ補正制御手段は、前記固有特性を推定する推定手段を有し、前記撮像装置から受信した前記固有特性の推定値の信頼度が高いと判定されるまでは、前記推定手段によって推定された前記固有特性に基づいて前記補正レンズを駆動することを特徴とする請求項１０に記載の交換レンズ。
13. 前記振れ補正制御手段は、前記撮像装置から前記固有特性の誤差分散値を受信し、該誤差分散値が予め定められた閾値以下である場合に、前記撮像装置から受信した前記固有特性の推定値の信頼度が高いと判定することを特徴とする請求項１２に記載の交換レンズ。
14. 前記通信手段は、前記推定手段によって推定された前記振れ検出センサのオフセットの情報を前記撮像装置に送信することを特徴とする請求項１１から１３のいずれか１項に記載の交換レンズ。
15. 前記固有特性が、前記振れ検出センサのオフセットおよび感度であることを特徴とする請求項１０から請求項１４のいずれか１項に記載の交換レンズ。
16. 前記通信手段は、前記振れ検出センサのオフセットの初期値情報を前記撮像装置に出力することを特徴とする請求項９から請求項１５のいずれか１項に記載の交換レンズ。
17. 前記観測ノイズの情報は、前記交換レンズの製造時に記憶された値を示す情報であることを特徴とする請求項９から請求項１５のいずれか１項に記載の交換レンズ。
18. 前記通信手段は、
    前記撮像装置からタイミング情報を受信し、
    前記タイミング情報が示すタイミングにおける前記振れ検出センサの検出結果の情報を前記撮像装置へ送信する、
    ことを特徴とする請求項９から請求項１７のいずれか１項に記載の交換レンズ。
19. 請求項１から請求項８のいずれか１項に記載の撮像装置に、請求項９から請求項１８のいずれか１項に記載の交換レンズが装着されてなる撮像システム。
20. 光学像を撮像して画像信号を出力する撮像素子と、装着された交換レンズと通信する通信手段とを有する撮像装置の制御方法であって、
    推定手段が、前記通信手段を通じて前記交換レンズから取得した、前記交換レンズが備える振れ検出センサの出力信号に基づいて、前記振れ検出センサの固有特性を推定する推定工程と、
    出力手段が、前記推定された固有特性を前記通信手段を通じて前記交換レンズに出力する出力工程と、を有し、
    前記推定工程において前記推定手段は、該交換レンズが有する振れ検出センサの観測ノイズの情報を前記通信手段を通じて該交換レンズから取得し、前記振れ検出センサの観測ノイズの情報と、前記振れ検出の出力信号とに基づいて前記振れ検出センサの固有特性を推定する、
    ことを特徴とする撮像装置の制御方法。
21. 振れを検出する振れ検出センサと、
    前記振れ検出センサが検出した振れを打ち消すように補正レンズを駆動する振れ補正制御手段と、
    装着された撮像装置と通信する通信手段と、
    を有する、前記撮像装置に着脱可能な交換レンズの制御方法であって、
    前記通信手段が、前記振れ検出センサの観測ノイズの情報と、前記振れ検出センサの出力信号とを、前記撮像装置に送信する送信工程を有することを特徴とする交換レンズの制御方法。
22. 撮像装置が有するコンピュータを、請求項１から請求項８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
23. 交換レンズが有するコンピュータを、請求項９から請求項１８のいずれか１項に記載の交換レンズの各手段として機能させるためのプログラム。

Images