JP6592335B2 - 像ブレ補正装置及び方法 - Google Patents

像ブレ補正装置及び方法 Download PDF

Info

Publication number
JP6592335B2
JP6592335B2 JP2015217921A JP2015217921A JP6592335B2 JP 6592335 B2 JP6592335 B2 JP 6592335B2 JP 2015217921 A JP2015217921 A JP 2015217921A JP 2015217921 A JP2015217921 A JP 2015217921A JP 6592335 B2 JP6592335 B2 JP 6592335B2
Authority
JP
Japan
Prior art keywords
angular velocity
signal
image
blur
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015217921A
Other languages
English (en)
Other versions
JP2017092616A (ja
JP2017092616A5 (ja
Inventor
晋平 宮原
晋平 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015217921A priority Critical patent/JP6592335B2/ja
Priority to US15/290,498 priority patent/US10313593B2/en
Priority to CN201610973974.7A priority patent/CN107026970B/zh
Publication of JP2017092616A publication Critical patent/JP2017092616A/ja
Publication of JP2017092616A5 publication Critical patent/JP2017092616A5/ja
Application granted granted Critical
Publication of JP6592335B2 publication Critical patent/JP6592335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0211—Frequency selective networks using specific transformation algorithms, e.g. WALSH functions, Fermat transforms, Mersenne transforms, polynomial transforms, Hilbert transforms
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/04—Recursive filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Description

本発明は、像ブレ補正装置及び方法に関する。
振れを検出して、検出した振れに起因する像ブレを補正するように移動可能なレンズ、または撮像素子を駆動するブレ補正装置を備えた撮像装置や交換レンズが知られている。このような方式の手ブレ補正機能を光学式手ブレ補正という。また近年では、動画において、振れをキャンセルする方向にフレーム画像を切り出して出力する手ブレ補正機能もあり、小型・軽量の撮像装置や撮像装置付き携帯電話などに用いられている。このような方式の手ブレ補正を電子式手ブレ補正という。
ブレを検出する方式としては、角速度センサ（ジャイロセンサ）が一般的であり、検出した角速度をもとにブレをキャンセルする方向にレンズまたは撮像素子を駆動することでブレを補正する。特許文献１では、動きベクトルから算出される角速度センサのオフセットをリアルタイムにブレ補正駆動量にフィードバックして、角速度センサのオフセットを修正しながら推定していくことが開示されている。
また近年では、撮像装置のフレームレートの高速化と画像処理の高度化により、フレーム間の画像のブレを解析し、動きベクトルを求めることでブレを検出する技術も知られている。
一方、高度な撮影方法として、被写体が近距離であるマクロ撮影や、流し撮り撮影がある。マクロ撮影とは、被写体が近距離にある場合であり、その場合、通常の角度ブレに加えて撮像装置のシフトブレ成分が無視できなくなるため、通常の撮影より手ブレが大きく、手ブレ補正の必要性が高い。そのため、シフトブレを加速度センサを用いて検出し、角度ブレとは別にシフトブレ成分を算出することで、ブレ補正量の精度を上げる技術がある。また加速度センサを有さない場合、像ブレ補正装置の駆動量と位置信号から撮像装置に加わる加速度成分を推定し、推定した加速度からシフトブレ成分を算出することでマクロ撮影時のブレ補正効果を高める技術もある。
流し撮り撮影とは、動く被写体に合わせて撮像装置をパンニングもしくはチルティングしながら撮影することである。この撮影方法では、意図的に動く被写体の背景を流れさせ、動く被写体はブレさせずに撮影することで、被写体を際立たせて、かつ被写体に動きを持たせる。この撮影方法は高度なテクニックを要するため、ブレ補正装置を駆動させることで被写体ブレを補正し、アシストする技術もある。
特許文献２では、流し撮りのアシスト方法で、角速度センサの角速度検出信号と動きベクトルとから、パンニング量を算出し、そのパンニング量と角速度検出信号の差分を用いてブレ補正を実行することが開示されている。これにより、流し撮りのアシスト機能におけるブレ補正による悪影響を軽減させている。
また、動きベクトルによるブレ検出において、画像を小さなブロックに分割し、そのブロックごとにローカル動きベクトルを算出し、その複数個のローカル動きベクトルから、全体のグローバル動きベクトルを算出する技術が特許文献３に開示されている。これにより、画像ノイズによる動きベクトル誤算出や被写体ブレによる手ブレ以外の要素を除去することができる。
特開２００５−４３７８０号公報 特開２０１４−２１１５３１号公報 特開２００８−１９２０６０号公報
しかしながら、角速度センサを用いたブレ補正装置では、以下の２つの理由により、手ブレ補正の性能を十分にあげることができなかった。
１つ目は、角速度センサのオフセット算出誤差である。角速度センサは固有のオフセットノイズや温度変動による低域ノイズを含むため、ブレ補正値を算出する際の積分処理では完全積分を施すことができない。積分処理をローパスフィルタ（ＬＰＦ）で疑似積分することで、超低域成分の性能を犠牲にせざるを得ない。
２つ目は、角速度センサの感度バラツキである。感度バラツキを低減させるため、出荷時に撮像装置を各々調整するが、必ず調整誤差成分が残り、必ずしも100％の防振効果が得られるわけではなかった。
また、加速度センサを用いてマクロ撮影時のブレ補正効果を高める場合、加速度センサを搭載するためにコストが高くなってしまう。一方、像ブレ補正装置の駆動量と位置信号から撮像装置に加わる加速度を推定する場合、ブレが微小ブレの場合、推定精度が悪いという課題がある。
また、特許文献１では、角速度センサのオフセットをフィードバック制御でリアルタイムに更新しているため、推定途中（静止画待機中）では防振性能が劣化する場合がある。フィードバック制御のフィードバックゲインの設計によるが、フィードバックゲインを大きくすると、推定の収束は速いが、防振性能の劣化の課題が残る。またフィードバックゲインを小さくすると、推定中の防振性能の劣化の程度は小さくなるが、収束するスピードが遅くなる。
また、特許文献２では角速度センサの出力と動きベクトルの差分からパンニング量の算出とパンニング判定を行っているが、角速度センサの固有ノイズであるオフセット成分や感度バラツキが考慮されていない。そのため、算出結果に誤差が残ってしまい、十分な流し撮りの判定精度やアシスト精度を得られないことがあった。
本発明は上記問題点を鑑みてなされたものであり、角速度センサを用いた像ブレ補正処理における補正効果を高めることを目的とする。
上記目的を達成するために、本発明の像ブレ補正装置は、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、カルマンフィルタまたは逐次最小二乗法を用いて前記ブレ検出手段の出力バラツキを同定すると共に、同定結果の誤差分散を演算する同定手段と、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段とを有する。
本発明によれば、角速度センサを用いた像ブレ補正処理における補正効果を高めることができる。
本発明の実施の形態に係る撮像装置の機能構成を示すブロック図。 第１の実施形態に係る像ブレ補正制御部の構成を示すブロック図。 角速度信号と位置信号と動きベクトルから、角速度センサのオフセットと感度を同定する方法を説明するための図。 第１の実施形態に係るブレ信号システム同定部の構成を示すブロック図。 第１の実施形態に係るブレ信号システム同定処理のフローチャート。 一般的な１次のIIRフィルタの構成を示すブロック図。 第１の実施形態の変形例に係るブレ信号システム同定処理のフローチャート。 第２の実施形態に係る像ブレ補正制御部の構成を示すブロック図。 第２の実施形態に係る像ブレ補正ユニットの説明図。 第３の実施形態に係る被写体と、動きベクトルを検出するためのブロックの配置例を示す図。 第３の実施形態に係る動きベクトルのヒストグラムを示す図。 第３の実施形態に係る流し撮りアシスト制御部の構成を示すブロック図。 第３の実施形態に係るブレ信号修正部と、被写体・背景ベクトル算出部の詳細構成を示したブロック図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る像ブレ補正装置を含む撮像装置の機能構成を示すブロック図であり、ここでは、静止画像と動画像の撮影を行うためのデジタルカメラである。
図１において、光学系は、変倍を行うズームレンズを含むズームユニット１０１、絞り・シャッタユニット１０３、像ブレ補正ユニット１０５、焦点調節を行うレンズを含むフォーカスユニット１０７を含んで構成される。ズームユニット１０１は、ズーム駆動制御部１０２により駆動制御され、絞り・シャッタユニット１０３は、絞り・シャッタ駆動制御部１０４により駆動制御される。また、像ブレ補正ユニット１０５は、像ブレ補正制御部１０６により駆動制御され、フォーカスユニット１０７は、フォーカス駆動制御部１０８により駆動制御される。
撮像部１０９は、上述した光学系を通過した光像を電気信号に光電変換する。撮像部１０９から出力された電気信号は、撮像信号処理部１１０により映像信号に変換処理され、更に、用途に応じて映像信号処理部１１１により加工される。表示部１１２は、映像信号処理部１１１から出力された信号に基づいて、必要に応じて画像表示を行う。
電源部１１３は、撮像装置全体に用途に応じて電源を供給する。外部入出力端子部１１４は、不図示の外部装置との間で、通信信号及び映像信号を入出力する。
操作部１１５はシステムを操作するために用いられ、防振ＯＮ／ＯＦＦスイッチ、シャッタレリーズボタン、動画記録スイッチ、再生モード選択スイッチ、変倍スイッチを含む。
防振ＯＮ／ＯＦＦスイッチは、手ブレ補正ON/OFFを選択可能にし、防振ＯＮ／ＯＦＦスイッチにより手ブレ補正ＯＮが選択されると、カメラシステム制御部１１８が像ブレ補正制御部１０６に防振動作を指示する。そして、これを受けた像ブレ補正制御部１０６は、防振ＯＦＦの指示がなされるまで防振動作を行う。
シャッタレリーズボタンは、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように、２段階の操作が可能に構成されている。シャッタレリーズボタンが約半分押し込まれたとき（第１段階目）に第１スイッチＳＷ１がオンし、シャッタレリーズボタンが最後まで押し込まれたとき（第２段階目）に第２スイッチＳＷ２がオンする構造となっている。第１スイッチＳＷ１がオンされると、フォーカス駆動制御部１０８がフォーカスレンズを含むフォーカスユニット１０７を駆動して焦点調節を行うとともに、絞り・シャッタ駆動制御部１０４が絞り・シャッタユニット１０３を駆動して適正な露光量に設定する。第２スイッチＳＷ２がオンされると、撮像部１０９に露光された光像から得られた画像データが記憶部１１６に記憶される。
動画記録スイッチは、スイッチ押下により動画撮影が開始され、記録中に再度スイッチが押下されると記録を終了する。動画撮影中に第１スイッチＳＷ１および第２スイッチＳＷ２を押すことで、動画記録中の静止画撮影にも対応できる。
再生モード選択スイッチが押下されると、再生モードが選択される。なお、再生モード時には防振動作を停止する。
変倍スイッチは、ズーム変倍の指示を行うためのスイッチである。変倍スイッチによりズーム変倍の指示が行われると、カメラシステム制御部１１８を介して指示を受けたズーム駆動制御部１０２がズームユニット１０１を駆動して、指示されたズーム位置にズームユニット１０１を移動させる。それとともに、撮像部１０９から送られた撮像信号処理部１１０、映像信号処理部１１１にて処理された画像情報に基づいて、フォーカス駆動制御部１０８がフォーカスユニット１０７を駆動して焦点調節を行う。
記憶部１１６は映像情報など様々なデータを記憶する。手ブレ検出部１１７は、ジャイロセンサ等のセンサを用いて、カメラに加わる手ブレ量を角速度として検出し、電圧に変換したブレ信号（角速度信号）を出力する角速度センサである。カメラシステム制御部１１８は、撮像装置全体を制御する。動きベクトル検出部１１９は、撮像信号処理部１１０から出力された映像信号のフレーム画像間のブレを解析して、動きベクトルを検出する。
図２は、第１の実施形態における像ブレ補正制御部１０６の構成を示すブロック図である。なお、像ブレ補正軸として、Ｐｉｔｃｈ方向およびＹａｗ方向で同じ構成となるため、片軸のみで説明を行う。
図２において、ＡＤ変換部２０１は、手ブレ検出部１１７が出力したアナログの角速度信号をデジタルの角速度信号に変換する。
ハイパスフィルタ（ＨＰＦ）２０２は、ＡＤ変換部２０１により変換された角速度信号から、手ブレ検出部１１７のオフセット成分や、温度ドリフト成分を除去する。積分部２０３は、主にローパスフィルタ（ＬＰＦ）による疑似積分により、ＨＰＦ２０２から出力された角速度信号を積分して角度データに変換する。乗算部２０４は、積分部２０３により得られた角度データを、像ブレ補正ユニット１０５に含まれる補正レンズの駆動量に変換する。乗算部２０４の敏感度は焦点距離毎に異なった値をしており、焦点距離が変わる度に敏感度も変更される。また、手ブレ検出部１１７の角速度センサの感度調整による補正量も反映され、感度バラツキを吸収している。以降、この信号出力を第１のブレ補正量と呼ぶ。
一方、積分部２０６は、主にローパスフィルタによる疑似積分により、後述するブレ信号システム同定部２１４により同定されたオフセット値が除去された角速度信号を積分し、角度データに変換する。乗算部２０７は、乗算部２０４と同様の構成を有し、積分部２０６により得られた角度データを、補正レンズの駆動量に変換する。以降、この信号の信号出力を第２のブレ補正量とする。この第２のブレ補正量は、第１のブレ補正量と比べてＨＰＦを介さないため、第１のブレ補正量よりも低帯域のブレを含むのブレ補償が可能となる。
信号選択部２０８は、第１のブレ補正量と、第２のブレ補正量のいずれか一方を選択する。例えば、静止画撮影前やパンニング動作のような大きなカメラワークを有する動画撮影中は、映像の見えを良くするため、帯域の狭い第１のブレ補正量を選択する。一方、静止画露光中やパンニング動作を有さない動画撮影中などは、防振効果を上げるため、広帯域の信号である第２のブレ補正量を選択する。
位置検出部２１２は、補正レンズの位置を検出して電圧として出力し、ＡＤ変換部２１３は、補正レンズの位置であるアナログの電圧（位置信号）をデジタルの位置信号に変換する。
リミッタ部２０９は、信号選択部２０８により選択された、第１または第２のブレ補正量を、補正レンズを含む像ブレ補正ユニット１０５の可動範囲でクランプする。ＰＩＤ制御部２１０は、リミッタ部２０９によりクランプされたブレ補正量から、ＡＤ変換部２１３から出力された補正レンズの位置を示す位置信号を差分した信号を入力し、入力した差分信号に基づいて、補正レンズの位置を制御するための制御信号を出力する。ドライバ部２１１は、制御信号を電圧に変換し、像ブレ補正ユニット１０５を駆動するための電流を供給する。
ブレ信号システム同定部２１４には、ＡＤ変換部２０１から出力された角速度信号と、ＡＤ変換部２１３から出力された補正レンズ位置を示す位置信号と、動きベクトル検出部１１９から出力された動きベクトルの３つの信号が入力される。ブレ信号システム同定部２１４は、入力された３つのデータから、角速度センサのオフセット及び感度と、それぞれの誤差分散値の計４つを算出する。そして、算出した結果に応じて、角速度信号から差分するオフセット値と、積分部２０６における積分フィルタ特性と、乗算部２０７における補正レンズのシフト量への変換ゲインとを変更する。
次に、角速度信号と位置信号と動きベクトルとから、角速度センサのオフセットと感度を同時に同定する原理について、図３を用いて説明する。
撮像装置に角速度Ｗが加わった場合、撮像装置に搭載された角速度センサにおいて、その角速度Ｗを角速度信号に変換する際に感度ばらつきＡが乗算されると共に、角速度センサの個体ばらつき成分であるオフセットノイズＢが加わる。更に、その出力に対し、ＬＰＦ４０２により高周波がカットされて、観測値（角速度信号）Ｇが検出される。ここで、ＬＰＦ４０２の特性をＬ(s)として表し、sはラプラス変換で用いる複素数である。なお、図３においては、ＬＰＦ４０２が角速度センサの内部にあるように示されているが、角速度センサの外部にあっても同様である。
角速度信号Ｇは、像ブレ補正制御部１０６で補正レンズの駆動量に変換される。ここで、像ブレ補正制御部１０６の変換特性をＩ(s)として表す。この駆動量は、位置検出部２１２により検出される位置信号Ｈとして観測されることになる。
一方、撮像装置に加わった角速度Ｗは、単純に積分することで（４０４）撮像装置全体の真のブレ角度となるが、この信号を観測することはできない。この撮像装置全体のブレ角度から位置信号Ｈを減算するとブレ残り角度となり、そのブレ残り角度のフレーム間差分（４０５）が、動きベクトル検出部１１９により動きベクトルＶとして求められる。
図３の角速度Ｗから動きベクトルＶまでの伝達特性は、以下の式（１）により表すことができる。
V = W − sH …（１）
また、図３の角速度Ｗから角速度信号Ｇまでの伝達特性は、以下の式（２）により表すことができる。
G = L(s)(AW + B) …（２）
上記式（１）、（２）から、観測できない実際の角速度Ｗを消去すると、以下の式（３）となる。
G = AL(s)(sH + V) + L(s)B …（３）
また手ブレの周波数帯は、通常20Hz以下であり、角速度センサのＬＰＦ４０２の遮断周波数は数100Hzのものが主流なため、ここではL(s)≒1と近似することができる。その場合、式（３）は以下の式（４）となる。
G = A(sH + V) + B …（４）
ここまでは連続系の説明をしたが、次に、離散系の説明をする。
角速度信号Ｇ(k)をy(k)（式（４）の左辺Ｇ）、ΔH(k)+V(k)をx(k)（式（４）右辺のsH+V）、同定パラメータをθ(k)T=(A(k),B(k))とする。A(k)は角速度センサの感度、B(k)は角速度センサのオフセット、kは離散時間である。
Figure 0006592335
また新たな変数z(k)を以下のように定義する。
Figure 0006592335
式（４）、（５）、（６）から以下の状態方程式を導くことができる。
θ(k+1) = θ(k)+ε
y(k) = θ(k)T z(k)+ ω …（７）
ただしεは同定パラメータの変動成分を表すシステムノイズパラメータであり、ωは観測ノイズパラメータである。
式（７）から分かるように、状態変数として表すことのできた同定パラメータである角速度センサの感度とオフセットは、観測量である角速度信号Ｇ(k)、位置信号Ｈ(k)、動きベクトルＶ(k)の3つのデータから同定することができる。またシステムノイズパラメータであるεを適切に設計することで、角速度センサの感度と角速度センサのオフセットの温度変動成分も含めて同定することができる。
また、カルマンフィルタを用いて式（７）のθを同定するフィルタリングステップは、以下のとおりである。
（ステップ１）カルマンゲイン算出
Figure 0006592335
（ステップ２）同定パラメータ算出
Figure 0006592335
（ステップ３）同定誤差分散算出
Figure 0006592335
ただし、kは離散時間（フィルタリングステップ数）、Kはカルマンゲイン（１行×２列）、Pは同定誤差共分散行列（２行×２列）、σωは角速度信号の観測ノイズ分散パラメータ（スカラー量）である。また、Rεは同定パラメータの温度変動を考慮したシステムパラメータ（２行×２列）である。同定誤差分散行列Pの初期値は適当な大きな値を設計値として与えておく。ただしあまりにも大きな値を設定すると、同定結果が発散してしまうので、観測ノイズに応じてチューニングが必要なパラメータとなる。
またσωは角速度信号の観測ノイズ実測値を用いても良いが、このパラメータは式（８）及び（１０）から分かる通り、大きいほど同定の収束が遅く、小さいほど収束が早くなる。一方、大きいほどフィルタが安定し、小さいほど同定結果が発散してしまうリスクがある。そのためフィルタの収束スピードを決定するためのチューニング用パラメータとしても考えられる。
一方、カルマンフィルタではステップ３（式（１０））において同定誤差分散も同時に計算される。これはある時刻jにおける同定結果θ(j)がk=0からk=jまででどれだけばらついているかを示す指標となる値であり、その時刻jにおける同定パラメータθの信頼度に相当する値となると考えられる。
以上説明した通り、時々刻々と同定パラメータθは収束し信頼性が上がるが、カルマンフィルタではなく、逐次最小二乗法を用いても同様である。ただし逐次最小二乗法は、観測ノイズやシステムノイズ（同定パラメータ変動成分）を考慮しないため、フィルタリングのロバスト性は低く、またパラメータの温度変動には適応せず、同定値はある一定値に収束してしまう。そのため、実際の設計においてはカルマンフィルタを用いることが望ましい。
以上が角速度センサの感度ばらつきAと角速度センサのオフセットBを同定する方法の詳細な説明であるが、簡便に説明すると以下の通りである。
式（４）より、観測値である角速度信号Ｇをyとし、ブレ補正角速度と動きベクトルの和であるsH+Vをxとすると、式（４）はy=Ax+Bと単純な線形モデルとなり、観測値から、その直線y=Ax+Bの傾きAとy切片Bを決定すればよい。傾きが角速度センサの感度でy切片が角速度センサのオフセットとなる。
なお、上述した方法で求めた角速度センサの感度は被写体距離が無限大相当の場合は、純粋な角速度センサの感度となるが、被写体距離が近距離の場合はその限りでは無い。撮像装置のブレの種類には２種類あり、角度ブレとシフトブレである。式（１１）は、像面上のブレ量を表す。
δ = (1+β)fθ(t) + βy(t) …（１１）
ただし、δは像面上のブレ量[mm]、βは撮像倍率、fは焦点距離[mm]、θ(t)はブレ角度[deg]、y(t)は駆動量[mm]である。(11)式の右辺の(1+β)fθ(t)は角度ブレ成分であり、右辺βy(t)はシフトブレ成分である。
式（１１）から分かるように、被写体距離が近い場合、すなわちマクロ撮影をする場合は撮像倍率βが大きくなるため、シフトブレ成分を無視できない。この場合、多くの先行例ではそのシフトブレ成分の要素である駆動量y(t)を加速度センサで検知し、シフトブレ補正量を別途演算し、角速度信号で求めた角度ブレ成分と合成することで、両ブレ成分を補正している。しかし本発明の同定法では、被写体距離が近い場合はシフトブレ残りが動きベクトルとして検出されるため、シフトブレ成分を含めた補正感度を同定していることになる。つまり上述の同定法を用いることで加速度センサを用いずに角度ブレ、シフトブレの両ブレ成分トータルのゲインを同定し、ブレを打ち消すことが可能となる。
ただし、シフトブレ成分を考慮した感度変動を計算する場合は、システム変動成分パラメータであるRεを適切に設計しなければならない。また、被写体距離が所定値以上変動した場合は、その後の同定パラメータの収束スピードを上げるため、同定誤差分散を初期値にリセットする、もしくはシステムノイズ項であるRεを大きくする必要がある。
次に、図４を用いてブレ信号システム同定部２１４の構成について説明する。ブレ信号システム同定処理のサンプリングは、観測データの中で一番サンプリングの遅い動きベクトルのサンプリングである30Hzもしくは60Hzとする。角速度信号や位置信号はＡＤ変換部２０１、２１３において数kHzでサンプリングされているが、動きベクトルと同期を取るため、撮像の露光重心タイミング信号を用いる。これにより、平均値算出部５０１では角速度信号の露光重心間のフレーム間平均値を算出し、差分算出部５０２では位置信号の露光重心間の差分からフレーム間ブレ補正角速度を算出する。また、動きベクトルは、変換部５０３において、角速度単位の動きベクトルに変換されて、フレーム間ブレ補正角速度と加算される。それぞれの信号をＬＰＦ５０４、５０５に入力することで、エイリアシングを軽減させる。そしてカルマンフィルタ５０６に入力することで、角速度センサの感度とオフセットが同定される。また同時に同定結果の信頼性を示す同定誤差分散も出力される。
次に、ブレ信号システム同定処理について、図５のフローチャートを用いて説明する。
まず、Ｓ１０１において、動きベクトル、角速度信号、ブレ補正角速度の３つの観測データを取得する。なお、角速度信号は露光重心間平均値であり、ブレ補正角速度は位置信号の露光重心間のブレ補正角度の差分値である。また、この段階で３つの観測データの単位系をそろえる。Ｓ１０２では、アンチエイリアシングのためのローパスフィルタ処理をＬＰＦ５０４，５０５により行う。
次にＳ１０３において、撮像装置の動きを判定する。振動として小さい場合、すなわち撮像装置が三脚に取り付けられている場合や、振動の無い台の上に置かれて静止状態である場合等では、３つの観測データはほぼ一定値となる。そのような場合、上述したカルマンフィルタのステップを実行すると、観測参照点が一定のため、正確な同定ができない。むしろ観測データのノイズに左右されて同定結果の精度が下がる。これは、Ｓ／Ｎ比が悪くなるためである。また逆に振動が大きい場合、すなわち撮像装置を素早くパンニングさせる場合や、撮像装置を持ちながら歩いたり走ったりしている場合等では、動きベクトルの精度が下がる。一般的に動きベクトルの検出レンジは角速度センサよりも狭く、大きな角速度は検出できない。また大きな振動においては撮像がキャプチャした画像自体がブレていて、正確な動きベクトルが検出できない場合も考えられる。
さらに、大きな振動においては以下の２つの要因で動きベクトルが歪む可能性がある。一つ目は、振動成分の内の一つである撮像装置のRoll方向のブレが、Pitch方向やYaw方向の動きベクトルにノイズとして重畳され、Pitch/Yaw方向の動きベクトル検出結果が歪む場合である。歩き撮りや走り撮りなどをする場合に顕著に表れる。二つ目は、撮像装置がローリングシャッタである場合、それによる歪み成分がPitch/Yaw方向の動きベクトルに加わる。光学的な像ブレ補正装置の補正限界を超えるほどのブレの場合、顕著に表れる。
これらの要因により、Ｓ１０３では観測されたブレ量が、予め決められた所定値δ1より大きく、予め決められた所定値δ2より小さい場合（予め決められた範囲内）の時のみ、Ｓ１０４へ進み、それ以外の時はＳ１０１に戻る。なお、ブレ量とは、角速度信号そのものでもよいし、動きベクトルと位置信号との和（モデル角速度）でもよい。Ｓ１０４、Ｓ１０５、Ｓ１０６はカルマンフィルタによるフィルタリングステップであり、それぞれ上述した式（８）、式（９）、式（１０）に相当する処理を行う。
Ｓ１０７以降は、カルマンフィルタの演算結果であるパラメータ同定値がどの程度収束したか判定をする。Ｓ１０７では、同定誤差分散P(k)が所定値T1とT2の間（予め決められた範囲内）にあるかどうか判断し、間にある場合は同定パラメータを像ブレ補正制御部１０６に反映（Ｓ１０８）する。さらに、積分部２０６のＬＰＦのフィルタ特性を特性の良い方向に変更（Ｓ１０９）した後、Ｓ１０１に戻る。
Ｓ１０７で、同定誤差分散P(k)が所定値T1とT2の間に無い場合は、Ｓ１１０で同定誤差分散P(k)が所定値T2以下（範囲以下）かどうかを判定する。所定値T2以下の場合は同定パラメータを像ブレ補正制御部１０６に反映し（Ｓ１１１）、さらに積分部２０６のＬＰＦのフィルタ特性をＳ１０９よりも特性の良い方向（遮断周波数が低い方向）に変更する（Ｓ１１２）。なお、この図５に示す処理では、紙面の都合上、同定結果の信頼性の判定は２パターンのみ記載しているが、それ以上の複数パターン用意してもよい。その場合、同定誤差分散P(k)が所定値よりも低い方が、より特性の良い方向（遮断周波数が低い方向）にフィルタ特性を変更する。
上記の通り第１の実施形態によれば、角速度センサの感度及びオフセットを精度よく同定することができる共に、ブレ補正量に反映させることができるため、像ブレ補正効果を高めることができる。
なお、Ｓ１０９、Ｓ１１２でフィルタ特性を変更する際、疑似積分を行うＬＰＦをIIR型のフィルタで設計している場合、撮像装置の起動からフィルタ特性の変更タイミングまでの時間に応じて、その中間変数であるＺも同時に変更することが望ましい。一般的に、逐次演算のフィルタ処理をＣＰＵで行う場合は、処理負荷上IIR型のフィルタを用いることが多いと考えられる。
次に、中間変数Ｚについて図６を用いて説明する。図６は一般的な１次のIIRフィルタ（ＬＰＦ）のブロック図である。図６において、信号入力部３０１から入力ＩＮが入力され、信号出力部３０６から、フィルタ処理された出力ＯＵＴが出力される。係数乗算部３０２の係数Ｋ１によりＬＰＦの遮断周波数、すなわち、ＬＰＦの帯域が決まる。また、係数乗算部３０３，３０４の係数Ｋ２，Ｋ３はＬＰＦの出力のゲインを決定する係数であり、ＬＰＦの場合、Ｋ２＝Ｋ３である。疑似積分では出力ゲインである積分ゲインは一定であり、特性を変えても変化しない。特性を変える場合は係数Ｋ１を大きくしていくことで、積分特性の低域成分の特性を良くする。それに対して、フィルタの中間変数Ｚ（３０５）は、以下の式（１２）により表すことができる。なお、式（１２）において、ｎはステップ数である。
Z(n+1)=K1×Zn+IN …（１２）
中間変数Ｚは係数Ｋ１に大きく依存し、またその値により信号出力部３０６からの出力が決定されるため、像ブレ補正の性能に大きく影響する。
中間変数Ｚはステップ数nにも依存するため、撮像装置の起動からフィルタ特性変更までの時間を計測し、それに応じて中間変数Ｚを精度よく計算し変更することが求められる。ただし、ステップ数nが十分に大きい場合は、中間変数Ｚはステップ数nに依存しないと近似されるため、その限りではない。
しかしながら、ＣＰＵの処理能力によっては、中間変数Ｚを期待する時間内に精度よく求められない場合も考えられる。精度が良くない場合、その変更において信号の不連続性が発生し、撮像装置の画角が急峻に動くことが考えられるため、図２の信号選択部２０８が、第２のブレ補正量（乗算部２０７の出力）を選択している場合は、中間変数Ｚを変更しない。フィルタの特性変更の収束には時間がかかるが、急峻な画角の変動は起きない。主に動画撮影中エイミングをしている場合で、パンニングなどをせずに動画のブレ補正性能を上げている場合である。
一方、信号選択部２０８が第１のブレ補正量（乗算部２０４の出力）を選択している場合は、精度が良くなくても中間変数Ｚの変更を同時に行い、積分部２０６のフィルタ特性を瞬間的に切り替える。第１のブレ補正量によりブレ補正が実行されている最中のため、第２のブレ補正量の不連続性は画像には表れない。こちらは静止画撮影前で、本発明の目的とする状況である。
＜変形例＞
上述した第１の実施形態では、動きベクトルが正常に検出できている場合の説明であり、実際の環境やカメラの使用状況を考えると、動きベクトルを検出できない、または、検出できるが信頼性が低い場合が考えられる。検出できない場合とは、例えば、カメラを再生モードで使用し、過去に撮影した画像を閲覧している等で撮像素子が起動していない場合等である。また、動きベクトルの信頼性が低い場合とは、例えば、カメラが捉えた被写体が低コントラストである時や、繰り返し模様などの場合等である。動きベクトルを検出できない場合は、必然的に同定処理が実行できない。一方、動きベクトルの信頼性が低い場合は、動きベクトルの値によって同定精度が低下する恐れがあるため、同定処理を実行しないことが望ましい。
しかしながら、同定処理が実行されない時間がある一定時間以上続いてしまった場合、その期間において同定する角速度信号の出力バラツキ自体が変動してしまう。変動した出力バラツキを反映したまま像ブレ補正を実行すると、像ブレ補正の性能を悪化させてしまう。そのため、上述した状態が発生した場合は、積分部２０６のフィルタ特性を元に戻し（帯域を狭くする）、同定誤差分散値を初期値にリセットする。これにより像ブレ補正の性能の悪化を防ぐことができる。また、動きベクトルが検出でき、信頼性の高い状態に戻った際に、同定誤差分散の値が大きいため、変動してしまった角速度信号の出力バラツキ分を急速に再同定することができる。
以上の処理について、図７のフローチャートを使って説明する。なお、図５と同様の処理については、同じステップ番号を付して説明を割愛する。図５との違いは、まず、Ｓ２０３において、ブレ量と共に、動きベクトルの信頼性を更に判定する点である。この判定において、同定処理を実行しないと判定された場合は、Ｓ２１４に遷移する。Ｓ２１４では同定処理が実行されていない期間をカウントする。Ｓ２１５ではそのカウント値が所定値Ｒより大きいか判定する。所定値Ｒ以下である場合は、Ｓ１０１に戻る。一方、所定値Ｒより大きい場合は、同定処理が実行されない期間が所定時間継続されたと判断し、Ｓ２１６でその時の同定誤差分散を初期値Ｐ０にリセットする。更に、Ｓ２１７において、積分部２０６のフィルタ特性を初期値（Ｓ１０９、Ｓ１１２で設定されたフィルタ特性よりも帯域が狭い）に戻す。その後、Ｓ１０１に戻る。なお、Ｓ２１４でカウントされる値は、同定処理が１回でも実行されると、Ｓ２１３においてリセットされる。
次に焦点距離を変更可能なズームレンズを有する撮像装置を想定する。焦点距離が短い場合は画角が広いため、１画素あたりの角度も大きくなり、動きベクトルの検出分解能は低くなる。逆に焦点距離が長い場合は画角が狭いため、１画素あたりの角度は小さくなり、動きベクトルの検出分解能は高くなる。つまり焦点距離に応じて、検出される動きベクトルのバラツキが変動してしまう。このため、同定処理におけるカルマンフィルタのパラメータを一定とすると、焦点距離に応じて同定精度にバラツキが生じてしまう。
これを鑑み、式（８）のパラメータである観測ノイズ分散パラメータσωを変更することで、同定収束スピードは変わるが、同定精度が悪化することを防ぐ。具体的には焦点距離が短い場合はσωを大きくすることで、収束スピードは遅くなるが、同定精度が悪くならないよう保つ。逆に焦点距離が長い場合は、σωを小さくすることで、収束スピードは速く、且つ、同定精度も高く保つことができる。
また外乱による影響を考慮する。撮像装置を大きく振ったときの外乱要因は前述した通りであり、大きく振られたときは同定処理シーケンスに入らないと記した。逆に外乱要因が少ないと考えられる状況は、ユーザーが被写体を捉え、ＳＷ１を保持しているときであり、その場合は大きく振られていない可能性が高い。また、オートフォーカス後で合焦後であれば、低コントラストなどで信頼性の低い動きベクトルが検出されている可能性も低い。この場合は相対的に同定収束速度を上げることで、同定精度が上がることが考えられる。
具体的にはＳＷ１保持中でフォーカス合焦後は、式（８）の観測ノイズ分散パラメータσωを相対的に小さくすることでカルマンゲインを大きくし、同定収束スピードを上げる。または単純に撮像素子のフレームレートを上げることで同定収束スピードを上げる。これにより外乱要因を軽減した高速同定処理で同定精度をさらに上げることができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、像ブレ補正ユニット１０５の補正レンズが位置検出部２１２により位置検出可能な場合を説明したが、第２の実施形態では、位置検出部２１２が存在せず、オープン制御でブレ補正している場合について説明する。なお、第２の実施形態における撮像装置の構成は、第１の実施形態において図１を参照して説明したものと同様であるため、説明を省略する。
図８は、第２の実施形態におけるオープン制御の場合の像ブレ補正制御部１０６の構成を示すブロック図である。なお、図２を参照して第１の実施形態で説明した構成と同様の構成には同じ参照番号を付し、適宜説明を省略する。
オープン制御では位置信号が存在しないため、第２の実施形態では角速度信号から位置信号を推定する。像ブレ補正ユニットモデル部８１３は、像ブレ補正制御部１０６のメカモデルを定義し、その入力（入力[N]）に対する出力（位置[m]）を推定するための処理を行う。像ブレ補正ユニットモデル部８１３により推定された位置信号を用いて、第１の実施形態と同様に、角速度信号と、動きベクトルと共に、ブレ信号システム同定部２１４において角速度信号の出力バラツキを同定する。
次に、像ブレ補正ユニットモデル部８１３について説明する。図９は像ブレ補正ユニットモデル部８１３を２次系のバネマスダンパモデルで簡易的に表した図である。像ブレ補正ユニット１０５の可動部である補正レンズの重量をM[kg]、バネ定数をk[N/m]、減衰係数をD[N・s/m]、レンズ駆動変位量をx(t)[m]、レンズに加わる力をu(t)[N]とする。この場合、運動方程式より以下の式（１３）が成り立つ。
Figure 0006592335
上記方程式をラプラス変換し、制御対象を伝達関数で表現すると、以下の式（１４）になる。ただしH(s)は制御対象である像ブレ補正ユニット１０５の数理モデルの伝達関数とする。
Figure 0006592335
これにより、手ブレ補正レンズは２次系の制御対象として近似され、伝達特性を表す。
ここでのレンズに加わる力u(t)は、ドライバ部２１１から出力されるレンズ駆動指令信号r(t)[N]と、加速度外乱などによる力d[N]の合成であり、以下の式（１５）となる。
u(t)=r(t)+d(t) …（１５）
外乱d[N]は加速度センサを用いることで補償してもよい。
以上により位置信号を推定し、第１の実施形態と同様に、推定した位置信号と、角速度信号と動きベクトルとをブレ信号システム同定部２１４に入力することで、角速度センサのオフセットと感度を同定することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、動く被写体を追いながら撮影をする流し撮り撮影のアシスト機能について説明する。
一般的に、流し撮り撮影では背景を流すためにシャッタ速度Tvの設定を遅く設定するが、遅くするほど実際の被写体の移動と撮像装置のパンニング速度とのズレが被写体のブレとして残ってしまう。そのため、実際の被写体の移動速度と撮像装置の速度との差分の速度でブレ補正手段を駆動することで、被写体のブレをキャンセルさせる機能が流し撮りアシスト機能である。
そのためには、動きベクトルを用いて被写体の速度を検出する必要がある。動きベクトルは画面内の小さなブロックごとにローカル動きベクトルを生成しており、その個々のローカル動きベクトルは、被写体ベクトル以外にパンニングによる背景ベクトルが含まれる。このように、２種類の動きベクトルが存在するため、被写体ベクトルと背景ベクトルを分離する処理が必要となる。
図１０（ａ）は、画面１１０１に対して動く被写体１１０２がある場合を示す図である。また、図１０（ｂ）はローカル動きベクトルを検出するための領域（ブロック）が配置されている図であり、一例として、縦５個×横５個のブロックを示している。また被写体は右方向に移動しているものとし、被写体を追いかけるようにパンニング方向も右方向と仮定する。
この場合、動く被写体の存在するブロック（斜線ブロック１１０４）からは、ある程度小さなブレ量が動きベクトルとして検出される。一方、それ以外の背景ブロック（斜線の無いブロック１１０３）からは、パンニングに合わせた大きな動きベクトルが検出される。後者のパンニング速度は、角速度センサにより検出されるブレ量を示す角速度信号から換算される画像のブレピクセル量と一致するため、そのブレピクセル量近傍の動きベクトルは背景ベクトルであり、それ以外の動きベクトルを被写体ベクトルとして分離する。
図１１は、５×５個の各領域毎に求められたローカル動きベクトルを、動きベクトルの大きさを横軸、度数を縦軸にとって表したヒストグラムである。点線は角速度センサの出力を画像のブレピクセルに換算した時の値である。上述したとおり、角速度センサの出力と背景ベクトルは一致するはずであり、被写体ベクトルはそれから離れたブレピクセルとしてピークが存在するのが理想的である。
しかし実際は、角速度センサは固有のオフセットノイズや温度による変動が存在し、また感度バラツキや温度による感度変動が存在するため、図１１の点線は、そのノイズによって左右に変動する。そのため、ノイズが大きいほど背景ベクトルと被写体ベクトルの分離は難しくなり、流し撮りのアシスト精度にも影響する。
そこで、第３の実施形態では、角速度センサの出力と動きベクトルとを用いて、角速度センサの出力バラツキを同定し、その同定結果を角速度センサの出力に反映した信号と動きベクトルとを比較することで、被写体ベクトルと背景ベクトルの分離を行う。
図１２は、第３の実施形態における流し撮りアシスト制御部１２００の構成を示すブロック図である。流し撮りアシスト制御部１２００は、像ブレ補正制御部１０６に代えて構成されるが、像ブレ補正制御部１０６の一部構成を利用して構成しても良い。第３の実施形態における撮像装置の構成は、流し撮りアシスト制御部１２００を除いて、第１の実施形態において図１を参照して説明したものと同様であるため、説明を省略する。また、図１２において、第１の実施形態において図２を参照して説明したものと同様の機能を有する構成には同じ参照番号を付し、説明を省略する。
１３０１はブレ信号修正部であり、その入力として、背景ベクトル、手ブレ検出部１１７からの角速度信号、ＡＤ変換部２１３からの位置信号の３つの観測値が入力される。１３０２は被写体・背景ベクトル算出部であり、複数の動きベクトルと、ブレ信号修正部１３０１により修正されたブレ信号を用いて、被写体ベクトルと背景ベクトルを算出する。
図１３は、図１２に示すブレ信号修正部１３０１と、被写体・背景ベクトル算出部１３０２の詳細構成を示したブロック図である。ＡＤ変換部２１３からの位置信号と、ＡＤ変換部１４０１によりＡＤ変換された手ブレ検出部１１７からの角速度信号と、背景ベクトルが、ブレ信号システム同定部１４０２に入力される。入力された３つの信号により、第１の実施形態と同様にして、角速度センサのオフセットと感度が同定される。同定されたオフセットはオフセット減算部１４０４において角速度信号から減算され、同定された感度はゲイン乗算部１４０５において乗算に反映される。
一方、動きベクトル検出部１１９で各領域毎に検出された動きベクトルに基づいて、ヒストグラム処理部１４０６でヒストグラムが生成される。一方、ブレ信号修正部１３０１により出力バラツキを修正された角速度信号は、被写体・背景ベクトル分離部１４０７に入力され、動きベクトルと比較されて、上述したように被写体ベクトルと背景ベクトルの分離処理が行われる。被写体ベクトル生成部１４０８は、被写体ベクトルと判定された動きベクトル群を平均化処理することで、１つの被写体ベクトルを生成する。背景ベクトル生成部１４１１は、背景ベクトルと判定された動きベクトル群を平均化処理することで、1つの背景ベクトルを生成する。
また、図１に示すズーム駆動制御部１０２から、現在の焦点距離情報を入力する。被写体ベクトル角速度換算部１４１０は、焦点距離情報を用いて被写体ベクトルを画像の画素換算値から角速度換算値に変換する。背景ベクトル角速度換算部１４１２は、焦点距離情報を用いて背景ベクトルを画像の画素換算値から角速度換算値に変換する。
この一連の処理を毎フレーム行うことで同定精度は上がり、分離した被写体ベクトルの精度も上がる。そして静止画露光直前の精度の高い同定オフセットと同定ゲインを反映して分離した精度の高い被写体ベクトルを用いて静止画露光中にブレ補正制御することで、露光中の動く被写体のブレを補正する。
このように、本第３の実施形態によれば、背景ベクトルと被写体ベクトルの分離を精度良く行うことができるため、流し撮りのアシスト精度を向上させることができる。
なお、上述した実施形態では、像ブレ補正ユニット１０５に含まれる補正レンズを駆動することにより光学的にブレ補正を行う場合について説明したが、本発明はこれに限られるものではない。例えば、撮像部１０９を駆動する構成であっても、補正レンズと撮像部１０９を共に駆動する構成であってもよい。
１０１：ズームユニット、１０２：ズーム駆動制御部、１０５：像ブレ補正ユニット、１０６：像ブレ補正制御部、１１７：手ブレ検出部、１１８：カメラシステム制御部、１１９：動きベクトル検出部、２０６：積分部、２０７：乗算部、２１２：位置検出部、２１４：ブレ信号システム同定部、１２００：流し撮りアシスト制御部、１３０１：ブレ信号補正部、１３０２：被写体・背景ベクトル算出部

Claims (25)

  1. ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、カルマンフィルタまたは逐次最小二乗法を用いて前記ブレ検出手段の出力バラツキを同定すると共に、同定結果の誤差分散を演算する同定手段と、
    前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段と
    を有することを特徴とする像ブレ補正装置。
  2. 前記誤差分散が予め決められた範囲以下の場合、前記範囲内にある場合よりも、前記変換手段は、処理する周波数の帯域を広くすることを特徴とする請求項１に記載の像ブレ補正装置。
  3. 被写体までの距離を検出する手段を更に有し、
    前記同定手段は、前記被写体までの距離が所定値以上変動した場合、前記誤差分散を大きな値に変更することを特徴とする請求項１または２に記載の像ブレ補正装置。
  4. 焦点距離を変更するズームレンズを駆動する手段を有し、
    前記同定手段は、前記焦点距離が予め決められた第１の焦点距離の場合に、前記第１の焦点距離より長い第２の焦点距離の場合よりも、前記同定の収束スピードが遅くなるように、前記同定に用いる係数を設定することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
  5. 押し込み量に応じて２段階の操作が可能なシャッタレリーズ手段を有し、
    前記同定手段は、前記シャッタレリーズ手段の第１段階目の操作がされている時間において、それ以外の時間よりも前記同定の収束スピードが速くなるように、前記同定に用いる係数を設定することを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
  6. 押し込み量に応じて２段階の操作が可能なシャッタレリーズ手段を有し、
    前記シャッタレリーズ手段の第１段階目の操作がされている時間のフレームレートは、それ以外の時間よりも高いことを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
  7. フォーカスレンズを駆動する駆動手段を有し、
    前記シャッタレリーズ手段の第１段階目の操作がされている時間は、前記駆動手段による合焦後から静止画撮影前までの期間であることを特徴とする請求項５または６に記載の像ブレ補正装置。
  8. ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定手段と、
    前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段と、
    前記ブレ検出手段から出力された角速度信号のうち、前記変換手段による前記ブレ補正量信号への変換に用いた周波数の帯域よりも狭い周波数の帯域の角速度信号に基づいて、第２のブレ補正量信号を求める第２の変換手段と、
    前記変換手段により求められた前記ブレ補正量信号と、前記第２の変換手段により求められた第２のブレ補正量信号のいずれかを選択する選択手段と、
    前記選択手段により選択されたブレ補正量信号に基づいて、前記補正手段を駆動する駆動手段と
    を有することを特徴とする像ブレ補正装置。
  9. 前記変換手段は、IIRフィルタを含み、
    前記選択手段が前記第２のブレ補正量信号を選択している場合、前記変換手段は、前記IIRフィルタの帯域を変更するのと同時に中間変数を変更し、前記選択手段が前記変換手段により求められた前記ブレ補正量信号を選択している場合は、前記中間変数を変更しないことを特徴とする請求項８に記載の像ブレ補正装置。
  10. ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定手段と、
    前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段と、
    前記動きベクトルの信頼性を判定する判定手段と、を有し、
    前記動きベクトルの信頼性が予め決められた信頼性よりも低い場合に、前記同定手段は、前記同定を行わないことを特徴とする像ブレ補正装置。
  11. ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定手段と、
    前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段と、を有し、
    前記角速度信号が予め決められた範囲内に無い場合に、前記同定手段は、前記同定を行わないことを特徴とする像ブレ補正装置。
  12. ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定手段と、
    前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換手段と、を有し、
    前記動きベクトルと前記位置信号の和が予め決められた範囲内に無い場合に、前記同定手段は、前記同定を行わないことを特徴とする像ブレ補正装置。
  13. 前記変換手段は、IIRフィルタを含み、
    前記同定手段による前記同定を行わない期間が、予め決められた所定時間継続された場合に、前記変換手段は、前記IIRフィルタの帯域を狭くすることを特徴とする請求項１０乃至１２のいずれか１項に記載の像ブレ補正装置。
  14. 前記出力バラツキは、前記ブレ検出手段の感度のバラツキ及びオフセットであって、
    前記変換手段は、前記角速度信号を前記ブレ検出手段の感度バラツキ及びオフセットを用いて修正することで、前記角速度信号を前記ブレ補正量信号に変換することを特徴とする請求項１乃至１３のいずれか１項に記載の像ブレ補正装置。
  15. 前記位置信号は、前記補正手段の位置を検出して得られることを特徴とする請求項１乃至１４のいずれか１項に記載の像ブレ補正装置。
  16. 前記位置信号は、前記角速度信号から前記補正手段の位置を推定して得られることを特徴とする請求項１乃至１４のいずれか１項に記載の像ブレ補正装置。
  17. 前記変換手段は、前記出力バラツキに基づいて、前記変換に用いる係数を変更することを特徴とする請求項１乃至１６のいずれか１項に記載の像ブレ補正装置。
  18. 同定手段が、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、カルマンフィルタまたは逐次最小二乗法を用いて前記ブレ検出手段の出力バラツキを同定すると共に、同定結果の誤差分散を演算する同定工程と、
    変換手段が、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換工程と、
    前記補正手段が、前記ブレ補正量信号に基づいて、前記ブレを補正する補正工程と
    を有することを特徴とする像ブレ補正方法。
  19. 同定手段が、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定工程と、
    変換手段が、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換工程と、
    第２の変換手段が、前記ブレ検出手段から出力された角速度信号のうち、前記変換工程において前記ブレ補正量信号への変換に用いた周波数の帯域よりも狭い周波数の帯域の角速度信号に基づいて、第２のブレ補正量信号を求める第２の変換工程と、
    選択手段が、前記変換工程で求められた前記ブレ補正量信号と、前記第２の変換工程で求められた第２のブレ補正量信号のいずれかを選択する選択工程と、
    前記補正手段が、前記選択工程で選択されたブレ補正量信号に基づいて、前記ブレを補正する補正工程と
    を有することを特徴とする像ブレ補正方法。
  20. 同定手段が、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定工程と、
    変換手段が、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換工程と、
    判定手段が、前記動きベクトルの信頼性を判定する判定工程と、
    前記補正手段が、前記ブレ補正量信号に基づいて、前記ブレを補正する補正工程と、を有し、
    前記動きベクトルの信頼性が予め決められた信頼性よりも低い場合に、前記同定工程では、前記同定を行わないことを特徴とする像ブレ補正方法。
  21. 同定手段が、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定工程と、
    変換手段が、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換工程と、
    前記補正手段が、前記ブレ補正量信号に基づいて、前記ブレを補正する補正工程と、を有し、
    前記角速度信号が予め決められた範囲内に無い場合に、前記同定工程では、前記同定を行わないことを特徴とする像ブレ補正方法。
  22. 同定手段が、ブレ検出手段から出力される角速度信号と、撮像素子から出力された画像のフレーム間の差分から算出される動きベクトルと、ブレを光学的に補正する補正手段の位置を示す位置信号とに基づいて、前記ブレ検出手段の出力バラツキを同定する同定工程と、
    変換手段が、前記角速度信号を前記同定手段により同定した前記出力バラツキに基づいて補正し、ブレ補正量信号に変換する変換工程と、
    前記補正手段が、前記ブレ補正量信号に基づいて、前記ブレを補正する補正工程と、を有し、
    前記動きベクトルと前記位置信号の和が予め決められた範囲内に無い場合に、前記同定工程では、前記同定を行わないことを特徴とする像ブレ補正方法。
  23. 前記出力バラツキは、前記ブレ検出手段の感度のバラツキ及びオフセットであって、
    前記変換工程では、前記角速度信号を前記ブレ検出手段の感度バラツキ及びオフセットを用いて修正することで、前記角速度信号を前記ブレ補正量信号に変換することを特徴とする請求項１８乃至２２のいずれか１項に記載の像ブレ補正方法。
  24. 前記位置信号は、前記補正手段の位置を検出して得られることを特徴とする請求項１８乃至２３のいずれか１項に記載の像ブレ補正方法。
  25. 前記位置信号は、前記角速度信号から前記補正手段の位置を推定して得られることを特徴とする請求項２４に記載の像ブレ補正方法。
JP2015217921A 2015-11-05 2015-11-05 像ブレ補正装置及び方法 Active JP6592335B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015217921A JP6592335B2 (ja) 2015-11-05 2015-11-05 像ブレ補正装置及び方法
US15/290,498 US10313593B2 (en) 2015-11-05 2016-10-11 Image stabilization apparatus and image stabilization method
CN201610973974.7A CN107026970B (zh) 2015-11-05 2016-11-07 图像稳定设备和图像稳定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015217921A JP6592335B2 (ja) 2015-11-05 2015-11-05 像ブレ補正装置及び方法

Publications (3)

Publication Number Publication Date
JP2017092616A JP2017092616A (ja) 2017-05-25
JP2017092616A5 JP2017092616A5 (ja) 2018-12-13
JP6592335B2 true JP6592335B2 (ja) 2019-10-16

Family

ID=58663999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015217921A Active JP6592335B2 (ja) 2015-11-05 2015-11-05 像ブレ補正装置及び方法

Country Status (3)

Country Link
US (1) US10313593B2 (ja)
JP (1) JP6592335B2 (ja)
CN (1) CN107026970B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6700874B2 (ja) * 2016-03-08 2020-05-27 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2018025703A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 像ブレ補正装置、光学機器、および像ブレ補正方法
JP6723438B2 (ja) * 2017-04-03 2020-07-15 富士フイルム株式会社 撮像装置、撮像用制御方法、及びプログラム
JP6971808B2 (ja) * 2017-11-28 2021-11-24 キヤノン株式会社 像振れ補正装置、撮像装置および制御方法
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN108234873A (zh) 2018-01-10 2018-06-29 北京小米移动软件有限公司 一种获取图像的方法和装置
JP6961500B2 (ja) * 2018-01-18 2021-11-05 キヤノン株式会社 像振れ補正装置およびその制御方法、撮像装置
JP7204855B2 (ja) * 2018-01-18 2023-01-16 キヤノン株式会社 像振れ補正装置およびその制御方法、撮像装置
KR102452564B1 (ko) * 2018-02-07 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
CN109951638B (zh) * 2019-03-26 2021-02-02 Oppo广东移动通信有限公司 摄像头防抖系统、方法、电子设备和计算机可读存储介质
US11290650B2 (en) 2019-07-04 2022-03-29 Canon Kabushiki Kaisha Image blur information acquisition apparatus and method, and storage medium
JP7356272B2 (ja) * 2019-07-04 2023-10-04 キヤノン株式会社 像ブレ情報取得装置及び方法、像ブレ補正装置、プログラム、記憶媒体
JP7426841B2 (ja) 2020-02-04 2024-02-02 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US11778322B2 (en) * 2020-08-17 2023-10-03 Mediatek Inc. Method and apparatus for performing electronic image stabilization with dynamic margin
US11874415B2 (en) 2020-12-22 2024-01-16 International Business Machines Corporation Earthquake detection and response via distributed visual input
WO2022141620A1 (en) * 2021-01-04 2022-07-07 Qualcomm Incorporated Integrated visual-inertial odometry and image stabilization for image processing
JP2023072212A (ja) * 2021-11-12 2023-05-24 旭化成エレクトロニクス株式会社 プログラム、制御装置、撮像装置、及び制御方法
CN116957992B (zh) * 2023-09-20 2024-01-05 南京木木西里科技有限公司 基于特征追踪的实时显微图像防抖方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3610087B2 (ja) * 1994-03-25 2005-01-12 オリンパス株式会社 移動物体追跡装置
JP4419466B2 (ja) 2003-07-25 2010-02-24 株式会社ニコン 撮影レンズ、およびカメラシステム
JP4415596B2 (ja) * 2003-07-28 2010-02-17 株式会社ニコン 撮影レンズ、およびカメラシステム
IL165190A (en) * 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
JP2007114466A (ja) * 2005-10-20 2007-05-10 Toshiba Corp 手ぶれ補正機能を有する撮影装置
JP4775277B2 (ja) 2007-02-07 2011-09-21 株式会社デンソー 画像処理装置及び画像処理方法
JP5121674B2 (ja) * 2008-11-04 2013-01-16 キヤノン株式会社 撮像装置
GB2474886A (en) * 2009-10-30 2011-05-04 St Microelectronics Image stabilisation using motion vectors and a gyroscope
JP5269143B2 (ja) * 2010-07-16 2013-08-21 キヤノン株式会社 像ブレ補正装置及びその制御方法及び撮像装置
JP5572031B2 (ja) * 2010-08-09 2014-08-13 キヤノン株式会社 撮像装置及びその制御方法
JP6045430B2 (ja) 2013-04-18 2016-12-14 オリンパス株式会社 撮像装置及びその像ブレ補正方法

Also Published As

Publication number Publication date
US20170134658A1 (en) 2017-05-11
CN107026970B (zh) 2020-07-24
JP2017092616A (ja) 2017-05-25
US10313593B2 (en) 2019-06-04
CN107026970A (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
JP6592335B2 (ja) 像ブレ補正装置及び方法
JP6600232B2 (ja) 像ブレ補正装置及び方法
JP5094606B2 (ja) 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP5600516B2 (ja) 撮像装置
US8736690B2 (en) Image pickup apparatus
JP6530602B2 (ja) 撮像装置及びその制御方法
JP2010025961A (ja) 防振制御装置及び撮像装置
WO2007058100A1 (ja) 合焦検出装置
WO2018030166A1 (ja) 像ブレ補正装置、光学機器、および像ブレ補正方法
CN109391755B (zh) 摄像设备及其中执行的方法
CN114584676B (zh) 图像模糊校正装置及其控制方法和摄像装置
JP6643095B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP6525800B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2001054005A (ja) 動き検出装置および画像動き補正装置
JP6395401B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP6024031B2 (ja) ブレ補正装置及び光学機器
JP7208822B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2011013555A (ja) ブレ補正装置及び光学機器
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
WO2020012960A1 (ja) 撮像装置
JP6448709B2 (ja) 像振れ補正装置および像振れ補正方法、撮像装置、並びに光学機器
JP6579900B2 (ja) 像ブレ補正装置及び方法
WO2020012961A1 (ja) 撮像装置
JP6327838B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2021026180A (ja) 像振れ補正装置及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190920

R151 Written notification of patent or utility model registration

Ref document number: 6592335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151