JP6642971B2 - 像ブレ補正装置、光学機器、撮像装置および制御方法 - Google Patents

像ブレ補正装置、光学機器、撮像装置および制御方法 Download PDF

Info

Publication number
JP6642971B2
JP6642971B2 JP2015050179A JP2015050179A JP6642971B2 JP 6642971 B2 JP6642971 B2 JP 6642971B2 JP 2015050179 A JP2015050179 A JP 2015050179A JP 2015050179 A JP2015050179 A JP 2015050179A JP 6642971 B2 JP6642971 B2 JP 6642971B2
Authority
JP
Japan
Prior art keywords
correction amount
correction
image
calculation
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015050179A
Other languages
English (en)
Other versions
JP2016170285A (ja
JP2016170285A5 (ja
Inventor
柴田 昌宏
昌宏 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015050179A priority Critical patent/JP6642971B2/ja
Priority to US15/067,863 priority patent/US9811891B2/en
Publication of JP2016170285A publication Critical patent/JP2016170285A/ja
Publication of JP2016170285A5 publication Critical patent/JP2016170285A5/ja
Application granted granted Critical
Publication of JP6642971B2 publication Critical patent/JP6642971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、像ブレ補正装置、光学機器、撮像装置および制御方法に関する。
カメラやビデオなどの撮像装置に対して外部から与えられる振れにより生じる撮像画像のブレ(像ブレ)を補正する方式として、光学式ブレ補正方式と、電子式ブレ補正方式とが提案されている。光学式ブレ補正方式は、レンズや撮像素子を駆動して光学的に像ブレを補正する方式である。電子式ブレ補正方式は、撮像素子へ入力された光を光電変換して得られる画像に対して切り出し位置などを変更して像ブレを補正する方式である。
近年、カメラやビデオなどの撮像装置の普及とその利用形態の変化に伴って、1台で動画像と静止画像を同時に撮れる撮像装置の要求が高まってきている。しかし、動画像は映像の時間変化が映し出される画像表現を有し、静止画像は瞬時の画像が切り出された画像表現を有する。このような画像表現の違いにより、動画像の撮影と静止画像の撮影とでは、手ブレ補正(IS)やオートフォーカス(AF)や露出制御(AE)など、カメラ撮影時の制御が異なる点が多い。例えば、ブレ補正制御に関して、動画撮影の場合には、時にはきっちりと止まっていないブレの残った映像であっても、フレーム間の連続性すなわち時間的な動きの滑らかさが重要である。一方で、静止画撮影の場合には、時間的にある瞬間を捉えた画像であり、主被写体にブレの無い鮮明さが要求される。
そこで、動画撮影時は検出した振れ信号にハイパスフィルタ(HPF)をかけて低周波成分を除くことで、ゆっくりしたブレは残ってもブレ補正手段が制御上のリミッタに達して補正できなくなることが極力無いようにする。一方、静止画撮影時の露光中は、検出した振れ信号にHPFをかけず、低周波成分も含めた全てのブレ成分を補正できるようにして性能向上が図られている。
ここで、振れ信号を検出する方法としては、加速度、角加速度、角速度、角変位などを検出するセンサによってカメラの振動を検出する方法があるが、カメラの振動を検出するためのセンサとしては、角速度を検出するジャイロセンサが一般的に普及している。ただし、ジャイロセンサには、温度変化などによって生じるDCオフセットやドリフトの影響が大きく、それらのオフセット成分を基準値から除去する仕組みが必要となる。ジャイロセンサからの振れ信号にHPFをかける場合、このオフセット成分を除去することができるが、HPFをかけない場合、オフセット成分を除去できないため、基準値がズレていると防振性能が劣化する。
特許文献1は、デジタルハイパスフィルタ(HPF)の制御サンプリング毎における演算結果として保持される中間値と、振れ出力に加算するデジタルオフセットを変更することで、振れ出力に含まれるオフセット成分を除去する撮像装置を開示している。また、特許文献2は、露光時間に応じてHPF処理を行うか否かを切り替え設定することによって、HPF処理が像ブレ補正の精度に与える影響を低減する撮像装置を開示している。
特開2009−244853号公報 特開2008−283443号公報
特許文献2が開示する撮像装置では、HPFの切り替え時の動きが考慮されていないため、次のような問題があった。すなわち、動画撮影時(例えば、EVF時)にHPFをかけないと、低周波成分も補正してしまうので、フレーミングが困難になる上に、シフトレンズなどの補正手段がリミッタ(補正端)に突き当たりやすくなってしまう。また、静止画露光中と動作撮影時とで、振れ信号処理のパスをHPFの有り/無しで2つに分けると、切り替え時に信号が不連続になり、補正手段が大きく動いてしまう。
本発明は、動画撮影時と静止画撮影時とで振れ信号の処理方法を切り替えた場合でもブレ補正手段の制御に不連続性が生じないようにする像ブレ補正装置を提供することを目的とする。
本発明の一実施形態の像ブレ補正装置は、ブレ補正手段を制御して撮像画像の像ブレを補正する像ブレ補正装置である。前記像ブレ補正装置は、振れ検出信号に基づいて、動画撮影時の前記像ブレの補正に用いられる第1の補正量を演算する第1の演算手段と、前記振れ検出信号に基づいて、静止画撮影時の前記像ブレの補正に用いられる第2の補正量を演算する第2の演算手段と、前記第1の補正量と前記第2の補正量のうち、前記像ブレの補正に用いる補正量を選択するとともに、前記第1の演算手段と前記第2の演算手段のうち、前記選択されなかった補正量に対応する演算手段の中間演算値を、前記選択された補正量に基づいて更新する制御を実行する制御手段と、前記第1の演算手段の、前記振れ検出信号の基準値を演算する第3の演算手段と、前記振れ検出信号を、前記基準値を用いて補正する信号補正手段とを備え、前記第1の演算手段が選択されているときは、前記制御手段が、前記第2の演算手段の中間演算値を前記第1の補正量に書き換え、前記第1の演算手段から前記第2の演算手段への選択切替時に、前記第3の演算手段が、前記第1の演算手段に入力された前記振れ検出信号に基づいて前記基準値を補正し、前記第2の演算手段へ選択が切り替えられた後は、前記信号補正手段が、前記第3の演算手段により前記選択切替時に補正された前記基準値を用いて、前記第2の演算手段に入力される前記振れ検出信号を補正する
本発明の像ブレ補正装置によれば、動画撮影時と静止画撮影時とで振れ信号の処理方法を切り替えた場合でもブレ補正手段の制御に不連続性が生じないようにすることができる。
本実施形態の構成例を示す図である。 補正量算出部の構成を示す図である。 静止画撮影時の像ブレ補正装置の動作を説明する図である。 動画用と静止画用の補正量の演算処理を説明する図である。 像ブレ補正装置を有する撮像装置の構成を示す図である。 流し撮り撮影時の像ブレ補正装置の動作を説明する図である。 動画用と静止画用の補正量の演算処理を説明する図である。
(実施例1)
図1は、本実施形態の構成例を示す図である。
図1に示す撮像装置は、本実施形態の像ブレ補正装置を備える光学機器の一例である。この例では、撮像装置は、デジタルビデオカメラであるが、本発明は、動画撮影機能と静止画撮影機能とを有する任意の撮像装置や、この撮像装置に装着する光学機器に対して適用可能である。また、本実施形態の撮像装置には、カメラ付きの携帯電話、ゲーム機、パーソナルコンピュータなど、撮像装置が組み込まれた、もしくは内蔵された機器も含まれる。
図1において、101は、撮影光学系で複数枚のレンズから構成されるレンズ群である。102は、撮像画像のブレ(像ブレ)を補正するブレ補正手段として機能する補正光学系である。具体的には、補正光学系102は、光軸に直交する平面上を動いて振れを補正するブレ補正レンズ群(シフトレンズ)である。103は、撮影光学系101により結像された画像を光電変換する撮像素子である。104は、撮像素子103により光電変換された撮像信号を例えば標準ビデオ信号などに変換処理するカメラ信号処理回路である。カメラ信号処理回路104は、アナログ信号処理回路とデジタル信号処理回路とを有する。アナログ信号処理回路は、撮像素子103で得られた信号に所定の処理を施してアナログ撮像信号を生成する。アナログ信号処理回路は、例えばCDS(co-related double sampling:相関二重サンプリング)回路、AGC(Automatic Gain Control)回路等を有する。デジタル信号処理回路は、A/D変換器によりアナログ撮像信号をデジタル信号に変換し、ガンマ補正、ホワイトバランス等、所定の信号処理をしたデジタル映像信号を生成する。
105は、カメラ信号処理回路104から得られた標準出力信号端子である。標準出力信号端子105は、撮像された画像を標準ビデオ信号として出力する。標準出力信号端子105から出力される標準ビデオ信号は、外部モニタなどに接続しても良いし、撮像装置に備えた表示装置(液晶パネルやビューファインダ)に出力表示することも可能である。また、所定の記録形式に変換して記録媒体(メモリカード、ハードディスク、DVD、磁気テープなど)に映像信号を記録することもできる。
110は、撮像装置に加わる振れの検出を行う角速度センサである。角速度センサ110は、例えば、振動ジャイロ等で構成されており、手振れ等による撮像装置の振れの角速度を検出して電気信号を出力する。角速度センサ110は、光軸に直交する一平面上で互いに直交した検出軸をなすように、例えば水平方向の回転軸(Yaw)と垂直方向の回転軸(Pitch)との2軸方向に二つの角速度センサを配置する。そして、検出した各軸別々に補正量を算出し、水平方向及び垂直方向の2軸方向に補正光学系102を制御する。水平方向の回転軸(Yaw)と垂直方向の回転軸(Pitch)の補正量の演算及び補正光学系の制御は、両軸とも同じ処理で実現することができるので、以降は片方の軸についてのみ説明する。
111は、角速度センサの出力信号を補正量算出部112に取り込むためのA/D変換器である。112は、角速度センサ110の出力信号をA/D変換機111を介して取得したデジタル信号から補正光学系102の補正量を算出する補正量算出部である。補正量算出部112の機能によって、像ブレ補正装置が実現される。また、補正量算出部112は、撮像装置が備えるマイクロコンピュータ(以下、「マイコン」と記述)の機能によって実現される。なお、110の角速度センサがデジタルセンサであるならば、A/D変換器111は不要であり、マイコンとの通信によってデジタルデータを取得すればよい。補正量算出部112については、後で詳細に説明する。
140は、撮影者が静止画撮影を操作する操作スイッチである。操作スイッチ140は、押し込み量に応じて、第1スイッチ(SW1)及び第2スイッチ(SW2)が順にオンするように構成されている。操作スイッチ140が半分押し込まれた(半押し)時に第1スイッチがオンし、最後まで全て押し込まれた(全押し)時に第2スイッチがオンする。第1スイッチがオンされると、レンズ群101が備えるフォーカスレンズが駆動されてピント調整が実行され、絞り・シャッターユニットが駆動されて適正露光に設定される。さらに、第2スイッチがオンされると、撮像素子103への露光が行われ、静止画撮影が行われる。
130乃至134は、補正光学系(シフトレンズ)102を制御するための補正制御ブロックである。133は、シフトエンコーダであり、シフトレンズ102の位置検出を行う。シフトエンコーダ133は、例えば、ホール・センサなどである。シフトエンコーダ133の出力値は、A/D変換器134を介してブレ補正制御部130に入力される。130は、ブレ補正制御部である。ブレ補正制御部130は、補正量算出部112からの補正量(目標値)とシフトエンコーダ133から得られるシフトレンズ102の現在位置との差分からシフトレンズの制御量を算出し制御信号を出力する。ここでは、差分データに対して、増幅器と位相補償フィルタによる信号処理が行われて制御量が算出される。131は、シフトレンズ駆動回路である。シフトレンズ駆動回路131は、ブレ補正制御部130からPWMなどで出力される制御信号を受けて、モータ132に駆動波形を出力するドライブ回路である。132はモータである。モータ132は、シフトレンズ102を駆動するボイスコイルモータ等である。
図2は、補正量算出部の構成を示す図である。
補正量算出部112への入力信号を供給する角速度センサ110、A/D変換器111及び操作スイッチ140と、補正量算出部112からの出力信号を受け取るブレ補正制御部130は、図1に示したものと同様である。
補正量算出部112は、A/D変換器111からブレ検出信号を取得する。ブレ検出信号は、角速度センサ110で検出したブレの角速度信号がデジタル変換された信号である。
基準値演算部115は、ハイパスフィルタ(HPF)120の演算結果、つまりフィルタ演算の中間値に基づいて、デジタル変換された角速度信号の基準値を算出して設定する。角速度信号の基準値は、ブレの生じていない状態での角速度信号の出力値である。基準値補正部116は、A/D変換器111から得た角速度信号から基準値演算部115で算出した基準値を引くことによって、角速度センサ110の温度変化などによって生じるDCオフセットやドリフトの影響によるオフセット成分を除去する。これにより、角速度信号をブレ成分だけからなる出力信号に補正する。すなわち、基準値演算部115は、振れ検出信号の基準値を演算する第3の演算手段として機能し、基準値補正部116は、振れ検出信号を基準値を用いて補正する信号補正手段として機能する。
動画用補正量算出部113は、HPF120乃至飽和防止制御部123を備え、動画撮影に適したブレ補正を行うための補正目標値を算出する。すなわち、動画用補正量算出部113は、基準値補正部116からの出力信号(振れ検出信号)に基づいて、動画撮影時の像ブレの補正に用いられる第1の補正量を演算する第1の演算手段として機能する。HPF120は、その周波数特性を可変し得る機能を有しており、取得した角速度信号に含まれる低周波成分を遮断して出力する。HPF120は、角速度センサ110の特性である温度変化などによって生じるDCオフセットやドリフト成分を除去することによって、基準値演算部115の精度を高める。また、HPF120は、パンニング動作が検出された場合には、カットオフ周波数を高くして、パンニング動作によって生じている低周波成分を除去してブレ補正性能を高める。なお、パンニング動作は、撮影方向変更操作の一例であり、本発明は、パンニング動作以外の撮影方向変更操作(例えばチルティング動作)にも適用可能である。
積分器121は、HPF120から出力された角速度信号を時間積分することにより角変位量を得る。なお、積分器121は、不完全積分で行われ、その時定数を任意に変更することが可能となっている。パンニング制御部122は、基準値補正部116から得られる角速度信号と、積分器121から得られる角変位量の大きさに応じて、撮像装置がパンニング状態か否かを判断する。そして、パンニング制御部122は、その判断結果に応じて、角速度信号が大きい場合はHPF120のカットオフ周波数を変更してパンニング動作による低周波成分を除去する。パンニング制御部122は、角変位量が大きくなった場合は積分器121の時定数変更を行い、補正端に達しにくくする。
飽和防止制御部123は、シフトレンズ102が機械的な可動端に突き当たることがないように、積分器121で生成された制御量に制限をかける。例えば、飽和防止制御部123は、補正光学系の制御量が所定値(以下、リミッタと記す)を超えないように、積分器121からの出力にリミットを施した値を最終的な補正目標位置として出力する。
静止画用補正量算出部114は、積分器124と飽和防止制御部125とを備え、静止画撮影に適したブレ補正を行うための補正目標値を算出する。すなわち、静止画用補正量算出部114は、基準値補正部116からの出力信号(振れ検出信号)に基づいて、静止画撮影時の像ブレの補正に用いられる第2の補正量を演算する第2の演算手段として機能する。積分器124は、基準値補正部116から得られた角速度信号を、HPF120を介さずに時間積分して角変位量を得る。なお、積分器124は完全積分で行われ、低周波成分も含めた角変位量を算出する。飽和防止制御部125は、前述した動画用補正量算出部113内の飽和防止制御部123と同じ機能である。
動画用補正量算出部113は、HPF120とパンニング制御部122とを備える点が、静止画用補正量算出部114と異なる。動画撮影では、パンニングやチルティングなどのカメラワークの操作を伴うが、その動きをブレとして補正してしまうと、撮影者にとっては意図したカメラワークとは異なる画角変化になってしまう。また、補正光学系102がすぐにリミッタに近づいてしまうので、その後のブレ補正が効きにくい状況になってしまう。動画用補正量算出部113は、パンニング制御部122とHPF120を備えることで、パンニングやチルティングが行われた時に、その動きを無理に補正しないようにし、ブレ信号の低周波成分をカットして補正目標値を変更する。
一方、静止画撮影では、時間的な変化の中でのある瞬間の画像を捉えることが目的であり、その瞬間、すなわち画像を取り込んでいる1フレームの期間は、ブレの無いことが望ましい。従って、静止画撮影時は、HPF120の演算処理を行わず、低周波成分も含めてブレ信号を補正できるように補正目標値を算出する仕組みになっている。
切り替え制御部126は、操作スイッチ140の半押し/全押し操作状況に応じて得られる第1スイッチ(SW1)及び第2スイッチ(SW2)のオン情報に基づいて、補正量を切り替え制御する。切り替え器127は、動画用補正量算出部113から入力される動画用補正量と静止画用補正量算出部114から入力される静止画用補正量とについて、切り替え制御部126の情報に基づいて使用すべき補正量を選択して切り替える。そして、切り替え器127は、選択したいずれかの補正量をブレ補正制御部130へ出力する。
また、切り替え制御部126は、操作スイッチ140でSW2がオンか否か、すなわち露光中か否かの情報に基づいて、スイッチ128とスイッチ129のオン/オフを切り替える。この例では、切り替え制御部126は、SW2がオフ、すなわち静止画露光中ではない状態で動画用補正量を補正目標値としている間はスイッチ128をオン及びスイッチ129をオフにする。また、切り替え制御部126は、SW2がオン、すなわち静止画露光中の状態で静止画用補正量を補正目標値としている間は、スイッチ129をオン及びスイッチ128をオフにする。これにより、スイッチ128がオンの時は、静止画用補正量算出部114の中の完全積分器124に対して、動画用補正目標値をフィルタ演算中間値として書き換える。また、スイッチ129がオンの時は、動画用補正量算出部113の中の積分器121に対して、静止画用補正目標値をフィルタ演算中間値として書き換える。すなわち、切り替え制御部126は、動画用補正量と静止画用補正量のうち、像ブレの補正に用いる補正量を選択するとともに、以下の制御を行う。切り替え制御部126は、動画用補正量算出部113と静止画用補正量算出部114のうち、上記選択されなかった補正量に対応する算出部の中間演算値を、上記選択された補正量の値で更新する。
図3は、静止画撮影時の像ブレ補正装置の動作を説明する図である。
操作スイッチ140が押されていない状態の時、すなわち第1スイッチ(SW1)及び第2スイッチ(SW2)が共にオフの時、動画用補正量算出部113が、補正量を算出し、その補正量を補正目標値とする。また、この状態の時は、算出した動画用補正量を静止画用補正量算出部114の積分器124のフィルタ演算中間値として書き換える。
次に、操作スイッチ140が半押しされている状態の時、すなわち第1スイッチ(SW1)がオンで第2スイッチ(SW2)がオフの時、動画用補正量算出部113が補正量を算出し、その補正量を補正目標値とする。また、同時に、算出した動画用補正量を静止画用補正量算出部114の積分器124のフィルタ演算中間値として書き換える。さらに、基準値演算部115が、HPF120のフィルタ演算中間値から基準値を算出し、その算出結果に基づいて、基準値補正部116で基準値を補正する。
次に、操作スイッチ140が全押しされた状態の時、すなわち第1スイッチ(SW1)がオフで第2スイッチ(SW2)がオンとなった時、補正量演算を静止画用に切り替えて静止画用補正量算出部114が、補正量を算出し、その補正量を補正目標値とする。またこの状態の時すなわち静止画露光中の時は、算出した静止画用補正量を動画用補正量算出部113の積分器121のフィルタ演算中間値として書き換える。さらに、基準値演算は行わず、SW2がオンとなる直前、すなわちSW1がオンの時に算出した基準値を更新しない。
次に、操作スイッチ140の全押しが解除された状態の時、すなわち第1スイッチ(SW1)及び第2スイッチ(SW2)が共にオフに戻った時、動画用補正量算出部113が、補正量を算出し、その補正量を補正目標値とする。また同時に、算出した動画用補正量を静止画用補正量算出部114の積分器124のフィルタ演算中間値として、書き換える。
図4は、実施例1における動画用と静止画用の補正量の演算処理を説明するフローチャートである。
図4に示す処理は、マイコン内で処理される。なお、図4に示す処理は、例えば、角速度データのA/D変換による取り込み周期など、任意の所定の周期で繰り返し実行される。
ステップS1001において、補正量算出部112が、角速度センサ110から角速度信号を取得する。続いて、ステップS1002において、基準値演算部115が、HPF120の中間値に基づいて、角速度センサ110の基準値を算出する。ステップS1003において、動画用補正量算出部113が、動画用補正量を算出する。
次に、ステップS1004において、静止画用補正量算出部114が、静止画用補正量を算出する。続いて、ステップS1005において、補正量算出部112が、操作スイッチ140が全押しされているか否かを判断する。操作スイッチ140が全押しされていない場合は、ステップS1006へ進み、全押しされている場合は、ステップS1010へ進む。
次に、ステップS1006において、補正量算出部112が、操作スイッチ140が半押しされているか否かを判断する。操作スイッチ140が半押しされていない場合は、ステップS1008へ進み、半押しされている場合は、ステップS1007へ進む。ステップS1007において、基準値演算部115が、ステップS1002で算出した基準値が変化していれば更新し、ステップS1008へ進む。
ステップS1008において、切り替え制御部126が、ステップS1003で算出された動画用補正量を選択する。ステップS1009において、切り替え制御部126は、選択した動画用補正量を静止画用積分器124のフィルタ演算中間値として書き換える。そして、処理がステップS1013に進み、選択された補正量に応じてシフトレンズが駆動される。
ステップS1010において、基準値演算部115が、角速度センサ110の基準値の更新を停止する。ステップS1011において、切り替え制御部126が、ステップS1004で算出した静止画用補正量を選択する。ステップS1012において、切り替え制御部126が、選択された静止画用補正量を動画用積分器121のフィルタ演算中間値として書き換える。そして、処理がステップS1013に進み、選択された補正量に応じてシフトレンズが駆動制御される。
なお、上記の説明では、ブレ補正手段としてレンズシフト式の光学式像ブレ補正方式を用いた場合で説明したが、本発明は別の構成にも適用できる。例えば、レンズシフト式ではなくチルト式レンズ駆動やバリアングルプリズム(VAP)など、別の光学式像ブレ補正方式を用いた方法でも良いし、撮像素子を光軸に対して直交する平面上で動かして振れを補正するセンサシフト式の光学補正方式を用いても良い。撮像信号をメモリにバッファした後でブレ補正量に応じて画像の切り出し位置を変える電子式像ブレ補正方式を用いても良い。
実施例1の像ブレ補正装置は、静止画撮影ボタンの半押し中に角速度センサの基準値を算出する。そして、像ブレ補正装置は、静止画撮影ボタン全押し時にその基準値算出結果を用いると共に、動画用補正量演算を行っている間は静止画用積分器のフィルタ演算中間値を動画用補正目標値で書き換える。また、像ブレ補正装置は、静止画用補正量演算を行っている間は、動画用積分器のフィルタ演算中間値を静止画用補正目標値で書き換える。これにより、動画及び静止画でブレ信号処理方法を切り替えてもブレ補正制御における不連続性を無くし、ブレ補正性能を向上させることができる。
(実施例2)
図5は、実施例2の像ブレ補正装置を有する撮像装置の構成を示す図である。
図5に示す構成が、図2に示す構成と異なるのは、次の点である。パンニング制御部122が、操作スイッチ140が半押し中でも、パンニングが行われているか否かを判断する。パンニングが行われている場合は、パンニング制御部122は、流し撮り撮影中であると判断して、基準値演算部115に対してパンニング速度を出力する。基準値演算部115は、パンニング制御部122からパンニング速度が得られた場合は、パンニング成分を基準値として設定する。すなわち、本実施例では、パンニング制御部122は、撮影方向変更操作を検出する操作検出手段として機能し、基準値演算部115は、撮影方向変更操作の検出結果を用いて、基準値を算出する。
パンニング制御部122は、以下に示すいずれかの方法によってパンニング速度を算出することができる。一つめの方法として、角速度センサの出力が基準値に対して一定の出力を出している場合は、パンニング制御部122は、その角速度分がパンニングの角速度と判断する。また、二つめの方法として、パンニング制御部122は、動きベクトルを検出して、その動き量が一定の速度で動いている場合にパンニング中と判断し、単位時間あたりの動きベクトルの大きさからパンニング速度を算出する。また、別の方法としては、上記角速度センサと動きベクトルとを併用して、それぞれの動きから総合的にパンニング中であると判断し、パンニング速度を算出することも可能である。
図6は、流し撮り撮影時の像ブレ補正装置の動作を説明する図である。
まず、操作スイッチ140が押されていない状態の時、すなわち第1スイッチ(SW1)及び第2スイッチ(SW2)が共にオフの時、動画用補正量算出部113が、補正量を算出し、その補正量を補正目標値とする。また、この状態の時は、算出した動画用補正量を、静止画用補正量算出部114の積分器124のフィルタ演算中間値として書き換える。
次に、操作スイッチ140が半押しされている状態の時、すなわち第1スイッチ(SW1)がオンで第2スイッチ(SW2)がオフの時には、動画用補正量算出部113が補正量を算出し、その補正量を補正目標値とする。また、同時に、算出した動画用補正量を静止画用補正量算出部114の積分器124のフィルタ演算中間値として書き換える。さらに、基準値演算部115が、パンニング制御部122から得られる角速度センサ110の出力(パンニング速度)を考慮して基準値を算出し、その算出結果に基づいて、基準値補正部116が基準値を補正する。
次に、操作スイッチ140が全押しされた状態の時、すなわち第1スイッチ(SW1)がオフで第2スイッチ(SW2)がオンとなった時、補正量演算を静止画用に切り替えて静止画用補正量算出部114が補正量を算出し、その補正量を補正目標値とする。また、この状態の時つまり静止画露光中の時は、算出した静止画用補正量を動画用補正量算出部113の積分器121のフィルタ演算中間値として書き換える。この時、基準値演算は行わず、SW2がオンとなる直前、すなわちSW1がオンの時に算出した基準値を更新しない。この基準値は、流し撮りのパンニング速度成分が含まれた値となっている。
最後に、操作スイッチ140の全押しが解除された状態の時、すなわち第1スイッチ(SW1)及び第2スイッチ(SW2)が共にオフに戻った時、動画用補正量算出部113が補正量を算出し、その補正量を補正目標値とする。また同時に、算出した動画用補正量を、静止画用補正量算出部114の積分器124のフィルタ演算中間値として書き換える。
図7は、実施例2における動画用と静止画用の補正量の演算処理を説明するフローチャートである。
ステップS2001、ステップS2003乃至S2013は、ステップS1001、ステップS1003乃至S1013と同様である。
図7のステップS2002において、基準値演算部115が、パンニング速度を考慮して角速度センサの基準値を算出する。具体的には、パンニング制御部122からパンニング速度が得られた場合は、基準値演算部115は、パンニング成分を基準値として設定する。
実施例2の像ブレ補正装置は、静止画撮影ボタン半押し中に流し撮りによるパンニング速度を考慮して角速度センサの基準値を算出する。そして、静止画撮影ボタン全押し時にその基準値算出結果を用いると共に、動画用補正量演算を行っている間は静止画用積分器のフィルタ演算中間値を動画用補正目標値で書き換える。また、静止画用補正量演算を行っている間は動画用積分器のフィルタ演算中間値を静止画用補正目標値で書き換える。したがって、動画及び静止画でブレ信号処理方法を切り替えても、ブレ補正制御における不連続性を無くし、流し撮り撮影時のブレ補正性能を向上させることができる。
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。
101 レンズ群
112 補正量算出部
130 ブレ補正制御部

Claims (11)

  1. ブレ補正手段を制御して撮像画像の像ブレを補正する像ブレ補正装置であって、
    振れ検出信号に基づいて、動画撮影時の前記像ブレの補正に用いられる第1の補正量を演算する第1の演算手段と、
    前記振れ検出信号に基づいて、静止画撮影時の前記像ブレの補正に用いられる第2の補正量を演算する第2の演算手段と、
    前記第1の補正量と前記第2の補正量のうち、前記像ブレの補正に用いる補正量を選択するとともに、前記第1の演算手段と前記第2の演算手段のうち、前記選択されなかった補正量に対応する演算手段の中間演算値を、前記選択された補正量に基づいて更新する制御を実行する制御手段と、
    前記第1の演算手段の、前記振れ検出信号の基準値を演算する第3の演算手段と、 前記振れ検出信号を、前記基準値を用いて補正する信号補正手段と
    を備え、
    前記第1の演算手段が選択されているときは、前記制御手段が、前記第2の演算手段の中間演算値を前記第1の補正量に書き換え、
    前記第1の演算手段から前記第2の演算手段への選択切替時に、前記第3の演算手段が、前記第1の演算手段に入力された前記振れ検出信号に基づいて前記基準値を補正し、
    前記第2の演算手段へ選択が切り替えられた後は、前記信号補正手段が、前記第3の演算手段により前記選択切替時に補正された前記基準値を用いて、前記第2の演算手段に入力される前記振れ検出信号を補正する
    ことを特徴とする像ブレ補正装置。
  2. 前記制御手段は、静止画露光中でない場合は、前記像ブレの補正に用いる補正量として前記第1の補正量を選択し、前記第2の演算手段の中間演算値を前記第1の補正量に基づいて更新する
    ことを特徴とする請求項1に記載の像ブレ補正装置。
  3. 前記制御手段は、静止画露光中である場合は、前記像ブレの補正に用いる補正量として前記第2の補正量を選択し、前記第1の演算手段の中間演算値を前記第2の補正量に基づいて更新する
    ことを特徴とする請求項1または請求項2に記載の像ブレ補正装置。
  4. 前記第1の演算手段は、前記補正された振れ検出信号に基づいて、前記第1の補正量を演算し、前記第2の演算手段は、前記補正された振れ検出信号に基づいて、前記第2の補正量を演算する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の像ブレ補正装置。
  5. 前記第1の演算手段は、ハイパスフィルタと積分器とを備え、
    前記第2の演算手段は、積分器を備える
    ことを特徴とする請求項4に記載の像ブレ補正装置。
  6. 前記第3の演算手段は、前記第1の演算手段が備える前記ハイパスフィルタの演算結果に基づいて、前記基準値を算出して設定する
    ことを特徴とする請求項5に記載の像ブレ補正装置。
  7. 前記第3の演算手段は、静止画露光中は前記設定されている基準値を更新しない
    ことを特徴とする請求項6に記載の像ブレ補正装置。
  8. 撮影方向変更操作を検出する操作検出手段を備え、
    前記第3の演算手段は、前記撮影方向変更操作の検出結果を用いて、前記基準値を算出する
    ことを特徴とする請求項4乃至7のいずれか1項に記載の像ブレ補正装置。
  9. 請求項1乃至8のいずれか1項に記載の像ブレ補正装置を備える光学機器。
  10. 撮像素子と、
    請求項1乃至8のいずれか1項に記載の像ブレ補正装置と、を備える撮像装置。
  11. ブレ補正手段を制御して撮像画像の像ブレを補正する像ブレ補正装置の制御方法であって、
    第1の演算手段が、振れ検出信号に基づいて、動画撮影時の前記像ブレの補正に用いられる第1の補正量を演算する第1の演算工程と、
    第2の演算手段が、前記振れ検出信号に基づいて、静止画撮影時の前記像ブレの補正に用いられる第2の補正量を演算する第2の演算工程と、
    前記第1の補正量と前記第2の補正量のうち、前記像ブレの補正に用いる補正量を選択するとともに、前記第1の演算手段と前記第2の演算手段のうち、前記選択されなかった補正量に対応する演算手段の中間演算値を、前記選択された補正量に基づいて更新する制御を実行する制御工程と、
    前記第1の演算手段の、前記振れ検出信号の基準値を演算する第3の演算工程と、 前記振れ検出信号を、前記基準値を用いて補正する信号補正工程と
    を有し、
    前記第1の演算手段が選択されているときは、前記制御工程で、前記第2の演算手段の中間演算値を前記第1の補正量に書き換え、
    前記第1の演算手段から前記第2の演算手段への選択切替時に、前記第3の演算工程で、前記第1の演算手段に入力された前記振れ検出信号に基づいて前記基準値を補正し、 前記第2の演算手段へ選択が切り替えられた後は、前記信号補正工程で、前記第3の演算工程により前記選択切替時に補正された前記基準値を用いて、前記第2の演算手段に入力される前記振れ検出信号を補正する
    ことを特徴とする制御方法。
JP2015050179A 2015-03-13 2015-03-13 像ブレ補正装置、光学機器、撮像装置および制御方法 Active JP6642971B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015050179A JP6642971B2 (ja) 2015-03-13 2015-03-13 像ブレ補正装置、光学機器、撮像装置および制御方法
US15/067,863 US9811891B2 (en) 2015-03-13 2016-03-11 Image shake correction device, optical apparatus, imaging apparatus, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015050179A JP6642971B2 (ja) 2015-03-13 2015-03-13 像ブレ補正装置、光学機器、撮像装置および制御方法

Publications (3)

Publication Number Publication Date
JP2016170285A JP2016170285A (ja) 2016-09-23
JP2016170285A5 JP2016170285A5 (ja) 2018-04-19
JP6642971B2 true JP6642971B2 (ja) 2020-02-12

Family

ID=56888383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050179A Active JP6642971B2 (ja) 2015-03-13 2015-03-13 像ブレ補正装置、光学機器、撮像装置および制御方法

Country Status (2)

Country Link
US (1) US9811891B2 (ja)
JP (1) JP6642971B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176284B1 (ko) * 2015-04-08 2020-11-09 삼성전기주식회사 디지털 촬영시스템 및 그 제어방법
US10171739B2 (en) * 2016-03-02 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Image pickup device
WO2020044878A1 (ja) 2018-08-30 2020-03-05 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP7286415B2 (ja) * 2019-05-24 2023-06-05 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
US12067231B2 (en) 2022-05-24 2024-08-20 Motorola Mobility Llc Electronic devices and corresponding methods for capturing image quantities as a function of touch input type
US11770612B1 (en) * 2022-05-24 2023-09-26 Motorola Mobility Llc Electronic devices and corresponding methods for performing image stabilization processes as a function of touch input type

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388705B1 (en) * 1995-08-04 2002-05-14 Canon Kabushiki Kaisha Image sensing apparatus featured with vibration prevention function
JP4387028B2 (ja) * 2000-03-21 2009-12-16 株式会社リコー 撮像装置、撮像方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6778767B2 (en) * 2002-01-25 2004-08-17 Canon Kabushiki Kaisha Shake correcting device, image pickup apparatus, shake correcting method, program for implementing the method, storage medium storing the program
KR100819301B1 (ko) * 2006-12-20 2008-04-03 삼성전자주식회사 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치
JP2008283443A (ja) 2007-05-10 2008-11-20 Olympus Imaging Corp 撮像装置
JP5183518B2 (ja) 2008-03-11 2013-04-17 キヤノン株式会社 像振れ補正装置およびそれを備える光学機器、撮像装置
JP5178250B2 (ja) * 2008-03-11 2013-04-10 キヤノン株式会社 像ブレ補正装置およびそれを備える光学機器、撮像装置、像ブレ補正装置の制御方法
JP2011022273A (ja) * 2009-07-14 2011-02-03 Nikon Corp ブレ補正装置および光学機器
JP5419647B2 (ja) * 2009-11-16 2014-02-19 キヤノン株式会社 像振れ補正装置およびそれを備えた撮像装置、像振れ補正装置の制御方法
JP5269034B2 (ja) * 2010-10-19 2013-08-21 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2012163772A (ja) * 2011-02-07 2012-08-30 Canon Inc 撮像装置およびその制御方法
JP2012168420A (ja) * 2011-02-16 2012-09-06 Canon Inc 撮像装置およびその制御方法
EP2819394A1 (en) * 2011-06-10 2014-12-31 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
US8923691B2 (en) * 2012-01-30 2014-12-30 Panasonic Corporation Shake correcting device and imaging apparatus having shake correcting device
JP6074298B2 (ja) * 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
JP6302341B2 (ja) * 2014-04-23 2018-03-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP2016170285A (ja) 2016-09-23
US20160269637A1 (en) 2016-09-15
US9811891B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
JP6642971B2 (ja) 像ブレ補正装置、光学機器、撮像装置および制御方法
JP6530602B2 (ja) 撮像装置及びその制御方法
JP4757185B2 (ja) 光学機器
JP5563163B2 (ja) 撮像装置および撮像方法
JP6351247B2 (ja) 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6351246B2 (ja) 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6478504B2 (ja) 撮像装置およびその制御方法
JP6302341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
KR20110085141A (ko) 디지털 영상처리장치 및 방법
JP2014216864A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6806467B2 (ja) 画像処理装置及び方法、撮像装置、及び撮像システム
JP2012128202A (ja) 光学機器及びそれを備えた撮像装置、光学機器の制御方法
JP2018072540A (ja) 画像処理装置、その画像処理方法および光学機器
JP4876550B2 (ja) 撮像装置、制御方法および制御プログラム
JP6395401B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP2015049401A (ja) 撮像装置及びその制御方法
JP2017161649A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2012237770A (ja) 撮像装置およびレンズ鏡筒
JP6611585B2 (ja) ズーム制御装置およびズーム制御方法、撮像装置
JP6738151B2 (ja) 撮像装置及びその制御方法
JP2011013555A (ja) ブレ補正装置及び光学機器
JP6663217B2 (ja) 撮像装置およびその制御方法
JP6278798B2 (ja) 撮像装置、その制御方法及びプログラム
JP7451152B2 (ja) 撮像装置、制御方法及びコンピュータプログラム
JP5967885B2 (ja) 光学機器およびそれを備えた撮像装置、光学機器の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6642971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151