JP5230398B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5230398B2
JP5230398B2 JP2008323644A JP2008323644A JP5230398B2 JP 5230398 B2 JP5230398 B2 JP 5230398B2 JP 2008323644 A JP2008323644 A JP 2008323644A JP 2008323644 A JP2008323644 A JP 2008323644A JP 5230398 B2 JP5230398 B2 JP 5230398B2
Authority
JP
Japan
Prior art keywords
shake
motion vector
output
integration
panning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008323644A
Other languages
English (en)
Other versions
JP2010147857A (ja
JP2010147857A5 (ja
Inventor
賢一 宮迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008323644A priority Critical patent/JP5230398B2/ja
Priority to US12/641,224 priority patent/US7983547B2/en
Priority to AT09179918T priority patent/ATE546012T1/de
Priority to EP09179918A priority patent/EP2200276B1/en
Priority to EP11192694.5A priority patent/EP2434749B1/en
Priority to ES09179918T priority patent/ES2380431T3/es
Priority to CN2009102612317A priority patent/CN101753845B/zh
Publication of JP2010147857A publication Critical patent/JP2010147857A/ja
Priority to US13/155,582 priority patent/US8175448B2/en
Publication of JP2010147857A5 publication Critical patent/JP2010147857A5/ja
Application granted granted Critical
Publication of JP5230398B2 publication Critical patent/JP5230398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、例えば、手ブレ等による撮像画像の像ぶれを光学的に補正する機能を備えた撮像装置及びその制御方法に関するものである。
例えば、ビデオカメラ等の撮像装置では、オートエクスホージャ(AE)やオートフォーカス(AF)等、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。また、近年では、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置のブレ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置のブレ(手ブレ)等により生じた撮像画像のブレを補正するブレ補正機能が種々提案されている。そして、このようなブレ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。
そこで、例えば、ブレ補正機能を備えた撮像装置として、図6に示すような構成のものがある。
このブレ補正機能を備えた撮像装置200において、まず、角速度センサ201は、撮像装置本体に取り付けられており、装置のブレを角速度として検出する。DCカットフィルタ202は、角速度センサ201から出力される角速度信号の直流(DC)成分を遮断して、交流成分、すなわち振動成分のみを通過させる。アンプ(増幅器)203は、DCカットフィルタ202を通過して出力された角速度信号を適当な感度に増幅して出力する。A/D(アナログ/ディジタル)変換器204は、アンプ203から出力された角速度信号をディジタル化して出力する。
HPF205、積分器206、パン・チルト判定回路207、制御フィルタ208、パルス幅変調回路209、動きベクトル検出回路220、及び動きベクトル処理回路221は、例えば、マイクロコンピュータ(マイコン)uCOM223によって構成される。なお、HPFはハイパスフィルタのことである。
HPF205は、任意の周波数帯域でその特性を可変し得る機能を有しており、A/D変換器204から出力されたディジタルの角速度信号(角速度データ)に含まれる低周波成分を遮断して出力する。積分器206は、任意の周波数帯域でその特性を可変し得る機能を有しており、HPF205から出力された角速度データを積分して、その積分結果を角変位データとして出力する。焦点距離補正回路207は、ズーミング及びフォーカシング動作を行う撮像光学系213の、ズーム位置を検出するズームエンコーダ217から、現在のズーム位置情報を取得し、その情報から焦点距離を算出する。そして、この焦点距離情報と、上述した角変移データから、補正光学系212の駆動量(ジャイロ系補正データ)を算出する。
振動ジャイロ等を用いた角速度センサ201では、1Hz以下の低域周波数において、角速度の検出特性が劣化する。したがって、この低周波数帯域では、補正誤差の影響が顕著となり、低域周波数のブレ残りが生じ、画質の劣化につながる。そこで、角速度検出の他に、撮像画像のブレ残りを検出する回路、すなわち動きベクトル検出回路220を更に備え、低周波数帯域のブレ残り量を検出し、これを補正することで、以下に示すような補正性能を向上させる処理を行う。
動きベクトル検出回路220は、撮像装置の撮像素子218により得られた撮像画像情報から、信号処理回路219で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。信号処理回路219は、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成する。動きベクトル処理回路221は、動きベクトル検出回路220で検出された動きベクトルを補正光学系212の駆動量(ベクトル系補正データ)に変換する。
上記ベクトル系補正データは、低周波数帯域のブレ残りを補正するための信号である。このベクトル系補正データと、上述したジャイロ系補正データを加算したデータが、低周波数帯域から高周波数帯域まで、全周波数帯域のブレ補正を行う、最終的な補正光学系212の駆動量(最終補正データ)となる。
制御フィルタ208には、上記最終補正データと、補正光学系212の位置を検出する位置検出センサ214の出力を、A/D変換器216によってディジタル化した値(位置検出データ)との差分が入力される。パルス幅変調回路209は、制御フィルタ208の出力をPWM(Pulse Width Modulation)信号に変換し出力する。モータ駆動回路215は、パルス幅変調回路209からのPWM出力に基づいて、補正光学系212を動かすためのモータ211を駆動し、撮像面への入射光の光軸を変えることで、撮像画像に生じるブレを光学的に補正する。
パン・チルト判定回路207は、A/D変換器204から出力された角速度データ及び積分器206から出力された角変位データに基づいて、パンニング・チルティングの判定を行って、パンニング制御を行う。すなわち、角速度データが所定の閾値以上、或いは、角速度データが所定の閾値に満たなくとも角変位データ(積分結果)が所定の閾値以上であるならば、パンニング状態或いはチルティング状態であると判定し、パンニング制御を行う。
このパンニング制御では、まず、HPF205の低域カットオフ周波数を高域側に変移させる。これにより、低域の周波数に対しては、ブレ補正が応答しないようになる。また、積分器206での積分演算に用いる時定数の値を短くなる方向に変移させる。これにより、ブレ補正位置が徐々に移動範囲中心へとセンタリングし、積分器206から出力される角変位データの値が基準値(ブレがない状態においてとりうる値)に徐々に近づいていく。更に、動きベクトル処理回路221において、動きベクトル検出からベクトル系補正データを算出する際のゲインを小さくなる方向に変移させる。
一方、そうでない場合には、パンニング状態或いはチルティング状態でないと判定し、HPF205の低域カットオフ周波数を低域側に変移させ、また、積分器206での積分演算に用いる時定数の値も長くなる方向に変移させる。更に、動きベクトル処理回路221の動きベクトル検出からベクトル系補正データを算出する際のゲインを大きくなる方向に変移させる。これにより、HPF205の低域カットオフ周波数、及び積分器206での積分演算に用いる時定数の値、動きベクトル処理回路221のベクトル系補正データ算出ゲインが各々元の状態に戻され、パンニング制御を解除することになる。
上述した、パン・チルト判定回路207の制御は、例えば特許文献1等に開示されており、低域の周波数のブレ補正を抑制しつつ、高域の周波数のブレ補正を行うことができ、パンニング状態或いはチルティング状態のブレ補正制御として有効である。
特開平11−187308号公報
しかしながら、撮像装置200に示すような従来のブレ補正機能においても、次のような問題があった。
図7(a)は、パンニング動作(画角変更動作)の開始から終了までの角速度センサ201の出力の変化を示したグラフである。図7(a)は、時間T1からT2まで徐々に加速し、時間T2からT4まで一定速度でパンニング動作を行い、時間T4からT5まで徐々に減速し、パンニング動作を終了したときのグラフとなっている。
図7(b)は、上述したパンニング動作を行ったときの、A/D変換器204の出力(角速度データ)の変化を示したグラフである。また、図7(c)は、上述したパンニング動作を行ったときの、積分器206の出力(角変位データ)の変化を示したグラフである。
図7(b)は、角速度センサ201の出力を、DCカットフィルタ202を通した後の信号の変化を示したグラフであるため、時間T2からT4にかけてDC成分が減衰されたグラフとなっている。そのため、角速度データに対するパンニング制御に移行する閾値をPan_th1とし、図7(b)のグラフに示すように設定すると、時間T2からT3にかけて角速度データがPan_th1を超えたときに、パンニング制御に移行する。しかし、DC成分が減衰される影響で、時間T3からT4にかけては、パンニング動作中であっても、パンニング動作中であるという判定が行われない。なお、T3とT3´はT2とT4の間の任意の時間であり、パンニングの速度や時間によって変化する。
また、角変位データに対するパンニング制御に移行する閾値をPan_th2とし、図7(c)のグラフに示すように設定する。このとき、時間T2からT3にかけては、角変位データがPan_th2を超えるためパンニング動作(画角変更動作)の開始判定がなされ、パンニング制御に移行する。パンニング制御に移行すると、上述したようにHPF205の低域遮断周波数(低域カットオフ周波数)を高域側に変移させ、積分器206での積分演算に用いる時定数の値を短くなる方向に変移させる。そのため、図7(b)の時間T2からT3のように、角速度データがプラス側に大きくシフトしたとしても、角変位データの増加は抑制され、基準値(ブレがない状態においてとりうる値)に徐々に近づいていく。
その結果、時間T3からT3´にかけては、角変位データは基準値に徐々に近づいていく。そして、Pan_th2を下回ると、パンニング動作(画角判定動作)の終了判定がなされ、パンニング制御を解除してしまう。パンニング制御を解除すると、上述したようにHPF205の低域カットオフ周波数を低域側に変移させ、また、積分器206での積分演算に用いる時定数の値も長くなる方向に変移させる。そのため、図7(b)のように、角変位データがプラス側にシフトしていると、角変位データが増加し、再びPan_th2を上回り、パンニング制御に移行する。このように、時間T3からT3´にかけては、パンニング制御への移行とパンニング制御の解除を繰り返し、撮像画像が不自然な動きとなってしまう。
時間T3´からT4にかけては、図7(b)のように、角速度データのDC成分がゼロに収束しているため、角変位データの大きな変動は生じず、パンニング動作中であるという判定が行われない。
時間T4からT5にかけては、パンニング動作の減速時の角速度センサ出力によって、角速度データがマイナス方向に変動する。時間T4のときは、上述したようにパンニング動作中であるという判定が行われておらず、HPF205の低域カットオフ周波数が低域側に、また積分器206での積分演算に用いる時定数の値も長くなる方向に設定されている。そのため、角速度データがマイナス方向に変動したときの信号成分は減衰されず、角変位データはマイナス方向に大きく変動してしまう。この結果、パンニング動作の終了後にユーザーが撮像装置を動かしていないにも関わらず、撮像画像が動いてしまうことになる。
以上のように、従来のブレ補正機能においては、DCカットフィルタ202によって、パンニング動作時の低域の周波数成分が減衰されることによって、パンニング動作中であっても、パンニング制御が解除されてしまう。それ故に、撮像画像が不自然な画になってしまうという問題点があった。
そこで、本発明は、上記の問題点を解決するために成されたもので、パンニング判定の精度を向上し、パンニング制御中及びパンニング制御の終了後においても、不自然な動きが生じることを低減した撮像装置およびその制御方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、装置の振れを検出する振れ検出手段と、前記振れ検出手段の出力に基づいた信号を積分する振れ出力積分手段と、動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルを積分する動きベクトル積分手段と、前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方、前記動きベクトル積分手段からの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方および、前記動きベクトル積分手段からの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定手段と、前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有することを特徴とする。
また、装置の振れを検出する振れ検出手段と、動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルを積分する動きベクトル積分手段と、前記振れ検出手段の出力に基づいた値、もしくは前記動きベクトル積分手段からの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、前記振れ検出手段の出力に基づいた値および、前記動きベクトル積分手段からの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定手段と、前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有することを特徴とする。
さらに、本発明の別の実施形態に係わる撮像装置の制御方法は、像ぶれ補正を行う撮像装置の制御方法であって、装置の振れを検出する振れ検出ステップと、前記振れ検出ステップからの出力に基づいた信号を積分する振れ出力積分ステップと、動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトルを積分する動きベクトル積分ステップと、前記振れ検出ステップの出力もしくは前記振れ出力積分ステップの出力の少なくとも一方、前記動きベクトル積分ステップからの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、前記振れ検出ステップの出力もしくは前記振れ出力積分ステップからの出力の少なくとも一方および、前記動きベクトル積分ステップからの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定ステップと、前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御ステップとを有することを特徴とする。
本発明によれば、パンニング判定の精度を向上し、パンニング制御中及びパンニング制御の終了後において、不自然な動きが生じることを低減した撮像装置およびその制御方法を提供することが可能となる。
以下、本発明を実施するための好適な一実施形態について図面を用いて説明する。
図1は、例えば本発明の一実施形態に係る撮像装置としてのビデオカメラの構成を示すブロック図である。図1の撮像装置100において、従来と異なるのは、上記図1に示すように、動きベクトル積分器123を設け、動きベクトル積分器123の出力を用いて、パン・チルト判定回路122において、パンニング若しくはチルティングの判定を行うようにしたことにある。
図1の撮像装置100の各構成部とその一例の動作について具体的に説明する。
角速度センサ101は撮像装置100に加わるブレ検出を行う。例えば、振動ジャイロの角速度センサを含み、手ブレ等による装置自体のブレを角速度信号として検出し、その角速度信号をDCカットフィルタ102に供給する。DCカットフィルタ102は、角速度センサ101からの角速度信号に含まれる直流(DC)成分を遮断して、該角速度信号の交流成分、すなわち振動成分のみをアンプ103に供給する。尚、DCカットフィルタ102として、所定の周波数帯域で入力信号を遮断するハイパスフィルタ(HPF)を用いてもよい。アンプ103は、DCカットフィルタ102からの角速度信号(振動成分)を、最適な感度に増幅して、A/D変換器104に供給する。A/D変換器104は、アンプ103からの角速度信号をディジタル化して、角速度データとしてuCOM125内部のハイパスフィルタ(高域通過フィルタ)であるHPF105に供給する。
uCOM125内部には、A/D変換器104の出力が供給されるHPF105と、HPF105の出力が供給される積分器106が備えられている。また、動きベクトル検出回路120の出力が供給される動きベクトル処理回路121及び動きベクトル積分器123が備えられている。更に、A/D変換器104、積分器106、及び動きベクトル積分器123の出力が供給されるパン・チルト判定回路122が備えられている。そして、パン・チルト判定回路122の判定結果に応じて、HPF105、積分器106、及び動きベクトル処理回路121の演算が変更される。
HPF105は、任意の周波数帯域でその特性を可変し得る機能を有しており、A/D変換器104からの角速度データに含まれる低周波成分を遮断して高周波数帯域の信号を出力する。積分器106は、任意の周波数帯域でその特性を可変し得る機能を有しており、HPF105から出力された角速度データを積分し、その積分結果を角変位データとして出力する。
撮像光学系113は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子118に結像する。ズームエンコーダ117は、撮像光学系113のズーム位置を検出し、uCOM125内部の焦点距離補正回路107に出力する。焦点距離補正回路107では、ズームエンコーダ117の出力より、撮像光学系113の焦点距離を算出し、該焦点距離と積分器106の出力とから、補正光学系112の駆動量(第1のブレ補正量であるジャイロ系補正データ)を算出する。撮像素子118は、撮像光学系113によって結像された被写体像を電気信号に変換し、信号処理回路119に供給する。信号処理回路119は、撮像素子118により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して動きベクトル検出回路120に供給する。
動きベクトル検出回路120は、信号処理回路119からの映像信号に含まれる輝度信号を基に、動きベクトルを検出する。具体的には、まず、動きベクトル検出法としては、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出回路120に採用するものとする。このブロックマッチング法とは、まず入力画像信号を複数の適当な大きさのブロック(例えば、8×8画素)に分割し、ブロック単位に前のフィールド又はフレームの一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフィールド又はフレームのブロックを検索し、当該ブロックの相対的なずれをそのブロックの動きベクトルとして検出する方法である。尚、ブロックマッチング法でのマッチング演算については、尾上守男氏等による”情報処理Vo 1.17 No.7 p634 〜640 July 1976 ”等で詳しく論じられているため、その詳細な説明は省略する。
動きベクトル検出回路120の構成例を図2に示す。フィルタ301は、画像信号の高空間周波数成分等を除去する目的を有するものであり、信号処理回路119から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。2値化回路302は、フィルタ301から出力された画像信号を所定のレベルを境に2値化して相関演算回路303及び記憶回路306に各々供給する。記憶回路306は2値化回路302の前回のサンプルデータを記憶し、2値化回路302からの画像信号を、1フィールド期間遅延して相関演算回路303に供給する。相関演算回路303は2値化回路302及び記憶回路306の各出力の相関演算を行う。即ち、相関演算回路303には、2値化回路302からの画像信号(現フィールドの画像信号)と、記憶回路306からの画像信号(前フィールドの画像信号)とが供給されることになる。そして相関演算回路303は、上述したブロックマッチング法に従って、ブロック単位に現フィールドと前フィールドの相関演算を行い、その演算結果である相関値を動きベクトル検出回路304に供給する。動きベクトル検出回路304は相関演算回路303からの相関値からブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとして検出する。動きベクトル決定回路305は動きベクトル検出回路304からのブロック単位の動きベクトルから全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値を全体の動きベクトルとして決定する。そして、動きベクトル決定回路305の出力が、uCOM125内部の動きベクトル処理回路121及び動きベクトル積分器123に供給されるようになされている。
上述のような構成により、動きベクトル検出回路120では、画素単位での垂直方向及び水平方向各々の移動量(即ち動きベクトル)が求められる。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像画像のブレ残りを示すものである。換言すれば、角速度センサ101側の補正量であるジャイロ系補正データの誤差がない場合は、撮像画像上の動きベクトルは検出されないことになる。
図1に再び戻り、動きベクトル処理回路121は、動きベクトル検出回路120から出力された動きベクトルのデータをローパスフィルタ(低域通過フィルタ,LPF)を用いて積分し、その積分結果を動きベクトルの変位データとして算出する。その結果が補正光学系112の駆動量なる。この結果が第2のブレ補正量としてのベクトル系補正データである。動きベクトル積分器123は、動きベクトル検出回路120から出力された動きベクトルのデータを積分し、そのベクトル積分データをパン・チルト判定回路122に出力する。上記積分の方法としては、ローパスフィルタ(LPF)を用いる方法、単位時間毎に動きベクトル検出回路120の出力を加算していく方法等種々の方法があるが、いずれの方法を採用してもよい。
パン・チルト判定回路122は、ユーザが例えば撮像装置に対してパンニング動作若しくはチルティング動作をしたときに、その撮像装置がパンニングされている状態若しくはチルティングされている状態であるか否かの判定を行う。A/D変換器104から出力された角速度データ、積分器106から出力された角変位データ、及び動きベクトル積分器123から出力されたベクトル積分データに基づいて、撮像装置がパンニング状態若しくはチルティング状態であるか否かの判定を行う。そして、パン・チルト判定回路122によって撮像装置がパンニング状態もしくはチルティング状態であると判断されるとパンニング制御を行う。このベクトル積分データに基づいてパンニング状態若しくはチルティング状態であるか否かの判定を行う点が、本装置において最も特徴とする構成要件である。詳細な説明は後述する。
加減算器110はまず、焦点距離補正回路107から出力された角速度センサ101側の補正量であるジャイロ系補正データと、動きベクトル処理回路121から出力された動きベクトル検出回路120側の補正量とを加算して、最終補正データとする。そして最終補正データを、補正光学系112の駆動量として算出する。また、加減算器110は、補正光学系112の位置を検出する位置検出センサ114の出力をA/D変換器116にてA/D変換し、ディジタル化したデータを上記最終補正データから減算し、その結果である偏差データを制御フィルタ108に供給する。制御フィルタ108は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。
加減算器110から供給された偏差データは、制御フィルタ108に供給され、上記増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調回路109に出力される。パルス幅変調回路109は、制御フィルタ108を通過して供給されたデータを、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、モータ駆動回路115に供給する。モータ111は、補正光学系112の駆動用のボイス・コイル型モータであり、モータ駆動回路115から駆動されることにより、補正光学系112が光軸と垂直な方向に移動される。位置検出センサ114は、磁石とそれに対抗する位置に備えられたホール・センサとからなり、補正光学系112の光軸と垂直な方向への移動量を検出し、その検出結果をA/D変換器116を介して、上述した加減算器110に供給する。これによって、上述した最終補正データに対して、補正光学系112の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。
補正光学系112は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸の向きを偏向する、光学的にブレ補正可能な補正系である。その結果、装置のブレ等により生じる撮像面上の被写体の移動が補正された像が、撮像光学系113を介して撮像素子118に結像される。撮像素子118の出力は、信号処理回路119で所定の信号処理が行われ、ビデオ出力端子124を介して、記録装置や表示装置に供給されると共に、動きベクトル検出回路120に供給されることになる。
(実施例1)
本実施例の一例であるの図1の撮像装置100におけるパン・チルト判定回路122が実行する処理の第一の方法について、以下に図面を用いて詳細な説明を行う。
図3は、パン・チルト判定回路122の処理の流れを示したフローチャートである。ステップS11においては、A/D変換器104から出力された角速度データが所定の閾値以上であるか否かの判定を行う。角速度データが所定の閾値以上でなかった場合は、ステップS12の処理に進む。ステップS12においては、積分器106から出力された角変位データが所定の閾値以上であるか否かの判定を行う。角変位データが所定の閾値以上でなかった場合は、ステップS13の処理に進む。ステップS13においては、動きベクトル積分器123から出力されたベクトル積分データが所定の閾値以上であるか否かの判定を行う。ベクトル積分データが所定の閾値以上でなかった場合は、ステップS14の処理に進む。なお、ステップS11、S12、S13のいずれか1ステップにおいて所定の閾値以上と判断されたときは、本実施例における撮像装置がパンニング状態もしくはチルティング状態にあると判断される。また、ステップS11、S12、S13の全てのステップにおいて閾値以下と判断されたときは、本実施例における撮像装置がパンニング状態もしくはチルティング状態に無いと判断される。ステップS14においては、本実施例における撮像装置がパンニング状態或いはチルティング状態であると判定された後に、パンニング状態或いはチルティング状態で無いと判定されてから所定時間以内であるかどうかの判定を行う。所定時間とは、例えば図4(d)のT_stableのようにパンニング状態或いはチルティング状態で無いと判定されてからの時間である。ステップS14において、所定時間以内でないと判定された場合は、ステップS15の処理に進む。
また、ステップS11において角速度データが所定の閾値以上である場合、ステップS12において角変位データが所定の閾値以上である場合、ステップS13においてベクトル積分データが所定の閾値以上である場合はステップS16の処理に進む。或いはステップS11からステップS13において、各々のデータが所定の閾値を下回っている場合でも、ステップS14においてパンニング状態或いはチルティング状態でないと判定されてから所定時間以内である場合にはステップS16の処理に進む。
ステップS16の処理はパンニング制御中の処理である。ステップS16ではパン・チルト判定回路122は、HPF105での演算に用いるカットオフ周波数の値をパンニング制御前のカットオフ周波数の値より高く(高域側に)設定し、低周波信号の減衰率をパンニング制御前の減衰率より大きくする。また、積分器106での演算に用いる時定数の値をパンニング制御前の時定数の値より短くし、角変位データが基準値に近づくようにする。更に、動きベクトル処理回路121へ供給される動きベクトル検出回路120からの信号をゼロに置換え、ベクトル系補正データによるブレ補正を停止する。若しくは、動きベクトル処理回路121の入力をゼロにする処理を、動きベクトル処理回路のゲインを小さくして制限する等の方法を用いても良い。これによって、パンニング動作の主成分である低周波数帯域の角速度データ及びベクトルデータを、補正対象から除外することができ、ユーザーのパンニング動作をブレとして補正してしまうことを防止することができる。そして、ステップS16の後、本処理終了となる。
一方ステップS15の処理は、ステップS11、ステップS12、ステップS13の各判定の結果、角速度データ、角変位データ、ベクトル積分データの全ての値が閾値を下回ってから所定時間以上経過したときに行う処理である。即ち、パンニング状態若しくはチルティング状態でないと判定されてから所定時間以上経過したときに行う処理である。ステップS15では、パン・チルト判定回路122は、HPF105での演算に用いるカットオフ周波数の値を低い値(低域側)に設定し、低周波信号の減衰率を小さい状態とする。また、積分器106での演算に用いる時定数の値を長く設定し、積分効果を上げる。更に、動きベクトル検出回路120から動きベクトル処理回路121への、信号の入力を許可し、ベクトル系補正データによるブレ補正を行う。これによってパンニング制御を終了する。ステップS15の処理によって、パンニング状態若しくはチルティング状態でないと判定されてから所定時間経過後は、低周波数帯域までブレ補正を行うように設定され、全周波数帯域において良好なブレ補正性能を発揮することができる。そして、ステップS15の後、本処理終了となる。
尚、上記図3に示したステップS11からの処理は、例えば1フィールドごと(NTSC方式では60Hz)といった所定のタイミングで繰り返し行われる。
次に図4を用いて、動きベクトル積分器123の出力であるベクトル積分データを用いて、本実施例における撮像装置がパンニング若しくはチルティング状態であるか否かの判定を行うことの有効性について説明を行う。
図4は、本実施例における撮像装置にて図7と同様のパンニング動作を行ったとき、図3のフローチャートに示した処理を行った場合の図である。図4(a)は、パンニング動作の開始から終了までの角速度センサ101の出力の変化を示したグラフである。図4(a)は、時間T1からT2まで徐々に加速し、時間T2からT4まで一定速度でパンニング動作を行い、時間T4からT5まで徐々に減速し、パンニング動作を終了したときの角速度センサ出力の時間による変化を示したグラフとなっている。図4(b)は、上述したパンニング動作を行ったときの、A/D変換器104の出力である角速度データの時間による変化を示したグラフである。図4(c)は、上述したパンニング動作を行ったときの、積分器106の出力である角変位データの時間による変化を示したグラフである。図4(d)は、上述したパンニング動作を行ったときの、動きベクトル積分器123の出力であるベクトル積分データの時間による変化を示したグラフである。
図4(b)のA/D変換器104の出力である角速度データの変化は、角速度センサ101の出力をDCカットフィルタ102を通した後の信号の変化を示したグラフであるため、時間T2からT4にかけてDC成分が減衰されたグラフとなっている。よって図3のステップS11における角速度データに対するパンニング制御に移行する閾値をPan_th1とし、図4(b)のグラフに示すように設定すると、時間T2からT3にかけて角速度データがPan_th1を超えたとき、パンニング制御に移行する。しかしDCカットフィルタ102を通すためにDC成分が減衰され、その影響で時間T3からT4にかけてはパンニング動作中であってもパンニング状態若しくはチルティング状態であるという判定が行われない。
また、図3のステップS12における、角変位データに対するパンニング制御に移行する閾値をPan_th2とし、図7(c)のグラフに示すように設定する。このとき、時間T2からT3にかけては、角変位データがPan_th2を超えるためパンニング動作(画角変更動作)の開始判定がなされ、パンニング制御に移行する。パンニング制御に移行すると、上述したようにHPF105の低域遮断周波数(低域カットオフ周波数)を高域側に変移させ、積分器106での積分演算に用いる時定数の値を短くなる方向に変移させる。そのため、図4(b)の時間T2からT3のように、角速度データがプラス側に大きくシフトしたとしても、角変位データの増加は抑制され、基準値に徐々に近づいていく。なお、本実施例において基準値とはブレがない状態において角変位データがとりうる値である。その結果、時間T3からT3´にかけては、角変位データは基準値に徐々に近づいていく。そして、Pan_th2を下回り、パンニング動作(画角判定動作)の終了判定がされる。そのため、パンニング動作中であっても、パンニング状態状態もしくはチルティング状態であるという判定が行われない。
そこで本発明の実施例における撮像装置においては、更にパンニング状態もしくはチルティング状態であるという判定にベクトル積分データを用いる。上述したように、図4(d)はパンニング動作中のベクトル積分データの変化を示したグラフであり、時間T2からT3にかけて角速度データがPan_th1を超え、また角変位データがPan_th2を超えることにより、パンニング制御に移行する。このとき、上述したようにHPF105の低域カットオフ周波数を高域側に変移させ、積分器106での積分演算に用いる時定数の値を短くなる方向に変移させるため、低周波信号の減衰率が大きくなり、角変位データは基準値に近づく。その結果、低周波数帯域のブレ残りが大きくなり、動きベクトル検出回路120及び動きベクトル積分器123の出力であるベクトル積分データも大きくなる。
そこで本発明の実施例における撮像装置においては、図3のステップS13における、ベクトル積分データに対するパンニング制御に移行する閾値をPan_th3とし、図4(d)のグラフに示すように設定する。すると、時間T2からT3の間に、ベクトル積分データの出力はPan_th3を超え、以降、時間T4からT5にかけてパンニング動作を終了するまでの期間は、撮像素子118に結像された画像が動きつづける。そのため、ベクトル積分データはPan_th3を常に上回り、パンニング状態若しくはチルティング状態であるという判定が行われる。これにより、時間T3からT3´にかけても常にパンニング制御を保つことができ、図4(c)に示すように、角変位データは基準値に近づいていく。
時間T4からT5にかけては、パンニング動作の減速時の角速度センサ出力によって、角速度データがマイナス方向に変動する。そこで、図3のステップS14の所定時間をT_stableとし、図4(d)に示すように、図4(b)の角速度データがマイナス方向に変動している期間をカバーするように設定し、この期間はパンニング制御が解除されないようにしておく。そうすれば、角速度データがマイナス方向に変動したときの低周波信号成分を減衰することができ、図4(c)に示すように、角変位データの変動が生じることを抑制することができる。これによって、時間T4からT5にかけて、パンニング動作を終了するまでの期間にパンニング動作中であるという判定が行われ、パンニング動作の終了を正しく判定することができる。またパンニング動作終了時の、時間T4からT6にかけて生じる、角速度データの変動に伴う角変位データの変動を抑制することができる。
(実施例2)
本実施例の一例であるの図1の撮像装置100におけるパン・チルト判定回路122が実行する処理の第二の方法について、以下に図面を用いて詳細な説明を行う。
図5は、パン・チルト判定回路122の処理の流れを示したフローチャートである。ステップS21においては、本実施例における撮像装置が、現在パンニング制御中かどうかの判定を行う。
ステップS21において、現在パンニング制御中でないという判定が行われた場合は、ステップS22の処理に進む。ステップS22においては、A/D変換器104から出力された角速度データが所定の閾値以上であるか否かの判定を行う。角速度データが所定の閾値以上でなかった場合は、ステップS23の処理に進む。ステップS23においては、積分器106から出力された角変位データが所定の閾値以上であるか否かの判定を行う。角変位データが所定の閾値以上でなかった場合は、ステップS26の処理に進む。また、ステップS22において角速度データが所定の閾値以上である場合、ステップS23において角変位データが所定の閾値以上である場合は、ステップS27の処理に進む。
ステップS21において、現在パンニング制御中であると判定が行われた場合は、ステップS24の処理に進む。ステップS24においては、動きベクトル積分器123から出力されたベクトル積分データが所定の閾値以上であるか否かの判定を行う。ベクトル積分データが所定の閾値以上でなかった場合は、ステップS25の処理に進む。ステップS25においては、ステップS24の処理において、ベクトル積分データが所定の閾値以上でない時間、即ちパンニング状態もしくはチルティング状態でないと判定されてから所定時間以内であるかどうかの判定を行う。ステップS25において、所定時間以内でないと判定された場合は、ステップS26の処理に進む。所定時間とは、例えば図4(d)のT_stableのようにパンニング状態或いはチルティング状態で無いと判定されてからの時間である。
また、ステップS24においてベクトル積分データが所定の閾値以上である場合、ステップS25においてベクトル積分データが所定の閾値以上でない時間が所定時間以内であると判定された場合は、パンニング制御中であると判断し、ステップS27の処理に進む。
ステップS27の処理で、パン・チルト判定回路122は、HPF105での演算に用いるカットオフ周波数の値をパンニング制御前の値より所定の値だけ高くし、低周波信号の減衰率をパンニング制御前の減衰率より大きくする。また、積分器106での演算に用いる時定数の値をパンニング制御前の値より所定の値だけ短くし、角変位データが基準値に近づくようにする。更に、動きベクトル処理回路121へ供給される、動きベクトル検出回路120からの信号をゼロに置換え、ベクトル系補正データによるブレ補正を停止する。若しくは、動きベクトル処理回路121の入力をゼロにする処理を、動きベクトル処理回路のゲインを小さくして制限する等の方法を用いても良い。そして、ステップS27の後、本処理終了となる。
ステップS27の処理によって、パンニング制御中は、ジャイロ系補正データの低周波数信号の減衰率を大きくし、低周波数帯域のブレ残りを補正する役割を担っているベクトル系補正データによるブレ補正を停止する。これによって、パンニング動作の主成分である低周波数帯域の角速度データ及びベクトルデータを、補正対象から除外することができる。
一方ステップS26の処理は、ステップS24及びステップS25の各判定の結果、ベクトル積分データの値が閾値を下回り、パンニング状態若しくはチルティング状態でないと判定されてから、所定時間以上経過したときに行う処理である。ステップS26では、パン・チルト判定回路122は、HPF105での演算に用いるカットオフ周波数の値を低い値に設定し、低周波信号の減衰率を小さい状態とする。また、積分器106での演算に用いる時定数の値を長く設定し、積分効果を上げる。更に、動きベクトル検出回路120から動きベクトル処理回路121への信号の入力を許可し、ベクトル系補正データによるブレ補正を行う。これによってパンニング制御は終了となる。ステップS26の処理によって、パンニング制御中にパンニング状態若しくはチルティング状態でないと判定されてから所定時間経過後、低周波数帯域までブレ補正を行うように設定され、全周波数帯域において良好なブレ補正性能を発揮することができる。そして、ステップS26の後、本処理終了となる。
尚、上記図5に示したステップS21からの処理は、例えば1フィールドごと(NTSC方式では60Hz)といった所定のタイミングで繰り返し行われる。
図3と図5のパンニング状態もしくはチルティング状態であるか否かを判定する方法の違いを述べる。図3の処理においては、角速度データ、角変位データ、及びベクトル積分データの全ての値を用いて、パンニング状態もしくはチルティング状態への移行と終了の判定を行っている。それに対して、図5の処理においては、角速度データ及び角変位データを用いてパンニング状態若しくはチルティング状態への移行の判定を行い、ベクトル積分データを用いてパンニング状態もしくはチルティング状態の終了の判定を行っている点で異なる。そして、図5のフローチャートによるパンニング状態もしくはチルティング状態であるか否かの判定方法を用いても、パンニング動作時の角速度データ、角変位データ、及びベクトル積分データの時間による変化は、図4(b)〜(d)と同様の波形となる。よって、図3のフローチャートによるパンニング状態もしくはチルティング状態である否かの判定方法と同様の効果を得ることができる。
以上説明してきたように、ブレ補正制御において行われるパンニング状態もしくはチルティング状態であるか否かの判定において、角速度センサ101の出力を加工したデータと併用して、ベクトル検出回路120の出力を加工したデータを用いた。これによって、パンニング状態若しくはチルティング状態の開始から終了までをより正確に判定することが可能となる。
なお、ステップS16及びステップS27のパンニング制御中の動作については、一例でありこれに限定されるものではない。例えば、HPF105での演算に用いるカットオフ周波数の値を高くする処理、積分器106での演算に用いる時定数の値を短くする処理を単独で行う等の方法を用いても良い。また、動きベクトル処理回路の入力をゼロにする処理を、動きベクトル処理回路のゲインを小さくする等の方法を用いても良い。
また、ブレ補正を行う手段として、補正光学系112(例えばシフトレンズ)を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム(VAP)や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。
(その他の実施例)
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
(本発明と実施例の対応)
角速度センサ101が本発明のブレ検出手段に、動きベクトル検出回路120が本発明のベクトル検出手段に相当する。また、動きベクトル積分器123が第1の積分手段に、DCカットフィルタ102、アンプ103、A/D変換器104、HPF105、積分器106、焦点距離補正回路107が第1の算出手段に、動きベクトル処理回路121が第2の算出手段に相当する。また、積分器106が第2の積分手段に、補正光学系112がブレ補正手段に相当する。また、パン・チルト判定回路122が画角変更判定手段に相当する。
本発明に適用可能な撮像装置の一例の構成を示すブロック図である。 本発明に係る動きベクトル検出回路120の一例の構成を示すブロック図である。 本発明の第1の実施例に係るパン・チルト判定回路122の処理の流れを示したフローチャートである。 (a)はパンニング動作の開始から終了までの角速度センサ101の出力の変化を示したグラフである。(b)はパンニング動作を行ったときの、A/D変換器104の出力である角速度データの時間による変化を示したグラフである。(c)はパンニング動作を行ったときの、積分器106の出力である角変位データの時間による変化を示したグラフである。(d)はパンニング動作を行ったときの、動きベクトル積分器123の出力であるベクトル積分データの時間による変化を示したグラフである。 本発明の第2の実施例に係るパン・チルト判定回路122の処理の流れを示したフローチャートである。 従来のブレ補正機能を備えた撮像装置の一例の構成を示すブロック図である。 (a)はパンニングの開始から終了までの角速度センサ201の出力の変化を示したグラフである。(b)はパンニング動作を行ったときの、A/D変換器204の出力(角速度データ)の変化を示したグラフである。(c)は角速度センサ201の出力を、DCカットフィルタ202を通した後の信号の変化を示したグラフである。
符号の説明
100 撮像装置
110 加減算器
112 補正光学系
113 撮像光学系
124 ビデオ出力端子
200 撮像装置

Claims (20)

  1. 装置の振れを検出する振れ検出手段と、
    前記振れ検出手段の出力に基づいた信号を積分する振れ出力積分手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方および、前記動きベクトル積分手段からの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方および、前記動きベクトル積分手段からの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定手段と、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有する撮像装置。
  2. 装置の振れを検出する振れ検出手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力に基づいた値、もしくは前記動きベクトル積分手段からの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、
    前記振れ検出手段の出力に基づいた値および、前記動きベクトル積分手段からの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定手段と、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有する撮像装置。
  3. 前記判定手段によって前記装置がパンニング状態からパンニング状態ではないと判定されてからも所定時間経過するまで、前記制御手段は、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御することを特徴とする請求項1または2に記載の撮像装置。
  4. カットオフ周波数を変更可能な、前記振れ検出手段の出力に対して周波数帯域制限をかけるフィルタと、
    前記動きベクトル積分手段からの積分結果をベクトル補正量に変換する動きベクトル演算手段を更に有し、
    前記制御手段は、前記パンニング状態であると判定されたときに、前記フィルタのカットオフ周波数を広域側に変更する、前記振れ出力積分手段の時定数を下げる、前記動きベクトル演算手段の出力を減じるか禁止する、のうち少なくとも何れかを行うことを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。
  5. 装置の振れを検出する振れ検出手段と、
    前記振れ検出手段の出力に基づいた信号を積分する振れ出力積分手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方と、前記動きベクトル積分手段からの積分結果の何れか一方が所定値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方と、前記動きベクトル積分手段からの積分結果の両方が前記所定値を下回ると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を終える制御手段を有することを特徴とする撮像装置。
  6. 装置の振れを検出する振れ検出手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力に基づいた値と、前記動きベクトル積分手段からの積分結果の何れか一方が所定値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、
    前記振れ検出手段の出力に基づいた値と、前記動きベクトル積分手段からの積分結果の両方が前記所定値を下回ると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を終える制御手段を有することを特徴とする撮像装置。
  7. 前記制御手段は、前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方と、前記動きベクトル積分手段からの積分結果の両方前記所定の値を下回ってからも、所定時間経過するまでは、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御することを特徴とする請求項5または6に記載の撮像装置。
  8. カットオフ周波数を変更可能な、前記振れ検出手段の出力に対して周波数帯域制限をかけるフィルタと、
    前記動きベクトル積分手段からの積分結果をベクトル補正量に変換する動きベクトル演算手段を更に有し、
    前記制御手段は、前記パンニングの動作を前記振れとして像ぶれ補正に用いない制御として、前記フィルタのカットオフ周波数を広域側に変更する、前記振れ出力積分手段の時定数を下げる、前記ベクトル補正量または前記動きベクトル演算手段への入力を減じるかゼロにする、のうち少なくとも何れかを行うことを特徴とする請求項5ないし7の何れか1項に記載の撮像装置。
  9. 装置の振れを検出する振れ検出手段と、
    前記振れ検出手段の出力に基づいた信号を積分する振れ出力積分手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方が所定値を超えると前記装置のパンニング状態の開始を判定し、前記動きベクトル積分手段からの積分結果が所定値を下回ると、前記装置のパンニング状態の終了を判定する判定手段と、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有する撮像装置。
  10. 装置の振れを検出する振れ検出手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力に基づいた値が所定値を超えると前記装置のパンニング状態の開始を判定し、前記動きベクトル積分手段からの積分結果が所定値を下回ると、前記装置のパンニング状態の終了を判定する判定手段と、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御手段とを有する撮像装置。
  11. 前記動きベクトル積分手段からの積分結果が所定値を下回ってから所定時間経過した後に、前記装置のパンニング状態の終了を判定することを特徴とする請求項9または10に記載の撮像装置。
  12. カットオフ周波数を変更可能な、前記振れ検出手段の出力に対して周波数帯域制限をかけるフィルタと、
    前記動きベクトル積分手段からの積分結果をベクトル補正量に変換する動きベクトル演算手段を更に有し、
    前記制御手段は、前記パンニング状態であると判定されたときに、少なくとも前記フィルタのカットオフ周波数を広域側に変更する、前記振れ出力積分手段の時定数を下げる、前記動きベクトル演算手段の出力を減じるか禁止する、のうち何れかを行うことを特徴とする請求項9ないし11の何れか1項に記載の撮像装置。
  13. 装置の振れを検出する振れ検出手段と、
    前記振れ検出手段の出力に基づいた信号を積分する振れ出力積分手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力もしくは前記振れ出力積分手段の出力の少なくとも一方が所定値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、前記動きベクトル積分手段からの積分結果が所定値を下回ると、パンニングの動作を前記振れとして像ぶれ補正に用いない該制御を終える制御手段を有することを特徴とする撮像装置。
  14. 装置の振れを検出する振れ検出手段と、
    動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルを積分する動きベクトル積分手段と、
    前記振れ検出手段の出力に基づいた値が所定値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、前記動きベクトル積分手段からの積分結果が所定値を下回ると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を終える制御手段を有することを特徴とする撮像装置。
  15. 前記制御手段は、前記動きベクトル積分手段からの積分結果の両方前記所定値を下回っても、所定時間経過するまでは、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御することを特徴とする請求項13または14に記載の撮像装置。
  16. カットオフ周波数を変更可能な、前記振れ検出手段の出力に対して周波数帯域制限をかけるフィルタと、
    前記動きベクトル積分手段からの積分結果をベクトル補正量に変換する動きベクトル演算手段を更に有し、
    前記制御手段は、パンニングの動作を前記振れとして像ぶれ補正に用いない制御として、前記フィルタのカットオフ周波数を広域側に変更する、前記振れ出力積分手段の時定数を下げる、前記ベクトル補正量または前記動きベクトル演算手段への入力を減じるかゼロにする、のうち少なくとも何れかを行うことを特徴とする請求項13ないし15の何れか1項に記載の撮像装置。
  17. 像ぶれ補正を行う撮像装置の制御方法であって、
    装置の振れを検出する振れ検出ステップと、
    前記振れ検出ステップからの出力に基づいた信号を積分する振れ出力積分ステップと、動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを積分する動きベクトル積分ステップと、
    前記振れ検出ステップの出力もしくは前記振れ出力積分ステップの出力の少なくとも一方および、前記動きベクトル積分ステップからの積分結果の何れか一方に基づいて、前記装置がパンニング状態であると判定し、
    前記振れ検出ステップの出力もしくは前記振れ出力積分ステップからの出力の少なくとも一方および、前記動きベクトル積分ステップからの積分結果の両方に基づいて前記装置がパンニング状態ではないと判定する判定ステップと、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御ステップとを有する撮像装置の制御方法。
  18. 像ぶれ補正を行う撮像装置の制御方法であって、
    装置の振れを検出する振れ検出ステップと、
    前記振れ検出ステップからの出力に基づいた信号を積分する振れ出力積分ステップと、動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを積分する動きベクトル積分ステップと、
    前記振れ検出ステップからの出力もしくは前記振れ出力積分ステップからの出力の少なくとも一方と、前記動きベクトル積分ステップでの積分結果のうち少なくとも一つが所定の値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、前記振れ検出ステップからの出力もしくは前記振れ出力積分ステップの出力の少なくとも一方と、前記動きベクトル積分ステップでの積分結果の両方が前記所定の値を下回るとパンニングの動作を前記振れとして像ぶれ補正に用いない制御を終える制御ステップを有することを特徴とする撮像装置の制御方法。
  19. 像ぶれ補正を行う撮像装置の制御方法であって、
    装置の振れを検出する振れ検出ステップと、
    前記振れ検出ステップからの出力に基づいた信号を積分する振れ出力積分ステップと、動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを積分する動きベクトル積分ステップと、
    前記振れ検出ステップからの出力もしくは前記振れ出力積分ステップからの出力の少なくとも一方が所定値を超えると前記装置のパンニング状態の開始を判定し、前記動きベクトル積分ステップでの積分結果が前記所定値を下回ると、前記装置のパンニング状態の終了を判定する判定ステップと、
    前記パンニング状態であると判定されたときに、パンニングの動作を前記振れとして像ぶれ補正に用いないよう制御する制御ステップとを有する撮像装置の制御方法。
  20. 像ぶれ補正を行う撮像装置の制御方法であって、
    装置の振れを検出する振れ検出ステップと、
    前記振れ検出ステップからの出力に基づいた信号を積分する振れ出力積分ステップと、動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを積分する動きベクトル積分ステップと、
    前記振れ検出ステップからの出力もしくは前記振れ出力積分ステップからの出力の少なくとも一方が所定値を超えると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を開始し、
    前記動きベクトル積分ステップでの積分結果が所定値を下回ると、パンニングの動作を前記振れとして像ぶれ補正に用いない制御を終える制御ステップを有することを特徴とする撮像装置の制御方法。
JP2008323644A 2008-12-19 2008-12-19 撮像装置及びその制御方法 Active JP5230398B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2008323644A JP5230398B2 (ja) 2008-12-19 2008-12-19 撮像装置及びその制御方法
US12/641,224 US7983547B2 (en) 2008-12-19 2009-12-17 Imaging apparatus
EP09179918A EP2200276B1 (en) 2008-12-19 2009-12-18 Imaging apparatus and method for improved optical stabilization during camera panning
EP11192694.5A EP2434749B1 (en) 2008-12-19 2009-12-18 Imaging apparatus
AT09179918T ATE546012T1 (de) 2008-12-19 2009-12-18 Abbildungsvorrichtung für optische stabilisierung während des schwenkens der kamera
ES09179918T ES2380431T3 (es) 2008-12-19 2009-12-18 Aparato y método de obtención de imágenes para estabilización óptica mejorada durante el barrido de una cámara
CN2009102612317A CN101753845B (zh) 2008-12-19 2009-12-21 摄像设备
US13/155,582 US8175448B2 (en) 2008-12-19 2011-06-08 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008323644A JP5230398B2 (ja) 2008-12-19 2008-12-19 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2010147857A JP2010147857A (ja) 2010-07-01
JP2010147857A5 JP2010147857A5 (ja) 2011-11-24
JP5230398B2 true JP5230398B2 (ja) 2013-07-10

Family

ID=41820683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008323644A Active JP5230398B2 (ja) 2008-12-19 2008-12-19 撮像装置及びその制御方法

Country Status (6)

Country Link
US (2) US7983547B2 (ja)
EP (2) EP2200276B1 (ja)
JP (1) JP5230398B2 (ja)
CN (1) CN101753845B (ja)
AT (1) ATE546012T1 (ja)
ES (1) ES2380431T3 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5094606B2 (ja) * 2008-07-15 2012-12-12 キヤノン株式会社 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP5230398B2 (ja) * 2008-12-19 2013-07-10 キヤノン株式会社 撮像装置及びその制御方法
FR2958486B1 (fr) * 2010-03-30 2013-02-08 Sagem Defense Securite Stabilisation d'images captees
JP5501119B2 (ja) * 2010-06-29 2014-05-21 キヤノン株式会社 撮像装置およびその制御方法
JP5600516B2 (ja) * 2010-08-09 2014-10-01 キヤノン株式会社 撮像装置
JP5627357B2 (ja) * 2010-09-09 2014-11-19 キヤノン株式会社 撮像装置及びその制御方法
TWI441515B (zh) * 2010-09-15 2014-06-11 Altek Corp 具有光學防手振模組的攝像裝置及具有周邊驅動晶片的光學防手振攝像裝置
CN102457675B (zh) * 2010-10-27 2014-08-06 展讯通信(上海)有限公司 防止手持式照像设备在拍照时抖动的方法
JP6013780B2 (ja) * 2011-09-12 2016-10-25 ローム株式会社 信号処理装置、レンズ制御装置、撮像装置
JP5743838B2 (ja) 2011-10-13 2015-07-01 キヤノン株式会社 像ブレ補正装置、光学機器および像ブレ補正方法
US9628711B2 (en) * 2011-12-15 2017-04-18 Apple Inc. Motion sensor based virtual tripod method for video stabilization
JP5959850B2 (ja) * 2011-12-27 2016-08-02 キヤノン株式会社 撮像装置及びその制御方法
JP2013219544A (ja) * 2012-04-09 2013-10-24 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
US9300871B2 (en) * 2012-06-08 2016-03-29 Apple Inc. Stationary camera detection and virtual tripod transition for video stabilization
US8941743B2 (en) * 2012-09-24 2015-01-27 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US9554042B2 (en) * 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6178573B2 (ja) * 2012-12-27 2017-08-09 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
KR102020941B1 (ko) * 2013-02-08 2019-09-11 삼성전자주식회사 움직임 추정 장치 및 추정 방법
JP6108940B2 (ja) * 2013-04-25 2017-04-05 キヤノン株式会社 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP6429500B2 (ja) * 2013-06-14 2018-11-28 キヤノン株式会社 光学機器、交換レンズ及び像ぶれ補正方法
JP6494202B2 (ja) * 2013-08-07 2019-04-03 キヤノン株式会社 像振れ補正装置、その制御方法、および撮像装置
JP2015034879A (ja) 2013-08-08 2015-02-19 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
JP6210824B2 (ja) * 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6351246B2 (ja) * 2013-12-12 2018-07-04 キヤノン株式会社 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6246015B2 (ja) * 2014-02-19 2017-12-13 キヤノン株式会社 画像処理装置およびその制御方法
KR102174808B1 (ko) 2014-03-19 2020-11-05 소니 주식회사 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어
CN104580905A (zh) * 2014-12-31 2015-04-29 广东欧珀移动通信有限公司 一种拍照方法及终端
US9900513B2 (en) * 2015-01-16 2018-02-20 Canon Kabushiki Kaisha Control apparatus, optical apparatus, and lens apparatus
JP6329505B2 (ja) * 2015-03-19 2018-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像モジュール、および電子機器
JP6581474B2 (ja) * 2015-11-11 2019-09-25 キヤノン株式会社 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP6346653B2 (ja) * 2016-12-13 2018-06-20 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、プログラム、記憶媒体
JP6887858B2 (ja) * 2017-04-14 2021-06-16 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68929448T2 (de) 1988-09-09 2003-10-02 Canon Kk Automatische Bildstabilisierungsvorrichtung
JP3473105B2 (ja) * 1993-11-26 2003-12-02 ソニー株式会社 カメラのパンチルト判別装置及びカメラ装置
JP4436442B2 (ja) 1997-12-19 2010-03-24 キヤノン株式会社 撮像装置及びカメラユニット及びレンズユニット
US6734901B1 (en) * 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
US6630950B1 (en) * 1998-03-19 2003-10-07 Canon Kabushiki Kaisha Apparatus for improving image vibration suppression
JP3431508B2 (ja) 1998-08-11 2003-07-28 ペンタックス株式会社 像ぶれ補正制御装置
JP2001358982A (ja) * 2000-06-14 2001-12-26 Canon Inc 動画静止画撮像装置、手振れ補正方法、及び記憶媒体
US20050128309A1 (en) * 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP4404822B2 (ja) * 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP4771896B2 (ja) * 2006-08-31 2011-09-14 三洋電機株式会社 動き検出装置及び方法並びに撮像装置
JP5230398B2 (ja) * 2008-12-19 2013-07-10 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
CN101753845B (zh) 2012-07-25
EP2200276A1 (en) 2010-06-23
US20100158493A1 (en) 2010-06-24
EP2200276B1 (en) 2012-02-15
US20110234822A1 (en) 2011-09-29
EP2434749B1 (en) 2013-05-08
JP2010147857A (ja) 2010-07-01
US7983547B2 (en) 2011-07-19
EP2434749A1 (en) 2012-03-28
ATE546012T1 (de) 2012-03-15
US8175448B2 (en) 2012-05-08
ES2380431T3 (es) 2012-05-11
CN101753845A (zh) 2010-06-23

Similar Documents

Publication Publication Date Title
JP5230398B2 (ja) 撮像装置及びその制御方法
KR100731193B1 (ko) 촬상장치 및 그 촬상방법과, 그 방법을 실행하는 촬상프로그램을 기억하는 기억매체
US9264616B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for correcting image blurring of a captured image
US9626743B2 (en) Image stabilization apparatus, method of controlling the same, image capturing apparatus, lens apparatus, and storage medium
JP5501119B2 (ja) 撮像装置およびその制御方法
US9641756B2 (en) Image capturing apparatus and image capturing method
US20180262668A1 (en) Image capturing apparatus and method for controlling the same, image stabilization apparatus and method for controlling the same, and lens unit
JP2011139167A (ja) 撮像装置及び振れ補正方法
US10101593B2 (en) Optical apparatus, control method thereof and storage medium
JP2011139169A (ja) 撮像装置
JP5959850B2 (ja) 撮像装置及びその制御方法
JP2009168939A (ja) 振れ検出装置及び振れ検出方法
US20140125826A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2018072540A (ja) 画像処理装置、その画像処理方法および光学機器
JP6373121B2 (ja) 画像処理装置およびその制御方法
JP2012018328A (ja) 光学機器、撮像装置、及び光学機器の制御方法
JP5848603B2 (ja) 撮像装置及びその制御方法
JP2017135515A (ja) 撮像装置及びその制御方法
JP5744165B2 (ja) 撮像装置及びブレ補正装置、及びその制御方法
JP6178573B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2017060192A (ja) 像ブレ補正装置及び像ブレ補正方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5230398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151