JP4154028B2 - 撮像装置及びその制御方法並びに記憶媒体 - Google Patents
撮像装置及びその制御方法並びに記憶媒体 Download PDFInfo
- Publication number
- JP4154028B2 JP4154028B2 JP08635698A JP8635698A JP4154028B2 JP 4154028 B2 JP4154028 B2 JP 4154028B2 JP 08635698 A JP08635698 A JP 08635698A JP 8635698 A JP8635698 A JP 8635698A JP 4154028 B2 JP4154028 B2 JP 4154028B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- signal
- restriction
- limiting
- limit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手ぶれ補正機能を備えたビデオカメラ等の撮像装置及びその制御方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のビデオカメラには、手ぶれ防止機能が搭載された防振機能付きカメラが一般的となっている。手ぶれ防止機能の方式としては、光学式手ぶれ補正と電子式手ぶれ補正とがある。
【０００３】
光学式手ぶれ補正では、撮像素子に入射される撮影光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じ光軸の変位を行うことで、ぶれ補正を行う。光学式に用いられる手ぶれ検出手段としては、振動ジャイロ等の角速度センサを用い、直接カメラに加わる揺れ成分の検出を行い、この出力を積分することで、カメラの角変位を検出するのが一般的となっている。
【０００４】
一方、電子式手ぶれ補正は、フィールド間での映像信号の変化からカメラの動き量を算出し、ぶれ信号とする、動きベクトル検出方式と併用される場合が多く、動きベクトル検出用のフィールドメモリの蓄積画像を、動きが除去されるようにメモリ画像の一部を抽出することで補正を行っている。また、電子式手ぶれ補正の別のシステムとして、ぶれ検出にはセンサを用い、撮像素子に受光された画像の一部のみを切りだし、検出されるぶれに応じ切り出し位置を制御することで、ぶれ補正を行うタイプも出てきている。
【０００５】
電子式の場合、映像信号に対し電気的な補正を行うため、補正周期はフィールド周期となり、露光時間中の手ぶれを除去することができない反面、光学方式よりも小型軽量に出来るというメリットがある。また、撮像素子に高密度の大型タイプのものを用いることで、切りだし又はメモリから抽出される撮影像の解像度を上げ、光学式に比べ不利であった画質劣化にも改良がなされつつある。
【０００６】
ところで、ビデオカメラでは、カメラを意図的に動かすパンニングやチルティング等のカメラワークを行いながら撮影を行う場合がある。これらのカメラワークでの撮影時は、手ぶれ補正に制限をかけて、補正能力が低下するようにさせ、補正範囲の端に突き当たって生じる撮影画像の乱れの防止や、撮影者の意図する方向への素早い応答を図る手法が本発明者により提案されている。
【０００７】
図１４、図１５、図１６、図１７は、本発明者により提案されているパンニング時の制限手法を説明するための図である。本従来例は焦点距離が何れであっても、また焦点距離により補正限界が変化するような場合であっても、制限量の特性設定が簡単に行える手法であり、光学式の手ぶれ補正機能システムを例にとって説明する。
【０００８】
図１４は、手ぶれ補正用のシフトレンズを光軸に垂直に可動させることで防振するシステムの構成を示している。レンズ群はインナーフォーカスタイプの構成となっており、固定レンズ１４０１、ズームレンズ１４０２、絞り１４０３、防振用シフトレンズ１４０４、フォーカスレンズ１４０５から成る。レンズからの光はＣＣＤ等の撮像素子１４０６に結像される。撮像素子上の像は光電変換され、増幅器１４１８で最適なレベルに増幅されカメラ信号処理回路１４１９へと入力され標準テレビ信号に変換される。また、図１４のカメラは光学的な手ぶれ補正機能を備えており、防振のＯＮ／ＯＦＦはスイッチ１４２０の状態を検出することで行っている。
【０００９】
角速度センサ１４２１（ピッチ方向）、１４２２（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１４２３、１４２４でそれぞれ増幅後、制御マイコン１４１６のＡ／Ｄコンバータ等で取り込み、制御マイコン１４１６の内部処理で角速度信号を積分して角変位に変換する。制御マイコン１４１６は、得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、撮像素子上の揺れによる撮影像の移動分（ほぼｆ＊ｔａｎθに相当）を、揺れによる移動方向とは逆方向に動かす様に、シフトレンズ１４０４を光軸に垂直に移動させる事で揺れ補正を行う。制御マイコン１４１６は補正目標を出力する。加算器１４１５はシフトレンズ１４０４の位置信号（エンコーダ１４１３の検出信号を所定レベルに増幅器１４１４で増幅した位置信号）と制御マイコン１４１６からの補正目標とを比較し、差が零になるように駆動信号をモータドライバ１４１２を介しモータ１４１１に出力することで、シフトレンズ１４０４の位置をループ制御し、目標位置に一致させる。
【００１０】
また、制御マイコン１４１６はズームレンズ１４０２、フォーカスレンズ１４０５も制御している。押し圧により抵抗値が可変する回転操作タイプのズームスイッチユニット１４１７からの信号に応じ、制御マイコン１４１６は駆動命令をモータドライバ１４０８を介しモータ１４０７に送ることで、ズームレンズ１４０２の移動がなされ変倍動作が行われる。また、カメラ信号処理回路１４１９で処理された焦点信号が最大となるように、制御マイコン１４１６は、駆動命令をモータドライバ１４１０を介しモータ１４０９に送ることで、フォーカスレンズ１４０５の移動がなされ焦点調節が行われる。
【００１１】
次に図１５を用いて、制御マイコン１４１６で処理される本防振制御フローを説明する。補正量は焦点距離と最大補正限界で規格化されており、規格化補正量に応じて制限量が所定特性で算出できるので、１種類の特性を有するだけで、すべての焦点距離変化に対応可能となっている。図１５のフローチャートは、角速度センサ１４２１、１４２２で検出した角速度信号を積分することで、角変位を算出し、補正量と制限量を算出する処理である。図１５の処理は制御マイコン１４１６で実行される定周期割込処理であり、例えば１ｋＨｚの周波数で実行される。割込みの起動要因は、例えば、発振クロックの所定分周でアップ（若しくはダウン）カウントしているカウンタが、１ｍｓｅｃに相当するデータと一致する毎に発生する。また、図１４で説明した様に角速度信号を制御マイコン１４１６のＡ／Ｄコンバータで取り込むが、本実施例では簡単のため、Ａ／Ｄコンバータの動作モードはスキャンモードで、いつでもＡ／Ｄ動作を繰り返しているものとする。
【００１２】
まず、割込処理を開始すると、ステップＳ１５０１でＡ／Ｄサンプリングした角速度信号に対し、ハイパスフィルタ処理をかけることで、ＤＣ成分の影響を除去する。ステップＳ１５０２はＡＣ成分の角速度信号に、周波数帯域の制限を設ける処理である。実際にはステップＳ１５０１と同様なハイパスフィルタ処理であり、そのカットオフ周波数がステップＳ１５０１では固定値なのに対して、ステップＳ１５０２では可変設定が可能になっている。このカットオフ周波数を低域から高域まで変化させることにより、帯域制限が可能になっている。
【００１３】
ステップＳ１５０２のカットオフ周波数を制御し、パンニング等のカメラワーク動作中には、カットオフ周波数を上げ、防振の抑振能力を低下させる様にし、通常撮影時には、手ぶれ除去のため、カットオフ周波数を低下させるようにしている。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときの、画面の不自然さを防止するためも、帯域制限の制御が実行されている。次に、ステップＳ１５０３では帯域制限された角速度信号を積分処理し、角変位を算出する。算出された角変位が、カメラ本体に加わる揺れ角に相当する。
【００１４】
次にステップＳ１５０４で補正量の算出を行う。補正量はステップＳ１５０３で得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、ｆ＊ｔａｎθとなる。ステップＳ１５０５は、ステップＳ１５０４で算出した補正量を最大補正限界（シフトレンズ１４０４の移動限界）で規格化する処理である。規格化補正量の算出は以下の式で与えられる。
【００１５】
ピッチ規格化補正量＝ピッチ補正量／ピッチ最大シフト限界／２＊１００（％）−（１）
ヨー規格化補正量＝ヨー補正量／ヨー最大シフト限界／２＊１００（％）−（２）
ステップＳ１５０６では、ステップＳ１５０５で算出された規格化補正量をもとに、補正能力に制限を加えるための制限量を算出する。ここで制限量は、帯域制限処理ステップＳ１５０２で説明したカットオフ周波数に相当する。
【００１６】
図１６は補正量に対する制限量つまりカットオフ周波数の特性を示している。横軸は規格化補正量であり、最大シフト限界の１／２までシフトして補正する場合を１００％とした場合に対する、現在の揺れを補正するのに必要な補正量の割合を示している。縦軸は制限量のパラメータである帯域制限のカットオフ周波数である。補正量に対し制限を掛ける度合いが、しきい値による設定ではなく、関数的な設定となっている。
【００１７】
このため、カットオフ周波数を制御し、パンニング動作対応する場合でも、円滑な切り替えが行える。本例では、最大カットオフ周波数を６Ｈｚとしているが、これは、主となる手ぶれの周波数成分が５Ｈｚ以下であることによる。帯域制限の特性は２乗の関数でカットオフが変化する様に設定されており、補正量が大きいほど急峻にカットオフ周波数を上げ、また補正量が零近傍の場合にはカットオフをできるだけ低くし、防振効果を高める様に制御される。この防振効果が高い範囲（補正量が零近傍の範囲）を出来るだけ拡大したい場合には、補正量の２乗としていた次数を増していけば良く、補正量がより大きくなったときに、カットオフが急峻に立ち上がる様に係数等の設定をすればよい。
【００１８】
ここで、最大シフト限界は、図１７のように決定されており、図１７（ａ）には焦点距離変化に対し、有効像円径が変化している様子、図１７（ｂ）には焦点距離に対し、最大補正範囲（最大シフト限界）が変化している様子をそれぞれ示されている。図１７の１７０１がシフトレンズ１４０４のメカ的な最大移動限界距離を、有効像円径に換算した点であり、１７０２はワイドからテレまですべての焦点距離で、メカ的にシフトレンズ１４０４が最大移動限界までの距離を移動したとしても、撮影画面にはケラレが生じないことを示している。従って、１７０２に対する最大補正範囲は１７０５のように一定値となる。
【００１９】
一方、１７０３のように焦点距離１７０４よりテレ側でしか１７０１のより大きな像円径にならない場合には、１７０４よりワイド側では、シフトレンズ１４０４をメカ的に移動可能な最大までレンズシフトすると、撮影画面の一部がケラれる事を意味する。従って、１７０３に対する最大補正範囲は１７０６のように、焦点距離１７０４よりワイドでは、減少することになる。一般には１７０３のようにレンズ光学系の設計がなされ、レンズの小型化が図られる場合が多い。このように、最大補正範囲が焦点距離により１７０６のように変化する場合であっても、補正量は最大補正範囲で規格化されるので、焦点距離毎に制限特性を変更しなくとも（特性変更パラメータを多数持たなくとも）、端衝突の防止と円滑なパンニング動作移行と解除とが実現できる。
【００２０】
図１５に戻る。ステップＳ１５０６で決定されたカットオフ周波数は、次回の帯域制限処理で設定され、角速度信号に対して、制限がなされる。例えば、算出カットオフが大きい場合には、カットオフ周波数以下の手ぶれ周波数の揺れに対し、補正効果が減少するようになる。次にステップＳ１５０７で、ステップＳ１５０４で算出されたシフト目標値命令を加算器１４１５に対して出力し、本処理を終了する（ステップＳ１５０８）。
【００２１】
【発明が解決しようとしている課題】
しかしながら、上記のような従来の撮像装置でのパンニング動作制御では、補正手段の最大補正範囲で規格化された補正量に応じて、制限量を決定していたため、制限量を大きくするようにハイパスフィルタのカットオフ周波数を大きくすると、次に算出される補正量は小さくなり、これに対する制限量も小さく算出される。また、小さな制限量設定がなされると、再び補正量は大きく算出されることになる。このため、パンニング動作が継続的に行われている場合に、上記のような制限動作がなされると、制限が強くなったり弱くなったりのハンチングとなり、円滑なカメラワークが損なわれるという問題点があった。
【００２２】
特に、制限動作でカットオフ周波数を変化させる場合、その変化量が大きいと、画面上で変化が見えてしまう場合があるという問題点があった。これに対し画面変化が少ないように、変化量を小さく設定すると、パンニング操作に対する制限動作の応答性が劣化してしまうという問題点があった。
【００２３】
また上記従来例では、パンニング動作時の制限量を規格化補正量に応じて決定しており、撮影画角毎に焦点距離補正がなされている（ｆ＊ｔａｎθ）。これは、パンニング操作が、一般に、画面の移動速度が一定となるようなされることに依っている（望遠ではゆっくり、広角では速いパンニングになる傾向がある）。パンニング開始時には、撮影画角に最適な速度でパンニングを行ったときに、同じ制限量で制限がかかるので問題はないが、パンニングの終了は、焦点距離の変化に依らず、カメラ操作が実際に安定した状態を検出するべきである。この考慮が欠けていたため、上記従来例では、パンニング終了の操作で、徐々にカメラの揺れが減少していく場合に、広角と望遠で制限量抑制の応答性が異なってしまうという問題点があった。特に望遠での撮影時には、パンニング終了後、手ぶれ補正が効き始めるのに時間がかかるという問題点があった。
【００２４】
更に上記従来例では、ハイパスフィルタでＤＣ成分カット後の角速度信号を積分した角変位信号を補正信号としているので（図１５のステップＳ１５０１，Ｓ１５０３）、パンニング時には、図１２のような角変位信号となるので、パンニング終了時のカメラが静止した状態にもかかわらず、画面が動いてしまう揺り戻し現象が発生していた。ここで、図１２（ａ）はパンニング動作時の角速度信号の変化を示しており、（ｂ）の１２０１が（ａ）の角速度信号に対して、ステップＳ１５０１のハイパスフィルタ処理を行った出力信号（角変位信号）、１２０２が１７０１をステップＳ１５０３で積分した角変位信号である。つまり上記揺り戻し現象は、時間１２０３でパンニング動作を終了しているにもかかわらず、１２０３以降の時間で、出力信号１２０２が負方向に変位出力を有しているために、発生してしまうという問題点があった。
【００２５】
本発明は、上記のような問題点を解決するためになされたものであり、パンニング開始時や動作中のみでなく、パンニング終了時にも自然なカメラワークをあらゆる撮影画角で実現できる撮像装置及びその制御並びに記憶媒体を提供することを目的とする。
【００２６】
本発明では、上記目的を達成するため、撮像装置及びその制御方法並びに記憶媒体をつぎの（１）ないし（２７）のとおりに構成する。
（１）揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号に応じて前記補正信号生成手段の入力信号に制限をかける制限手段とを有し、前記制限手段は、前記補正信号の変化に応じて所定の特性となるように制限量を決定する制限特性決定手段と、前記決定された制限量に応じて前記補正信号の帯域制限を行う帯域制限手段と、前記帯域制限を行うか否かを前記帯域制限手段への入力信号と前記補正信号とに応じて判断する制限動作判断手段とを含む撮像装置。
（２）前記制限手段は、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードとを有し、前記第１、第２の制限モードとで制限強度の時間変化率が異なっている前記（１）記載の撮像装置。
（３）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さい前記（２）記載の撮像装置。
（４）前記制限動作判断手段は、補正信号に応じて制限動作の作動を判断するとともに、帯域制限手段への入力信号に応じて前記制限動作の解除を判断する前記（１）記載の撮像装置。
（５）前記制限動作判断手段により制限動作の解除がなされない期間は制限強度を弱める前記（１）記載の撮像装置。
（６）前記所定の特性は、焦点距離と補正手段の最大補正範囲とで規格化された補正信号に応じて決定される前記（１）記載の撮像装置。
（７）前記帯域制限手段による帯域の制限は、ハイパスフィルタの遮断周波数を変化させることで行う前記（１）記載の撮像装置。
（８）前記帯域制限手段による帯域の制限は、積分フィルタの積分帰還率を変化させることで行う前記（１）記載の撮像装置。
（９）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定される前記（１）記載の撮像装置。
（１０）揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断する撮像装置の制御方法。
（１１）前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なっている前記（１０）記載の撮像装置の制御方法。
（１２）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さい前記（１１）記載の撮像装置の制御方法。
（１３）前記補正信号に応じて制限動作の作動を判断するとともに、帯域制限部への入力信号に応じて前記制限動作の解除を判断する前記（１０）記載の撮像装置の制御方法。
（１４）制限動作の解除がなされない期間は制限強度を弱める前記（１０）記載の撮像装の制御方法。
（１５）前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定される前記（１０）記載の撮像装置の制御方法。
（１６）前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行う前記（１０）記載の撮像装置の制御方法。
（１７）前記帯域制限は、積分フィルタの積分帰還率を変化させる前記（１０）記載の撮像装置の制御方法。
（１８）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定される前記（１０）記載の撮像装置の制御方法。
（１９）揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断することをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した記憶媒体。
（２０）前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なるようにすることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２１）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さいことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（２０）記載の記憶媒体。
（２２）前記補正信号に応じて制限動作の作動を判断するとともに、帯域制限部への入力信号に応じて前記制限動作の解除を判断することをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２３）制限動作の解除がなされない期間は制限強度を弱めることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２４）前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２５）前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２６）前記帯域制限は、積分フィルタの積分帰還率を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２７）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
【００６６】
【発明の実施の形態】
（第１の実施例）
以下、図面を参照し、本実施例について説明する。図１は、本発明の第１の実施例による撮像装置の構成を示すブロック図であり、撮像装置であるビデオカメラに電子防振機能を搭載した場合について説明する。
【００６７】
図１に示すように、レンズ群はインナーフォーカスタイプの構成となっており、第１の固定レンズ１０１、ズームレンズ１０２、絞り１０３、第２の固定レンズ１０４、フォーカスレンズ１０５ら成る。レンズからの光はＣＣＤ等の撮像素子１０６に結像され、増幅器１０７で最適なレベルに増幅されカメラ信号処理回路１０８へと入力され標準テレビ信号に変換される。また、図１のカメラは電子的な手ぶれ補正機能を備えており、防振のＯＮ／ＯＦＦはスイッチ１１７の状態を検出することで行っている。
【００６８】
角速度センサ１０９（ピッチ方向）（検出手段）、１１０（ヨー方向）（検出手段）でカメラ本体（撮像素子１０６）の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号を積分処理部１１５ｄで積分して角変位に変換する。積分処理部１１５ｄで算出された揺れ角θに対して、焦点距離補正部（補正信号生成手段）１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。補正系制御部（補正手段）１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かすことで揺れ補正を行う。尚、１１５ｃは帯域制限用のハイパスフィルタであり、補正信号を補正量規格化部１１５ｆで規格化した規格化補正量と、ハイパスフィルタ１１５ｂの出力に応じて、制限処理制御部（制限手段）１１５ｇが、ハイパスフィルタ１１５ｃを制御し、パンニング動作時の防振能力を制限する。この制限動作については、後で詳しく説明する。
【００６９】
電子的な防振制御で抽出される画像領域は、例えば図２に示す抽出画面２０２となり、図２を用いて抽出される画像について説明する。図２（ａ）は撮像素子１０７の撮像画面を表しており、２０１が全撮像画面の領域に相当する。このうち一部のみの領域、例えば抽出画面２０２を抽出し、この抽出画面が図２（ｂ）の２０４のように、全画面として表示や記録処理される。抽出画面２０２は、手ぶれを補正するように位置変更され、２０３で示される垂直方向と水平方向の位置座標（Ｖ０，Ｈ０）を変更することで行われる。座標２０３の位置変更範囲は、全撮像画面２０１と抽出画面２０２の水平／垂直の画素数差（以下では余剰画素と呼ぶ）で決定される。また、座標２０３は、手ぶれが無い場合の原点座標を定めておき、その原点を基準として、手ぶれの量と方向に応じて、位置座標を変化させる事で補正するように決定される。
【００７０】
抽出画面２０２を抽出する手法としては、フィールドメモリを用いて全撮像画面２０１の画像を一旦記憶し、抽出画面２０２の画像のみを読み出しながら、全撮像画面２０１の大きさになるよう拡大処理して画面２０４の表示を得る方法と、抽出画面２０２の抽出領域があらかじめ標準ＴＶ信号に必要な走査線数を満足するように、撮像素子を高密度の高画素タイプの大型ＣＣＤを用いる方法とがある。前者、後者共に高価なフィールドメモリや大型ＣＣＤを必要とするので本実施例では、汎用のＰＡＬ用のＣＣＤを、ＮＴＳＣのカメラに用いる構成とする。
【００７１】
ＰＡＬＣＣＤは垂直方向の画素密度が高いので、垂直走査方向はタイミングジェネレータ等のＣＣＤ駆動回路で、ＮＴＳＣ規格に対しての余分ライン数の範囲内で、高速掃き出しすべきライン数を角変位に応じて変化させれば、垂直方向の切りだし画像の位置を変化させることが可能となる。また、水平走査方向はラインメモリとメモリ制御回路との構成でタテヨコ比分だけ拡大処理を行ないつつ、ラインメモリへの書き込み開始画素位置と読み出し開始画素位置との関係を変化させれば、水平方向の画面位置変更が行え、安価な揺れ補正が実現できる。
【００７２】
図１は上述したような補正系の構成になっており、垂直走査方向の画素移動は防振制御マイコン１１５が、ＣＣＤ駆動回路１１６を制御し、高速掃出し制御を行わせることで、所望の走査領域の抽出行い、水平走査方向の画素移動は、カメラ信号処理回路１０８で処理された映像信号を取り込む、ラインメモリ１１３とメモリ制御回路１１４とで、メモリされた水平走査画像の読み出位置を揺れ補正画素移動量に応じて可変にしながら、かつタテヨコ比に見合うだけ拡大処理（メモリ読み出しレートを変更して、間引いて読み出すことで拡大可能）を行い、その信号をカメラ信号処理回路１０８に戻し色処理等を施すことで標準ＴＶ信号に変換する。
【００７３】
また、防振制御マイコン１１５はズームレンズ１０２、フォーカスレンズ１０５も制御している。押し圧により抵抗値が可変する回転操作タイプのズームスイッチユニット１１８からの信号に応じ、防振制御マイコン１１５は駆動命令をモータドライバ１２０を介しモータ１１９に送ることで、ズームレンズ１０２の移動がなされ変倍動作が行われる。また、カメラ信号処理回路１０８で処理された焦点信号が最大となるように、防振制御マイコン１１５は、駆動命令をモータドライバ１２２を介しモータ１２１に送ることで、フォーカスレンズ１０５の移動がなされ焦点調節が行われる。
【００７４】
次に図３、図４を用いて、第１の実施例による防振制御マイコン１１５で処理される防振制御動作を説明する。本発明の目的は、パンニング動作を開始する場合でも、終了する場合でも、防振能力に制限をかけるための制御の切り替わりを円滑にしつつ、カメラワークや撮影画像に支障をきたさない、自然な手ぶれ補正を実現することにある。本発明の特徴として、補正量に応じて所定の特性で制限量を変え、補正の効き具合を変化させるが、制限動作を作動させる場合と解除する場合とで、作動判断に用いる信号を異ならせている。特に作動判断は補正信号を用い、解除判断は帯域制限や焦点距離補正が行われる前の信号を用いることで、制限動作のハンチングを防止し、画角変化によらない均一な応答特性が得られるようにしている。また、制限動作を強める場合と弱める場合とで、制限強度変化率を変え、素早い応答と自然な撮影画像提供の両立を図っている。図３、図４のまた、処理フローの説明は、図１の防振制御マイコン１１５での処理と重複するが、図１ではブロック図として示したが、実際には防振制御マイコン１１５の指示によってあらかじめ不図示のＲＯＭに記憶されたプログラムにより処理されており、ここでは改めてプログラムとして説明を行う。
【００７５】
図３のフローチャートは、角速度センサ１０９，１１０で検出した角速度信号を積分することで、角変位を算出する処理である。本処理は防振制御マイコン１１５の指示で実行される定周期割込処理であり、本実施例ではフィールド周波数の１０倍、つまりＮＴＳＣの場合６００Ｈｚの周波数で実行される。この周波数は、角速度信号のサンプリング周波数、角変位の算出周波数に相当する。防振制御マイコン１１５での割込みの起動要因は、例えば、発振クロックの所定分周でアップ（若しくはダウン）カウントしているカウンタが、１／６００ｓｅｃに相当するデータと一致する毎に発生する。また、図１で説明したように角速度信号を防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込むが、本実施例では簡単のため、Ａ／Ｄコンバータ１１５ａの動作モードはスキャンモードで、いつでもＡ／Ｄ動作を繰り返しているものとする。
【００７６】
まず、割込処理が開始されると、ステップＳ３０１でＡ／Ｄサンプリングした角速度信号に対し、ハイパスフィルタ処理をかけることで、ＤＣ成分の影響を除去する。ステップＳ３０２はＡＣ成分の角速度信号に、周波数帯域の制限を設ける処理であり、ステップＳ３０２ａからステップＳ３０２ｅで構成される（ステップＳ３０２の詳細な説明については、図４の説明の中で行う）。実際にはステップＳ３０１と同様なハイパスフィルタ処理であり、そのカットオフ周波数がステップＳ３０１では固定値なのに対して、ステップＳ３０２では可変設定が可能になっている。このカットオフ周波数を低域から高域まで変化させることにより、帯域制限が可能になっている。
【００７７】
ステップＳ３０２でのカットオフ周波数をどのように制御するかは、図４のフローチャートと合わせて後述するが、パンニング等のカメラワーク動作中には、カットオフ周波数を上げ、防振の抑振能力を低下させるようにし、通常撮影時には、手ぶれ除去のため、カットオフ周波数を低下させるように制御される。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときの、画面の不自然さを防止するためも、帯域制限の制御が実行されている。
【００７８】
次に、ステップＳ３０３では帯域制限された角速度信号を積分処理し、角変位を算出する。算出された角変位が、カメラ本体に加わる揺れ角θに相当する。次にステップＳ３０４で焦点距離補正を行い、補正量を算出する。補正量は前述したように、ステップＳ３０３で得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、ｆ＊ｔａｎθとして補正量算出される。ステップＳ３０３からステップＳ３０７までの処理は、１フィールド間に１０回、揺れ角算出がなされたかどうかの処理ルーチンで、回数パラメータのＲＡＭである「ｍ」をインクリメントし（ステップＳ３０５）、「ｍ＝１０」か判別し（ステップＳ３０６）、１０回割込があったらステップＳ３０７で「ｍ＝０」と次のフィールドのために、初期化を行って、本割込処理を終了する。尚、図３のステップＳ３０１，Ｓ３０２，Ｓ３０３，Ｓ３０４では、垂直方向の揺れ信号処理を角速度センサ１０９の出力であるピッチ方向の角速度信号で行い、水平方向の揺れ信号処理を角速度センサ１１０の出力であるヨー方向の角速度信号で行っている。
【００７９】
図４の処理では、１フィールドに１回処理され、図３の処理が１０回実行されて、次の１回目が実行されるまでの間、つまり現フィールドの最後に処理が実行されることになる。
【００８０】
まず、処理が開始されると、ステップＳ４０１で「ｍ＝０」になるまでその場で待機する。現フィールドで１０回の割込処理がなされ、ｍが初期化されると、ステップＳ４０２でステップＳ３０４で算出された補正量の規格化を行う。規格化補正量の算出は以下の式で与えられる。
【００８１】
ピッチ規格化補正量＝ピッチ補正量／垂直画素サイズ／垂直余剰画素数／２＊１００（％）−（３）
ヨー規格化補正量＝ヨー補正量／水平画素サイズ／水平余剰画素数／２＊１００（％）−（４）
本実施例の構成では、ＮＴＳＣのカメラにＰＡＬ用のＣＣＤ（５８２Ｖ＊７５２Ｈ）を用いるとした。ここから、ＮＴＳＣ規格の垂直４８５ラインを切り出すとすると、縦横比から垂直方向の抽出画素は６２７Ｈとなる。従って、上記の余剰画素は９７Ｖ＊１２５Ｈとなり、手ぶれの方向に応じ、補正方向が正負をと
るので、余剰画素数の１／２で規格化がなされる。
【００８２】
ステップＳ４０３では、ステップＳ４０２で算出された規格化補正量をもとに、補正能力に制限を加えるための制限量を算出する。ここで制限量は、帯域制限ハイパスフィルタ１１５ｃのカットオフ周波数に相当する。まずステップＳ４０３ａで規格化補正量に応じた制限目標カットオフ周波数ｆｃを算出する。この目標カットオフ周波数ｆｃは、図５に示される特性で決定される。
【００８３】
図５は補正量に対する制限量つまりカットオフ周波数の特性である。横軸は規格化補正量であり、最大補正限界である余剰画素の１／２すべてを使って補正する場合を１００％としている。縦軸は制限量のパラメータである帯域制限のカットオフ周波数である。従来例の図１６と同様に２乗の関数でカットオフが変化する特性としており、揺れ角が大きくなって、補正端に衝突し撮影画像が乱れる現象を防止するためにも、図５の特性は、補正比率が最大補正限界に近いほど、より急峻にカットオフを高くする設定となっている。
【００８４】
次に、ステップＳ４０３ｂでステップＳ４０３ａで算出された目標ｆｃが現在のカットオフ周波数ｆｃ以上かどうかを判別する。目標ｆｃ≧現在ｆｃならば、ステップＳ４０３ｅで「解除フラグ」をクリアする。ここで解除フラグは、パンニングが終了した時にセットされるフラグであり、このフラグがセットされるまでは、カットオフ周波数ｆｃを下げないように、図３のステップＳ３０２内で制御される。つまり制限強度を弱くして防振効果を高めることの禁止がなされており、これは主として、「発明が解決しようとしている課題」で説明した、制限動作のハンチングを防止するためである。
【００８５】
ステップＳ４０３ｂで目標ｆｃが現在ｆｃより小さいと判断された場合には、ステップＳ４０３ｃでパンニング動作が終了したかどうかを判別するため、ハイパスフィルタ１１５ｂの出力角速度信号が所定値γより小さくなったかを判別する。ハイパスフィルタ１１５ｂの出力信号は、帯域制限や焦点距離補正がなされる前の信号であるので、撮影画角に依らず直接カメラの揺れの検出が行え、制限動作のハンチングや画角毎の応答性の違いを、防止することが可能となる。尚、所定値γは、パンニング終了時のハイパスフィルタ１１５ｂの出力レベルを予め測定することで決定されている。ステップＳ４０３ｃでハイパスフィルタ１１５ｂ出力の絶対値がγ以上なら、パンニング継続中と判断してステップＳ４０３ｅへ進み、そうでないならパンニング終了とみなし、ステップＳ４０３ｄで「解除フラグ」をセットする。尚、通常の手持ち撮影時には、制限がかからないので、処理ステップＳ４０３ｂで目標ｆｃと現在ｆｃとは等価となり、「解除フラグ」はクリア状態のままとなっている。
【００８６】
このようにパンニング動作時の撮影状況判断がなされる中、制限動作は図３のステップＳ３０２で制御される。図３のステップＳ３０２ａで、目標ｆｃと現在ｆｃが等しいかどうかを判別し、真であればステップＳ３０３に進み、カットオフ周波数の変更を行わない。ステップＳ３０２ａで偽の場合、ステップＳ３０２ｂで現在のカットオフ周波数ｆｃが目標値より小さいかを判別する。真の場合は、現在値が未だ目標値に至っていない場合であり、図４のステップＳ４０３では制限を強くするべきと判断している場合である。この場合、ステップＳ３０２ｅでカットオフ周波数ｆｃを、現在値から所定値α分だけ、大きくする。ステップＳ３０２ｂで目標ｆｃの方が小さかった場合には、ステップＳ３０２ｃで「解除フラグ」がセット状態かどうかを判別する。解除フラグがクリアの場合には、カットオフ周波数を下げずに、現在値にまま保持し、ステップＳ３０３に行く。解除フラグ＝１の場合には、パンニングが終了されカットオフ周波数を小さくしても、構わない場合なので、ステップＳ３０２ｄでカットオフ周波数の設定を、現在値より所定値βだけ小さい値にする。
【００８７】
図４の処理がフィールド周期で実行される中、図３の処理は１フィールドに１０回なされ、ステップＳ３０２ｄ，Ｓ３０２ｅで用いられる所定値α、β分の変化率でカットオフ周波数ｆｃの増減が制御される。ここで、変化率を決定する所定値は、例えば図６のような制限強度変化特性となるように決定されている。図６（ａ）はパンニング開始時のカットオフ周波数の変化特性で、時間軸に対し、座標位置６０１からパンニングが開始された例を示している。パンニング開始時には、素早い応答性で目標カットオフ周波数にならなければ、補正限界に衝突するような端当たりが発生する可能性がある。また、パンニング中には撮影画面が流れているので、カットオフ周波数を急激に変化させても、画面上の乱れは生じない。従って、パンニング開始時には、６０２のように短時間で目標制限量となるように所定値αは大きめの値となる。図６（ｂ）は座標位置６０３でパンニングが終了した場合である。
【００８８】
座標位置６０３以降の時間には、撮影画面は静止状態に近いので、カットオフ周波数の急激な変化は、画面上の動きとなってしまい、また、パンニング終了後すぐに補正能力を上げると、図１２に示す角変位信号１２０２を補正しようとするので、揺り戻しが生じてしまう。これらの問題を防止するためにも、パンニング終了時には、応答性を落とし、６０４のようにゆっくりとカットオフ周波数が変化するように、所定値βが決定されている。本実施例では、カットオフ周波数の変化率データである所定値α、βは共に定数として説明したが、変化率データは時間関数であってもいいし、カットオフ周波数に応じた関数であっても構わなく、例えば図６（ｃ）の６０５の様な特性で、カットオフが高い時には、変化が見えにくいことを利用して、防振能力をある程度までは素早く高め応答性を上げ、その後ゆっくりと防振能力を徐々に高めていくような特性にするほうが、カメラワークに対して自然な防振制御となり、好ましい。
【００８９】
ここで、図４の説明に戻り、ステップＳ４０４では、図３のステップＳ３０３で算出された補正信号（ｆ＊ｔａｎ（θ））を基に、切り出し位置の目標位置座標（Ｖ０，Ｈ０）を算出する。ここで目標位置は以下の式で与えられ、ぶれ補正で移動させるべき画素数が得られる。
【００９０】
Ｖ０＝垂直の原点位置±ピッチ方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ピッチ補正量／垂直画素サイズ−（５）
Ｈ０＝垂直の原点位置±ヨー方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ヨー補正量／水平画素サイズ−（６）
次に、ステップＳ４０５で、ステップＳ４０４で算出された目標位置座標（Ｖ０，Ｈ０）を、切り出し位置として、ＣＣＤ駆動回路１１６及びメモリ制御回路１１４に命令を出力し、そして、また次フィールド用にステップＳ４０１に戻り、１０回の積分処理がなされるまで待機するように制御される。
【００９１】
このように実施例によれば、制限動作判断手段を設け、制限動作の作動と解除とで参照する信号を異ならせることにより、制限が強くなったり弱くなったりのハンチングを防止することが可能となり、また、制限動作解除の参照信号を焦点距離補正の前の信号を用いることにより、広角と望遠で制限量抑制の応答性を同一にすることが可能となる。更に、制限動作の作動開始時と、解除時の制限強度変化率を変えることにより、パンニング時の素早い応答を確保しながら、画面上への制限強度変化の影響や揺り戻し現象を抑制することができ、自然なカメラワークを、あらゆる撮影画角で実現できる。
【００９２】
以上、本発明の実施例を、ＰＡＬ用ＣＣＤとラインメモリとを使った構成について説明したが、フィールドメモリ使って抽出画像を位置を制御することで補正しても良いし、拡大制御しなくとも済む大型或いは超高画素タイプのＣＣＤを使っても構わないし、光学式の補正手段であっても構わない。尚、本実施例では、揺れ検出手段として角速度センサーを用いたが加速度センサーでも良く、その場合は防振マイコン内又は外部で、更に１回積分処理行えば良い。また揺れ角変位量算出はソフトウエア処理として図１では説明したが、ハードウエアで構成されても構わない。また、制限をかける特性は、補正量に対して関数的に決定されるとして説明したが、特性決定方法としては、数式により算出決定しても、その特性となるデータテーブルとして予め記憶していても構わない。
【００９３】
（第２の実施例）
第１の実施例では、制限手段としてハイパスフィルタのカットオフ周波数変更による揺れ信号の帯域制限手段を例にとったが、第２の実施例では、積分処理での帰還率変更を制限手段として用いた例である。尚、制限手段はこれらに限るものではなく、補正ゲインの変更によって制限しても構わなく、その場合、検出手段が動きベクトル検出である場合でも、本発明は適用可能である。
【００９４】
図７は、第２の実施例による撮像装置の構成を示すブロック図である。尚、第１の実施例と同様な構成は、同一の番号にて示し、説明を割愛する。図７に示すように、角速度センサ１０９（ピッチ方向）、１１０（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号を積分処理部１２０２で積分して角変位に変換する。積分処理部７０２で算出された揺れ角θに対して、焦点距離補正部１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。補正系制御部１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かす事で揺れ補正を行う。尚、積分処理部１２０２では積分の帰還量を決定する帰還率を可変設定することで、積分器のゲイン特性を変更でき、帯域制限が可能となっており、その制御は制限処理制御部１２０１で実行される。焦点距離補正部１１５ｅで算出された補正信号を補正量規格化部１１５ｆで規格化し、その規格化補正量と、ハイパスフィルタ１１５ｂの出力に応じて、制限処理制御部１２０１が、積分処理部１２０２を制御し、パンニング動作時の防振能力を制限する。
【００９５】
本実施例の制限動作制御は、第１の実施例で説明した図３、図４のフローチャートで、帯域制限用のカットオフ周波数ｆｃの代わりに、積分帰還率を変更パラメータとして設定し、図３のステップＳ３０２、図４のステップＳ４０３でのカットオフ周波数ｆｃに関する処理部分の比較や加減算論理のうち、大小判別論理を逆にし、加算と減算を入れ替え、更に図４のステップＳ４０３ａで決定された制限パラメータ変化特性を、図５の代わりに図８のような特性とするだけで、第１の実施例と同様な効果を得ることが可能となり、かつ、第１の実施例に比べ割り込み処理内のハイパスフィルタ処理の演算を減らす事ができるので、防振制御マイコンの負荷軽減も実現可能となる。
【００９６】
（第３の実施例）
第１、第２の実施例では、制限解除判断に用いる参照信号は、ハイパスフィルタ１１５ｂの出力（図１２の１２０１）を用いていた。このため、図４のステップＳ４０３ｃで、ハイパスフィルタ１１５ｂの出力の絶対値レベルが所定値γ以下は判別では、図１２の１２０４か１２０５の何れかの状態となり（１２０４はパンニング終了前を捉えることになり、１２０５の場合にはパンニング終了の所定時間後を捉えることになる）、どちらで制限が解除されるかは、パンニングスピードやパンニング時間などの撮影状況によって左右されていた。そのため、１２０４で制限解除した場合には、揺り戻し現象が発生し易く、１２０５で制限解除した場合には応答性が悪くなってしまうという問題があった。
【００９７】
第３の実施例では、上述の問題を回避するため、ハイパスフィルタ処理する前の角速度信号を用いて、制限解除判断する手法を説明する。尚、ハイパス処理前の信号は、信号出力レベルに応じＤＣ成分が変化する可能性があるので、本実施例では、ＤＣ成分変化の影響を受けずに、確実にパンニング終了を検出できる手法も合わせて説明する。
【００９８】
図９は、第３の実施例による撮像装置の構成を示すブロック図である。尚、第１の実施例と同様な構成は、同一の番号にて示し、説明を割愛する。図９に示すように、角速度センサ１０９（ピッチ方向）、１１０（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号に対して、ハイパスフィルタ１１５ｃで帯域制限をかけ、積分処理部１１５ｄで積分して角変位に変換する。積分処理部１１５ｄで算出された揺れ角θに対して、焦点距離補正部１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。
【００９９】
補正系制御部１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かすことで揺れ補正を行う。尚、１１５ｃは帯域制限用のハイパスフィルタであり、補正信号を補正量規格化部１１５ｆで規格化した規格化補正量と、Ａ／Ｄコンバータ１１５ａの出力信号９０１に応じて、制限処理制御部１４０２が、ハイパスフィルタ１１５ｃを制御し、パンニング動作時の防振能力を制限する。この信号９０１を用いて、パンニング終了の検出を行う。パンニング時の出力信号９０１は、図１７（ａ）の角速度信号のように変化することになり、出力信号９０１を用いることで、パンニングの終了をより確実に、より正確に終了時間１２０３のタイミングを検出できるようになる。
【０１００】
次に図１０、図１１のフローチャートを用いて防振制御マイコン１１５で処理される第３の実施例の防振制御フローを説明する。
【０１０１】
尚、図１０、図１１の処理フローは、第１の実施例で説明した図３、図４の処理フローとほぼ同様な処理となっており、第１の実施例と同様な処理は、同一の番号にて示し、説明を割愛する。
【０１０２】
本実施例の特徴として、ＤＣ成分除去する前の角速度信号を参照して、パンニング終了の判断を行う。また、参照信号のＤＣ成分変動の影響を受けずに、図１３（ａ）の１３０１の角速度信号の傾斜部（パンニング開始期間、終了期間）のみが検出できるよう、図１３（ｂ）のように角速度の時間変化信号１３０２を参照し、信号レベルが所定値ｋ以上となる時間が所定値δ以上続いたかどうかを判断することで、パンニング動作移行の判断を行う。この判断手法を用いれば、ＤＣ成分量が角速度センサ出力レベルに応じて変動したとしても、小さな変動量と長い変動時定数という特徴から、パンニング開始／終了の場合と区別することが可能となる。
【０１０３】
尚、第１、第２の実施例では、パンニング終了判断はハイパスフィルタ１１５ｂの出力信号を用いており、図１３（ｂ）の角速度の時間変化信号１３０２と同種の信号を得ているが、ハイパスフィルタ１１５ｂは手ぶれ信号を遮断せずに、ＤＣ成分のみを遮断したいため、カットオフ周波数が、１Ｈｚより小さい、時定数の長いフィルタとなっている。これに対し、図１３（ｂ）の１３０２は、時定数の短い微分処理等で生成された角加速度信号として定義づけている（本実施例では、所定時間での角速度信号の差分量として算出）。
【０１０４】
図１０のフローチャートは、角速度センサ１０９，１１０で検出した角速度信号を積分することで、角変位を算出する処理であり、図３と同様な処理となっている。なお、本処理は不図示のＲＯＭにあらかじめ記憶されたプログラムにより防振制御マイコン１１５の指示により行われるものである。図３の処理との違いは、ステップＳ３０１のＤＣ成分除去用のハイパスフィルタ処理を行う前に、ステップＳ１００１でＡ／Ｄコンバータ１１５ａの出力信号を、微分処理し（本実施例では、前回のサンプリング値との差分量とする）、ステップＳ１００２で算出微分量の絶対値が所定値ｋより大きいかを判別する（図１２の１３０３のしきい値）。ｋ以下の場合にはステップＳ１００３でパンニング移行の時間計測カウンタｎをクリアし、ｋより大の場合には、カウンタｎをステップＳ１００４でインクリメントする。
【０１０５】
このパンニング移行の時間計測カウンタｎは、角加速度信号レベルがｋ以上の時間がどのくらい継続したかを示すカウンタであり、例えば継続時間が図１３の１３０４のδ以上継続された場合に、パンニングが開始、又は終了されたと判断する。本発明の特徴として、パンニング開始時は、応答性を重視するため１１５ｆ出力の規格化補正信号で制限制御を行い、パンニング終了時の制限解除判断を、角加速度信号を参照して判断する。従って、制限解除を許可する「解除フラグ」のセット設定は、図１１のステップＳ１１０１で時間計測カウンタｎが所定値δより大きいときに、ステップＳ４０３ｄに移行することでなされ、その後図１０のステップＳ３０２で、補正能力が強められるよう制御される。
【０１０６】
【発明の効果】
以上説明したように、本発明によれば、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号に応じて補正動作に制限をかける制限手段とを有し、前記制限手段は、前記補正信号の変化に応じて所定の特性となるように制限量を決定する制限特性決定手段と、前記決定された制限量に応じて前記補正信号の帯域制限を行う帯域制限手段と、前記帯域制限を行うか否かを前記帯域制限手段への入力信号と前記補正信号とに応じて判断する制限動作判断手段とを含むようにしたため、制限が強くなったり弱くなったりするハンチングを防止することが可能となり、パンニング開始時や動作中のみでなく、パンニング終了時にも自然なカメラワークをあらゆる撮影画角で実現することができるという効果がある。
【０１０７】
また、レンズ系からの光学像を電気信号に変換する撮像素子と、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を前記レンズ系の焦点距離に応じて生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号の変化に応じて所定の特性となるように補正動作に制限をかける制限手段と、前記制限動作を行うか否かを前記補正信号生成手段による前記焦点距離に応じた増幅率での増幅前での信号と前記補正信号とに応じて判断する制限動作判断手段とを備えたため、上記と同様の効果がある。
【０１０８】
また、レンズ系からの光学像を電気信号に変換する撮像素子と、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号の変化に応じて所定の特性となるように補正動作に制限をかける制限手段と、前記制限動作を行うか否かを前記検出手段の出力信号と前記補正信号に応じて判断する制限動作判断手段とを備えたため、上記と同様の効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施例による撮像装置の構成を示すブロック図
【図２】 第１の実施例の抽出画面を示す説明図
【図３】 第１の実施例の防振制御動作を示すフローチャート
【図４】 第１の実施例の防振制御動作を示すフローチャート
【図５】 第１の実施例の制限量特性を示す図
【図６】 第１の実施例の制限強度変化特性を示す図
【図７】 本発明の第２の実施例による撮像装置の構成を示すブロック図
【図８】 第２の実施例の制限量特性を示す図
【図９】 本発明の第３の実施例による撮像装置の構成を示すブロック図
【図１０】 第３の実施例の防振制御動作を示すフローチャート
【図１１】 第３の実施例の防振制御動作を示すフローチャート
【図１２】 第１の実施例の制限動作の解除のタイミングを示す説明図
【図１３】 第３の実施例のパンニング期間の判断を示す説明図
【図１４】 従来例の撮像装置の構成を示すブロック図
【図１５】 従来例の防振制御動作を示すフローチャート
【図１６】 従来例の制限量特性を示す図
【図１７】 従来例の最大シフト限界を示す図
【符号の説明】
１０６ 撮像素子
１０８ カメラ信号処理部
１０９ 角速度センサ（検出手段）
１１０ 角速度センサ（検出手段）
１１５ 防振制御マイコン
１１５ｃ ハイパスフィルタ
１１５ｄ 積分処理部
１１５ｅ 焦点距離補正部（補正信号生成手段）
１１５ｇ 制限処理制御部（制限手段）
１１５ｈ 補正系制御部（補正手段）
【発明の属する技術分野】
本発明は、手ぶれ補正機能を備えたビデオカメラ等の撮像装置及びその制御方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のビデオカメラには、手ぶれ防止機能が搭載された防振機能付きカメラが一般的となっている。手ぶれ防止機能の方式としては、光学式手ぶれ補正と電子式手ぶれ補正とがある。
【０００３】
光学式手ぶれ補正では、撮像素子に入射される撮影光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じ光軸の変位を行うことで、ぶれ補正を行う。光学式に用いられる手ぶれ検出手段としては、振動ジャイロ等の角速度センサを用い、直接カメラに加わる揺れ成分の検出を行い、この出力を積分することで、カメラの角変位を検出するのが一般的となっている。
【０００４】
一方、電子式手ぶれ補正は、フィールド間での映像信号の変化からカメラの動き量を算出し、ぶれ信号とする、動きベクトル検出方式と併用される場合が多く、動きベクトル検出用のフィールドメモリの蓄積画像を、動きが除去されるようにメモリ画像の一部を抽出することで補正を行っている。また、電子式手ぶれ補正の別のシステムとして、ぶれ検出にはセンサを用い、撮像素子に受光された画像の一部のみを切りだし、検出されるぶれに応じ切り出し位置を制御することで、ぶれ補正を行うタイプも出てきている。
【０００５】
電子式の場合、映像信号に対し電気的な補正を行うため、補正周期はフィールド周期となり、露光時間中の手ぶれを除去することができない反面、光学方式よりも小型軽量に出来るというメリットがある。また、撮像素子に高密度の大型タイプのものを用いることで、切りだし又はメモリから抽出される撮影像の解像度を上げ、光学式に比べ不利であった画質劣化にも改良がなされつつある。
【０００６】
ところで、ビデオカメラでは、カメラを意図的に動かすパンニングやチルティング等のカメラワークを行いながら撮影を行う場合がある。これらのカメラワークでの撮影時は、手ぶれ補正に制限をかけて、補正能力が低下するようにさせ、補正範囲の端に突き当たって生じる撮影画像の乱れの防止や、撮影者の意図する方向への素早い応答を図る手法が本発明者により提案されている。
【０００７】
図１４、図１５、図１６、図１７は、本発明者により提案されているパンニング時の制限手法を説明するための図である。本従来例は焦点距離が何れであっても、また焦点距離により補正限界が変化するような場合であっても、制限量の特性設定が簡単に行える手法であり、光学式の手ぶれ補正機能システムを例にとって説明する。
【０００８】
図１４は、手ぶれ補正用のシフトレンズを光軸に垂直に可動させることで防振するシステムの構成を示している。レンズ群はインナーフォーカスタイプの構成となっており、固定レンズ１４０１、ズームレンズ１４０２、絞り１４０３、防振用シフトレンズ１４０４、フォーカスレンズ１４０５から成る。レンズからの光はＣＣＤ等の撮像素子１４０６に結像される。撮像素子上の像は光電変換され、増幅器１４１８で最適なレベルに増幅されカメラ信号処理回路１４１９へと入力され標準テレビ信号に変換される。また、図１４のカメラは光学的な手ぶれ補正機能を備えており、防振のＯＮ／ＯＦＦはスイッチ１４２０の状態を検出することで行っている。
【０００９】
角速度センサ１４２１（ピッチ方向）、１４２２（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１４２３、１４２４でそれぞれ増幅後、制御マイコン１４１６のＡ／Ｄコンバータ等で取り込み、制御マイコン１４１６の内部処理で角速度信号を積分して角変位に変換する。制御マイコン１４１６は、得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、撮像素子上の揺れによる撮影像の移動分（ほぼｆ＊ｔａｎθに相当）を、揺れによる移動方向とは逆方向に動かす様に、シフトレンズ１４０４を光軸に垂直に移動させる事で揺れ補正を行う。制御マイコン１４１６は補正目標を出力する。加算器１４１５はシフトレンズ１４０４の位置信号（エンコーダ１４１３の検出信号を所定レベルに増幅器１４１４で増幅した位置信号）と制御マイコン１４１６からの補正目標とを比較し、差が零になるように駆動信号をモータドライバ１４１２を介しモータ１４１１に出力することで、シフトレンズ１４０４の位置をループ制御し、目標位置に一致させる。
【００１０】
また、制御マイコン１４１６はズームレンズ１４０２、フォーカスレンズ１４０５も制御している。押し圧により抵抗値が可変する回転操作タイプのズームスイッチユニット１４１７からの信号に応じ、制御マイコン１４１６は駆動命令をモータドライバ１４０８を介しモータ１４０７に送ることで、ズームレンズ１４０２の移動がなされ変倍動作が行われる。また、カメラ信号処理回路１４１９で処理された焦点信号が最大となるように、制御マイコン１４１６は、駆動命令をモータドライバ１４１０を介しモータ１４０９に送ることで、フォーカスレンズ１４０５の移動がなされ焦点調節が行われる。
【００１１】
次に図１５を用いて、制御マイコン１４１６で処理される本防振制御フローを説明する。補正量は焦点距離と最大補正限界で規格化されており、規格化補正量に応じて制限量が所定特性で算出できるので、１種類の特性を有するだけで、すべての焦点距離変化に対応可能となっている。図１５のフローチャートは、角速度センサ１４２１、１４２２で検出した角速度信号を積分することで、角変位を算出し、補正量と制限量を算出する処理である。図１５の処理は制御マイコン１４１６で実行される定周期割込処理であり、例えば１ｋＨｚの周波数で実行される。割込みの起動要因は、例えば、発振クロックの所定分周でアップ（若しくはダウン）カウントしているカウンタが、１ｍｓｅｃに相当するデータと一致する毎に発生する。また、図１４で説明した様に角速度信号を制御マイコン１４１６のＡ／Ｄコンバータで取り込むが、本実施例では簡単のため、Ａ／Ｄコンバータの動作モードはスキャンモードで、いつでもＡ／Ｄ動作を繰り返しているものとする。
【００１２】
まず、割込処理を開始すると、ステップＳ１５０１でＡ／Ｄサンプリングした角速度信号に対し、ハイパスフィルタ処理をかけることで、ＤＣ成分の影響を除去する。ステップＳ１５０２はＡＣ成分の角速度信号に、周波数帯域の制限を設ける処理である。実際にはステップＳ１５０１と同様なハイパスフィルタ処理であり、そのカットオフ周波数がステップＳ１５０１では固定値なのに対して、ステップＳ１５０２では可変設定が可能になっている。このカットオフ周波数を低域から高域まで変化させることにより、帯域制限が可能になっている。
【００１３】
ステップＳ１５０２のカットオフ周波数を制御し、パンニング等のカメラワーク動作中には、カットオフ周波数を上げ、防振の抑振能力を低下させる様にし、通常撮影時には、手ぶれ除去のため、カットオフ周波数を低下させるようにしている。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときの、画面の不自然さを防止するためも、帯域制限の制御が実行されている。次に、ステップＳ１５０３では帯域制限された角速度信号を積分処理し、角変位を算出する。算出された角変位が、カメラ本体に加わる揺れ角に相当する。
【００１４】
次にステップＳ１５０４で補正量の算出を行う。補正量はステップＳ１５０３で得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、ｆ＊ｔａｎθとなる。ステップＳ１５０５は、ステップＳ１５０４で算出した補正量を最大補正限界（シフトレンズ１４０４の移動限界）で規格化する処理である。規格化補正量の算出は以下の式で与えられる。
【００１５】
ピッチ規格化補正量＝ピッチ補正量／ピッチ最大シフト限界／２＊１００（％）−（１）
ヨー規格化補正量＝ヨー補正量／ヨー最大シフト限界／２＊１００（％）−（２）
ステップＳ１５０６では、ステップＳ１５０５で算出された規格化補正量をもとに、補正能力に制限を加えるための制限量を算出する。ここで制限量は、帯域制限処理ステップＳ１５０２で説明したカットオフ周波数に相当する。
【００１６】
図１６は補正量に対する制限量つまりカットオフ周波数の特性を示している。横軸は規格化補正量であり、最大シフト限界の１／２までシフトして補正する場合を１００％とした場合に対する、現在の揺れを補正するのに必要な補正量の割合を示している。縦軸は制限量のパラメータである帯域制限のカットオフ周波数である。補正量に対し制限を掛ける度合いが、しきい値による設定ではなく、関数的な設定となっている。
【００１７】
このため、カットオフ周波数を制御し、パンニング動作対応する場合でも、円滑な切り替えが行える。本例では、最大カットオフ周波数を６Ｈｚとしているが、これは、主となる手ぶれの周波数成分が５Ｈｚ以下であることによる。帯域制限の特性は２乗の関数でカットオフが変化する様に設定されており、補正量が大きいほど急峻にカットオフ周波数を上げ、また補正量が零近傍の場合にはカットオフをできるだけ低くし、防振効果を高める様に制御される。この防振効果が高い範囲（補正量が零近傍の範囲）を出来るだけ拡大したい場合には、補正量の２乗としていた次数を増していけば良く、補正量がより大きくなったときに、カットオフが急峻に立ち上がる様に係数等の設定をすればよい。
【００１８】
ここで、最大シフト限界は、図１７のように決定されており、図１７（ａ）には焦点距離変化に対し、有効像円径が変化している様子、図１７（ｂ）には焦点距離に対し、最大補正範囲（最大シフト限界）が変化している様子をそれぞれ示されている。図１７の１７０１がシフトレンズ１４０４のメカ的な最大移動限界距離を、有効像円径に換算した点であり、１７０２はワイドからテレまですべての焦点距離で、メカ的にシフトレンズ１４０４が最大移動限界までの距離を移動したとしても、撮影画面にはケラレが生じないことを示している。従って、１７０２に対する最大補正範囲は１７０５のように一定値となる。
【００１９】
一方、１７０３のように焦点距離１７０４よりテレ側でしか１７０１のより大きな像円径にならない場合には、１７０４よりワイド側では、シフトレンズ１４０４をメカ的に移動可能な最大までレンズシフトすると、撮影画面の一部がケラれる事を意味する。従って、１７０３に対する最大補正範囲は１７０６のように、焦点距離１７０４よりワイドでは、減少することになる。一般には１７０３のようにレンズ光学系の設計がなされ、レンズの小型化が図られる場合が多い。このように、最大補正範囲が焦点距離により１７０６のように変化する場合であっても、補正量は最大補正範囲で規格化されるので、焦点距離毎に制限特性を変更しなくとも（特性変更パラメータを多数持たなくとも）、端衝突の防止と円滑なパンニング動作移行と解除とが実現できる。
【００２０】
図１５に戻る。ステップＳ１５０６で決定されたカットオフ周波数は、次回の帯域制限処理で設定され、角速度信号に対して、制限がなされる。例えば、算出カットオフが大きい場合には、カットオフ周波数以下の手ぶれ周波数の揺れに対し、補正効果が減少するようになる。次にステップＳ１５０７で、ステップＳ１５０４で算出されたシフト目標値命令を加算器１４１５に対して出力し、本処理を終了する（ステップＳ１５０８）。
【００２１】
【発明が解決しようとしている課題】
しかしながら、上記のような従来の撮像装置でのパンニング動作制御では、補正手段の最大補正範囲で規格化された補正量に応じて、制限量を決定していたため、制限量を大きくするようにハイパスフィルタのカットオフ周波数を大きくすると、次に算出される補正量は小さくなり、これに対する制限量も小さく算出される。また、小さな制限量設定がなされると、再び補正量は大きく算出されることになる。このため、パンニング動作が継続的に行われている場合に、上記のような制限動作がなされると、制限が強くなったり弱くなったりのハンチングとなり、円滑なカメラワークが損なわれるという問題点があった。
【００２２】
特に、制限動作でカットオフ周波数を変化させる場合、その変化量が大きいと、画面上で変化が見えてしまう場合があるという問題点があった。これに対し画面変化が少ないように、変化量を小さく設定すると、パンニング操作に対する制限動作の応答性が劣化してしまうという問題点があった。
【００２３】
また上記従来例では、パンニング動作時の制限量を規格化補正量に応じて決定しており、撮影画角毎に焦点距離補正がなされている（ｆ＊ｔａｎθ）。これは、パンニング操作が、一般に、画面の移動速度が一定となるようなされることに依っている（望遠ではゆっくり、広角では速いパンニングになる傾向がある）。パンニング開始時には、撮影画角に最適な速度でパンニングを行ったときに、同じ制限量で制限がかかるので問題はないが、パンニングの終了は、焦点距離の変化に依らず、カメラ操作が実際に安定した状態を検出するべきである。この考慮が欠けていたため、上記従来例では、パンニング終了の操作で、徐々にカメラの揺れが減少していく場合に、広角と望遠で制限量抑制の応答性が異なってしまうという問題点があった。特に望遠での撮影時には、パンニング終了後、手ぶれ補正が効き始めるのに時間がかかるという問題点があった。
【００２４】
更に上記従来例では、ハイパスフィルタでＤＣ成分カット後の角速度信号を積分した角変位信号を補正信号としているので（図１５のステップＳ１５０１，Ｓ１５０３）、パンニング時には、図１２のような角変位信号となるので、パンニング終了時のカメラが静止した状態にもかかわらず、画面が動いてしまう揺り戻し現象が発生していた。ここで、図１２（ａ）はパンニング動作時の角速度信号の変化を示しており、（ｂ）の１２０１が（ａ）の角速度信号に対して、ステップＳ１５０１のハイパスフィルタ処理を行った出力信号（角変位信号）、１２０２が１７０１をステップＳ１５０３で積分した角変位信号である。つまり上記揺り戻し現象は、時間１２０３でパンニング動作を終了しているにもかかわらず、１２０３以降の時間で、出力信号１２０２が負方向に変位出力を有しているために、発生してしまうという問題点があった。
【００２５】
本発明は、上記のような問題点を解決するためになされたものであり、パンニング開始時や動作中のみでなく、パンニング終了時にも自然なカメラワークをあらゆる撮影画角で実現できる撮像装置及びその制御並びに記憶媒体を提供することを目的とする。
【００２６】
本発明では、上記目的を達成するため、撮像装置及びその制御方法並びに記憶媒体をつぎの（１）ないし（２７）のとおりに構成する。
（１）揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号に応じて前記補正信号生成手段の入力信号に制限をかける制限手段とを有し、前記制限手段は、前記補正信号の変化に応じて所定の特性となるように制限量を決定する制限特性決定手段と、前記決定された制限量に応じて前記補正信号の帯域制限を行う帯域制限手段と、前記帯域制限を行うか否かを前記帯域制限手段への入力信号と前記補正信号とに応じて判断する制限動作判断手段とを含む撮像装置。
（２）前記制限手段は、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードとを有し、前記第１、第２の制限モードとで制限強度の時間変化率が異なっている前記（１）記載の撮像装置。
（３）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さい前記（２）記載の撮像装置。
（４）前記制限動作判断手段は、補正信号に応じて制限動作の作動を判断するとともに、帯域制限手段への入力信号に応じて前記制限動作の解除を判断する前記（１）記載の撮像装置。
（５）前記制限動作判断手段により制限動作の解除がなされない期間は制限強度を弱める前記（１）記載の撮像装置。
（６）前記所定の特性は、焦点距離と補正手段の最大補正範囲とで規格化された補正信号に応じて決定される前記（１）記載の撮像装置。
（７）前記帯域制限手段による帯域の制限は、ハイパスフィルタの遮断周波数を変化させることで行う前記（１）記載の撮像装置。
（８）前記帯域制限手段による帯域の制限は、積分フィルタの積分帰還率を変化させることで行う前記（１）記載の撮像装置。
（９）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定される前記（１）記載の撮像装置。
（１０）揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断する撮像装置の制御方法。
（１１）前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なっている前記（１０）記載の撮像装置の制御方法。
（１２）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さい前記（１１）記載の撮像装置の制御方法。
（１３）前記補正信号に応じて制限動作の作動を判断するとともに、帯域制限部への入力信号に応じて前記制限動作の解除を判断する前記（１０）記載の撮像装置の制御方法。
（１４）制限動作の解除がなされない期間は制限強度を弱める前記（１０）記載の撮像装の制御方法。
（１５）前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定される前記（１０）記載の撮像装置の制御方法。
（１６）前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行う前記（１０）記載の撮像装置の制御方法。
（１７）前記帯域制限は、積分フィルタの積分帰還率を変化させる前記（１０）記載の撮像装置の制御方法。
（１８）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定される前記（１０）記載の撮像装置の制御方法。
（１９）揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断することをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した記憶媒体。
（２０）前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なるようにすることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２１）前記制限強度の時間変化率は、第１の制限モードよりも第２の制限モードの方が小さいことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（２０）記載の記憶媒体。
（２２）前記補正信号に応じて制限動作の作動を判断するとともに、帯域制限部への入力信号に応じて前記制限動作の解除を判断することをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２３）制限動作の解除がなされない期間は制限強度を弱めることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２４）前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２５）前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２６）前記帯域制限は、積分フィルタの積分帰還率を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
（２７）前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した前記（１９）記載の記憶媒体。
【００６６】
【発明の実施の形態】
（第１の実施例）
以下、図面を参照し、本実施例について説明する。図１は、本発明の第１の実施例による撮像装置の構成を示すブロック図であり、撮像装置であるビデオカメラに電子防振機能を搭載した場合について説明する。
【００６７】
図１に示すように、レンズ群はインナーフォーカスタイプの構成となっており、第１の固定レンズ１０１、ズームレンズ１０２、絞り１０３、第２の固定レンズ１０４、フォーカスレンズ１０５ら成る。レンズからの光はＣＣＤ等の撮像素子１０６に結像され、増幅器１０７で最適なレベルに増幅されカメラ信号処理回路１０８へと入力され標準テレビ信号に変換される。また、図１のカメラは電子的な手ぶれ補正機能を備えており、防振のＯＮ／ＯＦＦはスイッチ１１７の状態を検出することで行っている。
【００６８】
角速度センサ１０９（ピッチ方向）（検出手段）、１１０（ヨー方向）（検出手段）でカメラ本体（撮像素子１０６）の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号を積分処理部１１５ｄで積分して角変位に変換する。積分処理部１１５ｄで算出された揺れ角θに対して、焦点距離補正部（補正信号生成手段）１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。補正系制御部（補正手段）１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かすことで揺れ補正を行う。尚、１１５ｃは帯域制限用のハイパスフィルタであり、補正信号を補正量規格化部１１５ｆで規格化した規格化補正量と、ハイパスフィルタ１１５ｂの出力に応じて、制限処理制御部（制限手段）１１５ｇが、ハイパスフィルタ１１５ｃを制御し、パンニング動作時の防振能力を制限する。この制限動作については、後で詳しく説明する。
【００６９】
電子的な防振制御で抽出される画像領域は、例えば図２に示す抽出画面２０２となり、図２を用いて抽出される画像について説明する。図２（ａ）は撮像素子１０７の撮像画面を表しており、２０１が全撮像画面の領域に相当する。このうち一部のみの領域、例えば抽出画面２０２を抽出し、この抽出画面が図２（ｂ）の２０４のように、全画面として表示や記録処理される。抽出画面２０２は、手ぶれを補正するように位置変更され、２０３で示される垂直方向と水平方向の位置座標（Ｖ０，Ｈ０）を変更することで行われる。座標２０３の位置変更範囲は、全撮像画面２０１と抽出画面２０２の水平／垂直の画素数差（以下では余剰画素と呼ぶ）で決定される。また、座標２０３は、手ぶれが無い場合の原点座標を定めておき、その原点を基準として、手ぶれの量と方向に応じて、位置座標を変化させる事で補正するように決定される。
【００７０】
抽出画面２０２を抽出する手法としては、フィールドメモリを用いて全撮像画面２０１の画像を一旦記憶し、抽出画面２０２の画像のみを読み出しながら、全撮像画面２０１の大きさになるよう拡大処理して画面２０４の表示を得る方法と、抽出画面２０２の抽出領域があらかじめ標準ＴＶ信号に必要な走査線数を満足するように、撮像素子を高密度の高画素タイプの大型ＣＣＤを用いる方法とがある。前者、後者共に高価なフィールドメモリや大型ＣＣＤを必要とするので本実施例では、汎用のＰＡＬ用のＣＣＤを、ＮＴＳＣのカメラに用いる構成とする。
【００７１】
ＰＡＬＣＣＤは垂直方向の画素密度が高いので、垂直走査方向はタイミングジェネレータ等のＣＣＤ駆動回路で、ＮＴＳＣ規格に対しての余分ライン数の範囲内で、高速掃き出しすべきライン数を角変位に応じて変化させれば、垂直方向の切りだし画像の位置を変化させることが可能となる。また、水平走査方向はラインメモリとメモリ制御回路との構成でタテヨコ比分だけ拡大処理を行ないつつ、ラインメモリへの書き込み開始画素位置と読み出し開始画素位置との関係を変化させれば、水平方向の画面位置変更が行え、安価な揺れ補正が実現できる。
【００７２】
図１は上述したような補正系の構成になっており、垂直走査方向の画素移動は防振制御マイコン１１５が、ＣＣＤ駆動回路１１６を制御し、高速掃出し制御を行わせることで、所望の走査領域の抽出行い、水平走査方向の画素移動は、カメラ信号処理回路１０８で処理された映像信号を取り込む、ラインメモリ１１３とメモリ制御回路１１４とで、メモリされた水平走査画像の読み出位置を揺れ補正画素移動量に応じて可変にしながら、かつタテヨコ比に見合うだけ拡大処理（メモリ読み出しレートを変更して、間引いて読み出すことで拡大可能）を行い、その信号をカメラ信号処理回路１０８に戻し色処理等を施すことで標準ＴＶ信号に変換する。
【００７３】
また、防振制御マイコン１１５はズームレンズ１０２、フォーカスレンズ１０５も制御している。押し圧により抵抗値が可変する回転操作タイプのズームスイッチユニット１１８からの信号に応じ、防振制御マイコン１１５は駆動命令をモータドライバ１２０を介しモータ１１９に送ることで、ズームレンズ１０２の移動がなされ変倍動作が行われる。また、カメラ信号処理回路１０８で処理された焦点信号が最大となるように、防振制御マイコン１１５は、駆動命令をモータドライバ１２２を介しモータ１２１に送ることで、フォーカスレンズ１０５の移動がなされ焦点調節が行われる。
【００７４】
次に図３、図４を用いて、第１の実施例による防振制御マイコン１１５で処理される防振制御動作を説明する。本発明の目的は、パンニング動作を開始する場合でも、終了する場合でも、防振能力に制限をかけるための制御の切り替わりを円滑にしつつ、カメラワークや撮影画像に支障をきたさない、自然な手ぶれ補正を実現することにある。本発明の特徴として、補正量に応じて所定の特性で制限量を変え、補正の効き具合を変化させるが、制限動作を作動させる場合と解除する場合とで、作動判断に用いる信号を異ならせている。特に作動判断は補正信号を用い、解除判断は帯域制限や焦点距離補正が行われる前の信号を用いることで、制限動作のハンチングを防止し、画角変化によらない均一な応答特性が得られるようにしている。また、制限動作を強める場合と弱める場合とで、制限強度変化率を変え、素早い応答と自然な撮影画像提供の両立を図っている。図３、図４のまた、処理フローの説明は、図１の防振制御マイコン１１５での処理と重複するが、図１ではブロック図として示したが、実際には防振制御マイコン１１５の指示によってあらかじめ不図示のＲＯＭに記憶されたプログラムにより処理されており、ここでは改めてプログラムとして説明を行う。
【００７５】
図３のフローチャートは、角速度センサ１０９，１１０で検出した角速度信号を積分することで、角変位を算出する処理である。本処理は防振制御マイコン１１５の指示で実行される定周期割込処理であり、本実施例ではフィールド周波数の１０倍、つまりＮＴＳＣの場合６００Ｈｚの周波数で実行される。この周波数は、角速度信号のサンプリング周波数、角変位の算出周波数に相当する。防振制御マイコン１１５での割込みの起動要因は、例えば、発振クロックの所定分周でアップ（若しくはダウン）カウントしているカウンタが、１／６００ｓｅｃに相当するデータと一致する毎に発生する。また、図１で説明したように角速度信号を防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込むが、本実施例では簡単のため、Ａ／Ｄコンバータ１１５ａの動作モードはスキャンモードで、いつでもＡ／Ｄ動作を繰り返しているものとする。
【００７６】
まず、割込処理が開始されると、ステップＳ３０１でＡ／Ｄサンプリングした角速度信号に対し、ハイパスフィルタ処理をかけることで、ＤＣ成分の影響を除去する。ステップＳ３０２はＡＣ成分の角速度信号に、周波数帯域の制限を設ける処理であり、ステップＳ３０２ａからステップＳ３０２ｅで構成される（ステップＳ３０２の詳細な説明については、図４の説明の中で行う）。実際にはステップＳ３０１と同様なハイパスフィルタ処理であり、そのカットオフ周波数がステップＳ３０１では固定値なのに対して、ステップＳ３０２では可変設定が可能になっている。このカットオフ周波数を低域から高域まで変化させることにより、帯域制限が可能になっている。
【００７７】
ステップＳ３０２でのカットオフ周波数をどのように制御するかは、図４のフローチャートと合わせて後述するが、パンニング等のカメラワーク動作中には、カットオフ周波数を上げ、防振の抑振能力を低下させるようにし、通常撮影時には、手ぶれ除去のため、カットオフ周波数を低下させるように制御される。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときの、画面の不自然さを防止するためも、帯域制限の制御が実行されている。
【００７８】
次に、ステップＳ３０３では帯域制限された角速度信号を積分処理し、角変位を算出する。算出された角変位が、カメラ本体に加わる揺れ角θに相当する。次にステップＳ３０４で焦点距離補正を行い、補正量を算出する。補正量は前述したように、ステップＳ３０３で得られた角変位、即ち揺れ角θと光学系の焦点距離ｆに応じ、ｆ＊ｔａｎθとして補正量算出される。ステップＳ３０３からステップＳ３０７までの処理は、１フィールド間に１０回、揺れ角算出がなされたかどうかの処理ルーチンで、回数パラメータのＲＡＭである「ｍ」をインクリメントし（ステップＳ３０５）、「ｍ＝１０」か判別し（ステップＳ３０６）、１０回割込があったらステップＳ３０７で「ｍ＝０」と次のフィールドのために、初期化を行って、本割込処理を終了する。尚、図３のステップＳ３０１，Ｓ３０２，Ｓ３０３，Ｓ３０４では、垂直方向の揺れ信号処理を角速度センサ１０９の出力であるピッチ方向の角速度信号で行い、水平方向の揺れ信号処理を角速度センサ１１０の出力であるヨー方向の角速度信号で行っている。
【００７９】
図４の処理では、１フィールドに１回処理され、図３の処理が１０回実行されて、次の１回目が実行されるまでの間、つまり現フィールドの最後に処理が実行されることになる。
【００８０】
まず、処理が開始されると、ステップＳ４０１で「ｍ＝０」になるまでその場で待機する。現フィールドで１０回の割込処理がなされ、ｍが初期化されると、ステップＳ４０２でステップＳ３０４で算出された補正量の規格化を行う。規格化補正量の算出は以下の式で与えられる。
【００８１】
ピッチ規格化補正量＝ピッチ補正量／垂直画素サイズ／垂直余剰画素数／２＊１００（％）−（３）
ヨー規格化補正量＝ヨー補正量／水平画素サイズ／水平余剰画素数／２＊１００（％）−（４）
本実施例の構成では、ＮＴＳＣのカメラにＰＡＬ用のＣＣＤ（５８２Ｖ＊７５２Ｈ）を用いるとした。ここから、ＮＴＳＣ規格の垂直４８５ラインを切り出すとすると、縦横比から垂直方向の抽出画素は６２７Ｈとなる。従って、上記の余剰画素は９７Ｖ＊１２５Ｈとなり、手ぶれの方向に応じ、補正方向が正負をと
るので、余剰画素数の１／２で規格化がなされる。
【００８２】
ステップＳ４０３では、ステップＳ４０２で算出された規格化補正量をもとに、補正能力に制限を加えるための制限量を算出する。ここで制限量は、帯域制限ハイパスフィルタ１１５ｃのカットオフ周波数に相当する。まずステップＳ４０３ａで規格化補正量に応じた制限目標カットオフ周波数ｆｃを算出する。この目標カットオフ周波数ｆｃは、図５に示される特性で決定される。
【００８３】
図５は補正量に対する制限量つまりカットオフ周波数の特性である。横軸は規格化補正量であり、最大補正限界である余剰画素の１／２すべてを使って補正する場合を１００％としている。縦軸は制限量のパラメータである帯域制限のカットオフ周波数である。従来例の図１６と同様に２乗の関数でカットオフが変化する特性としており、揺れ角が大きくなって、補正端に衝突し撮影画像が乱れる現象を防止するためにも、図５の特性は、補正比率が最大補正限界に近いほど、より急峻にカットオフを高くする設定となっている。
【００８４】
次に、ステップＳ４０３ｂでステップＳ４０３ａで算出された目標ｆｃが現在のカットオフ周波数ｆｃ以上かどうかを判別する。目標ｆｃ≧現在ｆｃならば、ステップＳ４０３ｅで「解除フラグ」をクリアする。ここで解除フラグは、パンニングが終了した時にセットされるフラグであり、このフラグがセットされるまでは、カットオフ周波数ｆｃを下げないように、図３のステップＳ３０２内で制御される。つまり制限強度を弱くして防振効果を高めることの禁止がなされており、これは主として、「発明が解決しようとしている課題」で説明した、制限動作のハンチングを防止するためである。
【００８５】
ステップＳ４０３ｂで目標ｆｃが現在ｆｃより小さいと判断された場合には、ステップＳ４０３ｃでパンニング動作が終了したかどうかを判別するため、ハイパスフィルタ１１５ｂの出力角速度信号が所定値γより小さくなったかを判別する。ハイパスフィルタ１１５ｂの出力信号は、帯域制限や焦点距離補正がなされる前の信号であるので、撮影画角に依らず直接カメラの揺れの検出が行え、制限動作のハンチングや画角毎の応答性の違いを、防止することが可能となる。尚、所定値γは、パンニング終了時のハイパスフィルタ１１５ｂの出力レベルを予め測定することで決定されている。ステップＳ４０３ｃでハイパスフィルタ１１５ｂ出力の絶対値がγ以上なら、パンニング継続中と判断してステップＳ４０３ｅへ進み、そうでないならパンニング終了とみなし、ステップＳ４０３ｄで「解除フラグ」をセットする。尚、通常の手持ち撮影時には、制限がかからないので、処理ステップＳ４０３ｂで目標ｆｃと現在ｆｃとは等価となり、「解除フラグ」はクリア状態のままとなっている。
【００８６】
このようにパンニング動作時の撮影状況判断がなされる中、制限動作は図３のステップＳ３０２で制御される。図３のステップＳ３０２ａで、目標ｆｃと現在ｆｃが等しいかどうかを判別し、真であればステップＳ３０３に進み、カットオフ周波数の変更を行わない。ステップＳ３０２ａで偽の場合、ステップＳ３０２ｂで現在のカットオフ周波数ｆｃが目標値より小さいかを判別する。真の場合は、現在値が未だ目標値に至っていない場合であり、図４のステップＳ４０３では制限を強くするべきと判断している場合である。この場合、ステップＳ３０２ｅでカットオフ周波数ｆｃを、現在値から所定値α分だけ、大きくする。ステップＳ３０２ｂで目標ｆｃの方が小さかった場合には、ステップＳ３０２ｃで「解除フラグ」がセット状態かどうかを判別する。解除フラグがクリアの場合には、カットオフ周波数を下げずに、現在値にまま保持し、ステップＳ３０３に行く。解除フラグ＝１の場合には、パンニングが終了されカットオフ周波数を小さくしても、構わない場合なので、ステップＳ３０２ｄでカットオフ周波数の設定を、現在値より所定値βだけ小さい値にする。
【００８７】
図４の処理がフィールド周期で実行される中、図３の処理は１フィールドに１０回なされ、ステップＳ３０２ｄ，Ｓ３０２ｅで用いられる所定値α、β分の変化率でカットオフ周波数ｆｃの増減が制御される。ここで、変化率を決定する所定値は、例えば図６のような制限強度変化特性となるように決定されている。図６（ａ）はパンニング開始時のカットオフ周波数の変化特性で、時間軸に対し、座標位置６０１からパンニングが開始された例を示している。パンニング開始時には、素早い応答性で目標カットオフ周波数にならなければ、補正限界に衝突するような端当たりが発生する可能性がある。また、パンニング中には撮影画面が流れているので、カットオフ周波数を急激に変化させても、画面上の乱れは生じない。従って、パンニング開始時には、６０２のように短時間で目標制限量となるように所定値αは大きめの値となる。図６（ｂ）は座標位置６０３でパンニングが終了した場合である。
【００８８】
座標位置６０３以降の時間には、撮影画面は静止状態に近いので、カットオフ周波数の急激な変化は、画面上の動きとなってしまい、また、パンニング終了後すぐに補正能力を上げると、図１２に示す角変位信号１２０２を補正しようとするので、揺り戻しが生じてしまう。これらの問題を防止するためにも、パンニング終了時には、応答性を落とし、６０４のようにゆっくりとカットオフ周波数が変化するように、所定値βが決定されている。本実施例では、カットオフ周波数の変化率データである所定値α、βは共に定数として説明したが、変化率データは時間関数であってもいいし、カットオフ周波数に応じた関数であっても構わなく、例えば図６（ｃ）の６０５の様な特性で、カットオフが高い時には、変化が見えにくいことを利用して、防振能力をある程度までは素早く高め応答性を上げ、その後ゆっくりと防振能力を徐々に高めていくような特性にするほうが、カメラワークに対して自然な防振制御となり、好ましい。
【００８９】
ここで、図４の説明に戻り、ステップＳ４０４では、図３のステップＳ３０３で算出された補正信号（ｆ＊ｔａｎ（θ））を基に、切り出し位置の目標位置座標（Ｖ０，Ｈ０）を算出する。ここで目標位置は以下の式で与えられ、ぶれ補正で移動させるべき画素数が得られる。
【００９０】
Ｖ０＝垂直の原点位置±ピッチ方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ピッチ補正量／垂直画素サイズ−（５）
Ｈ０＝垂直の原点位置±ヨー方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ヨー補正量／水平画素サイズ−（６）
次に、ステップＳ４０５で、ステップＳ４０４で算出された目標位置座標（Ｖ０，Ｈ０）を、切り出し位置として、ＣＣＤ駆動回路１１６及びメモリ制御回路１１４に命令を出力し、そして、また次フィールド用にステップＳ４０１に戻り、１０回の積分処理がなされるまで待機するように制御される。
【００９１】
このように実施例によれば、制限動作判断手段を設け、制限動作の作動と解除とで参照する信号を異ならせることにより、制限が強くなったり弱くなったりのハンチングを防止することが可能となり、また、制限動作解除の参照信号を焦点距離補正の前の信号を用いることにより、広角と望遠で制限量抑制の応答性を同一にすることが可能となる。更に、制限動作の作動開始時と、解除時の制限強度変化率を変えることにより、パンニング時の素早い応答を確保しながら、画面上への制限強度変化の影響や揺り戻し現象を抑制することができ、自然なカメラワークを、あらゆる撮影画角で実現できる。
【００９２】
以上、本発明の実施例を、ＰＡＬ用ＣＣＤとラインメモリとを使った構成について説明したが、フィールドメモリ使って抽出画像を位置を制御することで補正しても良いし、拡大制御しなくとも済む大型或いは超高画素タイプのＣＣＤを使っても構わないし、光学式の補正手段であっても構わない。尚、本実施例では、揺れ検出手段として角速度センサーを用いたが加速度センサーでも良く、その場合は防振マイコン内又は外部で、更に１回積分処理行えば良い。また揺れ角変位量算出はソフトウエア処理として図１では説明したが、ハードウエアで構成されても構わない。また、制限をかける特性は、補正量に対して関数的に決定されるとして説明したが、特性決定方法としては、数式により算出決定しても、その特性となるデータテーブルとして予め記憶していても構わない。
【００９３】
（第２の実施例）
第１の実施例では、制限手段としてハイパスフィルタのカットオフ周波数変更による揺れ信号の帯域制限手段を例にとったが、第２の実施例では、積分処理での帰還率変更を制限手段として用いた例である。尚、制限手段はこれらに限るものではなく、補正ゲインの変更によって制限しても構わなく、その場合、検出手段が動きベクトル検出である場合でも、本発明は適用可能である。
【００９４】
図７は、第２の実施例による撮像装置の構成を示すブロック図である。尚、第１の実施例と同様な構成は、同一の番号にて示し、説明を割愛する。図７に示すように、角速度センサ１０９（ピッチ方向）、１１０（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号を積分処理部１２０２で積分して角変位に変換する。積分処理部７０２で算出された揺れ角θに対して、焦点距離補正部１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。補正系制御部１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かす事で揺れ補正を行う。尚、積分処理部１２０２では積分の帰還量を決定する帰還率を可変設定することで、積分器のゲイン特性を変更でき、帯域制限が可能となっており、その制御は制限処理制御部１２０１で実行される。焦点距離補正部１１５ｅで算出された補正信号を補正量規格化部１１５ｆで規格化し、その規格化補正量と、ハイパスフィルタ１１５ｂの出力に応じて、制限処理制御部１２０１が、積分処理部１２０２を制御し、パンニング動作時の防振能力を制限する。
【００９５】
本実施例の制限動作制御は、第１の実施例で説明した図３、図４のフローチャートで、帯域制限用のカットオフ周波数ｆｃの代わりに、積分帰還率を変更パラメータとして設定し、図３のステップＳ３０２、図４のステップＳ４０３でのカットオフ周波数ｆｃに関する処理部分の比較や加減算論理のうち、大小判別論理を逆にし、加算と減算を入れ替え、更に図４のステップＳ４０３ａで決定された制限パラメータ変化特性を、図５の代わりに図８のような特性とするだけで、第１の実施例と同様な効果を得ることが可能となり、かつ、第１の実施例に比べ割り込み処理内のハイパスフィルタ処理の演算を減らす事ができるので、防振制御マイコンの負荷軽減も実現可能となる。
【００９６】
（第３の実施例）
第１、第２の実施例では、制限解除判断に用いる参照信号は、ハイパスフィルタ１１５ｂの出力（図１２の１２０１）を用いていた。このため、図４のステップＳ４０３ｃで、ハイパスフィルタ１１５ｂの出力の絶対値レベルが所定値γ以下は判別では、図１２の１２０４か１２０５の何れかの状態となり（１２０４はパンニング終了前を捉えることになり、１２０５の場合にはパンニング終了の所定時間後を捉えることになる）、どちらで制限が解除されるかは、パンニングスピードやパンニング時間などの撮影状況によって左右されていた。そのため、１２０４で制限解除した場合には、揺り戻し現象が発生し易く、１２０５で制限解除した場合には応答性が悪くなってしまうという問題があった。
【００９７】
第３の実施例では、上述の問題を回避するため、ハイパスフィルタ処理する前の角速度信号を用いて、制限解除判断する手法を説明する。尚、ハイパス処理前の信号は、信号出力レベルに応じＤＣ成分が変化する可能性があるので、本実施例では、ＤＣ成分変化の影響を受けずに、確実にパンニング終了を検出できる手法も合わせて説明する。
【００９８】
図９は、第３の実施例による撮像装置の構成を示すブロック図である。尚、第１の実施例と同様な構成は、同一の番号にて示し、説明を割愛する。図９に示すように、角速度センサ１０９（ピッチ方向）、１１０（ヨー方向）でカメラ本体の揺れ角速度を検出し、増幅器１１１、１１２でそれぞれ増幅後、防振制御マイコン１１５のＡ／Ｄコンバータ１１５ａで取り込み、ハイパスフィルタ１１５ｂでＤＣ成分をカットした角速度信号に対して、ハイパスフィルタ１１５ｃで帯域制限をかけ、積分処理部１１５ｄで積分して角変位に変換する。積分処理部１１５ｄで算出された揺れ角θに対して、焦点距離補正部１１５ｅで光学系の焦点距離ｆ分の補正を行いｆ＊ｔａｎθとなる補正信号を算出する。
【００９９】
補正系制御部１１５ｈは焦点距離補正部１１５ｅの出力信号である補正信号（撮像素子１０６上の揺れによる画素移動分に相当）に応じ、揺れによる移動方向とは逆方向に動かすことで揺れ補正を行う。尚、１１５ｃは帯域制限用のハイパスフィルタであり、補正信号を補正量規格化部１１５ｆで規格化した規格化補正量と、Ａ／Ｄコンバータ１１５ａの出力信号９０１に応じて、制限処理制御部１４０２が、ハイパスフィルタ１１５ｃを制御し、パンニング動作時の防振能力を制限する。この信号９０１を用いて、パンニング終了の検出を行う。パンニング時の出力信号９０１は、図１７（ａ）の角速度信号のように変化することになり、出力信号９０１を用いることで、パンニングの終了をより確実に、より正確に終了時間１２０３のタイミングを検出できるようになる。
【０１００】
次に図１０、図１１のフローチャートを用いて防振制御マイコン１１５で処理される第３の実施例の防振制御フローを説明する。
【０１０１】
尚、図１０、図１１の処理フローは、第１の実施例で説明した図３、図４の処理フローとほぼ同様な処理となっており、第１の実施例と同様な処理は、同一の番号にて示し、説明を割愛する。
【０１０２】
本実施例の特徴として、ＤＣ成分除去する前の角速度信号を参照して、パンニング終了の判断を行う。また、参照信号のＤＣ成分変動の影響を受けずに、図１３（ａ）の１３０１の角速度信号の傾斜部（パンニング開始期間、終了期間）のみが検出できるよう、図１３（ｂ）のように角速度の時間変化信号１３０２を参照し、信号レベルが所定値ｋ以上となる時間が所定値δ以上続いたかどうかを判断することで、パンニング動作移行の判断を行う。この判断手法を用いれば、ＤＣ成分量が角速度センサ出力レベルに応じて変動したとしても、小さな変動量と長い変動時定数という特徴から、パンニング開始／終了の場合と区別することが可能となる。
【０１０３】
尚、第１、第２の実施例では、パンニング終了判断はハイパスフィルタ１１５ｂの出力信号を用いており、図１３（ｂ）の角速度の時間変化信号１３０２と同種の信号を得ているが、ハイパスフィルタ１１５ｂは手ぶれ信号を遮断せずに、ＤＣ成分のみを遮断したいため、カットオフ周波数が、１Ｈｚより小さい、時定数の長いフィルタとなっている。これに対し、図１３（ｂ）の１３０２は、時定数の短い微分処理等で生成された角加速度信号として定義づけている（本実施例では、所定時間での角速度信号の差分量として算出）。
【０１０４】
図１０のフローチャートは、角速度センサ１０９，１１０で検出した角速度信号を積分することで、角変位を算出する処理であり、図３と同様な処理となっている。なお、本処理は不図示のＲＯＭにあらかじめ記憶されたプログラムにより防振制御マイコン１１５の指示により行われるものである。図３の処理との違いは、ステップＳ３０１のＤＣ成分除去用のハイパスフィルタ処理を行う前に、ステップＳ１００１でＡ／Ｄコンバータ１１５ａの出力信号を、微分処理し（本実施例では、前回のサンプリング値との差分量とする）、ステップＳ１００２で算出微分量の絶対値が所定値ｋより大きいかを判別する（図１２の１３０３のしきい値）。ｋ以下の場合にはステップＳ１００３でパンニング移行の時間計測カウンタｎをクリアし、ｋより大の場合には、カウンタｎをステップＳ１００４でインクリメントする。
【０１０５】
このパンニング移行の時間計測カウンタｎは、角加速度信号レベルがｋ以上の時間がどのくらい継続したかを示すカウンタであり、例えば継続時間が図１３の１３０４のδ以上継続された場合に、パンニングが開始、又は終了されたと判断する。本発明の特徴として、パンニング開始時は、応答性を重視するため１１５ｆ出力の規格化補正信号で制限制御を行い、パンニング終了時の制限解除判断を、角加速度信号を参照して判断する。従って、制限解除を許可する「解除フラグ」のセット設定は、図１１のステップＳ１１０１で時間計測カウンタｎが所定値δより大きいときに、ステップＳ４０３ｄに移行することでなされ、その後図１０のステップＳ３０２で、補正能力が強められるよう制御される。
【０１０６】
【発明の効果】
以上説明したように、本発明によれば、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号に応じて補正動作に制限をかける制限手段とを有し、前記制限手段は、前記補正信号の変化に応じて所定の特性となるように制限量を決定する制限特性決定手段と、前記決定された制限量に応じて前記補正信号の帯域制限を行う帯域制限手段と、前記帯域制限を行うか否かを前記帯域制限手段への入力信号と前記補正信号とに応じて判断する制限動作判断手段とを含むようにしたため、制限が強くなったり弱くなったりするハンチングを防止することが可能となり、パンニング開始時や動作中のみでなく、パンニング終了時にも自然なカメラワークをあらゆる撮影画角で実現することができるという効果がある。
【０１０７】
また、レンズ系からの光学像を電気信号に変換する撮像素子と、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を前記レンズ系の焦点距離に応じて生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号の変化に応じて所定の特性となるように補正動作に制限をかける制限手段と、前記制限動作を行うか否かを前記補正信号生成手段による前記焦点距離に応じた増幅率での増幅前での信号と前記補正信号とに応じて判断する制限動作判断手段とを備えたため、上記と同様の効果がある。
【０１０８】
また、レンズ系からの光学像を電気信号に変換する撮像素子と、揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号の変化に応じて所定の特性となるように補正動作に制限をかける制限手段と、前記制限動作を行うか否かを前記検出手段の出力信号と前記補正信号に応じて判断する制限動作判断手段とを備えたため、上記と同様の効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施例による撮像装置の構成を示すブロック図
【図２】 第１の実施例の抽出画面を示す説明図
【図３】 第１の実施例の防振制御動作を示すフローチャート
【図４】 第１の実施例の防振制御動作を示すフローチャート
【図５】 第１の実施例の制限量特性を示す図
【図６】 第１の実施例の制限強度変化特性を示す図
【図７】 本発明の第２の実施例による撮像装置の構成を示すブロック図
【図８】 第２の実施例の制限量特性を示す図
【図９】 本発明の第３の実施例による撮像装置の構成を示すブロック図
【図１０】 第３の実施例の防振制御動作を示すフローチャート
【図１１】 第３の実施例の防振制御動作を示すフローチャート
【図１２】 第１の実施例の制限動作の解除のタイミングを示す説明図
【図１３】 第３の実施例のパンニング期間の判断を示す説明図
【図１４】 従来例の撮像装置の構成を示すブロック図
【図１５】 従来例の防振制御動作を示すフローチャート
【図１６】 従来例の制限量特性を示す図
【図１７】 従来例の最大シフト限界を示す図
【符号の説明】
１０６ 撮像素子
１０８ カメラ信号処理部
１０９ 角速度センサ（検出手段）
１１０ 角速度センサ（検出手段）
１１５ 防振制御マイコン
１１５ｃ ハイパスフィルタ
１１５ｄ 積分処理部
１１５ｅ 焦点距離補正部（補正信号生成手段）
１１５ｇ 制限処理制御部（制限手段）
１１５ｈ 補正系制御部（補正手段）
Claims (27)
- 揺動を検出する検出手段と、該検出手段により検出された揺動による画像の動きを補正するための補正信号を生成する補正信号生成手段と、前記補正信号に応じて補正動作を行う補正手段と、前記補正信号に応じて前記補正信号生成手段の入力信号に制限をかける制限手段とを有し、前記制限手段は、前記補正信号の変化に応じて所定の特性となるように制限量を決定する制限特性決定手段と、前記決定された制限量に応じて前記補正信号の帯域制限を行う帯域制限手段と、前記帯域制限を行うか否かを前記帯域制限手段への入力信号と前記補正信号とに応じて判断する制限動作判断手段とを含むことを特徴とする撮像装置。
- 前記制限手段は、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードとを有し、前記第１、第２の制限モードとで制限強度の時間変化率が異なっていることを特徴とする請求項１記載の撮像装置。
- 前記制限強度の時間変化率は、前記第１の制限モードよりも前記第２の制限モードの方が小さいことを特徴とする請求項２記載の撮像装置。
- 前記制限動作判断手段は、前記補正信号に応じて制限動作の作動を判断するとともに、前記帯域制限手段への入力信号に応じて前記制限動作の解除を判断することを特徴とする請求項１記載の撮像装置。
- 前記制限動作判断手段により制限動作の解除がなされない期間は制限強度を弱めることを特徴とする請求項１記載の撮像装置。
- 前記所定の特性は、焦点距離と前記補正手段の最大補正範囲とで規格化された補正信号に応じて決定されることを特徴とする請求項１記載の撮像装置。
- 前記帯域制限手段による帯域の制限は、ハイパスフィルタの遮断周波数を変化させることで行うことを特徴とする請求項１記載の撮像装置。
- 前記帯域制限手段による帯域の制限は、積分フィルタの積分帰還率を変化させることで行うことを特徴とする請求項１記載の撮像装置。
- 前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定されることを特徴とする請求項１記載の撮像装置。
- 揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断することを特徴とする撮像装置の制御方法。
- 前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なっていることを特徴とする請求項１０記載の撮像装置の制御方法。
- 前記制限強度の時間変化率は、前記第１の制限モードよりも前記第２の制限モードの方が小さいことを特徴とする請求項１１記載の撮像装置の制御方法。
- 前記補正信号に応じて制限動作の作動を判断するとともに、前記帯域制限部への入力信号に応じて前記制限動作の解除を判断することを特徴とする請求項１０記載の撮像装置の制御方法。
- 制限動作の解除がなされない期間は制限強度を弱めることを特徴とする請求項１０記載の撮像装置の制御方法。
- 前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定されることを特徴とする請求項１０記載の撮像装置の制御方法。
- 前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行うことを特徴とする請求項１０記載の撮像装置の制御方法。
- 前記帯域制限は、積分フィルタの積分帰還率を変化させることで行うことを特徴とする請求項１０記載の撮像装置の制御方法。
- 前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定されることを特徴とする請求項１０記載の撮像装置の制御方法。
- 揺動を検出し、該検出された揺動による画像の動きを補正するための補正信号を生成し、前記補正信号に応じて補正動作を行い、その際、前記補正信号を生成する入力信号に制限をかけ、前記補正信号の変化に応じて所定の特性となるように制限量を決定し、前記決定された制限量に応じて前記補正信号の帯域制限を行い、前記帯域制限を行うか否かを前記帯域制限を行う帯域制限部への入力信号と前記補正信号とに応じて判断することをコンピュータに実現させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
- 前記補正信号を生成する入力信号に制限をかける際に、補正動作の制限を強める第１の制限モードと、前記補正動作の制限を弱める第２の制限モードで制限動作を行い、前記第１、第２の制限モードとで制限強度の時間変化率が異なるようにすることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 前記制限強度の時間変化率は、前記第１の制限モードよりも前記第２の制限モードの方が小さいことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項２０記載の記憶媒体。
- 前記補正信号に応じて制限動作の作動を判断するとともに、前記帯域制限部への入力信号に応じて前記制限動作の解除を判断することをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 制限動作の解除がなされない期間は制限強度を弱めることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 前記所定の特性は、焦点距離と最大補正範囲とで規格化された補正信号に応じて決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 前記帯域制限は、ハイパスフィルタの遮断周波数を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 前記帯域制限は、積分フィルタの積分帰還率を変化させることで行うことをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
- 前記所定の特性は、補正量の略々ｎ乗（但しｎは１以上の整数）に比例して制限特性が決定されることをコンピュータに実現させるためのコンピュータ読み取り可能なプログラムを記憶した請求項１９記載の記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08635698A JP4154028B2 (ja) | 1998-03-31 | 1998-03-31 | 撮像装置及びその制御方法並びに記憶媒体 |
| US09/270,870 US6630950B1 (en) | 1998-03-19 | 1999-03-17 | Apparatus for improving image vibration suppression |
| US10/642,166 US6778768B2 (en) | 1998-03-19 | 2003-08-18 | Image vibration prevention apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08635698A JP4154028B2 (ja) | 1998-03-31 | 1998-03-31 | 撮像装置及びその制御方法並びに記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007329544A Division JP4408930B2 (ja) | 2007-12-21 | 2007-12-21 | 撮像装置及びその制御方法並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11284902A JPH11284902A (ja) | 1999-10-15 |
| JP4154028B2 true JP4154028B2 (ja) | 2008-09-24 |
Family
ID=13884624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08635698A Expired - Fee Related JP4154028B2 (ja) | 1998-03-19 | 1998-03-31 | 撮像装置及びその制御方法並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154028B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4536855B2 (ja) * | 1999-12-28 | 2010-09-01 | キヤノン株式会社 | 防振装置、撮像装置、および、防振装置の制御方法 |
| JP2002099013A (ja) * | 2000-09-21 | 2002-04-05 | Nikon Corp | 振れ検出装置及びブレ補正光学機器 |
| JP4561282B2 (ja) * | 2004-09-29 | 2010-10-13 | パナソニック株式会社 | 画像動き補正装置 |
| JP2006113264A (ja) * | 2004-10-14 | 2006-04-27 | Fujinon Corp | 像振れ補正装置 |
| JP4980024B2 (ja) * | 2005-10-07 | 2012-07-18 | Ｈｏｙａ株式会社 | 像振れ補正装置 |
| JP5169240B2 (ja) * | 2007-08-24 | 2013-03-27 | 株式会社リコー | 撮像装置及び像振れ補正装置 |
| JP5090933B2 (ja) | 2008-01-11 | 2012-12-05 | 富士フイルム株式会社 | 振れ検出装置及び振れ検出方法 |
| JP4534172B2 (ja) * | 2008-04-03 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5383216B2 (ja) * | 2009-01-21 | 2014-01-08 | キヤノン株式会社 | 振れ補正機能を有する光学機器 |
-
1998
- 1998-03-31 JP JP08635698A patent/JP4154028B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11284902A (ja) | 1999-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100312139B1 (ko) | 비디오카메라및비디오신호재생장치 | |
| JP5501119B2 (ja) | 撮像装置およびその制御方法 | |
| US10356321B2 (en) | Imaging apparatus with focus adjustment control and exposure adjustment control | |
| JP4817849B2 (ja) | 振れ補正装置および光学機器 | |
| US6151070A (en) | Image pickup apparatus | |
| JP5409342B2 (ja) | 撮像装置及びその制御方法 | |
| US20060132612A1 (en) | Motion picture taking apparatus and method | |
| JP6581352B2 (ja) | 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体 | |
| JP2006285040A (ja) | 像振れ補正装置 | |
| JP2006317848A (ja) | 静止画撮像装置 | |
| JP4154028B2 (ja) | 撮像装置及びその制御方法並びに記憶媒体 | |
| JPH05199449A (ja) | 防振カメラ | |
| JP4536855B2 (ja) | 防振装置、撮像装置、および、防振装置の制御方法 | |
| JP3564247B2 (ja) | 画像動き補正装置 | |
| JPH0946570A (ja) | 撮像装置 | |
| JP2018072540A (ja) | 画像処理装置、その画像処理方法および光学機器 | |
| JP4408930B2 (ja) | 撮像装置及びその制御方法並びに記憶媒体 | |
| JP4227215B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| US11265478B2 (en) | Tracking apparatus and control method thereof, image capturing apparatus, and storage medium | |
| US20210337122A1 (en) | Control apparatus, image pickup apparatus, control method, and memory medium | |
| JP2009267681A (ja) | ブレ補正装置および光学装置 | |
| JPH11275431A (ja) | 撮像装置 | |
| JP2001157110A (ja) | 電子カメラ装置 | |
| JP2006074402A (ja) | 撮像装置 | |
| JPH07107368A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |