JP4561282B2 - 画像動き補正装置 - Google Patents

Description

本発明は撮像装置の手振れ補正等に用いる画像動き補正装置に関し、特にその性能改善に関し提案するものである。

近年、民生用ビデオカメラ（以下、ビデオムービーと称す）やデジタルスチルカメラ（以下、ＤＳＣと称す）の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってビデオムービーやＤＳＣはごく普通の家電製品の一つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、及び撮影に習熟していない消費者へのビデオムービーやＤＳＣの普及は、撮影時の手振れによる画面の不安定化という問題も発生させた。よって、この問題を解決するため、画像動き補正装置を搭載するビデオムービーやＤＳＣが今や多く開発、商品化されている。

撮像装置の画像動き補正装置としては、例えば、ジンバル機構により撮像光学系及び固体撮像素子を備えた撮像ユニットを支持し、これを角速度センサーから得られる撮像装置自体の動き情報に基づき駆動制御することで画像の動きを補正する方式（”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１、Ｎｏ．２８、ｐｐ１９〜２４（１９８７））がある。

上記方式は、撮像装置の撮像ユニットをジンバル機構によりその重心点において回動自在に支持し、角速度センサーから得られる撮像装置のピッチング、ヨーイング２方向の動き情報に基づき、コイルとマグネットにより構成されたアクチエータによりこの撮像ユニットの姿勢制御を行うことで、撮影画像を安定化させるものである。

また、別の例としては、撮像光学系の前部に可変頂角プリズムを備え、これを同じく角速度センサーからの情報により駆動制御することで画像の動きを補正する方式（”光学式手振れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１７、Ｎｏ．５、ｐｐ１５〜２０（１９９３））がある。

上記方式は、２枚のガラス板を特殊なフィルムで作られた蛇腹のようなもので接続し、中を高屈折率の液体で満たした可変頂角プリズムを固体撮像素子の前段に設け、角速度センサーから得られるピッチング、ヨーイング２方向の撮像装置の動きの情報に基づき、この可変頂角プリズムの２枚のガラス板を水平・垂直方向に各々傾けることにより、入射光の光軸を曲げ、撮影画像の動きを安定化させるものである。

また、別の例としては、固体撮像素子上の画像に対し、その一部分のみを出力画像として読み出すための枠を設け、固体撮像素子の駆動タイミングを変えることにより、この枠を移動させて画像の動きを補正する方式がある。

上記方式は、放送方式に合致した標準の固体撮像素子よりも画素数の多い固体撮像素子を用い、角速度センサーから得られるピッチング、ヨーイング２方向の撮像装置の動きの情報を撮影レンズの焦点距離に基づき、固体撮像素子上の画像の移動量に換算し、この換算結果をもとに固体撮像素子の駆動タイミングを制御し、撮影画像の動きに応じて固体撮像素子からの画像の読み出し位置（枠）を変更することで、撮影画像の動きを安定化させるものである。
特開平１１−２３１３６７号公報（ブレ検出装置及びブレ補正カメラ）

以上のように画像動き補正装置に関しては様々な方式の提案及び実用化が図られていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。

その一つとしては、角速度センサーのような外部センサーを用いた装置の動きを検出する画像動き補正装置においては、装置を手持ちで支持している場合には高い補正効果を必要とし、横方向への意図した撮影動作であるパンニングや縦方向の意図した撮影動作であるチルティング（以降は説明を容易にするためパンニングのみを例にとって説明するが、チルティングについても同様である）等の意図した撮影動作をする場合には、補正が最大補正範囲に当たったときに発生する補正画像の引っ掛かり等を軽減するために手振れ補正効果の制限をかけることで、自然な操作感を実現しているが、図６で示すように、パンニング時の角速度センサーの出力信号２０４には、２０１〜２０３で示すように「静止２０１−パンニング２０２−静止２０３」という一連の動作を行った際に、実際には２０３期間で装置が静止しているにもかかわらず２０２のパンニング期間終了後に反対方向への揺り戻しが発生する。

このドリフトは角速度センサーによるものではなく動き検出回路におけるハイパスフィルタ回路又は演算によるものでパンニング開始前のレベルに落ち着くためにはある程度の時間を要する。先に述べたように手振れ補正効果に対して制限をかけるために、角速度センサーの出力信号２０４を監視し、一定期間以上同一方向に動きを検出した時にパンニングがあったと判定しているが、この方法では角速度センサー出力に揺り戻しがあった場合に、その期間をパンニングと誤判別してしまうことがあった（図６中の２０７に示す）。

図７は従来の制御の流れを示したものであるが、図６における横軸を動き検出入力の移動平均値としたときに、ステップ３０４において平均値と入力値の符号を判別し、３０５にて同一符号が閾値時間以上連続することをパンニング判定の基準としていたために、入力に長時間の揺り戻しが発生すると３０４、３０５で再度パンニングを誤検出してしまうことがあった。

本発明は以上の問題に鑑みてなされたものであり、精度の高いパンニング判定を行い、通常撮影時の誤パンニング判定による手振れ補正効果制限の誤動作を排除することで、自然な操作感を持った撮影ができる画像動き補正装置を提供することを目的とする。

この課題を解決するために本発明は、動きを検出する動き検出手段と、前記動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、前記入力信号増幅回路によって増幅されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段が出力したデジタル信号を平均化する平均化手段と、前記Ａ／Ｄ変換手段の出力と前記平均化手段の出力との差分を算出する演算手段と、手振れ補正時の第１の補正条件を発生する第１の補正条件発生手段と、操作時における前記第１の補正条件を制限した第２の補正条件を発生する第２の補正条件発生手段と、前記第１の補正条件と前記第２の補正条件との出力を切り替える切り替え手段と、前記Ａ／Ｄ変換手段と前記平均化手段との出力、及び前記切り替え手段による第１または第２の補正条件とに基づき、補正信号を決定する補正信号決定手段と、前記補正信号を元に動き補正信号を発生する補正信号発生手段と、パンニング動作を検出する第１のパンニング判定条件の発生手段と、動き検出量と検出時間とを含む、パンニング動作後の信号の揺り戻しを検出する第２のパンニング判定条件の発生手段と、前記演算手段の出力、前記第１のパンニング判定条件の発生手段の出力、及び前記第２のパンニング判定条件の発生手段の出力とを元に前記切り替え手段を切り替える切り替え条件判断手段と、を備えた画像動き補正装置である。

以上のように本発明は、パンニング時であっても自然な操作感が得られる画像動き補正を行うことができるものである。

つまり、動き検出手段によって検出した撮像装置の動きにおいて、撮影動作としてのパンニングを検出したのちに第２のパンニング判定条件を時間に応じて変化させ、動き検出回路におけるハイパスフィルタ回路又は演算による角速度信号の揺り戻し成分による、パンニングの誤判定をなくすことで、通常撮影時の手振れ補正効果制限の誤動作を排除し、自然な操作感を持った画像動き補正性能を供給するというすぐれた効果が得られるものである。

本発明の請求項１に記載の発明は、動きを検出する動き検出手段と、前記動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、前記入力信号増幅回路によって増幅されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段が出力したデジタル信号を平均化する平均化手段と、前記Ａ／Ｄ変換手段の出力と前記平均化手段の出力との差分を算出する演算手段と、手振れ補正時の第１の補正条件を発生する第１の補正条件発生手段と、操作時における前記第１の補正条件を制限した第２の補正条件を発生する第２の補正条件発生手段と、前記第１の補正条件と前記第２の補正条件との出力を切り替える切り替え手段と、前記Ａ／Ｄ変換手段と前記平均化手段との出力、及び前記切り替え手段による第１または第２の補正条件とに基づき、補正信号を決定する補正信号決定手段と、前記補正信号を元に動き補正信号を発生する補正信号発生手段と、パンニング動作を検出する第１のパンニング判定条件の発生手段と、動き検出量と検出時間とを含む、パンニング動作後の信号の揺り戻しを検出する第２のパンニング判定条件の発生手段と、前記演算手段の出力、前記第１のパンニング判定条件の発生手段の出力、及び前記第２のパンニング判定条件の発生手段の出力とを元に前記切り替え手段を切り替える切り替え条件判断手段と、を有し、前記第１のパンニング判定条件と、第２のパンニング判定条件により判定した条件に応じて第１の補正条件と第２の補正条件を切り替え、前記補正信号決定手段の出力を制限するものであり、違和感の無い自然な操作感を持った撮影ができるという作用を有する

また、請求項２に記載の発明において、前記補正信号発生手段は、レンズを制御し撮像撮像面に入射する光軸を変化させることで、撮影画像の手振れ成分を補正する動き補正信号を出力するものである。

また、請求項３に記載の発明において、前記補正信号発生手段は、撮像素子の駆動、画像メモリ制御により、撮影画像の出力位置を変化させることで、撮影画像の手振れ成分を補正する動き補正信号を出力するものである。

また、請求項４に記載の発明において、前記第１のパンニング判定条件は、前記演算手段の出力について、同一符号が所定時間、連続することによって、パンニングであることを判別するものである。

以下、本発明の実施形態について、図面を用いて説明する。

（実施の形態１）
図１は本発明の画像動き補正装置のブロック図を示すものであり、図５は本発明の一連の処理の流れを表したものである。

図１において、１は装置の物理的な動きを検出する動き検出手段、２は入力信号増幅回路で、動き検出手段１で検出した動きをアナログ的に増幅する。３はアナログ／デジタル変換手段（以下Ａ／Ｄ変換手段と記す）で、検出された動きのアナログ信号をデジタル信号に変換する。４は平均化手段で、Ａ／Ｄ変換手段３でデジタル化された動き信号の移動平均を求める。５はＡ／Ｄ変換手段３でデジタル化された動き信号と平均化手段４により平均化された信号との差分と符号を演算する演算手段、６はＡ／Ｄ変換手段３でデジタル化された動き信号と平均化手段４により平均化された信号から画像の動きを補正する信号を決定する補正信号決定手段である。

７は決定された補正信号から実際に撮像装置の動きを補正する信号を発生する補正信号発生手段で、この補正信号発生手段７の出力信号により、手振れ補正制御が行われる。具体的な補正動作としては、レンズを制御し撮像撮像面に入射する光軸を変化させることで、撮影画像の手振れ成分を補正するものや、補正信号発生手段の出力は撮像素子の駆動、画像メモリ制御により、撮影画像の出力位置を変化させることで、撮影画像の手振れ成分を補正するものがある。

８は第1の補正条件発生部で、補正信号発生手段６の出力の特性を決定する条件を発生する。９は第２の補正条件発生部で、第１の補正条件発生部８とは異なる特性の条件を発生する。本実施の形態では、第１の補正条件発生部８で発生する補正条件を「補正条件Ａ」とし、第２の補正条件発生部９で発生する補正条件を「補正条件Ｂ」とし、補正条件Ａは通常の高い手振れ補正効果を持っており、補正条件Ｂは補正条件Ａよりも小さい手振れ補正効果を持っている。補正条件Ａは、装置を使用者が手で持って保持している時など、比較的手振れが大きい場合に、高い補正効果を必要とする場合に適した条件となっている。補正条件Ｂは、装置を使用者が意図的に大きく動かした際（パンニングやチルティングなど）に補正効果を制限する必要がある際に適した条件となっている。

１０は第１の補正条件発生部８の出力と第２の補正条件発生部９の出力の切り替え手段で、例えばスイッチより構成される。具体的な切換制御については後述する。

１１は第１のパンニング判定条件を発生する第１のパンニング判定条件発生部で、操作者による意図したパンニング動作を判定するための条件である。１２は第２のパンニング判定条件を発生する第２のパンニング判定条件発生部で、第１のパンニング条件発生部１１からの第１のパンニング条件とは異なる特性の条件を持つ。なお、第１のパンニング判定条件は計時手段（タイマー）を備え、演算手段５により算出されたＡ／Ｄ変換手段３の出力と平均化手段４の出力の差分の符号と同一符号が連続した時間から「パンニングであること」を判別するものである。また、第２のパンニング判定条件は計時手段（タイマー）を備え、第１のパンニング判定条件の終了から、動きの検出量と検出時間を任意に変化させることができる。

１３は演算手段５と、第１のパンニング判定条件発生部１１及び第２のパンニング判定条件発生部１２からのパンニング判定条件と元に切り替え手段１０を切り替える切り替え条件判断手段である。

なお、本説明においてはＡ／Ｄ変換手段３以降はマイコンを用いることを想定しているが、必ずしも全てがマイコン上で実現される必要は無い。

以上のように構成された画像動き補正装置について図面を用いてその動作の一例を説明する。

まず、ステップ７０１において、第１の補正条件発生部８に補正条件Ａを設定する。この補正条件Ａは通常の高い手振れ補正効果を持つ条件である。

ステップ７０２においては、動き検出手段１にて検出した装置の物理的な揺れを検出し、入力信号増幅回路２で増幅した上で、Ａ／Ｄ変換手段３にてデジタル信号に変化する。

ステップ７０３では、平均化手段４によってデジタルに変換された動き信号入力から移動平均を求める。

ステップ７０４では、演算手段５によって求めた、Ａ／Ｄ変換手段３と平均化手段４の差分をとり、その時の符号と差分を求める。

ステップ７０５では、前回の符号と今回の符号の変化を検出する処理であり、処理は切り替え条件判断手段１３で実施する、符号の反転があった場合はステップ７１０にて「パンニングが終了した」と判断し、ステップ７１１にてパンニング終了タイマを初期化すると共にカウントを開始する。この時、従来例でのパンニング判定条件（第1のパンニング判定条件１１と同様）に加えて、図２に示す第２のパンニング判定条件１２の初期値４０１（ここでは幅Ｈ１、時間Ｔ１とし、この範囲内におさまっているものについてはパンニングとは判定しない）に設定する。

また、ステップ７０５にて符号の反転が無かった場合には、ステップ７０６にて切り替え条件判断手段１３に含むパンニング終了タイマの確認を行う。この時、まだパンニング終了タイマのカウント中であった場合には、その経過時間により図２中の設定値４０２および設定値４０３に示すように、第２のパンニング判定条件１２を切り替えていく。ここで、設定値４０２は幅Ｈ２および時間Ｔ２とし、設定値４０３は幅Ｈ３および時間Ｔ３とした。そして、幅はＨ１＞Ｈ２＞Ｈ３の関係とし、時間はＴ１＞Ｔ２＞Ｔ３の関係とした。なお、時間は必ずしもこの関係に設定する必要はない。

なお、この切り替えについては図２に示すように、必ずしも３段階である必要はなく、連続的に変化するものであっても良い。先のパンニング終了タイマのカウントが完了していた場合には、第２のパンニング判定条件１２を無効化し第１のパンニング判定条件１１のみをパンニング判定条件として設定する。

ステップ７１３においては、演算手段５の出力を元に第１のパンニング判定条件発生部１１と第２のパンニング判定条件発生部１２からのパンニング判定条件をチェックする。この時、第２のパンニング判定条件１２が無効化されていれば第１のパンニング判定条件１１のみでチェックを行う。この条件を満たさないときはパンニングではないと判断し、この条件を満たす場合には切り替え条件判断手段１３にてパンニングと判断（ステップ７１４）して切り替え手段１０を、第２の補正条件となる補正条件Ａとは異なる補正条件Ｂを設定する。この補正条件Ｂの特性については、固定であっても良いが、ステップ的に変化しても連続的に変化しても構わない。これにより図３に示すようにパンニング動作に対して正しいパンニング判定を行うことが可能となる。すなわち、図６においてパンニング誤判定（図６の２０７）がなくなり、正規のパンニング判定（図３の２０６）のみを実現することができる。

なお、図３は本装置による動作を示す模式図であり、２０１はパンニング前の静止期間、２０２はパンニング動作期間、２０３はパンニング動作期間２０２終了後の静止期間、２０４は角速度センサーの出力信号、２０５はパンニング判別信号でＨ期間が判別期間である。図示のように、パンニング動作中（２０２の期間）は角速度センサーからの出力信号２０４のレベルが高くなり、静止期間（２０１および２０３の期間）は低くなる。また、静止期間において微小信号が出力されているのが手振れ信号である。

以上の処理を元に、ステップ７１６にてＡ／Ｄ変換手段３、平均化手段４からの出力を元に補正信号決定手段６にて補正信号の決定を行い、補正信号発生手段７の出力を元にステップ７１７にて撮像装置の動き補正を実現する。

なお、これらの処理の中で、図４に示すように揺り戻しの期間に第２のパンニング判定条件１２を満たす動きがあった場合には、そのパンニング終了後には処理を中断し、パンニング終了カウンタを初期化して処理を再開する。

本発明にかかる画像動き補正装置は、検出した動き信号から意図したパンニング動作のあとの動き検出回路におけるハイパスフィルタ回路又は、演算による揺り戻し成分を無視することで高精度のパンニング判定を実施することができ、多様な撮影状況において自然な操作感を提供する用途に適用できる。

本発明の実施の形態１による画像動き補正装置を示すブロック図 本発明における第２のパンニング判定条件の説明図 本発明を適用した際の効果を説明するための説明図 本発明における第２のパンニング判定条件の中断と再開を説明するための説明図 本発明の全体を説明するための流れ図 従来装置においての課題を説明するための説明図 従来課題となっていた処理を説明するための流れ図

符号の説明

１ 動き検出手段
２ 入力信号増幅回路
３ Ａ／Ｄ変換手段
４ 平均化手段
５ 演算手段
６ 補正信号決定手段
７ 補正信号発生手段
８ 第１の補正条件発生部
９ 第２の補正条件発生部
１０ 切り替え手段
１１ 切り替え条件判断手段
１２ 第１のパンニング判定条件
１３ 第２のパンニング判定条件

Claims (4)

1. 動きを検出する動き検出手段と、
   前記動き検出手段の出力信号を電気的に増幅する入力信号増幅回路と、
   前記入力信号増幅回路によって増幅されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段が出力したデジタル信号を平均化する平均化手段と、
   前記Ａ／Ｄ変換手段の出力と前記平均化手段の出力との差分を算出する演算手段と、
   手振れ補正時の第１の補正条件を発生する第１の補正条件発生手段と、
   操作時における前記第１の補正条件を制限した第２の補正条件を発生する第２の補正条件発生手段と、
   前記第１の補正条件と前記第２の補正条件との出力を切り替える切り替え手段と、
   前記Ａ／Ｄ変換手段と前記平均化手段との出力、及び前記切り替え手段による第１または第２の補正条件とに基づき、補正信号を決定する補正信号決定手段と、
   前記補正信号を元に動き補正信号を発生する補正信号発生手段と、
   パンニング動作を検出する第１のパンニング判定条件の発生手段と、
   動き検出量と検出時間とを含む、パンニング動作後の信号の揺り戻しを検出する第２のパンニング判定条件の発生手段と、
   前記演算手段の出力、前記第１のパンニング判定条件の発生手段の出力、及び前記第２のパンニング判定条件の発生手段の出力とを元に前記切り替え手段を切り替える切り替え条件判断手段と、
   を備えた画像動き補正装置。
2. 前記補正信号発生手段は、レンズを制御し撮像撮像面に入射する光軸を変化させることで、撮影画像の手振れ成分を補正する動き補正信号を出力する請求項１記載の画像動き補正装置。
3. 前記補正信号発生手段は、撮像素子の駆動、画像メモリ制御により、撮影画像の出力位置を変化させることで、撮影画像の手振れ成分を補正する動き補正信号を出力する請求項１記載の画像動き補正装置。
4. 前記第１のパンニング判定条件は、前記演算手段の出力について、同一符号が所定時間、連続することによって、パンニングであることを判別する請求項１記載の画像動き補正装置。

Images