JP3751799B2

JP3751799B2 - 撮像装置の揺れ補正装置及び方法

Info

Publication number: JP3751799B2
Application number: JP2000197238A
Authority: JP
Inventors: 哲夫桜井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-06-29
Filing date: 2000-06-29
Publication date: 2006-03-01
Anticipated expiration: 2020-06-29
Also published as: JP2002016834A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばビデオカメラの揺れによる映像信号中の画像の動きを補正する撮像装置の揺れ補正装置及び方法に関する。
【０００２】
【従来の技術】
周知のように、例えば野外監視に用いられるビデオカメラは、設置する場所によっては風などの外的要因によりビデオカメラごと揺すられる場合がある。例えば道路監視において、ポールにビデオカメラを取り付けた場合に、風や自動車の振動によってポールが揺すられてそこに取り付けたビデオカメラも同様に揺すられる。その場合、ビデオカメラの映像は、ポールの揺れに伴って画角が変動し大変見苦しいものとなる。
【０００３】
このような問題に対し、従来のビデオカメラでは、揺れ補正回路を追加して、揺れによる最終映像信号中の画像の動きを低減させ、揺れを目立たないようにしている。この種の揺れ補正回路では、撮像素子で得られ、時間的に連続する画面間の動きベクトルを検出し、この検出結果からビデオカメラが揺れたことによる映像信号中の画像の動きを補正する第１の手法や、ビデオカメラの揺れ量を物理的に検出する角速度センサを使用して、この角速度センサによる検出結果から映像信号中の画像の動きを補正する第２の手法が採用されている。
【０００４】
なお、上記の各手法による揺れ補正技術に関しては、特開平６−３３９０６３号、特公平５−２３５４５号にその詳細が記載されているので、ここではその説明を省略する。
【０００５】
【発明が解決しようとする課題】
ところで、上記第１の手法では、検出精度が高く、個体差、経年変化によるばらつきがなく、メモリ切り出しを実際の動いた量（画素ピッチ）そのもので行なうことができるが、以下のような問題点を有している。
（１）動きのある被写体に対しては、ビデオカメラの動きではなく被写体の動きをベクトル量として検出してしまう。
（２）コントラストの少ない被写体（暗い被写体を含む）ではベクトルを上手く検出できない。
（３）高感度モードでは映像の露光サンプル時間が低下するため補正が困難となる。
【０００６】
また、上記第２の手法では、ビデオカメラの揺れそのものを検出するため、動きベクトルのように被写体（映像信号）の状態に影響されない。しかし、以下のような問題点を有している。
（４）ビデオカメラの取り付け状態により、動きに回転が伴わない場合は検出信号が小さくなる。
（５）センサ出力はアナログ微小信号のためノイズに弱い。そのため、レンズのズームで画像を拡大した場合にはビデオカメラの揺れに対する映像の動き量が大きくなり、単位画素（映像に換算した揺れ量）あたりのセンサ出力信号が小さくなってしまい、ＳＮが悪く検出精度が悪化する。
（６）センサ出力のばらつき（感度、オフセット）が大きい。
そこで、この発明の目的は、センサ出力の個体差によるばらつきや、撮像装置の設置条件による撮像装置の実際の揺れと回転運動の変換率との違いに影響されることなく、自動的に撮像装置の揺れの検出精度を向上させて、撮像装置の揺れによる画像の動きを確実に補正し得る撮像装置の揺れ補正装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】
この発明に係る撮像装置の揺れ補正装置は、撮像素子から出力される映像信号から動きベクトルを検出する動きベクトル検出手段と、この動きベクトル検出手段による検出結果に基づいて撮像装置が揺れたことによる映像信号中の画像の動きを補正する動き補正手段とを備える撮像装置の揺れ補正装置において、撮像装置の揺れ量を物理的に検出する物理センサと、この物理センサの出力を任意の増幅率で増幅する増幅手段と、この増幅手段の出力信号を動きベクトル検出手段で検出される動きベクトル相当の信号に変換する信号変換手段と、この信号変換手段の出力信号が前記動きベクトル検出手段の出力信号と略一致するように増幅手段の増幅率を制御する増幅制御手段と、前記信号変換手段の出力信号と動きベクトル検出手段の出力信号とを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合い応じて、前記動き補正手段に対して処理の実行・停止を制御するとともに、前記増幅制御手段に対して処理の実行・停止を制御する実行・停止制御手段とを備えるようにしたものである。
【０００８】
この構成では、動きベクトルを利用して撮像装置が揺れたことによる映像信号中の画像の動きを補正する場合に、物理センサを利用して実際の撮像装置の揺れ量を検出し、動きベクトルの大きさに対して物理センサで検出される揺れ量がわずかである場合には、動きベクトルの信頼性が低いものと判断して、動き補正処理を停止させるようにしている。このとき、両者の比較において、物理センサ出力の個体差によるばらつきや、撮像装置の設置条件による撮像装置の実際の揺れと回転運動の変換率との違いが問題となる。そこで、物理センサの出力を増幅し、動きベクトル相当の信号に変換した上で動きベクトルと比較し、両者が略一致するように物理センサ出力に対する増幅率を制御しておくことで、上記の問題を解決し、物理センサによる揺れ量検出精度を向上させている。但し、動きベクトルの信頼性が低い場合にセンサ出力に対する増幅率を制御すると、逆に精度が低下してしまうことになる。そこで、上記したセンサ出力と動きベクトルとの比較結果から、動きベクトルの信頼性がある程度得られるときにセンサ出力に対する増幅率を制御するようにし、信頼性が低い場合には、増幅率の制御を停止するようにしている。
【０００９】
また、この発明に係る撮像装置の揺れ補正装置は、撮像装置の揺れ量を物理的に検出する物理センサと、この物理センサにより検出された前記撮像装置の揺れ量に基づいて撮像素子から出力される映像信号中の画像の動きを補正する動き補正手段とを備える撮像装置の揺れ補正装置において、撮像素子から出力される映像信号から動きベクトルを検出する動きベクトル検出手段と、物理センサの出力を任意の増幅率で増幅する増幅手段と、この増幅手段の出力信号を動きベクトル検出手段で検出される動きベクトル相当の信号に変換し、動き補正手段に与える信号変換手段と、この信号変換手段の出力信号が前記動きベクトル検出手段の出力信号と略一致するように前記増幅手段の増幅率を制御する増幅制御手段と、前記信号変換手段の出力信号と動きベクトル検出手段の出力信号とを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合いに応じて前記増幅制御手段に対して処理の実行・停止を制御する実行・停止制御手段とを備えるようにしたものである。
【００１０】
この構成では、物理センサを利用して撮像装置が揺れたことによる映像信号中の画像の動きを補正する場合に、物理センサ出力の個体差によるばらつきや、撮像装置の設置条件による撮像装置の実際の揺れと回転運動の変換率との違いが問題となることに着目し、映像信号から得られる動きベクトルを利用して、物理センサの出力を増幅し、動きベクトル相当の信号に変換した上で動きベクトルと比較し、両者が略一致するように物理センサ出力に対する増幅率を制御することで、物理センサによる揺れ量検出精度を向上させている。但し、動きベクトルの信頼性が低い場合にセンサ出力に対する増幅率を制御すると、逆に精度が低下してしまうことになる。そこで、上記したセンサ出力と動きベクトルとの比較結果から、動きベクトルの信頼性がある程度得られるときにセンサ出力に対する増幅率を制御するようにし、信頼性が低い場合には、増幅率の制御を停止するようにしている。
【００１１】
また、上記構成において、前記実行・停止制御手段は、少なくとも撮像素子から得られる映像信号のコントラスト、明度、ヒストグラム、感度モードのいずれかに基づいて、前記動きベクトルの信頼性を判定し、信頼性の度合いが許容範囲に入らないときは強制的に停止制御を行うことを特徴とする。
【００１２】
すなわち、映像信号のコントラストが不十分であった場合や、暗かったり、高感度モードに設定されていた場合には、映像信号中から十分な動きベクトルが得られない状況にあるから、物理センサ出力と比較するまでもなく、動きベクトル出力の信頼性は低い。そこで、上記構成では、映像信号のコントラスト、明度、ヒストグラム、感度モードの少なくともいずれかから動きベクトルの信頼性を判定し、信頼性の度合いが許容範囲に入らないときは強制的に停止制御を行うようにしている。
【００１３】
また、上記構成において、増幅制御手段は、制御動作時に信号変換手段の出力信号と動きベクトル検出手段による検出信号とが略一致した時の制御結果を格納する記憶手段を備え、前記実行・停止制御手段により停止制御を受けた場合に、前記記憶手段に格納された制御結果に対応する増幅率を前記増幅手段に設定することを特徴とする。
【００１４】
この構成では、動きベクトルの信頼性が低く、増幅制御手段が処理の停止制御を受けた場合に、記憶手段から制御動作時に格納した、動きベクトル相当の信号と映像信号から検出した動きベクトルとが略一致した時の制御結果を読み出して、この制御結果に対応する増幅率を増幅手段に設定するようにしている。これにより、物理センサによる揺れ量検出精度を維持することができ、被写体の状態に影響されることなく撮像装置が揺れたことによる映像信号中の画像の動きを補正することができる。また、動きベクトルの信頼性が得られる度に、記憶手段に格納される制御結果が更新されるため、経年変化にも対応可能であり、学習効果を持たせることもできる。
【００１５】
また、上記構成において、前記信号変換手段は、撮像装置にズームレンズが設けられているとき、ズームの倍率に応じて前記増幅手段の出力信号を前記動きベクトル検出手段で検出される動きベクトル相当の信号に変換することを特徴とする。
【００１６】
このようにすることで、レンズのズーム倍率に対応して物理センサの出力を動きベクトル相当に変換することができ、これによりＳＮが悪くなったり検出精度が悪化することを防止できる。
【００１７】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照して詳細に説明する。
【００１８】
（第１の実施形態）
図１は、この発明に係わるビデオカメラの揺れ補正装置の一実施形態の構成を示すブロック図である。
【００１９】
図１において、ズームレンズ１を介して撮像した映像は、撮像素子２により電気信号に変換されてサンプル・ホールド回路（Ｓ／Ｈ回路）３でサンプリング処理が施される。このサンプル・ホールド回路３の出力信号は、Ａ／Ｄ（アナログ／デジタル）変換器４でデジタル信号に変換され、信号処理回路５でホワイトバランス、ガンマ補正、ディテール等の処理が施され、メモリ６に格納される。
【００２０】
Ａ／Ｄ変換器４の出力信号は、動きベクトル検出回路７にも入力され、動きベクトル信号Ｓ１を得る。この動きベクトル信号Ｓ１は、画素が単位時間あたり（例えば１フィールド）何画素動いたかをＸ，Ｙ方向について示すものである。この動きベクトル信号Ｓ１はメモリ制御回路８及びマイクロコンピュータ１０に入力される。メモリ制御回路８は、入力されたベクトル量（ビデオカメラの動き量）に応じてそれを打ち消すようにメモリ６の書き込みエリアから切り出しエリアを決定してメモリ６の読み出し制御を行なう。メモリ６の出力信号は、テレビモニタの画角に合わせるために、電子ズーム回路９で拡大してエンコーダ１１でＮＴＳＣビデオ信号に変換し、Ｄ／Ａ（デジタル／アナログ）変換器１２によってアナログの最終ビデオ出力信号を得る。
【００２１】
マイクロコンピュータ１０は、Ａ／Ｄ変換部１０２、補正部１０３、ゲイン制御部１０４、不揮発性メモリ１０５、比較判定部１０６で構成される。
【００２２】
Ａ／Ｄ変換部１０２には、ビデオカメラの揺れ量を物理的に検出する角速度センサ１３の出力をＡＧＣ（オート・ゲイン・コントローラ）１４で任意の増幅率で増幅した信号が入力される。なお、角速度センサ１３は、水平方向用及び垂直方向用の二重構成のセンサであり、ＡＧＣアンプ１４も各方向の検出信号を増幅する二重構成のアンプである。
【００２３】
このＡＧＣアンプ１４の増幅信号は、Ａ／Ｄ変換部１０２でデジタル信号に変換され、補正部１０３によって動きベクトル検出回路７で検出される動きベクトル相当の信号Ｓ２に変換されて後、ゲイン制御部１０４及び比較判定部１０６にそれぞれ供給される。補正部１０３は、ズームレンズ１のズーム位置によって補正量を変えることによりどのズーム位置において動きベクトル相当の信号が得られるように補正処理を行なう。これにより、ＳＮが悪くなったり検出精度が悪化することを防止できる。
【００２４】
ゲイン制御部１０４は、補正部１０３の出力信号Ｓ２が動きベクトル検出回路７からの動きベクトル信号Ｓ１と略一致するように、比較結果信号Ｓ４をＡＧＣアンプ１４に出力して増幅率を制御する。また、ゲイン制御部１０４は、制御動作時に、動きベクトル信号Ｓ１と補正部１０３の出力信号Ｓ２とが一致した時の増幅設定値を不揮発性メモリ１０５に記憶する。
【００２５】
比較判定部１０６は、動きベクトル信号Ｓ１と補正部１０３の出力信号Ｓ２とを比較しその相関を見ることにより、動きベクトル信号Ｓ１の信頼性を判断している。さらに、信号処理回路５から出力されるコントラストの情報、感度モードを示す信号Ｓ７より、動きベクトルの信頼性を判定し、その信頼性の度合いに応じて、メモリ制御回路８に対して処理の実行・停止を制御するとともに、ゲイン制御部１０４に対し処理の実行・停止を制御する。
【００２６】
また、ゲイン制御部１０４は、比較判定部１０６から制御開始の通知Ｓ５を受けると、Ｓ１とＳ２が一致するようにＡＧＣアンプ１４の増幅率を制御し、一致した時の設定値を不揮発性メモリ１０５に記憶する。以後、ＡＧＣアンプ１０４は不揮発性メモリ１０５に記憶した値で動作する。
【００２７】
次に、上記構成における揺れ補正の原理について図２を参照して説明する。
メモリ６において、メモリ切り出しエリア（実際に読み出す範囲）は、メモリ制御回路８によりビデオカメラの動いた方向と逆に移動される。読み出し信号は、実際の撮像範囲より小さくなるため、電子ズーム回路９によって電子ズームで拡大し、テレビモニタの画角に合わせる。
【００２８】
次に、上記比較判定部１０６における相関判定方法について図３を参照して説明する。
比較判定部１０６では、動きベクトル信号Ｓ１と補正部１０３の出力信号Ｓ２との差をとり、その値がしきい値範囲内であれば動きベクトルはビデオカメラの動きを検出したものと判断する。すなわち、角速度センサ１３の出力は、ビデオカメラの動きのみに反応するため、角速度センサ１３の検出結果との相関が強ければビデオカメラの揺れを検出したものと判断できる。なお、判定にしきい値を持たせているのは、角速度センサ１３の出力は個体差によるばらつき、ビデオカメラの取り付け状態によるビデオカメラの実際の揺れと角速度の変換率との違いにより、補正後の信号であっても実際の動きベクトルとの関係がばらつく（完全には一致しない）ためである。
【００２９】
次に、上記比較判定部１０６の動作を図４のフローチャートを参照して説明する。
まず、比較判定部１０６は、動きベクトル信号Ｓ１と補正部１０３の出力信号Ｓ２との差分値αを求め（ステップａ１）、この差分値αがしきい値ＴＨより小さいか否かを判断する（ステップａ２）。ここで、差分値αがしきい値ＴＨより大きいならば（Ｎｏ）、比較判定部１０６は、メモリ制御回路８の画像動き補正処理を停止させるとともに、ゲイン制御部１０４のゲイン制御処理を停止させる（ステップａ３）。
【００３０】
これに対して、差分値αがしきい値未満であるならば比較判定部１０６は、信号処理回路５からの信号Ｓ６から以下の判定処理を実行する。
【００３１】
（１）標準感度モードであるか（ステップａ４）。
（２）映像信号のコントラストが十分であるか（ステップａ５）。
ここで、上記（１）及び（２）の条件を満たしている場合、比較判定部１０６は、メモリ制御回路８に対し画像動き補正の制御指示Ｓ３を与えるとともに、ゲイン制御部１０４に対し動きベクトル信号Ｓ１と補正部１０３出力信号Ｓ２との比較結果による増幅率制御の指示Ｓ５を与える（ステップａ６）。また、上記（１）、（２）のいずれかの条件を満たさない場合には、比較判定部１０６は、上記ステップａ３の処理を実行する。
【００３２】
これにより、角速度センサ１３のばらつき（個体差、経年変化）、ビデオカメラの設置場所の条件による角速度センサ１３の検出感度の影響を吸収し、比較判定部１０６の精度を向上（しきい値を小さく設定できる）することができ、誤判定を防止することが可能となる。なお、この制御は、ビデオカメラが設置された状態で常に動作するため、不揮発性メモリ１０５には常に最新のデータが記憶されることになり、ビデオカメラの設置場所が変わった場合でも、自動的に現在の設置環境に対応することが可能となる。
【００３３】
以上のように上記第１の実施形態では、動きベクトルを利用してビデオカメラが揺れたことによる映像信号中の画像の動きを補正する場合に、角速度センサ１３を利用して実際のビデオカメラの揺れ量を検出し、この角速度センサ１３の出力をＡＧＣアンプ１４で増幅し、補正部１０３で動きベクトル相当の信号Ｓ２に変換した上で、ゲイン制御部１０４により信号Ｓ２と動きベクトル信号Ｓ１とを比較し、両者が略一致するようにＡＧＣアンプ１４の増幅率を制御しておくことで、角速度センサ１３の出力の個体差によるばらつきや、ビデオカメラの設置条件によるビデオカメラの実際の揺れと回転運動の変換率との違いを解消し、角速度センサ１３による揺れ量検出精度を向上させることができる。
【００３４】
また、比較判定部１０６によって補正部１０３の出力信号Ｓ２と動きベクトル信号Ｓ１とを比較することにより、動きベクトル信号Ｓ１の信頼性を判断し、この判断結果に基づいて動きベクトルの信頼性がある程度得られるときに、メモリ制御回路８に対し補正処理を実行させるとともに、ゲイン制御部１０４に対しＡＧＣアンプ１４の増幅率を制御するように実行させ、信頼性が低い場合にはメモリ制御回路８の処理を停止させるとともに、ゲイン制御部１０４の処理を停止させるようにしている。そして、ゲイン制御部１０４は、比較判定部１０６から処理の停止制御を受けた場合に、不揮発性メモリ１０５から制御動作時に記憶した動きベクトル相当の信号Ｓ２と動きベクトル信号Ｓ１とが略一致した時の増幅設定値を読み出して、この増幅設定値をＡＧＣアンプ１４に設定するようにしている。
【００３５】
このため、動きベクトルの大きさに対して角速度センサ１３で検出されるビデオカメラの揺れ量がわずかである場合に、動きベクトルの信頼性が低いものと判断でき、メモリ制御回路８及びゲイン制御部１０４の処理を停止させることで、動きベクトルの信頼性が低い時に映像信号中の画像の動きを補正したり、ＡＧＣアンプ１４の増幅率を制御して角速度センサ１３による揺れ量検出精度が低下するのを防止できる。この停止時に、ゲイン制御部１０４により、不揮発性メモリ１０５に記憶された増幅設定値をＡＧＣアンプ１４に設定することで、角速度センサ１３による揺れ量検出精度を維持することができ、被写体の状態に影響されることなくビデオカメラが揺れたことによる映像信号中の画像の動きを補正することができる。また、比較判定部１０６により動きベクトルの信頼性が得られる度に、ゲイン制御部１０４にて不揮発性メモリ１０５に格納される増幅設定値が更新されるため、経年変化にも対応可能であり、学習効果を持たせることもできる。
【００３６】
さらに、比較判定部１０６は、撮像素子２から得られる映像信号のコントラスト、感度モードに基づいて、動きベクトルの信頼性を判定し、信頼性の度合いが許容範囲に入らないときは強制的に停止制御を行うようにしている。すなわち、映像信号のコントラストが不十分であった場合や、高感度モードに設定されていた場合には、映像信号中から十分な動きベクトルが得られない状況にあるから、角速度センサ１３の出力と比較するまでもなく、動きベクトル信号Ｓ１の信頼性は低い。そこで、映像信号のコントラスト、感度モードの少なくともいずれかから動きベクトルの信頼性を判定し、信頼性の度合いが許容範囲に入らないときは強制的に停止制御を行なうようにしている。
【００３７】
（第２の実施形態）
図５はこの発明に係るビデオカメラの揺れ補正装置の第２の実施形態の構成を示すブロック図である。なお、図５において上記図１と同一部分には同一符号を付して示し、ここでは異なる部分について説明する。
【００３８】
図１と異なる点は、メモリ制御回路８の制御処理を角速度センサ１３の検出結果に基づいて行っていることにある。角速度センサ１３はビデオカメラの動きそのものを検出しているため、特に比較判定部１０６によるメモリ制御回路８の制御を行っていない。すなわち、メモリ制御回路８には補正部１０３の出力信号Ｓ２が入力され、その信号Ｓ２に基づいてメモリの切り出し制御が行われる。
【００３９】
次に、上記構成における比較判定部１０６の比較判定動作について図６のフローチャートを参照して説明する。なお、ステップｂ１〜ｂ４については、上記図４のステップａ１、ａ２、ａ４ａ５と同様な処理であるので説明を省略する。
【００４０】
比較判定部１０６は、動きベクトル信号Ｓ１と補正部１０３の出力信号Ｓ２との差分値αがしきい値ＴＨより小さく、標準感度モードで、映像信号のコントラストが十分であれば、ゲイン制御部１０４に対し動きベクトル信号Ｓ１と補正部１０３出力信号Ｓ２との比較結果による増幅率制御の指示Ｓ５を与え（ステップｂ５）、差分値αがしきい値より大きく、高感度モードで、映像信号のコントラストが不十分である場合に、ゲイン制御部１０４のゲイン制御処理を停止させる（ステップｂ６）。
【００４１】
この第２の実施形態では、角速度センサ１３を利用してビデオカメラが揺れたことによる映像信号中の画像の動きを補正する場合に、角速度センサ１３出力の個体差によるばらつきや、ビデオカメラの設置条件によるビデオカメラの実際の揺れと回転運動の変換率との違いが問題となることに着目し、角速度センサ１３の出力をＡＧＣアンプ１４で増幅し、補正部１０３によって動きベクトル相当の信号Ｓ２に変換した上でゲイン制御部１０４で動きベクトル信号Ｓ１と比較し、両者が略一致するようにＡＧＣアンプ１４の増幅率を制御することで、角速度センサ１３による揺れ量検出精度を向上させている。但し、動きベクトルの信頼性が低い場合に、ＡＧＣアンプ１４の増幅率を制御すると、逆に精度が低下してしまうことになる。そこで、比較判定部１０６により動きベクトル相当の信号Ｓ２と動きベクトル検出回路７からの動きベクトル信号Ｓ１とを比較し、この比較結果から、動きベクトルの信頼性がある程度得られるときにゲイン制御部１０４の処理を実行させてＡＧＣアンプ１４の増幅率を制御するようにし、信頼性が低い場合には、ゲイン制御部１０４の処理を停止するようにしている。この停止時に、ゲイン制御部１０４は、不揮発性メモリ１０５から制御動作時に記憶した動きベクトル相当の信号Ｓ２と動きベクトル信号Ｓ１とが略一致した時の増幅設定値を読み出して、この増幅設定値をＡＧＣアンプ１４に設定するようにしている。
【００４２】
このため、角速度センサ１３出力の個体差によるばらつきや、ビデオカメラの設置条件によるビデオカメラの実際の揺れと回転運動の変換率との違いに影響されることなく、動きベクトルを利用して角速度センサ１３の揺れ量検出精度を向上させた上で、ビデオカメラが揺れたことによる画像の動きを確実に補正することができる。
【００４３】
（その他の実施形態）
この発明は、上記各実施形態に限定されるものではない。図７に示すように、例えば上記補正部１０３の処理をズームレンズ１のズーム比情報による角速度センサ信号の補正制御を不要とすることも可能である。なお、図７において、図１及び図５と同一部分には同一符号を付して示し、その説明を省略する。
【００４４】
すなわち、図７に示すビデオカメラの揺れ補正装置は、動きベクトル信号Ｓ１と角速度センサ１３からの動きベクトル相当の信号Ｓ２とが同レベルとなるように制御することにより、角速度センサ１３のズーム比による検出感度の違いを吸収する。
【００４５】
つまり、補正部１０３は、ズーム比による補正制御を行なう必要がなく、単に角速度センサ１３の検出信号を動きベクトル相当の信号へ変換する回路として、その変換係数は一律に設定して問題ないことになる。
【００４６】
例えば、一般に販売されている箱型監視ビデオカメラは、レンズのズーム比の情報をビデオカメラに取り込むことができない。また、単焦点のレンズであってもレンズによって焦点距離が異なるため、レンズによって画角がまちまちとなる。よって、従来は、一般的なレンズ外付けタイプの監視ビデオカメラには、角速度センサ１３の検出信号によって揺れ補正を制御することが困難であったが、今回の発明により、角速度センサ１３の検出信号をズーム比の情報を用いずに行なうことができる。
【００４７】
また、上記各実施形態では、感度モード及び映像信号のコントラストに基づいて、動きベクトルの信頼性を判断しているが、映像信号の明度、ヒストグラムに基づいて動きベクトルの信頼性を判断するようにしてもよい。この場合、被写体が暗かったりして映像信号中から十分な動きベクトルが得られない状況にある場合に、不揮発性メモリ１０５から動きベクトル相当の信号Ｓ２と映像信号から検出した動きベクトルＳ１とが一致した時の増幅設定値を読み出して、ＡＧＣアンプ１４に設定するようにすれば、被写体の状態に影響されることなくビデオカメラが揺れたことによる映像信号中の画像の動きを補正することができる。
【００４８】
また、上記各実施形態では、マイクロコンピュータ１０内の各部をハードウェア構成としているが、ソフトウェア構成であっても同様に実施可能である。
【００４９】
この他、ビデオカメラの種類や構成、角速度センサの種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００５０】
【発明の効果】
以上詳述したようにこの発明によれば、撮像装置の設置場所が変わった場合でも自動的に角速度センサの検出感度を補正することができ、これによりセンサ出力の経年変化、個体差によるばらつきや、撮像装置の設置条件による撮像装置の実際の揺れと回転運動の変換率との違いに影響されることなく、撮像装置が揺れたことによる映像信号中の画像の動きを確実に補正し得る撮像装置の揺れ補正装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】この発明に係わるビデオカメラの揺れ補正装置の第１の実施形態の構成を示すブロック図。
【図２】同第１の実施形態における揺れ補正の原理を説明するために示す図。
【図３】上記図１に示した比較判定部における相関判定方法を説明するために示す図。
【図４】上記図１に示した比較判定部の動作を説明するために示すフローチャート。
【図５】この発明に係る第２の実施形態のビデオカメラの揺れ補正装置の構成を示すブロック図。
【図６】上記図５に示した比較判定部の動作を説明するために示すフローチャート。
【図７】この発明に係る他の実施形態のビデオカメラの揺れ補正装置の構成を示すブロック図。
【符号の説明】
１…ズームレンズ、
２…撮像素子、
３…サンプル・ホールド回路（Ｓ／Ｈ回路）、
４…Ａ／Ｄ変換器、
５…信号処理回路、
６…メモリ、
７…動きベクトル検出回路、
８…メモリ制御回路、
９…電子ズーム回路、
１０…マイクロコンピュータ、
１１…エンコーダ、
１２…Ｄ／Ａ変換器、
１３…角速度センサ、
１４…ＡＧＣ（オート・ゲイン・コントローラ）アンプ、
１０２…Ａ／Ｄ変換部、
１０３…補正部、
１０４…ゲイン制御部、
１０５…不揮発性メモリ、
１０６…比較判定部。

Claims

撮像素子から出力される映像信号から動きベクトルを検出する動きベクトル検出手段と、この動きベクトル検出手段による検出結果に基づいて撮像装置が揺れたことによる映像信号中の画像の動きを補正する動き補正手段とを備える撮像装置の揺れ補正装置において、
撮像装置の揺れ量を物理的に検出する物理センサと、
この物理センサの出力を任意の増幅率で増幅する増幅手段と、
この増幅手段の出力信号を動きベクトル検出手段で検出される動きベクトル相当の信号に変換する信号変換手段と、
この信号変換手段の出力信号が前記動きベクトル検出手段の出力信号と略一致するように増幅手段の増幅率を制御する増幅制御手段と、
前記信号変換手段の出力信号と動きベクトル検出手段の出力信号とを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合い応じて、前記動き補正手段に対して処理の実行・停止を制御するとともに、前記増幅制御手段に対して処理の実行・停止を制御する実行・停止制御手段とを具備してなることを特徴とする撮像装置の揺れ補正装置。
撮像装置の揺れ量を物理的に検出する物理センサと、この物理センサにより検出された前記撮像装置の揺れ量に基づいて撮像素子から出力される映像信号中の画像の動きを補正する動き補正手段とを備える撮像装置の揺れ補正装置において、
撮像素子から出力される映像信号から動きベクトルを検出する動きベクトル検出手段と、
物理センサの出力を任意の増幅率で増幅する増幅手段と、
この増幅手段の出力信号を動きベクトル検出手段で検出される動きベクトル相当の信号に変換し、動き補正手段に与える信号変換手段と、
この信号変換手段の出力信号が前記動きベクトル検出手段の出力信号と略一致するように前記増幅手段の増幅率を制御する増幅制御手段と、
前記信号変換手段の出力信号と動きベクトル検出手段の出力信号とを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合いに応じて前記増幅制御手段に対して処理の実行・停止を制御する実行・停止制御手段とを具備してなることを特徴とする撮像装置の揺れ補正装置。
前記実行・停止制御手段は、少なくとも撮像素子から得られる映像信号のコントラスト、明度、ヒストグラム、感度モードのいずれかに基づいて、前記動きベクトルの信頼性を判定し、信頼性の度合いが許容範囲に入らないときは強制的に停止制御を行うことを特徴とする請求項１または２記載の撮像装置の揺れ補正装置。
前記増幅制御手段は、制御動作時に信号変換手段の出力信号と動きベクトル検出手段による検出信号とが略一致した時の制御結果を格納する記憶手段を備え、前記実行・停止制御手段により停止制御を受けた場合に、前記記憶手段に格納された制御結果に対応する増幅率を前記増幅手段に設定することを特徴とする請求項１または２記載の撮像装置の揺れ補正装置。
前記信号変換手段は、前記撮像装置にズームレンズが設けられているとき、ズームの倍率に応じて前記増幅手段の出力信号を前記動きベクトル検出手段で検出される動きベクトル相当の信号に変換することを特徴とする請求項１または２記載の撮像装置の揺れ補正装置。
撮像素子から出力される映像信号から動きベクトルを検出し、この検出結果に基づいて撮像装置が揺れたことによる映像信号中の画像の動きを補正する撮像装置の揺れ補正方法において、
物理センサにより前記撮像装置の揺れ量を物理的に検出し、
この物理センサの出力を任意の増幅率で増幅し、
この増幅信号を映像信号から検出される動きベクトル相当の信号に変換し、
この動きベクトル相当の信号が前記動きベクトルと略一致するように前記物理センサ出力を増幅する際の増幅率を制御し、
前記動きベクトル相当の信号と前記動きベクトルとを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合いに応じて動き補正処理の実行・停止を制御するとともに、増幅制御処理の実行・停止を制御することを特徴とする撮像装置の揺れ補正方法。
物理センサにより検出される前記撮像装置の揺れ量に基づいて撮像素子から出力される映像信号中の画像の動きを補正する撮像装置の揺れ補正方法において、
前記撮像素子から出力される映像信号から動きベクトルを検出し、
前記物理センサの出力を任意の増幅率で増幅し、
この増幅信号を前記映像信号から検出される動きベクトル相当の信号に変換し、この動きベクトル相当の信号により前記映像信号中の画像の動きを補正し、
前記動きベクトル相当の信号が前記映像信号から検出される動きベクトルと略一致するように前記物理センサ出力を増幅する際の増幅率を制御し、
前記動きベクトル相当の信号と前記映像信号から検出される動きベクトルとを比較して前記動きベクトルの信頼性を判断し、その信頼性の度合いに応じて前記増幅制御処理の実行・停止を制御することを特徴とする撮像装置の揺れ補正方法。