JPH04271675A - 動き補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ビデオムービーなど
の撮像装置の揺動による画面ゆれの方向と大きさとを検
出して、その画面のゆれを補正するようになされている
動き補正装置に関するものである。

【０００２】

【従来の技術】図７〜図９は、従来の動き補正装置の動
作を説明するための図で、図７は被写体のオリジナル画
像、図８は動き検出エリアの設定状況を説明するための
図、図９は画面ゆれ補正の動作の状況を説明するための
図で、同図（ａ）は補正前の画像を、同図（ｂ）は補正
後の画像を示している。

【０００３】被写体像の動画像を撮影してディスプレイ
モニタ上に可視像を得ることが可能なビデオカメラある
いはビデオカメラに磁気記録再生装置などが付加された
、いわゆるビデオムービーは、電子技術の進歩により、
小型化、軽量化、大量生産が可能となっている。近年の
電子技術の進歩は、重量が１Ｋｇ以下で、わずかＡ６サ
イズにも満たない大きさのビデオムービーの提供を可能
とし、価格も民生用として十分に需要の見込めるほど手
ごろになってきており、また画質についても業務用の装
置に近いレベルにまで達している。

【０００４】ところで、このようなビデオムービーの使
用環境としては、三脚等のように撮像装置を固定する手
段を用いない手持ち撮影の場合が多く、またその可搬性
の良さから、屋外、場合によっては、自動車、電車など
の移動体上での撮影も少なくない。このような環境下で
の撮影には手振れによる装置のゆれが常に問題となり、
そのことが画面のゆれとなって発現するため、再生画像
を見る者に不快感を与える場合が少なくない。

【０００５】このようないわゆる画面ゆれを補正するた
めの手段を備えた装置として、例えば、テレビジョン学
会技術報告Ｖｏ１１１、Ｎｏ３（１９８７年）第４３頁
から第４８頁に記載されている動き補正装置が知られて
いる。この動き補正装置は、図７のように、モニタＴＶ
６の画面上の画像がゆれている場面を想定した場合、図
８のように、動いている部分のうち、動きを止めようと
する範囲６Ａ（以下、検出エリアと称す）を任意の位置
および大きさに設定し、この検出エリア６Ａの中の動き
量と方向Ｖｒ（以下、動きベクトルと称す）を求める。 この動きベクトルＶｒでフレームメモリを、動きとは逆
方向にコントロールして図９（ａ）の補正前の状態から
図９（ｂ）のように、画面ゆれの少ない映像を作り出す
ものである。

【０００６】

【発明が解決しようとする課題】従来の動き補正装置は
以上のように構成されており、動きベクトルを求めるた
めに、フレーム間の画像比較をおこなうが、この画像比
較には大量のメモリおよびそれを抑制する大規模なＩＣ
などを必要とするため、高価となり、民生用には適さな
いという問題があった。

【０００７】この発明は上記のような問題点を解消する
ためになされたもので、フレームメモリやそれを制御す
る大規模なＩＣなどを用いない安価な構成としながら、
動きベクトルを検出して所定の動き補正を精度よく実現
することができる動き補正装置を提供することを目的と
している。

【０００８】

【課題を解決するための手段】この発明に係る動き補正
装置は、画像信号から画面のゆれ量を検出する動きベク
トル検出手段が、画面上に設定されたゆれ検出エリア内
の明るさの重心位置を各フィールド毎に検出する手段と
、その検出された各フィールドの明るさの重心位置の差
を動きベクトルとして検出する手段とから構成されてい
るとともに、検出された動きベクトルに基づいて画面の
位置補正をおこなう動き補正手段が、画面に設定された
動き検出エリア内の画像信号を基にして画像の明るさの
分布の特徴を認識する特徴抽出手段と、その特徴抽出手
段に応動して動きベクトルを制御する手段とから構成さ
れていることを特徴とする。

【０００９】

【作用】この発明によれば、画面上に設定された動き検
出エリア内の各フィールドごとの明るさの重心位置を画
像信号より検出し、さらに各フィールドの明るさの重心
位置の変化から動きベクトルを検出する。そして、その
検出された動きベクトルが零となるように、動き補正手
段を介して画面の位置を変位させる制御動作をおこなう
とともに、画面上に設定された動き検出エリア内の画像
信号をもとにして画像の明るさの分布の特徴を抽出し、
動きベクトル検出手段もしくは動き補正手段自身を制御
することにより、画面のゆれをなくするための動き補正
を所定どおりにおこなう。

【００１０】

【実施例】以下、この発明の一実施例を図面にもとづい
て説明する。図１はこの発明の一実施例による動き補正
装置を含むビデオムービーの構成を示すブロック図であ
り、同図において、１は被写体像を結像させるレンズ、
２は被写体像の光電変換を行なう撮像素子（以下、ＣＣ
Ｄと称す）、３はＣＣＤ２から出力を取り出すためのク
ロックパルス、水平同期信号（以下、ＨＤと称す）９お
よび垂直同期信号（以下、ＶＤと称す）１３を発生する
同期信号発生回路、４は上記ＣＣＤ２の信号を複合映像
信号５に変換する信号処理回路、６はこの複合映像信号
５が映し出されるモニタＴＶである。

【００１１】８はサンプルホールド回路（以下、Ｓ／Ｈ
回路と称す）で、上記信号処理回路４から取り出された
輝度信号（以下、Ｙ信号と称す）７が入力され、また、
上記同期信号発生回路３からＨＤ９が入力されている。 このＳ／Ｈ回路８の出力であるＳ／Ｈ信号１０はＡ／Ｄ
変換器１１に入力され、その出力がマイクロコンピュー
タ１２に入力されている。このマイクロコンピュータ１
２には、上記ＨＤ９およびＶＤ１４が入力されている。 ここで、このＶＤ１４は上記ＶＤ１３がインバータ１５
によって論理レベルが反転された信号である。また、上
記マイクロコンピュータ１２の出力信号ＶＤＸ１７はフ
リップフロップ１８に入力され、ここで、ＨＤ９でトリ
ガされ、かつ論理レベルが反転された信号ＶＤＸ１９と
なって、切換スイッチ２０に入力される。この切換スイ
ッチ２０の他方の入力端子には上記ＶＤ１３が入力され
ており、この切換スイッチ２０には画面ゆれ補正指令１
６が切り換え信号として入力され、この画面ゆれ補正指
令１６が入力されているときにＶＤＸ１９が出力され、
この画面ゆれ補正指令１６が入力されていないときには
ＶＤ１３が出力さ、この切換スイッチ２０の出力信号Ｖ
ＤＲＶ２１が上記ＣＣＤ２を垂直駆動する垂直同期信号
（Ｖ−ＳＹＮＣ）として用いられる。

【００１２】以上の構成のうち、Ｓ／Ｈ回路８、Ａ／Ｄ
変換器１１およびマイクロコンピュータ１２で動きベク
トル検出手段３０が構成され、また同期信号発生回路３
、マイクロコンピュータ１２、フリップフロップ１８、
切換スイッチ２０および画面ゆれ補正指令１６で動き補
正手段４０が構成されている。

【００１３】図２は上記実施例において動きベクトルに
より画面のゆれ補正を行なっている状況を説明するため
の図、図３は動きベクトル検出手段３０の動作を説明す
るための信号波形図、図４は逆光時の動き補正の動作を
説明するための図、また図５および図６はそれぞれマイ
クロコンピュータ１２における動きベクトル検出のため
の演算手順を示すフローチャートである。

【００１４】つぎに、上記実施例における動きベクトル
検出手段３０の動作について説明する。図１の構成にお
いて、図示していない被写体像は、レンズ１によりＣＣ
Ｄ２に結像する。このＣＣＤ２に蓄積された電荷は垂直
同期信号（Ｖ−ＳＹＮＣ）のタイミングで信号処理回路
４に送り込まれ、この信号処理回路４から出力される複
合映像信号５がモニタＴＶ６に入力されて映像が映し出
される。

【００１５】次に、画面ゆれ補正の動作について説明す
る。信号処理回路４から出力されるＹ信号７はＳ／Ｈ回
路８に入力されて、水平走査期間毎にサンプルホールド
され、Ａ／Ｄ変換器１１に入力される。このとき、画面
ゆれ補正指令１６がマイクロコンピュータ１２に与えら
れていると、このマイクロコンピュータ１２は上記Ａ／
Ｄ変換器１１から出力されるデジタルデータを取り込み
、このデジタルデータから、第１の演算手段によって、
Ｖ−ＳＹＮＣ、つまり１フィールド毎の明るさの重心位
置を水平走査線のカウント値として求める。

【００１６】次に、マイクロコンピュータ１２は第２の
演算手段によって各フィールド毎の明るさの重心位置よ
り、フィールド間の明るさの重心位置の差を求める。こ
の第２の演算手段によって動きベクトルが水平走査線の
カウント値として求まる。ＣＣＤ２の電荷は、Ｖ−ＳＹ
ＮＣのタイミングで信号処理回路４に送り出され、この
Ｖ−ＳＹＮＣとして、ＶＤＲＶ２１が用いられているが
、画面ゆれ補正指令１６が与えられた場合のＶＤＲＶ２
１は、ＶＤＸ１７のタイミングと等価である。ここで、
先ほどの第２の演算手段で求めた動きベクトル、すなわ
ち、フィールド間の画面ゆれ量および方向に従って、Ｖ
ＤＸ１７の発生タイミングを制御してやれば、ＣＣＤ２
からの電荷取り出しのタイミングを変えることができ、
画面のゆれを補正することができる。

【００１７】以下、このＶＤＸ１７の制御方法について
、図２を用いて説明する。なお、以下の説明では、ＶＤ
Ｘ１７とその論理レベルが反転されたＶＤＸ１９とはタ
イミング的に等価であるので、ＶＤＸ１９を用いて説明
を進行する。モニタＴＶ６の画面で、いま仮に、６ａの
部分が高い輝度を持っている被写体が映し出されている
と、そのときのフィールド内での輝度信号の明るさ、す
なわちＳ／Ｈ信号１０の値の分布は図２の中の１０ａの
ように表される。ちなみに、このときのＶＤＸ１９のタ
イミングはＶＤ１３と同じであったとする。このとき、
上記第１の演算手段によってＳ／Ｈ信号１０のフィール
ド内での明るさの重心がＧ０として求められており、画
面ゆれによって、次のフィールドで、高い輝度を持つ部
分が図２中の６ｂに移動したとすると、すなわち、高輝
度部分が画面の上方に移動したとすると、Ｓ／Ｈ信号１
０の１０ａの部分が１０ｂに移り、明るさの重心がＧ１
として求まり、第２の演算手段によって動きベクトルΔ
Ｈが求まる。すなわち、動きベクトルΔＨは次式■で表
される。 ΔＨ＝Ｇ１−Ｇ０……■ ただし、Ｈの単位は水平走査線の数である。

【００１８】次に、マイクロコンピュータ１２で、いま
ＶＤ１３と一致している現在のフィールドのＶＤＸ１９
を、図２に示すように、ΔＨだけ遅らせて発生させると
、切換スイッチ２０を介してＶＤＲＶ２１として、同期
信号発生回路３に加えられる。ＣＣＤ２の電荷は、この
ＶＤＲＶ２１、つまりＶＤＸ１９のタイミングで取り出
されるので、画面上では再び６ａの位置に高い輝度の部
分が見え、画面ゆれが補正されたことになる。ここまで
は、高輝度部分が画面の上方に移動した場合の補正動作
について説明したが、下方に移動した場合は、ＶＤＸ１
９をＶＤ１３に対して進めるように補正を行なえば良い
ことになる。

【００１９】以上をまとめると、ΔＨ＞０のとき、ＶＤ
Ｘ１９をＶＤ１３に対してΔＨだけ遅延させ、ΔＨ＜０
のとき、ＶＤＸ１９をＶＤ１３に対してΔＨだけ進める
ということになる。このようにして、画面ゆれの補正が
行なわれる。

【００２０】次に、フィールドの明るさの重心位置を求
めるマイクロコンピュータ１２における第１の演算手段
の動作について、図５を参照しながら説明する。なお、
ここでＡ／Ｄ変換器１１は８ビットとする。また、第１
の演算手段による積算の領域（ゆれ検出エリア）は、本
実施例では図３に示すように、５２Ｈ目から２３０Ｈ目
までの水平走査期間とする。

【００２１】図５において、マイクロコンピュータ１２
が画面ゆれ補正指令１６を受け付けると、ＶＤ１４を持
ち（ステップ１０１）、その直後にＨカウントを初期設
定し、メモリ０に８ビットＡ／Ｄ変換の最小値０を格納
し、またメモリ１およびメモリ２をクリアする（ステッ
プ１０２）。この場合の水平走査線のカウント値（Ｈカ
ウント値）は、２３０−５２＝１７８である。次に、Ｖ
Ｄ１４からＨＤ９の５２Ｈ目がくるまで待機する（ステ
ップ１０３）。この５２Ｈ目がくると、ＨＤ９まちの処
理であるステップ１０４をパスして、Ｓ／Ｈ信号１０の
Ａ／Ｄ変換データを読み込む（ステップ１０５）。つづ
くステップ１０６からステップ１０８までは、Ｓ／Ｈ信
号１０の積算領域における最大レベルをＨカウント値と
して得るための処理で、メモリ０には、最終的に１フィ
ールドにおけるＳ／Ｈ信号１０の最大点の位置がＨカウ
ント値として格納されることになる。

【００２２】その後、さらに読み込んだＡ／Ｄ変換デー
タをメモリ１に加算し（ステップ１０９）、同データに
Ｈのカウント値を乗じた値をメモリ２に加算（ステップ
１１０）していく。ついで、Ｈカウント値を１減らし、
０であるか否かを判定し（ステップ１１１）、０でなか
ったらステップ１０４に戻ってＨＤ９を検出する毎にス
テップ１０５からステップ１１１までの処理を繰り返す
。また、ステップ１１１で０と判定されると、重心位置
の算出処理が行なわれる（ステップ１１２）。その後、
第２の演算手段によって動きベクトルｖｇが求められ（
ステップ１１３）、その動きベクトルｖｇに基づいて動
き補正が行われて（ステップ１１４）、１フィールドに
おける動き補正の処理がすべて終了する。

【００２３】次に、マイクロコンピュータ１２の第２の
演算手段により動きベクトルｖｇを求めるための処理ス
テップ１１３の詳細な内容について、図４および図６を
参照しながら説明する。まず、図６において、Ａ／Ｄ変
換されたＳ／Ｈ信号１０の取り込み極性を反転した直後
のフィールドであるか否かの検定を行なう（ステップ２
０１）。その検定結果において、Ｓ／Ｈ信号１０の取り
込み極性反転直後のフィールドでない、つまり反転があ
ってから２フィールド以上経過している場合は、上述の
第１の演算手段で求めた現フィールドにおける明るさの
重心位置と前フィールドにおける明るさの重心位置の差
から動きベクトルｖｇを求める（ステップ２０２）。さ
らに、フィールド間での明るさのピークの位置の差ｖｐ
を求め（ステップ２０３）、その差による検定を行なう
（ステップ２０４）。ここで、明るさのピークの位置の
差ｖｐ、すなわちピーク位置の移動量が所定の値αを越
えたときには（図４参照）、周辺が明るく中心部が暗い
信号、具体的には逆光時の被写体像であると認識して、
動きベクトルｖｇをクリアし（ステップ２０５）、Ａ／
Ｄ変換されたＳ／Ｈ信号１０をマイクロコンピュータ１
２に取り込むときの取り込み極性を反転する（ステップ
２０６）。また、ステップ２０４での検定において、ピ
ーク位置の移動量が所定の値αを越えていないときには
、なにも行なわずに処理を終了する。

【００２４】つまり、図４に示すように、逆光時などの
ように、画面の周辺が明るく中心部が暗い画面の場合は
、検出していない真の動きベクトルｖｒと、明るさの重
心位置のフィールド間での差である動きベクトルｖｇと
は互いに方向が逆となっており、動きベクトルｖｇで補
正を行なうと、誤動作を起こすが、このままではそれを
知ることができない。いま、明るさのピークの位置のフ
ィールド間での差ｖｐを導入すると、上記のような場合
、明るさのピークの位置のフィールド間での差ｖｐは、
ゆれ検出エリア内で上端から下端あるいはその逆に大き
く変動することがわかる。したがって、明るさのピーク
の位置のフィールド間での差ｖｐが所定の値αを越えて
いるか否かを検定することで、動きベクトルｖｇが正し
く得られるか否かの検定が可能となる。ちなみに、上記
差ｖｐの所定値としては、ゆれ検出エリアのＨカウント
値の半分程度が望ましく、本実施例では９０Ｈとしてい
るが、これに限定されるものでない。

【００２５】さて、処理ステップ２０１において、取り
込み極性を反転した直後のフィールドであるときは、ス
テップ２０２からステップ２０６の処理を飛び越えてな
にもせずに処理を終了する。

【００２６】以上の処理によって得られた動きベクトル
ｖｇにより、図５に示すとおりの動き補正処理（ステッ
プ１１４）が行なわれるが、上述のような動きベクトル
ｖｇを得る図６に示した処理フローから明らかなように
、Ａ／Ｄ変換されたＳ／Ｈ信号１０の取り込み極性を反
転する直前および直後は、動きベクトルｖｇそのものを
強制的に０ベクトルとすることで、誤動作を防止してい
る。その理由はつぎのとおりである。すなわち、Ｓ／Ｈ
信号１０の取り込みの極性を反転する直前においては、
検出していない真の動きベクトルｖｒと、明るさのピー
クの位置のフィールド間での差ｖｐより求めた動きベク
トルｖｇとの方向が逆となっており、このまま補正を行
なうと、誤動作を起こす。また、Ｓ／Ｈ信号１０の取り
込みの極性を反転直後のフィールドでは、なにも規制を
加えないと、Ｓ／Ｈ信号１０の取り込みの極性を反転す
る直前と反転直後のフィールド間での位置の差によって
動きベクトルｖｇを得ることになるので、やはり補正時
の誤動作を起こすからである。

【００２７】また、Ａ／Ｄ変換の極性を反転している理
由は次のとおりである。すなわち、図４に示すような例
においては、Ｓ／Ｈ信号１０の通常の取り込み方式の場
合、上述のような誤動作を生じる。しかし、マイクロコ
ンピュータ１２に取り込むときに極性の反転を行なって
いれば、マイクロコンピュータ１２が暗い部分を明るい
と、また明るい部分を暗いと認識するため、図２に示す
ようなＳ／Ｈ信号１０とすると、変わらない精度で、明
るさの重心位置のフィールド間での差ｖｐより求めた動
きベクトルｖｇを得ることができるからである。

【００２８】なお、上記実施例では、第１の演算手段お
よび第２の演算手段をマイクロコンピュータ１２を用い
てソフトウェア的に行なったが、上記演算を実施できる
手段であれば何でもよく、実施例に限定されるものでは
ない。

【００２９】また、本実施例では、画面ゆれの補正を、
ＣＣＤ２から電荷を取り出すタイミングを制御すること
で行なっていたが、例えばレンズ１およびＣＣＤ２が取
り付けられたユニットを機械的に動かす構成としても良
い。また、上記実施例において、第１の演算手段におけ
る演算領域を制限したのは、被写体外の周囲の影響を除
くためで、本実施例のように５２Ｈから２３０Ｈまでの
領域に限られない。さらに、本実施例では、Ｓ／Ｈされ
た輝度信号レベルの取り込みを水平走査期間毎に行なっ
たが、適当な間隔で行なっても良い。

【００３０】

【発明の効果】以上のように、この発明によれば、輝度
信号のレベルからフィールド毎の明るさの重心位置を検
出して、フィールド間の明るさの重心位置の差から動き
ベクトルを検出し、この動きベクトルが零となるように
画面に映像が映し出される位置を補正するように構成す
るとともに、画像の明るさの特徴を抽出して、逆光時な
どのように検出した動きベクトルと真の動きとの誤差が
大きい可能性のあるときは、検出した動きベクトルにさ
らに補正を加えることによって、大容量メモリや大規模
なＩＣを用いない安価な構成としながら、所定の動き補
正を非常に精度よく実行することができるという効果を
奏する。

【図面の簡単な説明】

【図１】この発明の一実施例による動き補正装置を含む
ビデオムービーの構成を示すブロック図である。

【図２】実施例による検出動きベクトルによる画面のゆ
れ補正動作を説明するための図である。

【図３】実施例の動きベクトル検出手段の動作を説明す
るための信号波形図である。

【図４】実施例における逆光時の動き補正の動作を説明
するための図である。

【図５】マイクロコンピュータにおける第１の演算手段
の動作を示すフローチャートである。

【図６】マイクロコンピュータにおける第２の演算手段
の動作を示すフローチャートである。

【図７】従来の動き補正装置の動作を説明する図である
。

【図８】従来の動き補正装置による検出エリアの設定状
況を説明する図である。

【図９】検出した動きベクトルにより画面ゆれを補正す
る動作の説明図である。

【符号の説明】

１２　　マイクロコンピュータ ３０　　動きベクトル検出手段 ４０　　動き補正手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　画像信号から画面のゆれ量を検出する
   動きベクトル検出手段と、この手段により検出した動き
   ベクトルに基づいて画面の位置補正をおこなう動き補正
   手段とを備えた動き補正装置であって、上記動きベクト
   ル検出手段が、画面上に設定されたゆれ検出エリア内の
   明るさの重心位置を各フィールド毎に検出する手段と、
   この手段により検出された各フィールドの明るさの重心
   位置の差を動きベクトルとして検出する手段とから構成
   され、また上記動き補正手段が、画面上に設定された動
   き検出エリア内の画像信号を基にして画像の明るさの分
   布の特徴を認識する特徴抽出手段と、この特徴抽出手段
   に応動して動きベクトルを制御する手段とから構成され
   ていることを特徴とする動き補正装置。