JPH04287579A

JPH04287579A - 動き補正装置

Info

Publication number: JPH04287579A
Application number: JP3052622A
Authority: JP
Inventors: Takayuki Horino; 堀野　隆行; Yukimasa Watanabe; 渡辺　幸雅
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1991-03-18
Filing date: 1991-03-18
Publication date: 1992-10-13

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ビデオムービーなど
の撮像装置の揺動による画面ゆれの方向と大きさとを検
出して、その画面のゆれを補正するようになされている
動き補正装置に関するものである。

【０００２】

【従来の技術】図７〜図９は、従来の動き補正装置の動
作を説明するための図で、図７は被写体のオリジナル画
像、図８は動き検出エリアの設定状況を説明するための
図、図９は画面ゆれ補正の動作の状況を説明するための
図で、同図（ａ）は補正前の画像を、同図（ｂ）は補正
後の画像を示している。

【０００３】被写体像の動画像を撮影してディスプレイ
モニタ上に可視像を得ることが可能なビデオカメラある
いはビデオカメラに磁気記録再生装置などが付加された
、いわゆるビデオムービーは、電子技術の進歩により、
小型化、軽量化、大量生産が可能となっている。近年の
電子技術の進歩は、重量が１Ｋｇ以下で、わずかＡ６サ
イズにも満たない大きさのビデオムービーの提供を可能
とし、価格も民生用として十分に需要の見込めるほど低
廉化され、また画質についても業務用の装置に近いレベ
ルにまで達している。

【０００４】ところで、このようなビデオムービーの使
用環境としては、三脚等のように撮像装置を固定する手
段を用いない手持ち撮影の場合が多く、またその可搬性
の良さから、屋外、場合によっては、自動車、電車など
の移動体上での撮影も少なくない。このような環境下で
の撮影には装置のゆれが常に問題となり、そのことが画
面のゆれとなって発現するため、再生画像を見る者に不
快感を与える場合が少なくない。

【０００５】このようないわゆる画面ゆれを補正するた
めの手段をもつ装置として、例えば、テレビジョン学会
技術報告Ｖｏ１１１、Ｎｏ３（１９８７年）第４３頁か
ら第４８頁に記載されている動き補正装置が知られてい
る。この動き補正装置は、図７のように、モニタＴＶ６
の画面上の画像がゆれている場面を想定した場合、図８
のように、動いている部分のうち、動きを止めようとす
る範囲６Ａ（以下、検出エリアと称す）を任意の大きさ
および位置に設定し、この検出エリア６Ａの中の動き量
と方向Ｖｒ（以下、動きベクトルと称す）を求める。こ
の求めた動きベクトルＶｒでフレームメモリを、動きと
は逆方向にコントロールして図９（ａ）の補正前の状態
から図９（ｂ）のように、画面ゆれの少ない映像を作り
出すものである。

【０００６】

【発明が解決しようとする課題】従来の動き補正装置は
以上のように構成されており、動きベクトルを求めるた
めに、フレーム間の画像比較をおこなうが、この画像比
較には大量のメモリおよびそれを抑制する大規模なＩＣ
などを必要とするため、高価となり、民生用には適さな
いという問題があった。

【０００７】この発明は上記のような問題点を解消する
ためになされたもので、フレームメモリやそれを制御す
る大規模なＩＣなどを用いない安価な構成としながら、
動きベクトルを所定どおりに検出することができる動き
補正装置を提供することを目的としている。

【０００８】

【課題を解決するための手段】この発明に係る動き補正
装置は、画像信号から画面のゆれ量を検出する動きベク
トル検出手段が、画面上に設定されたゆれ検出エリア内
の明るさの重心位置を各フィールド毎に検出する手段と
、その検出された各フィールドの明るさの重心位置の差
を動きベクトルとして検出する手段とから構成されてい
ることを特徴とする。

【０００９】

【作用】この発明によれば、画面上に設定された動き検
出エリア内の各フィールドごとの明るさの重心位置を画
像信号より検出し、さらに各フィールドの明るさの重心
位置の変化から動きベクトルを検出する。そして、その
検出された動きベクトルが零となるように、動き補正手
段を介して画面の位置を変位させる制御動作をおこなう
ことにより、画面のゆれをなくすることができる。

【００１０】

【実施例】以下、この発明の一実施例を図面にもとづい
て説明する。図１はこの発明の一実施例による動き補正
装置を含むビデオムービーの構成を示すブロック図であ
り、同図において、１は被写体像を結像させるレンズ、
２は被写体像の光電変換を行う撮像素子（以下、ＣＣＤ
と称す）、３はＣＣＤ２から出力を取り出すためのクロ
ックパルス、水平同期信号（以下、ＨＤと称す）９およ
び垂直同期信号（以下、ＶＤと称す）１３を発生する同
期信号発生回路、４は上記ＣＣＤ２の信号を複合映像信
号５に変換する信号処理回路、６はこの複合映像信号５
が映し出されるモニタＴＶ６である。

【００１１】８はサンプルホールド回路（以下、Ｓ／Ｈ
回路と称す）で、上記信号処理回路４から取り出された
輝度信号（以下、Ｙ信号と称す）７が入力され、また、
上記同期信号発生回路３からＨＤ９が入力されている。このＳ／Ｈ回路８の出力であるＳ／Ｈ信号１０はＡ／Ｄ
変換器１１に入力され、その出力がマイクロコンピュー
タ１２に入力されている。このマイクロコンピュータ１
２には、上記ＨＤ９およびＶＤ１４が入力されている。ここで、このＶＤ１４は上記ＶＤ１３がインバータ１５
によって論理レベルが反転された信号である。また、上
記マイクロコンピュータ１２の出力信号ＶＤＸ１７はフ
リップフロップ１８に入力され、ここで、ＨＤ９でトリ
ガされ、かつ論理レベルが反転された信号ＶＤＸ１９と
なって、切換スイッチ２０に入力される。この切換スイ
ッチ２０の他方の入力端子には上記ＶＤ１３が入力され
ており、この切換スイッチ２０には画面ゆれ補正指令１
６が切り換え信号として入力され、この画面ゆれ補正指
令１６が入力されているときにＶＤＸ１９が出力され、
この画面ゆれ補正指令１６が入力されていないときには
ＶＤ１３が出力さ、この切換スイッチ２０の出力信号Ｖ
ＤＲＶ２１が上記ＣＣＤ２を垂直駆動する垂直同期信号
（Ｖ−ＳＹＮＣ）として用いられる。

【００１２】以上の構成のうち、Ｓ／Ｈ回路８、Ａ／Ｄ
変換器１１およびマイクロコンピュータ１２で動きベク
トル検出手段３０が構成され、また同期信号発生回路３
、マイクロコンピュータ１２、フリップフロップ１８、
切換スイッチ２０および画面ゆれ補正指令１６で動き補
正手段４０が構成されている。

【００１３】図２は上記実施例において動きベクトルに
より画面のゆれ補正を行なっている状況を説明するため
の図、図３は動きベクトル検出手段３０の動作を説明す
るための信号波形図、また図４はマイクロコンピュータ
１２における演算手順を示すフローチャートである。さ
らに、図５は検出した信号からオフセット成分を除去す
る状況を説明するための図、図６はオフセット成分の除
去を含む明るさの重心値算出のための演算手順を示すフ
ローチャートである。

【００１４】つぎに、上記実施例における動きベクトル
検出手段３０の動作について説明する。図１の構成にお
いて、図示していない被写体像は、レンズ１によりＣＣ
Ｄ２に結像する。このＣＣＤ２に蓄積された電荷は垂直
同期信号（Ｖ−ＳＹＮＣ）のタイミングで信号処理回路
４に送り込まれ、この信号処理回路４から出力される複
合映像信号５がモニタＴＶ６に入力されて映像が映し出
される。

【００１５】次に、画面ゆれ補正の動作について説明す
る。信号処理回路４から出力されるＹ信号７はＳ／Ｈ回
路８に入力されて、水平走査期間毎にサンプルホールド
され、Ａ／Ｄ変換器１１に入力される。このとき、画面
ゆれ補正指令１６がマイクロコンピュータ１２に与えら
れていると、このマイクロコンピュータ１２は上記Ａ／
Ｄ変換器１１から出力されるデジタルデータを取り込み
、このデジタルデータから、第１の演算手段によって、
Ｖ−ＳＹＮＣ、つまり１フィールド毎の明るさの重心位
置を水平走査線のカウント値として求める。

【００１６】次に、マイクロコンピュータ１２は第２の
演算手段によって各フィールド毎の明るさの重心位置よ
り、フィールド間の明るさの重心位置の差を求める。こ
の第２の演算手段によって動きベクトルが水平走査線の
カウント値として求まる。ＣＣＤ２の電荷は、Ｖ−ＳＹ
ＮＣのタイミングで信号処理回路４に送り出され、この
Ｖ−ＳＹＮＣとして、ＶＤＲＶ２１が用いられているが
、画面ゆれ補正指令１６が与えられた場合のＶＤＲＶ２
１は、ＶＤＸ１７のタイミングと等価である。ここで、
先ほどの第２の演算手段で求めた動きベクトル、すなわ
ち、フィールド間の画面ゆれ量および方向に従って、Ｖ
ＤＸ１７の発生タイミングを制御してやれば、ＣＣＤ２
からの電荷取り出しのタイミングを変えることができ、
画面のゆれを補正することができる。

【００１７】以下、このＶＤＸ１７の制御方法について
、図２を用いて説明する。なお、以下の説明において、
ＶＤＸ１７はその論理レベルが反転されたＶＤＸ１９と
タイミング的に等価であるので、ＶＤＸ１９を用いて説
明を進行する。モニタＴＶ６の画面で、いま仮に、６ａ
の部分が高い輝度を持っている被写体が映し出されてい
ると、そのときのフィールド内での輝度信号の明るさ、
すなわちＳ／Ｈ信号１０の値の分布は図２中の１０ａの
ように表される。ちなみに、このときのＶＤＸ１９のタ
イミングがＶＤ１３と同じであったとする。このとき、
上記第１の演算手段によってＳ／Ｈ信号１０のフィール
ド内での明るさの重心がＧ０として求められており、画
面ゆれによって、次のフィールドで、高い輝度を持つ部
分が図２中の６ｂに移動した、すなわち、高輝度部分が
画面の上方に移動したとすると、Ｓ／Ｈ信号の１０ａの
部分が１０ｂに移り、明るさの重心がＧ１として求まり
、第２の演算手段によって動きベクトルΔＨが求まる。すなわち、動きベクトルΔＨは次式■で表される。 ΔＨ＝Ｇ１−Ｇ０……■ ただし、Ｈの単位は水平走査線の数である。

【００１８】次に、マイクロコンピュータ１２で、いま
、ＶＤ１３と一致している現在のフィールドのＶＤＸ１
９を、図２に示すように、ΔＨだけ遅らせて発生させる
と、切換スイッチ２０を介してＶＤＲＶ２１として、同
期信号発生回路３に加えられる。ＣＣＤ２の電荷は、こ
のＶＤＲＶ２１、つまりＶＤＸ１９のタイミングで取り
出されるので、画面上では再び６ａの位置に高い輝度の
部分が見え、画面ゆれが補正されたことになる。ここま
では、高輝度部分が画面の上方に移動した場合の補正動
作について説明したが、画面の下方に移動した場合は、
上記ＶＤＸ１９をＶＤ１３に対して進めるように補正を
行なえば良いことになる。

【００１９】以上をまとめると、ΔＨ＞０のとき、ＶＤ
Ｘ１９をＶＤ１３に対してΔＨだけ遅延させ、ΔＨ＜０
のとき、ＶＤＸ１９をＶＤ１３に対してΔＨだけ進める
ということになる。このようにして、画面のゆれ補正が
行なわれる。

【００２０】次に、フィールドの明るさの重心位置を求
めるマイクロコンピュータ１２における第１の演算手段
の動作について、図３および図４を参照しながら説明す
る。なお、ここでＡ／Ｄ変換器１１は８ビットとする。また、第１の演算手段による積算の領域（ゆれ検出エリ
ア）は、本実施例では図３に示すように、５２Ｈ目から
２３０Ｈ目までの水平走査期間とする。

【００２１】図４において、マイクロコンピュータ１２
が画面ゆれ補正指令１６を受け付けると、ＶＤ１４を持
ち（ステップ１０１）、その直後にＨカウントを初期設
定し、メモリ０に８ビットＡ／Ｄ変換の最大値２５５を
格納し、またメモリ１およびメモリ２をクリアする（ス
テップ１０２）。この場合の水平走査線のカウント値（
Ｈカウント値）は、２３０−５２＝１７８である。次に
、ＶＤ１４からＨＤ９の５２Ｈ目がくるまで待機する（
ステップ１０３）。この５２Ｈ目ではＨＤ９まちの処理
であるステップ１０４をパスして、Ｓ／Ｈ信号１０のＡ
／Ｄ変換データを取り込む（ステップ１０５）。ステッ
プ１０６からステップ１０８までは、Ｓ／Ｈ信号１０の
積算領域における最小レベルをメモリ０に格納すめため
の処理で、その用途の詳細については後述する。

【００２２】その後、取り込んだＡ／Ｄ変換データをメ
モリ１に加算し（ステップ１０９）、同データにＨのカ
ウント値を乗じた値をメモリ２に加算し（ステップ１１
０）ていく。ついで、Ｈカウント値を１減らし、０であ
るか否かを判定し（ステップ１１１）、０でなかったら
ステップ１０４に戻ってＨＤ９を検出する毎にステップ
１０５からステップ１１１までの処理を繰り返す。また
、ステップ１１１で０と判定されると、重心位置の算出
処理が行なわれて（ステップ１１２）、明るさの重心位
置がＨのカウント値で求められ、１フィールドでの処理
を終わる。以上の動作が各フィールド毎に繰り返され、
各フィールドの明るさの重心位置が算出される。

【００２３】次に、上記重心位置算出の手順について、
図５および図６で説明する。図５はオフセットを持つＳ
／Ｈ信号を示したものであり、同図において、ｒ１は積
算領域における最小の値で、これをＳ／Ｈ信号１０のオ
フセット値と呼ぶ。このようなＳ／Ｈ信号１０の明るさ
の重心を求めるとき、上述した図４の処理（ステップ１
１２）に入った直後のメモリ２の内容をメモリ１の内容
で割ることも一つの手段である。しかし、この場合、オ
フセット値ｒ１が、信号レベルの変化に対して大きくな
ればなるほど明るさのピーク位置に無関係に明るさの重
心位置は画面の中心付近に集中し、したがって、フィー
ルドごとに明るさのピーク位置が変動するような画面ゆ
れがおきても明るさの重心位置の差はほとんど検出され
ず、画面のゆれが補正されないことになる。そこで、メ
モリ０からメモリ２の内容から、このオフセット値ｒ１
を取り除いたときの明るさの重心位置を求めることがで
きるように工夫した。その詳細を以下に示す。

【００２４】まず、Ｈのカウント値をｉ、そのときのＳ
／Ｈ信号１０のレベルをｖｉ、またオフセット値ｒ１、
積算領域におけめ水平走査線数をｎとすると、オフセッ
トを補正したときの明るさの重心位置ＧＸは次式■で表
される。

【００２５】

【数１】

【００２６】ここで、マイクロコンピュータ１２は、１
フィールドにおける積算処理を済ませないと、オフセッ
ト値ｒ１がわからないので、式■を積算処理中に行なう
ことは不可能である。一方、積算終了後においては、式
■を実行することは不可能である。なぜなら、各水平走
査線毎のｖｉを保存していないからである。そこで、式
■の変形を試み、次式■を得る。

【００２７】

【数２】

【００２８】この形式であれば、本実施例の場合、ｎ＝
１７８で、ｒ１はメモリ０に、また各積算値はメモリ１
およびメモリ２に格納されているため、積算処理のあと
で計算が行なえる。すなわち、図４の重心位置の算出（
ステップ１１２）は、図６の処理ステップ２０１からス
テップ２０４のように表すことができる。

【００２９】なお、上記実施例では、オフセット値とし
て、積算領域における最低輝度レベルｒ１を用いたが、
システム上の精度の問題から、極くわずかながらｒ１が
真の最低輝度レベルを上回ってしまう場合もあり得るこ
とが想定される。このような場合、マイクロコンピュー
タ１２でオフセット補正されたＳ／Ｈ信号１０の一部が
積算領域で負の値をとってしまうため、明るさの重心位
置の精度に重大な問題が発生する。このような問題に対
しては、ｒ１＞ｒ２なる関係を持つｒ２を新たなオフセ
ット値として用いることができる。ただし、ｒ２を用い
ることは、オフセット補正後におけるオフセットの存在
を認めることになるので、そのとるべき値については、
明るさの重心位置検出の精度を著しく損なわない程度に
とどめるべきである。望ましくは、ｒ１の９０〜９５％
程度が適当である。以上のような処理を行なうことによ
って精度の良い動きベクトルの検出を行なうことができ
る。

【００３０】次に、マイクロコンピュータ１２における
第２の演算手段の出力は、第１の演算手段でもとめた明
るさの重心位置のフィールド間での差をとることによっ
て求めている。

【００３１】なお、上記実施例では、第１の演算手段お
よび第２の演算手段をマイクロコンピュータ１２を用い
てソフトウェア的に行なったが、上記演算を実施できる
手段であれば何でもよく、実施例に限定されるものでは
ない。また、本実施例では、画面ゆれの補正を、ＣＣＤ
２から電荷を取り出すタイミングを制御することで行な
っているが、例えばレンズ１およびＣＣＤ２が取り付け
られたユニットを機械的に動かす構成としても良い。ま
た、上記実施例において、第１の演算手段における演算
領域を制限したのは、被写体外の周囲の影響を除くため
で、本実施例のように５２Ｈから２３０Ｈまでの領域に
限られない。さらに、本実施例では、Ｓ／Ｈされた輝度
信号レベルの取り込みを毎水平走査期間毎に行なったが
、適当な間隔で行なっても良い。

【００３２】

【発明の効果】以上のように、この発明によれば、輝度
信号のレベルからフィールド毎の明るさの重心位置を検
出して、フィールド間の明るさの重心位置の差から動き
ベクトルを検出し、この動きベクトルが零となるように
画面に映像が映し出される位置を補正するように構成す
るとともに、明るさの重心位置を検出する際に信号レベ
ルのオフセット分を打ち消すような構成をとっているの
で、大容量メモリおよび大規模なＩＣなどを必要とせず
、安価な動き補正装置が得られるという効果を奏する。

【図面の簡単な説明】

【図１】この発明の一実施例による動き補正装置を含む
ビデオムービーの構成を示すブロック図である。

【図２】実施例による検出動きベクトルによる画面のゆ
れ補正動作を説明するための図である。

【図３】実施例の動きベクトル検出手段の動作を説明す
るための信号波形図である。

【図４】マイクロコンピュータによる演算手順を示すフ
ローチャートである。

【図５】検出信号からオフセット成分を除去する状況を
説明する図である。

【図６】オフセット成分の除去を含む明るさの重心値算
出のための演算手順を示すフローチャートである。

【図７】従来の動き補正装置の動作を説明する図である
。

【図８】従来の動き補正装置による検出エリアの設定状
況を説明する図である。

【図９】検出した動きベクトルにより画面ゆれを補正す
る動作の説明図である。

【符号の説明】

３０　　動きベクトル検出手段４０　　動き補正手段

Claims

【特許請求の範囲】

【請求項１】　　画像信号から画面のゆれ量を検出する
動きベクトル検出手段と、この手段により検出した動き
ベクトルに基づいて画面の位置補正をおこなう動き補正
手段とを備えた動き補正装置であって、上記動きベクト
ル検出手段が、画面上に設定されたゆれ検出エリア内の
明るさの重心位置を各フィールド毎に検出する手段と、
この手段により検出された各フィールドの明るさの重心
位置の差を動きベクトルとして検出する手段とから構成
されていることを特徴とする動き補正装置。