JPH05336432A - 画像の手振れ検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像中に動き物体がある場合にも補間により
手振れベクトルを高精度に検出することのできる画像の
手振れ検出装置を提供する。 【構成】 フィールド差分検出部１１，相関積算値表形
成部１２及びマクロベクトル検出部１５により、互いに
隣接しないマクロブロックが生じるような形態で、１画
面を複数に分割したマクロブロック毎に動きベクトルを
検出する。そして、有効ベクトル判定部１６及びベクト
ル決定部１７により、マクロブロック毎の積算値表の極
小値座標を手振れベクトル候補として、空間的に分離さ
れた位置にある少なくとも２つのマクロブロックにおい
て同一の動きベクトルを検出し、しび動きベクトルを手
振れベクトルとして出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の手振れ検出装置
に関し、例えばハンディタイプのビデオカメラの撮像出
力などのビデオデータに含まれる所謂手振れによる画像
の移動量を検出して補正する画像の手振れ補正装置など
に適用される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開昭６３−１６６３７０号公報に開示されているよ
うに、画像の動きベクトルを検出し、この動きベクトル
に基づいて、画像メモリに貯えられているビデオデータ
を補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】一般に、上述の如きブロックマッチング法
では、カメラの手振れによる画像の動きベクトルと被写
体の動きによる動きベクトルとが同時に発生するので、
これらの判別が難しい。従来、手振れによる画像の動き
ベクトルの検出精度を高める手法として、１画面を複数
の領域（マクロブロック）に分割し、上記マクロブロッ
ク毎の動きベクトル（マクロベクトル）を求め、それら
から画面全体の動きベクトルを決定する手法が知られて
いる。例えば図７に示すように、１画面の４×３の１２
マクロブロックに分割して求めたマクロベクトルについ
ての多数決により（２，０）を画面全体の動きベクトル
とすることにより、動き物体ＭＶによる動きベクトルの
影響を除去するようにしていた。

【０００５】

【発明が解決しようとする課題】ところで、マクロブロ
ック単位の相関積算値表の最小値を求めることにより動
きベクトルを検出し、上記マクロブロック毎の動きベク
トルから画面全体の動きベクトルを検出する手法では、
動き物体があると、手振れベクトルの情報を含む背景画
像が上記動き物体によりマスクされてしまうので、画像
中の動き物体の占める割合が大きい程、手振れベクトル
が上記マクロブロック単位の動きベクトルとして検出さ
れる割合が低下し、正しい手振れベクトルの検出が困難
になるとういう問題点がある。

【０００６】そこで、本件出願人は、互いに隣接しない
マクロブロックが生じるような形態で１画面を複数のマ
クロブロックに分割して、マクロブロック単位の相関積
算値表の最小値を求めることにより動きベクトルを検出
し、図８に示すように、空間的に分離された位置にある
少なくとも二つのマクロブロックにおいて検出される同
一の動きベクトルを手振れベクトルする手法を例えば特
願平３−１００３８４号などにおいて先に提案してい
る。

【０００７】しかし、この手法においても、図９に示す
ように、画像中の動き物体の占める割合が極めて大きい
場合には、空間的に分離された位置にあるマクロブロッ
クの一方に背景ベクトルでなく動き物体による動きベク
トルが検出されてしまい、正しい手振れベクトルが検出
できなくなってしまうことがある。

【０００８】そこで、本発明は、このような実情に鑑み
てなされたものであり、ハンディタイプのビデオカメラ
などにおける高性能の手振れ補正を可能にすることを目
的とし、画像中に動き物体がある場合にも手振れベクト
ルを高精度に検出することのできる画像の手振れ検出装
置を提供するものである。

【０００９】

【課題を解決するための手段】本発明に係る画像の手振
れ検出装置は、上述の課題を解決するために、互いに隣
接しないマクロブロックが生じるような形態で、１画面
を複数のマクロブロックに分割し、上記マクロブロック
毎に動きベクトルを検出する第１の検出手段と、上記第
１の検出手段の出力の内で空間的に分離された位置にあ
る少なくとも二つの上記マクロブロックにおいて、同一
の動きベクトルを有するものがあるか否かを検出し、同
一のものがある時に、その動きベクトルを画面全体の動
きベクトルとして出力する第２の検出手段とを備え、上
記第２の検出手段は、マクロブロック毎の積算値表の極
小値座標を手振れベクトル候補として、検出した画面全
体の動きベクトルを手振れベクトルとして出力すること
を特徴とするものである。

【００１０】

【作用】本発明に係る画像の手振れ検出装置では、第１
の検出手段により、互いに隣接しないマクロブロックが
生じるような形態で、１画面を複数のマクロブロックに
分割し、上記マクロブロック毎に動きベクトルを検出
し、第２の検出手段により、上記第１の検出手段の出力
の内で空間的に分離された位置にある少なくとも二つの
上記マクロブロックにおいて、同一の動きベクトルを有
するものがあるか否かを検出し、同一のものがある時
に、その動きベクトルを画面全体の動きベクトルとして
出力する。そして、第２の検出手段は、マクロブロック
毎の積算値表の極小値座標を手振れベクトル候補とし
て、検出した画面全体の動きベクトルを手振れベクトル
として出力する。

【００１１】

【実施例】以下、本発明に係る画像の手振れ検出装置の
一実施例について図面に従い詳細に説明する。本発明に
係る画像の手振れ検出装置は、例えば図１のように構成
される。

【００１２】この図１に示した手振れ検出装置１０は、
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置に本発明を適用した
もので、補正信号発生部２０及び補正部３０とともに手
振れ補正装置を構成している。この図１において、信号
入力端子１には、上記ビデオカメラの図示しない撮像部
による撮像出力として得られるビデオ信号をディジタル
化した入力ビデオデータが供給される。

【００１３】この手振れ検出装置１０は、入力ビデオデ
ータが上記信号入力端子１を介して供給されるフィール
ド差分検出部１１と、このフィールド差分検出部１１の
出力が供給される相関積算値表形成部１２と、この相関
積算値表形成部１２の出力が供給されるマクロベクトル
検出部１５と、このマクロベクトル検出部１５の出力が
供給される有効ベクトル判定部１６と、この有効ベクト
ル判定部１６の出力が供給される動きベクトル決定部１
７とを備えてなる。

【００１４】上記フィールド差分検出部１１は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１Ａと減算回路１１Ｂからなる。

【００１５】上記代表点メモリ１１Ａは、入力ビデオデ
ータで構成される１フィールドの画像を複数に分割した
各ブロック毎の代表点画素の画像データＩ_k （０，０）
を記憶する。具体的には、例えば図２に示すように、１
フィールドの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素Ｓ（０，
０）を代表点とし、各代表点画素の画像データＩ
_k （０，０）を上記代表点メモリ１１Ａに１フィールド
期間記憶する。なお、上記代表点は、画面上で均一にば
らまかれている。そして、この代表点メモリ１１Ａから
読み出される１フィールド前の各代表点画素の画像デー
タＩ_k-1 （０，０）が上記減算回路１１Ｂに供給され
る。

【００１６】また、上記減算回路１１Ｂは、上記信号入
力端子１を介して供給される入力ビデオデータすなわち
現フィールドの画像データについて、ブロック毎のｍ×
ｎ個の各画素の画像データＩ_k （ｘ，ｙ）と上記代表点
メモリ１１Ａから読み出される前フィールドの対応する
ブロックの代表点画素の画像データＩ_k-1 （０，０）と
の差分すなわちフィールド間差の絶対値｜Ｉ_k-1 （０，
０）−Ｉ_k （ｘ，ｙ）｜を検出する。

【００１７】そして、上記フィールド差分検出部１１
は、上記減算回路１１Ｂにより得られるフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を上記相
関積算値表形成部１２に供給する。

【００１８】上記相関積算値表形成部１２は、上記フィ
ールド差分検出部１１により得られたフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給され
るマクロブロック化回路１３と、このマクロブロック化
回路１３によりマクロブロック化されたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給さ
れる第１乃至第１３の絶対値積分回路１４Ａ〜１４Ｍか
らなる。

【００１９】上記マクロブロック化回路１３は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜につい
て、互いに隣接しないマクロブロックが生じる形態で、
１画面を複数のマクロブロックに分割するもので、例え
ば図４に示すように、１画面を４×３の１２個のマクロ
ブロックＢ１〜Ｂ１２に分割する。

【００２０】そして、このマクロブロック化回路１３に
よりマクロブロック化されたフィールド差分絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜は、各マクロブロッ
クＢ１〜Ｂ１２に対応する上記第１乃至第１２の絶対値
積分回路１４Ａ〜１４Ｌにマクロブロック毎に供給され
るとともに、上記第１３の絶対値積分回路１４Ｍに全マ
クロブロックが供給される。

【００２１】上記第１の絶対値積分回路１４Ａは、第１
のマクロブロックＢ１のフィールド差分絶対値｜Ｉ_k-1
（０，０）−Ｉ_k （ｘ，ｙ）｜について、上記ｍ×ｎ個
の画素で構成されるブロックの各フィールド差分絶対値
を対応する画素毎に積算し、上記第１のマクロブロック
Ｂ１の相関積算値表を形成する。以下同様に、上記第２
乃至第１２の絶対値積分回路１４Ｂ〜１４Ｌは、それぞ
れ対応する第２乃至第１２のマクロブロックＢ２〜Ｂ１
２の相関積算値表を形成する。また、上記第１３の絶対
値積分回路１４Ｍは、上記第１乃至第１２のマクロブロ
ックＢ１〜Ｂ１２からなる１画面全体の相関積算値表を
形成する。

【００２２】そして、上記相関積算値表形成部１２は、
上記第１乃至第１２の絶対値積分回路１４Ａ〜１４Ｌに
より形成された各マクロブロックＢ１〜Ｂ１２の相関積
算値表の相関積算値と上記第１３の絶対値積分回路１４
Ｍにより形成された１画面全体の相関積算値表の相関積
算値を上記マクロベクトル検出部１５に供給する。

【００２３】上記マクロベクトル検出部１５は、上記第
１乃至第１２の絶対値積分回路１４Ａ〜１４Ｌにより形
成された各マクロブロックＢ１〜Ｂ１２の相関積算値表
の相関積算値が供給される第１乃至第１２のマクロベク
トル検出回路１５Ａ〜１５Ｌと、上記第１３の絶対値積
分回路１４Ｍにより形成された１画面全体の相関積算値
表の相関積算値が供給されるベクトル検出回路１５Ｍと
からなる。

【００２４】上記第１乃至第１２のマクロベクトル検出
回路１５Ａ〜１５Ｌは、各マクロブロックＢ１〜Ｂ１２
毎の画像の動きベクトル（マクロベクトル）として、各
マクロブロックＢ１〜Ｂ１２の相関積算値表の相関積算
値の極小値の座標を検出する。また、上記ベクトル検出
回路１５Ｍは、１画面全体の動きベクトルとして、上記
相関積算値表の相関積算値の極小値の座標を検出する。

【００２５】なお、上記相関積算値表形成部１２により
形成された各相関積算値表の相関積算値は、各ブロック
の代表点画素の画像データＩ_k-1 （０，０）と他の画素
の画像データＩ_k （ｘ，ｙ）とのフィールド間相関を示
すもので、相関の強い画素に対応する座標ほど小さな値
となり、動きベクトルに対応する座標の相関積算値が最
小値となるので、上記マクロベクトル検出部１５は、相
関積算値表の最小値の座標を検出することにより動きベ
クトルを検出することができる。

【００２６】ここで、相関積算値表の最小値は極小値の
１つであって、上述のように画像中の動き物体の占める
割合が大きいときには、例えば図５に示すように、マク
ロブロックＢ１において、上記動き物体による動きベク
トルが上記相関積算値表の最小値座標（３，１）として
検出され、背景ベクトルすなわち手振れベクトルが上記
マクロブロック単位の動きベクトルを示す座標として検
出される割合が低下するが、上記手振れベクトルは上記
相関積算値表の極小値の座標（−１，０）として検出さ
れることになる。

【００２７】そして、上記マクロベクトル検出部１５
は、上記第１乃至第１２のマクロベクトル検出回路１５
Ａ〜１５Ｌにより検出された各マクロベクトルと上記ベ
クトル検出回路１５Ｍにより検出された１画面全体の動
きベクトルを上記有効ベクトル判定部１６に供給する。

【００２８】上記有効ベクトル判定部１６は、上記マク
ロベクトル検出部１５により検出されたマクロブロック
毎のマクロベクトルと１画面全体の動きベクトルについ
て、例えば積算値が最小の極小値すなわち最小値と積算
値との差や極小値と周囲の積算値との差（凹みの度合）
などをしきい値として、有効判定を行う。

【００２９】そして、上記ベクトル決定部１７は、上記
有効ベクトル判定部１６の出力に基づいて、空間的に分
離された位置にある少なくとも二つのマクロブロックに
おいて、同一の動きベクトルを有するものがあるか否か
を検出し、同一のものがある時に、その動きベクトルを
画面全体の動きベクトルすなわち手振れベクトルとす
る。例えば上記図５に示した状態では、空間的に分離さ
れた位置にある２つマクロブロックＢ１，４に同一の動
きベクトル（−１，０）があるので、この動きベクトル
（−１，０）を手振れベクトルとする。

【００３０】すなわち、この実施例の手振れ検出装置１
０では、上記フィールド差分検出部１１，相関積算値表
形成部１２及びマクロベクトル検出部１５により、互い
に隣接しないマクロブロックが生じるような形態で、１
画面を複数に分割したマクロブロック毎に動きベクトル
を検出する。そして、上記有効ベクトル判定部１６及び
ベクトル決定部１７により、マクロブロック毎の積算値
表の極小値座標を手振れベクトル候補として、空間的に
分離された位置にある少なくとも二つのマクロブロック
において、同一の動きベクトルを有するものがあるか否
かを検出し、同一のものがある時に、その動きベクトル
を画面全体の動きベクトルすなわち手振れベクトルとし
て出力する。

【００３１】このように、各マクロブロックの積算値の
最小値ベクトルだけでなく、極小値ベクトルも手振れベ
クトルの候補とすることにより、動き物体が画面中に占
める割合が非常に大きいときでも、正しい手振れベクト
ルを検出できる確立が高まり、動き物体の影響を軽減し
て、誤差の少ない手振れベクトルを得ることができる。

【００３２】また、上記補正信号発生部２０は、上記手
振れ検出装置１０により検出された手振れベクトル
Ｖ_t ’を入力として、 Ｘ_t ＝Ｘ_t-1 −Ｖ_t ’ なる補正量Ｘ_t の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部３０に供給する。

【００３３】そして、上記補正部３０は、例えば図６に
示すように、上記補正信号発生部２０から手振れ補正信
号が供給されるアドレス制御回路３１及びセレクト信号
発生回路３２と、上記アドレス制御回路３１から供給さ
れるアドレス信号に従ってビデオデータの書き込み／読
み出しが行われるフィールドメモリ３３及び周辺メモリ
３４と、上記フィールドメモリ３３及び周辺メモリ３４
から読み出されるビデオデータを上記セレクト信号発生
回路３２から供給されるセレクト信号に応じて選択的に
出力するセレクタ３５とを備えてなる。

【００３４】上記フィールドメモリ３３には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ３３の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ３３からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ３３から
読み出されるビデオデータと上記周辺メモリ３４から読
み出される周辺ビデオデータとが上記セレクタ３５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００３５】なお、上記周辺メモリ３４には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００３６】

【発明の効果】以上の説明からも明らかなように、本発
明に係る画像の手振れ検出装置では、第１の検出手段に
より、互いに隣接しないマクロブロックが生じるような
形態で、１画面を複数のマクロブロックに分割し、上記
マクロブロック毎に動きベクトルを検出し、第２の検出
手段により、マクロブロック毎の積算値表の極小値座標
を手振れベクトル候補として、上記第１の検出手段の出
力の内で空間的に分離された位置にある少なくとも二つ
の上記マクロブロックにおいて、同一の動きベクトルを
有するものがあるか否かを検出し、同一のものがある時
に、その動きベクトルを画面全体の動きベクトルすなわ
ち手振れベクトルとするので、動き物体が画面中に占め
る割合が非常に大きいときでも、正しい手振れベクトル
を検出できる確立が高まり、動き物体の影響を軽減し
て、誤差の少ない手振れベクトルを得ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ検出装置を設けた手
振れ補正装置の構成を示すブロック図である。

【図２】上記手振れ検出装置における画面のブロック分
割の状態を示す図である。

【図３】ブロック分割された画面の１ブロックの構造を
示す図である。

【図４】１画面を１２分割したマクロブロックの状態を
示す図である。

【図５】各マクロブロックの動きベクトルの状態を示す
図である。

【図６】上記手振れ補正装置の補正部の構成を示すブロ
ック図である。

【図７】マクロベクトルの多数決により手振れベクトル
を決定する手法の説明に供する図である。

【図８】空間的に分離された位置のマクロベクトルによ
り手振れベクトルを決定する手法の説明に供する図であ
る。

【図９】空間的に分離された位置のマクロベクトルによ
り手振れベクトルを決定する手法の破綻例の説明に供す
る図である。

【符号の説明】

１０・・・・・手振れクトル検出装置 １１・・・・・フィールド差分検出部 １２・・・・・相関積算値表作成部 １５・・・・・マクロベクトル検出部 １６・・・・・有効ベクトル判定部 １７・・・・・ベクトル決定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 互いに隣接しないマクロブロックが生じ
   るような形態で、１画面を複数のマクロブロックに分割
   し、上記マクロブロック毎に動きベクトルを検出する第
   １の検出手段と、上記第１の検出手段の出力の内で空間
   的に分離された位置にある少なくとも二つの上記マクロ
   ブロックにおいて、同一の動きベクトルを有するものが
   あるか否かを検出し、同一のものがある時に、その動き
   ベクトルを画面全体の動きベクトルとして出力する第２
   の検出手段とを備え、 上記第２の検出手段は、マクロブロック毎の積算値表の
   極小値座標を手振れベクトル候補として、検出した画面
   全体の動きベクトルを手振れベクトルとして出力するこ
   とを特徴とする画像の手振れ検出装置。