JP3223582B2 - 画像の手振れ検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の手振れ検出装置
に関し、例えばハンディタイプのビデオカメラの撮像出
力などのビデオデータに含まれる所謂手振れによる画像
の移動量を検出して補正する画像の手振れ補正装置など
に適用される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開昭６３−１６６３７０号公報に開示されているよ
うに、画像の動きベクトルを検出し、この動きベクトル
に基づいて、画像メモリに貯えられているビデオデータ
を補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】一般に、上述の如きブロックマッチング法
では、カメラの手振れによる画像の動きベクトルと被写
体の動きによる動きベクトルとが同時に発生するので、
これらの判別が難しい。従来、手振れによる画像の動き
ベクトルの検出精度を高める手法として、１画面を複数
の領域（マクロブロック）に分割し、上記マクロブロッ
ク毎の動きベクトル（マクロベクトル）を求め、それら
から画面全体の動きベクトルを決定する手法が知られて
いる。例えば図９に示すように、１画面の４×３の１２
マクロブロックに分割して求めたマクロベクトルについ
ての多数決により（２，０）を画面全体の動きベクトル
とすることにより、動き物体ＭＶによる動きベクトルの
影響を除去するようにしていた。

【０００５】

【発明が解決しようとする課題】ところで、マクロブロ
ック単位の相関積算値表の最小値を求めることにより動
きベクトルを検出し、上記マクロブロック毎の動きベク
トルから画面全体の動きベクトルを検出する手法では、
動き物体があると、手振れベクトルの情報を含む背景画
像が上記動き物体によりマスクされてしまうので、画像
中の動き物体の占める割合が大きい程、手振れベクトル
が上記マクロブロック単位の動きベクトルとして検出さ
れる割合が低下し、正しい手振れベクトルの検出が困難
になるとういう問題点がある。

【０００６】そこで、本件出願人は、互いに隣接しない
マクロブロックが生じるような形態で１画面を複数のマ
クロブロックに分割して、マクロブロック単位の相関積
算値表の最小値を求めることにより動きベクトルを検出
し、図１０に示すように、空間的に分離された位置にあ
る少なくとも二つのマクロブロックにおいて検出される
同一の動きベクトルを手振れベクトルする手法を例えば
特願平３−１００３８４号などにおいて先に提案してい
る。上記図１０には、各マクロブロックの動きベクトル
と（マクロベクトル）その発生パターンの１例を示して
ある。

【０００７】しかし、この手法は、動き物体が大きい場
合に極めて有効であるが、絵柄によっては、図１１に各
マクロベクトルとその発生パターンを示すように、空間
的に分離された位置にあるマクロブロックの中間にある
位置するマクロブロックにおいても背景ベクトル（手振
れベクトル）が検出されてしまい、動き物体による動き
ベクトルと手振れベクトルとの判定ができなくなる場合
がある。また、動き物体による影響を少なくするため
に、図１２に示すようにマクロブロックを画面の隅に配
置したり、図１３に示すようにマクロブロックの数を増
やした場合に、同一の動きベクトルが独立したマクロブ
ッロックに発生し難くなる傾向がある。

【０００８】そこで、本発明は、このような実情に鑑み
てなされたものであり、ハンディタイプのビデオカメラ
などにおける高性能の手振れ補正を可能にすることを目
的とし、画像中に動き物体がある場合にも手振れベクト
ルを高精度に検出することのできる画像の手振れ検出装
置を提供するものである。

【０００９】

【課題を解決するための手段】本発明に係る画像の手振
れ検出装置は、上述の課題を解決するために、互いに隣
接しないマクロブロックが生じるような形態で、１画面
を複数のマクロブロックに分割し、上記マクロブロック
毎に動きベクトルを検出するマクロベクトル検出手段
と、凹状に配置された各マクロブロックにおいて略同一
の動きベクトルが上記マクロベクトル検出手段により検
出された場合に、当該動きベクトルを画面全体の手振れ
ベクトル候補として出力する手振れベクトル判定手段と
を備えることを特徴とするものである。

【００１０】

【作用】本発明に係る画像の手振れ検出装置では、互い
に隣接しないマクロブロックが生じるような形態で、１
画面を複数のマクロブロックに分割し、上記マクロブロ
ック毎に動きベクトルをマクロベクトル検出手段により
検出する。そして、手振れベクトル判定手段は、凹状に
配置された各マクロブロックにおいて略同一の動きベク
トルが上記マクロベクトル検出手段により検出された場
合に、当該動きベクトルを画面全体の手振れベクトル候
補として出力する。

【００１１】

【実施例】以下、本発明に係る画像の手振れ検出装置の
一実施例について図面に従い詳細に説明する。本発明に
係る画像の手振れ検出装置は、例えば図１のように構成
される。

【００１２】この図１に示した手振れ検出装置１０は、
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置に本発明を適用した
もので、補正信号発生部２０及び補正部３０とともに手
振れ補正装置を構成している。この図１において、信号
入力端子１には、上記ビデオカメラの図示しない撮像部
による撮像出力として得られるビデオ信号をディジタル
化した入力ビデオデータが供給される。

【００１３】この手振れ検出装置１０は、入力ビデオデ
ータが上記信号入力端子１を介して供給されるフィール
ド差分検出部１１と、このフィールド差分検出部１１の
出力が供給されるマクロベクトル検出部１２と、このマ
クロベクトル検出部１２の出力が供給される独立同一ベ
クトル判定部１５及び準独立同一ベクトル判定部１６と
を備えてなる。

【００１４】上記フィールド差分検出部１１は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１Ａと減算回路１１Ｂからなる。

【００１５】上記代表点メモリ１１Ａは、入力ビデオデ
ータで構成される１フィールドの画像を複数に分割した
各ブロック毎の代表点画素の画像データＩ_k （０，０）
を記憶する。具体的には、例えば図２に示すように、１
フィールドの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素Ｓ（０，
０）を代表点とし、各代表点画素の画像データＩ
_k （０，０）を上記代表点メモリ１１Ａに１フィールド
期間記憶する。なお、上記代表点は、画面上で均一にば
らまかれている。そして、この代表点メモリ１１Ａから
読み出される１フィールド前の各代表点画素の画像デー
タＩ_k-1 （０，０）が上記減算回路１１Ｂに供給され
る。

【００１６】また、上記減算回路１１Ｂは、上記信号入
力端子１を介して供給される入力ビデオデータすなわち
現フィールドの画像データについて、ブロック毎のｍ×
ｎ個の各画素の画像データＩ_k （ｘ，ｙ）と上記代表点
メモリ１１Ａから読み出される前フィールドの対応する
ブロックの代表点画素の画像データＩ_k-1 （０，０）と
の差分すなわちフィールド間差の絶対値｜Ｉ_k-1 （０，
０）−Ｉ_k （ｘ，ｙ）｜を検出する。

【００１７】そして、上記フィールド差分検出部１１
は、上記減算回路１１Ｂにより得られるフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を上記マ
クロベクトル検出部１２に供給する。

【００１８】上記マクロベクトル検出部１２は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給さ
れるマクロブロック化回路１３と、このマクロブロック
化回路１３によりマクロブロック化されたフィールド差
分絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給
される第１乃至第１２のマクロベクトル検出回路１４Ａ
〜１４Ｌ及びベクトル検出回路１４Ｍからなる。

【００１９】上記マクロブロック化回路１３は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜につい
て、互いに隣接しないマクロブロックが生じる形態で、
１画面を複数のマクロブロックに分割するもので、例え
ば図４に示すように、１画面を４×３の１２個のマクロ
ブロックＢ１〜Ｂ１２に分割する。

【００２０】そして、このマクロブロック化回路１３に
よりマクロブロック化されたフィールド差分絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜は、各マクロブロッ
クＢ１〜Ｂ１２に対応するマクロベクトル検出回路１４
Ａ〜１４Ｌにマクロブロック毎に供給されるとともに、
上記ベクトル検出回路１４Ｍに全マクロブロックが供給
される。

【００２１】上記第１のマクロベクトル検出回路１４Ａ
は、第１のマクロブロックＢ１のフィールド差分絶対値
｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜について、上記
ｍ×ｎ個の画素で構成されるブロックの各フィールド差
分絶対値を対応する画素毎に積算して、上記第１のマク
ロブロックＢ１の相関積算値表を形成し、その極小値座
標を動きベクトル候補として検出する。以下同様に、上
記第２乃至第１２の絶対値積分回路１４Ｂ〜１４Ｌは、
それぞれ対応する第２乃至第１２のマクロブロックＢ２
〜Ｂ１２の相関積算値表を形成し、各極小値座標を動き
ベクトル候補として検出する。また、上記第１３の絶対
値積分回路１４Ｍは、上記第１乃至第１２のマクロブロ
ックＢ１〜Ｂ１２からなる１画面全体の相関積算値表を
形成し、その極小値座標を動きベクトル候補として検出
する。

【００２２】ここで、上記マクロベクトル検出部１２に
より形成された各相関積算値表の相関積算値は、各ブロ
ックの代表点画素の画像データＩ_k-1 （０，０）と他の
画素の画像データＩ_k （ｘ，ｙ）とのフィールド間相関
を示すもので、相関の強い画素に対応する座標ほど小さ
な値となり、動きベクトルに対応する座標の相関積算値
が最小値となるので、相関積算値表の最小値の座標を検
出することにより動きベクトルを検出することができ
る。なお、上記相関積算値表の最小値は極小値の１つで
あって、画像中の動き物体の占める割合が大きいときに
は、例えば図５に示すように、マクロブロックＢ１にお
いて、上記動き物体による動きベクトルが上記相関積算
値表の最小値座標（３，１）として検出され、背景ベク
トルすなわち手振れベクトルが上記マクロブロック単位
の動きベクトルを示す座標として検出される割合が低下
するが、上記手振れベクトルは上記相関積算値表の極小
値の座標（−１，０）として検出されることになる。

【００２３】すなわち、この実施例において、上記フィ
ールド差分検出部１１及びマクロベクトル検出部１２
は、互いに隣接しないマクロブロックが生じるような形
態で、１画面を複数のマクロブロックに分割し、上記マ
クロブロック毎に動きベクトルを検出するもので、本発
明に係る画像動き検出装置におけるマクロベクトル検出
手段として機能している。

【００２４】そして、上記マクロベクトル検出部１２
は、上記第１乃至第１２のマクロベクトル検出回路１４
Ａ〜１４Ｌにより検出した各マクロブロックＢ１〜Ｂ１
２の動きベクトルすなわち各マクロベクトルと上記ベク
トル検出回路１４Ｍにより検出した１画面全体の動きベ
クトルを上記独立同一ベクトル判定部１５及び準独立同
一ベクトル判定部１６に供給する。

【００２５】上記独立同一ベクトル判定部１５は、上記
マクロベクトル検出部１２から供給される各マクロベク
トル及び画面全体の動きベクトルについて、同一の動き
ベクトルの発生パターンを判定し、空間的に分離された
位置にある少なくとも二つのマクロブロックにおいて同
一の動きベクトルが検出された場合に、その動きベクト
ルを画面全体の手振れベクトル候補として出力する。例
えば上記図５に示した状態では、空間的に分離された位
置にある２つマクロブロックＢ１，４に同一の動きベク
トル（−１，０）があるので、この動きベクトル（−
１，０）を手振れベクトルとする。このように、上記独
立同一ベクトル判定部１５は、各マクロブロックの積算
値の最小値ベクトルだけでなく、極小値ベクトルも手振
れベクトルの候補とすることにより、動き物体が画面中
に占める割合が非常に大きいときでも、正しい手振れベ
クトルを検出できる確率が高まり、動き物体の影響を軽
減して、誤差の少ない手振れベクトルを得ることができ
る。この独立同一ベクトル判定部１５の機能は、例えば
特願平３−１００３８４号などにおいて先に提案してい
るものである。

【００２６】また、上記準独立同一ベクトル判定部１６
は、本願発明における手振れベクトル判定手段の機能を
果たすもので、上記マクロベクトル検出部１２から供給
される各マクロベクトル及び画面全体の動きベクトルに
ついて、同一の動きベクトルの発生パターンを判定し、
図６に同一マクロベクトルの発生パターンの一例を示す
ように、凹状に配置された各マクロブロックにおいて略
同一の動きベクトルが検出された場合に、当該動きベク
トルを画面全体の手振れベクトル候補として出力する。

【００２７】ここで、画面中の存在する自動車や人物な
どの動き物体は、凸状に現れる場合が多いので、このよ
うに凹状に配置された各マクロブロックにおいて略同一
の動きベクトルが検出された場合に、当該動きベクトル
を画面全体の手振れベクトル候補とすることによって、
上記準独立同一ベクトル判定部１６において手振れベク
トルを確実に検出することができる。

【００２８】なお、この実施例の手振れ検出装置１０で
は、上述のように各マクロブロックの積算値の最小値ベ
クトルだけでなく、極小値ベクトルも手振れベクトルの
候補とするとことにより、同一の動きベクトルが独立し
たマクロブッロックに発生し難くなる傾向となる。しか
し、上記独立同一ベクトル判定部１５により手振れベク
トルを検出できない例えば図７に示すような凹状の発生
パターンのマクロベクトルが発生した場合に、この凹状
の発生パターンのマクロベクトルから上記準独立同一ベ
クトル判定部１６により手振れベクトルを検出すること
ができる。

【００２９】このように、この実施例の手振れ検出装置
１０では、上記フィールド差分検出部１１及びマクロベ
クトル検出部１２により、互いに隣接しないマクロブロ
ックが生じるような形態で、１画面を複数のマクロブロ
ックに分割し、上記マクロブロック毎に動きベクトルを
検出し、凹状に配置された各マクロブロックにおいて略
同一の動きベクトルが検出された場合に、当該動きベク
トルを上記準独立同一ベクトル判定部１６から画面全体
の手振れベクトル候補として出力するので、自動車や人
物などの動き物体が画面中に存在する場合にも、正しい
手振れベクトルを検出できる確率が高まり、動き物体の
影響を軽減して、誤差の少ない手振れベクトルを得るこ
とができる。

【００３０】そして、この手振れ検出装置１０は、上記
独立同一ベクトル判定部１５又は上記準独立同一ベクト
ル判定部１６により検出した手振れベクトルを上記補正
信号発生部２０に供給する。

【００３１】また、上記補正信号発生部２０は、上記手
振れ検出装置１０により検出された手振れベクトル
Ｖ_t ’を入力として、 Ｘ_t ＝Ｘ_t-1 −Ｖ_t ’ なる補正量Ｘ_t の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部３０に供給する。

【００３２】そして、上記補正部３０は、例えば図８に
示すように、上記補正信号発生部２０から手振れ補正信
号が供給されるアドレス制御回路３１及びセレクト信号
発生回路３２と、上記アドレス制御回路３１から供給さ
れるアドレス信号に従ってビデオデータの書き込み／読
み出しが行われるフィールドメモリ３３及び周辺メモリ
３４と、上記フィールドメモリ３３及び周辺メモリ３４
から読み出されるビデオデータを上記セレクト信号発生
回路３２から供給されるセレクト信号に応じて選択的に
出力するセレクタ３５とを備えてなる。

【００３３】上記フィールドメモリ３３には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ３３の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ３３からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ３３から
読み出されるビデオデータと上記周辺メモリ３４から読
み出される周辺ビデオデータとが上記セレクタ３５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００３４】なお、上記周辺メモリ３４には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００３５】

【発明の効果】以上の説明からも明らかなように、本発
明に係る画像の手振れ検出装置では、マクロベクトル検
出手段により、互いに隣接しないマクロブロックが生じ
るような形態で１画面を複数のマクロブロックに分割
し、上記マクロブロック毎に動きベクトルを検出し、手
振れベクトル判定手段により、凹状に配置された各マク
ロブロックにおいて略同一の動きベクトルが上記マクロ
ベクトル検出手段により検出された場合に、当該動きベ
クトルを画面全体の手振れベクトル候補として出力する
ので、正しい手振れベクトルを検出できる確率が高ま
り、動き物体の影響を軽減して、誤差の少ない手振れベ
クトルを得ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ検出装置を設けた手
振れ補正装置の構成を示すブロック図である。

【図２】上記手振れ検出装置における画面のブロック分
割の状態を示す図である。

【図３】ブロック分割された画面の１ブロックの構造を
示す図である。

【図４】１画面を１２分割したマクロブロックの状態を
示す図である。

【図５】各マクロブロックの動きベクトルの状態を示す
図である。

【図６】準独立同一ベクトル判定部により手振れベクト
ルとして検出するマクロベクトルの発生パターンの一例
を示す図である。

【図７】独立同一ベクトル判定部により手振れベクトル
として検出することのできないマクロベクトルの発生パ
ターンの一例を示す図である。

【図８】上記手振れ補正装置の補正部の構成を示すブロ
ック図である。

【図９】マクロベクトルの多数決により手振れベクトル
を決定する手法の説明に供する図である。

【図１０】空間的に分離された位置のマクロベクトルに
より手振れベクトルを決定する手法の説明に供する図で
ある。

【図１１】空間的に分離された位置のマクロベクトルに
より手振れベクトルを決定する手法の破綻例の説明に供
する図である。

【図１２】空間的に分離された位置のマクロベクトルに
より手振れベクトルを決定する手法の他の破綻例の説明
に供する図である。

【図１３】空間的に分離された位置のマクロベクトルに
より手振れベクトルを決定する手法の他の破綻例の説明
に供する図である。

【符号の説明】

１０・・・・・手振れ検出装置 １１・・・・・フィールド差分検出部 １２・・・・・マクロベクトル検出部 １６・・・・・準独立ベクトル判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平２−23789（ＪＰ，Ａ) 特開 平２−23788（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 G03B 5/00 G06T 7/20 100

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 互いに隣接しないマクロブロックが生じ
   るような形態で、１画面を複数のマクロブロックに分割
   し、上記マクロブロック毎に動きベクトルを検出するマ
   クロベクトル検出手段と、 凹状に配置された各マクロブロックにおいて略同一の動
   きベクトルが上記マクロベクトル検出手段により検出さ
   れた場合に、当該動きベクトルを画面全体の手振れベク
   トル候補として出力する手振れベクトル判定手段とを備
   えることを特徴とする画像の手振れ検出装置。