JPH05110934A - 画像の動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 高精度で画像の動きベクトルを検出すること
のできる画像の動きベクトル検出装置を提供する。 【構成】 第１の代表点メモリＦＭ₁ ，第１の減算回路
ＳＵＢ₁及び第１の動きベクトル検出回路ＤＥＴ₁ によ
り１フィールド間の画像の動きベクトルを検出し、また
第２の代表点メモリＦＭ₂ ，第２の減算回路ＳＵＢ₂ 及
び第２の動きベクトル検出回路ＤＥＴ₂により２フィー
ルド間の画像の動きベクトルを検出する。そして、上記
各動きベクトルに基づいて画像の動きの加速度を検出す
る加速度検出回路ＡＣＤによる検出出力ｋに応じた比率
ｋ：ｋ−１で上記各動きベクトルを加算合成した動きベ
クトルを動きベクトル合成回路ＳＹＮから出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の動きベクトル検
出装置に関し、ハンディタイプのビデオカメラの撮像出
力等をビデオデータに含まれる所謂手振れによる画像の
移動量を検出して補正する画像動き補正装置などに適用
される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体のフィール
ド間の動きベクトルを決定するようにした従来のブロッ
クマッチング法による画像の動きベクトル検出装置で
は、検出時間間隔が１フィールド期間で短いために高い
検出精度が得られず、しかも、上記相関積分値が各画素
に対応して離散的に算出されており、上記相関積算値表
における整数座標値でしか画像の動きベクトルが求まら
ないので、さらに検出精度が下がってしまう。また、イ
ンターレス走査を採用しているＮＴＳＣ方式などの標準
テレビジョン方式に準拠するビデオ信号を出力するビデ
オカメラでは、空間上に対応画素が存在しないので、高
い検出精度が得られない。

【０００６】従って、従来の画像の動きベクトル検出装
置により検出した画像の動きベクトルにより例えば手振
れ補正信号を形成して、手振れ補正を行った場合に、十
分な補正精度が得られず、不自然が画像となってしま
う。

【０００７】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の動きベクトル検出装置を提供するものである。

【０００８】

【課題を解決するための手段】発明に係る画像の動きベ
クトル検出装置は、上述の課題を解決するために、入力
ビデオ信号で構成される１フィールドの画像を複数に分
割した各ブロック毎の代表点画素の画像データを１フィ
ールド分記憶する第１の代表点メモリと、上記第１の代
表点メモリから読み出される１フィールド前の各ブロッ
ク毎の代表点画素の画像データを１フィールド分記憶す
る第２の代表点メモリと、現フレームのブロックの各画
素の画像データと上記第１の代表点メモリから読み出さ
れる１フィールド前のブロックの代表点画素の画像デー
タとの差分を検出する第１の差分検出手段と、現フレー
ムのブロックの各画素の画像データと上記第２の代表点
メモリから読み出される２フィールド前のブロックの代
表点画素の画像データとの差分を検出する第２の差分検
出手段と、上記第１の差分検出手段によりに検出された
１フィールド間の各差分値に基づいて動きベクトルを検
出する第１の動きベクトル検出手段と、上記第２の差分
検出手段によりに検出された２フィールド間の各差分値
に基づいて動きベクトルを検出する第２の動きベクトル
検出手段と、上記第１及び第２の動きベクトル検出手段
により得られる各動きベクトルに基づいて、画像の動き
の加速度を検出する加速度検出手段と、上記動きベクト
ル検出手段により得られる各動きベクトルを上記加速度
検出手段による検出出力ｋ（０≦ｋ≦１）に応じた比率
ｋ：１−ｋで、上記第１及び第２の動きベクトル検出手
段により得られる各動きベクトルを加算合成する動きベ
クトル合成手段とを備えてなることを特徴とするもので
ある。

【０００９】

【作用】発明に係る画像の動きベクトル検出装置では、
第１の代表点メモリ，第１の差分検出手段及び第１の動
きベクトル検出手段により１フィールド間の画像の動き
ベクトルを検出し、また、第２の代表点メモリ，第２の
差分検出手段及び第２の動きベクトル検出手段により２
フィールド間の画像の動きベクトルを検出する。

【００１０】そして、上記第１及び第２の動きベクトル
検出手段により得られる各動きベクトルに基づいて加速
度検出手段により画像の動きの加速度を検出し、その検
出出力ｋ（０≦ｋ≦１）に応じた比率ｋ：１−ｋで上記
各動きベクトルを加算合成した動きベクトルを動きベク
トル合成手段から出力する。

【００１１】

【実施例】以下、本発明に係る画像の動きベクトル検出
装置の一実施例について図面に従い詳細に説明する。本
発明に係る画像の動きベクトル検出装置は、例えば図１
に示すように構成される。

【００１２】この図１に示した画像の動きベクトル検出
装置１０は、ハンディタイプのビデオカメラにおける手
振れによる画像の動きを補正する手振れ補正装置に本発
明を適用したもので、補正量発生部２０及び補正部３０
とともに手振れ補正装置を構成している。図１におい
て、信号入力端子１には、上記ビデオカメラの図示しな
い撮像部による撮像出力として得られるビデオ信号をデ
ィジタル化した入力ビデオデータが供給される。

【００１３】上記動きベクトル検出装置１０は、縦続接
続された２個の代表点メモリＦＭ₁ ，ＦＭ₂ と、これら
の代表点メモリＦＭ₁，ＦＭ₂ から読み出される各フィ
ールドの代表点画素の画像データが供給される２個の減
算回路ＳＵＢ₁ ，ＳＵＢ₂ と、これらの減算回路ＳＵＢ
₁ ，ＳＵＢ₂ による各減算出力データが供給される２個
の動きベクトル検出回路ＤＥＴ₁ ，ＤＥＴ₂と、これら
の動きベクトル検出回路ＤＥＴ₁ ，ＤＥＴ₂ により検出
された各動きベクトルが供給される加速度検出回路ＡＣ
Ｄ及び動きベクトル合成回路ＳＹＮを備え、入力ビデオ
データが上記信号入力端子１を介して第１の代表点メモ
リＦＭ₁ と第１及び第２の減算回路ＳＵＢ₁，ＳＵＢ₂
に供給されるようになっている。

【００１４】上記第１の代表点メモリＦＭ₁ は、上記入
力ビデオデータで構成される１フィールドの画像を複数
に分割した各ブロック毎の代表点画素の画像データを記
憶する。具体的には、例えば図２に示すように、１フィ
ールドの画面をｍ画素×ｎラインのブロックに分割し、
図３に示すように各ブロックの中心の画素を代表点と
し、各代表点画素の画像データを上記代表点メモリＦＭ
₁ に１フィールド期間記憶する。なお、上記代表点は、
画面上で均一のばらまかれている。そして、この第１の
代表点メモリＦＭ₁ から１フィールド前の各代表点画素
の画像データが読み出されて、上記減算回路ＳＵＢ₁ に
供給されるとともに第２の代表点メモリＦＭ₂ に供給さ
れる。

【００１５】また、上記２の代表点メモリＦＭ₂ は、上
記第１の代表点メモリＦＭ₁ から読み出される１フィー
ルド前の各代表点画素の画像データを１フィールド期間
記憶する。そして、この２の代表点メモリＦＭ₂ から２
フィールド前の各代表点画素の画像データが読み出され
て、上記第２の減算回路ＳＵＢ₂ に供給される。

【００１６】上記第１の減算回路ＳＵＢ₁ は、上記信号
入力端子１を介して供給される入力ビデオデータすなわ
ち現フィールドの画像データについて、ブロック毎のｍ
×ｎ個の各画素の画像データと上記第１の代表点メモリ
ＦＭ₁ から読み出される１フィールド前の対応するブロ
ックの代表点画素の画像データとの差分すなわち１フィ
ールド間の各差分を検出する。そして、この第１の減算
回路ＳＵＢ₁ による減算出力データとして得られる１フ
ィールド間の各差分値データが上記第１の動きベクトル
検出回路ＤＥＴ₁ に供給される。

【００１７】また、上記第２の減算回路ＳＵＢ₂ は、上
記信号入力端子１を介して供給される入力ビデオデータ
すなわち現フィールドの画像データについて、ブロック
毎のｍ×ｎ個の各画素の画像データと上記第２の代表点
メモリＦＭ₂ から読み出される２フィールド前の対応す
るブロックの代表点画素の画像データとの差分すなわち
２フィールド間の各差分を検出する。そして、この第２
の減算回路ＳＵＢ₂ による減算出力データとして得られ
る２フィールド間の差分値データが上記第２の動きベク
トル検出回路ＤＥＴ₂に供給される。

【００１８】上記第１の動きベクトル検出回路ＤＥＴ₁
は、上記第１の減算回路ＳＵＢ₁ により得られた各ブロ
ックの１フィールド間の差分値を対応する画素毎に１フ
ィールド期間に亘って積算して、１ブロック分の画素配
列に対応するｍ×ｎの整数座標を有する相関積算値表を
形成し、その相関積算値の最小値の座標Ｐ（ｘ，ｙ）を
動きベクトル座標として検出する。ここで、上記相関積
算値表は、１フィールド間の差分値の積算値の分布を示
し、上記代表点画素に対して１フィールド相関の最も強
い画素に対応する座標の相関積算値が最小値となる。従
って、上記代表点画素に対応する座標Ｐ（０，０）に対
する上記最小相関積算値の座標Ｐ（ｘ，ｙ）が動きベク
トルを表すことになる。そして、この第１の動きベクト
ル検出回路ＤＥＴ₁ は、上記最小相関積算値の座標Ｐ
（ｘ，ｙ）から動きベクトルを算出して出力する。この
第１の動きベクトル検出回路ＤＥＴ₁ により得られる１
フィールド間の画像の動きベクトルが上記加速度検出回
路ＡＣＤ及び動きベクトル合成回路ＳＹＮに供給され
る。

【００１９】また、上記第２の動きベクトル検出回路Ｄ
ＥＴ₂ は、上記第２の減算回路ＳＵＢ₂ により得られた
各ブロックの２フィールド間の差分値を対応する画素毎
に１フィールド期間に亘って積算して相関積算値表を形
成し、その相関積算値の最小値の座標Ｐ（ｘ，ｙ）を動
きベクトル座標として検出する。そして、この第２の動
きベクトル検出回路ＤＥＴ₂ は、上記最小相関積算値の
座標Ｐ（ｘ，ｙ）から１フィールド間の動きベクトルに
変換した動きベクトルを算出して出力する。すなわち、
上記最小相関積算値の座標Ｐ（ｘ，ｙ）を１フィールド
間の動きベクトル座標Ｐ（ｘ／２，ｙ／２）に換算し
て、動きベクトルを算出する。この第２の動きベクトル
検出回路ＤＥＴ₂により得られる２フィールド間の画像
の動きベクトルを１フィールド間の動きベクトルに換算
した動きベクトルが上記加速度検出回路ＡＣＤ及び動き
ベクトル合成回路ＳＹＮに供給される。

【００２０】上記第１及び第２の動きベクトル検出回路
ＤＥＴ₁ ，ＤＥＴ₂ では、画像の動きが線形であれば、
検出期間が長いもの程動きベクトルの検出精度が高くな
り、ＤＥＴ₁ ＜ＤＥＴ₂ なる検出精度の各動きベクトル
が得られる。

【００２１】上記加速度検出回路ＡＣＤは、上記第１及
び第２の動きベクトル検出回路ＤＥＴ₁ ，ＤＥＴ₂ によ
り得られる各動きベクトルに基づいて、画像の動きの加
速度を検出する。そして、この加速度検出回路ＡＣＤ
は、上記画像の動きの加速度に応じた検出出力ｋ（０≦
ｋ≦１）を出力する。この加速度検出回路ＡＣＤによる
検出出力ｋは、画像の動きが線形で一定に移動している
状態ではｋ＝１で、画像の動きが非線形で１フィールド
毎の動きベクトルの変動する状態ではその変動量すなわ
ち加速度に反比例してｋが小さくなり、変動が激しい状
態でｋ＝０となる。

【００２２】また、上記動きベクトル合成回路ＳＹＮ
は、上記第１の動きベクトル検出回路ＤＥＴ₁ により得
られる１フィールド間の画像の動きベクトルが供給され
る第１の乗算器ＭＵＬ₁ と、上記第２の動きベクトル検
出回路ＤＥＴ₂ により得られる２フィールド間の画像の
動きベクトルを１フィールド間の動きベクトルに換算し
た動きベクトルが供給される第２の乗算器ＭＵＬ₂ と、
上記各乗算器ＭＵＬ₁ ，ＭＵＬ₂による乗算出力データ
が供給される加算器ＡＤＤと、上記加速度検出回路ＡＣ
Ｄによる検出出力ｋから１−ｋなる係数を発生する係数
発生器ＣＯＧを備えてなる。

【００２３】上記第１の乗算器ＭＵＬ₁ は、上記加速度
検出回路ＡＣＤによる検出出力ｋが係数として供給され
ており、上記第１の動きベクトル検出回路ＤＥＴ₁ によ
り得られる１フィールド間の画像の動きベクトルに上記
係数ｋを乗算する。また、上記第２の乗算器ＭＵＬ
₂ は、上記係数発生器ＣＯＧから係数１−ｋが供給され
ており、上記第２の動きベクトル検出回路ＤＥＴ₂ によ
り得られる２フィールド間の画像の動きベクトルを１フ
ィールド間の動きベクトルに換算した動きベクトルに上
記係数１−ｋを乗算する。

【００２４】そして、上記加算器ＡＤＤは、上記第１の
乗算器ＭＵＬ₁ により係数ｋが乗算された動きベクトル
と上記第２の乗算器ＭＵＬ₂ により係数ｋ−１が乗算さ
れた動きベクトルとを加算合成した動きベクトルを出力
する。

【００２５】このような構成の動きベクトル検出装置１
０では、画像の動きが非線形で１フィールド毎の動きベ
クトルが激し変動する状態では上記検出出力ｋがｋ＝０
となって、１フィールド間の差分値に基づいて上記第１
の動きベクトル検出回路ＤＥＴ₁ により得られる１フィ
ールド間の画像の動きベクトルが上記動きベクトル合成
回路ＳＹＮから出力される。また、画像の動きが線形で
一定に移動している状態では上記検出出力ｋがｋ＝１と
なることにより、２フィールド間の差分値の基づいて上
記第２の動きベクトル検出回路ＤＥＴ₂ により得られる
２フィールド間の画像の動きベクトルを１フィールド間
の動きベクトルに換算した精度の高い動きベクトルが上
記動きベクトル合成回路ＳＹＮから出力される。そし
て、上記動きベクトル合成回路ＳＹＮは、上記第１の動
きベクトル検出回路ＤＥＴ₁ により得られる１フィール
ド間の画像の動きベクトルと、上記第２の動きベクトル
検出回路ＤＥＴ₂ により得られる２フィールド間の画像
の動きベクトルを１フィールド間の動きベクトルに換算
した動きベクトルとを、上記加速度検出回路ＡＣＤによ
る検出出力ｋ（０≦ｋ≦１）に応じた比率ｋ：１−ｋで
加算合成した動きベクトルを出力するので、上記第１及
び第２の動きベクトル検出回路ＤＥＴ₁ ，ＤＥＴ₂ によ
り得られる各動きベクトルを所謂クロスフェードにより
滑らかに切り換えることができる。

【００２６】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部２０に
供給される。

【００２７】上記補正量発生部２０は、上記動きベクト
ル検出装置１０が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部３０に供給する。

【００２８】また、上記補正部３０は、例えば図４に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路３２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフレームメモリ３３及び周辺メモリ３４
と、上記フレームメモリ３３及び周辺メモリ３４から読
み出されるビデオデータを上記セレクト信号発生回路３
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ３５とを備えてなる。

【００２９】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。

【００３０】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００３１】上述のように上記動きベクトル検出装置１
０により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。

【００３２】

【発明の効果】以上の説明からも明らかなように、発明
に係る画像の動きベクトル検出装置では、第１の代表点
メモリ，第１の差分検出手段及び第１の動きベクトル検
出手段により１フィールド間の画像の動きベクトルを検
出し、また、第２の代表点メモリ，第２の差分検出手段
及び第２の動きベクトル検出手段により２フィールド間
の画像の動きベクトルを検出しておき、上記第１及び第
２の動きベクトル検出手段により得られる各動きベクト
ルに基づいて加速度検出手段により画像の動きの加速度
を検出し、その検出出力ｋ（０≦ｋ≦１）に応じた比率
ｋ：１−ｋで上記各動きベクトルを加算合成した動きベ
クトルを動きベクトル合成手段から出力するので、上記
第１及び第２の動きベクトル検出手段により得られる各
動きベクトルをクロスフェードにより滑らかに切り換え
て、画像の線形な動きに対して高い精度の動きベクトル
を得ることができる。

【００３３】従って、本発明によれば、高精度で画像の
動きベクトルを検出することのできる画像の動きベクト
ル検出装置を提供することができ、ハンディタイプのビ
デオカメラなどにおける高性能の手振れ補正を可能にす
ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の動きベクトル検出装置を設
けた手振れ補正装置の構成を示すブロック図である。

【図２】上記動きベクトル検出装置における画面のブロ
ック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。

【符号の説明】

１０・・・・・・・・・・動きベクトル検出装置 ＦＭ₁ ，ＦＭ₂ ・・・・・代表点メモリ ＳＵＢ₁ ，ＳＵＢ₂ ・・・減算回路 ＤＥＴ₁ ，ＤＥＴ₂ ・・・動きベクトル検出回路 ＡＣＤ・・・・・・・・・加速度検出回路 ＳＹＮ・・・・・・・・・動きベクトル合成回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フィール
   ドの画像を複数に分割した各ブロック毎の代表点画素の
   画像データを１フィールド分記憶する第１の代表点メモ
   リと、 上記第１の代表点メモリから読み出される１フィールド
   前の各ブロック毎の代表点画素の画像データを１フィー
   ルド分記憶する第２の代表点メモリと、 現フレームのブロックの各画素の画像データと上記第１
   の代表点メモリから読み出される１フィールド前のブロ
   ックの代表点画素の画像データとの差分を検出する第１
   の差分検出手段と、 現フレームのブロックの各画素の画像データと上記第２
   の代表点メモリから読み出される２フィールド前のブロ
   ックの代表点画素の画像データとの差分を検出する第２
   の差分検出手段と、 上記第１の差分検出手段によりに検出された１フィール
   ド間の各差分値に基づいて動きベクトルを検出する第１
   の動きベクトル検出手段と、 上記第２の差分検出手段によりに検出された２フィール
   ド間の各差分値に基づいて動きベクトルを検出する第２
   の動きベクトル検出手段と、 上記第１及び第２の動きベクトル検出手段により得られ
   る各動きベクトルに基づいて、画像の動きの加速度を検
   出する加速度検出手段と、 上記動きベクトル検出手段により得られる各動きベクト
   ルを上記加速度検出手段による検出出力ｋ（０≦ｋ≦
   １）に応じた比率ｋ：１−ｋで、上記第１及び第２の動
   きベクトル検出手段により得られる各動きベクトルを加
   算合成する動きベクトル合成手段とを備えてなることを
   特徴とする画像の動きベクトル検出装置。