JP3001897B2 - 画像の動きベクトル検出方法および画像の動きベクトル検出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像信号の動きベクトル検出装置に関す
る。

従来の技術 従来の画像の動きベクトル検出装置としては、例えば
特開昭62−25590公報に示されている。

第４図はこの従来の画像の動きベクトル検出装置のブ
ロック図を示すものであり、１は画像信号入力端子であ
る。２は代表点メモリで、入力される画像信号のうち代
表点にあたる画素の信号を記憶する。３は差分・絶対値
変換器で、入力の差の絶対値を出力する。４は累計加算
器、５は最小点検出回路である。

上記構成の従来の画像の動きベクトル検出装置におい
ては、まず入力端子１に少なくとも２フィールド以上の
時間的に連続する画像信号が入力される。代表点メモリ
２では、まず予め画面の検出区域中に複数の代表点が決
められており、入力画像信号のうち代表点の位置にあた
る画素の信号を記憶する。次のフィールドの信号が入力
されるとき、差分・絶対値変換器３は前フィールドの代
表点の位置の信号と、現フィールドの代表点から（水平
方向i,垂直方向ｊ）偏移した位置の信号との差の絶対値
｜ΔL|（i,j）を求める。累積加算器４には、検出範囲
内の偏移（i,j）に対応するテーブルがあり、差分・絶
対値変換器３からの信号を偏移（i,j）別に累計加算
し、これを偏移（i,j）における相関値Σ｜ΔL|（i,j）
とする。最小点検出回路５では、その相関値の最小値を
与える偏移（ｉ′,j′）を検出し、これを動きベクトル
としする。

以上説明したものは代表点マッチング方式によるもの
であるが、この他に全点マッチング方式によるものもあ
る。これは前記代表点メモリで、代表点の位置の信号だ
けを記憶するかわりに、検出区域全ての画素の信号を記
憶し、それら全ての点について、前フィールドから現フ
ィールドを（i,j）偏移させたときの信号の差の絶対値
を累計加算し、この値の最小値を与える偏移（i,j）を
動きベクトルとするものである。

発明が解決しようとする課題 しかしながら、上記のような構成では、常に固定され
た範囲の偏移に対する相関値しか求めないため、この固
定された検出範囲を越える動きベクトルは検出できない
という課題を有していた。

したがってパンニングなどでビデオカメラを一方向に
大きく振った場合、また手揺れ等でビデオカメラを大き
く振った場合などでは動きベクトルは検出できないとい
う課題を有していた。

また、このような振幅の大きな動きベクトルまで検出
するためには、非常に大きな範囲で相関値を求めなけれ
ばならず、たとえば第５図に示すように振幅の大きな動
きベクトル６を検出するためには、検出範囲７は大きな
ものを必要としていた。したがって必要な処理時間また
は回路規模が多くなると言った課題を有していた。

この課題に対する改善策は、例えば、特開昭54−1249
27公報に示されている。そこでは、現フレームで動きベ
クトルを求める際に、比較する前フレームを記憶するた
めのフレームメモリを有し、そこから読みだすブロック
を、直前までに求めた動きベクトルを用いて、その逆向
き同じ距離だけシフトすることにより、動きベクトル検
出の効率化を図っている。

しかしながら、この方式では、前フレームを記憶する
ためのフレームメモリを必要とし、このフレームメモリ
は動きベクトル検出装置の回路規模のなかで、かなり大
きな部分を占めるため、小さい回路規模で実現するとい
う課題を解決するには十分でなかった。

本発明はかかる点に鑑み、従来のものより大きな範囲
の動きベクトルを検出することができ、また処理時間と
回路規模の大幅な削減が可能な画像の動きベクトル検出
装置を提供することを目的とする。

課題を解決するための手段 上記目的を達成するため、本第１の発明は、 時間的に連続する画像信号を入力とし、前記画像中の
固定された位置にある代表点における画像信号であって
前フィールドの画像信号を記憶する代表点メモリと、前
記代表点メモリから出力される画像信号と現フィールド
の画像信号との相関値を求める相関値算出手段と、前記
相関値算出手段の出力から最適点を検出し、動きベクト
ルとして算出する動きベクトル算出手段と、前記相関値
算出手段によって前フィールドと現フィールドとの相関
値を求める際に現フィールドの画像信号を前フィールド
における動きベクトルの分だけシフトして設定する検出
範囲制御手段とを備えたことを特徴とする画像の動きベ
クトル検出装置である。

また、本第２の発明は、時間的に連続する画像信号を
入力とし、前記画像中の所定の位置にある代表点におけ
る画像信号であって前フィールドの画像信号を記憶する
代表点メモリと、 前記代表点メモリから出力される画像信号と現フィー
ルドの画像信号との相関値を求める相関値算出手段と、 前記相関値算出手段の出力から最適点を検出し、動き
ベクトルとして算出する動きベクトル算出手段と、 ２フィールド前までに検出された動きベクトルより現
フィールドで得られる動きベクトルの範囲を予測し、予
め、前フィールドで画像が入力される代表点の位置を制
御することにより動きベクトルの検出範囲を制御する検
出範囲制御手段とを備えたことを特徴とする画像の動き
ベクトル検出装置である。

作用 上記した構成により、前フィールドまたは２フィール
ド前までに検出された動きベクトルより現フィールドで
得られる動きベクトルの検出範囲を予測し、代表点メモ
リから出力される前フィールドの画像信号に対して、現
フィールドの画像信号との相関値を求める際に、前フィ
ールドの各代表点の位置に対して相関値を求める現フィ
ールドの検出範囲の位置を、前記予測に基づいて制御す
ることにより、従来のものより大きい範囲の動きベクト
ルを検出することができ、さらに、比較する２フィール
ドの画像の両方とも、それを記憶するフィールドメモリ
を用いる必要がなく、非常に小さい回路規模で実現でき
るものである。

実施例 第１図は本発明の第１の実施例における画像の動きベ
クトル検出装置のブロック図を示すものである。なお、
従来例を示す第４図と共通する要素には同一番号を付し
ている。第１図において、１は画像信号入力端子であ
る。２は代表点メモリで、入力される画像信号のうち代
表点にあたる画素の信号を記憶する。３は差分・絶対値
変換器で、入力の差の絶対値を出力する。４は累計加算
器、５は最小点検出回路である。８は検出範囲制御手段
である。

以上のように構成された本実施例の画像の動きベクト
ル検出装置について、以下その動作を説明する。まず入
力端子１に時間的に連続する画像信号が入力される。代
表点メモリ２では、まず予め画面の検出区域中に複数の
代表点が決められており、入力画像信号のうち代表点の
位置にあたる画素の信号を記憶する。あるフィールド
（ｎ−１）が入力された段階で、その一つ前のフィール
ドに対する動きベクトル（Ｘ（ｎ−１）,Y（ｎ−１））
が検出され、この値は検出範囲制御手段８に入力され
る。

次のフィールド（ｎ）の信号が入力されるとき、差分
・絶対値変換器３は検出範囲制御手段８に制御され、前
フィールドの代表点の位置の信号と、現フィールドの代
表点から（水平方向ｉ＋Ｘ（ｎ−１）垂直方向ｊ＋Ｙ
（ｎ−１））偏移した位置の信号との差の絶対値｜ΔL|
（i,j）を求める。ただしここではi,jの範囲はほぼ０を
中心としているものとする（−hi/2＜ｉ≦hi/2,−hj/2
＜ｊ≦hi/2）。累積加算器４には、偏移（i,j）に対応
するテーブルがあり、差分・絶対値変換器３からの信号
を偏移（i,j）別に累計加算し、これを偏移（i,j）にお
ける相関値Σ｜ΔL|（i,j）とする。最小点検出回路５
では、その相関値の最小値を与える偏移（ｉ′,j′）を
検出し、これと前フィールドの検出ベクトル（Ｘ（ｎ−
１）,Y（ｎ−１））を加えたものを前フィールドに対す
る現フィールドの動きベクトル（Ｘ（ｎ）,Y（ｎ））と
して算出する。

以上のように本実施例によれば、パンニングなどでビ
デオカメラを一方向に大きく振った場合やまた手揺れ等
でビデオカメラを低周波で大きく振った場合などでも、
フィールド間で動きベクトルの変化は、動きベクトルの
振幅に比べて十分に小さいので、相関値を求める範囲，
（hi,hj）を小さくしても、従来より大きい振幅の動き
ベクトルの検出が可能となる。

たとえば第３図に示すように振幅の大きな動きベクト
ル６を検出する場合でも、現フィールドの動きベクトル
10は、前フィールドの動きベクトル11とある程度の相関
があるため、検出範囲７は従来のものに比べ小さなもの
で十分である。

なおここでは代表点の位置は固定として、この代表点
に対する相関をとる範囲をシフトしたが、これは現フィ
ールドの動きベクトル（Ｘ（ｎ）,Y（ｎ））を検出する
際に、前フィールドの検出ベクトル（Ｘ（ｎ−１）,Y
（ｎ−１））のデータを用いることが出来る点で、その
逆の方法つまり代表点をシフトするものに比べてさらに
優れている。なぜなら逆の方法では代表点をサンプルす
る時点つまり前フィールドの信号が入力される時点で
は、前フィールドの検出ベクトル（Ｘ（ｎ−１）,Y（ｎ
−１））はまだ検出されておらず、従って前々フィール
ドの検出ベクトル（Ｘ（ｎ−２）,Y（ｎ−２））を用い
なけれはならないが、この方法は前フィールドの検出ベ
クトル（Ｘ（ｎ−１）,Y（ｎ−１））を用いることがで
きる。現フィールドと前フィールドの動きベクトルの差
は、現フィールドと前々フィールドの動きベクトルの差
の約1/2倍であると考えられるので、それだけ相関値を
求める範囲（hi,hj）を小さくできる。

またここでは前フィールドの検出ベクトル（Ｘ（ｎ−
１）,Y（ｎ−１））を検出範囲の中心としたが、これは
ベクトルの方向に検出範囲をシフトするだけで効果があ
る、たとえば係数ａをもちいて（ａ×Ｘ（ｎ−１）,a×
Ｙ（ｎ−１））を中心としてもよい。

また前フィールド以前の検出ベクトルも用いることも
考えられる、たとえば前々フィールドの検出ベクトル
（Ｘ（ｎ−２）,Y（ｎ−２））も用いて、検出範囲の中
心を（２×ａ×Ｘ（ｎ−１）−ｂ×Ｘ（ｎ−２）,2×ａ
×Ｙ（ｎ−１）＋ｂ×Ｙ（ｎ−２））としてもよい（a,
bは係数）。

またこの中心のシフト量が一定値以上にならないよう
に、クリップをかけることも考えられる。

なお検出範囲制御手段８は、実際に回路を用いたハー
ドでも、マイコンを用いたソフトでも実現できる。

第２図は本発明の第２の実施例における画像の動きベ
クトル検出装置のブロック図を示すものである。なお、
第１図と共通する要素には同一番号を付している。第１
図において、９は代表点制御回路である。

以上のように構成された本実施例の画像の動きベクト
ル検出装置について以下その動作を説明する。まず入力
端子１に時間的に連続する画像信号が入力される。

あるフィールド（ｎ−１）の画像信号が入力される時
点で、代表点制御回路９には、その一つ前のフィールド
の検出ベクトル（Ｘ（ｎ−２）,Y（ｎ−２））が入力さ
れている。代表点制御回路９は、まず予め決められた画
面の検出区域中の複数の代表点の基準点から、検出ベク
トルの逆ベクトル（−Ｘ（ｎ−２），−Ｙ（ｎ−２））
だけシフトした点を代表点とし、代表点メモリ２を制御
する。代表点メモリ２は制御に従い、入力画像信号のう
ち代表点の位置にあたる画素の信号を記憶する。次のフ
ィールド（ｎ）の信号が入力されるとき、差分・絶対値
変換器３は代表点メモリの値と、代表点の基準点から水
平方向ｉ、垂直方向ｊ、偏移した位置の信号との差の絶
対値｜ΔL|（i,j）を求める。ただしここではi,jの範囲
はほぼ０ベクトルを中心としているものとする（−hi/2
＜ｉ≦hi/2,−hj/2＜ｊ≦hi/2）。累積加算器４には、
偏移（i,j）に対応するテーブルがあり、差分・絶対値
変換器３からの信号を偏移（i,j）別に累計計算し、こ
れを偏移（i,j）における相関値Σ｜ΔL|（i,j）とす
る。最小点検出回路５では、その相関値の最小値を与え
る偏移（ｉ′,j′）を検出し、これと前々フィールドの
検出ベクトル（Ｘ（ｎ−２）,Y（ｎ−２））を加えたも
のを前フィールドに対する現フィールドの動きベクトル
（Ｘ（ｎ）,Y（ｎ））として算出する。

以上のように本実施例によれば、パンニングなどでビ
デオカメラを一方向に大きく振った場合やまた手揺れ等
でビデオカメラを低周波で大きく振った場合などでは、
フィールド間で動きベクトルの変化は、動きベクトルの
振幅に比べて十分に小さいので、相関値を求める範囲，
（hi,hj）を小さくしても、従来より大きい振幅の動き
ベクトルの検出が可能となる。

なお、ここでは代表点の位置をシフトして、この代表
点に対する相関をとる範囲を固定としたが、これは第１
の実施例と比べ、代表点をシフトする方が実現がさらに
より容易である点で優れている。

またここでは前々フィールドの検出ベクトル（Ｘ（ｎ
−２）,Y（ｎ−２））の逆ベクトルだけ代表点をシフト
したが、これはベクトルの方向に検出範囲をシフトする
だけで効果がある、たとえば係数a,bをもちいて（ａ×
Ｘ（ｎ−２）,b×Ｙ（ｎ−２））を中心としてもよい。

また前々フィールド以前の検出ベクトルも用いること
も考えられる、たとえば前々フィールド以前の１検出ベ
クトル（Ｘ（ｎ−３）,Y（ｎ−３））も用いて、検出範
囲の中心を（２×ａ×Ｘ（ｎ−２）−ｂ×Ｘ（ｎ−
３）,2×ａ×Ｙ（ｎ−２）＋ｂ×Ｙ（ｎ−３））として
もよい（a,bは係数）。またこの中心のシフト量が一定
値以上にならないように、クリップをかけることも考え
られる。

なお、代表点制御手段９は、実際に回路を用いたハー
ドでも、マイコンを用いたソフトでも実現できる。ま
た、第１第２の実施例では１つの検出領域の相関値の最
小点の動きベクトルとするものを示したが、画面中複数
の各検出領域についてそれぞれ検出を行い、信頼性判定
等を行って、１つの画面の動きベクトルを検出するよう
な場合でも、この発明は当然応用できる。

発明の効果 以上のように、本発明によれば、従来のものより大き
い範囲の動きベクトルを、少ない演算量、フレームメモ
リを用いる必要がない小さい回路規模で、さらにより少
ない処理時間で検出することが可能で、また容易に実現
することができ、その実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明の第１の実施例の画像の動きベクトル検
出装置のブロック図、第２図は本発明の第２の実施例の
画像の動きベクトル検出装置のブロック図、第３図は本
発明の実施例の動きベクトルの検出範囲と画像の動きベ
クトルの関係を説明するためのグラフ、第４図は従来例
の画像の動きベクトル検出装置のブロック図、第５図は
従来例の動きベクトル検出範囲と画像の動きベクトルの
関係を説明するためのグラフである。 １……画像信号入力端子、２……代表点メモリ、３……
差分・絶対値変換器、４……累計加算器、５……最小点
検出回路、６……動きベクトル、７……検出範囲、８…
…検出範囲制御手段、９……代表点制御手段、10……現
フィールドの検出ベクトル、11……前フィールドの検出
ベクトル、12……前々フィールドの検出ベクトル。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−25590（ＪＰ，Ａ) 特開 昭61−201581（ＪＰ，Ａ) 特開 昭61−248692（ＪＰ，Ａ) 特開 昭54−124927（ＪＰ，Ａ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】時間的に連続する画像信号を入力とし、前
   記画像中の所定の位置にある代表点における画像信号で
   あって前フィールドの画像信号を記憶する代表点メモリ
   と、 前記代表点メモリから出力される画像信号と現フィール
   ドの画像信号との相関値を求める相関値算出手段と、 前記相関値算出手段の出力から最適点を検出し、動きベ
   クトルとして算出する動きベクトル算出手段と、 前記相関値算出手段によって前フィールドと現フィール
   ドとの相関値を求める際に現フィールドの画像信号を前
   フィールドにおける動きベクトルの分だけシフトして設
   定する検出範囲制御手段とを備えたことを特徴とする画
   像の動きベクトル検出装置。
2. 【請求項２】時間的に連続する画像信号を入力とし、前
   記画像中の所定の位置にある代表点における画像信号で
   あって前フィールドの画像信号を記憶する代表点メモリ
   と、 前記代表点メモリから出力される画像信号と現フィール
   ドの画像信号との相関値を求める相関値算出手段と、 前記相関値算出手段の出力から最適点を検出し、動きベ
   クトルとして算出する動きベクトル算出手段と、 ２フィールド前までに検出された動きベクトルより現フ
   ィールドで得られる動きベクトルの範囲を予測し、予
   め、前フィールドで画像が入力される代表点の位置を制
   御することにより動きベクトルの検出範囲を制御する検
   出範囲制御手段とを備えたことを特徴とする画像の動き
   ベクトル検出装置。
3. 【請求項３】時間的に連続する画像信号を入力とし、前
   記画像中の所定の位置にある代表点における画像信号で
   あって前フィールドの画像信号を記憶するステップと、 前記代表点における画像信号と現フィールドの画像信号
   との相関値を求めるステップと、 前記相関値を求めるステップで求めた相関値の出力から
   最適点を検出し、動きベクトルとして算出する動きベク
   トル算出ステップとを有する画像の動きベクトル検出方
   法であって、 前記相関値を求めるステップによって前フィールドと現
   フィールドとの相関値を求める際の検出範囲を、前フィ
   ールドにおける動きベクトルの分だけシフトして設定す
   ることを特徴とする画像の動きベクトル検出方法。
4. 【請求項４】時間的に連続する画像信号を入力とし、前
   記画像中の所定の位置にある代表点における画像信号で
   あって前フィールドの画像信号を記憶するステップと、 前記代表点における画像信号と現フィールドの画像信号
   との相関値を求めるステップと、 前記相関値を求めるステップで求めた相関値の出力から
   最適点を検出し、動きベクトルとして算出する動きベク
   トル算出ステップとを有する画像の動きベクトル検出方
   法であって、 ２フィールド前までに検出された動きベクトルより現フ
   ィールドで得られる動きベクトルの範囲を予測し、予
   め、前フィールドで画像が入力される代表点の位置を制
   御することにより動きベクトルの検出範囲を制御するこ
   とを特徴とする画像の動きベクトル検出方法。