JPH06350997A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像信号処理における前フレームと現フレー
ムの間の動きベクトル検出において計算量を減らし、ま
た精度よく動きベクトル量を検出する。 【構成】 入力画像信号12をサブサンプリング手段１で
サブサンプリングを行い、その後、離散フーリエ変換手
段２でフーリエ変換して周波数領域のデータに変換して
から、記憶手段３が記憶している１画面前のデータと現
在の周波数領域のデータとを割算手段４で割算する。割
算結果を逆離散フーリエ変換手段５で逆フーリエ変換し
て実領域に戻す。この実領域の情報を用いて第１の判定
手段６が動きベクトル量があるかないか、あれば、それ
はどのような大きさと方向を持っているかを判定し出力
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像信号処理における
動きベクトル検出装置に関する。

【０００２】

【従来の技術】近年、画像信号処理技術、特に動画像の
信号処理技術において画像の性質にあった信号処理を実
施するため、現フレームとその１つ前のフレームとを周
波数領域で比較することで画面の移動量を検出する方式
が提案されている(例えば、吹抜敬彦著「画像のディジ
タル信号処理＜増補版＞」日刊工業新聞社 pp223−224
参照)。

【０００３】以下に、従来の周波数領域で画像を比較し
画面の動き量を検出する動きベクトル検出法について説
明する。

【０００４】図８は従来の周波数領域における動きベク
トル検出装置の構成を示すブロック図である。図８にお
いて、13は入力画像信号12を離散フーリエ変換する離散
フーリエ変換器、14は１画面分のデータを記憶するメモ
リ、15は離散フーリエ変換器13の出力と前記メモリ14の
出力とをその入力とし、両者の各サンプル点ごとの割算
を行う割算器、16は前記割算器15の出力をその入力とす
る判定器であり、この判定器16は割算器15の出力から動
きベクトル量の有無を判定し、動きベクトル量ありと判
定すれば、その大きさと向きを出力する。

【０００５】以上のように構成された動きベクトル検出
装置について、以下その動作について説明する。図９は
従来の動きベクトル検出装置の動作を説明するための図
である。図９において、91は時刻ｎにおける画像１フレ
ームを表す。位置ｘにおける入力画像信号12の信号レベ
ルをｆ(ｘ)で表現する。ただし、ｘは２次元ベクトルで
ｘ＝(ｘ１，ｘ２)とする。92は時刻ｎ＋１における画像
１フレームである。ただし、ｎとｎ＋１の違いは画像１
フレーム分の時間の違いを表すものとする。位置ｘにお
ける時刻ｎ＋１における画像の信号レベルをｇ(ｘ)で表
現する。93は時刻ｎにおける画像１フレーム91を離散フ
ーリエ変換器13で離散フーリエ変換したものを模式的に
表している。フーリエ変換結果をＦ(ω)で表現すれば、
フーリエ変換式は(数１)で定義される。

【０００６】

【数１】

【０００７】ただし、(数１)はｘを連続変数と見たとき
の定義式である。ディジタルシステムにおいては、ｘは
離散的な値をとるが、本質的にはｘが連続変数でも離散
変数でも等価であるから簡単のため、ここではｘを連続
変数として扱う。また離散フーリエ変換の手法によって
入力信号をフーリエ変換した場合、出力信号も離散値と
なるので(数１)のωも離散変数になるが、同様の理由に
より連続変数であるとして議論を進める。時刻ｎ＋１に
おける画像信号をｇ(ｘ)で表現すれば、(数１)と同様に
してフーリエ変換出力Ｇ(ω)は、

【０００８】

【数２】

【０００９】で表現される。以後、時刻ｎにおける画像
１フレーム91を前フレームと呼ぶ。また、時刻ｎ＋１に
おける画像１フレーム92を現フレームと呼ぶ。図８にお
けるメモリ14の出力が、図９における前フレームのフー
リエ変換結果93、すなわちＦ(ω)を表し、離散フーリエ
変換器13の出力が現フレームのフーリエ変換結果94、す
なわちＧ(ω)を表す。

【００１０】まず、図８における離散フーリエ変換器13
は入力画像信号12をフーリエ変換して、周波数領域のデ
ータに変換する。周波数領域のデータに変換された入力
画像信号12はメモリ14に入力され、１画面分のデータを
記憶する。したがって、メモリ14の出力は、その入力に
入ってくる信号より１フレーム前のデータになる。離散
フーリエ変換器13の出力が現フレーム(時刻ｎ＋１)の離
散フーリエ変換結果Ｇ(ω)に、またメモリ14の出力が前
フレーム(時刻ｎ)の離散フーリエ変換結果Ｆ(ω)にそれ
ぞれ相当する。割算器15はメモリ14の出力と離散フーリ
エ変換器13の出力との割算を計算する。すなわち、割算
器15の出力はＧ(ω)／Ｆ(ω)を出力する。動きベクトル
量をａとし、ｇ(ｘ)が、

【００１１】

【数３】ｇ(ｘ)＝ｆ(ｘ−ａ) のように、前フレームの入力画像信号の信号レベルｆ
(ｘ)の平行移動で表現されていると仮定すると、そのフ
ーリエ変換出力Ｇ(ω)はＦ(ω)を用いて、

【００１２】

【数４】

【００１３】のように表現される。したがって割算器15
の出力Ｇ(ω)／Ｆ(ω)は、

【００１４】

【数５】

【００１５】となり、単純な指数関数で表される。指数
部に現れたａは動きベクトル量であるから、この情報を
基にして、判定器16は動きベクトル量ａを検出する。す
なわち判定器16は割算器15の出力を基に動きベクトル量
を計算し、それを前フレーム91と現フレーム92の間の動
きベクトル量であると判定する。具体的には判定器16
は、例えば、次のようにして動きベクトル量を計算す
る。すなわち、割算器15の出力Ｇ(ω)／Ｆ(ω)を逆離散
フーリエ変換し、実領域に戻したものをｅ(ｘ)で表せ
ば、

【００１６】

【数６】

【００１７】であるから、逆離散フーリエ変換結果とし
てはｘ平面上のｘ＝ａの位置に単一のピークが現れる。
このピークが現れる位置ａは、(数３)で仮定した動きベ
クトル量にほかならない。以上より、原点からａまでの
距離(大きさ)と方向が動きベクトル量を表す。以上のよ
うにして判定器16は動きベクトル量の検出を行う。

【００１８】

【発明が解決しようとする課題】しかしながら、上記の
従来の構成では、離散フーリエ変換には高速変換法があ
るとはいえ演算量は非常に多くなる。また厳密には(数
４)のような簡単な指数関数にならずに幾分かの振幅も
持っているので、逆フーリエ変換しても理論通りに単一
のピークを持たないこともある。

【００１９】したがって、本発明では、少ない演算量で
精度よく動きベクトル量を計算できる動きベクトル検出
装置を提供することを目的とする。

【００２０】

【課題を解決するための手段】本発明は、上記目的を達
成するために、入力画像信号を時間的に間引いて標本化
するサブサンプリング手段と、サブサンプリングされた
データをフーリエ変換する離散フーリエ変換手段と、フ
ーリエ変換されたデータを一時記憶する記憶手段と、前
記離散フーリエ変換手段でフーリエ変換されたデータと
前記記憶手段にて一時記憶されたデータとの割算を行う
割算手段と、前記割算手段の出力を逆フーリエ変換する
逆離散フーリエ変換手段と、前記逆離散フーリエ変換手
段の出力より動きベクトル量を検出する第１の判定手段
とを有することを特徴とする。

【００２１】

【作用】本発明によれば、サブサンプリング手段は入力
画像信号を時間的に間引いてサンプリングし、離散フー
リエ変換手段はサブサンプリングされたデータを離散フ
ーリエ変換し、実領域から周波数領域のデータに変換す
る。次に、この周波数領域のデータに対して記憶手段に
よって前フレームの離散フーリエ変換出力を得、現フレ
ームの離散フーリエ変換出力との間で割算手段によって
割算を行う。

【００２２】割算結果は逆離散フーリエ変換手段によっ
て逆フーリエ変換され、実領域に戻される。この逆離散
フーリエ変換手段の出力が、現フレームの前フレームか
らみた動きベクトル量の情報を持っている。逆離散フー
リエ変換手段の出力は、動きベクトル量に相当する実領
域上のある位置においてピークを持つ。第１の判定手段
はこの実領域上のデータを見て現フレームが前フレーム
に対して動き領域であるか否かを判定し、動き領域と判
定した場合には動きベクトル量を出力する。

【００２３】離散フーリエ変換はサブサンプリングされ
た後に実行されるので、サンプリング点の数はサブサン
プリングをする前に比べて少ない。入力画像信号の水平
垂直それぞれに対して２倍のサブサンプリングを行え
ば、サンプリング点はサブサンプリングをする前の１／
４に減少する。３倍のサブサンプリングでは１／９にな
る。したがって、離散フーリエ変換を行う際の演算量を
減少させることができる。同時に、記憶手段の容量も少
なくて済み、したがって割算手段も少ない点の演算で済
む。さらには逆離散フーリエ変換を行う際においても同
様に演算量を減少させることができる。

【００２４】

【実施例】以下、本発明の各実施例を図面に基づいて説
明する。

【００２５】(実施例１)図１は本発明の第１の実施例に
おける動きベクトル検出装置の構成を示すブロック図で
あり、図１において、１はサブサンプリング手段、２は
離散フーリエ変換手段、３は離散フーリエ変換手段２の
出力を記憶する記憶手段、４は割算手段、５は逆離散フ
ーリエ変換手段、６は逆離散フーリエ変換手段５の出力
から動きベクトル量を検出する第１の判定手段である。

【００２６】以上のように構成された動きベクトル検出
装置の動作について説明する。入力画像信号12はサブサ
ンプリング手段１に入力され、この入力画像信号を時間
的に間引いてサンプリングして入力データの画素数を減
少させる。その後、離散フーリエ変換手段２に入力さ
れ、離散フーリエ変換が行われる。

【００２７】この離散フーリエ変換手段２の出力は記憶
手段３に入力され、１画面分のデータを一時記憶する。
従来例の説明の場合と同様に、前フレームの入力画像信
号12の信号レベルをｆ(ｘ)で表現し、そのフーリエ変換
結果をＦ(ω)で表現するなら、現フレームの入力画像信
号12の信号レベルはｇ(ｘ)で、そのフーリエ変換結果は
Ｇ(ω)と表現できる。このとき、記憶手段３の出力が前
フレームのフーリエ変換結果Ｆ(ω)に相当する。また、
離散フーリエ変換手段２の出力は現フレームのフーリエ
変換結果Ｇ(ω)に相当する。

【００２８】割算手段４の出力は、前記離散フーリエ変
換手段２と記憶手段３の各出力からＧ(ω)／Ｆ(ω)にな
る。もしも現フレームが前フレームのａだけの単純な平
行移動であるならば、逆離散フーリエ変換手段５の出力
は、(数６)によって実領域上においてデルタ関数の形と
なり、ｘ＝ａにおいて単一のピークを持つ。実際には、
画像の端の影響，計算精度の問題等で厳密な単一ピーク
にはならず、ある幅を持つ山型の分布になる。

【００２９】また、現フレームと前フレームが全く同
一、すなわち静止画であれば割算手段４の出力は全ωに
対して値“１”となる。値“１”の逆フーリエ変換は原
点にピークを持つデルタ関数であるから、逆離散フーリ
エ変換手段５の出力はｘ＝０(原点)において単一ピーク
を持つ。第１の判定手段６は逆離散フーリエ変換手段５
の出力をその入力として、これがｘ平面上のいずれか一
点においてデルタ関数的なピークを持てば、その点の原
点からの距離と方向が現フレームの前フレームからの動
きベクトルであると判断する。

【００３０】なお、サブサンプリングを行ったことによ
って、周波数の低い部分に周波数の高い部分が折り返
す。したがって、折り返しにより画像情報はここでその
低域成分と高域成分とがお互いに混ざり合い、再び分離
することはできなくなる。しかし、目的は画像をこれか
ら再生することではなく、この情報から位相変化量を知
ることであり、入力画像信号が全周波数成分にわたって
一様に位相が変化している場合には、仮に折り返しが起
こっても、折り返した結果の波形は折り返しが起こらな
かった場合と同じだけ位相が変化する。したがって、サ
ブサンプリングによる折り返しは、本発明の動きベクト
ル検出において理論的に影響を及ぼさない。

【００３１】いま、現フレームが前フレームの単純な平
行移動でない場合、例えば、ひとつの物体が一度に異な
る方向に分離した場合について考える。すなわち、動き
ベクトル量としてａおよびｂの２つの成分を同時に持っ
た場合について考える。現フレームの入力画像信号の信
号レベルをｆ(ｘ)で表すとき、ｆ(ｘ)が動きベクトル量
ａだけ移動したものはｆ(ｘ−ａ)、動きベクトル量ｂだ
け移動したものはｆ(ｘ−ｂ)と、それぞれ表現できるの
で、次のフレームでの画像信号ｇ(ｘ)は、

【００３２】

【数７】ｇ(ｘ)＝ｆ(ｘ−ａ)＋ｆ(ｘ−ｂ) と表現できる。ｆ(ｘ)のフーリエ変換をＦ(ω)とする。
本実施例に従ってサブサンプリングを行った後、離散フ
ーリエ変換手段２によって離散フーリエ変換を行うと、
離散フーリエ変換手段２の出力Ｇ(ω)は、

【００３３】

【数８】

【００３４】となる。したがって、割算手段４の出力Ｇ
(ω)／Ｆ(ω)は、

【００３５】

【数９】

【００３６】と、２つの指数関数の和で表現される。逆
離散フーリエ変換手段５の出力をｅ(ｘ)で表すなら、ｅ
(ｘ)は(数９)を逆フーリエ変換して、

【００３７】

【数１０】

【００３８】となる。これは、実領域上のｘ＝ａ，ｘ＝
ｂの２点においてピークが生じることを表している。２
方向以上に同時に動いた場合についても同様に考えられ
る。

【００３９】次に、１画面の中で２つの物体がそれぞれ
異なる方向に同時に動いた場合について考える。ｘ平面
上で物体１が動きベクトル量ａだけ平行に移動し、物体
２が動きベクトル量ｂだけ平行移動した場合を仮定す
る。物体１を関数ｆ１(ｘ)で表し、同様に物体２をｆ２
(ｘ)で表す。画面全体を表す関数ｆ(ｘ)の数学的モデル
として、

【００４０】

【数１１】ｆ(ｘ)＝ｆ１(ｘ)＋ｆ２(ｘ） が成り立つと仮定する。次のフレームをｇ（ｘ)で表現
するとき、それぞれがａおよびｂだけ平行移動している
なら、ｇ(ｘ)は、

【００４１】

【数１２】ｇ(ｘ)＝ｆ１(ｘ−ａ)＋ｆ２(ｘ−ｂ) となる。ｆ１(ｘ)のフーリエ変換結果をＦ１(ω)、ｆ２
(ｘ)のフーリエ変換結果をＦ２(ω)で表現すれば、実施
例に従いｆ(ｘ)をフーリエ変換したものＦ(ω)は、

【００４２】

【数１３】

【００４３】となる。同様に、次のフレームｇ(ｘ)のフ
ーリエ変換結果Ｇ(ω)は、

【００４４】

【数１４】

【００４５】となる。したがって、割算手段４の出力Ｇ
(ω)／Ｆ(ω)は、(数13)および(数14)より、

【００４６】

【数１５】

【００４７】のような形になる。

【００４８】図２は複素平面上での(数15)の持つ意味を
説明するための図である。図２において、201はＦ１
(ω)を実部と虚部に分け複素平面上に表したものの一例
である。同様に202はＦ２(ω)の一例を表している。203
はＦ１(ω)＋Ｆ２(ω)すなわちＦ(ω)であり、(数15)の
分母を表している。211はＦ１(ω)の絶対値はそのまま
にして位相を−ωａだけ回したもので、(数15)の分子の
第１項目に相当する。

【００４９】212はＦ２(ω)の位相を−ωｂ回したもの
で(数15)の分子の第２項目を表している。213は211と21
2の和であり、Ｇ(ω)すなわち(数15)の分子に相当す
る。

【００５０】ａとｂが等しい場合には(数15)より、明ら
かに割算手段４の出力は単純な指数関数の形となり、逆
離散フーリエ変換手段５の出力は単一ピークになる。ａ
とｂが同じということは同一方向への移動であるから、
この場合には単一ピークが出て正しい。いま、ａとｂは
全く等しくはなくても、ほぼ同じであると仮定する。こ
の場合には(数15)の分子を表すベクトル213は、分母を
表すベクトル203と位相は異なるが、その絶対値はほぼ
等しくなる。

【００５１】したがって、逆フーリエ変換すれば単純な
指数関数ではないので、多少はその影響が出ることが考
えられるが、およそデルタ関数的なピークを出力する。
明らかなピークになるか否かはａとｂとの似ている度合
いに依存する。ａとｂが全く異なる場合には、図２に示
すようにＦ(ω)の絶対値とＧ(ω)の絶対値とは全く等し
くない。すなわち、割算結果にωに依存する絶対値成分
が残るので、逆フーリエ変換してもその結果はデルタ関
数的なピークとはならない。なお、この場合のＧ(ω)の
持つ位相のＦ(ω)からのずれは、ωａとωｂの平均とな
り、それ自体はａを表してもいないしｂを表しているわ
けでもない。したがって、Ｇ(ω)とＦ(ω)の位相差を求
めてもその数値に意味はない。

【００５２】以上の考察より、画面内が一様に動いてい
ない場合には逆離散フーリエ変換手段５の出力は、特定
の一点の近傍に明確なピークを持つことはない。この場
合には第１の判定手段６は現フレームと前フレームとの
間に動きベクトル量はないと判定する。また、逆離散フ
ーリエ変換手段５の出力が原点にピークを持った場合に
は、現フレームは前フレームと同一画面で構成されてい
ると判断できるので静止画であると判定できる。

【００５３】画面全体が一様に平行移動している場合、
動きベクトル量ａは、逆離散フーリエ変換手段５が離散
的に逆フーリエ変換を計算することで、サンプリング間
隔単位で知ることができる。ただし、動きベクトル量ａ
がちょうどサンプリング点に相当する点上にあれば理論
通りｘ＝ａでデルタ関数的なピークを持つことが考えら
れるが、サンプリング間隔はサブサンプリングを行った
ことによって最初の入力画像信号12より粗くなっている
ので、一般には動きベクトル量ａはサンプリング点の真
上にこない。

【００５４】この場合には、逆離散フーリエ変換手段５
の出力の絶対値は、その本来ピークを持つ位置のすぐ近
傍にあるサンプリング点上にピークを複数個持つ。した
がって、例えばこれらの点の間で、その各点が持つ値に
従って重み付け平均をとることで、本来のピークの位置
すなわち厳密な動きベクトル量を知ることができる。第
１の判定手段６は、逆離散フーリエ変換手段５の出力を
使って厳密な動きベクトル量を計算するように動作す
る。

【００５５】重み付け平均の計算方法は以下のように行
う。図３(1)および(2)は重み付け平均の計算方法を説明
するための図である。逆離散フーリエ変換手段５の出力
の絶対値が図３(1)のようなパターンになった場合につ
いて考える。図３(2)は(1)をｘ＝(ｘ１，ｘ２)平面で描
いた図である。(a)，(b)，(c)，(d)は、それぞれｘ＝
(ｘ１，ｘ２)平面上のサンプリング点を表す。サンプリ
ング点(a)での値をｆ(a)と表現する。同様に、サンプリ
ング点(b)ではｆ(b)、サンプリング点(c)ではｆ(c)、サ
ンプリング点(d)ではｆ(d)とする。301は４つのサンプ
リング点(a)，(b)，(c)，(d)で囲まれる領域を表す。こ
の場合、ピークはおよそ領域301内にあることが予測さ
れるが、ピーク点がサンプリング点の真上にきていない
ので、302は本来のピークのある位置を表し、この位置
をｘ＝ｘ０とする。このときｘ＝ｘ０を次のようにして
算出する。すなわち、

【００５６】

【数１６】

【００５７】によって、ｘ０を計算する。ただし(数16)
中のＳは、

【００５８】

【数１７】Ｓ＝ｆ(a)＋ｆ(b)＋ｆ(c)＋ｆ(d) で定義される正規化定数である。(数16)によれば、も
し、ｆ(a)，ｆ(b)，ｆ(c)，ｆ(d)が全て同じ値をとるな
ら、ｘ０は(ａ＋ｂ＋ｃ＋ｄ)／４、すなわちサンプリン
グ点(a)，(b)，(c)，(d)のちょうど真ん中になる。ま
た、一般には４つのサンプリング点での値は等しくない
ので、値の大きいサンプリング点があればｘ０は、その
サンプリング点に近いところに求められる。

【００５９】なお、ここではピークを持つと思われる位
置の周り４つのサンプリング点について重み付け平均を
行ったが、考慮に入れるサンプリング点の数は４つでな
くとも同様の効果が得られる。

【００６０】図４は９つのサンプリング点に対して重み
付け平均を行う場合のサンプリング点の配置の様子を説
明するための図である。図４において、401ないし409は
サンプリング点である。(数16)は４つのサンプリング点
の重み付け平均でｘ０を求めたのに対して、この場合に
は９つのサンプリング点401ないし409における値の間で
(数16)と同様に考えて重み付け平均を計算し、ｘ０を求
める。同様にして、考慮するサンプリング点を増やすほ
ど計算結果は信頼性が高まる。

【００６１】また、本実施例のような重み付け平均をと
る代わりにピークを持つ関数として、例えば、２次関数
型のような関数を仮定して最小自乗法等を用いてパラメ
ータ推定を行い、求められたパラメータからピーク値を
持つ位置を算出する方法も考えられる。この方法は計算
精度はよいが計算自体が煩雑になる上、仮定した関数の
型が入力された画像信号に対して万一不適当なモデルで
あれば、求まった値も信頼性はないことに注意が必要で
ある。

【００６２】以上のように、本実施例においては入力画
像信号をサブサンプリングしてから、離散フーリエ変換
し、周波数領域での画像の持つ性質に着目し、前フレー
ムと現フレームを周波数領域で割算することで動きベク
トル量を、その位相量の変化としてとらえ、逆離散フー
リエ変換で実領域に戻し、その出力を基に動きベクトル
量の検出をすることで、少ない計算量で構造的に動きベ
クトル量を求めることができる。

【００６３】(実施例２)図５は本発明の第２の実施例に
おける動きベクトル検出装置の構成を示すブロック図で
ある。図５において、サブサンプリング手段１，離散フ
ーリエ変換手段２，記憶手段３，割算手段４，逆離散フ
ーリエ変換手段５および第１の判定手段６は、図１の構
成と同様である。図１の構成と異なるのは、サブサンプ
リング手段１の前に低域通過手段７を挿入した点であ
る。

【００６４】以上のように構成された動きベクトル検出
装置の動作を説明する。まず、入力画像信号12が低域通
過手段７に入力されることによって、周波数領域での高
域成分を取り除く。そして、低域成分だけになった入力
画像信号12は、サブサンプリング手段１に入力される。
すなわち、低域通過手段７は次段のサブサンプリング手
段１でサンプリングを行っても周波数的な折り返しが起
こらないように高域成分をカットするように作用する。
そして、サブサンプリング手段１以降の動作は前記第１
の実施例と全く同様に動作し、最終的に動きベクトル量
を検出する。

【００６５】上記サンプリング動作において折り返しが
起こった場合でも、画像全体の動きが低域から高域にか
けて一様に同じ位相量だけ動いている場合には、理論的
に折り返しによる影響は全く起こらない。しかし、実際
の画像においては低域成分から高域成分にかけて一様に
位相量が変わっている場合は少ない。高域成分は画像の
細かい部分を表しているので、実際に移動した方向に相
当する位相の変化をしていないこともありうる。したが
って、低域通過手段７を設けて折り返しが起こらないよ
うにしたことによって、低域成分に誤った高域成分の影
響が入らないので、動きベクトル量の計算精度は高域成
分が入った場合に比べてよりよくなる。

【００６６】本実施例では、低域通過手段７を設けたこ
とによって画像の高域成分が失われるが、一般に高域成
分は画像の細かい部分を再生するための成分であり、画
像全体が動くような場合には低域成分ほど重要でない。
また、目的が画像の再生でないので、この意味からも高
域成分を除いて評価しても問題はない。

【００６７】以上のように、本実施例においては、入力
画像信号を最初に低域通過手段によって不要な高域成分
を取り除いてからサブサンプリングを行ったことによっ
て、動きベクトル量が第１の実施例に比べてより正確に
検出できる。

【００６８】(実施例３)図６は本発明の第３の実施例に
おける動きベクトル検出装置の構成を示すブロック図で
ある。図６において、低域通過手段７，サブサンプリン
グ手段１，離散フーリエ変換手段２，記憶手段３，割算
手段４および逆離散フーリエ変換手段５は図５の構成と
同様である。図５の構成と異なるのは、割算手段４の出
力を絶対値計算手段８に入力し、第１の判定手段６の代
わりに、絶対値計算手段８の出力と離散逆フーリエ変換
手段５の出力とから動きベクトル量を検出する第２の判
定手段９を用いた点である。

【００６９】以上のように構成された動きベクトル検出
装置の動作を説明する。まず、入力画像信号12が低域通
過手段７に入力され、入力画像信号の低域成分だけを通
過させる。次に、サブサンプリング手段１がサブサンプ
リングを行ってサンプル点を減らす。サブサンプリング
手段１の出力は離散フーリエ変換手段２に入力され、離
散フーリエ変換されて周波数領域のデータに変換され
る。

【００７０】記憶手段３が離散フーリエ変換手段２の出
力を一時記憶して入力画像信号の１フレーム前のデータ
を出力し、割算手段４が、この１フレーム前の出力と現
フレームのフーリエ変換出力との間で割算を行う。ここ
までは前記第２の実施例と同様であり、割算手段４の出
力をＧ(ω)／Ｆ(ω)と表現する。

【００７１】逆離散フーリエ変換手段５によって、割算
手段４の出力は逆離散フーリエ変換されるが、一方で割
算手段４の出力は絶対値計算手段８にも入力される。絶
対値計算手段８は各ωに対して絶対値、すなわち｜Ｇ
(ω)／Ｆ(ω)｜を計算し、第２の判定手段９に出力す
る。

【００７２】もし、入力画像信号12の前フレームと現フ
レームが単純な平行移動で表せる場合には、Ｇ(ω)とＦ
(ω)は(数５)の関係にあるので、｜Ｇ(ω)／Ｆ(ω)｜は
すべてのωに対して値“１”をとる。したがって、絶対
値計算手段８の出力のほとんどが１もしくはそれに近い
値をとる場合には、画像は前フレームと現フレームとで
平行移動はあっても、例えばシーンチェンジなどのよう
に全く異なった画像だということはない。この場合には
動きベクトル量を検出し、出力する意味があるので、第
２の判定手段９は逆離散フーリエ変換手段５の出力を見
て動きベクトル量を出力する。

【００７３】逆に、絶対値計算手段８の出力のほとんど
が１でない場合には動きベクトル量を検出する意味がな
いので、仮に逆フーリエ変換手段５の出力になにがしか
のピークが現れても、第２の判定手段９は動きベクトル
量を出力しないように動作する。絶対値計算手段８は、
入力されてくる割算結果が１±ε(εは正の値)の範囲に
入っているものの数を数えて、その総計があるしきい値
を越えた場合には、｜Ｇ(ω)／Ｆ(ω)｜はほとんどのω
に対して１とみなせる、すなわち動きベクトル量を検出
する意味があると、第２の判定手段９に対して出力す
る。

【００７４】以上の構成をとったことによって、第３の
実施例では動きベクトル量が本当にあるのか否かを絶対
値計算手段８の出力からも得ているため、逆離散フーリ
エ変換手段５によって偶然生じた本来はないピークに対
して、第２の判定手段９が誤った判定結果を出力しない
ように動作することが特徴である。

【００７５】(実施例４)第３の実施例においては絶対値
計算手段８を用いたが、これは入力画像信号12が静止画
であるか、もしくは一方向に平行移動している画像であ
る場合には、

【００７６】

【数１８】｜Ｆ(ω)｜＝｜Ｇ(ω)｜ が成り立つという性質を利用したものである。したがっ
て、第３の実施例における絶対値計算手段８の代わり
に、図７に示す差分値計算手段10を用い、記憶手段３の
出力の絶対値と離散フーリエ変換手段２の出力の絶対値
との差分から(数18)が成り立つかどうかを判定すること
も可能である。(数18)より、静止画もしくは単一方向に
一様に動いている場合には全てのωに対して、

【００７７】

【数１９】｜Ｇ(ω)｜−｜Ｆ(ω)｜＝０ が成り立つ。したがって、差分値計算手段10で｜Ｇ(ω)
｜−｜Ｆ(ω)｜を計算して、ほとんどのωに対して(数1
9)が成り立てば、動きベクトル量を計算する意味がある
と判断できる。

【００７８】図７は第３の実施例の絶対値計算手段８の
代わりに差分値計算手段10を用いた第４の実施例の構成
を示すブロック図である。図７において、低域通過手段
７，サブサンプリング手段１，離散フーリエ変換手段
２，記憶手段３，割算手段４，および逆離散フーリエ変
換手段５は、図６と同様である。

【００７９】図６の構成と異なるのは絶対値計算手段８
がなくて、代わりに差分値計算手段10を有し、その入力
は記憶手段３の出力と離散フーリエ変換手段２の出力か
らとっている点および第２の判定手段９の代わりに第３
の判定手段11を用い、第３の判定手段11は逆離散フーリ
エ変換手段５の出力と差分値計算手段10の出力を、その
入力としている点である。

【００８０】以上のように構成された動きベクトル検出
装置の動作について説明する。まず、入力画像信号12は
低域通過手段７に入力され、次のサブサンプリングで折
り返しが起こらないように帯域制限される。帯域制限さ
れた入力画像信号12は、サブサンプリング手段１に入力
されサブサンプリングされる。第２の実施例と同様に現
フレームの離散フーリエ変換結果Ｇ(ω)と、前フレーム
の離散フーリエ変換結果Ｆ(ω)が割算手段４で割算Ｇ
(ω)／Ｆ(ω)される。

【００８１】一方、差分値計算手段10は記憶手段３によ
って一時記憶された記憶手段３の出力Ｆ(ω)と離散フー
リエ変換手段２の出力Ｇ(ω)に対して、各々絶対値をと
ってから両者の差分をとり、その絶対値を出力する。す
なわち、差分値計算手段10の出力は｜｛｜Ｇ(ω)｜−｜
Ｆ(ω)｜｝｜を表している。第３の判定手段11は、差分
値計算手段10の出力を全ωに対して加算し、その結果が
あるしきい値よりも小さい値をとった場合には｜Ｆ(ω)
｜と｜Ｇ(ω)｜は、ほぼ等しい。すなわち、この場合に
は動きベクトル量を検出する意味があると判断し、逆離
散フーリエ変換手段５の出力を見て明らかなピークがあ
るときには、そのピークを持つ点が前フレームと現フレ
ームとの間の動きベクトル量を表しているとする。

【００８２】逆に、もしも差分値計算手段10の出力を全
ωに対して加算した結果がしきい値より大きかった場合
には、たとえ逆離散フーリエ変換手段５の出力に何がし
かのピークが存在しても、第３の判定手段11は動きベク
トル量はなしであると出力する。

【００８３】以上より、差分値計算手段10の出力を第３
の判定手段11の入力として用いた場合でも、図６の構成
をとった場合と同様の効果が得られることがわかる。第
４の実施例においては絶対値計算ではなく差分値計算を
行い、その差分をωに対して積分していくことによって
画面の情報を知り、動きベクトル量検出を行った。

【００８４】第３の実施例では｜Ｇ(ω)／Ｆ(ω)｜の値
が１の近傍にあるかないかを全ωに対して調べ、１の近
傍にあるものの数を数えて、あるしきい値を越えれば、
｜Ｇ(ω)／Ｆ(ω)｜はほとんどのωに対して１である、
すなわち動きベクトル量を検出する意味があると絶対値
計算手段８は出力した。したがって、第３の実施例にお
いては、あるωに対する判定時にその割算結果が、１の
しきい値内の近傍になければ、しきい値より少しだけ離
れた値を持っていた場合でも、その数は計数されない。

【００８５】第４の実施例においては、差分計算の結果
はひとつずつ積分されていくので、先の第３の実施例の
場合のように、たまたましきい値を少し越えた、または
足りなかったことによる悪影響が出ないことが特徴であ
る。

【００８６】なお、本発明の以上すべての実施例におい
て、入力画像信号12としては１画面全体を用い、その後
の処理も１画面全体に対して処理を行った場合について
説明したが、画面の一部に対してこれを１つのブロック
として取り扱った場合にも全く同様の効果がそれぞれ得
られる。

【００８７】

【発明の効果】以上説明したように、本発明の動きベク
トル検出装置は、入力画像信号を時間的に間引いてサン
プリングするサブサンプリング手段と、フーリエ変換を
行う離散フーリエ変換手段と、その出力データを１画面
分記憶する記憶手段とを備え、前フレームと現フレーム
を周波数領域で割算することによって動きベクトル量を
位相成分で表し、逆離散フーリエ変換手段で逆フーリエ
変換しその結果を判定手段で判定することによって動き
ベクトル量を少ない計算で精度よく求めることができる
動きベクトル検出装置を実現できるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動きベクトル検
出装置の構成を示すブロック図である。

【図２】図１の第１の実施例における動きベクトル量を
計算する方法を説明するための図である。

【図３】図１の第１の実施例における動きベクトル量を
重み付け計算で求める方法を説明するための図である。

【図４】図１の第１の実施例における動きベクトル量を
重み付け計算で求める他の一方法を説明するための図で
ある。

【図５】本発明の第２の実施例における動きベクトル検
出装置の構成を示すブロック図である。

【図６】本発明の第３の実施例における動きベクトル検
出装置の構成を示すブロック図である。

【図７】本発明の第４の実施例における動きベクトル検
出装置の構成を示すブロック図である。

【図８】従来の動きベクトル検出装置の構成を示すブロ
ック図である。

【図９】図８の動きベクトル検出装置の動作を説明する
ための図である。

【符号の説明】 １…サブサンプリング手段、 ２…離散フーリエ変換手
段、 ３…記憶手段、４…割算手段、 ５…逆離散フー
リエ変換手段、 ６…第１の判定手段、 ７…低域通過
手段、 ８…絶対値計算手段、 ９…第２の判定手段、
10…差分値計算手段、 11…第３の判定手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 秀和 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 瀬藤 幸児 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力画像信号を時間的に間引いて標本化
   するサブサンプリング手段と、サブサンプリングされた
   データをフーリエ変換する離散フーリエ変換手段と、フ
   ーリエ変換されたデータを一時記憶する記憶手段と、前
   記離散フーリエ変換手段でフーリエ変換されたデータと
   前記記憶手段にて一時記憶されたデータとの割算を行う
   割算手段と、前記割算手段の出力を逆フーリエ変換する
   逆離散フーリエ変換手段と、前記逆離散フーリエ変換手
   段の出力より動きベクトル量を検出する第１の判定手段
   とを有することを特徴とする動きベクトル検出装置。
2. 【請求項２】 前記入力画像信号のうち低域成分のみを
   通過させ高域成分を遮断する低域通過手段を有し、入力
   画像信号が前記サブサンプリング手段に入力される前に
   前記低域通過手段に入力され、前記低域通過手段の出力
   がサブサンプリング手段に入力されることを特徴とする
   請求項１記載の動きベクトル検出装置。
3. 【請求項３】 前記割算手段の出力の絶対値を計算する
   絶対値計算手段と、前記絶対値計算手段の出力と前記逆
   離散フーリエ変換手段の出力とから動きベクトル量を判
   定する第２の判定手段とを有することを特徴とする請求
   項１または２記載の動きベクトル検出装置。
4. 【請求項４】 前記記憶手段の出力と前記離散フーリエ
   変換手段の出力との差分値を計算する差分値計算手段
   と、前記差分値計算手段の出力と前記逆離散フーリエ変
   換手段の出力とから動きベクトル量を判定する第３の判
   定手段とを有することを特徴とする請求項１または２記
   載の動きベクトル検出装置。