JP2947361B2 - 画像の動き測定方法および装置 - Google Patents
画像の動き測定方法および装置Info
- Publication number
- JP2947361B2 JP2947361B2 JP1227643A JP22764389A JP2947361B2 JP 2947361 B2 JP2947361 B2 JP 2947361B2 JP 1227643 A JP1227643 A JP 1227643A JP 22764389 A JP22764389 A JP 22764389A JP 2947361 B2 JP2947361 B2 JP 2947361B2
- Authority
- JP
- Japan
- Prior art keywords
- sample point
- correlation value
- magnitude
- measuring
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は２つの画像を相関して相関を変位の関数とし
て決めて各動きのベクトルに相当する１つ以上のピーク
相関値を測定するようにして画像の動きを測定する方法
およびこの方法を実施する装置に関するものである。
て決めて各動きのベクトルに相当する１つ以上のピーク
相関値を測定するようにして画像の動きを測定する方法
およびこの方法を実施する装置に関するものである。
（従来の技術） テレビジョン画像の動きのベクトルの発生に特に関す
る上述した種類の画像の動き測定方法は英国特許出願GB
−2188510A明細書に記載されている。高精細度テレビジ
ョン（HDTV）の分野では、動きのベクトルはテレビジョ
ン信号と共に搬送すると共にこれを用いて受信した信号
のラインに追加のラインを形成するかまたは受信した信
号のフィールド間に追加のフィールドを形成することに
より増強表示を受像管で行っていた。
る上述した種類の画像の動き測定方法は英国特許出願GB
−2188510A明細書に記載されている。高精細度テレビジ
ョン（HDTV）の分野では、動きのベクトルはテレビジョ
ン信号と共に搬送すると共にこれを用いて受信した信号
のラインに追加のラインを形成するかまたは受信した信
号のフィールド間に追加のフィールドを形成することに
より増強表示を受像管で行っていた。
（発明が解決しようとする課題） かかる動きのベクトルは２つの画像間の相関の結果生
ずるものであり、テレビジョン信号に場合には、その位
置をサブー画像の精度で認識し得るようにするのが好適
である。
ずるものであり、テレビジョン信号に場合には、その位
置をサブー画像の精度で認識し得るようにするのが好適
である。
本発明はかかる位置を比較的簡単に認識し得るように
した上述の種類の画像の動き測定方法および装置を提供
することを目的とする。
した上述の種類の画像の動き測定方法および装置を提供
することを目的とする。
（課題を解決するための手段） 本発明方法は２つの画像を相関して相関を変位の関数
として決めて各動きのベクトルに相当する１つ以上のピ
ーク相関値を測定するようにして画像の動きを測定する
に当たり、次のステップ： Ｉ） ピーク相関値に関連する相関関数の最大相関値の
サンプル点を位置決めし、 II） 前記最大相関値のサンプル点を直接隣接して包囲
するサンプル点から前記最大相関値のサンプル点および
これを囲む最大相関値のサンプル点間の最も急峻な傾度
に関連する第２のサンプル点を測定し、 III） 前記最大相関値のサンプル点の大きさおよび前
記第２のサンプル点の大きさ間の差（d1）の大きさまた
はこれに比例する他の量を測定し、 IV） 前記最大相関値のサンプル点の大きさと、前記最
大相関値のサンプル点および第２のサンプル点と同一直
線上にあるも前記第２のサンプル点またはこれに比例す
る他の量から離間している第３の包囲サンプル点の大き
さとの間の差（d2）の大きさを測定し、 Ｖ） 前記ステップ（III）および（IV）で形成した結
果を比較して最大相関値のサンプル点に関連するピーク
相関値の位置を隣接サンプル点間の間隔よりも良好な精
度で測定する、ステップを具えるようにしたことを特徴
とする。
として決めて各動きのベクトルに相当する１つ以上のピ
ーク相関値を測定するようにして画像の動きを測定する
に当たり、次のステップ： Ｉ） ピーク相関値に関連する相関関数の最大相関値の
サンプル点を位置決めし、 II） 前記最大相関値のサンプル点を直接隣接して包囲
するサンプル点から前記最大相関値のサンプル点および
これを囲む最大相関値のサンプル点間の最も急峻な傾度
に関連する第２のサンプル点を測定し、 III） 前記最大相関値のサンプル点の大きさおよび前
記第２のサンプル点の大きさ間の差（d1）の大きさまた
はこれに比例する他の量を測定し、 IV） 前記最大相関値のサンプル点の大きさと、前記最
大相関値のサンプル点および第２のサンプル点と同一直
線上にあるも前記第２のサンプル点またはこれに比例す
る他の量から離間している第３の包囲サンプル点の大き
さとの間の差（d2）の大きさを測定し、 Ｖ） 前記ステップ（III）および（IV）で形成した結
果を比較して最大相関値のサンプル点に関連するピーク
相関値の位置を隣接サンプル点間の間隔よりも良好な精
度で測定する、ステップを具えるようにしたことを特徴
とする。
かかる方法によれば、前述した方法で必要とされる集
約的数学演算と置換し得る極めて簡単な数回の比較を行
うだけの利点を有する。
約的数学演算と置換し得る極めて簡単な数回の比較を行
うだけの利点を有する。
本発明画像の動き測定方法の好適な例では前記サンプ
ル点を１画素離間し、前記差d2または比例量が前記差d1
または比例量よりも大きい場合には前記ピーク相関値は
前記最大相関値のサンプル点に一致するものとし、前記
差d2または比例量が前記差d1または比例量の1/2よりも
小さい場合には前記ピーク相関値は前記最大相関値のサ
ンプル点と前記第３の包囲サンプル点との間の1/2のラ
インに位置するものとする。
ル点を１画素離間し、前記差d2または比例量が前記差d1
または比例量よりも大きい場合には前記ピーク相関値は
前記最大相関値のサンプル点に一致するものとし、前記
差d2または比例量が前記差d1または比例量の1/2よりも
小さい場合には前記ピーク相関値は前記最大相関値のサ
ンプル点と前記第３の包囲サンプル点との間の1/2のラ
インに位置するものとする。
本発明をテレビジョンの共に用いる場合には前記２つ
の画像をテレビジョン信号の隣接フレームとし、各フレ
ームを複数の領域に分割し、これらフレームの関連する
領域に相関を行なうようにするのが好適である。
の画像をテレビジョン信号の隣接フレームとし、各フレ
ームを複数の領域に分割し、これらフレームの関連する
領域に相関を行なうようにするのが好適である。
本発明画像の動き測定方法を実施する装置は相関関係
が最大相関値の少なくとも１つのサンプル点を含む変位
の関数として相関を決めるサンプリングされた相関面を
２つの画像から形成する手段と、前記最大相関値のサン
プル点を位置決めする手段と、前記最大相関値のサンプ
ル点を直接包囲する相関関数のサンプル点を検査すると
共に前記包囲サンプル点および前記最大相関値のサンプ
ル点間の急峻な傾度に関連する第２のサンプル点を測定
する手段と、前記最大相関値のサンプル点の大きさおよ
び前記第２のサンプル点の大きさまたはこれに比例する
他の量間の差（d1）の大きさを測定する手段と、前記最
大相関値のサンプル点の大きさおよび第３の包囲サンプ
ル点の大きさ間の差（d2）の大きさを測定する手段と、
かくして形成した２つの結果を比較して最大相関値のサ
ンプル点に関連する前記相関値におけるピーク相関値の
位置を隣接サンプル点間の間隔よりも良好な精度で測定
する手段とを具えることを特徴とする。
が最大相関値の少なくとも１つのサンプル点を含む変位
の関数として相関を決めるサンプリングされた相関面を
２つの画像から形成する手段と、前記最大相関値のサン
プル点を位置決めする手段と、前記最大相関値のサンプ
ル点を直接包囲する相関関数のサンプル点を検査すると
共に前記包囲サンプル点および前記最大相関値のサンプ
ル点間の急峻な傾度に関連する第２のサンプル点を測定
する手段と、前記最大相関値のサンプル点の大きさおよ
び前記第２のサンプル点の大きさまたはこれに比例する
他の量間の差（d1）の大きさを測定する手段と、前記最
大相関値のサンプル点の大きさおよび第３の包囲サンプ
ル点の大きさ間の差（d2）の大きさを測定する手段と、
かくして形成した２つの結果を比較して最大相関値のサ
ンプル点に関連する前記相関値におけるピーク相関値の
位置を隣接サンプル点間の間隔よりも良好な精度で測定
する手段とを具えることを特徴とする。
（実施例） 第１図はテレビジョン画像の２つの隣接フレームの同
一領域を相関することにより得た相関面を示す。各領域
を32画素×32ラインとし、従って第１図のＸおよびＹ方
向の変位は、各サンプルが１画素離間した状態で−16サ
ンプル位置から＋16サンプル位置移動するようになる。
実際上、第１図では連続相関面はみえないが、１画素離
間された所定の大きさの一連の個別のサンプルとしてみ
ることができる。この相関面は、上述した英国特許出願
の明細書又はSPIE第119巻、“デジタル像処理の応用”
（IOCC 1977）におけるジェイ・ジェイ・ピアーソン、
デイ・シー・ハインス ジュニア、エス・ゴロスマンお
よびシー・デイ・クグリンによる論文“ビデオ−レイト
イメージ コレレイション プロセッサ”に記載され
ているような位相相関によって、或は関連する領域の最
適整合のような任意の他の好適な方法によって得ること
ができる。この場合の零変位は動きのない場合を示し、
零変位位置から離れて位置するピークはこの領域内の素
子の移動の変化度合を示す。サンプルを１画素の間隔で
離して設けるも、実際のピークの位置はサブ−画素の精
度で測定し得るようにするのが好適である。これを達成
し得る手段を第２図につき説明する。
一領域を相関することにより得た相関面を示す。各領域
を32画素×32ラインとし、従って第１図のＸおよびＹ方
向の変位は、各サンプルが１画素離間した状態で−16サ
ンプル位置から＋16サンプル位置移動するようになる。
実際上、第１図では連続相関面はみえないが、１画素離
間された所定の大きさの一連の個別のサンプルとしてみ
ることができる。この相関面は、上述した英国特許出願
の明細書又はSPIE第119巻、“デジタル像処理の応用”
（IOCC 1977）におけるジェイ・ジェイ・ピアーソン、
デイ・シー・ハインス ジュニア、エス・ゴロスマンお
よびシー・デイ・クグリンによる論文“ビデオ−レイト
イメージ コレレイション プロセッサ”に記載され
ているような位相相関によって、或は関連する領域の最
適整合のような任意の他の好適な方法によって得ること
ができる。この場合の零変位は動きのない場合を示し、
零変位位置から離れて位置するピークはこの領域内の素
子の移動の変化度合を示す。サンプルを１画素の間隔で
離して設けるも、実際のピークの位置はサブ−画素の精
度で測定し得るようにするのが好適である。これを達成
し得る手段を第２図につき説明する。
第１図につき説明したように、実際に相関面は１画素
離れた位置で一連の個別のサンプルを発生する。これが
ため、１つのピークは位置する最大のサンプルに一致し
ない。１ピークの座標を一層正確に規定するためには、
まず最初、相関面を検査して最大の大きさのサンプルを
有する点を測定し得るようにする。これを、第２図に点
Ｐとして示す。第２図は相関面の一部分の平面図であ
る。点Ｐから８個のサンプル点Ａ〜Ｈを見たところから
明らかなように、点Ｐを包囲する離れた箇所の１つの画
素を考慮するものとすると、包囲点Ａ〜Ｐの各々と点Ｐ
とを結ぶ線の相対傾度は図示のようになる。最も鋭敏な
傾度のラインが通過する包囲点を選択し、その大きさを
確立する。このサンプル点をＤとする。これから明らか
なように、サンプルＰに関連するピークは頂点が点Ｐの
斜線を付けた三角形内に位置させる必要があると共に各
辺が点Ｂ、Ｄ、ＦおよびＨから1/2画素間隔の距離にあ
る破線の正方形内に位置させる必要がある。実際のピー
クの２つの位置を第３および４図に示す。第３および４
図は相関面の一部分をサンプル点Ｈ、ＰおよびＤを通る
面に沿ってみた断面図である。第３図においてピークＰ
はサンプル点Ｐの座標に近接して位置させるが、第４図
においてピークＫはサンプル点Ｐの座標に対しこれより
も1/2画素間隔の座標に近い箇所に位置させるようにす
る。次いで、点Ｐのサンプルの大きさと点Ｄのサンプル
の大きさとの差（d1）の大きさを測定する。次に、点Ｄ
から点Ｐを越えて延在する直線のサンプル（この場合点
Ｈ）を考慮し、この点のサンプルの大きさと点Ｐのサン
プルの大きさとの間の差d2を測定する。その後これら差
d1およびd2を比較する。差d2が差d1よりも大きい場合に
はピークＫをサンプル点Ｐの座標に接近して位置させる
が、差d2が差d1の1/2よりも小さい場合にはピークを座
標に対しその1/2の座標に接近して位置させるようにす
る。これは第３図からも一層明らかである。
離れた位置で一連の個別のサンプルを発生する。これが
ため、１つのピークは位置する最大のサンプルに一致し
ない。１ピークの座標を一層正確に規定するためには、
まず最初、相関面を検査して最大の大きさのサンプルを
有する点を測定し得るようにする。これを、第２図に点
Ｐとして示す。第２図は相関面の一部分の平面図であ
る。点Ｐから８個のサンプル点Ａ〜Ｈを見たところから
明らかなように、点Ｐを包囲する離れた箇所の１つの画
素を考慮するものとすると、包囲点Ａ〜Ｐの各々と点Ｐ
とを結ぶ線の相対傾度は図示のようになる。最も鋭敏な
傾度のラインが通過する包囲点を選択し、その大きさを
確立する。このサンプル点をＤとする。これから明らか
なように、サンプルＰに関連するピークは頂点が点Ｐの
斜線を付けた三角形内に位置させる必要があると共に各
辺が点Ｂ、Ｄ、ＦおよびＨから1/2画素間隔の距離にあ
る破線の正方形内に位置させる必要がある。実際のピー
クの２つの位置を第３および４図に示す。第３および４
図は相関面の一部分をサンプル点Ｈ、ＰおよびＤを通る
面に沿ってみた断面図である。第３図においてピークＰ
はサンプル点Ｐの座標に近接して位置させるが、第４図
においてピークＫはサンプル点Ｐの座標に対しこれより
も1/2画素間隔の座標に近い箇所に位置させるようにす
る。次いで、点Ｐのサンプルの大きさと点Ｄのサンプル
の大きさとの差（d1）の大きさを測定する。次に、点Ｄ
から点Ｐを越えて延在する直線のサンプル（この場合点
Ｈ）を考慮し、この点のサンプルの大きさと点Ｐのサン
プルの大きさとの間の差d2を測定する。その後これら差
d1およびd2を比較する。差d2が差d1よりも大きい場合に
はピークＫをサンプル点Ｐの座標に接近して位置させる
が、差d2が差d1の1/2よりも小さい場合にはピークを座
標に対しその1/2の座標に接近して位置させるようにす
る。これは第３図からも一層明らかである。
第３および４図において、ユニットのスケールを各図
の左側に示す。第３図から明らかなように、差d1は８ユ
ニットであり、差d2は６ユニットである。これがため、
差d2は差d1の0.5倍よりも大きく、上述したように、ピ
ークＫはサンプル点Ｐに隣接して位置する。1/2画素で
正確に作動させるためには、適宜の座標をサンプル点Ｐ
の座標とする。第４図においても、差d1は８ユニットで
あり、差d2は２ユニットに減少し、この場合差d2は差d1
の0.5倍以下である。これは上述した所からも明らかな
ように、ピークＫはサンプル点Ｐ自体に対しこれよりも
サンプル点ＰおよびＨ間の1/2の画素間隔（破線）だけ
接近して位置させるようにする。これがため、1/2画素
で正確に作動させるた場合には、第４図の場合にピーク
Ｋの座標をサンプル点ＰおよびＨ間の破線の座標とす
る。
の左側に示す。第３図から明らかなように、差d1は８ユ
ニットであり、差d2は６ユニットである。これがため、
差d2は差d1の0.5倍よりも大きく、上述したように、ピ
ークＫはサンプル点Ｐに隣接して位置する。1/2画素で
正確に作動させるためには、適宜の座標をサンプル点Ｐ
の座標とする。第４図においても、差d1は８ユニットで
あり、差d2は２ユニットに減少し、この場合差d2は差d1
の0.5倍以下である。これは上述した所からも明らかな
ように、ピークＫはサンプル点Ｐ自体に対しこれよりも
サンプル点ＰおよびＨ間の1/2の画素間隔（破線）だけ
接近して位置させるようにする。これがため、1/2画素
で正確に作動させるた場合には、第４図の場合にピーク
Ｋの座標をサンプル点ＰおよびＨ間の破線の座標とす
る。
上述した所では、所定領域の相関面に主ピークを位置
させるために、最大の大きさのサンプル点を位置させる
ようにしている。次いで、かかるピークに関連する最大
の大きさの部分サンプル点を位置させることによって、
かかる処理を相関面の他の（少ない）ピークに対して繰
り返す。
させるために、最大の大きさのサンプル点を位置させる
ようにしている。次いで、かかるピークに関連する最大
の大きさの部分サンプル点を位置させることによって、
かかる処理を相関面の他の（少ない）ピークに対して繰
り返す。
第５図は上述した方法を実施する装置をブロック図で
示す。かかる装置は一般にテレビジョン信号の場合に送
信側で信号処理装置と共に用いる。しかし、左程ほど経
済的ではないが、かかる装置をテレビジョン受像装置に
設けることもできる。第５図において、入力端子１に輝
度信号をフレーム毎に、または、領域毎に供給する。こ
の輝度信号を画像メモリ２に供給し、ここで輝度信号を
フレーム周期だけ遅延し、遅延した輝度信号を第１信号
処理段３に供給してこの信号を２次元フーリエ変換す
る。また、入力端子１の輝度信号も第２信号処理段４に
直接供給してここで未遅延輝度信号を同様に２次元フー
リエ変換する。かくしてフーリエ変換した情報を位相減
算器５に供給してその２つの入力端子間に位相差を形成
し、この位相差を第３信号処理段６に供給してその出力
を逆フーリエ変換する。この出力は第１図に示すように
個別の相関サンプル形態の代表的な相関面で示される相
関関数である。
示す。かかる装置は一般にテレビジョン信号の場合に送
信側で信号処理装置と共に用いる。しかし、左程ほど経
済的ではないが、かかる装置をテレビジョン受像装置に
設けることもできる。第５図において、入力端子１に輝
度信号をフレーム毎に、または、領域毎に供給する。こ
の輝度信号を画像メモリ２に供給し、ここで輝度信号を
フレーム周期だけ遅延し、遅延した輝度信号を第１信号
処理段３に供給してこの信号を２次元フーリエ変換す
る。また、入力端子１の輝度信号も第２信号処理段４に
直接供給してここで未遅延輝度信号を同様に２次元フー
リエ変換する。かくしてフーリエ変換した情報を位相減
算器５に供給してその２つの入力端子間に位相差を形成
し、この位相差を第３信号処理段６に供給してその出力
を逆フーリエ変換する。この出力は第１図に示すように
個別の相関サンプル形態の代表的な相関面で示される相
関関数である。
第３信号処理段６からの相関サンプルを最大サンプル
ロケータ７に供給して所定値以上の大きさの１つ以上の
サンプル点の位置を示すようにする。これらの位置をピ
ークロケータ８に供給して異なるピークに関連する最大
の大きさのサンプルを検索し得るようにする。かかるサ
ンプルの１つを第２図にＰで示すサンプルとする。調査
中のサンプルＰの位置を、第３信号処理段６からの相関
サンプルと共に急峻傾度ロケータ９に供給して点Ｐのサ
ンプルを囲む８つのサンプルの各々を検査してこれらサ
ンプル点から点Ｐまでの傾度のいずれが最も急峻である
かを測定し得るようにする。第２図の場合のように、最
大急峻傾度がサンプル点Ｄを通過し、最大急峻傾度選択
器９の出力がこの点および点ＰおよびＤのサンプル間の
大きさの差（d1）を確認する。また、ピークロケータ８
の出力および第３信号処理段６からの相関サンプルをも
対向サンプル点選択器10に供給し、この対向サンプル点
選択器10には急峻傾度ロケータ９によって選択されたサ
ンプル点の識別をも供給する。この対向サンプル点選択
器10によって点ＰおよびＤと同一直線上にあり、しかも
点Ｐとは反対側にあるサンプル点（第２図においてはサ
ンプル点Ｈ）を選択し、その出力側に点ＰおよびＨのサ
ンプル間の大きさの差（d2）を発生し得るようにする。
これを差d1に関する同様の情報と共に大きさ比計数器11
に供給し、この計数器によって上述した比較を行って差
d2が差d1の0.5倍よりも大きいか、または小さいかを測
定し得るようにする。真のピーク位置を示すこの比較結
果を高精細度ベクトル計算器12に供給し、この計算器に
はピークロケータ８から調査中のサンプルＰの位置をも
供給する。計算器12によって供給された情報からサンプ
ル点Ｐに関連するピークの動きのベクトルをサブ−画素
精度で計算し、高精細度の動きのベクトルが出力端子13
に存在し得るようにする。かかる処理を画像または領域
の他のピークに対して繰返すようにする。
ロケータ７に供給して所定値以上の大きさの１つ以上の
サンプル点の位置を示すようにする。これらの位置をピ
ークロケータ８に供給して異なるピークに関連する最大
の大きさのサンプルを検索し得るようにする。かかるサ
ンプルの１つを第２図にＰで示すサンプルとする。調査
中のサンプルＰの位置を、第３信号処理段６からの相関
サンプルと共に急峻傾度ロケータ９に供給して点Ｐのサ
ンプルを囲む８つのサンプルの各々を検査してこれらサ
ンプル点から点Ｐまでの傾度のいずれが最も急峻である
かを測定し得るようにする。第２図の場合のように、最
大急峻傾度がサンプル点Ｄを通過し、最大急峻傾度選択
器９の出力がこの点および点ＰおよびＤのサンプル間の
大きさの差（d1）を確認する。また、ピークロケータ８
の出力および第３信号処理段６からの相関サンプルをも
対向サンプル点選択器10に供給し、この対向サンプル点
選択器10には急峻傾度ロケータ９によって選択されたサ
ンプル点の識別をも供給する。この対向サンプル点選択
器10によって点ＰおよびＤと同一直線上にあり、しかも
点Ｐとは反対側にあるサンプル点（第２図においてはサ
ンプル点Ｈ）を選択し、その出力側に点ＰおよびＨのサ
ンプル間の大きさの差（d2）を発生し得るようにする。
これを差d1に関する同様の情報と共に大きさ比計数器11
に供給し、この計数器によって上述した比較を行って差
d2が差d1の0.5倍よりも大きいか、または小さいかを測
定し得るようにする。真のピーク位置を示すこの比較結
果を高精細度ベクトル計算器12に供給し、この計算器に
はピークロケータ８から調査中のサンプルＰの位置をも
供給する。計算器12によって供給された情報からサンプ
ル点Ｐに関連するピークの動きのベクトルをサブ−画素
精度で計算し、高精細度の動きのベクトルが出力端子13
に存在し得るようにする。かかる処理を画像または領域
の他のピークに対して繰返すようにする。
第５図につき説明した装置および前述した方法の変形
例では、対向サンプル点検出器10および大きさ比計数器
11の代わりに対向傾度ロケータおよび傾度比計算器をそ
れぞれ用いる。次いで、この対向傾度ロケータによって
対向サンプル点Ｈおよび最大サンプル点Ｐ間の傾度を測
定し得るようにすると共に、その後傾度比計算器によっ
て点Ｈ−Ｐの傾度と最大急峻傾度ロケータ９から取り出
した点Ｄ−Ｐの傾度とを比較する。点Ｈ−Ｐの傾度が点
Ｄ−Ｐの傾度の1/2よりも大きい場合には、実際のピー
クは1/2画素点に対しこれよりもサンプル点Ｐに近く位
置するようになる。しかし、点Ｈ−Ｐの傾度が点Ｄ−Ｐ
の傾度の1/2よりも小さい場合には実際のピークはサン
プル点に対しこれよりも1/2画素点に近接して位置する
ようになる。これは第３および４図の１点鎖線から明ら
かである。これら個別の傾斜が前記差の大きさd1および
d2に比例することは明らかである。
例では、対向サンプル点検出器10および大きさ比計数器
11の代わりに対向傾度ロケータおよび傾度比計算器をそ
れぞれ用いる。次いで、この対向傾度ロケータによって
対向サンプル点Ｈおよび最大サンプル点Ｐ間の傾度を測
定し得るようにすると共に、その後傾度比計算器によっ
て点Ｈ−Ｐの傾度と最大急峻傾度ロケータ９から取り出
した点Ｄ−Ｐの傾度とを比較する。点Ｈ−Ｐの傾度が点
Ｄ−Ｐの傾度の1/2よりも大きい場合には、実際のピー
クは1/2画素点に対しこれよりもサンプル点Ｐに近く位
置するようになる。しかし、点Ｈ−Ｐの傾度が点Ｄ−Ｐ
の傾度の1/2よりも小さい場合には実際のピークはサン
プル点に対しこれよりも1/2画素点に近接して位置する
ようになる。これは第３および４図の１点鎖線から明ら
かである。これら個別の傾斜が前記差の大きさd1および
d2に比例することは明らかである。
上述した所では本発明方法は特定の機能を有する装置
ユニットによって実施されるものとして説明したが、完
全なソフトウエア制御のもとでマイクロコンピュータに
よってかかる方法を実施することができる。
ユニットによって実施されるものとして説明したが、完
全なソフトウエア制御のもとでマイクロコンピュータに
よってかかる方法を実施することができる。
本発明は上述した例にのみ限定されるものではなく、
要旨を変更しない範囲内で種々の変形または変更が可能
である。
要旨を変更しない範囲内で種々の変形または変更が可能
である。
第１図は本発明テレビジョン画像の隣接フレームからの
同一領域の相関面を示す斜視図、 第２図は第１図の一部分を示す平面図、 第３および４図は第２図の断面図、 第５図は本発明画像の動き測定方法を実施する装置の構
成を示すブロック回路図である。 １……入力端子 ２……画像メモリ ３……第１処理段 ４……第２処理段 ５……位相減算器 ６……第３処理段 ７……最大サンプルロケータ ８……ピークロケータ ９……最大急峻傾度ロケータ 10……対向サンプル点検出器 11……大きさ比計数器 12……高精細度ベクトル計算器 13……出力端子
同一領域の相関面を示す斜視図、 第２図は第１図の一部分を示す平面図、 第３および４図は第２図の断面図、 第５図は本発明画像の動き測定方法を実施する装置の構
成を示すブロック回路図である。 １……入力端子 ２……画像メモリ ３……第１処理段 ４……第２処理段 ５……位相減算器 ６……第３処理段 ７……最大サンプルロケータ ８……ピークロケータ ９……最大急峻傾度ロケータ 10……対向サンプル点検出器 11……大きさ比計数器 12……高精細度ベクトル計算器 13……出力端子
Claims (5)
- 【請求項１】２つの画像を相関して相関を変位の関数と
して決めて各動きのベクトルに相当する１つ以上のピー
ク相関値を測定するようにして画像の動きを測定するに
当たり、次のステップ： Ｉ） ピーク相関値に関連する相関関数の最大相関値の
サンプル点を位置決めし、 II） 前記最大相関値のサンプル点を直接隣接して包囲
するサンプル点から前記最大相関値のサンプル点および
これを囲む最大相関値のサンプル点間の最も急峻な傾度
に関連する第２のサンプル点を測定し、 III） 前記最大相関値のサンプル点の大きさおよび前
記第２のサンプル点の大きさ間の差（d1）の大きさまた
はこれに比例する他の量を測定し、 IV） 前記最大相関値のサンプル点の大きさと、前記最
大相関値のサンプル点および第２のサンプル点と同一直
線上にあるも前記第２のサンプル点またはこれに比例す
る他の量から離間している第３の包囲サンプル点の大き
さとの間の差（d2）の大きさを測定し、 Ｖ） 前記ステップ（III）および（IV）で形成した結
果を比較して最大相関値のサンプル点に関連するピーク
相関値の位置を隣接サンプル点間の間隔よりも良好な精
度で測定する、ステップを具えるようにしたことを特徴
とする画像の動き測定方法。 - 【請求項２】前記サンプル点を１画素離間し、前記差d2
または比例量が前記差d1または比例量よりも大きい場合
には前記ピーク相関値は前記最大相関値のサンプル点に
一致するものとし、前記差d2または比例量が前記差d1ま
たは比例量の1/2よりも小さい場合には前記ピーク相関
値は前記最大相関値のサンプル点と前記第３の包囲サン
プル点との間の1/2のラインに位置するもの、としたこ
とを特徴とする請求項１に記載の画像の動き測定方法。 - 【請求項３】前記２つの画像をテレビジョン信号の隣接
フレームとし、各フレームを複数の領域に分割し、これ
らフレームの関連する領域に相関を行なうようにしたこ
とを特徴とする請求項１または２に記載の画像の動き測
定方法。 - 【請求項４】請求項１〜３の何れかの項に記載の画像の
動き測定方法を実施する装置。 - 【請求項５】相関関数が最大相関値の少なくとも１つの
サンプル点を含む変位の関数として相関を決めるサンプ
リングされた相関面を２つの画像から形成する手段と、
前記最大相関値のサンプル点を位置決めする手段と、前
記最大相関値のサンプル点を直接包囲する相関関数のサ
ンプル点を検査すると共に前記包囲サンプル点および前
記最大相関値のサンプル点間の急峻な傾度に関連する第
２のサンプル点を測定する手段と、前記最大相関値のサ
ンプル点の大きさおよび前記第２のサンプル点の大きさ
またはこれに比例する他の量間の差（d1）の大きさを測
定する手段と、前記最大相関値のサンプル点の大きさお
よび第３の包囲サンプル点の大きさ間の差（d2）の大き
さを測定する手段と、かくして形成した２つの結果を比
較して最大相関値のサンプル点に関連する前記相関値に
おけるピーク相関値の位置を隣接サンプル点間の間隔よ
りも良好な精度で測定する手段とを具えることを特徴と
する画像の動き測定装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB8820837.6 | 1988-09-05 | ||
| GB8820837A GB2222498A (en) | 1988-09-05 | 1988-09-05 | Picture motion measurement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02108394A JPH02108394A (ja) | 1990-04-20 |
| JP2947361B2 true JP2947361B2 (ja) | 1999-09-13 |
Family
ID=10643109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1227643A Expired - Lifetime JP2947361B2 (ja) | 1988-09-05 | 1989-09-04 | 画像の動き測定方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5008744A (ja) |
| EP (1) | EP0366165B1 (ja) |
| JP (1) | JP2947361B2 (ja) |
| DE (1) | DE68922689T2 (ja) |
| GB (1) | GB2222498A (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2309350B (en) * | 1993-04-08 | 1998-01-07 | Sony Uk Ltd | Motion compensated video signal processing |
| GB2278972B (en) * | 1993-06-09 | 1997-06-04 | Sony Uk Ltd | Motion vector generation |
| US5623313A (en) * | 1995-09-22 | 1997-04-22 | Tektronix, Inc. | Fractional pixel motion estimation of video signals |
| US6240208B1 (en) * | 1998-07-23 | 2001-05-29 | Cognex Corporation | Method for automatic visual identification of a reference site in an image |
| US6483538B2 (en) | 1998-11-05 | 2002-11-19 | Tektronix, Inc. | High precision sub-pixel spatial alignment of digital images |
| JP2010028220A (ja) | 2008-07-15 | 2010-02-04 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム |
| JP2010028221A (ja) | 2008-07-15 | 2010-02-04 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930006866B1 (ko) * | 1984-09-07 | 1993-07-24 | 쏘니 가부시기가이샤 | 텔레비젼신호의 움직임검출회로 |
| JPS61113377A (ja) * | 1984-11-07 | 1986-05-31 | Sony Corp | テレビジヨン信号の動き検出装置 |
| GB8604253D0 (en) * | 1986-02-20 | 1986-03-26 | British Broadcasting Corp | Video signal processing systems |
| JP2609263B2 (ja) * | 1986-03-19 | 1997-05-14 | ブリティッシュ・ブロードキャスティング・コーポレーション | テレビジョン画像における運動の測定方法及び装置 |
| FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| DE3854171T2 (de) * | 1987-06-09 | 1995-12-21 | Sony Corp | Bewertung von Bewegungsvektoren in Fernsehbildern. |
-
1988
- 1988-09-05 GB GB8820837A patent/GB2222498A/en not_active Withdrawn
-
1989
- 1989-08-02 US US07/388,421 patent/US5008744A/en not_active Expired - Fee Related
- 1989-09-01 DE DE68922689T patent/DE68922689T2/de not_active Expired - Fee Related
- 1989-09-01 EP EP89202208A patent/EP0366165B1/en not_active Expired - Lifetime
- 1989-09-04 JP JP1227643A patent/JP2947361B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE68922689D1 (de) | 1995-06-22 |
| EP0366165A3 (en) | 1991-09-11 |
| EP0366165A2 (en) | 1990-05-02 |
| EP0366165B1 (en) | 1995-05-17 |
| DE68922689T2 (de) | 1995-11-16 |
| GB8820837D0 (en) | 1988-10-05 |
| US5008744A (en) | 1991-04-16 |
| GB2222498A (en) | 1990-03-07 |
| JPH02108394A (ja) | 1990-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0999521A2 (en) | High precision sub-pixel spatial alignment of digital images | |
| JPH07505749A (ja) | ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法 | |
| JP2004056789A (ja) | 小型イメージセンサの解像度及び画質改善方法 | |
| JP2947361B2 (ja) | 画像の動き測定方法および装置 | |
| JP3200889B2 (ja) | 画像の振動補正装置 | |
| US4974084A (en) | Method and apparatus for picture motion measurement | |
| JP2947359B2 (ja) | 画像の動き測定方法及び装置 | |
| JP3067275B2 (ja) | シーンチェンジ検出装置 | |
| EP0488721B1 (en) | Movement detection | |
| JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
| JPH07280560A (ja) | 相関演算評価方法 | |
| JP3074292B2 (ja) | テンプレートマッチング処理方法 | |
| JP2741888B2 (ja) | 階層的画像マッチング処理方法および装置 | |
| JPH07306038A (ja) | 距離測定装置 | |
| JPH07177425A (ja) | 動きベクトル検出装置 | |
| JP3471178B2 (ja) | 微小寸法測定方法 | |
| JPH05108827A (ja) | 画像相関演算装置 | |
| JP3523308B2 (ja) | ディスプレイの解像度測定装置 | |
| JP2003035518A (ja) | パターン線幅の測定方法 | |
| JPH04365185A (ja) | 動きベクトル信頼性の判定装置 | |
| JPH05168052A (ja) | ラスターエッジ検出方法 | |
| JPH085369A (ja) | 距離情報測定装置 | |
| JPH10178660A (ja) | フォーカス測定方法 | |
| JPH02253105A (ja) | 画像計測装置 | |
| JPH08279048A (ja) | 画像探索装置 |