JPS61201581A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPS61201581A JPS61201581A JP60042362A JP4236285A JPS61201581A JP S61201581 A JPS61201581 A JP S61201581A JP 60042362 A JP60042362 A JP 60042362A JP 4236285 A JP4236285 A JP 4236285A JP S61201581 A JPS61201581 A JP S61201581A
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- image information
- motion vector
- representative point
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の技術分野〕
この発明は、画面内の画像全体の平行移動量（動きへり
Ｉ・ル）を検出する方法および装置に関する。
Ｉ・ル）を検出する方法および装置に関する。
一般に、テレビジョン画面のような画面内における画像
の動きは、画像中の物体の移動によるものと、カメラの
平行移動（パン）によるものとに大別される。前者は画
像の局部的な動きであるのに対し、後者は画像全体が相
互関係をほぼ維持したまま動く。後者の画像全体の平行
移動量（方向および大きさ）を動きベクトルと称する。
の動きは、画像中の物体の移動によるものと、カメラの
平行移動（パン）によるものとに大別される。前者は画
像の局部的な動きであるのに対し、後者は画像全体が相
互関係をほぼ維持したまま動く。後者の画像全体の平行
移動量（方向および大きさ）を動きベクトルと称する。
即ち、第４図において画面上の画像が（ａ）〜（ｂ）〜
（Ｃ）の如く矢印の方向に平行移動に移動したとき、動
きベクトルは第５図に示されるように横方向および縦方
向の偏移（ξ、η）で与えられる。
（Ｃ）の如く矢印の方向に平行移動に移動したとき、動
きベクトルは第５図に示されるように横方向および縦方
向の偏移（ξ、η）で与えられる。
この動きベクトルを検出し、これを用いて例えば現フレ
ームの画像に前フレームの画像をシフトして重ね合せれ
ば、重ね合せて得られた画像と前フレームの画像との間
の実際の動きを小さくすることができ、ボケの少ない、
より高品質の画像が得られる。また、画像信号を符号化
して伝送する場合、動きベクトルを用いて重ね合せられ
た画像の動きが小さくなることは、連続゛した２フレ一
ム間の画像の時間相関性を利用して予測符号化を行なう
際の予測誤差が小さくなるということであり、それによ
って符号化効率の向上に寄与することができる。
ームの画像に前フレームの画像をシフトして重ね合せれ
ば、重ね合せて得られた画像と前フレームの画像との間
の実際の動きを小さくすることができ、ボケの少ない、
より高品質の画像が得られる。また、画像信号を符号化
して伝送する場合、動きベクトルを用いて重ね合せられ
た画像の動きが小さくなることは、連続゛した２フレ一
ム間の画像の時間相関性を利用して予測符号化を行なう
際の予測誤差が小さくなるということであり、それによ
って符号化効率の向上に寄与することができる。
動きベクトルを求めるには、基本的には前フレームと現
フレームの画像情報間の相関演算を行ない、その相関演
算結果のうちの最小値または最大値を与える偏移を求め
ればよいのであるが、単純に画像全体の相関をとると演
ＲＩＢが膨大となって、実時間での検出は実質上不可能
となる。また、相関演算のために要する画像情報の記憶
量が非常に多くなり、ハードウェアも膨大なものとなっ
てしまう。この点をさらに詳しく説明する。
フレームの画像情報間の相関演算を行ない、その相関演
算結果のうちの最小値または最大値を与える偏移を求め
ればよいのであるが、単純に画像全体の相関をとると演
ＲＩＢが膨大となって、実時間での検出は実質上不可能
となる。また、相関演算のために要する画像情報の記憶
量が非常に多くなり、ハードウェアも膨大なものとなっ
てしまう。この点をさらに詳しく説明する。
テレビジョン画像や映画フィルムに撮影された画像より
動きベクトルを検出する方法として、連続するフレーム
間の画像の差を最小にする偏移を求める方法が知られて
いる。即ち、連続する２フレームの画像をとり、前フレ
ームの画像をＱｉ−１（Ｘ、ｙ）、現フレームの画像を
Ｑ＋ （Ｘ、Ｙ）として、Ｃ］＋ （Ｘ、Ｖ）をＸ
方向にξ、ｙ方向にηそれぞれずらせることにより、・
・・（１） あるいは ・・・（２） を求める。ここで、（１）式または（２式の相関値を最
小とする゛（ξ、η）が動きベクトルとなる。原理的に
はΣの範囲は画像全域であるが、実際は上述した演算量
の増大という問題を緩和するため、画像を（ＭＸＮ）個
の小ブロックに分割してρ（ξ。
動きベクトルを検出する方法として、連続するフレーム
間の画像の差を最小にする偏移を求める方法が知られて
いる。即ち、連続する２フレームの画像をとり、前フレ
ームの画像をＱｉ−１（Ｘ、ｙ）、現フレームの画像を
Ｑ＋ （Ｘ、Ｙ）として、Ｃ］＋ （Ｘ、Ｖ）をＸ
方向にξ、ｙ方向にηそれぞれずらせることにより、・
・・（１） あるいは ・・・（２） を求める。ここで、（１）式または（２式の相関値を最
小とする゛（ξ、η）が動きベクトルとなる。原理的に
はΣの範囲は画像全域であるが、実際は上述した演算量
の増大という問題を緩和するため、画像を（ＭＸＮ）個
の小ブロックに分割してρ（ξ。
η）を求め、画像全体にわたり小ブロックの個数分これ
らの相関値を累積加算して画像全体のρ′（ξ、η）あ
るいはσ′ （ξ、η）を算出する。
らの相関値を累積加算して画像全体のρ′（ξ、η）あ
るいはσ′ （ξ、η）を算出する。
即ち、画像をに個の小ブロックに分割したとき、ブロッ
ク番号により ρｋ（ξ、η）＝ΣΣ（９１（ｘ−ξ、ｙ−η） −９
ｔ−ｔ（ｘ＋ｙ） ｌ”・・・（３） σｋ（ξ、η）＝ΣΣ１５’１（Ｘ−ξ、−ｙ−η）−
ワｉ−＋ （ｘ、ｙ ） １・・・（４） で表わされる小ブロックでの相関値を求める。そして、 によってρ′ （ξ、η）あるいはσ′ （ξ、η）を
得る。これら（９または（６）式により求められるρ′
（ξ、η）あるいはσ′ （ξ、η）の最小値を与え
る（ξ、η）を動きベクトルとすれば、単純に画像全体
での相関演算を行なう方法に比較して演算量は減少する
。
ク番号により ρｋ（ξ、η）＝ΣΣ（９１（ｘ−ξ、ｙ−η） −９
ｔ−ｔ（ｘ＋ｙ） ｌ”・・・（３） σｋ（ξ、η）＝ΣΣ１５’１（Ｘ−ξ、−ｙ−η）−
ワｉ−＋ （ｘ、ｙ ） １・・・（４） で表わされる小ブロックでの相関値を求める。そして、 によってρ′ （ξ、η）あるいはσ′ （ξ、η）を
得る。これら（９または（６）式により求められるρ′
（ξ、η）あるいはσ′ （ξ、η）の最小値を与え
る（ξ、η）を動きベクトルとすれば、単純に画像全体
での相関演算を行なう方法に比較して演算量は減少する
。
しかしながら、このような演算量を減少させた方法でも
、動きベクトル探索領域をＸ方向の長さが１．Ｖ方向の
良さがＪの（ＩＸＪ）の領域として、（ＩｘＪ）ｘ （
ＭｘＮ）ｘＫ＋に回もの演算を必要とする。しかも、実
際はテレビジョン画像は時間的にシリアルな走査信号の
形式をとっているので、（３または（４）式の演算を実
用するには少なくとも前フレームの画像を全て記憶して
おく必要がある。さらに、ρｋ （ξ、η）、σｋ （
ξ、η）を画素一つ一つについて全て計算するためには
、ＩＸＪ個の相関器を用意して並列に計算せねばならな
い。
、動きベクトル探索領域をＸ方向の長さが１．Ｖ方向の
良さがＪの（ＩＸＪ）の領域として、（ＩｘＪ）ｘ （
ＭｘＮ）ｘＫ＋に回もの演算を必要とする。しかも、実
際はテレビジョン画像は時間的にシリアルな走査信号の
形式をとっているので、（３または（４）式の演算を実
用するには少なくとも前フレームの画像を全て記憶して
おく必要がある。さらに、ρｋ （ξ、η）、σｋ （
ξ、η）を画素一つ一つについて全て計算するためには
、ＩＸＪ個の相関器を用意して並列に計算せねばならな
い。
以上のような動きベクトル検出のための演算を一定時間
以内（例えばテレビジョン画像では１フィールド＝約１
５．７ｍ５ｅｃ内）、つまり画像入力に対し実時間処理
で実行することは不可能に近く、できたとしても極めて
莫大なハードウェアを必要とし、著しく現実性に欠ける
という問題があった。
以内（例えばテレビジョン画像では１フィールド＝約１
５．７ｍ５ｅｃ内）、つまり画像入力に対し実時間処理
で実行することは不可能に近く、できたとしても極めて
莫大なハードウェアを必要とし、著しく現実性に欠ける
という問題があった。
（発明の目的）
本発明の目的は、演算量が少なく、ハードウェアも比較
的小規模で済み、さらに実時間処理が可能な動きベクト
ル検出方法および装置を提供することにある。
的小規模で済み、さらに実時間処理が可能な動きベクト
ル検出方法および装置を提供することにある。
本発明に係る動きベクトル検出方法は、動きベクトルを
検出する動きベクトル探索範囲に対してその範囲が等し
いかまたはそれ以上である相関検出領域と、この相関検
出領域を包含する代表点抽出領域とを設定し、現フレー
ムにおける相関検出領域内の点における画像情報と、相
関検出ｇＡ域に対応する前フレームに設けられた代表点
抽出領域から抽出された代表点の画像情報との相関演算
を行ない、この相関演算結果に基いて動きベクトルを算
出することを特徴とする。
検出する動きベクトル探索範囲に対してその範囲が等し
いかまたはそれ以上である相関検出領域と、この相関検
出領域を包含する代表点抽出領域とを設定し、現フレー
ムにおける相関検出領域内の点における画像情報と、相
関検出ｇＡ域に対応する前フレームに設けられた代表点
抽出領域から抽出された代表点の画像情報との相関演算
を行ない、この相関演算結果に基いて動きベクトルを算
出することを特徴とする。
また、このような動きベクトル検出を行なうための本発
明に係る動きベクトル検出装置は、１フレームの画像情
報が入力される毎に、各フレームについて設定された動
きベクトルを検出する動きベクトル探索範囲に対してそ
の範囲が等しいかまたはそれ以上である相関検出領域を
包含する代表点抽出領域から代表点の画像情報を抽出す
る手段と、この手段により抽出された代表点の画像情報
を保存する記憶手段と、現フレームの画像情報における
相関検出領域内における点の画像情報と、相関検出領域
に対応する前フレームに設けられた代表点抽出領域から
抽出され記憶手段に保存されている代表点における画像
情報との相関演算を行なう手段と、この手段により得ら
れた相関演算結果に基いて動きベクトルを算出する手段
とを備えたことを特徴とする。
明に係る動きベクトル検出装置は、１フレームの画像情
報が入力される毎に、各フレームについて設定された動
きベクトルを検出する動きベクトル探索範囲に対してそ
の範囲が等しいかまたはそれ以上である相関検出領域を
包含する代表点抽出領域から代表点の画像情報を抽出す
る手段と、この手段により抽出された代表点の画像情報
を保存する記憶手段と、現フレームの画像情報における
相関検出領域内における点の画像情報と、相関検出領域
に対応する前フレームに設けられた代表点抽出領域から
抽出され記憶手段に保存されている代表点における画像
情報との相関演算を行なう手段と、この手段により得ら
れた相関演算結果に基いて動きベクトルを算出する手段
とを備えたことを特徴とする。
本発明によれば、動きベクトルを検出するための演算は
、従来のように時間的に連続した２フレームの画像情報
全体についての相関演算でなく、前フレームの画像情報
より間引いて取出した代表点の画像情報と、現フレーム
の画像情報との間の相関演算を行なえばよいので、演算
量は大幅に低減される。従って、例えばテレビジョン画
像の１フイールドあるいは１フレームというような時間
内にこの演算を行なうことは容易であり、実時間処理に
よる動きベクトル検出が可能となる。
、従来のように時間的に連続した２フレームの画像情報
全体についての相関演算でなく、前フレームの画像情報
より間引いて取出した代表点の画像情報と、現フレーム
の画像情報との間の相関演算を行なえばよいので、演算
量は大幅に低減される。従って、例えばテレビジョン画
像の１フイールドあるいは１フレームというような時間
内にこの演算を行なうことは容易であり、実時間処理に
よる動きベクトル検出が可能となる。
また、本発明においては代表点抽出領域が相関検出領域
を包含していることから、現フレームの画像情報と前フ
レームの代表点の画像情報との相関演算は最大１回でよ
いので、従来のように各フレームの画像情報全部を１フ
レーム後の画像情報との間の相関演算のために、あるい
は前フレームの画像情報との間の相関演算のために蓄積
しておく必要はなく、唯一１フレーム後の画像情報との
動きベクトル検出のために代表点の画像情報のみ 。
を包含していることから、現フレームの画像情報と前フ
レームの代表点の画像情報との相関演算は最大１回でよ
いので、従来のように各フレームの画像情報全部を１フ
レーム後の画像情報との間の相関演算のために、あるい
は前フレームの画像情報との間の相関演算のために蓄積
しておく必要はなく、唯一１フレーム後の画像情報との
動きベクトル検出のために代表点の画像情報のみ 。
を保存すればよい。このため、演算器の数が少なくて済
むことと相まってハードウェア規模を大きく軽減するこ
とができる。
むことと相まってハードウェア規模を大きく軽減するこ
とができる。
第２図は本発明による動きベクトル検出方法の概要を説
明するための図であり、相関検出領域１と代表点抽出領
域２との関係を示す。図に示すように、相関検出領域１
は（［ＸＪ）の画素により構成され、（ＭＸＮ）の画素
からなる代表点抽出領１ａ２より小さい領域となってい
るが、代表点抽出領域２に含まれていればよく、代表点
抽出領域２と完全に一致していてもよい。代表点Ａは代
表点抽出領域２より１点だけ抽出される。代表点への位
置は図では領域２の中央であるが、中央でなくともかま
わない。今、代表点Ａより横方向にξ。
明するための図であり、相関検出領域１と代表点抽出領
域２との関係を示す。図に示すように、相関検出領域１
は（［ＸＪ）の画素により構成され、（ＭＸＮ）の画素
からなる代表点抽出領１ａ２より小さい領域となってい
るが、代表点抽出領域２に含まれていればよく、代表点
抽出領域２と完全に一致していてもよい。代表点Ａは代
表点抽出領域２より１点だけ抽出される。代表点への位
置は図では領域２の中央であるが、中央でなくともかま
わない。今、代表点Ａより横方向にξ。
縦方向ηだけ離れた点Ｂを考え、前フレームにおける点
Ａの画像情報と現フレームにおける点Ｂの画像情報との
相関をとると、それが点Ａに対し隔移（ξ、η）の点Ｂ
が持つ相関値となり、後述するように偏移（ξ、η）が
動きベクトルとして検出されるかどうかは、その相関値
の大きさく例えｉＪ最小値かどうか、または最大値かど
うか）によって決定される。本発明においてはそれぞれ
の相関検出領域１内でＢの位置を種々変え、これらの相
関結果に基いて動きベクトルを検出する。
Ａの画像情報と現フレームにおける点Ｂの画像情報との
相関をとると、それが点Ａに対し隔移（ξ、η）の点Ｂ
が持つ相関値となり、後述するように偏移（ξ、η）が
動きベクトルとして検出されるかどうかは、その相関値
の大きさく例えｉＪ最小値かどうか、または最大値かど
うか）によって決定される。本発明においてはそれぞれ
の相関検出領域１内でＢの位置を種々変え、これらの相
関結果に基いて動きベクトルを検出する。
代表点抽出領［２は、相関検出領域１と共に１フレーム
の画像全体について複数個設定される。
の画像全体について複数個設定される。
説明の筒中化のため、代表点を代表点抽出領域２の中央
に選ぶ場合について説明する。１フレームの画像の横方
向の座標をＸ、縦方向の座標をｙとすると、第３図に示
すように横方向ｋｘ番目、縦方向ｋｙ番目の代表点抽出
領域２ｋにおける代表点Ｃの座標は（ｋｘ−Ｍ＋Ｍ／２
．ｋｙ−Ｎ＋Ｎ／２）となる。同じ領域２に内に含まれ
る点の座標は０６０６Ｍ−１，０≦β≦Ｎ−１として、
（ｋｘ−Ｍ＋α、ｋｙ−Ｎ＋β）となる。前フレームの
代表点Ｃの画像情報と、現フレームの対応する相関検出
領域内の各点の画゛像情報との相関を、式（１）または
（２）に従って求める。ここで、前フレームにおける代
表点の画素は、 Ｑｔ−＋（ｋｘ・Ｍ＋Ｍ／２．ｋＶ−Ｎ＋Ｎ／２）で与
えられ、また対応する相関検出領域内の各点の画素は、
Ｑｉ （ｋｘ−Ｍ＋α、 ｋｙ−Ｎ＋β〉で与えられ
る。これらの間の相関は、式（１）に従えば ρｋｘｋｙ（Ｍ／２−α、Ｎ／２−β）＝（ｙｌ（ｋｘ
ＸＭ＋α、に、ＸＮ＋β）−５’ｉ−１（ｋｌ−１（ｋ
ＸＸ／２．に、ＸＮ＋Ｎ／２）ｌ” ・・（７）とな
り、また式（２）に従えば σｋｘｋｙ （Ｍ ／ ２−α、Ｎ／２−β）ニレｉ（
ｋｘＸＭ＋α、に、ＸＮ＋β）ｙ；、−ｓ （ｋＸ Ｘ
Ｍ＋Ｍ ／２ ｒ ｋｙ ｘＮ ＋Ｎ ／２ ） Ｉ
・・’ （”’）となる。ここで、ξ＝Ｍ／２−α
、η−Ｎ／２−βとおけば、それぞれρｋｘｋｙ
（ξ、η）。
に選ぶ場合について説明する。１フレームの画像の横方
向の座標をＸ、縦方向の座標をｙとすると、第３図に示
すように横方向ｋｘ番目、縦方向ｋｙ番目の代表点抽出
領域２ｋにおける代表点Ｃの座標は（ｋｘ−Ｍ＋Ｍ／２
．ｋｙ−Ｎ＋Ｎ／２）となる。同じ領域２に内に含まれ
る点の座標は０６０６Ｍ−１，０≦β≦Ｎ−１として、
（ｋｘ−Ｍ＋α、ｋｙ−Ｎ＋β）となる。前フレームの
代表点Ｃの画像情報と、現フレームの対応する相関検出
領域内の各点の画゛像情報との相関を、式（１）または
（２）に従って求める。ここで、前フレームにおける代
表点の画素は、 Ｑｔ−＋（ｋｘ・Ｍ＋Ｍ／２．ｋＶ−Ｎ＋Ｎ／２）で与
えられ、また対応する相関検出領域内の各点の画素は、
Ｑｉ （ｋｘ−Ｍ＋α、 ｋｙ−Ｎ＋β〉で与えられ
る。これらの間の相関は、式（１）に従えば ρｋｘｋｙ（Ｍ／２−α、Ｎ／２−β）＝（ｙｌ（ｋｘ
ＸＭ＋α、に、ＸＮ＋β）−５’ｉ−１（ｋｌ−１（ｋ
ＸＸ／２．に、ＸＮ＋Ｎ／２）ｌ” ・・（７）とな
り、また式（２）に従えば σｋｘｋｙ （Ｍ ／ ２−α、Ｎ／２−β）ニレｉ（
ｋｘＸＭ＋α、に、ＸＮ＋β）ｙ；、−ｓ （ｋＸ Ｘ
Ｍ＋Ｍ ／２ ｒ ｋｙ ｘＮ ＋Ｎ ／２ ） Ｉ
・・’ （”’）となる。ここで、ξ＝Ｍ／２−α
、η−Ｎ／２−βとおけば、それぞれρｋｘｋｙ
（ξ、η）。
σｋｘｋｙ （ξ、η）が得られる。即ち、代表点Ａ
に対する偏移くξ、η〉の点の画像情報の相関が得られ
る。ξ、ηのとり得る範囲は次の通りである。
に対する偏移くξ、η〉の点の画像情報の相関が得られ
る。ξ、ηのとり得る範囲は次の通りである。
−Ｍ／２＋１≦ξ≦Ｍ／２ ・・・（９）−Ｎ／２
＋１ ≦η≦Ｎ／２ ・・・ （１０）ここで、
相関検出領域が代表点抽出領域内に包含されるならば、
換言すれば −Ｍ／２＋１≦−ｒ／２≦ξ≦［／２≦Ｍ／２・・・（
１１） −Ｎ／２＋ １≦−Ｊ／２≦η≦Ｊ／２≦Ｎ／２・・・
（１２） であるならば、館フレームにおける代表点Ｃの画像情報
と現フレームにおける相関検出領域の各点の画像情報と
の相関は、その相関検出領域に関する両フレームの画像
情報間の相関を完全に含む。
＋１ ≦η≦Ｎ／２ ・・・ （１０）ここで、
相関検出領域が代表点抽出領域内に包含されるならば、
換言すれば −Ｍ／２＋１≦−ｒ／２≦ξ≦［／２≦Ｍ／２・・・（
１１） −Ｎ／２＋ １≦−Ｊ／２≦η≦Ｊ／２≦Ｎ／２・・・
（１２） であるならば、館フレームにおける代表点Ｃの画像情報
と現フレームにおける相関検出領域の各点の画像情報と
の相関は、その相関検出領域に関する両フレームの画像
情報間の相関を完全に含む。
即ら、ある１つの代表点の画像情報に対する相関検出領
域の画像情報が持つ相関は、それぞれ１回の演算によっ
て求められるということになる。
域の画像情報が持つ相関は、それぞれ１回の演算によっ
て求められるということになる。
逆に、本発明に反し相関検出領域が代表点抽出領域を越
えると、その相関検出領域に対応する相関は他の代表点
抽出領域に含まれる画像情報を必要とする。このため同
じ画素の画像情報を最低２回以上演算に使用するから、
その２回以上使用する画像情報を保存する手段を必要と
する。これに 。
えると、その相関検出領域に対応する相関は他の代表点
抽出領域に含まれる画像情報を必要とする。このため同
じ画素の画像情報を最低２回以上演算に使用するから、
その２回以上使用する画像情報を保存する手段を必要と
する。これに 。
対し、本発明のように相関検出領域が代表点抽出領域に
含まれるならば、使用される画像情報は相関検出領域内
の画素の画像情報のみであり、多くて１回使用されるの
みである。従って、全ての画素の画像情報を保存する手
段は必要でなく、代表点の画像情報のみ保存する手段が
あればよいことになる。 。
含まれるならば、使用される画像情報は相関検出領域内
の画素の画像情報のみであり、多くて１回使用されるの
みである。従って、全ての画素の画像情報を保存する手
段は必要でなく、代表点の画像情報のみ保存する手段が
あればよいことになる。 。
本発明の場合、代表点抽出領域の数を第３図に示すよう
に横方向ＫＸ個、縦方向ＫＹ個とすれば、２フレームの
画像全体の間の相関は のように、現フレームにおける各点の画像情報と前フレ
ームにおける代表点の画像情報との相関を、各相関検出
領域毎に累積加算することによって求められる。これは
テレビジョン画像信号のような走査信号についての動き
ベクトル検出に適用する場合を考えると、規フレームの
順次入力される各画素の画像情報と、前フレームの代表
点の画像情報との相関演算を最大１回行なえばよいこと
を意味する。換言すれば相関演算のために現フレームの
画像情報を蓄積する手段は必要でなく、館フレームの画
像情報についても代表点の画像情報のみ保存する手段が
あればよいわけである。
に横方向ＫＸ個、縦方向ＫＹ個とすれば、２フレームの
画像全体の間の相関は のように、現フレームにおける各点の画像情報と前フレ
ームにおける代表点の画像情報との相関を、各相関検出
領域毎に累積加算することによって求められる。これは
テレビジョン画像信号のような走査信号についての動き
ベクトル検出に適用する場合を考えると、規フレームの
順次入力される各画素の画像情報と、前フレームの代表
点の画像情報との相関演算を最大１回行なえばよいこと
を意味する。換言すれば相関演算のために現フレームの
画像情報を蓄積する手段は必要でなく、館フレームの画
像情報についても代表点の画像情報のみ保存する手段が
あればよいわけである。
第１図は本発明の一実施例に係る動きベクトル検出装置
の構成を示すブロック図である。入力端子１より入力さ
れる画像情報は２分岐され、一方はラッチ回路２に前フ
レームの画像情報として導かれ、他方は相関器７に環フ
レームの画像情報として導かれる。入力画像情報は例え
ばテレビジョン画像情報のようなシリアルな走査信号で
あり、一般的にディジタル化されているものとする。
の構成を示すブロック図である。入力端子１より入力さ
れる画像情報は２分岐され、一方はラッチ回路２に前フ
レームの画像情報として導かれ、他方は相関器７に環フ
レームの画像情報として導かれる。入力画像情報は例え
ばテレビジョン画像情報のようなシリアルな走査信号で
あり、一般的にディジタル化されているものとする。
ラッチ回路２は入力端子１に予め定められた代表点の画
像情報が入力されると、それを代表点の画像情報の入力
タイミングに合せて発生されるラッチパルス１１により
ラッチする。このラッチ回路２にラッチされた代表点の
画像情報は、転送許可信号１２により適当なタイミング
で代表点保存メモリ３に転送され、その代表点について
予め定められたアドレスに保存される。
像情報が入力されると、それを代表点の画像情報の入力
タイミングに合せて発生されるラッチパルス１１により
ラッチする。このラッチ回路２にラッチされた代表点の
画像情報は、転送許可信号１２により適当なタイミング
で代表点保存メモリ３に転送され、その代表点について
予め定められたアドレスに保存される。
代表点保存メモリ３は書込み／読出しのモード切換信号
１３により制御され、書込みモード時にはアドレスコン
トローラ４から発生される書込みアドレスデータ１５が
、また読出しモード時には読出しアドレスデータ１６が
それぞれアドレス切換回路５を介してアドレス入力とし
て供給される５代表点保存メモリ３から続出される代表
点の画像情報はラッチ回路６にラッチされ、相関器７に
導かれる。相関器７は入力端子１に入力された現フレー
ムの画像情報と、ラッチ回路６からの前フレームの代表
点の画像情報との相関演算を行なう。
１３により制御され、書込みモード時にはアドレスコン
トローラ４から発生される書込みアドレスデータ１５が
、また読出しモード時には読出しアドレスデータ１６が
それぞれアドレス切換回路５を介してアドレス入力とし
て供給される５代表点保存メモリ３から続出される代表
点の画像情報はラッチ回路６にラッチされ、相関器７に
導かれる。相関器７は入力端子１に入力された現フレー
ムの画像情報と、ラッチ回路６からの前フレームの代表
点の画像情報との相関演算を行なう。
ここで、ラッチ回路６は代表点保存メモリ３から読出さ
れる代表点の画像情報がそれぞれ代表点抽出領域内の１
つの画素の画像情報を代表しており、それが各代表点抽
出領域に含まれる相関検出領域内の各画素の画像情報と
の相関演算のために複数回使用される関係で、その複数
回使用される期間中、代表点保存メモリ３から読出され
た画像情報を保持するために設けられている。また、ラ
ッチ回路２は代表点保存メモリ３が読出しモードにある
ときに現フレームにおける代表点の画像情報が到来して
も、それを受付けられるようにするために設けられてい
る。
れる代表点の画像情報がそれぞれ代表点抽出領域内の１
つの画素の画像情報を代表しており、それが各代表点抽
出領域に含まれる相関検出領域内の各画素の画像情報と
の相関演算のために複数回使用される関係で、その複数
回使用される期間中、代表点保存メモリ３から読出され
た画像情報を保持するために設けられている。また、ラ
ッチ回路２は代表点保存メモリ３が読出しモードにある
ときに現フレームにおける代表点の画像情報が到来して
も、それを受付けられるようにするために設けられてい
る。
相関器７は入力端子１に現フレームの各画素の画像情報
が入力される毎に、その画像情報とラッチ回路６から供
給される前フレームの代表点の画像情報との相関演算を
行な″う。この場合１、ラッチ回路６から相関器７に供
給□される画像情報は、入力端子１に入力された画像情
報が属する相関検出領域を含む代表点抽出領域の前フレ
ームにおける代表点の画像情報である。相関器７は例え
ば式（７）または（８）に示される相関演算を行ない、
各偏移に対応した相関値を出力する。相関器７の相関演
算結果は累積加算器８に入力され、アドレスコントロー
ラ４から与えられるアドレスデータ１９に従って、対応
する累積加算値に加算されてゆく。即ち、アドレスコン
トローラ４から出力される読出しアドレスデータ１６は
、代表点抽出領域２２内の代表点Ａに対して相関検出領
域２１内の点Ｂが有する偏移（ξ、η）に対応しており
、アドレスコントローラ４から累積加算器８に供給され
るアドレスデータ１９はこの読出しアドレスデータ１６
に対応しているので、累積加算器８では相関器７から新
たに入力される偏移（ξ、η）に対応する相関値が、そ
れ以前までの同じ偏移（ξ、η）に対応する累積加算値
に加算されることになる。
が入力される毎に、その画像情報とラッチ回路６から供
給される前フレームの代表点の画像情報との相関演算を
行な″う。この場合１、ラッチ回路６から相関器７に供
給□される画像情報は、入力端子１に入力された画像情
報が属する相関検出領域を含む代表点抽出領域の前フレ
ームにおける代表点の画像情報である。相関器７は例え
ば式（７）または（８）に示される相関演算を行ない、
各偏移に対応した相関値を出力する。相関器７の相関演
算結果は累積加算器８に入力され、アドレスコントロー
ラ４から与えられるアドレスデータ１９に従って、対応
する累積加算値に加算されてゆく。即ち、アドレスコン
トローラ４から出力される読出しアドレスデータ１６は
、代表点抽出領域２２内の代表点Ａに対して相関検出領
域２１内の点Ｂが有する偏移（ξ、η）に対応しており
、アドレスコントローラ４から累積加算器８に供給され
るアドレスデータ１９はこの読出しアドレスデータ１６
に対応しているので、累積加算器８では相関器７から新
たに入力される偏移（ξ、η）に対応する相関値が、そ
れ以前までの同じ偏移（ξ、η）に対応する累積加算値
に加算されることになる。
こうして累積加算器８で得られる各偏移に対応した相関
値の累積加算値は、動きベクトル発生回路９に入力され
る。動きベクトル発生回路９は、相関器７の相関演算が
式（７）または（８）に示されるような演算の場合、累
積加算器８の累積加算結果のうち最小値を探索し、その
最小値の累積加算値に対応する偏移（ξ、η）をアドレ
スデータ１９から判定して、それを動きベクトルとして
出力端子１０に出力する。
値の累積加算値は、動きベクトル発生回路９に入力され
る。動きベクトル発生回路９は、相関器７の相関演算が
式（７）または（８）に示されるような演算の場合、累
積加算器８の累積加算結果のうち最小値を探索し、その
最小値の累積加算値に対応する偏移（ξ、η）をアドレ
スデータ１９から判定して、それを動きベクトルとして
出力端子１０に出力する。
以上のような本発明の構成によれば、動きベクトル検出
のために要す、る演算回数は１フレーム当り高々１フレ
ームを構成する画素の個数程度であリ、従来技術に比べ
て大幅に少ない。この程度の演算量であれば１フレーム
あるいは１フイールド内での処理、即ち実時間処理が十
分可能である。
のために要す、る演算回数は１フレーム当り高々１フレ
ームを構成する画素の個数程度であリ、従来技術に比べ
て大幅に少ない。この程度の演算量であれば１フレーム
あるいは１フイールド内での処理、即ち実時間処理が十
分可能である。
またハードウェア、特に記憶手段として必要なものは１
フレームの画素数より大幅に少なく、しかち１フレ一ム
分についての代表点の画像情報を保存するメモリと、相
関値の累積加算用メモリのみであり、この点も装置を実
現する上で大きなメリットとなる。
フレームの画素数より大幅に少なく、しかち１フレ一ム
分についての代表点の画像情報を保存するメモリと、相
関値の累積加算用メモリのみであり、この点も装置を実
現する上で大きなメリットとなる。
なお、本発明は上記実施例に限定されるものではなく、
例えば実施例では現フレームの画像情報と前フレームに
おける代表点の画像情報との相関演算として、式（７）
に示される２フレームの画像情報間の２乗誤差演算、あ
るいは式（８）に示される差分絶対値演算を例示したが
、相互相ＩＩＩ関数を演算してもよい。その場合、動き
ベクトル発生回路９としては累積加算器８からの相関累
積結果のうら、最大値を与える偏移を動きベクトルとし
て発生する構成とすればよい。その他、本発明は要旨を
逸脱しない範囲で種々変形実施が可能である。
例えば実施例では現フレームの画像情報と前フレームに
おける代表点の画像情報との相関演算として、式（７）
に示される２フレームの画像情報間の２乗誤差演算、あ
るいは式（８）に示される差分絶対値演算を例示したが
、相互相ＩＩＩ関数を演算してもよい。その場合、動き
ベクトル発生回路９としては累積加算器８からの相関累
積結果のうら、最大値を与える偏移を動きベクトルとし
て発生する構成とすればよい。その他、本発明は要旨を
逸脱しない範囲で種々変形実施が可能である。
第１図は本発明の一実施例に係る動きベクトル検出装置
の構成を示すブロック図、第２図および第３図は本発明
に係る動きベクトル検出方法における相関検出領域と代
表点抽出領域との関係を模式的に示す図、第４図および
第５図は動きベクトルの概念を説明するための図である
。 １・・・画像情報入力端子、２・・・ラッチ回路、３・
・・代表点保存メモリ、４・・・アドレスコントローラ
、５・・・アドレス切換回路、６・・・ラッチ回路、７
・・・相関器、８・・・累積加算器、９・・・動きベク
トル発生回路、１０・・・動きベクトル出力端子、２１
・・・相関検出領域、２２・・・代表点抽出領域。 出願人代理人 弁理士 鈴江武彦 第２図 第３Ｉｉ！ 第４図 （ａ） （ｂ ） （ｃ） 第５図
の構成を示すブロック図、第２図および第３図は本発明
に係る動きベクトル検出方法における相関検出領域と代
表点抽出領域との関係を模式的に示す図、第４図および
第５図は動きベクトルの概念を説明するための図である
。 １・・・画像情報入力端子、２・・・ラッチ回路、３・
・・代表点保存メモリ、４・・・アドレスコントローラ
、５・・・アドレス切換回路、６・・・ラッチ回路、７
・・・相関器、８・・・累積加算器、９・・・動きベク
トル発生回路、１０・・・動きベクトル出力端子、２１
・・・相関検出領域、２２・・・代表点抽出領域。 出願人代理人 弁理士 鈴江武彦 第２図 第３Ｉｉ！ 第４図 （ａ） （ｂ ） （ｃ） 第５図
Claims (2)
- （１）時間的に連続した２フレームの画像情報の相関か
ら、画像全体の平行移動量を示す動きベクトルを検出す
る方法において、前記動きベクトルを検出する動きベク
トル探索範囲に対してその範囲が等しいかまたはそれ以
上である相関検出領域と、この相関検出領域を包含する
代表点抽出領域とを設定し、現フレームにおける前記相
関検出領域内の点における画像情報と、前記相関検出領
域に対応する前フレームに設けられた前記代表点抽出領
域から抽出された代表点の画像情報との相関演算を行な
い、この相関演算結果に基いて前記動きベクトルを算出
することを特徴とする動きベクトル検出方法。 - （２）時間的に連続した２フレームの画像情報の相関か
ら、画像全体の平行移動量を示す動きベクトルを検出す
る装置において、１フレームの画像情報が入力される毎
に、各フレームについて設定された前記動きベクトルを
検出する動きベクトル探索範囲に対してその範囲が等し
いかまたはそれ以上である相関検出領域を包含する代表
点抽出領域から代表点の画像情報を抽出する手段と、こ
の手段により抽出された代表点の画像情報を保存する記
憶手段と、現フレームの画像情報における前記相関検出
領域内における点の画像情報と、前記相関検出領域に対
応する前フレームに設けられた前記代表点抽出領域から
抽出され前記記憶手段に保存されている代表点における
画像情報との相関演算を行なう手段と、この手段により
得られた相関演算結果に基いて動きベクトルを算出する
手段とを備えたことを特徴とする動きベクトル検出装置
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60042362A JPS61201581A (ja) | 1985-03-04 | 1985-03-04 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60042362A JPS61201581A (ja) | 1985-03-04 | 1985-03-04 | 動きベクトル検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS61201581A true JPS61201581A (ja) | 1986-09-06 |
Family
ID=12633923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60042362A Pending JPS61201581A (ja) | 1985-03-04 | 1985-03-04 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS61201581A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6390967A (ja) * | 1986-10-06 | 1988-04-21 | Hitachi Ltd | 動き適応信号処理回路 |
| JPS63119395A (ja) * | 1986-11-07 | 1988-05-24 | Hitachi Ltd | 信号処理回路 |
| JPS63227294A (ja) * | 1987-03-17 | 1988-09-21 | Toshiba Corp | 複合信号分離回路 |
| JPH01171377A (ja) * | 1987-12-25 | 1989-07-06 | Pfu Ltd | データ符号化方式 |
| JPH01286591A (ja) * | 1988-05-12 | 1989-11-17 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出回路 |
| US5253061A (en) * | 1990-05-16 | 1993-10-12 | Sharp Kabushiki Kaisha | Method and apparatus for controlling television image processing based upon television program detection |
| US5563652A (en) * | 1993-06-28 | 1996-10-08 | Sanyo Electric Co., Ltd. | Video camera with electronic picture stabilizer |
| JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| US7623153B2 (en) | 2004-08-31 | 2009-11-24 | Sanyo Electric Co., Ltd. | Unintentional hand movement canceling device and imaging apparatus |
| US7903144B2 (en) | 2007-01-09 | 2011-03-08 | Fujifilm Corporation | Electric hand-vibration correction method, electric hand-vibration correction device, electric hand-vibration correction program, and imaging apparatus |
| US8125527B2 (en) | 2008-03-26 | 2012-02-28 | Sanyo Electric Co., Ltd. | Motion detection apparatus |
-
1985
- 1985-03-04 JP JP60042362A patent/JPS61201581A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6390967A (ja) * | 1986-10-06 | 1988-04-21 | Hitachi Ltd | 動き適応信号処理回路 |
| JPH0832075B2 (ja) * | 1986-11-07 | 1996-03-27 | 株式会社日立製作所 | 信号処理回路 |
| JPS63119395A (ja) * | 1986-11-07 | 1988-05-24 | Hitachi Ltd | 信号処理回路 |
| JPS63227294A (ja) * | 1987-03-17 | 1988-09-21 | Toshiba Corp | 複合信号分離回路 |
| JPH01171377A (ja) * | 1987-12-25 | 1989-07-06 | Pfu Ltd | データ符号化方式 |
| JPH01286591A (ja) * | 1988-05-12 | 1989-11-17 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出回路 |
| US5253061A (en) * | 1990-05-16 | 1993-10-12 | Sharp Kabushiki Kaisha | Method and apparatus for controlling television image processing based upon television program detection |
| US5563652A (en) * | 1993-06-28 | 1996-10-08 | Sanyo Electric Co., Ltd. | Video camera with electronic picture stabilizer |
| US7623153B2 (en) | 2004-08-31 | 2009-11-24 | Sanyo Electric Co., Ltd. | Unintentional hand movement canceling device and imaging apparatus |
| US7633525B2 (en) | 2004-08-31 | 2009-12-15 | Sanyo Electric Co., Ltd. | Unintentional hand movement canceling device and imaging apparatus |
| JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| US7903144B2 (en) | 2007-01-09 | 2011-03-08 | Fujifilm Corporation | Electric hand-vibration correction method, electric hand-vibration correction device, electric hand-vibration correction program, and imaging apparatus |
| US8125527B2 (en) | 2008-03-26 | 2012-02-28 | Sanyo Electric Co., Ltd. | Motion detection apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4937666A (en) | Circuit implementation of block matching algorithm with fractional precision | |
| EP2540073B1 (en) | Object tracking using graphics engine derived vectors in a motion estimation system | |
| US10621446B2 (en) | Handling perspective magnification in optical flow processing | |
| US20220084215A1 (en) | Dense optical flow processing in a computer vision system | |
| US8098963B2 (en) | Resolution conversion apparatus, method and program | |
| US20040240551A1 (en) | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same | |
| JPH0568155B2 (ja) | ||
| JPS61201581A (ja) | 動きベクトル検出装置 | |
| US11682212B2 (en) | Hierarchical data organization for dense optical flow processing in a computer vision system | |
| JPWO2004012460A1 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
| JP2810528B2 (ja) | 動き補償フレーム間予測符号化における動きベクトルの探索回路 | |
| JP3189655B2 (ja) | 動きベクトル検出装置およびその方法 | |
| JP2866321B2 (ja) | 動きベクトル探索方法および装置 | |
| WO2023155043A1 (zh) | 一种基于历史信息的场景深度推理方法、装置及电子设备 | |
| Song et al. | Time-based Calibration: A Way to Ensure that Stitched Images are Captured Simultaneously | |
| JP3103282B2 (ja) | ブロック相関処理装置 | |
| JPH07107486A (ja) | 階層的動ベクトル検出方法 | |
| JP4378801B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2866324B2 (ja) | 動きベクトル探索装置 | |
| Nguyen et al. | Super-resolution image construction from high-speed camera sequences | |
| JPH0779436A (ja) | 動きベクトル検出装置 | |
| JPH03191688A (ja) | 画像の動きパラメータ推定方法及び装置 | |
| JP2866326B2 (ja) | 動きベクトル探索装置 | |
| JPH1013837A (ja) | 動きベクトル検出回路 |