JPH0549023A - 動画像の動き情報検出方式 - Google Patents
動画像の動き情報検出方式Info
- Publication number
- JPH0549023A JPH0549023A JP3199614A JP19961491A JPH0549023A JP H0549023 A JPH0549023 A JP H0549023A JP 3199614 A JP3199614 A JP 3199614A JP 19961491 A JP19961491 A JP 19961491A JP H0549023 A JPH0549023 A JP H0549023A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- thinning
- pixels
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 動画像の動き情報検出において、必要演算回
数を減じ、さらに計算点の間引きを行なった後でも正確
な動きベクトルの検出をする。 【構成】 現時点の入力画像１０１と参照される画像１
０２に対して２次元低域通過フィルタ１５と２次元通過
フィルタ１６を作用させ、その結果得られた画像信号１
０７と画像信号１０８をそれぞれ間引き回路１１と間引
き回路１２により計算点を間引く。間引かれた現信号１
０３と参照信号１０４を入力とする動きベクトル検出回
路１３を用いて動きベクトル１０５を検出する。更に細
かい精度の動きベクトルを検出するために前記動きベク
トル１０５と、前記現信号１０１と、内挿回路１７を通
過した後の参照画像信号１０９を動きベクトル検出回路
１４’を用いて垂直方向１／Ｕ画素精度かつ水平方向１
／Ｖ画素精度の１個の動きベクトル１０６を検出する。
数を減じ、さらに計算点の間引きを行なった後でも正確
な動きベクトルの検出をする。 【構成】 現時点の入力画像１０１と参照される画像１
０２に対して２次元低域通過フィルタ１５と２次元通過
フィルタ１６を作用させ、その結果得られた画像信号１
０７と画像信号１０８をそれぞれ間引き回路１１と間引
き回路１２により計算点を間引く。間引かれた現信号１
０３と参照信号１０４を入力とする動きベクトル検出回
路１３を用いて動きベクトル１０５を検出する。更に細
かい精度の動きベクトルを検出するために前記動きベク
トル１０５と、前記現信号１０１と、内挿回路１７を通
過した後の参照画像信号１０９を動きベクトル検出回路
１４’を用いて垂直方向１／Ｕ画素精度かつ水平方向１
／Ｖ画素精度の１個の動きベクトル１０６を検出する。
Description
【０００１】
【産業上の利用分野】本発明は動画像の動き情報検出方
式に関するものである。
式に関するものである。
【０００２】
【従来の技術】従来、動き情報検出方式に関して、定め
られた大きさの小ブロックに分割して各小ブロックにつ
いて動きベクトルを検出する場合においては、所要の演
算量を削減するために、特公昭６３−２００７５号公報
「フレーム間符号化装置」において、動きベクトルの検
出を多段階に分けて行なう方式が説明されている。２段
階に分けて動きベクトルの検出を行なう場合を図４を用
いて説明する。
られた大きさの小ブロックに分割して各小ブロックにつ
いて動きベクトルを検出する場合においては、所要の演
算量を削減するために、特公昭６３−２００７５号公報
「フレーム間符号化装置」において、動きベクトルの検
出を多段階に分けて行なう方式が説明されている。２段
階に分けて動きベクトルの検出を行なう場合を図４を用
いて説明する。
【０００３】図４において、入力画像信号の小ブロック
とＴＶ画面上同一位置を基準として任意のベクトル（こ
のシフト量をシフトベクトルと称する）だけずれた位置
の参照フレーム内のブロック群に対して、従来方式で
は、まず第１段階においてＮ画素精度動きベクトル検出
回路１８を用いて第１のシフトベクトル群に対し評価関
数値を算出し、この中で評価関数値が最小となるシフト
ベクトル１０５を求める。第２段階では、前述第１段階
で求められたシフトベクトルの近傍に配置された第２の
シフトベクトル群について、１画素精度動きベクトル検
出回路１４で、同様にして評価関数値を算出しその中か
ら評価関数値が最小となるものを求め、この時のシフト
ベクトル１０６をブロックに対する動きベクトルとす
る。
とＴＶ画面上同一位置を基準として任意のベクトル（こ
のシフト量をシフトベクトルと称する）だけずれた位置
の参照フレーム内のブロック群に対して、従来方式で
は、まず第１段階においてＮ画素精度動きベクトル検出
回路１８を用いて第１のシフトベクトル群に対し評価関
数値を算出し、この中で評価関数値が最小となるシフト
ベクトル１０５を求める。第２段階では、前述第１段階
で求められたシフトベクトルの近傍に配置された第２の
シフトベクトル群について、１画素精度動きベクトル検
出回路１４で、同様にして評価関数値を算出しその中か
ら評価関数値が最小となるものを求め、この時のシフト
ベクトル１０６をブロックに対する動きベクトルとす
る。
【０００４】この方式を用いることにより、探索範囲の
全てのシフトベクトルについて評価関数を求める方式に
較べ、必要演算量を大幅に削減することが可能となる。
全てのシフトベクトルについて評価関数を求める方式に
較べ、必要演算量を大幅に削減することが可能となる。
【０００５】
【発明が解決しようとする課題】従来の動き情報検出方
式では、多段階動きベクトル検出を行なう場合、小ブロ
ック内の画素数が多い場合などは特に、一候補ベクトル
の評価関数値を求めるための差分絶対値を計算するなど
の必要演算量が多くなってしまう。
式では、多段階動きベクトル検出を行なう場合、小ブロ
ック内の画素数が多い場合などは特に、一候補ベクトル
の評価関数値を求めるための差分絶対値を計算するなど
の必要演算量が多くなってしまう。
【０００６】本発明では小ブロック内の画素数を間引き
を行ない、計算点を削減することで必要演算回数の削減
をすることを目的とする。また画像の絵柄が細かい場
合、間引きを行なったがために生じた誤差のために、誤
った動きベクトルを推定してしまうことがある。
を行ない、計算点を削減することで必要演算回数の削減
をすることを目的とする。また画像の絵柄が細かい場
合、間引きを行なったがために生じた誤差のために、誤
った動きベクトルを推定してしまうことがある。
【０００７】また、ブロック内画素と参照フレーム内の
画素との間で、より高いマッチング度を得るためには、
動きベクトルを高精度で検出することが望ましい。１画
素精度より高い精度の動きベクトルを検出する方式につ
いては従来方式においては特に記載されていない。
画素との間で、より高いマッチング度を得るためには、
動きベクトルを高精度で検出することが望ましい。１画
素精度より高い精度の動きベクトルを検出する方式につ
いては従来方式においては特に記載されていない。
【０００８】本発明は、必要演算量を削減した上で誤り
のない高精度の動き情報検出方式を提供することを目的
とする。
のない高精度の動き情報検出方式を提供することを目的
とする。
【０００９】
【課題を解決するための手段】本発明に係わる第１の動
画像の動き情報検出方式は、連続する複数画像フレーム
からなる動画像信号を、各画像フレームを複数個の画素
からなる複数ブロックに分割し、個々のブロック内画素
とそのブロックが属するフレームとは異なる参照フレー
ム内の画素とのマッチング度を計算し、多段階に動画像
の動きベクトルを推定する動画像の動き情報検出方式に
おいて、第Ｌ段階においては、前記ブロック内画素と前
記参照フレーム内画素に関して、共に垂直方向にはＩL
画素間引きを、水平方向にはＪL 画素間引きを行ない、
垂直方向にはＩL 画素精度かつ水平方向にはＪL 画素精
度の動きベクトル推定を行ない、段階を進むにしたがっ
て、画素間引き率を細かくしていくことを特徴とする。
画像の動き情報検出方式は、連続する複数画像フレーム
からなる動画像信号を、各画像フレームを複数個の画素
からなる複数ブロックに分割し、個々のブロック内画素
とそのブロックが属するフレームとは異なる参照フレー
ム内の画素とのマッチング度を計算し、多段階に動画像
の動きベクトルを推定する動画像の動き情報検出方式に
おいて、第Ｌ段階においては、前記ブロック内画素と前
記参照フレーム内画素に関して、共に垂直方向にはＩL
画素間引きを、水平方向にはＪL 画素間引きを行ない、
垂直方向にはＩL 画素精度かつ水平方向にはＪL 画素精
度の動きベクトル推定を行ない、段階を進むにしたがっ
て、画素間引き率を細かくしていくことを特徴とする。
【００１０】本発明に係わる第２の動画像の動き情報検
出方式は、前記間引きを行なう前段階に、前記ブロック
内画素と前記参照フレーム内画素の両方に対して２次元
低域通過フィルタを作用させることを特徴とする。
出方式は、前記間引きを行なう前段階に、前記ブロック
内画素と前記参照フレーム内画素の両方に対して２次元
低域通過フィルタを作用させることを特徴とする。
【００１１】本発明に係わる第３の動画像の動き情報検
出方式は、最終段階の前記動きベクトル推定の前段階
で、前記参照フレーム内画素に対して垂直方向にＵ倍か
つ水平方向にＶ倍の画素内挿を行った後、前記最終段階
の動きベクトル推定を行なうことにより、垂直方向１／
Ｕ画素精度かつ水平方向１／Ｖ画素精度の動きベクトル
検出を行なうことを特徴とする。
出方式は、最終段階の前記動きベクトル推定の前段階
で、前記参照フレーム内画素に対して垂直方向にＵ倍か
つ水平方向にＶ倍の画素内挿を行った後、前記最終段階
の動きベクトル推定を行なうことにより、垂直方向１／
Ｕ画素精度かつ水平方向１／Ｖ画素精度の動きベクトル
検出を行なうことを特徴とする。
【００１２】
【作用】本発明の第１の動画像の動き情報検出方式の特
徴は、小ブロック毎にフレーム間の動き情報を推定する
際に、ブロック内画素と参照フレーム内画素について間
引きを行なうことで動きベクトルの検出に必要とする演
算量を削減することにある。
徴は、小ブロック毎にフレーム間の動き情報を推定する
際に、ブロック内画素と参照フレーム内画素について間
引きを行なうことで動きベクトルの検出に必要とする演
算量を削減することにある。
【００１３】前記小ブロックと前記参照フレームを入力
として、動きベクトルの検出を行なう場合、前記小ブロ
ックの一つの候補ベクトルについて評価関数値を求める
ためには、例えば評価関数値として小ブロックと候補ベ
クトル分だけずらした参照フレーム内ブロックとのブロ
ック内の各画素の輝度の差分絶対値を累算していた。こ
のため従来は、小ブロック内の画素数と同じ回数の差分
演算等が必要であった。
として、動きベクトルの検出を行なう場合、前記小ブロ
ックの一つの候補ベクトルについて評価関数値を求める
ためには、例えば評価関数値として小ブロックと候補ベ
クトル分だけずらした参照フレーム内ブロックとのブロ
ック内の各画素の輝度の差分絶対値を累算していた。こ
のため従来は、小ブロック内の画素数と同じ回数の差分
演算等が必要であった。
【００１４】装置の実現を考えた場合、装置規模、処理
速度の面からもできるだけ少ない演算回数で実現するの
が望ましい。これを実現するために、本発明では多段階
動きベクトル検出の第Ｌ段階の検出を行なう前段階で、
図６に示すように、小ブロックと参照フレームに関して
垂直方向についてＩL 画素かつ水平方向についてＪL画
素毎の間引きを行なう。前述の間引きを行なうと、新た
にできる小ブロック内の画素数は、間引き前に較べて１
／（ＩL ×ＪL ）個になる。従って、一候補ベクトルを
求めるための前述した差分演算等の必要演算数も１／
（ＩL ×ＪL ）とすることが可能となる。更に、参照フ
レーム内画素についても同様の間引きを行なうことで候
補ベクトルの個数も１／（ＩL ×ＪL ）となるため、結
果的にブロックのマッチング度をはかるための評価関数
値の演算回数は１／（ＩL ×ＪL ）2 となる。
速度の面からもできるだけ少ない演算回数で実現するの
が望ましい。これを実現するために、本発明では多段階
動きベクトル検出の第Ｌ段階の検出を行なう前段階で、
図６に示すように、小ブロックと参照フレームに関して
垂直方向についてＩL 画素かつ水平方向についてＪL画
素毎の間引きを行なう。前述の間引きを行なうと、新た
にできる小ブロック内の画素数は、間引き前に較べて１
／（ＩL ×ＪL ）個になる。従って、一候補ベクトルを
求めるための前述した差分演算等の必要演算数も１／
（ＩL ×ＪL ）とすることが可能となる。更に、参照フ
レーム内画素についても同様の間引きを行なうことで候
補ベクトルの個数も１／（ＩL ×ＪL ）となるため、結
果的にブロックのマッチング度をはかるための評価関数
値の演算回数は１／（ＩL ×ＪL ）2 となる。
【００１５】本発明の第Ｌ段階では、垂直方向ＩL 画素
かつ水平方向ＪL 画素精度の動きベクトルの検出を行う
ことができる。また本方式では第Ｌ段階で検出された動
きベクトルＶL を基にＶL の回りの狭い範囲に限定し
て、第（Ｌ＋１）段階の動きベクトルの検出を行なう。
また第（Ｌ＋１）段階では、第Ｌ段階よりも画素間引き
率を細かくし、高精度での動きベクトルの検出を行なう
という方法をとる。
かつ水平方向ＪL 画素精度の動きベクトルの検出を行う
ことができる。また本方式では第Ｌ段階で検出された動
きベクトルＶL を基にＶL の回りの狭い範囲に限定し
て、第（Ｌ＋１）段階の動きベクトルの検出を行なう。
また第（Ｌ＋１）段階では、第Ｌ段階よりも画素間引き
率を細かくし、高精度での動きベクトルの検出を行なう
という方法をとる。
【００１６】本発明の第２の動画像の動き情報検出方式
の特徴は、第１の動き情報検出方式で述べた、計算点間
引きを行った後に動きベクトルを検出する場合におい
て、動きベクトル検出の前段階で２次元低域通過フィル
タを作用させることによって、誤った動きベクトルの検
出を防ぐことにある。
の特徴は、第１の動き情報検出方式で述べた、計算点間
引きを行った後に動きベクトルを検出する場合におい
て、動きベクトル検出の前段階で２次元低域通過フィル
タを作用させることによって、誤った動きベクトルの検
出を防ぐことにある。
【００１７】本発明の第１の動き情報検出方式を用いた
場合、第Ｌ段階の動きベクトル検出の前段階において前
述した間引きを行なっている。この間引き段階において
ブロック内の折返し歪が発生し、誤った動きベクトルを
検出する場合がある。
場合、第Ｌ段階の動きベクトル検出の前段階において前
述した間引きを行なっている。この間引き段階において
ブロック内の折返し歪が発生し、誤った動きベクトルを
検出する場合がある。
【００１８】この問題を解決するために、本発明では間
引きを行なう前段階で２次元低域通過フィルタを挿入す
るという方式を用いた。例えば、垂直方向にＩL 画素か
つ水平方向にＪL 画素単位の間引きを行なうことを考え
た場合、垂直方向に対して１／ＩL に周波数帯域を制限
する低域通過フィルタを、水平方向に対して１／ＪL に
周波数帯域を制限する低域通過フィルタを参照フレーム
と現フレーム信号の小ブロックに作用させる。
引きを行なう前段階で２次元低域通過フィルタを挿入す
るという方式を用いた。例えば、垂直方向にＩL 画素か
つ水平方向にＪL 画素単位の間引きを行なうことを考え
た場合、垂直方向に対して１／ＩL に周波数帯域を制限
する低域通過フィルタを、水平方向に対して１／ＪL に
周波数帯域を制限する低域通過フィルタを参照フレーム
と現フレーム信号の小ブロックに作用させる。
【００１９】最も簡単な例では、垂直方向、水平方向共
に Ｈ（ｚ）＝（１＋ｚ）／２ のフィルタを用いて垂直方向、水平方向共に１／２に帯
域制限した後、垂直方向、水平方向共に１／２に間引く
ものである。図３の例では、前記低域通過フィルタを施
した後に、間引きを行なった画素ａ’はａ，ｂ，ｃ，ｄ
の４画素の平均値を間引き後の画素として得ることに等
しい。
に Ｈ（ｚ）＝（１＋ｚ）／２ のフィルタを用いて垂直方向、水平方向共に１／２に帯
域制限した後、垂直方向、水平方向共に１／２に間引く
ものである。図３の例では、前記低域通過フィルタを施
した後に、間引きを行なった画素ａ’はａ，ｂ，ｃ，ｄ
の４画素の平均値を間引き後の画素として得ることに等
しい。
【００２０】本発明の第３の動画像の動き情報検出方式
は、参照フレーム画素に対して垂直方向にＵ倍の画素内
挿を行い、かつ水平方向のＶ倍の画素内挿を行なった後
に、間引きを行なわずに動きベクトル検出を行ない、そ
の結果１画素精度より高精度の動きベクトルを得ること
を特徴とする。
は、参照フレーム画素に対して垂直方向にＵ倍の画素内
挿を行い、かつ水平方向のＶ倍の画素内挿を行なった後
に、間引きを行なわずに動きベクトル検出を行ない、そ
の結果１画素精度より高精度の動きベクトルを得ること
を特徴とする。
【００２１】前記の参照フレームの画素内挿を行なう
と、分割された小ブロックとの間でマッチングを取るこ
とのできるパターンが、１画素よりも細かい、すなわち
垂直方向１／Ｕ単位でかつ水平方向１／Ｖ単位で存在す
ることになる。このため、よりマッチングの度合が高い
動きベクトルの検出が期待できる。フレーム間のマッチ
ング度の高い場合、現フレームの小ブロックと、検出し
た動きベクトル分ずれた参照フレーム内の画素との差分
の情報量が少なくなる。このため、より高能率な符号化
が可能となる。
と、分割された小ブロックとの間でマッチングを取るこ
とのできるパターンが、１画素よりも細かい、すなわち
垂直方向１／Ｕ単位でかつ水平方向１／Ｖ単位で存在す
ることになる。このため、よりマッチングの度合が高い
動きベクトルの検出が期待できる。フレーム間のマッチ
ング度の高い場合、現フレームの小ブロックと、検出し
た動きベクトル分ずれた参照フレーム内の画素との差分
の情報量が少なくなる。このため、より高能率な符号化
が可能となる。
【００２２】
【実施例】図１は本発明に係わる第１の動画像の動き情
報検出方式を実現する一実施例のブロック図である。図
１は動きベクトルの検出を２段階で行う場合の動きベク
トル検出例を表わす。
報検出方式を実現する一実施例のブロック図である。図
１は動きベクトルの検出を２段階で行う場合の動きベク
トル検出例を表わす。
【００２３】第１段階の動きベクトル検出を行う場合、
小ブロックに分割した現フレーム画像信号１０１は画素
間引き回路１１によって、図６に示すように垂直方向を
Ｉ1 画素おきに、水平方向をＪ1 画素おきに間引いた新
たな画像信号１０３を出力する。前記画素間引き回路
は、図７に示すように入力ブロック画素を垂直方向に関
してＪ1 画素毎に水平方向に関してＩ1 画素毎に入力画
素をピックアップすることにより、間引き後の画素を出
力する。
小ブロックに分割した現フレーム画像信号１０１は画素
間引き回路１１によって、図６に示すように垂直方向を
Ｉ1 画素おきに、水平方向をＪ1 画素おきに間引いた新
たな画像信号１０３を出力する。前記画素間引き回路
は、図７に示すように入力ブロック画素を垂直方向に関
してＪ1 画素毎に水平方向に関してＩ1 画素毎に入力画
素をピックアップすることにより、間引き後の画素を出
力する。
【００２４】一方、参照フレーム信号１０２もまた画素
間引き回路１２によって垂直方向をＩ1 画素おきに、水
平方向をＪ1 画素おきに間引いた新たな画像信号１０４
を出力する。この間引き後の画像信号１０３と画像信号
１０４を動きベクトル検出回路１３に入力する。
間引き回路１２によって垂直方向をＩ1 画素おきに、水
平方向をＪ1 画素おきに間引いた新たな画像信号１０４
を出力する。この間引き後の画像信号１０３と画像信号
１０４を動きベクトル検出回路１３に入力する。
【００２５】動きベクトル検出回路の構成を図８と図９
に示す。垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画素精
度の動きベクトルを検出する場合、現フレームメモリ８
１には前記間引き回路によって間引かれた出力信号１０
３が入力されている。また参照フレームメモリ８２に関
しても、前記間引き回路によって間引かれた出力信号１
０４が入力されている。
に示す。垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画素精
度の動きベクトルを検出する場合、現フレームメモリ８
１には前記間引き回路によって間引かれた出力信号１０
３が入力されている。また参照フレームメモリ８２に関
しても、前記間引き回路によって間引かれた出力信号１
０４が入力されている。
【００２６】次に、現フレームのブロック内の画素のア
ドレスをアドレス生成器８３により生成し現フレームメ
モリに入力しメモリから画素データ８０１を出力する。
同時に参照フレームに関しては、現フレーム内ブロック
内画素の位置座標Ｐと前の段階までに求められたシフト
ベクトルＶL - 1 と現段階の候補ベクトルＣＶから、候
補ベクトル分ずれた位置の画素のアドレスをアドレス生
成器８４により生成し、参照フレームメモリから画素デ
ータ８０２を出力する。
ドレスをアドレス生成器８３により生成し現フレームメ
モリに入力しメモリから画素データ８０１を出力する。
同時に参照フレームに関しては、現フレーム内ブロック
内画素の位置座標Ｐと前の段階までに求められたシフト
ベクトルＶL - 1 と現段階の候補ベクトルＣＶから、候
補ベクトル分ずれた位置の画素のアドレスをアドレス生
成器８４により生成し、参照フレームメモリから画素デ
ータ８０２を出力する。
【００２７】現フレームと参照フレームの２つの画素デ
ータ８０１、８０２の差分を減算器８５により求め、さ
らにその値の絶対値を絶対値演算器８６により求める。
このアドレス生成から絶対値演算までの処理を、現フレ
ームメモリ内の小ブロック中の全画素に関して行い差分
絶対値を累算器８７を用いて総和を求め、この出力を評
価関数値とする。
ータ８０１、８０２の差分を減算器８５により求め、さ
らにその値の絶対値を絶対値演算器８６により求める。
このアドレス生成から絶対値演算までの処理を、現フレ
ームメモリ内の小ブロック中の全画素に関して行い差分
絶対値を累算器８７を用いて総和を求め、この出力を評
価関数値とする。
【００２８】この評価関数値の算出を垂直方向Ｉ1 画素
ごとかつ水平方向Ｊ1 画素ごとに存在する候補ベクトル
に対して順次行い、図９の比較器９１に入力しマッチン
グ度を比較する。よりマッチング度が高かった場合、す
なわち評価関数値が小さい場合には、最小値格納レジス
タ９２にこの評価関数値を格納すると同時に、動きベク
トル格納レジスタ９３に、前段階までのシフトベクトル
とこの時の候補ベクトルの和を候補ベクトルインデック
ス９４から引き出し格納する。なお、第１段階の動き情
報検出の場合は、前段階までのシフトベクトルの値は０
とする。
ごとかつ水平方向Ｊ1 画素ごとに存在する候補ベクトル
に対して順次行い、図９の比較器９１に入力しマッチン
グ度を比較する。よりマッチング度が高かった場合、す
なわち評価関数値が小さい場合には、最小値格納レジス
タ９２にこの評価関数値を格納すると同時に、動きベク
トル格納レジスタ９３に、前段階までのシフトベクトル
とこの時の候補ベクトルの和を候補ベクトルインデック
ス９４から引き出し格納する。なお、第１段階の動き情
報検出の場合は、前段階までのシフトベクトルの値は０
とする。
【００２９】全ての候補ベクトルに対してマッチングの
度合いを調べ、最後に動きベクトル格納レジスタ９３内
のデータを、垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画
素精度の動きベクトル１０５として出力する。次に、前
記動きベクトル１０５の近傍に、垂直方向、水平方向共
に１画素精度で配置された第２のシフトベクトル群につ
いて同様に動きベクトル検出回路１４を用いて同様の処
理を行う。この際、現フレームと参照フレームのデータ
に関しては間引きを行わない。こうして、１画素精度の
動きベクトル１０６を検出し、前記動きベクトル１０６
を動き情報として出力する。
度合いを調べ、最後に動きベクトル格納レジスタ９３内
のデータを、垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画
素精度の動きベクトル１０５として出力する。次に、前
記動きベクトル１０５の近傍に、垂直方向、水平方向共
に１画素精度で配置された第２のシフトベクトル群につ
いて同様に動きベクトル検出回路１４を用いて同様の処
理を行う。この際、現フレームと参照フレームのデータ
に関しては間引きを行わない。こうして、１画素精度の
動きベクトル１０６を検出し、前記動きベクトル１０６
を動き情報として出力する。
【００３０】図２は、本発明に係わる第２の動画像の動
き情報検出方式と、本発明に係わる第３の動画像の動き
情報検出方式を実現する一実施例のブロック図である。
き情報検出方式と、本発明に係わる第３の動画像の動き
情報検出方式を実現する一実施例のブロック図である。
【００３１】小ブロックに分割した現フレーム画像信号
１０１と参照フレーム信号１０２を入力とし、前記現フ
レーム画像信号１０１は２次元低域通過フィルタ１５を
通過し画像信号１０７を出力し、前記参照フレーム画像
信号１０２は２次元低域通過フィルタ１６を通過し画像
信号１０８を出力する。この低域通過フィルタ１５と１
６は、次段の画素間引き回路での画素間引き率の逆数す
なわち垂直方向は１／Ｉ1 に水平方向に１／Ｊ1 に帯域
制限を行なうフィルタである。
１０１と参照フレーム信号１０２を入力とし、前記現フ
レーム画像信号１０１は２次元低域通過フィルタ１５を
通過し画像信号１０７を出力し、前記参照フレーム画像
信号１０２は２次元低域通過フィルタ１６を通過し画像
信号１０８を出力する。この低域通過フィルタ１５と１
６は、次段の画素間引き回路での画素間引き率の逆数す
なわち垂直方向は１／Ｉ1 に水平方向に１／Ｊ1 に帯域
制限を行なうフィルタである。
【００３２】画素間引き回路１１は、前記２次元低域フ
ィルタ１５を作用させた後の前記画像信号１０７を入力
として、現フレームの間引き信号１０３を出力する。ま
た、画素間引き回路１２も同様に、前記２次元低域フィ
ルタ１６を作用させた後の前記画像信号１０８を入力と
して、参照フレームの間引き信号１０４を出力する。次
に、前記間引き信号１０３と１０４を動きベクトル検出
回路１３に入力し、垂直方向Ｉ1 画素精度かつ水平方向
Ｊ1 画素精度の動きベクトル１０５を出力する。
ィルタ１５を作用させた後の前記画像信号１０７を入力
として、現フレームの間引き信号１０３を出力する。ま
た、画素間引き回路１２も同様に、前記２次元低域フィ
ルタ１６を作用させた後の前記画像信号１０８を入力と
して、参照フレームの間引き信号１０４を出力する。次
に、前記間引き信号１０３と１０４を動きベクトル検出
回路１３に入力し、垂直方向Ｉ1 画素精度かつ水平方向
Ｊ1 画素精度の動きベクトル１０５を出力する。
【００３３】前記動きベクトル１０５を基にして、次段
階ではより高い精度の動きベクトルの検出を行なう。本
発明の第３の動き情報検出方式に示されている、１画素
よりも高い精度での動き情報検出を行なう場合には、前
記参照フレーム信号は画素内挿回路１７により、垂直方
向Ｕ倍かつ水平方向Ｖ倍の画素内挿が行なわれる。画素
内挿は図１０のように行い、入力画像信号の各画素間の
補間を垂直方向Ｕ倍水平方向Ｖ倍で行うことで出力信号
を得る。前記参照フレームの内挿が行なわれ、参照フレ
ーム信号が垂直方向１／Ｕ画素単位かつ水平方向１／Ｖ
画素単位で存在すると、この段階における動きベクトル
検出の候補ベクトル群を垂直方向１／Ｕ画素単位かつ水
平方向１／Ｖ画素単位で与えることができる。
階ではより高い精度の動きベクトルの検出を行なう。本
発明の第３の動き情報検出方式に示されている、１画素
よりも高い精度での動き情報検出を行なう場合には、前
記参照フレーム信号は画素内挿回路１７により、垂直方
向Ｕ倍かつ水平方向Ｖ倍の画素内挿が行なわれる。画素
内挿は図１０のように行い、入力画像信号の各画素間の
補間を垂直方向Ｕ倍水平方向Ｖ倍で行うことで出力信号
を得る。前記参照フレームの内挿が行なわれ、参照フレ
ーム信号が垂直方向１／Ｕ画素単位かつ水平方向１／Ｖ
画素単位で存在すると、この段階における動きベクトル
検出の候補ベクトル群を垂直方向１／Ｕ画素単位かつ水
平方向１／Ｖ画素単位で与えることができる。
【００３４】前記現フレーム信号１０１と前記内挿後の
参照フレーム信号１０９と前記動きベクトル１０５を動
きベクトル検出回路１４’に入力し、同様の処理を行い
結果として垂直方向１／Ｕ画素精度かつ水平方向１／Ｖ
画素精度の動きベクトル１０６を出力する。
参照フレーム信号１０９と前記動きベクトル１０５を動
きベクトル検出回路１４’に入力し、同様の処理を行い
結果として垂直方向１／Ｕ画素精度かつ水平方向１／Ｖ
画素精度の動きベクトル１０６を出力する。
【００３５】また、動きベクトルをＮ段階で検出する場
合は、図５に示す構成になる。前記第１段階の動きベク
トル検出方式の画素間引き率を順に低くし、順に高い精
度の動きベクトル検出を（Ｎ−１）段階まで行ないＮ段
階で前記最終段階の動きベクトル検出を行なうという構
成をとる。
合は、図５に示す構成になる。前記第１段階の動きベク
トル検出方式の画素間引き率を順に低くし、順に高い精
度の動きベクトル検出を（Ｎ−１）段階まで行ないＮ段
階で前記最終段階の動きベクトル検出を行なうという構
成をとる。
【００３６】
【発明の効果】以上に説明したように本発明によれば、
動きベクトルを検出する場合において、画素間引きを行
なうことによって所要演算量の大幅な削減ができる。ま
た、画素間引きを行なう前に低域通過フィルタを作用さ
せる方法を用いることにより、誤った動きベクトルの検
出を防ぐことができる。さらに、画素内挿後に動きベク
トル検出を行なう方法と用いると、１画素精度より高精
度の動きベクトルの検出が可能となる。
動きベクトルを検出する場合において、画素間引きを行
なうことによって所要演算量の大幅な削減ができる。ま
た、画素間引きを行なう前に低域通過フィルタを作用さ
せる方法を用いることにより、誤った動きベクトルの検
出を防ぐことができる。さらに、画素内挿後に動きベク
トル検出を行なう方法と用いると、１画素精度より高精
度の動きベクトルの検出が可能となる。
【図１】本発明に係わる第１の動き情報検出方式の一実
施例の基本ブロック図である。
施例の基本ブロック図である。
【図２】本発明に係わる第２、第３の動き情報検出方式
の一実施例の基本ブロック図である。
の一実施例の基本ブロック図である。
【図３】本発明に係わる第２の動き情報検出方式で用い
る低域通過フィルタの作用を説明する図である。
る低域通過フィルタの作用を説明する図である。
【図４】従来の動き情報検出方式のブロック図である。
【図５】本発明に係わる第２、第３の動き情報検出方式
の一実施例の基本ブロック図である。
の一実施例の基本ブロック図である。
【図６】本発明に係わる第１の動き情報検出方式で用い
る画素間引きの作用を説明する図。
る画素間引きの作用を説明する図。
【図７】画素間引き回路の説明図。
【図８】動きベクトル検出回路のブロック図。
【図９】動きベクトル検出回路のブロック図。
【図１０】画素内挿回路の説明図。
１１，１２ 垂直方向Ｉ1 ：１かつ水平方向Ｊ1 ：１の
画素間引き回路 １１’，１２’ 垂直方向Ｉ2 ：１かつ水平方向Ｊ2 ：
１の画素間引き回路 １３ 垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画素精度
動きベクトル検出回路 １３’ 垂直方向Ｉ2 画像かつ水平方向Ｊ2 画素精度動
きベクトル検出回路 １４ １画素精度動きベクトル検出回路 １４’ 垂直方向１／Ｕ画素精度かつ水平方向１／Ｖ画
素精度動きベクトル検出回路 １５，１６ ２次元低域通過フィルタ １７ 垂直方向Ｕ倍かつ水平方向Ｖ倍の画素内挿回路 １８ Ｎ画素精度動きベクトル検出回路 ８１ 現フレームメモリ ８２ 参照フレームメモリ ８３，８４ アドレス生成器 ８５ 減算器 ８６ 絶対値演算器 ８７ 累算器 ９１ 比較器 ９２ 最小値格納レジスタ ９３ 動きベクトル格納レジスタ ９４ 候補ベクトルインデックス １０１ 現フレーム信号 １０２ 参照フレーム信号 １０３ 間引き後の現フレーム信号 １０４ 間引き後の参照フレーム信号 １０５，１０６ 動きベクトル １０７ 低域通過フィルタ作用後の現フレーム信号 １０８ 低域通過フィルタ作用後の参照フレーム信号 １０９ 画素内挿後の参照フレーム信号 ８０１，８０２ 画素データ
画素間引き回路 １１’，１２’ 垂直方向Ｉ2 ：１かつ水平方向Ｊ2 ：
１の画素間引き回路 １３ 垂直方向Ｉ1 画素精度かつ水平方向Ｊ1 画素精度
動きベクトル検出回路 １３’ 垂直方向Ｉ2 画像かつ水平方向Ｊ2 画素精度動
きベクトル検出回路 １４ １画素精度動きベクトル検出回路 １４’ 垂直方向１／Ｕ画素精度かつ水平方向１／Ｖ画
素精度動きベクトル検出回路 １５，１６ ２次元低域通過フィルタ １７ 垂直方向Ｕ倍かつ水平方向Ｖ倍の画素内挿回路 １８ Ｎ画素精度動きベクトル検出回路 ８１ 現フレームメモリ ８２ 参照フレームメモリ ８３，８４ アドレス生成器 ８５ 減算器 ８６ 絶対値演算器 ８７ 累算器 ９１ 比較器 ９２ 最小値格納レジスタ ９３ 動きベクトル格納レジスタ ９４ 候補ベクトルインデックス １０１ 現フレーム信号 １０２ 参照フレーム信号 １０３ 間引き後の現フレーム信号 １０４ 間引き後の参照フレーム信号 １０５，１０６ 動きベクトル １０７ 低域通過フィルタ作用後の現フレーム信号 １０８ 低域通過フィルタ作用後の参照フレーム信号 １０９ 画素内挿後の参照フレーム信号 ８０１，８０２ 画素データ
Claims (3)
- 【請求項１】 連続する複数画像フレームからなる動画
像信号を、各画像フレームを複数個の画素からなる複数
ブロックに分割し、個々のブロック内画素とそのブロッ
クが属するフレームとは異なる参照フレーム内の画素と
のマッチング度を計算し、多段階に動画像の動きベクト
ルを推定する動画像の動き情報検出方式において、第Ｌ
段階においては、前記ブロック内画素と前記参照フレー
ム内画素に関して、共に垂直方向にはＩL 画素間引き
を、水平方向にはＪL画素間引きを行ない、垂直方向に
はＩL 画素精度かつ水平方向にはＪL 画素精度の動きベ
クトル推定を行ない、段階を進むにしたがって、画素間
引き率を細かくしていくことを特徴とする動画像の動き
情報検出方式。 - 【請求項２】 前記間引きを行なう前段階に、前記ブロ
ック内画素と前記参照フレーム内画素の両方に対して２
次元低域通過フィルタを作用させることを特徴とする請
求項１記載の動画像の動き情報検出方式。 - 【請求項３】 最終段階の前記動きベクトル推定の前段
階で、前記参照フレーム内画素に対して垂直方向にＵ
倍、かつ水平方向にＶ倍の画素内挿を行った後、前記最
終段階の動きベクトル推定を行なうことにより、垂直方
向１／Ｕ画素精度かつ水平方向１／Ｖ画素精度の動きベ
クトル検出を行なうことを特徴とする請求項１または２
記載の動画像の動き情報検出方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3199614A JPH0549023A (ja) | 1991-08-08 | 1991-08-08 | 動画像の動き情報検出方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3199614A JPH0549023A (ja) | 1991-08-08 | 1991-08-08 | 動画像の動き情報検出方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0549023A true JPH0549023A (ja) | 1993-02-26 |
Family
ID=16410788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3199614A Pending JPH0549023A (ja) | 1991-08-08 | 1991-08-08 | 動画像の動き情報検出方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0549023A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5512962A (en) * | 1993-05-25 | 1996-04-30 | Nec Corporation | Motion vector detecting apparatus for moving picture |
| JPH08237661A (ja) * | 1995-02-28 | 1996-09-13 | Sony Corp | 動きベクトル検出方法及び装置 |
| US6169766B1 (en) | 1997-08-26 | 2001-01-02 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detecting motion vector and image coding apparatus |
| US6516033B2 (en) | 1994-08-18 | 2003-02-04 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a portion of an image and outputting information of horizontal and vertical components of the motion vectors |
-
1991
- 1991-08-08 JP JP3199614A patent/JPH0549023A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5512962A (en) * | 1993-05-25 | 1996-04-30 | Nec Corporation | Motion vector detecting apparatus for moving picture |
| US6516033B2 (en) | 1994-08-18 | 2003-02-04 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a portion of an image and outputting information of horizontal and vertical components of the motion vectors |
| US6542548B2 (en) | 1994-08-18 | 2003-04-01 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US6928117B2 (en) | 1994-08-18 | 2005-08-09 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US7133454B2 (en) | 1994-08-18 | 2006-11-07 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US7680188B2 (en) | 1994-08-18 | 2010-03-16 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US7684487B2 (en) | 1994-08-18 | 2010-03-23 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US8135070B2 (en) | 1994-08-18 | 2012-03-13 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US8160146B2 (en) | 1994-08-18 | 2012-04-17 | Hitachi, Ltd. | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| JPH08237661A (ja) * | 1995-02-28 | 1996-09-13 | Sony Corp | 動きベクトル検出方法及び装置 |
| US6169766B1 (en) | 1997-08-26 | 2001-01-02 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detecting motion vector and image coding apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105517671B (zh) | 一种基于光流法的视频插帧方法及系统 | |
| EP0348207B1 (en) | Image motion vector detecting apparatus | |
| KR100575116B1 (ko) | 움직임추정을위한전처리방법및장치 | |
| JP3277418B2 (ja) | 動きベクトル検出装置および方法 | |
| WO2010079685A1 (ja) | 動きベクトル生成装置および動きベクトル生成方法 | |
| US5650828A (en) | Method and apparatus for detecting and thinning a contour image of objects | |
| US20090226097A1 (en) | Image processing apparatus | |
| Bätz et al. | Multi-image super-resolution using a dual weighting scheme based on Voronoi tessellation | |
| KR100616755B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
| EP0367310A2 (en) | Picture motion measurement | |
| JPH0549023A (ja) | 動画像の動き情報検出方式 | |
| JP2014052855A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH09224249A (ja) | 動きベクトル検出装置 | |
| JP2851629B2 (ja) | 画像の動きベクトル検出装置 | |
| US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
| JP2869142B2 (ja) | 画像の動き検出方法 | |
| JPH07288814A (ja) | 動きベクトル検出方法 | |
| JP3727731B2 (ja) | 動画像の動き量推定装置 | |
| JP2007097028A (ja) | 動きベクトル検出方法および動きベクトル検出回路 | |
| JPH0795587A (ja) | 動きベクトル検出方法 | |
| JPH09102955A (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
| JP2000102015A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| KR20010009519A (ko) | 디인터레이싱 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20000926 |