JPH06233282A

JPH06233282A - 動き補償予測方法

Info

Publication number: JPH06233282A
Application number: JP1868993A
Authority: JP
Inventors: Atsushi Shimizu; 淳清水; Yoshiyuki Yashima; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-02-05
Filing date: 1993-02-05
Publication date: 1994-08-19

Abstract

(57)【要約】（修正有）【目的】少ない計算量で整数画素よりも小さい精度で
動きベクトルを求める。【構成】整数画素単位の精度で仮り動きベクトルを画
像信号の各分割小ブロックについて求め、その示す位置
（ｘ₀，ｙ₀）と隣接する８つの画素位置（ｘ_0+i，ｙ
_0+j）（ｉ，ｊ＝｛−１，０，１｝）との各評価値Ｅ
_i,j（対応画素内の差分値の絶対値の和）とを求め、ラ
イン１上の位置（ｘ_0-1，ｙ_0-1）（ｘ₀，ｙ₀），
（ｘ₀₊₁，ｙ₀₊₁）の各評価値Ｅ_-1-1，Ｅ₀₀，Ｅ₊₁₊₁を
通る２次曲線を近似し最小値Ｅ_1minの位置（ｘ₁，
ｙ₁）を求め、同様にライン２〜４についても評価値を
通る２次曲線をそれぞれ近似し、その最小値Ｅ_2min〜Ｅ
_4minの各位置（ｘ₂，ｙ₂）〜（ｘ₄，ｙ₄）を求め、
最小値Ｅ_1min〜Ｅ_4min中の最小値を求めてその位置を示
す動きベクトルを求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は動画像信号を高能率符
号化するために用いられ、画像の動きを補償して画像信
号を予測する動き補償予測方法に関するものである。

【０００２】

【従来の技術】テレビジョン信号のような動画像信号を
伝送、記憶する際に、画像信号をｍ×ｎの小ブロックに
分割し、前フレームや前フィールド等から対象小ブロッ
クに最も類似度の高い小ブロックを検出して、それらの
ブロック間で予測信号を得る事により、符号化情報を削
減する方法が提案されている。動き補償予測方法に於て
は、いくつかの動きベクトルの分だけ位置のずれた前フ
レームや前フィールドの小ブロックと現画像信号のＮ個
の各分割小ブロックとの各類似度を、それぞれ例えば、
対応する画素間の差分値の絶対値和等の評価値で計算
し、その類似度が最も高いベクトルを動きベクトルとし
て採用する。

【０００３】しかし、動きは必ずしも整数画素単位でな
いため、１画素未満の精度の動きベクトルの検出に対し
ては、従来においては近傍画素値により補間された画像
を生成した後、その補間画像上に小ブロックを生成する
ことによって、動きベクトルを検出する方法が用いられ
ている。例えば、図４に、１／２画素精度の動きベクト
ルを検出する回路を示す。入力端子１０１より入力され
た画像信号は、ブロック分割部１０３に於てＮ個の小ブ
ロックに分割される。また、前記入力画像信号はフレー
ムメモリ１０２に於て１フィールド以上遅延され、その
遅延した信号から補間画像生成部１０４〜６に於てそれ
ぞれ１／２画素精度の画像信号が生成される。図５に、
補間画像生成部１０４〜６に於て生成される補間画像信
号の分布を示す。画素位置（ｘ，ｙ）と（ｘ＋１，ｙ）
との水平補間画像信号ａ、画素位置（ｘ，ｙ）と（ｘ，
ｙ＋１）との垂直補間画像信号ｂ、画像位置（ｘ，ｙ）
と（ｘ＋１，ｙ）と（ｘ，ｙ＋１）と（ｘ＋１，ｙ＋
１）との周囲４近傍補間画像信号ｃはそれぞれ次式で求
まる。水平方向 a(x+1/2,y)＝｛f(x,y)+f(x+1,y) ｝／２（１）垂直方向 b(x,y+1/2)＝｛f(x,y)+f(x,y+1) ｝／２（２）周囲４近傍 c(x+1/2,y+1/2)＝｛f(x,y)+f(x,y+1)+f(x+1,y)+f(x+1,y+1) ｝／４（３）ｆは整数画素精度の画像信号である。

【０００４】フレームメモリ１０２の画像信号と各補間
画像信号ａ，ｂ，ｃは、ブロック生成部１０７〜１１０
に於てそれぞれ小ブロックが生成され、その各生成小ブ
ロックと、ブロック分割部、１０３にてＮ個の小ブロッ
クに分割された各ブロックとの評価値が評価値計算部１
１１〜１１４でそれぞれ計算され、最後に、これら算出
された評価値が比較部１１５に於て比較し、Ｎ個の各ブ
ロックについて、それぞれ評価値が最も小さい、つまり
類似度最大のものを求めてそれぞれのブロックに対する
動きベクトルを検出する。

【０００５】

【発明が解決しようとする課題】このように、１画素未
満の画像の動きを求めるには、従来においては補間画像
信号を得る処理が必要である。更に動きベクトルの探索
精度を１／２画素、１／４画素、１／８画素・・・と上
げていくと、その補間画素信号の生成、その補間画像信
号の生成、小ブロックと、Ｎ個の各分割小ブロックとの
評価値の計算、類似度の最大のものの選択等の計算量が
膨大になり、ハードウェア実現という観点から問題があ
る。

【０００６】特に、ＨＤＴＶ（高品位テレビジョン）等
の高速処理が要求されている信号に対しては、探索精度
の高い動きベクトルが、より少ない計算量で検出できる
手段が要求されている。この発明の目的は、上記の課題
を解決し、補間画像信号を生成することなしに１画素未
満の精度の動きベクトルを検出することができる動き補
償予測方法を提供することにある。

【０００７】

【課題を解決するための手段】この発明によれば現Ｎ個
の分割小ブロックについて予め定められた整数値の動き
量を持つＮ個の仮り動きベクトルＶ_iをそれぞれ求め、
その各仮り動きベクトルについて、その仮り動きベクト
ルの示す位置と、その周辺の整数画素単位ずれた複数の
位置とについてそれぞれ、その分割小ブロックと１フィ
ールド以上前の生成小ブロックとの間の類似度をそれぞ
れ求め、その複数の類似度を、最大類似度を推定する関
数に代入して整数画素単位よりも高い精度で最大類似度
の位置を求め、その位置に対する動きベクトルを求める
動きベクトルとする。

【０００８】

【作用】この方法では、精度の荒いＮ個の仮り動きベク
トルに対する類似度から、最大類似度を推定する関数に
代入して最良の類似度を与える動きベクトルを推定する
ため、推定された動きベクトルは連続空間中に分布しう
る。従って、この動きベクトルを１／２画素、１／４画
素等、所望の精度に量子化することにより、補間画像信
号の生成等の計算を省略でき、計算量が減少し、結果と
して高速に高精度の動きベクトルが推定できることにな
る。

【０００９】

【実施例】以下にこの発明の実施例について説明する。
図１はこの発明を適用した動きベクトル検出回路であ
る。入力端子３０１からの入力画像信号はフレームメモ
リ３０２に記憶されると共にブロック分割部３０３でＮ
個の小ブロックに分割される。フレームメモリ３０２に
より予め決められた１フィールド以上遅延された画像信
号から小ブロックが生成され、その生成小ブロックと各
分割小ブロックとの類似度、この例では差分絶対値和の
評価値Ｅがそれぞれ評価値計算部３０５で計算される。
この計算された評価値Ｅから動きベクトル推定部３０６
で動きベクトルが推定される。

【００１０】動きベクトル推定部３０６の詳細を図２に
示す。まず最初に、仮り動きベクトル検出部４０１に於
て整数画素精度の仮り動きベクトルＶ₀₀を各分割ブロッ
クについて求める。次に、近傍位置の評価値検出部４０
２で、仮り動きベクトルＶ₀₀が示す位置（ｘ₀，ｙ₀）
とその周辺の８つの画素位置（ｘ₀＋ｉ，ｙ₀＋ｊ）
（ｉ，ｊ＝｛−１，０，１｝）との各評価値Ｅ₀₀、評価
値Ｅ_ijを検出する。これら評価値は評価値計算部３０５
（図１）で得られているから、対応するものをもってく
ればよい、これら評価値から評価値が最小となる動きベ
クトルを最小値推定部４０３〜４０６で推定する。

【００１１】その最小値推定部の演算例を図３を参照し
て説明する。図３は位置（ｘ₀，ｙ ₀）を通り、これと
隣接する画素位置を結ぶ４本の直線（ライン）１〜４上
の各３点の評価値を最小値推定部４０３〜４０６で用
い、その３点を通る二次曲線を近似することで、その二
次曲線の最小値の位置から差分絶対値和が最小になると
思われる動きベクトルを検出する。仮り動きベクトルＶ
₀₀は、整数画素精度に於て評価値が最小の位置として検
出されているので、二次曲線は常に下向きに凸となり、
その極値が最小値となり、その最小値の位置を示す動き
ベクトルを求める。

【００１２】各ライン上の推定される動きベクトルと最
小値評価値は次のようになる。位置（ｘ₀−１，ｙ₀−
１），（ｘ₀，ｙ₀）、（ｘ₀＋１，ｙ₀＋１）を通る
ライン１はその位置（ｘ₀−１，ｙ₀−１）の評価値Ｅ
_-1-1，位置（ｘ₀，ｙ ₀）の評価値Ｅ₀₀、位置（ｘ₀＋
１，ｙ₀＋１）の評価値Ｅ₊₁₊₁を通る二次曲線の最小位
置もライン１上にあるから、例えば（ｘ₁＝ｘ₀＋
α₁，ｙ₁＝ｙ₀＋α₁）の位置となり、その位置の最
小評価値Ｅ_1min及びα₁は次式で表わせる。

【００１３】 α₁＝−[1-2(E_-1-1-E₀₀)] /｛(E_-1-1-E₀₀)+(E₊₁₊₁-E₀₀) ｝／２ x₁＝x₀＋α₁ y₁＝y₀＋α₁ E_1min＝(E₊₁₊₁-E₀₀)²／｛(E_-1-1-E₀₀)+(E₊₁₊₁-E₀₀) ｝／２位置（ｘ₀，ｙ_0-1），（ｘ₀，ｙ₀），（ｘ₀，ｙ₀
＋１）を通るライン２についてはその各位置の評価値Ｅ
_0-1，Ｅ₀₀，Ｅ₀₊₁を通る二次曲線のその最小値
Ｅ_2min、その位置（ｘ₀，ｙ₀＋α₂）は次式となる。

【００１４】 α₂＝−[1-2(E_0-1-E₀₀)］／｛(E_0-1-E₀₀)+(E₀₊₁-E₀₀) ｝／２ x₂＝x₀ y₂＝y₀＋α₂ E_2min＝(E₀₊₁-E₀₀)² ／｛(E_0-1-E₀₀)+(E₀₊₁-E₀₀) ｝／２以下同様に位置（ｘ₀＋１，ｙ₀−１），（ｘ₀，
ｙ₀），（ｘ₀−１，ｙ₀＋１）を通るライン３につい
ての最小評価値Ｅ_3minとその位置（ｘ₃，ｙ₃）は次式
で求まる。

【００１５】 α₃＝−[1-2(E_-1+1-E₀₀) ］／｛(E_-1+1-E₀₀)+(E_+1-1-E₀₀) ｝／２ x₃＝x₀＋α₃ y₃＝y₀−α₃ E_3min＝(E_+1-1-E₀₀)²／｛(E_-1+1-E₀₀)+(E_+1-1-E₀₀) ｝／２位置（ｘ_0-1，ｙ₀），（ｘ₀，ｙ₀），（ｘ₀₊₁，ｙ
₀）を通るライン４についての最小評価値Ｅ_4minとその
位置（ｘ₄，ｙ₄）は次式で求まる。

【００１６】 α₄＝−[1-2(E_-10-E₀₀)］／｛(E_-10-E₀₀)＋(E₊₁₀-E₀₀)｝／２ x₄＝x₀＋α₄ y₄＝y₀ E_4min＝(E₊₁₀-E₀₀)² ／｛(E_-10-E₀₀)＋(E₊₁₀-E₀₀)｝／２このようにして求めたライン１〜４上での最も評価値
（極値）が最小となる位置を示す動きベクトルを最大類
似度ベクトル抽出部４０７で抽出し、ベクトル量子化部
４０８に於てその抽出した動きベクトルを１／２画素、
１／４画素、１／８画素などの所望の精度に量子化を行
う。

【００１７】この実施例では、仮り動きベクトルの周辺
の８ベクトルを用いているが、より多くのベクトルを用
いてもよい。また、最大類似度を推定する関数としては
二次曲関数に限らず、更にその関数近似する場合につい
ても、３点以上を用いたり、曲面による近似を行うなど
して動きベクトルの検出精度を上げることも可能であ
る。

【００１８】

【発明の効果】以上述べたように、この方法では予め求
めた整数画素精度の仮り動きベクトルに対する評価値
（類似度）のみを用いて１画素未満の精度の動きベクト
ルを予測するため、従来のように、補間画像信号で構成
される各小ブロックとの類似度を計算する必要がなくな
るため計算量を大幅に低減できる。

【図面の簡単な説明】

【図１】この発明が適用された動きベクトル検出回路を
示すブロック図。

【図２】図１中の動きベクトル推定部３０６の構成を示
すブロック図。

【図３】評価値の最小値推定に利用する各画素位置とそ
の点の評価値とを示す図。

【図４】従来の動きベクトルを求める方法を示すブロッ
ク図。

【図５】原画素と補間画素との関係を示す図。

Claims

【特許請求の範囲】

【請求項１】ディジタル化された画像信号に対して、
画像信号を小ブロックに分割し、その分割された各小ブ
ロックの画素信号とその１フィールド以上前の画像信号
とを用いてそれぞれ動きベクトルを検出し、上記各小ブ
ロックの画素値と、これに対する上記検出された動きベ
クトルの分だけ位置のずれた１フィールド以上前の小ブ
ロックの画素値との間で差分を計算する動き補償予測方
法に於て、上記各小ブロックについて、整数画素単位で仮り動きベ
クトルをそれぞれ求め、その各仮り動きベクトルについて、その仮り動きベクト
ルの示す位置と、その周辺の整数画素単位ずれた複数の
位置とについてそれぞれ上記小ブロックと１フィールド
以上前の生成小ブロックとの類似度を求め、上記各仮り動きベクトルについてその求めた複数の類似
度を、最大類似度を推定する関数に代入して、整数画素
単位よりも高い精度で最大類似度の位置をそれぞれ求
め、これら求めた各最大類似度の位置に対する各動きベクト
ルをそれぞれ真の動きベクトルとすることを特徴とする
動き補償予測方法。