JPH04266292A - 画像信号の動き補償予測方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号の動き補償予
測方法に関する。

【０００２】動画像信号の高能率高圧縮率符号化手法と
して、現行の符号化するフレームと直前のフレームとか
らデータを読み出して動き補償予測を施すことによりフ
レーム間符号化を行なう動き補償予測方式がある。

【０００３】

【従来の技術】図７は従来の動き補償予測符号化装置の
ブロック図であるが、この図７において、１０１は量子
化器、１０２はフレームメモリ、１０３は可変遅延器、
１０４は動き補償予測部、１０５は加算器、１０６は減
算器であるが、このような構成の動き補償予測符号化装
置では、現行の符号化するフレームとフレームメモリ１
０２に蓄積された直前のフレームとからデータを読み出
して、動き補償予測部１０４にて、動き補償予測を施す
ことによりフレーム間符号化を行なう。

【０００４】ここで、図７に示す装置での動き補償演算
の実行は、通常、図８（ａ）に示すように、符号化しよ
うとする画面をある大きさのブロック（例えば８画素×
８ライン）毎に分割し、現画面上のブロックについて、
図８（ｂ）に示す予測画面（前画面）上のブロックｉ１
　，ｉ２　，ｉ３　，・・・とマッチング演算を行ない
、ある評価法で決まる誤差が最小となるブロックを検出
し、最適な動きベクトルを求めることにより行なう。

【０００５】ここで、評価法の１つとして、差分絶対値
和が挙げられる。それは現画面上のブロック内のデータ
（画素値）をＸｋ（ｋ＝１〜６４、ブロックが８×８の
場合）、予測画面上の位置ｉのブロック内のデータをＹ
ｉ，ｋ（ｋ＝１〜６４）としたとき、ブロックｉの評価
値Ｓｉを Ｓｉ＝Σ｜Ｘｋ―Ｙｉ，ｋ｜　　・・（１）により求め
るもので、これが最小となるブロックが最適予測ブロッ
クとなる。

【０００６】なお、この場合、現行の符号化するフレー
ムと直前のフレームとから、量子化・符号化したものは
、予測誤差として受信側に伝送されるほか、動き補償予
測部１０４からの動きベクトルも受信側に伝送される。

【０００７】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像信号の動き補償予測方式では、画面をあ
る大きさのブロックに分割し、各ブロックについて予測
画面の中から予測誤差が最も少ないブロックを探索する
ため、探索対象ブロック数等に比例して処理量が増加す
る。

【０００８】ここで、圧縮対象画像信号として、通常の
１３．５ＭＨｚでサンプリングしたＮＴＳＣ信号を考え
、探索対象ブロック数を９６１（＝３１×３１）とする
と、約１３０００ＭＯＰＳ（ミリオンオペレーションパ
ーセカント）の差分絶対値の累積演算（マッチング演算
）が必要となり、これにより、非常に膨大な演算が必要
になる。

【０００９】なお、１ブロック当たりのマッチング演算
に用いる画素数を減らすといった方法（例えば、６４画
素のうち１６画素を用いる）もあるが、これでは演算精
度が落ちるため、正しい動きベクトルを求めることがで
きない。

【００１０】本発明は、このような課題に鑑み創案され
たもので、マッチング演算回数を削減しても、正しい動
きベクトルを求めることができるようにした、画像信号
の動き補償予測方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】図１は請求項１記載の発
明の原理説明図であるが、この発明は、画像信号の動き
補償予測において、複数（Ｌ）の画素からなる所要サイ
ズのブロックＮ個について探索を行なうことにより、こ
の中から最適な動きベクトルを検出するものにおいて、
次のステップをとる。 （１）まず、ブロックＮ個について、画素間引きを行な
ったＬ１（＜Ｌ）画素によるマッチング演算を行なう（
ステップＡ１）。 （２）マッチング演算値の小さい方からＭ（＜Ｎ）個の
ブロックを選び出す（ステップＡ２）。 （３）Ｍ個のブロックについて、Ｌ２（Ｌ１＜Ｌ２≦Ｌ
）画素によるマッチング演算を行なう（ステップＡ３）
。 （４）その中から最小のマッチング演算値を求め、この
最小のマッチング演算値から最適な動きベクトルを検出
する（ステップＡ４）。

【００１２】図２は請求項２記載の発明の原理説明図で
あるが、この発明は、画像信号の動き補償予測において
、複数（Ｌ）の画素からなる所要サイズのブロックＮ個
について探索を行なうことにより、この中から最適な動
きベクトルを検出するものにおいて、次のステップをと
る。 （１）まず、ブロックＮ個について、画素間引きを行な
ったＬ１（＜Ｌ）画素によるマッチング演算を行なう（
ステップＢ１）。 （２）マッチング演算値の小さい方からＭ１（＜Ｎ）個
のブロックを選び出し、Ｍ１個のブロックについて、Ｌ
２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチング演算を行な
って、その中から最小のマッチング演算値を求め、同様
の操作をｈ段繰り返す（ステップＢ２〜Ｂ５）。 （３）上記の中から最小のマッチング演算値を求め、こ
の最小のマッチング演算値から最適な動きベクトルを検
出する（ステップＢ６）。

【００１３】図３は請求項３記載の発明の原理説明図で
あるが、この発明は、画像信号の動き補償予測において
、複数（Ｌ）の画素からなる所要サイズのブロックＮ個
について探索を行なうことにより、この中から最適な動
きベクトルを検出するものにおいて、次のステップをと
る。 （１）まず、ブロックＮ個について、画素間引きを行な
ったＬ１（＜Ｌ）画素によるマッチング演算を行なう（
ステップＣ１）。 （２）マッチング演算値の小さい方からＤ（＜Ｎ）個の
ブロックを選び出す（ステップＣ２）。 （３）Ｄ個のブロックおよびその近傍のブロックについ
て、Ｌ２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチング演算
を行ななう（ステップＣ３）。 （４）その中から最小のマッチング演算値を求め、この
最小のマッチング演算値から最適な動きベクトルを検出
する（ステップＣ４）。

【００１４】

【作用】上述の請求項１記載の発明の画像信号の動き補
償予測方法では、図１に示すように、まず、ブロックＮ
個について、画素間引きを行なったＬ１（＜Ｌ）画素に
よるマッチング演算を行ない（ステップＡ１）、これら
のマッチング演算値の小さい方からＭ（＜Ｎ）個のブロ
ックを選び出し（ステップＡ２）、これらＭ個のブロッ
クについて、Ｌ２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチ
ング演算を行なって（ステップＡ３）、その中から最小
のマッチング演算値を求め、この最小のマッチング演算
値から最適な動きベクトルを検出する（ステップＡ４）
。

【００１５】また、請求項２記載の発明の画像信号の動
き補償予測方法では、図２に示すように、まず、ブロッ
クＮ個について、画素間引きを行なったＬ１（＜Ｌ）画
素によるマッチング演算を行ない（ステップＢ１）、こ
れらのマッチング演算値の小さい方からＭ１（＜Ｎ）個
のブロックを選び出し、Ｍ１個のブロックについて、Ｌ
２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチング演算を行な
って、その中から最小のマッチング演算値を求め、同様
の操作をｈ段繰り返すことにより（ステップＢ２〜Ｂ５
）、最小のマッチング演算値を求め、この最小のマッチ
ング演算値から最適な動きベクトルを検出する（ステッ
プＢ６）。

【００１６】さらに、請求項３記載の発明の画像信号の
動き補償予測方法では、まず、ブロックＮ個について、
画素間引きを行なったＬ１（＜Ｌ）画素によるマッチン
グ演算を行ない（ステップＣ１）、これらのマッチング
演算値の小さい方からＤ（＜Ｎ）個のブロックを選び出
し（ステップＣ２）、Ｄ個のブロックおよびその近傍の
ブロックについて、Ｌ２（Ｌ１＜Ｌ２≦Ｌ）画素による
マッチング演算を行ない（ステップＣ３）、その中から
最小のマッチング演算値を求め、この最小のマッチング
演算値から最適な動きベクトルを検出する（ステップＣ
４）。

【００１７】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００１８】図４は本発明の一実施例を示すブロック図
で、この図４において、１は現画面（原画ブロック）情
報Ｘｋを格納するメモリ（ＲＡＭ）、２は予測画面情報
Ｙｉ，ｋを格納するメモリ（ＲＡＭ）で、各メモリ１，
２の格納データはアドレス発生器３，４からのアドレス
情報に基づいて読み出されるようになっている。

【００１９】なお、アドレス発生器３は所定の順序でア
ドレスを発生するが、アドレス発生器４は後述のように
制御部９からの信号を受けてアドレスを飛び飛びに発生
することができる。

【００２０】５は評価値演算部で、この評価値演算部５
は、差分絶対値和演算手法により、メモリ１の現画面情
報Ｘｋとメモリ２の予測画面情報Ｙｉ，ｋとを用いてマ
ッチング演算を施すもので、このためメモリ１の現画面
情報Ｘｋとメモリ２の予測画面情報Ｙｉ，ｋとの間で減
算演算を行なう減算器５１と、この減算器５１の出力の
絶対値を演算する絶対値演算部５２と、この絶対値演算
部５２の出力の累積和を演算する累積和演算部５３とを
そなえている。

【００２１】６はメモリで、このメモリ６には、評価値
演算部５の出力が格納されるようになっている。

【００２２】７は降順ソート器で、この降順ソート器７
は、メモリ６に格納されたマッチング演算結果からマッ
チング演算値の小さい順に並べ換えるものである。

【００２３】８は候補ブロック保存用メモリで、このメ
モリ８は、降順ソート器７で得られたマッチング演算値
から候補となるブロックを選択してこれを格納するもの
で、このメモリ８に保存すべき候補ブロックに関しての
情報例を示すと、図５のようになる。

【００２４】９は制御部で、この制御部９は、候補ブロ
ック保存用メモリ８で候補ブロックを格納した旨の信号
を受けると、アドレス発生器４へ発生アドレス情報を変
更させるための（アドレスを飛び飛びに発生させるため
の）制御信号を出すものである。

【００２５】１０は動きベクトル変換用ＲＯＭで、この
ＲＯＭ１０は、メモリ７に格納されたマッチング演算値
情報を動きベクトル情報に変換するものである。

【００２６】ところで、上記の装置で実現できる動き補
償予測方式としては３方式あり、以下、各方式について
説明する。

【００２７】（１）第１の方式について今、ブロックの
画素配置例を図６に示す。ここでは、ブロックサイズを
８×８とする。

【００２８】まず、ブロック内の〇画素について、評価
値演算部５で、上記（１）式を用いて、マッチング演算
を行なう。ここでは、５００（Ｎ）個のブロックについ
てマッチングを行なったとする。

【００２９】つぎに、降順ソート器７で、ソーティング
により評価値Ｓの小さかった１０（Ｍ）個のブロックを
見つけ、これらを候補ブロックとし、これを候補ブロッ
ク保存用メモリ８に格納する。

【００３０】その後は、これらの候補ブロックについて
、残りの画素（△，□，×）も含めて、評価値演算部５
で、上記（１）式を用いて、マッチング演算を行なう。

【００３１】このとき、〇画素についての累積値は既に
求まっているので、その他の画素についてのみ累積し、
最後に〇画素の累積値を加算すればよい。

【００３２】そして、その後は評価値Ｓｉが最小となる
ブロックを見つけ、そのときのｉが動きベクトルのイン
デックスとなる。

【００３３】ここで、この第１の方式による差分絶対値
の加算の演算量を従来のようにフルサーチを行なう方法
と比較して見ると、次のようになる。 ■第１の方式：６４×１０＋１６×４９０＝８４８０■
従来方式　　：６４×５００＝３２０００

【００３４】
これからこの第１の方式は従来の方式に比べ演算量を約
１／４に削減できることがわかる。これにより、マッチ
ング演算回数を削減しても、正しい動きベクトルを求め
ることができるのである。

【００３５】ところで、この第１の方式を一般化して示
すと、次のようになる。

【００３６】すなわち、画像信号の動き補償予測方法に
おいて、ブロックサイズＬ（ａ×ｂ）、最大ブロック数
Ｎの中で動きベクトルを検出する際に、１ブロックのマ
ッチング演算において、Ｘｋを原画ブロック内の画素値
、Ｙｉ，ｋを予測画面における位置ｉのブロックの画素
値とするとき、まず、画素間引きを行なったＬ１（Ｌ２
≦Ｌ）画素によるマッチング演算を次式に基づいて行な
う。 Ｓ１ｉ＝Σ｜Ｘｋ―Ｙｉ，ｋ｜　　・・（２）ここで、
上式においては、ｉ＝１，２，・・，Ｎ′≦Ｎで、更に
上式においては、ｋ＝１〜Ｌ１について累積和がとられ
る。

【００３７】つぎに、このＳ１の値の小さい方からＭブ
ロックを選び出し、そのブロックに対して更に次式を演
算する。 Ｓ２ｊ＝Σ｜Ｘｋ―Ｙｊ，ｋ｜＋Ｓ１ｊ　　・・（３）
ここで、ｊは選び出されたＭ個で、更に上式においては
、ｋ＝Ｌ１＋１〜Ｌ２について累積和がとられる。

【００３８】そして、最小となるＳ２を求め、そのとき
のｊの値を動きベクトルのインデックスとするのである
。

【００３９】（２）第２の方式についてここでも、図６
を用いて説明する。まず、ブロック内の〇画素について
、評価値演算部５で、上記（１）式を用いて、マッチン
グ演算を行なう。ここでも、５００（Ｎ）個のブロック
についてマッチングを行なったとする。

【００４０】つぎに、降順ソート器７で、ソーティング
により評価値Ｓの小さかった４０（Ｍ１）個のブロック
を見つけ、これらを候補ブロックとし、これを候補ブロ
ック保存用メモリ８に格納する。

【００４１】その後は、これらの候補ブロックについて
、△画素も含めて、評価値演算部５で、上記（１）式を
用いて、マッチング演算を行ない、さらに降順ソート器
７で、ソーティングにより評価値Ｓの小さかった２０（
Ｍ２）個のブロックを見つけ、これらを候補ブロックと
して、これを候補ブロック保存用メモリ８に格納する。

【００４２】さらに同様に、これらの候補ブロックにつ
いて、□画素も含めて、評価値演算部５で、上記（１）
式を用いて、マッチング演算を行ない、さらに降順ソー
ト器７で、ソーティングにより評価値Ｓの小さかった１
０（Ｍ３）個のブロックを見つけ、これらを候補ブロッ
クとして、これを候補ブロック保存用メモリ８に格納す
る。

【００４３】最後に、×画素も含めて、評価値演算部５
で、上記（１）式を用いて、マッチング演算を行ない、
評価値Ｓが最小となるブロックを見つけ、そのときのｉ
の値が動きベクトルのインデックスとなる。

【００４４】この場合においても、各段階において、マ
ッチングの累積演算は、前段までの累積結果が使える。

【００４５】このようにしてマッチング演算回数を削減
しても、正しい動きベクトルを求めることができる。

【００４６】さらに、この第２の方式を一般化して示す
と、次のようになる。

【００４７】すなわち、この第２の方式は、上記の第１
の方式を多段階に行なう方式で、Ｌ１＜Ｌ２＜Ｌ３＜・
・＜Ｌｈ≦Ｌ，Ｍ１＞Ｍ２＞Ｍ３＞・・・＞Ｍｈ≧１と
すると、まず、上記の第１方式と同様に、画素間引きを
行なったＬ１（Ｌ２≦Ｌ）画素によるマッチング演算を
次式に基づいて行なう。 Ｓ１ｉ＝Σ｜Ｘｋ―Ｙｉ，ｋ｜　　・・（４）ここで、
上式においては、ｉ＝１，２，・・，Ｎ′≦Ｎで、更に
上式においては、ｋ＝１〜Ｌ１について累積和がとられ
る。

【００４８】つぎに、このＳ１の値の小さい方からＭ１
ブロックを選び出し、そのブロックに対して更に次式を
演算する。 Ｓ２ｊ＝Σ｜Ｘｋ―Ｙｊ，ｋ｜＋Ｓ１ｊ　　・・（５）
ここで、ｊは選び出されたＭ１個で、更に上式において
は、ｋ＝Ｌ１＋１〜Ｌ２について累積和がとられる。

【００４９】そして、Ｓ１の値の小さい方からＭ２ブロ
ックを選び出す。

【００５０】これをｈ段繰り返すことにより、以下の（
６）式まで演算を行なう。 Ｓｈｐ＝Σ｜Ｘｋ―Ｙｐ，ｋ｜＋Ｓ１ｐ＋Ｓ２ｐ＋Ｓ３
ｐ＋・・＋Ｓ（ｈ−１）ｐ　　・・（６）ここで、ｐは
選び出されたＭｈ個で、更に上式においては、ｋ＝Ｌ（
ｈ−１）＋１〜Ｌｈについて累積和がとられる。

【００５１】その後は、最小となるＳｈを求め、そのと
きのｐの値を動きベクトルのインデックスとするのであ
る。

【００５２】（３）第３の方式についてここでも、図６
を用いて説明する。まず、ブロック内の〇画素について
、評価値演算部５で、上記（１）式を用いて、マッチン
グ演算を行なう。ここでも、５００（Ｎ）個のブロック
についてマッチングを行なったとする。

【００５３】つぎに、降順ソート器７で、ソーティング
により評価値Ｓの小さかった３（Ｄ）個のブロックを見
つけ、これらの３ブロックと各近傍８ブロックも候補ブ
ロックとし、これを候補ブロック保存用メモリ８に格納
する。

【００５４】その後は、これらの２７個の候補ブロック
について、残りの画素（△，□，×）も含めて、評価値
演算部５で、上記（１）式を用いて、マッチング演算を
行なう。

【００５５】このとき、〇画素についての累積値は既に
求まっているので、その他の画素についてのみ累積し、
最後に〇画素の累積値を加算すればよい。

【００５６】そして、その後は評価値Ｓｉが最小となる
ブロックを見つけ、そのときのｉが動きベクトルのイン
デックスとなる。

【００５７】ここにおいても、各段階において、マッチ
ングの累積演算は、前段までの累積結果が使える。

【００５８】このようにしてマッチング演算回数を削減
しても、正しい動きベクトルを求めることができる。

【００５９】ところで、この第３の方式を一般化して示
すと、次のようになる。

【００６０】すなわち、画像信号の動き補償予測方法に
おいて、ブロックサイズＬ（ａ×ｂ）、最大ブロック数
Ｎの中で動きベクトルを検出する際に、１ブロックのマ
ッチング演算において、Ｘｋを原画ブロック内の画素値
、Ｙｉ，ｋを予測画面における位置ｉのブロックの画素
値とするとき、まず、画素間引きを行なったＬ１（Ｌ２
≦Ｌ）画素によるマッチング演算を次式に基づいて行な
う。 Ｓ１ｉ＝Σ｜Ｘｋ―Ｙｉ，ｋ｜　　・・（７）ここで、
上式においては、ｉ＝１，２，・・，Ｎ′≦Ｎで、更に
上式においては、ｋ＝１〜Ｌ１について累積和がとられ
る。

【００６１】つぎに、Ｓ１の値の小さい方からＤ（＜Ｎ
）個のブロック選び出し、それぞれのブロックおよびそ
の近傍のブロックに対して更に次式を演算する。 Ｓ２ｊ＝Σ｜Ｘｋ―Ｙｊ，ｋ｜＋Ｓ１ｊ　　・・（８）
ここで、ｊは選び出されたＤ個およびその近傍のブロッ
ク位置で、更に上式においては、ｋ＝Ｌ１＋１〜Ｌ２に
ついて累積和がとられる。

【００６２】そして、最小となるＳ２を求め、そのとき
のｊの値を動きベクトルのインデックスとするのである
。

【００６３】なお、上記の各方式において、マッチング
演算を差分絶対値和で求める代わりに、次式で表される
二乗歪みで求めてもよい。 Ｓｉ＝Σ（Ｘｋ―Ｙｉ，ｋ）２　　　・・（９）ここで
、上式においては、ｋ＝１〜Ｌについて累積和がとられ
る。

【００６４】

【発明の効果】以上詳述したように、本発明の画像信号
の動き補償予測方法（請求項１〜３）によれば、マッチ
ング演算回数を削減しても、正しい最適な動きベクトル
を求めることができる利点がある。

【図面の簡単な説明】

【図１】請求項１記載の発明の原理説明図である。

【図２】請求項２記載の発明の原理説明図である。

【図３】請求項３記載の発明の原理説明図である。

【図４】本発明の一実施例を示すブロック図である。

【図５】候補ブロック保存用メモリの格納データの例を
説明する図である。

【図６】ブロック内画素配置例を説明する図である。

【図７】従来例を示すブロック図である。

【図８】動き補償予測方式を説明する図である。

【符号の説明】

１，２　　メモリ（ＲＡＭ） ３，４　　アドレス発生器 ５　　評価値演算部 ６　　メモリ ７　　降順ソート器 ８　　候補ブロック保存用メモリ ９　　制御部 １０　　動きベクトル変換用ＲＯＭ ５１　　減算器 ５２　　絶対値演算部 ５３　　累積和演算部 １０１　　量子化器 １０２　　フレームメモリ １０３　　可変遅延器 １０４　　動き補償予測部 １０５　　加算器 １０６　　減算器

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像信号の動き補償予測において、複数（
   Ｌ）の画素からなる所要サイズのブロックＮ個について
   探索を行なうことにより、この中から最適な動きベクト
   ルを検出するものにおいて、まず、ブロックＮ個につい
   て、画素間引きを行なったＬ１（＜Ｌ）画素によるマッ
   チング演算を行ない、マッチング演算値の小さい方から
   Ｍ（＜Ｎ）個のブロックを選び出し、Ｍ個のブロックに
   ついて、Ｌ２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチング
   演算を行なって、その中から最小のマッチング演算値を
   求め、この最小のマッチング演算値から最適な動きベク
   トルを検出することを特徴とする、画像信号の動き補償
   予測方法。
2. 【請求項２】画像信号の動き補償予測において、複数（
   Ｌ）の画素からなる所要サイズのブロックＮ個について
   探索を行なうことにより、この中から最適な動きベクト
   ルを検出するものにおいて、まず、ブロックＮ個につい
   て、画素間引きを行なったＬ１（＜Ｌ）画素によるマッ
   チング演算を行ない、マッチング演算値の小さい方から
   Ｍ１（＜Ｎ）個のブロックを選び出し、Ｍ１個のブロッ
   クについて、Ｌ２（Ｌ１＜Ｌ２≦Ｌ）画素によるマッチ
   ング演算を行なって、その中から最小のマッチング演算
   値を求め、同様の操作をｈ段繰り返すことにより、最小
   のマッチング演算値を求め、この最小のマッチング演算
   値から最適な動きベクトルを検出することを特徴とする
   、画像信号の動き補償予測方法。
3. 【請求項３】画像信号の動き補償予測において、複数（
   Ｌ）の画素からなる所要サイズのブロックＮ個について
   探索を行なうことにより、この中から最適な動きベクト
   ルを検出するものにおいて、まず、ブロックＮ個につい
   て、画素間引きを行なったＬ１（＜Ｌ）画素によるマッ
   チング演算を行ない、マッチング演算値の小さい方から
   Ｄ（＜Ｎ）個のブロックを選び出し、Ｄ個のブロックお
   よびその近傍のブロックについて、Ｌ２（Ｌ１＜Ｌ２≦
   Ｌ）画素によるマッチング演算を行なって、その中から
   最小のマッチング演算値を求め、この最小のマッチング
   演算値から最適な動きベクトルを検出することを特徴と
   する、画像信号の動き補償予測方法。