JP4622816B2 - 動きベクトル検出方法及び動画像符号化装置 - Google Patents

Description

本発明は、動きベクトル検出方法及び動画像符号化通信装置に関する。特に、ＭＰＥＧ符号化方式に適用される。

一般に、動画像圧縮技術において、動きベクトルの検出のための処理負荷は大きく、ほとんどの処理時間が動きベクトルの検出に割かれている。また、動きベクトルの検出方法によっては、画像ノイズの影響により散乱し、人間が受ける印象とかけ離れることも多い。

図１は、動画像符号化装置の機能構成図である。

符号化方式には、フレーム内符号化（イントラモード）とフレーム間符号化（インターモード）とがあるが、動き補償予測を用いること前提とするために、インターモードについてのみ説明する。

動画像は、画像の処理単位となるフレーム単位で入力される。１つのフレーム画像は、規定数の画素単位のブロックサイズにブロック化されている。減算部１０２は、ブロック化された入力画像と、前フレーム参照画像に対して動き補償がなされた予測画像と、の差分（予測誤差画像）を導出する。予測誤差画像は、離散コサイン変換（ＤＣＴ）部１０３及び量子化器２０４によって、変換係数の量子化信号に変換される。予測誤差画像から、逆量子化部１０５、逆ＤＣＴ部１０６、加算部１０７、フレームメモリ１０８及び動き補償部１０９によって、予測画像が生成される。フレームメモリ１０８は、前フレーム参照画像を記憶する。動きベクトル検出部１０１は、フレームメモリ１０８に記憶された前フレーム参照画像と、ブロック化された入力画像とを入力し、動きベクトルを検出する。この検出された動きベクトルに基づいて、動き補償部１０９によって動き補償が行われ、現フレームの予測画像が生成される。

図２は、従来技術におけるフレーム画像とブロックとの関係図である。

図２によれば、デジタル化された１つのフレーム画像のサイズとして、例えばＱＣＩＦ(Quarter Common Intermediate Format)（１７６×１４４画素）がある。この場合、１つのフレーム画像は、ブロック単位を１６×１６画素として（矩形ブロック）、１１×９個のブロックに分割される。動きベクトル検出は、分割されたブロック毎に行われる。

最近の動画像符号化方式によれば、動きベクトルの検出は、１画素単位ではなく、１／２画素単位としており、これにより、画質の向上を図っている。そのため、従来技術における２ステップマッチングによれば、ブロックは、整数画素●と、その整数画素●に対して１／２画素分だけ離れた２画素平均のハーフペル□が規定される。

図３は、従来技術におけるブロックマッチングの説明図である。

ブロックマッチングとは、現フレーム対象ブロック（以下「対象ブロック」という）との誤差が最小となる、前フレーム参照画像における候補ブロックを検出するものである。誤差には、２つのブロックの画素間の差分の絶対値和が多く用いられるけれども、差分の自乗和等のような他の差分算出方法を用いることもできる。

前フレーム参照画像と現フレーム対象ブロックとは、水平及び垂直方向にそれぞれ１６画素の領域として表される。検出範囲内で、対象ブロックを水平及び垂直方向に１画素ずつ変位させて、候補ブロックを検出する。

図４は、従来技術における２ステップマッチングのフローチャートである。

（Ｓ４０１）前フレーム参照画像の整数画素●に対してハーフペル□を求める。
（Ｓ４０２）全ての対象ブロックについて、Ｓ４０３及びＳ４０４を繰り返す。
（Ｓ４０３）現フレーム対象ブロックの整数画素●に対して、前フレーム参照画像の整数画素●から第１の候補ブロックを検出する。このとき、現フレーム対象ブロックを１／２画素ずつ順に変位させて、前フレーム参照画像との間でブロックマッチングをする。
（Ｓ４０４）Ｓ４０３によって検出された前フレーム参照画像の第１の候補ブロックに対して、その周囲で１／２画素分ずらした８変位の対象ブロックとマッチングして、更に第２の候補ブロックを検出する。

図５は、図４のＳ４０３によって検出された第１の候補ブロックの説明図である。

１ブロックの整数画素●の数が、１６画素×１６画素で＝２５６画素であって、検出範囲を１６画素×１６画素とする。
（整数画素●の数）×（水平及び垂直方向の変位）＝検出回数
（１６画素×１６画素）×（１６変位×１６変位）＝６５５３６回 式（１）

１ブロックの整数画素●の数が、８画素×８画素であって、検出範囲を１６画素×１６画素とした場合には、以下のようになる。
（８画素×８画素）×（１６変位×１６変位）＝１６３８４回 式（２）

図６は、図４のＳ４０４によって検出された第２の候補ブロックの説明図である。

第１の候補ブロックの周囲で１／２画素ずつ順に変位させて、前フレーム参照画像との間でブロックマッチングをする。
１ブロックの画素数が、１６画素×１６画素である場合、以下のようになる。
（ハーフペル□の数）×（周囲８変位）＝検出回数
（１６画素×１６画素）× ８変位 ＝２０４８回 式（３）

１ブロックの画素数が８画素×８画素である場合、以下のようになる。
（８画素×８画素）× ８変位 ＝５１２回 式（４）

１ブロックの画素数が１６画素×１６画素の場合、式（１）及び（３）を加算することにより、全検出回数が算出される。
６５５３６回＋２０４８回＝６７５８４回 式（５）

１ブロックの画素数が８画素×８画素の場合、式（２）及び（４）を加算することにより、全検出回数が算出される。
１６３８４回＋５１２回＝１６８９６回 式（６）

特開平８−２３７６６７号公報

従来、マッチング回数が多いけれども予測誤差が小さいフルサーチと、予測誤差が大きいけれどもマッチング回数が少ないステップサーチとがある。前述した２ステップマッチングは、両者の中間的な方法である。しかしながら、対象ブロック内にエッジや独立した領域が存在する場合などには、必ずしも第１の候補ブロックが最適な動きベクトルそのもの、又は最適な動きベクトルに隣接した動きベクトルを、検出しているとは限らない。更に、第２の候補ブロックは、その周囲８個の候補ブロックしか検出を行わないために、必ずしも高精度に動きベクトルが検出できるとは限らない。

また、対象ブロックの大きさが水平・垂直両方向とも１６画素であると、この丸め付き平均値を算出する処理量は膨大なものとなり符号化遅延の原因となる。

従って、本発明は、マッチング回数を減らすことにより高速に動きベクトルを検出する共に、その検出精度も高い動きベクトル検出方法及び動画像符号化装置を提供することを目的とする。

本発明によれば、入力されたデジタル画像を規定数の画素で分割した現フレーム対象ブロックと、前フレームのデジタル画像に対して規定数の画素で分割した前フレーム参照画像とを、ブロックマッチングによって順次比較し、その差分が最も小さい候補ブロックを検出する動きベクトル検出方法と、その動きベクトル検出手段を有する動画像符号化装置に関する。

本発明の動きベクトル検出方法によれば、
複数の検出ステップを有する場合、少なくとも第１の検出ステップは、現フレーム対象ブロックと前フレーム参照画像とによって比較される画素に、複数の整数画素から導出される補間画素を用いることを特徴とする。

本発明の動きベクトル検出方法における他の実施形態によれば、
第１の検出ステップは、
整数画素●と、
互いに重畳しない４画素毎の中心に配置される第１のハーフペル◎と、
互いに重複する４画素毎の中心に配置され且つ第１のハーフペル◎以外の第２のハーフペル○と、
横２画素及び縦２画素毎の間に配置され且つ第１のハーフペル◎及び第２のハーフペル○以外の第３のハーフペル□とを規定し、
前フレーム参照画像の第１のハーフペル◎と、現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第１の候補ブロックを検出する
ことも好ましい。

また、本発明の動きベクトル検出方法における他の実施形態によれば、
前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップとを有する
ことも好ましい。

更に、本発明の動きベクトル検出方法における他の実施形態によれば、
前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップとを有する
ことも好ましい。

本発明の動画像符号化装置によれば、
動きベクトル検出手段は、
複数の検出ステップを有する場合、少なくとも第１の検出ステップは、現フレーム対象ブロックと前フレーム参照画像とによって比較される画素に、複数の整数画素から導出される補間画素を用いるように構成されている
ことを特徴とする。

本発明の動画像符号化装置における他の実施形態によれば、
動きベクトル検出手段は、第１の検出ステップが、
整数画素●と、
互いに重畳しない４画素毎の中心に配置される第１のハーフペル◎と、
互いに重複する４画素毎の中心に配置され且つ第１のハーフペル◎以外の第２のハーフペル○と、
横２画素及び縦２画素毎の間に配置され且つ第１のハーフペル◎及び第２のハーフペル○以外の第３のハーフペル□とを規定し、
前フレーム参照画像の第１のハーフペル◎と、対象ブロックの第１のハーフペル◎との差分が最も小さい第１の候補ブロックを検出する
ように構成されていることも好ましい。

また、本発明の動画像符号化装置における他の実施形態によれば、
前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップと
を有するように構成されていることも好ましい。

更に、本発明の動画像符号化装置における他の実施形態によれば、
前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップと
を有するように構成されていることも好ましい。

本発明によれば、マッチング回数を減らすことにより高速に動きベクトルを検出する共に、その検出精度も高くすることができる。また、最初に４画素平均の第１のハーフペル◎から検出するので、ノイズを受けにくく、隣接ブロックのベクトルが揃いやすくなる。

このように、１／２画素単位の動きベクトル検出に適用した場合、最小検出単位でのブロックマッチングの回数を減らすことができ、丸め付き平均値の算出処理を削減することができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

本発明は、複数の検出ステップによって動きベクトルを検出するものであって、少なくとも第１の検出ステップは、現フレーム対象ブロックと前フレーム参照画像とによって比較される画素に、複数の整数画素から導出される補間画素を用いたものである。

図７は、本発明における整数画素及びハーフペル（補間画素）が配置されたブロックの構成図である。

本発明によれば、整数画素●に対して、以下のハーフペルが規定される。
第１のハーフペル◎：互いに重畳しない４画素毎の中心に配置される４画素平均
第２のハーフペル○：互いに重複する４画素毎の中心に配置され且つ第１のハーフペル◎以外の４画素平均
第３のハーフペル□：横２画素及び縦２画素毎の間に配置され且つ第１のハーフペル◎及び第２のハーフペル○以外の２画素平均

第１のハーフペル◎及び○は、４画素平均であるので、◎及び○を囲む４画素間の丸め付き平均値をとる。第３のハーフペル□は、２画素平均であるので、□を挟む２画素の丸め付き平均値をとる。

図８は、本発明における３ステップマッチングのフローチャートである。

（Ｓ７０１）前フレーム参照画像の整数画素●に対してハーフペル◎、○、□を求める。
（Ｓ７０２）全ての対象ブロックについて、Ｓ７０３、Ｓ７０４及びＳ７０５を繰り返す。

（Ｓ７０３）前フレーム参照画像の第１のハーフペル◎と、現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第１の候補ブロックを検出する。本発明は、ブロックの整数画素●における動きベクトルを最初に導出せず、補間画素であるハーフペル◎における動きベクトルを最初に導出する。

（Ｓ７０４）Ｓ７０３によって検出された第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第２の候補ブロックを検出する。ここで、第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第２の候補ブロックを検出するものであってもよい。

（Ｓ７０５）Ｓ７０４によって検出された第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する。ここで、第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出するものであってもよい。

図９は、図８のＳ７０３によって検出された第１の候補ブロックの説明図である。

１ブロックの整数画素数が１６画素×１６画素である場合、１ブロックのハーフペル◎の数は、８個×８個＝６４個である。また、検出範囲を８変位×８変位とする。
（ハーフペル◎の数）×（水平及び垂直方向の変位）＝検出回数
（８個×８個） × （８変位×８変位） ＝４０９６回 式（７）

１ブロックの整数画素数が８画素×８画素である場合、１ブロックのハーフペル◎の数は、４個×４個＝１６個である。また、検出範囲を８変位×８変位とする。
（４個×４個） × （８変位×８変位） ＝１０２４回 式（８）

図１０は、図８のＳ７０４によって検出された第２の候補ブロックの説明図である。

１ブロックの整数画素数が１６画素×１６画素である場合、１ブロックのハーフペル○の数は、１６個×１６個＝４０９６個である。また、検出範囲を、第１の候補ブロック◎の周囲９変位とする。
（ハーフペル◎○の数）×（周囲変位個数）＝検出回数
（１６個×１６個）× ９変位 ＝２３０４回 式（９）

１ブロックの整数画素数が８画素×８画素である場合、１ブロックのハーフペル○の数は、８個×８個＝６４個である。また、検出範囲を、第１の候補ブロック◎の周囲９変位とする。
（８個×８個） × ９変位 ＝５７６回 式（１０）

図１１は、図８のＳ７０５によって検出された第３の候補ブロックの説明図である。

１ブロックの整数画素数が１６画素×１６画素である場合、１ブロックのハーフペル●□の数は、１６個×１６個＝４０９６個である。また、検出範囲を、第２の候補ブロック○の周囲８変位とする。
（ハーフペル●□の数）×（周囲変位個数）＝検出回数
（１６個×１６個）× ８変位 ＝２０４８回 式（１１）

１ブロックの整数画素数が８画素×８画素である場合、１ブロックのハーフペル●□の数は、８個×８個＝６４個である。また、検出範囲を、第２の候補ブロック○の周囲８変位とする。
（８個×８個） × ８変位 ＝５１２回 式（１２）

１ブロックの画素数が１６画素×１６画素の場合、式（７）（９）及び（１１）を加算することにより、全検出回数が算出される。
４０９６回＋２３０４回＋２０４８回＝８４４８回 式（１３）

１ブロックの画素数が８画素×８画素の場合、式（８）（１０）及び（１２）を加算することにより、全検出回数が算出される。
１０２４回＋５７６回＋５１２回＝２１１２回 式（１４）

従来技術の２ステップマッチングと、本発明との検出回数を比較すると、以下の表１のようになる。本発明によれば、従来技術と比較して、検出回数が大幅に削減されることが明らかとなる。

前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

動画像符号化装置の機能構成図である。 従来技術におけるフレーム画像とブロックとの関係図である。 従来技術におけるブロックマッチングの説明図である。 従来技術における２ステップマッチングのフローチャートである。 図４のＳ４０３によって検出された第１の候補ブロックの説明図である。 図４のＳ４０４によって検出された第２の候補ブロックの説明図である。 本発明における整数画素及びハーフペルが配置されたブロックの構成図である。 本発明における３ステップマッチングのフローチャートである。 図７のＳ７０３によって検出された第１の候補ブロックの説明図である。 図７のＳ７０４によって検出された第２の候補ブロックの説明図である。 図７のＳ７０５によって検出された第３の候補ブロックの説明図である。

符号の説明

１ 動画像符号化装置
１０１ 動きベクトル検出部
１０２ 減算部
１０３ ＤＣＴ（離散コサイン変換）部
１０４ 量子化部
１０５ 逆量子化部
１０６ 逆ＤＣＴ部
１０７ 加算部
１０８ フレームメモリ
１０９ 動き補償部
１１０、１１１ ＶＬＣ部
１１２ 多重化部
１１３ バッファ部
１１４ 符号量制御部

Claims (4)

1. 入力されたデジタル画像を規定数の画素で分割した現フレーム対象ブロックと、前フレームのデジタル画像に対して前記規定数の画素で分割した前フレーム参照画像とを、ブロックマッチングによって順次比較し、その差分が最も小さい候補ブロックを検出する動きベクトル検出方法において、
   整数画素●と、
   互いに重畳しない４画素毎の中心に配置される第１のハーフペル◎と、
   互いに重複する４画素毎の中心に配置され且つ第１のハーフペル◎以外の第２のハーフペル○と、
   横２画素及び縦２画素毎の間に配置され且つ第１のハーフペル◎及び第２のハーフペル○以外の第３のハーフペル□とを規定し、
   前記前フレーム参照画像の第１のハーフペル◎と、前記現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第１の候補ブロックを検出する第１の検出ステップと、
   前記前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
   前記前フレーム参照画像の前記第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップと
   を有することを特徴とする動きベクトル検出方法。
2. 前記第２の検出ステップは、前記前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、前記現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第２の候補ブロックを検出するステップであり、
   前記第３の検出ステップは、前記前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出するステップである
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
3. 入力されたデジタル画像を規定数の画素で分割した現フレーム対象ブロックと、前フレームのデジタル画像に対して前記規定数の画素で分割した前フレーム参照画像とを、ブロックマッチングによって順次比較し、その差分が最も小さい候補ブロックを検出する動きベクトル検出手段を有する動画像符号化装置において、
   整数画素●と、
   互いに重畳しない４画素毎の中心に配置される第１のハーフペル◎と、
   互いに重複する４画素毎の中心に配置され且つ第１のハーフペル◎以外の第２のハーフペル○と、
   横２画素及び縦２画素毎の間に配置され且つ第１のハーフペル◎及び第２のハーフペル○以外の第３のハーフペル□とを規定し、
   前記動きベクトル検出手段は、
   前記前フレーム参照画像の第１のハーフペル◎と、前記現フレーム対象ブロックの第１のハーフペル◎との差分が最も小さい第１の候補ブロックを検出する第１の検出ステップと、
   前記前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第２の候補ブロックを検出する第２の検出ステップと、
   前記前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出する第３の検出ステップと
   を有するように構成されていることを特徴とする動画像符号化装置。
4. 前記第２の検出ステップは、前記前フレーム参照画像の第１の候補ブロックから１画素分離れた周囲に位置する第２のハーフペル○と、前記現フレーム対象ブロックの第１のハーフペル◎との差分が、最も小さい第２の候補ブロックを検出するステップであり、
   前記第３の検出ステップは、前記前フレーム参照画像の第２の候補ブロックから１／２画素分離れた周囲に位置する整数画素●及び第３のハーフペル□と、前記現フレーム対象ブロックの整数画素●との差分が、最も小さい第３の候補ブロックを検出するステップである
   ことを特徴とする請求項３に記載の動画像符号化装置。

Images