JP4885929B2 - 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体 - Google Patents

Description

本発明は，動き補償予測を用いる映像符号化における動きベクトル情報を効率よく符号化するための技術に関するものである。

映像符号化では，一般に時間方向予測による符号量の削減のため，動き補償予測が用いられている。動き補償予測では，符号化対象ブロックとよく似たブロックを，符号化および復号済みの参照画像から探索し，探索した参照画像の領域から予測信号を生成して，符号化対象ブロックの映像信号との差分を取り，その予測残差を符号化する。また，探索した領域の位置を示す情報を動きベクトルとして符号化する。

動きベクトルの符号化においても，符号量を削減するため，近隣のブロックや参照画像から動きベクトルの予測値である予測ベクトルを求め，実際の動きベクトルと予測ベクトルとの差分である予測残差ベクトルを符号化することが行われている。

このような動きベクトル情報の発生符号量を削減する方式として，従来，例えば次のような技術が知られている。

〔従来技術１〕
従来技術１は，Ｈ．２６４の映像符号化方式で規格化されている符号化方法であり，算出された動きベクトルを符号化する際の予測ベクトルを，隣接ブロックの動きベクトルのメディアンによって生成する方法である（非特許文献１参照）。

図７は，従来技術１の映像符号化装置の構成例を示す図である。

図７に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ３０１，動き探索を行う参照画像を記憶する参照画像保存メモリ３０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部３０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器３０４，予測残差信号を直交変換する直交変換部３０５，直交変換係数を量子化する量子化部３０６，量子化後の直交変換係数および動きベクトルの予測残差ベクトルを符号化する情報源符号化部３０７，量子化後の直交変換係数を逆量子化する逆量子化部３０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部３０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器３１０，動き探索により求めた動きベクトルを記憶する動きベクトル保存メモリ３１１，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部３１２，動きベクトルと予測ベクトルとの差分から予測残差ベクトルを求める減算器３１３を備える。

図８は，従来技術１による映像符号化処理の全体の流れを示すフローチャートである。なお，この全体の処理の流れは，後述する従来技術２も同様である。

映像符号化装置（エンコーダ）では，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ３０１から参照画像保存メモリ３０２に移す（ステップＳ３０）。次に，符号化対象フレームの各マクロブロックに対して（ステップＳ３１），図９に示す符号化処理（ステップＳ３２）を，全マクロブロック終了まで繰り返す（ステップＳ３３）。

図９は，図８に示すステップＳ３２の符号化処理の流れを示すフローチャートである。まず，動き補償を行い，予測残差信号を算出する（ステップＳ３０１）。すなわち，動き探索部３０３で求めた予測信号と入力された映像信号との差分を減算器３０４により算出して，予測残差信号を求める。次に，直交変換部３０５で予測残差信号に直交変換を施し（ステップＳ３０２），続いて，量子化部３０６で直交変換係数を量子化する（ステップＳ３０３）。さらに，逆量子化部３０８で量子化後の直交変換係数に対して逆量子化を施し（ステップＳ３０４），逆直交変換部３０９で逆直交変換を施し，予測残差の復号信号を生成する（ステップＳ３０５）。この復号信号と予測信号を加算器３１０により加算し，復号画像を生成して復号画像保存メモリ３０１に格納する（ステップＳ３０６）。

一方，動きベクトルを動きベクトル保存メモリ３１１に格納する（ステップＳ３０７）。予測ベクトル生成部３１２では，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成し（ステップＳ３０８），これと動きベクトルとの差分を減算器３１３により算出し，予測残差ベクトルを求める（ステップＳ３０９）。最後に，情報源符号化部３０７で，量子化後の直交変換係数と予測残差ベクトルを可変長符号化し（ステップＳ３１０），符号化ストリームを生成する。

図１０は，従来技術１の映像復号装置の構成例を示す図である。

図１０に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と予測残差ベクトルを求める情報源符号化復号部４０１，量子化後の直交変換係数を逆量子化する逆量子化部４０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部４０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器４０４，復号画像を記憶する復号画像保存メモリ４０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ４０６，予測残差ベクトルに予測ベクトルを加算し，動きベクトルを算出する加算器４０８，動きベクトルを記憶する動きベクトル保存メモリ４０９，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部４１０を備える。

図１１は，従来技術１による映像復号処理の全体の流れを示すフローチャートである。なお，この全体の処理の流れは，後述する従来技術２も同様である。映像復号装置（デコーダ）では，以下の処理を映像の各フレームに対して繰り返す。

まず，前フレームの復号画像を復号画像保存メモリ４０５から参照画像保存メモリ４０６に移す（ステップＳ４０）。次に，復号対象フレームの各マクロブロックに対して（ステップＳ４１），図１２に示す復号処理（ステップＳ４２）を，全マクロブロック終了まで繰り返す（ステップＳ４３）。

図１２は，図１１に示すステップＳ４２の復号処理の流れを示すフローチャートである。まず，情報源符号化復号部４０１では，符号化ストリームの可変長符号を復号し，量子化後の直交変換係数と予測残差ベクトルを求める（ステップＳ４０１）。続いて，逆量子化部４０２で量子化後の直交変換係数に逆量子化を施し（ステップＳ４０２），逆直交変換部４０３で逆直交変換を施して，予測残差の復号信号を生成する（ステップＳ４０３）。

動きベクトルに関しては，予測ベクトル生成部４１０で隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成し（ステップＳ４０４），それと復号した予測残差ベクトルとの加算を加算器４０８で行い，動きベクトルを求める（ステップＳ４０５）。求めた動きベクトルを動きベクトル保存メモリ４０９に格納する（ステップＳ４０６）。また，動き補償部４０７では，この動きベクトルをもとに参照画像保存メモリ４０６から予測画像を取り出し，加算器４０４で予測残差信号と加算することで復号画像を生成する（ステップＳ４０７）。生成された復号信号（復号画像）を出力するとともに，復号画像保存メモリ４０５に格納する（ステップＳ４０８）。

〔従来技術２〕
従来技術２の方法は，符号化（復号）対象ブロックに隣接するブロックの復号画像と，参照画像とのマッチングにより，符号化（復号）対象ブロックの動きベクトルを求めることで，動きベクトル情報の発生符号量を削減する方法である（非特許文献２参照）。

図１３は，従来技術２の映像符号化装置の構成例を示す図である。

図１３に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ５０１，動き探索を行う参照画像を記憶する参照画像保存メモリ５０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部５０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器５０４，予測残差信号を直交変換する直交変換部５０５，直交変換係数を量子化する量子化部５０６，量子化後の直交変換係数および動きベクトル情報を符号化する情報源符号化部５０７，量子化後の直交変換係数を逆量子化する逆量子化部５０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部５０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器５１０，隣接ブロックの復号信号と参照画像のマッチングを取る動き探索部５１１，動き探索部５０３で求めた動きベクトルと動き探索部５１１で求めた予測ベクトルの差分から予測残差ベクトルを求める減算器５１２，動き探索部５０３により求めた動きベクトルを記憶する動きベクトル保存メモリ５１３，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部５１４，動きベクトルと予測ベクトルとの差分から予測残差ベクトルを求める減算器５１５，減算器５１２と減算器５１５の出力する予測残差ベクトルの一方を選択する予測ベクトル判定部５１６を備える。

従来技術２による映像符号化処理の全体の流れは，図８に示す従来技術１の処理と同様である。従来技術２では，図８に示すステップＳ３２の符号化処理において，図１４に示す処理を実行する。図１４は，従来技術２における図８に示すステップＳ３２の符号化処理の流れを示している。

図１４におけるステップＳ５０１からステップＳ５０９までの処理は，図９に示した従来技術１と同様であるので，その説明を省略する。なお，ここで求まった予測残差ベクトルを第１の予測残差ベクトルと呼ぶ。ステップＳ５１０以降では，次の処理を行う。

まず，動き探索部５１１では，隣接ブロックの復号画像と参照画像の間で動き探索を行い，第２の予測ベクトルを求める（ステップＳ５１０）。次に，減算器５１２で動きベクトルと第２の予測ベクトルとの差分を取り，第２の予測残差ベクトルを求める（ステップＳ５１１）。予測ベクトル判定部５１６では，第１の予測残差ベクトルと第２の予測残差ベクトルのうち一方を選択し，選択した方の予測残差ベクトルと，どちらを選択したかを示す選択情報とを，情報源符号化部５０７に送る（ステップＳ５１２）。最後に，情報源符号化部５０７では，量子化後の直交変換係数と選択した予測残差ベクトルの動きベクトル情報を可変長符号化し（ステップＳ５１３），符号化ストリームを生成する。

図１５は，従来技術２の映像復号装置の構成例を示す図である。

図１５に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と動きベクトル情報を求める情報源符号化復号部６０１，量子化後の直交変換係数を逆量子化する逆量子化部６０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部６０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器６０４，復号画像を記憶する復号画像保存メモリ６０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ６０６，隣接ブロック復号信号と参照画像とのマッチングによって第２の予測ベクトルを求める動き探索部６０７，動きベクトル情報（予測残差ベクトルと選択情報）から第１または第２の予測ベクトルを用いて動きベクトルを復号する動きベクトル復号部６０８，動きベクトルを記憶する動きベクトル保存メモリ６０９，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成する予測ベクトル生成部６１０，動きベクトルを用いて動き補償を行う動き補償部６１１を備える。

従来技術２による映像復号処理の全体の流れは，図１１に示す従来技術１の映像復号処理と同様である。従来技術２では，図１１に示すステップＳ４２の復号処理において，図１６に示す処理を実行する。図１６は，従来技術２における図１１に示すステップＳ４２の復号処理の流れを示している。

図１６におけるステップＳ６０１からＳ６０３までの処理およびステップＳ６０８からＳ６１１までの処理は，図１２に示した従来技術１と同様であるので，その説明を省略する。

従来技術２の復号処理では，情報源符号化復号部６０１で，予測残差の復号信号を生成した後，動きベクトル復号部６０８で，動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す（ステップＳ６０４）。さらに，動きベクトル復号部６０８では，選択情報が第２の予測残差ベクトルを示すか第１の予測残差ベクトルを示すかを判定する（ステップＳ６０５）。その結果，第２の予測残差ベクトルを示す場合には，動き探索部６０７で，隣接ブロックの復号画像と参照画像の間で動き探索を行い，予測ベクトルを求める（ステップＳ６０６）。一方，選択情報が第１の予測残差ベクトルを示す場合には，予測ベクトル生成部６１０で隣接ブロックの動きベクトルのメディアンを取り，予測ベクトルを生成する（ステップＳ６０７）。以降は，ステップＳ６０８へ進み，ステップＳ６１１まで従来技術１と同じ復号処理を続ける。
"Draft ITU-T Recommendation and Final draft international standard of joint video specification", ITU-T Rec. H.264 and ISO/IEC 14496-10 AVC, 2003. 鈴木芳典，ブンチュンセン，"Block-Based Inter Frame Coding with Automatic Decision of Prediction Parameters utilizing Reconstructed Data（復号信号を用いた予測パラメータ決定処理を伴うフレーム間予測符号化）"，PCSJ2007, P-2.08 (2007).

従来技術では，動きベクトルを符号化するための予測ベクトルを上側か左側に隣接する領域の動き補償結果をもとに作成するため，それらと動きが似ている領域にしか適用できないという問題がある。

本発明は，動きが交差しているような領域にも適用可能な新しい予測ベクトルの生成方法を追加することにより，動きベクトル情報の符号量を従来技術よりも大幅に削減できるようにすることを目的としている。

動き補償予測を用いる映像符号化では，動き探索により求めた予測信号と入力された映像信号との差分を取り，予測残差信号を生成する。この予測残差信号の復号画像には，動いている被写体の輪郭部分が現れる傾向が非常に大きい。本発明は，この点に着目して上記課題の解決を図っている。

すなわち，本発明は，動きベクトル情報の符号化にあって予測残差ベクトルを算出するための予測ベクトルを，参照画像から求めたエッジ画像と，符号化対象ブロックの予測残差信号の復号画像から求めたエッジ画像とのマッチングによって算出する。このマッチングとは，復号画像から求めたエッジ画像が，参照画像から求めたエッジ画像の中で最も合致する座標を探索する操作となる。探索方法としては，通常の動き探索と同様に，差分電力が最小となる点を探索する方法や，２次元の相関値を計算し，最も相関性が大きくなる点を求める方法などが例として挙げられる。

このようにして算出した予測ベクトルと，従来技術と同様に隣接ブロックの動きベクトルのメディアンから求めた予測ベクトルの一方を選択し，実際の動きベクトルとの差分を予測残差ベクトルとして符号化する。また，予測ベクトルの選択情報を符号化することを特徴とする。

本発明は，エンコーダ側において以下の処理を行う。
（１）参照画像についてエッジ検出処理を行い，エッジ画像を生成する。
（２）動き補償を行い，予測残差の復号画像を求める。
（３）隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを算出する。
（４）予測残差信号の復号画像に対して，エッジ検出処理を施す。
（５）上記（１）で求めたエッジ画像と，上記（４）で求めたエッジ画像のマッチングを取り，第２の予測ベクトルを求める。
（６）第１の予測ベクトルと第２の予測ベクトルの一方を選択する。
（７）選択した予測ベクトルと動きベクトルとの差分の予測残差ベクトルを算出する。
（８）算出した予測残差ベクトルと予測ベクトルの選択情報を符号化する。

なお，上記（３）および（５）の処理で，それぞれ動きベクトルとの差分から第１の予測残差ベクトルと第２の予測残差ベクトルとを算出しておき，上記（６）において，第１の予測残差ベクトルおよび第２の予測残差ベクトルの一方を選択してもよく，第１または第２の予測ベクトルを選択してから予測残差ベクトルを求めることと，技術的思想としては実質的に同じである。

デコーダ側では，以下の処理を行う。
（１）参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する。
（２）予測残差を復号し，予測残差画像を生成する。
（３）動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す。
（４）選択情報が第１の予測ベクトルを示していれば，隣接ブロックの動きベクトルのメディアンから予測ベクトルを求める。
（５）選択情報が第２の予測ベクトルを示していれば，次の処理を行う。
（５−１）予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成する。
（５−２）第１のエッジ画像と第２のエッジ画像とのマッチングを取り，マッチング位置により予測ベクトルを求める。
（６）予測ベクトルと予測残差ベクトルとを加算して動きベクトルを算出し，その動きベクトルを用いた動き補償により復号画像を生成する。

本発明と従来技術との差異は，以下のとおりである。本発明では，参照画像と予測残差復号画像というデコーダで得られる２種類の画像のマッチングから動きベクトルを求める。これらは，片方は普通の画像，もう片方は残差画像のため，普通にマッチングを取ることはできない。そこで，両者にエッジ検出処理を施し，エッジ画像とすることでうまくマッチングを取る。このマッチングによって予測ベクトルを生成するのに加えて，従来技術１と同様に，隣接ブロックの動きベクトルのメディアンによっても予測ベクトルを生成する。この両方の予測ベクトルのうち符号化効率のよい可能性が大きいほうを選択して，動きベクトルとの差分を算出し，予測残差ベクトルを求め，予測残差ベクトルと予測ベクトルの選択情報とを符号化する。

２つの予測ベクトルのどちらを選択するかの選択方法については，例えば次のような方法がある。
・ベクトル符号量が少ないほうを選択する。
・ベクトル符号量が少ない可能性が高いほうを選択する。例えば，予測残差ベクトルのマンハッタン距離（｜Ｘ｜＋｜Ｙ｜）の小さいほうを選択する。

従来技術２の方法では，隣接ブロックの復号画像と参照画像とのマッチングによって予測ベクトルを求める。この方法では両者とも普通の画像であるため，マッチングが取れる。その反面，あくまで隣接ブロックのマッチングとなることから，動きが微妙に異なる領域にはうまく適用できない。

本発明によれば，動きが交差しているような領域の場合に，隣接ブロックの情報を使わないで，デコーダ側で動きベクトルの復号ができるため，動きベクトルの符号化情報を大幅に削減することができるようになる。特に，本発明では，従来の隣接ブロックの動きベクトルのメディアンから求める予測ベクトルと，エッジ画像のマッチングに着目した予測ベクトルとを切り替えて用いることができるため，予測ベクトルの候補が一つしかない場合よりも符号化効率が向上する可能性が高い。

以下，図面を用いながら本発明の実施例について詳細に説明する。

図１は，本発明の実施例に係る映像符号化装置の構成例を示す図である。図中，点線で囲った部分が，主に従来技術と異なる本発明に特有な部分である。

図１に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ１０１，動き探索を行う参照画像を記憶する参照画像保存メモリ１０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部１０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器１０４，予測残差信号を直交変換する直交変換部１０５，直交変換係数を量子化する量子化部１０６，量子化後の直交変換係数および動きベクトルの予測残差ベクトルを符号化する情報源符号化部１０７，量子化後の直交変換係数を逆量子化する逆量子化部１０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部１０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器１１０，参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成するエッジ検出部Ｂ１１１，第１のエッジ画像を記憶するエッジ画像保存メモリ１１２，予測残差の復号信号についてエッジ検出処理を行い，第２のエッジ画像を生成するエッジ検出部Ａ１１３，第１のエッジ画像と第２のエッジ画像のマッチングを取り，マッチングが取れた位置をもとに予測ベクトルを求めるマッチング処理部１１４，動きベクトルと予測ベクトルとの差分を取る減算器１１５，動き探索結果の動きベクトルを記憶する動きベクトル保存メモリ１１６，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部１１７，動きベクトルと予測ベクトルとの差分を取る減算器１１８，減算器１１５と減算器１１８の出力する予測残差ベクトルの一方を選択する予測ベクトル判定部１１９を備える。

図２は，本発明の実施例による映像符号化処理の全体の流れを示すフローチャートである。映像符号化装置（エンコーダ）では，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ１０１から参照画像保存メモリ１０２に移す（ステップＳ１０）。次に，エッジ検出部Ｂ１１１において，参照画像にエッジ検出処理を施し，第１のエッジ画像を生成してエッジ画像保存メモリ１１２に格納する（ステップＳ１１）。その後，符号化対象フレームの各マクロブロックに対して（ステップＳ１２），図３に示す符号化処理（ステップＳ１３）を，全マクロブロック終了まで繰り返す（ステップＳ１４）。

図３は，図２に示すステップＳ１３の符号化処理の流れを示すフローチャートである。まず，動き補償を行い，予測残差信号を算出する（ステップＳ１０１）。すなわち，動き探索部１０３で求めた予測信号と入力された映像信号との差分を減算器１０４により算出して，予測残差信号を求める。次に，直交変換部１０５で予測残差信号に直交変換を施し（ステップＳ１０２），続いて，量子化部１０６で直交変換係数を量子化する（ステップＳ１０３）。さらに，逆量子化部１０８で量子化後の直交変換係数に対して逆量子化を施し（ステップＳ１０４），逆直交変換部１０９で逆直交変換を施し，予測残差の復号信号を生成する（ステップＳ１０５）。この復号信号と予測信号を加算器１１０により加算し，復号画像を生成して復号画像保存メモリ１０１に格納する（ステップＳ１０６）。

一方，動きベクトルを動きベクトル保存メモリ１１６に格納する（ステップＳ１０７）。予測ベクトル生成部１１７では，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成し（ステップＳ１０８），これと動きベクトルとの差分を減算器１１５により算出し，第１の予測残差ベクトルを求める（ステップＳ１０９）。

また，エッジ検出部Ａ１１３において予測残差の復号信号にエッジ検出処理を施し，第２のエッジ画像を生成する（ステップＳ１１０）。次に，マッチング処理部１１４で第１のエッジ画像と第２のエッジ画像の間でマッチング処理を行い，マッチング位置から第２の予測ベクトルを求める（ステップＳ１１１）。求めた第２の予測ベクトルと動きベクトルとの差分を減算器１１５により算出し，第２の予測残差ベクトルを求める（ステップＳ１１２）。

次に，予測ベクトル判定部１１９では，第１の予測残差ベクトルと第２の予測残差ベクトルの一方を選択し，選択したほうの残差ベクトルと，選択情報を情報源符号化部１０７に送る（ステップＳ１１３）。最後に，情報源符号化部１０７で量子化後の直交変換係数と動きベクトル情報を可変長符号化し（ステップＳ１１４），符号化ストリームを生成する。なお，この例では，予測ベクトル判定部１１９において，予測残差ベクトルを選択しているが，予測ベクトルを選択して，選択した予測ベクトルと動きベクトルとの差分から予測残差ベクトルを生成してもよいことは言うまでもない。

以上の実施例において，エッジ検出処理が，エッジ検出部Ａ１１３とエッジ検出部Ｂ１１１の２つに分けて行われている。これは，一方のエッジ検出部Ａ１１３が残差画像，他方のエッジ検出部Ｂ１１１が普通の画像のエッジ検出処理を行うため，それぞれ異なる処理を施すケースが考えられるためである。これらが行うエッジ検出処理としては，例えばＳｏｂｅｌフィルタの適用，絶対値算出処理，強調処理，テンプレート画像作成などが挙げられ，また，これらのいくつかを組み合わせて実施することもできる。

例えば，参照画像には，下記のＳｏｂｅｌ（４方向）フィルタを全画素に適用し，その結果の絶対値を取ったものをエッジ画像とする方法が考えられる。

〔Ｓｏｂｅｌフィルタの例〕 ０ −１ −２
１ ０ −１
２ １ ０
一方，残差画像は，全画素の絶対値を取ったものをエッジ画像とする方法や，絶対値を取った後に，定数を掛ける方法が考えられる。

また，マッチング処理部１１４は，エッジ画像同士の差分絶対値和（ＳＡＤ）や二乗誤差（ＳＳＤ）の最小点を探索する処理以外に，正規化相関マッチングやテンプレートマッチングで対応点を求める方法も考えられる。

エッジ検出とマッチング処理に際し，フレーム毎またはマクロブロック毎に処理パラメータを変化させたほうがいい場合がある。処理パラメータとしては，例えばエッジ画像の生成では，どのようなエッジ検出を行うか，エッジ画像をそれぞれ定数倍するかしないか，エッジ強度をある閾値を境に２値化するかしないか，などの選択情報が考えられる。また，マッチング処理では，どのようなマッチング処理を行うかなどの選択情報が考えられる。この場合，映像符号化装置で使用したパラメータも，前記予測ベクトルの選択情報に含めて，または前記選択情報とは別に，情報源符号化部１０７で可変長符号化し，符号化ストリームに加える。後述する映像復号装置では，このパラメータも復号し，エッジ検出およびマッチング処理で利用することで，映像符号化装置と同じ探索結果が得られる。

図４は，本発明の実施例に係る映像復号装置の構成例を示す図である。図中，点線で囲った部分が，主に従来技術と異なる本発明に特有な部分である。

図４に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と予測残差ベクトルを求める情報源符号化復号部２０１，量子化後の直交変換係数を逆量子化する逆量子化部２０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部２０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器２０４，復号画像を記憶する復号画像保存メモリ２０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ２０６，参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成するエッジ検出部Ｂ２０７，第１のエッジ画像を記憶するエッジ画像保存メモリ２０８，予測残差の復号信号についてエッジ検出処理を行い，第２のエッジ画像を生成するエッジ検出部Ａ２０９，第１のエッジ画像と第２のエッジ画像のマッチングを取り，マッチングが取れた位置をもとに第２の予測ベクトルを求めるマッチング処理部２１０，動きベクトルを記憶する動きベクトル保存メモリ２１１，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成する予測ベクトル生成部２１２，動きベクトル情報（予測残差ベクトルと選択情報）から第１または第２の予測ベクトルを用いて動きベクトルを復号する動きベクトル復号部２１３，動きベクトルから動き補償により参照信号を抽出する動き補償部２１４を備える。

図５は，本発明の実施例による映像復号処理の全体の流れを示すフローチャートである。デコーダでは，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ２０５から参照画像保存メモリ２０６に移す（ステップＳ２０）。次に，エッジ検出部Ｂ２０７において参照画像にエッジ検出処理を施し，第１のエッジ画像を生成してエッジ画像保存メモリ２０８に格納する（ステップＳ２１）。その後，復号対象フレームの各マクロブロックに対して（ステップＳ２２），図６に示す復号処理（ステップＳ２３）を，全マクロブロック終了まで繰り返す（ステップＳ２４）。

図６は，図５に示すステップＳ２３の復号処理の流れを示すフローチャートである。まず，情報源符号化復号部２０１では，符号化ストリームの可変長符号を復号し，量子化後の直交変換係数を求める。また，動きベクトル情報を取り出し，動きベクトル復号部２１３に渡す（ステップＳ２０１）。続いて，逆量子化部２０２で量子化後の直交変換係数に逆量子化を施し（ステップＳ２０２），逆直交変換部２０３で逆直交変換を施して，予測残差の復号信号を生成する（ステップＳ２０３）。

動きベクトルに関しては，以下の処理を行う。まず，動きベクトル復号部２１３で，動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す（ステップＳ２０４）。さらに，動きベクトル復号部２１３では，選択情報が第２の予測残差ベクトルを示すか第１の予測残差ベクトルを示すかを判定する（ステップＳ２０５）。

その結果，選択情報が第２の予測残差ベクトルを示す場合には，まず，エッジ検出部Ａ２０９で予測残差の復号信号にエッジ検出処理を施し，第２のエッジ画像を生成する（ステップＳ２０６）。そして，マッチング処理部２１０にて，エッジ画像保存メモリ２０８に記憶している第１のエッジ画像と，第２のエッジ画像との間でマッチング処理を行い，マッチング位置から第１の予測ベクトルを求める（ステップＳ２０７）。

一方，選択情報が第１の予測残差ベクトルを示す場合には，予測ベクトル生成部２１２で，動きベクトル保存メモリ２１１に格納されている隣接ブロックの動きベクトルのメディアンを取り，予測ベクトルを生成する（ステップＳ２０８）。

動きベクトル復号部２１３では，選択情報に従って，第１の予測ベクトルまたは第２の予測ベクトルの一方を選択し，この予測ベクトルと復号した予測残差ベクトルとの加算を行い，動きベクトルを求める（ステップＳ２０９）。求めた動きベクトルを動きベクトル保存メモリ２１１に格納する（ステップＳ２１０）。動き補償部２１４では，この動きベクトルをもとに参照画像保存メモリ２０６から予測画像の参照信号を取り出し，加算器２０４で予測残差信号と加算することで復号画像を生成する（ステップＳ２１１）。生成された復号信号（復号画像）を出力するとともに，復号画像保存メモリ２０５に格納する（ステップＳ２１２）。

上記処理において，入力符号化データにエッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータが含まれる場合，ステップＳ２０６またはステップＳ２０７を，処理パラメータで指定された方法によって実行する。

本発明による効果を確認するため，予測ベクトルを隣接ブロックの動きベクトルのメディアンによって生成するＨ．２６４標準の方式（以下，ＪＭという）の従来方法によるベクトル符号量と，本発明で提案した方法によるベクトル符号量との比較実験を行った。実験に用いた映像は，７２０×４８０画素，４５０フレームの“Ｃｈａｒａｃｔｅｒ ｐａｔｔｅｒｎ”である。結果を図１７に示す。

それぞれの量子化パラメータ（ＱＰ）に応じた１フレーム当たりのベクトル符号量（ビット数）は，次のとおりであった。
（１）ＱＰ＝１２のとき（単位は，bits/frame。以下，同様）
１９９７（ＪＭの符号量），１５１７（本発明の提案方法による符号量）
（２）ＱＰ＝１８のとき
１７６５（ＪＭの符号量），１２９８（本発明の提案方法による符号量）
（３）ＱＰ＝２４のとき
１６８４（ＪＭの符号量），１２５９（本発明の提案方法による符号量）
（４）ＱＰ＝３０のとき
１６４４（ＪＭの符号量），１３７９（本発明の提案方法による符号量）
これにより，ベクトル符号量に有意な差があり，本発明を用いることによってベクトル符号量を削減することができることが確認できた。

以上の映像の符号化および復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明の実施例に係る映像符号化装置の構成例を示す図である。 本発明の実施例による映像符号化処理の全体の流れを示すフローチャートである。 符号化処理（図２のＳ１３）の流れを示すフローチャートである。 本発明の実施例に係る映像復号装置の構成例を示す図である。 本発明の実施例による映像復号処理の全体の流れを示すフローチャートである。 復号処理（図５のＳ２３）の流れを示すフローチャートである。 従来技術１の映像符号化装置の構成例を示す図である。 従来技術１および従来技術２による映像符号化処理の全体の流れを示すフローチャートである。 従来技術１の符号化処理（図８のＳ３２）の流れを示すフローチャートである。 従来技術１の映像復号装置の構成例を示す図である。 従来技術１および従来技術２による映像復号処理の全体の流れを示すフローチャートである。 従来技術１の復号処理（図１１のＳ４２）の流れを示すフローチャートである。 従来技術２の映像符号化装置の構成例を示す図である。 従来技術２の符号化処理（図８のＳ３２）の流れを示すフローチャートである。 従来技術２の映像復号装置の構成例を示す図である。 従来技術２の復号処理（図１１のＳ４２）の流れを示すフローチャートである。 従来方法と本発明による方法のベクトル符号量の比較を示す図である。

符号の説明

１０１ 復号画像保存メモリ
１０２ 参照画像保存メモリ
１０３ 動き探索部
１０４ 減算器
１０５ 直交変換部
１０６ 量子化部
１０７ 情報源符号化部
１０８ 逆量子化部
１０９ 逆直交変換部
１１０ 加算器
１１１ エッジ検出部Ｂ
１１２ エッジ画像保存メモリ
１１３ エッジ検出部Ａ
１１４ マッチング処理部
１１５ 減算器
１１６ 動きベクトル保存メモリ
１１７ 予測ベクトル生成部
１１８ 減算器
１１９ 予測ベクトル判定部
２０１ 情報源符号化復号部
２０２ 逆量子化部
２０３ 逆直交変換部
２０４ 加算器
２０５ 復号画像保存メモリ
２０６ 参照画像保存メモリ
２０７ エッジ検出部Ｂ
２０８ エッジ画像保存メモリ
２０９ エッジ検出部Ａ
２１０ マッチング処理部
２１１ 動きベクトル保存メモリ
２１２ 予測ベクトル生成部
２１３ 動きベクトル復号部
２１４ 動き補償部

Claims (10)

1. 動き補償予測を用いて映像信号を符号化する映像符号化方法において，
   動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する過程と，
   入力映像信号の符号化対象領域に対して前記参照画像を参照して動き補償を行い，予測残差信号を算出する過程と，
   前記予測残差信号の復号画像を算出する過程と，
   前記符号化対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する過程と，
   前記予測残差信号の復号画像に対してエッジ検出処理を施し，第２のエッジ画像を生成する過程と，
   前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，第２の予測ベクトルを算出する過程と，
   前記第１の予測ベクトルと前記第２の予測ベクトルの一方を選択する過程と，
   選択された予測ベクトルと前記動き補償で求めた動きベクトルとの差分の予測残差ベクトルと，前記第１の予測ベクトルと前記第２の予測ベクトルのどちらを選択したかを示す選択情報とを符号化する過程とを有する
   ことを特徴とする映像符号化方法。
2. 請求項１に記載の映像符号化方法において，
   前記第１のエッジ画像もしくは前記第２のエッジ画像を生成する過程，または前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取る過程では，エッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータを，フレーム毎または符号化対象領域毎に変化させ，
   前記符号化する過程では，前記処理パラメータを，前記選択情報とは別にまたは前記選択情報に含めて符号化する
   ことを特徴とする映像符号化方法。
3. 動き補償予測を用いて映像信号を復号する映像復号方法において，
   動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する過程と，
   入力符号化データに含まれる予測残差信号を復号する過程と，
   入力符号化データに含まれる動きベクトル情報を復号し，予測残差ベクトルと予測ベクトルの選択情報を取り出す過程と，
   前記選択情報が第１の予測ベクトルを示すときに，復号対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する過程と，
   前記選択情報が第２の予測ベクトルを示すときに，前記予測残差信号の復号によって得られた予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成し，前記第１のエッジ画像と前記第２のエッジ画像とのマッチング処理により第２の予測ベクトルを算出する過程と，
   前記選択情報に応じて算出された予測ベクトルに前記予測残差ベクトルを加算し，動きベクトルを算出する過程と，
   前記動きベクトルを用いた動き補償により得られた参照信号に前記予測残差信号を加算して復号画像を生成する過程とを有する
   ことを特徴とする映像復号方法。
4. 請求項３に記載の映像復号方法において，
   さらに，前記選択情報とは別にまたは前記選択情報として，エッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータを復号する過程を有し，
   前記第１のエッジ画像もしくは前記第２のエッジ画像を生成する過程，または前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，予測ベクトルを算出する過程では，フレーム毎または復号対象領域毎に前記復号した処理パラメータに従ってエッジ画像の生成またはエッジ画像のマッチング処理を行う
   ことを特徴とする映像復号方法。
5. 動き補償予測を用いて映像信号を符号化する映像符号化装置において，
   動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する手段と，
   入力映像信号の符号化対象領域に対して前記参照画像を参照して動き補償を行い，予測残差信号を算出する手段と，
   前記予測残差信号の復号画像を算出する手段と，
   前記符号化対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する手段と，
   前記予測残差信号の復号画像に対してエッジ検出処理を施し，第２のエッジ画像を生成する手段と，
   前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，第２の予測ベクトルを算出する手段と，
   前記第１の予測ベクトルと前記第２の予測ベクトルの一方を選択する手段と，
   選択された予測ベクトルと前記動き補償で求めた動きベクトルとの差分の予測残差ベクトルと，前記第１の予測ベクトルと前記第２の予測ベクトルのどちらを選択したかを示す選択情報とを符号化する手段とを備える
   ことを特徴とする映像符号化装置。
6. 動き補償予測を用いて映像信号を復号する映像復号装置において，
   動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する手段と，
   入力符号化データに含まれる予測残差信号を復号する手段と，
   入力符号化データに含まれる動きベクトル情報を復号し，予測残差ベクトルと予測ベクトルの選択情報を取り出す手段と，
   前記選択情報が第１の予測ベクトルを示すときに，復号対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する手段と，
   前記選択情報が第２の予測ベクトルを示すときに，前記予測残差信号の復号によって得られた予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成し，前記第１のエッジ画像と前記第２のエッジ画像とのマッチング処理により第２の予測ベクトルを算出する手段と，
   前記選択情報に応じて算出された予測ベクトルに前記予測残差ベクトルを加算し，動きベクトルを算出する手段と，
   前記動きベクトルを用いた動き補償により得られた参照信号に前記予測残差信号を加算して復号画像を生成する手段とを備える
   ことを特徴とする映像復号装置。
7. 請求項１または請求項２に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。
8. 請求項３または請求項４に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラム。
9. 請求項１または請求項２に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 請求項３または請求項４に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images