JP4516088B2 - 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、時間方向予測を使用する映像符号化で用いられる動き探索方法およびその装置と、その動き探索方法の実現に用いられる動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

動画像や音声などのディジタル信号を圧縮符号化する技術として、例えばＭＰＥＧ（Moving Picture Experts Group）方式が知られている。ディジタル放送やＤＶＤなどの高画質用途にはＭＰＥＧ−2 符号化方式、携帯テレビ電話などの低ビットレート用途にはＭＰＥＧ−4 符号化方式が広く用いられている。

さらに最近では、ＩＴＵ−Ｔ（The International Telecommunication Union Telecommunication Standardization Sector）とＭＰＥＧとが共同で標準化を行ったＨ.264／ＡＶＣ符号化方式が、高画質と高圧縮率とを両立する新たな方式として注目を集めている（例えば非特許文献１参照）。

こうした動画像符号化方式では、一般的に、時間方向予測による符号量の削減手法がとられる。時間方向予測とは、ある一枚の画像を符号化する際に、時間的に過去または未来に位置する画像の一部分を切り出して、画面内の被写体の動きに応じて移動させたうえで貼り込む手法であり、時間的に連続して存在する被写体の情報量を大きく削減して符号化する効果がある。

時間方向予測の種別としては、時間的に過去に位置するピクチャから１方向の予測を行うＰピクチャと、時間的に過去および未来に位置するピクチャから双方向の予測を行うＢピクチャとが存在する。これに対し、時間方向予測を行わないピクチャをＩピクチャと呼ぶ。

ＭＰＥＧ−2 符号化においては、各ＰピクチャおよびＢピクチャが参照する画像は一意に定まっている。すなわち、図１６（ａ）に示すように、Ｐピクチャは、時間的に直前に位置するＩまたはＰピクチャを参照画像とし、Ｂピクチャは、時間的に直前および直後に位置するＩピクチャまたはＰピクチャを参照画像とするように定められている。

これに対し、Ｈ.264符号化方式では、符号化効率を高めるため、時間方向予測に使用する参照画像およびブロックサイズを、多数の候補の中から選択することが可能になっている。すなわち、図１６（ｂ）に示すように、Ｐピクチャは、すでに復号したＩまたはＰピクチャから任意のもの（参照画像メモリから削除されていない限り）を選択して予測に使用することができる。同様に、Ｂピクチャも、前方向および後方向それぞれ、すでに復号したＩまたはＰピクチャから任意のもの（参照画像メモリから削除されていない限り）を選択して予測に使用することができる。

また、ＭＰＥＧ−2 符号化方式においては、動きベクトル（以下、ＭＶと略記することがある）が０．５画索（ハーフペル）精度までだったのに対し、Ｈ.264符号化方式では、０．２５画素（クォータペル）精度を使用して、より精度の高い動き予測を行えることも特徴である。

さらに、ＭＰＥＧ−2 符号化方式においては、動き予測を１６×１６画素のマクロブロック単位（符号化モードによっては１６×８ブロック単位）に限定していたのに対して、Ｈ.264符号化方式では、図１７に示すような１６×１６・１６×８・８×１６・８×８ブロック、さらには各８×８ブロックをさらに分割した４×８、８×４、４×４のサブブロックがそれぞれ独立した動きベクトルを持ち、それぞれ個別に時間方向予測を行うことができる。

以上述べたように、Ｈ.264符号化方式においては、参照画像およびブロックサイズを多くの候補から選択できるようにしたことで、符号化効率の向上がもたらされている。その効果を最大限に生かすために、理想的にはすべての参照画像とブロックサイズに対して網羅的に動き探索を行ったうえで、最適な候補を決定することが望ましいが、動き探索の演算量が膨大となるため現実的な方法とはいえない。

一般的な符号化器では、複数の参照画像に対する広範囲な探索（以降、これを一次探索と呼ぶ）については限定したブロックサイズに対してのみ行い、この段階で参照画像とＭＶの候補を絞り込んだ後に、その他のブロックサイズも含めた詳細な探索（以降、これを二次探索と呼ぶ）を行うことによって、演算量を削減することが多い。

次に、このような動き探索方式の従来技術について説明する。

従来の動き探索器の一例として、整数画素精度の動き探索および小数画素精度の動き探索を８×８ブロックのみで行って参照画像の候補を絞り込み、その後、１６×１６・１６×８・８×１６・８×８ブロックのすべてについて符号化コスト値の計算を行い、最適なＭＶおよびブロックサイズを決定するようなものがある（例えば、非特許文献２参照）。

ただし、この非特許文献２に記載される従来の動き探索器では、８×８未満（８×４、４×８、４×４）のブロックサイズは使用していない。

このような動き探索器の構成をもとに、複数の参照画像に対して動き探索を行って最適な候補を決定する動き探索器を構成する場合、一般的に次のような構成が考えられる。

まず、図１８に示すように、４つの８×８ブロックそれぞれについて、整数画素精度および小数画素精度の一次探索を行う。ここでは、参照画像としてｒｅｆ１〜ｒｅｆ３の３枚が存在するものとし、一次探索はこの３枚の参照画像に対して行う。そして、各８×８ブロックについて、符号化コスト値が最も小さくなる参照画像とＭＶを選び出す。

ここで、符号化コスト値とは、符号化対象画像と参照画像との差分をあらわす値（一般的には、ブロック内の各画素の差分の絶対値和が用いられる）に、ＭＶや符号化モードを記述するために必要なビット量を加えたものであり、当該ブロックを符号化するために必要なビット量を推定したものである。

一次探索の結果、各８×８ブロックについて、最も小さな符号化コスト値となるＭＶと参照画像が決定される。すなわち、図１８に示すように、８×８ブロック(1) については、最適な参照画像(1)(参照画像(1) はｒｅｆ１〜ｒｅｆ３のうちのいずれか）と、最適なＭＶ(1) が求められる。８×８ブロック(2),(3),(4) についても同様に、最適な参照画像(2),(3),(4)(参照画像(2),(3),(4) はそれぞれｒｅｆ１〜ｒｅｆ３のうちのいずれか）と、最適なＭＶ(2),(3),(4) が求められる。

次に、二次探索においては、周辺画素の探索を行うことなく、一次探索のＭＶが指す一点のみについて符号化コスト値の計算を行い、最も小さい符号化コスト値を実現するブロックサイズを選択して、当該マクロブロックの符号化モードを決定する。

ここで、８×８ブロックとその他のブロックサイズの包含関係について考えると、図１９に示すように、上側１６×８ブロックについては、８×８ブロック(1) と８×８ブロック(2) が含まれるから、参照画像(1) のＭＶ(1) 、および参照画像(2) のＭＶ(2) が侯補となり得る。下側１６×８ブロックについては、８×８ブロック(3) と８×８ブロック(4) が含まれるから、参照画像(3) のＭＶ(3) 、および参照画像(4) のＭＶ(4) が候補となり得る。

同様に、左側８×１６ブロックについては、８×８ブロック(1) と８×８ブロック(3) が含まれるから、参照画像(1) のＭＶ(1) 、および参照画像(3) のＭＶ(3) が候補となり得る。右側８×１６ブロックについては、８×８ブロック(2) と８×８ブロック(4) が含まれるから、参照画像(2) のＭＶ(2) 、および参照画像(4) のＭＶ(4) が候補となり得る。

また、１６×１６ブロックについては、すべての８×８ブロックが含まれるから、参照画像(1) のＭＶ(1) 、参照画像(2) のＭＶ(2) 、参照画像(3) のＭＶ(3) 、参照画像(4) のＭＶ(4) がすべて侯補となりえる。

そこで、図１９に示すように、上側１６×８ブロックについては、参照画像(1) のＭＶ(1) 、および参照画像(2) のＭＶ(2) について符号化コスト値の算出を行い、符号化コスト値が最も小さくなるＭＶを選び出す。下側１６×８ブロックについては、参照画像(3) のＭＶ(3) 、および参照画像(4) のＭＶ(4) について符号化コスト値の算出を行い、符号化コスト値が最も小さくなるＭＶを選び出す。

同様に、左側８×１６ブロックについては、参照画像(1) のＭＶ(1) 、および参照画像(3) のＭＶ(3) について符号化コスト値の算出を行う。右側８×１６ブロックについては、参照画像(2) のＭＶ(2) 、および参照画像(4) のＭＶ(4) について符号化コスト値の算出を行う。

また、１６×１６ブロックについては、参照画像(1) のＭＶ(1) 、参照画像(2) のＭＶ(2) 、参照画像(3) のＭＶ(3) 、および参照画像(4) のＭＶ(4) すべてについて符号化コスト値の算出を行う。

そのうえで、（Ａ）１６×１６ブロックで最も小さなコスト値、（Ｂ）上側１６×８ブロックで最も小さなコスト値＋下側１６×８ブロックで最も小さなコスト値、（Ｃ）左側８×１６ブロックで最も小さなコスト値＋右側８×１６ブロックで最も小さなコスト値、（Ｄ）８×８ブロックそれぞれで最も小さなコスト値の合計値のうち、（Ａ）〜（Ｄ）で最も小さい値を実現するブロックモードが、当該マクロブロックの符号化モードとして決定される。

以上述べたように、従来の動き探索器では、整数画素精度および小数画素精度の一次探索は８×８ブロックのみで行い、一次探索の結果得られたＭＶに限定して、他のブロックサイズの評価を行うことにより、演算量を削減している。

図２０に、従来の動き探索器の構成を図示する。

この図に示すように、従来の動き探索器では、８×８ブロック整数・小数画素探索器において、８×８ブロックに限定した一次探索を行い、参照画像選択器において、各８×８ブロックで最も符号化コスト値が小さくなるＭＶと参照画像を選択する。この選択結果が１６×１６ブロックコスト比較器、１６×８ブロックコスト比較器、８×１６ブロックコスト比較器、８×８ブロックコスト比較器にそれぞれ供給され、それぞれのＭＶでの符号化コストが算出されるとともに、各ブロックサイズで最も小さな符号化コストを実現する候補を選び出す。最後に、最適ベクトル・ブロックサイズ選択器において、当該マクロブロックで最も小さい符号化コスト値を実現するブロックサイズを決定する。
大久保榮、角野眞也、菊池義浩、鈴木輝彦： "改訂版Ｈ.264／ＡＶＣ教科書",2006 日経エレクトロニクス, 2004/09/27号, pp.123-133, 2004.

さて、従来技術では、限定されたブロックサイズによる一次探索と、その他のブロックサイズも含めた二次探索とを組み合わせる符号化器において、一次探索結果で選択された参照画像のみに対して二次探索を行っている。換言すれば、一次探索の結果、選択されなかった参照画像に対しては二次探索を行わない。

そのため、従来技術に従っていると、すべての参照画像に対して一次探索と二次探索の双方を行う符号化器と比較すると、探索にかかる演算量は削減できるものの、符号化効率の低下が避けられない。理想的には、なるべく多くの参照画像に対して二次探索を行い、最適なブロックサイズを選択することが望ましい。

ここで、図２１（ａ）に示すように、一次探索の結果、８×８ブロック(1) と８×８ブロック(2) で同一の参照画像と同一のＭＶが選択され、８×８ブロック(3) と８×８ブロック(4) でも同一の参照画像とＭＶが選択された場合を考える。これはすなわち、８×８ブロック(1) と８×８ブロック(2) に含まれる動画像、および８×８ブロック(3) と８×８ブロック(4) に含まれる動画像がほぼ同一の動きを持っていると考えられ、最終的に１６×８ブロックサイズが選択される可能性が高い。

しかしながら、従来技術に従う図１９に示す二次探索の１６×８ブロック探索においては、このような場合、上側と下側でそれぞれ、全く同じ参照画像とＭＶをもとにした探索が二回重複して行われることになり、無駄な演算が行われることになる。

さらに、図２１（ｂ）に示すように、一次探索の結果、８×８ブロック(1),(2),(3),(4) すべてで同一の参照画像と同一のＭＶが選択された場合を考える。これはすなわち、すべての８×８ブロックに含まれる動画像がほぼ同一の動きを持っていると考えられ、最終的に１６×１６ブロックサイズが選択される可能性が高い。

しかしながら、従来技術に従う図１９に示す二次探索の１６×８ブロック探索においては、このような場合、全く同じ参照画像とＭＶをもとにした探索が四回重複して行われることになり、無駄な演算が行われることになる。

このように、従来技術では、限定されたブロックサイズの一次探索結果をもとに参照画像を絞り込む方式の動き探索装置において、隣接するブロックの一次探索結果が同一の参照画像およびＭＶとなった場合に、その後の二次探索において同一の演算が重複して実施されてしまうという問題があった。

本発明はかかる事情に鑑みてなされたものであって、複数の参照画像に対して、限定されたブロックサイズで広範囲な一次の動き探索を行い、その探索結果に基づいて詳細な精度の二次の動き探索を行うことで、符号化に用いるすべてのブロックサイズにおける符号化コストを算出して、最終的な動きベクトル、参照画像および符号化モードを決定するときに、二次探索において無駄な探索が行われることを防ぎ、より多くの参照画像に対して二次探索を可能とすることで符号化効率を高めることができるようにする新たな動き探索技術の提供を目的とする。

この目的を達成するために、本発明の動き探索装置は、複数の参照画像に対して、限定されたブロックサイズで広範囲な一次の動き探索を行って、各ブロックについて、その探索結果の中から最も符号化コストの小さな探索候補のみを選出し、それに対して詳細な精度の二次の動き探索を行い、符号化に用いるすべてのブロックサイズにおける符号化コストを算出して、最終的な動きベクトル、参照画像および符号化モードを決定するときに、（１）二次探索で同一ブロックを構成することになる複数ブロックについて、一次探索の結果に基づいて符号化コスト最小として選出したそれらのブロックの持つ探索候補の中に、動きベクトルおよび参照画像が一致しているものがあるのかを検出する検出手段と、（２）検出手段が一致を検出した探索候補を持つ複数ブロックに含まれる一部のブロックを入替対象のブロックとして選択する選択手段と、（３）選択手段の選択した入替対象のブロックの持つ符号化コスト最小の探索候補を、そのブロックの持つその符号化コスト最小の探索候補よりも大きな符号化コストの探索候補に入れ替える入替手段と、（４）探索候補の入れ替えによって、動きベクトルおよび参照画像の重複が解消しない場合に、選択手段および入替手段を呼び出すことで、選択手段の選択処理および入替手段の入替処理を繰り返す起動手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の動き探索方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動き探索装置は、例えば、Ｈ.264／ＡＶＣ符号化のための動き探索に適用されるものであって、限定されたブロックサイズ（例えば、８×８ブロックサイズ）で広範囲な一次の動き探索を行って、各ブロックについて、各参照画像ごとに、その探索結果の中から最も符号化コストの小さな探索候補のみを選出する。

この探索候補の選出を行うと、直ちに二次の動き探索を行うのではなくて、二次探索で同一ブロックを構成することになる複数ブロックについて、一次探索の結果に基づいて符号化コスト最小として選出したそれらのブロックの持つ探索候補の中に、動きベクトルおよび参照画像が一致しているものがあるのかを検出する。

この検出により、動きベクトルおよび参照画像が一致している探索候補を検出すると、その一致を検出した探索候補を持つ複数ブロックに含まれる一部のブロック（例えば、１つのブロックを除くブロック）を入替対象のブロックとして選択する。

このとき、一致を検出した探索候補を持つ複数ブロックにおいて符号化コスト最小として選出した探索候補のうち、最も符号化コストの大きなものからの順番に従って所定個数の探索候補を特定して、その特定した探索候補を持つブロックを入替対象のブロックとして選択したり、一致を検出した探索候補を持つ複数ブロックにおいて符号化コスト最小として選出しなかった探索候補のうち、最も符号化コストの小さなものからの順番に従って所定個数の探索候補を特定して、その特定した探索候補を持つブロックを入替対象のブロックとして選択する。

ここで、一致を検出した探索候補を持つ複数ブロックにおいて符号化コスト最小として選出しなかった探索候補のうち、最も符号化コストの小さなものからの順番に従って所定個数の探索候補を特定して、その特定した探索候補を持つブロックを入替対象のブロックとして選択する場合には、同一ブロックの持つ探索候補を複数特定することがあるので、その場合には、後から特定した探索候補を無効なものとして、探索候補の特定を続行していく。

そして、入替対象のブロックを選択すると、入替対象のブロックの持つ探索候補を、そのブロックの持つ符号化コストのより大きな探索候補（例えば、次点の符号化コストの探索候補）に入れ替えてから、二次の動き探索を行って、例えば、１６×１６、１６×８、８×１６、８×８ブロックサイズというように、符号化に用いるすべてのブロックサイズにおける符号化コストを算出して、最終的な動きベクトル、参照画像および符号化モードを決定する。

ここで、このときに行う探索候補の入れ替えによって、動きベクトルおよび参照画像の重複が解消しない場合には、入替対象ブロックの選択処理および探索候補の入替処理を繰り返していく。

このように、本発明の動き探索装置では、一次探索を行って符号化コストの最も小さな参照画像および動きベクトルを各ブロックで求めた結果、隣接するブロックで同一の参照画像および動きベクトルが選ばれた場合には、同一となったブロックのうちいずれかの参照画像および動きベクトルを、符号化コストが２番目に小さな参照画像および動きベクトルに入れ替えるようにする。

このとき、参照画像および動きベクトルの候補がさらに重複している場合には、必要に応じて符号化コストが３番目以降に小さな参照画像および動きベクトルに入れ替える。

このようにして、本発明の動き探索装置では、同一の参照画像および動きベクトルをもとにした二次探索が重複して行われることを避け、より多くの一次探索結果に対して二次探索を実施し、これにより符号化効率を高めることができるようになる。

以上述べたように、本発明によれば、複数の参照画像に対して実施した一次探索の結果に対して、重複した探索候補の検出と、別の探索候補への入替処理を実施した後に二次探索を行うことにより、二次探索において同一の参照画像かつ同一の動きベクトルを複数探索する無駄を防ぐことができるようになる。

これにより、本発明によれば、より多くの参照画像に対して二次探索が実施可能となり、符号化効率を高めることができるようになる。

本発明の実施の形態の説明に入る前に、本発明に関連する動き探索器について説明する。

前述したように、非特許文献２に記載される従来の動き探索器では、整数画素精度の動き探索および小数画素精度の動き探索を８×８ブロックのみで行って参照画像の候補を絞り込み、その後、１６×１６・１６×８・８×１６・８×８ブロックのすべてについて符号化コスト値の計算を行い、最適なＭＶおよびブロックサイズを決定するようにしている。

このように構成される従来の動き探索器では、前述したように、隣接するブロックの一次探索結果が同一の参照画像およびＭＶとなった場合に、その後の二次探索において同一の演算が重複して実施されてしまうという問題があるが、これに加えて、８×８ブロック以外のブロックサイズでは小数画素精度の動き探索を行わないことから、動き探索の探索性能が十分でないという問題がある。

この後者の問題を解決する方法として、一次探索では各８×８ブロックについて整数画素精度の動き探索のみを行い、それに基づいて各８×８ブロックで参照画像を選択した後に、二次探索で小数画素精度の動き探索を各ブロックサイズにおいて独立に行うという方法を用いることが考えられる。

次に、本発明の実施の形態の説明に入る前に、この方法を用いる本発明に関連する動き探索器について説明する。

本発明に関連する動き探索器では、例えば、整数画素精度の一次探索を８×８ブロックのみで行って参照画像の候補を絞り込み、その後、１６×１６・１６×８・８×１６・８×８ブロックそれぞれについて小数画素精度の二次探索を行う。ただし、８×８未満（８×４、４×８、４×４）のブロックサイズは使用しないものとする。

すなわち、本発明に関連する動き探索器では、まず、図１に示すように、４つの８×８ブロックそれぞれについて、整数画素精度の一次探索を行う。ここでは、参照画像としてｒｅｆ１〜ｒｅｆ３の３枚が存在するものとし、一次探索はこの３枚の参照画像に対して行う。そして、符号化コスト値が最も小さくなる参照画像とＭＶを選び出す。

ここで、符号化コスト値とは、符号化対象画像と参照画像との差分をあらわす値（一般的には、ブロック内の各画素の差分の絶対値和が用いられる）に、ＭＶや符号化モードを記述するために必要なビット量を加えたものであり、当該ブロックを符号化するために必要なビット量を推定したものである。

一次探索の結果、各８×８ブロックについて、最も小さな符号化コスト値となるＭＶと参照画像が決定される。すなわち、図１に示すように、８×８ブロック(1) については、最適な参照画像(1)(参照画像(1) はｒｅｆ１〜ｒｅｆ３のうちのいずれか）と、最適なＭＶ(1) が求められる。８×８ブロック(2),(3),(4) についても同様に、最適な参照画像(2),(3),(4)(参照画像(2),(3),(4) はそれぞれｒｅｆ１〜ｒｅｆ３のうちのいずれか）と、最適なＭＶ(2),(3),(4) が求められる。

次に、小数画素精度の二次探索においては、上記で求めた整数画素精度ＭＶの周辺０．７５画素についてのみ行う。

ここで、８×８ブロックとその他のブロックサイズの包含関係について考えると、上側１６×８ブロックについては、８×８ブロック(1) と８×８ブロック(2) が含まれるから、参照画像(1) のＭＶ(1) 、および参照画像(2) のＭＶ(2) の周辺が候補となり得る。下側１６×８ブロックについては、８×８ブロック(3) と８×８ブロック(4) が含まれるから、参照画像(3) のＭＶ(3) 、および参照画像(4) のＭＶ(4) の周辺が候補となり得る。

同様に、左側８×１６ブロックについては、８×８ブロック(1) と８×８ブロック(3) が含まれるから、参照画像(1) のＭＶ(1) 、および参照画像(3) のＭＶ(3) の周辺が候補となり得る。右側８×１６ブロックについては、８×８ブロック(2) と８×８ブロック(4) が含まれるから、参照画像(2) のＭＶ(2) 、および参照画像(4) のＭＶ(4) の周辺が候補となり得る。

また、１６×１６ブロックについては、すべての８×８ブロックが含まれるから、参照画像(1) のＭＶ(1) 、参照画像(2) のＭＶ(2) 、参照画像(3) のＭＶ(3) 、および参照画像(4) のＭＶ(4) の周辺がすべて侯補となりえる。

そこで、図２に示すように、上側１６×８ブロックについては、参照画像(1) のＭＶ(1) 周辺０．７５画素、および参照画像(2) のＭＶ(2) 周辺０．７５画素について小数画素精度の動き探索を行い、符号化コスト値が最も小さくなるＭＶを選び出す。下側１６×８ブロックについては、参照画像(3) のＭＶ(3) 周辺０．７５画素、および参照画像(4) のＭＶ(4) 周辺０．７５画素について小数画素精度の動き探索を行い、符号化コスト値が最も小さくなるＭＶを選び出す。

同様に、左側８×１６ブロックについては、参照画像(1) のＭＶ(1) 周辺０．７５画素、および参照画像(3) のＭＶ(3) 周辺０．７５画素について小数画素精度の動き探索を行う。右側８×１６ブロックについては、参照画像(2) のＭＶ(2) 周辺０．７５画素、および参照画像(4) のＭＶ(4) 周辺０．７５画素について小数画素精度の動き探索を行う。

また、１６×１６ブロックについては、参照画像(1) のＭＶ(1) 周辺０．７５画素、参照画像(2) のＭＶ(2) 周辺０．７５画素、参照画像(3) のＭＶ(3) 周辺０．７５画素、および参照画像(4) のＭＶ(4) 周辺０．７５画素のすべてについて小数画素精度の動き探索を行う。

また、８×８ブロックについては、一次探索結果と一対一に対応し、左上の８×８ブロック(1) については、参照画像(1) のＭＶ(1) 周辺０．７５画素について小数画素精度の動き探索を行い、右上の８×８ブロック(2) については、参照画像(2) のＭＶ(2) 周辺０．７５画素について小数画素精度の動き探索を行い、左下の８×８ブロック(3) については、参照画像(3) のＭＶ(3) 周辺０．７５画素について小数画素精度の動き探索を行い、右下の８×８ブロック(4) については、参照画像(4) のＭＶ(4) 周辺０．７５画素について小数画素精度の動き探索を行う。

そのうえで、（Ａ）１６×１６ブロックで最も小さなコスト値、（Ｂ）上側１６×８ブロックで最も小さなコスト値＋下側１６×８ブロックで最も小さなコスト値、（Ｃ）左側８×１６ブロックで最も小さなコスト値＋右側８×１６ブロックで最も小さなコスト値、（Ｄ）８×８ブロックそれぞれで最も小さなコスト値の合計値のうち、（Ａ）〜（Ｄ）で最も小さい値を実現するブロックモードが、当該マクロブロックの符号化モードとして決定される。

以上説明したように、本発明に関連する動き探索器では、一次探索では８×８ブロックについて整数画素精度の動き探索のみを行い、一次探索結果の周辺０．７５画素に限定して、すべてのブロックサイズの二次探索を行うようにしている。

図３に、本発明に関連する動き探索器の構成を図示する。

この図に示すように、本発明に関連する動き探索器では、８×８ブロック整数画素探索器において、８×８ブロックに限定した一次探索を行い、参照画像選択器において、各８×８ブロックで最も符号化コスト値が小さくなるＭＶと参照画像を選択する。この選択結果が１６×１６ブロック小数画素探索器、１６×８ブロック小数画素探索器、８×１６ブロック小数画素探索器、８×８ブロック小数画素探索器にそれぞれ供給され、周辺０．７５画素の小数画素精度の動き探索が行われる。最後に、最適ベクトル・ブロックサイズ選択器において、当該マクロブロックで最も小さい符号化コスト値を実現するブロックサイズを決定する。

このように、本発明に関連する動き探索器では、すべてのブロックサイズに対して周辺０．７５画素の二次探索を行うため、従来の動き探索器と比較すると演算量は多いものの、８×８ブロック以外のブロックサイズについても、周辺画素の探索によって精細な動き探索結果が得られるため、探索性能が向上するという効果がある。

次に、実施の形態に従って本発明を詳細に説明する。

図４に、本発明を具備する映像符号化装置１の装置構成の一実施形態例を図示する。

この図に示すように、本発明の映像符号化装置１は、８×８ブロック整数画素探索器１０と、一次探索結果保持メモリ１１と、二次探索候補選択器１２と、１６×１６ブロック小数画素探索器１３と、１６×８ブロック小数画素探索器１４と、８×１６ブロック小数画素探索器１５と、８×８ブロック小数画素探索器１６と、最適ブロックサイズ選択器１７とを備える。

８×８ブロック整数画素探索器１０は、符号化画像と参照画像とを入力として、８×８ブロックに限定した整数画素精度の動き探索（一次探索）を行って、その探索結果の情報を一次探索結果保持メモリ１１に格納する。

二次探索候補選択器１２は、一次探索結果保持メモリ１１に格納される一次探索結果の情報に基づいて、各８×８ブロック単位に二次探索候補を選択する。

１６×１６ブロック小数画素探索器１３は、符号化画像と参照画像とを入力として、二次探索候補選択器１２の選択した二次探索候補に基づいて、１６×１６ブロックサイズの小数画素精度の動き探索（二次探索）を行う。

１６×８ブロック小数画素探索器１４は、符号化画像と参照画像とを入力として、二次探索候補選択器１２の選択した二次探索候補に基づいて、１６×８ブロックサイズの小数画素精度の動き探索（二次探索）を行う。

８×１６ブロック小数画素探索器１５は、符号化画像と参照画像とを入力として、二次探索候補選択器１２の選択した二次探索候補に基づいて、８×１６ブロックサイズの小数画素精度の動き探索（二次探索）を行う。

８×８ブロック小数画素探索器１６は、符号化画像と参照画像とを入力として、二次探索候補選択器１２の選択した二次探索候補に基づいて、８×８ブロックサイズの小数画素精度の動き探索（二次探索）を行う。

最適ブロックサイズ選択器１７は、二次探索結果に基づいて、最も符号化コスト値が小さなブロックサイズ、参照画像およびＭＶを選択して、マクロブロックの動き予測符号化モードとして決定する。

図５に、図４のように構成される本発明の映像符号化装置１の実行するフローチャートを図示する。

本発明の映像符号化装置１では、このフローチャートに示すように、まずステップＳ１０において、８×８ブロック整数画素探索器１０は、入力された３枚の参照画像（ｒｅｆ１〜ｒｅｆ３）それぞれに対して、符号化画像と比較して、前述の図１に沿った動き探索（一次探索）を行うことで、各８×８ブロック(1) 〜(4) について整数画素精度の動き探索（一次探索）を行う。

続いて、ステップＳ１１において、８×８ブロック整数画素探索器１０は、一次探索の結果として得た各参照画像のＭＶを、図４に示すように、一次探索結果情報１００として一次探索結果保持メモリ１１に格納する。

図６に、一次探索結果保持メモリ１１に格納される一次探索結果の情報を図示する。この図に示すように、一次探索結果保持メモリ１１には、各８×８ブロック(1) 〜(4) について、ｒｅｆ１〜ｒｅｆ３の参照画像ごとに、探索結果のＭＶ、および当該ＭＶにおける探索結果コスト値（符号化コスト値）が記録される。

一次探索が終了すると、二次探索候補選択器１２は、一次探索結果保持メモリ１１に格納される一次探索結果の情報をもとに、各８×８ブロック単位で最もコストの小さな候補を二次探索候補として選び出す。

このとき、隣接するブロックで同一の参照画像およびＭＶが選ばれた場合には、同一となったブロックのうちいずれかの参照画像とＭＶを、コスト値が２番目に小さな参照画像とＭＶに入れ替える動作を行う。以降、この動作について詳細に説明する。

二次探索候補選択器１２は、まずステップＳ１２において、８×８ブロック(1) 〜(4) それぞれについて、探索結果コスト値が昇順となるように、一次探索結果保持メモリ１１に格納される「参照画像番号、探索結果ＭＶ、探索結果コスト値」の組を並べ替える。

すなわち、いま例として、一次探索結果保持メモリ１１に図７に示すような値が格納されていたとすると、８×８ブロックそれぞれについて、探索結果コスト値が昇順となるようにソートした結果は、図８のようになる。ここで、図中、網掛けで示した項目が、それぞれ最も小さな探索結果コスト値をもつ項目となる。

従来の符号化器の構成（ただし、二次探索では小数画素精度の動き探索は行っていない）に従うと、この網掛けで示した項目が一次探索結果として選び出されて、図４中に示す二次探索対象指示２００として、１６×１６ブロック小数画素探索器１３、１６×８ブロック小数画素探索器１４、８×１６ブロック小数画素探索器１５および８×８ブロック小数画素探索器１６に供給されていたが、本実施形態例では、二次探索候補選択器１２が、図５のフローチャートのステップＳ１２に続いて、ステップＳ１３として項目の入替処理を行う。

図９に、ステップＳ１３で実行する項目の入替処理の詳細なフローチャートを図示する。

この項目の入替処理に入ると、二次探索候補選択器１２は、このフローチャートに示すように、まずステップＳ１３０において、８×８ブロック(1) 〜(4) の最上位候補（すなわち、探索結果コスト値が最小である候補）がすべて同一ｒｅｆかつ同一ＭＶかを判定する。

この判定が真である場合には、ステップＳ１３３において、４つの８×８ブロックのうちｎ個（１≦ｎ≦３）の候補を、それぞれの８×８ブロックにおける次点の候補（すなわち、探索結果コスト値が二番目に小さな候補）に入れ替える。ただし、ｎの値は事前に設定されるパラメータとして別途与えられるものとするが、ｎ＝３とすると、同一ｒｅｆかつ同一ＭＶとなる８×８ブロックが存在しなくなることになる。

４つの８×８ブロックのうち、いずれのｎ個の候補を入れ替えるかの選択方法としては、
（ｉ）４つの８×８ブロックの最上位候補の中で、コスト値が最も大きいものから順に ｎ個を、各ブロックの次点候補に入れ替える
（ii）すべての８×８ブロックで、最上位候補ではないものの中で、コスト値が最も小 さいものから順にｎ個を、候補として選択し入れ替える。ただし、同一の８×８ ブロック中で２つ以上の候補を選ぶことは許されず、同一の８×８ブロック中で は（最上位候補以外で）コスト値の最も小さいもの１つのみが候補となる
という２つのアルゴリズムのうちいずれかを使用する。

先ほど示した図８の例において、最上位候補の参照画像ｒｅｆおよび探索結果ＭＶはすべて一致しているから、ステップＳ１３０は真となり、ステップＳ１３３の入替処理が行われる。

いまｎ＝２とし、図８の結果に対して、（ｉ）のアルゴリズムを用いてステップＳ１３３の入替処理を行った結果を図１０に示し、（ii）のアルゴリズムを用いてステップＳ１３３の入替処理を行った結果を図１１に示す。

（ｉ）のアルゴリズムを用いる場合、図８に記載されるように、各８×８ブロック(1) 〜(4) の最上位候補の探索結果コスト値が順に１２０・６０・１２０・８０であることから、図１０に示すように、コスト値が最も大きいものから２つ、すなわち８×８ブロック(1) と８×８ブロック(3) を、次点候補に入れ替える操作を行っている。

（ii）のアルゴリズムを用いる場合、最上位以外で探索結果コスト値が最も小さいものは、８×８ブロック(2) のｒｅｆ３である。次にコスト値が小さいものは８×８ブロック(2) のｒｅｆ１であるが、８×８ブロック(2) が重複しているため、その次にコスト値が小さな８×８ブロック(1) のｒｅｆ３が選択される。結果として、図１１に示すように、８×８ブロック(2) の最上位候補ｒｅｆ２をｒｅｆ３に入れ替え、８×８ブロック(1) の最上位侯補ｒｅｆ２をｒｅｆ３に入れ替える。

このように候補の入替処理を行ったうえで、二次探索候補選択器１２は、各８×８ブロックの入替後の候補を、図４に示すように、二次探索対象指示２００として、１６×１６ブロック小数画素探索器１３、１６×８ブロック小数画素探索器１４、８×１６ブロック小数画素探索器１５および８×８ブロック小数画素探索器１６に対して伝達する。

この二次探索対象指示２００の伝達を受けて、各小数画素探索器１３〜１６は、図５のフローチャートのステップＳ１４において、前述の図２に沿った各ブロックサイズの小数画素精度の動き探索（二次探索）を行い、二次探索結果のＭＶおよびコスト値を、ｒｅｆ番号とともに、図４に示すように、二次探索結果情報３００として、最適ブロックサイズ選択器１７に伝達する。

この二次探索結果情報３００の伝達を受けて、最適ブロックサイズ選択器１７は、図５のフローチャートのステップＳ１５において、二次探索結果の中で最もコスト値が小さなブロックサイズ、ｒｅｆ番号およびＭＶを、当該マクロブロックの動き予測符号化モードとして決定する。

以上述べたように、二次探索候補選択器１２は、８×８ブロック(1) 〜(4) の最上位候補がすべて同一ｒｅｆかつ同一ＭＶであった場合には、図９のフローチャートのステップＳ１３３の処理に従って、異なる候補への入れ替え処理を行うことによって、二次探索において、同一のｒｅｆかつ同一のＭＶを複数探索する無駄を防ぎ、より多くの参照画像に対して二次探索を実施可能とすることにより、結果として符号化効率を高めることができる。

なお、前述の例において、（ii）のアルゴリズムで入替処理を行った結果である図１１においては、８×８ブロック(1) と８×８ブロック(2) のｒｅｆ番号およびＭＶが再び一致している。本実施形態例では、ステップＳ１３の入替処理を一度のみ行うこととしているが、ステップＳ１３の入替処理後も複数の候補でｒｅｆ番号およびＭＶの一致が再び起きた場合には、一致がなくなるまでステップＳ１３を反復適用するようにしてもよい。

次に、図９のフローチャートにおいて、ステップＳ１３０の判断結果が偽となった場合の処理について説明を行う。

二次探索候補選択器１２は、ステップＳ１３０の判断結果が偽となった場合には、ステップＳ１３１において、８×８ブロック(1) と８×８ブロック(2) の最上位候補が同一ｒｅｆかつ同一ＭＶで、さらに、８×８ブロック(3) と８×８ブロック(4) の最上位候補が同一ｒｅｆかつ同一ＭＶかを判定する。

この判定が真の場合には、ステップＳ１３４において、８×８ブロック(1),(2) の最上位候補のいずれか一方を次点の候補に入れ替えるとともに、ステップＳ１３５において、８×８ブロック(3),(4) の最上位候補のいずれか一方を次点の候補に入れ替える。

ここで、ステップＳ１３１において、８×８ブロック(1) と８×８ブロック(2) の最上位候補が同一ｒｅｆかつ同一ＭＶであるのか、８×８ブロック(3) と８×８ブロック(4) の最上位候補が同一ｒｅｆかつ同一ＭＶであるのかを判定して、前者の判定結果が得られた場合には、ステップＳ１３４の処理を行い、後者の判定結果が得られた場合には、ステップＳ１３５の処理を行うようにしてもよい。

いずれの候補を次点候補に入れ替えるかの選択方法としては、前述のステップＳ１３３と同様に、
（ｉ）２つの８×８ブロックの最上位候補の中で、コスト値がより大きな方を候補から 外し、当該ブロックの次点候補に入れ替える
（ii）２つの８×８ブロックで、最上位候補ではないものの中で、コスト値が最も小さ いものを新しい候補とし、当該ブロックの最上位候補と入れ替える
という２つのアルゴリズムのうちいずれかを使用する。

この入れ替え操作を説明するために、新たな例として、一次探索が終了した時点で、一次探索結果保持メモリ１１に図１２に示すような値が格納されている場合を想定する。

このとき、図５のフローチャートのステップＳ１２のソート処理の結果は、図１３のようになる。ここで、図中、網掛けで示した項目が、それぞれ最も小さな探索結果コスト値をもつ項目であり、８×８ブロック(1) と８×８ブロック(2) の最上位候補、８×８ブロック(3) と８×８ブロック(4) の最上位候補がそれぞれ、同一のｒｅｆ番号とＭＶを持っている。

このソート結果に対して、（ｉ）のアルゴリズムを用いてステップＳ１３４およびステップＳ１３５の入替処理を行った結果を図１４に示し、（ii）のアルゴリズムを用いてステップＳ１３４およびステップＳ１３５の入替処理を行った結果を図１５に示す。

（ｉ）のアルゴリズムを用いる場合、図１３に記載されるように、８×８ブロック(1) と８×８ブロック(2) の最上位候補のうち、探索結果コスト値が大きいのは８×８ブロック(1) であり、また、８×８ブロック(3) と８×８ブロック(4) の最上位候補のうち、探索結果コスト値が大きいのは８×８ブロック(3) であることから、図１４に示すように、８×８ブロック(1) と８×８ブロック(3) の最上位候補を、次点候補に入れ替える操作を行っている。

（ii）のアルゴリズムを用いる場合、図１３に記載されるように、８×８ブロック(1) と８×８ブロック(2) の最上位候補以外の中で、探索結果コスト値が最も小さいのは８×８ブロック(2) のｒｅｆ３であり、また、８×８ブロック(3) と８×８ブロック(4) の最上位候捕以外の中で、探索結果コスト値が最も小さいのは８×８ブロック(3) のｒｅｆ２であることから、８×８ブロック(2) と８×８ブロック(3) 最上位候補を、次点候補に入れ替える操作を行っている。

このように、図９のフローチャートのステップＳ１３４およびステップＳ１３５の処理に従って、１６×８ブロック単位に、重複している二次探索候補のうちの一方を次点候補に入れ替えることによって、二次探索において、同一のｒｅｆかつ同一のＭＶを複数探索する無駄を防ぎ、より多くの参照画像に対して二次探索を実施可能とすることにより、結果として符号化効率を高めることができる。

次に、図９のフローチャートにおいて、ステップＳ１３１の判断結果が偽となった場合の処理について説明を行う。

二次探索候補選択器１２は、ステップＳ１３１の判断結果が偽となった場合には、ステップＳ１３２において、８×８ブロック(1) と８×８ブロック(3) の最上位候補が同一ｒｅｆかつ同一ＭＶで、さらに、８×８ブロック(2) と８×８ブロック(4) の最上位候補が同一ｒｅｆかつ同一ＭＶかを判定する。

この判定が真の場合には、ステップＳ１３６において、８×８ブロック(1),(3) の最上位候補のいずれか一方を次点の候補に入れ替えるとともに、ステップＳ１３７において、８×８ブロック(2),(4) の最上位候補のいずれか一方を次点の候補に入れ替える。

この入れ替え操作については、前述のステップＳ１３４およびステップＳ１３５に準ずる。

ここで、ステップＳ１３２において、８×８ブロック(1) と８×８ブロック(3) の最上位候補が同一ｒｅｆかつ同一ＭＶであるのか、８×８ブロック(2) と８×８ブロック(4) の最上位候補が同一ｒｅｆかつ同一ＭＶであるのかを判定して、前者の判定結果が得られた場合には、ステップＳ１３６の処理を行い、後者の判定結果が得られた場合には、ステップＳ１３７の処理を行うようにしてもよい。

一方、ステップＳ１３２も偽となった場合には、図５のフローチャートのステップＳ１３については入れ替え処理を行わずに、そのまま処理を終了する。

このように、図９のフローチャートのステップＳ１３６およびステップＳ１３７の処理に従って、８×１６ブロック単位に、重複している二次探索候補のうちの一方を次点候補に入れ替えることによって、二次探索において、同一のｒｅｆかつ同一のＭＶを複数探索する無駄を防ぎ、より多くの参照画像に対して二次探索を実施可能とすることにより、結果として符号化効率を高めることができる。

以上述べたように、本実施形態例においては、一次探索結果における重複した候補の検出と、次点候補への入替処理を実施した後に二次探索を行うことにより、二次探索において同一の参照画像かつ同一のＭＶを複数探索する無駄を防ぎ、より多くの参照画像に対して二次探索を実施可能とすることにより、符号化効率を高めることができる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では参照画像の枚数を３枚として説明を行ったが、本発明はこれらの例示した値に限定されるものではない。

また、実施形態例では、二次探索を行う候補は８×８ブロックごとに１つのみという前提で説明したが、小数画素探索器１３〜１６の演算能力に余裕があり、複数の候補を選択可能である場合については、これらの候補に対して、本実施形態例で述べた８×８ブロック間の重複候補の検出と次点候補への入替処理を、同様の処理手順で実施可能であることは言うまでもない。

本発明に関連する動き探索器の説明図である。 本発明に関連する動き探索器の説明図である。 本発明に関連する動き探索器の説明図である。 本発明の映像符号化装置の一実施形態例である。 本発明の映像符号化装置の実行するフローチャートである。 一次探索結果保持メモリに格納される一次探索結果情報の説明図である。 一次探索結果保持メモリに格納される一次探索結果情報の一例を示す図である。 二次探索候補選択器の実行するソート処理の説明図である。 二次探索候補選択器の実行するフローチャートである。 二次探索候補選択器の処理の説明図である。 二次探索候補選択器の処理の説明図である。 一次探索結果保持メモリに格納される一次探索結果情報の一例を示す図である。 二次探索候補選択器の実行するソート処理の説明図である。 二次探索候補選択器の処理の説明図である。 二次探索候補選択器の処理の説明図である。 ＭＰＥＧ−2 符号化方式およびＨ.264符号化方式の時間方向予測の説明図である。 Ｈ.264符号化方式で使用されるブロックサイズの説明図である。 従来技術の説明図である。 従来技術の説明図である。 従来技術の説明図である。 従来技術の持つ問題点の説明図である。

符号の説明

１ 映像符号化装置
１０ ８×８ブロック整数画素探索器
１１ 一次探索結果保持メモリ
１２ 二次探索候補選択器
１３ １６×１６ブロック小数画素探索器
１４ １６×８ブロック小数画素探索器
１５ ８×１６ブロック小数画素探索器
１６ ８×８ブロック小数画素探索器
１７ 最適ブロックサイズ選択器
１００ 一次探索結果情報
２００ 二次探索対象指示
３００ 二次探索結果情報

Claims (9)

1. 複数の参照画像に対して、限定されたブロックサイズで広範囲な一次の動き探索を行って、各ブロックについて、その探索結果の中から最も符号化コストの小さな探索候補のみを選出し、それに対して詳細な精度の二次の動き探索を行い、符号化に用いるすべてのブロックサイズにおける符号化コストを算出して、最終的な動きベクトル、参照画像および符号化モードを決定する動き探索方法であって、
   前記二次探索で同一ブロックを構成することになる複数ブロックについて、前記一次探索の結果に基づいて符号化コスト最小として選出したそれらのブロックの持つ探索候補の中に、動きベクトルおよび参照画像が一致しているものがあるのかを検出する過程と、
   前記一致を検出した探索候補を持つ複数ブロックに含まれる一部のブロックを入替対象のブロックとして選択する過程と、
   前記入替対象のブロックの持つ符号化コスト最小の探索候補を、そのブロックの持つその符号化コスト最小の探索候補よりも大きな符号化コストの探索候補に入れ替える過程とを備えることを、
   特徴とする動き探索方法。
2. 請求項１に記載の動き探索方法において、
   前記選択する過程では、前記一致を検出した探索候補を持つ複数ブロックにおいて符号化コスト最小として選出した探索候補のうち、最も符号化コストの大きなものからの順番に従って所定個数の探索候補を特定して、その特定した探索候補を持つブロックを入替対象のブロックとして選択することを、
   特徴とする動き探索方法。
3. 請求項１に記載の動き探索方法において、
   前記選択する過程では、前記一致を検出した探索候補を持つ複数ブロックにおいて符号化コスト最小として選出しなかった探索候補のうち、最も符号化コストの小さなものからの順番に従って所定個数の探索候補を特定して、その特定した探索候補を持つブロックを入替対象のブロックとして選択することを、
   特徴とする動き探索方法。
4. 請求項３に記載の動き探索方法において、
   前記選択する過程では、最も符号化コストの小さなものからの順番に従って所定個数の探索候補を特定するときに、同一ブロックの持つ探索候補を複数特定する場合には、後から特定した探索候補を無効なものとして、その特定を続行していくことを、
   特徴とする動き探索方法。
5. 請求項１ないし４のいずれか１項に記載の動き探索方法において、
   前記探索候補の入れ替えによって、動きベクトルおよび参照画像の重複が解消しない場合には、入替対象ブロックの選択処理および探索候補の入替処理を繰り返す過程を備えることを、
   特徴とする動き探索方法。
6. 請求項１ないし５のいずれか１項に記載の動き探索方法について、
   前記一次探索については８×８ブロックサイズを処理対象として探索を実行し、前記二次探索については１６×１６、１６×８、８×１６、８×８ブロックサイズを処理対象として探索を実行することを、
   特徴とする動き探索方法。
7. 複数の参照画像に対して、限定されたブロックサイズで広範囲な一次の動き探索を行って、各ブロックについて、その探索結果の中から最も符号化コストの小さな探索候補のみを選出し、それに対して詳細な精度の二次の動き探索を行い、符号化に用いるすべてのブロックサイズにおける符号化コストを算出して、最終的な動きベクトル、参照画像および符号化モードを決定する動き探索装置であって、
   前記二次探索で同一ブロックを構成することになる複数ブロックについて、前記一次探索の結果に基づいて符号化コスト最小として選出したそれらのブロックの持つ探索候補の中に、動きベクトルおよび参照画像が一致しているものがあるのかを検出する手段と、
   前記一致を検出した探索候補を持つ複数ブロックに含まれる一部のブロックを入替対象のブロックとして選択する手段と、
   前記入替対象のブロックの持つ符号化コスト最小の探索候補を、そのブロックの持つその符号化コスト最小の探索候補よりも大きな符号化コストの探索候補に入れ替える手段とを備えることを、
   特徴とする動き探索装置。
8. 請求項１ないし６のいずれか１項に記載の動き探索方法をコンピュータに実行させるための動き探索プログラム。
9. 請求項１ないし６のいずれか１項に記載の動き探索方法をコンピュータに実行させるための動き探索プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images