JP6248648B2 - 情報処理装置、符号化単位の選択方法、及びプログラム - Google Patents
情報処理装置、符号化単位の選択方法、及びプログラム Download PDFInfo
- Publication number
- JP6248648B2 JP6248648B2 JP2014009998A JP2014009998A JP6248648B2 JP 6248648 B2 JP6248648 B2 JP 6248648B2 JP 2014009998 A JP2014009998 A JP 2014009998A JP 2014009998 A JP2014009998 A JP 2014009998A JP 6248648 B2 JP6248648 B2 JP 6248648B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- adjacent
- similarity
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、情報処理装置、符号化単位の選択方法、及びプログラムに関する。
デジタル放送や映像記録などの分野では、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４と呼ばれる標準規格で規定された動画圧縮技術（以下、ＡＶＣ方式）が広く利用されている。近年、この標準規格の後継であるＨＥＶＣ（High Efficiency Video Coding）／Ｈ．２６５と呼ばれる動画圧縮技術（以下、ＨＥＶＣ方式）に注目が集まっている。ＨＥＶＣ方式は、ＡＶＣ方式に比べて２倍の圧縮率を実現することを目指している。
上記のような高い圧縮率を実現するため、ＨＥＶＣ方式では、符号化の単位となるブロックの決め方に柔軟性を持たせる工夫が追加された。ＡＶＣ方式では、１６×１６ピクセルのマクロブロックを単位としてピクチャを分割し、そのマクロブロックを符号化の単位として利用していた。ＨＥＶＣ方式では、ＣＴＵ（Coding Tree Unit）と呼ばれる固定サイズのブロックを単位としてピクチャを分割し、さらにＣＴＵをＣＵ（Coding Unit）と呼ばれる単位に分割する。このＣＵが符号化の単位となる。
ＣＴＵの分割は、画像の特徴に応じて再帰的に行われる。つまり、ＣＴＵを４つのブロックに分割し、さらに、分割して得られたブロックをさらに４つのブロックに分割する処理を繰り返し行って画像の特徴に適したサイズのＣＵが決定される。なお、ＣＵのサイズは、６４×６４ピクセル（ＣＵ ｄｅｐｔｈ ０）、３２×３２ピクセル（ＣＵ ｄｅｐｔｈ １）、１６×１６ピクセル（ＣＵ ｄｅｐｔｈ ２）、８×８ピクセル（ＣＵ ｄｅｐｔｈ ３）のいずれかである。このような分割の仕組みを四分木（Quad Tree）ブロック分割と呼ぶ場合がある。
四分木ブロック分割を採用することで、例えば、物体の輪郭などのエッジ部及びその近傍を小さなＣＵ単位で符号化し、空などの平坦な部分を大きなＣＵ単位で符号化することが可能になる。その結果、符号量を抑えつつ、高画質を実現することが可能になる。また、ＨＥＶＣ方式では、ＣＵ毎に設定されたＰＵ（Prediction Unit）と呼ばれるブロックを単位としてフレーム間予測符号化（以下、インター予測）が行われる。各ＣＵには、少なくとも１つのＰＵが設定される。
ＰＵは、ＣＵと同一の領域（分割なし）、ＣＵを縦方向又は横方向に２分割した領域、ＣＵを縦方向又は横方向に１対３又は３対１の割合で分割（以下、非対称分割）した領域のいずれかに設定される。つまり、７種類の分割方法で得られるＰＵをインター予測に利用することができる。また、上記のようにＣＵのサイズが４種類あるため、ＨＥＶＣ方式では、合計で２８種類のＰＵをインター予測に利用することができる。
以下、ＣＵと同一の領域に設定されたＰＵをＰＵ［２Ｎ×２Ｎ］と表記する。また、ＣＵを縦方向に２分割した領域のＰＵをＰＵ［Ｎ×２Ｎ］と表記する。また、ＣＵを横方向に２分割した領域のＰＵをＰＵ［２Ｎ×Ｎ］と表記する。また、ＣＵを縦方向に非対称分割した領域のうち、左側のＰＵをＰＵ［ｎＬ×２Ｎ］と表記し、右側のＰＵをＰＵ［ｎＲ×２Ｎ］と表記する。また、ＣＵを横方向に非対称分割した領域のうち、上側のＰＵをＰＵ［２Ｎ×ｎＵ］と表記し、下側のＰＵをＰＵ［２Ｎ×ｎＤ］と表記する。
このように、ＨＥＶＣ方式では、様々なサイズの単位ブロック（ＰＵ）をインター予測に利用できるため、ＡＶＣ方式に比べて効率的な動画像の圧縮が可能になる。
ところで、インター予測に関し、現在ブロックと複数個の隣接パーティションとの空間類似度を計算し、空間類似度をもとに選択した少なくとも１つの隣接パーティションの動きベクトルを現在ブロックの動きベクトルと推定する方法が提案されている。また、予測信号と動画像信号との差分情報から生成したコスト値をもとに少なくとも２つの予測モードを選択し、選択した予測モードに関する差分情報の周波数情報をもとに最適な予測モードを選択する方法が提案されている。
ところで、インター予測に関し、現在ブロックと複数個の隣接パーティションとの空間類似度を計算し、空間類似度をもとに選択した少なくとも１つの隣接パーティションの動きベクトルを現在ブロックの動きベクトルと推定する方法が提案されている。また、予測信号と動画像信号との差分情報から生成したコスト値をもとに少なくとも２つの予測モードを選択し、選択した予測モードに関する差分情報の周波数情報をもとに最適な予測モードを選択する方法が提案されている。
上記のように、様々なサイズのＰＵを利用することでインター予測の精度を高めることができる。一方、ＰＵの種類が２８種類もあるために、好適なＰＵの種類を選び出す処理にかかる負荷が大きい。そこで、１つの側面によれば、本発明の目的は、予測符号化にかかる演算負荷を低減することが可能な情報処理装置、符号化単位の選択方法、及びプログラムを提供することにある。
本開示の１つの側面によれば、対象ブロックと、対象ブロックに隣接する隣接ブロックとを記憶する記憶部と、対象ブロックの中で隣接ブロックとの境界に接する第１領域と、隣接ブロックの中で境界に接する隣接領域との類似性を評価し、第１領域と、対象ブロックの中で第１領域に接する第２領域との類似性を評価し、第１領域と隣接領域との類似性が、第１領域と第２領域との類似性よりも高い場合に、第１領域、及び対象ブロックの中から第１領域を除いた領域を予測符号化の単位の候補とする演算部とを有する、情報処理装置が提供される。
また、本開示の他の１つの側面によれば、対象ブロックと、対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、対象ブロック及び隣接ブロックの情報を読み出し可能なコンピュータが、対象ブロックの中で隣接ブロックとの境界に接する第１領域と、隣接ブロックの中で境界に接する隣接領域との類似性を評価し、第１領域と、対象ブロックの中で第１領域に接する第２領域との類似性を評価し、第１領域と隣接領域との類似性が、第１領域と第２領域との類似性よりも高い場合に、第１領域、及び対象ブロックの中から第１領域を除いた領域を予測符号化の単位の候補とする符号化単位の選択方法が提供される。
また、本開示の他の１つの側面によれば、対象ブロックと、対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、対象ブロック及び隣接ブロックの情報を読み出し可能なコンピュータに、対象ブロックの中で隣接ブロックとの境界に接する第１領域と、隣接ブロックの中で境界に接する隣接領域との類似性を評価し、第１領域と、対象ブロックの中で第１領域に接する第２領域との類似性を評価し、第１領域と隣接領域との類似性が、第１領域と第２領域との類似性よりも高い場合に、第１領域、及び対象ブロックの中から第１領域を除いた領域を予測符号化の単位の候補とする処理を実行させる、プログラムが提供される。
本発明によれば、予測符号化にかかる演算負荷を低減することができる。
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。なお、図１に例示した情報処理装置１０は、第１実施形態に係る情報処理装置の一例である。
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。なお、図１に例示した情報処理装置１０は、第１実施形態に係る情報処理装置の一例である。
図１に示すように、情報処理装置１０は、記憶部１１及び演算部１２を有する。
なお、記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。
なお、記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。
記憶部１１は、対象ブロックＢＬｏと、対象ブロックＢＬｏに隣接する隣接ブロックＢＬｎとを記憶する。対象ブロックＢＬｏは、例えば、符号化対象のＣＵである。隣接ブロックＢＬｎは、例えば、対象ブロックＢＬｏに隣接するＣＵである。図１の例では、説明の都合上、対象ブロックＢＬｏの上側に位置する１つの隣接ブロックＢＬｎだけを示している。もちろん、対象ブロックＢＬｏの下側、左側、右側に隣接するブロックに対しても第１実施形態に係る技術を同様に適用することができる。
演算部１２は、対象ブロックＢＬｏの中で隣接ブロックＢＬｎとの境界に接する第１領域Ａ１と、隣接ブロックＢＬｎの中で境界に接する隣接領域Ａｎとの類似性を評価する。図１の例では、対象ブロックＢＬｏのサイズがＮ×Ｎピクセルである。また、第１領域Ａ１及び隣接領域Ａｎのサイズは、Ｎ×（Ｎ／４）ピクセルである。演算部１２は、例えば、ピクセル毎に、第１領域Ａ１の輝度と隣接領域Ａｎの輝度との間の差分絶対値和を計算する。そして、演算部１２は、差分絶対値和が小さいほど類似性が高いと評価する。
また、演算部１２は、第１領域Ａ１と、対象ブロックＢＬｏの中で第１領域Ａ１に接する第２領域Ａ２との類似性を評価する。図１の例では、第２領域Ａ２のサイズは、Ｎ×（Ｎ／４）ピクセルである。演算部１２は、例えば、ピクセル毎に、第１領域Ａ１の輝度と第２領域Ａ２の輝度との間の差分絶対値和を計算する。そして、演算部１２は、差分絶対値和が小さいほど類似性が高いと評価する。なお、輝度の差分絶対値和を類似性の評価に利用する方法を例示したが、色差を利用する方法や領域の平坦度などを利用する方法も適用可能である。
演算部１２は、第１領域Ａ１と隣接領域Ａｎとの類似性が、第１領域Ａ１と第２領域Ａ２との類似性よりも高い場合に、第１領域Ａ１、及び対象ブロックＢＬｏの中から第１領域Ａ１を除いた領域Ａ５を予測符号化の単位の候補とする。また、演算部１２は、第１領域Ａ１と隣接領域Ａｎとの類似性が、第１領域Ａ１と第２領域Ａ２との類似性よりも低い場合に、第１領域Ａ１と第２領域Ａ２とを結合した第３領域Ａ３を予測符号化の単位の候補とする。さらに、演算部１２は、対象ブロックＢＬｏの中から第３領域Ａ３を除いた領域Ａ４を予測符号化の単位の候補とする。
例えば、第１領域Ａ１と第２領域Ａ２との類似性に対する評価の高さをＥＶ１２と表記し、第１領域Ａ１と隣接領域Ａｎとの類似性に対する評価の高さをＥＶ１ｎと表記する。演算部１２は、評価ＥＶ１２が評価ＥＶ１ｎよりも高いか否かを判定する。そして、評価ＥＶ１２が評価ＥＶ１ｎよりも低い場合、演算部１２は、第１領域Ａ１及び領域Ａ５を予測符号化の単位の候補とする。一方、評価ＥＶ１２が評価ＥＶ１ｎよりも高い場合、演算部１２は、第３領域Ａ３及び領域Ａ４を予測符号化の単位の候補とする。なお、予測符号化の単位は、例えば、ＰＵである。
例えば、予測符号化の単位を選択する方法として、対象ブロックＢＬｏを上下に２分割する方法と、上下に１対３の割合で分割する方法とがある場合に、上記の仕組みを適用すれば、類似性の評価に基づいて一方の方法に絞り込まれる。例えば、予測符号化の単位がＰＵである場合、動き検出に基づく評価の対象となるＰＵの種類が絞り込まれる。その結果、好適なＰＵを選出する処理の負担が軽減され、予測符号化にかかる演算負荷が低減される。なお、対象ブロックＢＬｏの下側、右側、左側に位置する隣接ブロックについても同様の処理を実行することで、さらに効果が高まる。
以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、ＨＥＶＣ方式におけるＰＵの決定方法（ＣＵの分割方法）に関する。
＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、ＨＥＶＣ方式におけるＰＵの決定方法（ＣＵの分割方法）に関する。
［２−１．ＣＵの分割方法］
図２〜図６を参照しながら、ＣＵの分割方法について説明する。
（ＣＵの種類（ＣＵ ｄｅｐｔｈ））
ＨＥＶＣ方式では、輝度成分及び色差成分を有するピクチャを固定サイズのＣＴＵ単位で分割し、ＣＴＵ単位で符号化や復号が行われる。ＣＴＵは、輝度成分のＣＴＢ（Coding Tree Block）と色差成分のＣＴＢとを含む。ＣＴＢは、ＤＣＴ（Discrete Cosine Transform）変換や量子化などの処理単位となるサブブロックである。ＣＴＢのサイズには、１６×１６ピクセル、３２×３２ピクセル、６４×６４ピクセルの３種類がある。ＣＴＵは、図２に示すように、四分木形式で階層的に分割される。なお、図２は、ＣＵの種類について説明するための図である。
図２〜図６を参照しながら、ＣＵの分割方法について説明する。
（ＣＵの種類（ＣＵ ｄｅｐｔｈ））
ＨＥＶＣ方式では、輝度成分及び色差成分を有するピクチャを固定サイズのＣＴＵ単位で分割し、ＣＴＵ単位で符号化や復号が行われる。ＣＴＵは、輝度成分のＣＴＢ（Coding Tree Block）と色差成分のＣＴＢとを含む。ＣＴＢは、ＤＣＴ（Discrete Cosine Transform）変換や量子化などの処理単位となるサブブロックである。ＣＴＢのサイズには、１６×１６ピクセル、３２×３２ピクセル、６４×６４ピクセルの３種類がある。ＣＴＵは、図２に示すように、四分木形式で階層的に分割される。なお、図２は、ＣＵの種類について説明するための図である。
階層の深さは「ＣＵ ｄｅｐｔｈ」で表現される。最上位の階層は「ＣＵ ｄｅｐｔｈ ０」と表現される。「ＣＵ ｄｅｐｔｈ ０」より下位の階層は、順に「ＣＵ ｄｅｐｔｈ １」、「ＣＵ ｄｅｐｔｈ ２」、「ＣＵ ｄｅｐｔｈ ３」と表現される。ＣＴＵのサイズが６４×６４である場合、ＣＵ ｄｅｐｔｈ ０のＣＵは、サイズが６４×６４となる。ＣＵ ｄｅｐｔｈ １のＣＵは、サイズが３２×３２となる。ＣＵ ｄｅｐｔｈ ２のＣＵは、サイズが１６×１６となる。ＣＵ ｄｅｐｔｈ ３のＣＵは、サイズが最小の８×８となる。ＣＵの最小サイズは、シーケンスを通じて固定される。
（ＰＵの種類）
ＰＵは、ＣＵを分割した領域に設定される。分割方法（“分割しない”場合も含む。）には、図３に示した７種類の方法がある。なお、図３は、ＰＵの種類について説明するための図である。図３の（１）は、ＣＵを分割せずにＣＵ全体をＰＵとする方法である。ＣＵのサイズが２Ｎ×２Ｎピクセルである場合、ＰＵのサイズも２Ｎ×２Ｎピクセルとなる。この種類をＰＵ［２Ｎ×２Ｎ］と表記する。図３の（２）は、ＣＵを横方向に２分割した２つの領域をそれぞれＰＵとする方法である。ＰＵのサイズはＮ×２Ｎピクセルとなる。この種類をＰＵ［Ｎ×２Ｎ］と表記する。
ＰＵは、ＣＵを分割した領域に設定される。分割方法（“分割しない”場合も含む。）には、図３に示した７種類の方法がある。なお、図３は、ＰＵの種類について説明するための図である。図３の（１）は、ＣＵを分割せずにＣＵ全体をＰＵとする方法である。ＣＵのサイズが２Ｎ×２Ｎピクセルである場合、ＰＵのサイズも２Ｎ×２Ｎピクセルとなる。この種類をＰＵ［２Ｎ×２Ｎ］と表記する。図３の（２）は、ＣＵを横方向に２分割した２つの領域をそれぞれＰＵとする方法である。ＰＵのサイズはＮ×２Ｎピクセルとなる。この種類をＰＵ［Ｎ×２Ｎ］と表記する。
図３の（３）は、ＣＵを縦方向に２分割した２つの領域をそれぞれＰＵとする方法である。ＰＵのサイズは２Ｎ×Ｎピクセルとなる。この種類をＰＵ［２Ｎ×Ｎ］と表記する。図３の（４）は、ＣＵを横方向に右側から１対３の割合で２分割した２つの領域をそれぞれＰＵとする方法である。右側に位置するＰＵのサイズは（Ｎ／２）×２Ｎピクセルとなる。一方、左側に位置するＰＵのサイズは（３Ｎ／２）×２Ｎピクセルとなる。この種類をＰＵ［ｎＲ×２Ｎ］と表記する。
図３の（５）は、ＣＵを縦方向に上側から１対３の割合で２分割した２つの領域をそれぞれＰＵとする方法である。上側に位置するＰＵのサイズは２Ｎ×（Ｎ／２）ピクセルとなる。一方、下側に位置するＰＵのサイズは２Ｎ×（３Ｎ／２）ピクセルとなる。この種類をＰＵ［２Ｎ×ｎＵ］と表記する。
図３の（６）は、ＣＵを横方向に左側から１対３の割合で２分割した２つの領域をそれぞれＰＵとする方法である。左側に位置するＰＵのサイズは（Ｎ／２）×２Ｎピクセルとなる。一方、右側に位置するＰＵのサイズは（３Ｎ／２）×２Ｎピクセルとなる。この種類をＰＵ［ｎＬ×２Ｎ］と表記する。
図３の（７）は、ＣＵを縦方向に下側から１対３の割合で２分割した２つの領域をそれぞれＰＵとする方法である。下側に位置するＰＵのサイズは２Ｎ×（Ｎ／２）ピクセルとなる。一方、上側に位置するＰＵのサイズは２Ｎ×（３Ｎ／２）ピクセルとなる。この種類をＰＵ［２Ｎ×ｎＤ］と表記する。
上記のように、各種ＰＵのサイズはＣＵのサイズに依存する。ＣＵ ｄｅｐｔｈ ０の場合、２Ｎ＝６４である。ＣＵ ｄｅｐｔｈ １の場合、２Ｎ＝３２である。ＣＵ ｄｅｐｔｈ ２の場合、２Ｎ＝１６である。ＣＵ ｄｅｐｔｈ ３の場合、２Ｎ＝８である。従って、サイズの違いも考慮すると、ＰＵの種類は２８通り存在する。
動き検出は、図４に示すように、ＰＵを単位として実行される。なお、図４は、ＰＵに基づく動き検出について説明するための図である。例えば、時刻Ｔfに対応するフレームｆを符号化対象のピクチャとし、時刻Ｔf-1に対応するフレーム（ｆ−１）を参照ピクチャとする。動き検出の処理では、参照ピクチャ内でＰＵの位置を１ピクセルずつ移動させながら類似度が計算され、最も類似度が高いブロックが抽出される。そして、そのＰＵに対する動きベクトルが得られる。
類似度の計算は、例えば、下記の式（１）で定義されるＳＡＤ（Sum of Absolute Difference）に基づいて行われる。下記の式（１）において、Ｃ（ｘ，ｙ）は、フレームｆの座標（ｘ，ｙ）における輝度値である。また、Ｒ（ｉ＋ｘ，ｊ＋ｙ）は、フレーム（ｆ−１）の座標（ｉ＋ｘ，ｊ＋ｙ）における輝度値である。なお、ＳＡＤの代わりにＳＳＤ（Sum of Squared Difference）を利用する方法も考えられる。また、輝度値以外の画素値を利用する方法も考えられる。
ＳＡＤが小さいほど類似度が高く、ＳＡＤが大きいほど類似度が低い。従って、動き検出においては、上記のＳＡＤが最小となる参照ピクチャのブロックが抽出される。ＨＥＶＣ方式では、このような動き検出をＰＵの種類毎に何度も行って好適なＰＵを決める。
（分割処理の一例）
例えば、好適なＰＵの決定（ＣＵの分割処理）は、図５及び図６に例示した処理フローに基づいて実現可能である。図５は、ＣＵの分割処理について説明するための第１のフロー図である。図６は、ＣＵの分割処理について説明するための第２のフロー図である。なお、ここでは、ある符号化装置が図５及び図６に示した処理を実行するものと仮定して説明を進める。
例えば、好適なＰＵの決定（ＣＵの分割処理）は、図５及び図６に例示した処理フローに基づいて実現可能である。図５は、ＣＵの分割処理について説明するための第１のフロー図である。図６は、ＣＵの分割処理について説明するための第２のフロー図である。なお、ここでは、ある符号化装置が図５及び図６に示した処理を実行するものと仮定して説明を進める。
（Ｓ１１）符号化装置は、ＣＵ ｄｅｐｔｈを指定する。例えば、ＣＵの分割処理を開始した直後の場合、符号化装置は、ＣＵ ｄｅｐｔｈ ０を指定する。また、ＣＵ ｄｅｐｔｈ ｋ（ｋ＞０）を既に指定済みの場合、符号化装置は、ＣＵ ｄｅｐｔｈ （ｋ＋１）を指定する。
（Ｓ１２）符号化装置は、１つのＣＵを選択し、選択したＣＵを対象ＣＵ（ＣＵO）とする。このとき、符号化装置は、未だ選択されていないＣＵの中から１つのＣＵを選択して対象ＣＵとする。
（Ｓ１３）符号化装置は、対象ＣＵをＰＵ［２Ｎ×２Ｎ］のＰＵに分割する。なお、対象ＣＵとＰＵ［２Ｎ×２Ｎ］のＰＵとは同じサイズである。そのため、ＰＵの数は１つである。符号化装置は、分割で得たＰＵを単位として動き検出を行い、ＰＵ毎に評価値を計算する。評価値としては、例えば、ＭＥ（Motion Estimation）コストが用いられる。
ＭＥコストとは、動きベクトルを表す符号量や参照画像を指定するために使う符号量の見積り値である。例えば、ＭＥコストは、下記の式（２）で表現される。但し、Ωは、ＰＵを符号化する際に用いる候補モードの全体集合を表す。ＳＡＤは、上記の式（１）で定義される差分絶対値和である。λは、ラグランジュ未定乗数である。Ｒは、モードＭｏｄｅで符号化した場合の総符号量である。なお、ここではＳＡＤに基づくＭＥコストを例示したが、ＳＳＥに基づくＭＥコストを評価値として利用することも可能である。
ＭＥコスト（Ｍｏｄｅ∈Ω） ＝ ＳＡＤ ＋ λ・Ｒ
…（２）
（Ｓ１４）符号化装置は、対象ＣＵをＰＵ［２Ｎ×Ｎ］のＰＵに分割する。この場合、ＰＵは上側ＰＵと下側ＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
…（２）
（Ｓ１４）符号化装置は、対象ＣＵをＰＵ［２Ｎ×Ｎ］のＰＵに分割する。この場合、ＰＵは上側ＰＵと下側ＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ１５）符号化装置は、対象ＣＵをＰＵ［Ｎ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側ＰＵと右側ＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［Ｎ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ１６）符号化装置は、ＰＵ［２Ｎ×２Ｎ］に対応する評価値、ＰＵ［２Ｎ×Ｎ］に対応する評価値、ＰＵ［Ｎ×２Ｎ］に対応する評価値を比較し、評価値が最小となる分割方法を選択する。例えば、ＰＵ［２Ｎ×２Ｎ］に対応する評価値が最小である場合、符号化装置は、分割方法としてＰＵ［２Ｎ×２Ｎ］を選択する。
（Ｓ１７）符号化装置は、Ｓ１６の処理で、ＰＵ［２Ｎ×２Ｎ］の評価値が最小であったか否かを判定する。ＰＵ［２Ｎ×２Ｎ］の評価値が最小であった場合、処理はＳ１８へと進む。ＰＵ［２Ｎ×２Ｎ］の評価値が最小でなかった場合、処理は、図６のＳ２２へと進む。
（Ｓ１８）符号化装置は、対象ＣＵをＰＵ［２Ｎ×ｎＵ］のＰＵに分割する。この場合、ＰＵは上側１／４のＰＵと下側３／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＵ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ１９）符号化装置は、対象ＣＵをＰＵ［２Ｎ×ｎＤ］のＰＵに分割する。この場合、ＰＵは上側３／４のＰＵと下側１／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＤ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ２０）符号化装置は、対象ＣＵをＰＵ［ｎＬ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側１／４のＰＵと右側３／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＬ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ２０の処理が完了すると、処理は、図６のＳ２１へと進む。
（Ｓ２１）符号化装置は、対象ＣＵをＰＵ［ｎＲ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側３／４のＰＵと右側１／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＲ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ２１の処理が完了すると、処理はＳ２７へと進む。
（Ｓ２２）符号化装置は、Ｓ１６の処理で、ＰＵ［２Ｎ×Ｎ］の評価値が最小であったか否かを判定する。ＰＵ［２Ｎ×Ｎ］の評価値が最小であった場合、処理はＳ２３へと進む。ＰＵ［２Ｎ×Ｎ］の評価値が最小でなかった場合、処理はＳ２５へと進む。
（Ｓ２３）符号化装置は、対象ＣＵをＰＵ［２Ｎ×ｎＵ］のＰＵに分割する。この場合、ＰＵは上側１／４のＰＵと下側３／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＵ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ２４）符号化装置は、対象ＣＵをＰＵ［２Ｎ×ｎＤ］のＰＵに分割する。この場合、ＰＵは上側３／４のＰＵと下側１／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＤ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ２５）符号化装置は、対象ＣＵをＰＵ［ｎＬ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側１／４のＰＵと右側３／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＬ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ２６）符号化装置は、対象ＣＵをＰＵ［ｎＲ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側３／４のＰＵと右側１／４のＰＵとに分割される。符号化装置は、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、符号化装置は、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＲ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ２７）符号化装置は、計算した評価値の中で最小の評価値に対応する分割方法を選択し、その評価値を保存する。例えば、Ｓ１６の処理でＰＵ［２Ｎ×２Ｎ］の評価値が最小であると判定した場合について考える。この場合、符号化装置は、ＰＵ［２Ｎ×２Ｎ］の評価値、ＰＵ［２Ｎ×ｎＵ］の評価値、ＰＵ［２Ｎ×ｎＤ］の評価値、ＰＵ［ｎＬ×２Ｎ］の評価値、ＰＵ［ｎＲ×２Ｎ］の評価値を比較し、最小の評価値に対応する分割方法を選択する。
また、Ｓ１６の処理でＰＵ［２Ｎ×Ｎ］の評価値が最小であると判定した場合、符号化装置は、ＰＵ［２Ｎ×Ｎ］の評価値、ＰＵ［２Ｎ×ｎＵ］の評価値、ＰＵ［２Ｎ×ｎＤ］の評価値を比較し、最小の評価値に対応する分割方法を選択する。また、Ｓ１６の処理でＰＵ［Ｎ×２Ｎ］の評価値が最小であると判定した場合、符号化装置は、ＰＵ［Ｎ×２Ｎ］の評価値、ＰＵ［ｎＬ×２Ｎ］の評価値、ＰＵ［ｎＲ×２Ｎ］の評価値を比較し、最小の評価値に対応する分割方法を選択する。
（Ｓ２８）符号化装置は、全てのＣＵを選択したか否かを判定する。指定されたＣＵ ｄｅｐｔｈについて全てのＣＵが選択済みの場合、処理はＳ２９へと進む。一方、指定されたＣＵ ｄｅｐｔｈについて選択済みではないＣＵが存在する場合、処理は、図５のＳ１２へと進む。
（Ｓ２９）符号化装置は、全てのＣＵ ｄｅｐｔｈを指定したか否かを判定する。ＣＵ ｄｅｐｔｈ ０からＣＵ ｄｅｐｔｈ ３まで全てのＣＵ ｄｅｐｔｈが指定済みの場合、処理はＳ３０へと進む。一方、指定済みではないＣＵ ｄｅｐｔｈが存在する場合、処理は、図５のＳ１１へと進む。
（Ｓ３０）符号化装置は、ＣＵ ｄｅｐｔｈ毎に、保存した評価値を合計した評価値合計を計算し、評価値合計が最小となるＣＵ ｄｅｐｔｈを選択する。Ｓ３０の処理が完了すると、図５及び図６に示した一連の処理は終了する。
図５及び図６に例示した処理フローは、ＣＵの分割を実現する方法の一例である。以下の説明において、この処理フローで示したＣＵの分割方法よりも効率の良いＣＵの分割方法及びその分割方法を実現可能な情報処理装置１００の機能などについて述べる。
以上、ＣＵの分割方法について説明した。
［２−２．ハードウェア］
ここで、図７を参照しながら、後述する情報処理装置１００が有する機能を実現可能なハードウェアについて説明する。情報処理装置１００は、第２実施形態に係る情報処理装置の一例である。なお、図７は、第２実施形態に係る情報処理装置が有する機能を実現可能なハードウェアの一例を示した図である。
［２−２．ハードウェア］
ここで、図７を参照しながら、後述する情報処理装置１００が有する機能を実現可能なハードウェアについて説明する。情報処理装置１００は、第２実施形態に係る情報処理装置の一例である。なお、図７は、第２実施形態に係る情報処理装置が有する機能を実現可能なハードウェアの一例を示した図である。
情報処理装置１００が有する機能は、例えば、図７に示すハードウェア資源を用いて実現することが可能である。つまり、情報処理装置１００が有する機能は、コンピュータプログラムを用いて図７に示すハードウェアを制御することにより実現される。
図７に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられる。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。
以上、情報処理装置１００のハードウェアについて説明した。なお、上述した符号化装置の機能も図７に例示したハードウェアを用いて実現可能である。
［２−３．情報処理装置の機能］
次に、図８を参照しながら、情報処理装置１００の機能について説明する。なお、図８は、第２実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
［２−３．情報処理装置の機能］
次に、図８を参照しながら、情報処理装置１００の機能について説明する。なお、図８は、第２実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
図８に示すように、情報処理装置１００は、減算器１０１、整数変換部１０２、量子化部１０３、及びエントロピー符号化部１０４を有する。また、情報処理装置１００は、逆量子化部１０５、逆整数変換部１０６、加算器１０７、フィルタ１０８、及びフレームメモリ１０９を有する。さらに、情報処理装置１００は、イントラ予測部１１０、差分計算部１１１、ＰＵ決定部１１２、動き検出部１１３、動き補償部１１４、及び切り替え部１１５を有する。
なお、減算器１０１、整数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆整数変換部１０６、加算器１０７、フィルタ１０８の機能は、上述したＣＰＵ９０２などを用いて実現できる。また、イントラ予測部１１０、差分計算部１１１、ＰＵ決定部１１２、動き検出部１１３、動き補償部１１４、及び切り替え部１１５の機能は、上述したＣＰＵ９０２などを用いて実現できる。また、フレームメモリ１０９の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。
情報処理装置１００には、符号化対象の動画フレームに対応する画像データ（以下、入力画像データ）が入力される。入力画像データは、減算器１０１に入力される。また、減算器１０１には、動き補償により生成された予測画像データが入力される。減算器１０１は、入力画像データから予測画像データを減算して予測誤差信号を生成する。予測誤差信号は、整数変換部１０２に入力される。
整数変換部１０２は、予測誤差信号を整数変換して係数信号を生成する。例えば、整数変換部１０２は、整数精度が４×４、８×８、１６×１６、３２×３２のＤＣＴ変換を実行し、予測誤差信号の周波数成分に対応するＤＣＴ係数の集合（係数信号）を生成する。係数信号は、量子化部１０３に入力される。量子化部１０３は、係数信号を量子化して量子化データを生成する。量子化データは、エントロピー符号化部１０４及び逆量子化部１０５に入力される。
エントロピー符号化部１０４には、後述するイントラ予測部１１０及び動き検出部１１３の出力データも入力される。エントロピー符号化部１０４は、量子化データ、イントラ予測部１１０の出力データ、及び動き検出部１１３の出力データ（例えば、動きベクトルの情報）をエントロピー符号化して符号化データを生成する。なお、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方法である。
逆量子化部１０５は、入力された量子化データを逆量子化して係数信号を復元する。復元された係数信号は、逆整数変換部１０６に入力される。逆整数変換部１０６は、入力された係数信号に逆整数変換を施して予測誤差信号を復元する。復元された予測誤差信号は、減算器１０１から出力された予測誤差信号と同等の信号である。逆整数変換部１０６により復元された予測誤差信号は、加算器１０７に入力される。また、加算器１０７には、動き補償により生成された予測画像データが入力される。
加算器１０７は、入力された予測誤差信号と予測画像データとを加算して参照画像信号（参照ピクチャのＰＵに相当）を生成する。参照画像信号は、フィルタ１０８及びイントラ予測部１１０に入力される。フィルタ１０８は、参照画像信号に対してデブロッキングフィルタ、ＳＡＯ（Sample Adaptive Offset）、ＡＬＦ（Adaptive Loop Filter）の処理を施してブロックノイズの発生を抑制する。フィルタ１０８で処理された参照画像信号は、フレームメモリ１０９に格納される。イントラ予測部１１０は、イントラ予測により同じ画像内の周辺画素から予測画像データを生成する。
差分計算部１１１は、対象ＣＵと、対象ＣＵに隣接するＣＵ（以下、隣接ＣＵ）との境界付近に位置するブロック間の類似度を表す差分情報を生成する。差分情報は、ＰＵ決定部１１２に入力される。ＰＵ決定部１１２は、差分情報に基づいて対象ＣＵの分割方法（利用するＰＵの種類）を絞り込む。ＰＵ決定部１１２が実行する処理の内容については後述する。ＰＵ決定部１１２により絞り込まれた対象ＣＵの分割方法を表す情報（以下、候補ＰＵ情報）は、動き検出部１１３に入力される。
動き検出部１１３は、入力画像データ、フレームメモリ１０９から読み出した参照画像信号、及び候補ＰＵ情報を用いて動きベクトルを検出する。動き検出部１１３により検出された動きベクトルは、動き補償部１１４に入力される。動き補償部１１４は、入力された動きベクトルに基づき、フレームメモリ１０９から読み出した参照画像信号に動き補償を施して予測画像データを生成する。切り替え部１１５は、イントラ予測部１１０又は動き補償部１１４を選択し、選択した要素が出力した予測画像データを減算器１０１及び加算器１０７に入力する。
（差分計算部１１１及びＰＵ決定部１１２の機能について）
ここで、図９及び図１０を参照しながら、差分計算部１１１及びＰＵ決定部１１２の機能について、さらに説明する。なお、図９は、第２実施形態に係るＰＵの分割方法（縦方向分割）について説明するための図である。図１０は、第２実施形態に係るＰＵの分割方法（横方向分割）について説明するための図である。
ここで、図９及び図１０を参照しながら、差分計算部１１１及びＰＵ決定部１１２の機能について、さらに説明する。なお、図９は、第２実施形態に係るＰＵの分割方法（縦方向分割）について説明するための図である。図１０は、第２実施形態に係るＰＵの分割方法（横方向分割）について説明するための図である。
（縦方向分割について）
まず、図９を参照しながら、対象ＣＵの縦方向分割（ＰＵ［２Ｎ×Ｎ］、ＰＵ［２Ｎ×ｎＵ］、ＰＵ［２Ｎ×ｎＤ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの上側に位置する隣接ＣＵをＣＵU、ＣＵOの下側に位置する隣接ＣＵをＣＵDと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
まず、図９を参照しながら、対象ＣＵの縦方向分割（ＰＵ［２Ｎ×Ｎ］、ＰＵ［２Ｎ×ｎＵ］、ＰＵ［２Ｎ×ｎＤ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの上側に位置する隣接ＣＵをＣＵU、ＣＵOの下側に位置する隣接ＣＵをＣＵDと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
また、ＣＵUの下側１／４を占める領域をＲU、ＣＵOの上側１／４を占める領域をＲ1、Ｒ1の下側に隣接する２Ｎ×（Ｎ／２）の領域をＲ2と表記する。さらに、ＣＵDの上側１／４を占める領域をＲD、ＣＵOの下側１／４を占める領域をＲ3、Ｒ3の上側に隣接する２Ｎ×（Ｎ／２）の領域をＲ4と表記する。ＲUとＲ1とは、ＣＵUとＣＵOとの間の境界で接する。また、Ｒ3とＲDとは、ＣＵOとＣＵDとの境界で接する。
差分計算部１１１は、ＲUとＲ1との差分を計算する。この差分は、ＲUとＲ1との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、ＲUとＲ1との差分として、ＲUに含まれる画素の輝度値ＹUと、Ｒ1に含まれる画素の輝度値Ｙ1との差分絶対値和ＤＹ1U（下記の式（３）を参照）を計算する。但し、Ｓ1は、Ｒ1に含まれる全画素の座標を集めた集合を表す。
また、差分計算部１１１は、Ｒ1とＲ2との差分を計算する。この差分は、Ｒ1とＲ2との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ1とＲ2との差分として、Ｒ1に含まれる画素の輝度値Ｙ1と、Ｒ2に含まれる画素の輝度値Ｙ2との差分絶対値和ＤＹ12（下記の式（４）を参照）を計算する。
また、差分計算部１１１は、Ｒ3とＲDとの差分を計算する。この差分は、Ｒ3とＲDとの類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ3とＲDとの差分として、Ｒ3に含まれる画素の輝度値Ｙ3と、ＲDに含まれる画素の輝度値ＹDとの差分絶対値和ＤＹ3D（下記の式（５）を参照）を計算する。但し、Ｓ3は、Ｒ3に含まれる全画素の座標を集めた集合を表す。
また、差分計算部１１１は、Ｒ3とＲ4との差分を計算する。この差分は、Ｒ3とＲ4との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ3とＲ4との差分として、Ｒ3に含まれる画素の輝度値Ｙ3と、Ｒ4に含まれる画素の輝度値Ｙ4との差分絶対値和ＤＹ34（下記の式（６）を参照）を計算する。
差分計算部１１１により計算されたＤＹ1U、ＤＹ12、ＤＹ3D、ＤＹ34は、ＰＵ決定部１１２に入力される。ＰＵ決定部１１２は、ＤＹ1U、ＤＹ12、ＤＹ3D、ＤＹ34を比較する。比較結果は、例えば、下記の４つのケースに分けられる。
（ケース＃１：ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＜ＤＹ34）
ケース＃１は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＜ＤＹ34の場合、ＰＵ決定部１１２は、ＤＹ1UとＤＹ3Dとを比較する。ＤＹ1U＜ＤＹ3Dの場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。一方、ＤＹ1U＞ＤＹ3Dの場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
ケース＃１は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＜ＤＹ34の場合、ＰＵ決定部１１２は、ＤＹ1UとＤＹ3Dとを比較する。ＤＹ1U＜ＤＹ3Dの場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。一方、ＤＹ1U＞ＤＹ3Dの場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
（ケース＃２：ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＞ＤＹ34）
ケース＃２は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＞ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。
ケース＃２は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＹ1U＜ＤＹ12、かつ、ＤＹ3D＞ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。
（ケース＃３：ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＜ＤＹ34）
ケース＃３は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＜ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
ケース＃３は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＜ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
（ケース＃４：ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＞ＤＹ34）
ケース＃４は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＞ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×Ｎ］を選択する。
ケース＃４は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＹ1U＞ＤＹ12、かつ、ＤＹ3D＞ＤＹ34の場合、ＰＵ決定部１１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×Ｎ］を選択する。
上記の方法により、差分計算部１１１及びＰＵ決定部１１２の機能によって、縦方向分割に関する対象ＣＵの分割方法が１つの候補に絞り込まれる。
（横方向分割について）
次に、図１０を参照しながら、対象ＣＵの横方向分割（ＰＵ［Ｎ×２Ｎ］、ＰＵ［ｎＲ×２Ｎ］、ＰＵ［ｎＬ×２Ｎ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの右側に位置する隣接ＣＵをＣＵR、ＣＵOの左側に位置する隣接ＣＵをＣＵLと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
（横方向分割について）
次に、図１０を参照しながら、対象ＣＵの横方向分割（ＰＵ［Ｎ×２Ｎ］、ＰＵ［ｎＲ×２Ｎ］、ＰＵ［ｎＬ×２Ｎ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの右側に位置する隣接ＣＵをＣＵR、ＣＵOの左側に位置する隣接ＣＵをＣＵLと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
また、ＣＵRの左側１／４を占める領域をＲR、ＣＵOの右側１／４を占める領域をＲ5、Ｒ5の左側に隣接する（Ｎ／２）×２Ｎの領域をＲ6と表記する。さらに、ＣＵLの右側１／４を占める領域をＲL、ＣＵOの左側１／４を占める領域をＲ7、Ｒ7の右側に隣接する（Ｎ／２）×２Ｎの領域をＲ8と表記する。ＲRとＲ5とは、ＣＵRとＣＵOとの間の境界で接する。また、Ｒ7とＲLとは、ＣＵOとＣＵLとの境界で接する。
差分計算部１１１は、ＲRとＲ5との差分を計算する。この差分は、ＲRとＲ5との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、ＲRとＲ5との差分として、ＲRに含まれる画素の輝度値ＹRと、Ｒ5に含まれる画素の輝度値Ｙ5との差分絶対値和ＤＹ5R（下記の式（７）を参照）を計算する。但し、Ｓ5は、Ｒ5に含まれる全画素の座標を集めた集合を表す。
また、差分計算部１１１は、Ｒ5とＲ6との差分を計算する。この差分は、Ｒ5とＲ6との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ5とＲ6との差分として、Ｒ5に含まれる画素の輝度値Ｙ5と、Ｒ6に含まれる画素の輝度値Ｙ6との差分絶対値和ＤＹ56（下記の式（８）を参照）を計算する。
また、差分計算部１１１は、Ｒ7とＲLとの差分を計算する。この差分は、Ｒ7とＲLとの類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ7とＲLとの差分として、Ｒ7に含まれる画素の輝度値Ｙ7と、ＲLに含まれる画素の輝度値ＹLとの差分絶対値和ＤＹ7L（下記の式（９）を参照）を計算する。但し、Ｓ7は、Ｒ7に含まれる全画素の座標を集めた集合を表す。
また、差分計算部１１１は、Ｒ7とＲ8との差分を計算する。この差分は、Ｒ7とＲ8との類似性を評価するための評価値の一例である。例えば、差分計算部１１１は、Ｒ7とＲ8との差分として、Ｒ7に含まれる画素の輝度値Ｙ7と、Ｒ8に含まれる画素の輝度値Ｙ8との差分絶対値和ＤＹ78（下記の式（１０）を参照）を計算する。
差分計算部１１１により計算されたＤＹ5R、ＤＹ56、ＤＹ7L、ＤＹ78は、ＰＵ決定部１１２に入力される。ＰＵ決定部１１２は、ＤＹ5R、ＤＹ56、ＤＹ7L、ＤＹ78を比較する。比較結果は、例えば、下記の４つのケースに分けられる。
（ケース＃１：ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＜ＤＹ78）
ケース＃１は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＜ＤＹ78の場合、ＰＵ決定部１１２は、ＤＹ5RとＤＹ7Lとを比較する。ＤＹ5R＜ＤＹ7Lの場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。一方、ＤＹ5R＞ＤＹ7Lの場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
ケース＃１は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＜ＤＹ78の場合、ＰＵ決定部１１２は、ＤＹ5RとＤＹ7Lとを比較する。ＤＹ5R＜ＤＹ7Lの場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。一方、ＤＹ5R＞ＤＹ7Lの場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
（ケース＃２：ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＞ＤＹ78）
ケース＃２は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＞ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。
ケース＃２は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＹ5R＜ＤＹ56、かつ、ＤＹ7L＞ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。
（ケース＃３：ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＜ＤＹ78）
ケース＃３は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＜ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
ケース＃３は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＜ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
（ケース＃４：ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＞ＤＹ78）
ケース＃４は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＞ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［Ｎ×２Ｎ］を選択する。
ケース＃４は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＹ5R＞ＤＹ56、かつ、ＤＹ7L＞ＤＹ78の場合、ＰＵ決定部１１２は、横方向分割に関する分割方法の候補としてＰＵ［Ｎ×２Ｎ］を選択する。
上記の方法により、差分計算部１１１及びＰＵ決定部１１２の機能によって、横方向分割に関する対象ＣＵの分割方法が１つの候補に絞り込まれる。なお、縦方向分割及び横方向分割に関する対象ＣＵの分割方法に加え、ＰＵ［２Ｎ×２Ｎ］が候補に追加される。ＰＵ決定部１１２は、縦方向分割に関する１つの候補、横方向分割に関する１つの候補、及びＰＵ［２Ｎ×２Ｎ］に対象ＣＵの分割方法を絞り込む。その結果、ＰＵの種類が低減された分だけ動き検出部１１３の処理負担が軽減される。
以上、情報処理装置１００の機能について説明した。なお、上記の説明では輝度の差分絶対値和を用いて領域間の類似性を評価する方法を紹介したが、第２実施形態に係る技術に適用可能な類似性の評価方法はこれに限定されない。以下、類似性の評価方法について、さらに説明する。
［２−４．類似性の評価］
図１１を参照しながら、領域間の類似性を評価する方法について、さらに説明する。図１１は、第２実施形態に係る類似性の評価について説明するための図である。ここでは、説明の都合上、図１１に示すようなＲ1とＲUとの類似性を評価する方法を例に挙げて説明するが、他の領域間の類似性を評価する方法についても同様である。
図１１を参照しながら、領域間の類似性を評価する方法について、さらに説明する。図１１は、第２実施形態に係る類似性の評価について説明するための図である。ここでは、説明の都合上、図１１に示すようなＲ1とＲUとの類似性を評価する方法を例に挙げて説明するが、他の領域間の類似性を評価する方法についても同様である。
（平均輝度の差分絶対値）
Ｒ1とＲUとの差分を平均輝度の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる全画素の輝度値ＹUについて平均値ＡＹUを計算する。さらに、差分計算部１１１は、Ｒ1に含まれる画素の輝度値Ｙ1について平均値ＡＹ1を計算する。そして、差分計算部１１１は、ＡＹUとＡＹ1との差分絶対値ＤＡＹ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＡＹ1Uなどを用いてＰＵの種類を絞り込む。
Ｒ1とＲUとの差分を平均輝度の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる全画素の輝度値ＹUについて平均値ＡＹUを計算する。さらに、差分計算部１１１は、Ｒ1に含まれる画素の輝度値Ｙ1について平均値ＡＹ1を計算する。そして、差分計算部１１１は、ＡＹUとＡＹ1との差分絶対値ＤＡＹ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＡＹ1Uなどを用いてＰＵの種類を絞り込む。
（色差の差分絶対値和）
次に、Ｒ1とＲUとの差分を色差の差分絶対値和で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる画素の色差ＣU（Ｃｂ，Ｃｒ）と、Ｒ1に含まれる画素の色差Ｃ1（Ｃｂ，Ｃｒ）との差分絶対値和ＤＣ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値和ＤＣ1Uなどを用いてＰＵの種類を絞り込む。
次に、Ｒ1とＲUとの差分を色差の差分絶対値和で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる画素の色差ＣU（Ｃｂ，Ｃｒ）と、Ｒ1に含まれる画素の色差Ｃ1（Ｃｂ，Ｃｒ）との差分絶対値和ＤＣ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値和ＤＣ1Uなどを用いてＰＵの種類を絞り込む。
（平均色差の差分絶対値）
次に、Ｒ1とＲUとの差分を平均色差の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる全画素の色差ＣU（Ｃｂ，Ｃｒ）について平均値ＡＣUを計算する。さらに、差分計算部１１１は、Ｒ1に含まれる画素の色差Ｃ1（Ｃｂ，Ｃｒ）について平均値ＡＣ1を計算する。そして、差分計算部１１１は、ＡＣUとＡＣ1との差分絶対値ＤＡＣ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＡＣ1Uなどを用いてＰＵの種類を絞り込む。
次に、Ｒ1とＲUとの差分を平均色差の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUに含まれる全画素の色差ＣU（Ｃｂ，Ｃｒ）について平均値ＡＣUを計算する。さらに、差分計算部１１１は、Ｒ1に含まれる画素の色差Ｃ1（Ｃｂ，Ｃｒ）について平均値ＡＣ1を計算する。そして、差分計算部１１１は、ＡＣUとＡＣ1との差分絶対値ＤＡＣ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＡＣ1Uなどを用いてＰＵの種類を絞り込む。
（平坦度の差分絶対値）
次に、Ｒ1とＲUとの差分を平坦度の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUの平坦度ＦU（下記の式（１１）を参照）を計算する。さらに、差分計算部１１１は、Ｒ1の平坦度Ｆ1（下記の式（１２））を計算する。そして、差分計算部１１１は、ＦUとＦ1との差分絶対値ＤＦ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＦ1Uなどを用いてＰＵの種類を絞り込む。
次に、Ｒ1とＲUとの差分を平坦度の差分絶対値で表現する方法について述べる。この方法を採用する場合、差分計算部１１１は、ＲUの平坦度ＦU（下記の式（１１）を参照）を計算する。さらに、差分計算部１１１は、Ｒ1の平坦度Ｆ1（下記の式（１２））を計算する。そして、差分計算部１１１は、ＦUとＦ1との差分絶対値ＤＦ1Uを計算する。他の領域についても同様である。ＰＵ決定部１１２は、差分計算部１１１が計算した差分絶対値ＤＦ1Uなどを用いてＰＵの種類を絞り込む。
但し、ＹUは、ＲUに含まれる画素の輝度値である。Ｙ1は、Ｒ1に含まれる画素の輝度値である。また、ＡＹUは、ＲUに含まれる全画素の輝度値に関する平均値である。ＡＹ1は、Ｒ1に含まれる全画素の輝度値に関する平均値である。また、ＮUは、ＲUに含まれる画素の総数である。Ｎ1は、Ｒ1に含まれる画素の総数である。また、ＳUは、ＲUに含まれる全画素の座標を集めた集合を表す。Ｓ1は、Ｒ1に含まれる全画素の座標を集めた集合を表す。
以上、類似性の評価方法について説明した。
［２−５．処理フロー］
次に、図１２〜図１４を参照しながら、対象ＣＵの分割方法に係る処理の流れについて説明する。図１２は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第１のフロー図である。図１３は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第２のフロー図である。図１４は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第３のフロー図である。
［２−５．処理フロー］
次に、図１２〜図１４を参照しながら、対象ＣＵの分割方法に係る処理の流れについて説明する。図１２は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第１のフロー図である。図１３は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第２のフロー図である。図１４は、第２実施形態に係る情報処理装置が実行するＣＵの分割処理について説明するための第３のフロー図である。
（Ｓ１０１）情報処理装置１００は、ＣＵ ｄｅｐｔｈを指定する。例えば、ＣＵの分割処理を開始した直後の場合、情報処理装置１００は、ＣＵ ｄｅｐｔｈ ０を指定する。また、ＣＵ ｄｅｐｔｈ ｋ（ｋ＞０）を既に指定済みの場合、情報処理装置１００は、ＣＵ ｄｅｐｔｈ （ｋ＋１）を指定する。
（Ｓ１０２）情報処理装置１００は、１つのＣＵを選択し、選択したＣＵを対象ＣＵ（ＣＵO）とする。このとき、情報処理装置１００は、未だ選択されていないＣＵの中から１つのＣＵを選択して対象ＣＵとする。
（Ｓ１０３）情報処理装置１００は、差分計算部１１１の機能により、対象ＣＵの上下に位置する隣接ＣＵを参照し、対象ＣＵと隣接ＣＵとの境界で接する対象ＣＵの領域と隣接ＣＵの領域との差分を計算する。例えば、情報処理装置１００は、差分計算部１１１の機能により、図９に例示したＲUとＲ1との差分、Ｒ1とＲ2との差分、Ｒ3とＲDとの差分、Ｒ3とＲ4との差分を計算する。
（Ｓ１０４）情報処理装置１００は、差分計算部１１１の機能により、対象ＣＵの左右に位置する隣接ＣＵを参照し、対象ＣＵと隣接ＣＵとの境界で接する対象ＣＵの領域と隣接ＣＵの領域との差分を計算する。例えば、情報処理装置１００は、差分計算部１１１の機能により、図１０に例示したＲRとＲ5との差分、Ｒ5とＲ6との差分、Ｒ7とＲLとの差分、Ｒ7とＲ8との差分を計算する。
（Ｓ１０５）情報処理装置１００は、ＰＵ決定部１１２の機能により、Ｓ１０３、Ｓ１０４で計算した差分に基づいて縦方向分割に関する分割方法の候補、及び横方向分割に関する分割方法の候補を絞り込む。例えば、情報処理装置１００は、ＰＵ決定部１１２の機能により、縦方向分割及び横方向分割のそれぞれについて、上述したケース＃１〜＃４の分類を行って分割方法の候補を選択する。また、情報処理装置１００は、ＰＵ決定部１１２の機能により、ＰＵ［２Ｎ×２Ｎ］を分割方法の候補に含める。
（Ｓ１０６）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［２Ｎ×２Ｎ］のＰＵに分割する。なお、対象ＣＵとＰＵ［２Ｎ×２Ｎ］のＰＵとは同じサイズである。そのため、ＰＵの数は１つである。情報処理装置１００は、動き検出部１１３の機能により、分割で得たＰＵを単位として動き検出を行い、ＰＵ毎に評価値を計算する。評価値としては、例えば、上述したＭＥコストが用いられる。Ｓ１０６の処理が完了すると、処理は、図１３のＳ１０７へと進む。
（Ｓ１０７）情報処理装置１００は、ＰＵ［２Ｎ×Ｎ］が分割方法の候補として選択されているか否かを判定する。ＰＵ［２Ｎ×Ｎ］が分割方法の候補に含まれる場合、処理は、Ｓ１０８へと進む。一方、ＰＵ［２Ｎ×Ｎ］が分割方法の候補に含まれない場合、処理は、Ｓ１０９へと進む。
（Ｓ１０８）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［２Ｎ×Ｎ］のＰＵに分割する。この場合、ＰＵは上側１／２のＰＵと下側１／２のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ１０８の処理が完了すると、処理は、図１４のＳ１１２へと進む。
（Ｓ１０９）情報処理装置１００は、ＰＵ［２Ｎ×ｎＵ］が分割方法の候補として選択されているか否かを判定する。ＰＵ［２Ｎ×ｎＵ］が分割方法の候補に含まれる場合、処理は、Ｓ１１０へと進む。一方、ＰＵ［２Ｎ×ｎＵ］が分割方法の候補に含まれない場合、処理は、Ｓ１１１へと進む。
（Ｓ１１０）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［２Ｎ×ｎＵ］のＰＵに分割する。この場合、ＰＵは上側１／４のＰＵと下側３／４のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＵ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ１１０の処理が完了すると、処理は、図１４のＳ１１２へと進む。
（Ｓ１１１）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［２Ｎ×ｎＤ］のＰＵに分割する。この場合、ＰＵは上側３／４のＰＵと下側１／４のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［２Ｎ×ｎＤ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ１１０の処理が完了すると、処理は、図１４のＳ１１２へと進む。
（Ｓ１１２）情報処理装置１００は、ＰＵ［Ｎ×２Ｎ］が分割方法の候補として選択されているか否かを判定する。ＰＵ［Ｎ×２Ｎ］が分割方法の候補に含まれる場合、処理は、Ｓ１１３へと進む。一方、ＰＵ［Ｎ×２Ｎ］が分割方法の候補に含まれない場合、処理は、Ｓ１１４へと進む。
（Ｓ１１３）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［Ｎ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側１／２のＰＵと右側１／２のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［Ｎ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ１１３の処理が完了すると、処理は、Ｓ１１７へと進む。
（Ｓ１１４）情報処理装置１００は、ＰＵ［ｎＬ×２Ｎ］が分割方法の候補として選択されているか否かを判定する。ＰＵ［ｎＬ×２Ｎ］が分割方法の候補に含まれる場合、処理は、Ｓ１１５へと進む。一方、ＰＵ［ｎＬ×２Ｎ］が分割方法の候補に含まれない場合、処理は、Ｓ１１６へと進む。
（Ｓ１１５）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［ｎＬ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側１／４のＰＵと右側３／４のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＬ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。Ｓ１１５の処理が完了すると、処理は、Ｓ１１７へと進む。
（Ｓ１１６）情報処理装置１００は、動き検出部１１３の機能により、対象ＣＵをＰＵ［ｎＲ×２Ｎ］のＰＵに分割する。この場合、ＰＵは左側３／４のＰＵと右側１／４のＰＵとに分割される。情報処理装置１００は、動き検出部１１３の機能により、分割で得た２つのＰＵのそれぞれについて動き検出を行い、ＰＵ毎に評価値を計算する。そして、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ毎に計算した評価値の合計値をＰＵ［ｎＲ×２Ｎ］に対応する評価値とする。評価値としては、例えば、上記のＭＥコストが用いられる。
（Ｓ１１７）情報処理装置１００は、動き検出部１１３の機能により、ＰＵ［２Ｎ×２Ｎ］に対応する評価値、縦方向分割に関する候補の評価値、横方向分割に関する候補の評価値を比較する。そして、情報処理装置１００は、動き検出部１１３の機能により、評価値が最小となる分割方法を選択し、その評価値を保存する。例えば、ＰＵ［２Ｎ×２Ｎ］に対応する評価値が最小である場合、情報処理装置１００は、動き検出部１１３の機能により、ＰＵ［２Ｎ×２Ｎ］の評価値を保存する。
（Ｓ１１８）情報処理装置１００は、全てのＣＵを選択したか否かを判定する。指定されたＣＵ ｄｅｐｔｈについて全てのＣＵが選択済みの場合、処理はＳ１１９へと進む。一方、指定されたＣＵ ｄｅｐｔｈについて選択済みではないＣＵが存在する場合、処理は、図１２のＳ１０２へと進む。
（Ｓ１１９）情報処理装置１００は、全てのＣＵ ｄｅｐｔｈを指定したか否かを判定する。ＣＵ ｄｅｐｔｈ ０からＣＵ ｄｅｐｔｈ ３まで全てのＣＵ ｄｅｐｔｈが指定済みの場合、処理はＳ１２０へと進む。一方、指定済みではないＣＵ ｄｅｐｔｈが存在する場合、処理は、図１２のＳ１０１へと進む。
（Ｓ１２０）情報処理装置１００は、ＣＵ ｄｅｐｔｈ毎に、保存した評価値を合計した評価値合計を計算する。そして、情報処理装置１００は、評価値合計が最小となるＣＵ ｄｅｐｔｈを選択する。Ｓ１２０の処理が完了すると、図１２〜図１４に示した一連の処理は終了する。
以上、対象ＣＵの分割方法に係る処理の流れについて説明した。
以上説明したように、対象ＣＵと隣接ＣＵとの境界に位置する領域間の類似度、及び対象ＣＵを分割した領域間の類似度に基づいてＰＵの種類を絞り込むことにより、動き検出及びコスト評価の処理を実行する回数が低減され、符号化処理の負担が軽減される。
以上説明したように、対象ＣＵと隣接ＣＵとの境界に位置する領域間の類似度、及び対象ＣＵを分割した領域間の類似度に基づいてＰＵの種類を絞り込むことにより、動き検出及びコスト評価の処理を実行する回数が低減され、符号化処理の負担が軽減される。
以上、第２実施形態について説明した。
＜３．第３実施形態＞
第３実施形態について説明する。上述した第２実施形態では、比較対象の領域に含まれる画素の画素値（輝度値や色差など）を利用して領域間の類似性を評価した。以下で説明する第３実施形態では、比較対象の領域が有するＤＣ（Direct Current）成分を利用して領域間の類似性を評価する方法を提案する。
＜３．第３実施形態＞
第３実施形態について説明する。上述した第２実施形態では、比較対象の領域に含まれる画素の画素値（輝度値や色差など）を利用して領域間の類似性を評価した。以下で説明する第３実施形態では、比較対象の領域が有するＤＣ（Direct Current）成分を利用して領域間の類似性を評価する方法を提案する。
（情報処理装置の機能）
図１５を参照しながら、情報処理装置２００の機能について説明する。情報処理装置２００は、第３実施形態に係る情報処理装置の一例である。また、情報処理装置２００が有する機能は、図７に例示したハードウェアを用いて実現可能である。なお、図１５は、第３実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
図１５を参照しながら、情報処理装置２００の機能について説明する。情報処理装置２００は、第３実施形態に係る情報処理装置の一例である。また、情報処理装置２００が有する機能は、図７に例示したハードウェアを用いて実現可能である。なお、図１５は、第３実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
図１５に示すように、情報処理装置２００は、減算器２０１、整数変換部２０２、量子化部２０３、及びエントロピー符号化部２０４を有する。また、情報処理装置２００は、逆量子化部２０５、逆整数変換部２０６、加算器２０７、フィルタ２０８、及びフレームメモリ２０９を有する。さらに、情報処理装置２００は、イントラ予測部２１０、ＤＣ差分計算部２１１、ＰＵ決定部２１２、動き検出部２１３、動き補償部２１４、及び切り替え部２１５を有する。
なお、減算器２０１、整数変換部２０２、量子化部２０３、エントロピー符号化部２０４、逆量子化部２０５、逆整数変換部２０６、加算器２０７、フィルタ２０８の機能は、上述したＣＰＵ９０２などを用いて実現できる。また、イントラ予測部２１０、ＤＣ差分計算部２１１、ＰＵ決定部２１２、動き検出部２１３、動き補償部２１４、及び切り替え部２１５の機能は、上述したＣＰＵ９０２などを用いて実現できる。また、フレームメモリ２０９の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。
情報処理装置２００には、符号化対象の動画フレームに対応する画像データ（入力画像データ）が入力される。入力画像データは、減算器２０１に入力される。また、減算器２０１には、動き補償により生成された予測画像データが入力される。減算器２０１は、入力画像データから予測画像データを減算して予測誤差信号を生成する。予測誤差信号は、整数変換部２０２に入力される。
整数変換部２０２は、予測誤差信号を整数変換して係数信号を生成する。例えば、整数変換部２０２は、整数精度が４×４、８×８、１６×１６、３２×３２のＤＣＴ変換を実行し、予測誤差信号の周波数成分に対応するＤＣＴ係数の集合（係数信号）を生成する。係数信号は、量子化部２０３及びＤＣ差分計算部２１１に入力される。量子化部２０３は、係数信号を量子化して量子化データを生成する。量子化データは、エントロピー符号化部２０４及び逆量子化部２０５に入力される。
エントロピー符号化部２０４には、後述するイントラ予測部２１０及び動き検出部２１３の出力データも入力される。エントロピー符号化部２０４は、量子化データ、イントラ予測部２１０の出力データ、及び動き検出部２１３の出力データ（例えば、動きベクトルの情報）をエントロピー符号化して符号化データを生成する。なお、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方法である。
逆量子化部２０５は、入力された量子化データを逆量子化して係数信号を復元する。復元された係数信号は、逆整数変換部２０６に入力される。逆整数変換部２０６は、入力された係数信号に逆整数変換を施して予測誤差信号を復元する。復元された予測誤差信号は、減算器２０１から出力された予測誤差信号と同等の信号である。逆整数変換部２０６により復元された予測誤差信号は、加算器２０７に入力される。また、加算器２０７には、動き補償により生成された予測画像データが入力される。
加算器２０７は、入力された予測誤差信号と予測画像データとを加算して参照画像信号（参照ピクチャのＰＵに相当）を生成する。参照画像信号は、フィルタ２０８及びイントラ予測部２１０に入力される。フィルタ２０８は、参照画像信号に対してデブロッキングフィルタ、ＳＡＯ（Sample Adaptive Offset）、ＡＬＦ（Adaptive Loop Filter）の処理を施してブロックノイズの発生を抑制する。フィルタ２０８で処理された参照画像信号は、フレームメモリ２０９に格納される。イントラ予測部２１０は、イントラ予測により同じ画像内の周辺画素から予測画像データを生成する。
ＤＣ差分計算部２１１は、整数変換部２０２から入力される係数信号のＤＣ成分に基づいて、対象ＣＵと、対象ＣＵに隣接するＣＵ（隣接ＣＵ）との境界付近に位置するブロック間の類似度を表す差分情報を生成する。差分情報は、ＰＵ決定部２１２に入力される。ＰＵ決定部２１２は、差分情報に基づいて対象ＣＵの分割方法（利用するＰＵの種類）を絞り込む。ＰＵ決定部２１２が実行する処理の内容については後述する。ＰＵ決定部２１２により絞り込まれた対象ＣＵの分割方法を表す情報（候補ＰＵ情報）は、動き検出部２１３に入力される。
動き検出部２１３は、入力画像データ、フレームメモリ２０９から読み出した参照画像信号、及び候補ＰＵ情報を用いて動きベクトルを検出する。動き検出部２１３により検出された動きベクトルは、動き補償部２１４に入力される。動き補償部２１４は、入力された動きベクトルに基づき、フレームメモリ２０９から読み出した参照画像信号に動き補償を施して予測画像データを生成する。切り替え部２１５は、イントラ予測部２１０又は動き補償部２１４を選択し、選択した要素が出力した予測画像データを減算器２０１及び加算器２０７に入力する。
（整数変換部２０２、ＤＣ差分計算部２１１、ＰＵ決定部２１２の機能について）
ここで、図１６及び図１７を参照しながら、ＤＣ差分計算部２１１及びＰＵ決定部２１２の機能について、さらに説明する。なお、図１６は、第３実施形態に係るＰＵの分割方法（縦方向分割）及び類似性の評価について説明するための図である。図１７は、第３実施形態に係るＰＵの分割方法（横方向分割）及び類似性の評価について説明するための図である。
ここで、図１６及び図１７を参照しながら、ＤＣ差分計算部２１１及びＰＵ決定部２１２の機能について、さらに説明する。なお、図１６は、第３実施形態に係るＰＵの分割方法（縦方向分割）及び類似性の評価について説明するための図である。図１７は、第３実施形態に係るＰＵの分割方法（横方向分割）及び類似性の評価について説明するための図である。
（縦方向分割について）
まず、図１６を参照しながら、対象ＣＵの縦方向分割（ＰＵ［２Ｎ×Ｎ］、ＰＵ［２Ｎ×ｎＵ］、ＰＵ［２Ｎ×ｎＤ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの上側に位置する隣接ＣＵをＣＵU、ＣＵOの下側に位置する隣接ＣＵをＣＵDと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
まず、図１６を参照しながら、対象ＣＵの縦方向分割（ＰＵ［２Ｎ×Ｎ］、ＰＵ［２Ｎ×ｎＵ］、ＰＵ［２Ｎ×ｎＤ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの上側に位置する隣接ＣＵをＣＵU、ＣＵOの下側に位置する隣接ＣＵをＣＵDと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
また、ＣＵUの下側１／４を占める領域をＲU、ＣＵOの上側１／４を占める領域をＲ1、Ｒ1の下側に隣接する２Ｎ×（Ｎ／２）の領域をＲ2と表記する。さらに、ＣＵDの上側１／４を占める領域をＲD、ＣＵOの下側１／４を占める領域をＲ3、Ｒ3の上側に隣接する２Ｎ×（Ｎ／２）の領域をＲ4と表記する。ＲUとＲ1とは、ＣＵUとＣＵOとの間の境界で接する。また、Ｒ3とＲDとは、ＣＵOとＣＵDとの境界で接する。
整数変換部２０２は、ＲUを４つの矩形ブロックＢU1、ＢU2、ＢU3、ＢU4に分割する。また、整数変換部２０２は、矩形ブロックＢU1、ＢU2、ＢU3、ＢU4の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢU1、ＢU2、ＢU3、ＢU4のそれぞれについて計算した係数信号の中からＤＣ成分（以下、ＤＣ値）を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢU1、ＢU2、ＢU3、ＢU4のＤＣ値を合計し、合計値をＲUのＤＣ値ＶUとする。
また、整数変換部２０２は、Ｒ1を４つの矩形ブロックＢ11、Ｂ12、Ｂ13、Ｂ14に分割する。また、整数変換部２０２は、矩形ブロックＢ11、Ｂ12、Ｂ13、Ｂ14の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ11、Ｂ12、Ｂ13、Ｂ14のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ11、Ｂ12、Ｂ13、Ｂ14のＤＣ値を合計し、合計値をＲ1のＤＣ値Ｖ1とする。
また、整数変換部２０２は、Ｒ2を４つの矩形ブロックＢ21、Ｂ22、Ｂ23、Ｂ24に分割する。また、整数変換部２０２は、矩形ブロックＢ21、Ｂ22、Ｂ23、Ｂ24の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ21、Ｂ22、Ｂ23、Ｂ24のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ21、Ｂ22、Ｂ23、Ｂ24のＤＣ値を合計し、合計値をＲ2のＤＣ値Ｖ2とする。
また、ＤＣ差分計算部２１１は、ＲUとＲ1との差分として、ＲUのＤＣ値ＶUと、Ｒ1のＤＣ値Ｖ1との差分絶対値ＤＶ1U（ＤＶ1U＝｜ＶU−Ｖ1｜）を計算する。また、ＤＣ差分計算部２１１は、Ｒ1とＲ2との差分として、Ｒ1のＤＣ値Ｖ1と、Ｒ2のＤＣ値Ｖ2との差分絶対値ＤＶ12（ＤＶ12＝｜Ｖ1−Ｖ2｜）を計算する。
また、整数変換部２０２は、ＲDを４つの矩形ブロックＢD1、ＢD2、ＢD3、ＢD4に分割する。また、整数変換部２０２は、矩形ブロックＢD1、ＢD2、ＢD3、ＢD4の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢD1、ＢD2、ＢD3、ＢD4のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢD1、ＢD2、ＢD3、ＢD4のＤＣ値を合計し、合計値をＲDのＤＣ値ＶDとする。
また、整数変換部２０２は、Ｒ3を４つの矩形ブロックＢ31、Ｂ32、Ｂ33、Ｂ34に分割する。また、整数変換部２０２は、矩形ブロックＢ31、Ｂ32、Ｂ33、Ｂ34の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ31、Ｂ32、Ｂ33、Ｂ34のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ31、Ｂ32、Ｂ33、Ｂ34のＤＣ値を合計し、合計値をＲ3のＤＣ値Ｖ3とする。
また、整数変換部２０２は、Ｒ4を４つの矩形ブロックＢ41、Ｂ42、Ｂ43、Ｂ44に分割する。また、整数変換部２０２は、矩形ブロックＢ41、Ｂ42、Ｂ43、Ｂ44の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ41、Ｂ42、Ｂ43、Ｂ44のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ41、Ｂ42、Ｂ43、Ｂ44のＤＣ値を合計し、合計値をＲ4のＤＣ値Ｖ4とする。
また、ＤＣ差分計算部２１１は、ＲDとＲ3との差分として、ＲDのＤＣ値ＶDと、Ｒ3のＤＣ値Ｖ3との差分絶対値ＤＶ3D（ＤＶ3D＝｜ＶD−Ｖ3｜）を計算する。また、ＤＣ差分計算部２１１は、Ｒ3とＲ4との差分として、Ｒ3のＤＣ値Ｖ3と、Ｒ4のＤＣ値Ｖ4との差分絶対値ＤＶ34（ＤＶ34＝｜Ｖ3−Ｖ4｜）を計算する。
ＤＣ差分計算部２１１により計算されたＤＶ1U、ＤＶ12、ＤＶ3D、ＤＶ34は、ＰＵ決定部２１２に入力される。ＰＵ決定部２１２は、ＤＶ1U、ＤＶ12、ＤＶ3D、ＤＶ34を比較する。比較結果は、例えば、下記の４つのケースに分けられる。
（ケース＃１：ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＜ＤＶ34）
ケース＃１は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＜ＤＶ34の場合、ＰＵ決定部２１２は、ＤＶ1UとＤＶ3Dとを比較する。ＤＶ1U＜ＤＶ3Dの場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。一方、ＤＶ1U＞ＤＶ3Dの場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
ケース＃１は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＜ＤＶ34の場合、ＰＵ決定部２１２は、ＤＶ1UとＤＶ3Dとを比較する。ＤＶ1U＜ＤＶ3Dの場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。一方、ＤＶ1U＞ＤＶ3Dの場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
（ケース＃２：ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＞ＤＶ34）
ケース＃２は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＞ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。
ケース＃２は、Ｒ2よりもＲUの方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＶ1U＜ＤＶ12、かつ、ＤＶ3D＞ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＵ］を選択する。
（ケース＃３：ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＜ＤＶ34）
ケース＃３は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＜ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
ケース＃３は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、Ｒ4よりもＲDの方がＲ3に類似しているケースである。ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＜ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×ｎＤ］を選択する。
（ケース＃４：ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＞ＤＶ34）
ケース＃４は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＞ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×Ｎ］を選択する。
ケース＃４は、ＲUよりもＲ2の方がＲ1に類似しており、かつ、ＲDよりもＲ4の方がＲ3に類似しているケースである。ＤＶ1U＞ＤＶ12、かつ、ＤＶ3D＞ＤＶ34の場合、ＰＵ決定部２１２は、縦方向分割に関する分割方法の候補としてＰＵ［２Ｎ×Ｎ］を選択する。
上記の方法により、縦方向分割に関する対象ＣＵの分割方法が１つの候補に絞り込まれる。
（横方向分割について）
次に、図１７を参照しながら、対象ＣＵの縦方向分割（ＰＵ［Ｎ×２Ｎ］、ＰＵ［ｎＲ×２Ｎ］、ＰＵ［ｎＬ×２Ｎ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの右側に位置する隣接ＣＵをＣＵR、ＣＵOの左側に位置する隣接ＣＵをＣＵLと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
（横方向分割について）
次に、図１７を参照しながら、対象ＣＵの縦方向分割（ＰＵ［Ｎ×２Ｎ］、ＰＵ［ｎＲ×２Ｎ］、ＰＵ［ｎＬ×２Ｎ］）について考える。なお、対象ＣＵをＣＵO、ＣＵOの右側に位置する隣接ＣＵをＣＵR、ＣＵOの左側に位置する隣接ＣＵをＣＵLと表記する。また、各ＣＵのサイズは２Ｎ×２Ｎである。
また、ＣＵRの左側１／４を占める領域をＲR、ＣＵOの右側１／４を占める領域をＲ5、Ｒ5の左側に隣接する（Ｎ／２）×２Ｎの領域をＲ6と表記する。さらに、ＣＵLの右側１／４を占める領域をＲL、ＣＵOの左側１／４を占める領域をＲ7、Ｒ7の右側に隣接する（Ｎ／２）×２Ｎの領域をＲ8と表記する。ＲRとＲ5とは、ＣＵRとＣＵOとの間の境界で接する。また、Ｒ7とＲLとは、ＣＵOとＣＵLとの境界で接する。
整数変換部２０２は、ＲRを４つの矩形ブロックＢR1、ＢR2、ＢR3、ＢR4に分割する。また、整数変換部２０２は、矩形ブロックＢR1、ＢR2、ＢR3、ＢR4の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢR1、ＢR2、ＢR3、ＢR4のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢR1、ＢR2、ＢR3、ＢR4のＤＣ値を合計し、合計値をＲRのＤＣ値ＶRとする。
また、整数変換部２０２は、Ｒ5を４つの矩形ブロックＢ51、Ｂ52、Ｂ53、Ｂ54に分割する。また、整数変換部２０２は、矩形ブロックＢ51、Ｂ52、Ｂ53、Ｂ54の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ51、Ｂ52、Ｂ53、Ｂ54のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ51、Ｂ52、Ｂ53、Ｂ54のＤＣ値を合計し、合計値をＲ5のＤＣ値Ｖ5とする。
また、整数変換部２０２は、Ｒ6を４つの矩形ブロックＢ61、Ｂ62、Ｂ63、Ｂ64に分割する。また、整数変換部２０２は、矩形ブロックＢ61、Ｂ62、Ｂ63、Ｂ64の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ61、Ｂ62、Ｂ63、Ｂ64のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ61、Ｂ62、Ｂ63、Ｂ64のＤＣ値を合計し、合計値をＲ6のＤＣ値Ｖ6とする。
また、ＤＣ差分計算部２１１は、ＲRとＲ5との差分として、ＲRのＤＣ値ＶRと、Ｒ5のＤＣ値Ｖ5との差分絶対値ＤＶ5R（ＤＶ5R＝｜ＶR−Ｖ5｜）を計算する。また、ＤＣ差分計算部２１１は、Ｒ5とＲ6との差分として、Ｒ5のＤＣ値Ｖ5と、Ｒ6のＤＣ値Ｖ6との差分絶対値ＤＶ56（ＤＶ56＝｜Ｖ5−Ｖ6｜）を計算する。
また、整数変換部２０２は、ＲLを４つの矩形ブロックＢL1、ＢL2、ＢL3、ＢL4に分割する。また、整数変換部２０２は、矩形ブロックＢL1、ＢL2、ＢL3、ＢL4の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢL1、ＢL2、ＢL3、ＢL4のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢL1、ＢL2、ＢL3、ＢL4のＤＣ値を合計し、合計値をＲLのＤＣ値ＶLとする。
また、整数変換部２０２は、Ｒ7を４つの矩形ブロックＢ71、Ｂ72、Ｂ73、Ｂ74に分割する。また、整数変換部２０２は、矩形ブロックＢ71、Ｂ72、Ｂ73、Ｂ74の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ71、Ｂ72、Ｂ73、Ｂ74のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ71、Ｂ72、Ｂ73、Ｂ74のＤＣ値を合計し、合計値をＲ7のＤＣ値Ｖ7とする。
また、整数変換部２０２は、Ｒ8を４つの矩形ブロックＢ81、Ｂ82、Ｂ83、Ｂ84に分割する。また、整数変換部２０２は、矩形ブロックＢ81、Ｂ82、Ｂ83、Ｂ84の画素値をそれぞれＤＣＴ変換して係数信号を生成する。さらに、整数変換部２０２は、矩形ブロックＢ81、Ｂ82、Ｂ83、Ｂ84のＤＣ値を抽出してＤＣ差分計算部２１１に入力する。ＤＣ差分計算部２１１は、矩形ブロックＢ81、Ｂ82、Ｂ83、Ｂ84のＤＣ値を合計し、合計値をＲ8のＤＣ値Ｖ8とする。
また、ＤＣ差分計算部２１１は、ＲLとＲ7との差分として、ＲLのＤＣ値ＶLと、Ｒ7のＤＣ値Ｖ7との差分絶対値ＤＶ7L（ＤＶ7L＝｜ＶL−Ｖ7｜）を計算する。また、ＤＣ差分計算部２１１は、Ｒ7とＲ8との差分として、Ｒ7のＤＣ値Ｖ7と、Ｒ8のＤＣ値Ｖ8との差分絶対値ＤＶ78（ＤＶ78＝｜Ｖ7−Ｖ8｜）を計算する。
ＤＣ差分計算部２１１により計算されたＤＶ5R、ＤＶ56、ＤＶ7L、ＤＶ78は、ＰＵ決定部２１２に入力される。ＰＵ決定部２１２は、ＤＶ5R、ＤＶ56、ＤＶ7L、ＤＶ78を比較する。比較結果は、例えば、下記の４つのケースに分けられる。
（ケース＃１：ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＜ＤＶ78）
ケース＃１は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＜ＤＶ78の場合、ＰＵ決定部２１２は、ＤＶ5RとＤＶ7Lとを比較する。ＤＶ5R＜ＤＶ7Lの場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。一方、ＤＶ5R＞ＤＶ7Lの場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
ケース＃１は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＜ＤＶ78の場合、ＰＵ決定部２１２は、ＤＶ5RとＤＶ7Lとを比較する。ＤＶ5R＜ＤＶ7Lの場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。一方、ＤＶ5R＞ＤＶ7Lの場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
（ケース＃２：ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＞ＤＶ78）
ケース＃２は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＞ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。
ケース＃２は、Ｒ6よりもＲRの方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＶ5R＜ＤＶ56、かつ、ＤＶ7L＞ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＲ×２Ｎ］を選択する。
（ケース＃３：ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＜ＤＶ78）
ケース＃３は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＜ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
ケース＃３は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、Ｒ8よりもＲLの方がＲ7に類似しているケースである。ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＜ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［ｎＬ×２Ｎ］を選択する。
（ケース＃４：ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＞ＤＶ78）
ケース＃４は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＞ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［Ｎ×２Ｎ］を選択する。
ケース＃４は、ＲRよりもＲ6の方がＲ5に類似しており、かつ、ＲLよりもＲ8の方がＲ7に類似しているケースである。ＤＶ5R＞ＤＶ56、かつ、ＤＶ7L＞ＤＶ78の場合、ＰＵ決定部２１２は、横方向分割に関する分割方法の候補としてＰＵ［Ｎ×２Ｎ］を選択する。
上記の方法により、横方向分割に関する対象ＣＵの分割方法が１つの候補に絞り込まれる。なお、縦方向分割及び横方向分割に関する対象ＣＵの分割方法に加え、ＰＵ［２Ｎ×２Ｎ］が候補に追加される。ＰＵ決定部２１２は、縦方向分割に関する１つの候補、横方向分割に関する１つの候補、及びＰＵ［２Ｎ×２Ｎ］に対象ＣＵの分割方法を絞り込む。その結果、ＰＵの種類が低減された分だけ動き検出部２１３の処理負担が軽減される。
以上、情報処理装置２００の機能について説明した。上記の説明においては、領域毎に全ブロックのＤＣ値を合計した合計値を各領域のＤＣ値として利用する方法を例示したが、例えば、ＤＣ値の合計に代えてＤＣ値の平均値を利用するなどの変形も可能である。また、ブロック毎に計算されたＤＣ値の差分絶対値和を用いて領域間の類似度を評価する方法も考えられる。このような変形例についても第３実施形態の技術的範囲に属する。
（処理フローについて）
ここで、第３実施形態に係る対象ＣＵの分割処理について述べる。第３実施形態に係る対象ＣＵの分割処理フローは、図１２〜図１４に示した第２実施形態に係る処理フローのうち、Ｓ１０３、Ｓ１０４、Ｓ１０５の処理をＤＣ値に基づく処理に変形したものとなる。つまり、領域間の類似性を評価する方法が上述した方法に変形される。その他の処理については実質的に同じであるため、詳細な説明を省略する。
ここで、第３実施形態に係る対象ＣＵの分割処理について述べる。第３実施形態に係る対象ＣＵの分割処理フローは、図１２〜図１４に示した第２実施形態に係る処理フローのうち、Ｓ１０３、Ｓ１０４、Ｓ１０５の処理をＤＣ値に基づく処理に変形したものとなる。つまり、領域間の類似性を評価する方法が上述した方法に変形される。その他の処理については実質的に同じであるため、詳細な説明を省略する。
以上、第３実施形態について説明した。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
＜４．付記＞
以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１） 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部と、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする演算部と
を有する、情報処理装置。
以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１） 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部と、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする演算部と
を有する、情報処理装置。
（付記２） 前記演算部は、前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも低い場合に、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とする
付記１に記載の情報処理装置。
付記１に記載の情報処理装置。
（付記３） 前記第１領域は、前記対象ブロックの中で前記境界側に１／４を占める領域であり、
前記第２領域及び前記隣接領域は、前記第１領域と同じサイズの領域である
付記１又は２に記載の情報処理装置。
前記第２領域及び前記隣接領域は、前記第１領域と同じサイズの領域である
付記１又は２に記載の情報処理装置。
（付記４） 前記記憶部は、第１の方向に向かって前記対象ブロックに隣接する第１の隣接ブロックと、前記第１の方向に直交する第２の方向に向かって前記対象ブロックに隣接する第２の隣接ブロックとを記憶し、
前記演算部は、前記第１の隣接ブロック及び前記第２の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記予測符号化の単位の候補を決定する
付記１〜３のいずれかに記載の情報処理装置。
前記演算部は、前記第１の隣接ブロック及び前記第２の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記予測符号化の単位の候補を決定する
付記１〜３のいずれかに記載の情報処理装置。
（付記５） 前記演算部は、前記第１領域に含まれる画素の輝度と前記隣接領域に含まれる画素の輝度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１〜４のいずれかに記載の情報処理装置。
付記１〜４のいずれかに記載の情報処理装置。
（付記６） 前記演算部は、前記第１領域に含まれる画素の色差と前記隣接領域に含まれる画素の色差との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１〜４のいずれかに記載の情報処理装置。
付記１〜４のいずれかに記載の情報処理装置。
（付記７） 前記演算部は、前記第１領域の平坦度と前記隣接領域の平坦度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域の平坦度と前記第２領域の平坦度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１〜４のいずれかに記載の情報処理装置。
付記１〜４のいずれかに記載の情報処理装置。
（付記８） 前記演算部は、前記第１領域が有する直流成分の値と前記隣接領域が有する直流成分の値との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域が有する直流成分の値と前記第２領域が有する直流成分の値との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１〜４のいずれかに記載の情報処理装置。
付記１〜４のいずれかに記載の情報処理装置。
（付記９） 前記記憶部は、前記対象ブロックの上側に隣接する上側の隣接ブロックと、前記対象ブロックの下側に隣接する下側の隣接ブロックとを記憶し、
前記演算部は、
前記上側の隣接ブロック及び前記下側の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記第１領域との類似性が最も高い領域を抽出し、
前記類似性が最も高い領域の組として、前記上側の隣接ブロックに接する前記第１領域と前記上側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記下側の隣接ブロックに接する前記第１領域と前記下側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記第１領域と前記第２領域とを抽出した場合、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を前記予測符号化の単位の候補とする
付記１に記載の情報処理装置。
前記演算部は、
前記上側の隣接ブロック及び前記下側の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記第１領域との類似性が最も高い領域を抽出し、
前記類似性が最も高い領域の組として、前記上側の隣接ブロックに接する前記第１領域と前記上側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記下側の隣接ブロックに接する前記第１領域と前記下側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記第１領域と前記第２領域とを抽出した場合、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を前記予測符号化の単位の候補とする
付記１に記載の情報処理装置。
（付記１０） 前記記憶部は、前記対象ブロックの左側に隣接する左側の隣接ブロックと、前記対象ブロックの右側に隣接する右側の隣接ブロックとを記憶し、
前記演算部は、
前記左側の隣接ブロック及び前記右側の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記第１領域との類似性が最も高い領域を抽出し、
前記類似性が最も高い領域の組として、前記左側の隣接ブロックに接する前記第１領域と前記左側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記右側の隣接ブロックに接する前記第１領域と前記右側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記第１領域と前記第２領域とを抽出した場合、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を前記予測符号化の単位の候補とする
付記１又は９に記載の情報処理装置。
前記演算部は、
前記左側の隣接ブロック及び前記右側の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記第１領域との類似性が最も高い領域を抽出し、
前記類似性が最も高い領域の組として、前記左側の隣接ブロックに接する前記第１領域と前記左側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記右側の隣接ブロックに接する前記第１領域と前記右側の隣接ブロックの前記隣接領域とを抽出した場合、当該第１領域、及び前記対象ブロックの中から当該第１領域を除いた領域を前記予測符号化の単位の候補とし、
前記類似性が最も高い領域の組として、前記第１領域と前記第２領域とを抽出した場合、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を前記予測符号化の単位の候補とする
付記１又は９に記載の情報処理装置。
（付記１１） 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、前記対象ブロック及び前記隣接ブロックの情報を読み出し可能なコンピュータが、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
符号化単位の選択方法。
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
符号化単位の選択方法。
（付記１２） 前記コンピュータが、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも低い場合に、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とする
付記１１に記載の符号化単位の選択方法。
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも低い場合に、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とする
付記１１に記載の符号化単位の選択方法。
（付記１３） 前記第１領域は、前記対象ブロックの中で前記境界側に１／４を占める領域であり、
前記第２領域及び前記隣接領域は、前記第１領域と同じサイズの領域である
付記１１又は１２に記載の符号化単位の選択方法。
前記第２領域及び前記隣接領域は、前記第１領域と同じサイズの領域である
付記１１又は１２に記載の符号化単位の選択方法。
（付記１４） 前記記憶部は、第１の方向に向かって前記対象ブロックに隣接する第１の隣接ブロックと、前記第１の方向に直交する第２の方向に向かって前記対象ブロックに隣接する第２の隣接ブロックとを記憶し、
前記コンピュータが、
前記第１の隣接ブロック及び前記第２の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記予測符号化の単位の候補を決定する
付記１１〜１３のいずれかに記載の符号化単位の選択方法。
前記コンピュータが、
前記第１の隣接ブロック及び前記第２の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価し、前記予測符号化の単位の候補を決定する
付記１１〜１３のいずれかに記載の符号化単位の選択方法。
（付記１５） 前記コンピュータが、
前記第１領域に含まれる画素の輝度と前記隣接領域に含まれる画素の輝度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
前記第１領域に含まれる画素の輝度と前記隣接領域に含まれる画素の輝度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
（付記１６） 前記コンピュータが、
前記第１領域に含まれる画素の色差と前記隣接領域に含まれる画素の色差との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
前記第１領域に含まれる画素の色差と前記隣接領域に含まれる画素の色差との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
（付記１７） 前記コンピュータが、
前記第１領域の平坦度と前記隣接領域の平坦度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域の平坦度と前記第２領域の平坦度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
前記第１領域の平坦度と前記隣接領域の平坦度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域の平坦度と前記第２領域の平坦度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
（付記１８） 前記コンピュータが、
前記第１領域が有する直流成分の値と前記隣接領域が有する直流成分の値との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域が有する直流成分の値と前記第２領域が有する直流成分の値との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
前記第１領域が有する直流成分の値と前記隣接領域が有する直流成分の値との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域が有する直流成分の値と前記第２領域が有する直流成分の値との差に基づいて前記第１領域と前記第２領域との類似性を評価する
付記１１〜１４のいずれかに記載の符号化単位の選択方法。
（付記１９） 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、前記対象ブロック及び前記隣接ブロックの情報を読み出し可能なコンピュータに、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
処理を実行させる、プログラム。
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
処理を実行させる、プログラム。
（付記２０） 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、前記対象ブロック及び前記隣接ブロックの情報を読み出し可能なコンピュータに、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
処理を実行させるプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とする
処理を実行させるプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
１０ 情報処理装置
１１ 記憶部
１２ 演算部
Ａ１ 第１領域
Ａ２ 第２領域
Ａ３ 第３領域
Ａ４ 第３領域を除いた領域
Ａ５ 第１領域を除いた領域
Ａｎ 隣接領域
ＢＬｏ 対象ブロック
ＢＬｎ 隣接ブロック
ＥＶ１２、ＥＶ１ｎ 評価
１１ 記憶部
１２ 演算部
Ａ１ 第１領域
Ａ２ 第２領域
Ａ３ 第３領域
Ａ４ 第３領域を除いた領域
Ａ５ 第１領域を除いた領域
Ａｎ 隣接領域
ＢＬｏ 対象ブロック
ＢＬｎ 隣接ブロック
ＥＶ１２、ＥＶ１ｎ 評価
Claims (10)
- 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部と、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性に基づいて、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とするか、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とするかを選択する演算部と
を有する、情報処理装置。 - 前記演算部は、前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも高い場合に、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とし、
前記第１領域と前記隣接領域との類似性が、前記第１領域と前記第２領域との類似性よりも低い場合に、前記第１領域と前記第２領域とを結合した前記第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とする
請求項１に記載の情報処理装置。 - 前記第１領域は、前記対象ブロックの中で前記境界側に１／４を占める領域であり、
前記第２領域及び前記隣接領域は、前記第１領域と同じサイズの領域である
請求項１又は２に記載の情報処理装置。 - 前記記憶部は、第１の方向に向かって前記対象ブロックに隣接する第１の隣接ブロックと、前記第１の方向に直交する第２の方向に向かって前記対象ブロックに隣接する第２の隣接ブロックとを記憶し、
前記演算部は、前記第１の隣接ブロック及び前記第２の隣接ブロックのそれぞれについて、前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性を評価する
請求項１〜３のいずれか１項に記載の情報処理装置。 - 前記演算部は、前記第１領域に含まれる画素の輝度と前記隣接領域に含まれる画素の輝度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の輝度と前記第２領域に含まれる画素の輝度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
請求項１〜４のいずれか１項に記載の情報処理装置。 - 前記演算部は、前記第１領域に含まれる画素の色差と前記隣接領域に含まれる画素の色差との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域に含まれる画素の色差と前記第２領域に含まれる画素の色差との差に基づいて前記第１領域と前記第２領域との類似性を評価する
請求項１〜４のいずれか１項に記載の情報処理装置。 - 前記演算部は、前記第１領域の平坦度と前記隣接領域の平坦度との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域の平坦度と前記第２領域の平坦度との差に基づいて前記第１領域と前記第２領域との類似性を評価する
請求項１〜４のいずれか１項に記載の情報処理装置。 - 前記演算部は、前記第１領域が有する直流成分の値と前記隣接領域が有する直流成分の値との差に基づいて前記第１領域と前記隣接領域との類似性を評価し、前記第１領域が有する直流成分の値と前記第２領域が有する直流成分の値との差に基づいて前記第１領域と前記第２領域との類似性を評価する
請求項１〜４のいずれか１項に記載の情報処理装置。 - コンピュータが、
対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、前記対象ブロック及び前記隣接ブロックの情報を読み出し、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性に基づいて、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とするか、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とするかを選択する
符号化単位の選択方法。 - 対象ブロックと、前記対象ブロックに隣接する隣接ブロックとを記憶する記憶部から、前記対象ブロック及び前記隣接ブロックの情報を読み出し、
前記対象ブロックの中で前記隣接ブロックとの境界に接する第１領域と、前記隣接ブロックの中で前記境界に接する隣接領域との類似性を評価し、前記第１領域と、前記対象ブロックの中で前記第１領域に接する第２領域との類似性を評価し、
前記第１領域と前記隣接領域との類似性及び前記第１領域と前記第２領域との類似性に基づいて、前記第１領域、及び前記対象ブロックの中から前記第１領域を除いた領域を予測符号化の単位の候補とするか、前記第１領域と前記第２領域とを結合した第３領域、及び前記対象ブロックの中から前記第３領域を除いた領域を予測符号化の単位の候補とするかを選択する
処理をコンピュータに実行させる、プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014009998A JP6248648B2 (ja) | 2014-01-23 | 2014-01-23 | 情報処理装置、符号化単位の選択方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014009998A JP6248648B2 (ja) | 2014-01-23 | 2014-01-23 | 情報処理装置、符号化単位の選択方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015139117A JP2015139117A (ja) | 2015-07-30 |
| JP6248648B2 true JP6248648B2 (ja) | 2017-12-20 |
Family
ID=53769850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014009998A Expired - Fee Related JP6248648B2 (ja) | 2014-01-23 | 2014-01-23 | 情報処理装置、符号化単位の選択方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6248648B2 (ja) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4154647B2 (ja) * | 2002-04-04 | 2008-09-24 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
| JP4246723B2 (ja) * | 2005-08-29 | 2009-04-02 | 日本電信電話株式会社 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2011234338A (ja) * | 2010-04-07 | 2011-11-17 | Jvc Kenwood Corp | 動画像復号装置、動画像復号方法及び動画像復号プログラム |
| JP2012070277A (ja) * | 2010-09-24 | 2012-04-05 | Jvc Kenwood Corp | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| JP5206772B2 (ja) * | 2010-11-22 | 2013-06-12 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
| JP5206773B2 (ja) * | 2010-11-22 | 2013-06-12 | 株式会社Ｊｖｃケンウッド | 動画像復号装置、動画像復号方法及び動画像復号プログラム |
| JP2012142865A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 画像処理装置及び画像処理方法 |
-
2014
- 2014-01-23 JP JP2014009998A patent/JP6248648B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015139117A (ja) | 2015-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101945894B1 (ko) | 픽쳐 예측 방법 및 관련 장치 | |
| JP7507169B2 (ja) | 適応ループフィルタ処理のための境界ハンドリング | |
| JP2022020630A (ja) | 画像の符号化／復号化方法及び装置 | |
| RU2696237C2 (ru) | Способ декодирования видеосигнала | |
| CN113784132B (zh) | 用于帧间预测的运动向量舍入、截取和存储的方法和装置 | |
| KR100714698B1 (ko) | 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치 | |
| WO2014054267A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| KR20190090728A (ko) | 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 | |
| KR20190116101A (ko) | 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치 | |
| KR102495550B1 (ko) | 디블로킹 필터 방법 및 장치 | |
| JP7482536B2 (ja) | 適応的な数の領域を伴う幾何学的分割のための形状適応離散コサイン変換 | |
| CN112385233A (zh) | 合并的依赖模式的帧内平滑(mdis)与具有依赖位置的帧内预测组合(pdpc)的内插值滤波器切换 | |
| KR20180099369A (ko) | 비디오 비트율 제어 방법, 및 이를 이용한 영상 부호화 방법 및 장치 | |
| US20160057429A1 (en) | Coding apparatus, method, computer product, and computer system | |
| CN115834882A (zh) | 一种帧内预测方法、装置、电子设备及存储介质 | |
| JP6248648B2 (ja) | 情報処理装置、符号化単位の選択方法、及びプログラム | |
| JP2013207402A (ja) | 画像符号化装置及びプログラム | |
| JP2017073602A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
| JP6200220B2 (ja) | 画像処理装置、符号化装置、復号装置、及びプログラム | |
| KR102217225B1 (ko) | 인트라 예측 방법 및 장치 | |
| EP2899975A1 (en) | Video encoder with intra-prediction pre-processing and methods for use therewith | |
| Wang et al. | Merging multiple template matching predictions in intra coding with attentive convolutional neural network | |
| JP2018085608A (ja) | 画像符号化装置、画像符号化方法及びコンピュータプログラム | |
| KR20070092481A (ko) | Ｈ.264 동영상 부호화기의 적응적 고속 움직임 추정 방법 | |
| WO2021248135A1 (en) | Methods and apparatuses for video coding using satd based cost calculation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6248648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |