WO2021171360A1

WO2021171360A1 - 符号化方法、符号化装置及びプログラム

Info

Publication number: WO2021171360A1
Application number: PCT/JP2020/007453
Authority: WO
Inventors: 優也大森; 中村　健; 小林　大祐; 裕江岩崎
Original assignee: 日本電信電話株式会社
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2021-09-02
Also published as: JP7453581B2; US20230053579A1; JPWO2021171360A1

Abstract

符号化方法は、符号化装置が実行する符号化方法であって、原画像における予め定められたサイズの第１のブロックを、符号化の単位となるブロックである第２のブロック群に、四分木、三分木又は二分木で分割する分割ステップと、第２のブロックごとに動きを予測する予測ステップとを含み、分割ステップは、第１サブ分割ステップと第２サブ分割ステップとを有し、第１サブ分割ステップでは、四分木、三分木又は二分木に応じて定まるサイズのうちから選択されたサイズのブロックに、第１のブロックを分割し、第２サブ分割ステップでは、選択されたサイズのブロックをさらに分割することによって第２のブロックを生成する。

Description

符号化方法、符号化装置及びプログラム

　本発明は、符号化方法、符号化装置及びプログラムに関する。

　動画像符号化規格として、ＭＰＥＧ（Moving Picture Experts Group）－２、ＭＰＥＧ－４、ＭＰＥＧ－４／ＡＶＣ（Advanced Video Coding）等の符号化規格が多く用いられている。また近年では、最新の動画像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）／Ｈ．２６５の普及が進んでいる。

　そして現在、ＨＥＶＣの次の動画像符号化規格として、ＶＶＣ（Versatile Video Coding）／Ｈ．２６６が提案されている。ＶＶＣの符号化効率がＨＥＶＣの符号化効率の２倍に達することを目標に、ＶＶＣの提案がなされている。

　ＨＥＶＣ及びＶＶＣ等の動画像符号化規格では、動画像のフレームが、ＣＴＵ（Coding Tree Unit）と呼ばれる単位のブロックに分割される。ＨＥＶＣでは、ＣＴＵの最大のサイズは「６４×６４」である。これに対して、ＶＶＣでは、ＣＴＵの最大のサイズは「１２８×１２８」である。また、フレームに定められたスライスにおける各ＣＴＵのサイズは一定である。

　フレームにおける各ＣＴＵは、ＣＵ（Coding Unit）とよばれる符号化単位のブロックに再帰的に分割される。ＣＵは、予測処理及び変換処理等の符号化処理の単位となる。ＨＥＶＣ及びＶＶＣでは、ＣＵごとに異なるサイズが選択可能である。ＣＵのサイズの自由度が高められることによって、符号化効率の向上が図られている。

　ＣＴＵに対して四分木分割が再帰的に繰り返されことによって、ＨＥＶＣのＣＵが生成される。ＨＥＶＣでは、ＣＵのサイズは、「６４×６４」と、「３２×３２」と、「１６×１６」と、「８×８」とである。ＨＥＶＣでは、これらのサイズのＣＵの組み合わせから、ＣＴＵが構成される。

　これに対してＶＶＣでは、「ＱＴＴＴＢＴ」というブロック分割方式が、ＣＵの新たなブロック分割方式として提案されている（非特許文献１参照）。「ＱＴＴＴＢＴ」方式のアルゴリズムは、ＶＶＣの根幹を成すアルゴリズムである。

　ＨＥＶＣにおけるＣＵと同様に、ＶＶＣにおけるＣＵは、四分木（Quad Tree : QT）（以下「ＱＴ」という。）で分割可能である。ＶＶＣおけるＣＵは、水平又は垂直に２等分する二分木（Binary Tree : BT）（以下「ＢＴ」という。）で分割可能である。また、ＶＶＣおけるＣＵは、水平又は垂直に幅比「１：２：１」のように３等分する三分木（Ternary Tree : TT）（以下「ＴＴ」という。）で分割可能である。以下、四分木分割を「ＱＴ分割」という。水平方向又は垂直方向の三分木分割を「ＴＴ分割」という。水平方向又は垂直方向の二分木分割を「ＢＴ分割」という。

　ＶＶＣでは、ＣＴＵ（ブロック）に対してＱＴ分割が再帰的に実行されることによって、各ＣＵがＣＴＵにおいて生成される。このようにして生成された各ＣＵに対して、水平方向若しくは垂直方向に、ＢＴ分割又はＴＴ分割が再帰的に実行される。

　このようにＶＶＣでは、「ＱＴＴＴＢＴ」方式によって、ＨＥＶＣ等と比較して柔軟にＣＵのサイズの選択が可能である。すなわち、正方形だけでなく、「３２×４」及び「８×１６」のような長方形の様々なサイズが、ＣＵ（ブロック）のサイズとして選択可能である。このようなＣＵごとに画像内予測（イントラ予測）が実行される。ＣＵのサイズが原画像の特徴及び絵柄に応じて柔軟に選択されるので、ＶＶＣではＨＥＶＣ等に比べて符号化効率の大幅な向上が期待できる。

Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-v9.

　しかしながら、「ＱＴＴＴＢＴ」方式によるＣＵのサイズの組み合わせ（ＣＴＵの分割パターン）の個数は、ＨＥＶＣにおけるＣＵのサイズの組み合わせの個数と比較して膨大である。このため、全ての分割パターンを符号化装置が評価及び比較し、評価の高い分割パターンを符号化装置が選択するためには、膨大な演算量が必要である。

　そこで、ＣＵのサイズの選択処理において、そのＣＵに隣接するＣＵの分割結果を利用して、ＣＵの分割形状の選択肢を適応的に絞り込む方法が考えられる。しかしながら、このように選択肢が絞り込まれることによって演算量が削減される度合いがＣＵごとに異なるので、各ＣＵから構成されるＣＴＵごとの演算量が一定とならない。演算量が固定である回路を有する符号化装置が設計される場合、又は、一定の処理速度で符号化が確実に実行される必要がある場合には、ＣＴＵごとの演算量が一定とならないことは適切でない。

　また、ＣＵのサイズが選択される場合において、ＣＵのサイズの候補ごとに、画像内予測（イントラ予測）と、ＲＤ（Rate Distortion）コスト値の導出と、ＲＤコスト値の評価とが実行されることによって、ＣＵの最良のサイズが選択される必要がある。しかしながら、画像内予測における予測モードの種類の増加と、画像における複数の予測参照先ライン番号（Multiple Reference Line : MRL）の採用とによって、ＶＶＣにおける各ＣＵの予測処理の演算量は、ＨＥＶＣにおける予測処理の演算量に比べて大きく増加している。ＣＵのサイズの選択のための演算量の増加と、各ＣＵの予測処理のための演算量増加とが組み合わされることによって、ＶＶＣにおける演算量がＨＥＶＣにおける演算量よりも大幅に増加し、ＶＶＣの符号化処理に大きな負担がかかっている。

　これらのように、ＶＶＣではＣＴＵを分割する各ＣＵのサイズの選択処理の演算量が膨大であるという問題がある。

　上記事情に鑑み、本発明は、ＣＴＵを分割する各ＣＵのサイズを選択するための演算量が必要以上に増加しないようにすることが可能である符号化方法、符号化装置及びプログラムを提供することを目的としている。

　本発明の一態様は、符号化装置が実行する符号化方法であって、原画像における予め定められたサイズの第１のブロックを、符号化の単位となるブロックである第２のブロック群に、四分木、三分木又は二分木で分割する分割ステップと、前記第２のブロックごとに動きを予測する予測ステップとを含み、前記分割ステップは、第１サブ分割ステップと第２サブ分割ステップとを有し、前記第１サブ分割ステップでは、前記四分木、前記三分木又は前記二分木に応じて定まるサイズのうちから選択されたサイズのブロックに、前記第１のブロックを分割し、前記第２サブ分割ステップでは、前記選択されたサイズのブロックをさらに分割することによって前記第２のブロックを生成する、符号化方法である。

　本発明の一態様は、原画像における予め定められたサイズの第１のブロックを、符号化の単位となるブロックである第２のブロック群に、四分木、三分木又は二分木で分割する分割部と、前記第２のブロックごとに動きを予測する予測部とを備え、前記分割部は、第１サブ分割部と第２サブ分割部とを有し、前記第１サブ分割部は、前記四分木、前記三分木又は前記二分木に応じて定まるサイズのうちから選択されたサイズのブロックに、前記第１のブロックを分割し、前記第２サブ分割部は、前記選択されたサイズのブロックをさらに分割することによって前記第２のブロックを生成する、符号化装置である。

　本発明の一態様は、上記の符号化方法を実行する符号化装置としてコンピュータを機能させるためのプログラムである。

　本発明により、ＣＴＵを分割する各ＣＵのサイズを選択するための演算量が必要以上に増加しないようにすることが可能である。

第１実施形態における、符号化装置の構成例を示す図である。第１実施形態における、符号化装置のハードウェア構成例を示す図である。第１実施形態における、ＣＵ分割・予測処理部の構成例を示す図である。第１実施形態における、第１段階の分割結果の例を示す図である。第１実施形態における、第２段階の分割処理の例を示す図である。第１実施形態における、第２段階の分割結果の例を示す図である。第１実施形態における、第３段階の分割処理の例を示す図である。第１実施形態における、ＱＴＴＴＢＴ方式の分割パターンを用いる分割結果の例を示す図である。第１実施形態における、分割木の構造の例を示す図である。第１実施形態における、第１段階のイントラ予測モード及びＭＲＬと、第２段階のイントラ予測モード及びＭＲＬとの例を示す図である。第１実施形態における、符号化装置の動作例を示すフローチャートである。

　本発明の実施形態について、図面を参照して詳細に説明する。
　（第１実施形態）
　図１は、符号化装置１の構成例を示す図である。符号化装置１は、動画像を符号化する装置である。符号化装置１は、原画像用データ記憶部９と、ＣＵ分割・予測処理部１０と、予測画像生成部１１と、残差信号生成部１２と、変換・量子化処理部１３と、エントロピー符号化部１４と、逆量子化・逆変換処理部１５と、復号信号生成部１６と、ループフィルタ処理部１７と、参照画像用データ記憶部１８とを備える。

　図２は、符号化装置１のハードウェア構成例を示す図である。符号化装置１は、プロセッサ２と、記憶部３と、通信部４と、表示部５とを備える。

　ＣＵ分割・予測処理部１０と、予測画像生成部１１と、残差信号生成部１２と、変換・量子化処理部１３と、エントロピー符号化部１４と、逆量子化・逆変換処理部１５と、復号信号生成部１６と、ループフィルタ処理部１７とのうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部３に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。通信部４は、通信回線を経由してプログラムを受信してもよい。通信部４は、通信回線を経由して、符号化の結果を送信してもよい。表示部５は、例えば、液晶ディスプレイである。表示部５は、原画像等の動画像を表示する。

　ＣＵ分割・予測処理部１０と、予測画像生成部１１と、残差信号生成部１２と、変換・量子化処理部１３と、エントロピー符号化部１４と、逆量子化・逆変換処理部１５と、復号信号生成部１６と、ループフィルタ処理部１７との一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

　符号化装置１は、符号化対象である動画像（原画像）の信号を、符号化処理の基本単位であるＣＴＵごとに、外部装置（不図示）から取得する。ＶＶＣでは、符号化装置１は、最大「１２８×１２８」画素のサイズの原画像を、ＣＴＵの番号順に、外部装置（不図示）から取得する。符号化装置１は、外部装置（不図示）から指定されたパラメータに基づいて、動画像を符号化する。符号化装置１は、符号化データ（符号化ビットストリーム）を外部装置（不図示）に出力する。

　以下では、ＣＵ分割・予測処理部１０は、ＣＴＵごとに処理を実行する。以下では、予測画像生成部１１と、残差信号生成部１２と、変換・量子化処理部１３と、エントロピー符号化部１４と、逆量子化・逆変換処理部１５と、復号信号生成部１６と、ループフィルタ処理部１７とは、ＣＵごとに処理を実行する。

　次に、符号化装置１の詳細を説明する。
　原画像用データ記憶部９は、原画像となる動画像データを、外部装置（不図示）から取得し、記憶する。原画像となる動画像データは、符号化対象であるＣＴＵの原画像を含む。ＣＵ分割・予測処理部１０（分割部）は、符号化対象であるＣＴＵの原画像を、原画像用データ記憶部９から取得する。ＣＵ分割・予測処理部１０は、画像の動きの予測処理に用いられる参照画像用データ（復号信号）を、参照画像用データ記憶部１８から取得する。

　ＣＵ分割・予測処理部１０は、ＣＵのサイズの選択と、各ＣＵの予測モードの選択とを、符号化対象であるＣＴＵの原画像に対して実行する。ＣＵ分割・予測処理部１０は、ＣＴＵの原画像を１個以上のＣＵに分割する。ここで、ＣＵ分割・予測処理部１０は、符号化対象であるＣＴＵをＣＵに分割する処理を、「ｎ（ｎは、２以上かつ段階数以下の整数）」段階に分けて実行する。すなわち、ＣＵ分割・予測処理部１０は、ＣＴＵにおける各ＣＵのサイズを候補から選択する処理を、ｎ段階に分けて実行する。

　また、ＣＵ分割・予測処理部１０は、選択されたサイズのＣＵの画像内予測処理（予測モードの選択）を、ＣＵごとに参照画像用データを用いて実行する。

　これらのようにして、ＣＵ分割・予測処理部１０は、例えば、ＣＴＵにおける座標（０，０）のＣＵのサイズ「１６×８」と、そのＣＵにおける予測モード「ＤＣ」とを、それぞれ選択する。ＣＵ分割・予測処理部１０は、ＣＵのサイズとして選択されたサイズと、そのＣＵの予測モードとを、ＣＵごとに予測画像生成部１１に出力する。ＣＵ分割・予測処理部１０は、選択されたサイズの各ＣＵの原画像を、残差信号生成部１２に出力する。

　予測画像生成部１１（予測部）は、ＣＵのサイズとして選択されたサイズと、そのＣＵの予測モードとを、予測結果データとして、ＣＵごとにＣＵ分割・予測処理部１０から取得する。予測画像生成部１１は、画像の動きの予測処理に用いられる参照画像用データ（復号信号）を、参照画像用データ記憶部１８から取得する。予測画像生成部１１は、参照画像用データを参照することによって、予測結果データに基づいて予測画像を生成する。予測画像生成部１１は、ＣＵごとの予測画像を、残差信号生成部１２及び復号信号生成部１６に出力する。

　残差信号生成部１２は、選択されたサイズの各ＣＵの原画像を、ＣＵ分割・予測処理部１０から取得する。残差信号生成部１２は、各ＣＵの予測画像を予測画像生成部１１から取得する。残差信号生成部１２は、原画像と予測画像との間の差分を、ＣＵごとに導出する。残差信号生成部１２は、ＣＵの予測残差信号として導出された差分を、変換・量子化処理部１３に出力する。

　変換・量子化処理部１３は、予測残差信号に対して、離散コサイン変換等の直交変換を実行する。変換・量子化処理部１３は、直交変換結果である変換係数を量子化する。変換・量子化処理部１３は、量子化された変換係数を、エントロピー符号化部１４及び逆量子化・逆変換処理部１５に出力する。

　エントロピー符号化部１４は、量子化された変換係数を、変換・量子化処理部１３から取得する。エントロピー符号化部１４は、量子化された変換係数に対して、エントロピー符号化を実行する。エントロピー符号化部１４は、エントロピー符号化の実行結果を、符号化ストリームとして外部装置（不図示）に出力する。

　逆量子化・逆変換処理部１５は、量子化された変換係数を、変換・量子化処理部１３から取得する。逆量子化・逆変換処理部１５は、量子化された変換係数に対して、逆量子化と逆直交変換とを実行する。逆量子化・逆変換処理部１５は、逆量子化と逆直交変換との実行結果を、予測残差の復号信号として、復号信号生成部１６に出力する。

　復号信号生成部１６は、予測残差の復号信号を、逆量子化・逆変換処理部１５から取得する。復号信号生成部１６は、ＣＵごとの予測信号を、予測画像生成部１１から取得する。復号信号生成部１６は、予測残差の復号信号と予測信号とを加算することによって、符号化対象であるＣＵの復号信号を生成する。復号信号生成部１６は、符号化対象であるＣＵの復号信号を、ループフィルタ処理部１７に出力する。復号信号生成部１６は、符号化対象であるＣＵの復号信号を、参照画像用データ記憶部１８に記録する。

　ループフィルタ処理部１７は、符号化対象のＣＵの復号信号を、復号信号生成部１６から取得する。ループフィルタ処理部１７は、符号化対象であるＣＵの復号信号に対して、符号化歪みを低減させるためのフィルタリング処理（ループフィルタ処理）を実行する。ループフィルタ処理部１７は、フィルタリング処理後の画像を、参照画像データとして、参照画像用データ記憶部１８に記録する。

　参照画像用データ記憶部１８は、符号化対象であるＣＵの復号信号を記憶する。参照画像用データ記憶部１８は、フィルタリング処理後の画像を、参照画像データとして記憶する。

　次に、ＣＵ分割・予測処理部１０の概要を説明する。
　図３は、ＣＵ分割・予測処理部１０の構成例を示す図である。ＣＵ分割・予測処理部１０は、符号化対象であるＣＴＵの原画像を、原画像用データ記憶部９から取得する。ＣＵ分割・予測処理部１０は、画像の動きの予測処理に用いられる参照画像用データ（復号信号）を、参照画像用データ記憶部１８から取得する。ＣＵ分割・予測処理部１０は、第１段階から第ｎ段階までの各段階において、分割処理と予測処理とを実行する。

　ＣＵ分割・予測処理部１０は、原画像分割部１００と、ｎ個の段階分割・予測処理部とを備える。すなわち、ＣＵ分割・予測処理部１０は、原画像分割部１００と、第１段階分割・予測処理部１０１から第ｎ段階分割・予測処理部（１００＋ｎ）までとを備える。

　第１段階分割・予測処理部１０１（第２段階分割・予測処理部１０２にとっての第１サブ分割部）は、符号化対象であるＣＴＵの原画像を、原画像用データ記憶部９から取得する。第１段階分割・予測処理部１０１は、画像の動きの予測処理に用いられる参照画像用データ（復号信号）を、参照画像用データ記憶部１８から取得する。

　第１段階分割・予測処理部１０１は、参照画像用データに基づいて、ＣＴＵの原画像におけるＣＵのサイズの選択結果（ＣＴＵの分割結果）と、各ＣＵの予測モードとを選択する。第１段階分割・予測処理部１０１は、第１段階における各ＣＵのサイズの選択結果（第１段階における分割結果）と、第１段階における各ＣＵの予測モードとを、第２段階分割・予測処理部１０２（第１段階分割・予測処理部１０１の次段階）に出力する。

　第２段階分割・予測処理部１０２（第１段階分割・予測処理部１０１にとっての第２サブ分割部）（第３段階分割・予測処理部にとっての第１サブ分割部）は、符号化対象であるＣＴＵの原画像を、原画像用データ記憶部９から取得する。第２段階分割・予測処理部１０２は、画像の動きの予測処理に用いられる参照画像用データ（復号信号）を、参照画像用データ記憶部１８から取得する。第２段階分割・予測処理部１０２は、第１段階における各ＣＵのサイズの選択結果（第１段階における分割結果）と、第１段階における各ＣＵの予測モードとを、第１段階分割・予測処理部１０１から取得する。

　第２段階分割・予測処理部１０２は、第１段階分割・予測処理部１０１（前段階）における各ＣＵのサイズの選択結果（第１段階における分割結果）と、第１段階における各ＣＵの予測モードとに基づいて、ＣＴＵの原画像におけるＣＵのサイズの選択結果と、各ＣＵの予測モードとを選択する。すなわち、第２段階分割・予測処理部１０２は、前段階における各ＣＵのサイズの選択結果を前提として、ＣＴＵの原画像におけるＣＵのサイズの選択結果と、各ＣＵの予測モードとを更新する。第２段階分割・予測処理部１０２は、各ＣＵのサイズの選択結果（第２段階における分割結果）と、第２段階における各ＣＵの予測モードとを、第３段階分割・予測処理部（次段階）に出力する。

　このように、第ｎ（ｎ≧２）段階分割・予測処理部（１００＋ｎ）は、第（ｎ－１）段階における各ＣＵのサイズの選択結果（分割結果）の更新結果と、各ＣＵの予測モードの更新結果とを、第「ｎ＋１」段階の分割・予測処理部（１００＋（ｎ＋１））に出力する。

　最終段階の第ｎ段階分割・予測処理部（１００＋ｎ）（前段階の段階分割・予測処理部にとっての第２サブ分割部）は、各ＣＵのサイズの選択結果（第「ｎ―１」段階における分割結果）と、第「ｎ―１」段階における各ＣＵの予測モードとを、第「ｎ－１」段階分割・予測処理部（１００＋（ｎ－１））から取得する。

　最終段階の第ｎ段階分割・予測処理部（１００＋ｎ）は、第「ｎ－１」段階分割・予測処理部（１００＋（ｎ－１））における各ＣＵのサイズの選択結果（分割結果）と、第「ｎ－１」段階における各ＣＵの予測モードとに基づいて、第ｎ段階におけるＣＴＵの原画像におけるＣＵのサイズの選択結果と、第ｎ段階における各ＣＵの予測モードとを選択する。

　最終段階の第ｎ段階分割・予測処理部（１００＋ｎ）は、第ｎ段階における各ＣＵのサイズの選択結果（分割結果）を、符号化対象であるＣＴＵを分割する各ＣＵの最終的なサイズ（ＣＴＵの分割パターン）として、原画像分割部１００に出力する。また、最終段階の第ｎ段階分割・予測処理部（１００＋ｎ）は、第ｎ段階における各ＣＵの予測モード（最終的な予測モード）を、予測画像生成部１１及び残差信号生成部１２に出力する。

　原画像分割部１００は、各ＣＵのサイズの選択結果（最終段階である第ｎ段階における分割結果）を、最終段階の第ｎ段階分割・予測処理部（１００＋ｎ）から取得する。原画像分割部１００は、各ＣＵのサイズの選択結果（ＣＴＵの分割パターン）に基づいて、ＣＴＵの原画像を各ＣＵの原画像に分割する。原画像分割部１００は、原画像をＣＵごとに残差信号生成部１２に出力する。このようにして、ＣＵ分割・予測処理部１０は、原画像と予測モードとの組み合わせを、ＣＵごとに残差信号生成部１２に出力する。

　予測画像生成部１１は、原画像と予測モードとの組み合わせを、予測結果データとして、ＣＵ分割・予測処理部１０から取得する。予測画像生成部１１は、参照画像用データを参照することによって、予測結果データに基づいてＣＵごとに予測画像を生成する。

　次に、ＣＵ分割・予測処理部１０の詳細を説明する。
　図４は、第１段階の分割結果（第１段階における各ＣＵのサイズの選択結果）の例を示す図である。第１段階分割・予測処理部１０１は、ＱＴ分割、ＢＴ分割又はＴＴ分割を用いて、ＲＤコスト値が最小となるように、最適な分割パターンを選択する。以下では、第１段階分割・予測処理部１０１は、一例としてＱＴ分割のみを用いて、ＲＤコスト値が最小となるように、最適な分割パターンを選択する。

　図４では、ＣＴＵは、ＣＵ０からＣＵ６まで７個のブロック（ブロック２０１からブロック２０３までと、ブロック２０５からブロック２０８までとの７個のブロック）にＱＴ分割される。第１段階ではＱＴ分割のみが用いられているので、図４に示されたＣＴＵ（ブロック２００－０）は、ＨＥＶＣのＣＴＵと同様に、正方形のブロックのみから構成される。ＣＵ分割・予測処理部１０は、第１段階における各ＣＵのサイズの選択結果（第１段階における分割結果）を、第２段階分割・予測処理部１０２に出力する。

　第１段階では、ＨＥＶＣと同様に、ＱＴのみを用いて分割パターンが選択される。このため、第１段階では、正方形のＣＵ（ブロック）のみで最適な分割パターンが確定される。したがって、ＶＶＣにおける本来の分割パターンの選択処理と比較して、第１実施形態の第１段階における演算量は大幅に少ない。

　第２段階以降の各段階では、前段階までに生成されたＣＵごとに、分割なし、ＢＴ分割又はＴＴ分割のいずれかが１回選択される。これによって、ブロック分割の組み合わせパターンの個数が削減されるので、演算量（処理量）が固定化される。

　第２段階分割・予測処理部１０２は、第１段階における各ＣＵのサイズの選択結果（第１段階における分割結果）として生成されたブロックごとに、分割なし、ＢＴ分割又はＴＴ分割のいずれかが１回選択される。図４では、第２段階分割・予測処理部１０２は、ブロック２０１からブロック２０３までとブロック２０５からブロック２０８までとのブロックごとに、分割なし、ＢＴ分割又はＴＴ分割のいずれかを１回選択する。

　図５は、第２段階の分割処理の例を示す図である。ＣＵの符号化の順序は、図４に示された「ＣＵ０」から「ＣＵ６」までの順（ブロック２０１からブロック２０３までの順と、さらにブロック２０５からブロック２０８までとの順）である。この順は、各ＣＵがさらに分割された場合でも変わらない。第２段階分割・予測処理部１０２は、「ＣＵ０」から「ＣＵ６」までの順にＣＵを選択する。第２段階分割・予測処理部１０２は、選択されたＣＵに対して、分割なし、ＢＴ分割又はＴＴ分割のいずれかを１回選択する。

　例えば、第２段階分割・予測処理部１０２は、分割なしと、垂直方向のＢＴ分割（以下「ＢＴｖ分割」という。）と、水平方向のＢＴ分割（以下「ＢＴｈ分割」という。）と、垂直方向のＴＴ分割（以下「ＴＴｖ分割」という。）と、水平方向のＴＴ分割（以下「ＴＴｈ分割」という。）との５個の分割パターンについて、分割パターンごとに、ＲＤコスト値を導出する。

　予測処理における演算量は、ブロックの面積に比例する。このため、第２段階以降の各段階における演算量は、ＣＴＵ全体に対して１個の分割パターが試行される場合における演算量の５倍であり、常に一定の演算量となる。したがって、演算量が固定であるハードウェア（回路）をＣＵ分割・予測処理部１０が用いて実現された場合でも、ＣＵ分割・予測処理部１０は、サイズの選択処理（ＣＴＵの分割処理）を実行することができる。また、ＣＵ分割・予測処理部１０は、一定の速度で確実に符号化することができる。

　第２段階分割・予測処理部１０２は、ＲＤコスト値が最小となる分割パターンを、ブロック２０１における「ＣＵ０」に対して選択する。図５では、第２段階分割・予測処理部１０２は、ブロック２００－１に示されているように、ブロック２０１における「ＣＵ０」に対してＴＴｖ分割を選択する。ＴＴｖ分割によって、「ＣＵ０」は水平幅比「１：２：１」で垂直方向に分割される。

　第２段階分割・予測処理部１０２は、ブロック２０１における「ＣＵ０」に対してＴＴｖ分割が選択されたという条件下（前提）で、ＲＤコスト値が最小となる分割パターンを、ブロック２０２における「ＣＵ１」に対して選択する。図５では、第２段階分割・予測処理部１０２は、ブロック２００－２に示されているように、ブロック２０２における「ＣＵ１」に対してＢＴｖ分割を選択する。

　第２段階分割・予測処理部１０２は、ブロック２０１における「ＣＵ０」に対してＴＴｖ分割が選択されており、且つ、ブロック２０２における「ＣＵ１」に対してＢＴｖ分割が選択されたという条件下で、ＲＤコスト値が最小となる分割パターンを、ブロック２０３における「ＣＵ２」に対して選択する。図５では、第２段階分割・予測処理部１０２は、ブロック２００－３に示されているように、ブロック２０３における「ＣＵ２」に対してＴＴｈ分割を選択する。ＴＴｈ分割によって、「ＣＵ２」は垂直幅比「１：２：１」で水平方向に分割される。

　第２段階分割・予測処理部１０２は、ブロック２０５における「ＣＵ３」と、ブロック２０６における「ＣＵ４」と、ブロック２０７における「ＣＵ５」と、ブロック２０８における「ＣＵ６」との順に、同様に、ＲＤコスト値が最小となる分割パターンを選択する。すなわち、第２段階分割・予測処理部１０２は、ＣＴＵの原画像におけるＣＵのサイズの選択結果を更新する。各ＣＵのサイズの選択結果（第２段階における分割結果）を、第３段階分割・予測処理部（次段階）に出力する。

　図６は、第２段階の分割結果の例を示す図である。ＣＴＵの第２段階の分割結果を表すブロック２００－７において、ブロック２００－１は、ＣＵ０とＣＵ１とＣＵ２とに、ＴＴｖ分割されている。ブロック２００－２は、ＣＵ３とＣＵ４とに、ＢＴｖ分割されている。ブロック２００－３は、ＣＵ５とＣＵ６とＣＵ７とに、ＴＴｈ分割されている。ブロック２００－４は、ＣＵ８とＣＵ９とＣＵ１０とＣＵ１１とに、ＱＴ分割されている。このようにして、第ｎ（ｎ＞２）段階分割・予測処理部（１００＋ｎ）は、ＲＤコスト値が最小となる分割パターンを、ＣＵごとに選択する。

　図７は、第３段階の分割処理の例を示す図である。ＣＵの符号化の順序は、図６に示された「ＣＵ０」から「ＣＵ１１」までの順（ブロック２０１からブロック２０３までの順と、さらにブロック２０５からブロック２０８までとの順）である。この順は、第４段階以降の段落において各ＣＵがさらに分割された場合でも変わらない。第３段階分割・予測処理部（１００＋３）は、「ＣＵ０」から「ＣＵ１１」までの順にＣＵを選択する。第３段階分割・予測処理部（１００＋３）は、選択されたＣＵに対して、分割なし、ＢＴ分割又はＴＴ分割のいずれかを１回選択する。

　図６に示された例えば「ＣＵ６」に対して、「ＣＵ０」から「ＣＵ５」までの各サイズの選択結果（分割結果）の条件下で、ＲＤコスト値が最小となる分割パターンを選択する。図６では、第３段階分割・予測処理部（１００＋３）は、ブロック２００－１４に示されているように、ブロック２０２における「ＣＵ６」に対してＴＴｈ分割を選択する。図６では、第３段階分割・予測処理部（１００＋３）は、ブロック２００－１９に示されているように、ブロック２０４における「ＣＵ１１」に対して、分割なしを選択する。このようにして、第３段階分割・予測処理部（１００＋３）は、ＣＴＵの原画像におけるＣＵのサイズの選択結果を更新する。

　図８は、ＱＴＴＴＢＴ方式の分割パターンを用いる分割結果の例を示す図である。最終段階が例えば第３段階である場合、第３段階分割・予測処理部（１００＋３）は、ブロック２００－１９に示された各ＣＵのサイズの選択結果（第３段階における分割結果）を、原画像分割部１００に出力する。原画像分割部１００は、各ＣＵのサイズの選択結果（第３段階における分割結果）に基づいて、ＣＴＵの原画像を各ＣＵの原画像に分割する。

　このように、ＣＴＵの分割パターンが一度に確定されるのではなく、分割パターンが段階的に選択（仮確定）されて更新されるので、分割パターンの確定に必要な演算量が大幅に削減される。

　図９は、分割木の構造（フラグ情報）の例を示す図である。図８に示された「ＣＵ０」と「ＣＵ１」と「ＣＵ２」とは、「ＱＴ－ＴＴｖ－分割終了」と表現可能である。図８に示された「ＣＵ３」と「ＣＵ４」と「ＣＵ５」とは、「ＱＴ－ＢＴｖ－ＴＴｈ－分割終了」と表現可能である。図８に示された「ＣＵ６」と「ＣＵ７」とは、「ＱＴ－ＢＴｖ－ＢＴｈ－分割終了」と表現可能である。図８に示された「ＣＵ８」とは、「ＱＴ－ＴＴｖ－分割終了」と表現可能である。図８に示された「ＣＵ９」と「ＣＵ１０」と「ＣＵ１１」とは、「ＱＴ－ＴＴｖ－ＴＴｖ－分割終了」と表現可能である。図８に示された「ＣＵ１２」は、「ＱＴ－ＴＴｖ－分割終了」と表現可能である。図８に示された「ＣＵ１３」と「ＣＵ１４」と「ＣＵ１５」とは、「ＱＴ－ＱＴ－分割終了」と表現可能である。

　以上の処理では、演算量の大幅な削減が可能である。しかしながら、以上の処理では、ＣＴＵにおける部分的な最適化が繰り返されているので、分割パターンを一度に確定させてＣＴＵにおける大局的な最適化が実行される場合と比較して、分割パターンの変化とその変化に応じた符号化性能の多少の劣化とが生じる場合がある。

　符号化性能の劣化の原因の一つとして、第１段階においてＣＴＵの分割が細かくなり過ぎるという点が考えられる。第１段階においてＱＴのみが用いられて最適な分割パターンが導出されるので、ＶＶＣにおける本来のＱＴ分割の回数よりも多くの回数でＱＴ分割が実行される可能性がある。これによって、第２段階以降の各段階において、ＢＴ分割及びＴＴ分割が選択されにくくなる場合がある。

　この影響を抑制するために、第１段階でのＣＴＵの分割の回数について、最大値が設定されてもよい。例えば、第１段階において「ＣＵ０」から「ＣＵ６」までの７個よりも多い分割数になった場合、ＱＴ分割の回数の最大値が「２」と設定されることによって、第１段階において３回以上のＱＴ分割が実行されないようになる。これによって、第１段階でＣＵが細かくなり過ぎてしまうことを抑制することが可能である。

　以上の処理では、第１段階においてＣＴＵにおけるＣＵに対するＱＴ分割のみでＣＵのサイズが最適化されて、第２段階以降の段階では、分割なし、ＢＴ分割又はＴＴ分割が、ＣＵごとに１回選択されている。これに対して、第１段階においてＱＴ分割又はＢＴ分割でＣＵのサイズが最適化されて、第２段階以降の段階では、ＴＴ分割がＣＵごとに１回選択されてもよい。また、第１段階においてＱＴ分割又はＢＴ分割でＣＵのサイズが最適化されて、第２段階以降の段階では、ＢＴ分割又はＴＴ分割がＣＵごとに１回選択されてもよい。

　次に、予測モードの選択肢の絞り込みについて説明する。
　ＶＶＣの画像内予測では、「０」から「６６」までの６７種類のイントラ予測モードが選択可能である。また、ＶＶＣの画像内予測では、複数の予測参照先ライン番号（Multiple Reference Line : MRL）という概念が、ＨＥＶＣと比較して追加された。ＭＲＬでは、直近０ライン、１ライン先又は３ライン先の３種類のラインにおける参照先画素のうちから、画像内予測に用いられる参照先画素が選択可能である。

　図１０は、第１段階のイントラ予測モード及びＭＲＬと、第２段階のイントラ予測モード及びＭＲＬとの例を示す図である。図１０の左側には、第１段階が終了した場合における、各ＣＵのサイズと、最適なイントラ予測モード及びＭＲＬ番号とが例示されている。第１段階では所定の予測処理を用いて、「０」から「６６」までの６７種類のイントラ予測モードのうちから、イントラ予測モードがＣＵごとに選択される。第１段階では所定の予測処理を用いて、直近０ライン、１ライン先又は３ライン先の３種類のラインにおける参照先画素のうちから、画像内予測の参照先画素がＣＵごとに選択される。

　ブロック３０１－１における「ＣＵ０」では、最適なイントラ予測モードが「２」であり、最適なＭＲＬが「１」である。ブロック３０４－１における「ＣＵ６」では、最適なイントラ予測モードが「４」であり、最適なＭＲＬが「３」である。

　図１０の右側には、第１段階に続く第２段階が終了した場合における、各ＣＵのサイズと、最適なイントラ予測モード及びＭＲＬ番号とが例示されている。第１段階では、分割なしと、ＢＴｖ分割と、ＢＴｈ分割と、ＴＴｖ分割と、ＴＴｈ分割とのうちのいずれかの分割が、ＣＵごとに選択される。その選択の際の予測処理では、第１段階のＣＵにおける最良のイントラ予測モードのみが試行される。また、第１段階のＣＵにおける最良のＭＲＬ番号のみが試行される。

　例えば、第２段階におけるブロック３０１－２（第１段階におけるブロック３０１－１の「ＣＵ０」）の分割の選択の際には、「イントラ予測モード＝２、ＭＲＬ＝１」におけるＲＤコスト値が、分割なしと、ＢＴｖ分割と、ＢＴｈ分割と、ＴＴｖ分割と、ＴＴｈ分割との分割パターンごとに導出される。これら５個の分割パターンにおける最小のコスト値となる分割が、第２段階におけるＣＵの分割パターンとして選択される。

　例えば、第２段階におけるブロック３０４－２（第１段階におけるブロック３０４－１の「ＣＵ６」）の分割の選択の際には、「イントラ予測モード＝４、ＭＲＬ＝３」におけるＲＤコスト値が、分割なしと、ＢＴｖ分割と、ＢＴｈ分割と、ＴＴｖ分割と、ＴＴｈ分割との分割パターンごとに導出される。これら５個の最小のコスト値となる分割が、第２段階におけるＣＵの分割パターンとして選択される。

　以上の処理では、予測モードの選択肢が絞り込まれる処理において、分割パターンが追加されて確定される。また、予測モードの選択肢が絞り込まれる処理における予測処理の演算量は、大幅に削減可能である。試行される予測モードの選択肢が前段階におけるＣＵの最良の予測モードに基づいて絞り込まれるので、符号化性能の劣化が抑えられる。

　以上の処理では、前段階におけるＣＵの最良の予測モード及びＭＲＬのみが次段階において試行されているが、前段階におけるＲＤコスト値が小さい複数の予測モード及びＭＲＬ（上位の複数の予測モード及びＭＲＬ）が、次段階において試行されてもよい。例えば、第１段階における「ＣＵ０」の予測処理の結果、ＲＤコスト値が小さい順に、「イントラ予測モード＝２、ＭＲＬ＝１」と、「イントラ予測モード＝５、ＭＲＬ＝０」と、「イントラ予測モード＝４、ＭＲＬ＝０」と、「イントラ予測モード＝５、ＭＲＬ＝３」となっていた場合、第２段階では、ＲＤコスト値が小さい順に、「イントラ予測モード＝２、ＭＲＬ＝１」と、「イントラ予測モード＝５、ＭＲＬ＝０」と、「イントラ予測モード＝４、ＭＲＬ＝０」のように、上位の３組の予測モード及びＭＲＬが試行されてもよい。このように、３個の予測モードのパターンのＲＤコスト値が、５個の分割パターンのそれぞれの分割パターンについて導出され、比較評価されることで、最良の分割パターンが確定されてもよい。

　次に、符号化装置１の動作例を説明する。
　図１１は、符号化装置１の動作例を示すフローチャートである。ＣＵ分割・予測処理部１０は、ＱＴ、ＴＴ又はＢＴに応じて定まる仮サイズのうちから、例えばＲＤコストに基づいて仮サイズを選択する（ステップＳ１０１）。ＣＵ分割・予測処理部１０は、選択された仮サイズのＣＵに、ＣＴＵを分割する（ステップＳ１０２）。ＣＵ分割・予測処理部１０は、選択された仮サイズのＣＵをさらに分割することによって、確定されたサイズのＣＵを生成する（ステップＳ１０３）。
予測画像生成部１１は、確定されたサイズのＣＵごとに画像の動きを予測する（ステップＳ１０４）。

　以上のように、ＣＵ分割・予測処理部１０（分割部）は、原画像における予め定められたサイズのＣＴＵ（第１のブロック）を、符号化の単位となるブロックであるＣＵ（第２のブロック）群に、ＱＴ（四分木）、ＴＴ（三分木）又はＢＴ（二分木）で分割する。ＣＵ分割・予測処理部１０（分割部）は、第１サブ分割部（例えば、第１段階分割・予測処理部１０１、第２段階分割・予測処理部１０２）と、第２サブ分割部（例えば、第２段階分割・予測処理部１０２、第３段階分割・予測処理部）とを有する。第１サブ分割部は、ＱＴ（四分木）、ＴＴ（三分木）又はＢＴ（二分木）に応じて定まるサイズのうちから選択されたサイズ（仮サイズ）のブロックに、ＣＴＵ（第１のブロック）を分割する。第２サブ分割部は、選択されたサイズ（仮サイズ）のブロックをさらに分割することによって、ＣＵ（第２のブロック）を生成する。予測画像生成部１１（予測部）は、ＣＵ（第２のブロック）ごとに画像の動きを予測する。

　このように、ＣＵ分割・予測処理部１０は、選択された仮サイズのＣＵをさらに分割することによって、確定されたサイズのＣＵを生成する。これによって、ＣＴＵを分割する各ＣＵのサイズを選択するための演算量が必要以上に増加しないようにすることが可能である。

　すなわち、ＣＵ分割・予測処理部１０は、ＣＵの分割パターンを段階的に仮確定させる。ＣＵ分割・予測処理部１０は、ＣＵの分割パターンの仮確定において、部分的な最適化処理を繰り返す。これによって、ＣＵ分割・予測処理部１０は、、ＣＵの分割パターンを確定させるための演算量を削減することが可能である。予測画像生成部１１は、ＣＵの分割パターンの確定結果に応じて、各予測処理データの流用、省略又は切替等を実行することによって、符号化装置１におけるＣＵの分割パターンの確定処理と確定処理に伴う予測処理の演算量とを削減することが可能である。

　（第２実施形態）
　第２実施形態では、第１段階における各ＣＵのサイズが分割パターン（ＱＴ、ＢＴ、ＴＴ）で制限される代わりに、第１段階における各ＣＵのサイズが規定サイズで制限される点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を主に説明する。

　ブロックの分割について説明する。
　第２実施形態では、第１段階においてＣＴＵを構成する各ＣＵのサイズの組み合わせは、分割パターン（ＱＴ、ＢＴ、ＴＴ）の種類よりも多くの種類を有する規定サイズの組み合わせである。規定サイズの種類は、例えば「８×８」と「１６×１６」と「１６×３２」と「３２×１６」と「３２×３２」と「６４×６４」とのように、第１実施形態における分割パターン（ＱＴ、ＢＴ、ＴＴ）の種類よりも多い６種類である。

　第２実施形態における第２段階以降の各ＣＵのサイズは、第１実施形態における第２段階以降の各ＣＵのサイズと同様に、分割パターンに基づいて選択される。すなわち、第２実施形態における第２段階以降の各ＣＵのサイズは、分割なし、ＢＴ又はＴＴのサイズに基づいて、ＣＵごとに１回選択される。第２実施形態における第２段階以降の各ＣＵのサイズは、分割なし又はＴＴのサイズに基づいて、ＣＵごとに１回選択されてもよい。

　分割パターンを用いて符号化データが表現される必要がある。このため、第１段階分割・予測処理部１０１は、規定サイズ群を用いて表現されているＣＴＵの分割パターンを分割パターンを用いて表現するための再計算処理を実行する。

　次に、予測モードについて説明する。
　第２実施形態では、第１実施形態のように予測モードの選択肢が段階的に絞り込まれるのではなく、予測モードが段階的に詳細化される。

　１．ＭＲＬの値（番号）について
　仮に、第１段階において、第１段階分割・予測処理部１０１は、「ＭＲＬ＝０」のみを用いて、予測処理を実行したとする。第「ｎ－１」（段階数＞ｎ≧３）段階において、第「ｎ－１」段階分割・予測処理部は、「ＭＲＬ＝０又は１」を用いて、予測処理を実行したとする。最終段階の第ｎ段階において、第ｎ段階分割・予測処理部（１００＋ｎ）は、「ＭＲＬ＝０、１又は３」を用いて、予測処理を実行したとする。

　ここで、第１段階から所定範囲内の段階（以下「初期段階」という。）における分割パターンと、最終段階における分割パターンとは、全く異なる分割パターンである場合が多い。このため初期段階において、第「ｎ－１」（段階数＞＞ｎ）段階分割・予測処理部は、「ＭＲＬ＝０、１又は３」を用いて、精度の低い予測処理を余分に実行することになる。

　そこで、精度の低い第１段階において、第１段階分割・予測処理部１０１は、０、１又は３のうちの一つのＭＲＬを用いて、精度の低い予測処理を実行することによって、ＣＴＵの初期の分割パターン（各ＣＵの初期のサイズ）を選択する。そして最終段階に近づくほど、第ｎ（≧２）段階分割・予測処理部は、ＭＲＬの種類を３種類まで増やす。さらに、第ｎ（≧２）段階分割・予測処理部は、３種類のＭＲＬを用いて、精度の高い予測処理を実行する。これらによって、第ｎ（≧２）段階分割・予測処理部は、確定された分割パターン（各ＣＵの確定されたサイズ）を、少ない演算量で効率的に選択することが可能である。

　２．予測モードの値（番号）について
　第１段階において、第１段階分割・予測処理部１０１は、６７モードのうちの一部のモードを用いて、予測処理を実行する。例えば、第１段階分割・予測処理部１０１は、８方向ずつ方向性が間引かれた予測モード（０、１、２、１０、１８、２６、３４、４２、５０、５８のモード番号が割り当てられた各予測モード）を用いて、予測処理を実行する。第１段階分割・予測処理部１０１は、ＲＤコスト値が最小となる予測モード（最良の予測モード）を選択する。

　第２段階において、第２段階分割・予測処理部１０２は、第１段階分割・予測処理部１０１によって選択されたモードに割り当てられたモード番号の付近のモード番号が割り当てられた予測モードを用いて、予測処理を実行する。例えば、第２段階分割・予測処理部１０２は、第１段階分割・予測処理部１０１によって選択された予測モードに割り当てられたモード番号「１０」を中心とする「±４」のモード番号（６、７、８、９、１０、１１、１２、１３、１４）が割り当てられた予測モードを用いて、予測処理を実行する。

　ここで、初期段階における分割パターンと最終段階における分割パターンとは、全く異なる分割パターンである場合が多い。そこで、精度の低い第１段階において、第１段階分割・予測処理部１０１は、精度の低い予測処理を実行することによって、ＣＴＵの初期の分割パターン（各ＣＵの初期のサイズ）を選択する。そして最終段階に近づくほど、第ｎ（≧２）段階分割・予測処理部は、モード番号の刻み幅を増やして、精度の高い予測処理を実行する。これらによって、第ｎ（≧２）段階分割・予測処理部は、確定された分割パターン（各ＣＵの確定されたサイズ）を、少ない演算量で効率的に選択することが可能である。

　以上のように、ＣＵ分割・予測処理部１０（分割部）は、原画像における予め定められた第１サイズのＣＴＵ（第１のブロック）を、符号化の単位となるブロックであるＣＵ（第２のブロック）群に、予め定められた第２サイズ群（例えば、「８×８」と「１６×１６」と「１６×３２」と「３２×１６」と「３２×３２」と「６４×６４」のうちから選択された４種類以上のサイズ）で分割する。ＣＵ分割・予測処理部１０（分割部）は、第１サブ分割部（例えば、第１段階分割・予測処理部１０１、第２段階分割・予測処理部１０２）と、第２サブ分割部（例えば、第２段階分割・予測処理部１０２、第３段階分割・予測処理部）とを有する。第１サブ分割部は、第２サイズ群のうちから選択されたサイズ（仮サイズ）のブロックに、ＣＴＵ（第１のブロック）を分割する。第２サブ分割部は、選択されたサイズ（仮サイズ）のブロックをさらに分割することによって、ＣＵ（第２のブロック）を生成する。予測画像生成部１１（予測部）は、ＣＵ（第２のブロック）ごとに動きを予測する。

　このように、第１段階におけるＣＵのサイズが、分割パターン（ＱＴ、ＢＴ、ＴＴ）よりも柔軟に定められたサイズ（規定サイズ）に制限されている。これによって、ＣＴＵを分割する各ＣＵのサイズを選択するための演算量が必要以上に増加しないようにすることがより柔軟に可能である。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　本発明は、動画像を符号化する装置に適用可能である。

１…符号化装置、２…プロセッサ、３…記憶部、４…通信部、５…表示部、１０…ＣＵ分割・予測処理部、１１…予測画像生成部、１２…残差信号生成部、１３…変換・量子化処理部、１４…エントロピー符号化部、１５…逆量子化・逆変換処理部、１６…復号信号生成部、１７…ループフィルタ処理部、１８…参照画像用データ記憶部、１００…原画像分割部、１０１…第１段階分割・予測処理部、１０２…第２段階分割・予測処理部、２００…ＣＴＵ、２０１～２０８…ブロック、３０１…ブロック、３０４…ブロック

Claims

　符号化装置が実行する符号化方法であって、
　原画像における予め定められたサイズの第１のブロックを、符号化の単位となるブロックである第２のブロック群に、四分木、三分木又は二分木で分割する分割ステップと、
　前記第２のブロックごとに動きを予測する予測ステップと
　を含み、
　前記分割ステップは、第１サブ分割ステップと第２サブ分割ステップとを有し、
　前記第１サブ分割ステップでは、前記四分木、前記三分木又は前記二分木に応じて定まるサイズのうちから選択されたサイズのブロックに、前記第１のブロックを分割し、
　前記第２サブ分割ステップでは、前記選択されたサイズのブロックをさらに分割することによって前記第２のブロックを生成する、
　符号化方法。
　前記第１サブ分割ステップでは、前記四分木、前記三分木又は前記二分木のうちの一つ又は二つで、前記第１のブロックを分割し、
　前記第２サブ分割ステップでは、前記第１サブ分割ステップにおいて前記第１のブロックの分割に用いられていない前記四分木、前記三分木又は前記二分木で、前記選択されたサイズのブロックをさらに分割する、
　請求項１に記載の符号化方法。
　前記第１サブ分割ステップでは、前記四分木に応じて定まるサイズのうちから選択されたサイズのブロックに、前記第１のブロックを分割する、
　請求項１又は請求項２に記載の符号化方法。
　原画像における予め定められたサイズの第１のブロックを、符号化の単位となるブロックである第２のブロック群に、四分木、三分木又は二分木で分割する分割部と、
　前記第２のブロックごとに動きを予測する予測部と
　を備え、
　前記分割部は、第１サブ分割部と第２サブ分割部とを有し、
　前記第１サブ分割部は、前記四分木、前記三分木又は前記二分木に応じて定まるサイズのうちから選択されたサイズのブロックに、前記第１のブロックを分割し、
　前記第２サブ分割部は、前記選択されたサイズのブロックをさらに分割することによって前記第２のブロックを生成する、
　符号化装置。
　請求項１又は請求項２に記載の符号化方法を実行する符号化装置としてコンピュータを機能させるためのプログラム。