JP4900470B2 - 動画像符号化装置および動画像符号化方法 - Google Patents

Description

本発明は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣやＷＭＶなどの動画像符号化標準規格に準拠する動画像符号化装置および動画像符号化方法に関する。

近時、動画像再生システムにおいては、ハイビジョンなどの高品質な動画像の再生（高解像度、低ノイズ、高フレームレートなど）が求められている。高解像度の動画像を再生する場合には、低解像度の動画像を再生する場合よりも大量のデータを処理する必要があるため、多くのメモリ容量およびメモリアクセスが必要となる。高解像度の動画像復号化処理においては、動画像符号化技術の要素技術の１つである動き補償を用いた符号化処理により生成された符号化データを復号化する場合、参照画像をロードする処理が大量に実施される。参照画像を外部メモリから読み出す処理は、フレームレートの低下や動画像復号化装置（プロセッサ）の消費電力の増大に繋がる。この問題を回避するための方法として、動画像復号化装置にキャッシュメモリを設ける方法がある。

なお、動画像符号化技術（動き補償など）の詳細については、「ＲｅｃｏｍｍｅｎｄａｔｉｏｎＩＴＵ−Ｔ Ｈ．２６２」などの標準規格書や「ポイント図解式 最新ＭＰＥＧ教科書」（藤原洋監修、アスキー出版局）などの一般書籍に記載されているため、ここでの詳細な説明は省略する。また、キャッシュメモリの詳細については、「コンピュータの構成と設計第３版」（デイビッド・Ａ．パターソン、ジョン・Ｌ．ヘネシー著、日経ＢＰ社）などの一般書籍に記載されているため、ここでの詳細な説明は省略する。

図１５は、従来技術における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況を示している。従来技術における符号化データを復号化する際には、まず、参照画像Ｐの第１行（図１５（１））について先頭列（左端）のマクロブロックＭＢから順番に復号化される。そして、参照画像Ｐの第１行における最終列（右端）のマクロブロックＭＢの復号化が完了すると、参照画像Ｐの第２行（図１５（２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、参照画像Ｐの第３行（図１５（３））、第４行（図１５（４））、・・・、第ｎ行（図１５（ｎ））におけるマクロブロックＭＢが順番に復号化される。

参照画像Ｐの第１行におけるマクロブロックＭＢの復号化が完了して参照画像Ｐの第２行におけるマクロブロックＭＢの復号化に移行した際に、キャッシュメモリの容量が小さく、キャッシュメモリに存在している参照画像データが図１５の網掛け部分に対応するデータのみであるものと仮定すると、参照画像Ｐの第２行におけるマクロブロックＭＢの近傍の参照画像データがキャッシュメモリに存在していないため、ロードキャッシュミスが発生してしまう。

キャッシュメモリの容量を動画像の解像度（画像サイズ）に対して十分に大きくすればロードキャッシュミスは発生しないが、キャッシュメモリの容量を大きくすると、ロードレイテンシの増加や動画像復号化装置（プロセッサ）の消費電力およびチップ面積の増加などのデメリットが生じてしまう。また、動画像の解像度が高いほど、ロードキャッシュミスの発生を抑制すべくキャッシュメモリの容量を大きくする必要がある。例えば、動画像の解像度がＨＤサイズ（縦方向１９２０画素×横方向１０８０画素）である場合、９０Ｋｂｙｔｅ程度の容量のキャッシュメモリが必要になる。

また、特許文献１には、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像のコーナーターン処理（縦横転置処理）などを含む静止画像再生処理に関して、キャッシュメモリへのアクセスに伴うオーバーヘッド時間を低減する技術が開示されている。
特開２００１−１０９８８０号公報

前述のように、動画像復号化装置において、ロードキャッシュミスの発生を抑制するためにキャッシュメモリの容量を大きくすると、ロードレイテンシの増加や動画像復号化装置（プロセッサ）の消費電力およびチップ面積の増加などのデメリットが生じてしまうという問題があった。

本発明の目的は、動画像の解像度が高い場合でも、キャッシュメモリの容量を増大させることなく符号化データを復号化する際のロードキャッシュミスの発生を抑制することにある。

本発明の一態様では、動画像符号化装置は、画像分割数を設定する画像分割数設定部と、動画像を構成する符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する符号化部とを備える。画像分割数設定部は、符号化対象画像の画像サイズ、輝度色差フォーマット、マクロブロックサイズ、または参照画像枚数を設定する画像情報設定部と、符号化部の符号化結果を復号化する際に用いられるキャッシュメモリの容量、またはキャッシュ方式を設定するキャッシュ情報設定部と、画像情報設定部およびキャッシュ情報設定部により設定される情報に基づいて画像分割数を算出する画像分割数算出部とを備える。
本発明に関連する技術において、動画像符号化装置は、画像分割数設定部および符号化部を備えて構成される。画像分割数設定部は、画像分割数を設定する（画像分割数設定工程）。符号化部は、動画像を構成する符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する（符号化工程）。

例えば、部分画像は、第１部分画像と第２部分画像とを含む。符号化処理により生成される符号化データは、第１部分画像の符号化データに第２部分画像の符号化データが続く構造である。符号化部は、第１部分画像の符号化処理を実施した後に、第２部分画像の符号化処理を実施する。

好ましくは、画像分割数設定部は、符号化部の符号化結果を復号化する際に用いられるプロセッサの数を画像分割数に設定する。

あるいは、画像分割数設定部は、画像情報設定部、キャッシュ情報設定部および画像分割数算出部を備えて構成される。画像情報設定部は、符号化対象画像に関する情報を設定する（画像情報設定工程）。キャッシュ情報設定部は、符号化部の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定する（キャッシュ情報設定工程）。画像分割数算出部は、画像情報設定部およびキャッシュ情報設定部により設定される情報に基づいて画像分割数を算出する（画像分割数算出工程）。

あるいは、画像分割数設定部は、プロセッサ数設定部、画像情報設定部、キャッシュ情報設定部および画像分割数算出部を備えて構成される。プロセッサ数設定部は、符号化部の符号化結果を復号化する際に用いられるプロセッサの数を設定する（プロセッサ数設定工程）。画像情報設定部は、符号化対象画像に関する情報を設定する（画像情報設定工程）。キャッシュ情報設定部は、符号化部の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定する（キャッシュ情報設定工程）。画像分割数算出部は、プロセッサ数設定部、画像情報設定部およびキャッシュ情報設定部により設定される情報に基づいて画像分割数を算出する（画像分割数算出工程）。

以上のような動画像符号化装置では、画像分割数設定部により設定される画像分割数に応じて符号化部の符号化処理順序を変更できるため、符号化部の符号化結果の復号化に用いられるキャッシュメモリの容量が動画像の解像度に対して十分に大きくない場合でも、ロードキャッシュミスの発生を抑制できる。

本発明によれば、動画像の解像度が高い場合でも、キャッシュメモリの容量を増大させることなく符号化データを復号化する際のロードキャッシュミスの発生を抑制することができる。

以下、図面を用いて本発明の実施形態を説明する。

図１は、本発明の第１実施形態を示している。第１実施形態の動画像符号化装置１０は、画像分割数設定部１１および符号化部１２を備えて構成されている。例えば、動画像符号化装置１０は、半導体装置により具現されている。画像分割数設定部１１は、画像分割数を設定する。符号化部１２は、画像分割数設定部１１により保持されている画像分割数を取得して入力データ（動画像）を構成する符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施して符号化データを生成する。

図２は、第１実施形態における動画像符号化装置の動作を示している。前述のような構成の動画像符号化装置１０では、動画像符号化装置１０による入力データの受信に伴って、符号化部１２は、画像分割数設定部１１により保持されている画像分割数を取得する（ステップＳ１１）。そして、符号化部１２は、符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する（ステップＳ１２）。

図３は、第１実施形態における符号化処理順序および符号化データの構造（画像分割数が２である場合）を示している。図３＜Ａ＞に示すように、符号化部１２による符号化処理では、画像分割数が２である場合、符号化対象画像Ｐが部分画像Ｐ１、Ｐ２に分割される。まず、処理対象部分画像として部分画像Ｐ１が選択され、部分画像Ｐ１の第１行（図３（１））について先頭列（左端）のマクロブロックＭＢから順番に符号化される。そして、部分画像Ｐ１の第１行における最終列（右端）のマクロブロックＭＢの符号化が完了すると、部分画像Ｐ１の第２行（図３（２））について先頭列のマクロブロックＭＢから順番に符号化される。以降、同様に、部分画像Ｐ１の第３行（図３（３））、第４行（図３（４））、・・・、第ｎ行（図３（ｎ））におけるマクロブロックＭＢが順番に符号化される。

部分画像Ｐ１の第ｎ行における最終列のマクロブロックＭＢの符号化が完了すると、処理対象部分画像として部分画像Ｐ２が選択され、部分画像Ｐ２の第１行（図３（ｎ＋１））について先頭列のマクロブロックＭＢから順番に符号化される。そして、部分画像Ｐ２の第１行における最終列のマクロブロックＭＢの符号化が完了すると、部分画像Ｐ２の第２行（図３（ｎ＋２））について先頭列のマクロブロックＭＢから順番に符号化される。以降、同様に、部分画像Ｐ２の第３行（図３（ｎ＋３））、第４行（図３（ｎ＋４））、・・・、第ｎ行（図３（ｎ＋ｎ））におけるマクロブロックＭＢが順番に符号化される。このような処理順序の符号化処理により生成される符号化データは、図３＜Ｂ＞に示すような構造になる。なお、従来技術における符号化データは、図３＜Ｃ＞に示すような構造になる。

図４は、第１実施形態における符号化処理順序および符号化データの構造（画像分割数が３である場合）を示している。図４（Ａ）に示すように、符号化部１２による符号化処理では、画像分割数が３である場合、符号化対象画像Ｐが部分画像Ｐ１、Ｐ２、Ｐ３に分割される。まず、処理対象部分画像として部分画像Ｐ１が選択され、部分画像Ｐ１の第１行（図４（１））について先頭列のマクロブロックＭＢから順番に符号化される。そして、部分画像Ｐ１の第１行における最終列のマクロブロックＭＢの符号化が完了すると、部分画像Ｐ１の第２行（図４（２））について先頭列のマクロブロックＭＢから順番に符号化される。以降、同様に、部分画像Ｐ１の第３行（図４（３））、第４行（図４（４））、・・・、第ｎ行（図４（ｎ））におけるマクロブロックＭＢが順番に符号化される。

部分画像Ｐ１の第ｎ行における最終列のマクロブロックＭＢの符号化が完了すると、処理対象部分画像として部分画像Ｐ２が選択され、部分画像Ｐ２の第１行（図４（ｎ＋１））について先頭列のマクロブロックＭＢから順番に符号化される。そして、部分画像Ｐ２の第１行における最終列のマクロブロックＭＢの符号化が完了すると、部分画像Ｐ２の第２行（図４（ｎ＋２））について先頭列のマクロブロックＭＢから順番に符号化される。以降、同様に、部分画像Ｐ２の第３行（図４（ｎ＋３））、第４行（図４（ｎ＋４））、・・・、第ｎ行（図４（ｎ＋ｎ））におけるマクロブロックＭＢが順番に符号化される。

部分画像Ｐ２の第ｎ行における最終列のマクロブロックＭＢの符号化が完了すると、処理対象部分画像として部分画像Ｐ３が選択され、部分画像Ｐ３の第１行（図４（２ｎ＋１））について先頭列のマクロブロックＭＢから順番に符号化される。そして、部分画像Ｐ３の第１行における最終列のマクロブロックＭＢの符号化が完了すると、部分画像Ｐ３の第２行（図４（２ｎ＋２））について先頭列のマクロブロックＭＢから順番に符号化される。以降、同様に、部分画像Ｐ３の第３行（図４（２ｎ＋３））、第４行（図４（２ｎ＋４））、・・・、第ｎ行（図４（２ｎ＋ｎ））におけるマクロブロックＭＢが順番に符号化される。このような処理順序の符号化処理により生成される符号化データは、図４＜B＞に示すような構造になる。なお、従来技術における符号化データは、図４＜Ｃ＞に示すような構造になる。

図５は、第１実施形態における符号化処理の一例を示している。図５のステップＳ１０１〜Ｓ１０８は、図２のステップＳ１２において実施される。

ステップＳ１０１において、符号化部１２は、各種ヘッダを作成する。この後、符号化処理はステップＳ１０２に移行する。

ステップＳ１０２において、符号化部１２は、スライスヘッダを作成する。この後、符号化処理はステップＳ１０３に移行する。

ステップＳ１０３において、符号化部１２は、処理対象部分画像の処理対象行における処理対象マクロブロックの符号化を実施する。この後、符号化処理はステップＳ１０４に移行する。

ステップＳ１０４において、符号化部１２は、処理対象マクロブロックが処理対象部分画像における最終列のマクロブロックであるか否かを判定する。処理対象マクロブロックが処理対象部分画像における最終列のマクロブロックではない場合、処理対象部分画像の処理対象行における次の列のマクロブロックを符号化するために、符号化処理はステップＳ１０３に再度移行する。一方、処理対象マクロブロックが処理対象部分画像における最終列のマクロブロックである場合、符号化処理はステップＳ１０５に移行する。

ステップＳ１０５において、符号化部１２は、処理対象マクロブロックが処理対象部分画像における最終行のマクロブロックであるか否かを判定する。処理対象マクロブロックが処理対象部分画像における最終行のマクロブロックではない場合、符号化処理はステップＳ１０６に移行する。一方、処理対象マクロブロックが処理対象部分画像における最終行のマクロブロックである場合、符号化処理はステップＳ１０７に移行する。

ステップＳ１０６において、符号化部１２は、処理対象行を処理対象部分画像における次の行に変更する。この後、符号化処理はステップＳ１０２に再度移行する。

ステップＳ１０７において、符号化部１２は、入力データを一時的に格納するための受信バッファから読み出されていない入力データの有無を判定する。受信バッファから読み出されていない入力データが存在する場合、符号化処理はステップＳ１０８に移行する。一方、受信バッファから読み出されていない入力データが存在しない場合、符号化処理は完了する。

ステップＳ１０８において、符号化部１２は、処理対象部分画像を次の部分画像に変更する。この後、符号化処理はステップＳ１０２に再度移行する。

図６は、第１実施形態における符号化処理の別例を示している。図６のステップＳ１０１〜Ｓ１０８は、図５のステップＳ１０１〜Ｓ１０８と同様に、図２のステップＳ１２において実施される。図６に示す符号化処理の例は、符号化処理がステップＳ１０６の実施後にステップＳ１０２ではなくステップＳ１０３に移行する点を除いて、図５に示す符号化処理の例と同一である。図６に示す符号化処理の例では、処理対象部分画像が変更される度にスライスヘッダが作成されるため、処理対象行が変更される度にスライスヘッダが作成される場合（図５に示す符号化処理の例）に比べて、符号化データのデータ量が削減される。

図７は、第１実施形態における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況（画像分割数が２である場合）を示している。第１実施形態における符号化データ（画像分割数が２である場合）を復号化する際には、まず、参照画像Ｐの部分画像Ｐ１における第１行（図７（１））について先頭列のマクロブロックＭＢから順番に復号化される。そして、部分画像Ｐ１の第１行における最終列のマクロブロックＭＢの復号化が完了すると、部分画像Ｐ１の第２行（図７（２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、部分画像Ｐ１の第３行（図７（３））、第４行（図７（４））、・・・、第ｎ行（図７（ｎ））におけるマクロブロックＭＢが順番に復号化される。

部分画像Ｐ１の第ｎ行におけるマクロブロックＭＢの復号化が完了すると、参照画像Ｐの部分画像Ｐ２の第１行（図７（ｎ＋１））におけるマクロブロックＭＢが順番に復号化される。そして、部分画像Ｐ２の第１行における最終列のマクロブロックＭＢの復号化が完了すると、部分画像Ｐ２の第２行（図７（ｎ＋２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、部分画像Ｐ２の第３行（図７（ｎ＋３））、第４行（図７（ｎ＋４））、・・・、第ｎ行（図７（ｎ＋ｎ））におけるマクロブロックＭＢが順番に復号化される。

符号化データを復号化するための動画像復号化装置（プロセッサ）のキャッシュメモリの容量が参照画像Ｐの横サイズの１／２であると仮定すると、部分画像Ｐ１の第１行におけるマクロブロックＭＢの復号化が完了して部分画像Ｐ１における第２行におけるマクロブロックＭＢの復号化に移行した際に、部分画像Ｐ１の第２行におけるマクロブロックＭＢの近傍の参照画像データ（図７の網掛け部分に対応するデータ）がキャッシュメモリに存在しているため、ロードキャッシュミスの発生回数が低減される。

図８は、第１実施形態における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況（画像分割数が３である場合）を示している。第１実施形態における符号化データ（画像分割数が３である場合）を復号化する際には、まず、参照画像Ｐの部分画像Ｐ１における第１行（図８（１））について先頭列のマクロブロックＭＢから順番に復号化される。そして、部分画像Ｐ１の第１行における最終列のマクロブロックＭＢの復号化が完了すると、部分画像Ｐ１の第２行（図８（２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、部分画像Ｐ１の第３行（図８（３））、第４行（図８（４））、・・・、第ｎ行（図８（ｎ））におけるマクロブロックＭＢが順番に復号化される。

部分画像Ｐ１の第ｎ行におけるマクロブロックＭＢの復号化が完了すると、参照画像Ｐの部分画像Ｐ２の第１行（図８（ｎ＋１））におけるマクロブロックＭＢが順番に復号化される。そして、部分画像Ｐ２の第１行における最終列のマクロブロックＭＢの復号化が完了すると、部分画像Ｐ２の第２行（図８（ｎ＋２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、部分画像Ｐ２の第３行（図８（ｎ＋３））、第４行（図８（ｎ＋４））、・・・、第ｎ行（図８（ｎ＋ｎ））におけるマクロブロックＭＢが順番に復号化される。

部分画像Ｐ２の第ｎ行におけるマクロブロックＭＢの復号化が完了すると、参照画像Ｐの部分画像Ｐ３の第１行（図８（２ｎ＋１））におけるマクロブロックＭＢが順番に復号化される。そして、部分画像Ｐ３の第１行における最終列のマクロブロックＭＢの復号化が完了すると、部分画像Ｐ３の第２行（図８（２ｎ＋２））について先頭列のマクロブロックＭＢから順番に復号化される。以降、同様に、部分画像Ｐ３の第３行（図８（２ｎ＋３））、第４行（図８（２ｎ＋４））、・・・、第ｎ行（図８（２ｎ＋ｎ））におけるマクロブロックＭＢが順番に復号化される。

動画像復号化装置（プロセッサ）のキャッシュメモリの容量が参照画像Ｐの横サイズの１／３であると仮定すると、部分画像Ｐ１の第１行におけるマクロブロックＭＢの復号化が完了して部分画像Ｐ１における第２行におけるマクロブロックＭＢの復号化に移行した際に、部分画像Ｐ１の第２行におけるマクロブロックＭＢの近傍の参照画像データ（図８の網掛け部分に対応するデータ）がキャッシュメモリに存在しているため、ロードキャッシュミスの発生回数が低減される。

このように、第１実施形態では、画像分割数設定部１１により設定される画像分割数に応じて符号化部１２の符号化処理順序を変更できるため、符号化データ（符号化部１２の符号化結果）の復号化に用いられるキャッシュメモリの容量が動画像の解像度に対して十分に大きくない場合でもロードキャッシュミスの発生を抑制できる。

図９は、本発明の第２実施形態を示している。なお、第２実施形態を説明するにあたって、第１実施形態で説明した要素と同一の要素については、第１実施形態で使用した符号と同一の符号を使用し、詳細な説明を省略する。

第２実施形態の動画像符号化装置２０は、第１実施形態（図１）の動画像符号化装置１０において画像分割数設定部１１を画像分割数設定部２１に置き換えて構成されている。画像分割数設定部２１は、プロセッサ数設定部２１ａを備えて構成されている。プロセッサ数設定部２１ａは、動画像符号化装置２０（符号化部１２）により生成される符号化データを復号化するための動画像復号化装置（図示せず）を構成するプロセッサの数を設定する。

図１０は、第２実施形態における動画像符号化装置の動作を示している。前述のような構成の動画像符号化装置２０では、動画像符号化装置２０による入力データの受信に伴って、符号化部１２は、画像分割数設定部２１のプロセッサ数設定部２１ａにより保持されているプロセッサ数を画像分割数として取得する（ステップＳ２１）。そして、第１実施形態と同様に、符号化部１２は、符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する（ステップＳ２２）。このような第２実施形態でも、第１実施形態と同様の効果が得られる。

図１１は、本発明の第３実施形態を示している。なお、第３実施形態を説明するにあたって、第１実施形態で説明した要素と同一の要素については、第１実施形態で使用した符号と同一の符号を使用し、詳細な説明を省略する。

第３実施形態の動画像符号化装置３０は、第１実施形態（図１）の動画像符号化装置１０において画像分割数設定部１１を画像分割数設定部３１に置き換えて構成されている。画像分割数設定部３１は、画像情報設定部３１ａ、キャッシュ情報設定部３１ｂおよび画像分割数算出部３１ｃを備えて構成されている。画像情報設定部３１ａは、符号化対象画像に関する情報（画像サイズ、輝度色差フォーマット、マクロブロックサイズ、参照画像枚数など）を設定する。キャッシュ情報設定部３１ｂは、動画像符号化装置３０（符号化部１２）により生成される符号化データを復号化するための動画像復号化装置（図示せず）を構成するプロセッサのキャッシュメモリに関する情報（容量、方式など）を設定する。

画像分割数算出部３１ｃは、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂにより保持されている情報を取得し、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂから取得した情報に基づいて画像分割数を算出する。例えば、画像分割数算出部３１ｃにより算出される画像分割数divnumは、輝度色差フォーマットが４：２：０フォーマットである場合、切り上げ関数ceiling()、画像横サイズhsize、マクロブロック縦サイズmbvsize、参照画像枚数refnumおよびキャッシュサイズ（キャッシュメモリの容量）csizeを用いて式（１）で表される。
divnum＝ceiling((1.5×mbvsize×refnum×hsize)／csize) …（１）
図１２は、第３実施形態における動画像符号化装置の動作を示している。前述のような構成の動画像符号化装置３０では、動画像符号化装置３０による入力データの受信に伴って、画像分割数算出部３１ｃは、画像情報設定部３１ａにより保持されている情報およびキャッシュ情報設定部３１ｂにより保持されている情報を順次取得する（ステップＳ３１、Ｓ３２）。次に、画像分割数算出部３１ｃは、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂから取得した情報に基づいて画像分割数を算出する（ステップＳ３３）。そして、符号化部１２は、画像分割数設定部３１の画像分割数算出部３１ｃにより算出された画像分割数を取得する（ステップＳ３４）。この後、第１実施形態と同様に、符号化部１２は、符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する（ステップＳ３５）。このような第３実施形態でも、第１実施形態と同様の効果が得られる。

図１３は、本発明の第４実施形態を示している。なお、第４実施形態を説明するにあたって、第１〜第３実施形態で説明した要素と同一の要素については、第１〜第３実施形態で使用した符号と同一の符号を使用し、詳細な説明を省略する。

第４実施形態の動画像符号化装置４０は、第１実施形態（図１）の動画像符号化装置１０において画像分割数設定部１１を画像分割数設定部４１に置き換えて構成されている。画像分割数設定部４１は、プロセッサ数設定部２１ａ（第２実施形態（図９））と、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂ（第３実施形態（図１１））と、画像分割数算出部４１ａとを備えて構成されている。

画像分割数算出部４１ａは、プロセッサ数設定部２１ａ、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂにより保持されている情報を取得し、プロセッサ数設定部２１ａ、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂから取得した情報に基づいて画像分割数を算出する。例えば、画像分割数算出部４１ａにより算出される画像分割数divnumは、輝度色差フォーマットが４：２：０フォーマットである場合、切り上げ関数ceiling()、画像横サイズhsize、マクロブロック縦サイズmbvsize、参照画像枚数refnum、キャッシュサイズcsizeおよびプロセッサ数pnumを用いて式（２）で表される。
divnum＝ceiling((1.5×mbvsize×refnum×hsize／pnum)／csize)×pnum …（２）
図１４は、第４実施形態における動画像符号化装置の動作を示している。前述のような構成の動画像符号化装置４０では、動画像符号化装置４０による入力データの受信に伴って、画像分割数算出部４１ａは、プロセッサ数設定部２１ａにより保持されている情報、画像情報設定部３１ａにより保持されている情報およびキャッシュ情報設定部３１ｂにより保持されている情報を順次取得する（ステップＳ４１、Ｓ４２、Ｓ４３）。次に、画像分割数算出部４１ａは、プロセッサ数設定部２１ａ、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂから取得した情報に基づいて画像分割数を算出する（ステップＳ４４）。そして、符号化部１２は、画像分割数設定部４１の画像分割数算出部４１ａにより算出された画像分割数を取得する（ステップＳ４５）。この後、第１実施形態と同様に、符号化部１２は、符号化対象画像を画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する（ステップＳ４６）。このような第４実施形態でも、第１実施形態と同様の効果が得られる。

なお、第３実施形態（図１２）では、画像分割数算出部３１ｃが画像情報設定部３１ａから情報を取得した後にキャッシュ情報設定部３１ｂから情報を取得する例について述べたが、本発明はかかる実施形態に限定されるものではなく、画像分割数算出部３１ｃがキャッシュ情報設定部３１ｂから情報を取得した後に画像情報設定部３１ａから情報を取得するようにしてもよいことは言うまでもない。

同様に、第４実施形態（図１４）では、画像分割数算出部４１ａが、プロセッサ数設定部２１ａから情報を取得した後に画像情報設定部３１ａから情報を取得し、画像情報設定部３１ａから情報を取得した後にキャッシュ情報設定部３１ｂから情報を取得する例について述べたが、本発明はかかる実施形態に限定されるものではなく、画像分割数算出部４１ａがプロセッサ数設定部２１ａ、画像情報設定部３１ａおよびキャッシュ情報設定部３１ｂから情報を取得する順序を変更してもよいことは言うまでもない。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像分割数を設定する画像分割数設定部と、
動画像を構成する符号化対象画像を前記画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する符号化部とを備えることを特徴とする動画像符号化装置。
（付記２）
付記１に記載の動画像符号化装置において、
前記画像分割数設定部は、前記符号化部の符号化結果を復号化する際に用いられるプロセッサの数を前記画像分割数に設定することを特徴とする動画像符号化装置。
（付記３）
付記１に記載の動画像符号化装置において、
前記画像分割数設定部は、
前記符号化対象画像に関する情報を設定する画像情報設定部と、
前記符号化部の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定するキャッシュ情報設定部と、
前記画像情報設定部および前記キャッシュ情報設定部により設定される情報に基づいて前記画像分割数を算出する画像分割数算出部とを備えることを特徴とする動画像符号化装置。
（付記４）
付記１に記載の動画像符号化装置において、
前記画像分割数設定部は、
前記符号化部の符号化結果を復号化する際に用いられるプロセッサの数を設定するプロセッサ数設定部と、
前記符号化対象画像に関する情報を設定する画像情報設定部と、
前記符号化部の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定するキャッシュ情報設定部と、
前記プロセッサ数設定部、前記画像情報設定部および前記キャッシュ情報設定部により設定される情報に基づいて前記画像分割数を算出する画像分割数算出部とを備えることを特徴とする動画像符号化装置。
（付記５）
付記１に記載の動画像符号化装置において、
前記部分画像は、第１部分画像と第２部分画像とを含み、
前記符号化処理により生成される符号化データは、前記第１部分画像の符号化データに前記第２部分画像の符号化データが続く構造であることを特徴とする動画像符号化装置。
（付記６）
付記１に記載の動画像符号化装置において、
前記部分画像は、第１部分画像と第２部分画像とを含み、
前記符号化部は、前記第１部分画像の符号化処理を実施した後に、前記第２部分画像の符号化処理を実施することを特徴とする動画像符号化装置。
（付記７）
画像分割数を設定する画像分割数設定工程と、
動画像を構成する符号化対象画像を前記画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する符号化工程とを含むことを特徴とする動画像符号化方法。
（付記８）
付記７に記載の動画像符号化方法において、
前記画像分割数設定工程では、前記符号化工程の符号化結果を復号化する際に用いられるプロセッサの数が前記画像分割数に設定されることを特徴とする動画像符号化方法。
（付記９）
付記７に記載の動画像符号化方法において、
前記画像分割数設定工程は、
前記符号化対象画像に関する情報を設定する画像情報設定工程と、
前記符号化工程の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定するキャッシュ情報設定工程と、
前記画像情報設定工程および前記キャッシュ情報設定工程により設定される情報に基づいて前記画像分割数を算出する画像分割数算出工程とを含むことを特徴とする動画像符号化方法。
（付記１０）
付記７に記載の動画像符号化方法において、
前記画像分割数設定工程は、
前記符号化工程の符号化結果を復号化する際に用いられるプロセッサの数を設定するプロセッサ数設定工程と、
前記符号化対象画像に関する情報を設定する画像情報設定工程と、
前記符号化工程の符号化結果を復号化する際に用いられるキャッシュメモリに関する情報を設定するキャッシュ情報設定工程と、
前記プロセッサ数設定工程、前記画像情報設定工程および前記キャッシュ情報設定工程により設定される情報に基づいて前記画像分割数を算出する画像分割数算出工程とを含むことを特徴とする動画像符号化方法。
（付記１１）
付記７に記載の動画像符号化方法において、
前記部分画像は、第１部分画像と第２部分画像とを含み、
前記符号化処理により生成される符号化データは、前記第１部分画像の符号化データに前記第２部分画像の符号化データが続く構造であることを特徴とする動画像符号化方法。
（付記１２）
付記７に記載の動画像符号化方法において、
前記部分画像は、第１部分画像と第２部分画像とを含み、
前記符号化工程では、前記第１部分画像の符号化処理が実施された後に、前記第２部分画像の符号化処理が実施されることを特徴とする動画像符号化方法。

以上、本発明について詳細に説明してきたが、前述の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれらに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本発明は、動き補償を用いた符号化処理を実施する動画像符号化装置に適用して有用なものである。

本発明の第１実施形態を示すブロック図である。 第１実施形態における動画像符号化装置の動作を示すフロー図である。 第１実施形態における符号化処理順序および符号化データの構造（画像分割数が２である場合）を示す概念図である。 第１実施形態における符号化処理順序および符号化データの構造（画像分割数が３である場合）を示す概念図である。 第１実施形態における符号化処理の一例を示すフロー図である。 第１実施形態における符号化処理の別例を示すフロー図である。 第１実施形態における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況（画像分割数が２である場合）を示す概念図である。 第１実施形態における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況（画像分割数が３である場合）を示す概念図である。 本発明の第２実施形態を示すブロック図である。 第２実施形態における動画像符号化装置の動作を示すフロー図である。 本発明の第３実施形態を示すブロック図である。 第３実施形態における動画像符号化装置の動作を示すフロー図である。 本発明の第４実施形態を示しブロック図である。 第４実施形態における動画像符号化装置の動作を示すフロー図である。 従来技術における符号化データを復号化する際の復号化処理順序およびキャッシュメモリの状況を示す概念図である。

１０、２０、３０、４０‥動画像符号化装置；１１、２１、３１、４１‥画像分割数設定部；１２‥符号化部；２１ａ‥プロセッサ数設定部；３１ａ‥画像情報設定部；３１ｂ‥キャッシュ情報設定部；３１ｃ、４１ａ‥画像分割数算出部

Claims (6)

1. 画像分割数を設定する画像分割数設定部と、
   動画像を構成する符号化対象画像を前記画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する符号化部とを備え、
   前記画像分割数設定部は、
   前記符号化対象画像の画像サイズ、輝度色差フォーマット、マクロブロックサイズ、または参照画像枚数を設定する画像情報設定部と、
   前記符号化部の符号化結果を復号化する際に用いられるキャッシュメモリの容量、またはキャッシュ方式を設定するキャッシュ情報設定部と、
   前記画像情報設定部および前記キャッシュ情報設定部により設定される情報に基づいて前記画像分割数を算出する画像分割数算出部とを備えることを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記画像分割数設定部は、前記符号化部の符号化結果を復号化する際に用いられるプロセッサの数を設定するプロセッサ数設定部を更に備え、
   前記画像分割数算出部は、前記プロセッサ数設定部、前記画像情報設定部および前記キャッシュ情報設定部により設定される情報に基づいて前記画像分割数を算出することを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、
   前記部分画像は、第１部分画像と第２部分画像とを含み、
   前記符号化処理により生成される符号化データは、前記第１部分画像の符号化データに前記第２部分画像の符号化データが続く構造であることを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、
   前記部分画像は、第１部分画像と第２部分画像とを含み、
   前記符号化部は、前記第１部分画像の符号化処理を実施した後に、前記第２部分画像の符号化処理を実施することを特徴とする動画像符号化装置。
5. 画像分割数を設定する画像分割数設定工程と、
   動画像を構成する符号化対象画像を前記画像分割数と同数の部分画像に分割し、部分画像毎に動き補償を用いた符号化処理を実施する符号化工程とを含み、
   前記画像分割数設定工程は、
   前記符号化対象画像の画像サイズ、輝度色差フォーマット、マクロブロックサイズ、または参照画像枚数を設定する画像情報設定工程と、
   前記符号化工程の符号化結果を復号化する際に用いられるキャッシュメモリの容量、またはキャッシュ方式を設定するキャッシュ情報設定工程と、
   前記画像情報設定工程および前記キャッシュ情報設定工程により設定される情報に基づいて前記画像分割数を算出する画像分割数算出工程とを含むことを特徴とする動画像符号化方法。
6. 請求項５に記載の動画像符号化方法において、
   前記画像分割数設定工程は、前記符号化工程の符号化結果を復号化する際に用いられるプロセッサの数を設定するプロセッサ数設定工程を更に含み、
   前記画像分割数算出工程は、前記プロセッサ数設定工程、前記画像情報設定工程および前記キャッシュ情報設定工程により設定される情報に基づいて前記画像分割数を算出することを特徴とする動画像符号化方法。

Images