JP5698156B2 - 復号装置、復号方法、および編集装置 - Google Patents

Description

本発明は、符号化されたデータの復号装置および復号方法に関し、特に複数のプロセッサが並列的に動作する符号化データの復号処理に関する。

ＣＰＵがプログラムを実行するときの処理の単位として、プロセスとスレッドがある。オペレーティングシステムのマルチタスク機能を利用して、複数のプロセスは並列的に動作することができる。複数のプロセスが並列的に動作して処理を行うことはマルチプロセスと呼ばれる。しかし、個々のプロセス間では基本的にメモリが共有されないため、同一メモリ上のデータへのアクセスが必要な処理を行う場合、マルチプロセスでは処理効率が悪い。

一方、１つのプログラムは、複数のスレッドを生成して各スレッドを並列的に動作させることができる。複数のスレッドが並列的に動作して処理を行うことはマルチスレッドと呼ばれる。個々のスレッド間ではメモリが共有されるので、同一メモリ上のデータへのアクセスが必要な処理を行う場合、マルチスレッドの方が、処理効率が良い。複数のＣＰＵに対して個々のスレッドを割り当てて処理を行うことにより、処理効率はさらに上がる。

特開２０００−２０３２３号公報 特開２００８−１１８６１６号公報

以下では、ＣＰＵリソースを利用して処理を実行するＮ個の処理部を効率的に使って、１つの処理を、独立に実行できるＭ個の処理単位に分割して処理することを考える。ただし、Ｎ，Ｍは整数であり、Ｎ≧１、Ｍ≧１とする。これらＭ個の処理単位は、ＭＰＥＧ２のスライスとする。Ｎ個の処理部はＮ個のプロセッサ（ＣＰＵコア）に一対一に対応するものとする。

すべてのスライスを処理し終えるまで、すべての処理部になるべく均等に処理を割り当てることで、処理部を効率的に使用することができる。また、処理部のアイドル時間を減らし、全体の処理時間を短くすることができる。ただし、スライスの処理中に、Ｉ／Ｏ処理（入出力処理）などによって処理部がアイドル状態になることはないと仮定する。

Ｍ≦Ｎのとき、Ｍ個のスライスをＮ個の処理部のうちのＭ個に一対一に対応させ、それぞれのスライスをそれぞれの処理部で処理することが効率的であることは明らかである。

ＭがＮよりも十分に大きい場合で、各スライスの処理時間が事前に分かっている、もしくは各スライスの処理時間をある程度の正確さで予測できるときには、処理時間がなるべく均等になるように、Ｍ個のスライスを処理部の数と同じＮ個のグループに分け、Ｎ個のグループをＮ個の処理部に一対一に対応させればよい。このようにすることで、Ｍ≦Ｎのときと同様にそれぞれのスライスをそれぞれの処理部で処理することができる。

しかしながら、ＭがＮよりも十分に大きい場合で、例えば、ＭがＮの整数倍とならないときや、各スライスの処理時間が事前に分からない、もしくは各スライスの処理時間を正確に予測できないときに、スライスを処理部に効率的に割り当てることは困難である。このような場合、複数のスライスで構成されるデータを処理する場合に、十分な処理速度を得ることができないという問題点がある。

そこで、本発明の目的は、新規かつ有用な復号装置、復号方法、および編集装置を提供することである。本発明の具体的な目的は、符号化されたデータを復号する際の処理速度を向上した復号装置、復号方法、および編集装置を提供することである。

本発明の一観点によれば、画像または音声の符号化データを復号する装置であって、前記符号化データを供給するソースであって、該符号化データが独立して復号可能な複数の要素データからなり、該複数の要素データの各々が少なくとも一つのブロックからなる、前記ソースと、前記少なくとも一つのブロックのうち、最初に処理される第１のブロックを特定するブロック情報を生成する第１の処理手段と、前記第１のブロックの後続のブロックを特定するブロック情報を、その対応する要素データにおける復号処理の順序に基づいて、生成する複数の第２の処理手段と、前記生成されたブロック情報のうち、未参照の１つのブロック情報を参照することにより特定されるブロックを、並列して復号する複数の復号手段と、前記復号されたブロックを格納するとともに、そのブロックに対応する復号された要素データを形成する記憶手段と、を備える、前記装置が提供される。

本発明によれば、複数の復号手段が、要素データを構成するブロックを処理単位として要素データを復号する。復号の際は、未参照の１つのブロック情報を参照することにより特定されるブロックが復号される。また、最初のブロックの後続のブロックを特定するブロック情報が、その対応する要素データにおける復号処理の順序に基づいて、生成される。このため、ブロック情報に従って、予め定められている処理の順番で各ブロックが復号される。このように、要素データを構成するブロックを処理単位とすることで、要素データを処理単位とするよりも、いずれかの復号手段が処理の順番待ちのために処理対象が供給されずに休止することを抑制できる。そのため、復号手段全体の休止時間の合計が減少する。その結果、復号手段全体の利用効率が高まる。よって、符号化されたデータを復号する際の処理速度を向上することが可能となる。

本発明の他の観点によれば、画像または音声の符号化データを復号する方法であって、プロセッサが、前記符号化データに含まれる複数の要素データの各々を構成する少なくとも一つのブロックのうち、最初に処理されるブロックを特定するブロック情報を生成するステップであって、前記要素データが独立して復号可能であり、前記ブロックが、対応する要素データにおいて復号処理の順序が付けられる、前記ステップと、複数のプロセッサが並列に、生成された未参照の１つのブロック情報を参照することにより特定されるブロックを復号するステップと、複数のプロセッサが並列に、前記復号処理の順序に基づいて、復号したブロックが構成する要素データに属する、次のブロックを特定するブロック情報を生成するステップと、すべてのブロックを復号するまで、復号するステップと次のブロックを特定するブロック情報を生成するステップとを繰り返すステップと、を含む、前記方法が提供される。

本発明によれば、複数のプロセッサが、要素データを構成するブロックを処理単位として要素データを復号する。復号の際は、未参照の１つのブロック情報を参照することにより特定されるブロックが復号される。次いで、復号されたブロックが構成する要素データに属する、次のブロックを特定するブロック情報が生成される。このため、ブロック情報に従って、予め定められている処理の順番で、各ブロックが復号される。このように、要素データを構成するブロックを処理単位とすることで、要素データを処理単位とするよりも、いずれかの復号手段が処理の順番待ちのために処理対象が供給されずに休止することを抑制できる。そのため、復号手段全体の休止時間の合計が減少する。その結果、復号手段全体の利用効率が高まる。よって、符号化されたデータを復号する際の処理速度を向上することが可能となる。

本発明によれば、符号化されたデータを復号する際の処理速度を向上した復号装置、復号方法、および編集装置を提供できる。

本発明の第１の実施形態に係る復号装置の構成を示すブロック図である。 ＭＰＥＧ−２のスライスとマクロブロックを示す図である。 本発明の第１の実施形態に係る復号装置の機能構成図である。 各ワーカー処理部にブロックを割り当てる様子を示す図である。 本発明の第１の実施形態に係るメイン処理部の復号処理を示すフローチャートである。 本発明の第１の実施形態に係るワーカー処理部の復号処理を示すフローチャートである。 本発明の第１の実施形態に係るワーカー処理部の他の復号処理を示すフローチャートである。 スライスとブロックの例を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 １スライス当たりのブロックの数Ｋに対するスピードアップ率Ｒを示すグラフである。 スライスとブロックの例を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 スライスとブロックの例を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 スライスとブロックの例を示す図である。 ２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。 キューの状態を示す図である。 本発明の第２の実施形態に係る編集装置のハードウェア構成を示すブロック図である。 本発明の第２の実施形態に係る編集装置の機能構成図である。 本発明の第２の実施形態に係る編集装置の編集画面の一例を示す図である。 本発明の第２の実施形態に係る編集方法を示すフローチャートである。

以下、図面に基づいて本発明に係る実施形態を説明する。

｛第１の実施形態｝
本発明の第１の実施形態は、符号化された画像データを復号する復号装置および復号方法についての例である。以下の具体例では、第１の実施形態に係る復号装置および復号方法が、符号化された画像データに対してＭＰＥＧ−２に準拠した復号処理を実行するとして説明する。

図１は、本発明の第１の実施形態に係る復号装置の構成を示すブロック図である。

図１を参照するに、復号装置１０は、復号処理を実行する複数のＣＰＵ２０，２１と、符号化された画像データを記憶するＲＡＭ２２と、ＣＰＵ２０，２１が実行するプログラムを格納したＲＯＭ２３と、ＣＰＵ２０，２１、ＲＡＭ２２、ＲＯＭ２３を接続するバス２４とを有している。

ＣＰＵ２０，２１は、ＲＯＭ２３に記録されているプログラムをＲＡＭ２２に展開し、復号処理を実行する。ＣＰＵ２０，２１はそれぞれ１個ずつプロセッサ（ＣＰＵコア）を有しているが、ＣＰＵ２０，２１の少なくとも一方が２個以上のプロセッサを有するＣＰＵモジュールとして構成されていてもよい。復号装置１０が有するプロセッサの数は２個以上であれば何個でもよい。

ＲＡＭ２２は、符号化された画像データなどを記憶している。

符号化された画像データは、この画像データを構成する要素であるスライスを複数備えている。スライスは複数のブロックで構成されており、ブロック単位で復号される。説明を簡単にするため、スライスとブロックは以下のように定義される。すなわち、スライスはＭＰＥＧ−２のスライスである。また、ブロックはＭＰＥＧ−２のマクロブロックである。

図２は、ＭＰＥＧ−２のスライスとマクロブロックを示す図である。

図２を参照するに、ＭＰＥＧ−２では１枚の画面１０００が１６ライン幅のスライス１１００で構成されている。スライス１１００は１６ライン×１６画素のマクロブロック１２００で構成されている。

第１の実施形態では、スライスを構成するブロックの単位で処理部に復号処理が割り当てられる。ブロックは、スライスよりもデータサイズが小さい。ブロックの単位で処理部に復号処理を割り当てることで、従来よりも処理部に対する復号処理の割り当てがより効率的となる。以下では、説明を簡単にするため、符号化フレームのうち、Ｉ（Ｉｎｔｒａ）フレームのみを使用すると仮定する。なお、以下の説明は、同様にＰ（Ｐｒｅｄｉｃｔｉｖｅ）フレームやＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ）フレームの復号処理にも拡張できる。

図３は、本発明の第１の実施形態に係る復号装置の機能構成図である。

図３を参照するに、復号装置１０は、復号処理部３０として動作する。ＣＰＵ２０は、ＲＡＭ２２上に展開されるプログラムによって、メイン処理部３１、ワーカー処理部３２ａ、スライスデコーダ３３ａとして動作する。ＣＰＵ２１は、ＲＡＭ２２上に展開されるプログラムによって、ワーカー処理部３２ｂ、スライスデコーダ３３ｂとして動作する。

メイン処理部３１は、各スライスのブロックの復号処理を開始するために必要な処理を実行する。図３では、ＣＰＵ２０にメイン処理部３１が割り当てられているが、ＣＰＵ２１にメイン処理部３１が割り当てられていてもよい。ワーカー処理部３２ａ，３２ｂは、スライスデコーダ３３ａ，３３ｂにブロックを割り当て、割り当てたブロックの復号処理を実行させる。

スライスデコーダ３３ａ，３３ｂは、ワーカー処理部３２ａ，３２ｂによって割り当てられたブロックの復号処理を実行する。各ワーカー処理部と各スライスデコーダは一対一の対応関係を有する。すなわち、ワーカー処理部３２ａはスライスデコーダ３３ａと対応関係を有しており、スライスデコーダ３３ａにブロックを割り当て、割り当てたブロックの復号処理を実行させる。また、ワーカー処理部３２ｂはスライスデコーダ３３ｂと対応関係を有しており、スライスデコーダ３３ｂにブロックを割り当て、割り当てたブロックの復号処理を実行させる。この例では、スライスデコーダがソフトウェアで実現されることを想定しているが、ハードウェアで実現されてもよい。

ＲＡＭ２２は、キュー３４、スライスバッファ３５、ビデオメモリ３６、スライスコンテキスト３７、カウンタ３８を有している。

キュー３４にはラッパーブロックが格納される。ラッパーブロックは、処理対象のブロックの情報を含む。スライスバッファ３５には、符号化されたスライスが格納される。ビデオメモリ３６には、復号処理されたスライスが格納される。スライスコンテキスト３７には、スライスの復号処理の状態に関する情報が格納される。スライスの復号処理の状態に関する情報は、具体的にはスライスの符号の開始位置の情報と、そのスライスの出力先のビデオメモリ３６の位置の情報とを含む。カウンタ３８には、復号処理の開始時に初期化され各スライスの復号処理が完了するごとに更新される値が格納される。

スライスデコーダ３３ａ，３３ｂによる復号処理は、より詳細には以下のように行われる。スライスコンテキスト３７は、スライスの符号の開始位置の情報と、そのスライスの出力先のビデオメモリ３６の位置の情報とが与えられて初期化される。スライスデコーダ３３ａ，３３ｂは、与えられたスライスコンテキスト３７に従って、スライスの先頭のブロックから１個ずつ順番にブロックを復号し、復号したブロックをビデオメモリ３６に出力する。スライスデコーダ３３ａ，３３ｂは、スライスのブロックを復号する毎にスライスコンテキスト３７を更新する。

＜スライスを構成するブロック＞
ＭＰＥＧ−２のスライスは、独立に復号処理できるデータであるが、同じスライスに属するブロック（マクロブロック）は、スライス先頭のブロックを除いて、次の３つの依存関係を持つ。

（１）ＤＣ予測：ラスタ順で１個前のブロックから現在のブロックのＤＣ成分が予測される。

（２）量子化スケール：ラスタ順で１個前のブロックの量子化スケールと同じ量子化スケールを使う場合、ブロックの量子化スケールを省略できる。

（３）符号の開始位置：あるブロックの符号の開始位置は、それまでのブロックの符号をすべて復号しなければ明らかにならない。

上記のＤＣ予測、量子化スケール、符号の開始位置はスライスコンテキストとして保存される。

符号化されたストリームの各スライスを復号するには、ＭＰＥＧヘッダ（シーケンスヘッダやピクチャヘッダなど）に含まれる、スライスに共通の情報（クロマサブサンプリング、ＤＣ精度、量子化マトリクスなど）が必要である。説明を簡単にするため、スライスが復号される前にこの情報が解析され、スライスデコーダに暗黙的にこの情報が与えられると仮定する。

各スライスの符号の開始位置は、ストリーム中のスライスヘッダによって合図される。ストリームからこのスライスヘッダを探すことで、各スライスの符号の開始位置が得られる。ただし、スライス中のブロックの符号の開始位置を復号処理される前に予め知ることはできない。

本発明の第１の実施形態では、スライスＳはＫ個のブロックに分割する。１つのスライスＳを分割したＫ個のブロックをＳ^０／Ｋ，Ｓ^１／Ｋ，・・・Ｓ^{（Ｋ−１）／Ｋ}とする。なお、ブロックの個数Ｋは１以上であれば、いずれの整数を選択してもよいが、以下の点を考慮することが好ましい。

スライスをブロックに分割する方法は任意であるが、分割幅は適当に決める必要がある。分割幅はブロックの処理時間と関係するため、分割幅が大きすぎると、各ワーカー処理部に処理を均等に割り当てることが難しくなる。逆に、分割幅が小さすぎると、キューへのアクセス、スライスの処理状態（スライスコンテキスト）の保存・復元、スライスの処理におけるキャッシュミスなどによるオーバーヘッドが増加する。

＜ブロックの依存関係（ラッパーブロック）＞
１つのスライスＳを構成するＫ個のブロックＳ^０／Ｋ，Ｓ^１／Ｋ，・・・Ｓ^{（Ｋ−１）／Ｋ}には依存関係（逐次性）がある。依存関係とは、２つのブロックに関して、一方のブロックの処理を開始する前に他方のブロックの処理が完了しているということである。この依存関係は、Ｓ^０／Ｋ→Ｓ^１／Ｋ→・・・Ｓ^{（Ｋ−１）／Ｋ}と表される。Ｓ^ｋ／Ｋ→Ｓ^{（ｋ＋１）／Ｋ}（ｋ＝０，・・・，Ｋ−１）は、ブロックＳ^{（ｋ＋１）／Ｋ}の処理を開始する前にブロックＳ^ｋ／Ｋの処理が完了していることを表す。

ラッパーブロックは、各スライスＳのブロックの処理の依存関係の情報を有し、特に、処理対象のブロックを特定する情報を含んでいる。各スライスＳのラッパーブロックＷ^ｋ／Ｋがキュー３４から取り出されると、以下の処理が実行される。

０≦ｋ＜Ｋ−１の場合：ブロックＳ^ｋ／Ｋが処理される。その後、次に処理されるブロックＳ^{（ｋ＋１）／Ｋ}に関するラッパーブロックＷ^{（ｋ＋１）／Ｋ}がキューに追加される。

ｋ＝Ｋ−１の場合：ブロックＳ^ｋ／Ｋが処理され、スライスＳの復号処理が完了する。

復号処理の初期状態において、各スライスの最初のラッパーブロックＷ^０／Ｋが生成され、キュー３４に格納される。ワーカー処理部３２ａ，３２ｂは、スライスＳのラッパーブロックＷ^ｋ／Ｋをキュー３４から取り出して、ラッパーブロックＷ^ｋ／Ｋが指定するスライスＳのブロックＳ^ｋ／Ｋの処理を行った後、スライスＳの次のブロックＳ^{（ｋ＋１）／Ｋ}の処理に関するラッパーブロックＷ^{（ｋ＋１）／Ｋ}をキューに追加する。このようにすることで、スライスＳのブロックＳ^{（ｋ＋１）／Ｋ}の処理を開始する前にスライスＳのブロックＳ^ｋ／Ｋの処理が完了しているという依存関係が保証される。

＜キューの制御＞
図４は、各ワーカー処理部にラッパーブロックを割り当てる様子を示す図である。図４を参照するに、キュー３４には処理待ちのラッパーブロックが置かれ、ワーカー処理部３２ａ，３２ｂはキュー３４からラッパーブロックを取り出し、取り出したラッパーブロックを処理する。

図４に示す例では、キュー３４は３つのラッパーブロックを格納することができる。キュー３４にラッパーブロックが追加されるときには、ラッパーブロックからなる列の最後尾にラッパーブロックが追加される。また、キュー３４からラッパーブロックが取り出されるときには、ラッパーブロックからなる列の先頭のラッパーブロックが取り出される。ただし、ラッパーブロックに優先度を関連付けておき、キュー３４に格納されたラッパーブロックを、そのラッパーブロックに関連付けられた優先度の高い順に取り出してもよい。図４では、キュー３４に３つのラッパーブロックＡ，Ｂ，Ｃが格納された状態において、ラッパーブロック列の先頭のブロックＡが取り出され、取り出されたラッパーブロックＡがワーカー処理部３２ａによって処理される様子が示されている。

キュー３４からラッパーブロックを取り出す、あるいはキュー３４にラッパーブロックを追加するため、複数のワーカー処理部が同時にキュー３４にアクセスすると、そのアクセスは排他制御される。すなわち、同時に１つのワーカー処理部からのアクセスのみが許可され、他のワーカー処理部がアクセスできない。この制御によって、２つ以上のワーカー処理部が同一のラッパーブロックをキュー３４から取り出して処理することはなくなり、キュー３４の状態の整合性が保たれる。

＜ブロックを処理する優先度＞
スライスを分割したブロックに対して、優先度という指標を与え、複数のスライスについてそれぞれブロックがキュー３４にある場合に、優先度の高いブロックを優先的に処理することで、ワーカー処理部３２ａ，３２ｂに対する処理の割り当てが、より効率的になりやすくなる。本発明の第１の実施形態では、３つの優先度Ｐ_０，Ｐ_１，Ｐ_２が定義される。それぞれの優先度はブロック毎に与えられる。

優先度Ｐ_０は、スライスにおけるブロックの処理の進捗割合に基づく指標である。ブロックＳ^ｋ／Ｋの優先度Ｐ_０（Ｓ^ｋ／Ｋ）は、ブロックＳ^ｋ／Ｋを含む以降のブロックの処理時間とスライスＳ全体の処理時間の比として（１）式のように定義される。

（１）式において、Ｔ（Ｓ^ｊ／Ｋ）はブロックＳ^ｊ／Ｋの処理時間であり、Ｔ（Ｓ）はスライスＳ全体の処理時間である。実際には、Ｔ（Ｓ^ｊ／Ｋ）とＴ（Ｓ）が未知であっても、それらの比がある程度の正確さで予測できれば、優先度Ｐ_０を求めることができる。（１）式は（２）式と等価である。

（２）式は、進捗割合の低いスライスのブロックが優先的に処理されることを示している。各ブロックの処理時間が同一であると仮定すると、Ｋ個のブロックのうちブロックＳ^０／ＫからブロックＳ^{ｋ−１／Ｋ}までのｋ個のブロックの処理が終了したときの進捗割合はｋ／Ｋと表される。したがって、（２）式から優先度Ｐ_０は（３）式となる。

優先度Ｐ_１は、スライスにおける未処理のブロックの処理時間に基づく指標である。ブロックＳ^ｋ／Ｋの優先度Ｐ_１（Ｓ^ｋ／Ｋ）は、ブロックＳ^ｋ／Ｋを含む以降のブロックの処理時間として（４）式のように定義される。

（４）式において、Ｔ（Ｓ^ｊ／Ｋ）はブロックＳ^ｊ／Ｋの処理時間である。

Ｔ（Ｓ^ｊ／Ｋ）が未知の場合には、例えば、処理が終了しているブロックの処理時間からＴ（Ｓ^ｊ／Ｋ）を予測すればよい。（４）式は、残りの処理時間（残りの処理時間の予測値）が長いスライスのブロックが優先的に処理されることを示している。

優先度Ｐ_２は、ブロックに対応するラッパーブロックがキュー３４に追加されたタイミングに基づく指標である。ブロックＳ^ｋ／Ｋの優先度Ｐ_２（Ｓ^ｋ／Ｋ）は、ブロックＳ^ｋ／Ｋに対応するラッパーブロックがキュー３４に追加された時刻ｔ^ｋ／Ｋとして（５）式のように定義される。

（５）式に従って、最後に処理されたブロックが属するスライスと同じスライスのブロックの処理を優先的に行うことで、キャッシュの利用効率が高まり、処理速度が向上する。

ブロックの分割幅（ブロックの処理時間）がある程度大きく、スライス全体で同一の優先度Ｐ_０を持つブロックが多数存在するとき、例えば、優先度Ｐ_１，Ｐ_２を導入すると、ワーカー処理部３２ａ，３２ｂに対して、より均等にブロックの処理を割り当てることができる。

図５Ａは、本発明の第１の実施形態に係るメイン処理部３１の復号処理を示すフローチャートである。

図５Ａを参照するに、メイン処理部３１は処理Ｓ１０を実行する。処理Ｓ１０は次に説明するステップＳ１００、Ｓ１０１、Ｓ１０５、Ｓ１１０、Ｓ１１６、Ｓ１１５、Ｓ１２０、およびＳ１２５を含んでいる。

最初に、ステップＳ１００では、１つのシーンまたはクリップの復号処理が終了したか否かの判定結果に応じて、処理が分岐する。

１つのシーンまたはクリップの復号処理が終了していない場合、ステップＳ１０１では、メイン処理部３１は、１つのシーンまたはクリップを構成する１つのフレームにおいて処理対象とするスライスを選択する。

次いで、ステップＳ１０５では、メイン処理部３１は、処理対象とするスライスの数と同じ値をカウンタ３８に格納する。

次いで、ステップＳ１１０では、メイン処理部３１は、各スライスの最初のラッパーブロックを生成する。このとき、スライスの数と同数のラッパーブロックが生成される。

生成されたラッパーブロックには、スライスコンテキストが含まれている。このスライスコンテキストには、復号処理すべきスライスの符号が格納されているスライスバッファ３５の位置の情報と、そのスライスの出力先のビデオメモリ３６の位置の情報と、そのラッパーブロックが属するスライスの復号処理の進捗割合と、優先度とが含まれている。

スライスバッファ３５の位置は、復号処理すべきスライスのブロックの開始位置を示す。ビデオメモリ３６の位置は、復号処理後のブロックを格納する位置を示す。

進捗割合は、例えば（復号処理されたブロックの数）／（スライスに含まれる全てのブロックの数）として計算される。または、進捗割合を、（復号処理されたブロックの符号長の累積値）／（スライスに含まれる全てのブロックの符号長の合計値）として計算することもできる。

進捗割合の計算に使用される、スライスに含まれる全てのブロックの数や、スライスに含まれる全てのブロックの符号長の合計値は、スライス全体の復号処理が開始される前にスライスコンテキスト３７に保存されている。ブロックが復号処理される毎に、復号処理されたブロックの数や、復号処理されたブロックの符号長の累積値が更新され、スライスコンテキスト３７に保存される。

優先度は、１から進捗割合を引いた値として定義される。この優先度は、優先度Ｐ_０に相当する。この例では、優先度Ｐ_０のみを使用するが、優先度Ｐ_０に加えて優先度Ｐ_１や優先度Ｐ_２を使用してもよい。

ステップＳ１１０では、各スライスの進捗割合が０なので、各スライスの最初のラッパーブロックに関連付けられる優先度は１である。各スライスの最初のラッパーブロックがキュー３４から取り出されるとき、各ラッパーブロックは、キュー３４に入れられた順番で取り出される。

次いで、ステップＳ１１５では、メイン処理部３１は、生成したラッパーブロックをキュー３４に入れる。

次いで、ステップＳ１１６では、メイン処理部３１は、ワーカー処理部３２ａ，３２ｂから、ステップＳ１０１で選択したスライスの復号処理の終了が通知されるまで待機する。

ワーカー処理部３２ａ，３２ｂから、ステップＳ１０１で選択したスライスの復号処理の終了が通知されるとステップＳ１２０に進む。ステップＳ１２０では、１つのフレームの全てのスライスの復号処理が終了したか否かの判定結果に応じて、処理が分岐する。続けて他のスライスの復号処理を行う場合、ステップＳ１０１からの処理が再度実行される。１つのフレームの全てのスライスの復号処理が終了した場合、ステップＳ１００からの処理が再度実行される。

ステップＳ１００において１つのシーンまたはクリップの復号処理が終了した場合、ステップＳ１２５では、メイン処理部３１は、ワーカー処理部３２ａ，３２ｂの数と同じ数の終了用のラッパーブロックを生成してキュー３４に入れる。終了用のラッパーブロックには例えば終了を明示する情報が含まれているため、終了用のラッパーブロックとステップＳ１１０で生成されたラッパーブロックとを区別することが可能である。終了用のラッパーブロックをキュー３４に入れた後、メイン処理部３１は処理Ｓ１０を終了する。

図５Ｂは、本発明の第１の実施形態に係るワーカー処理部３２ａ，３２ｂの復号処理を示すフローチャートである。

図５Ｂを参照するに、ワーカー処理部３２ａ，３２ｂはそれぞれ処理Ｓ２０ａ、Ｓ２０ｂを実行し、ワーカー処理部３２ａ，３２ｂはこれらの処理Ｓ２０ａ、Ｓ２０ｂを並列して実行する。処理Ｓ２０ａは次に説明するステップＳ２００、Ｓ２０５、Ｓ２０６、Ｓ２１０、Ｓ２１５、Ｓ２２０、Ｓ２２５、Ｓ２３０、Ｓ２３５、Ｓ２４０、Ｓ２４５、およびＳ２５０を含んでいる。処理Ｓ２０ｂは処理Ｓ２０ａと同様であるので、フローの詳細の図示を省略している。

最初に、図示を省略しているが、ワーカー処理部３２ａ，３２ｂは、キュー３４にラッパーブロックがない場合、キュー３４にラッパーブロックが追加されるまで待機する。

キュー３４にラッパーブロックがある場合、ステップＳ２００では、ワーカー処理部３２ａ，３２ｂはキュー３４から先頭のラッパーブロックを取り出す。

次いで、ワーカー処理部３２ａ，３２ｂは、ステップＳ２００でキュー３４から取り出したラッパーブロックが終了用のラッパーブロックであるか否かを確認する。ステップＳ２００でキュー３４から取り出したラッパーブロックが終了用のラッパーブロックである場合、ステップＳ２０６では、ワーカー処理部３２ａ，３２ｂは、自身が使用しているＲＡＭ２２の領域を解放するなどの終了処理を行い、処理Ｓ２０ａ，Ｓ２０ｂを終了する。

ステップＳ２００でキュー３４から取り出したラッパーブロックが終了用のラッパーブロックでない場合、ステップＳ２１０では、ワーカー処理部３２ａ，３２ｂは、キュー３４から取り出したラッパーブロックが示す処理対象のブロックの復号処理をスライスデコーダ３３ａ，３３ｂに行わせる。

具体的には、ステップＳ２１０では以下の処理が行われる。ラッパーブロックには、スライスコンテキストが含まれている。前述したように、このスライスコンテキストには、復号処理すべきスライスの符号が格納されているスライスバッファ３５の位置の情報と、そのスライスの出力先のビデオメモリ３６の位置の情報とが含まれている。ワーカー処理部３２ａ，３２ｂはこれらの情報をスライスデコーダ３３ａ，３３ｂに与える。

スライスデコーダ３３ａ，３３ｂは、符号化されたスライスのデータをビット単位またはバイト単位でスライスバッファ３５から読み出し、読み出したデータを復号処理する。ブロックの復号処理が終了すると、スライスデコーダ３３ａ，３３ｂは、復号処理したブロックのデータをビデオメモリ３６に保存し、スライスコンテキスト３７を更新する。

ワーカー処理部３２ａ，３２ｂがスライスデコーダ３３ａ，３３ｂに与える、スライスの出力先のビデオメモリ３６の位置の情報は、フレーム中のスライスの位置とそのスライス中のブロックの位置とに対応したビデオメモリ３６中の位置を示している。スライスデコーダ３３ａ，３３ｂは、復号処理したブロックのデータを、上記の情報が示す位置に保存する。１フレームを構成する全てのスライスに含まれる全てのブロックの復号処理が終了したとき、ビデオメモリ３６に保存されている各ブロックは、符号化された各スライスに対応した、復号処理されたスライスを構成している。

次いで、ステップＳ２１５では、ワーカー処理部３２ａ，３２ｂは、スライスコンテキスト３７に基づいて、復号処理されたブロックが属するスライスの進捗割合と優先度を計算する。前述したように、進捗割合は、例えば（復号処理されたブロックの数）／（スライスに含まれる全てのブロックの数）、または（復号処理されたブロックの符号長の累積値）／（スライスに含まれる全てのブロックの符号長の合計値）として計算される。優先度は、１から進捗割合を引いた値として計算される。

次いで、ステップＳ２２０では、スライスの最後のラッパーブロックが処理されたか否かの判定結果に応じて、処理が分岐する。進捗割合の値を使用すれば、スライスの最後のラッパーブロックが処理されたか否かの判定を行うことができる。すなわち、進捗割合が１より小さければ、スライスの最後のラッパーブロックはまだ処理されていない。また、進捗割合が１であれば、スライスの最後のラッパーブロックが処理されたことになる。

スライスの最後のラッパーブロックが処理されたとき、ステップＳ２２５では、ワーカー処理部３２ａ，３２ｂは、カウンタ３８の値を１つデクリメントする。複数のワーカー処理部が同時にカウンタ３８にアクセスすると、そのアクセスは排他制御される。

次いで、ステップＳ２３０では、ワーカー処理部３２ａ，３２ｂは、カウンタ３８の値を確認する。ステップＳ１０５でスライスの数と同じ値に設定されたカウンタ３８の値は、各スライスの最後のブロックが復号処理されるごとに、ステップＳ２２５で１ずつデクリメントされる。このため、カウンタの値が０でなければ、復号処理が終了していないスライスが存在しているので、ステップＳ２００からの処理が再度実行される。また、カウンタの値が０になったとき、全てのスライスのラッパーブロックの処理が終わっているので、ステップＳ２５０では、ワーカー処理部３２ａ，３２ｂは、図５ＡのステップＳ１０１で選択されたスライスの復号処理の終了をメイン処理部３１に通知する。次いで、ステップＳ２００からの処理が再度実行される。

ステップＳ２２０でスライスの最後のラッパーブロックがまだ処理されていないとき、ステップＳ２３５では、ワーカー処理部３２ａ，３２ｂは、ステップＳ２１０で復号処理したブロックが属するスライスと同じスライスに属するブロックであって、ステップＳ２１０で復号処理したブロックの次のブロックを特定する情報を含むラッパーブロックを生成する。

生成されたラッパーブロックには、スライスコンテキストが含まれている。このスライスコンテキストには、復号処理後に更新されたスライスコンテキスト３７から得られる、復号処理すべきスライスの符号が格納されているスライスバッファ３５の位置の情報と、そのスライスの出力先のビデオメモリ３６の位置の情報と、ステップＳ２１５で算出された、そのラッパーブロックが属するスライスの復号処理の進捗割合と、優先度とが含まれる。

次いで、ステップＳ２４０では、ワーカー処理部３２ａ，３２ｂは、生成したラッパーブロックをキュー３４に入れる。

次いで、ステップＳ２４５では、ワーカー処理部３２ａ，３２ｂは、ステップＳ２４０でキュー３４に追加されたラッパーブロックを含むキュー３４内のラッパーブロックを、各ラッパーブロックに関連付けられた優先度の降順に整列する。次いで、ステップＳ２００からの処理が再度実行される。

スライスを含む１枚のフレーム全体の符号化された画像データは以下のように復号処理される。例えば、１枚のフレームがＵ個のスライスで構成され、フレームの上から順に１，２，・・・，Ｕの番号が各スライスに付与されていると仮定する。Ｖ個（Ｖ≦Ｕ）以下のスライスを単位として、復号処理が実行される。例えば、１番目からＶ番目までのＶ個のスライスが処理対象として選択され（図５ＡのステップＳ１０１に対応）、図５Ａに示すフローチャートに従って処理される。Ｖ個のスライスの復号処理が終了すると、Ｖ＋１番目から２Ｖ番目までのＶ個のスライスが処理対象として選択され（図５ＡのステップＳ１０１に対応）、図５Ａに示すフローチャートに従って処理される。残りのスライスがＶ個以下となったとき、残りの全てのスライスが処理対象として選択され（図５ＡのステップＳ１０１に対応）、図５Ａに示すフローチャートに従って復号処理される。以上によって、１枚のフレーム全体の符号化された画像データが復号処理される。

符号化された動画データを復号処理する場合、１枚のフレーム全体の符号化された画像データの復号処理が終了したら、次のフレームに係る、フレーム全体の符号化された画像データの復号処理が開始される。上記の処理は実施可能な処理の一例であり、上記に限定されない。例えば、各々のスライスの復号処理は独立に実行できるので、必ずしもフレーム内で連続して配置されたスライスを単位として復号処理を実行しなくてもよい。

図６は、本発明の第１の実施形態に係るワーカー処理部３２ａ，３２ｂの他の復号処理を示すフローチャートである。

図６を参照するに、第１の実施形態に係る他の復号方法では、優先度は使用されない。この点が先の図５Ｂに示すフローチャートと異なっている。このため、ラッパーブロックがキュー３４から取り出されるとき、各ラッパーブロックは、キュー３４に入れられた順番で取り出される。図６では、図５Ｂに示す処理と同じ処理には同じステップ番号が付してあり、以下ではその説明を省略し、図５Ｂに示すフローチャートと異なる箇所のみを説明する。

図６に示すフローチャートでは、ステップＳ２１５でスライスの進捗割合と優先度が計算されるが、優先度が使用されないため、ステップＳ２５５では進捗割合のみが計算される。また、図６に示すフローチャートでは、図５ＢのステップＳ２４５の処理は実行されない。

＜復号処理の例＞
ワーカー処理部の振る舞い（同時に複数のワーカー処理部がキューにアクセスした場合の調停やブロックの処理時間など）は、割り込みの発生などの要因によって非決定論的であり、実装によって異なる可能性がある。第１の実施形態では、キューを使用した典型的な復号処理の例を示す。また、説明を簡単にするため、キューへのアクセスに必要な時間を無視できるものと考える。

以下では、Ｍ＝３、Ｎ＝２の場合のスライスの復号処理の一例を示す。以下の例で示されるスライスの処理方法は必ずしも最適であるとは限らない。説明を簡単にするため、以下ではラッパーブロックと、スライスを分割したブロックとを区別せず、単にブロックと記載する。

図７は、スライスとブロックの例を示す図である。図７を参照するに、３つのスライスＡ，Ｂ，Ｃは、同一の処理時間を必要とする、分割幅の等しい２つのブロックに分割できる。例えば、スライスＡはブロックＡ^０／２とブロックＡ^１／２とに分割できる。各ブロックの右上に付与された符号は各ブロックの処理の順番を表している。例えば、ブロックＡ^０／２については、「０／２」が処理の順番を表している。「０／２」の「２」はブロックの総数を表している。ブロックＡ^０／２はブロックＡ^１／２よりも先に処理される。

スライスＢはブロックＢ^０／２とブロックＢ^１／２とに分割できる。ブロックＢ^０／２はブロックＢ^１／２よりも先に処理される。スライスＣはブロックＣ^０／２とブロックＣ^１／２とに分割できる。ブロックＣ^０／２はブロックＣ^１／２よりも先に処理される。

図８は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図９は、キューの状態を示す図である。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／２，Ｂ^０／２，Ｃ^０／２がキューに追加される（図５ＡのステップＳ１１５に対応）。

時刻ｔ＝ｔ_０＋Δｔ（時刻ｔ＝ｔ_０の直後）にキューから先頭のブロックＡ^０／２とその次のブロックＢ^０／２が取り出され、ブロックＡ^０／２の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^０／２の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＡ^０／２とブロックＢ^０／２の処理が終了すると、ブロックＡ^０／２の次に処理すべきブロックＡ^１／２と、ブロックＢ^０／２の次に処理すべきブロックＢ^１／２とがキューに追加される（図６のステップＳ２４０に対応）。時刻ｔ＝ｔ_０では最後尾のブロックであったブロックＣ^０／２が時刻ｔ＝ｔ_１では先頭のブロックとなり、ブロックＣ^０／２の後にブロックＡ^１／２とブロックＢ^１／２が追加されている。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＣ^０／２とその次のブロックＡ^１／２が取り出され、ブロックＣ^０／２の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^１／２の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_２にブロックＣ^０／２とブロックＡ^１／２の処理が終了すると、ブロックＣ^０／２の次に処理すべきブロックＣ^１／２がキューに追加される（図６のステップＳ２４０に対応）。ブロックＡ^１／２の処理が終了したため、スライスＡの処理は終了する。時刻ｔ＝ｔ_１では最後尾のブロックであったブロックＢ^１／２が時刻ｔ＝ｔ_２では先頭のブロックとなり、ブロックＢ^１／２の後にブロックＣ^１／２が追加されている。

時刻ｔ＝ｔ_２＋Δｔにキューから先頭のブロックＢ^１／２とその次のブロックＣ^１／２が取り出され、ブロックＢ^１／２の処理がワーカー処理部＃０に割り当てられ、ブロックＣ^１／２の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図６のステップＳ２１０に対応）。

ブロックＢ^１／２とブロックＣ^１／２の処理が終了すると、スライスＢとスライスＣの処理は終了する。この時点よりも前にスライスＡの処理は終了しているため、ブロックＢ^１／２とブロックＣ^１／２の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、全てのスライスが同一の処理時間のブロックに均等に分割されており、ブロックの総数がワーカー処理部の数の倍数になっている。このため、図８に示すように、２つのワーカー処理部に対して均等にブロックの処理を割り当てることができる。

＜復号処理性能＞
第１の実施形態の復号方法による処理性能について一実施例を挙げて、以下に説明する。以下の説明では、ワーカー処理部の処理がスレッドにより実行されるとする。また、ワーカー処理部の数Ｎとスライスの数Ｍの関係はＭ≧Ｎであるとし、全てのスライスの実行時間（実行時間の予測値）は等しく、その時間はＴであるとする。実施例では、全てのスライスは均一にＫ個のブロックに分けられ、それぞれのブロックはＴ／Ｋの実行時間を必要とする。説明を簡単にするため、ワーカー処理部による処理の切り替えに要する時間や、キューへのアクセス時間などのオーバーヘッドは無視できるものと考える。

ワーカー処理部に割り当てられるタイムクォンタムは、典型的には、数１０ミリ秒から数１００ミリ秒程度である。ビデオフレームは、典型的には、毎秒３０枚のフレームからなり、実時間で画像を再生するには、１フレームを少なくとも１／３０秒すなわち約３３ミリ秒で復号処理する必要がある。実際のアプリケーション、例えばビデオ編集システムでは、複数のビデオクリップを同時に再生したり、ビデオエフェクトやトランジションを適用したりするため、３３ミリ秒よりも短い復号処理時間が求められる。

参考例として、タイムクォンタムが１スライスの処理時間Ｔと同じ、またはそれよりも大きい場合に、Ｍ個のスライスの処理をＭ個のワーカー処理部によって実行することを考える。タイムクォンタムはタイムスライスとも呼ばれ、ＯＳがワーカー処理部による処理の実行を切り替える間隔を意味する。まず、プロセッサの数Ｎと同数のスライスの処理が、それぞれに対応するワーカー処理部によって開始される。

Ｎ個のスライスは並列に処理され、タイムクォンタムを使い切るまでに処理が完了する。Ｎ個のスライスの処理が完了すると、残りのスライスの数がＮ個より少なくなるまで、同様にＮ個のスライスが並列に処理される。

以下の議論では、以下の記号（Ｐ１）と記号（Ｐ２）を使用する。記号（Ｐ１）はＸを上回らない最大の整数を示しており、記号（Ｐ２）はＸを下回らない最小の整数を示している。

ＭがＮで割り切れる場合、Ｍ／Ｎ回の並列処理を行えば、全てのスライスの処理が完了する。ＭがＮで割り切れない場合、Ｄ（（６）式）回の並列処理が行われた後、最後にＥ（（７）式）個のスライスが並列に処理される。この最後の並列処理では、スライスが割り当てられないＦ（（８）式）個のワーカー処理部は停止している。

参考例では、合計の処理時間Ｔ_１は（９）式となる。

本発明では、ＭＫ個のブロックの処理を、Ｎ個のワーカー処理部により、ブロック間の依存関係を保ったまま並列に実行することができる。１スライスの処理時間がＴであり、１スライスはＫ個のブロックからなるので、各ブロックの処理時間はＴ／Ｋである。各ワーカー処理部は１個のＣＰＵに対応するので、スライスの処理中にはワーカー処理部の切り替えが発生しない。参考例の性能の議論で用いた（９）式において、ＭをＭＫに置き換え、ＴをＴ／Ｋに置き換えると、本発明の合計の処理時間Ｔ_２を（１０）式のように求めることができる。

参考例の処理性能と本発明の処理性能を比較する指標であるスピードアップ率Ｒは（１１）式で定義される。

参考例の処理時間Ｔ_１が本発明の処理時間Ｔ_２と同じとき、Ｒ＝１となる。このため、参考例の処理性能と本発明の処理性能は同等となる。また、参考例の処理時間Ｔ_１が本発明の処理時間Ｔ_２よりも長くなると、Ｒ＞１となる。そうすると、本発明の処理性能が参考例の処理性能を上回る。

以下に、いくつかのＮ，Ｍの組み合わせに対して、Ｋとスピードアップ率Ｒの関係を示す。図１０は、１スライス当たりのブロックの数Ｋに対するスピードアップ率Ｒを示すグラフである。

Ｋ＝１のとき、スピードアップ率は１となり、参考例と本発明の処理性能は同等である。合計のブロック数ＭＫがＮの倍数となるとき、スピードアップ率Ｒは最大値Ｒ_ｍａｘ（（１２）式）となる。

Ｎ＝２，Ｍ＝３の場合とＮ＝４とＭ＝１０の場合には、Ｋが２以上になる。そうすると、スピードアップ率が１を超え、本発明の処理性能が参考例の処理性能を上回る。Ｎ＝３，Ｍ＝８の場合には、Ｋが３以上になると、スピードアップ率が１を超える。そうすると、本発明の処理性能が参考例の処理性能を上回る。また、Ｋが大きくなればなるほど、すなわち、スライスの分割が細かくなればなるほど、スピードアップ率ＲがＲ_ｍａｘに近づいていく。

このように、本発明では、各スライスを所定数以上のブロックに分割できる場合には、ワーカー処理部に対する処理の割り当てが効率的になり、参考例よりも処理速度が向上する。

＜優先度Ｐ_０を使用したスライスの復号処理の例＞
第１の実施形態に係る復号処理方法として、優先度Ｐ_０を使用しない場合の復号処理の例と、優先度Ｐ_０を使用する場合の復号処理の例を示す。説明を簡単にするため、キューへのアクセスに必要な時間やブロックの並べ替えに必要な時間を無視できるものと考える。

図１１は、スライスとブロックの例を示す図である。図１１を参照するに、３つのスライスＡ，Ｂ，Ｃがある。スライスＡ，Ｂは３個のブロックからなり、スライスＣは４個のブロックからなる。スライスＡ，Ｂ，Ｃのブロックの分割幅（ブロックの処理時間）は同一である。このため、スライスＣの処理時間はスライスＡ，Ｂの処理時間よりも長い。

スライスＡはブロックＡ^０／３とブロックＡ^１／３とブロックＡ^２／３とに分割される。スライスＡの各ブロックは、ブロックＡ^０／３、ブロックＡ^１／３、ブロックＡ^２／３の順に処理される。スライスＢはブロックＢ^０／３とブロックＢ^１／３とブロックＢ^２／３とに分割される。スライスＢの各ブロックは、ブロックＢ^０／３、ブロックＢ^１／３、ブロックＢ^２／３の順に処理される。スライスＣはブロックＣ^０／４とブロックＣ^１／４とブロックＣ^２／４とブロックＣ^３／４とに分割される。スライスＣの各ブロックは、ブロックＣ^０／４、ブロックＣ^１／４、ブロックＣ^２／４、ブロックＣ^３／４の順に処理される。

図１２は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図１３は、キューの状態を示す図である。図１２と図１３に示す例では、優先度Ｐ_０は使用しない。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／３，Ｂ^０／３，Ｃ^０／４がキューに追加される（図５ＡのステップＳ１１５に対応）。

時刻ｔ＝ｔ_０＋Δｔにキューから先頭のブロックＡ^０／３とその次のブロックＢ^０／３が取り出され、ブロックＡ^０／３の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^０／３の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＡ^０／３とブロックＢ^０／３の処理が終了すると、ブロックＡ^０／３の次に処理すべきブロックＡ^１／３と、ブロックＢ^０／３の次に処理すべきブロックＢ^１／３とがキューに追加される（図６のステップＳ２４０に対応）。時刻ｔ＝ｔ_０では最後尾のブロックであったブロックＣ^０／４が時刻ｔ＝ｔ_１では先頭のブロックとなり、ブロックＣ^０／４の後にブロックＡ^１／３とブロックＢ^１／３が追加されている。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＣ^０／４とその次のブロックＡ^１／３が取り出され、ブロックＣ^０／４の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^１／３の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_２にブロックＣ^０／４とブロックＡ^１／３の処理が終了すると、ブロックＣ^０／４の次に処理すべきブロックＣ^１／４と、ブロックＡ^１／３の次に処理すべきブロックＡ^２／３とがキューに追加される（図６のステップＳ２４０に対応）。時刻ｔ＝ｔ_１では最後尾のブロックであったブロックＢ^１／３が時刻ｔ＝ｔ_２では先頭のブロックとなり、ブロックＢ^１／３の後にブロックＣ^１／４とブロックＡ^２／３が追加されている。

時刻ｔ＝ｔ_２＋Δｔにキューから先頭のブロックＢ^１／３とその次のブロックＣ^１／４が取り出され、ブロックＢ^１／３の処理がワーカー処理部＃０に割り当てられ、ブロックＣ^１／４の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_３にブロックＢ^１／３とブロックＣ^１／４の処理が終了すると、ブロックＢ^１／３の次に処理すべきブロックＢ^２／３と、ブロックＣ^１／４の次に処理すべきブロックＣ^２／４とがキューに追加される（図６のステップＳ２４０に対応）。時刻ｔ＝ｔ_２では最後尾のブロックであったブロックＡ^２／３が時刻ｔ＝ｔ_３では先頭のブロックとなり、ブロックＡ^２／３の後にブロックＢ^２／３とブロックＣ^２／４が追加されている。

時刻ｔ＝ｔ_３＋Δｔにキューから先頭のブロックＡ^２／３とその次のブロックＢ^２／３が取り出され、ブロックＡ^２／３の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^２／３の処理がワーカー処理部＃１に割り当てられる（図６のステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図６のステップＳ２１０に対応）。

時刻ｔ＝ｔ_４にブロックＡ^２／３とブロックＢ^２／３の処理が終了すると、スライスＡとスライスＢの処理は終了する。時刻ｔ＝ｔ_４ではキューにブロックは追加されないので、キューにあるブロックはブロックＣ^２／４だけである。

時刻ｔ＝ｔ_４＋ΔｔにキューからブロックＣ^２／４が取り出され、ブロックＣ^２／４の処理がワーカー処理部＃０に割り当てられる（図６のステップＳ２０５に対応）。ワーカー処理部＃０にブロックＣ^２／４の処理が割り当てられると、ワーカー処理部＃０はブロックＣ^２／４の処理を行う（図６のステップＳ２１０に対応）。ワーカー処理部＃１にはブロックの処理が割り当てられず、ワーカー処理部＃１は停止している。

時刻ｔ＝ｔ_５にブロックＣ^２／４の処理が終了すると、ブロックＣ^２／４の次に処理すべきブロックＣ^３／４がキューに追加される（図６のステップＳ２４０に対応）。時刻ｔ＝ｔ_５では、キューにあるブロックはブロックＣ^３／４だけである。

時刻ｔ＝ｔ_５＋ΔｔにキューからブロックＣ^３／４が取り出され、ブロックＣ^３／４の処理がワーカー処理部＃０に割り当てられる（図６のステップＳ２０５に対応）。ワーカー処理部＃０にブロックＣ^３／４の処理が割り当てられると、ワーカー処理部＃０はブロックＣ^３／４の処理を行う（図６のステップＳ２１０に対応）。ワーカー処理部＃１にはブロックの処理が割り当てられず、ワーカー処理部＃１は停止している。

ブロックＣ^３／４の処理が終了すると、スライスＣの処理は終了する。この時点よりも前にスライスＡ，Ｂの処理は終了しているため、ブロックＣ^３／４の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、スライスＣの処理がスライスＡ，Ｂの処理よりも相対的に遅れるので、スライスＡ，Ｂの処理が終了した時点で、並列に処理できないスライスＣのブロックＣ^２／４，Ｃ^３／４が残ってしまう。

以下では、優先度Ｐ_０を使用する場合の復号処理の例を示す。図１４は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図１５は、キューの状態を示す図である。図１４と図１５に示す例では、優先度Ｐ_０が使用される。優先度Ｐ_０を使用する場合の復号処理の例で用いるスライスは、図１１に示したスライスと同じである。

優先度Ｐ_０は次のように使用される。ブロックがキューに追加されたときに、ブロック毎の優先度Ｐ_０の高い順にブロックが並べられる。この結果、優先度Ｐ_０の最も高いブロックがキューの先頭に配置され、優先的に取り出される。優先度Ｐ_０が同じブロックが複数存在するとき、それら複数のブロックは、キューに追加された順に並べられる。キュー内のブロックの順番を変更するのは、ブロックがキューに追加されたときでなくてもよく、ブロックがキューから取り出される直前などでもよい。以上に述べたキューの実装は必ずしも最適ではない。例えば、ヒープ（heap）などのデータ構造を使うとより効率的な実装になる。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／３，Ｂ^０／３，Ｃ^０／４がキューに追加される（図５ＡのステップＳ１１５に対応）。このとき、ブロックＡ^０／３，Ｂ^０／３，Ｃ^０／４の順にブロックがキューに追加されると仮定する。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^０／３）＝Ｐ_０（Ｂ^０／３）＝Ｐ_０（Ｃ^０／４）＝１である。３つのブロックの優先度Ｐ_０が等しいので、キュー内のブロックの順番は変わらない。

時刻ｔ＝ｔ_０＋Δｔにキューから先頭のブロックＡ^０／３とその次のブロックＢ^０／３が取り出され、ブロックＡ^０／３の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^０／３の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＡ^０／３とブロックＢ^０／３の処理が終了すると、ブロックＡ^０／３の次に処理すべきブロックＡ^１／３と、ブロックＢ^０／３の次に処理すべきブロックＢ^１／３とがキューに追加される（図５ＢのステップＳ２４０に対応）。このとき、ブロックＡ^１／３，Ｂ^１／３の順にブロックがキューに追加されると仮定する。時刻ｔ＝ｔ_１では、ブロックＣ^０／４とブロックＡ^１／３とブロックＢ^１／３とがキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｃ^０／４）＝１、Ｐ_０（Ａ^１／３）＝Ｐ_０（Ｂ^１／３）＝２／３となるので、ブロックＣ^０／４，Ａ^１／３，Ｂ^１／３の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＣ^０／４とその次のブロックＡ^１／３が取り出され、ブロックＣ^０／４の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^１／３の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_２にブロックＣ^０／４とブロックＡ^１／３の処理が終了すると、ブロックＣ^０／４の次に処理すべきブロックＣ^１／４と、ブロックＡ^１／３の次に処理すべきブロックＡ^２／３とがキューに追加される（図５ＢのステップＳ２４０に対応）。時刻ｔ＝ｔ_２では、ブロックＢ^１／３とブロックＣ^１／４とブロックＡ^２／３とがキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^１／３）＝２／３、Ｐ_０（Ｃ^１／４）＝３／４、Ｐ_０（Ａ^２／３）＝１／３となるので、ブロックＣ^１／４，Ｂ^１／３，Ａ^２／３の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_２＋Δｔにキューから先頭のブロックＣ^１／４とその次のブロックＢ^１／３が取り出され、ブロックＣ^１／４の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^１／３の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_３にブロックＣ^１／４とブロックＢ^１／３の処理が終了すると、ブロックＣ^１／４の次に処理すべきブロックＣ^２／４と、ブロックＢ^１／３の次に処理すべきブロックＢ^２／３とがキューに追加される（図５ＢのステップＳ２４０に対応）。時刻ｔ＝ｔ_３では、ブロックＡ^２／３とブロックＣ^２／４とブロックＢ^２／３とがキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^２／３）＝Ｐ_０（Ｂ^２／３）＝１／３、Ｐ_０（Ｃ^２／４）＝２／４となるので、ブロックＣ^２／４，Ａ^２／３，Ｂ^２／３の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_３＋Δｔにキューから先頭のブロックＣ^２／４とその次のブロックＡ^２／３が取り出され、ブロックＣ^２／４の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^２／３の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_４にブロックＣ^２／４とブロックＡ^２／３の処理が終了すると、ブロックＣ^２／４の次に処理すべきブロックＣ^３／４がキューに追加される（図５ＢのステップＳ２４０に対応）。ブロックＡ^２／３の処理が終了したため、スライスＡの処理は終了する。時刻ｔ＝ｔ_４では、ブロックＢ^２／３とブロックＣ^３／４とがキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^２／３）＝１／３、Ｐ_０（Ｃ^３／４）＝１／４となるので、ブロックＢ^２／３，Ｃ^３／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_４＋Δｔにキューから先頭のブロックＢ^２／３とその次のブロックＣ^３／４が取り出され、ブロックＢ^２／３の処理がワーカー処理部＃０に割り当てられ、ブロックＣ^３／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

ブロックＢ^２／３とブロックＣ^３／４の処理が終了すると、スライスＢとスライスＣの処理は終了する。この時点よりも前にスライスＡの処理は終了しているため、ブロックＢ^２／３とブロックＣ^３／４の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、優先度Ｐ_０を使用しないとスライスＡ，Ｂの処理よりも相対的に遅れてしまうスライスＣの処理を優先的に進めることで、スライスＡ，Ｂ，Ｃの処理がほぼ均等に進むので、並列に処理できないブロックが最後に残ってしまうことはない。

このように、優先度Ｐ_０を使用することで、全てのスライスの処理の進捗割合をできるだけ同一に保ったまま並列処理を進めることができる。たとえ、処理時間が正確に予測できない場合であっても、全てのスライスの処理の進捗割合ができるだけ同一に保たれるので、全てのスライスの処理がほぼ同時に終了する。このため、並列に処理できないブロックが最後に残りにくくなり、最後にワーカー処理部にブロックの処理が割り当てられない状態が発生しにくくなる。よって、スライスの並列処理を効率的に行うことができる。

＜優先度Ｐ_０，Ｐ_１を使用したスライスの復号処理の例＞
優先度Ｐ_０を使用した場合の復号処理の例と、優先度Ｐ_０，Ｐ_１を使用した場合の復号処理の例を示す。説明を簡単にするため、キューへのアクセスに必要な時間やブロックの並べ替えに必要な時間を無視できるものと考える。

図１６は、スライスとブロックの例を示す図である。図１６を参照するに、３つのスライスＡ，Ｂ，Ｃがある。スライスＡ，Ｂ，Ｃは２個のブロックからなる。スライスＡ，Ｂのブロックの分割幅は同一であるが、スライスＣのブロックの分割幅はスライスＡ，Ｂのブロックの分割幅の２倍である。このため、スライスＣの処理時間はスライスＡ，Ｂの処理時間の２倍となる。

スライスＡはブロックＡ^０／２とブロックＡ^１／２とに分割される。スライスＡの各ブロックは、ブロックＡ^０／２、ブロックＡ^１／２の順に処理される。スライスＢはブロックＢ^０／２とブロックＢ^１／２とに分割される。スライスＢの各ブロックは、ブロックＢ^０／２、ブロックＢ^１／２の順に処理される。スライスＣはブロックＣ^０／２とブロックＣ^１／２とに分割される。スライスＣの各ブロックは、ブロックＣ^０／２、ブロックＣ^１／２の順に処理される。

図１７は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図１８は、キューの状態を示す図である。図１７と図１８に示す例では、優先度Ｐ_０が使用される。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／２，Ｂ^０／２，Ｃ^０／２がキューに追加される（図５ＡのステップＳ１１５に対応）。このとき、ブロックＡ^０／２，Ｂ^０／２，Ｃ^０／２の順にブロックがキューに追加されると仮定する。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^０／２）＝Ｐ_０（Ｂ^０／２）＝Ｐ_０（Ｃ^０／２）＝１である。３つのブロックの優先度Ｐ_０が等しいので、キュー内のブロックの順番は変わらない。

時刻ｔ＝ｔ_０＋Δｔにキューから先頭のブロックＡ^０／２とその次のブロックＢ^０／２が取り出され、ブロックＡ^０／２の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^０／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＡ^０／２とブロックＢ^０／２の処理が終了すると、ブロックＡ^０／２の次に処理すべきブロックＡ^１／２と、ブロックＢ^０／２の次に処理すべきブロックＢ^１／２とがキューに追加される（図５ＢのステップＳ２４０に対応）。このとき、ブロックＡ^１／２，Ｂ^１／２の順にブロックがキューに追加されると仮定する。（１）式によれば、時刻ｔ＝ｔ_１にキューに置かれている各ブロックの優先度Ｐ_０は、Ｐ_０（Ｃ^０／２）＝１、Ｐ_０（Ａ^１／２）＝Ｐ_０（Ｂ^１／２）＝１／２となるので、ブロックＣ^０／２，Ａ^１／２，Ｂ^１／２の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＣ^０／２とその次のブロックＡ^１／２が取り出され、ブロックＣ^０／２の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^１／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_２にブロックＡ^１／２の処理が終了する。この時点でブロックＣ^０／２の処理は終了していない。ブロックＡ^１／２の処理が終了したため、スライスＡの処理は終了する。時刻ｔ＝ｔ_２では、ブロックＢ^１／２のみがキューに置かれている。

時刻ｔ＝ｔ_２＋ΔｔにキューからブロックＢ^１／２が取り出され、ブロックＢ^１／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＢ^１／２の処理が割り当てられると、ワーカー処理部＃１はブロックＢ^１／２の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＣ^０／２の処理を継続している。

時刻ｔ＝ｔ_３にブロックＢ^１／２とブロックＣ^０／２の処理が終了すると、ブロックＣ^０／２の次に処理すべきブロックＣ^１／２がキューに追加される（図５ＢのステップＳ２４０に対応）。ブロックＢ^１／２の処理が終了したため、スライスＢの処理は終了する。時刻ｔ＝ｔ_３では、ブロックＣ^１／２のみがキューに置かれている。

時刻ｔ＝ｔ_３＋ΔｔにキューからブロックＣ^１／２が取り出され、ブロックＣ^１／２の処理がワーカー処理部＃０に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃０にブロックＣ^１／２の処理が割り当てられると、ワーカー処理部＃０はブロックＣ^１／２の処理を行う（図５ＢのステップＳ２１０に対応）。ワーカー処理部＃１にはブロックの処理が割り当てられず、ワーカー処理部＃１は停止している。

ブロックＣ^１／２の処理が終了すると、スライスＣの処理は終了する。この時点よりも前にスライスＡ，Ｂの処理は終了しているため、ブロックＣ^１／２の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、スライスＡ，Ｂのブロックよりも処理時間がかかるスライスＣのブロックが最後に残ってしまう。

以下では、優先度Ｐ_０に加えて優先度Ｐ_１を使用する場合の処理の例を示す。図１９は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図２０は、キューの状態を示す図である。図１９と図２０に示す例では、優先度Ｐ_０，Ｐ_１が使用される。優先度Ｐ_０，Ｐ_１を使用する場合の処理の例で用いるスライスは、図１６に示したスライスと同じである。スライスＡ，Ｂの処理時間をＴとし、スライスＣの処理時間を２Ｔとする。

優先度Ｐ_０，Ｐ_１は次のように使用される。ブロックがキューに追加されたときに、ブロック毎の優先度Ｐ_０に基づいて、キュー内のブロックの順番が決定される。優先度Ｐ_０が同じブロックが複数存在するとき、それら複数のブロックの順番は、ブロック毎の優先度Ｐ_１に基づいて決定される。優先度Ｐ_１が同じブロックが複数存在するとき、それら複数のブロックは、キューに追加された順に並べられる。キュー内のブロックの順番を変更するのは、ブロックがキューに追加されたときでなくてもよく、ブロックがキューから取り出される直前などでもよい。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／２，Ｂ^０／２，Ｃ^０／２がキューに追加される（図５ＡのステップＳ１１５に対応）。このとき、ブロックＡ^０／２，Ｂ^０／２，Ｃ^０／２の順にブロックがキューに追加されると仮定する。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^０／２）＝Ｐ_０（Ｂ^０／２）＝Ｐ_０（Ｃ^０／２）＝１である。３つのブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ａ^０／２）＝Ｐ_１（Ｂ^０／２）＝Ｔ、Ｐ_１（Ｃ^０／２）＝２Ｔとなるので、ブロックＣ^０／２，Ａ^０／２，Ｂ^０／２の順にブロックが並ぶ。

時刻ｔ＝ｔ_０＋Δｔにキューから先頭のブロックＣ^０／２とその次のブロックＡ^０／２が取り出され、ブロックＣ^０／２の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^０／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＡ^０／２の処理が終了すると、ブロックＡ^０／２の次に処理すべきブロックＡ^１／２がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＣ^０／２の処理は終了していない。時刻ｔ＝ｔ_１では、ブロックＢ^０／２とブロックＡ^１／２がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^０／２）＝１、Ｐ_０（Ａ^１／２）＝１／２であるので、ブロックＢ^０／２，Ａ^１／２の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＢ^０／２が取り出され、ブロックＢ^０／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＢ^０／２の処理が割り当てられると、ワーカー処理部＃１はブロックＢ^０／２の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＣ^０／２の処理を継続している。

時刻ｔ＝ｔ_２にブロックＣ^０／２とブロックＢ^０／２の処理が終了すると、ブロックＣ^０／２の次に処理すべきブロックＣ^１／２と、ブロックＢ^０／２の次に処理すべきブロックＢ^１／２とがキューに追加される（図５ＢのステップＳ２４０に対応）。時刻ｔ＝ｔ_２では、ブロックＡ^１／２とブロックＣ^１／２とブロックＢ^１／２とがキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^１／２）＝Ｐ_０（Ｃ^１／２）＝Ｐ_０（Ｂ^１／２）＝１／２となる。３つのブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ｃ^１／２）＝Ｔ、Ｐ_１（Ａ^１／２）＝Ｐ_１（Ｂ^１／２）＝Ｔ／２、となるので、ブロックＣ^１／２，Ａ^１／２，Ｂ^１／２の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_２＋Δｔにキューから先頭のブロックＣ^１／２とその次のブロックＡ^１／２が取り出され、ブロックＣ^１／２の処理がワーカー処理部＃０に割り当てられ、ブロックＡ^１／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に各ブロックの処理を行う（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_３にブロックＡ^１／２の処理が終了する。ブロックＡ^１／２の処理が終了したため、スライスＡの処理は終了する。この時点でブロックＣ^１／２の処理は終了していない。時刻ｔ＝ｔ_３では、ブロックＢ^１／２がキューに置かれている。

時刻ｔ＝ｔ_３＋Δｔにキューから先頭のブロックＢ^１／２が取り出され、ブロックＢ^１／２の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＢ^１／２の処理が割り当てられると、ワーカー処理部＃１はブロックＢ^１／２の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＣ^１／２の処理を継続している。

ブロックＣ^１／２とブロックＢ^１／２の処理が終了すると、スライスＣとスライスＢの処理は終了する。この時点よりも前にスライスＡの処理は終了しているため、ブロックＣ^１／２とブロックＢ^１／２の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、スライスＡ，Ｂよりも処理時間がかかるスライスＣの処理を優先的に進めることで、スライスＣのブロックが最後に単独で残ってしまうことはない。

このように、優先度Ｐ_１を使用することで、処理時間が相対的に長いスライスのブロックが最後に残りにくくなる。このため、最後にワーカー処理部にブロックの処理が割り当てられない状態が発生しにくくなる。よって、スライスの並列処理を効率的に行うことができる。

＜優先度Ｐ_０，Ｐ_１，Ｐ_２を使用したスライスの復号処理の例＞
優先度Ｐ_０，Ｐ_１，Ｐ_２を使用した場合のより複雑な復号処理の例を示す。説明を簡単にするため、キューへのアクセスに必要な時間やブロックの並べ替えに必要な時間を無視できるものと考える。

図２１は、スライスとブロックの例を示す図である。図２１を参照するに、３つのスライスＡ，Ｂ，Ｃがある。スライスＡ，Ｂは４個のブロックからなり、スライスＣは３個のブロックからなる。スライスＡ，Ｂは均等に４つのブロックに分割されるが、スライスＣは１：２：１の比で３つのブロックに分割される。スライスＢ，Ｃの処理時間は同じであるが、スライスＡの処理時間はスライスＢ，Ｃの処理時間の１．５倍である。

スライスＡは、処理時間が等しいブロックＡ^０／４とブロックＡ^１／４とブロックＡ^２／４とブロックＡ^３／４とに分割される。スライスＡの各ブロックは、ブロックＡ^０／４、ブロックＡ^１／４、ブロックＡ^２／４、ブロックＡ^３／４の順に処理される。スライスＡの処理時間を６Ｔとする。

スライスＢは、処理時間が等しいブロックＢ^０／４とブロックＢ^１／４とブロックＢ^２／４とブロックＢ^３／４とに分割される。スライスＢの各ブロックは、ブロックＢ^０／４、ブロックＢ^１／４、ブロックＢ^２／４、ブロックＢ^３／４の順に処理される。スライスＢの処理時間を４Ｔとする。

スライスＣはブロックＣ^０／４とブロックＣ^１／４とブロックＣ^３／４とに分割される。ブロックＣ^０／４，Ｃ^３／４の処理時間は等しいが、ブロックＣ^１／４の処理時間はブロックＣ^０／４，Ｃ^３／４の処理時間の２倍である。スライスＣの各ブロックは、ブロックＣ^０／４、ブロックＣ^１／４、ブロックＣ^３／４の順に処理される。

図２２は、２つのワーカー処理部＃０，＃１が３つのスライスＡ，Ｂ，Ｃを復号処理するときに各ワーカー処理部に対してブロックが割り当てられる様子を示す図である。図２３は、キューの状態を示す図である。図２２と図２３に示す例では、優先度Ｐ_０，Ｐ_１，Ｐ_２が使用される。

優先度Ｐ_０，Ｐ_１，Ｐ_２は次のように使用される。ブロックがキューに追加されたときに、ブロック毎の優先度Ｐ_０に基づいて、キュー内のブロックの順番が決定される。優先度Ｐ_０が同じブロックが複数存在するとき、それら複数のブロックの順番は、ブロック毎の優先度Ｐ_１に基づいて決定される。優先度Ｐ_１が同じブロックが複数存在するとき、それら複数のブロックの順番は、ブロック毎の優先度Ｐ_２に基づいて決定される。キュー内のブロックの順番を変更するのは、ブロックがキューに追加されたときでなくてもよく、ブロックがキューから取り出される直前などでもよい。

時刻ｔ＝ｔ_０に全てのスライスの最初のブロックＡ^０／４，Ｂ^０／４，Ｃ^０／４がキューに追加される（図５ＡのステップＳ１１５に対応）。このとき、ブロックＡ^０／４，Ｂ^０／４，Ｃ^０／４の順にブロックがキューに追加されると仮定する。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^０／４）＝Ｐ_０（Ｂ^０／４）＝Ｐ_０（Ｃ^０／４）＝１である。３つのブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ａ^０／４）＝６Ｔ、Ｐ_１（Ｂ^０／４）＝Ｐ_１（Ｃ^０／４）＝４Ｔとなるので、ブロックＡ^０／４はブロックＢ^０／４，Ｃ^０／４よりも前に置かれる。

また、２つのブロックＢ^０／４，Ｃ^０／４の優先度Ｐ_１が等しいので、優先度Ｐ_２が使用される。ブロックＢ^０／４，Ｃ^０／４がキューに追加された時刻は同じなので、ブロックＢ^０／４，Ｃ^０／４の優先度Ｐ_２は等しい。このため、ブロックＢ^０／４，Ｃ^０／４の順番は変更されない。よって、時刻ｔ＝ｔ_０では、ブロックＡ^０／４，Ｂ^０／４，Ｃ^０／４の順にブロックが並ぶ。

時刻ｔ＝ｔ_０＋Δｔにキューから先頭のブロックＡ^０／４とその次のブロックＢ^０／４が取り出され、ブロックＡ^０／４の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^０／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_１にブロックＢ^０／４の処理が終了すると、ブロックＢ^０／４の次に処理すべきブロックＢ^１／４がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＡ^０／４の処理は終了していない。時刻ｔ＝ｔ_１では、ブロックＣ^０／４とブロックＢ^１／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｃ^０／４）＝１、Ｐ_０（Ｂ^１／４）＝３／４となるので、ブロックＣ^０／４，Ｂ^１／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_１＋Δｔにキューから先頭のブロックＣ^０／４が取り出され、ブロックＣ^０／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＣ^０／４の処理が割り当てられると、ワーカー処理部＃１はブロックＣ^０／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＡ^０／４の処理を継続している。

時刻ｔ＝ｔ_２にブロックＡ^０／４の処理が終了すると、ブロックＡ^０／４の次に処理すべきブロックＡ^１／４がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＣ^０／４の処理は終了していない。時刻ｔ＝ｔ_２では、ブロックＢ^１／４とブロックＡ^１／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^１／４）＝３／４、Ｐ_０（Ａ^１／４）＝３／４となる。各ブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ｂ^１／４）＝３Ｔ、Ｐ_１（Ａ^１／４）＝４．５Ｔとなるので、ブロックＡ^１／４，Ｂ^１／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_２＋Δｔにキューから先頭のブロックＡ^１／４が取り出され、ブロックＡ^１／４の処理がワーカー処理部＃０に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃０にブロックＡ^１／４の処理が割り当てられると、ワーカー処理部＃０はブロックＡ^１／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃１はブロックＣ^０／４の処理を継続している。

時刻ｔ＝ｔ_３にブロックＣ^０／４の処理が終了すると、ブロックＣ^０／４の次に処理すべきブロックＣ^１／４がキューに追加される（図５ＢのステップＳ２０５に対応）。この時点でブロックＡ^１／４の処理は終了していない。時刻ｔ＝ｔ_３では、ブロックＢ^１／４とブロックＣ^１／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^１／４）＝３／４、Ｐ_０（Ｃ^１／４）＝３／４となる。各ブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ｂ^１／４）＝３Ｔ、Ｐ_１（Ｃ^１／４）＝３Ｔとなる。

各ブロックの優先度Ｐ_１が等しいので、優先度Ｐ_２が使用される。各ブロックの優先度Ｐ_２は、Ｐ_２（Ｂ^１／４）＝ｔ_１、Ｐ_２（Ｃ^１／４）＝ｔ_３となる。優先度Ｐ_２を使用すると、ブロックＣ^１／４，Ｂ^１／４の順にブロックが並び（図５ＢのステップＳ２４５に対応）、より遅い時刻にキューに追加されたブロックが、より早い時刻にキューに追加されたブロックよりも優先的に処理されるようになる。

時刻ｔ＝ｔ_３＋Δｔにキューから先頭のブロックＣ^１／４が取り出され、ブロックＣ^１／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＣ^１／４の処理が割り当てられると、ワーカー処理部＃１はブロックＣ^１／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＡ^１／４の処理を継続している。

時刻ｔ＝ｔ_４にブロックＡ^１／４の処理が終了すると、ブロックＡ^１／４の次に処理すべきブロックＡ^２／４がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＣ^１／４の処理は終了していない。時刻ｔ＝ｔ_４では、ブロックＢ^１／４とブロックＡ^２／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｂ^１／４）＝３／４、Ｐ_０（Ａ^２／４）＝２／４となるので、ブロックＢ^１／４，Ａ^２／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_４＋Δｔにキューから先頭のブロックＢ^１／４が取り出され、ブロックＢ^１／４の処理がワーカー処理部＃０に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃０にブロックＢ^１／４の処理が割り当てられると、ワーカー処理部＃０はブロックＢ^１／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃１はブロックＣ^１／４の処理を継続している。

時刻ｔ＝ｔ_５にブロックＢ^１／４とブロックＣ^１／４の処理が終了すると、ブロックＢ^１／４の次に処理すべきブロックＢ^２／４と、ブロックＣ^１／４の次に処理すべきブロックＣ^３／４とがキューに追加される（図５ＢのステップＳ２４０に対応）。時刻ｔ＝ｔ_５では、ブロックＡ^２／４とブロックＢ^２／４とブロックＣ^３／４とがキューに置かれている。

（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ａ^２／４）＝Ｐ_０（Ｂ^２／４）＝２／４、Ｐ_０（Ｃ^３／４）＝１／４となるので、ブロックＡ^２／４，Ｂ^２／４はブロックＣ^３／４よりも前に置かれる。２つのブロックＡ^２／４，Ｂ^２／４の優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ａ^２／４）＝３Ｔ、Ｐ_１（Ｂ^２／４）＝２Ｔとなるので、ブロックＡ^２／４はブロックＢ^２／４よりも前に置かれる。よって、時刻ｔ＝ｔ_５では、ブロックＡ^２／４，Ｂ^２／４，Ｃ^３／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_５＋Δｔにキューから先頭のブロックＡ^２／４とその次のブロックＢ^２／４が取り出され、ブロックＡ^２／４の処理がワーカー処理部＃０に割り当てられ、ブロックＢ^２／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。各ワーカー処理部にブロックの処理が割り当てられると、各ワーカー処理部は並列に処理を開始する（図５ＢのステップＳ２１０に対応）。

時刻ｔ＝ｔ_６にブロックＢ^２／４の処理が終了すると、ブロックＢ^２／４の次に処理すべきブロックＢ^３／４がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＡ^２／４の処理は終了していない。時刻ｔ＝ｔ_６では、ブロックＣ^３／４とブロックＢ^３／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｃ^３／４）＝Ｐ_０（Ｂ^３／４）＝１／４となる。各ブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ｃ^３／４）＝Ｐ_１（Ｂ^３／４）＝Ｔとなる。

各ブロックの優先度Ｐ_１が等しいので、優先度Ｐ_２が使用される。各ブロックの優先度Ｐ_２は、Ｐ_２（Ｃ^３／４）＝ｔ_５、Ｐ_２（Ｂ^３／４）＝ｔ_６となる。優先度Ｐ_２を使用すると、より遅い時刻にキューに追加されたブロックが、より早い時刻にキューに追加されたブロックよりも優先的に処理される。このため、ブロックＢ^３／４，Ｃ^３／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_６＋Δｔにキューから先頭のブロックＢ^３／４が取り出され、ブロックＢ^３／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＢ^３／４の処理が割り当てられると、ワーカー処理部＃１はブロックＢ^３／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＡ^２／４の処理を継続している。

時刻ｔ＝ｔ_７にブロックＡ^２／４の処理が終了すると、ブロックＡ^２／４の次に処理すべきブロックＡ^３／４がキューに追加される（図５ＢのステップＳ２４０に対応）。この時点でブロックＢ^３／４の処理は終了していない。時刻ｔ＝ｔ_７では、ブロックＣ^３／４とブロックＡ^３／４がキューに置かれている。（１）式によれば、各ブロックの優先度Ｐ_０は、Ｐ_０（Ｃ^３／４）＝Ｐ_０（Ａ^３／４）＝１／４となる。各ブロックの優先度Ｐ_０が等しいので、優先度Ｐ_１が使用される。（４）式によれば、Ｐ_１（Ｃ^３／４）＝Ｔ、Ｐ_１（Ａ^３／４）＝１．５Ｔとなるので、ブロックＡ^３／４，Ｃ^３／４の順にブロックが並ぶ（図５ＢのステップＳ２４５に対応）。

時刻ｔ＝ｔ_７＋Δｔにキューから先頭のブロックＡ^３／４が取り出され、ブロックＡ^３／４の処理がワーカー処理部＃０に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃０にブロックＡ^３／４の処理が割り当てられると、ワーカー処理部＃０はブロックＡ^３／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃１はブロックＢ^３／４の処理を継続している。

時刻ｔ＝ｔ_８にブロックＢ^３／４の処理が終了する。ブロックＢ^３／４の処理が終了したため、スライスＢの処理は終了する。この時点でブロックＡ^３／４の処理は終了していない。時刻ｔ＝ｔ_８では、ブロックＣ^３／４がキューに置かれている。

時刻ｔ＝ｔ_８＋Δｔにキューから先頭のブロックＣ^３／４が取り出され、ブロックＣ^３／４の処理がワーカー処理部＃１に割り当てられる（図５ＢのステップＳ２０５に対応）。ワーカー処理部＃１にブロックＣ^３／４の処理が割り当てられると、ワーカー処理部＃１はブロックＣ^３／４の処理を行う（図５ＢのステップＳ２１０に対応）。このとき、ワーカー処理部＃０はブロックＡ^３／４の処理を継続している。

ブロックＡ^３／４とブロックＣ^３／４の処理が終了すると、スライスＡとスライスＣの処理は終了する。この時点よりも前にスライスＢの処理は終了しているため、ブロックＡ^３／４とブロックＣ^３／４の処理が終了した時点で、全てのスライスの処理は終了している。

この例では、優先度Ｐ_０を使用することで、全てのスライスの処理の進捗割合をできるだけ同一に保ったまま並列処理を進めることができる。また、優先度Ｐ_１を使用することで、処理時間が相対的に長いスライスＡのブロックが最後に単独で残ることはない。よって、スライスの並列処理を効率的に行うことができる。

また、この例では、優先度Ｐ_２を使用することで、ワーカー処理部＃１がスライスＣのブロックＣ^０／４，Ｃ^１／４の処理を連続して行い、スライスＢのブロックＢ^２／４，Ｂ^３／４の処理を連続して行っている。このように、同じスライスのブロックの処理を連続して行うことで、キャッシュの利用効率が高まり、処理速度が向上する。

以上説明したように、第１の実施形態によれば、スライスを分割したブロックの単位でワーカー処理部に処理が割り当てられるので、スライスの単位でワーカー処理部に処理が割り当てられる場合と比較して、いずれかのワーカー処理部が処理の順番待ちのために処理対象が供給されずに休止することを抑制できる。そのため、ワーカー処理部全体の休止時間の合計が減少する。その結果、ワーカー処理部全体の利用効率が高まる。したがって、符号化されたスライスの復号処理の速度が向上する。

プロセッサの数Ｎとスライスの数Ｍにかかわらず、同一の方法で全てのワーカー処理部に、なるべく均等にスライスの処理が割り当てられる。特に、各スライスの処理時間が事前に分からない、もしくは各スライスの処理時間を正確に予測できない場合でも、全てのスライスの進捗状況がほぼ同一に保たれたまま処理が進む。このため、全体の処理時間に占める、並列に処理できる時間の割合が高くなり、効率的にワーカー処理部を使うことができる。

ＣＰＵに一対一に対応した、プロセッサの数と同数のワーカー処理部のみが使用されるため、スライスの処理中には、ワーカー処理部のコンテキストスイッチが起こらない。コンテキストスイッチとは、複数のワーカー処理部が同じプロセッサを共有するために、プロセッサの実行状態（コンテキスト）を保存または復元する操作のことである。ワーカー処理部のコンテキストスイッチが起こらないため、処理速度の低下が防止される。

スライスの処理時間がＯＳのタイムクォンタムに比べて小さい場合でも、各ワーカー処理部はブロック単位で並列に処理を行うことができる。短い間隔で複数のスライスを切り替えながら処理を実行することで、プロセッサの数よりも多いスライスを擬似的に並列に処理することができる。

キューには並列処理可能なブロックのみが置かれており、キューから取り出されたラッパーブロックは、すぐに任意のワーカー処理部に割り当てられる。このため、スライスの処理中には、キューへのアクセス以外の同期処理が不要である。

｛第２の実施形態｝
本発明の第２の実施形態は、符号化された画像データを復号処理する編集装置および編集方法についての例である。

図２４は、本発明の第２の実施形態に係る編集装置のハードウェア構成を示すブロック図である。なお、第１の実施形態と共通する要素については同じ符号を付し、その説明を省略する。

図２４を参照するに、編集装置１００は、光ディスクやその他の記録媒体を駆動するためのドライブ１０１、ＣＰＵ２０、ＣＰＵ２１、ＣＰＵ１０２、ＲＯＭ２３、ＲＯＭ１０３、ＲＡＭ２２、ＲＡＭ１０４、ＨＤＤ１０５、通信インターフェース１０６、入力インターフェース１０７、出力インターフェース１０８、ビデオ・オーディオインターフェース１１４、およびこれらを接続するバス１１０を備えている。

編集装置１００は、先の図１に示したＣＰＵ２０、ＣＰＵ２１、ＲＡＭ２２、およびＲＯＭ２３からなる第１の実施形態に係る復号装置と同様の復号装置を有する。さらに、図２４においては、図示を省略するが、編集装置１００は、先の図３に示した機能構成と同様の機能構成を有する。編集装置１００は、さらに、符号化処理機能と、編集機能を有する。なお、編集装置１００において、符号化処理機能は必須ではない。

ドライブ１０１にはリムーバブルメディア１０１ａが装着され、このリムーバブルメディア１０１ａからデータの読み出しが行われる。ドライブ１０１は外付けのドライブであってもよい。ドライブ１０１は、光ディスク、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどを採用することができる。素材データの読み出しは、通信インターフェース１０６を介して接続可能なネットワーク上のリソースから行ってもよい。

ＣＰＵ１０２は、ＲＯＭ１０３に記録されている制御プログラムをＲＡＭ１０４に展開し、編集装置１００全体の動作を制御する。

ＨＤＤ１０５は、編集装置としてのアプリケーションプログラムが格納されている。ＣＰＵ１０２がこのアプリケーションプログラムをＲＡＭ１０４上で展開し、コンピュータを編集装置として機能させる。また、リムーバブルメディア１０１ａから読み出された素材データや各クリップの編集データなどをこのＨＤＤ１０５に格納してもよい。

通信インターフェース１０６は、たとえばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＬＡＮ、ＨＤＭＩ等のインターフェースである。

入力インターフェース１０７は、キーボードやマウスなどの操作部４００を介してユーザが入力する指示を受け付け、バス１１０を介してＣＰＵ１０２に操作信号を供給する。

出力インターフェース１０８は、ＬＣＤ（液晶表示装置）やＣＲＴなどの表示装置、スピーカなどの出力装置５００に、ＣＰＵ１０２からの画像データや音声データを供給する。

ビデオ・オーディオインターフェース１１４は、編集装置１００の外部の装置とバス１１０との間でデータの受け渡しを行う。ビデオ・オーディオインターフェース１１４は、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などに準拠したインターフェースである。

図２５は、本発明の第２の実施形態に係る編集装置の機能構成図である。

図２５を参照するに、編集装置１００のＣＰＵ１０２は、メモリ上に展開されるアプリケーションプログラムによって、ユーザインターフェース部７０、編集部７３、情報入力部７４、情報出力部７５の各機能ブロックを構成する。

このような各機能ブロックにより、素材データと編集データを含むプロジェクトファイルのインポート機能、各クリップに対する編集機能、素材データおよび／または編集データを含むプロジェクトファイルのエクスポート機能、プロジェクトファイルのエクスポート時における素材データに対するマージン設定機能などを実現する。以下、編集機能について詳細に説明する。

図２６は、本発明の第２の実施形態に係る編集装置の編集画面の一例を示す図である。

図２６を図２５とともに参照するに、編集画面の表示データが表示制御部７２により生成され、出力装置５００のディスプレイに出力される。

編集画面１５０は、編集されたコンテンツや取得した素材データの再生画面を表示する再生ウィンドウ１５１、各クリップがタイムラインに沿って配置される複数のトラックで構成されるタイムラインウィンドウ１５２、取得した素材データをアイコンで表示するビンウィンドウ１５３などを備えている。

ユーザインターフェース部７０は、操作部４００を介してユーザが入力した指示を受け付ける指示受付部７１、ディスプレイやスピーカなどの出力装置５００に対する表示制御を行う表示制御部７２を含んでいる。

編集部７３は、操作部４００を介してユーザから入力された指示により指定されたクリップが参照する素材データ、あるいはデフォルトで指定されているプロジェクト情報を備えるクリップが参照する素材データを、情報入力部７４を介して取得する。また、編集部７３は、操作部４００を介してユーザから入力された指示により、後述するクリップのタイムラインウィンドウ上の配置、クリップのトリミングや、シーン間のトランジッションの設定や、ビデオフィルタをかける等の編集処理を行う。

情報入力部７４は、ＨＤＤ１０５内に記録されている素材データが指定された場合には、ビンウィンドウ１５３にアイコンを表示する。ＨＤＤ１０５内に記録されていない素材データが指定された場合には、ネットワーク上のリソースやリムーバブルメディアなどから素材データを読み出してビンウィンドウ１５３にアイコンを表示する。図示した例では、３つの素材データがアイコンＩＣ１〜ＩＣ３で表示されている。

指示受付部７１は、編集に用いるクリップと、素材データの参照範囲と、その参照範囲がコンテンツの時間軸上にしめる時間位置との指定を編集画面上で受け付ける。具体的には、指示受付部７１は、クリップＩＤ、参照範囲の開始点および時間長、クリップが配置されるコンテンツ上の時間情報などの指定を受け付ける。このためにユーザは、表示されているクリップ名を手がかりに、所望の素材データのアイコンをタイムライン上にドラッグ＆ドロップする。指示受付部７１は、この操作によるクリップＩＤの指定を受け付けて、選択されたクリップが参照する参照範囲に応じた時間長でトラック上にクリップが配置される。

トラック上に配置されたクリップは、クリップの開始点、終了点、タイムライン上の時間的な配置などを適宜変更することが可能となっている。例えば、編集画面上に表示されるマウスカーソルを移動させて所定の操作を行うことで指示を入力することが可能である。

図２７は、本発明の第２の実施形態に係る編集方法を示すフローチャートである。圧縮符号化された素材データを編集する場合を例に挙げて、図２７を参照しつつ、本発明の第２の実施形態に係る編集方法を説明する。

最初に、ステップＳ４００では、ユーザによりＨＤＤ１０５に記録されている、符号化された素材データが指定されると、ＣＰＵ１０２はその指定を受付けて、その素材データをビンウィンドウ１５３にアイコンとして表示する。さらに、ユーザにより、その表示されたアイコンをタイムラインウィンドウ１５２に配置する指示がされると、ＣＰＵ１０２はその指示を受付けて、素材のクリップをタイムラインウィンドウ１５２に配置する。

次いで、ステップＳ４１０では、ユーザにより、素材について、操作部４００を介した所定の操作により表示される編集内容の中から、例えば復号処理および伸張処理が選択されると、ＣＰＵ１０２はその選択を受け付ける。

次いで、ステップＳ４２０では、復号処理および伸張処理の指示を受け付けたＣＰＵ１０２は、ＣＰＵ２０，２１に復号処理および伸張処理の指示を出力する。ＣＰＵ１０２から復号処理および伸張処理の指示が入力されたＣＰＵ２０，２１は、圧縮符号化された素材データを復号処理および伸張処理する。この際、ＣＰＵ２０，２１は、第１の実施形態に係る復号方法を実行して、復号処理された素材データを生成する。

次いで、ステップＳ４３０では、ＣＰＵ２０，２１は、ステップＳ４２０で生成された素材データを、バス１１０を介してＲＡＭ２２に格納する。ＲＡＭ２２に一時的に格納された素材データはＨＤＤ１０５に記録される。なお、ＨＤＤに記録する代わりに、編集装置外の装置に素材データを出力してもよい。

なお、上記のステップＳ４００とＳ４１０との間に、クリップのトリミングや、シーン間のトランジッションの設定や、ビデオフィルタをかけてもよい。これらの処理を行う場合は、処理の対象となるクリップやクリップの一部について、ステップＳ４２０の復号処理および伸張処理を行う。その後に処理されたクリップやクリップの一部は記憶される。その後のレンダリングの際に他のクリップやクリップの他の部分と合成される。

第２の実施形態によれば、編集装置は、第１の実施の形態と同様の復号装置を有し、第１の実施の形態と同様の復号方法を用いて、符号化された素材データを復号処理するので、第１の実施形態と同様の効果が得られ、復号処理の効率が向上する。

なお、復号処理の際に、ＣＰＵ１０２が、ＣＰＵ２０およびＣＰＵ２１と同様のステップを実行してもよい。特に、ＣＰＵ１０２が復号処理以外の処理を行わない期間に実行することが好ましい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。例えば、符号化された音声データの復号処理に本発明を適用してもよい。たとえば、上述した実施形態では、ＭＰＥＧ−２に準拠した復号処理を例に説明したが、ＭＰＥＧ−２に限定されず、他の画像符号化方式、たとえば、ＭＰＥＧ−４ヴィジュアル、ＭＰＥＧ−４ ＡＶＣ、ＦＲＥｘｔ（Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎ）や音声符号化方式にも適用できることはいうまでもない。

１０ 復号装置
２０，２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
３０ 復号処理部
３１ メイン処理部
３２ａ，３２ｂ ワーカー処理部
３３ａ，３３ｂ スライスデコーダ
３４ キュー
３５ スライスバッファ
３６ ビデオメモリ
３７ スライスコンテキスト
７３ 編集部
１００ 編集装置

Claims (10)

1. 画像または音声の符号化データを復号する装置であって、
   前記符号化データを供給するソースであって、該符号化データが独立して復号可能な複数の要素データからなり、該複数の要素データの各々が少なくとも一つのブロックからなる、前記ソースと、
   前記少なくとも一つのブロックのうち、最初に処理される第１のブロックを特定するブロック情報を生成する第１の処理手段と、
   前記最初のブロックに後続するブロックに対応するブロック情報を生成する複数の第２の処理手段であって、該ブロック情報がそのブロックが含まれる前記要素データにおける復号処理の順序と、該ブロックと該ブロックが含まれる要素データとは別の要素データに含まれるブロックとの間の復号処理の順序を決める優先度が計算され、その計算された優先度とを含む、該複数の第２の処理手段と、
   前記生成されたブロック情報に対応するブロックを並列して復号する複数の復号手段であって、前記要素データにおける最も早い前記復号処理の順序および最も高い前記計算された優先度の両方を含む前記ブロック情報に対応するブロックが前のブロックの復号処理が終了した該複数の復号手段のうちの一つに割り当てられて復号される、該複数の復号手段と、
   前記復号されたブロックを格納するとともに、そのブロックに対応する復号された要素データを形成する記憶手段と、
   を備える、前記装置。
2. 前記優先度は、前記複数の要素データの各々の要素データ毎にその要素データに含まれるブロックに対する復号処理の進捗度に基いて算出され、該進捗度が低いほど優先度が高い、請求項１記載の装置。
3. 前記優先度は、前記複数の要素データの各々の要素データ毎にその要素データに含まれる未処理のブロックに対する予測された処理時間に基いて算出され、該予測された処理時間が長いほど優先度が高い、請求項１または２記載の装置。
4. 前記生成されたブロック情報を格納する記憶手段をさらに備え、
   前記優先度は、前記ブロック情報を格納した時刻に基いて算出され、該格納した時刻が現在に近いほど該格納されたブロック情報に対応するブロックと同じ要素データに含まれるブロックの優先度が高い、請求項１または２記載の装置。
5. 画像または音声の符号化データを復号する方法であって、該符号化データが独立して復号可能な複数の要素データからなり、該複数の要素データの各々が少なくとも一つのブロックからなり、前記方法は、
   プロセッサが前記少なくとも一つのブロックのうち、最初に処理される第１のブロックを特定するブロック情報を生成するステップと、
   プロセッサが前記最初のブロックに後続するブロックに対応するブロック情報を生成するステップであって、該ブロック情報がそのブロックが含まれる前記要素データにおける復号処理の順序と、該ブロックと該ブロックが含まれる要素データとは別の要素データに含まれるブロックとの間の復号処理の順序を決める優先度が計算され、その計算された優先度とを含む、該ステップと、
   複数のプロセッサが前記生成されたブロック情報に対応するブロックを並列して復号するステップであって、前記要素データにおける最も早い前記復号処理の順序および最も高い前記計算された優先度の両方を含む前記ブロック情報に対応するブロックが前のブロックの復号処理が終了した該複数のプロセッサのうちの一つに割り当てられて復号される、該ステップと、
   プロセッサが前記復号されたブロックを格納するとともに、そのブロックに対応する復号された要素データを形成するステップと、
   を含む、前記方法。
6. 前記優先度は、前記複数の要素データの各々の要素データ毎にその要素データに含まれるブロックに対する復号処理の進捗度に基いて算出され、該進捗度が低いほど優先度が高い、請求項５記載の方法。
7. 前記優先度は、前記複数の要素データの各々の要素データ毎にその要素データに含まれる未処理のブロックに対する予測された処理時間に基いて算出され、該予測された処理時間が長いほど優先度が高い、請求項５または６記載の方法。
8. 前記生成されたブロック情報をメモリに格納するステップをさらに含み、
   前記優先度は、前記ブロック情報を格納した時刻に基いて算出され、該格納した時刻が現在に近いほど該格納されたブロック情報に対応するブロックと同じ要素データに含まれるブロックの優先度が高い、請求項５または６記載の方法。
9. 画像または音声の符号化データを復号するプログラムであって、該符号化データが独立して復号可能な複数の要素データからなり、該複数の要素データの各々が少なくとも一つのブロックからなり、
   プロセッサが前記少なくとも一つのブロックのうち、最初に処理される第１のブロックを特定するブロック情報を生成するステップと、
   プロセッサが前記最初のブロックに後続するブロックに対応するブロック情報を生成するステップであって、該ブロック情報がそのブロックが含まれる前記要素データにおける復号処理の順序と、該ブロックと該ブロックが含まれる要素データとは別の要素データに含まれるブロックとの間の復号処理の順序を決める優先度が計算され、その計算された優先度とを含む、該ステップと、
   複数のプロセッサが前記生成されたブロック情報に対応するブロックを並列して復号するステップであって、前記要素データにおける最も早い前記復号処理の順序および最も高い前記計算された優先度の両方を含む前記ブロック情報に対応するブロックが前のブロックの復号処理が終了した該複数のプロセッサのうちの一つに割り当てられて復号される、該ステップと、
   プロセッサが前記復号されたブロックを格納するとともに、そのブロックに対応する復号された要素データを形成するステップと、を実行するように構成した、前記プログラム。
10. 編集装置であって、
    画像または音声の符号化データを供給するソースであって、該符号化データが独立して復号可能な複数の要素データからなり、該複数の要素データの各々が少なくとも一つのブロックからなる、前記ソースと、
    前記最初のブロックに後続するブロックに対応するブロック情報を生成する複数の第２の処理手段であって、該ブロック情報がそのブロックが含まれる前記要素データにおける復号処理の順序と、該ブロックと該ブロックが含まれる要素データとは別の要素データに含まれるブロックとの間の復号処理の順序を決める優先度が計算され、その計算された優先度とを含む、該複数の第２の処理手段と、
    前記生成されたブロック情報に対応するブロックを並列して復号する複数の復号手段であって、前記要素データにおける最も早い前記復号処理の順序および最も高い前記計算された優先度の両方を含む前記ブロック情報に対応するブロックが前のブロックの復号処理が終了した該複数の復号手段のうちの一つに割り当てられて復号される、該複数の復号手段と、
    前記復号されたブロックを格納するとともに、そのブロックに対応する復号された要素データを形成する記憶手段と、
    前記復号された要素データを編集する編集手段と、
    を備える、前記編集装置。

Images