JP6339012B2 - 層状の信号品質階層の再構成データの送信 - Google Patents

Description

今日では、インターネットのトラフィックの大半が、ビデオコンテンツで占められており、その殆どは、ビデオストリーミングによって送信されている。同時に、今日では殆どのテレビ番組が、デジタルビデオ送信を利用してブロードキャストされている。

しかしながら、従来のビデオコーデック（たとえばＭＰＥＧファミリーのコーデックその他の周波数変調ベース／ブロックベースのコーデック）はビデオストリーミングを想定して開発されたわけではない。つまり、開発当時には、インターネットが揺籃期だったために、利用可能な帯域幅では有効なビデオストリーミングを行うことができなかった。

この結果、ビデオストリーミング機能を追加したとき、主要なアルゴリズムおよびフォーマットは既に定義されており、可変／予測不能なビットレートおよび可変／予測不能なノイズが存在しうるデジタルチャネルによってビデオ送信を行う、という文脈において重要な特徴を実現することができなかった。

たとえば、現在のアルゴリズムおよびビットストリームフォーマットのストリーミングサーバを、１つのエンコードされたファイルから始めて、受信側の特定のデコーダ／表示デバイスの特徴にビデオストリームの品質レベルを動的に合わせていくことができない。信号が高品質でエンコードされており、しかも、受信側が低解像度の表示デバイス（たとえばモバイルフォン、タブレット等）を持っている場合には、最高解像度（デコード側では帯域幅およびコンピューティングリソースが大量に利用される）で送信せねばならない。

同様に、ビデオストリームの品質レベルを、利用可能な帯域幅に動的に適合できなかったり（たとえば、ネットワークが混み合っていたり、限られた帯域幅しか利用できない場合）、デコーダデバイスが要求するサービスレベルに適合できなかったりする場合もある（たとえば、ストリームの品質レベルに応じた有料放送サービスの場合）。

別の制約に、ノイズのあるチャネルでの送信でエラーが生じた場合、非常に目につく「ブロック状の」アーチファクトが現れ（その信号のブロック全体に関する情報が破損した結果）、アナログ送信では可能であった、より洗練された信号の劣化を可能とすることができなくなる、という問題もある。

さらに、デコーダは、ダウンロードを終了する前／ストリーム全体をバッファリングするまでは、ビデオストリームの低画質バージョンをブラウズ（たとえば早送り）することができず、デコーダデバイスが、今後再生されることのない信号のセグメントであってもダウンロードする必要が生じる（この結果時間と帯域幅が無駄になる）。

加えて、現在のアルゴリズムおよび送信フォーマットは、一定のビットレート（ＣＢＲ）の場合の利用可能な帯域幅を最大利用するように作られておらず、この結果、殆どの情報を含む画像が一定のビットレートを超えないように信号をエンコードする必要がある（この結果、全ての他の画像のＣＢＲの利用率が低くなる）。

最後に、従来のＭＰＥＧファミリーコーデックは、構造的に並列になっていない。これは、効率的に圧縮するためにはすべてのブロックを互いにある程度依存させる必要があることから、ブロックベースになっており、各画像ブロックのエンコードよびデコードをシーケンシャルに実行する必要があることに起因している。この結果、ビットストリームも、多くの独立したコンピューティングコア／デバイスによって並列的にデコードすることができるよう構成されていない。

これらの限定は、ビデオストリーミング（２Ｄまたはマルチビュー）に当てはまるが、近年益々重要性が増してきている、医療用撮像、科学用撮像等の分野で重要度を増してきている三次元または体積画像化（volumetric imaging）分野における効率的な送信といった、他の用途でも生じる場合がある。

ここに記載する実施形態は、従来のシステムおよび方法とは異なっている（deviate）。たとえば、ここに記載する実施形態は、１以上の品質レベルで信号の再構成レンディションに再構成データを利用する固有の方法に関している。

より詳しくは、ここに記載する一実施形態は、保存場所から再構成データを取得する信号プロセッサを含む。再構成データは、複数の品質レベルを含む層状の階層に従ってエンコードされている。信号プロセッサは、再構成データの選択された部分をデコーダリソースに送信する。デコーダリソースは、再構成データの送信された部分に基づいて信号のレンディションを再構成する。送信中に、再構成データを保存場所から取得する信号プロセッサは、デコーダリソースに送信する再構成データの品質レベルを変更する。デコーダリソースは、それぞれ異なる品質レベルで信号を再生するべく、受信した再構成データをデコードする。したがって、信号を、最高品質レベルで信号の各フレームを再構成するのに適した再構成データを含むようにエンコードすることができる。しかし、信号プロセッサは、デコーダ等の遠隔リソースに再構成データの部分を選択的に送信するよう構成することもできる。

一実施形態では、デコーダリソースに送信する再構成データの品質レベルを変更する段階は、信号の第１部分を再生するための第１のセットの再構成データをデコーダリソースに送信する段階と、信号の第２部分を再生するための第２セットの再構成データをデコーダリソースに送信する段階とを含む。第１のセットの再構成データ（たとえば再構成データのＸ層）は、層状階層の第１の品質レベルに従って信号の第１部分のレンディションを再構成する方法を示す。第２セットの再構成データ（たとえば再構成データのＹ層）は、層状階層の第２の品質レベルに従って信号の第２部分のレンディションを再構成する方法を示す。Ｘ＞Ｙの場合、第１の品質レベルが第２の品質レベルより大きく、Ｙ＞Ｘの場合には、第２の品質レベルが第１の品質レベルより大きい。

再構成データの層は、様々な理由から、異なる品質レベルで送信することができる。たとえば、ネットワークが混み合っている場合などに、第２セットの再構成データを第１の品質レベルでは送信できないことを検知すると、第２セットの再構成データは、第１の通信レベルではなくて、第２の品質レベルで、信号プロセッサからデコーダリソースに送信することができる。このような実施形態では、信号の第１部分を再構成するための再構成データは、Ｘの品質レベルの再構成データを含んでよく、信号の第２部分を再構成するための再構成データは、Ｙの品質レベルの再構成データを含んでよい。送信されるデータ（たとえば再構成データ）量を減らすことで、デコーダは、信号の少なくとも最低品質レベルのバージョンを再構成することができる。

一実施形態では、信号プロセッサが、再構成データの品質レベルを変化させて、デコーダリソースによって実質的にリアルタイムでの信号の再生を促す。

別の実施形態では、信号プロセッサは、第２セットの再構成データを第１の品質レベルではなくて第２の品質レベルで送信せよとの要求を受けて、第２セットの再構成データを第２の品質レベルで送信するよう構成することができる。たとえば、デコーダリソース等のソースは、前に送信されたフレームまたはフレームセットよりも高いまたは低い品質に従って、信号の送信を要求することができる。要求に応じて、デコーダリソースは、要求された品質レベルで再構成データを送信する。

一実施形態では、信号プロセッサは、信号の複数の連続したフレームのそれぞれについて、デコーダリソースに層状の再構成データの実質的に一定のビットレートを送信するべく、信号の複数のフレームのそれぞれについて、デコーダリソースに送信する再構成データの最高品質レベルを変化させる。したがって、デコーダに送信する再構成データの品質レベルは、実質的に一定のビットレートのデータストリームを生成するように変化させることができる。

信号のフレームの再構成データは、保存場所から取得した再構成データのレベルに応じて、異なる品質レベルに従って送信して、信号プロセッサからデコーダリソースに送る（forward）ことができる。たとえば一実施形態では、再構成データの品質レベルを変化させる段階は、ｉ）信号の第１部分について、保存場所から再構成データを取得して、階層の最低品質レベルから第１の品質レベルまで、再構成データシーケンスを含むように、第１のセットの再構成データを生成する段階と、ｉｉ）信号の第２部分について、保存場所から再構成データを取得して、階層の最低品質レベルから第２の品質レベルまで、再構成データシーケンスを含むように、第２のセットの再構成データを生成する段階とを有する。上述したように、第２の品質レベルは第１の品質レベルより高くても低くてもよい。信号プロセッサは、第１の品質レベルに従って信号の第１部分を再生するように、第１のセットの再構成データをデコーダリソースに送信して、第２の品質レベルに従って信号の第２部分を再生するように、第２のセットの再構成データをデコーダリソースに送信する。

更なる実施形態では、信号プロセッサは、信号の複数の部分のそれぞれについて低品質レベルを送信した後に、より高い品質の再構成データを送信するよう構成することができる。たとえば、信号プロセッサは、階層の第１の品質レベルに従って信号の複数の部分を再構成するべく再構成データを含むように、第１のセットの再構成データを構成することができる。信号プロセッサは、デコーダリソースに第１のセットの再構成データを送信して、第１の品質レベルに従って信号間を、ナビゲーション可能とすることもできる。一実施形態では、第１のセットの再構成データの送信が、低品質レベルの再構成を実現することができるので、第１のセットの再構成データの送信を比較的短時間に行うことができる。デコーダリソースは、各ユーザが、信号の低解像度（たとえば低品質レベル）バージョンの再生を迅速にナビゲーション（たとえば早送り、巻き戻し等のコマンドにより）できるようにするための第１のセットの再構成データの再生を開始することができる。低解像度の信号を見ることにより、ユーザは、より高い品質での再生における信号内の位置を示すポインタ値を選択することができる。

低解像度のデータストリームの特定の位置が選択されると、信号プロセッサは、第２セットの再構成データ（潜在的にポインタ値が要求する位置から始まる）を生成して、階層の第２の品質レベルに従って信号を再構成するように再構成データを含めることができる。信号プロセッサは、より高い品質レベルに従って信号の第２部分を再生するべく、第２セットの再構成データをデコーダリソースに送信する。

第１のセットの再構成データ（最初の送信）と第２セットの再構成データ（後続する送信）の組み合わせによって、第２の品質レベルに従って信号を再生することができる。より詳しくは、上述したナビゲーションの例に基づけば、第２セットの再構成データ（たとえば、より高い品質レベルで信号を再構成するための再構成データ）が、第１のセットの再構成データの補助再構成データである。第２セットの再構成データは、第２の品質レベルに従ってポインタ値に後続する信号の部分を再構成するために、第１のセットの再構成データに基づいて生成された信号をどのように修正するかを示す。

更なる実施形態においては、再構成データは、デコーダリソースに送信する再構成データの品質レベルに応じて、デコーダリソースを操作するそれぞれのユーザに、異なる金額または料金を課す料金表に基づいて配信することができる。ユーザは、最初に、第１の品質レベルに従って再構成データを受信して、次いで、追加再構成データの送信を要求して、第２の、より高い品質レベルに従ってコンテンツを再生することができる。

更なる実施形態では、再構成データの選択された部分に対してデジタル著作権管理を適用することで、再構成データの部分を保護することができる。たとえば、上述したように、信号の各部分（画像、フレーム、部分等）を、それぞれの再構成データの層状のセットで定義して、信号レンディションを再構成することができる。再構成データの、より高い層でデコードすることにより、より高い品質レベルで信号を再生することができる。ここに記載する実施形態には、再構成データセットの低い方の層（より低い品質レベルの再構成データ）のみに対してデジタル著作権管理を実行することが含まれる。このような実施形態では、こうすることで、より低い品質レベルで再構成データが、許可なくデコードされることが防がれる。再構成データのより高い層にはアクセス可能であり、デジタル著作権管理では保護されなくてよい。しかし、より低い品質レベルの再構成データがデジタル著作権管理によって保護されるので、より低い品質レベルの再構成データをデコードする機能がないために、無許可のデコーダリソースは、より高い品質レベルの再構成データを利用しても、意味のある信号のレンディションを生成することができない。言い換えると、より高い品質レベルの再構成データの利用は、デジタル著作権管理に保護されている、対応する低い方の品質レベルの再構成データのデコードに成功することに基づいている、ということである。

別の実施形態では、信号プロセッサは、信号の再生を行うために、冗長なエンコードを含めるべく、１以上の品質レベルで再構成データセットを生成することができる。低品質レベルの再構成データは、エラーがあった場合に、低品質レベルの再構成データの再生を行うために、冗長なエンコードを含むことができる。信号プロセッサは、冗長ではないエンコードを含むよう、高品質レベルの再構成データを生成する。エラーがあった場合には、高いほうの品質レベルの再構成データが破損している場合があるので、こうすることで、再構成データを受信するユーザは、少なくとも低品質レベルで信号を再生することができる可能性が高くなる。

また別の実施形態では、信号プロセッサは、再構成データをパースして、各グループに分類するよう構成されていてよい。一実施形態では、再構成データのグループそれぞれが、信号の時間ベースの部分（たとえば画像、フレーム、セグメント、ピース）を表す。再構成データのグループそれぞれは、階層の最低品質レベルから高品質レベルの、階層層状の再構成データの複数のシーケンスを含んでよい。このような実施形態では、最低品質レベルから高品質レベルの、階層状の再構成データの複数のシーケンスのそれぞれが、信号に関する連続したエレメントのそれぞれのタイルの設定を示す。

デコーダリソースに再構成データを送信することは、複数のシーケンスのそれぞれを連続して次々に、ビットストリームでデコーダにシリアル送信することと、ビットストリームに、層状の再構成データの各シーケンスにおける各タイルの最初と最後それぞれを示すマーカ情報を提供することとを含んでよい。デコーダリソースは複数のプロセッサを含んでよく、各プロセッサは、再構成データのタイルを生成するために複数のシーケンスの１つをデコードするよう構成されている。タイルの組み合わせによって、より高い品質レベルで信号のレンディションを行うために利用される再構成データを生成することができる。

これに代えて、信号の一部の再構成データの送信は、信号の一部に関する複数のシーケンスの、低品質レベルの再構成データから、高いほうの品質レベルの再構成データまで、ビットストリームで、層状の再構成データの送信を含んでよい。信号プロセッサは、各品質レベルについての層状の再構成データの最初から最後までを示すマーカ情報をビットストリームに提供することができる。

信号プロセッサは、データストリームの複数の部分で、信号のある部分の再構成データを送信することができる。たとえば一実施形態では、信号プロセッサは、再構成データを送信するためにデータストリームを、少なくとも第１のセグメントと第２のセグメントとを含む複数のセグメントに分割する。データストリームの第１のセグメントは、信号の第１の画像／フレームを再生するための再構成データを含み、データストリームの第２のセグメントは、信号の第２の画像／フレームを再生するための再構成データを含む。

一実施形態では、信号プロセッサは、データストリームの第１のセグメントをポピュレートして、再構成データの複数の品質レベルを含ませて、信号の第１の画像／フレームを再構成して、信号プロセッサは、データストリームの第２のセグメントをポピュレートして、ｉ）信号の第２の画像／フレームを再構成するための、再構成データの複数の品質レベルと、ｉｉ）信号の第１の画像／フレームを再構成するための、再構成データの少なくとも１つの品質レベルとを含ませる。したがって、信号のそれぞれの部分の再構成データを、その部分専用のデータストリームの対応するセグメントで送信する代わりに、信号のある部分の再構成データを、データストリームの複数のセグメントに分散させることができる。

デコーダリソースは、信号プロセッサが送信するデータストリームをバッファリングするよう構成されていてよい。たとえばデコーダは、データストリームの第１のセグメントの複数の信号レベルの再構成データおよびデータストリームの第２のセグメント（および潜在的には更なる別のセグメント）の再構成データに基づいて、信号の第１の画像／フレームを再構成する。信号プロセッサは、第２のセグメントの複数の品質レベルの再構成データに基づいて、信号の第２の画像／フレームを再構成する。このようにして、高いほうの品質レベルの再構成データを、各データストリームに分散させることができる。

これらおよびその他の実施形態の変形例について、以下で詳述する。

上述したように、ここに記載する実施形態は、ここに開示する方法の動作のいずれかまたは全てを実行する、および／または、サポートする１以上のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、その他の構成を含むことができる。言い換えると、１以上のコンピュータ化されたデバイスまたはプロセッサは、別の実施形態を実行すべく、ここに記載されるように動作するようプログラミングおよび／または構成することができる。

上述したようにアップサンプリングすることに加えて、ここに記載するまた別の実施形態は、上で簡単にまとめ、以下で詳述するステップおよび動作を実行するためのソフトウェアプログラムを含む。これらの実施形態の１つは、プロセッサおよび対応するメモリ、プログラムを有するコンピュータ化されたデバイスで実行されると、プロセッサにここで開示する動作のいずれかを実行させるコンピュータプログラム論理、命令等がエンコードされた、コンピュータ可読ハードウェア格納リソース（つまり、持続性コンピュータ可読媒体）を含む。これらの構成は、光学媒体（ＣＤ−ＲＯＭ）、フロッピー（登録商標）またはハードディスクその他の媒体（たとえば１以上のＲＯＭまたはＲＡＭまたはＰＲＯＭチップのファームウェアまたはマイクロコード、または特定用途向け集積回路（ＡＳＩＣ））等のコンピュータ可読媒体に構成またはエンコードされたソフトウェア、コード、および／または、その他のデータ（たとえばデータ構造）として提供されてよい。ソフトウェア、ファームウェア、その他のこれらの構成は、コンピュータ化されたデバイスにインストールされ、コンピュータ化されたデバイスに、ここで説明した技術を実行させることができる。

したがって、本開示の具体的な１つの実施形態は、信号処理動作をサポートする命令が格納されたコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラムプロダクトを対象としている。例えば一実施形態では、それぞれのコンピュータデバイスのプロセッサによって実行されると、プロセッサに、保存場所から、複数の品質レベルを含む層状の階層に従ってエンコードされた、再構成データを取得させ、取得した再構成データをデコーダに送信させ、デコーダが、送信された再構成データに基づいて信号のレンディションを再構成して、送信中に、デコーダが取得して送信する再構成データの品質レベルを変更させる。

明瞭化するために、ステップに順序を追加した。これらのステップは任意の適切な順序で実行することができる。

本開示の他の実施形態には、上で簡単にまとめ、後で詳述する方法の実施形態のステップおよび動作のいずれかを実行するためにソフトウェアプログラム、ファームウェア、および／または、それぞれのハードウェアが含まれる。

さらに、システム、方法、装置、コンピュータ可読記憶媒体の命令などは、ここで記載するように、厳密にソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／または、ハードウェアの混合体として、または、プロセッサ内、オペレーティングシステム内、またはソフトウェアアプリケーション内等のハードウェア単独として、実施することができる。

上述したように、ここに記載する技術は、信号をエンコードするソフトウェア、ファームウェア、および／またはハードウェアアプリケーションによく適している。しかし、ここに記載する実施形態は、このような用途での利用に限定はされず、ここに開示する技術は、他のアプリケーションにも同様に適している。

加えて、ここに記載したそれぞれ異なる特徴、技術、構成等のそれぞれが、本開示では異なる場所で説明されている場合があるが、各思想は、互いに独立して、または互いに組み合わせられて実行することもできる。したがって、ここに記載する１以上の本願、実施形態等を、多くの異なる方法で実施したり、解釈したりすることができる。

さらに、ここに記載する実施形態の前の説明は、全ての実施形態を網羅しているわけでも、および／または、本開示または請求されている発明の、増分的に新規な態様を網羅しているわけでもない。そうではなくて、この簡単な説明は、概略的に実施形態を提示し、従来の技術に対応する新規な点を提示すに過ぎない。本発明の更なる詳細および／または可能な側面（置き換え）については、後述する本発明を実施する形態および対応する本開示の図面を参照されたい。

本発明の前述したおよびその他の目的、特徴、および利点は、添付図面に例示し、ここで記載する好適な実施形態のより詳しい以下の記載から明らかになるだろう。図面間では、同様の参照番号が同じ部材を示す。図面は必ずしも実際の縮尺で描かれておらず、実施形態、原理、および思想を示すものに重きを置いている。

ここに記載する実施形態における再構成データの生成および利用の一例を示す。 ここに記載する実施形態において、親のエレメントをサブエレメントに分割する一例を示す。 ここに記載する実施形態において、再構成データを処理、転送（forward）、およびデコードする一例を示す。 ここに記載する実施形態における、それぞれ異なる品質レベルの再構成データを含むデータストリームの一例を示す。 ここに記載する実施形態におけるデコーダに転送する、或る品質レベルの再構成データの一変形例を示す。 ここに記載する実施形態におけるデコーダに転送する、或る品質レベルの再構成データの一変形例を示す。 ここに記載する実施形態における、高いほうの品質レベルの再構成データの送信の前に、低品質レベルの再構成データ群を送信する一例を示す。 ここに記載する実施形態における再構成データの配信のための料金構造の一例を示す。 ここに記載する実施形態における、１以上の低品質レベルでデジタル著作権管理を利用する一例を示す。 ここに記載する実施形態における、１以上の低品質レベルにおける再構成データの冗長な情報の一例を示す。 ここに記載する実施形態における、複数のタイルのそれぞれについての再構成データの一例を示す。 ここに記載する実施形態における、複数のタイルのそれぞれについての再構成データの一例を示す。 ここに記載する実施形態における、複数のタイルのそれぞれにおける再構成データの異なる方法の一例を示す。 ここに記載する実施形態における、再構成データをバッファリングする一例を示す。 ここに記載する実施形態における、コンピュータコード、ファームウェア、ソフトウェア、アプリケーション、論理等を実行するためのコンピュータアーキテクチャの例を示す。 ここに記載する実施形態における、再構成データを利用する方法のフローチャートの一例を示す。

図１は、ここに記載する実施形態における再構成データの生成の一例を示す。

図示すように、信号プロセッサ１００−１は、信号１１５を、階層の低品質レベルの異なるレンディションにダウンサンプリングする。概して、信号１１５のダウンサンプリングは、それぞれ異なる品質レベルで、信号のレンディションを生成することと、階層の第１の品質レベルの信号のレンディションを、階層の次に高い品質レベルの信号のレンディションに変換する方法を特定する再構成データを生成することを含む。

信号プロセッサ１００−２は、再構成データ１５０を利用して、それぞれ異なる品質レベルの信号のレンディションを再構成する。信号プロセッサ１００−２は、任意の適切なソース（たとえば通信リンク、記憶デバイス等）から再構成データ１５０を受信することができる。

信号１１５のレンディションおよび信号の対応するより低い品質レベルにおけるレンディションに関する値は、任意の適切なタイプのデータ情報を表すことができる。限定ではない例として、信号１１５は、オーディオデータ、画像データ（たとえば静止画または動画、ビデオ、画像、フレーム、動きマップ、余剰データ等）、シンボル、体積データ（volumetric data）等であってよく、それぞれの画像における複数の信号エレメントのそれぞれ（たとえばペルズ（pels）／平面エレメント、画素／画像エレメント、ボクセル／体積画像エレメント（volumetric picture element）等）の設定を示す。

一実施形態では、信号１１５の１以上のコンポーネントまたはエレメントが、それぞれ、色設定を定義することができる。このような実施形態では、信号データが特定する、あるエレメントの色成分は、YUV, RGB, HSV等の適切な色空間の規格に従ってエンコードされる。再構成データ１５０は、信号１１５のレンディションにおける各エレメントの１以上の設定を生成する方法を特定する。再構成データ１５０は、属性設定の複数の平面を特定するよう構成されてよい。

限定ではない例として、信号１１５が表す画像は、二次元（たとえば画像、ビデオフレーム、二次元動きマップ等）、三次元（たとえば三次元／体積画像、ホログラフィー像、ＣＡＴスキャン、医療／科学用画像、三次元動きマップ等）、または三次元を超える特徴、時間ベースの信号（たとえばオーディオ信号、ビデオ信号等）などであってよい。信号１１５が三次元信号を表している場合には、各エレメントは体積エレメントである。簡略にする目的から、ここで説明する実施形態は、たとえば画像であってよい二次元設定平面（たとえば適切な色空間の二次元画像）として表示される画像のことである。しかし、同じ思想および方法を、他のいずれのタイプの信号にも適用することができる。

信号エレメントまたは成分の設定は、原信号をそれぞれの再生デバイスで再生するために再構成する方法を示す。上述したように、再構成データ１５０は、再構成データ１５０の複数の平面を含むことができる。信号１１５のあるエレメントについての設定を定義するためには多くのパラメータが必要となるだろう。

更なる実施形態では、信号１１５が、複数のエレメントを含む原信号または高解像度の信号を表していてよい。これらの実施形態では、信号のレンディションのそれぞれ（たとえば信号のレンディション１１５−３、信号のレンディション１１５−２、信号のレンディション１１５−１等）が、信号１１５から、より低レベルの品質へとダウンサンプリングされた原信号のサムネール表現に類似したものであってよい。より高い品質レベルの信号１１５のレンディションは、より詳細な再生情報を含んでいる。

一実施形態では、より低い品質レベルにおける信号１１５のレンディションが、原信号のより粗い属性をキャプチャーするが、原信号の、より詳細なより細かい属性はキャプチャーしない。詳細なより細かい属性は、より高い品質レベルにおける信号のレンディションにみられる。

限定ではない例として、一実施形態では、信号プロセッサ１００−１が、原信号１１５を信号のレンディション１１５−３にダウンサンプリングして、信号プロセッサ１００−１が、原信号１１５−３を信号のレンディション１１５−２にダウンサンプリングして、信号プロセッサ１００−１が、原信号１１５−２を信号のレンディション１１５−１にダウンサンプリングして、といった作業を、最低品質レベルまで行う。信号１１５は、最高品質レベルから任意の適切なレベル数までダウンサンプリングすることができる。

上述したように、信号１１５のレンディションを、より低い品質レベルそれぞれにダウンサンプリングするときに、信号プロセッサ１１０−１は、それぞれの再構成データ１５０を生成する。各レベルの再構成データは、低品質レベルの信号のレンディションを、次に高い品質レベルの信号のレンディションにアップサンプリング、変換、修正等を行う方法を示す。たとえば、再構成データ１５０−１は、信号のレンディション１１５−０を信号のレンディション１１５−１に変換する方法を示し、再構成データ１５０−２は、信号のレンディション１１５−１を信号のレンディション１１５−２に変換する方法を示し、再構成データ１５０−３は、信号のレンディション１１５−２を信号のレンディション１１５−３に変換する方法を示す、等である。

再構成データ１５０は、より高い品質レベルの信号１１５を再構成する方法を示す複数の異なるタイプのデータのいずれかを含むことができる。たとえば再構成データは、信号１１５をそれぞれ異なるレベルに再構成するために、異なるタイプの再構成データの１以上のセット、次元等（たとえば、アップサンプリング処理のパラメータ、量子化閾値情報、余剰データ、動きゾーン、動きベクトル、ノイズのスペクトル情報、メタデータ、調節、クラス情報等のいずれか）を含む。

更なる限定ではない例として、それぞれの信号をダウンサンプリングして、再構成データを生成する詳細において、信号プロセッサを、再構成データの別のセットをテストして作成して、或る品質レベルから別の品質レベルに信号のレンディションを変換するように、構成することができる。

上述したように、再構成データ１５０は、信号処理のための任意の適したデータを含んでよい。例えば、各再構成データセット１５０は、メタデータ、余剰データ（residual data）等を含んでよい。メタデータは、信号のレンディションを或る品質レベルから次の品質レベルに変換する１以上のアップサンプリング処理のセット等のデータを含むことができ、余剰データは、それぞれ異なる品質レベルで信号エレメントに行うべき調節等の情報などを示していてよい。より詳しくは、一実施形態では、再構成データ１５０は、色またはエレメント、強度、アップサンプリング処理等のパラメータ、アップサンプリング処理のパラメータ、量子化閾値、画像／フレーム内の余剰データ、動きゾーン、動きベクトル、前の画像／フレームから来たエレメントの運動補償（motocompensation）後に適用すべき調節を示す余剰データ、ノイズのスペクトル情報、他のメタデータ等を示すマルチプレーンエレメント設定情報を特定することができる。

ここでも、再構成データセットは、第１の品質レベルの信号のレンディションを、次に高い品質レベルの信号のレンディションにアップサンプリングする間に行われるべき調節を示す余剰データを含んでもよい点に留意されたい。

ここに記載する実施形態は、再構成データ１５０をエンコードするために必要な、ビット、シンボル等の量を低減するためのインヘリタンスを利用することを含んでいる。たとえば、より低品質の信号のレンディションのエレメントに、一定の設定情報を割り当てる。場合によっては、より低品質でそれぞれのエレメントに割り当てられた設定情報を、より高品質のそれぞれのエレメントのサブディビジョンに再利用することもできる。言い換えると、或る品質レベルの親のエレメントを、次の品質レベルの複数のサブエレメントに分割することができる。各サブエレメント（および、サブエレメントが分割される、より高い品質レベルのサブエレメント）が、親のエレメントの属性設定の１以上を引き継ぐことができる。

この例では、各サブエレメントに親の設定を複製するために、より高い品質レベルで再構成データをエンコードする代わりに、ここに記載する実施形態は、適切なシンボルを利用して、信号プロセッサ１００−２（たとえばデコーダ）に、どのサブエレメントが親のエレメントの属性設定を引き継ぐかを通知することを含む。

更なる実施形態では、信号プロセッサ１００−２が、階層の第１の品質レベルで信号１１５を再構成するべく、再構成データ１５０を受信する。信号プロセッサ１００−２は、再構成データ１５０をそれぞれの通信リンク上で受信することができる。

図２は、ここに記載する実施形態において、第１の品質レベルの親のエレメントをそれぞれ、次に高い品質レベルのサブエレメントに分割する一例を示す。

一実施形態では、信号１１５は、画像情報を表している。この限定を意図しない例では、信号１１５および対応する再構成データが、より低い解像度の画像を、より高い解像度の画像に、一定のスケール係数で変換または拡張する方法を示す（たとえばこの限定を意図しない例ではスケール係数が２である）。

さらに、エンコードされた再構成データ１５０のセットが、デコードされたときに、各品質レベルで画像エレメントの設定を制御する方法を示す。例えば、品質レベルがＪの画像２１０−１は、画像エレメントＷのフィールドを含んでおり、品質レベルがＪ＋１の画像２１０−２は、画像エレメントＸのフィールドを含んでおり、画像２１０−３は、画像エレメントＹのフィールドを含んでいる、等である。

品質レベルがＪの再構成データは、画像２１０−１の画像エレメントＷの設定の制御方法（たとえば信号のレンディション１１５−０）を示しており、品質レベルがＪ＋１の再構成データは、画像２１０−２の４つのＸエレメントに分割される画像２１０−１の画像エレメントＷのそれぞれの設定情報の変換および生成方法を示しており、品質レベルがＪ＋２の再構成データは、画像２１０−３の４つのＹエレメントに分割される画像２１０−２の各画像エレメントＸのそれぞれの設定情報の変換および生成方法を示す。このように、より高い品質レベルの再構成データは、より低い品質レベルの再構成データに依存している。

図３は、ここに記載する実施形態における、再構成データの利用例を示す。

一実施形態では、デコーダリソース等の信号プロセッサ１００−１が、保存場所１８０から再構成データ１５０を選択的に取得する。保存場所１８０は、再構成データのグループA1…A8, B1…B8, C1…C8, D1…D8等を格納している。異なる品質レベルの数は限定を意図しない例として示されており、再構成データは、任意の適切な層数（たとえば品質レベル）を含んでいる。

再構成データＡのグループにおける再構成データＡ１は、最低品質レベルで信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ２は、品質レベル＃１について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃１より１つ品質レベルが高い）品質レベル＃２で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ３は、品質レベル＃２について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃２より１つ品質レベルが高い）品質レベル＃３で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ４は、品質レベル＃３について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃３より１つ品質レベルが高い）品質レベル＃４で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ５は、品質レベル＃４について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃４より１つ品質レベルが高い）品質レベル＃５で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ６は、品質レベル＃５について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃５より１つ品質レベルが高い）品質レベル＃６で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ７は、品質レベル＃６について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃６より１つ品質レベルが高い）品質レベル＃７で信号１１５の画像／フレームＦ１を再構成する方法を示しており、再構成データＡ８は、品質レベル＃７について生成した画像／フレームＦ１のレンディションに基づき（たとえば品質レベル＃７より１つ品質レベルが高い）品質レベル＃８で信号１１５の画像／フレームＦ１を再構成する方法を示す。したがって、より高い品質レベルで信号１１５のレンディションを作成することは、より低い品質レベルで再構成データを適切にデコードすることに依存している。

再構成データＢのグループにおける再構成データＢ１は、最低品質レベルで信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ２は、品質レベル＃１について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃１より１つ品質レベルが高い）品質レベル＃２で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ３は、品質レベル＃２について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃２より１つ品質レベルが高い）品質レベル＃３で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ４は、品質レベル＃３について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃３より１つ品質レベルが高い）品質レベル＃４で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ５は、品質レベル＃４について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃４より１つ品質レベルが高い）品質レベル＃５で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ６は、品質レベル＃５について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃５より１つ品質レベルが高い）品質レベル＃６で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ７は、品質レベル＃６について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃６より１つ品質レベルが高い）品質レベル＃７で信号１１５の画像／フレームＦ２を再構成する方法を示しており、再構成データＢ８は、品質レベル＃７について生成した画像／フレームＦ２のレンディションに基づき（たとえば品質レベル＃７より１つ品質レベルが高い）品質レベル＃８で信号１１５の画像／フレームＦ２を再構成する方法を示す。

同様に、保存場所１８０の再構成データのそれぞれ異なるグループのそれぞれが、信号１１５のそれぞれの画像／フレームの再構成を可能とする。

再構成データの層状のセットを生成するための更なる詳細の例に関しては、ここに参照として組み込む関連出願を参照されたい。

一実施形態では、信号のF1, F2, F3, F4といったフレームシーケンスが、メディアプレーヤ３１０により再生されると、動画またはビデオとして見える画像シーケンスである。

ここで説明するように、信号プロセッサ１００−１は、データストリーム４００で再構成データの全てまたは選択された部分を、信号プロセッサ１００−２（たとえばデコーダリソース）に送信する。信号プロセッサ１００−２は、受信した再構成データに基づいて、原信号１１５のレンディションを再構成する。

一実施形態では、再構成データの送信中に、信号プロセッサ１００−１が、信号プロセッサ１００−２に送信されている再構成データの品質レベルを変更する。信号プロセッサ１００−２は、再生デバイス３１０のそれぞれ別の品質レベルで信号を再生するべく、受信した再構成データをデコードする。

図４は、ここに記載する実施形態における、それぞれ異なる品質レベルの再構成データを含むデータストリームの一例を示す。

上述したように、一実施形態では、信号プロセッサ１００−１が、信号プロセッサ１００−２に送信される再構成データの品質レベルを変更する。

たとえば、信号プロセッサ１００−１は、信号１１５の第１部分（たとえばＦ１等のフレーム）を再生するために、第１のセットの再構成データ（たとえば再構成データA1, A2, A3, A4, A5, A6, A7, A8）を、信号プロセッサ１００−２のデコーダリソースに送信する。

信号プロセッサ１００−１は、信号１１５の第２部分（たとえばＦ２等のフレーム）を再生するために、第２セットの再構成データ（たとえば再構成データB1, B2, B3, B4, B5）を、デコーダリソースに送信する。

データストリーム４００の第１のセットの再構成データ（たとえばＸ＝８層の再構成データを含むグループＡの再構成データ）は、層状の階層の品質レベル＃８まで、信号の第１部分（たとえばフレームＦ１）のレンディションを再構成する方法を示す。

データストリーム４００の第２セットの再構成データ（たとえばＹ＝５層の再構成データを含むグループＢの再構成データ）は、層状の階層の品質レベル＃５まで、信号の第２部分（たとえばフレームＦ２）のレンディションを再構成する方法を示す。

データストリーム４００の第３セットの再構成データ（たとえば５層の再構成データを含むグループＣの再構成データ）は、層状の階層の品質レベル＃５まで、信号の第３部分（たとえばフレームＦ３）のレンディションを再構成する方法を示す。

第４セットの再構成データ（たとえば８層の再構成データを含むグループＣの再構成データ）は、層状の階層の品質レベル＃８まで、信号の第４の部分（たとえばフレームＦ４）のレンディションを再構成する方法を示す。

このようにして、信号プロセッサ１００−１は、メディアプレーヤ３１０によって信号１１５を再生するために、信号プロセッサ１００−２に対する再構成データの品質レベルを選択、変化させる。

図５は、ここに記載する実施形態におけるデコーダに送信する、或る品質レベルの再構成データの一変形例を示す。

信号１１５のレンディションを再構成するための層状の再構成データは、複数の異なる理由から、異なる品質レベルで送信することができる。

たとえば一実施形態では、銘々の通信リンクのネットワークが混雑しているという理由から再構成データを最高品質レベルで送信できないことを検知すると、グループＢ、Ｃ、およびＤの再構成データを、最高品質レベルではなくて、選択された、より低いレベルの品質で（たとえば最高品質レベルより下の品質レベルで）信号プロセッサ１００−１からデコーダリソースに送信してよい。

この例に示すように、信号プロセッサ１００−１は、画像／フレームＦ１の再構成用に再構成データＡ１…Ａ８を送信して、信号プロセッサ１００−１は、画像／フレームＦ２の再構成用に再構成データＢ１…Ｂ４を送信して、信号プロセッサ１００−１は、画像／フレームＦ３の再構成用に再構成データＣ１…Ｃ４を送信して、信号プロセッサ１００−１は、画像／フレームＦ４の再構成用に再構成データＤ１…Ｄ５を送信して、信号プロセッサ１００−１は、画像／フレームＦ５の再構成用に再構成データＥ１…Ｅ８を送信する。

したがって、一実施形態では、信号プロセッサは、信号の複数の画像／フレームのそれぞれについてデコーダリソースに送信する再構成データの最高品質のレベルを変化させる。

更なる実施形態では、信号プロセッサ１００−１が、デコーダに送信される再構成データの最高品質レベルを変化させて、信号の複数の連続する画像／フレームのそれぞれについて、層状の再構成データの実質的に一定であるビットレートをデコーダリソースに送信する。たとえば、それぞれの画像／フレームの高い品質レベルの再構成データは、かなりの量のデータを含んでいるだろう。より高い品質レベルの再構成データの送信をなくすことで、少なくともより低い品質レベルの再構成データが、メディアプレーヤによって遅延なく受信および再生されるようにする。したがってネットワークが混み合っている場合には、より低い品質レベルで信号を再生することができるようになる。

一実施形態では、信号プロセッサ１００−１は、デコーダに送信する再構成データの品質レベルを変化させて、デコーダリソースが実質的にリアルタイムでの信号の再生を促す。たとえば、高解像度の「ライブ」の画像のデコーダへの送信を遅延させるのではなく、信号プロセッサ１００−１は、デコーダに送信する再構成データの品質レベルを低下させて、デコーダが、少なくとも低品質では遅延なく信号を再生できるようにする。したがって、ここに記載した実施形態は、それぞれ異なる計算力（および／または表示デバイスの解像度）をもつ複数のデコードリソースに対する、「ライブ」のまたは実質的に「ライブ」のビデオフィードの再生をサポートして、同時に、特定のデコーダが活用できない情報を送信する必要をなくす。

さらに、信号１１５および対応する再構成データを、古い記録から得ることもできる点に留意されたい。ネットワークが混み合っている場合、たとえば、混み合っている間に１以上の画像／フレームについて送信される再構成データの品質レベルを下げることで、デコーダは、遅延なく信号を再生することができるようになる。

図６は、ここに記載する実施形態におけるデコーダに転送する、或る品質レベルの再構成データの一変形例を示す。

図示されているように、信号プロセッサ１００−１は、最初に、画像／フレームＦ１、Ｆ２、およびＦ３について、第１の品質レベル（たとえば品質レベル＃４）まで、再構成データＡ、Ｂ、およびＣを送信する。品質レベル＃４は、再構成データを送信するデフォルトの品質レベルであってよい。

信号プロセッサ１００−１は、ユーザ等のリソースから、異なる品質レベルで再構成データを送信せよとの要求を受信すると、第２の品質レベル（たとえば品質レベル＃８）で時間Ｔ１の後に再構成データを送信するよう構成することができる。たとえば、デコーダリソース、ユーザ等のソースは、前に送信した画像／フレームよりも高いまたは低い品質に応じた信号の送信を要求することができる。再構成データを異なる品質レベルで送信せよとの要求を受けると、信号プロセッサ１００−１は、再構成データを、新たに要求された品質レベルで送信する。この例では、信号プロセッサ１００−１は、より高い品質レベルでの信号１１５の視聴の要求をユーザから受けると、画像／フレームＦ４、Ｆ５と、再構成データの後続する画像／フレームとを、当該より高い品質レベルで送信する。

デコーダリソースは、信号プロセッサ１００−１が送信した画像／フレームの再構成データを受信して、それぞれ異なる品質レベルで信号１１５を再生する。たとえば、信号プロセッサ１００−２は、受信した再構成データをデコードして、信号１１５の画像／フレームを、画像／フレームＦ３まで、第１の品質レベルで再生して、信号プロセッサ１００−２は、再構成データをデコードして、信号１１５の後続する画像／フレーム（たとえばＦ４以降の画像／フレーム）を、第２の品質レベルで再生する。

図７は、ここに記載する実施形態における、低品質レベルの再構成データ群を送信した後に、高い品質レベルの再構成データの送信する一例を示す。

更なる実施形態では、信号プロセッサ１００−１を、低品質レベルの再構成データを、信号１１５の画像／フレーム等の複数の部分のそれぞれについて送信して、その後、高品質レベルの再構成データの送信を行うよう構成することができる。

たとえば、図示されているように、信号プロセッサ１００−１は、第１のセットの再構成データを、再構成データA1, …A4, B1, …B4, C1, …C4を含むように生成して、この再構成データのグループをデータストリーム８００にてデコーダへ送信する。この最初の再構成データセットに基づき、デコーダは、信号を、それぞれの低品質レベルで再生することができる。

一実施形態では、信号プロセッサは、第１のセットの再構成データ８１０−１をデコーダリソースに送信して、第１の品質レベルで（たとえば限定的ではない例として品質レベル＃４で）信号１１５のナビゲーションを可能とすることができる。第１のセットの再構成データ８１０−１は、低品質レベルでの再構成に対応していることから比較的コンパクトなので、第１のセットの再構成データ８１０−１のデータストリーム８００による送信は、比較的少ない時間で行うことができる。

ユーザからの入力に基づいて、デコーダリソースは、第１のセットの再構成データ８１０−１の再生を開始して、各ユーザは、信号の低解像度（たとえば低品質レベル）のバージョンの再生で、迅速なナビゲーション（たとえば早送り、巻き戻し等のコマンドを利用して）を行うことができる。再構成データ８１０−１により生成された低解像度の信号を見ることにより、ユーザは、より高い品質での再生を希望する信号内の位置を示すポインタ値を選択することができる。

低解像度の信号内の位置が選択されると、信号プロセッサ１００−１は、より高い品質レベルの信号のすべての画像／フレームについての再構成データ（たとえば、デコーダにまだ送信されていない、より高い品質レベルの再構成データ）を含む、または、ポインタ値が示す、要求されている位置から始まり、より高い品質レベルで始まる再構成データセット（たとえば、まだ送信されていないもの）を含む第２セットの再構成データを生成する。信号プロセッサ１００−１は、より高い品質レベルで信号を再生するために、第２セットの再構成データ８１０−２をデコーダリソースに送る。

したがって、第１のセットの再構成データ８１０−１によって、第１の品質レベル（たとえば品質レベル＃４）で信号を再生することができる。第１のセットの再構成データ８１０−１と第２セットの再構成データ８１０−２の組み合わせによって、より高い品質レベル（たとえば品質レベル＃８）で信号を再生することができる。

ここで説明する第２セットの再構成データ８１０−２（たとえば、より高い品質レベルで信号を再構成するための再構成データを含む）は、第１のセットの再構成データの補助再構成データである。つまり、再構成データA5…A8は、再構成データA1…A4が生成する信号のレンディションの、より高い品質レベルをどのように修正するかを示し、再構成データB5…B8は、再構成データB1…B4が生成する信号のレンディションをどのように修正するかを示す。

この例では、ユーザが、対象領域における対応するコンテンツを低品質レベルでスキャンするために、第１のセットの再構成データ８１０−１を受信する、と仮定する。ユーザは、低品質レベル＃４でコンテンツを見、高い解像度でグループＤの後の信号の部分を見る要求を生成する、と想定する。一実施形態では、要求を受信すると、信号プロセッサ１００−１は、その直後に、再構成データD5…D8, E5…E8等をユーザに対してストリーミングして、ユーザに、選択した位置から信号を再生させる。この場合には、ユーザ（この例では）が、このデータを高い解像度でみることに興味がないために、信号プロセッサ１００−１は、再構成データA5…A8, B5…B8, C5…C8を送信する必要がない。このようにして、ユーザは、コンテンツ（たとえば信号１１５）を、低品質レベルで見ることができ、もしあれば、より高い解像度で見たい部分を決定することができる。

図８は、ここに記載する実施形態における信号のレンディションを再生するために再構成データを配信するための料金構造の例を示す。

たとえば一実施形態では、再構成データのさまざまに異なる品質レベルを、料金表に基づいて配信することができる。ユーザは、デコーダリソースを操作して、再構成データの取得に基づいて信号１１５の再生を開始する。ユーザは、デコーダリソースに送信しユーザが再生した再構成データの品質レベルに応じて、異なる金額（または料金）を課される。

この例では、ユーザは、品質レベル＃５までの再構成データセットの送受信に基づいて料金７００−１を課され、品質レベル＃７までの再構成データセットの送受信に基づいて料金７００−２を課され、品質レベル＃９までの再構成データセットの送受信に基づいて料金７００−３を課される。

ここで、上述した例にも示したように、信号プロセッサ１００−２（たとえばデコーダ）を操作しているユーザは、最初、信号１１５を再生して視聴するために、第１の品質レベル（たとえば品質レベル＃５）で再構成データを受信することができる。ユーザにとっては、この低レベルの再構成データの送信は、無料、または、異なる料金で特徴付けられている。ユーザからの、より高い品質レベルの信号を見たいという要求に基づいて、信号プロセッサ１００−１は、再構成データを、第２の、より高い品質レベル（たとえば品質レベル＃７、品質レベル＃９等）を送信して、ユーザの要求を満たす。ユーザは、このより高い品質レベルでの再構成データの受信について上述した各料金を課されてよい。

別の実施形態では、信号プロセッサ１００−２（たとえばデコーダ）を操作するユーザに課した料金に関わらず、信号プロセッサ１００−２に送信した信号品質に基づいて、信号プロセッサ１００−１のオペレータには別の使用料金構造を適用する。

図９は、ここに記載する実施形態における、１以上の低品質レベルでデジタル著作権管理を利用する一例を示す。

たとえば、上述したように、信号１１５の各部分（たとえば画像、フレーム等）は、信号のその部分を再構成するように、それぞれの層状の再構成データセットによって定義することができる。ここに記載する実施形態は、再構成データセットの選択した低い層（たとえば限定ではない例では品質レベル＃１）に対してデジタル著作権管理９１０を実装することを含む。

一実施形態では、デジタル著作権管理９０１の利用によって、許可されていない再構成データが低品質でデコードされることを防止する。たとえば信号プロセッサ１００−２は、低品質レベル＃１のデコードを実現するための各アプリケーションを実行する。再構成データのより高い層はアクセス可能として、デジタル著作権管理で保護しなくてよい。信号プロセッサ１００−２は、各デジタル著作権管理アプリケーションを利用して、再構成データの低品質レベル＃１をデコードする（たとえば再構成データA1, B1, C1, D1, E1）。より高い品質レベルの追加再構成データ（たとえば品質レベル＃２、品質レベル＃３、品質レベル＃４等の再構成データ）は、デジタル著作権管理アプリケーションなしにデコードすることができる。

一実施形態では、低品質レベル＃１の再構成データ（たとえば再構成データA1, B1, C1, D1, E1, …）は、適切なプロトコルに応じて暗号化される。信号プロセッサ１００−２は、受信した品質レベル＃１の再構成データを復号するための、各復号鍵を受信する。上述したように、品質レベル＃２、＃３等の再構成データの利用は、品質レベル＃１の再構成データの適切なデコードに依存しているために、より高い品質レベルの再構成データは暗号化する必要がない。品質レベル＃１の低品質レベルの再構成データをデコードする機能を持たず、各復号鍵を有さないデコーダリソースは、高品質レベルの再構成データを利用しても、信号の意味のあるレンディションを生成することができない。言い換えると、高品質レベルの再構成データの利用が、対応する、より低い品質レベルの再構成データのデコードに成功することに依存している、ということである。

図１０は、ここに記載する実施形態における、１以上の低品質レベルの再構成データの冗長の一例を示す。

このような実施形態では、信号プロセッサは、エラーがあった場合を想定して、低品質の再構成データの再生を実現するために、低品質レベルの冗長なエンコードを含む再構成データセットを生成する。信号プロセッサは、冗長ではないエンコードを含むように、高品質レベルの再構成データを生成する。エラーがあった場合には、高いほうの品質レベルの再構成データが破損しているが、信号の低いほうの品質レベルに含まれる「粗い情報」には損傷がない場合もあるので、こうすることで、再構成データを受信するユーザは、より洗練された劣化で信号を再生することができる可能性が高くなる。

一例としては、冗長な情報ＲＡは、再構成データA1, A2, A3, A4, およびA5に基づいていてよく、冗長な情報ＲＢは、再構成データB1, B2, B3, B4, およびB5に基づいていてよく、冗長な情報ＲＣは、再構成データC1, C2, C3, C4, およびC5に基づいていてよい、等々である。

図１１Ａは、ここに記載する実施形態における、タイルに基づいてパースされた再構成データの一例を示す。

一実施形態では、再構成データを各グループにパースして（たとえばＡ、Ｂ、Ｃ、Ｄ等）、再構成データの各グループが、信号の時間ベースの部分（たとえば画像／フレーム）を再構成するための情報を含む。たとえば上述したように、再構成データＡは、画像／フレームＦ１を再構成する方法を示す情報を含み、再構成データＢは、画像／フレームＦ２を再構成する方法を示す情報を含み、再構成データＣは、画像／フレームＦ３を再構成する方法を示す情報を含む、等々である。

再構成データの各グループは、階層の最低品質レベルから高い品質レベルへと階層状になっている再構成データの複数のシーケンスを含むことができる。たとえば、グリッド１１１０のタイルＴ１の信号の一部（たとえば画像／フレームＦ１）を再構成するための再構成データは、再構成データシーケンスA1-T1, A2-T1, A3-T1, A4-T1, A5-T1, A6-T1, A7-T1, A8-T1を含み、タイルＴ２の信号の一部（たとえば画像／フレームＦ１）を再構成するための再構成データは、再構成データシーケンスA1-T2, A2-T2, A3-T2, A4-T2, A5-T2, A6-T2, A7-T2, A8-T2を含み、タイルＴ３の信号の一部（たとえば画像／フレームＦ１）を再構成するための再構成データは、再構成データシーケンスA1-T3, A2-T3, A3-T3, A4-T3, A5-T3, A6-T3, A7-T3, A8-T3を含む、等々である。

タイルＴ１の信号の一部（たとえば画像／フレームＦ２）を再構成するための再構成データは、再構成データシーケンスB1-T1, B2-T1, B3-T1, B4-T1, B5-T1, B6-T1, B7-T1, B8-T1を含み、タイルＴ２の信号の一部（たとえば画像／フレームＦ２）を再構成するための再構成データは、再構成データシーケンスB1-T2, B2-T2, B3-T2, B4-T2, B5-T2, B6-T2, B7-T2, aB8-T2を含み、タイルＴ３の信号の一部（たとえば画像／フレームＦ２）を再構成するための再構成データは、再構成データシーケンスB1-T3, B2-T3, B3-T1, B4-T1, B5-T1, B6-T1, B7-T1, B8-T1を含む、等々である。

このように、最低品質レベルから高い品質レベルへと層状の再構成データの複数のシーケンスのそれぞれは、信号に関する連続したエレメントの各タイルの設定を示す。

上述したように、グリッド１１１０は、タイルに従って分割された再構成データをデコーダが利用して生成した信号１１５のレンディションのタイルを示す。階層における最低品質レベルの各タイルは、１以上のエレメントを含んでよい。ここで説明したように、タイルの階層の各品質レベルにある各エレメントは、次に高い品質レベルの複数のサブエレメントに分割され、タイルの各品質レベルにある再構成データは、対応するエレメントの設定を示す。このように、タイルの最低品質レベルにある各エレメントは、各レベルにおいて、そのタイルの最高品質レベルまでのサブエレメントに分割される（subdivided）。

一実施形態では、信号プロセッサ１００−２が、複数のプロセッサを含んでいる。各プロセッサは、タイルの複数の品質レベルの各再構成データに基づいて、該タイルの信号の各レンディションを生成するよう割り当てられてよい（該タイルには、エレメント群が含まれてよい）。次にエレメントのタイルを組み合わせて、再生用に信号１１５のレンディション全体を生成する。１以上のプロセッサを利用してタイルを並列処理することで、再生装置側で信号の再構成をより迅速に再生できるようになる。たとえば各プロセッサは、それぞれ異なる画像／フレームについて信号１１５のタイルを再構成することができる。

図１１Ｂは、ここに記載する実施形態における、複数のタイルに基づいてパースされた再構成データの一例を示す。

一実施形態では、再構成データを各グループにパースして（たとえばＡ、Ｂ、Ｃ、Ｄ等）、再構成データの各グループが、エントロピー符号化されたデータを含む。それぞれ異なる品質レベルのエントロピー符号化されたデータの各タイルのサイズは、示されているように異なっていてよい。たとえばＡ１−Ｔ１は、Ａ１−Ｔ２よりも多い品質レベル＃１のエレメントのためのエントロピー符号化されたデータを含み、Ａ１−Ｔ２は、Ａ１−Ｔ３よりも多い品質レベル＃１のエレメントのためのエントロピー符号化されたデータを含む。したがって、或る品質レベルにおけるエントロピー符号化された再構成データのタイルのサイズおよびタイルがカバーする具体的な領域は、異ならせることができる。

加えて、エントロピー符号化された再構成データの各タイルのタイル数および各タイルがカバーする領域は、各品質レベルで変化してよい。たとえば、品質レベル＃１は、エントロピー符号化された再構成データの３つのタイルを含み、品質レベル＃２は、エントロピー符号化された再構成データの５つのタイルを含み、品質レベル＃３は、エントロピー符号化された再構成データの１５個のタイルを含んでいる。

したがって、最低品質から高い品質レベルへと層状の再構成データの複数のシーケンスのそれぞれが、信号に関連する連続したエレメントの各タイルの設定を示す。

図１２は、ここに記載する実施形態における、複数のタイルのそれぞれにおける再構成データの異なる方法の一例を示す。

データストリーム１２１０−１に示すように、信号プロセッサ１００−１からデコーダリソース（たとえば信号プロセッサ１００−２）までの再構成データの送信には、複数のシーケンスのそれぞれ（たとえばシーケンスA1-T1 A2-T1, A3-T1, A4-T1, A5-T1, A6-T1, A7-T1, A8-T1; シーケンスA1-T2, A2-T2, A3-T2, A4-T2, A5-T2, A6-T2, A7-T2, A8-T2; シーケンスA1-T3, A2-T3, A3-T3, A4-T3, A5-T3, A6-T3, A7-T3, A8-T3等）を連続して順次、ビットストリーム（つまりデータストリーム１２１０−１）で、デコーダにシリアル送信することを含んでよい。

信号プロセッサ１００−２は、データストリーム１２１０−１に、各タイルの層状の再構成データの各シーケンスの最初と最後とをそれぞれ示すマーカ情報を提供するよう構成することができる。たとえば信号プロセッサ１００−１は、マーカ（たとえばシンボル、デマケーション等）を、再構成データＡ８−Ｔ１とＡ１−Ｔ２との間、再構成データＡ８−Ｔ２とＡ１−Ｔ３との間、などに挿入することができる。

別の実施形態では、信号プロセッサ１００−１から各デコーダへの信号の各部分についての再構成データの送信には、信号のある部分に関する複数のシーケンスの、再構成データのある画像／フレームについて、データストリーム１２１０−２の層状の再構成データを、低品質レベルの再構成データから高品質レベルの再構成データまで、送信することを含む。

たとえば、このような実施形態では、信号プロセッサ１００−１が、A1-T1, A1-T2, A1-T3, A1-T4, A1-T5, A1-T6, 等を含む低品質のエントロピー符号化された再構成データを送信して、その後に、シーケンスA2-T1, A2-T2, A2-T3, A2-T4, A2-T5, A2-T6, 等を送信して、その後に、A3-T1 A3-T2, A3-T3, A3-T4, A3-T5, A5-T6, 等を送信する（データストリーム１２１０−２を参照のこと）。このような実施形態では、信号プロセッサ１００−１は、データストリーム１２１０−２に、各品質レベルの層状の再構成データの最初と最後とをそれぞれ示すマーカ情報（たとえば固有シンボル）を提供するよう構成することができる。たとえば信号プロセッサ１００−１は、マーカをＡ１−ＴｖとＡ２−Ｔ１との間に提供してよく（ｖはタイルの最大数である）、信号プロセッサ１００−１は、マーカをＡ２−ＴｖとＡ３−Ｔ１との間に提供してよい（ｖはタイルの最大数である）、等である。

上述したように、デコーダリソースは複数のプロセッサを含むことができ、各プロセッサが、再構成データの１つのタイルを生成するために、対応するタイルのためのエントロピー符号化されたデータをデコードするよう構成されている。或る品質レベルのエントロピー・デコードタイル同士の組み合わせによって、その品質レベル全体の再構成データが生成される。たとえば複数のプロセッサのそれぞれは、或る品質レベルの対応するタイルについて、エントロピー符号化されたデータをエントロピーデコードすることができる。エントロピー符号化されたデータの全てのタイルのエントロピーデコードに基づいて、各プロセッサは、対応する品質レベルでエレメントのタイルを再構成するための再構成データを生成する。グローバル・アップサンプリング処理を、或る品質レベルのフレーム全体に適用することで、次に、その品質レベルの各再構成データを利用して、信号のレンディションを、次に高い品質レベルにアップサンプリングする。異なる品質レベルの、異なるサイズおよび／または異なる数のタイルをエントロピーデコードするこのプロセスは、最高品質レベルの信号が再生されるまで、各レベルについて繰り返すことができる。

図１３は、ここに記載する実施形態における、再構成データをバッファリングする一例を示す。

図１３に示すように、信号プロセッサ１００−１は、データストリーム１３１０の複数のセグメント（たとえば２以上のセグメント）で、信号のある部分（たとえば各画像／フレーム）の再構成データを送信するよう構成することができる。

より詳しくは、一実施形態において、信号プロセッサ１００−１が、デコーダ等の遠隔のリソースに再構成データを送信するために、データストリーム１３１０を複数のセグメント１３２０（たとえば１３２０−１、セグメント１３２０−２、セグメント１３２０−３等）に分割する。一実施形態では、データストリーム１３１０の各セグメント１３２０が、データビット数に実質的に等しい送信をサポートしている。概して、各セグメントは、各画像／フレーム等の信号１１５の部分を再構成するための再構成データを含むことができる。

図示されているように、信号プロセッサ１００−１は、信号の第１の画像／フレームを再生するための再構成データA1, A2, A3 …A8を含むデータストリーム１３１０のセグメント１３２０−１を生成し、信号プロセッサ１００−１は、信号の第２の画像／フレームを再生するための再構成データB1, B2, B3, .. B8を含むデータストリーム１３１０のセグメント１３２０−２を生成し、信号プロセッサ１００−１は、信号の第３の画像／フレームを再生するための再構成データC1, C2, C3, …, C8を含むデータストリーム１３１０のセグメント１３２０−３を生成する。

一実施形態では、信号プロセッサ１００−１は、信号の第１の画像／フレームを再構成するための複数の品質レベルの再構成データを含ませるべく、データストリーム１３１０の第１のセグメント１３２０−１をポピュレートする。信号プロセッサ１００−１は、信号の第２の画像／フレームを再構成するための複数の品質レベルの再構成データを含ませるべく、データストリーム１３１０の第２のセグメント１３２０−２をポピュレートする。信号プロセッサ１００−１は、ｉ）信号の第２の画像／フレームを再構成するための複数の品質レベルの再構成データを含ませるべく、および、ｉｉ）信号の第３の画像／フレームを再構成するための少なくとも１つの品質レベルの再構成データを含ませるべく、データストリーム１３１０の第２のセグメント１３２０−２をポピュレートする。第３のセグメント１３２０−３は、第３の画像／フレームを再構成するための更なる再構成データを含む。したがって、再構成データを、データストリームの対応するセグメントで送信するのではなく、信号の一部の再構成データを、複数のセグメントに分散させることができる。

一実施形態では、デコーダリソースは、信号プロセッサ１００−１が送信するデータストリーム１３１０をバッファリングするよう構成される。たとえば、受信したデータの場所が、再構成データＤ４を過ぎていると、信号プロセッサ１００−２は、データストリーム１３１０のセグメント１３２０−３の複数の品質レベルの再構成データC1…C6に基づいて、および、データストリーム１３１０のセグメント１３２０−２の再構成データＣ７およびＣ８に基づいて、セグメント１３２０−３に関する画像／フレームを再構成する。このようにすることで、高い品質レベルの再構成データを、データストリーム１３１０のそれぞれ別のセグメントに分散させることができる。再構成データをバッファリングして再生を遅らせることで、デコーダは、品質レベル＃８に従って信号をデコードして信号を再生するのに適した再構成データを受信することができる。

図１４は、ここに記載する実施形態における、信号処理を提供するコンピュータシステム８００の一例を示すブロック図である。

コンピュータシステム８００は、スイッチ、ルータ、サーバ、クライアント等として動作するパーソナルコンピュータ、処理回路、テレビ、再生デバイス、エンコードデバイス、ワークステーション、可搬型コンピューティングデバイス、コンソール、ネットワーク端末、処理デバイス、ネットワークデバイス等のコンピュータ化されたデバイスであったり、当該コンピュータ化されたデバイスを含んだりしてよい。

以下で、信号プロセッサ１００−１、信号プロセッサ１００−２、メディアプレーヤ等の、ここで説明するリソースのいずれかに関する機能を実行する方法を示す、基本的な実施形態を説明する。しかしながら、動作を実行するコンピューティングシステム８００の実際の構成は、アプリケーションごとに変えてもよいことを理解されたい。

図示されているように、この例のコンピュータシステム８００は、デジタル情報を格納したり、そこからデジタル情報が取得したりされる、コンピュータ可読記憶媒体８１２（たとえば持続性の媒体、コンピュータ可読、ハードウェア記憶媒体等）を連結するインターコネクト８１１を含んでいる。コンピュータシステム８００は、さらに、プロセッサ８１３、Ｉ／Ｏインタフェース８１４、および、通信インタフェース８１７を含んでもよい。

Ｉ／Ｏインタフェース８１４は、保存場所１８０に接続を提供し、もしあれば、表示スクリーン、周辺デバイス８１６（たとえばキーボード、コンピュータマウス）などにも接続を提供する。

コンピュータ可読記憶媒体８１２（たとえばハードウェア記憶媒体）は、メモリ、光学ストレージ、ハードドライブ、フロッピー（登録商標）デバイス等のいずれかの適切なデバイスおよび／またはハードウェアであってよい。コンピュータ可読記憶媒体は、信号プロセッサ８４０に関する命令を格納するための持続性の記憶媒体であってもよい。それぞれのリソース（たとえば信号プロセッサ８４０）が命令を実行し、ここに記載する動作のいずれかを実行する。

通信インタフェース８１７は、コンピュータシステム８００に、ネットワーク１９０を介して通信させ、遠隔リソースから情報を取得させたり、他のコンピュータ、スイッチ、クライアント、サーバ等と通信させたりする。Ｉ／Ｏインタフェース８１４は、さらに、プロセッサ８１３に、保存場所１８０に格納されている情報を取得させたり、取得を試みさせたりする。

図示されているように、コンピュータ可読記憶媒体８１２は、信号プロセッサプロセス８４０−２として、プロセッサ８１３が実行する信号プロセッサアプリケーション８４０−１でエンコードすることができる。

コンピュータシステム８００はさらに、データおよび／または論理命令を格納するために、コンピュータ可読記憶媒体８１２（たとえばハードウェア記憶媒体、持続性の記憶媒体等）を含むよう、実装することができる。

コンピュータシステム８００は、このような命令を実行して、ここに記載した動作を実行するためのプロセッサ８１３を含むことができる。したがって、実行されると、信号プロセッサアプリケーション８４０−１に関連するコードが、ここで説明する処理機能をサポートすることができる。上述したように、ここで説明する信号プロセッサは、エンコードおよび／またはデコードをサポートするように構成することができる。

一実施形態の動作中に、プロセッサ８１３は、インターコネクト８１１の利用によって、コンピュータ可読媒体８１２にアクセスして、コンピュータ可読記憶媒体８１２に格納されている信号プロセッサアプリケーション８４０−１の命令を起動、実行（run, execute）、解釈、または実行（perform）を行う。信号プロセッサアプリケーション８４０−１の実行によって、プロセッサ８１３の処理機能が生成される。言い換えると、プロセッサ８１３に関連する信号プロセッサプロセス８４０−２は、コンピュータシステム８００のプロセッサ８１３内で、または、プロセッサ８１３上で、信号プロセッサアプリケーション８４０−１を実行する１以上の態様を表している。

当業者であれば、コンピュータシステム８００が、他のプロセスおよび／またはソフトウェアおよびハードウェアコンポーネント（たとえば、信号プロセッサアプリケーション８４０−１を実行するための、たとえばエンコーダ、デコーダ等のハードウェア処理リソースの割り当ておよび利用を制御するオペレーティングシステム等）を含むことができることを理解する。

別の実施形態では、コンピュータシステムが、任意のタイプのデバイス（これらに限られはしないが、たとえば、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、記憶デバイス、カメラ、カムコーダ、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス等の家庭用電化製品、および、スイッチ、モデム、ルータ等の周辺デバイス、または、一般的な、任意のタイプのコンピューティングまたは電子デバイス）であってよい点に留意されたい。

図１５は、ここに記載する実施形態における、再構成データを利用する方法のフローチャート１５００の一例を示す。

ステップ１５１０で、信号プロセッサ１００−１は、保存場所１８０から再構成データを取得する。取得された再構成データは、複数の品質レベルを含む層状の階層に従ってエンコードされている。

ステップ１５２０で、信号プロセッサ１００−１は、デコーダ等の遠隔ソースに、取得した再構成データを送信する。デコーダは、送信された再構成データに基づいて信号のレンディションを再構成するよう構成することができる。

ステップ１５３０で、送信中に、信号プロセッサ１００−１は、保存場所から取得され、デコーダに送信される再構成データの品質レベルを変更する。

再度の言及になるが、ここに開示する技術は、信号の処理および再構成の用途によく適している。しかし、ここに記載する実施形態は、このような用途での利用に限定はされず、ここに開示する技術は、他のアプリケーションにも同様に適している。

ここで述べる明細書に基づいて、請求されている主題の完全な理解を提供するために複数の詳細を述べる。しかしながら、当業者であれば、これら具体的詳細なしに請求項の主題を実行することができることを理解する。また、当業者であれば理解する方法、装置、システム等に関しては詳述しないで、請求されている主題を曖昧にしないようにしている場合もある。詳細な記載の幾つかの部分は、コンピュータメモリ等のコンピューティングシステムメモリ内に格納されているデータビットまたはバイナリデジタル信号に対するアルゴリズムまたはシンボルによる表現によって提示することができる。これらのアルゴリズムによる記載または表現は、データ処理分野の当業者が、他の当業者に自身の仕事の内容を伝える際に利用する技術の例である。ここで記載する、または一般的なアルゴリズムは、所望の結果を生じさせる、動作または類似した処理の首尾一貫したシーケンスと想定される。このコンテキストでは、動作または処理が、物理量の物理的操作に関する。通常は、必ずではないが、これら量は、格納、転送、組み合わせ、比較、その他の操作を行うことができる電気的または電磁的な形態をとることができる。時には、これらの信号を、ビット、データ、値、エレメント、シンボル、文字、期間（terms）、数字、数詞（numerals）等と称するほうが、都合がよい場合もある。しかし、これらすべての、および、類似した用語は、適切な物理量と関連付けられ、単に便宜上の参照記号である場合もあることを理解されたい。そうではないと明記しない限り、以下の記載から明らかなように、本明細書全体において、「処理」「コンピューティング」「計算」「判断、決定」等の用語が利用されている場合、これら用語は、コンピューティングプラットフォームのメモリ、レジスタその他の情報記憶デバイス、送信デバイス、または表示デバイス内の物理的電子または磁気量として表されるデータを操作または変換する、コンピューティングプラットフォーム（たとえば、コンピュータまたは類似した電子コンピューティングデバイス）の動作または処理のことを示す。

本発明は、その好適な実施形態を参照して具体的に示し記載してきたが、当業者であれば、その形態および詳細を、添付請求項が定義する本願の精神および範囲から逸脱せずに、様々に変更させることができることを理解するだろう。これら変形例は、本願の範囲に含まれることが意図されている。したがって、前述した本願の実施形態の説明は、限定として受け取られるべきではない。そうではなくて、本発明の限定は、以下の請求項に示されている。
なお、本願明細書に記載の実施形態によれば、以下の構成もまた開示される。
［項目１］
保存場所から、複数の品質レベルを含む層状の階層に従ってエンコードされた再構成データを取得する段階と、
取得した前記再構成データをデコーダに送信して、前記デコーダが、送信された前記再構成データに基づいて信号のレンディションを再構成する段階と、
前記送信中に、取得されて前記デコーダに送信される前記再構成データの品質レベルを変更する段階と
を備える方法。
［項目２］
前記品質レベルを変更する段階は、
前記信号の第１部分の再生のために、前記デコーダに、第１の再構成データセットを送信する段階であって、前記第１の再構成データセットは、前記層状の階層の第１の品質レベルまでの、前記信号の前記第１部分のレンディションを再構築するやり方を示す段階と、
前記信号の第２部分の再生のために、前記デコーダに第２の再構成データセットを送信する段階であって、前記第２の再構成データセットは、前記層状の階層の第２の品質レベルまでの、前記信号の前記第２部分のレンディションを再構築するやり方を示す段階と
を有する、項目１に記載の方法。
［項目３］
前記第１の品質レベルは、前記第２の品質レベルより高く、
前記第２の再構成データセットは、送信チャネルで現在利用可能な帯域幅を検知することに応じて、前記第１の品質レベルの代わりに前記第２の品質レベルで送信される、項目２に記載の方法。
［項目４］
前記第２の再構成データセットは、前記第１の品質レベルではなくて前記第２の品質レベルで、前記第２の再構成データセットを送信せよとの要求を受信した場合には、前記第２の品質レベルで送信される、項目２に記載の方法。
［項目５］
前記第２の再構成データセットは、デコードリソースの特徴を検知することに応じて、前記第２の品質レベルで送信される、項目２に記載の方法。
［項目６］
前記信号の画像／フレームの再構成データの複数の品質レベルのそれぞれは、異なる品質レベルに従って前記信号のレンディションを再構成するやり方を示す、項目１に記載の方法。
［項目７］
前記品質レベルを変更する段階は、
前記信号の第１部分について、前記階層の最低品質レベルから前記第１の品質レベルまでの再構成データのシーケンスを含むように、第１の再構成データセットを生成する段階と、
前記第１の品質レベルに従って前記信号の前記第１部分を再生するために、前記第１の再構成データセットを前記デコーダに送信する段階と、
前記信号の第２部分について、前記階層の前記最低品質レベルから前記第１の品質レベルとは異なる第２の品質レベルまでの再構成データのシーケンスを含むように、第２の再構成データセットを生成する段階と、
前記第２の品質レベルに従って前記信号の前記第２部分を再生するために、前記第２の再構成データセットを前記デコーダに送信する段階と
を含む、項目１に記載の方法。
［項目８］
前記デコーダに送信される前記再構成データの前記品質レベルを変更する段階は、
前記階層の第１の品質レベルに従って前記信号の複数の部分を再構成するための再構成データを含むように、第１の再構成データセットを生成する段階と、
前記第１の品質レベルに従って前記信号の再生およびナビゲーションを可能とするべく、前記第１の再構成データセットを前記デコーダに送信する段階と、
前記階層の第２の品質レベルに従って前記信号を再構成するための再構成データを含むように、第２の再構成データセットを生成する段階と、
前記第１の再構成データセットを送信した後に、前記第２の品質レベルに従って前記信号を再生させるべく、前記第２の再構成データセットを前記デコーダに送信する段階と
を備える、項目１に記載の方法。
［項目９］
前記第２の再構成データセットは、前記第１の再構成データセットに対する補助再構成データであり、前記第２の再構成データセットは、前記第２の品質レベルに従って前記信号を再構成するために、前記第１の再構成データセットに基づいて生成された前記信号のレンディションを修正するやり方を示す、項目８に記載の方法。
［項目１０］
前記デコーダに送信される前記再構成データの前記品質レベルを変更する段階は、
前記階層の第１の品質レベルに従って前記信号を再構成するべく、第１の再構成データセットを生成する段階と、
前記第１の品質レベルで再生される前記信号のナビゲーションを可能とするべく、前記第１の再構成データセットを前記デコーダに送信する段階と、
前記信号内の位置を示し、前記第１の再構成データセットに基づいて生成された前記第１の品質レベルで前記信号の再生を視聴しているユーザが生成したポインタ値を受信する段階と、
前記ポインタ値が特定する位置から始めて前記信号を再構成するための再構成データを含むように、前記階層の第２の品質レベルに従ってエンコードされた第２の再構成データセットを生成する段階と、
前記ポインタ値が特定する前記位置の後の前記信号の部分を、前記第２の品質レベルでの再生を可能とするように、前記第２の再構成データセットを前記デコーダに送信する段階と
を備える、項目１に記載の方法。
［項目１１］
前記第２の再構成データセットは、前記第１の再構成データセットに対する補助再構成データであり、前記第１の再構成データセットに基づいて生成された前記信号のレンディションを、前記第２の品質レベルに従ってポインタ値が特定する位置から始めて前記信号を再構成するように修正するやり方を示す、項目９に記載の方法。
［項目１２］
前記デコーダによって実質的にリアルタイムでの前記信号の再生を促すように、前記再構成データの前記品質レベルを変更する段階をさらに備える、項目１に記載の方法。
［項目１３］
ユーザが、前記デコーダに送信される前記再構成データの品質レベルに応じて異なる料金／使用料金を課金される、料金表または使用料金表を実装する段階をさらに備える、項目１に記載の方法。
［項目１４］
前記方法は、
第１の再構成データセットと第２の再構成データセットとを含むよう、前記再構成データをエンコードする段階
をさらに備え、
前記第１の再構成データセットは、前記階層の第１の品質レベルまでの前記信号の再構成を可能とし、前記第２の再構成データセットは、前記階層の第２の品質レベルまでの前記信号の再構成を可能とし、前記第２の品質レベルは前記第１の品質レベルより高く、
前記第２の再構成データセットは、前記第２の品質レベルに従って前記信号を再構成するために、前記第１の再構成データセットに基づいて生成された前記第１の品質レベルの前記信号に対して行う調節を示す補助再構成データであり、
前記方法はさらに、
前記第１の再構成データセットのみに対してデジタル著作権管理を実装して、前記第１の再構成データセットの未許可のデコードを防ぐ段階を備える、項目１に記載の方法。
［項目１５］
前記方法は、
第１の再構成データセットと第２の再構成データセットとを含むよう、前記再構成データをエンコードする段階であって、前記第１の再構成データセットは、前記階層の第１の品質レベルに従った前記信号の再構成を可能とし、前記第２の再構成データセットは、前記階層の第２の品質レベルに従った前記信号の再構成を可能とし、前記第２の品質レベルは前記第１の品質レベルより高い、段階をさらに備え、
前記第２の再構成データセットは、前記第２の品質レベルに従って前記信号を再構成するために、前記第１の再構成データセットに基づいて生成された前記第１の品質レベルの前記信号に対して行う調節を示す補助再構成データであり、
前記方法はさらに、
前記第１の再構成データセットに対してエラーがあった場合にも、前記第１の再構成データセットの再生を可能とするために、冗長エンコードを含むよう、前記第１の再構成データセットを生成する段階と、
前記第２の再構成データセットを、冗長でないエンコードを含むように生成する段階と
をさらに備える、項目１に記載の方法。
［項目１６］
前記再構成データは、複数の再構成データ群にパースされ、
前記複数の再構成データ群のそれぞれは、前記信号の時間ベースの部分を表しており、前記複数の再構成データ群のそれぞれは、層状の再構成データの複数のセグメントを含み、
前記層状の再構成データの前記複数のセグメントのそれぞれは、前記信号に関する連続したエレメントの該当するタイルの或る品質レベルの再構成データを示す、項目１に記載の方法。
［項目１７］
前記再構成データの部分を前記デコーダに送信する段階は、
複数のシーケンスのそれぞれを、１つの完全なシーケンスごとに、ビットストリームにて前記デコーダに連続して送信する段階と、
前記ビットストリームに、層状の再構成データのセグメントの完全なシーケンスのそれぞれの最初と最後とを示すマーカ情報を提供する段階と
を含む、項目１６に記載の方法。
［項目１８］
前記再構成データの部分を前記デコーダに送信する段階は、
複数のシーケンスについて、より低い品質レベルの前記複数のシーケンスからの再構成データから、より高い品質レベルの前記複数のシーケンスからの再構成データまで、前記層状の再構成データをビットストリームで送信する段階と、
前記ビットストリームに、各シーケンスおよび各品質レベルについて、層状の再構成データのそれぞれの最初と最後とを示すマーカ情報を提供する段階を含む、項目１６に記載の方法。
［項目１９］
前記再構成データの部分をデコーダに送信する段階はさらに、
前記信号の複数の連続した部分の各部分について前記デコーダに層状の再構成データの実質的に一定のビットレートを送信するために、前記信号の各部分について前記デコーダに送信される再構成データの最高品質レベルを変更する段階を含む、項目１に記載の方法。
［項目２０］
データストリームを、少なくとも第１のセグメントと第２のセグメントとを含む複数のセグメントに分割する段階であって、前記第１のセグメントは、前記信号の第１部分を再生するための再構成データを含み、前記信号の前記第１部分は画像／フレームであり、前記第２のセグメントは、前記信号の第２部分を再生するための再構成データを含み、前記信号の前記第２部分は、少なくとも１つの後続する画像／フレームのセットを含む、段階と、
前記信号の前記第１部分を再構成するための複数の品質レベルの再構成データを含むように、前記データストリームの前記第１のセグメントをポピュレートする段階と、
ｉ）前記信号の前記第２部分を再構築するために複数の品質レベルの再構成データと、ｉｉ）前記信号の前記第１部分を再構成するための少なくとも１つの品質レベルの再構成データとを含むように、前記データストリームの前記第２のセグメントをポピュレートする段階と
をさらに備える、項目１に記載の方法。
［項目２１］
前記デコーダは、前記データストリームをバッファリングして、前記信号の前記第１部分を、前記第１のセグメントの前記再構成データの前記複数の品質レベルと、前記第２のセグメントの前記再構成データの前記少なくとも１つの品質レベルとに基づいて、再構成する、項目２０に記載の方法。
［項目２２］
前記信号の前記第１部分は、Ｉフレーム（イントラフレーム）であり、前記第２部分は、１以上のＰフレーム（予測フレーム）を含む、項目２０に記載の方法。
［項目２３］
前記デコーダは、前記信号の前記第２部分および前記信号の前記後続する部分の前記レンディションを、さらに、前記第２のセグメントに含まれている前記信号の前記第１部分に関する追加再構成データに基づいて、再構成する、項目２２に記載の方法。
［項目２４］
命令を格納するコンピュータ可読記憶ハードウェアであって、前記命令は、処理デバイスにより実行されると、前記処理デバイスに、
保存場所から、複数の品質レベルを含む層状の階層に従ってエンコードされた再構成データを取得する段階と、
取得した前記再構成データをデコーダに送信して、前記デコーダが、送信された前記再構成データに基づいて信号のレンディションを再構成する段階と、
前記送信中に、取得されて前記デコーダに送信される前記再構成データの品質レベルを変更する段階と
を実行させる、コンピュータ可読記憶ハードウェア。
［項目２５］
コンピュータシステムであって、
プロセッサと、
前記プロセッサが実行するアプリケーションに関連する命令を格納するメモリユニットと、
前記プロセッサと前記メモリユニットとを連結して、前記コンピュータシステムに、前記アプリケーションの実行を可能とするインターコネクトと
を備え、
保存場所から、複数の品質レベルを含む層状の階層に従ってエンコードされた再構成データを取得する段階と、
取得した前記再構成データをデコーダに送信して、前記デコーダが、送信された前記再構成データに基づいて信号のレンディションを再構成する段階と、
前記送信中に、取得されて前記デコーダに送信される前記再構成データの品質レベルを変更する段階と
を実行させる、コンピュータシステム。

Claims (16)

1. サーバからデコーダへの再構成データの送信および取得を管理する方法であって、
   前記サーバは、１以上のエンコードされた信号の保存場所を含み、
   各エンコードされた信号は、複数の品質レベルを含む層状の階層に従ってエンコードされ、特定された、複数の再構成データセットを含み、
   第１のエンコードされた信号に対応している再構成データセットは、デコーダに対して、第１の信号のレンディションの一部を、或る品質レベルで再構成するやり方を示し、前記或る品質レベルで再構成するやり方は、前記第１の信号の一部の、より低い品質レベルで再構成されたレンディションに基づき、および、前記第１の信号の他の部分の、前記或る品質レベルで再構成されたレンディションのいずれからも独立して行われ、
   前記方法は、
   ネットワーク接続のために、デコーダがサポートすることが予期される、送信ビットレートおよび最高品質レベルのうちの少なくとも１つを決定する段階と、
   前記保存場所から再構成データを取得する段階と、
   取得した前記再構成データを前記デコーダに送信して、前記デコーダが、送信された前記再構成データに基づいて信号のレンディションを再構成する段階と、
   前記送信中に、前記デコーダがサポートすることが予期される、前記送信ビットレートおよび前記最高品質レベルのうちの少なくとも１つを更新して、取得されて前記デコーダに送信される前記再構成データの品質レベルを変更する段階と、
   データストリームを、少なくとも第１のセグメントと第２のセグメントとを含む複数のセグメントに分割する段階であって、前記第１のセグメントは、前記信号の第１部分を再生するための再構成データを含み、前記信号の前記第１部分は画像／フレームであり、前記第２のセグメントは、前記信号の第２部分を再生するための再構成データを含み、前記信号の前記第２部分は、少なくとも１つの後続する画像／フレームのセットを含む、段階と、
   第１の品質レベルで前記信号の前記第１部分を再構成するための複数の品質レベルの再構成データを含む段階と、
   ｉ）前記信号の前記第２部分を再構築するために複数の品質レベルの再構成データと、ｉｉ）前記第１の品質レベルよりも高い第２の品質レベルで前記信号の前記第１部分を再構成するための少なくとも１つの再構成データセットとを含む段階と
   を備え、
   前記低い品質レベルの前記再構成データが冗長なエンコードを含み、より高い品質レベルの前記再構成データが冗長ではないエンコードを含む方法。
2. 前記品質レベルを変更する段階は、
   前記信号の第１部分の再生のために、前記デコーダに、第１の再構成データセットを送信する段階であって、前記第１の再構成データセットは、前記層状の階層の第１の品質レベルまでの、前記信号の前記第１部分のレンディションを再構築するやり方を示している段階と、
   前記信号の第２部分の再生のために、前記デコーダに第２の再構成データセットを送信する段階であって、前記第２の再構成データセットは、前記層状の階層の第２の品質レベルまでの、前記信号の前記第２部分のレンディションを再構築するやり方を示している段階と
   を有する、請求項１に記載の方法。
3. 前記第１の品質レベルは、前記第２の品質レベルより高く、
   前記第２の再構成データセットは、前記ネットワーク接続のための前記サーバで実行されているネットワーク混雑制御メカニズムに関する情報に基づいて、送信チャネルで現在利用可能な帯域幅を含む、送信チャネルで現在利用可能な帯域幅を検知した場合、前記第１の品質レベルの代わりに前記第２の品質レベルまでの再構成データを含む、請求項２に記載の方法。
4. 前記第２の再構成データセットは、前記第１の品質レベルではなくて前記第２の品質レベルで、前記第２の再構成データセットを送信せよとの要求を受信した場合には、前記第２の品質レベルまでの再構成データを含む、請求項２または３に記載の方法。
5. 前記第２の再構成データセットは、デコードリソースの特徴を検知した場合には、前記第２の品質レベルまでの再構成データを含む、請求項２から４のいずれか一項に記載の方法。
6. 前記信号はビデオ信号であり、
   或る品質レベルの再構成データセットは、より低い品質レベルの前記信号の再構成に基づいて、前記或る品質レベルの他の画像／フレームの再構成されたレンディションとは独立して、前記信号の画像／フレームのレンディションを再構成するやり方を示し、
   前記送信中に前記品質レベルを変更する段階は、
   任意の画像／フレームを含む前記ビデオ信号の任意の時間サンプルで、取得されて前記デコーダに送信される再構成データの最高品質レベルを変更する段階を有し、
   前記送信中に前記品質レベルを変更する段階は、
   より高い品質レベルからより低い品質レベルへ、または、より低い品質レベルからより高い品質レベルへ、を含む、前記層状の階層の品質レベルに沿ったいずれかの方向に変更する段階を有する、請求項１から５のいずれか一項に記載の方法。
7. 前記品質レベルを変更する段階は、
   前記信号の第１部分について、前記階層の最低品質レベルから第１の品質レベルまでの再構成データのシーケンスを含むように、第１の再構成データセットを生成する段階と、
   前記第１の品質レベルに従って前記信号の前記第１部分を再生するために、前記第１の再構成データセットを前記デコーダに送信する段階と、
   前記信号の第２部分について、前記階層の前記最低品質レベルから前記第１の品質レベルとは異なる第２の品質レベルまでの再構成データのシーケンスを含むように、第２の再構成データセットを生成する段階と、
   前記第２の品質レベルに従って前記信号の前記第２部分を再生するために、前記第２の再構成データセットを前記デコーダに送信する段階と
   を含む、請求項１から６のいずれか一項に記載の方法。
8. 前記デコーダに送信される前記再構成データの前記品質レベルを変更する段階は、
   前記階層の第１の品質レベルに従って前記信号の複数の部分を再構成するべく、複数の再構成データセットを含むように、第１の再構成データセットを生成する段階と、
   前記第１の品質レベルに従って前記信号を再生およびナビゲーションさせるべく、前記第１の再構成データセットを前記デコーダに送信する段階と、
   前記階層の第２の品質レベルに従って前記信号を再構成するべく、複数の再構成データセットを含むように、第２の再構成データセットを生成する段階と、
   前記第１の再構成データセットを送信した後に、前記第２の品質レベルに従って前記信号を再生させるべく、前記第２の再構成データセットを前記デコーダに送信する段階と
   を備え、
   前記第２の再構成データセットは、前記第１の再構成データセットに対する補助再構成データであり、前記第２の再構成データセットは、前記第２の品質レベルに従って前記信号を再構成するために、前記第１の再構成データセットに基づいて生成された前記信号のレンディションを修正するやり方を示す、請求項１から７のいずれか一項に記載の方法。
9. 前記デコーダに送信する前記再構成データの前記品質レベルを変更する段階は、
   複数の再構成データセットを取得して、前記階層の第１の品質レベルに従って前記信号を再構成するべく、第１の再構成データセットを生成する段階と、
   前記第１の品質レベルで再生される前記信号をナビゲーションさせるべく、前記第１の再構成データセットを前記デコーダに送信する段階と、
   前記信号内の位置を示し、前記第１の再構成データセットに基づいて生成された前記第１の品質レベルで前記信号の再生を視聴しているユーザが生成したポインタ値を受信する段階と、
   前記ポインタ値が特定する位置から始めて前記信号を再構成するべく、複数の再構成データセットを含むように、第２の再構成データセットを生成する段階であって、前記第２の再構成データセットは、前記第１の再構成データセットに対する補助再構成データを提供して、前記第１の再構成データセットに基づいて生成された前記信号のレンディションを、第２の品質レベルに従って前記ポインタ値が特定する前記位置から始めて前記信号を再構成するように修正するやり方を示す、段階と、
   前記ポインタ値が特定する前記位置の後の前記信号の部分を、前記第２の品質レベルで再生させるように、前記第２の再構成データセットを前記デコーダに送信する段階と
   を備える、請求項１から８のいずれか一項に記載の方法。
10. 所望の再生速度に従って、前記デコーダによって実質的にリアルタイムで前記信号が再生されるように、前記再構成データの前記品質レベルを変更する段階をさらに備える、請求項１から９のいずれか一項に記載の方法。
11. 課金される料金／使用料金が、前記デコーダに送信される前記再構成データの品質レベルに応じている、料金表または使用料金表を実装する段階をさらに備える、請求項１から１０のいずれか一項に記載の方法。
12. 前記方法は、
    第１の再構成データセットと第２の再構成データセットとを含むよう、前記再構成データをエンコードする段階
    をさらに備え、
    前記第１の再構成データセットは、前記階層の第１の品質レベルまでの前記信号の再構成を可能とし、前記第２の再構成データセットは、前記階層の第２の品質レベルまでの前記信号の再構成を可能とし、前記第２の品質レベルは前記第１の品質レベルより高く、
    前記第２の再構成データセットは、前記第２の品質レベルに従って前記信号を再構成するために、前記第１の再構成データセットに基づいて生成された前記第１の品質レベルの前記信号に対して行う調節を示す補助再構成データであり、
    前記方法はさらに、
    前記第１の再構成データセットおよび前記第２の再構成データセットのいずれか１つのみに対して暗号化およびデジタル著作権管理の少なくとも一方を実装して、前記第１の再構成データセットおよび前記第２の再構成データセットのいずれか１つのみの未許可のデコードを防ぐ段階を備える、請求項１から１１のいずれか一項に記載の方法。
13. 前記信号はビデオ信号であり、
    前記再構成データは、品質レベルの層状の階層にエンコードされた複数の再構成データセットにパースされ、
    前記複数の再構成データセットのそれぞれは、前記ビデオ信号の１以上の画像／フレームの一部に関する連続したエレメントの各タイルを、或る品質レベルで再構成するやり方を示す、請求項１から１２のいずれか一項に記載の方法。
14. 前記複数の再構成データセットは複数のシーケンスに組み合わせられ、
    前記再構成データの前記複数のシーケンスを前記デコーダに送信する段階は、
    前記複数のシーケンスのそれぞれを、１つの完全なシーケンスごとに、ビットストリームにて前記デコーダに連続して送信する段階と、
    前記ビットストリームに、層状の再構成データセットの完全なシーケンスのそれぞれの最初と最後とを示すマーカ情報を提供する段階と
    を含む、請求項１３に記載の方法。
15. 前記再構成データを前記デコーダに送信する段階は、
    ビットストリームに、前記信号の各部分および各品質レベルについて、層状の再構成データのそれぞれの最初と最後とを示すマーカ情報を提供する段階を含む、請求項１から１４のいずれか一項に記載の方法。
16. 前記複数の再構成データセットをデコーダに送信する段階はさらに、
    前記信号の複数の連続した部分の各部分について前記デコーダに層状の再構成データの実質的に一定のビットレートを送信するように、前記信号の各部分について前記デコーダに送信される再構成データの最高品質レベルを変更する段階を含む、請求項１から１５のいずれか一項に記載の方法。

Images