JP6438904B2 - ビデオ信号処理 - Google Patents

Description

ＵＤＴＶ（Ｕｌｔｒａ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）と呼ばれる大型ウォールサイズテレビジョン（約７０”から１２０”）などの大型ディスプレイが、没入感およびディスプレイの技術革新を求める消費者の必要のために、魅力的な家庭用電化製品として展開されている。ＵＤＴＶは、通信回線または放送回線上でＵＤＴＶビデオを送信する際に大量の帯域幅を使用する。したがって、より高いコーディング効率を有するＵＤＴＶを開発することに関心が集まっている。

ビデオ信号処理に関する技法を提供する。一実施形態では、ビデオ信号エンコーダが、入力ビデオ信号の一部を選択し、その部分をパーティションに分割するように適合されたプリプロセッサと、第１の領域から第２の領域にパーティションを変換するように適合された第１の変換器と、第２の領域のそれぞれのパーティションから代表的な値を選択するように適合されたセレクタと、代表的な値を収集して代表的な値のグループを形成するように適合されたコレクタと、代表的なグループを符号化するように適合された第１の符号化ユニットとを含む。

上記の概要は例示的なものに過ぎず、いかなる形でも限定的なものではない。上述の例示的態様、実施形態、特徴に加えて、図面および以下の詳細な説明を参照することによって別の態様、実施形態、および特徴が明らかとなるであろう。

プロバイダと消費者との間でビデオを供給するシステムの例示的構成を概略的に示す図である。 図１に示すビデオプロバイダシステムの例示的構成を示す図である。 図２に示すビデオエンコーダの一実施形態を示す図である。 複数のパーティションに分割されたビデオの一部の一例を示す図である。 変換後パーティションおよび代表的なグループの例を示す図である。 変換後パーティションおよび代表的なグループの例を示す図である。 別の実施形態によるビデオ信号を符号化するビデオプロバイダシステムの例示的構成を示す図である。 図６に示すスケーラブルビデオエンコーダの一実施形態を示す図である。 図７に示すベースレイヤエンコーダの一実施形態を示す図である。 図８に示す符号化ユニットの一実施形態を示す図である。 図７に示すエンハンスメントレイヤエンコーダの一実施形態を示す図である。 一実施形態によるビデオ信号符号化方法の例示的流れ図を示す図である。 一実施形態によるビデオ信号符号化方法の追加の流れ図の一例を示す図である。

以下の詳細な説明では、本明細書の一部を形成する添付の図面への参照を行う。図面では、同様の符号は通常、文脈での別段の記載がない限り、同様の構成要素を特定する。詳細な説明、図面、および特許請求の範囲で説明する例示的実施形態は、限定を意味するわけではない。本明細書で提示する主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で全般的に説明し、各図に図示する本開示の態様を多種多様な異なる構成で構成し、置換し、組み合わせ、分離し、設計することができ、そのすべてが本明細書で明示的に企図されることを容易に理解されよう。

図１に、プロバイダと消費者との間でビデオを供給するシステムの例示的構成を概略的に示す。システム１００は、媒体１２０にビデオ信号を供給するビデオプロバイダシステム１１０と、媒体１２０からビデオ信号を受信する１つまたは複数のビデオ消費者システム１３０とを有する。ビデオ信号を効率的に供給するために、ビデオプロバイダシステム１１０は、媒体１２０にビデオ信号を供給する前にビデオ信号を符号化することができ、ビデオ消費者システム１３０は、符号化ビデオ信号を復号化することができる。

媒体１２０は、記録媒体、有線またはワイヤレス伝送媒体、またはビデオプロバイダシステム１１０からビデオ消費者システム１３０にビデオ信号を搬送するのに適していると考えられる任意の他の媒体を含むことができる。あるケースでは、媒体１２０は、その中に２つ以上の異なる種類の媒体の組合せを含むことができる。

ビデオ消費者システム１３０は、ビデオ信号を処理する（例えば、表示し、再符号化し、格納し、送信し、かつ／または任意の他の考えられる方式で使用する）ように適合された様々な種類の装置を含むことができる。その中には、ＵＤＴＶ（Ｕｌｔｒａ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）と呼ばれるウォールサイズテレビジョン（約７０”から１２０”）などの大型ディスプレイがある。ＵＤＴＶのいくつかの典型的な解像度は、３８４０ピクセル×２１６０ライン（４Ｋ−ＵＤＴＶ）または７６８０ピクセル×４３２０ライン（８Ｋ−ＵＤＴＶ）でよい。しかし、解像度は前述の解像度に限定されず、状況に従って、より大型または小型のものでよいことを理解されたい。あるケースでは、ビデオ消費者システム１３０は、ＨＤＴＶまたはさらに小型のＴＶセットトップを含むことができる。

ある実施形態では、ビデオプロバイダシステム１１０は、スケーラブル符号化を実施して、ビデオ消費者システム１３０に現実感のあるビデオを供給することができる。スケーラブル符号化は、スケーラブルビットストリームを生成する符号化方式を含むことができる。ビデオビットストリームは、得られるサブストリームが何らかのターゲットデコーダ用の別の有効なビットストリームを形成する方式でビットストリームの部分を除去できるとき、スケーラブルと呼ばれることがある。

スケーラブル符号化は、サブセットビットストリームと同量のデータを使用して保存したものと同様の複雑さおよび再構築品質でそれ自体を復号化することのできる１つまたは複数のサブセットビットストリームを含む高品質ビデオビットストリームの符号化を可能にすることができる。ある実施形態では、より大きいビットストリームからパケットを除去することによってサブセットビットストリームを導出することができる。サブセットビットストリームは、サブセットビットストリームが導出されるビットストリームと比べて、（それぞれ別々に、または組み合わせて）より低い空間または時間解像度あるいはより低い品質のビデオ信号を表すことができる。スケーラブル符号化の使用により、ビデオを様々な空間または時間解像度あるいは品質で同時に送信または格納することができる。

図２に、図１に示すビデオプロバイダシステムの例示的構成を示す。ビデオプロバイダシステム１１０は、一実施形態に従ってビデオ信号を符号化する。図２を参照すると、ビデオプロバイダシステム１１０は、ビデオソース２１０およびビデオエンコーダ２２０を含むことができる。

ビデオソース２１０は、ビデオ信号のシーケンスを生成することのできる任意のデバイスでよい。ビデオ信号は、ビデオデータを表す任意の信号または信号の少なくとも一部でよい。ビデオソース２１０は、例えば、テレビジョンアンテナおよび受信機ユニット、ビデオカセットプレーヤ、ビデオカメラ、ビデオ信号を受信／格納することのできるディスク記憶デバイスなどを含むことができる。ビデオ信号をビデオエンコーダ２２０に送信することができる。

ビデオエンコーダ２２０は、ビデオ信号を符号化して符号化ビデオ信号を生成することができる。ある実施形態では、ビデオエンコーダ２２０からの符号化ビデオ信号は、ビデオソース２１０からの元のビデオ信号の解像度と比べて比較的低い解像度に対応するベースレイヤデータを含むことができる。ビデオエンコーダ２２０はさらに、デコーダ可読媒体、例えば媒体１２０に符号化ビデオ信号を出力することができる。このようにして、ある実施形態では、ビデオエンコーダ２２０は、デコーダ可読媒体１２０内にビデオ信号を符号化することができる。例えば、ビデオエンコーダ２２０は、デコーダ可読媒体１２０上に符号化ビデオ信号を記録することができる。

図３に、図２に示すビデオエンコーダの一実施形態を示す。図３を参照すると、ビデオエンコーダ２２０は、プリプロセッサ３１０およびベースレイヤエンコーダ３２０を含むことができる。

プリプロセッサ３１０は、ビデオソース２１０から入力ビデオ信号を受信し、符号化すべき入力ビデオ信号の一部（「選択部分」）を選択することができる。ここで、「選択部分」という用語は、符号化すべき入力ビデオ信号全体の一部を指す。ある実施形態では、選択部分は、例えば、１６×１６ピクセルを含むマクロブロックに対応することができる。言い換えれば、入力ビデオ信号をマクロブロックで符号化することができる。プリプロセッサ３１０によって決定される選択部分は、１６×１６マクロブロックに限定されないことに留意されたい。例えば、３２×３２スーパーブロック、６４×６４ウルトラブロック、より小さいブロック、さらには非正方形オブジェクトも、プリプロセッサ３１０によって決定される選択部分に対応することができる。

プリプロセッサ３１０はまた、選択部分を複数パーティションに分割することもできる。ある実施形態では、パーティションは４×４サブブロックでよい。選択部分が１６×１６マクロブロックであるケースでは、プリプロセッサ３１０は、選択部分について１６個のパーティションを提供することができる。図４に、複数パーティションに分割された選択部分の一例を示す。図４では、１６×１６マクロブロックとして示される選択部分４１０が、１６個のパーティション４２０に分割される。各パーティション４２０は４×４サブブロックとして示されている。パーティション４２０は４×４サブブロックに限定されないことに留意されたい。ある実施形態では、パーティション４２０は、８×８平方、１６×１６平方、さらには非正方形などの異なるサイズまたは形状を有することができる。

図３に戻ると、ベースレイヤエンコーダ３２０は、比較的低い解像度に対応する符号化ベースレイヤデータを生成することができる。ある実施形態では、ベースレイヤデータは、元のサイズの１／４×４解像度に対応することができる。例えば、入力ビデオ信号が７６８０ピクセルおよび４３２０ライン（８Ｋ−ＵＤＴＶ）を有する場合、１／４×４ベースレイヤデータは、合計１９２０×１０８０の解像度に対応することができる。さらに、入力ビデオ信号が３８４０ピクセルおよび２１６０ライン（４Ｋ−ＵＤＴＶ）を有する場合、１／４×４ベースレイヤデータは、合計９６０×５４０の解像度に対応することができる。例えば、ある別の実施形態では、選択部分が３２×３２スーパーブロックであり、パーティションが１６×１６マクロブロックであり、したがってベースレイヤデータが元のサイズの１／２×２解像度に対応する可能性がある。入力ビデオ信号が３８４０ピクセルおよび２１６０ライン（４Ｋ−ＵＤＴＶ）を有するケースでは、１／２×２ベースレイヤデータが、合計１９２０×１０８０の解像度に対応することができる。

ベースレイヤエンコーダ３２０は、変換器３２２、セレクタ３２４、コレクタ３２６、および符号化ユニット３２８を含むことができる。

変換器３２２（または第１の変換器）は、プリプロセッサ３１０からパーティション４２０を受け取り、パーティション４２０を異なる領域に変換する（「第１の変換」）。ある実施形態では、変換器３２２は、例えば離散コサイン変換（ＤＣＴ）を実施することにより、パーティション４２０を空間領域から周波数領域に変換することができる。しかし、本開示の趣旨および範囲から逸脱することなく、他の種類の変換を適用することもできる。当技術分野で周知のように、ＤＣＴは、有限のデータ点のシーケンスを、異なる周波数で振動する余弦関数の和によって表すことができる。例えば、ＪＰＥＧまたはＭＰＥＧでは、ＤＣＴが８×８ブロックに適用されるとき、結果は、（０，０）要素（左上）がＤＣ（ゼロ周波数）値であり、増加する垂直および水平インデックス値を有するエントリ（ＡＣ係数）がより高い垂直および水平空間周波数を表す、８×８変換係数配列であることがある。したがって、変換器３２２により、各パーティション４２０内のピクセル値をＤＣ値および複数のＡＣ係数に変換することができる。例えば、パーティション４２０が１６個のピクセル値を含む４×４サブブロックである場合、変換器３２２は、４×４サブブロックに対して４×４ ＤＣＴを実施して、１つのＤＣ値および１５個のＡＣ係数を導出することができる。ある実施形態では、空間領域内の４×４ピクセル値の平均値に対応するようにＤＣ値を導出することができる。

図５ａに、選択部分５１０（１６×１６マクロブロック）内の各パーティション５２０（４×４サブブロック）が１つのＤＣ値５３０および１５個のＡＣ係数５４０に変換される一例を示す。図５ａでは、変換後に、選択部分５１０は、それぞれが１つのパーティション５２０に対応する１６個のＤＣ値５３０を含む。

図３に戻ると、セレクタ３２４は、変換器３２２から変換後パーティションを受け取り、変換後パーティションのそれぞれから代表的な値を選択する。ある実施形態では、セレクタ３２４は、変換後パーティションのそれぞれからＤＣ値を選択し、ＡＣ係数を廃棄することができる。ＤＣ値を、対応するパーティションの代表的な値として使用することができる。しかし、本開示の趣旨および範囲から逸脱することなく、状況および変換のタイプに従って、異なる方式で代表的な値を選択することができる。

コレクタ３２６は、選択された代表的な値をセレクタ３２４から受け取り、代表的な値を収集して、代表的な値のグループを形成することができる。例えば、図５ａに示すＤＣ値５３０を収集して、図５ｂに示すようなＤＣ値５３０を含む４×４サブブロック５５０を形成することができる。得られる４×４サブブロック５５０全体は、図５ａの選択部分５１０を表すことができる。図５ａの選択部分５１０は、その中に１６個のパーティション５２０を含み、４×４サブブロック５５０内の１６個のＤＣ値５３０は、それぞれ選択部分５１０内の１６個のパーティション５２０を表すことができるからである。

次いで、符号化ユニット３２８（または第１の符号化ユニット）は、代表的な値のグループを符号化することができる。様々な周知の技法またはモジュールを使用して、代表的なグループを符号化することができる。符号化の一実施形態では、代表的な値のグループが典型的なイメージの通常のピクセル値を含むかのように代表的な値のグループを処理することができる。例えば、ある実施形態では、図５ｂに示す１６個のＤＣ値５３０を含む４×４サブブロック５５０を、符号化すべき典型的なイメージの通常のサブブロックと同様に処理することができる。

このようにして、ベースレイヤエンコーダ３２０は、選択部分の比較的低い解像度に対応する符号化ベースレイヤデータを生成することができる。例えば、選択部分が１６個の４×４サブブロックに分割される１６×１６マクロブロックであるとき、ベースレイヤエンコーダ３２０は、選択部分の４×４ベースレイヤイメージに対応する符号化信号を生成することができる。

図６に、別の実施形態によるビデオ信号を符号化するビデオプロバイダシステムの例示的構成を示す。図６を参照すると、ビデオプロバイダシステム１１０は、ビデオソース６１０、スケーラブルビデオエンコーダ６２０、およびビットストリームジェネレータ６３０を含むことができる。ビデオソース６１０は、図２を参照しながら上記で論じたビデオソース２１０と同様でよく、したがって繰り返し詳細には説明しない。

スケーラブルビデオエンコーダ６２０は、ビデオ信号を符号化して、ビットストリームジェネレータ６３０に符号化データの少なくとも２つのストリームを供給することができる。ある実施形態では、スケーラブルビデオエンコーダ６２０からのストリームは、比較的低い解像度に対応するベースレイヤデータと、比較的高い解像度（複数可）に対応する少なくとも１つエンハンスメントレイヤデータとを含むことができる。

ビットストリームジェネレータ６３０は、スケーラブルビデオエンコーダ６２０から符号化データのストリームを受信して、符号化データのストリームをその中に含む単一のビットストリームを生成することができる。言い換えれば、ビットストリームジェネレータ６３０は、デコーダ可読媒体、例えば媒体１２０に、スケーラブル符号化ビットストリームを出力することができる。ある実施形態では、デコーダ可読媒体１２０は、デコーダが媒体１２０からスケーラブル符号化ビットストリームを読み取ることができるような方式でスケーラブル符号化ビットストリームをその中に含むことができる。このようにして、ある実施形態では、スケーラブルビデオエンコーダ６２０は、スケーラブルビデオエンコーダ６２０によって符号化されたビデオ信号をその中に含むようにデコーダ可読媒体１２０を作成することができる。例えば、スケーラブルビデオエンコーダ６２０は、デコーダ可読媒体１２０上に符号化ビデオ信号を記録することができる。

図７に、図６に示すスケーラブルビデオエンコーダの一実施形態を示す。図７を参照すると、スケーラブルビデオエンコーダ６２０は、プリプロセッサ７１０、ベースレイヤエンコーダ７２０、ベースレイヤ再構築ユニット７３０、イメージエキスパンダ７４０、エンハンスメントレイヤエンコーダ７５０、およびエンハンスメントレイヤ再構築ユニット７６０を含むことができる。プリプロセッサ７１０は、図３を参照しながら上記で論じたプリプロセッサ３１０と同様でよく、したがって繰り返し詳細には説明しない。

ベースレイヤエンコーダ７２０は、比較的低い解像度に対応する符号化ベースレイヤデータを生成することができる。ある実施形態では、ベースレイヤデータは、元のサイズの１／４×４解像度に対応することができる。例えば、入力ビデオ信号が７６８０ピクセルおよび４３２０ライン（８Ｋ−ＵＤＴＶ）を有する場合、１／４×４ベースレイヤデータは、合計１９２０×１０８０の解像度に対応することができる。さらに、入力ビデオ信号が３８４０ピクセルおよび２１６０ライン（４Ｋ−ＵＤＴＶ）を有する場合、１／４×４ベースレイヤデータは、合計９６０×５４０の解像度に対応することができる。ベースレイヤデータの解像度は上記の例に限定されないことに留意されたい。例えば、ある別の実施形態では、選択部分が３２×３２スーパーブロックであり、パーティションが１６×１６マクロブロックであり、したがってベースレイヤデータが元のサイズの１／２×２解像度に対応する可能性がある。入力ビデオ信号が３８４０ピクセルおよび２１６０ライン（４Ｋ−ＵＤＴＶ）を有するケースでは、１／２×２ベースレイヤデータが、合計１９２０×１０８０の解像度に対応することができる。一実施形態によるベースレイヤエンコーダ７２０の詳細を後で説明する。

ベースレイヤ再構築ユニット７３０（または第１の再構築ユニット）は、符号化ベースレイヤデータからベースレイヤイメージを再構築することができる。イメージの再構築のために、例えば、イントラテクスチャコーディング、インターテクスチャコーディング、時間分割、動き補償などに関係することのある様々な技法を利用することができる。次いで、イメージエキスパンダ７４０は、再構築ベースレイヤイメージを元のサイズ、すなわち選択部分のサイズまで拡大することができる。例えば、ベースレイヤデータが元のサイズの１／４×４解像度を有する場合、イメージエキスパンダ７４０は、ピクセルデュプリケータ７４２を使用することにより、再構築ベースレイヤイメージ内のピクセルを、拡大イメージ内の１６個の（すなわち、４×４）ピクセルに複製することができる。イメージ拡大のために補間などの他の技法も利用できることに留意されたい。拡大ベースレイヤイメージをエンハンスメントレイヤエンコーダ７５０（または第２の符号化ユニット）に供給することができる。さらに、ある実施形態では、後で説明するインターテクスチャコーディングのために、ベースレイヤ再構築ユニット７３０からの再構築ベースレイヤイメージを基準イメージとしてベースレイヤエンコーダ７２０にフィードバックすることもできる。

エンハンスメントレイヤエンコーダ７５０は、プリプロセッサ７１０から選択部分４１０を受け取り、イメージエキスパンダ７４０から拡大ベースレイヤイメージを受け取ることができる。したがって、エンハンスメントレイヤエンコーダ７５０は、拡大ベースレイヤイメージを使用して、選択部分４１０に対応する少なくとも１つの符号化エンハンスメントレイヤデータを生成することができる。一実施形態によるエンハンスメントレイヤエンコーダ７５０の詳細を後で説明する。

次いで、エンハンスメントレイヤ再構築ユニット７６０（または第２の再構築ユニット）は、符号化エンハンスメントレイヤデータからエンハンスメントレイヤイメージを構築し、エンハンスメントレイヤイメージをエンハンスメントレイヤエンコーダ７５０にフィードバックする。イメージの再構築のために、時間分割、動き補償などの様々な技法を利用することができる。

図８に、図７に示すベースレイヤエンコーダの一実施形態を示す。図８を参照すると、ベースレイヤエンコーダ７２０は、変換器８１０、セレクタ８２０、コレクタ８３０、および符号化ユニット８４０を含むことができる。変換器８１０（または第１の変換器）、セレクタ８２０、およびコレクタ８３０は、図３を参照しながら上記で論じた変換器３２２、セレクタ３２４、およびコレクタ３２６と同様でよく、したがって繰り返し詳細には説明しない。

変換器８１０、セレクタ８２０、およびコレクタ８３０が協働して代表的な値のグループを形成した後、符号化ユニット８４０（または第１の符号化ユニット）は、代表的な値のグループが典型的なイメージの通常のピクセル値を含むものとして処理し、代表的な値のグループを符号化することができる。様々な技法またはモジュールを使用して、代表的なグループを符号化することができる。

図９に、図８に示す符号化ユニットの一実施形態を示す。図９を参照すると、符号化ユニット８４０は、変換器９１０、イントラテクスチャコーダ９２０、およびインターテクスチャコーダ９３０を含むことができる。

変換器９１０（または第２の変換器）は、代表的な値のグループを受け取り、代表的なグループを別の領域に再変換することができる。例えば、ある実施形態では、４×４サブブロック（例えば、図５ｂに示す１６個のＤＣ値５３０を含む４×４サブブロック５５０）をイメージの通常のサブブロックと同様に処理することができ、ＤＣＴ係数、すなわち１つのＤＣ値および１５個のＡＣ係数に再変換することができる。このプロセスは、前記変換後の、すなわち第１の変換器、例えば変換器８１０によって実施される第１の変換後の、第２の変換と呼ばれることがある。

変換器９１０による第２の変換後、イントラテクスチャコーダ９２０は、得られるＤＣＴ係数を使用してイントラテクスチャコーディングを実施することができる。イントラテクスチャコーディングのためにランレングス符号化や可変長コーディングなどの様々な技法を使用することができる。

インターテクスチャコーダ９３０は、変換器９１０からのＤＣＴ係数と、ベースレイヤ再構築ユニット７３０からの前の再構築イメージとを使用して、インターテクスチャコーディングを実施することができる。インターテクスチャコーディングでは、インターテクスチャコーダ９３０は、動き推定ユニット９３２および動き補償ユニット９３４を使用して、動き推定および／または動き補償を実施することができる。イメージの通常のピクセル値を含む通常のサブブロックと見なすことのできる代表的なグループ（例えば、１６個のＤＣ値を含む）に基づいて、動き推定および動き補償を実施することができる。

このようにして、ベースレイヤエンコーダ７２０は、選択部分の比較的低い解像度に対応する符号化ベースレイヤデータを生成することができる。例えば、選択部分が１６個の４×４サブブロックに分割される１６×１６マクロブロックであるとき、ベースレイヤエンコーダ７２０は、その部分に関する４×４ベースレイヤイメージに対応する符号化信号を生成することができる。

図１０に、図７に示すエンハンスメントレイヤエンコーダの一実施形態を示す。図１０を参照すると、エンハンスメントレイヤエンコーダ７５０は、差分ユニット１０１０、変換器１０２０、およびエントロピーコーダ１０３０を含む。

ある実施形態では、差分ユニット１０１０は、プリプロセッサ７１０によって求められた元の部分（例えば、選択部分４１０）と、イメージエキスパンダ７４０からの拡大ベースレイヤイメージとを受け取ることができる。次いで、差分ユニット１０１０は、元の部分と拡大ベースレイヤイメージとの間の差分イメージを得ることができる。

変換器１０２０（または第３の変換器）は、差分ユニット１０１０によって得られた差分イメージを別の領域、例えば周波数領域に変換することができる。ある実施形態では、変換器１０２０は、この目的で離散コサイン変換（ＤＣＴ）を実施することができる。

エントロピーコーダ１０３０は、変換差分イメージに関するエントロピーコーディングを実施して、符号化エンハンスメントレイヤデータを生成することができる。エントロピーコーディングは、ランレングス符号化、可変長コーディングなどの様々な技法を含むことができる。

上記の実施形態では、差分ユニット１０１０は、元の部分と、元の部分から導出されたベースレイヤイメージとを使用する。したがって、上記の符号化方式は、イントラコーディングと呼ばれることがある。しかし、エンハンスメントレイヤエンコーダ７５０はイントラコーディングに限定されない。

例えば、ある別の実施形態では、差分ユニット１０１０は、エンハンスメントレイヤ再構築ユニット７６０から再構築エンハンスメントレイヤイメージを受け取ることができる。次いで、差分ユニット１０１０は、再構築エンハンスメントレイヤイメージと拡大ベースレイヤイメージとの間の差分イメージを得ることができる。元の部分以外の１つまたは複数の基準イメージを参照することによって再構築エンハンスメントレイヤイメージを得ることができるので、そのような符号化方式はインターコーディングと呼ばれることがある。

ある実施形態では、必要に応じてイントラコーディングとインターコーディングの両方を利用するように差分ユニット１０１０を構成できることを理解されたい。

このようにして、エンハンスメントレイヤエンコーダ７５０は、拡大ベースレイヤイメージを使用して、元の部分に対応するエンハンスメントレイヤデータを生成することができる。

図１１に、ビデオ信号エンコーダ、より具体的にはビデオ信号エンコーダ内のそれぞれの構成要素によって実施することのできる、一実施形態によるビデオ信号符号化方法の例示的流れ図を示す。

図１１を参照すると、方法は、符号化すべき入力ビデオ信号の一部（選択部分）を選択することによって開始することができる（ブロック１１１０）。次いで、この部分を複数のパーティションに分割することができる（ブロック１１２０）。ある実施形態では、この部分は１６×１６マクロブロックに対応することができ、パーティションは４×４サブブロックに対応することができる。

パーティションを異なる領域に変換することができる（第１の変換）（ブロック１１３０）。例えば、離散コサイン変換（ＤＣＴ）を実施することによってパーティションを空間領域から周波数領域に変換することができる。次いで、変換後パーティションのそれぞれから代表的な値を選択することができる（ブロック１１４０）。ある実施形態では、ＤＣＴ後のＤＣ値を代表的な値として選択することができる。パーティションに関する代表的な値を収集して、代表的な値のグループを形成することができる（ブロック１１５０）。ある実施形態では、代表的なグループは１６個のＤＣ値を含むことができ、各ＤＣ値は４×４サブブロックを表す。

次いで、代表的なグループを符号化することができる（ブロック１１６０）。様々な技法を使用して代表的なグループを符号化することができる。ある実施形態では、代表的なグループを通常の４×４イメージ部分と見なすことができる。この場合、ＤＣＴ（第２の変換）を実施することによって代表的なグループを周波数領域に再び変換することができる。この第２の変換の後、符号化ユニット８４０はまた、第２の変換によって得られたＤＣＴ係数に少なくとも部分的に基づいて、イントラテクスチャコーディングおよび／またはインターテクスチャコーディングも実施することができる。

本明細書で開示した上記および他のプロセスおよび方法について、プロセスおよび方法で実施される機能を異なる順序で実装できることを当業者は理解されよう。さらに、略述したステップおよび操作は例として与えたに過ぎず、開示した実施形態の本質から損なわれることなく、ステップおよび操作の一部は任意選択であることがあり、より少数のステップおよび操作として組み合わされることがあり、または追加のステップおよび操作として拡張されることがある。

図１２に、ビデオ信号エンコーダ、より具体的にはビデオ信号エンコーダ内のそれぞれの構成要素によってさらに実施することのできる、一実施形態によるビデオ信号符号化方法の追加の流れ図の一例を示す。

図１２を参照すると、方法は、ベースレイヤイメージを再構築することができる（ブロック１２１０）。ある実施形態では、図１１のブロック１１６０によって符号化される代表的なグループに少なくとも部分的に基づいて、ベースレイヤイメージを再構築することができる。次いで、例えば、図１１のブロック１１１０によって決定される部分のサイズまで、再構築ベースレイヤイメージを拡大することができる（ブロック１２２０）。方法は、拡大ベースレイヤイメージを使用して、部分に対応する符号化エンハンスメントレイヤデータを生成することができる（ブロック１２３０）。符号化エンハンスメントレイヤデータの生成のために、差分、変換、エントロピーコーディング、時間分割、動き補償などの様々な技法を利用することができる。

本開示は、様々な態様の例示として意図される、本願に記載の特定の実施形態によって限定されない。当業者には明らかであろうが、本願の精神および範囲から逸脱することなく、多数の修正および変形を行うことができる。上記の説明から、本明細書で列挙した方法および装置に加えて、本開示の範囲内の機能的に等価な方法および装置が当業者には明らかであろう。そのような修正および変形は、添付の特許請求の範囲の範囲内に包含されるものとする。本開示は、添付の特許請求の範囲、およびそのような特許請求の範囲が権利を有するすべての範囲の均等物のみによって限定されるべきである。本開示は、当然ながら様々である可能性のある特定の方法、試薬、化合物組成、または生物系に限定されないことを理解されたい。本明細書で使用した用語は特定の実施形態を説明するためのものに過ぎず、限定のためのものではないことも理解されたい。

例示的実施形態では、本明細書で説明した操作、プロセスなどのいずれも、コンピュータ可読媒体上に格納されたコンピュータ可読命令として実装することができる。コンピュータ可読命令は、モバイルユニット、ネットワーク要素、および／または任意の他のコンピューティングデバイスのプロセッサで実行することができる。

システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組合せを選択することができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組合せにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。

本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示に過ぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

さらに、本開示の特徴または態様をマーカッシュグループによって記述される場合、それによって本開示がマーカッシュグループの任意の個々のメンバまたはメンバのサブグループによっても記述されることを当業者は理解されよう。

当業者は理解するであろうが、明細書を与える点などのあらゆる目的で、本明細書で開示するすべての範囲は、そのあらゆる可能なサブレンジおよびサブレンジの組合せをも包含する。任意の列挙した範囲を、同じ範囲が少なくとも等しい１／２、１／３、１／４、１／５、１／１０などに分解されることを十分に記述し、可能にするものとして容易に理解することができる。非限定的な例として、本明細書で論じた各範囲を、下側の１／３、中央の１／３、および上側の１／３などに容易に分解することができる。当業者はやはり理解するであろうが、「まで」、「少なくとも」などのすべての言い回しは、列挙した数を含み、上記で論じたようにその後でサブレンジに分解することのできる範囲を指す。最後に、当業者は理解するであろうが、範囲はそれぞれの個々のメンバを含む。したがって、例えば、１〜３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１〜５個のセルを有するグループは、１、２、３、４、または５個のセルを有するグループを指し、以下同様である。

上記から、例示のために本開示の様々な実施形態を本明細書で説明したこと、および本開示の範囲および趣旨から逸脱することなく様々な修正を行えることを理解されよう。したがって、本明細書で開示した様々な実施形態は限定的なものではなく、真の範囲および趣旨は以下の特許請求の範囲によって示される。

Claims (12)

1. 第１の解像度に対応する入力ビデオ信号を分割したパーティションを空間領域から周波数領域に変換するように適合された第１の変換器と、
   出力符号化ビデオ信号に対応し前記第１の解像度より低い解像度である第２の解像度に従って、前記周波数領域のそれぞれの前記パーティションから直流（ＤＣ）値を選択し、ＡＣ値を廃棄するように適合されたセレクタと、
   前記ＤＣ値を収集してＤＣ値のグループを形成するように適合されたコレクタと、
   前記ＤＣ値のグループを符号化し、前記出力符号化ビデオ信号を生成するように適合された第１の符号化ユニットと
   を備え、
   前記第１の符号化ユニットは、
   前記ＤＣ値のグループをイメージのブロックとして処理することにより、前記ＤＣ値のグループを離散コサイン変換（ＤＣＴ）係数に再変換する第２の変換機を含む、
   ビデオ信号エンコーダ。
2. 前記符号化されたＤＣ値のグループから基準イメージを再構築するように適合された第１の再構築ユニット
   をさらに備える請求項１に記載のビデオ信号エンコーダ。
3. 前記再構築イメージを拡大して、拡大イメージを形成するように適合されたイメージエキスパンダと、
   前記拡大イメージを使用して、前記入力ビデオ信号を符号化するように適合された第２の符号化ユニットと
   をさらに備える請求項２記載のビデオ信号エンコーダ。
4. 前記エキスパンダが、
   前記再構築イメージ内の値を複製して、前記拡大イメージ内の複数のピクセルを形成するように適合されたピクセルデュプリケータ
   を備える請求項３に記載のビデオ信号エンコーダ。
5. 前記第２の符号化ユニットが、
   前記入力ビデオ信号と前記拡大イメージとの間の差分イメージを求めるように適合された差分ユニットと、
   前記差分イメージを変換するように適合された第３の変換器と、
   変換差分イメージのエントロピーコーディングを実施するように適合されたエントロピ
   ーコーダと
   を備える請求項３に記載のビデオ信号エンコーダ。
6. 前記エントロピーコーダは、少なくともランレングス符号化または可変長コーディングによりエントロピーコーディングを実施する請求項５に記載のビデオ信号エンコーダ。
7. 第１の解像度に対応する入力ビデオ信号を分割したパーティションを空間領域から周波数領域に変換すること、
   出力符号化ビデオ信号に対応し前記第１の解像度より低い解像度である第２の解像度に従って、前記周波数領域のそれぞれの前記パーティションから直流（ＤＣ）値を選択し、ＡＣ値を廃棄すること、
   前記ＤＣ値を収集してＤＣ値のグループを形成すること、
   前記ＤＣ値のグループを符号化し、前記出力符号化ビデオ信号を生成すること
   を備え、
   前記ＤＣ値のグループを符号化することは、
   前記ＤＣ値のグループをイメージのブロックとして処理することにより、前記ＤＣ値のグループを離散コサイン変換（ＤＣＴ）係数に再変換することを含む、
   ビデオ信号の符号化方法。
8. 前記符号化されたＤＣ値のグループから基準イメージを再構築すること
   をさらに備える請求項７に記載のビデオ信号の符号化方法。
9. 前記再構築イメージを拡大して、拡大イメージを形成すること、
   前記拡大イメージを使用して、前記入力ビデオ信号を符号化すること
   をさらに備える請求項８記載のビデオ信号の符号化方法。
10. 前記再構築イメージを拡大して、拡大イメージを形成することが、
    前記再構築イメージ内の値を複製して、前記拡大イメージ内の複数のピクセルを形成すること
    を備える請求項９に記載のビデオ信号の符号化方法。
11. 前記入力ビデオ信号を符号化することが、
    前記入力ビデオ信号と前記拡大イメージとの間の差分イメージを求めること、
    前記差分イメージを変換すること、
    変換差分イメージのエントロピーコーディングを実施すること
    を備える請求項９に記載のビデオ信号の符号化方法。
12. 前記エントロピーコーディングを実施することは、少なくともランレングス符号化または可変長コーディングによりエントロピーコーディングを実施することを含む、請求項１１に記載のビデオ信号の符号化方法。