JP4903195B2 - ビデオデータを効果的に符号化及び復号する方法，デバイス及びシステム - Google Patents

Description

本発明はビデオ符号化及び復号の分野に関し，より詳細にはスケーラブルビデオデータ処理に関する。

従来のビデオ符号化標準（例えばＭＰＥＧ−１，Ｈ．２６１，Ｈ．２６３，Ｈ．２６４）は，ビデオフレーム間の時間的冗長性を除去するために動き予測及び動き補償を用いる。これらの考え方は，ビデオ符号化について基本的理解のある当業者には非常になじみのあるものであり，詳細に説明する必要はないであろう。

現在，Ｈ．２６４又はＡＶＣに対するスケーラブル拡張の作業ドラフト１．０によれば，依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）の値が異なる複数のスケーラブル階層を符号化することができる。したがって各階層は依存性識別子を含み，符号化ビデオシーケンスに対して対応するシーケンスパラメータセット（ＳＰＳ）が含まれる。符号化ビデオシーケンスは，ある即時デコーダリフレッシュ（ＩＤＲ）ピクチャから次のＩＤＲまでの継続する符号化ピクチャだけからなる。復号順がＩＤＲピクチャの後にあるどのピクチャも，復号順がＩＤＲピクチャの前にあるフレーム間予測参照ピクチャを用いてはならない。シーケンスパラメータセットはとりわけ，適切な復号操作のためにデコーダ側で用いられるデータを含む。

現在の最新技術によれば，現在の符号化方法に関連して２つの主な欠点がある。第一にＤｅｐｅｎｄｅｎｃｙＩｄが７であるスケーラブル表示点が所望されるときは，ＤｅｐｅｎｄｅｎｃｙＩｄが０〜６であるすべての下位階層が必要であり，したがって少なくとも８個のシーケンスパラメータセットを，表示操作又は復号操作のためにそれぞれ送信しなければならない。ｓｅｑ＿ｐａｒａｅｍｔｅｒ＿ｉｄ以外のＳＰＳパラメータを変える必要がないとき，それはどの階層に対しても空間解像度が同一であるときであるが，実際にはあるおよそ同一のＳＰＳが冗長に送信される。ＳＰＳは通常セッションの始めに信頼できる帯域外を用いる方法で送信されるので，受信確認が必要であり，再送信が行われることもある。このように送信するデータ量が増加するので，セッション設定遅延が長くなり，それば最終ユーザの体験には不要なものである。

第２の欠点は柔軟性及び符号化効率に関するものである。初期ＳＰＳの最大数は３２である。ＤｅｐｅｎｄｅｎｃｙＩｄが７であるスケーラブル表示点が望まれるとき，ＤｅｐｅｎｄｅｎｃｙＩｄが０〜６であるすべての下位階層が必要であり，したがって平均的な符号化においては，各ＤｅｐｅｎｄｅｎｃｙＩｄ値を有する層は，高々４つのＳＰＳバリエーションしか持ち得ない。したがって３２個のＳＰＳバリエーションを用いた場合と比べて，柔軟性及び恐らく符号化効率も低下する。ビデオセッション中にＳＰＳを更新することによって，この問題を解決することができる。しかしビデオトランスポートセッション中にＳＰＳ更新を行うと，更新したＳＰＳとそれを参照しているネットワーク抽象化階層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ：ＮＡＬ）ユニットとの間の同期が失われるので，問題を生じやすい。更に帯域内を用いる方法で更新を行ったとき，例えば符号化ビデオスライスと同時に実時間転送プロトコル（ＲＴＰ）を用いて送信したときは，更新信号が失われることがある。

本発明の目的は，効率的に符号化又は復号を行う方法，デバイス及びシステムを提供することにあり，それぞれ上述の現状技術の問題を解決して，冗長性を回避した効果的な符号化を提供するものである。

本発明の目的は，付属の独立請求項に規定された主題によって解決できる。

本発明の操作の一態様によれば，シーケンスパラメータセット（ＳＰＳ）を各ＤｅｐｅｎｄｅｎｃｙＩｄ値に対して活性化しなければならない制約を取り除くことができる。そうではなく，新ＳＰＳは必要なときだけ活性化される。新シーケンスは，ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ以外の少なくとも１つのＳＰＳの変更が必要なときだけ必要である。本発明は，スケーラブルビデオ符号化を適用する任意のアプリケーションにおいて用いることができ，１又は複数のシーケンスパラメータセットが符号化に用いられる。

主な利点は，シーケンスパラメータセットをより効率的に用いることができる点にあり，それによって初期セッションセットアップ遅延が減少し，より多くのシーケンスパラメータセットをあるスケーラブル階層に用いることができ，それによってスケーラブル階層をより柔軟な方法で符号化し，また柔軟性が達成されることによって符号化効率を改善することができる。

本発明による符号化又は復号方法及び操作は，単純化のために１つの符号化ビデオシーケンスについて規定するが，複数の符号化ビデオシーケンスへの適応も本発明の範囲内で対処できる。

本発明の第１態様によれば，ビデオデータのスケーラブル符号化方法が提供される。最初の操作によって上記ビデオデータを取得するステップが提供される。そして上記ビデオデータを取得するステップが実行され，続いて上記取得したビデオデータを用いて少なくとも１つのピクチャを含む基本階層を発生するステップが実行される。上記の取得したビデオデータを用いて，少なくとも１つのピクチャを含む少なくとも１つの強化階層が発生される。上記基本階層及び強化階層のそれぞれに対して参照番号と関連付けられた依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）が発生される。異なるＤｅｐｅｎｄｅｎｃｙＩｄ値を有する上記基本階層及び上記少なくとも１つの強化階層のそれぞれに対して，対応するシーケンスパラメータセット（ＳＰＳ）が決定され，およそ同一のＳＰＳパラメータを有するいくつかの基本階層及び強化階層は１つのＳＰＳを用いる。そして，決定したＳＰＳを用いて上記基本階層及び上記少なくとも１つの強化階層を符号化する。

本発明の独創的操作によれば，異なるＤｅｐｅｎｄｅｎｃｙＩｄ値を有する複数のスケーラブル階層におけるあるシーケンスパラメータセットを再利用することができる。

好適な実施例によれば，上記基本階層及び上記少なくとも１つの強化階層の発生は上記ビデオデータ内の動き情報を利用しており，その動き情報は動き予測処理が提供する。

好適な実施例によれば，上記シーケンスパラメータセット（ＳＰＳ）はＳＰＳ識別子を含み，ＳＰＳ識別子はピクチャパラメータセットにより参照され，更にスライスヘッダ内で参照される。それによって多数のシーケンスパラメータセット内のあるＳＰＳを正確に識別することができる。

好適な実施例によれば，上記基本階層と少なくとも１つの強化階層とのグループの少なくとも２つのＤｅｐｅｎｄｅｎｃｙＩｄは同一である。

好適な実施例によれば，上記ＳＰＳは更に，プロファイル情報と，レベル情報と，クロマ形式情報と，ピクチャサイズ情報と，フレームクロップ情報とを含むグループの少なくとも１つを含む。

本発明の別の態様によれば，スケーラブル符号化ビデオデータを復号する方法が提供される。この方法は，上記符号化ビデオデータを取得する操作と，上記符号化ビデオデータ内の基本階層及び少なくとも１つの強化階層を識別する操作と，上記基本階層及び少なくとも１つの強化階層それぞれの参照番号を有する依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を検出する操作と，同一のＳＰＳパラメータを有する少なくとも２つの階層について１つのＳＰＳを用い，上記の決定されたシーケンスパラメータセット（ＳＰＳ）のそれぞれを用いて上記基本階層及び上記復号された少なくとも１つの強化階層を復号する操作と，を有する。

本発明の別の態様によれば，上記符号化方法によって動作する符号化デバイスも提供される。

本発明の別の態様によれば，上記復号方法によって動作する復号デバイスも提供される。

本発明の別の態様によれば，上記符号化方法及び／又は復号方法によって動作するデータ送信に対応するシステムも提供される。

本発明の別の態様によれば，少なくとも１つの符号化デバイス及び少なくとも１つの復号デバイスを含むデータ送信システムも提供される。

本発明の別の態様によれば，電子デバイスに収容された計算機プロセッサが実行するための計算機プログラムコードを組み込んだ計算機可読記憶構造を含む計算機プログラム製品も提供される。上記計算機プログラムコードは，上記符号化方法を実行する命令を含む。

本発明の別の態様によれば，電子デバイスに収容された計算機プロセッサが実行するための計算機プログラムコードを組み込んだ計算機可読記憶構造を含む計算機プログラム製品も提供される。上記計算機プログラムコードは，上記復号方法を実行する命令を含む。

本発明の別の態様によれば，搬送波に含まれ，命令を表している計算機データ信号であって，それをプロセッサが実行したとき，上述の符号化方法及び／又は復号方法のいずれか１つの操作が実行される信号も提供される。

本発明の別の態様によれば，ビデオデータをスケーラブル符号化するモジュールが提供される。このモジュールは，上記ビデオデータを取得するコンポーネントと，上記の取得したビデオデータを用いて基本階層を発生するコンポーネントと，少なくとも１つのピクチャを含む少なくとも１つの強化階層を発生するコンポーネントと，上記基本階層及び強化階層のそれぞれに対して，参照番号に関連付けられた依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を発生するコンポーネントと，異なるＤｅｐｅｎｄｅｎｃｙＩｄ値を有する上記基本階層及び上記少なくとも１つの強化階層それぞれに対して対応するシーケンスパラメータセット（ＳＰＳ）を決定するコンポーネントであって，およそ同一のＳＰＳパラメータを有するいくつかの基本階層及び強化階層は１つのＳＰＳを用いるコンポーネントと，決定したＳＰＳを用いて上記基本階層及び上記少なくとも１つの強化階層を符号化するコンポーネントと，を少なくとも備える。

本発明の別の態様によれば，スケーラブル符号化ビデオデータを復号するモジュールが提供される。このモジュールは，上記符号化ビデオデータを取得するコンポーネントと，上記符号化ビデオデータ内の基本階層及び少なくとも１つの強化階層を識別するコンポーネントと，上記少なくとも１つの強化階層について依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を検出するコンポーネントであって，上記依存性識別子は参照番号を有し，異なる上記依存性識別子を有する少なくとも２つの階層について，同一のＳＰＳを用いるコンポーネントと，上記の使用したシーケンスパラメータセットを用いて，上記基本階層及び上記復号した強化階層を復号するコンポーネントと，を少なくとも備える。

本発明の利点は，本発明の実施例を参照する詳細な説明を読めば明白になるであろう。そしてそれによって発明の考え方は容易に理解できるであろう。

明りょうにするため，詳細な説明及び添付の図面を通して，同一又は類似のコンポーネント，ユニット又はデバイスは同一の参照番号で参照される。

この説明を通じて，ポータブルデバイス及び移動体デバイスは同義的に用いられていることに注意されたい。

添付の図面は，本発明を更に理解するために提供されるものであり，本明細書に組み込まれ，その一部を構成する。各図面は本発明の実施例を示し，付随する説明は本発明の原理を説明するためのものである。

本発明は付属の図面による実施例を参照して説明されるが，本発明はそれに制約されることなく，本願請求項の範囲内でいくつかの方法で修正可能であることは明らかである。

以降の種々の実施例の説明においては，その一部を成す付属の図面を参照しており，それらは本発明を実施することができる種々の実施例を図で示すものである。別の実施例を用いてもよく，また本発明の範囲を逸脱することなく，構造的修正及び機能的修正を行ってもよいことを理解されたい。図面及び説明を通して，類似又は同一の部分は可能な限り同一の参照番号で参照している。

図１に本発明の実施例による通常の移動体デバイスを示す。図１の移動体デバイス１０は，データ及び音声のセルラ通信ができる。この特定の実施例は多数の実施例のうち１つを例示するものであって，本発明はこれに限定されるものではないことに注意されたい。移動体デバイス１０は（主）マイクロプロセッサ又はマイクロコントローラ１００，及び移動体デバイスの動作を制御するマイクロプロセッサに関連するコンポーネントを含む。そのコンポーネントは，ディスプレイモジュール１３５に接続したディスプレイコントローラ１３０と，不揮発性メモリ１４０と，ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ１５０と，マイクロホン１６１に接続した音声入出力（Ｉ／Ｏ）インタフェース１６０と，スピーカ１６２及び／又はヘッドセット１６３と，キーパッド１７５又はキーボードに接続したキーパッドコントローラ１７０と，任意の補助入出力（Ｉ／Ｏ）インタフェース２００と，短距離通信インタフェース１８０とを含む。またこのようなデバイスは，通常，１９０に一般化して示すほかのデバイスサブシステムを含む。

移動体デバイス１０は，例えばデジタルセルラネットワーク，特にＧＳＭ（世界移動体通信システム）又はＵＭＴＳ（はん用移動体通信システム）の形態の任意の公衆地上移動体ネットワーク（ＰＬＭＮ）のような音声ネットワーク及び／又は同様なデータネットワークを介して通信することができる。通常音声及び／又はデータの通信は，無線インタフェース，すなわちセルラ通信インタフェースサブシステムを介し，（上述の）更なるコンポーネントと協働して，セルラネットの基盤設備である無線接続ネットワーク（ＲＡＮ）の一部である基地局（ＢＳ）又はノードＢ（図示されていない）へ向けて行われる。図１に例として示すセルラ通信インタフェースサブシステムは，セルラインタフェース１１０と，デジタル信号プロセッサ（ＤＳＰ）１２０と，受信器（ＲＸ）１２１と，送信器（ＴＸ）１２２と，１又は複数の局部発振器（ＬＯ）１２３とを備え，１又は複数の公衆地上移動体ネットワーク（ＰＬＭＮ）と通信することができる。デジタル信号プロセッサ（ＤＳＰ）１２０は通信信号１２４を送信器（ＴＸ）１２２へ送信し，受信器（ＲＸ）１２１から通信信号１２５を受信する。デジタル信号プロセッサ１２０は，通信信号を処理するほか，受信器制御信号１２６及び送信器制御信号１２７も供給する。例えば送信信号の変調及び受信信号の復調のほか，デジタル信号プロセッサ（ＤＳＰ）１２０で実現した自動利得制御アルゴリズムによって受信器（ＲＸ）１２１及び送信器（ＴＸ）１２２内の通信信号に適用される利得レベルが適応的に制御される。送信器１２２のより高機能な制御を行うために，ほかの送信器制御アルゴリズムをデジタル信号プロセッサ（ＤＳＰ）１２０で実現することもできる。移動体デバイス１０が，ＰＬＭＮを介して単一周波又は近接した周波群で通信するときは，送信器（ＴＸ）１２２及び受信器（ＲＸ）１２１において単一局部発振器（ＬＯ）１２３を使用してもよい。あるいは音声通信とデータ通信又は送信と受信で別の周波を用いるときは，多数の局部発振器１２３を用いて多数の対応する周波を発生することができる。図１に示したアンテナ１２９又は（図示していない）ダイバシチアンテナシステムを用いることもできるが，移動体デバイス１０は信号の受信及び送信に単一アンテナ構造を用いてもよい。音声情報及びデータ情報双方を含む情報は，セルラ通信インタフェース１１０とデジタル信号プロセッサ（ＤＳＰ）１２０との間を，データリンクを介して伝送される。周波数帯，コンポーネント選択，電力レベルなどのようなセルラインタフェース１１０の詳細設計は，移動体デバイス１０を運用する無線ネットワークに依存する。

セルラネットワークの登録に必要な加入者識別情報モジュール（ＳＩＭ）２１０を使用するかもしれない必要なネットワーク登録手続又はネットワーク活性化手続が完了したあと，移動体デバイス１０は無線ネットワークを介して音声信号及びデータ信号双方を含む通信信号を送受信することができる。アンテナ１２９によって無線ネットワークから受信した信号は受信器１２１へ回送され，受信器は信号増幅と，周波数ダウンコンバートと，ろ波と，チャネル選択と，アナログデジタル変換と，のような操作を行う。受信信号をアナログデジタル変換することによって，デジタル復調及び復号のような，より複雑な通信機能をデジタル信号プロセッサ（ＤＳＰ）１２０を用いて行うことができるようになる。同様にネットワークへ送信する信号は，例えばデジタル信号プロセッサ（ＤＳＰ）１２０によって変調及び符号化などの処理を行い，デジタルアナログ変換と，周波数アップコンバートと，ろ波と，増幅と，アンテナ１２９を介した無線ネットワークへの送信と，のために送信器１２２へ供給される。

マイクロプロセッサ又はマイクロコントローラ（μＣ）１００は，デバイスプラットホームマイクロプロセッサとして指定してもよく，移動体デバイス１０の各機能を管理する。プロセッサ１００が用いるオペレーティングシステムソフトウェア１４９は，不揮発性メモリ１４０のような永続記憶に記憶するのが好ましい。不揮発性メモリは例えば，フラッシュメモリ，バッテリ補助付きＲＡＭ，任意のほかの不揮発性記憶技術，又はそれらの任意の組合せで実現できる。不揮発性メモリ１４０は，移動体デバイス１０の低レベル機能及び基本（図形）ユーザインタフェース機能を制御するオペレーティングシステム１４９に加えて，音声通信ソフトウェアアプリケーション１４２，データ通信ソフトウェアアプリケーション１４１，オーガナイザモジュール（図示していない），又は任意のほかの種類のソフトウェアモジュール（図示していない）のような，多数の高レベルソフトウェアアプリケーションプログラム又はモジュールを含む。これらのモジュールはプロセッサ１００によって実行されて，移動体デバイス１０のユーザと移動体デバイス１０との間の高レベルインタフェースを提供する。このインタフェースは通常，ディスプレイコントローラ１３０が制御するディスプレイ１３５によって提供される図形コンポーネント，キーパッドコントローラ１７０を介してプロセッサ１００と接続したキーパッド１７５によって提供される入出力コンポーネント，補助入出力（Ｉ／Ｏ）インタフェース２００，及び／又は短距離（ＳＲ）通信インタフェース１８０を含む。補助Ｉ／Ｏインタフェース２００は，特にＵＳＢ（はん用シリアルバス）インタフェースと，シリアルインタフェースと，ＭＭＣ（マルチメディアカード）インタフェースと，関連するインタフェース技術又は標準と，任意のほかの標準又は独自のデータ通信バス技術と，を含み，一方短距離通信インタフェースは，特にＷＬＡＮ（無線構内ネットワーク）及びＢｌｕｅｔｏｏｔｈ（登録商標）通信技術，又はＩｒＤＡ（赤外線データ通信協会標準）インタフェースを含む無線周波（ＲＦ）低電力インタフェースであってもよい。ここで言うＲＦ低電力インタフェース技術とは，ＩＥＥＥ８０１．ｘｘ標準技術を含むものと特に理解されたい。その説明は米国電気電子学会から得ることができる。更に，短距離通信インタフェース１８０だけでなく補助Ｉ／Ｏインタフェース２００も，１又は複数の入出力技術及び通信インタフェース技術にそれぞれ対応する１又は複数のインタフェースをそれぞれ表すものであってよい。オペレーティングシステム，特定デバイスソフトウェアアプリケーション又はモジュール，若しくはそれらの一部は，より速い動作のために（通常ＤＲＡＭ（ダイナミックＲＡＭ）を用いて実現される）ＲＡＭのような揮発性記憶１５０に一時的に記憶してもよい。更に，受信通信信号もまた，不揮発性メモリ１４０又は補助Ｉ／Ｏインタフェースを介して接続された，好ましくは着脱可能な，任意の大容量記憶にある，データを記憶するファイルシステムに永続的に書き込む前に，一時的に揮発性メモリ１５０に記憶してもよい。上述のコンポーネントは，携帯電話機の形態の伝統的な移動体デバイス１０に組み込まれる通常のコンポーネントを表すものと理解されたい。本発明はこれら特定のコンポーネントに限定されるものではなく，これらの実現例は単に例示及び完全性のために示されたものである。

移動体デバイス１０のソフトウェアアプリケーションモジュールの例は，ＰＤＡ機能を提供するパーソナル情報管理アプリケーションであって，通常，電話帳（ｃｏｎｔａｃｔ ｍａｎａｇｅｒ），カレンダ，スケジュール表（ｔａｓｋ ｍａｎａｇｅｒ），などを含むものである。このようなパーソナル情報管理アプリケーションは，プロセッサ１００によって実行され，移動体デバイス１０のコンポーネントを利用することができ，またほかのソフトウェアアプリケーションモジュールと対話することができる。例えば音声通信ソフトウェアアプリケーションと対話することによって電話の発呼，音声メールなどを管理することができ，またデータ通信ソフトウェアアプリケーションと対話することによって，ＳＭＳ（ショートメッセージサービス）と，ＭＭＳ（マルチメディアメッセージサービス）と，電子メール通信と，ほかのデータ送信と，を管理することができる。不揮発性メモリ１４０は，特にカレンダ，電話帳などを含むデバイス上のデータ項目の永続記憶を可能にするためにファイルシステムを提供することが好ましい。例えばセルラインタフェース，短距離通信インタフェース，又は補助Ｉ／Ｏインタフェースなどのネットワークとのデータ通信能力によって，それらネットワークを介したアップロードと，ダウンロードと，同期とが可能になる。

アプリケーションモジュール１４１〜１４９は，プロセッサ１００が実行するように構成されたデバイス機能又はソフトウェアアプリケーションを表している。ほとんどの既知の移動体デバイスにおいては，単一プロセッサがすべてのデバイス機能及びソフトウェアアプリケーションだけでなく移動体デバイスの総合的動作を管理及び制御している。このような考え方は今日の移動体デバイスにも適用できる。特に強化されたマルチメディア機能の実装は，例えばビデオストリーミングアプリケーションの再生と，デジタル画像の操作と，組み込み又は着脱可能ビデオカメラ機能で取得したビデオシーケンスとを含むだけでなく，計算能力要求条件が必要となる高機能なグラヒックを有するゲームアプリケーションも含んでいる。従来求められていた計算能力要求条件に対処する一つの方法は，強力かつはん用のプロセッサコアを実現することである。計算能力を提供する別の方法は，２以上の独立なプロセッサコアを実装することであり，それは当業においては周知の方法である。いくつかの独立なプロセッサコアを利用する利点は，当業者には直ちに理解されるであろう。汎用プロセッサは，事前に選択した特定のタスクに特化することなく多数の異なるタスクを実行するように設計されているが，マルチプロセッサ構成は，１又は複数のはん用プロセッサと，１又は複数の所定のタスク集合を処理するように特化したプロセッサとを含んでもよい。それでもなお，１個のデバイス，特に移動体デバイス１０のような移動体デバイスにいくつかのプロセッサを実装することは，従来からコンポーネントの全くの再設計及び洗練された再設計を必要とするものである。

次に，既存の処理デバイスに追加のプロセッサコアを単純に集積して，高価な全くの再設計及び洗練された再設計を省くことができるという本願発明の考え方を述べる。本願発明の考え方を１チップシステム（ＳｏＣ）設計を参照して説明する。１チップシステム（ＳｏＣ）とは，少なくとも多数の（又はすべての）処理デバイスコンポーネントを単一の高集積度チップに集積するという考え方である。このような１チップシステムは，デジタル信号と，アナログ信号と，混合信号との機能，及びしばしば無線周波の機能をすべて１チップ上に含むことができる。通常の処理デバイスは，種々のタスクを実行するいくつかの集積回路を含む。これらの集積回路は，特にマイクロプロセッサと，メモリと，はん用非同期送受信器（ＵＡＲＴ）と，シリアルポート又はパラレルポートと，ダイレクトメモリアクセス（ＤＭＡ）コントローラと，その類似物と，を含む。はん用非同期送受信器（ＵＡＲＴ）は，並列データビットと，直列データビットとの間の変換を行う。最近の半導体技術の改良によって超大規模集積回路（ＶＬＳＩ）がもたらされ，複雑度が著しく増加し，多数のシステムコンポーネントを単一チップ上に集積できるようになった。図１を参照すると，１又は複数のコンポーネント，例えばコントローラ１３０及び１６０と，メモリコンポーネント１５０及び１４０と，１以上のインタフェース２００，１８０及び１１０と，は，プロセッサ１００と共に単一チップに集積させることができ，最終的に１チップシステム（ＳｏＣ）を形成する。

更に上述のデバイス１０は，本発明の先進的動作によるビデオデータのスケーラブル符号化モジュール１０５及び復号モジュール１０６を備える。プロセッサ１００によって，上述のモジュール１０５，１０６は個別に用いてもよい。しかし上述のデバイス１０は，ビデオデータの符号化又は復号を行うようになっている。上述のビデオデータはデバイスの通信モジュールによって受信してもよいし，又はデバイス１０内の任意の考えられる記憶手段に記憶してもよい。

図２に（階層的）スケーラブル符号化及び復号の非常に一般的な原理を示す。ここで中間レベルの構成要素（破線で強調されている）を更に追加することによって，原理的には任意の数のスケーラブル階層が実現できる。最初に基本階層で表される時空間信号解像度がサブサンプル（ｄｅｃｉｍａｔｉｏｎ）（前処理）によって発生される。引き続く符号化段階において，量子化器を適切に設定することによって，一定の総合品質レベルの基本情報が得られる。

基本階層の再構成はすべての高位階層解像度レベルの近似になっており，引き続く階層の復号において利用することができる。中間処理ユニットは，次の低位階層信号を引き続く階層の解像度にアップサンプルする。通常前処理及び中間処理は，すべての段階を通じてサブサンプル及び補間によって行われ，一方ある処理は，スケーラビリティの次元によって全く異なってもよい。例えば動き補償処理を，時間スケーラビリティにおけるフレームレートのアップサンプリングのために実施してもよい。符号化及び復号双方において，情報は低解像度階層から高解像度階層へ伝ぱされる。すべての種類のスケーラビリティ（時間，空間，若しくは量子化又は品質）において，ハイブリッドビデオ符号化のフレーム再帰処理によって生じる制約を注意深く考慮しなければならない。基本階層及び各階層の任意の合成は理想的には自己完結である。すなわち予測には，どのような高位階層からの復号情報も用いることは望ましくない。そうでないとエンコーダ側とデコーダ側で種々の予測が使われることになり，ドリフト効果が生じることになる。しかし基本階層情報の予測は，すべての強化階層情報が予測に使われたときよりも常に悪い。これは，基本階層におけるエンコーダの動作には障害とならない。すなわちエンコーダは，暗黙に同一レートの単一階層エンコーダと同様に動作する。しかし基本階層情報が強化階層の予測に用いられるので，より高いレートのレート‐ひずみ性能は，単一階層エンコーダよりも悪くなるであろう。

図３に本発明による符号化方法の動作シーケンスを示す。操作Ｓ３００においてシーケンスが開始する。これは，カメラ又はその類似物からビデオデータストリームを受信したときに対応する。上記のカメラは上述のデバイス１０内に内蔵されていてもよい。上記ビデオデータストリームを取得した（Ｓ３１０）後エンコーダは，操作Ｓ３２０に示すとおり対応する基本階層（ＢＬ）及び強化階層（ＥＬ）をそれぞれ発生すなわち生成する。ＥＬを１つだけ実装することも考えられるが，複数のＥＬを生成することによってよりよい符号化が可能になり，それによって更に復号品質を向上できる。

基本階層を発生し，強化階層も発生した後，ＢＬ及びＥＬに対応する依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を発生するステップに対応する操作Ｓ３３０が続く。ＤｅｐｅｎｄｅｎｃｙＩｄ値は，２以上の強化階層が用いられると増加する。

操作Ｓ３４０において，前述の基本階層及びすべての前述の強化階層のそれぞれに対応するシーケンスパラメータセット（ＳＰＳ）が決定され，選択されたＳＰＳパラメータがおよそ等しいとき，いくつかの基本階層又は強化階層に対してただ１つのＳＰＳが用いられる。本発明の先進的操作によれば，種々のＤｅｐｅｎｄｅｎｃｙＩｄ値に対してただ１つのＳＰＳを用いてもよく，それによって冗長データが除去されるので効果的な符号化操作が可能になる。用いるＳＰＳを決定した後，符号化操作Ｓ３５０を開始する。この操作において基本階層と，強化階層と，更に動きベクトル又はその類似物のような任意選択情報とが多重化され，更なる処理が可能なビットストリーム，すなわち符号化ビデオデータストリームとなる。

引き続く操作がないとき，又は例えば符号化する未処理ビデオデータシーケンスがないときは，操作シーケンスは終了Ｓ３９０となり，新たな反復によって再開することができる。しかし上記の得られた符号化ビデオデータストリームは受信器に送信することができ，受信器は上記データを復号又は記憶することができる。次に，図４を参照して復号処理を説明する。

図４に本発明による復号操作シーケンスを示す。スケーラブル符号化ビデオデータを受信すると，操作シーケンスを開始する（Ｓ４００）。上記の符号化ビデオデータを取得した（Ｓ４１０）後，基本階層及び対応する１又は複数の強化階層が操作Ｓ４２０によって識別される。このことは，受信した符号化ビデオデータストリームが分離され，ＢＬと，ＥＬと，動きベクトル（ＭＶ）又はその類似物のような任意選択追加情報と，に分割されることを意味する。受信データストリームを用いてＤｅｐｅｎｄｅｎｃｙＩｄが検出され，用いたシーケンスパラメータセット（ＳＰＳ）もまた識別される。操作Ｓ４５０において，前に決定した情報，すなわちＢＬと，ＳＰＳと，ＥＬと，を考慮して上記のスケーラブル符号化データが復号される。

更なる操作が必要ないときは，操作Ｓ４９０によってこの方法は終了し，必要なとき再開することができる。

図５ａに本発明によるスケーラブル符号化処理の原理を示す。図５ａに示されている動き予測器は，すべての処理に対応することができる。動き予測器はビデオデータを用いて符号化又は画像の改善のために更に必要な動きベクトルを発生する。

原ビデオデータは動きベクトルの発生，並びに基本階層ＢＬ及び対応する多数の強化階層ＥＬの発生にも用いられる。強化階層は，原ビデオデータと，ＢＬと，また任意選択で動きベクトルによって配信される情報と，を用いて発生される。更なる処理として，デコーダ側において画像改善又はその類似物を行うために，スケーラブル符号化ビデオデータストリーム内に動きベクトルを符号化，すなわち結合することも考えられる。

ＢＬ又はＥＬはそれぞれＤｅｐｅｎｄｅｎｃｙＩｄ及びＳＰＳを有する。本発明の先進的操作によれば，エンコーダは最初に使用するＳＰＳを決定し，基本階層及び強化階層すべての任意のサブセットのＳＰＳパラメータがおよそ等しいかどうかを検査し，冗長な更なるデータ通信を避けるために階層のサブセットの符号化にただ１つのＳＰＳを用いる。図５ａは，本発明によるスケーラブル符号化モジュール１０５の可能な詳細実施例を示したものである。

図５ｂに本発明によるスケーラブル符号化ビデオデータのデコーダを示す。図５ｂは，スケーラブル符号化ビデオデータを処理するようになっている復号モジュール１０６の可能な実施例である。

実際は，適切なＳＰＳを決定するモジュールは，符号化側に必要であって復号側には必要ではない。図５ｂには完全性のために決定モジュールも示されている。ピクチャにどのＳＰＳが使われているかについての情報は，ピクチャパラメータセット内のＩＤを参照することによって通知され，ピクチャパラメータセットＩＤは，スライスヘッダにおいて更に参照される。

受信データを用いて，ＥＬストリームと，ＤｅｐｅｎｄｅｎｃｙＩｄと，ＢＬストリームとがＤＥＭＵＸで示されているデマルチプレクサによって識別される。得られたデータストリームは，対応するＥＬデコーダ及びＢＬデコーダが提供する更なる処理が可能である。示したモジュールのそれぞれは，必要なとき相互に対話するようになっている。動きベクトルが得られ，復号に用いられる。使用したＳＰＳによって，デコーダは適切な復号を行い，スケーラブル復号ビデオデータが得られる。

ＢＬデータストリームはまた，ある実装に対する別個のデータストリームとしても供給されることが考えられる。ＢＬデータもまた復号され，ＥＬの復号手続で問題が検出されたときに用いてもよい。

図６は本発明による符号化モジュールを表したものであり，符号化に必要なすべてのコンポーネントを示している。ビデオデータのスケーラブル符号化を行う上記のモジュール１０５は，上記ビデオデータを取得するコンポーネント６１０と，上記の取得したビデオデータを用いて基本階層を発生するコンポーネント６２０と，上記ビデオデータ及び上記基本階層を用いて，所定の数の対応するスケーラブル強化階層を発生するコンポーネント６３０と，上記基本階層又は強化階層のそれぞれに対する，引き続く参照番号を有する依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を発生するコンポーネント６４０と，上記基本階層又は強化階層のそれぞれに対応するシーケンスパラメータセット（ＳＰＳ）を決定するコンポーネント６５０であって，選択したＳＰＳパラメータがおよそ等しいときはいくつかの基本階層又は強化階層に対してただ１つのＳＰＳが用いられるコンポーネントと，上記の対応するシーケンスパラメータセットを用いて上記基本階層及び上記強化階層を符号化するコンポーネント６６０と，を備える。

図７は本発明による復号モジュールを表したものであり，復号に必要なすべてのコンポーネントを示している。スケーラブル符号化ビデオデータを復号する上記のモジュール１０６は，上記符号化ビデオデータを取得するコンポーネント７１０と，上記符号化ビデオデータ内の基本階層及び少なくとも１つの強化階層を識別するコンポーネント７２０と，上記少なくとも１つの強化階層について依存性識別子（ＤｅｐｅｎｄｅｎｃｙＩｄ）を検出するコンポーネント７３０であって，上記依存性識別子は引き続く参照番号を有し，異なる上記依存性識別子を有する少なくとも２つの階層について，同一のＳＰＳを用いてもよいコンポーネントと，上記の使用したシーケンスパラメータセットを用いて，上記基本階層及び上記復号した強化階層を復号するコンポーネント７４０と，を備える。

モジュール１０５及び１０６双方は，ソフトウェアモジュールとして実現してもよいし，ハードウェアモジュールとして実現してもよいし，その類似物として実現してもよい。

図８ａ及び８ｂは，現状技術のスケーラブル符号化方法と，本発明の操作による方法との主な差異を示している。図８ａは，基本階層及び多数の強化階層に対応する各ＤｅｐｅｎｄｅｎｃｙＩｄが個別のシーケンスパラメータセットＳＰＳで提供されることを示している。これに対して本発明による符号化方法は，異なるＤｅｐｅｎｄｅｎｃｙＩｄに対するシーケンスパラメータセットが等しいかどうかを検出し，ただ１つのＳＰＳを符号化に用いる。この例においては，すべての強化階層に対してＳＰＳ１だけが用いられている。

本発明を付属の図面による実施例を参照して説明したが，本発明はこれに限定されず，本願の請求項の範囲内でいくつかの方法で修正可能であることは明らかである。

例としてセルラ端末デバイスに組み込んだポータブルＣＥデバイスの簡単な例示ブロック図である。 現状のビデオデータのスケーラブル符号化及び復号の一般原理を示す図である。 本発明による符号化側の操作シーケンスを示す図である。 本発明による復号側の操作シーケンスを示す図である。 本発明による符号化原理を詳細に示す図である。 本発明による復号原理を詳細に示す図である。 本発明による符号化モジュールのすべてのコンポーネントを示す図である。 本発明による復号モジュールのすべてのコンポーネントを示す図である。 各ＤｅｐｅｎｄｅｎｃｙＩｄがＳＰＳを必要とする，ビデオデータを符号化する実施例を示す図である。 １つのあるＳＰＳが符号化に用いられる，本発明によるビデオデータを符号化する実施例を示す図である。

Claims (16)

1. 複数の強化階層を発生するステップと、
   前記複数の強化階層の依存性識別子を発生するステップと、
   前記複数の強化階層から異なる値の依存性識別子を有する各強化階層を、一つのシーケンスパラメータセットを用いて符号化するステップと、
   スケーラブルビットストリーム内に前記一つのシーケンスパラメータセットを供給するステップと、
   によってビデオ信号を符号化してスケーラブルビットストリームを得るステップ、
   を有する方法。
2. 前記異なる値の依存性識別子を有する各強化階層のスライスヘッダ内にピクチャパラメータセットの識別子を供給するステップであって、前記ピクチャパラメータセットは前記一つのシーケンスパラメータセットを参照する識別子を有するステップを有する、請求項１に記載の方法。
3. 前記一つのシーケンスパラメータセットは、プロファイル情報と、レベル情報と、クロマ形式情報と、ピクチャサイズ情報と、フレームクロップ情報と、を含むグループのうちの少なくとも１つを含む、請求項１に記載の方法。
4. 符号化スケーラブルビデオビットストリームから複数の強化階層を受信するステップと、
   前記複数の強化階層の依存性識別子を復号するステップと、
   一つのシーケンスパラメータセットを受信するステップと、
   前記複数の強化階層から異なる値の依存性識別子を有する各強化階層を、前記一つのシーケンスパラメータセットからのパラメータ値を用いて復号するステップと、
   によって符号化スケーラブルビデオビットストリームを復号するステップ、
   を有する方法。
5. 前記異なる値の依存性識別子を有する各強化階層のスライスヘッダ内のピクチャパラメータセットの識別子を受信するステップであって、前記ピクチャパラメータセットは前記一つのシーケンスパラメータセットを参照する識別子を有するステップ、
   を有する、請求項４に記載の方法。
6. 前記一つのシーケンスパラメータセットは、プロファイル情報と、レベル情報と、クロマ形式情報と、ピクチャサイズ情報と、フレームクロップ情報と、を含むグループのうちの少なくとも１つを含む、請求項４に記載の方法。
7. 請求項１に記載のビデオ信号を符号化してスケーラブルビットストリームを得る方法によって動作するエンコーダ。
8. 請求項４に記載の符号化スケーラブルビットストリームを復号する方法によって動作するデコーダ。
9. 計算機に、請求項１に記載の方法の各ステップを実行させるための計算機プログラム。
10. 計算機に、請求項４に記載の方法の各ステップを実行させるための計算機プログラム。
11. ビデオ信号に基づいて基本階層を発生する基本階層エンコーダと、
    強化階層エンコーダであって、
    前記ビデオ信号と前記基本階層とに基づいて第１強化階層と第２強化階層とを有する複数の強化階層を発生し、
    前記第１強化階層の第１依存性識別子と、前記第２強化階層の第２依存性識別子とを発生し、ここで前記第２依存性識別子の値は前記第１依存性識別子の値と異なるものであり、
    前記第１強化階層及び前記第２強化階層に用いる一つのシーケンスパラメータセットを決定し、
    前記第１強化階層及び前記第２強化階層を、前記一つのシーケンスパラメータセットを用いて符号化する、
    強化階層エンコーダと、
    を備える装置。
12. 前記強化階層エンコーダは更に、前記異なる値の依存性識別子を有する各強化階層のスライスヘッダ内にピクチャパラメータセットの識別子を供給するように構成され、前記ピクチャパラメータセットは前記一つのシーケンスパラメータセットを参照する識別子を有する、請求項１１に記載の装置。
13. 前記一つのシーケンスパラメータセットは、プロファイル情報と、レベル情報と、クロマ形式情報と、ピクチャサイズ情報と、フレームクロップ情報と、を含むグループのうちの少なくとも１つを含む、請求項１１に記載の装置。
14. 符号化スケーラブルビデオビットストリームの基本階層を復号する基本階層デコーダと、
    強化階層デコーダであって、
    符号化スケーラブルビデオビットストリームから複数の強化階層を受信し、
    前記複数の強化階層の依存性識別子を復号し、
    一つのシーケンスパラメータセットを受信し、
    前記複数の強化階層から異なる値の依存性識別子を有する各強化階層を、前記一つのシーケンスパラメータセットからのパラメータ値を用いて復号する、
    強化階層デコーダと、
    を備える装置。
15. 前記強化階層デコーダは更に、前記異なる値の依存性識別子を有する各強化階層のスライスヘッダ内のピクチャパラメータセットの識別子を受信するように構成され、前記ピクチャパラメータセットは前記一つのシーケンスパラメータセットを参照する識別子を有する、請求項１４に記載の装置。
16. 前記一つのシーケンスパラメータセットは、プロファイル情報と、レベル情報と、クロマ形式情報と、ピクチャサイズ情報と、フレームクロップ情報と、を含むグループのうちの少なくとも１つを含む、請求項１４に記載の装置。

Images