JP5108026B2 - 空間スケーラビリティーのための拡張されたレイヤ間符号化 - Google Patents

空間スケーラビリティーのための拡張されたレイヤ間符号化 Download PDF

Info

Publication number
JP5108026B2
JP5108026B2 JP2009545628A JP2009545628A JP5108026B2 JP 5108026 B2 JP5108026 B2 JP 5108026B2 JP 2009545628 A JP2009545628 A JP 2009545628A JP 2009545628 A JP2009545628 A JP 2009545628A JP 5108026 B2 JP5108026 B2 JP 5108026B2
Authority
JP
Japan
Prior art keywords
video
video block
subset
layer
video blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009545628A
Other languages
English (en)
Other versions
JP2010516194A (ja
Inventor
サゲトン、フォーム
チュン、ヒュクジュネ
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010516194A publication Critical patent/JP2010516194A/ja
Application granted granted Critical
Publication of JP5108026B2 publication Critical patent/JP5108026B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

(関連出願の相互参照)
本出願は、2007年1月8日付け提出され、参照によってその全体が本明細書に組み込まれる、米国仮出願第60/883,881号の利益を主張する。
この開示は、デジタルビデオ符号化に関し、より詳しくは空間スケーラビリティーを提供するスケーラブルビデオ符号化(scalable video coding)(SVC)技術に関する。
デジタルビデオの機能(capabilities)は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、無線通信デバイス、無線ブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録装置、ビデオゲーム機器、ビデオゲームコンソール、セルラー無線電話又はサテライト無線電話、及び同類のものを含む、広範なデバイスに取り入れることが可能である。デジタルビデオデバイスは、より効率良くデジタルビデオを送信及び受信するために、例えばMPEG−2、MPEG−4、又はH.264/MPEG−4, Part 10、高度ビデオ符号化(Advanced Video Coding)(AVC)のようなビデオ圧縮技術を実装する。ビデオ圧縮技術は、ビデオシーケンス中に内在する冗長性を削減又は除去するために、空間予測(spatial prediction)及び時間予測(temporal prediction)を実行する。
ビデオ符号化において、ビデオ圧縮は、しばしば、空間予測、動き推定(motion estimation)及び動き補償(motion compensation)を含む。イントラ符号化(Intra-coding)は、与えられたビデオフレーム内のビデオブロック間の空間的冗長性を削減するための空間予測に依存する。インター符号化(Inter-coding)は、ビデオシーケンスの連続するビデオフレームのビデオブロック間の時間的冗長性を削減するための時間予測に依存する。インター符号化のために、ビデオ符号器(encoder)は、2以上の隣接するフレーム間のマッチするビデオブロックの移動(movement)を追跡するための動き推定を実行する。動き推定は、1又は複数の参照フレーム中の対応する予測ビデオブロックに関連するビデオブロックの移動を示す、動きベクトルを生成する。動き補償は、参照フレームから予測ビデオブロックを識別(identify)するために、動きベクトルを利用する。動き補償の後、残差(residual)ビデオブロックは、符号化すべきオリジナルのビデオブロックから、予測ビデオブロックを減算することによって、形成される。ビデオ符号器は、通常、残差ブロックの通信に関係するビットレートを更に削減するために、変換処理、量子化処理及び変換係数の符号化処理を適用する。
あるビデオ符号化は、スケーラブル技術を使用する。例えば、スケーラブルビデオ符号化(SVC)は、一つのベースレイヤ及び一つ又は複数のスケーラブル強化レイヤが用いられるビデオ符号化を指す。SVCに関して、ベースレイヤは、典型的には、ベースレベルの品質で、ビデオデータを運ぶ。一つ又は複数の強化レイヤは、より高い水準の空間的レベル、時間的レベル及び/又はSNRレベルをサポートするために、追加的なビデオデータを運ぶ。ベースレイヤは、強化レイヤの伝送に比較して、より信頼性のある方法で伝送されても良い。SVC技術は、多くのビデオ符号化環境において使用されても良く、また、無線ブロードキャストセッティング、例えば、テレビのような無線ハンドセットに対するブロードキャストにおいて特に有用であっても良い。
空間スケーラビリティーは、強化レイヤがベースレイヤのフレームに空間分解能を追加する、SVCスキームの一つのタイプである。このケースにおいて、ベースレイヤは、符号化データのベースレイヤ・ビデオブロックの数を定義しても良く、また、強化レイヤは、強化レイヤ・ビデオブロックの数を定義しても良い。強化レイヤ・ビデオブロックの数は、ベースレイヤ・ビデオブロックの数に比較して、より多くても良く、それによって、ビデオシーケンスのフレームに空間分解能を追加するようにしても良い。空間スケーラビリティーをサポートするSVCセッティングにおいて、レイヤ間予測(inter-layer prediction)は、強化レイヤを搬送する必要のあるデータの総量を削減するために使用されても良い。レイヤ間予測において、ベースレイヤのビデオブロックに完全にオーバーラップする強化レイヤのビデオブロックは、動き推定及び動き補償に類似する予測技術によって符号化されても良い。特に、レイヤ間予測において、強化レイヤ情報は、ベースレイヤの予測ビデオブロックに基づいて符号化されても良い。このように、レイヤ間冗長性は、データ圧縮を与えるために有効に利用されても良い。
一般に、この開示は、空間スケーラビリティーをサポートするスケーラブルビデオ符号化(SVC)スキームにおける、情報を符号化するのための技術を説明する。SVCにおいて、ビデオブロックは、一つのベースレイヤ及び一つ又は複数の強化レイヤについて符号化される。強化レイヤの符号化は、ベースレイヤにおいて識別される予測ビデオブロックに基づいて強化レイヤの少なくとも一部のビデオブロックが符号化される、レイヤ間予測を含む。
強化レイヤが、ベースレイヤに関連するビデオシーケンスのフレームに対して空間分解能を付加するように、強化レイヤ・ビデオブロックの数が、ベースレイヤ・ビデオブロックに比較して、より多くても良い。強化レイヤのビデオブロックの多くが、ベースレイヤのビデオブロックに、空間的に完全にオーバーラップしていても良い。この場合、レイヤ間予測が使用可能である。強化レイヤのビデオブロックの一部が、ベースレイヤのビデオブロックに、空間的に全くオーバーラップしなくても良い。この場合、時間予測又は空間予測を優先し、レイヤ間予測を回避しても良い。この開示は、ベースレイヤのビデオブロックに、空間的に部分的にのみオーバーラップする強化レイヤのビデオブロックのためのレイヤ間予測をサポートする技術を提供する。その技術は、データ圧縮、ビデオ品質、又はその両方を向上しても良い。
一つの例において、この開示は、ケーラブルビデオ符号化(SVC)スキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)することと、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化することを含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものである、前記SVCスキームにおける情報を符号化する方法を提供する。前記第2のビデオブロックを符号化することは、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することと、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することを含む。
他の例において、この開示は、スケーラブルビデオ符号化(SVC)スキームに従って情報を符号化する装置を提供する。前記装置は、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)し、及び、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化する符号化ユニット(coding unit)を含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものである。さらに、前記第2のビデオブロックに関して、前記符号化ユニットは、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行し、及び、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行する。
他の例において、本開示は、スケーラブルビデオ符号化(SVC)スキームにおける情報を符号化する装置を提供するものであり、前記装置は、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)するための手段と、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化するための手段とを含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものである。前記第2のビデオブロックを符号化するための手段は、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行するための手段と、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行するための手段とを含む。
この開示において説明される技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実現されても良い。ソフトウェアにより実現される場合には、ソフトウェアは、例えばマイクロプロセッサ、特定用途向けIC(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はデジタルシグナルプロセッサ(DSP)のような、1又は複数のプロセッサにより実行されても良い。その技術を実行するソフトウェアは、最初にコンピュータ読み取り可能な媒体にインストールされ、そして、プロセッサにロードされて実行されても良い。
したがって、この開示はまた、ビデオ符号化装置において実行されたときに、該装置に、スケーラブルビデオ符号化(SVC)スキームにおける情報を符号化させる(code)インストラクションを含む、コンピュータ読み取り可能な媒体を提供するものであり、前記インストラクションは、前記装置に、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)させ、及び、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化させるものであり、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものである。この場合において、前記第2のビデオブロックに関して、前記インストラクションは、前記装置に、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行させ、及び、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行させるものである。
場合によっては、コンピュータ読み取り可能な媒体は、製造者へ販売され及び/又はビデオ符号化装置に用いられてもよいコンピュータプログラムプロダクトの一部を形成しても良い。該コンピュータプログラムプロダクトは、コンピュータ読み取り可能な媒体を含んでも良く、また、場合によっては、包装材料を含んでも良い。
更なる例において、この開示は、ベースレイヤ・ビデオブロックに部分的にオーバーラップする強化レイヤ・ビデオブロックを識別することと、ベースレイヤ・ビデオブロックに関係する前記識別された強化レイヤ・ビデオブロックのうちの少なくとも一部又は全部の部分をインター符号化することを含む、スケーラブルビデオ符号化(SVC)のための方法を提供する。この方法はまた、ハードウェア、ソフトウェア、ファームウェア、又は、以下で説明される一般的な任意の実装において、実装されても良い。
他の例において、この開示は、例えば、集積回路、チップセット、特定用途向けIC(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、ロジック、又は、本明細書で説明される技術のうちの1又は複数を実行するように構成された、それらの様々な組み合わせのような回路が対象にされても良い。
本開示の1又は複数の態様の詳細は、添付図面及び以下の説明に記述されている。この開示で説明される技術の他の特徴、目的、及び利点は、該説明及び図面から並びに特許請求の範囲から、明白であろう。
図1は、ビデオ符号化の間、ビデオ復号化の間又はそれら両方の間に、この開示の技術を実施する、ビデオ符号化及び復号化システムを説明する例示的なブロック図である。 図2は、空間スケーラビリティーをサポートするスケーラブルビデオ符号化(SVC)スキームのベースレイヤと強化レイヤとの間の例示的な関係を説明する概念図である。 図3は、ベースレイヤのビデオブロックと、ベースレイヤのビデオブロックに、完全にオーバーラップする、部分的にオーバーラップする又はオーバーラップしない、強化レイヤの異なるビデオブロックとを説明する概念図である。 図4Aは、ベースレイヤのビデオブロックと、完全にオーバーラップする強化レイヤのビデオブロックを識別するためのシェーディングを有する強化レイヤのビデオブロックとを説明する概念図である。 図4Bは、ベースレイヤのビデオブロックと、部分的にオーバーラップする強化レイヤのビデオブロックを識別するためにシェーディングを有する強化レイヤのビデオブロックとを説明する概念図である。 図4Cは、ベースレイヤのビデオブロックと、ベースレイヤのそれらにオーバーラップしない強化レイヤのビデオブロックを識別するためにシェーディングを有する強化レイヤのビデオブロックとを説明する概念図である。 図5は、この開示に合致する技術を説明するフローチャートである。
詳細な説明
この開示は、空間スケーラビリティーをサポートするスケーラブルビデオ符号化(SVC)スキームにおける、情報を符号化するための技術を説明する。そのSVCスキームは、一つのベースレイヤ及び一つ又は複数の強化レイヤを含んでも良い。レイヤ間予測は、ベースレイヤの類似するビデオブロックに基づく、強化レイヤの各種のビデオブロックの符号化において使用される。強化レイヤのビデオブロックのためのレイヤ間予測は、ベースレイヤの予測ビデオブロック、及び、符号化をされている強化レイヤのビデオブロックと該ベースレイヤの予測ビデオブロックとの間の差分を表す符号化残差情報を、識別することを伴っても良い。代わりに、レイヤ間予測は、ベースレイヤの予測ビデオブロックを識別すること、及び、予測ビデオブロックから符号化されているビデオブロックへ、テクスチャー及び動きデータを割り当てる(assigning)又は継承する(inheriting)ことによって、ベースレイヤのビデオブロックを符号化することを、伴うこともあり得る。
強化レイヤのビデオブロックの多くは、ベースレイヤのビデオブロックに空間的に完全にオーバーラップしても良い。この場合には、レイヤ間予測が非常に効果的に利用可能である。しかしながら、強化レイヤのビデオブロックの一部は、ベースレイヤのビデオブロックに空間的にオーバーラップしていなくても良い。この場合には、これらビデオブロックのための時間予測又は空間予測を優先し、これらビデオブロックのためのレイヤ間予測を回避しても良い。一部の強化レイヤのビデオブロックは、ベースレイヤのビデオブロックに空間的に部分的にオーバーラップしていても良い。この開示は、ベースレイヤのビデオブロックに対して空間的に部分的にのみオーバーラップする、強化レイヤのそれらビデオブロックのための、レイヤ間予測をサポートする技術を提供する。この場合には、符号化ユニットは、強化レイヤの空間的に部分的にオーバーラップするビデオブロックのオーバーラップする部分を符号化するために、レイヤ間予測を実行しても良く、また、強化レイヤの空間的に部分的にオーバーラップするビデオブロックのオーバーラップしない部分を符号化するために、例えばパディング(padding)、補間(interpolation)又はミラーリング(mirroring)のような補助的な(supplemental)符号化技術を実行しても良い。
図1は、ビデオ符号化及び復号化システム10を説明するブロック図である。図1に示されるように、システム10は、符号化されたビデオを、通信チャネル15を通して受信デバイス6へ送信する、ソースデバイス2を含む。ソースデバイス2は、ビデオソース11、符号化(coding)ユニット12及び変調器/送信機14を含んでも良い。受信デバイス6は、受信機/復調器16、符号化(coding)ユニット18及びディスプレイ装置20を含んでも良い。システム10は、ベースレイヤに関連するレイヤ間予測を用いて、少なくとも幾らか(some)部分的にオーバーラップする強化レイヤのビデオブロックを符号化するSVC技術を適用するように構成されても良い。
スケーラブルビデオ符号化(SVC)は、一つのベースレイヤ及び一つ又は複数のスケーラブル強化レイヤが使用されるところのビデオ符号化を指す。SVCに関して、ベースレイヤは、典型的には、ベースレベルの品質で、ビデオデータを運ぶ。一つ又は複数の強化レイヤは、より高い水準の空間的レベル、時間的レベル及び/又は信号対雑音のSNRレベルをサポートするために、追加的なビデオデータを運ぶ。強化レイヤは、前もって符号化(encoded)されたレイヤに関連して定義されても良い。空間スケーラビリティーに関して、強化レイヤは、ベースレイヤに対して空間データを追加しても良い。強化レイヤのビデオブロックの一部は、ベースレイヤのそれらに空間的にオーバーラップしていても良く、一部は、ベースレイヤのビデオブロックに空間的に部分的にオーバーラップしていても良く、また、一部は、ベースレイヤのビデオブロックに空間的にオーバーラップしていなくても良い。
この開示において、“ビデオブロック(video blocks)”は、ビデオシーケンスの画像フレームのブロックを表すデータのセットを指す。ビデオブロックは、画像フレームのブロックを表すピクセル値又は他のタイプの係数を定義しても良い。さらに、ビデオブロックは、幅広い種類の形状及びサイズを仮定しても良い。例として、ビデオブロックは、H.264/MPEG-4, Part 10, 高度ビデオ符号化(AVC)で定義されるようないわゆる“マクロブロック(macroblocks)”を含んでも良いし、又は、マクロブロックのパーティション若しくはサブパーティションを含んでも良い。
図1の例において、通信チャネル15は、例えば無線周波数(RF)スペクトラム、又は、1又は複数の物理伝送線路、又は、無線媒体若しくは有線媒体の任意の組み合わせのような、任意の無線又は有線の通信媒体を含んでも良い。通信チャネル15は、例えばローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークのような、パケットベースのネットワークの一部を形成していても良い。通信チャネル15は、広く、ソースデバイス2から受信デバイス6へビデオデータを送信するための、任意の適切な通信媒体、又は異なる通信媒体の集まりを表す。
幾つかの態様において、ビデオブロードキャストに関して、この開示において説明される技術は、技術標準TIA−1099(“FLO仕様(FLO Specification)”)として公表された、フォワードリンクオンリー(FLO)エアインタフェース仕様,“Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast”を用いて、地上モバイルマルチメディアマルチキャスト(terrestrial mobile multimedia multicast)(TM3)システムにおけるリアルタイムビデオサービスを配信するためのEnhanced H.264ビデオ符号化に適用されても良い。すなわち、通信チャネル15は、FLO仕様又は同種のものに従うブロードキャスト無線ビデオ情報に対して使用される無線情報チャネルを含んでも良い。
FLO仕様は、FLOエアインタフェースに適している、ビットストリームシンタックス及びセマンティックス並びに復号化プロセスを定義する例を含んでいる。あるいは、ビデオは、例えばDVB−H(ハンドヘルド向けデジタルビデオブロードキャスト(digital video broadcast-handheld))、ISDB−T(地上デジタル統合放送サービス(integrated services digital broadcast - terrestrial))、又はDMB(デジタルメディア放送(digital media broadcast))のような他の標準に従ってブロードキャストされても良い。それゆえ、ソースデバイス2は、携帯無線端末(mobile wireless terminal)、無線ビデオストリーミングサーバ(wireless video streaming server)、又は無線ビデオブロードキャストサーバ(wireless video broadcast server)であっても良い。しかしながら、この開示において説明される技術は、ブロードキャスト、マルチキャスト、又はポイントツーポイントシステムの特定のタイプに限定されない。ブロードキャストの場合は、ソースデバイス2は、ビデオデータの幾つかのチャネルを同時に複数の受信デバイスへブロードキャストしても良い。複数の受信デバイスの各々は、図2に示される受信デバイス6と同様でも良い。デバイス6は、例えば無線通信用に構成された携帯電話機(mobile handset)…例えばセルラー無線電話…のような無線通信デバイスを含んでも良い。
ソースデバイス2は、受信デバイス6への伝送のために、符号化ビデオデータを生成する。また一方、場合によっては、デバイス2,6は、実質的に対称的な方法で動作しても良い。例えば、デバイス2,6の各々が、ビデオ符号化コンポーネント及びビデオ復号化コンポーネントを含んでも良い。それゆえ、システム10は、例えば、ビデオストリーミング、ビデオブロードキャスティング、又はビデオ電話のために、ビデオデバイス2,6間の一方向又は双方向の伝送をサポートしても良い。
ソースデバイス2のビデオソース11は、例えばビデオカメラ、前もってとられたビデオが入っているビデオアーカイブ、又はビデオコンテンツプロバイダから供給されたビデオのような、ビデオキャプチャーデバイスを含んでも良い。無線ブロードキャストネットワークに関して、ビデオソース11は、衛星又はケーブルテレビチャネルを受信し復号化するための機器又は当該データを前処理するための機器を含んでも良い。図1には示されていないが、ブロードキャスティングに関して、ソースデバイス2において複数のチャネルからの符号化ビデオを一つのマルチキャスト内に混合するために、多重化ユニットが使用されても良い。この場合は、複数の符号化ユニットが、異なるコンテンツチャネルのための情報を符号化しても良く、また、その符号化された情報は、変調器/送信機14による変調及び送信に先立って、多重化ユニット(図示せず)により混合されても良い。
更に別の方法としては、ビデオソース11は、ソースビデオとしてのコンピュータグラフィックス・ベースのデータ、又は、ライブビデオとコンピュータ生成ビデオとの合成を生成しても良い。場合によっては、ビデオソース11がビデオカメラならば、ソースデバイス2及び受信デバイス6は、カメラ付き携帯電話(camera phones)又はテレビ電話(video phones)を形成しても良い。いずれの場合にも、キャプチャーされた、プリキャプチャーされた、又はコンピュータ生成されたビデオは、ビデオソースデバイス2からビデオ受信デバイス6の符号化ユニット18への、変調器/送信機14、通信チャネル15及び受信機/復調器16を通した伝送のために、符号化ユニット12により符号化(encoded)されても良い。符号化ユニット12及び18のビデオ符号化プロセス及びビデオ復号化プロセスは、強化レイヤにおけるデータ圧縮及び/又はデータ品質を向上するために、この開示の技術を実施しても良い。ディスプレイ装置20は、復号化されたビデオデータをユーザに表示する。また、ディスプレイ装置20は、例えばブラウン管、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプのディスプレイ装置のような、さまざまなディスプレイ装置のうちの任意のものを含んでも良い。
符号化ユニット12及び8は、空間スケーラビリティーのためのSVCをサポートするように構成されても良い。符号化ユニット12及び18は、一つのベースレイヤ及び一つ又は複数のスケーラブル強化レイヤの符号化(encoding)、伝送(transmission)及び復号化(decoding)をサポートすることにより、さまざまな程度のスケーラビリティーをサポートしても良い。この場合も先と同様に、スケーラブルビデオ符号化に関して、ベースレイヤは、ベースラインレベルの品質でビデオデータを運ぶ。一つ又は複数の強化レイヤは、より高い水準の空間的レベル、時間的レベル及び/又はSNRレベルをサポートするために、追加的なデータを運ぶ。ベースレイヤは、強化レイヤの伝送に比較して、より信頼性のある方法で伝送されても良い。例えば、変調信号のうちで信頼性のより高い部分が、ベースレイヤを送信するために使用されても良く、一方、変調信号のうちで信頼性のより低い部分が、強化レイヤを送信するために使用されても良い。
空間スケーラビリティーのためのSVCをサポートするために、符号化ユニット12は、一つのベースレイヤ及び一つ又は複数の強化レイヤの符号化をそれぞれ実行するための一つのベースレイヤ符号器(encoder)22及び一つ又は複数の強化レイヤ符号器(encoders)24を含んでも良い。完全にオーバーラップするビデオブロックのためのレイヤ間予測を含むこの開示の技術は、SVCにおける強化レイヤのビデオブロックの符号化に適用可能である。この開示に従って、強化レイヤのビデオブロックは、それらがベースレイヤ・ビデオブロックと、完全なオーバーラップを有するか、部分的なオーバーラップを有するか、又はオーバーラップを有しないかに応じて、異なる符号化がなされても良い。
受信デバイス6において、符号化ユニット18は、ベース及び強化レイヤの両方に関係するビデオブロックを復号化する、一体とされたベース/強化復号器(decoder)25を含んでも良い。符号化ユニット18のベース/強化復号器25は、ベース及び強化レイヤの両方に関係するビデオブロックを復号化しても良く、また、ビデオシーケンスのフレームを再構成するために、復号化されたビデオを結合しても良い。ディスプレイ装置20は、復号化されたビデオシーケンスを受信し、また、そのビデオシーケンスをユーザに提示する。
符号化ユニット12及び符号化ユニット18は、例えばMPEG−2、MPEG−4、ITU−T H.263、又はITU−T H.264/MPEG−4, Part 10、高度ビデオ符号化(AVC)のようなビデオ圧縮標準に従って動作しても良い。図2には示されていないが、幾つかの態様において、共通のデータストリーム又は分離したデータストリーム群におけるオーディオ及びビデオの両方の符号化を処理するために、符号化ユニット12及び符号化ユニット18は、それぞれ、オーディオ符号器及びオーディオ復号器と一体化されていても良く、また、適当なMUX−DEMUXユニット、又は他のハードウェア及びソフトウェアを含んでも良い。適用可能な場合には、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又は、例えばユーザデータグラムプロトコル(UDP)のような他のプロトコルに従っても良い。
H.264/MPEG−4(AVC)標準は、ISO/IEC動画専門家グループ(Moving Picture Experts Group)(MPEG)と一緒のITU−Tビデオ符号化専門家グループ(Video Coding Experts Group)(VCEG)によって、共同ビデオチーム(Joint Video Team)(JVT)として知られている集合的なパートナーシップの成果として、策定された。幾つかの態様において、この開示において説明される技術は、一般にH.264標準に従うデバイスに適用されても良い。H.264は、2005年3月にITU−T研究委員会(Study Group)により、ITU−T リコメンデーション H.264, オーディオビジュアルサービス全般のための高度ビデオ符号化(ITU-T Recommendation H.264, Advanced Video Coding for generic audiovisual services)において記述されている。本明細書において、それは、H.264標準(standard)若しくはH.264仕様(specification)、又はH.264/AVC標準若しくは仕様と呼ばれることもある。
JVTは、H.264/MPEG−4 AVCへのSVC拡張に取り組み続けている。進展するSVC拡張(evolving SVC extension)の仕様は、共同ドラフト(Joint Draft)(JD)の形をとっている。JVTにより作り出されたジョイントスケーラブルビデオモデル(Joint Scalable Video Model)(JSVM)は、スケーラブルビデオで用いるツールを提供する。それは、この開示において説明される各種の符号化タスクのために、システム10の内部で使用されても良い。
符号化ユニット12及び符号化ユニット18それぞれは、一つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、個別論理(discrete logic)、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装されても良い。符号化ユニット12及び符号化ユニット18の各々は、一つ又は複数の符号器又は復号器に含まれていても良く、また、それらのいずれも、個別の(respective)モバイルデバイス(mobile device)、加入者デバイス(subscriber device)、ブロードキャストデバイス、サーバ、又は同種のものにおける結合された符号器/復号器(encoder/decoder)(CODEC)の一部として統合されていても良い。加えて、ソースデバイス2及び受信デバイス6それぞれは、符号化されたビデオを送信及び受信するための、適当な変調コンポーネント、復調コンポーネント、周波数変換コンポーネント、フィルタリングコンポーネント、及び増幅コンポーネントを含んでも良く、適用できる場合には、無線通信をサポートするのに十分な、無線周波数(RF)の無線コンポーネント及びアンテナを含む。しかしながら、説明を簡略化するために、当該コンポーネントは、図2における、ソースデバイス2の変調器/送信機14及び受信デバイス6の受信機/復調器16であるものとして集約される。
ビデオシーケンスは、ビデオフレームのシリーズを含む。符号化ユニット12は、ビデオデータを符号化するために、個々のビデオフレーム内のピクセルのブロック(または、係数のブロック)を操作する。ビデオブロックは、サイズが固定でも可変でも良く、また、特定の符号化標準に従ってサイズが異なっても良い。ある場合には、各々のビデオフレームは、符号化されたユニットであり、一方、他の場合には、各々のビデオフレームは、符号化されたユニットを形成するスライスのシリーズに分割されたものであっても良い。各々のスライスは、マクロブロックのシリーズを含んでも良い。マクロブロックは、サブブロック(パーティション及びサブパーティション)に配列されても良い。例えば、ITU−T H.264標準は、例えば輝度成分のための、16行16列、16行8列、8行16列、8行8列、8行4列、4行8列及び4行4列、並びに色度成分のための対応する基準化されたサイズのような、種々のブロックサイズにおけるインター予測(inter prediction)だけでなく、例えば輝度成分のための、16行16列、8行8列、又は4行4列、並びに色度成分のための8行8列のような種々のブロックサイズにおけるイントラ予測(intra prediction)もサポートする。
より小さいビデオブロックは、より良い分解能を提供することができ、また、より高い水準の細部を含むビデオフレームの配置に用いられても良い。一般に、マクロブロック(MB)及び各種のサブブロックは、ビデオブロックであると考えられても良い。加えて、スライスは、例えばMB及び/又はサブブロックのようなビデオブロックのシリーズあると考えられても良い。言及されるように、各々のスライスは、独立して復号化可能なビデオフレームのユニットであっても良い。
ベースレイヤ符号器22は、ベースレイヤのビデオブロックを符号化するために、標準的なイントラベース又はインターベースの予測符号化を実行しても良い。イントラベースの予測符号化は、空間予測を用いる符号化を指す。この場合は、符号化されているフレームのビデオブロックは、そのフレームの他のビデオブロックと比べられる。残差情報は、イントラベースの予測符号化プロセスにおいて識別される予測ビデオブロックから、符号化されるべき現在のビデオブロックを減じることによって、生成される。
インターベースの予測符号化は、時間予測を用いる符号化を指す。特に、インターベースの予測符号化は、動き推定又は動き補償と呼ばれるプロセスを用いても良い。この場合は、ベースレイヤ符号器22は、動きベクトルを生成するために、動き推定を実行する。動きベクトルは、1又は複数の参照フレーム中の対応する予測ビデオブロックに関連する、符号化されているビデオブロックの移動を示す。そして、ベースレイヤ符号器22は、動き補償を実行する。動き補償は、参照フレームから予測ビデオブロックを識別するために、動きベクトルを利用する。動き補償の後、ベースレイヤ符号器22は、符号化されるビデオブロックから予測ビデオブロックを減じることによって、残差ビデオブロックを形成する。イントラベース及びインターベースの符号化の両方について、ベースレイヤ符号器22は、残差ブロックの通信に関係するビットレートを更に削減するために、変換、量子化及びエントロピー符号化の処理を適用しても良い。
強化レイヤ符号器24は、空間スケーラビリティーを提供するために、強化レイヤのビデオブロックの符号化を実行しても良い。強化レイヤ符号器24は、各種のビデオブロックのイントラベース又はインターベース符号化をサポートしても良い。加えて、強化レイヤ符号器24は、強化レイヤのビデオブロッの一部のためのレイヤ間予測符号化をサポートしても良い。ある場合には、レイヤ間予測符号化は、イントラベースの時間符号化及びインターベースの空間符号化に本質的に類似している。しかしながら、レイヤ間予測符号化において、強化レイヤ・ビデオブロックを符号化するために用いられる予測ブロックは、与えられたフレームに対する対応するベースレイヤ中に位置する。それゆえ、強化レイヤ符号器24は、ベースレイヤ中の予測ビデオブロックを識別するために、強化レイヤのビデオブロックを、対応するベースレイヤのビデオブロックと比べても良い。レイヤ間ベクトルは、予測ビデオブロックを識別するために用いられても良い。残差情報は、レイヤ間予測符号化プロセスの間、ベースレイヤ中で識別される予測ビデオブロックから、符号化されるビデオブロックを減じることによって、生成される。
代わりに、予測ビデオブロックからのテクスチャー及び動きデータを、符号化されているビデオブロックに割り当てることによって、レイヤ間予測が、ベースレイヤの予測ビデオブロックの識別及びベースレイヤの対応するビデオブロックの符号化をもたらしても良い。この代わりのシナリオにおいて、強化レイヤ・ビデオブロックは、残差差分を生成することなしに、ベースレイヤのオーバーラップする予測ビデオブロックの値を、継ぐ(assumes)又は承継する(inherits)。
復号化側に関して、符号化ユニット18のベース/強化復号器25は、ベースレイヤ・ビデオブロック及び強化レイヤ・ビデオブロックのために逆の復号化機能を実行する。それゆえ、符号化ユニット18は、イントラベースの空間予測符号化、インターベースの時間予測符号化、及びレイヤ間ベースの予測符号化をサポートしても良い。以下でより詳しく述べられるように、符号化ユニット12の強化レイヤ符号器24及び符号化ユニット18のベース/強化復号器25はまた、強化レイヤの部分的にオーバーラップするビデオブロックのオーバーラップしない部分を扱うために、例えばパディング、ミラーリング又は補間のような補助的な符号化技術をサポートしても良い。この場合には、部分的にオーバーラップするビデオブロックのオーバーラップする部分は、レイヤ間予測を用いて符号化されても良く、また、オーバーラップしない部分は、それら補助的な符号化技術を用いて符号化されても良い。次の説明は、一般に、符号化プロセス中に例えば符号器により実行される符号化を中心に取り上げる。しかしながら、類似する逆の復号化プロセスが復号器により実行されても良いことは理解される。この開示において、用語“符号化(coding)”は、一般に、符号化(encoding)、復号化(decoding)、又は符号化と復号化との両方を実行するプロセスを指す。
図2は、空間スケーラビリティーをサポートするスケーラブルビデオ符号化(SVC)スキームのベースレイヤ17と強化レイヤ19との間の例示的な関係を説明する概念図である。空間スケーラビリティー(時々、拡張された空間スケーラビリティー(extended spatial scalability)又は“ESS”と呼ばれる)は、連続する空間レイヤの間の一般化された関係を可能にする。下位の空間レイヤのピクチャーは、より高い解像度のピクチャーのクロッピングされた(cropped)領域を表しても良く、また、連続する空間レイヤの間の関係は、ダイアディック(dyadic)である必要はない。クロッピングウィンドウ(cropping window)及びダウンサンプリング比を定義する幾何学的なパラメータは、シーケンスレベルで定義されるか、または、ピクチャーレベルで展開されるかのいずれかが可能である。
ESSは、二つのツールを含んでも良い。第1のツールは、クロッピングツールを含んでも良い。第2は、任意の水平及び垂直レイヤ間サイズ比を適用できる一般的なアップサンプリングツールを含んでも良い。表1における次の組み合わせを考慮することが可能であり、また、異なる組み合わせは、シンタックスエレメントextended_spatial_scalabilityの異なる値に対応する。
Figure 0005108026
再度、図2を参照して、各種の幾何学的な関係により関連付けられた二つの連続する空間レイヤ…下位のレイヤ(ベースレイヤ19)及び上位のレイヤ(強化レイヤ17)…を考える。強化レイヤのピクチャーの幅及び高さは、それぞれ、wenh及びhenhとして定義できる。ベースレイヤのピクチャーのディメンションは、wbase及びhbaseとして定義できる。ベースレイヤのピクチャーは、サブサンプリングされたバージョンのピクチャーのディメンションwextract及びhextractを含んでも良い。ベースレイヤのピクチャーは、強化レイヤのピクチャー内部の一部分又は全体であっても良く、また、強化レイヤのピクチャーの座標システムにおける座標(xorig,yorig)に位置していても良い。
図2において、強化のピクチャー及びベースレイヤのピクチャーは、マクロブロックに分割される。値wextract/wbase及び値hextract/hbaseは、ベースレイヤのピクチャーと強化レイヤ中の抽出ピクチャーとの間のアップサンプリング・ファクターに対応する。パラメータ(xorig,yorig,wextract,hextract)は、上位レイヤピクチャーと下位レイヤピクチャーとの間の幾何学的な関係を完全に定義しても良い。標準的な動的スケーラブル・コンフィグレーション(例えば、ここで、extended_spatial_scalability = 0)において、パラメータ(xorig,yorig,wextract,hextract)は、それぞれ、(0,0,2*wbase,2*hbase)に等しくても良い。このフレームワークは、強化レイヤのそれぞれのビデオブロックが、ベースレイヤのビデオブロックと、完全にオーバーラップするか、部分的にオーバーラップするか、又はオーバーラップしないかを判定するために用いられても良い。以下でより詳しく説明されるように、これら異なるシナリオは、この開示に合致するいろいろなタイプの符号化技術をもたらしても良い。
図3は、ベースレイヤ31のビデオブロックと、ベースレイヤのビデオブロックに、完全にオーバーラップする、部分的にオーバーラップする又はオーバーラップしない、強化レイヤ32の異なるビデオブロックとを説明する概念図である。具体的には、強化レイヤ32のビデオブロック35は、ベースレイヤ31のビデオブロックと完全にオーバーラップする。強化レイヤ32のビデオブロック36は、ベースレイヤ31のビデオブロックと部分的にオーバーラップし、また、オーバーラップする部分38及びオーバーラップしない部分39を定義する。強化レイヤ32のビデオブロック37は、ベースレイヤ31のビデオブロックとオーバーラップしない。
この開示によると、強化レイヤ32の幾つかのビデオブロックは、レイヤ内予測(intra-layer prediction)を用いて符号化されても良く、一方、強化レイヤ32の他のビデオブロックは、空間又は時間予測を用いて符号化されても良い。具体的には、(例えばビデオブロック37のような)オーバーラップしないビデオブロックは、空間又は時間予測を用いて符号化され、(例えばビデオブロック35のような)オーバーラップするビデオブロックは、レイヤ間予測を用いて符号化される。(例えばビデオブロック36のような)部分的にオーバーラップするビデオブロックの一部又は全部は、レイヤ間予測を用いて符号化されても良い。しかしながら、レイヤ間予測を用いて符号化される、任意の部分的にオーバーラップするビデオブロックに関して、そのレイヤ間予測は、(例えば部分38のような)オーバーラップする部分を符号化するために用いられても良い。部分的にオーバーラップするブロックの(例えば部分39のような)オーバーラップしない部分は、例えばパディング、ミラーリング又は補間のような補助的な符号化技術を用いて符号化されても良い。
部分的にオーバーラップするブロック36は、実際には、相対的にプアな(poor)、レイヤ内予測のための候補である。これは、オーバーラップしない部分39は、オーバーラップする部分38に比較して非常に大きいという事実に起因する。この開示の幾つかの態様において、部分的にオーバーラップするビデオブロックは、その部分的にオーバーラップするビデオブロックの各々について、オーバーラップのレベルを判定するために解析されても良い。そして、部分的にオーバーラップするビデオブロックの一部は、その部分的にオーバーラップするビデオブロックの各々について判定されたオーバーラップのレベルに基づいて、レイヤ間予測のための良好な候補であるものとして定義されても良い。閾値は、例えば、部分的にオーバーラップするビデオブロックのセットから、レイヤ間予測のための良好な候補をレイヤ間予測のための不良な候補から区別するために、定義されても良い。一例として、50%を超えるオーバーラップ(すなわち、過半数のオーバーラップ)を有するビデオブロックが、レイヤ間予測のための良好な候補として定義されても良い。それゆえ、インター符号化は良好な候補に適用されても良く、一方、不良な候補は、例えば空間又は時間予測符号化技術のような他の技術を用いて符号化されても良い。
図4Aは、ベースレイヤ31のビデオブロックと、完全にオーバーラップする強化レイヤのビデオブロックを識別するためにシェーディングを有する強化レイヤ32のビデオブロックとを説明する概念図である。図4Bは、ベースレイヤ31のビデオブロックと、部分的にオーバーラップする強化レイヤのビデオブロックを識別するためにシェーディングを有する強化レイヤ32のビデオブロックとを説明する概念図である。図4Cは、ベースレイヤ31のビデオブロックと、ベースレイヤのそれらとオーバーラップしない強化レイヤのビデオブロックを識別するためにシェーディングを有する強化レイヤ32のビデオブロックとを説明する概念図である。
さて、図1及び図4A〜4C参照して、符号化ユニット12のベースレイヤ符号器22は、SVCスキームのベースレイヤ31中に定義された第1のビデオブロックを符号化する。符号化ユニット12の強化レイヤ符号器24は、SVCスキームの強化レイヤ32中に定義された第2のビデオブロックを符号化する。ここで、第2のビデオブロックは、第1のビデオブロックに関連する空間スケーラビリティーの強化を提供する。具体的には、符号化ユニット12の強化レイヤ符号器24は、第1のビデオブロックと完全にオーバーラップする第2のビデオブロックの第1の部分(例えば、図4A中でシェーディングされたそれら)について、ベースレイヤ31に関連する強化レイヤ32に対するレイヤ間予測を実行しても良い。加えて、符号化ユニット12の強化レイヤ符号器24は、第1のビデオブロックと部分的にオーバーラップする第2のビデオブロックの第2の部分(例えば、図4B中でシェーディングされたそれらの一部又は全部)について、ベースレイヤ31に関連する強化レイヤ32に対するレイヤ間予測を実行しても良い。ある場合には、符号化ユニット12の強化レイヤ符号器24は、第1のビデオブロックとオーバーラップしない第2のビデオブロックの第3の部分(例えば、図4C中でシェーディングされたそれら)について、空間又は時間予測を実行しても良い。ここで、その空間又は時間予測は、レイヤ間予測を含まない。
第1のビデオブロックと部分的にオーバーラップする第2のビデオブロックの第2の部分(例えば、図4B中でシェーディングされたそれらの一部又は全部)について、強化レイヤ符号器24は、その第2のビデオブロックの第2の部分のオーバーラップする部分を符号化するために、レイヤ間予測を実行しても良く、また、その第2のビデオブロックの第2の部分のオーバーラップしない部分を符号化するために、補助的な符号化技術を実行しても良い。これら補助的な技術は、パディング、ミラーリング又は補間を含んでも良いが、必ずしもこれらに限定されない。
部分的にオーバーラップするビデオブロックのオーバーラップしない部分にパディング技術が適用される場合には、強化レイヤ符号器24は、そのオーバーラップしない部分のピクセルについて、ベースレイヤのオーバーラップする部分から得られるパディングピクセルを挿入しても良い。部分的にオーバーラップするビデオブロックのオーバーラップしない部分にミラーリング技術が適用される場合には、強化レイヤ符号器24は、そのビデオブロックの近隣のレイヤ間符号化された(inter-layer coded)部分をミラーする、そのオーバーラップしない部分のためのピクセル値を作成しても良い(あるいは、場合により、そのオーバーラップする部分におけるベースレイヤのピクセルに基づいて、ピクセル値を作成しても良い)。部分的にオーバーラップするビデオブロックのオーバーラップしない部分に補間技術が適用される場合には、強化レイヤ符号器24は、そのビデオブロックの近隣のレイヤ間符号化された部分から、そのオーバーラップしない部分のための値を補間しても良い(あるいは、場合により、そのオーバーラップする部分におけるベースレイヤのピクセルに基づいて、補間しても良い)。
これらの方法において、そのオーバーラップする部分のためにレイヤ間符号化(inter-layer coding)を用いる能力は、補助的な符号化技術を通して、オーバーラップしない部分を処理することによって、維持されても良い。補助的な符号化技術は、より低い品質を提供しても良いが、オーバーラップする部分のレイヤ間符号化に関係する品質の拡張及びビットの節約は、全体的な品質及び/又は圧縮の向上をもたらし得る。
さらに、ある場合には、部分的にオーバーラップするビデオブロックのためのレイヤ間符号化は、その部分的にオーバーラップするビデオブロックがその技術を価値のあるものにするのに十分なオーバーラップを有するときのみ実行される。この場合において、第1のビデオブロックと部分的にオーバーラップする第2のビデオブロックの第2の部分は、強化レイヤの部分的にオーバーラップするビデオブロックの一部(例えば、図4Bに示されるシェーディングされたビデオブロックの一部)を含んでも良い。強化レイヤ符号器24は、部分的にオーバーラップするビデオブロック(図4B中でシェーディングされたそれら)の各々について、オーバーラップのレベルを判定しても良く、また、その部分的にオーバーラップするビデオブロックの各々について判定されたオーバーラップのレベルに基づいて、第2のビデオブロックの第2の部分を定義しても良い。図4Bの部分的にオーバーラップするビデオブロック41は、ビデオブロック41のオーバーラップする部分がビデオブロック42のそれより非常に大きい範囲で、部分的にオーバーラップするビデオブロック42よりもレイヤ間符号化に適していても良い。
オーバーラップの不十分なレベルのために、レイヤ間予測を通して符号化されない、部分的にオーバーラップするビデオブロックのいずれについても、強化レイヤ符号器24は、空間又は時間予測を実行しても良い。ここで、その空間又は時間予測は、レイヤ間予測を含まない。それゆえ、ビデオブロック42は、空間又は時間予測を用いて符号化されても良く、また、ビデオブロック41は、オーバーラップする部分のためのレイヤ間予測及びオーバーラップしない部分のための補助的な符号化を用いて符号化されても良い。
図5は、この開示に合致する技術を説明するフローチャートである。図5に示されるように、符号化ユニット12のベースレイヤ符号器22は、ベースレイヤ・ビデオブロックを符号化し(101)、また、強化レイヤ符号器24は、そのベースレイヤに関連する強化レイヤ中の空間スケーラビリティーを得るために、強化レイヤ・ビデオブロックを符号化する(102)。ベースレイヤ・ビデオブロックは、標準的な空間又は時間予測技術を用いて符号化されても良い。図5において、ステップ103〜110(以下で述べられる)は、ステップ102のサブステップと考えられても良い。
強化レイヤ・ビデオブロックを符号化するために、各々のビデオブロックが、ベースレイヤ・ビデオブロックと完全にオーバーラップするか、部分的にオーバーラップするか、又はオーバーラップしないかを判定しても良い(103)。もし、強化レイヤ・ビデオブロックが、ベースレイヤ・ビデオブロックと完全にオーバーラップするならば(104)、強化レイヤ符号器24は、レイヤ間予測を用いて、ビデオブロックを符号化する(107)。もし、強化レイヤ・ビデオブロックが、ベースレイヤ・ビデオブロックとオーバーラップしないならば(106)、強化レイヤ符号器24は、レイヤ間予測を用いないで、ビデオブロックを符号化する(107)。この場合において、空間又は時間予測符号化が用いられても良い。
もし、強化レイヤ・ビデオブロックが、ベースレイヤ・ビデオブロックと完全にオーバーラップするならば(105)、強化レイヤ符号器24は、そのオーバーラップのレベルが、予め定義された閾値よりも大きいかどうか判定する(108)。もし、そのオーバーラップのレベルが、その定義された閾値以下ならば(108のNOの分岐)、強化レイヤ符号器24は、レイヤ間予測を用いないで、ビデオブロックを符号化する(107)。この場合において、強化レイヤ・ビデオブロックは、レイヤ間符号化のための不良な候補として考えられても良い。もし、そのオーバーラップのレベルが、その定義された閾値より大きいならば(108のYESの分岐)、強化レイヤ符号器24は、レイヤ間予測を用いて、部分的にオーバーラップする強化レイヤ・ビデオブロックのオーバーラップする部分を符号化する(110)。この場合において、強化レイヤ・ビデオブロックは、レイヤ間符号化のための良好な候補として考えられても良い。強化レイヤ符号器24は、パディング、ミラーリング又は補間を用いて、オーバーラップしない部分を符号化する(111)。
他の例として、この開示に従うSVCのための方法は、ベースレイヤ・ビデオブロックと空間的に部分的にオーバーラップする強化レイヤ・ビデオブロックを識別することと、ベースレイヤ・ビデオブロックに関連する識別された強化レイヤ・ビデオブロックの少なくとも一部の部分をインター符号化することを含んでも良い。この場合には、強化レイヤ符号器24は、ベースレイヤ31のビデオブロックと部分的にオーバーラップする、(例えばブロック36のような)強化レイヤ32のビデオブロックを識別しても良い。そして、強化レイヤ符号器24は、(例えばブロック36のオーバーラップする部分38のような)識別された強化レイヤ32のビデオブロックの少なくとも一部又は全部の部分を符号化しても良い。
本明細書で説明される技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実装されても良い。モジュール又はコンポーネントとして説明された任意の特徴は、集積論理素子と一緒に、又は、分離しているが相互利用可能な論理素子として独立して、実行されても良い。ソフトウェアにより実装される場合には、該技術は、少なくとも一部分において、実行されるときに上述の方法の一つ又は複数を実行するインストラクションを含むコンピュータ読み取り可能な媒体により実現されても良い。コンピュータ読み取り可能な媒体は、コンピュータプログラム製品の一部を形成しても良い。コンピュータプログラム製品は、包装材料を含んでも良い。コンピュータ読み取り可能な媒体は、例えば、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラマブルリードオンリーメモリ(electrically erasable programmable read only memory)(EEPROM)、FLASHメモリ、磁気又は光データ記憶媒体(magnetic or optical data storage media)、及び同類のもののような、ランダムアクセスメモリ(RAM)を含んでも良い。加えて又は代わりに、該技術は、少なくとも一部において、インストラクション又はデータ構造の形でコードを運び又は通信し、且つ、コンピュータによりアクセス、リード及び/又は実行されることの可能な、コンピュータ読み取り可能な通信媒体を形成しても良い。
該コードは、例えば、1又は複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向けIC(ASIC)、フィールド・プログラマブル・ロジック・アレイ(field programmable logic arrays)(FPGA)、又は他の同等の集積された若しくは分離した論理回路のような、1又は複数のプロセッサにより実行されても良い。したがって、本明細書で用いられる用語“プロセッサ(processor)”は、上述の構造の任意のもの又は本明細書で説明される技術の実装に適した任意の他の構造を指すことができる。加えて、幾つかの態様では、本明細書で説明される機能性は、符号化及び復号化のために構成された専用のソフトウェアモジュール若しくはハードウェアモジュールの内部に、又は結合されたビデオ符号器−復号器(encoder-decoder)(CODEC)に組み込まれて、提供されても良い。
ハードウェアにより実装される場合には、この開示は、例えば、集積回路、チップセット、特定用途向けIC(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、ロジック、又は、本明細書で説明される技術の1又は複数を実行するように構成された、それらの各種の組み合わせ、のような回路を対象とされても良い。
本発明のさまざまな実施形態が説明された。これら及び他の実施形態は、次のクレームの範囲内である
以下に、本願出願の当初の特許請求の範囲に記載された各請求項に対応する発明を付記する。
[1]スケーラブルビデオ符号化(SVC)スキームにおける情報を符号化する方法において、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)することと、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化することを含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、前記第2のビデオブロックを符号化することは、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することと、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することを含むことを特徴とする方法。
[2]前記第2のビデオブロックを符号化することは、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行することを含み、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[1]に記載の方法。
[3]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行することと、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、パディング技術を実行することを更に含むことを特徴とする[1]に記載の方法。
[4]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行することと、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、ミラーリング技術を実行することを更に含むことを特徴とする[1]に記載の方法。
[5]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行することと、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、補間技術を実行することを更に含むことを特徴とする[1]に記載の方法。
[6]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、前記方法は、前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定することと、前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義することを更に含むことを特徴とする[1]に記載の方法。
[7]前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して符号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、空間又は時間予測を実行することを更に含み、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[6]に記載の方法。
[8]符号化(coding)することは、符号化すること(encoding)又は復号化すること(decoding)のいずれかを含むことを特徴とする[1]に記載の方法。
[9]スケーラブルビデオ符号化(SVC)スキームに従って情報を符号化する装置において、前記装置は、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)し、及び、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化する符号化ユニット(coding unit)を含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、前記第2のビデオブロックに関して、前記符号化ユニットは、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行し、及び、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することを特徴とする装置。
[10]前記第2のビデオブロックに関して、前記符号化ユニットは、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行することを含み、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[9]に記載の装置。
[11]前記符号化ユニットは、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行し、及び、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、パディング技術を実行することを特徴とする[9]に記載の装置。
[12]前記符号化ユニットは、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行し、及び、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、ミラーリング技術を実行することを特徴とする[9]に記載の装置。
[13]前記符号化ユニットは、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行し、及び、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、補間技術を実行することを特徴とする[9]に記載の装置。
[14]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、前記符号化ユニットは、前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定し、及び、前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義することを特徴とする[9]に記載の装置。
[15]前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して符号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、前記符号化ユニットは、空間又は時間予測を実行することを更に含み、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[14]に記載の装置。
[16]符号化ユニット(coding unit)は、符号化ユニット(encoding unit)又は復号化ユニット(decoding unit)のいずれかを含むことを特徴とする[9]に記載の装置。
[17]前記装置は、回路及び無線通信デバイスのうちの少なくとも一つを含むことを特徴とする[9]に記載の装置。
[18]ビデオ符号化装置において実行されたときに、該装置に、スケーラブルビデオ符号化(SVC)スキームにおける情報を符号化させる(code)インストラクションを含む、コンピュータ読み取り可能な媒体において、前記インストラクションは、前記装置に、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)させ、及び、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化させるものであり、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、前記第2のビデオブロックに関して、前記インストラクションは、前記装置に、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行させ、及び、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行させるものであることを特徴とするコンピュータ読み取り可能な媒体。
[19]前記第2のビデオブロックに関して、前記インストラクションは、前記装置に、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行させるものであり、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[18]に記載のコンピュータ読み取り可能な媒体。
[20]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記インストラクションは、前記装置に、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行させ、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、パディング技術を実行させることを特徴とする[18]に記載のコンピュータ読み取り可能な媒体。
[21]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記インストラクションは、前記装置に、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行させ、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、ミラーリング技術を実行させることを特徴とする[18]に記載のコンピュータ読み取り可能な媒体。
[22]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットについて、前記インストラクションは、前記装置に、前記第2のビデオブロックの前記第2のサブセットのオーバーラップする部分を符号化するために、レイヤ間予測を実行させ、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を符号化するために、補間技術を実行させることを特徴とする[18]に記載のコンピュータ読み取り可能な媒体。
[23]前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、前記インストラクションは、前記装置に、前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定させ、前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義させ、前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して符号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、前記インストラクションは、前記装置に、空間又は時間予測を実行させ、前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする[18]に記載のコンピュータ読み取り可能な媒体。
[24]スケーラブルビデオ符号化(SVC)スキームにおける情報を符号化する装置において、前記装置は、前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを符号化(coding)するための手段と、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを符号化するための手段とを含み、前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、前記第2のビデオブロックを符号化するための手段は、前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行するための手段と、前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの第2のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行するための手段とを含むことを特徴とする装置。
[25]スケーラブルビデオ符号化(SVC)のための方法において、ベースレイヤ・ビデオブロックに部分的にオーバーラップする拡張レイヤ・ビデオブロックを識別することと、ベースレイヤ・ビデオブロックに関係する前記識別された拡張レイヤ・ビデオブロックのうちの少なくとも一部又は全部の部分をインター符号化することを含むことを特徴とする方法。

Claims (25)

  1. スケーラブルビデオ符号化(SVC)スキームにおける情報を号化する方法において、
    前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを化することと、
    前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを号化することを含み、
    前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、
    前記第2のビデオブロックを号化することは、
    前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行することと
    記第2のビデオブロックの第2のサブセットのオーバーラップする部分を復号化するためにレイヤ間予測することを実行することと、ここで、該第2のビデオブロックの該第2のサブセットは、前記第1のビデオブロックに部分的にオーバーラップする、
    前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を復号化するために補助的な復号化技術を実行することを含むことを特徴とする方法。
  2. 前記第2のビデオブロックを号化することは、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行することを含み、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項1に記載の方法。
  3. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、パディング技術を含むことを特徴とする請求項1に記載の方法。
  4. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、ミラーリング技術含むことを特徴とする請求項1に記載の方法。
  5. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、補間技術を含むことを特徴とする請求項1に記載の方法。
  6. 前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、
    前記方法は、
    前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定することと、
    前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義することを更に含むことを特徴とする請求項1に記載の方法。
  7. 前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、空間又は時間予測を実行することを更に含み、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項6に記載の方法。
  8. 前記復号化する方法は、符号化すること及び復号化することの両方を実行するプロセスの一部として実行されることを特徴とする請求項1に記載の方法。
  9. スケーラブルビデオ符号化(SVC)スキームに従って情報を号化する装置において、
    前記装置は、
    前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを化し、及び、前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを号化する号化ユニットを含み、
    前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、
    前記第2のビデオブロックに関して、前記号化ユニットは、
    前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行し
    記第2のビデオブロックの第2のサブセットのオーバーラップする部分を復号化するためにレイヤ間予測することを実行し、ここで、該第2のビデオブロックの該第2のサブセットは、前記第1のビデオブロックに部分的にオーバーラップする、及び、
    前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を復号化するために補助的な復号化技術を実行することを特徴とする装置。
  10. 前記第2のビデオブロックに関して、前記号化ユニットは、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行することを含み、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項9に記載の装置。
  11. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、パディング技術を含むことを特徴とする請求項9に記載の装置。
  12. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、ミラーリング技術を含むことを特徴とする請求項9に記載の装置。
  13. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、補間技術を含むことを特徴とする請求項9に記載の装置。
  14. 前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、
    前記号化ユニットは、
    前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定し、及び、
    前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義することを特徴とする請求項9に記載の装置。
  15. 前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、前記号化ユニットは、空間又は時間予測を実行することを更に含み、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項14に記載の装置。
  16. 前記復号化ユニットは、符号化及び復号化の両方を実行するプロセスの一部として復号化を実行することを特徴とする請求項9に記載の装置。
  17. 前記装置は、無線通信デバイスを含むことを特徴とする請求項9に記載の装置。
  18. ビデオ号化装置において実行されたときに、該装置に、スケーラブルビデオ符号化(SVC)スキームにおける情報を号化させるインストラクションを含む、コンピュータ読み取り可能な媒体において、
    前記インストラクションは、前記装置に、
    前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを化させ、及び、
    前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを号化させるものであり、
    前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、
    前記第2のビデオブロックに関して、前記インストラクションは、前記装置に、
    前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行させ
    記第2のビデオブロックの第2のサブセットのオーバーラップする部分を復号化するためにレイヤ間予測することを実行させ、ここで、該第2のビデオブロックの該第2のサブセットは、前記第1のビデオブロックに部分的にオーバーラップする、及び
    前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を復号化するために補助的な復号化技術を実行させるものであることを特徴とするコンピュータ読み取り可能な媒体。
  19. 前記第2のビデオブロックに関して、前記インストラクションは、前記装置に、前記第1のビデオブロックにオーバーラップしない前記第2のビデオブロックの第3のサブセットについて空間又は時間予測を実行させるものであり、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項18に記載のコンピュータ読み取り可能な媒体。
  20. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、パディング技術を含むことを特徴とする請求項18に記載のコンピュータ読み取り可能な媒体。
  21. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、ミラーリング技術を含むことを特徴とする請求項18に記載のコンピュータ読み取り可能な媒体。
  22. 前記補助的な復号化技術は、前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を号化するために、補間技術を含むことを特徴とする請求項18に記載のコンピュータ読み取り可能な媒体。
  23. 前記第1のビデオブロックに部分的にオーバーラップする前記第2のビデオブロックの前記第2のサブセットは、前記拡張レイヤの部分的にオーバーラップするビデオブロックのサブセットを含み、
    前記インストラクションは、前記装置に、
    前記部分的にオーバーラップするビデオブロックの各々についてオーバーラップのレベルを決定させ、
    前記部分的にオーバーラップするビデオブロックの各々について前記決定されたオーバーラップのレベルに基づいて、前記第2のビデオブロックの前記第2のサブセットを定義させ、
    前記第2のサブセットにおいて定義されず且つオーバーラップの不十分なレベルのためにレイヤ間予測を通して号化されない、前記部分的にオーバーラップするビデオブロックのいずれについても、前記インストラクションは、前記装置に、空間又は時間予測を実行させ、
    前記空間又は時間予測は、レイヤ間予測を含まないことを特徴とする請求項18に記載のコンピュータ読み取り可能な媒体。
  24. スケーラブルビデオ符号化(SVC)スキームにおける情報を号化する装置において、
    前記装置は、
    前記SVCスキームのベースレイヤにおいて定義された第1のビデオブロックを化するための手段と、
    前記SVCスキームの拡張レイヤにおいて定義された第2のビデオブロックを号化するための手段とを含み、
    前記第2のビデオブロックは、第1のビデオブロックに関係する空間スケーラビリティー拡張を提供するものであり、
    前記第2のビデオブロックを号化するための手段は、
    前記第1のビデオブロックに完全にオーバーラップする前記第2のビデオブロックの第1のサブセットについて前記ベースレイヤに関係する前記拡張レイヤをレイヤ間予測することを実行するための手段と
    記第2のビデオブロックの第2のサブセットのオーバーラップする部分を復号化するためにレイヤ間予測することを実行するための手段と、ここで、該第2のビデオブロックの該第2のサブセットは、前記第1のビデオブロックに部分的にオーバーラップする、
    前記第2のビデオブロックの前記第2のサブセットのオーバーラップしない部分を復号化するために補助的な復号化技術を実行するための手段とを含むことを特徴とする装置。
  25. スケーラブルビデオ符号化(SVC)のための方法において、
    ベースレイヤ・ビデオブロックに部分的にオーバーラップする拡張レイヤ・ビデオブロックを識別することと、
    ベースレイヤ・ビデオブロックに関係する前記識別された拡張レイヤ・ビデオブロックのうちの少なくとも一部又は全部の部分をレイヤ間復号化することと、
    前記識別された拡張レイヤ・ビデオブロックのオーバーラップしない部分を復号化するために補助的な復号化技術を実行することを含むことを特徴とする方法。
JP2009545628A 2007-01-08 2008-01-07 空間スケーラビリティーのための拡張されたレイヤ間符号化 Expired - Fee Related JP5108026B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US88388107P 2007-01-08 2007-01-08
US60/883,881 2007-01-08
US11/958,692 US8548056B2 (en) 2007-01-08 2007-12-18 Extended inter-layer coding for spatial scability
US11/958,692 2007-12-18
PCT/US2008/050452 WO2008086324A1 (en) 2007-01-08 2008-01-07 Extended inter-layer coding for spatial scability

Publications (2)

Publication Number Publication Date
JP2010516194A JP2010516194A (ja) 2010-05-13
JP5108026B2 true JP5108026B2 (ja) 2012-12-26

Family

ID=39594239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009545628A Expired - Fee Related JP5108026B2 (ja) 2007-01-08 2008-01-07 空間スケーラビリティーのための拡張されたレイヤ間符号化

Country Status (10)

Country Link
US (1) US8548056B2 (ja)
EP (1) EP2116060B1 (ja)
JP (1) JP5108026B2 (ja)
KR (1) KR101067305B1 (ja)
CN (1) CN101584217B (ja)
BR (1) BRPI0806523A2 (ja)
CA (1) CA2673887A1 (ja)
RU (1) RU2009130392A (ja)
TW (1) TW200838320A (ja)
WO (1) WO2008086324A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144997B1 (en) 2006-12-21 2012-03-27 Marvell International Ltd. Method for enhanced image decoding
US8306153B2 (en) * 2009-09-21 2012-11-06 Techwell Llc Method and system for tracking phase in a receiver for 8VSB
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法
EP2497273A4 (en) * 2009-11-05 2016-07-27 Ericsson Telefon Ab L M PREDICTING PIXELS IN PICTURE CODING
EP2553927B1 (fr) * 2010-03-31 2018-11-28 Orange Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en oeuvre une prediction par compensation de mouvement avant, et programme d'ordinateur correspondant
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
US9693110B2 (en) 2010-06-03 2017-06-27 Cox Communications, Inc Dynamic content stream management
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US10033485B2 (en) 2010-08-25 2018-07-24 Qualcomm Incorporated Managing acknowledgement messages from multiple destinations for multi user MIMO transmissions
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9866877B2 (en) * 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
GB2505643B (en) * 2012-08-30 2016-07-13 Canon Kk Method and device for determining prediction information for encoding or decoding at least part of an image
EP2826021A4 (en) * 2012-03-15 2016-04-27 Intel Corp HIERARCHICAL MOTION ESTIMATION EMPLOYING NON-LINEAR SCALING AND AN ADAPTIVE SOURCE BLOCK SIZE
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US10469852B2 (en) 2012-08-23 2019-11-05 Mediatek Inc. Method and apparatus of interlayer texture prediction
CN104717501A (zh) * 2012-09-28 2015-06-17 英特尔公司 层间像素样本预测
US9706199B2 (en) * 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR101653511B1 (ko) * 2012-09-28 2016-09-01 인텔 코포레이션 인터-레이어 잔차 예측
US9860558B2 (en) 2012-09-28 2018-01-02 Intel Corporation Inter-layer intra mode prediction
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US20140185671A1 (en) * 2012-12-27 2014-07-03 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
WO2014106641A1 (en) * 2013-01-07 2014-07-10 Thomson Licensing Video coding and decoding methods and corresponding devices including flag for enhancement layer
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
CN105075260B (zh) * 2013-02-25 2020-09-11 Lg电子株式会社 编码支持可伸缩性的多层结构视频的方法和解码其的方法以及用于其的装置
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
KR20160021222A (ko) 2013-06-18 2016-02-24 브이아이디 스케일, 인크. Hevc 확장을 위한 계층간 파라미터 집합
CN104581168B (zh) * 2015-01-09 2017-08-25 中国科学院声学研究所 一种基于视频质量预测的svc视频传输调度方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
AUPP918699A0 (en) * 1999-03-12 1999-04-15 Canon Kabushiki Kaisha Encoding method and appartus
US20020118742A1 (en) 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
US20060012719A1 (en) 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
FR2876860A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
EP1694074A1 (en) 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
KR20060063605A (ko) 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP5065051B2 (ja) 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
JP4321484B2 (ja) 2005-04-12 2009-08-26 日本ビクター株式会社 空間スケーラブル符号化方法、空間スケーラブル符号化装置、空間スケーラブル符号化プログラム、空間スケーラブル復号化方法、空間スケーラブル復号化装置及び空間スケーラブル復号化プログラム
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8345755B2 (en) * 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化

Also Published As

Publication number Publication date
KR20090097903A (ko) 2009-09-16
US8548056B2 (en) 2013-10-01
RU2009130392A (ru) 2011-02-20
EP2116060A1 (en) 2009-11-11
BRPI0806523A2 (pt) 2014-04-22
TW200838320A (en) 2008-09-16
JP2010516194A (ja) 2010-05-13
CN101584217A (zh) 2009-11-18
CN101584217B (zh) 2011-12-14
EP2116060B1 (en) 2017-11-15
WO2008086324A1 (en) 2008-07-17
KR101067305B1 (ko) 2011-09-23
US20080165850A1 (en) 2008-07-10
CA2673887A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
JP5108026B2 (ja) 空間スケーラビリティーのための拡張されたレイヤ間符号化
KR101056001B1 (ko) 코딩된 블록 패턴들에 대한 가변 길이 코딩 기술
US8325819B2 (en) Variable length coding table selection based on video block type for refinement coefficient coding
TWI397320B (zh) 用於精細化係數編碼以區塊類型統計為基礎之可變長度編碼表選擇
JP5795416B2 (ja) スケーラブルビット深度のためのスケーラブルビデオコーディング手法
TWI429293B (zh) 視訊區塊標頭資訊之適應編碼
KR101178085B1 (ko) 벡터화된 엔트로피 코딩에 기초한 가중 예측
JP6195912B2 (ja) インターコード化又はイントラコード化のための候補ブロックのプログラマブル且つスケーラブルな探索
US20110206123A1 (en) Block type signalling in video coding
TW201633781A (zh) 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換
WO2019114721A1 (zh) 视频数据的帧间预测方法和装置
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
CN111937389B (zh) 用于视频编解码的设备和方法
US20120002726A1 (en) Method and apparatus for scalable video coding
US20130301713A1 (en) Systems and methods for intra prediction video coding
CN117813819A (zh) 用于在流式传输场景中处置运动矢量的视频编码概念

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120131

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees