JP5534521B2 - スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置 - Google Patents

Description

（関連出願とのクロスリファレンス）
本出願は、２００７年１０月１５日付で出願された米国仮特許出願第６０／９７９，９５６号の利益を主張するものであり、その開示内容全体を本明細書に盛り込んだものとする。さらに、本出願は、「スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＩＮＴＥＲ−ＬＡＹＥＲ ＲＥＳＩＤＵＥ ＰＲＥＤＩＣＴＩＯＮ ＦＯＲ ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ）」と題され、本願と出願人が同じであり、本願と同時に出願されている代理人整理番号ＰＵ０７０２４８の通常の出願に関連し、この特許出願も、２００７年１０月１５日付で出願された米国仮特許出願第６０／９７９，９５６号の利益を主張しており、その開示内容全体を本願に盛り込んだものとする。

本願の原理は、一般的には、ビデオ符号化およびビデオ復号に関し、より具体的には、スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置に関する。

用語「ビット深度（ｂｉｔ ｄｅｐｔｈ）」は、「カラー深度（ｃｏｌｏｒ ｄｅｐｔｈ）」および／または「ピクセル深度（ｐｉｘｅｌ ｄｅｐｔｈ）」と同様の意味で使用され、ピクセルを保持するために使用されるビット数を意味する。ビット深度は、同時に表示可能な最大の色数を決定する。近年では、８よりも大きいビット深度を有するディジタル画像および／またはディジタル映像（ビデオ）が、限定するものではないが、医療用画像処理、プロダクション（制作）およびポスト・プロダクションにおけるディジタル・シネマ・ワークフロー、ホーム・シアター関連のアプリケーション（用途）などを含む多数のアプリケーション分野においてより望ましいものとなっている。

例えば、８ビットのビデオと１０ビットのビデオの共存を取り扱うためには、幾つかの方法がある。第１の従来技術に係る解決法では、Segall, L. Kerofsky and S. Leiにより“Tone mapping SEI message”, Doc. JVT-T060, Klagenfurt, Austria, July 2006（以下、JVT-T060として参照）に記載されているように、１０ビットの符号化されたビットストリームのみが送信され、標準的な８ビットの表示装置のための８ビット表現は、１０ビット・プレゼンテーションにトーン・マッピング法を適用することによって得ることができる。トーン・マッピングは、より高いビット深度をより低いビット深度に変換するための公知な技術であり、しばしば、メディアにおける高いダイナミック・レンジの外観をより限定されたダイナミック・レンジに近似させるものである。

第２の従来技術に係る解決法では、８ビットの符号化されたプレゼンテーションと１０ビットの符号化されたプレゼンテーションを含むサイマルキャスト・ビットストリームが送信される。復号のためにどのビット深度を選択するかは、復号器のプリファレンスである。例えば、１０ビットの機能を有する復号器は、１０ビットのビデオを復号、出力することができるが、８ビットのビデオのみをサポートする通常の復号器は、８ビットのビデオを出力できるのみである。

第１の解決法は、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＥＰＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４） Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」の８ビット・プロフィールに本質的に準拠していない。第２の解決法は、現行の規格の全てに準拠するものではあるが、より大きなオーバーヘッド（処理にかかる負荷）を必要とする。しかしながら、ビットの減少と、規格の上位互換性（ｂａｃｋｗａｒｄ ｃｏｍｐａｔｉｂｉｌｉｔｙ）との間の良好なトレードオフは、スケーラブルな解決法となり得る。スケーラブルなビデオ符号化（ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）は、ＭＰＥＧ−４ＡＶＣ規格のスケーラブルな拡張として知られており、“Applications and requirement for color bit depth scalability”, Doc. JVT-U049, Hangzhou, China, October 2006に記載されているように、ビット深度のスケーラビリティをサポートすることを考慮している。

ポスト・プロセッシングまたはサイマルキャストに対し、ビット深度スケーラブル符号化には、少なくとも３つの利点が存在する。第１の利点は、ビット深度スケーラブル符号化がＭＰＥＧ−４ＡＶＣ規格のハイプロファイルとの下位互換性を有するような１０ビットのビデオを実現することである。第２の利点は、ビット深度スケーラブル符号化が相異なるネットワーク帯域幅または、デバイス機能に適応可能とすることである。ビット深度スケーラブル符号化の第３の利点は、演算量を低減し、効率を向上させ、フレキシビリティを高めることである。

ＭＰＥＧ−４ＡＶＣ規格の現行のスケーラブルなビデオ符号化の拡張では、Heiko Schwarz, Detlev Marpe, and Thomas Wiegandにより“Constrained Inter-Layer Prediction for Single-Loop Decoding in Spatial Scalability”, Proc. of IEEE ICIP2005, Genova, Italy, September 11-14, 2005に記載されているように、シングル・ループ復号がサポートされ、復号における演算量を低減する。インター符号化されたマクロブロックの、動き補償された予測を含む完全な復号およびデブロッキングは、現在の空間または粗粒度（ＣＧＳ： ｃｏａｒｓｅ ｇｒａｉｎ ｓｃａｌａｂｌｅ）レイヤーにのみ必要となる。これは、レイヤー間イントラ・テクスチャ予測をイントラ・マクロブロックを用いて符号化される下位レイヤーのピクチャの部分に制限することによって実現される。ビット深度スケーラビリティのためにレイヤー間イントラ・テクスチャ予測を拡張する目的で、逆トーン・マッピングが使用される。さらに、スケーラブルなビデオ符号化は、レイヤー間残差予測をサポートする。一般に、トーン・マッピングは、ピクセル（空間）領域において使用されるため、残差領域における対応する逆トーン・マッピングを見つけることは非常に難しい。第３および第４の従来技術のアプローチにおいては、“Simulation Results for CE2: SVC Bit-depth Scalability”, Doc. JVT-X051, Geneva, Switzerland, July 2007 and “Study on Inter-layer Prediction in Bit-depth Scalability”, Doc. JVT-X052, Geneva, Switzerland, July 2007にそれぞれ記載されているように、レイヤー間残差予測のためにビット・シフトが使用される。

第５の従来技術に係るアプローチは、“Joint Draft 8 of SVC Amendment”, Doc. JVT-U201, China, October 2006に記載されているように、平滑参照予測（ＳＲＰ： ｓｍｏｏｔｈ ｒｅｆｅｒｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎ）として参照される。これは、ビット深度スケーラビリティ無しにシングル・ループ復号のためのレイヤー間符号化効率を向上させる技術であり、シンタックス要素である残差予測フラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）」とベース・モード・フラグ（ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）の双方が設定されたときに、１ビットのシンタックス要素の平滑参照フラグ（ｓｍｏｏｔｈｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ）が送信される。平滑参照フラグが１である場合には、復号器の側で以下のステップが行われ、再構築されたビデオ・ブロックが取得される。

１．ベース・レイヤーから、拡張レイヤー参照フレームおよびアップサンプリングされた動きベクトルを用いて予測ブロックＰが取得される。
２．対応するベース・レイヤー残差ブロックｒ_ｂがアップサンプリングされ、Ｕ（ｒ_ｂ）がＰに追加されてＰ＋Ｕ（ｒ_ｂ）を形成する。
３．タップ［１、２、１］を有する平滑化フィルタが、まず、水平方向に、次に、垂直方向に適用され、Ｓ（Ｐ＋Ｕ（ｒ_ｂ））を取得する。
４．拡張レイヤー残差ブロックが（３）に追加され、再構築ブロックＲ＝Ｓ（Ｐ＋Ｕ（ｒ_ｂ））＋ｒ_ｅを取得する。

図１を参照すると、平滑参照予測を使用した復号器の一部が概ね参照符号１００によって示されている。

復号部１００は、結合器１３２の第１の非反転入力と信号通信する出力を有する動き補償器１１２を含む。結合器１３２の出力は、スイッチ１４２の入力と信号通信するように結合されている。スイッチ１４２の第１の出力は、結合器１６２の第１の非反転入力と信号通信するように結合されている。スイッチ１４２の第２の出力は、フィルタ１５２の入力と信号通信するように結合されている。フィルタ１５２の出力は、結合器１６２の第１の非反転入力と信号通信するように結合されている。

参照フレーム・バッファ１２２の出力は、動き補償器１１２の第１の入力と信号通信するように結合されている。

動き補償器１１２の第２の入力は、拡張レイヤー動きベクトルを受信するための、復号部１００の入力として利用可能である。動き補償器１１２の第３の入力は、アップサンプリングされたベース・レイヤー動きベクトルを受信するための、復号部１００の入力として利用可能である。結合器１３２の第２の非反転入力は、アップサンプリングされたベース・レイヤー残差を受信するための、復号部１００の入力として利用可能である。スイッチ１４２の制御入力は、平滑参照フラグ（ｓｍｏｏｔｈｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ）のシンタックス要素を受信するための、復号部１００の入力として利用可能である。結合器１６２の第２の非反転入力は、拡張レイヤー残差を受信するための、復号部１００の入力として利用可能である。結合器１６２の出力は、再構築されたブロックＲを出力するための、復号部１００の出力として利用可能である。

しかしながら、前述した各従来技術は、ビット深度スケーラビリティとともに直接使用することができないという欠点がある。

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置に係る本願の原理によって取り扱われる。

本願の原理の一態様によれば、装置が提供され、この装置は、ピクチャのブロックを、このブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、符号化する符号化器を含む。ビット深度スケーラビリティをサポートするように、逆トーン・マッピングがピクセル領域で行われる。

本願の原理の別の態様によれば、方法が提供され、この方法は、ピクチャのブロックを、このブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、符号化するステップを含む。ビット深度スケーラビリティをサポートするように、逆トーン・マッピングがピクセル領域で行われる

本願の原理のさらに別の態様によれば、装置が提供され、この装置は、ピクチャのブロックを、このブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、復号する復号器を含む。ビット深度スケーラビリティをサポートするように、逆トーン・マッピングがピクセル領域で行われる。

本願の原理のさらに別の態様によれば、方法が提供され、この方法は、ピクチャのブロックを、このブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、復号するステップを含む。ビット深度スケーラビリティをサポートするように、逆トーン・マッピングがピクセル領域で行われる

本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付図面と併せて読むように意図された、例示的な実施の形態の以下の詳細な説明より明らかとなる。

本願の原理は、以下の例示的な図面に従って良好に理解されるであろう。

従来技術に従った平滑参照予測を使用した復号器の一部を示すブロック図である。 本願の原理に係る実施の形態に従った、本願の原理を適用可能な例示的なビデオ符号化器を示すブロック図である。 本願の原理に係る実施の形態に従った、本願の原理を適用可能な例示的なビデオ復号器を示すブロック図である。 本願の原理に係る実施の形態に従った、ビット深度スケーラビリティのためのレイヤー間残差予測を用いた符号化のための例示的な方法を示す流れ図である。 本願の原理に係る実施の形態に従った、ビット深度スケーラビリティのためのレイヤー間残差予測を用いた復号のための例示的な方法を示す流れ図である。

本発明は、スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置に関する。

本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。

本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。

また、本明細書における本発明の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサが明示的に図示されているかどうかに係るものではない。

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ： ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ： ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性の記憶装置を暗黙的に含むことがある。

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。

請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。

明細書において、本願の原理の「一実施の形態」、または、「実施の形態」と言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、または、「実施の形態においては」は、必ずしも、全てが同一の実施の形態について言及するものではない。さらに、文言「別の実施の形態」は、記載された実施の形態の全部、または、一部が別の実施の形態に組み合わされることを除外するものではない。

用語「および／または」や「少なくとも〜うちの１つ」の使用は、例えば、「Ａおよび／またはＢ」や「少なくともＡおよびＢのうちの１つ」の場合、１番目に列挙されたオプション（Ａ）の選択、２番目に列挙されたオプション（Ｂ）の選択、または、両方のオプション（ＡおよびＢ）の選択を包含するように意図されていることが理解できるであろう。別の例として、「Ａ、Ｂ、および／またはＣ」や「少なくともＡ、Ｂ、およびＣのうちの１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）の選択、１番目および３番目に列挙されたオプション（ＡおよびＣ）の選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するように意図されている。列挙された多くの項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

さらに、本願の原理の１つ以上の実施の形態を本明細書中でＭＰＥＧ−４ ＡＶＣ規格のスケーラブルなビデオ符号化の拡張に関連させて説明しているが、本願の原理は、この規格およびその対応規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、他のビデオ符号化規格、勧告およびその拡張にも利用することができる。

さらに、本明細書における以下の説明は、１つ以上の高ビットのビデオの例に関し、１０ビットのビデオを使用しているが、本願の原理は、限定するものではないが、例えば、１２ビット、１４ビットなど、８ビットを超えるどのような数のビットにも適用できる。

本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック・レイヤーよりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ： Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）・レベル、シーケンス・パラメータ・セット（ＳＰＳ： Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）・レベル、さらに、ネットワーク抽象化層（ＮＡＬ：ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。

上述したように、本願の原理は、スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置に関する。

図２を参照すると、本願の原理が適用される例示的なビデオ符号化器が概ね参照符号２００によって示されている。

符号化器２００は、変換器２１０の入力と信号通信する出力を有する結合器２０５を含む。変換器２１０の出力は、量子化器２１５の入力と信号通信するように結合されている。量子化器２１５の出力は、エントロピー符号化器２２０の第１の入力および逆量子化器２２５の入力と信号通信するように結合されている。逆量子化器２２５の出力は、逆変換器２３０の入力と信号通信するように結合されている。逆変換器２３０の出力は、結合器２３５の第１の非反転入力と信号通信するように結合されている。結合器２３５の出力は、ループ・フィルタ２４０の入力と信号通信するように結合されている。ループ・フィルタ２４０の出力は、動き推定器およびレイヤー間予測判定器２４５の第１の入力と信号通信するように結合されている。動き推定器およびレイヤー間予測判定器２４５の出力は、エントロピー符号化器２２０の第２の入力および動き補償器２５５の入力と信号通信するように結合されている。動き補償器２５５の出力は、トーン・マッパー２６０の入力と信号通信するように結合されている。トーン・マッパー２６０の出力は、結合器２７０の第１の非反転入力と信号と通信するように結合されている。結合器２７０の出力は、平滑化フィルタ２７５の入力と信号通信するように結合されている。平滑化フィルタ２７５の出力は、逆トーン・マッパー２８０の入力と信号通信するように結合されている。逆トーン・マッパー２８０の出力は、結合器２３５の第２の非反転入力および結合器２０５の反転入力と信号通信するように結合されている。アップサンプラ２５０の出力は、動き推定器およびレイヤー間予測判定器２４５の第２の入力と信号通信するように結合されている。アップサンプラ２６５の出力は、結合器２７０の第２の非反転入力端子と信号通信するように結合されている。

結合器２０５の入力は、高ビット深度のピクチャを受信するための、符号化器２００の入力として利用可能である。アップサンプラ２５０の入力は、ベース・レイヤー動きベクトルを受信するための、符号化器２００の入力として利用可能である。アップサンプラ２６５の入力は、低ビット深度のベース・レイヤー残差を受信するための、符号化器２００の入力として利用可能である。エントロピー符号化器２２０の出力は、ビットストリームを出力するための、符号化器２００の出力として利用可能である。

図３を参照すると、本願の原理が適用される例示的な復号器が概ね参照符号３００によって示されている。

復号器３００は、逆量子化器３１０の入力と信号通信する第１の出力を有するエントロピー復号器３０５を含む。逆量子化器３１０の出力は、逆変換器３１５の入力と信号通信するように結合されている。逆変換器３１５の出力は、結合器３２０の第１の非反転入力と信号通信するように結合されている。

エントロピー復号器３０５の第２の出力は、動き補償器３２５の第１の入力と信号通信するように結合されている。動き補償器３２５の出力は、トーン・マッパー３３０の入力と信号通信するように結合されている。トーン・マッパー３３０の出力は、結合器３３５の第１の非反転入力と信号通信するように結合されている。結合器３３５の出力は、平滑化フィルタ３４０の第１の入力と信号通信するように結合されている。平滑化フィルタ３４０の出力は、逆トーン・マッパー３４５の入力と信号通信するように結合されている。逆トーン・マッパー３４５の出力は、結合器３２０の第２の非反転入力と信号通信するように結合されている。

アップサンプラ３５０の出力は、結合器３３５の第２の非反転入力と信号通信するように結合されている。アップサンプラ３５５の出力は、動き補償器３２５の第２の入力と信号通信するように結合されている。

エントロピー復号器３０５の入力は、拡張レイヤー・ビットストリームを受信するための、復号器３００の入力として利用可能である。動き補償器３２５の第３の入力は、マルチプル拡張レイヤー参照フレームを受信するための、復号器３００の入力として利用可能である。平滑化参照フィルタ３４０の第２の入力は、平滑参照フラグを受信するための、復号器３００の入力として利用可能である。アップサンプラ３５０の入力は、低ビット深度のベース・レイヤー残差を受信するための、復号器３００の入力として利用可能である。アップサンプラ３５５の入力は、ベース・レイヤーの動きベクトルを受信するための、復号器３００の入力として利用可能である。結合器３２０の出力は、ピクチャを出力するための、復号器３００の出力として、利用可能である。

ビット深度スケーライリティは、将来の何らかの時点において、従来の８ビット深度および高ビット深度のディジタル・イメージング・システムが同時に市場に存在することを事実として考慮すれば、潜在的に有用である。

本願の原理の１つ以上の実施の形態に従って、ビット深度スケーラビリティ（ＢＤＳ：ｂｉｔ ｄｅｐｔｈ ｓｃａｌａｂｉｌｉｔｙ）のためのレイヤー間残差予測の新規な技術が提案される。

ビット深度スケーラビリティにおいては、シングル・ループ復号が使用される場合、拡張レイヤー（高ビット深度のレイヤー）で動き補償が行われると、レイヤー間残差予測のための逆トーン・マッピングを適用することが困難である。よって、本願の原理に従って、ビット深度スケーラビリティの符号化効率を向上させる新規なレイヤー間残差予測技術を提供する。本願の原理に係る１つ以上の実施の形態に従って、残差領域におけるレイヤー間残差予測のための逆トーン・マッピングを行う代わりに、レイヤー間残差予測のために、残差領域からピクセル領域（空間領域）に逆トーン・マッピングの問題を変換する。

例示的な目的で、本明細書中に、１つ以上の例を提供する。これらの例では、ビット深度およびシングル・ループ符号化アーキテクチャの使用のみを考慮している。しかしながら、本明細書中に提供された開示内容を考慮すれば、上記参照例に関して説明した原理は、本技術分野、さらに、関連する技術分野における当業者により、限定するものではないが、例えば、ビット深度と空間とのスケーラビリティなどを含む、組み合わされたスケーラビリティに容易に拡張できることが理解されよう。さらに、本願の原理は、マルチプル・ループ復号アーキテクチャにおいて容易に適用することができる。勿論、本願の原理は、前述したアプリケーションやその変形例に限定されるものではなく、本願の原理の精神を逸脱することなく、本願の原理に関し、本技術分野、さらに、関連する技術分野における当業者によって容易に決定されるような他のアプリケーションやその変形例を用いることもできる。

従って、実施の形態において、レイヤー間残差予測が使用される場合、トーン・マッピングおよび動き補償された予測値およびベース・レイヤーからアップサンプリングされた残差を加算した後、逆トーン・マッピングが適用される。ビット深度スケーラビリティの場合のみ、空間アップサンプリング係数は１である。

これに対応し、実施の形態に従った符号化方法の一例は、以下の通りである。
１．拡張レイヤー参照フレームを用いて予測ブロックＰを取得する。さらに、Ｐは、ベース・レイヤーにトーン・マッピングされ、Ｔ（Ｐ）を得る。
２．対応するベース・レイヤー残差ブロックｒ_ｂが空間的にアップサンプリングされ、Ｕ（ｒ_ｂ）がＰに加算され、Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）を形成する。
３．フィルタを使用してＳ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））を取得する。
４．次に、逆トーン・マッピングを適用し、Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））を取得する。
５．拡張レイヤー残差ブロックｒ_ｅは、拡張レイヤー・ブロックＯから（４）の式を減算することによって作成される（ｒ_ｅ＝Ｏ−Ｔ^−１（（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））））。

図４を参照すると、ビット深度スケーラビリティのためのレイヤー間残差予測を使用した符号化の例示的な方法が概ね参照符号４００によって示されている。

方法４００は、制御を決定ブロック４１０に受け渡す開始ブロック４０５を含む。決定ブロック４１０は、レイヤー間動き予測を適用するかどうかを判定する。レイヤー間動き予測を適用する場合には、制御が機能ブロック４１５に受け渡される。レイヤー間動き予測を適用しない場合には、制御が機能ブロック４２５に受け渡される。

機能ブロック４１５は、ベース・レイヤー動きベクトルを使用し、制御を機能ブロック４２０に受け渡す。機能ブロック４２０は、ベース・レイヤー動きベクトルをアップサンプリングし、制御を機能ブロック４３０に受け渡す。

機能ブロック４２５は、拡張レイヤー動きベクトルを使用し、制御を機能ブロック４３０に受け渡す。

機能ブロック４３０は、動き補償されたブロックＰを取得し、制御を機能ブロック４３５に受け渡す。機能ブロック４３５は、Ｐに対してトーン・マッピングを行って低ビット深度予測値Ｔ（Ｐ）を取得し、制御を機能ブロック４４０に受け渡す。機能ブロック４４０は、ベース・レイヤー・テキスチャ残差ｒ_ｂを読み出し、制御を機能ブロック４４５に受け渡す。機能ブロック４４５は、Ｐ’＝Ｔ（Ｐ）＋ｒ_ｂを算出し、制御を決定ブロック４５０に受け渡す。決定ブロック４５０は、平滑参照値を適用するかどうかを決定する。平滑参照値を適用する場合には、制御が機能ブロック４５５に受け渡される。平滑参照値を適用しない場合には、制御が機能ブロック４６０に受け渡される。

機能ブロック４５５は、平滑化フィルタをＰ’に対して適用し、制御を機能ブロック４６０に受け渡す。

機能ブロック４６０は、Ｐ’に対して逆トーン・マッピングを行って高ビット深度の予測値Ｔ^−１（Ｐ’）を取得し、制御を機能ブロック４６５に受け渡す。機能ブロック４６５は、高ビット深度の予測値Ｔ^−１（Ｐ’）から、トーン・マッピング処理と逆トーン・マッピング処理との間のエラー値を減算し、制御を機能ブロック４７０に受け渡す。機能ブロック４７０は、元のピクチャからＴ^−１（Ｐ’）を減算することによって、拡張レイヤー残差ｒ_ｅを取得する。ここで、ｒ_ｅ＝Ｏ−Ｔ^−１（Ｐ’）であり、Ｏは、元のピクチャを表す。そして、制御は、終了ブロック４９９に受け渡される。

実施の形態に従った復号方法の一例は以下の通りである。
１．拡張レイヤー参照フレームを用いて予測ブロックＰを取得する。さらに、Ｐは、ベース・レイヤーにトーン・マッピングされ、Ｔ（Ｐ）を得る。
２．対応するベース・レイヤー残差ブロックｒ_ｂが空間的にアップサンプリングされ、Ｕ（ｒ_ｂ）がＰに加算され、Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）を形成する。
３．フィルタを使用してＳ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））を取得する。
４．次に、逆トーン・マッピングを適用し、Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））を取得する。
５．（４）の式に拡張レイヤー残差ブロックを加算することによって再構築ブロックを取得する（Ｒ＝Ｔ^−１（（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））＋ｒ_ｅ）。

図５を参照すると、ビット深度スケーラビリティのためのレイヤー間残差予測を使用した復号の例示的な方法が概ね参照符号５００によって示されている。

方法５００は、制御を決定ブロック５１０に受け渡す開始ブロック５０５を含む。決定ブロック５１０は、レイヤー間動き予測フラグが“（真）ｔｒｕｅ”に設定されているかどうかを判定する。レイヤー間動き予測フラグが“ｔｒｕｅ”に設定されている場合には、制御が機能ブロック５１５に受け渡される。レイヤー間動き予測フラグが“ｔｒｕｅ”に設定されていない場合には、制御が機能ブロック５２５に受け渡される。

機能ブロック５１５は、ベース・レイヤー動きベクトルの読み出しおよびエントロピー復号を行い、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、ベース・レイヤー動きベクトルをアップサンプリングし、制御を機能ブロック５３０に受け渡す。

機能ブロック５２５は、拡張レイヤー動きベクトルの読み出しおよびエントロピー復号を行い、制御を機能ブロック５３０に受け渡す。

機能ブロック５３０は、動き補償されたブロックＰを取得し、制御を機能ブロック５３５に受け渡す。機能ブロック５３５は、Ｐに対してトーン・マッピングを行い、低ビット深度予測値Ｔ（Ｐ）を取得し、制御を機能ブロック５４０に受け渡す。機能ブロック５４０は、ベース・レイヤー・テキスチャ残差ｒ_ｂの読み出しおよびエントロピー復号を行い、制御を機能ブロック５４５に受け渡す。機能ブロック５４５は、Ｐ’＝Ｔ（Ｐ）＋ｒ_ｂを算出し、制御を決定ブロック５５０に受け渡す。決定ブロック５５０は、平滑参照フラグが“ｔｒｕｅ”に設定されているかどうかを判定する。平滑参照フラグが“ｔｒｕｅ”に設定されている場合には、制御が機能ブロック５５５に受け渡される。平滑参照フラグが“ｔｒｕｅ”に設定されていない場合には、制御が機能ブロック５６０に受け渡される。

機能ブロック５５５は、Ｐ’に対して平滑化フィルタを適用し、制御を機能ブロック５６０に受け渡す。

機能ブロック５６０は、Ｐ’に対して逆トーン・マッピングを行って高ビット深度の予測値Ｔ^−１（Ｐ’）を取得し、制御を機能ブロック５６５に受け渡す。機能ブロック５６５は、トーン・マッピングと逆トーン・マッピングとの間のエラー値を高ビット深度の予測値Ｔ^−１（Ｐ’）に加算し、制御を機能ブロック５６７に受け渡す。機能ブロック５６７は、拡張レイヤー残差ｒ_ｅの読み出しおよびエントロピー復号を行い、制御を機能ブロック５７０に受け渡す。機能ブロック５７０は、再構築ブロックＲ（ここで、Ｒ＝Ｔ^−１（Ｐ’）＋ｒ_ｅ）を取得し、制御を終了ブロック５９９に受け渡す。

なお、従来技術においては、動き補償されたブロックＰは、レイヤー間動き予測が使用されない場合に拡張レイヤーから動きベクトルによって作成されることもあれば、レイヤー間動き予測が使用される場合にベース・レイヤーからのアップサンプリングされた動きベクトルから作成されることもある。本願の原理に係る一実施の形態においては、双方の場合に我々の技術を使用することができる。別の実施の形態においては、レイヤー間動き予測が使用される場合にのみ我々の技術を組み合わせることができる。レイヤー間動き予測が使用されない場合には、上記に参照した第３および第４の従来技術に係るアプローチと同様に、残差予測のためにビット・シフトが適用される。

さらに、第３および第４の従来技術に係るアプローチの各スキームを切り替えることができる。即ち、まず、フィルタリングを行った後、逆トーン・マッピングを行うことができる。代替的に、まず、逆トーン・マッピングを行った後、フィルタリングを行うことができる。フィルタは、リニアなもの、非リニアなもの、一次元のもの、または、二次元のものなどでもよい。一例においては、３タップ・フィルタ［１ ２ １］を使用して、まず、垂直に、次に、水平に処理することができる。また、フィルタとして同一のものを使用して、第３の従来技術に係る処理手順を使用しないようにすることができる。

従って、本願の原理に係る一実施の形態によれば、トーン・マッピングおよび逆トーン・マッピングの方法の双方の信号を発生させる。信号の発生は、アルゴリズム計算、ルックアップ・テーブルなどを用いて行うことができる。信号の発生は、シーケンス、ピクチャ、スライス、または、ブロックのレベルで行うことができる。トーン・マッピングおよび逆トーン・マッピングは、真に可逆的なもの、即ち、Ｔ^−１（Ｔ）≠Ｉでないため、エラーＩ−Ｔ^−１（Ｔ）を考慮することができる。ここで、Ｉは、アイデンティティ（ｉｄｅｎｔｉｔｙ）を意味する。一例においては、Ｔ^−１（Ｔ（Ｐ））≠Ｐであるため、エラーｄ＝Ｐ−Ｔ^−１（Ｔ（Ｐ））を考慮することができる。即ち、符号化器において、ｄを減算し、復号器において、ｄを追加する。

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャのブロックを、このブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、符号化する符号化器を含む装置である。ビット深度スケーラビリティをサポートするように、逆トーン・マッピングがピクセル領域で行われる。

別の利点／特徴は、上述した符号化器を有する装置であって、ピクチャの拡張レイヤーにおいて動き補償を行うことによって拡張レイヤー予測値を取得し、拡張レイヤー予測値をピクチャのベース・レイヤーにトーン・マッピングしてブロックのためのトーン・マッピングおよび動き補償された低ビット深度の予測値を取得し、ベース・レイヤーからの空間的にアップサンプリングされた残差をブロックのためのトーン・トーンマッピングおよび動き補償された低ビット深度の予測値に加算して合計値を取得し、合計値を拡張レイヤーに逆トーン・マッピングしてブロックのためのより高いビット深度の予測値を取得することによって、符号化器がレイヤー間残差予測処理を行う。

さらに別の利点／特徴は、上述した符号化器を有する装置であって、逆トーン・マッピングを行う前に合計値に平滑化フィルタを適用することによって、符号化器がレイヤー間残差予測処理をさらに行う。逆トーン・マッピングは、フィルタをかけられた合計値に対して行われる。

さらに別の利点／特徴は、上述した符号化器を有する装置であって、ハイレベル・シンタックス要素およびブロック・レベル・シンタックス要素の少なくとも一方が、トーン・マッピングおよび逆トーン・マッピングのいずれかの信号を発生するように使用される。

さらに別の利点／特徴は、上述した符号化器を有する装置であって、ハイレベル・シンタッス要素は、スライス・ヘッダ、シーケンス・パラメータ・セット、ピクチャ・パラメータ・セット、ビュー・パラメータ・セット、ネットワーク抽象化レイヤー・ユニット・ヘッダ、および補助拡張情報メッセージのうちの少なくとも１つに含まれる。

さらに別の利点／特徴は、上述した符号化器を有する装置であって、ブロックのためのより高いビット深度の予測値から、トーン・マッピングと逆トーン・マッピングとの間のエラー値を減算することによって、符号化器がレイヤー間残差予測処理をさらに行う。

本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせた様々な形態で実施することができることが理解できよう。

より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム記憶装置上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。

添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、付随する請求の範囲に記載されたような本願の原理の範囲に含まれるように意図されている。

Claims (8)

1. ピクチャのブロックを、当該ブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、復号する復号器であって、前記逆トーン・マッピングがピクセル領域で行われる前記復号器を備え、
   前記復号器は、
   前記ピクチャの拡張レイヤーにおいて動き補償を行うことによって拡張レイヤー予測値を取得し、前記拡張レイヤー予測値を前記ピクチャのベース・レイヤーにトーン・マッピングして前記ブロックのためのトーン・マッピングおよび動き補償された低ビット深度の予測値を取得し、前記ベース・レイヤーからの空間的にアップサンプリングされた残差を前記ブロックのための前記トーン・マッピングおよび動き補償された低ビット深度の予測値に加算して合計値を取得し、前記合計値を前記拡張レイヤーに前記逆トーン・マッピングして前記ブロックのためのより高いビット深度の予測値を取得する、ことによって、前記レイヤー間残差予測処理を行う、装置。
2. 前記復号器は、さらに、
   前記逆トーン・マッピングを行う前に、前記合計値に平滑化フィルタを適用し、前記逆トーン・マッピングは、前記フィルタをかけられた合計値に対して行われる、請求項１に記載の装置。
3. 前記復号器は、さらに、
   前記ブロックのための前記より高いビット深度の予測値に、前記トーン・マッピングと前記逆トーン・マッピングとの間のエラー値を加算する、請求項１に記載の装置。
4. ビット深度スケーラビリティをサポートするように、前記逆トーン・マッピングが前記ピクセル領域で行われる、請求項１に記載の装置。
5. ピクチャのブロックを、当該ブロックのためのレイヤー間残差予測処理に対して逆トーン・マッピングを適用することによって、復号するステップであって、前記逆トーン・マッピングがピクセル領域で行われる前記ステップを含み、
   前記レイヤー間残差予測処理が、
   前記ピクチャの拡張レイヤーにおいて動き補償を行うことによって拡張レイヤー予測値を取得するステップと、
   前記拡張レイヤー予測値を前記ピクチャのベース・レイヤーにトーン・マッピングして前記ブロックのためのトーン・マッピングおよび動き補償された低ビット深度の予測値を取得するステップと、
   前記ベース・レイヤーからの空間的にアップサンプリングされた残差を前記ブロックのための前記トーン・マッピングおよび動き補償された低ビット深度の予測値に加算して合計値を取得するステップと、
   前記合計値を前記拡張レイヤーに前記逆トーン・マッピングして前記ブロックのためのより高ビット深度の予測値を取得するステップと、を含む、方法。
6. 前記レイヤー間残差予測処理が、前記逆トーン・マッピングを行うステップの前に前記合計値に平滑化フィルタを適用するステップをさらに含み、前記逆トーン・マッピングが前記フィルタをかけられた合計値に対して行われる、請求項５に記載の方法。
7. 前記レイヤー間残差予測処理が、前記ブロックのための前記より高いビット深度の予測値に、前記トーン・マッピングと前記逆トーン・マッピングとの間のエラー値を加算するステップをさらに含む、請求項５に記載の方法。
8. ビット深度スケーラビリティをサポートするように、前記逆トーン・マッピングが前記ピクセル領域で行われる、請求項５に記載の方法。

Images