JP5926465B2 - 向上ダイナミックレンジをもつ超高精細度ビデオ信号のための後方互換な符号化 - Google Patents

Description

関連出願への相互参照
本願は2013年1月2日に出願された米国仮出願第61/748,411号；2013年5月8日に出願された米国仮出願第61/832,173号；および2013年9月26日に出願された米国仮特許出願第61/882,773号の優先権を主張するものであり、これらの出願のすべてはその全体においてここに参照によって組み込まれる。

技術
本発明が概括的には画像に関する。より詳細には、本発明のある実施形態は、向上ダイナミックレンジをもつ高精細度信号の後方互換な符号化および復号に関する。

オーディオおよびビデオ圧縮は、マルチメディア・コンテンツの開発、記憶、配送および消費における主要な構成要素である。圧縮方法の選択は、符号化効率、符号化複雑さおよび遅延の間のトレードオフに関わる。コンピューティング・コストに対する処理パワーの比が増すにつれて、より効率的な圧縮を許容するより複雑な圧縮技法の開発が許容されるようになる。例として、ビデオ圧縮において、国際標準機関（ISO）からの動画像専門家グループ（MPEG）は、もとのMPEG-1ビデオ規格に対して、MPEG-2、MPEG-4（パート2）およびH.264/AVC（またはMPEG-4パート10）符号化規格をリリースすることによって改良を続けてきている。

H.264の圧縮効率および成功にもかかわらず、高効率ビデオ符号化（HEVC: High Efficiency Video Coding）として知られる新世代のビデオ圧縮技術が現在開発中である。ここに参照によりその全体において組み込まれる非特許文献１において草稿が入手できるHEVCは、ここに参照によりその全体において組み込まれる非特許文献２として公表されている既存のH.264（AVCとしても知られる）規格に対して改善された圧縮機能を提供すると期待されている。

ビデオ信号は、ビット深さ、色空間、色域および解像度といった複数のパラメータによって特徴付けることができる。現代のテレビジョンおよびビデオ再生装置（たとえばブルーレイ・プレーヤー）は、標準精細度（たとえば720×480i）および高精細度（HD）（たとえば1090×1080p）を含む多様な解像度をサポートしている。超高精細度（UHD: Ultra high-definition）は、少なくとも3840×2160の解像度（4K UHDと称される）および7680×4320（8K UHDと称される）まで高くなるオプションをもつ次世代の解像度フォーマットである。超高精細度は、ウルトラHD、UHDTVまたはスーパーハイビジョンとも称されることがある。本稿での用法では、UHDはHD解像度より高い任意の解像度を表わす。

ビデオ信号の特性のもう一つの側面は、ダイナミックレンジである。ダイナミックレンジ（DR）は、画像における、たとえば最も暗い暗部から最も明るい明部までの、強度（たとえば、ルミナンス、ルーマ）の範囲である。本稿での用法では、用語「ダイナミックレンジ」（DR）は、人間の視覚心理学系（HVS）の、たとえば最も暗い暗部から最も明るい明部までの、画像における強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する能力に関係しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係する。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語は人間の視覚系（HVS: human visual system）の14〜15桁ほどにまたがるDR幅に関係する。たとえば、本質的に正常な（たとえば統計的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人間のHVSは、リセットし調整するためのある時間期間をもつ。

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「向上ダイナミックレンジ」（EDR）、「視覚的ダイナミックレンジ」または「可変ダイナミックレンジ」（VDR）は、個々にまたは交換可能に、HVSによって同時に知覚可能なDRに関係する。本稿での用法では、EDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもEDRは幅広いDR幅を表す。本稿での用法では、用語「同時ダイナミックレンジ」はEDRに関係しうる。

新たなHDRまたはUHDディスプレイ技術のほかにレガシーの再生装置との後方互換性をサポートするために、上流の装置から下流の装置にUHDおよびHDR（またはEDR）ビデオ・データを送達するために、複数の層が使用されてもよい。そのような複数層ストリームが与えられると、レガシー・デコーダは基本層を使って、当該コンテンツのHD SDRバージョンを再構成しうる。進んだデコーダは、基本層および向上層の両方を使って、当該コンテンツのUHD EDRバージョンを、より高機能なディスプレイ上でレンダリングするために、再構成しうる。

B.Bross, W.-J.Han, G.J.Sullivan, J.-R.Ohm, and T.Wiegand、"High efficiency video coding (HEVC) text specification draft 8"、ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-J1003, July 2012 "Advanced Video Coding for generic audio-visual services", ITU T Rec. H.264およびISO/IEC14496-10

ここで本発明者によって認識されるところでは、UHD EDRビデオの符号化のための改善された技法が望ましい。

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明の実施形態が、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

本発明のある実施形態に基づく、UHD EDR符号化システムの例示的な実装を描く図である。 本発明のある実施形態に基づく、UHD EDR復号システムの例示的な実装を描く図である。 本発明のある実施形態に基づく図１に描かれたシステムの、基本層がインターレースされた信号を含む変形を描く図である。 本発明のある実施形態に基づく図２の復号システムの、基本層がインターレースされたビデオ信号を含む変形を描く図である。 本発明のある実施形態に基づく向上層における残差信号のための非線形量子化器の例示的な実装を描く図である。 本発明のある実施形態に基づく残差ピクセルの適応的な前置量子化プロセスを描く図である。 本発明のある実施形態に基づく残差信号のための非線形量子化器の入力下限または上限を設定する適応的なプロセスを描く図である。

向上ダイナミックレンジをもつ超高精細度信号の後方互換な符号化が本稿において記述される。超高精細度（UHD）解像度および高または向上ダイナミックレンジ（EDR）をもつ一方の信号とUHD（またはより低い）解像度および標準ダイナミックレンジ（SDR）をもつ他方の信号という二つの信号によって表現されうる入力ビデオ信号が与えられて、該二つの信号が後方互換な層構成にされたストリームにおいて符号化される。該ストリームは、レガシー・デコーダがHD標準ダイナミックレンジ（SDR）信号を抽出し、新しいデコーダがUHD EDR信号を抽出することを許容する。

下記の記述では、本発明の十全な理解を提供するために、説明の目的で数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

〈概観〉
本稿に記載される例示的実施形態は、向上ダイナミックレンジをもつ超高精細度信号の後方互換な符号化および復号に関する。超高精細度（UHD）解像度および高または向上ダイナミックレンジ（EDR）をもつ一方の信号とUHD（またはより低い）解像度および標準ダイナミックレンジ（SDR）の他方の信号という二つの信号によって表現された入力ビデオ信号が与えられて、該二つの信号が後方互換な層構成にされたストリームにおいて符号化される。該ストリームは、レガシー・デコーダがHD標準ダイナミックレンジ（SDR）信号を抽出し、新しいデコーダがUHD EDR信号を抽出することを許容する。基本層HD SDR信号に応答して、別個のルーマおよびクロマ予測モデルを使って予測された信号が生成される。ルーマ予測器においては、予測される信号のルーマ・ピクセル値は基本層のルーマ・ピクセル値のみに基づいて計算される。一方、クロマ予測器においては、予測される信号のクロマ・ピクセル値は、基本層のルーマおよびクロマ・ピクセル値の両方に基づいて計算される。入力UHD EDR信号と予測された信号とに基づいて残差信号が計算される。符号化されたビットストリームを形成するために、基本層信号および残差信号は別個に符号化される。

もう一つの実施形態では、受領器は受領された層構成にされたビットストリームを多重分離して、HD解像度および標準ダイナミックレンジ（SDR）の符号化された基本層（BL）ストリームと、UHD解像度および向上ダイナミックレンジ（EDR）の符号化された向上層ストリームとを生成する。符号化されたBLストリームは、BLデコーダを使って復号され、HD解像度および標準ダイナミックレンジの復号されたBL信号を生成する。復号されたBL信号に応答して、予測されたEDR信号が生成される。ここで、予測された信号のルーマ成分のピクセル値は、復号されたBL信号のルーマ・ピクセル値のみに基づいて予測され、予測された信号の少なくとも一つのクロマ成分のピクセル値は、復号されたBL信号のルーマおよびクロマ値両方に基づいて予測される。符号化されたELストリームは、ELデコーダを使って復号されて、復号された残差信号を生成する。復号された残差信号および予測された信号に応答して、出力UHD EDR信号も生成されうる。

もう一つの実施形態では、向上層における残差信号は、非線形量子化器によって量子化される前に適応的に前処理される。ある実施形態では、残差ピクセル値は、それらを囲むピクセルの標準偏差が閾値より低い場合には、0に前置量子化される。

もう一つの実施形態では、非線形量子化器の入力範囲は、非常に大きなまたは非常に小さなピクセル値をもつ残差ピクセルのピクセル接続性の指標に従って制約される。

もう一つの実施形態では、非線形量子化器のパラメータは、シーン内のフレームの連続的なシーケンスにまたがる残差ピクセルの極端な値（extreme values）に基づいて設定される。

〈超高精細度EDR信号のためのエンコーダ〉
HDTV、セットトップボックスまたはブルーレイ・プレーヤーのような既存の表示および再生装置は典型的には1080p HD解像度（たとえば60フレーム毎秒で1920×1080）までの信号をサポートする。消費者用途のためには、そのような信号は現在、典型的には、ルーマ‐クロマ・カラー・フォーマットにおける色成分毎、ピクセル毎に8ビットのビット深さを使って圧縮される。ここで、典型的にはクロマ成分はルーマ成分より低い解像度をもつ（たとえば、YCbCrまたはYUV 4:2:0カラー・フォーマット）。8ビット深さおよび対応する低いダイナミックレンジのため、そのような信号は典型的には、標準ダイナミックレンジ（SDR）の信号と称される。

超高精細度（UHD）のような新たなテレビジョン規格が開発されつつあるので、向上した解像度および／または向上ダイナミックレンジをもつ信号を、レガシーのHDTVデコーダおよびより新しいUHDデコーダの両方が処理できるフォーマットでエンコードすることが望ましいことがある。

図１は、向上ダイナミックレンジ（EDR）をもつUHD信号の後方互換な符号化をサポートするシステムの例示的な実装のある実施形態を描いている。エンコーダは基本層（BL）エンコーダ（１３０）および向上層（EL）エンコーダ（１６０）を有する。ある実施形態では、BLエンコーダ１３０はMPEG-2またはH.264エンコーダのようなレガシー・エンコーダであり、ELエンコーダ１６０はHEVCエンコーダのような新しい規格のエンコーダである。レガシーのBLデコーダをサポートするために、BLエンコーダ１３０は典型的には8ビット・エンコーダであるが、ELエンコーダ１６０は、H.264およびHEVC規格によって指定されるような10ビットのようなより高いビット深さをもつ入力ストリームをサポートしてもよい。しかしながら、このシステムは、標準ベースのものであれ独自のものであれ、既知のまたは将来のエンコーダの任意の組み合わせに適用可能である。

図１に描かれるように、映画またはテレビジョン放送のような入力信号は、UHD EDR入力（１０２）およびUHD SDR入力（１０４）の二つの信号によって表現されてもよい。たとえば、UHD EDR信号（１０２）は、HDRカメラによって捕捉され、EDRディスプレイのためにカラーグレーディングされた4K（たとえば3840×2160）解像度の信号であってもよい。同じ信号は、対応する4K SDR信号１０４を生成するよう4K SDRディスプレイ上でカラーグレーディングされてもよい。あるいはまた、SDR信号１０４は、EDR信号に、当技術分野で既知のトーンマッピングまたはディスプレイ管理技法の任意のものを適用することによって生成されてもよい。一般性を失うことなく、これらの入力信号はいずれも典型的には16ビットまたは等価な（たとえば浮動小数点）ビット深さ表現を使ってRGB色空間において表現されてもよい。本稿での用法では、Nビット信号という用語は、一つまたは複数の色成分（たとえばRGBまたはYCbCr）をもつ画像またはビデオ信号であって、これらの色成分の任意のもの（たとえばY）における各ピクセルがNビットのピクセル値によって表現されるものを表わす。Nビット表現を与えられると、そのような各ピクセルは0から2^N−1までの間の値を取り得る。たとえば、8ビット表現において、各色成分について、各ピクセルは0から255までの間の値を取ることができる。

ある実施形態では、UHD SDR信号１０４はHD SDR信号（たとえば1080p）にダウンサンプリングされてもよく、次いでレガシーの8ビット・エンコーダを使うエンコードに好適なカラー・フォーマット、たとえば8ビットYCbCr 4:2:0カラー・フォーマットに変換される。そのような変換は、色変換（たとえばRGBからYCbCr変換１１５−C）およびクロマ・サブサンプリング（たとえば4:4:4から4:2:0への変換１２０−C）を含んでいてもよい。こうして、HD SDR信号１２８は、もとのUHD EDR信号１０２の後方互換な信号表現を表わす。信号１２８は、後方互換な符号化されたビットストリーム１３２を生成するようBLエンコーダ１３０によってエンコードされてもよい。BLエンコーダ１３０は、MPEG-2、MPEG-4パート2、H.264、HEVC、VP8などのような既知のまたは将来のビデオ圧縮アルゴリズムの任意のものを使って、HD SDR信号１２８を圧縮またはエンコードしてもよい。

UHD EDR信号１０２を与えられて、ダウンサンプリング（１１０−A）および色変換プロセス（１１５−Bおよび１２０−B）はUHD EDR信号１０２を参照予測HD EDR信号１２４に変換してもよい。ある好ましい実施形態では、この段におけるダウンサンプリングおよび色変換プロセス（１１０−A、１１５−Bおよび１２０−B）（たとえば選択されたフィルタおよび色空間）は、基本層においてHD SDR信号１２８を生成するために使われるダウンサンプリングおよび色変換プロセス（１１０−B、１１５−Cおよび１２０−C）と同一であるかまたはできるだけ近いべきである。

UHD EDRからHD EDRへの変換に続いて、HD EDR信号１２４の出力はルーマ（Y １２４−Y）およびクロマ（CbCr １２４−C）成分に分離され、これらの成分が、ルーマ予測器１４５およびクロマ予測器１４０のための予測係数を決定するために適用される。

HD SDR信号１２８を与えられて、BLエンコーダ１３０は、符号化されたBLビットストリーム１３２だけでなく、対応するBLデコーダによって復号される際にそうなるような、HD SDR信号１２８を表わすBL信号１２６をも生成する。いくつかの実施形態では、信号１２６は、BLエンコーダ１３０に続く別個のBLデコーダ（図示せず）によって生成されてもよい。他のいくつかの実施形態では、BLエンコーダ１３０において動き補償を実行するために使われる信号１２６がフィードバック・ループから生成されてもよい。図１に描かれるように、HD EDR信号１２６の出力は、そのルーマ（Y １２６−Y）およびクロマ成分（CbCr １２６−C）に分離されてもよく、それらの成分がHD EDR'信号１４７を予測するためにルーマ予測器１４５およびクロマ予測器１４０に加えられる。

ある実施形態では、ルーマ予測器１４５は、基本層HD SDR信号のルーマ・ピクセル値１２６−Yに基づいてHD EDR'信号１４７のルーマ成分を予測するために多項式予測器を有していてもよい。そのような予測器においては、ルーマ・ピクセル成分は、当該信号の他の色成分のいずれにおけるどのピクセル値も考慮に入れることなく予測されうる。たとえば、g_iがBL HD SDR信号のルーマ・ピクセル値（１２６−Y）を表わすとすると、一般性を失うことなく、三次の多項式予測器は

と表わされてもよい。ここで、a_k、b_kおよびc_kは予測器係数である。ある実施形態では、予測器係数は、予測された値（＾付きのs_i）と参照HD EDR信号におけるルーマ・ピクセル値（s_i）（１２４−Y）との間の平均平方誤差

を最小化するなどの、当該技術分野で既知の任意の最小化誤差技法によって決定されうる。

ある実施形態では、クロマ予測器１４０も上記と同様の多項式予測器であってもよいが、ある好ましい実施形態では、クロマ予測器１４０は、2012年4月13日に出願されたPCT出願第PCT/US2012/033605（WO2012/142471として公開）「複数色チャネル多重回帰予測器」によって記述されるような複数色チャネル多重回帰（multi-color channel, multiple regression）（MMR）予測器を有する。同出願の内容はここに参照によってその全体において組み込まれる。MMR予測器は、HD EDR参照信号１２４および基本層HD SDR信号１２６におけるルーマおよびクロマ・ピクセル値両方からの情報を使ってHD EDRの信号のクロマ成分を予測する。MMRモデルにおける予測係数も、予測されるクロマ値と参照HD EDR信号１２４のルーマおよびクロマ・ピクセル値との間のMSEを最小にすることによる平均平方誤差（mean-square-error）最小化技法を使って決定されてもよい。

HD SDR信号１２６および参照HD HDR信号１２４の両方が、ルーマ成分の空間解像度が各クロマ成分の空間解像度の二倍であるYCbCr 4:2:0フォーマットであるので、これらの信号両方のルーマ成分は、クロマ予測器１４０に適用される前にダウンサンプリングされる（１３５−Aおよび１３５−B）。ある好ましい実施形態では、ルーマ・ダウンサンプリング１３５−Aおよび１３５−Bにおいて使用されるフィルタは4:4:4から4:2:0への処理（１２０）において使われたクロマ・ダウンサンプリング・フィルタと同じである。ルーマおよびクロマ予測係数は、シーン毎、ピクチャー・グループ毎またはフレーム毎など、関心のある多様な時間間隔で更新されうる。予測フィルタ係数は、補助データまたはメタデータとしてビットストリーム中にその値を埋め込むなど、多様な方法によってデコーダに通信されうる。

予測されたHD EDR'信号１４７を与えられて、アップサンプラー１５０はUHD EDR'信号１５２を生成し、これが残差信号１６７を生成するために使われる。UHD EDR'信号が好ましい符号化フォーマット（たとえばYCbCr 4:2:0）にあるので、もとのフォーマット（たとえばRGB）からのもとのUHD EDR信号１０２を前記好ましい符号化フォーマットのUHD EDR信号１２２に変換するために、追加的な色変換（１１５−A）およびクロマ・ダウンサンプリング（１２０−A）ステップが必要とされることがある。信号１２２および１５２は減算されて、EL残差信号１６７を生成する。

ある実施形態では、色変換（１１５−A）およびクロマ・サブサンプリング・プロセス（１２０−A）は、BL符号化された信号１２８および予測信号１２４を生成するために使われている色変換（１１５−Bおよび１１５−C）およびクロマ・サブサンプリング・プロセス（１２０−Bおよび１２０−C）と同一であるかまたはできるだけ近いべきである。

ある実施形態では、ELエンコーダ１６０によってEL信号１６７を符号化するために、信号は非線形量子化器（NLQ: non-linear quantizer）１５５によって処理されてもよい。好適な非線形量子化器の例は、2012年4月24日に出願されたPCT特許出願第PCT/US2012/034747号（WO2012/148883として公開）「非線形VDR残差量子化器」において見出されうる。この出願の内容はここに参照によってその全体において組み込まれる。NLQ １５５の出力は、好適なデコーダに伝送されうる符号化されたELビットストリーム１６２を生成するためにELエンコーダ１６０を使って圧縮されてもよい。さらに、いくつかの実施形態では、残差（１６７）は、ダウンサンプリング・モジュール（図示せず）によって空間的にダウンサンプリングされてもよい。そのようなダウンサンプリング（たとえば両方の次元方向における2または4倍のダウンサンプリング）は、非常に低いビット・レートにおいて符号化効率を改善する。ダウンサンプリングは、非線形量子化器（１５５）の前または後のいずれで実行されてもよい。

ELエンコーダ１６０は、MPEG-2、MPEG-4、H.264、HEVC規格などによって記述されたようないかなる好適なエンコーダであってもよい。ある実施形態では、BL符号化されたビットストリーム１３２、EL符号化されたビットストリーム１６２および符号化プロセスに関係したメタデータ（たとえば予測器パラメータまたはルックアップテーブル）が単一のビットストリーム（図示せず）に多重化されてもよい。

図１に描かれるように、ある好ましい実施形態では、ダウンサンプリング（１１０−Aまたは１１０−B）は好ましくはカラー・フォーマット変換（１１５−Bおよび１２０−Bまたは１１５−Cおよび１２０−C）の前に適用されるが、いくつかの実施形態では、ダウンサンプリングは色変換の後に実行されてもよい。たとえば、ある実施形態では、１１０−Aへの入力はUHD EDR YCbCr信号１２２から直接受領されてもよく、よってHD EDR参照信号１２４を生成するために色変換処理１１５−Bおよび１２０−Bを行なう必要がなくなる。同様に、ダウンサンプリング１１０−Bは色変換ステップ１２０−Cの後に実行されることができる。

いくつかの実施形態では、ベースラインHD SDR信号１２８は、正しい解像度およびカラー・フォーマットでエンコーダ１００に対してすでに利用可能であってもよい。そのような場合、ダウンサンプリング（１１０−B）および色変換ステップ（１１５−Cおよび１２０−C）はバイパスされてもよい。

いくつかの実施形態では、UHD EDR信号１０２は、16ビットより低いまたはより高い精度で利用可能であってもよいが、その精度は8ビットよりは高いことが期待される（たとえば、10ビットまたは12ビット）。同様に、UHD SDR信号１０４は、16ビットより低い精度ですでに利用可能であってもよい（たとえば8ビットまたは10ビット）。

〈超高精細度EDR信号のためのデコーダ〉
図２は、向上ダイナミックレンジ（EDR）をもつUHD信号の後方互換なデコードをサポートするシステムの例示的な実装のある実施形態を描いている。エンコーダ（たとえば１００）によって伝送された符号化された信号に応答して、デコーダ２００は、少なくとも二つの符号化サブストリーム、すなわち符号化されたBLストリーム１３２および符号化されたELストリーム１６２を含む符号化されたビットストリームを多重分離する。

符号化されたBLストリーム１３２は、BLデコーダ２１５を使ってデコードされることができるHD SDR信号（２１７）を含んでいる。ある実施形態では、BDデコーダ２１５はBLエンコーダ１３０にマッチする。たとえば、既存の放送およびブルーレイ規格との後方互換性のために、BLデコーダ２１５はMPEG-2またはH.264符号化規格の一つまたは複数に準拠しうる。BLデコード２１５に続いて、HD SDRデコーダは、デコードされたHD SDR信号２１７に、追加的な色変換（２７０）を適用して、はいってくる信号を、圧縮に好適なカラー・フォーマット（たとえばYCbCr 4:2:0）から表示に好適なカラー・フォーマット（たとえばRGB 4:4:4）に変換してもよい。向上した解像度および／またはEDR表示機能をもつ受領器は、図２に描かれるように、BLおよびELビットストリーム（１３２および１６２）両方からの情報を組み合わせて、向上ダイナミックレンジをもつUHD信号（たとえば２３２）を生成してもよい。

BLデコード２１５に続いて、デコードされた信号２１７はそのルーマ（２１７−Y）およびクロマ（２１７−C）成分に分割される。ルーマ成分（２１７−Y）は、HD EDR'信号２５５についてのルーマ推定値を生成するようルーマ予測器２４０によって処理される。ルーマおよびクロマ成分は、HD EDR'信号２５５についてのクロマ推定値を生成するようクロマ予測器２５０によっても処理される。ある実施形態では、クロマ予測器によってルーマ信号２１７−Yを処理する前に、ルーマ信号はクロマ成分の解像度に一致するよう、ダウンサンプラー２４５によってサブサンプリングされる。ルーマおよびクロマ予測器（２４０および２５０）は、エンコーダ１００におけるルーマおよびクロマ予測器（１４５および１４０）にマッチする。よって、ルーマ予測器２４０は多項式予測器であってもよく、クロマ予測器はMMR予測器であってもよい。ある実施形態では、これらの予測器の特性およびフィルタ・パラメータは、受領された符号化ビットストリームに埋め込まれているメタデータを使って決定されてもよい。ルーマおよびクロマ予測ステップ（２４０および２５０）に続いて、予測されたHD EDR'信号２５５は、UHD EDR'信号２６５を生成するようアップサンプリングされる（２６０）。

符号化されたビットストリーム１６２を与えられ、ELデコーダ２１０はそれをデコードしてUHD EDR残差信号２１２を生成する。ELデコーダ２１０はELエンコーダ１６０にマッチする。エンコーダ１００が非線形量子化器１５５を残差１６７に適用した場合、非線形量子化解除器（NLDQ: non-linear de-quantizer）２２０を適用して量子化解除された残差２２２を生成することによって、非線形量子化プロセスが反転される。エンコーダ（１００）が残差（１６７）に対して空間的ダウンサンプリングを適用した場合には、NLDQ（２２０）の前または後の空間的アップサンプラー（図示せず）が、デコードされた残差（たとえば２１２または２２２）をその適正な空間解像度にアップサンプリングしてもよい。UHD EDR'推定値２６５に残差２２２を加える（２２５）ことにより、デコーダ２００は、エンコーダによって伝送されたUHD EDR信号１２２の解像度およびカラー・フォーマット（たとえば4:2:0 YCbCr）にマッチするUHD EDR信号２２７を生成してもよい。目標用途に依存して、一組の色変換（２３０）がUHD EDR信号２３２を表示または他の処理に好適なフォーマットに変換してもよい。ある実施形態では、YCbCr 4:2:0信号２２７を与えられて、色変換２３０は4:2:0から4:4:4へのクロマ・アップサンプリング・ステップおよびそれに続くYCbCrからRGBへの色変換ステップを含んでいてもよい。

〈混合されたプログレッシブおよびインターレース・フォーマットのエンコードおよびデコード〉
プログレッシブ・ビデオ信号（たとえば720pまたは1080p）の採用が増えているにもかかわらず、インターレースされたビデオ信号（たとえば1080i）の放送は、ビデオ放送においていまだきわめて一般的である。もう一つの実施形態では、図３は、プログレッシブおよびインターレース・フォーマットの混合を使った層エンコードをサポートするUHD EDRエンコード・システム（３００）のもう一つの例を描いている。一例では、BL信号（３３２）はインターレース・フォーマット（たとえば1080iまたは2160i）で符号化され、一方EL信号（１６２）はプログレッシブ・フォーマット（たとえば2160p）で符号化される。

エンコード・システム（３００）は、エンコード・システム（１００）の機能の大半を共有するので、本節では、両システムの間の主要な相違のみを論じることにする。図３に描かれるように、基本層処理において、SDR信号（１０４）は、BLエンコーダ（１３０）を使ってエンコードのために好適なカラー・フォーマット（たとえば4:2:0 YCbCr）に色変換される。ある例示的な実施形態では、BLエンコーダ（１３０）の出力（３３２）はインターレースされたSDR信号を含んでいてもよい。インターレース器（３２０−A）は、プログレッシブ入力（１２８）を基本層信号（３３２）の所望される符号化解像度（たとえば1080i）のインターレースされた信号に変換するために、当技術分野で知られている任意のインターレースおよびダウンサンプリング技法を適用しうる。

システム（１００）に比べ、向上層では、システム（１００）の処理コンポーネント（１１０−A）（１１５−B）および（１２０−B）はみな、インターレース器（３２０−B）で置換されてもよい。インターレース器（３２０−B）は、プログレッシブ入力（１２２）をインターレースされた信号（１２６）の解像度にマッチするインターレースされた信号（１２４）に変換するために、当技術分野において既知の任意のインターレースおよびダウンサンプリング技法を適用しうる。ある好ましい実施形態では、（３２０−A）および（３２０−B）のダウンサンプリングおよびインターレース機能は、色アーチファクトを軽減し、全体的な画像符号化品質を改善するために、できるだけ互いと同一であるまたは近いべきである。

システム（３００）におけるルーマおよびクロマ予測器（１４５および１４０）は、システム（１００）のものと同じままであるが、今ではそれぞれの入力の別個のフィールドに対して作用する。今では信号（１２４）および（１２６）はインターレースされた信号だからである。

インターレース解除器（３５０）も二重の機能をもつ：予測されたHD EDR'の信号（３４７）をインターレース解除し、それをUHD EDR信号（１２２）の解像度にマッチするようアップサンプリングし、それにより、信号（１２２）と同じ解像度およびフォーマットをもつ予測されたUHD EDR'信号１５２を生成する。システム（３００）における残差（１６７）の処理はシステム（１００）について述べたのと同じままである。

いくつかの実施形態では、SDR信号（１０４）はすでにインターレースされたフォーマットになっていることがあり、その場合、インターフェース器（３２０−A）はダウンサンプラーで置換されてもよい。インターレース器（３２０−A）は、入力信号（１０４）がすでにインターレースされていて、適正な解像度になっていれば、なくされてもよい。

ある実施形態では、入力信号（１０２）および（１０４）はいずれもHD解像度信号（たとえば1080p）であってもよい。その場合、システム（３００）の出力は、符号化されたインターレースされたHD（たとえば1080i）基本層信号（３３２）および符号化されたプログレッシブHD（たとえば1080p）残差（１６２）を含んでいてもよい。

ある実施形態では、BL信号（３３２）および残差（１６２）はいずれも同じ解像度だが混合フォーマットであってもよい。たとえば、BL信号（３３２）は2160iで符号化されていてもよく、一方、EL信号（１６２）は2160pで符号化されていてもよい。

図４は、混合フォーマット・エンコーダ（３００）によって生成された信号をデコードするデコーダ・システム（４００）の例示的な実装の実施形態を描いている。システム（４００）はデコーダ・システム（２００）とほとんど同一であるが、次の相違点がある：ａ）デコードされたBL信号（４１７）は今ではインターレースされたビデオ信号である、（ｂ）ルーマおよびクロマ予測器（２４０および２５０）はインターレースされた信号（４１７）および（２４７）のフィールドに作用する、ｃ）予測されたHD EDR'信号（４５５）はインターレースされた信号である。

インターレース解除器（４６０）は機能において、システム（３００）のインターレース解除器（３５０）にマッチし、よって、インターレースされたHD EDR'信号（４５５）をインターレース解除し、アップサンプリングする。それにより、その出力であるUHD EDR'信号（４６５）は、デコードされた誤差残差信号（２２２）と同じ解像度およびフォーマットをもつ。

先述したように、システム（３００）は、非線形量子化器（１５５）の前または後のいずれかにEL経路における空間的ダウンサンプリング・モジュール（図示せず）をも含んでいてもよい。そのような場合、デコーダ（４００）では、デコードされた残差（２１２）をその適正な空間解像度に復元するために、NLDQ（２２０）の前または後の空間的アップサンプラーが使用されてもよい。

〈ルーマ・レンジ駆動の適応アップサンプリング〉
図１に描かれるように、ルーマおよびクロマ予測ステップ（１４０、１４５）に続いて、予測されたHD EDR'信号（１４７）は2倍アップサンプリングされ（１５０）、予測されたUHD EDR'信号１５２を生成する。同様のプロセスがデコーダ（２００）においても実行されており、ルーマおよびクロマ予測ステップ（２４０、２５０）に続いて、予測されたHD EDR'信号（２５５）が2倍アップサンプリングされて（２６０）、予測されたUHD EDR'信号（２６５）を生成する。アップサンプラー（１５０）および（２６０）は当技術分野において知られている任意のアップサンプリング技法を有していてよいが、本節において記述されるルーマ・レンジ駆動の適応アップサンプリング技法を用いることによって、改善された画質が達成されうる。

もとのEDR信号（１２２）とその予測された値（１５２）との間の予測誤差（１６７）が、対応するSDR信号（１０４）におけるルミナンス値に依存して変わりうることが観察されている。すなわち、画像中の明るいまたはハイライト領域における残差（１６７）は、暗いトーンまたは中間トーンにおける残差とは異なる型の特性を示す。ある実施形態では、SDR入力のルミナンス・レンジが二つ以上のルーマ・サブレンジに分割されてもよい。適応アップサンプリング・フィルタリング方法は、EDR予測画像の異なるピクセルに異なるアップサンプリング・フィルタを適用しうる。ここで、各フィルタは、SDR画像中の対応するピクセルのルーマ・サブレンジに従って選択される。エンコーダおよびデコーダの両方が改善された画質のために同じアップサンプリング・フィルタを適用しうるよう、これらのルーマ・サブレンジのそれぞれを同定する閾値ならびに使われるフィルタの識別情報および／またはフィルタ係数自身は、エンコーダ（１００）からデコーダ（２００）に、メタデータまたは他の補助データを介して通信されてもよい。

がHD EDR'信号（１４７）のルミナンス・ピクセル値を表わすとする。これは、BLエンコーダ（１３０）の出力のルミナンス値、すなわちSDR信号s_ij（１２６−Y）に基づいて予測される。th(i)（i＝0,N）がピクセルs_ijのルミナンス・レンジ（0≦s_ij≦1）を関心のあるN個のルーマ・レンジ（N≧1）に分割する一組の閾値を表わすとする（たとえば、N＝3については、黒、中間トーンおよびハイライトに分割）。H_iは、i番目の関心のあるルーマ・レンジについてステップ（１５０）または（２６０）で使われるi番目の（i＝1,N）アップサンプリング・フィルタについての一組のフィルタ係数を表わすとし、

がs_ijまたはそのローカルな近傍の関数を表わすとすると、ある実施形態では、アップサンプリング・フィルタリング（たとえば１５０または２６０）は、擬似コードで表わされる次のアルゴリズム１に従って実行されてもよい。

アルゴリズム１ − ルーマ・レンジ駆動のアップサンプリング・プロセス

いくつかの実施形態では、H_iは2D非分離可能フィルタのフィルタ係数を表わしていてもよい。他のいくつかの実施形態では、H_iは、限定するわけではないが水平方向および垂直方向のアップサンプリング・フィルタについての係数を含む、2D分離可能アップサンプリング・フィルタの係数を表わしていてもよい。フィルタ係数H_iは事前計算されてメモリに記憶されてもよく、何らかの画像品質基準に従って適応的に計算されてもよい。たとえば、ある実施形態では、フィルタ係数H_iは、アップサンプリング・フィルタの出力である予測されたUHD EDR'信号（１５２）と入力UHD EDR信号（１２２）との間の平均平方誤差が最小になるように計算されてもよい。

いくつかの実施形態では、

は関心のある単一のピクセル値（たとえばs_ijまたはs_ij-1）を表わしていてもよく、他のいくつかの実施形態では、

はs_ijの周囲の一つまたは複数のピクセルの局所的な平均または他の何らかの関数（たとえばメジアン、最小値または最大値）を表わしていてもよい。

ある実施形態では、閾値th(i)は、入力信号の画像統計（たとえば、黒、中間トーンまたはハイライトの平均値）に基づいて決定されてもよい。これらの統計は、ピクセル領域毎、フレーム毎またはシーン毎（たとえば同様のルミナンス特性をもつ逐次的なピクチャーの群）に計算されてもよい。いくつかの実施形態では、th(i)はフィルタリング設計プロセスの一部として逐次反復的に決定されてもよい。たとえば、フィルタ係数H_iが何らかの最適化基準、たとえば信号（１６７）の平均平方誤差（MSE）の最小化に基づいて計算される場合を考えると、ある実施形態では、アルゴリズム２は擬似コードにおいて、二つの限界を定める閾値（t_lowおよびt_high）を与えられて新しい閾値（th*）を決定する例示的な方法ならびに閾値探索きざみ（step）を記述している。

アルゴリズム２ − 二つのルーマ・サブレンジについての閾値決定（N＝2）
Partition_Function(t_low, t_high, step)〔分割関数〕
{
j=0;
Pth[100]; //可能な閾値（possible threshold）の配列
D[100]; //歪み（distortion）値の配列
for(t=t_low, th<=t_high, th=th+step)
{
Pth(j)＝th;
入力のs_ijピクセルを二つのルーマ・レンジA1およびA2に分割
ここで、

A1内のピクセルのみを考えてフィルタH₁を導出
A2内のピクセルのみを考えてフィルタH₂を導出
二つのフィルタH₁およびH₂を使ってアップスケーリングを実行して、アップスケーリングされた予測された信号

（１５２）を決定
誤差残差信号（１６７）のMSE、D(j)を計算

j++;
}
最適な閾値th*として、D(j)が最小になるPth(j)の値を定義：

計算されたth*についてフィルタ係数H₁およびH₂を計算
return(th*)+
}
。

上記の記述において、t_lowおよびt_highは閾値をさがしてもよい関心のある境界値を表わす。たとえば、ある実施形態では、t_low＝min(s_ij)＝0およびt_high＝max(s_ij)＝1（ここで、1は規格化された最大可能な値を表わす）が可能なルミナンス値のフル・レンジをカバーするが、他の実施形態では、境界値のレンジはずっと小さくてもよい。たとえば、時刻tにおける入力フレームについての閾値を計算することは、以前に、たとえば時刻t−1に計算された閾値を考慮に入れてもよい。よって、前の閾値を中心とするより小さな範囲（たとえば、Cが定数であるとして(th(i)−C,th(i)＋C)）内のみを探索する。

アルゴリズム２を与えられると、いくつかの実施形態では、同様のアプローチを使って、ピクチャー・フレームのルーマ・レンジを、追加的な閾値を使ってルミナンス・レンジの追加的なパーティションに細分してもよい。ある例示的な実施形態では、所与のルミナンス・レンジ（A,B）を二つまたは三つのルミナンス・サブレンジに細分するために、次のアルゴリズム（アルゴリズム３）が使用されてもよい。

アルゴリズム３ − 三つのルーマ・サブレンジについての閾値決定（N＝3）
//N＝2について閾値を決定する
TH*=Partition_Function(A,B,step)
D=D(TH*) //二つのパーティションを使って全体的な歪みを計算

//低バンドでさらなるパーティションを試す
TH_L*=Partition_Function(A,TH*,step)
DL=D(TH_L*) //三つのパーティションを使って全体的な歪みを計算

//高バンドでさらなるパーティションを試す
TH_H*=Partition_Function(TH*,B,step)
DH=D(TH_H*) //三つのパーティションを使って全体的な歪みを計算

If( (DL<DH) &&(DL<D) )
低バンドのパーティションを選択
th[]={A,TH_L*,TH*,B}
elseif( (DH<DL) && (DH<D) )
高バンドのパーティションを選択
th[]={A,TH*,TH_H*,B}
else
二つのパーティションのままとする
th[]={A,TH*,B]
end
。

アルゴリズム２および３によって計算された閾値はエンコーダ（１００）およびデコーダ（２００）の両方においてアルゴリズム１に適用されてもよい。ある実施形態では、計算された閾値はメタデータを使ってエンコーダ（１００）からデコーダ（２００）に伝送されてもよい。

先述したように、インターリーブ解除器（３５０）および（４６０）はインターリーブ解除およびアップサンプリングの機能を組み合わせてもよい。画像処理の分野の当業者は、アップサンプラー（１５０）および（１２６）の改善された設計のためのここで論じたルーマ・レンジ駆動の方法が、インターレース器（３５０）および（４６０）におけるアップサンプラーの設計においても適用されうることを理解するであろう。

〈適応的な残差処理〉
図１および図３に描かれるように、向上層（EL）において、残差信号（１６７）は、ELストリーム（１６２）を生成するようELエンコーダ（１６０）によって圧縮される前に、非線形量子化器（NLQ）（１５５）によって処理されてもよい。一般性を失うことなく、図５は、本発明のある実施形態に基づく、NLQ（１５５）についての例示的な入力‐出力関係を描いている。

図５に描かれるように、(−X_max,X_max)は関心のあるフレームまたはフレーム領域において符号化されるべき残差ピクセルx（１６７）のピクセル値のレンジを表わすとする。Levelは量子化器のそれぞれの側における利用可能な符号語の数を表わすとする（たとえば、x≧0についてLevel＝128）。すると、正の閾値Tを与えられて、

とする。すると、入力残差xを与えられると、xをレンジ(−X_max,X_max)内にクリッピングした後、図５の量子化動作は次のように表現されうる

ここで、Q(x)は量子化された出力を表わし、SLは(T,X_max)内でのQ(x)の傾きを表わし、Mは残差x＝0のときの出力符号語を表わすoffset〔オフセット〕値を表わす。閾値Tは比較的小さな数であり、いくつかの実施形態ではT＝0である。

パラメータT、M、X_maxおよびSLは、残差信号xの各色成分について別個に定義されてもよく、メタデータを使って受領器に通信されてもよい。いくつかの実施形態では、NLQ量子化パラメータの一つまたは複数はフレーム全体、フレームの一つまたは複数のパーティションもしくは部分領域または複数フレームの群（たとえばシーン）について定義されてもよい。

そのような量子化器を与えられると、受領器（たとえば（２００））上で、量子化解除プロセス（たとえばNLDQ（２２０））は次のように表現されうる

R_cmpは受領された（デコードされた）残差（またはEL信号（２１２））を表わし、＾付きのR_cmpは量子化解除された出力（２２２）を表わし、これもたとえば範囲

内に制限されていてもよい。

実験結果は、NLQ（１５５）のパラメータの適応的な設定と組み合わせた残差データ（１６７）の適正な前処理が、ELストリームのより効率的な符号化を与え、よって低減された符号化アーチファクトおよびよりよい全体的な画像品質につながりうることを示した。本節では、三つの残差前処理アルゴリズムが次に記述される。

〈標準偏差メトリックを使った残差の前置量子化（pre-quantization）〉
残差信号（１６７）の適正でない量子化および符号化は、特に比較的低いビットレート（たとえば0.5Mbits/s）でELストリームを符号化するとき、デコードされた信号（２３２）におけるブロック・アーチファクトを生じることがある。ある実施形態では、こうしたアーチファクトは、比較的「なめらかな」領域に位置されていると知覚されるある種の残差値を適応的に前置量子化する（pre-quantize）ことによって軽減されうる。本発明のある実施形態に基づくそのようなプロセスの例が図６Ａに描かれている。ここで、限定するわけではないが、各残差ピクセルのまわりの長方形のピクセル領域のなめらかさの測定は、その領域中のピクセルの標準偏差を計算することに基づく。

r_fiはf番目のフレームのi番目の残差ピクセルを表わすとする。このピクセルは、n_fiと記されるW_σ×W_σのピクセル領域（たとえばW_σ＝15）の中心にあるとする。すると、ステップ（６０２）において、このピクセルについての標準偏差σ_fiは次のように決定される。

閾値T_σを与えられて、ステップ（６０６）では、σ_fi＜T_σであれば、残差ピクセルr_fiは所定の値（たとえば0）に設定されてもよい。閾値T_σは固定されていてもよく、あるいはある好ましい実施形態では、残差フレーム特性および全体的なビット・レート要求に依存して適応的に決定されてもよい。たとえば、P_fはf番目のフレームにおけるピクセルの総数を表わすとする。σ_fiはステップ（６０２）における計算された標準偏差値を表わすとする。ステップ（６０４）では、T_σは次のように決定されてもよい：
（ａ）σ_fiを降順にソートして、ソートされた

リストを生成する
（ｂ）すると、T_σは

ソートされたリストにおけるk*P_f
番目の値である。ここで、kは範囲（0.0から1.0）において定義される。たとえば、k＝0.25について、1920×1080のフレームを与えられると、T_σは上記ソートされたリストにおける518,400番目の標準偏差値の値に対応する。

なめらかさを計算する代替的な方法は、W_σ×W_σピクセルの平均または分散を計算することまたは各ピクセルのまわりの領域のエッジ・マップに基づくメトリックを計算することまたは当技術分野において既知の他の何らかのなめらかさ検出および決定アルゴリズムを含んでいてもよい。

〈残差末尾境界調節〉
X_f ⁺がフレームfにおける最大の正の残差値を表わし、X_f ^-がフレームfにおける最小の負の残差値の絶対値を表わすとする。すると、
X_f ⁺＝max{r_fi| i＝0,…,P_f−1}
X_f ^-＝|min{r_fi| i＝0,…,P_f−1}|
となる。

図５に描かれるように、量子化器の入力境界はX_f ⁺およびX_f ^-を使って決定されることができる（たとえばX_max＝X^f ₊）。しかしながら、実験結果によれば、残差値は釣り鐘状の分布をもち、典型的にはX_f ⁺またはX_f ^-のいずれかに近い各フレーム中のピクセルは非常に少数であることが示されている。先述したように、図５に描かれる量子化器について、量子化きざみはX_max/Levelに比例する。固定数（たとえばLevelの値）の符号語については、量子化に起因する歪みはX_maxの値にじかに比例する。よって、より小さなX_maxが好ましい。ある実施形態では、X_f ⁺またはX_f ^-に従ってX_maxを決定する代わりに、新しい、より小さな範囲[Th_f-,Th_f+]が決定される。NLQ（１５５）を適用する前に、残差ピクセル値は新しい範囲[Th_f-,Th_f+]内に収まるよう制約される（またはクリッピングされる）。ここで、フレームfについて、Th_f+は正の残差についての境界を表わし、Th_f-は負の残差についての境界を表わす。すなわち、
r_fi＝clip3(r_fi,Th_f-,Th_f+)
である。ここで、clip3()関数は、Th_f+より大きな残差ピクセル値はTh_f+にクリッピングされ、Th_f-より小さな残差ピクセル値はTh_f-にクリッピングされることを表わす。

NLQプロセスについてのより小さな入力レンジは量子化に起因するより小さな誤差を与えるが、残差信号の制約されないクリッピングは知覚できるアーチファクトを与えることがある。よって、残差信号の特性に応じて新しいレンジの選択を適応する必要がある。ある実施形態では、これら二つの閾値は、残差ピクセル値の観察される接続性（または疎である度合い）に基づいて適応的に決定される。すなわち、非常に大きな値をもつ孤立した残差ピクセルは全体的な品質に対する影響は最小限でクリッピングされてもよいが、接続された残差ピクセルのピクセル値は適正に符号化されるべきである。本発明のある実施形態に基づく、そのような境界決定プロセスの例示的な実装は図６Ｂにおいてプロセス（６５０）によって描かれている。

プロセス（６５０）は、Th以上の残差ピクセル値が疎に接続されていると考えられ、よってクリッピングされることができるという条件を満たす閾値Thを計算する。プロセス（６５０）は、入力残差値に依存してTh_f-またはTh_f+境界のいずれかを計算するために使われてもよい。たとえば、Th_f+＝Thを決定するためには、本プロセスは、たとえばレンジ(0,X_f ⁺)内の正の残差ピクセル値のみを考える。

Th_f-＝Thを決定するためには、本プロセスは、たとえばレンジ(0,X_f ^-)内の負の残差ピクセル値の絶対値のみを考える。

ステップ（６１０）では、本プロセスは初期値を閾値Thに設定することによって始まる。よって、r_fiのもとの境界を与えられて（たとえば、Th_L＝0およびTh_H＝X_f ⁺またはTh_H＝X_f ^-）、ある例示的な実施形態では、初期閾値が既知のレンジの中央の値に設定されてもよい。たとえば、
Th＝(Th_H＋Th_L)/2
となる。

閾値Thを与えられて、ステップ（６１２）では、二値マップM_fが生成される。ここで、二値マップの要素は
m_fi＝(R_fi≧Th)
M_f(i)＝m_fi
として計算される。

M_fを与えられて、ステップ（６１４）において、各二値ピクセルの接続性を決定できる。たとえば、MATLABでは、近傍接続性（たとえば4ピクセルまたは8ピクセル接続された近傍）は、関数bwconncompを使って計算できる。NC_f(i)が二値画像M_fにおける各ピクセルの近傍ピクセルの数を表わすとする。ステップ（６１８）では、ピクセルの接続性が所定の接続性閾値T_cc（たとえばT_cc＝5ピクセル）を超える場合には該ピクセルはクリッピングされないよう、閾値Thが調節されてもよい。たとえば、すべてのピクセルにわたる最大ピクセル接続性が所定の接続性閾値T_ccを超える場合、閾値Thは増加させられてもよく、そうでない場合には減少させられてもよい。たとえば、二分探索を使って、
if(max{NC_f(i)}≧T_cc) //各ピクセルについての最大接続性がT_ccを超える
Th_L＝Th;
else
Th_H＝Th;
Th_old＝Th:
Th＝(TH_H＋Th_L)/2;
。

計算量を減らすために、ある実施形態では、本プロセスは収束試験ステップ（６２０）を含んでいてもよい。たとえば、収束ステップ（６２０）は、前の（または古い）閾値と新しい閾値との間の差を計算してもよい。それらの差が所定の収束閾値より大きい場合には、プロセスは再びステップ（６１２）から、新たな閾値を用いて継続される。そうでない場合には、プロセスは終了し、使用されるべき最終的な境界を出力する（たとえば、Th_f+＝Th）。

〈シーンに基づく非線形量子化〉
先に論じたように、いくつかの実施形態では、非線形量子化（１５５）は以下のパラメータ：X_max、offset（たとえばM）およびLevelを使って表現されてもよい（図５に関係した議論も参照）。いくつかの実施形態では、これらのパラメータを、フレームのシーケンス、たとえばシーンにおける残差ピクセル特性を使って決定することが有益であることがある。

F個のフレームのシーケンスについてのX_f ⁺およびX_f ^-の値を与えられて、
X⁺＝max{X_f ⁺|f＝1,…,F}
X^-＝max{X_f ^-|f＝1,…,F}
とする。

すると、非線形量子化器のパラメータは、シーン全体について次のように設定されてもよい。

ここで、EL_bitdepthはELエンコーダ（１６０）のビット深さを表わし（たとえばEL_bitdepth＝8）、Δは小さな正の値（たとえばΔ＝0.1）を表わす。ある実施形態では、クロマ成分について、量子化レベルの数は次式を使って決定されてもよい。

もう一つの実施形態では、X_f ⁺およびX_f ^-の値は、先に計算された対応するTh_f+およびTh_f-の値で置き換えられてもよい。

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したようなUHD EDR信号に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したようなUHD EDR信号の符号化に関係する多様なパラメータまたは値の任意のものを計算してもよい。エンコードおよびデコード実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したようなUHD EDR信号の符号化に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（たとえば機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

〈等価物、拡張、代替その他〉
このように、UHD EDR信号の後方互換な符号化および復号に関係する例示的な実施形態が記載されている。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様１〕
後方互換な層構成にされたストリームにおいて入力ビデオ・データをエンコードする方法であって：
第一の空間解像度および第一のダイナミックレンジをもつ第一の信号にアクセスする段階と；
第二の空間解像度および第二のダイナミックレンジをもつ第二の信号にアクセスする段階であって、前記第二のダイナミックレンジは前記第一のダイナミックレンジより低い、段階と；
前記第二の信号に応答して、プロセッサにより、ある好ましい符号化カラー・フォーマットをもつ基本層信号を生成する段階と；
前記第一の信号に応答して、前記プロセッサにより、前記第二の空間解像度、前記第一のダイナミックレンジおよび前記好ましい符号化カラー・フォーマットをもつ参照予測信号を生成する段階と；
前記参照予測信号のルーマ・ピクセル値および前記基本層信号のルーマ・ピクセル値に応答してルーマ予測器のためのルーマ予測係数を計算する段階と；
前記参照予測信号のルーマおよびクロマ・ピクセル値および前記基本層信号のルーマおよびクロマ・ピクセル値両方に応答してクロマ予測器のためのクロマ予測係数を計算する段階と；
前記基本層信号および前記ルーマおよびクロマ予測係数に応答して、前記ルーマ予測器および前記クロマ予測器を使って前記第一のダイナミックレンジをもつ予測された信号を生成する段階と；
前記第一の信号および前記予測された信号に応答して残差信号を生成する段階と；
前記基本層信号に応答して基本層エンコーダを使って符号化された基本層ストリームを生成する段階と；
前記残差信号に応答して向上層エンコーダを使って符号化された向上層ストリームを生成する段階とを含む、
方法。
〔態様２〕
前記第一の空間解像度が超高精細度（UHD）解像度であり、前記第二の空間解像度が高精細度（HD）空間解像度である、態様１記載の方法。
〔態様３〕
前記第一のダイナミックレンジは高または向上ダイナミックレンジであり、前記第二のダイナミックレンジは標準ダイナミックレンジである、態様１記載の方法。
〔態様４〕
前記好ましいカラー・フォーマットがYCbCr 4:2:0を含む、態様１記載の方法。
〔態様５〕
前記ルーマ予測器が、予測される信号のルーマ成分のピクセル値が入力信号のルーマ・ピクセル値のみに基づいて予測される、多項式予測器を含む、態様１記載の方法。
〔態様６〕
前記クロマ予測器が、予測される信号のクロマ成分のピクセル値が入力信号のルーマおよびクロマ値の両方に基づいて予測される複数色チャネル多重回帰（MMR）予測器を含む、態様１記載の方法。
〔態様７〕
前記符号化された向上層ストリームを生成する前に、前記残差信号を非線形量子化器によって処理する段階をさらに含む、態様１記載の方法。
〔態様８〕
前記ルーマ予測係数および前記クロマ予測係数に応答してメタデータを生成し、該メタデータをデコーダに伝送することをさらに含む、態様１記載の方法。
〔態様９〕
層構成にされたストリームをデコードする方法であって：
符号化されたビットストリームを受領する段階であって、前記符号化されたビットストリームは、第一の空間解像度および第一のダイナミックレンジをもつ符号化された向上層（EL）ストリームおよび第二の空間解像度および第二のダイナミックレンジをもつ符号化された基本層（BL）ストリームを含んでおり、前記第一のダイナミックレンジは前記第二のダイナミックレンジより高い、段階と；
前記符号化されたBLストリームを、BLデコーダを使ってデコードして、デコードされたBL信号を生成する段階と；
前記デコードされたBL信号に応答して、前記第一のダイナミックレンジをもつ予測された信号を生成する段階であって、前記予測された信号のルーマ・ピクセル値は前記デコードされたBL信号のルーマ・ピクセル値のみに基づいて予測され、前記予測された信号の少なくとも一つのクロマ成分のクロマ・ピクセル値は前記デコードされたBL信号の前記ルーマおよびクロマ・ピクセル値両方に基づいて予測される、段階と；
前記符号化されたELストリームをELデコーダを使ってデコードしてデコードされた残差信号を生成する段階と；
前記デコードされた残差信号および前記予測された信号に応答して、前記第一の解像度および前記第一のダイナミックレンジをもつ出力信号を生成する段階とを含む、
方法。
〔態様１０〕
前記出力信号を生成する前に、前記デコードされた残差信号を非線形量子化解除器によって処理する段階をさらに含む、態様９記載の方法。
〔態様１１〕
前記第一の空間解像度が前記第二の空間解像度より高く、前記予測された信号を適用して前記出力信号を生成する前に、前記予測された信号はアップサンプリングされて、前記第一の空間解像度をもつアップサンプリングされた予測された信号を生成する、態様９記載の方法。
〔態様１２〕
前記第一の空間解像度が超高精細度（UHD）解像度であり、前記第二の空間解像度が高精細度（HD）空間解像度である、態様１１記載の方法。
〔態様１３〕
前記第一のダイナミックレンジは高または向上ダイナミックレンジであり、前記第二のダイナミックレンジは標準ダイナミックレンジである、態様９記載の方法。
〔態様１４〕
前記残差信号を生成する段階がさらに：
アップスケーリング・プロセスを使って前記予測された信号をアップスケーリングして、前記第一の空間解像度をもつアップスケーリングされた予測された信号を生成する段階と；
前記第一の信号および前記アップスケーリングされた予測された信号に応答して、前記残差信号を生成する段階とをさらに含む、
態様１記載の方法。
〔態様１５〕
前記アップスケーリングされた予測された信号を生成する段階が：
前記予測された信号における一つまたは複数のピクセルについて、ルーマ閾値および選択基準を適用して、前記第二の信号における対応するピクセルのルミナンス・サブレンジを選択する段階と；
前記予測された信号における前記一つまたは複数のピクセルに、前記ルミナンス・サブレンジについて決定されたアップスケーリング・フィルタを適用して、前記アップスケーリングされた予測された信号についての対応するピクセル値を生成する段階とを含む、
態様１４記載の方法。
〔態様１６〕
前記ルーマ閾値および前記ルミナンス・サブレンジについての前記アップスケーリング・フィルタに関係した情報を、デコーダに伝達することをさらに含む、態様１５記載の方法。
〔態様１７〕
前記アップサンプリングされた予測された信号を生成する段階がさらに：
エンコーダから、ルミナンス・レンジをルミナンス・サブレンジに分割するルーマ閾値を受領する段階と；
前記ルミナンス・サブレンジのそれぞれについてアップスケール・フィルタ情報を前記エンコーダから受領する段階と；
前記予測された信号における一つまたは複数のピクセルについて、前記ルーマ閾値および選択基準を適用して、前記デコードされたBL信号における一つまたは複数の対応するピクセルについて、前記ルミナンス・サブレンジのうちのあるルミナンス・サブレンジを選択する段階と；
前記予測された信号における前記一つまたは複数のピクセルに、前記ルミナンス・サブレンジに対応するアップスケーリング・フィルタを適用して、前記アップスケーリングされた予測された信号についての対応するピクセル値を生成する段階とを含む、
態様１１記載の方法。
〔態様１８〕
前記デコードされたBL信号がインターレースされた信号を含み、前記出力信号を生成する段階がさらに：
前記予測された信号をアップサンプリングおよびインターレース解除して、前記第一の空間解像度をもつプログレッシブなアップサンプリングされた予測された信号を生成する段階と；
前記デコードされた残差信号および前記プログレッシブなアップサンプリングされた予測された信号に応答して、前記第一の解像度および前記第一のダイナミックレンジをもつ前記出力信号を生成する段階とを含む、
態様９記載の方法。
〔態様１９〕
前記第一の解像度が前記第二の解像度と同じである、態様１記載の方法。
〔態様２０〕
前記第一の解像度が前記第二の解像度と同じである、態様９記載の方法。
〔態様２１〕
層構成にされたビデオ・エンコーダの向上層における残差ピクセル・データを前処理する方法であって：
残差ピクチャー・フレームにおける残差ピクセル値にアクセスする段階であって、前記残差ピクセル値は非線形量子化器によって処理されるものである、段階と；
前記残差ピクチャー・フレームにおける一つまたは複数の残差ピクセルについて一つまたは複数のなめらかさメトリック値を計算する段階と；
前記一つまたは複数の残差ピクセル値のうち対応するなめらかさメトリック値がある閾値より小さいものを所定の値に設定する段階とを含む、
方法。
〔態様２２〕
計算された前記一つまたは複数のなめらかさメトリック値を降順にソートして、ソートされたなめらかさメトリック値のリストを生成する段階と；
前記なめらかさメトリック値の一つを、前記閾値として選択する段階とをさらに含む、
態様２１記載の方法。
〔態様２３〕
残差ピクセルについての前記なめらかさメトリック値が、当該残差ピクセルのまわりの領域におけるピクセル値の標準偏差に基づいて計算される、態様２１記載の方法。
〔態様２４〕
層構成にされたビデオ・エンコーダの向上層における残差ピクセル・データについての非線形量子化器における入力レンジ・パラメータを決定する方法であって：
残差ピクチャー・フレームにおける残差ピクセル値にアクセスする段階であって、前記残差ピクセル値は前記非線形量子化器によって処理されるものである、段階と；
ａ）第一の閾値を設定する段階と；
ｂ）前記第一の閾値に基づいて前記残差ピクチャー・フレームの二値マップを生成する段階と；
ｃ）前記二値マップ内のピクセルについて最大ピクセル接続性を計算する段階と；
ｄ）計算された最大ピクセル接続性および接続性閾値基準に基づいて第二の閾値を生成する段階と；
ｅ）段階ｂ）、ｃ）、ｄ）を繰り返すまたは前記第二または第一の閾値を前記非線形量子化器の入力レンジ境界値として出力する段階とを含む、
方法。
〔態様２５〕
段階ｄ）がさらに：
前記計算された最大接続性が前記接続性閾値基準より大きい場合には前記第一の閾値を増大させる、あるいは前記計算された最大接続性が前記接続性閾値基準より小さい場合には前記第一の閾値を減少させることによって、前記第二の閾値を生成する段階を含む、
態様２３記載の方法。
〔態様２６〕
前記第一の閾値と前記第二の閾値との間の差がある収束閾値より大きいと判定される場合に、段階ｂ）、ｃ）、ｄ）が繰り返される、態様２３記載の方法。
〔態様２７〕
プロセッサを有し、態様１、９または２４のうちいずれか一項記載の方法を実行するよう構成されている装置。
〔態様２８〕
態様１、９または２４のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令が記憶されている、非一時的なコンピュータ可読記憶媒体。

Claims (27)

1. 後方互換な層構成にされたストリームにおいて入力ビデオ・データをエンコードする方法であって：
   第一の空間解像度および第一のダイナミックレンジをもつ第一の信号にアクセスする段階と；
   第二の空間解像度および第二のダイナミックレンジをもつ第二の信号にアクセスする段階であって、前記第二のダイナミックレンジは前記第一のダイナミックレンジより低い、段階と；
   前記第二の信号に応答して、プロセッサにより、ある好ましい符号化カラー・フォーマットをもつ基本層信号を生成する段階と；
   前記第一の信号に応答して、前記プロセッサにより、前記第二の空間解像度、前記第一のダイナミックレンジおよび前記好ましい符号化カラー・フォーマットをもつ参照予測信号を生成する段階と；
   前記参照予測信号のルーマ・ピクセル値および前記基本層信号のルーマ・ピクセル値に応答して、ただし前記参照予測信号や前記基本層信号のクロマ・ピクセル値にはよらずに、ルーマ予測器のためのルーマ予測係数を計算する段階と；
   前記参照予測信号のルーマおよびクロマ・ピクセル値および前記基本層信号のルーマおよびクロマ・ピクセル値両方に応答してクロマ予測器のためのクロマ予測係数を計算する段階と；
   前記基本層信号および前記ルーマおよびクロマ予測係数に応答して、前記ルーマ予測器および前記クロマ予測器を使って前記第一のダイナミックレンジをもつ予測された信号を生成する段階と；
   前記第一の信号および前記予測された信号に応答して残差信号を生成する段階と；
   前記基本層信号に応答して基本層エンコーダを使って符号化された基本層ストリームを生成する段階と；
   前記残差信号に応答して向上層エンコーダを使って符号化された向上層ストリームを生成する段階とを含む、
   方法。
2. 前記第一の空間解像度が超高精細度（UHD）解像度であり、前記第二の空間解像度が高精細度（HD）空間解像度である、請求項１記載の方法。
3. 前記第一のダイナミックレンジは高または向上ダイナミックレンジであり、前記第二のダイナミックレンジは標準ダイナミックレンジである、請求項１記載の方法。
4. 前記好ましいカラー・フォーマットがYCbCr 4:2:0を含む、請求項１記載の方法。
5. 前記ルーマ予測器が、予測される信号のルーマ成分のピクセル値が入力信号のルーマ・ピクセル値のみに基づいて予測される、多項式予測器を含む、請求項１記載の方法。
6. 前記クロマ予測器が、予測される信号のクロマ成分のピクセル値が入力信号のルーマおよびクロマ値の両方に基づいて予測される複数色チャネル多重回帰（MMR）予測器を含む、請求項１記載の方法。
7. 前記符号化された向上層ストリームを生成する前に、前記残差信号を非線形量子化器によって処理する段階をさらに含む、請求項１記載の方法。
8. 前記ルーマ予測係数および前記クロマ予測係数に応答してメタデータを生成し、該メタデータをデコーダに伝送することをさらに含む、請求項１記載の方法。
9. 層構成にされたストリームをデコードする方法であって：
   符号化されたビットストリームを受領する段階であって、前記符号化されたビットストリームは、第一の空間解像度および第一のダイナミックレンジをもつ符号化された向上層（EL）ストリームおよび第二の空間解像度および第二のダイナミックレンジをもつ符号化された基本層（BL）ストリームを含んでおり、前記第一のダイナミックレンジは前記第二のダイナミックレンジより高い、段階と；
   前記符号化されたBLストリームを、BLデコーダを使ってデコードして、デコードされたBL信号を生成する段階と；
   前記デコードされたBL信号に応答して、前記第一のダイナミックレンジをもつ予測された信号を生成する段階であって、前記予測された信号のルーマ・ピクセル値は前記デコードされたBL信号のルーマ・ピクセル値のみに基づいて予測され、前記予測された信号の少なくとも一つのクロマ成分のクロマ・ピクセル値は前記デコードされたBL信号の前記ルーマおよびクロマ・ピクセル値両方に基づいて予測される、段階と；
   前記符号化されたELストリームをELデコーダを使ってデコードしてデコードされた残差信号を生成する段階と；
   前記デコードされた残差信号および前記予測された信号に応答して、前記第一の解像度および前記第一のダイナミックレンジをもつ出力信号を生成する段階とを含む、
   方法。
10. 前記出力信号を生成する前に、前記デコードされた残差信号を非線形量子化解除器によって処理する段階をさらに含む、請求項９記載の方法。
11. 前記第一の空間解像度が前記第二の空間解像度より高く、前記予測された信号を適用して前記出力信号を生成する前に、前記予測された信号はアップサンプリングされて、前記第一の空間解像度をもつアップサンプリングされた予測された信号を生成する、請求項９記載の方法。
12. 前記第一の空間解像度が超高精細度（UHD）解像度であり、前記第二の空間解像度が高精細度（HD）空間解像度である、請求項１１記載の方法。
13. 前記第一のダイナミックレンジは高または向上ダイナミックレンジであり、前記第二のダイナミックレンジは標準ダイナミックレンジである、請求項９記載の方法。
14. 前記残差信号を生成する段階がさらに：
    アップスケーリング・プロセスを使って前記予測された信号をアップスケーリングして、前記第一の空間解像度をもつアップスケーリングされた予測された信号を生成する段階と；
    前記第一の信号および前記アップスケーリングされた予測された信号に応答して、前記残差信号を生成する段階とをさらに含む、
    請求項１記載の方法。
15. 前記アップスケーリングされた予測された信号を生成する段階が：
    前記予測された信号における一つまたは複数のピクセルについて、ルミナンス・レンジをルミナンス・サブレンジに分割する諸ルーマ閾値を適用して、前記第二の信号における対応するピクセルが属するルミナンス・サブレンジを決定する段階と；
    前記予測された信号における前記一つまたは複数のピクセルに、前記ルミナンス・サブレンジについて決定されたアップスケーリング・フィルタを適用して、前記アップスケーリングされた予測された信号についての対応するピクセル値を生成する段階とを含む、
    請求項１４記載の方法。
16. 前記諸ルーマ閾値と、前記ルミナンス・サブレンジについての前記アップスケーリング・フィルタに関係した情報とを、デコーダに伝達することをさらに含む、請求項１５記載の方法。
17. 前記アップサンプリングされた予測された信号を生成する段階がさらに：
    エンコーダから、ルミナンス・レンジをルミナンス・サブレンジに分割する諸ルーマ閾値を受領する段階と；
    前記ルミナンス・サブレンジのそれぞれについてアップスケール・フィルタ情報を前記エンコーダから受領する段階と；
    前記予測された信号における一つまたは複数のピクセルについて、前記諸ルーマ閾値を適用して、前記デコードされたBL信号における一つまたは複数の対応するピクセルについて、前記ルミナンス・サブレンジのうちの、該対応するピクセルが属するルミナンス・サブレンジを決定する段階と；
    前記予測された信号における前記一つまたは複数のピクセルに、前記ルミナンス・サブレンジに対応するアップスケーリング・フィルタを適用して、前記アップスケーリングされた予測された信号についての対応するピクセル値を生成する段階とを含む、
    請求項１１記載の方法。
18. 前記デコードされたBL信号がインターレースされた信号を含み、前記出力信号を生成する段階がさらに：
    前記予測された信号をアップサンプリングおよびインターレース解除して、前記第一の空間解像度をもつプログレッシブなアップサンプリングされた予測された信号を生成する段階と；
    前記デコードされた残差信号および前記プログレッシブなアップサンプリングされた予測された信号に応答して、前記第一の解像度および前記第一のダイナミックレンジをもつ前記出力信号を生成する段階とを含む、
    請求項９記載の方法。
19. 前記第一の解像度が前記第二の解像度と同じである、請求項１記載の方法。
20. 前記第一の解像度が前記第二の解像度と同じである、請求項９記載の方法。
21. 請求項１記載の方法であって、前記後方互換な層構成にされたストリームの向上層における、非線形量子化器によって処理されるべき残差ピクセル・データを前処理する方法をさらに含み、前記前処理する方法は：
    残差ピクチャー・フレームにおける残差ピクセル値にアクセスする段階と；
    前記残差ピクチャー・フレームにおける一つまたは複数の残差ピクセルについて一つまたは複数のなめらかさメトリック値を計算する段階と；
    前記一つまたは複数の残差ピクセル値のうち対応するなめらかさメトリック値がある閾値より小さいものを所定の値に設定する段階とを含む、
    方法。
22. 前記前処理する方法が：
    計算された前記一つまたは複数のなめらかさメトリック値を降順にソートして、ソートされたなめらかさメトリック値のリストを生成する段階と；
    前記なめらかさメトリック値の一つを、前記リストにおけるその位置に基づいて前記閾値として選択する段階とをさらに含む、
    請求項２１記載の方法。
23. 残差ピクセルについての前記なめらかさメトリック値が、当該残差ピクセルのまわりの領域におけるピクセル値の標準偏差に基づいて計算される、請求項２１記載の方法。
24. 請求項１記載の方法を実行するよう構成されている装置。
25. 請求項９記載の方法を実行するよう構成されている装置。
26. 請求項１記載の方法をコンピュータに実行させるためのコンピュータ実行可能命令が記憶されている、非一時的なコンピュータ可読記憶媒体。
27. 請求項９記載の方法をコンピュータに実行させるためのコンピュータ実行可能命令が記憶されている、非一時的なコンピュータ可読記憶媒体。

Images