JP6771656B2 - シングルレイヤー後方互換性コーデックのリアルタイム再構成 - Google Patents

Description

関連出願への相互参照
本願は、２０１６年８月３０日に出願された米国仮特許出願第６２／３８１，２３３号および２０１６年８月３０日に出願された欧州特許出願第１６１８６３９２．３号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。

技術
本発明は、概して画像の符号化および復号化に関する。より詳細には、本発明の一実施形態は、画像の後方互換性符号化および復号化のリアルタイムシングルレイヤー再構成に関する。

背景
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗い黒（暗）から最も明るい白（ハイライト）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されなければ、この用語は、どちらの意味にも（例えば、交換可能に）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）においておよそ１４〜１５桁以上にわたるＤＲ幅に関する。実際において、人間は、幅広い強度範囲を同時に知覚し得るが、そのＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする）がシーンまたは画像において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関し得る。従って、真のシーンリファードなＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際において、画像は１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。

あるディスプレイについてのリファレンス電気−光伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ ｖａｌｕｅｓ）（例えば、輝度）間の関係を特徴づけて、そのディスプレイによって生成される出力スクリーン明度（例えば、スクリーン輝度）を出力する。例えば、その開示内容を全て本願に援用するＩＴＵ Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．１８８６、「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（２０１１年３月）では、陰極線管（ＣＲＴ）の測定された特性に基づいて、フラットパネルディスプレイ用のリファレンスＥＯＴＦを定義している。ある映像ストリームが与えられたとき、そのＥＯＴＦに関する情報は典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、用語「メタデータ」は、符号化ビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータなどを含むが、これらに限定されない。

ほとんどのコンシューマー用デスクトップディスプレイは、現在２００〜３００ｃｄ／ｍ^２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは、３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ^２）に達する。従って、このようなディスプレイは、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。撮像機器（例えば、カメラ）およびＨＤＲディスプレイ（例えば、Ｄｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）における進歩によってＨＤＲコンテンツの普及が進むにつれ、ＨＤＲコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力（例えば、０から１０，０００ニトなど）をサポートする別のＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容を全て本願に援用するＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」に定義されている。本発明者らの理解によれば、多様なディスプレイデバイスをサポートするために使用され得る可逆的プロダクション品質（ｐｒｏｄｕｃｔｉｏｎ−ｑｕａｌｉｔｙ）シングルレイヤー映像信号を符号化および復号化するための技術を向上させる必要がある。

本明細書において、用語「順方向再構成」は、ＨＤＲ画像をその元のビット深度からより低いかまたは同一のビット深度の画像へマッピング（または量子化）することで、既存の符号化規格または機器を用いてその画像を圧縮することを可能にする処理を表す。受信側は、再構成された信号を展開した後、逆再構成関数を適用して、信号をその元のハイダイナミックレンジに復元し得る。本発明者らの理解によれば、ハイダイナミックレンジ画像の画像再構成のための技術を向上させる必要がある。

順方向再構成ルックアップテーブル（ＬＵＴ）は、順方向再構成のマッピングまたは量子化を格納した表である。

本明細書において、後方互換性という用語は、ＳＤＲ、Ｄｏｌｂｙメタデータを用いたＳＤＲ、およびＨＤＲを交換可能に用いて機能するように設計されたハードウエアおよび／またはソフトウエアを表す。圧縮された映像ビットストリームが存在するならば、ＳＤＲが視聴され得る。ＳＤＲおよびＤｏｌｂｙメタデータが圧縮された映像ストリーム内に含まれるならば、映像は、ＳＤＲまたはＨＤＲで視聴され得る。潜在するビットストリームは、ＡＶＣ、ＨＥＶＣ、ＶＰ９、または任意の将来のコーデックなどの任意のコーデックによって符号化され得る。

リアルタイムという用語は、リアルタイムアーキテクチャおよび／またはリアルタイム実現（ｒｅａｌ−ｔｉｍｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ）を指し得る。リアルタイムアーキテクチャは、処理のためのデータが処理の時点で利用可能にされる（例えば、現タイムインスタンスにおいて利用可能でないデータにほとんどまたは全く依存しないので、データ依存による遅れができるだけ小さくなる）アーキテクチャを指し得る。リアルタイム実現は、処理が固定の時間間隔内で行われ得る（例えば、平均処理時間は、所定数のフレーム以内で行われ得る（例えば、短時間で結果を出すことができる最適化アルゴリズムなど））ものである。このように、リアルタイムアーキテクチャは、処理の時点に時間的に近いデータを提供し、リアルタイム実現は、所定数のフレーム以内で行われ得る（すなわち、短時間で処理される）アルゴリズムにおいて、この時間的に近いデータを使用する。本開示は、その両方の特徴に関する。最適化されたリアルタイム結果を達成することは、リアルタイムアーキテクチャとともに機能するリアルタイム実現を用いて最適に実現され得ることが理解される。

シングルレイヤーという用語は、圧縮された映像ビットストリームを表す。２つの異なるビットストリームが配信され得る。第１のストリームは、圧縮された画素情報を含む、ＡＶＣ、ＨＥＶＣなどの圧縮された映像ビットストリームであり、ＳＤＲである。ビットストリームは、任意の従来のデバイスによって復号され得る。第２のストリームは、逆方向再構成関数を含むＤｏｌｂｙメタデータを有する。第１のストリームを用いる場合、映像は、ＳＤＲで視聴され得る。第１のストリームおよび第２のストリームの両方が存在するならば、映像は、ＨＤＲで視聴され得る。圧縮された映像ビットストリームである第１のストリームは、Ｄｏｌｂｙメタデータを含まない。

本明細書において、中心傾向という用語は、平均値（ａｖｅｒａｇｅ）、平均値（ｍｅａｎ）、中央値、モード、分布の中心、最小絶対偏差、散布度、範囲、分散、標準偏差などのうちの少なくとも１つを尖度と共に記載するための尺度である。例えば、データセットの中央がどこに位置するかを示す尺度である。線形非線形組合せという用語は、代表値（ｃｅｎｔｒａｌ ｔｅｎｄｅｎｃｙ ｍｅａｓｕｒｅ）を参照する際に使用され得る。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

本発明の一実施形態を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。

図１は、本開示の一実施形態に係る概要例を図示する。 図２は、本開示の一実施形態に係るリアルタイム再構成器例を図示する。 図３Ａは、本開示の一実施形態に係るルマ再構成例を図示する。 図３Ｂは、本開示の一実施形態に係るルマ再構成例を図示する。 図４は、本開示の一実施形態に係る統計スライディングウィンドウおよび中心傾向スライディングウィンドウの例を示す。 図５は、本開示の一実施形態に係るクロマ再構成例を図示する。 図６は、本開示の一実施形態に係る第１のクロマ再構成システム例を図示する。 図７は、本開示の一実施形態に係る第２のクロマ再構成システム例を図示する。 図８は、本開示の一実施形態に係るコンテンツ依存多項式例を図示する。 図９は、本開示の一実施形態に係るシェーダ（ｓｈａｄｅｒ）制御を図示する。 図１０は、本開示の一実施形態に係る第３のクロマ再構成システム例を図示する。

例示的な実施形態の説明
本明細書において、可逆的プロダクション品質シングルレイヤー映像信号の符号化および復号化を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

本開示の第１の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも１つのルックバック（ｌｏｏｋ−ｂａｃｋ）フレームと、少なくとも１つのルックアヘッド（ｌｏｏｋ−ａｈｅａｄ）フレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する（ｉｎｄｅｘｅｓ）、方法である。順方向再構成は、より高いダイナミックレンジ（例えば、ＥＤＲ）からより低いダイナミックレンジ（例えば、ＳＤＲ）または同じダイナミックレンジへの、可逆なマッピングを含み得る。第１の局面において、方法は、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームの統計値を決定する工程と、少なくとも１つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも１つのルックバックフレームを現在のシーンに含める工程と、少なくとも１つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも１つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも１つのルックバックフレームを現在のシーンから除外する工程と、少なくとも１つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも１つのルックアヘッドフレームを現在のシーンに含める工程と、少なくとも１つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも１つのルックアヘッドフレームが統計スライディングウィンドウ内にないならば、少なくとも１つのルックアヘッドフレームを現在のシーンから除外する工程とを包含する。第１の局面は、現在のシーン内のフレームのうちの現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも１つのルマ伝達関数および少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程と、少なくとも１つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、少なくとも１つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。統計値のための所定の閾値は、百分率、偏差、絶対差などであり得る。決定された統計値は、統計スライディングウィンドウ（のフレーム）内の最大値（例えば、画素値、ルマ値）の最大レベル、統計スライディングウィンドウの最小値（例えば、画素値、ルマ値）の最小レベル、および統計スライディングウィンドウ内の平均値（例えば、画素値、ルマ値）の平均レベルを含み得る。少なくとも１つのノイズパラメータは、統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定され得る。例えば、少なくとも１つのノイズパラメータは、現在のシーン内のフレームのうちの現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームにおける、画素値（例えば、ルマ）からなる複数の階級（ｂｉｎ）の各々についての標準偏差に基づいて（例えば、これらのフレームにわたって平均を計算することによって）決定され得る。少なくとも１つのルマ伝達関数は、決定された統計値に基づいて、ダイナミックトーンマッピング（ＤＴＭ）を使用して構築され得る。少なくとも１つのルマ伝達関数は、ＤＴＭについての所与の傾き、所与のオフセットおよび所与のパワーに基づいてさらに構築され得る。現在のシーン内の少なくとも１つのルマ伝達関数および少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程は、少なくとも１つのノイズパラメータに基づいて、ルマ伝達関数の入力符号語の間で（ＳＤＲドメインにおける）ビット深度を再割り当てする工程を包含し得る。中心傾向ルマ再構成関数は、中心傾向スライディングウィンドウの現在のフレームおよび少なくとも１つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定され得る。

統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウの基本設定は、Ａ個のルックアヘッドフレームおよびＬ個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンにおけるものでないならば、除外される。ルックアヘッドフレームについて、未来のシーン内のフレーム（例えば、現在のシーン内にないフレーム）が存在する場合、これらのフレームは除外される。ルックバックフレームについて、過去のシーン内のフレーム（例えば、現在のシーンの一部でないフレーム）が存在する場合、これらのフレームも除外される。言い換えると、この統計スライディングウィンドウの手法では、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーン内にあると考えられる。

ルマ伝達関数は、ダイナミックトーンマッピング（ＤＴＭ）、カラーボリューム変換（ｃｏｌｏｒ ｖｏｌｕｍｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ）、知覚的量子化（ｐｅｒｃｅｐｔｕａｌ ｑｕａｎｔｉｚａｔｉｏｎ）信号のガンマへのマッピングなどを含み得る。

本開示の第２の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレーム（それが存在する場合）およびオプションとして少なくとも１つのルックアヘッドフレーム（それが存在する場合）の拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、少なくとも１つのクロマコンテンツ依存多項式（例えば、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解）を決定する工程と、統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。

本開示の第３の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも１つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する、方法である。第３の局面において、方法は、統計スライディングウィンドウ内の現在のフレームおよび少なくとも１つのルックバックフレームの統計値を決定する工程と、少なくとも１つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも１つのルックバックフレームを現在のシーンに含める工程と、少なくとも１つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも１つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも１つのルックバックフレームを現在のシーンから除外する工程とをさらに包含する。第３の局面は、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも１つのルックバックフレームの決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも１つのルックバックフレームの決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも１つのルマ伝達関数および少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程と、少なくとも１つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、中心傾向スライディングウィンドウの少なくとも１つのルマ順方向再構成に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。

本開示の第４の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレーム（それが存在する場合）およびオプションとして少なくとも１つのルックアヘッドフレーム（それが存在する場合）のＥＤＲ上限について統計値を解析する工程と、ＥＤＲ上限の中心傾向および中心傾向ルマ順方向再構成関数に基づいて、ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、統計スライディングウィンドウのクロマコンテンツ依存多項式を決定する工程と、クロマコンテンツ依存多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。

本開示の第５の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレーム（それが存在する場合）およびオプションとして少なくとも１つのルックアヘッドフレーム（それが存在する場合）の拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式（例えば、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解）を決定する工程と、統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。

本開示の第６の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレーム、少なくとも１つのルックバックフレームおよび少なくとも１つのルックアヘッドフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも１つのルックバックフレームが現在のシーンの一部であるかどうか、および少なくとも１つのルックアヘッドフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも１つの現在のフレーム、少なくとも１つのルックバックフレーム（それが現在のシーン内にある場合）および少なくとも１つのルックアヘッドフレーム（それが現在のシーン内にある場合）についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレーム、少なくとも１つのルックバックフレーム（それが現在のシーン内にある場合）および少なくとも１つのルックアヘッドフレーム（それが現在のシーン内にある場合）の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも１つのルマ伝達関数および少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームならびに少なくとも１つのルックバックフレーム（それが現在のシーンの一部である場合）および少なくとも１つのルックバックフレーム（それが現在のシーンの一部である場合）の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも１つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。また、この局面は、ルマ順方向再構成関数を逆さに（ｉｎｖｅｒｔ）する逆方向再構成器を備え得る。

本開示の第７の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレーム（それが存在する場合）およびオプションとして少なくとも１つのルックアヘッドフレーム（それが存在する場合）のＥＤＲ重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、ＥＤＲ重みおよびＥＤＲ上限のうちの少なくとも１つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングするブリッジマッピング器とを備える。また、本開示の第６の局面は、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも１つのクロマコンテンツ依存多項式（例えば、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解）を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ多項式線形非線形結合器であって、統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定するクロマ多項式線形非線形結合器と、クロマ多項式線形非線形結合器に結合されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するように構成されたクロマ再構成器と、クロマ多項式線形非線形結合器に結合されたクロマ多変量・重回帰（ＭＭＲ）決定器であって、中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマＭＭＲ係数を生成するクロマ多変量・重回帰（ＭＭＲ）決定器とを備える。

本開示の第８の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレームおよび少なくとも１つのルックバックフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレームおよび少なくとも１つのルックバックフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも１つのルックバックフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも１つの現在のフレームおよび少なくとも１つのルックバックフレーム（それが現在のシーン内にある場合）についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレームおよび少なくとも１つのルックバックフレーム（それが現在のフレーム内にある場合）の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも１つのルマ伝達関数および少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームおよび少なくとも１つのルックバックフレーム（それが現在のシーンの一部である場合）の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも１つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。

本開示の第９の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックバックフレーム（それが存在する場合）および少なくとも１つのルックバックフレーム（それが存在する場合）のＥＤＲ上限の統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、ＥＤＲ上限をＳＤＲ上限にマッピングするブリッジマッピング器と、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも１つのクロマコンテンツ依存多項式（例えば、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解）を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するクロマ再構成器と、ブリッジマッピング器に接続されたクロマ多変量・重回帰（ＭＭＲ）決定器であって、１組のクロマＭＭＲ係数を生成するクロマ多変量・重回帰（ＭＭＲ）決定器とを備える。

本明細書において、ＭＭＲという用語は、マルチカラーチャネル多重回帰予測装置を指す。これは、その開示内容を全て本願に援用するＧ−Ｍ．Ｓｕらの米国特許第８,８１１,４９０号において初めて記載された。ここで、複数のカラー成分を有する画像において、１つのカラー成分の画素が複数のカラー成分からの画素値の線形および／または非線形な組合せを使用して予測され得る。

序説
リアルタイムシングルレイヤー後方互換性（ＳＬＢＣ）コーデックのための従来のアーキテクチャは、典型的には、ライブコンテンツマッピングユニットを介してリファレンススタンダードダイナミックレンジ（ＳＤＲ）を生成し、近似を使用してＳＤＲを生成する。また、これによりＳＤＲは可逆となる。近似は、拡張ダイナミックレンジ（ＥＤＲ）データセットを特定するために行われる。この手法は、計算負荷が大きく、遅延を起こし得る。可逆的ＳＤＲを直接的に生成することは、現在のフレームに時間的に近いデータを利用し、平均処理時間が特定数のフレーム以内である方法を利用することによって最も最適に達成され得る。

図１は、ＳＬＢＣ１００におけるリアルタイム再構成器を示す。このリアルタイム再構成器は、１２＋ビットカメラ画像をリングバッファメモリなどであり得るフレームバッファ１１０内に受け取り得る。リアルタイム再構成器１１４は、ユーザ（例えば、シェーダ（ｓｈａｄｅｒ））のプリファレンス入力１１２、例えばリフト、ゲインおよびガンマ（ＬＧＧ）または傾き、オフセットおよびパワー（ＳＯＰ）などを利用し得る。リアルタイム再構成器１１４は、近傍のフレームの統計値に従って入力信号を１０ビットドメインに再構成し、再構成された１０ビットフレームをリングバッファメモリなどのバッファ１１６に格納し、１０ビット映像をエンコーダ１１８に出力して、ビットストリーム１２０を出力する。リアルタイム再構成器１１４は、メタデータ１２２を出力し得る。順方向および逆方向再構成関数は、リアルタイムに決定され得る。

再構成されたフレームは、リングバッファメモリなどであり得る１０ビット再構成フレームバッファに格納され得る。映像エンコーダ（例えば、高効率映像コーディング（ＨＥＶＣ））は、当該バッファから再構成されたフレームを取り込んで、符号化し得る。メタデータリファレンスピクチャユニット（ＲＰＵ）信号は、リアルタイム再構成器から出力され得る。ビットストリームおよびメタデータが多重化対象であるならば、多重化モジュールを付加することが可能であり得る。入力および出力ビットの数が任意に設定され得ることは、当業者に理解される。

リアルタイム再構成器の課題として、ハイダイナミックなシーンおよびユーザ調節があり得る。元々、シングルレイヤー後方互換性コーデックは、映像圧縮を容易にし、動き補償のための時間的な整合性のためにシーンベース（ｓｃｅｎｅ−ｂａｓｅｄ）となるように構築された。リアルタイム再構成を行うために、本開示において新規なアーキテクチャおよびアルゴリズムを提案する。

図２は、全体的な再構成フロー２００を示す。このフロー例において、ルマ映像フレームが入力され（２１０）、統計スライディングウィンドウおよび中心傾向スライディングウィンドウ（詳細は後述）を利用して、ルマの順方向再構成が決定される（２１２）。ルマ映像フレーム入力に対して並列に、クロマ映像フレームが入力される（２１４）。ルマ順方向再構成関数を利用して、クロマ順方向再構成関数が決定される（２１６）。ルマ再構成関数およびクロマ再構成関数を利用して、スタンダードダイナミックレンジ（ＳＤＲ）出力（２１８）が実現される。

ルマ逆方向再構成は、ルマ順方向再構成関数の逆関数である（２２０）。クロマ逆方向再構成は、クロマ順方向再構成関数に基づいて、クロマ多変量・重回帰（ＭＭＲ）係数（２２２）を利用する。順方向再構成されたＳＤＲルマ、再構成されたＳＤＲクロマおよびクロマＭＭＲ成分を利用して、逆方向再構成されたＥＤＲクロマが決定される。

個々のフレームは、当該フレームに対応付けられた１組の統計値を有する。時間がルックバックフレームからルックアヘッドフレームに順方向に進むにつれ、フレーム統計値が変化すると、シーン境界が検出される。複数のフレームについての統計値が比較され、シーン遷移が決定される。類似の統計特性を有する複数のフレームは、１つのシーンにグループ化される。ここでは、フレームが類似の統計特性を有するかどうかは、それらの統計特性の違いが所定の閾値未満であることによって判定され得る。統計特性が所定の閾値よりも大きければ、フレームは、類似しないと考えられ、異なるシーンに属し得る。

現在のフレームの画定とともに画定する、フレームベースの統計スライディングウィンドウ（図３Ａおよび３Ｂ）が利用される。この統計スライディングウィンドウについての基本設定は、Ａ個のルックアヘッドフレームおよびＬ個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンに含まれないならば、除外される。ルックアヘッドフレームについて、未来のシーンに含まれるフレーム（例えば、現在のシーンに含まれないフレーム）が存在するならば、当該フレームは、除外される。ルックバックフレームについて、過去のシーンに含まれるフレーム（例えば、現在のシーンに含まれないフレーム）が存在するならば、当該フレームも除外される。言い換えると、この統計スライディングウィンドウ手法では、フレームが現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内に存在するならば、当該フレームは、現在のシーン内にある。

統計スライディングウィンドウは、ルックバック方向においては、シーン開始および最大ルックバックバッファサイズによって拘束され、ルックアヘッド方向においては、シーン終了および最大ルックアヘッド遅延によって拘束される。この例において、バッファは、現在のフレームｊから後方へ、ルックバックフレームｊ−Ｌまで伸びており、現在のフレームｊから前方へ、ルックアヘッドフレームｊ＋Ａまで伸びている。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界付けられている。

また、中心傾向スライディングウィンドウが利用される。中心傾向スライディングウィンドウもまた、現在のフレームの画定とともに画定する。この統計スライディングウィンドウについての基本設定は、現在のフレームｊまで伸びるｊ−Ｌ個のルックバックフレームを有することである。ルックバックフレームついて、過去のシーンに含まれるフレーム（例えば、現在のシーンに含まれないフレーム）が存在する場合、当該フレームは、除外される。中心傾向スライディングウィンドウもルックバック方向において、シーン境界および最大ルックバックバッファサイズによって境界づけられる。

図３Ａおよび３Ｂは、統計スライディングウィンドウ３１４および中心傾向スライディングウィンドウ３１６を示す。両方のウィンドウは、現在のフレームｊ３２０に対してスライドする。最大ルックバックバッファサイズ３１０は、Ｌ個のルックバックフレームだけ過去に伸び、最大ルックアヘッド遅延３２６は、Ａ個のルックアヘッドフレームだけ未来に伸びている。統計スライディングウィンドウ３１４は、ルマ伝達関数、ノイズ検出器、ならびにＥＤＲ上限および重みの計算のために使用される。統計的に類似のフレーム（例えば、現在のフレームの所定の閾値内に統計的差が収まるフレーム）は、現在のフレームの現在のシーン内にあると考えられ、含められる。現在のフレームと類似しない統計値を有するフレーム（例えば、所定の閾値よりも大きな統計的差を有するフレーム）は、除外される。シーン開始は３１８、現在のフレームは３２０、後続のフレームは３２２、シーン終了は３２４である。

一般に、統計スライディングウィンドウ３１４は、ルックバック方向においては、最大ルックバックバッファサイズ３１０およびシーン開始３１８によって境界づけられ、ルックアヘッド方向においては、シーン終了３２４および最大ルックアヘッド遅延３２６によって境界づけられる。

一般に、中心傾向スライディングウィンドウ３１６は、ルックバック方向においては、最大ルックバックバッファサイズ３１０およびシーン開始３１８によって境界づけられ、ルックアヘッド方向においては、現在のフレーム３２０によって境界づけられる。

図３Ａは、最大ルックバックバッファサイズ３１０によってバッファがルックバック方向の過去のシーンにおいて開始され得る例を示す。この例において、中心傾向スライディングウィンドウ３１６および統計スライディングウィンドウ３１４は、ルックバック方向においては、シーン開始３１８によって境界づけられる。中心傾向スライディングウィンドウ３１６は、ルックアヘッド方向においては、現在のフレーム３２０によって境界づけられる。統計スライディングウィンドウ３１４は、ルックアヘッド方向においては、最大ルックアヘッド遅延３２６によって境界づけられる。

図３Ｂは、シーン開始３１８が最大ルックバックバッファサイズ３１０を超えてルックバック方向に伸びる例を示す。従ってこの例において、中心傾向スライディングウィンドウ３１６および統計スライディングウィンドウ３１４は、ルックバック方向においては、最大ルックバックバッファサイズ３１０によって境界づけられる。この例において、中心傾向スライディングウィンドウは、ルックアヘッド方向においては、現在のフレーム３２０によって境界づけられる。統計スライディングウィンドウ３１４は、ルックアヘッド方向においては、シーン終了３２４によって境界づけられる。

ルマ再構成についての解は、クロマ再構成のために利用される。クロマ再構成は、導出されたルマ再構成関数および元の拡張ダイナミックレンジ（ＥＤＲ）データに部分的に基づいて導出される。時間的安定性を与えるために、成分は、２つのレベル処理、すなわち、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベル、を介して扱われる。

逆方向再構成について、ルマ逆方向再構成関数は、ルマ順方向再構成関数の逆関数に基づいて導出される。１組のクロマ多変数多重回帰（ＭＭＲ）成分が決定される。クロマＭＭＲの演算は、３つのチャネル入力（Ｙ、Ｃｂ、Ｃｒ）およびリファレンスクロマチャネル（例えば、Ｃｂ）を取り込み、次いで最適化を行って、予測クロマ（ＭＭＲ予測によって生成される）とリファレンスクロマとの差を最小化する１組のクロマＭＭＲ係数を求める。順方向再構成されたＳＤＲルマ、再構成されたＳＤＲクロマおよびクロマＭＭＲ成分を利用して、逆方向再構成されたＥＤＲクロマが決定される。

ルマ再構成
図４は、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベルに基づき得る一実施形態のアーキテクチャ例を示す。フレーム統計値レベルは、シーン境界でリセットされる統計スライディングウィンドウ（ルックバック＋現在のフレーム＋ルックアヘッド）を有する。中心傾向スライディングウィンドウレベルは、中心傾向スライディングウィンドウ（ルックバック＋現在のフレーム）を有する。実施形態は、スライディングウィンドウ実施のためのデータを格納するためのいくつかのモジュールおよびバッファを備え得る。いくつかの実施においては、統計スライディングウィンドウは、現在のフレームおよび少なくとも１つのルックバックフレームを含むだけでもよく、シーン境界においてリセットされる。

映像フレーム４１０の入力ルマが受け取られ、メモリ４３６に格納され、そして後で処理に利用される。

フレーム統計値レベル内において、フレームベースのシーン特徴モジュール４１２は、入力ルマを受け取り、シーン特徴についてフレーム統計値を決定し、統計値の一部をシーンカットバッファ４２０Ｃに格納する。シーンカット検出器モジュールによって行われるシーンカット検出モジュール４１６は、現在のフレームとルックバックフレームとの間でフレーム統計値を調べ、統計値が類似するならば、ルックバックフレームを現在のシーンに含め、統計値が類似しないならば、ルックバックフレームは、現在のシーンから除外される。また、シーンカット検出器モジュール４１６は、現在のフレームおよびルックアヘッドフレーム間でフレーム統計値を調べ、統計値が類似するならば、ルックアヘッドフレームを現在のシーンに含め、統計値が類似しないならば、ルックアヘッドフレームは、現在のシーンから除外される。

フレーム統計値レベル内において、統計評価器によって行われるフレームベースのルマ伝達統計モジュール４１８は、映像フレームの入力ルマを受け取り、ルマ伝達関数に対応づけられた統計値を決定する。ルマ伝達関数に対応づけられた統計値は、ルマ伝達統計値バッファ４２０Ｂに格納される。ルマ伝達関数マッピング器４２２は、ルマ伝達統計値バッファ４２０Ｂから統計スライディングウィンドウ内のデータを受け取り、現在のシーンに含まれるフレームからのデータを利用し、シーン変化検出器４１６によって決定された、現在のシーン内にないフレームからデータを除外して、ルマ伝達関数を決定する。ルマ伝達関数は、ダイナミックトーンマッピング（ＤＴＭ）、カラーボリューム変換、知覚的量子化信号のガンマへのマッピングなどを含み得る。また、リフト、ゲインおよびガンマ（ＬＧＧ）または傾き、オフセットおよびパワー（ＳＯＰ）などの、ルマについてのユーザプリファレンス調節パラメータは、このモジュールに取り込まれ、ルマ伝達関数を変更する。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界づけられる。

フレーム統計値レベル内では、フレームベース・ブロックベース標準偏差モジュール４２４が映像フレームの入力ルマを受け取り、そしてノイズの尺度であるフレームベース・ブロックベース標準偏差（ＢＬＫ−ＳＴＤ）４２４を決定する。ＢＬＫＳＴＤバッファ４２０Ａを使用して、輝度範囲についての最小ビット深度が格納される。ノイズ検出器によって行われるリアルタイムブロックベース標準偏差（ＲＴ ＢＬＫＳＴＤ）モジュール４２８は、ＢＬＫＳＴＤバッファ４２０Ａから統計スライディングウィンドウ内のデータを受け取り、そして現在のシーン内に含まれるフレームからのデータを利用し、そしてシーン変化検出器４１６によって決定された、現在のシーン内に含まれないフレームからのデータを除外して、ＲＴ ＢＬＫＳＴＤを決定する。

フレーム統計値レベル内では、ルマ順方向再構成器によって行われるルマ順方向再構成ルックアップテーブル（ＬＵＴ）モジュール４３０を利用して、ルマ伝達関数マッピング器４２２からのルマ伝達関数およびノイズ検出器４２８からのリアルタイムブロックベース標準偏差（ＲＴ ＢＬＫＳＴＤ）に基づいてルマ順方向再構成ＬＵＴまたは関数が生成される。

フレーム統計値レベル内では、バッファは、ＢＬＫＳＴＤバッファ４２０Ａ、ルマ伝達統計値バッファ４２０Ｂおよびシーンカットバッファ４２０Ｃを含む。シーン変化検出器４１６は、シーンカットバッファ４２０Ｃから取り込んだデータからシーンカットが検出されるかどうかを決定する。このシーンカット検出は、ルマ伝達関数モジュール４２２およびＲＴ ＢＬＫＳＴＤモジュール４２８について統計スライディングウィンドウの位置を部分的に検出する。シーン検出器は、統計スライディングウィンドウの位置およびサイズを部分的に決定する。ルマ伝達関数モジュール４２２において、ルマ伝達統計値バッファ４２０Ｂおよびシーン変化検出器４１６からの２つの入力がある。ＲＴ ＢＬＫＳＴＤモジュール４２８において、ＢＬＫＳＴＤバッファ４２０Ａおよびシーン変化検出器４１６から入力が来る。

統計スライディングウィンドウは、シーンカット位置、最大ルックバックバッファサイズおよび最大ルックアヘッド遅延によって決定される。ルマ伝達関数モジュール４２２について統計スライディングウィンドウの位置を決定した後、シーンについてルマ伝達関数が決定される。ＲＴ ＢＬＫＳＴＤモジュール４２８について統計スライディングウィンドウの位置を決定した後、シーンについてＢＬＫ−ＳＴＤが決定される。ルマ順方向再構成モジュール４３０は、ルマ伝達関数モジュール４２２およびＲＴ ＢＬＫＳＴＤモジュール４２８から入力を受け取る。

中心傾向スライディングウィンドウレベル内において、中心傾向スライディングウィンドウ４３２は、ルマ順方向再構成ルックアップテーブル４３０からの出力を格納する。

中心傾向ルマ順方向再構成器によって行われる中心傾向ルマ順方向再構成ルックアップテーブル（ＬＵＴ）モジュール４３４は、現在のシーン内に含まれるフレームからのデータを利用し（現在のシーン内に含まれないフレームからのデータは除外）、現在のフレームおよびルックバックフレームのルマ順方向再構成関数の中心傾向を測定する。中心傾向ルマ順方向再構成ルックアップテーブル（ＬＵＴ）モジュール４３４は、中心傾向スライディングウィンドウ４３２からデータを受け取る。

ルマ順方向再構成モジュール４３８は、メモリ４３６に格納された入力ルマ映像フレームを受け取り、モジュール４３４から中心傾向ルマ順方向再構成ＬＵＴを受け取り、ルマ順方向再構成４３８のための順方向ルックアップテーブルを生成する。

中心傾向スライディングウィンドウレベル内において、ルマ逆方向再構成モジュール４４０は、順方向再構成関数の逆曲線を決定して、ルマ逆方向再構成近似を生成する。ルマ逆方向再構成近似は、リファレンスピクチャユニット（ＲＰＵ）４４６に出力され得る。

フレームベースのルマ順方向再構成ＬＵＴ
フレームベースの統計スライディングウィンドウ解は、統計スライディングウィンドウからのフレーム統計値を利用する。統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウついての基本設定は、Ａ個のルックアヘッドフレームおよびＬ個のルックバックフレームを有することである。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にあるならば、含められる。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にないならば、除外される。この含める処理および除外する処理は、ルックバックフレームおよびルックアヘッドフレームの両方に適用される。言い換えると、この統計スライディングウィンドウ手法において、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーンに存在すると考えられる。

フレームベースの統計スライディングウィンドウ解は、ルマ順方向再構成ＬＵＴを与える。ルマ順方向再構成ＬＵＴ解を利用して、中心傾向スライディングウィンドウ解が求められる。

リアルタイムブロックベース標準偏差
本明細書において、ブロックベース標準偏差（ＢＬＫＳＴＤ）という用語は、２０１６年５月１０日に出願された米国仮特許出願第６２／３３４，０９９号、題名「Ｂｌｏｃｋ−Ｂａｓｅｄ Ｃｏｎｔｅｎｔ−Ａｄａｐｔｉｖｅ Ｒｅｓｈａｐｉｎｇ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ」（米国特許出願公開第２０１７／０２２１１８９号として公開）、において定義される。この出願の開示内容を全て本願に援用する。

ｊ番目の入力画像のｐ番目の画素を正規化値［０，１］（または、［０，１））を有するＩ_ｊ（ｐ）と表す。このフレームにおける最小値、最大値および平均値は、

として定義される。

入力画像Ｉ_ｊ（ｐ）は、複数の重複のない、サイズがｕ×ｕのブロックに分割される。ｋ番目のブロック内の画素の集合は、θ_ｊ，ｋとして表される。ｋ番目のブロック内の画素の平均値は、

として与えられる。

次いで、サイズがｕ×uのｋ番目のブロックについてのブロックベース標準偏差ｓｔｄ_ｊ，ｋが以下のように決定される。

ｓｔｄ_ｊ，ｋは、ｊ番目のフレームのｋ番目のブロック内の画素に対応づけられた標準偏差と見なされ得る。すなわち、ｊ番目のフレームのｋ番目のブロック内の画素は、対応の標準偏差ｓｔｄ_ｊ，ｋを有する。この段階において、フレームｊの画素についての標準偏差マップＨ_ｊ（ｐ）が決定され得る。フレームｊ内の画素ｐについて、Ｈ_ｊ（ｐ）は、当該画素に対応づけられた標準偏差の値を生成し得る。下限（ビット深度下限）を構築するために、Ｈ_ｊ（ｐ）内のいくつかの画素が無視され得る。以下の画素は、含まれなくてもよい。
・レターボックスに対応する部分は、その部分の画素が定数Ｉ_ｊ（ｐ）（例えば、黒画素に関するすべての画素）を有するので、考えなくてもよい。定数部分は、ゼロ標準偏差および高ビット深度を有する。これらの画素を使用してビット深度下限を決定すると、最終のビット深度がバイアスされ得る。
・フレームの右端部および下端部の画素であって、それらに対応するブロックが１６×１６よりも小さいサイズを有する画素は、除外され得る。

有効な画素の画素インデックス集合をΩ_ｊと表す。ｉをΩ_ｊ内のインデックスとする。従って、有効な標準偏差測定値の集合は、

として表される。

フレームｊについて、ｍ番目の階級についてのノイズ測定値は、ｂ_ｊ，ｍとして表され、以下の手順によって得られ得る。

第１の段階において、入力画像画素強度は、等間隔Ｗ（例えば、Ｗ＝６５５３６／Ｍ）を有するＭ個の階級に区分けされ、ダイナミックレンジ全体をカバーし得る。次いで、階級における平均標準偏差は、以下のように求められ得る。

ｍ番目の階級（ここで、ｍ＝０、１、…、Ｍ−１）について、フレームｊの元の画像の画素は、Ｉ_ｊ（ｉ），ｉ∈Ω_ｊと特定され、

の範囲の画素値を有する。個々の階級について、その階級内の画素についての平均標準偏差ｂ_ｊ，ｍが求められる。この平均値をｂ_ｊ，ｍとして表すと、

が生成される。このように、｛ｂ_ｊ，ｍ｝と表されるＭ個の階級のデータが求められ得る。

ルマ順方向再構成ＬＵＴは、統計スライディングウィンドウ内に得られるパラメータを有するＢＬＫ−ＳＴＤについて先ほど説明した方法と同様の方法で構築され得る。

輝度階級ｍについてのフレームｊ−Ｌ（ルックバックフレーム）からフレームｊ＋Ａ（ルックアヘッドフレーム）の最小ノイズレベルがＬ＋Ａ＋１個のフレームの統計値に基づいて決定される。シーンの開始におけるフレームが完全なＬ個のフレームを有さないならば、シーン内の利用可能なフレームが利用される。この統計スライディングウィンドウの開始フレームインデックスは、Ｋ＝ｍａｘ（ｊ−Ｌ，Ｆ_Ｓ）として表され、ここで、Ｆ_Ｓは、シーンの開始のフレーム番号である（例えば、Ｆ_Ｓ＝０）。この統計スライディングウィンドウのルックアヘッドフレームインデックスは、

として表され、ここで、Ｆ_Ｅは、シーンの終了のフレーム番号である。言い換えると、Ｋおよび

は、シーンカット境界によって制御される。スライディングウィンドウにわたる平均ノイズ測定値（スライディングウィンドウについてのノイズパラメータ）は、

である。

統計スライディングウィンドウ内の最小値の最小レベル、平均値の平均（平均レベル）および最大値の最大レベルは、以下のように得られる。

ここで、

は、フレームfについての最小値であり、

は、最小値の最小であり、

ここで、

は、フレームfについての最大値であり、

は、最大値の最大であり、

ここで、

は、フレームｆについての平均値であり、

は、平均値の平均である。

スライディングウィンドウ内のビット深度下限
次いで、ノイズレベル（ノイズパラメータ）

は、現在のフレームに必要なビット深度

に、例えば、

を介して変換される。ここで、ｆ（・）は、実験で得られる関数であり得る。
必要なビット深度

は、ＥＤＲおよびＳＤＲビット深度Ｂ_ＩおよびＢ_Ｔによって正規化され、必要な符号語の正規化量

を得る。例えば、これは、以下を介して得られる。

各階級に必要な符号語の正規化量を得た後、これをＭ個の階級からＥＤＲドメイン内のすべての符号語に、例えば、

を介して拡張され得る。すなわち、ＥＤＲドメイン内の各符号語（画素値）ｉについて、必要な符号語（ＳＤＲドメイン内）の正規化量は、ＥＤＲドメイン内の当該符号語を含む階級に必要な符号語の正規化量によって与えられ得る。

は、必要な符号語の数の下限である。いずれの伝達曲線（量子化曲線）も輪郭アーチファクトの生成を避けるためにこの下限を満足すべきである。

ルマ伝達関数は、Ｍ個の階級について、ユーザ（シェーダ）のプリファレンス入力である傾きＳ_ｊ、オフセットＯ_ｊおよびパワーＰ_ｊを有するダイナミックトーンマッピング（ＤＴＭ）曲線

を使用して構築され得る。一般に、ルマ伝達関数は、最小値の最小レベル、平均値の平均レベルおよび最大値の最大レベルに依存し得る。また、ルマ伝達関数は、ＰＱを介してガンマ関数（ＥＴＦ）に変換され得る。フレームｊについて、ルマ伝達関数は、以下に基づき得る。

ＳＤＲドメイン内で後方互換性であるために、マッピングされた範囲は、ＳＭＰＴＥ範囲に拘束され得る。

をそれぞれ最小値および最大値とする。すなわち、

である。

フレームが真のブラックであるならば、ＬＵＴ内の最小値および最大値は、同じであり得る。ＬＵＴ内の値は、ＳＭＰＴＥ範囲

に直接クリッピング（ｃｌｉｐ）され得る。

は、

と異なるならば、ルマ順方向再構成ＬＵＴ範囲

は、ＳＭＰＴＥ範囲

に線形にスケーリングされ得る。ここで、

である。

式（１８）の定数は、ＳＭＰＴＥ標準規格によって定義される。線形スケーリングは、ルマ順方向再構成ＬＵＴにおける要素に適用される。

出力値は、ＳＭＰＴＥ範囲

にクリッピングされる。

目標とされるマッピング範囲の決定

に基づいて、以下のようにルマ伝達関数を求めた後に極値が求められ得る。

正規化された、利用可能なルマ伝達関数符号語範囲を以下のように定義する。

ここで、Ｂ_Ｔは、ＳＤＲビット深度である。これは、順方向再構成処理において使用され得る符号語バジェット（ｂｕｄｇｅｔ）である。

１階級当たりの目標とされるビット深度Ｔ^（Ｊ）（ｉ）と

との間の差分値は、入力符号語におけるビット深度として求められる。

１階級当たりの最大の値を選択する
個々の入力符号語について、２つの異なるビット深度、（１）ノイズ測定値からの

および（２）ルマ伝達関数からの

がある。２つの集合が以下のようにどちらの値がより大きいかに依存して構築される。

入力符号語ｉについて、ルマ伝達関数ビット深度

が

以下であるならば、これは、望ましくない帯状のアーチファクトが見られる可能性があることを意味する。従って、

は、この入力符号語において以下のように使用される。

余分な割り当て符号語の決定
余分な割り当て符号語は、

として決定され得る。

余分な割り当て符号語を差し引く
これらの余分な符号語は、集合Ω^（ｊ）から差し引かれる対象となる。簡単な方法は、固定数の符号語

を以下のように等しく引き算することである。

なお、この差し引きの後に、

となる可能がある。この状況は、これらの画素に対しても余分な割り当て符号語を決定することによって、回避すべきである。

曲線の平滑化
２つの階級幅、すなわち、２Ｗをカバーする簡単な移動平均フィルタが使用され得る。一つの例を以下に示す。

フレームレベル順方向再構成ＬＵＴの構築
ＳＤＲドメイン内の最小輝度値および最大輝度値をＣ_Ｌ，Ｃ_Ｈと表す。順方向再構成ＬＵＴは、ＳＤＲドメイン内の目標とする低いほうの輝度、すなわち、Ｃ_Ｌからのオフセットを用いて、累積加算を介して、平滑化された曲線に基づいて構築され得る。フレームｊにおけるこのＬＵＴをＦＬＵＴ_ｊとして表す。このＦＬＵＴ_ｊは、単調非減少である。

中心傾向レベルルマ再構成ＬＵＴ
フレーム統計値レベルＬＵＴ（ＦＬＵＴ_ｊ）が適用されて、ＥＤＲフレームを再構成されるならば、フリッカー問題が時間ドメインに生じ得る。統計スライディングウィンドウ内の最大ＥＤＲ値の最大レベルおよび最小ＥＤＲ値の最小レベル、

は、

と異なり得るが、これにより、フレームｊおよびフレームｊ＋１について異なるフレーム統計値レベルＬＵＴが生成されるので、フリッカー問題が生じる恐れがある。

１つの解決方法は、以下のように統計スライディングウィンドウ内の最大ＥＤＲ値および最小ＥＤＲ値の平均を取ることである。

次いで、それらをルマ伝達関数、例えば、ＤＴＭアルゴリズムに入れる。この手法によって、可逆性に影響を与えるクリッピングされた情報が生じる。

が

よりも大きく、および／または

が

より小さく、そして

が

の情報を切り取る（ｃｌｉｐ ｏｕｔ）可能性はかなり高い。当該情報は、逆方向再構成において回復できない。

情報を保存するために、（１０）〜（１２）において定義するような統計スライディングウィンドウ内の以下の最小値、最大値および平均値に注目する。

フリッカーを低減するために、平均演算を現在フレームおよびルックバックフレームのＦＬＵＴ_ｊに以下のように適用する。

は、フレームfのフレーム統計値レベルＬＵＴであり、

は、中心傾向ルマ順方向再構成関数である。遅延を低減するために、ルックアヘッドフレームが再構成平均演算には利用されない。

再構成された信号は、以下のようにＦＬＵＴを介して生成され得る。

ここで、

は、フレームｊ内の画素ｉの元のＥＤＲルマであり、

は、順方向再構成されたＳＤＲルマである。

第１のシステムにおけるルマ変調クロマ順方向再構成
図５は、クロマ再構成５００の概要を示す。第１の例において、ルマ変調再構成関数５１０を元の拡張ダイナミックレンジ（ＥＤＲ）データ５１２とともに使用して、再構成されたスタンダードダイナミックレンジ（ＳＤＲ）出力５１４を決定する。

図６は、Ｃｂチャネルについてのクロマ順方向再構成６００の第１の例を示す。Ｃｒチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム４１０が入力され、中心傾向ルマ順方向再構成ＬＵＴ４３４が上記のように決定され、ルマ再構成が行われ（４３８）、再構成されたルマ６１０を生成する。

フレーム統計値レベルにおいて、入力クロマ映像フレーム６１４が入力される。２つのトラックに沿って進行し、ＥＤＲ上限６１６およびＥＤＲ重み６２８を決定し（拡張ダイナミックレンジ解析器によって行われる）、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックアヘッドフレーム（それが存在する場合）および少なくとも１つのルックバックフレーム（それが存在する場合）の解析を行う。

ＥＤＲ上限トラックにおいて、ＥＤＲ上限が決定され（６１６）、そしてＥＤＲ上限バッファ６１８Ｂに収集され、上限の平均が求められる（６２０）。なお、平均演算以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成ＬＵＴ４３４および平均ＥＤＲ上限を利用して、ＥＤＲからＳＤＲへのマッピングが行われ（６２２）、そしてＳＤＲ上限が決定される（６２４）。

ＥＤＲ重みトラックにおいて、ＥＤＲ重みが決定され（６２８）、そしてＥＤＲ重みバッファ６１８Ａに格納され、ＥＤＲ重みの平均が求められる（６３２）。例えば、中心傾向が求められ、そして中心傾向ルマ順方向再構成ＬＵＴおよび平均ＥＤＲ重みを利用して、ＥＤＲからＳＤＲへのマッピングが行われ（６３４）、そして、ＳＤＲ重みが決定される（６３６）。６２２および６３４のＥＤＲからＳＤＲへのマッピング関数は、ブリッジマッピング器によって行われる。ＥＤＲ重みの平均演算（６３２）は、求められ得る、数ある代表値のうちの一例にすぎない。

ＳＤＲ重み６３６およびＳＤＲ上限６２４を利用して、クロマ順方向再構成スケール多項式が決定される（６２６）。これは、クロマフレームソルバによって行われる。

中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式６２６は、フレーム統計値レベルから中心傾向スライディングウィンドウ６３８に入力される。中心傾向スライディングウィンドウ６３８において、順方向再構成多項式曲線６４０の中心傾向が求められる。これをクロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線にフィッティングされる（６４６）。中心傾向曲線６４６からクロマＭＭＲ係数が決定される（６４８）。これは、クロマＭＭＲ決定器によって行われる。クロマＭＭＲ係数は、リファレンスピクチャユニット（ｒｐｕ）２２４に出力される。

中心傾向（例えば、線形／非線形組合せ）順方向再構成多項式曲線６４０を、再構成されたルマ６１０および入力クロマ映像フレーム６１４とともに利用して、クロマ順方向構成が決定される（６４２）。これをクロマ再構成器と称する。その結果、再構成されたクロマ６４４が得られ、これは、再構成されたルマ６１２とともにＳＤＲデータ出力２１８を生じさせる。

図７は、Ｃｂチャネルについてのクロマ順方向再構成７００の第２の例を示す。Ｃｒチャネルは、同様に行われ得る。図７は、ＥＤＲ上限だけが統計的に解析される、図６の方法の一変形例を示す。この例において、入力ルマ映像フレーム４１０が入力され、中心傾向ルマ順方向再構成ＬＵＴ４３４が上記のように決定され、ルマ再構成が行われ（４３８）、再構成されたルマ６１０が生成される。

フレーム統計値レベルにおいて、入力クロマ映像フレーム６１４が入力される。この例において、拡張ダイナミックレンジ解析器が統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックアヘッドフレーム（それが存在する場合）および少なくとも１つのルックバックフレーム（それが存在する場合）を解析することによって、ＥＤＲ上限６１６だけが統計的に解析される。

ＥＤＲ上限が決定され（６１６）、そしてＥＤＲ上限バッファ６１８Ｂ内に収集され、上限の平均が求められる（６２０）。なお、平均以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成ＬＵＴ４３４および平均ＥＤＲ上限を利用して、ＥＤＲからＳＤＲ６２２へのマッピングが行われ、そしてＳＤＲ上限が決定される（６２４）。ＳＤＲ上限６２４を利用して、クロマ順方向再構成スケール多項式６２６を決定する。これは、クロマフレームソルバによって行われる。

中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式６２６は、フレーム統計値レベルから中心傾向スライディングウィンドウ６３８に入力される。中心傾向スライディングウィンドウ６３８において、順方向再構成多項式曲線６４０の中心傾向が求められる。これを、クロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線６４６にフィッティングされる。中心傾向曲線６４６からクロマＭＭＲ係数が決定される（６４８）。これは、クロマＭＭＲ決定器によって行われる。そして、クロマＭＭＲ係数は、リファレンスピクチャユニット（ｒｐｕ）２２４に出力される。

中心傾向（例えば、線形／非線形組合せ）順方向再構成多項式曲線６４０を、再構成されたルマ６１０および入力クロマ映像フレーム６１４とともに、利用して、クロマ順方向構成が決定される（６４２）。これをクロマ再構成器と称する。その結果、再構成されたクロマ６４４が得られ、これは、再構成されたルマ６１２とともに、ＳＤＲデータ出力２１８を生じさせる。

フレームｊ内の画素ｉの順方向再構成されたＳＤＲクロマ（チャネルＣｂ）は、

であり、フレームｊ内の画素ｉの元のＥＤＲクロマ（チャネルＣｂ）は、

である。輝度変調クロマ順方向再構成が再構成されたＳＤＲルマに基づいて行われ得る。

ここで、

は、フレームｊ内の画素ｉの順方向再構成されたＳＤＲクロマ（チャネルＣｂ）であり、

は、フレームｊ内の画素ｉの元のＥＤＲクロマ（チャネルＣｂ）である。以下に、チャネルＣｂを例にしてクロマ順方向再構成およびクロマ逆方向再構成を説明する。チャネルＣｒは、同じように処理され得る。

フレームｊのルマ変調スケール関数である

は、

のＫ^Ｆ次の多項式関数の以下のような形態を取り得る。

ここで、

は、多項式係数であり、Ｋ^Ｆ＝２（２次多項式）である。リファレンス多項式係数｛α_ｒ，ｋ｝も決定され得る。リファレンス多項式は、学習データセットから学習された、輝度依存クロマスケールファクタ、２次多項式であり得る。

コンテンツ適応性可逆的再構成関数
再構成されたＳＤＲを利用して、最大スケールファクタを導出し、ＥＤＲ可逆性を維持し得る。再構成されたＳＤＲを決定するために、ルマ順方向再構成関数が利用され得る。最大スケールファクタは、リアルタイム決定において使用するために、時間ドメインに沿ってフィルタリングおよび平滑化され得る。

図８は、コンテンツ依存多項式８００を示す。クロマは、オーバーフローまたはアンダーフローする場合に、再構成されたドメインにクリッピングされ得る。この場合に、最大スケールファクタ（上限）が輝度範囲８１２に対して配置される。ゼロおよび上限によって境界づけられるような新たな多項式がリファレンス８１４と新たな多項式８１６との間の重み付け距離を最小化することによって決定され得る。重み付けファクタは、階級８１０内の画素数であり得る。

ＥＤＲドメイン内の最大スケールファクタ
ルマは、Ｍ_Ｅ個の範囲に分割され、ＥＤＲルマヒストグラムに収集される。

ここで、Ψ_ｊ，ｍは、

間に値を有する画素の集合であり、フレームｊ内の画素ｉの元のＥＤＲクロマは、

である。

階級内の最大クロマ値は、以下のように決定され得る。

ここで、ηの実験値は、全範囲出力について０．８５であり、ηは、ＳＭＰＴＥ範囲出力について０．９５である。

階級のクロマスケールファクタの上限（ＥＤＲ上限）は、全範囲については、

と決定され、ＳＭＰＴＥ範囲については、

と決定され得る。ここで、ｑ^ｍａｘの実験値は、１０である。統計スライディングウィンドウ内のフレームのＥＤＲ上限は、収集され、得られたＥＤＲ上限の平均が以下のように求められる。

ここで、

は、統計スライディングウィンドウ内のフレームについてのＥＤＲ上限である。

ＳＤＲドメイン内の最大スケールファクタ
ＥＤＲ上限は、フレームｊ（現在のフレーム）のルマＦＬＵＴを使用して、ＳＤＲにマッピングされ得る。ＥＤＲルマにおけるｘ軸は、再構成されたＳＤＲルマに変更され得る。Ｍ_Ｅは、［０，１］間のＥＤＲドメインにおいて以下のように一様にサンプリングされる。

ここで、ｍ＝０、１、…、Ｍ_Ｅ−１である。サンプリングされた点

は、ＥＤＲドメインからＭ_Ｓ個の階級を有するＳＤＲドメインに以下のようにマッピングされ得る。

なお、Ｍ_Ｅは、Ｍ_Ｓよりも大きい。すなわち、階級のより高い精度は、階級のより低い精度にマッピングされる。

次いで、ｎ＝０、１、…、Ｍ_Ｓ−１について、ｎ番目の階級内のインデックス

は、

であり得る。

なお、いくつかの

は、同じ階級内に存在し得る。いくつかの階級は、空であり得る。ＳＤＲ上限は、ＥＤＲ上限の最小を取ることによって以下のように求められ得る。

数列

内の空の階級は、近傍の状態に応じて補間され得る。すなわち、ある空階級について左右の近傍が利用可能であるならば、最も近い左右近傍に基づいて双線形補間が適用され得る。

の数列の端などのある空階級について左の近傍のみまたは右の近傍のみが利用可能であるならば、最も近い空でない階級の値がコピーされ、

は、フレームｊのＳＤＲ上限であり得る。

順方向再構成多項式のフレーム統計値レベル生成
ルマの決定と同様に、クロマ再構成関数は、２つの異なるレベルで生成され得る。

Ｍ_Ｓ個のサンプルがリファレンス多項式曲線から以下のように得られ得る。

３つの点が決定され得る。

フレームベースの多項式係数が決定され得る。点Ｂがリファレンス多項式曲線上にあるか、それよりも上にある、すなわち、

ここで、

がＳＤＲ上限である、ならば、このフレームについてのリファレンス多項式

が利用される。

そうでないならば、順方向再構成２次多項式は、距離最適化問題を解くことによって求められ得る。多項式は、点Ａおよび点Ｂと交差し、リファレンス曲線から最短の重み付け距離を有し得る。重みは、階級内の画素数によって決定され得る。統計スライディングウィンドウ内のフレームの平均重みが決定され、ＥＤＲドメイン内の得られた重みは、ＳＤＲドメインにマッピングされる。

統計スライディングウィンドウ内のフレームについて、ＥＤＲ画像における階級内の画素の数は、ヒストグラムΨ_ｊ，ｍについて以下のように決定され得る。

ここで、Ψ_ｊ，ｍは、（３６）のように定義される。ＥＤＲ重みの平均は、統計スライディングウィンドウにわたって以下のように求められ得る。

ＥＤＲドメインは、以下のようにＳＤＲドメインにマッピングされ得る。

ＥＤＲ重みは、以下のようにＳＤＲドメインにマッピングされ得る。

空階級は、端部の階級を除いて、補間され得る。空の階級が両端にあるならば、当該階級は、補間されない。空の階級は、空でない階級間で補間され、最適化のために重み

が取られ得る。補間の後、空でない階級は、

に基づいて導出され得る。これは、両端の空の階級を除き得る。

重みが得られた後、多項式係数は、以下のように最適化され得る。

探索が失敗したならば、１次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る（多項式は、点Ｃを通り、リファレンス曲線からの最短の重み付け距離を有する）。

また、新たな多項式は、リファレンス曲線からの重みなし距離によって得られ得る。この場合、ＥＤＲ重みを収集しない。多項式係数は、以下のように得られ得る。

探索が失敗したならば、１次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る（多項式は、点Ｃを通り、リファレンス曲線からの最短の重みなし距離を有する）。

順方向再構成多項式の中心傾向スライディングウィンドウレベル生成
現在のフレームおよびルックバックフレームの多項式曲線の平均が求められ、新たな多項式がその平均曲線にフィッティングされ得る。

中心傾向スライディングウィンドウ内の現在のフレームおよびルックバックフレームのフレーム係数がリファレンス係数｛α_ｒ，ｋ｝と同じならば、最終の係数は、｛α_ｒ，ｋ｝であり得る。そうでなければ、現在のフレームおよびルックバックフレームについて、多項式上のＭ_Ｓ個のサンプルが以下のように得られる。

多項式について、サンプルの平均が求められ得る。

係数

を有する２次多項式が

にフィッティングされ得る。このフィッティングによって、クロマ順方向再構成スケールファクタが平滑化される。

なお、上記決定は、｛ｘ_ｎ｝がすべてのフレームについて同じである限り、中心傾向スライディングウィンドウ内の係数の平均を直接に求めることによって低減され得る。｛ｙ_ｊ，ｎ｝は、

書き換えられ得る。ここで、

である。

は、以下のように書き換えられ得る。

多項式の

へのフィッティングは、以下のようになるように行われる。

ここで、

である。最適化問題は、以下の式で表され得る。

の最小二乗解は、以下のとおりである。

これは、多項式係数の平均を求めることが、多項式曲線の平均を求め、そして新たな多項式を当該平均にフィッティングすることに相当することを示す。この処理は、以下の平均算出手順によって単純化され得る。

クロマスケーリングファクタとして導出された多項式は、直接適用され得る。ルマ値がとり得る値は、有限であるので、多項式からの可能なルマ値を使用して１Ｄルックアップテーブル（ＬＵＴ）が構築され得る。ＬＵＴは、以下のように決定され得る。

ここで、

であり、Ｌは、精度に応じて、１０２４または２０４８などであり得る。なお、Ｌは、（２*Ｍ_Ｓ）の倍数である。

スケールファクタは、以下のように順方向再構成に適用され得る。

ここで、

または、単にフレームｊ内の画素ｉの元のＥＤＲルマである

のＭＳＢを取ることによる。

図９は、多項式が上限および下限を満足する限り上下に移動することを可能にするシェーダ制御９００を示す。上限は、多項式９１０が交差する９１４として示している。低減された飽和（ｄｅｃｒｅａｓｅｄ ｓａｔｕｒａｔｉｏｎ）９１２が入力され、多項式を上限９１４よりわずかに下方に引き下げ得る。また、上限９２０は、元の多項式９１６の低減された飽和９１８に加えて、多項式の増大された飽和（ｉｎｃｒｅａｓｅｄ ｓａｔｕｒａｔｉｏｎ）９２２を可能にし得る。

逆方向再構成関数
２つの入力を有する３次クロマＭＭＲが逆方向再構成のために以下のように利用される。

ここで、

は、フレームｊ内の画素ｉの逆方向再構成されたＥＤＲクロマ（チャネルＣｂ）である。クロマＭＭＲ係数

は、求められる値であり、ｒｐｕに送信され、格納されることになる。

逆方向再構成関数について、システム開始時に、クロマＭＭＲ係数は、リファレンス順方向再構成多項式について導き出される。上限超えがないならば（すなわち、リファレンス順方向再構成多項式がＳＤＲ上限を超えないならば）、リファレンス多項式係数は、順方向再構成のために使用され、クロマリファレンスＭＭＲ係数は、逆方向再構成のために使用され得る。

係数｛α_ｒ，ｋ｝は、以下のスケールファクタを生成する。

ルマ階級の逆スケールファクタは、以下のように決定され得る。

サンプルに対する曲線フィッティングが行われ、以下のような次数Ｋ^Ｂの多項式が得られ得る。

であるクロマＭＭＲ係数

が決定され得る。ここで、

であり、Ａは、２０１６年５月１９日に出願された、Ｑ．Ｓｏｎｇらの米国仮出願シリアル番号６２／３３８,６３８、「Ｃｈｒｏｍａ Ｒｅｓｈａｐｉｎｇ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ」（「６３８出願」と称す）に記載されるような変換行列である。この出願は、２０１７年５月１７日にＰＣＴ出願シリアル番号ＰＣＴ／ＵＳ２０１７／０３３０５６としても出願されている。この出願の開示内容を本願に援用する。

フレームについて、得られた順方向再構成多項式がリファレンス多項式と同じであるならば、ｍ_ｒは、クロマＭＭＲ係数として利用され得る。

そうでなく、順方向再構成多項式がリファレンス多項式と異なるならば、コンテンツ依存クロマＭＭＲ係数が利用され得る。

ＥＤＲ重みおよびＳＤＲ重みが得られたならば、最も右の空でない階級

が求められ得る。

階級インデックスは、ｄ^ｍａｘによって以下のようにクリッピングされ得る。

ここで、ｄ^ｍａｘは、定数である。ｄ^ｍａｘの実験値は、Ｍ_Ｓ＝６４の場合、５０である。

Ｄは、Ｍ_Ｓ個の階級のうちの最も右の空でない階級に対応するので、Ｍ_Ｓ個のサンプルに対して順方向再構成１Ｄ ＬＵＴ

をダウンサンプリングし得る。

このように、サンプルは、元のサンプルに類似し得る。すなわち、ｄ＝ｎについて

である。ここで、

である。

逆スケールファクタは、以下のように決定され得る。

曲線フィッティングをサンプル

に対して行うことによって、以下のようなＫ^Ｂ次の多項式が得られ得る。

最適化問題は、以下のように表され得る。

最小二乗解は、

であり、ここで、

である。

なお、

は、Ｄ^（ｊ）に依存し、

は、
システム初期化時にＤ^（ｊ）＝５０、…、６４について予め決定され得る（すなわち、（Ｋ^Ｂ＋１）*６４元の１５個のテーブル）。次いで、フレームについて、

が

に乗算され、

を得る。

であるクロマＭＭＲ係数

が得られ得る。ここで、

である。
逆スケールファクタ

の最終のクロマＭＭＲ係数

へのそのような変換は、行列変換として表され得る。式（７７）の第１の部分は、ＭＭＲ係数

が中心傾向再構成関数に固定の変換行列

を乗算することによって得られ得ることを示す。ここで、

は、多項式係数である。式（７７）の第２の部分は、ＭＭＲ係数

の決定において単純化がなされ得ることを表す。すなわち、逆スケールファクタサンプル値

が２つの変換行列

と以下のように乗算され得る。

ＥＤＲ重みまたはＳＤＲ重みが決定されなかった場合、Ｄは、Ｍ_ｓに設定され得、ＭＭＲ係数は、上記と同様の手順を利用して決定され得る。

第２の装置におけるルマ変調クロマ順方向再構成
図１０は、モバイルデバイスなどの第２のデバイスのための、Ｃｂチャネルについてのクロマ順方向再構成１０００の第２の例を示す。Ｃｒチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム４１０が入力され、中心傾向ルマ順方向再構成ＬＵＴ４３４が上記のように決定され、そしてルマ再構成が行われ（４３８）、再構成されたルマ６１０が生成される。

入力クロマ映像フレーム６１４が入力される。ＥＤＲ上限が、拡張ダイナミックレンジ解析器によって、統計スライディングウィンドウ内の現在のフレーム、少なくとも１つのルックアヘッドフレーム（それが存在する場合）および少なくとも１つのルックバックフレーム（それが存在する場合）について行われる。ＥＤＲ上限が決定され（６１６）、そしてＥＤＲ上限バッファ６１８Ｂ内に収集され、この例においては、上限の平均が求められ、中心傾向を決定する任意の処理が利用され得る。中心傾向ルマ順方向再構成ＬＵＴ４３４およびモジュール６２０からの平均上限を利用して、ＥＤＲからＳＤＲへのマッピングが行われる（６２２）。これは、ブリッジマッピング器によって行われる。そしてＳＤＲ上限が決定される（６２４）。

クロマ順方向再構成多項式は、ＳＤＲ上限出力を利用して、順方向再構成スケール多項式ＬＵＴから決定される（１０１０）。これは、クロマフレームソルバによって行われる。クロマＣｂ順方向再構成多項式出力を利用して、クロマ順方向再構成が行われる（１０１２）。これは、クロマ再構成器によって行われる。その結果、再構成されたクロマ１０１４が得られる。再構成されたクロマ出力１０１４は、再構成されたルマ出力６１２と組み合わされて、ＳＤＲドメインにおけるデータを生成する（２１８）。さらに、ＳＤＲ上限６２４からのデータを使用して、逆方向ＬＵＴからクロマＭＭＲ係数が得られ得る（１０１６）。これは、クロマＭＭＲ決定器によって行われる。クロマＭＭＲ係数は、ＲＰＵ２２４に送信され得る。

多項式係数は、所定の順方向再構成係数ＬＵＴから得られ、複雑性を低減し得る。順方向再構成係数ＬＵＴは、点Ｂの位置における係数を含み得る。順方向係数ＬＵＴの構築の一例は、‘６３８出願にその詳細を見出すことができる。得られた点Ｂに対応するインデックス（ｎ^＊，Ｔ）が求められ得る。多項式係数は、以下であり得る。

１ＤスケールファクタＬＵＴは、フレームｊについて多項式係数を使用して以下のように構築され得る。

ここで、

である。スケールファクタは、以下のように順方向再構成に適用され得る。

ここで、

である。または、単にフレームｊ内の画素ｉの元のＥＤＲルマである

のＭＳＢを取ることによる。

逆方向再構成
逆方向再構成について、クロマＭＭＲ係数は、逆方向ＬＵＴから求められ得る。逆方向ＬＵＴは、点Ｂの位置のクロマＭＭＲ係数を含む。インデックスは、得られた点Ｂ（ｎ^＊，Ｔ）に対応し得る。クロマＭＭＲ係数は、ｋについてτ（ｎ^＊，Ｔ，ｋ）であり得る。ここで、τ（・，・，・）は、逆方向再構成ＬＵＴである。逆方向再構成係数ＬＵＴの構築の一例は、‘６３８出願に見出だされ得る。

飽和制御
順方向再構成の多項式係数が上記の手順で得られた後、シェーダは、飽和を手動で調節し得る。シェーダは、多項式曲線が上限または下限に接触するまで、定数係数

を変更し得る。上限

は、上記のように定義される。下限は、δに設定される。ここで、δ≧０である。

手順は、以下のように説明され得る。

スケールファクタは、以下のように得られ得る。

ｎ∈Ω_ｊについて

かつ
ｎ＝０、１、…、Ｄについて

であるならば、

は、

によって置き換えられる。

クロマＭＭＲ係数は、新たな多項式係数を使用して求められ得る。一例において、δは、０．２に設定され、十分な逆方向再構成されたＥＤＲを確保する

が上記の条件を満足しないならば、

は、変更されないままである。シェーダは、飽和を制御するスライダを有し得る。

均等物、拡張物、代替物、その他
上記記載において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

本発明の様々な局面は、以下の列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）から理解され得る。
ＥＥＥ１．
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも１つのルックバックフレームと、少なくとも１つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの統計値を決定する工程と、
前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも１つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックバックフレームを前記現在のシーンから除外する工程と、
前記少なくとも１つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも１つのルックアヘッドフレームを前記現在のシーンに含める工程と、
前記少なくとも１つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも１つのルマ伝達関数および前記少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程と、
前記少なくとも１つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記中心傾向スライディングウィンドウの前記少なくとも１つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

ＥＥＥ２．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ３．
前記１組のクロマ多変量・重回帰（ＭＭＲ）係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル（ＬＵＴ）を決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ２に記載の方法。

ＥＥＥ４．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームのＥＤＲ上限についての統計値を解析する工程と、
前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ５．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ４に記載の方法。

ＥＥＥ６．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ７．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ６に記載の方法。

ＥＥＥ８．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ９．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ８に記載の方法。

ＥＥＥ１０．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームのＥＤＲ上限についての統計値を解析する工程と、
前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ１１．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ１０に記載の方法。

ＥＥＥ１２．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１に記載の方法。

ＥＥＥ１３．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ１２に記載の方法。

ＥＥＥ１４．
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも１つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの統計値を決定する工程と、
前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも１つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックバックフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも１つのルックバックフレームの前記決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも１つのルックバックフレームの前記決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも１つのルマ伝達関数および前記少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程と、
前記少なくとも１つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記シーン内の前記少なくとも１つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

ＥＥＥ１５．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ１６．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ１５に記載の方法。

ＥＥＥ１７．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームのＥＤＲ上限についての統計値を解析する工程と、
前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ１８．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ１７に記載の方法。

ＥＥＥ１９．
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ２０．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ１９に記載の方法。

ＥＥＥ２１．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つの統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ２２．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥに２１記載の方法。

ＥＥＥ２３．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームのＥＤＲ上限についての統計値を解析する工程と、
前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ２４．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ２３に記載の方法。

ＥＥＥ２５．
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するＥＥＥ１４に記載の方法。

ＥＥＥ２６．
前記１組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
を包含する、
ＥＥＥ２５に記載の方法。

Claims (32)

1. リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ（ＥＤＲ）をスタンダードダイナミックレンジ（ＳＤＲ）にマッピングする工程を包含し、前記方法は、
   現在のフレームと、少なくとも１つのルックバックフレームと、少なくとも１つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する（ｉｎｄｅｘｅｓ）、工程と、
   前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの統計値を決定する工程と、
   前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも１つのルックバックフレームを現在のシーンに含める工程と、
   前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックバックフレームを前記現在のシーンから除外する工程と、
   前記少なくとも１つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも１つのルックアヘッドフレームを前記現在のシーンに含める工程と、
   前記少なくとも１つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
   前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程であって、前記少なくとも１つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
   前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程であって、前記少なくとも１つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング（ＤＴＭ）を使用して構築される、工程と、
   前記現在のシーン内の前記少なくとも１つのルマ伝達関数および前記少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも１つのノイズパラメータに基づいて、前記少なくとも１つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
   前記少なくとも１つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
   前記中心傾向スライディングウィンドウの前記少なくとも１つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
   を包含する、方法。
2. 前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項１に記載の方法。
3. 前記少なくとも１つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項１に記載の方法。
4. 前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも１つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項１から３のいずれかに記載の方法。
5. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
   前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
   前記それぞれのＳＤＲ重みおよびＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
   前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
   前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
   をさらに包含する請求項１から４のいずれかに記載の方法。
6. 前記１組のクロマ多変量・重回帰（ＭＭＲ）係数の生成する工程は、
   リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
   前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
   逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
   を包含し、
   前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
   前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
   中心傾向クロマ再構成関数を得る工程と、
   前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル（ＬＵＴ）を決定する工程と、
   前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
   前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
   前記逆多項式の係数に固定の変換行列を乗算する工程と、
   逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
   を包含する、
   請求項５に記載の方法。
7. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームのＥＤＲ上限についての統計値を解析する工程と、
   前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
   前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
   前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
   をさらに包含する請求項１から６のいずれかに記載の方法。
8. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
   リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
   前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
   逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
   を包含し、
   前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
   前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
   前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
   を包含する、
   請求項７に記載の方法。
9. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
   前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
   前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
   前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
   前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
   をさらに包含する請求項１から８のいずれかに記載の方法。
10. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項９に記載の方法、
11. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
    前記それぞれのＳＤＲ重みおよびＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１から４のいずれかに記載の方法。
12. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項１１に記載の方法。
13. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームのＥＤＲ上限についての統計値を解析する工程と、
    前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１から４のいずれかに記載の方法。
14. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
    前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項１３に記載の方法。
15. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
    前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１から４のいずれかに記載の方法。
16. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項１５に記載の方法。
17. リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ（ＥＤＲ）をスタンダードダイナミックレンジ（ＳＤＲ）にマッピングする工程を包含し、前記方法は、
    現在のフレームと、少なくとも１つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
    前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの統計値を決定する工程と、
    前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも１つのルックバックフレームを現在のシーンに含める工程と、
    前記少なくとも１つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも１つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも１つのルックバックフレームを前記現在のシーンから除外する工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも１つのルックバックフレームの前記決定された統計値に基づいて、少なくとも１つのノイズパラメータを決定する工程であって、前記少なくとも１つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも１つのルックバックフレームの前記決定された統計値に基づいて、少なくとも１つのルマ伝達関数を決定する工程であって、前記少なくとも１つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング（ＤＴＭ）を使用して構築される、工程と、
    前記現在のシーン内の前記少なくとも１つのルマ伝達関数および前記少なくとも１つのノイズパラメータに基づいて、少なくとも１つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも１つのノイズパラメータに基づいて、前記少なくとも１つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
    前記少なくとも１つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも１つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
    前記シーン内の前記少なくとも１つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
    を包含する、方法。
18. 前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項１７に記載の方法。
19. 前記少なくとも１つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項１７に記載の方法。
20. 前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも１つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項１７〜１９のいずれかに記
    載の方法。
21. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つについての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイ
    ナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
    前記それぞれのＳＤＲ重みおよびＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２０に記載の方法。
22. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項２１に記載の方法。
23. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームのＥＤＲ上限についての統計値を解析する工程と、
    前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記少なくとも１つのクロマコンテンツ依存多項式および前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２２のいずれかに記載の方法。
24. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
    前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項２３に記載の方法。
25. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも１つのルックバックフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
    前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記それぞれのＳＤＲ上限に基づいた前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２４のいずれかに記載の方法。
26. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項２５に記載の方法。
27. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）重みおよびＥＤＲ上限のうちの少なくとも１つの統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ（ＥＤＲ）重みおよび前記ＥＤＲ上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）重みおよびＳＤＲ上限にマッピングする工程と、
    前記それぞれのＳＤＲ重みおよびＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２０のいずれかに記載の方法。
28. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限およびＳＤＲ重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項２７に記載の方法。
29. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームのＥＤＲ上限についての統計値を解析する工程と、
    前記ＥＤＲ上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をＳＤＲ上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記ＳＤＲ上限に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２０のいずれかに記載の方法。
30. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限および所定の順方向係数ＬＵＴに基づいて、前記順方向再構成関数を決定する工程と、
    前記ＳＤＲ上限および所定の逆方向係数ＬＵＴに基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項２９に記載の方法。
31. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも１つのルックバックフレームおよび前記少なくとも１つのルックアヘッドフレームの拡張ダイナミックレンジ（ＥＤＲ）上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記ＥＤＲ上限をそれぞれのスタンダードダイナミックレンジ（ＳＤＲ）上限にマッピングする工程と、
    前記ＳＤＲ上限に基づいて、少なくとも１つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも１つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、１組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項１７から２０のいずれかに記載の方法。
32. 前記１組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する１組のデフォルトのＭＭＲ係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記ＳＤＲ上限を超えることがあれば、
    前記ＳＤＲ上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ＬＵＴを決定する工程と、
    前記順方向再構成ＬＵＴから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記ＭＭＲ係数を決定する工程と、
    を包含する、
    請求項３１に記載の方法。

Images