JP6470474B2 - 補間誤差を抑えた低演算量ルックアップテーブル構築 - Google Patents

Description

関連出願への相互参照
本願は、２０１５年１２月９日付け出願の米国仮出願第６２／２６５，１３５号に基づく優先権を主張し、かつ、２０１６年２月１６日付け出願の欧州特許出願第１６１５５８８２．０号に基づく優先権を主張するものであり、これらの出願の開示内容を全て本願に援用する。

技術
本発明は、広くルックアップテーブルの生成に関する。より詳細には、本発明のある実施形態は、補間誤差を抑えた、映像予測のための３Ｄルックアップテーブルを生成することに関する。

背景
ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４および、より最近のものとして、Ｈ．２６５（ＨＥＶＣとしても知られる）などの国際的なオーディオビデオ符号化規格が開発され採用されたことは、規格準拠デバイスおよび通信規格（ＤＶＤプレイヤー、ブルーレイプレイヤー、およびデジタルテレビ放送のＡＴＳＣ規格やＤＶＢ規格など）を急速に発展させ、採用し、普及させることに役立ってきた。

Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．らによって開発されているディスプレイ技術においては、ハイダイナミックレンジ（ＨＤＲ）および広い色域を有する画像を再生することが可能である。このようなディスプレイは、スタンダードダイナミックレンジ（ＳＤＲ）を有する従来のディスプレイに比して、現実世界のシーンをより忠実に表現する画像を再生することができる。

本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗部（すなわち黒）から最明部の白（すなわちハイライト）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされ得る。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。

本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含み得るが、これらに限定されない。

ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ^２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ^２）に達する。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。

多くのリアルタイム態様において、演算の複雑さと演算の正確さとの間のトレードオフとして、ルックアップテーブル（ＬＵＴ）を使用することにより演算を促進することが可能である。本発明者らの理解によれば、特にハイダイナミックレンジデータの予測に関したＬＵＴについて、ＬＵＴを生成するための改良技術が望まれる。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

図１は、ベースレイヤおよびエンハンスメントレイヤを使用してＨＤＲ映像を映像配信するプロセスの一例を表す。 図２は、本発明のある実施形態による、ＨＤＲ映像復号化のプロセスの一例を表す。 図３は、本発明のある実施形態による、ルックアップテーブルにおけるノード調整の一例を表す。 図４は、本発明のある実施形態による、データ予測のプロセスの一例を表す。

実施形態例の説明
補間誤差を抑えたルックアップテーブルの低演算量（ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ）構築を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に記載の実施形態例は、補間誤差を抑えたルックアップテーブルの低演算量構築に関する。ハイダイナミックレンジ映像信号を再構成する方法において、デコーダは、入力ビットストリームの中のパラメータを受信することにより、予測関数を生成する。予測関数を使用して、第１の予測ルックアップテーブルのための第１組のノードを生成する。ここで各ノードは、ある入力ノード値およびある出力ノード値によって特徴付けられる。その後、第１組のノードのうち１つ以上の出力ノード値を修正することにより、第２の予測ルックアップテーブルのための第２組のノードを生成し、第２のルックアップテーブルを使用して出力予測値を生成する。

ある実施形態において、第１組のノードにおける現ノードの出力値を修正する工程は、現ノードおよび現ノードを囲む４つのノードの間における１つ以上の修正された傾きと、重み付けパラメータとに基づいて、修正された現ノードを算出する工程を含む。

ハイダイナミックレンジ（ＨＤＲ）映像の映像配信
その開示内容が全て本願に援用される、ブルーレイディスクアソシエーションによる最近の白書（表題「Ａｕｄｉｏ Ｖｉｓｕａｌ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ ＢＤ−ＲＯＭ Ｖｅｒｓｉｏｎ ３．０」、Ｗｈｉｔｅ ｐａｐｅｒ Ｂｌｕ−Ｒａｙ Ｄｉｓｃ Ｒｅａｄ−ｏｎｌｙ Ｆｏｒｍａｔ（Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙ）、Ｂｌｕ−Ｒａｙ Ｄｉｓｃ Ａｓｓｏｃｉａｔｉｏｎ、２０１５年７月）によると、提案されたＵｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙ規格は、必須のシングルレイヤ（１０ビット、ＹＣｂＣｒ４：２：０）Ｂｌｕ−Ｒａｙ Ｄｉｓｃ Ｍｏｖｉｅ（ＢＤＭＶ）ＥＤＲフォーマット（ＨＤＲ１０フォーマットとも呼ぶ）と、オプションのＤｏｌｂｙ ＶｉｓｉｏｎデュアルレイヤＨＤＲフォーマットとをサポートする。

民生用アプリケーションのためのＤｏｌｂｙ Ｖｉｓｉｏｎ^ＴＭは、ハイダイナミックレンジと広い色域とを伴ってマスタリングされたコンテンツの制作および配信を可能にする、エンドツーエンドの技術の一式である。Ｄｏｌｂｙ Ｖｉｓｉｏｎディスプレイマネジメントは、信号を任意のＤｏｌｂｙ Ｖｉｓｉｏｎ民生用テレビにマッピングする一連のアルゴリズムを使用することにより、所与のテレビの性能に適合する。これにより、最適かつシームレスな映像体験が、視聴者のために創造される。本明細書で用いるとき、「Ｄｏｌｂｙ Ｖｉｓｉｏｎ映像」という用語は、ＥＤＲ映像かＨＤＲ映像のいずれかを指す。

ある実施形態において、Ｄｏｌｂｙ Ｖｉｓｉｏｎ ＨＤＲストリームは、ベースレイヤ（ＢＬ）ＢＤＭＶ ＥＤＲ映像ストリームと、対応付けられたメタデータを有するＤｏｌｂｙ Ｖｉｓｉｏｎエンハンスメントレイヤ（ＥＬ）映像ストリームと、によって構成される。汎用（ｇｅｎｅｒｉｃ）ブルーレイデコーダは、ＨＤＲ１０ベースレイヤを再生することができるのみである。しかし、Ｄｏｌｂｙ Ｖｉｓｉｏｎ対応プレイヤーは、ベースレイヤとエンハンスメントレイヤとを結合することにより、デフォルトのＨＤＲ１０ストリームのダイナミックレンジよりも優れたダイナミックレンジを有した、１２ビットＨＤＲ映像出力を生成することが可能である。

Ｄｏｌｂｙ Ｖｉｓｉｏｎストリームは、以下によって特徴付けられる。すなわち、
・一定ではない輝度を有したＢＴ．２０２０原色
・ＳＭＰＴＥ ２０８４に基づいたＥＯＴＦ（電気−光学伝達関数）
・１２ビットの、結合ＢＬ／ＥＬビット深度
である。

図１は、ある実施形態例による、階層化されたＨＤＲエンコーダアーキテクチャ（１００）を表している。ある実施形態において、ベース符号化レイヤおよびエンハンスメント符号化レイヤにおける全ての映像符号化を、ＹＣｂＣｒ４：２：０色空間において実行することができる。ＨＤＲ画像エンコーダ（１００）は、１つ以上のコンピューティングデバイスで実装されていてもよい。

ＨＤＲ画像エンコーダ（１００）は、高解像度（例えばＵＨＤ）の入力ＨＤＲ画像（１０２）を受信するように構成される。本明細書で用いるとき、「入力ＨＤＲ画像」とは、入力画像のＨＤＲバージョンを導出するために使用し得る、エンハンストダイナミックレンジまたはハイダイナミックレンジ画像データ（例えば、ハイエンド画像取得デバイスなどによって撮影されたロー画像データ）を指す。入力ＨＤＲ画像（１０２）は、ハイダイナミックレンジ色域をサポートするいずれの色空間に在ってもよい。ある実施形態において、入力ＨＤＲ画像は１２ビット以上のＹＣｂＣｒ画像であるが、元々はＲＧＢ空間に在ったものでもよい。本明細書で用いるとき、複数の色成分（例えばＲＧＢまたはＹＣｂＣｒ）を有する画像に対し、ｎビット画像（例えば、１２ビットまたは８ビット画像）という用語は、色成分の各画素がｎビット画素によって表現されている画像を指す。例えば、８ビットＲＧＢ画像において、各画素は３つの色成分で構成されており、各色成分（例えば、Ｒ、Ｇ、またはＢ）は８ビットで表現され、１カラー画素当たり合計で２４ビットとなる。

各画素は、選択的および／または代替的に、当該色空間におけるチャネルのうち１つ以上について、アップサンプリングまたはダウンサンプリングされた画素値を含んでもよい。いくつかの実施形態において、赤、 緑、および青などの三原色に加え、異なる原色を本明細書に記載の色空間において並行して（ｃｏｎｃｕｒｒｅｎｔｌｙ）使用することにより、例えば、広い色域をサポートし得ることに留意されたい。これらの実施形態において、本明細書に記載の画像データは、これらの異なる原色についての追加的な画素値を含み、本明細書に記載の技術によって並行して処理されることが可能である。

ＨＤＲからＨＤＲ１０への（１１５）変換器は、高ビット深度のＨＤＲ入力（１０２）を、より低い深度（例えば１０ビット画像）のＢＬ画像（１１７）へと変換する。典型的には、当初のＨＤＲ入力（１０２）からどのようにして１０ビットＨＤＲレイヤ（１１７）を生成するかについての、いかなる符号化規格の範囲（ｓｃｏｐｅ）をも越えるものである。いくつかの実施形態において、２０１３年１２月４日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１３／０７３０８５号（ＷＯ２０１４／１０７２５５としても公開）（‘０８５出願と呼ぶ）に記載のものなどのダイナミックレンジ変換技術を使用することが可能であり、この出願の開示内容を全て本願に援用する。

ＢＬ画像エンコーダ（１２０）は、ＢＬ画像（１１７）を符号化／フォーマットすることによって符号化（または圧縮化）ＢＬ画像（１２２）を生成するように、構成される。ＢＬエンコーダは、公知の映像エンコーダ（ＩＳＯ／ＩＥＣ Ｈ．２６４もしくはＨＥＶＣ規格によって規定されるものなど）のいずれかであってもよいし、または他のエンコーダ（ＧｏｏｇｌｅのＶＰ９など）であってもよい。

ＨＤＲ画像エンコーダ（１００）におけるＢＬデコーダ（１３０）は、ベースレイヤ画像コンテナにおける画像データを復号化して、復号化ベースレイヤ画像（１３５）にする。信号１３５は、準拠受信器によって受信されることになる復号化ＢＬを表現している。この復号化ベースレイヤ画像（１３５）は、ＢＬ画像（１１７）とは異なる。なぜならば、復号化ベースレイヤ画像は、ＢＬエンコーダ（１２０）およびＢＬデコーダ（１３０）によって実行される符号化演算および復号化演算において導入された、符号化変化、丸め誤差、および近似を含むからである。

予測器（１４０）は、復号化ＢＬストリーム（１３５）に基づいて、ＨＤＲ入力信号（１０２）を予測することに関する１つ以上の演算を実行する。予測器（１４０）は、ＨＤＲからＨＤＲ１０への変換器（１１５）によって実行された演算の逆演算を実施しようと試みる。このような予測器の実施形態例が‘０８５ＰＣＴ出願に記載されている。このような予測器の実施形態例は、米国特許シリアル番号第８，８１１，４９０号「Ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｃｈａｎｎｅｌ， ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｏｒ」に記載のマルチチャネル重回帰（ＭＭＲ）予測器を含み得、この特許の開示内容を全て本願に援用する。予測器出力（１４２）をＨＤＲ入力（１０２）から差し引くことにより、残差（１５２）を生成する。

ある実施形態例において、ＨＤＲ画像エンコーダ（１００）におけるエンハンスメントレイヤ量子化器（ＮＬＱ）（１６０）は、１つ以上のＮＬＱパラメータに従って決定されるＮＬＱ関数を使用して、高ビット深度デジタル表現（例えば１２ビット）からより低いデジタル表現（例えば１０ビットまたは８ビット）へとＨＤＲ残差値（１５２）を量子化するように、構成される。ＮＬＱ関数は、線形でもよいし、区分的線形でもよいし、または非線形であってもよい。非線形ＮＬＱ設計の一例が‘０８５ＰＣＴ出願に記載されている。

エンハンスメントレイヤ（ＥＬ）エンコーダ（１７０）は、エンハンスメントレイヤ画像コンテナにおける残差値を符号化することにより、符号化ＥＬストリーム（１７２）を生成するように構成される。ＥＬエンコーダ（１７０）は、公知の映像エンコーダ（ＩＳＯ／ＩＥＣ Ｈ．２６４もしくはＨＥＶＣ規格によって規定されるものなど）のいずれかであってもよいし、または他のエンコーダ（ＧｏｏｇｌｅのＶＰ９など）であってもよい。ＥＬエンコーダとＢＬエンコーダとは、異なっていてもよいし、同一であってもよい。

予測器（１４０）およびＮＬＱ（１６０）において使用されるパラメータの組は、補足的エンハンスメント情報（ＳＥＩ）の一部として、または映像ビットストリームにおいて（例えばエンハンスメントレイヤにおいて）利用可能なその他の同様なメタデータキャリアの一部として、メタデータ（１４２）として下流デバイス（例えばＨＤＲデコーダ）へと送信することが可能である。このようなメタデータは、限定はしないが、以下のような情報を含み得る。すなわち、色空間もしくは色域の情報、ダイナミックレンジ情報、トーンマッピング情報、または本明細書に記載のものなどの、その他の予測器、アップスケーリング、および量子化器の演算子（ｏｐｅｒａｔｏｒｓ）である。

レイヤ化ＨＤＲストリームの全ての部分を生成した後に、符号化ＥＬストリーム（１７２）、符号化ＢＬストリーム（１２２）および関連メタデータ（１４２）を多重化しパケット化することにより、これらを記憶媒体に格納することおよび／またはデコーダへ送信することを可能にする。

復号化プロセス
図２は、ある実施形態による、ベースレイヤ（ＢＬ）およびエンハンスメントレイヤの復号化プロセスの一例を表している。エンコーダ（１００）によって生成された符号化ＨＤＲビットストリームを与えられると、受信器は、ベースレイヤ（１２２）と、エンハンスメントレイヤ（１７２）と、対応付けられたメタデータ（１４２）とを多重分離することになる。ベースラインデコーダ（２４０）はＢＬデコーダ（１３０）に合致し、受け渡されてＳＤＲまたはＨＤＲ１０ディスプレイ上で表示されることが可能な復号化ＢＬサンプル（２４２）を生成する。メタデータ（１４２）において示される予め選択された予測係数を使用して、復号化ＢＬ信号（２４２）をＥＬ信号ドメインのダイナミックレンジへとマッピングする。ある実施形態において、予測ＢＬ信号の小数値（ｄｅｃｉｍａｌ ｖａｌｕｅｓ）は［０，１）の範囲内にある。予測ＢＬ信号（２５２）を逆量子化ＥＬ信号（２０５）に加えることにより、ＨＤＲ出力（２２２）を再構成することになる。予測（２５０）は、エンコーダにおける予測器（１４０）に合致しているべきである。

異なる予測方法を適用することができる。例えば、ＵｌｔｒａＨＤブルーレイデコーダにおけるＤｏｌｂｙ Ｖｉｓｉｏｎストリームに対し、ルマチャネルの予測方法は、２次までの区分的多項式である。例えば、サンプルＳを与えられると、Ｎ次多項式における完全な多項式予測は、

に従って算出し得る。但し、ｆｐｏｌｙ＿ｃｏｅｆは、Ｄｏｌｂｙ Ｖｉｓｉｏｎメタデータ（１４２）において示される予測係数であり、ＢＬ＿ｂｉｔ＿ｄｅｐｔｈは、ベースレイヤのビット深度（例えば８ビット）を表す。この計算は、固定小数点または３２ビット浮動小数点で実行することが可能である。

クロマチャネルについては、予測方法は、２次までの区分的多項式であってもよいし、または３次までの多変量マルチチャネル回帰であってもよい。例えば、色サンプル

を与えられると、マルチチャネル多変量回帰は、

として表現することが可能である。但し、係数ｍ_ｉは、メタデータ（１４２）において受信され、現フレームおよびカラーチャネルに依存し得る。次数Ｎ（例えば、Ｎ＝２またはＮ＝３）もまた、メタデータにおいて規定される。

ある好適なデコーダ態様において、デコーダは、等式（１）および（２）を使用して予測（２５０）を実行する。しかし、いくつかの実施形態において、デコーダは、フレームにおける全ての画素に対してリアルタイムでこれらの演算を実行し得るほど十分にパワフルではないことがある。１つの可能な代替案は、デコーダがルックアップテーブルを構築することであろう。例えば、ＭＭＲ予測を使用して８ビットＹＣｂＣｒ値を８ビットから１２ビットに変換するためには、２５６×２５６×２５６ルックアップテーブルが必要であろう。１０ビットＳＤＲに対し、このようなテーブルは、１０２４×１０２４×１０２４へとサイズが増大するだろう。しかし、このような大きいＬＵＴを算出するにあたっては、いくつかの制約が存在する。すなわち、
・十分な演算能力がないかも知れない
・非常に制限されたメモリしかないかも知れない（特にコンシューマー機器において）
ことである。よって、ＬＵＴのサイズは、いくつかのハードウェア制約に束縛される。例えば、典型的な３Ｄの予測用ＬＵＴは、およそ２５×４５×４５である。このようなＬＵＴを与えられるとき、これらのＬＵＴノードにおいて明示的に定義されていない入力値に対する予測は、線形、双線形、または三重線形の補間などの、既知の補間方法を用いて実行することが可能である。

当該技術において既知のルックアップテーブル方法は、典型的に、入力データのパラメトリックな表現にアクセスすることを必要とする。その後、最適のＬＵＴノードは、最小２乗誤差（ＭＳＥ）などのコスト基準が最小となるように算出される。このような方法の一例が、米国特許第４，９９２，８６１号「Ｃｏｌｏｒ ｉｍａｇｅ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｐｐａｒａｔｕｓ ｈａｖｉｎｇ ａ ｄｉｇｉｔａｌｌｙ ｏｐｅｒａｔｅｄ ｌｏｏｋ−ｕｐ ｔａｂｌｅ ｃｏｎｓｔｒｕｃｔｅｄ ｂｙ ｍｅａｎｓ ｏｆ ａ ｌｅａｓｔ ｓｑｕａｒｅｓ ａｌｇｏｒｉｔｈｍ」において説明されている。しかし前述のように、あるデコーダ実施形態において、全ての可能な入力値について等式（１）および（２）を算出したり、リアルタイムでこのようなＭＳＥ最適化手法を適用したりするためには、演算能力が不十分である。そこで、ＬＵＴにおいて改善されたノード値を生成することが可能な、代替的で次善的ではあるが、低演算量（ゆえに、より速い）方法を提案する。

提案されるＬＵＴ構築方法は、２つの主要ステップを含む。すなわち、
・予測器のパラメトリック等式を使用して、ＬＵＴノードの小さい組を決定すること
・その後、当初のノードおよびこれを囲むノードによって定義される曲線の傾きを調べることにより、各ノードを洗練（ｒｅｆｉｎｅ）すること
である。最初のステップにおいて、メモリおよび演算上の制約（例えば２５×４７×４７）に従って、３Ｄ色空間における均一なサンプリングを使用することができる。洗練ステップは、より詳細に次に説明する。

接線に基づくノード洗練
１組のＬＵＴノード（例えばｉ＝１，２，…，Ｎに対する（ｘ_ｉ，ｙ_ｉ））を与えられたとき、入力値がノード値に一致する（例えばＳ_ｉ＝ｘ_ｉ）ならば、ＬＵＴ出力値（ｙ_ｉ）と予測関数の出力（例えばＲ）との誤差はゼロになる。しかし、２つのノードの間で補間する必要がある入力値（例えばｘ_ｉ−１＜Ｓ_ｉ＜ｘ_ｉ）に対しては、補間された出力により、著しい誤差が導入され得る。ゆえに目標は、ノード値を調整（例えば洗練ノード（ｘ_ｉ，ｙ_ｉ＋Ｄ_ｉ）を生成）し、これにより、ＬＵＴの出力における全体的な補間誤差を低減することである。多次元のＬＵＴ（例えば３ＤのＬＵＴ）については、３つの次元のそれぞれにおける各ノードを別々に修正することが可能である。

限定はしないが、［０，１）における正規化値を有したＹＣｂＣｒ色形式の入力データについて考え、Ｎ_ｃｂ（ｉ）∈［０，１）は、あるＨＤＲ色成分値（例えばＣｂ）を予測するＬＵＴにおける、第ｉ番目Ｙノードに対する正規化ＨＤＲ値を表すものとする。また、Δ_ｙ＝１／（ｄ_ｙ−１）は、Ｙノード間のサンプリング距離を表すものとする。但し、ｄ_ｙはＹノードの個数を表す。このとき、接線に基づくノード洗練アルゴリズムは、以下のように記述できる。

例示のために、図３に表すように、１次元（Ｙ）における、Ｃｂ成分のＬＵＴノードに対する修正のみを説明する。３次元全てに亘るその他のノードに対する修正は、同様な方法論に従う。
１）ノードＮ_ｃｂ（ｉ）を与えられたとき、当該シーケンスにおける２つの先行ノードおよび２つの後続ノードを結ぶ線分群の傾きを算出する。

２）次に、前ステップから算出された傾きを使用して、ノードＮ_ｃｂ（ｉ−１）およびノードＮ_ｃｂ（ｉ＋１）における接線群の近似的な傾きを算出する。

３）ある実施形態において、２つの先行ノードおよびＴ（ｉ−１）について考えると（図３参照）、直感的に、ノードＮ_ｃｂ（ｉ）の修正値はＮ_ｃｂ（ｉ−１）から始まる直線上に在り、この直線の傾きは、傾きＴ（ｉ−１）と傾きＳ_ｐ１（ｉ）の間のどこかに納まるが、どちらかと言えばＳ_ｐ１（ｉ）の方へ偏っているはずである。この傾きは、

として算出する。但し、βは、発見的に（ｈｅｕｒｉｓｔｉｃａｌｌｙ）決定された重み付けパラメータ（例えばβ＝３）である。以上を与えられたとき、修正ノード

は、

として算出する。等式（５）から、上記の等式は、

のように単純化することができる。但し、

である。
４）同様に、２つの後続ノードを使用して、更新された

ノードを算出することが可能である。今、

と置く。修正された

値は、傾きＳ_ｐおよび開始点Ｎ_ｃｂ（ｉ−１）を適用することにより、

として算出できる。または、ステップ３におけるように、上記の等式は、

と単純化してもよい。
５）ノードＮ_ｃｂ（ｉ）の修正値は、このとき、過去および将来のノードに対する予測の平均となる。

等式（７）および（１０）を

について代入すると、等式（１１）から、修正ＬＵＴノードは、簡素な５タップフィルタ

を使用して算出することが可能である。但し、

である。
６）修正されたＮ_ｃｂ（ｉ）値は、後続の全ての演算について、３Ｄ−ＬＵＴにおける古い値の代わりとなる。ある実施形態において、等式（７）、（１０）、および／または（１２）を与えられると、ノード洗練アルゴリズムを様々なβの値およびテストシーケンスについてテストし、その後、所与の演算量制約の下で、最良の映像品質を産むまたは何らかの他の基準（例えば平均２乗誤差）を最適化するような、βの値を選択することが可能である。

多次元のＬＵＴにおいて、ステップ１から５に至る上記の演算は、全てのノードに対し、また、全ての次元に亘り、繰り返すことが可能である。例えば、ＹＣｂＣｒ色空間における前述の例に戻ると、ＣｂおよびＣｒのＨＤＲクロマ成分は、Ｙ、Ｃｂ、およびＣｒのＳＤＲ値を使用して予測されるが、Ｙ軸に亘ってＮ_ｃｂ（ｉ）ノードを更新した後で、修正Ｎ_ｃｂ（ｊ）（ｊ＝１，２，…，ｄ_Ｃｂ）および修正Ｎ_ｃｂ（ｋ）（ｋ＝１，２，…，ｄ_Ｃｒ）ノード値をもまた、それぞれＣｂおよびＣｒ軸に亘って算出し得る。但し、ｄ_Ｃｂおよびｄ_Ｃｒは、各軸に亘っての、対応するノードの個数を表す。その後、このプロセス全体は、他の色成分に対して繰り返すことができる。（例えば、Ｃｒに対するＮ_ｃｒ（ｉ），Ｎ_ｃｒ（ｊ），およびＮ_ｃｒ（ｋ）値）

ある実施形態において、当初のＬＵＴノードの全てを修正したりはしない。例えば、あるＭＭＲ予測器について、実験結果により、１つおきにノードを修正するだけでよいことが示されている。

さらに、テストの間に、中央ノード周辺の値（例えば、Ｎ_ｃｂ（ｉ）＝０．５およびＮ_ｃｒ（ｉ）＝０．５）が、無彩色（ｎｅｕｔｒａｌ ｃｏｌｏｒｓ）を表現するがゆえに、非常に敏感であることが観察された。当該領域中のこれらのノードに対する少しの修正でさえも、重大な結果を招く可能性がある。ある好適な実施形態において、これらのノードは修正しない。

表１において、ある実施形態例による、ｄ_Ｙ×ｄ_Ｃｂ×ｄ_ＣｒのＹＣｂＣｒ ３Ｄ ＬＵＴ（ＬＵＴ_Ｃｂと呼ぶ）をＣｂ色成分に関したノード群（例えばＮ_ｃｂ（ｉ，ｊ，ｋ）＝ＬＵＴ_Ｃｂ（Ｙ_ｉ，Ｃｂ_ｊ，Ｃｒ_ｋ））について修正するプロセスを要約する。同様なアプローチを使用して、残りの成分に対するＬＵＴを修正することもまた可能である。

図４は、ある実施形態による、ＳＤＲからＨＤＲへの予測のためのプロセスの一例を表している。ビットストリームにおいて受信されたメタデータ（１４２）を与えられると、ステップ（４１０）において、デコーダは、予測関数（例えば等式（２））の多項式表現を定義する係数および他の関連メタデータにアクセスする。ステップ（４１５）において、この予測関数を使用して、デコーダは、初期ルックアップテーブルにおけるノードの初期組（例えば、ｄ_Ｙ×ｄ_Ｃｂ×ｄ_Ｃｒ個のＮ_ｃｂ（ｉ，ｊ，ｋ））を算出する。これらのノードの部分集合に対し、ステップ（４２０）においてデコーダは、現ノード、現ノードに対する２つの先行ノード、および現ノードに対する２つの後続ノードを通る、予測曲線の推定接線群に基づき算出された傾き群と、発見的な（ｈｅｕｒｉｓｔｉｃ）重み付けパラメータと、に従って調整を行なう。最後に、ステップ（４２５）において、デコーダは、修正ＬＵＴを使用して出力予測値を生成する。

本明細書における説明の殆どは、デコーダにおいてＨＤＲ値を予測するためのＬＵＴを生成することについて言及している。しかし、同様な技術を用いることにより、エンコーダ（１００）中の予測器（１４０）におけるリアルタイム処理を促進させてもよいことが、当該技術の当業者には理解されるであろう。本技術はまた、例えば色変換、ダイナミックレンジ変換のためのディスプレイマネジメント、および色域マッピングにおいてなど、ＬＵＴを使用し得る他の用途に適用してもよい。例えば、ディスプレイマネジメントにおいて、ある入力ダイナミックレンジ（例えば０．０１ニトと５，０００ニトの間）の入力画素を与えられると、デコーダにおけるディスプレイマネジメントプロセッサは、ディスプレイマッピング関数を適用することにより、これらの値をターゲットディスプレイのダイナミックレンジ（例えば０．１ニトと５００ニトの間）へとマッピングし得る。このようなマッピングはまた、３ＤのＬＵＴとしても表現することができ、このとき、本明細書中で説明したルックアップテーブル構築方法もまた、適用することが可能である。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなルックアップテーブルの低演算量構築に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のルックアップテーブルの低演算量構築に関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなルックアップテーブルの低演算量構築に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
ルックアップテーブルの効率的な低演算量構築に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

Claims (16)

1. デコーダにおいて、前記デコーダによって受信されるスタンダードダイナミックレンジデータからハイダイナミックレンジ画像データを予測するためのルックアップテーブルを構築する方法であって、
   ハイダイナミックレンジ画像データを前記予測するための予測関数に、アクセスする工程と、
   前記予測関数を使用して、第１のルックアップテーブル（ＬＵＴ）のための第１組のノードを生成する工程であって、各ノードは、ある入力ノード値およびある出力ノード値によって特徴付けられる、工程と、
   前記第１組のノードにおける少なくとも１つのノードの前記出力ノード値を修正することにより、予測ハイダイナミックレンジ出力値を生成するための、第２のルックアップテーブルにおける第２組のノードを生成する工程と、
   を含み、前記修正することは、
   前記第１組のノードにおける、ある現ノードに対し、
   前記現ノードに対する第１の先行ノードおよび第２の先行ノードを決定することであって、前記第２の先行ノードよりも前記第１の先行ノードの方が前記現ノードに近い、ことと、
   前記第１の先行ノードと前記現ノードとの間の、第１の傾きを決定することと、
   前記第２の先行ノードと前記第１の先行ノードとの間の、第２の傾きを決定することと、
   前記第１の傾きおよび前記第２の傾きに基づき、前記第１の先行ノードに対する第１の接線の傾きを決定することと、
   前記第１の接線の傾き、前記第１の傾き、およびある重み付けパラメータに基づき、第１の修正傾きを決定することと、
   前記第１の修正傾きおよび前記第１の先行ノードに基づき、前記現ノードの第１の修正出力値を決定することと、
   を含む、方法。
2. 前記第１組のノードにおける少なくとも１つのノードの前記出力ノード値を修正することは、
   前記現ノードに対する第１の後続ノードおよび第２の後続ノードを決定することであって、前記第２の後続ノードよりも前記第１の後続ノードの方が前記現ノードに近い、ことと、
   前記第１の後続ノードと前記現ノードとの間の、第３の傾きを決定することと、
   前記第２の後続ノードと前記第１の後続ノードとの間の、第４の傾きを決定することと、
   前記第３の傾きおよび前記第４の傾きに基づき、前記第１の後続ノードに対する第２の接線の傾きを決定することと、
   前記第２の接線の傾き、前記第３の傾き、および前記重み付けパラメータに基づき、第２の修正傾きを決定することと、
   前記第２の修正傾きおよび前記第１の後続ノードに基づき、前記現ノードの第２の修正出力値を決定することと、
   前記第１の修正出力値と前記第２の修正出力値との平均に基づき、前記現ノードの第３の修正出力値を決定することと、
   をさらに含む、請求項１に記載の方法。
3. 前記現ノードの前記第１の修正出力値を決定することは、
   

   

   を算出することを含み、ここで、Ｎｃｂ（ｉ）は前記現ノードの出力値を表し、Ｎｃｂ（ｉ−１）は前記第１の先行ノードの出力値を表し、Ｎｃｂ（ｉ−２）は前記第２の先行ノードの出力値を表し、ｃ１，ｃ２，およびｃ３は、前記重み付けパラメータに基づいて算出されたパラメータを表す、請求項１に記載の方法。
4. ｃ１，ｃ２，およびｃ３パラメータを算出することは、
   

   

   を算出することを含み、ここでβは前記重み付けパラメータを表す、請求項３に記載の方法。
5. 前記現ノードの前記第２の修正出力値を決定することは、
   

   

   を算出することを含み、ここで、Ｎｃｂ（ｉ）は前記現ノードの出力値を表し、Ｎｃｂ（ｉ＋１）は前記第１の後続ノードの出力値を表し、Ｎｃｂ（ｉ＋２）は前記第２の後続ノードの出力値を表し、ｃ１，ｃ２，およびｃ３は、前記重み付けパラメータに基づいて算出されたパラメータを表す、請求項２に記載の方法。
6. 前記現ノードの前記第３の修正出力値を決定することは、
   

   

   を算出することを含み、ここで、Ｎｃｂ（ｉ）は前記現ノードの出力値を表し、Ｎｃｂ（ｉ−１）は前記第１の先行ノードの出力値を表し、Ｎｃｂ（ｉ−２）は前記第２の先行ノードの出力値を表し、Ｎｃｂ（ｉ＋１）は前記第１の後続ノードの前記出力を表し、Ｎｃｂ（ｉ＋２）は前記第２の後続ノードの前記出力を表し、ｃ１，ｃ２’，およびｃ３’は、前記重み付けパラメータに基づいて算出されたパラメータを表す、請求項２に記載の方法。
7. 前記ｃ１，ｃ２’，およびｃ３’パラメータを算出することは、
   

   

   
   を算出することを含み、ここでβは前記重み付けパラメータを表す、請求項６に記載の方法。
8. 前記第１のルックアップテーブルにおける少なくとも１つのノードの前記出力ノード値を修正することは、前記第１のルックアップテーブルのノードのうち１つおきのノードのみを修正することを含む、請求項１に記載の方法。
9. 前記第１組のノードは、３Ｄ ＬＵＴの、３次元のうち１次元に亘るノードに対応する、請求項１に記載の方法。
10. 各ノードにつき、入力ノード値および出力ノード値が正規化されてゼロと１の間にある、請求項１に記載の方法。
11. 前記第１組のノードにおいて、０．５の入力ノード値に対応するノードは修正されない、請求項１０に記載の方法。
12. 前記第１組のノードにおけるノードの個数は、前記予測関数に対する全ての可能な入力値の個数よりも少ない、請求項１に記載の方法。
13. デコーダを用いてハイダイナミックレンジ画像を復号化する方法であって、
    符号化ビットストリームを受信する工程と、
    請求項１から１２のいずれか１つに記載の方法により、前記符号化ビットストリームにおけるスタンダードダイナミックレンジ画像データからハイダイナミックレンジ画像データを前記予測するためのルックアップテーブルを構築する工程と、
    前記構築されたルックアップテーブルを前記符号化ビットストリームに適用することにより、前記符号化ビットストリームから、予測ハイダイナミックレンジ出力値を生成する工程と、
    を含む方法。
14. 前記ルックアップテーブルを構築する工程の前に、
    前記符号化ビットストリームにおいて、予測関数を生成するための予測パラメータを受信する工程と、
    前記予測パラメータから前記予測関数を生成する工程と、
    をさらに含む、請求項１３に記載の方法。
15. 請求項１〜１４に記載の方法のいずれか１つを実行する１つ以上のプロセッサを備えたデコーダ。
16. 請求項１〜１４のいずれか１つによる方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。

Images