JP6584538B2 - 高ダイナミックレンジ画像の処理 - Google Patents

高ダイナミックレンジ画像の処理 Download PDF

Info

Publication number
JP6584538B2
JP6584538B2 JP2018004636A JP2018004636A JP6584538B2 JP 6584538 B2 JP6584538 B2 JP 6584538B2 JP 2018004636 A JP2018004636 A JP 2018004636A JP 2018004636 A JP2018004636 A JP 2018004636A JP 6584538 B2 JP6584538 B2 JP 6584538B2
Authority
JP
Japan
Prior art keywords
dynamic range
image
information
range image
exposure map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018004636A
Other languages
English (en)
Other versions
JP2018088691A (ja
JP2018088691A5 (ja
Inventor
ザイ,ジェフ
ワン,チェ
ティアン,ドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to JP2018004636A priority Critical patent/JP6584538B2/ja
Publication of JP2018088691A publication Critical patent/JP2018088691A/ja
Publication of JP2018088691A5 publication Critical patent/JP2018088691A5/ja
Application granted granted Critical
Publication of JP6584538B2 publication Critical patent/JP6584538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

記載される実施は、デジタル画像に関する。様々な特定の実施は、高ダイナミックレンジ(high dynamic range)(HDR)画像に関する。
テクノロジは、例えば、より広範な色又は輝度を示すことができる画像等の、より複雑な画像を可能にしている。そのような画像は、しばしば、HDR画像と呼ばれる。対照的に、標準の画像は、しばしば、低ダイナミック(low dynamic range)(LDR)画像と呼ばれる。HDR画像を符号化することは、様々な技術的課題を提示する。
全般的な態様に従って、より低いダイナミックレンジの画像は、より高いダイナミックレンジの画像から生成される。情報は、前記より高いダイナミックレンジの画像から生成され、該より高いダイナミックレンジの画像の再構成を可能にする。前記より低いダイナミックレンジの画像及び前記情報は符号化される。
他の全般的な態様に従って、信号又は信号構造は、符号化されたより低いダイナミックレンジの画像を含むより低いダイナミックレンジのセクションを含む。当該信号又は信号構造は、符号化された情報を含む情報セクションを更に含む。前記情報は、前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする。
他の全般的な態様に従って、符号化されたより低いダイナミックレンジの画像は復号される。符号化された情報も復号される。該情報は、前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする。該より高いダイナミックレンジの画像は、前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき再構成される。
1又はそれ以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ1つの特定の様式において記載されているとしても、当然ながら、実施は様々な様式において構成又は具現されてよい。例えば、実施は、方法として実行されても、あるいは、例えば、動作の組を実行するよう構成される装置又は動作の組を実行する命令を記憶する装置等の、装置として具現されても、あるいは、信号として具現されてもよい。他の態様及び特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から明らかになるであろう。
HDR画像を処理する装置及びプロセスの実施を表すフロー図である。 符号化装置及びプロセスの実施を表すフロー図である。 復号化装置及びプロセスの実施を表すフロー図である。 エンコーダ及び符号化プロセスの実施を表すブロック図である。 デコーダ及び復号化プロセスの実施を表すブロック図である。 1又はそれ以上の実施により使用され得る送信システム及びプロセスの実施を表すブロック図である。 1又はそれ以上の実施により使用され得る受信システム及びプロセスの例を表すブロック図である。
本願において提示される特徴のうちの幾つかのプレビューとして、少なくとも1つの実施は、LDR画像及びエクスポージャマップ又はルックアップテーブル(look-up table)(LUT)のいずれか一方へのHDR画像の分解を記載する。LDR画像は、エクスポージャマップ又はLUTのいずれかとともに、符号化され、伝送又は記憶のためにビットストリームに挿入される。LDR画像及びエクスポージャマップは、幾つかの様式において一緒に符号化されてよい。例えば、エクスポージャマップは、符号化されたLDR画像の再構成に基づき符号化されてよい。受信器は、例えば、符号化されたデータを有する伝送を受信して、記憶装置からビットストリームを読み出すことによって、ビットストリームにアクセスする。受信側にあるデコーダ(又は「復号器」ともいう。)は、次いでLDR画像を、そしてもしあればエクスポージャマップ又はLUTを復号する。復号された情報に基づき、受信器はHDR画像を再合成する。我々は、以下でより詳細に、エクスポージャマップ実施又はLUTマップ実施を含む様々な実施について議論する。
プレビューを続けると、エクスポージャマップを伴う様々な実施は、HDRビデオ信号を復号化するための次のステップを有することを概して特徴とすることができる。
1.HDR分解:原のHDR信号を2つのレイヤ、すなわち、LDRレイヤ及びエクスポージャマップレイヤに分解する。
エクスポージャマップは、対応するピクセル座標にあるLDR画像からHDRソースを回復するのに使用され得る乗数(又はゲイン)を夫々のエントリが表す2次元行列として、通常は定義される。これは、夫々のピクセル座標(x,y)について、次の式が有効であることを意味する:

x,y=C×f(Lx,y)×2Ex,y

この式において、
f(.)は、ガンマ補正された値を線形な値にマッピングする逆応答関数であり、
Cは、所望の、適当な、数値域にあるLDR画像及びエクスポージャマップをもたらす定数であり、
Hは、HDRソース値であり、
Lは、LDR画像値であり、
Eは、エクスポージャマップ値である。
上記の定義から、HDR画像/ビデオを分解する多くの方法が存在し得る。しかしながら、圧縮適用のために、様々な実施は、エクスポージャマップが区分的に滑らかな信号(piece-wise smooth signal)であるように、HDRソースを分解する。それは、エクスポージャマップが、原のHDR画像における小規模のディテールを取り除く一方で、原のHDR画像における広域的なエッジと強い相関を有することを意味する。
様々な実施は、HDRソース値と、LDR画像値の再構成された値とに基づき、エクスポージャマップを決定する。すなわち、LDR画像値は符号化され、そして、再構成されたLDR画像値を生成するよう復号される。この再構成されたLDR画像値は次いで、エクスポージャマップ値を決定するために、原のHDRソース値とともに使用される。それらの実施のうちの幾つかにおいて、エクスポージャマップは劣化なしで符号化され、よって、場合により、HDRソース値の完璧な再合成を可能にする。
2.例えばH.264(すなわち、既存の国際標準化機構(International Organization for Standardization)/国際電気標準会議(International Electrotechnical Commission)(ISO/IEC)の動画像符号化専門家グループ4(Moving Picture Experts Group-4)(MPEG−4)のパート10AVC(Advanced Video Coding、以下AVC)標準/国際電気通信連合の電気通信標準化部門(International Telecommunication Union, Telecommunication Sector)(ITU−T)H.264提言(以下H.264/MPEG−4AVC標準、あるいは、例えばAVC標準、H.264標準、又は単にAVC若しくはH.264等のその変形))等の、従来のビデオ符号化方式を用いてLDRレイヤを圧縮する。
3.エクスポージャマップレイヤの圧縮を助けるために、再構成されたLDRレイヤを使用する。
加えて、エクスポージャマップを伴う様々な実施は、デコーダ側で次のステップを有することを概して特徴とすることができる。
1.LDRレイヤに属するビットストリームを抽出し、LDRレイヤを従来のデコーダにより復号する。
2.エクスポージャマップの復号化を助けるために、再構成されたLDRフレームを使用する。
3.再構成されたLDRレイヤ及び復号されたエクスポージャマップレイヤを結合して、HDRビデオ信号を再構成する。
図1を参照すると、幾つかの異なる実施に適用するシステム100の構成要素を表すフロー図が与えられている。図1は、様々な実施について議論するために使用される。
システム100は、5つのセクションを含む。それらは、分解セクション102、符号化セクション104、信号セクション105、復号化セクション107、及び再合成セクション109である。
分解(decompose)セクション102は、分解(decomposition)セクションとも呼ばれ得る。分解セクション102は、HDR画像110を受信し、HDR画像110をLDR画像112及び再合成情報114に分解する。
HDR画像は、ピクセルごとに8よりも多いビットを有する画像としてしばしば定義される。反対に、LDR画像は、ピクセルごとに8又はそれより少ないビットを有する画像としてしばしば定義される。しかしながら、語HDR及びLDRは相対語であり、ピクセルごとにあらゆる数のビットを有する画像に言及することができる。然るに、時々本願において、語「より高い」ダイナミックレンジ及び「より低い」ダイナミックレンジは、それらの画像に言及するために使用される。
矢印113は、LDR画像112と再合成情報114とを接続する。矢印113は、以下で更に説明されるように、様々な実施において、LDR画像112が再合成情報114に基づくか、あるいは、再合成情報114がLDR画像112に基づくか、あるいは、その両方のいずれかを示す。
再合成情報114は、例えば、本願で議論される異なる実施において、エクスポージャマップ116又はLUT118のいずれかである。LUT118は、例えば、前進(forward)LUT又は逆行(backward)LUTのいずれかである(図1では、F又はB LUTと省略されている。)。前進LUTは、以下で更に説明されるように、HDR画像110からLDR画像112を決定するのに使用されるLUTを提供する。逆行LUTは、以下で更に説明されるように、LDR画像112の再構成からHDR画像110の再合成を生成するのに使用され得るLUTを提供する。逆行LUTは、しばしば前進LUTの逆であり、あるいは、幾つかの様式において前進LUTに基づく。
再合成情報114は、より一般的には、LDR画像112からHDR画像110を再合成するのに使用され得る。再合成情報は、異なる実施において、HDR画像110のコンポーネント、HDR画像110の分解を記述する情報(例えば、前進LUT)、又は分解の逆を記述する情報(例えば、逆行LUT)である。再合成情報は、様々な状況において、分解情報又はコンポーネント情報とも呼ばれ得る。
再合成情報は、再構成情報とも呼ばれ得る。再構成(reconstruction)は、再合成(recomposition)よりも一般的な語であり、HDR画像を再合成することはまた、HDR画像を再構成するとも言われ得る。画像を再構成することは、一般に、構成又はコンポーネント情報から画像を生成するあらゆるプロセスに言及する。構成又はコンポーネント情報は、例えば、異なる実施において、LDR画像、LUT、エクスポージャマップ、符号化リファレンス、又は残余を含む。再構成された画像は、様々な実施において、原画像の推定であるか、あるいは、原画像と同じであることができる。当然ながら、再合成された画像は、再構成された画像である。
しかしながら、この文書において、語「再合成」は、一般に、様々なコンポーネント部分(例えば、LDR画像及びエクスポージャマップ又はLUT)を結合することによってHDR画像を生成することに言及する場合に使用される。加えて、この文書において、語「再構成」は、一般に、様々なシンタックス要素を復号し、それらの復号されたシンタックス要素を用いて画像を生成することによって画像を生成するプロセスに言及する場合に使用される。典型的な再構成プロセスは、(i)例えば、ピクチャを符号化することによる残余を表すDCT係数、及びリファレンス(例えば、動きベクトル、及び符号化モードインジケータ)を識別する情報等の様々なシンタックス要素を復号することと、(ii)復号された残余及び識別されたリファレンスに基づきピクチャの推定を生成することとを含む。時々、しかしながら、語「再構成」は、この文書において、「再合成」を含み且つそれよりも広いより一般的な語として使用される。
符号化セクション104は、LDR画像112を受信する。符号化セクション104は、符号化されたLDR画像122を生成するようLDR画像112を符号化する。符号化セクション104はまた、様々な実施において、エクスポージャマップ116を受信する。符号化セクション104は、符号化されたエクスポージャマップ126を生成するようエクスポージャマップ116を符号化する。符号化セクション104はまた、様々な実施において、LUT118を受信する。符号化セクション104は、先に説明されたような前進LUT又は逆行LUTのいずれかである符号化されたLUT128を生成するようLUT118を符号化する。
信号セクション105は、符号化されたLDR画像122を受信する。信号セクション105は、例えば、送信又は記憶に適したビットストリーム等の信号を形成する。信号セクション105は、符号化されたLDR画像122に基づき、信号のLDR信号部分132(図1では、LDR部分と省略される。)を形成する。信号セクション105はまた、本願で記載される様々な実施において、符号化されたエクスポージャマップ126又は符号化されたLUT128のいずれかを受信する。信号セクション105は、符号化されたエクスポージャマップ126又は符号化されたLUT128のいずれか、又は場合により両方に基づき、再合成情報信号部分134を形成する。
復号化セクション107は、LDR信号部分132を受信する。復号化セクション107は、再構成されたLDR画像142とも呼ばれる復号されたLDR画像を形成するようLDR信号部分132を復号する。復号化セクション107はまた、再合成情報信号部分134を受信する。復号化セクション107は、再合成情報信号部分134を復号する。どのような情報が再合成情報信号部分134に含まれているかに依存して、復号化セクション107は、(i)再構成されたエクスポージャマップ146、(ii)再構成された前進LUT148、又は(iii)再構成された逆行LUT149のうちの1つ、又は場合によりそれ以上を生成する。
再合成(recompose)セクション109は、再合成(recomposition)セクション、又は再構成(reconstruction)セクションとも呼ばれ得る。再合成セクション109は、再構成されたLDR画像142を受信する。再合成セクション109はまた、供給される場合に、(i)再構成されたエクスポージャマップ146、(ii)再構成された前進LUT148、又は(iii)再構成された逆行LUT149のうちの1つ、又は場合によりそれ以上を受信する。
再構成されたLDR画像142を用いて且つLUTを用いてHDR画像を再合成するよう、システム100の再合成セクション109は、逆行LUTを使用する。すなわち、定義により、逆行LUTは、入力としてLDRデータ値を受け取り、出力としてHDRデータ値を供給する。然るに、再構成された前進LUT148が受信される場合は、再合成セクション109は、再構成された前進LUT148に基づき生成逆行LUT158を生成する。
再合成セクション109は、再合成されたHDR画像160を生成する。再合成されたHDR画像160は、再構成されたLDR画像142と、(i)再構成されたエクスポージャマップ146、(ii)再構成された前進LUT148、又は(iii)再構成された逆行LUT149のうちの1つ、又は場合によりそれ以上とに基づく。
図2を参照すると、フロー図は、符号化装置及びプロセスの実施を表すプロセス200を表す。プロセス200はまた、プロセス200の列挙された動作を実行するための構造を表す。代替的に、プロセス200は、様々な実施において、システム100の構造を用いて実行される。
プロセス200は、HDR画像をLDR画像及び再合成情報に分解する動作(210)を含む。動作210は、様々な実施において、HDR画像110をLDR画像112及び再合成情報114に分解することによって実行される。再合成情報は、HDR画像の再合成を可能にする。
プロセス200は、LDR画像を符号化する動作(220)と、再合成情報を符号化する動作(230)とを更に含む。動作220は、様々な実施において、符号化されたLDR画像122を生成する際に符号化セクション104によって実行される。同様に、動作230は、符号化されたエクスポージャマップ126又は符号化されたLUT128を生成する際に符号化セクション104によって実行される。
図3を参照すると、フロー図は、復号化装置及びプロセスの実施を表すプロセス300を表す。プロセス300はまた、プロセス300の列挙された動作を実行するための構造を表す。代替的に、プロセス300は、様々な実施において、システム100の構造を用いて実行される。
プロセス300は、符号化されたLDR画像を復号する動作(310)を含む。動作310は、様々な実施において、再構成されたLDR画像142を生成することによって実行される。
プロセス300は、符号化された再合成情報を復号する動作(320)を更に含む。再合成情報は、LDR画像及び再合成情報からのHDR画像の再合成を可能にする。動作320は、様々な実施において、(i)再構成されたエクスポージャマップ146、(ii)再構成された前進LUT148、又は(iii)再構成された逆行LUT149のうちの1つ、又は場合によりそれ以上を生成するよう復号化セクション107が再合成情報信号部分134を復号することによって、実行される。
プロセス300は、復号されたLDRピクチャ及び復号された再合成情報に基づきHDR画像を再合成する動作(330)を更に含む。動作330は、様々な実施において、再合成セクション109が、再構成されたLDR画像142と、(i)再構成されたエクスポージャマップ146、(ii)再構成された前進LUT148、又は(iii)再構成された逆行LUT149のうちの1つ、又は場合によりそれ以上とに基づき、再合成されたHDR画像160を生成することによって、実行される。様々な実施において、動作330は、生成逆行LUT158を生成することを更に含む。
プロセス200の幾つかの特定の実施が、これより、更に詳細に記載される。様々な実施は、HDR信号(場合により複数の画像を含む。)を複数のレイヤ又はコンポーネントに分解する。HDR信号を、例えば、2つのレイヤに分解するための多数の方法が存在する。HDR信号をLDRレイヤ及びエクスポージャマップに分解し、このようにして動作210の1つの変形を実行する幾つかの実施が、以下で記載される。
第1のアプローチは、LDRビデオ信号であるトーンマッピングされたビデオを得るために、各HDR画像にトーンマッピングアルゴリズムを適用する。トーンマッピングアルゴリズムを適用した後、エクスポージャマップが、次の式:

E(i,j)=Q(log(H(i,j)/f(L(i,j)))) (1)

を用いて得られる。
上記の式において、
−H(i,j)は、線形なHDR輝度値である。
HDR画像は、例えば、RGB(red-green-blue)等の様々な色空間にあることができる。様々な実施において、我々は、輝度チャネルの圧縮に焦点を合わせ、そして、色度チャネルを圧縮するために旧来の方法を使用する。更に、HDRは、状況に依存した相対語である。様々な実施において、HDRピクセル値は、10ビット、12ビット、又は浮動小数点表現である。
−L(i,j)は、8ビットのガンマ補正されたピクセル値であり、ある実施においては、ガンマのべき乗の、結果として生じる除算結果により、255で除されたH(i,j)に対応するLDRピクセル値に等しい。
ガンマ符号化は、ビデオ又は静止画像システムにおいて輝度又は三刺激値を符号化及び復号するのに使用される非線形演算の名称である(例えば、http://en.wikipedia.org/wiki/Gamma_correctionを参照)。ガンマの典型的な値は2.2であり、これは多くのコンピュータにおいて使用されている。
以下の式で、“x”は、0から255の範囲を有するガンマ補正されたピクセル値である。“y”は、線形輝度値である。“M”は、特定のシステムの最大輝度を定義するスケーリング係数である。例えば、表示システムにおいて、“M”は、最大輝度値である。

y=M×(x/255)2.2

−f()は、ガンマ補正されたピクセル値を線形量に変換することができる逆応答関数である。
線形量は、HDRソースが多くの場合において線形領域にあるので、通常は望ましい。“線形”は、輝度値が、カメラのセンサに衝突する光子の数に比例することを意味する。ある専門用語では、それはロー(raw)ピクセルデータとも呼ばれる。f()の例は:

y=M×(x/255)2.2

である上記の式である。
−Q()は、浮動小数点表現を固定小数点表現に変換する量子化関数である。Q()は、均一又は不均一であることができる。Q()が不均一である場合は、デコーダ側は、デコーダ側がデータを受信するときに如何にして逆量子化を行うべきかを通常は知る必要がある。サイド情報が送信されてよい。
対数関数は、通常は、数ある中でもおそらく、出力の範囲を小さくする効果を有する。
エクスポージャマップを生成するために上記のアプローチを使用することは、滑らかでないエクスポージャマップを生成することがある。滑らかでないエクスポージャマップは、圧縮するのが難しいことがある。
代替のアプローチは、最初に“緻密な(precise)”エクスポージャマップを生成し、次いで、生成されたエクスポージャマップに平滑条件を負わせることである。緻密なエクスポージャマップは、例えば、次の参考文献、C. Tomasi, R. Manduchi, Bilateral Filtering for Gray and Color Images, 1998 Proceedings of the Sixth International Conference on Computer Vision, Page 839に示されるようにHDR画像においてバイラテラルフィルタを使用して、得られる。なお、この文献は、全ての目的のためにその全文を参照により本願に援用される。
緻密なエクスポージャマップはまた、例えば、次の引用文献、Zeev Farbman et al. Edge-preserving decompositions for multiscale tone and detail manipulation, ACM SIGGRAPH 2008に示されるようにHDR画像において加重最小二乗フィルタを使用して、得られる。なお、この文献は、全ての目的のためにその全文を参照により本願に援用される。
語「緻密」は、あるフレームワークにおいては不要であってよい。例えば、加重最小二乗フィルタを使用することは、エクスポージャマップを得るための方法である。先に挙げたZeevの研究論文では、正則化方法が平滑条件を強制するために使用される。
例えば、一実施において、我々は、底として2を有する対数関数を適用することによって得られる対数的に圧縮されたHDR画像(行列H)を有し、且つ、我々は、エクスポージャマップ(行列E)を得たいとしよう。我々は、次の最適化問題を解く:
Figure 0006584538

ここで、2変数関数Fは正則化関数であり、Zeev等の研究論文で与えられている形を成してよい。“λ”は、平滑化の強さを制御する定数である。
平滑化条件は、上記の最適化問題において潜在する。これは、例えば、バイラテラルフィルタの場合について、説明され得る。バイラテラルフィルタは、隣接するピクセルが類似する場合には強いフィルタリングを適用するが、隣接するピクセルが全く異なる場合には弱いフィルタリングを適用する。結果として、鮮明な/強いエッジは保たれるが、小規模のディテールは取り除かれる。加重最小二乗フィルタリングは、種々の数学的な定式化を用いて、同じ全般的な目的を達成する。
上記の実施は、HDR画像から直接にエクスポージャマップを決定する点に留意されたい。対照的に、式1は、エクスポージャマップを決定するためにHDR画像及びLDR画像を使用する。基本的に、我々がLDRマップ又はエクスポージャマップのいずれか一方を特定すると、他方は直ぐに求められる。
そして、その場合に、LDRレイヤは、以下の式2を用いて、緻密なエクスポージャマップを適用することによって得られる。最後に、緻密なエクスポージャマップは、固定小数点表現へと量子化され、圧縮に備える。より具体的には、緻密なエクスポージャマップE(i,j)を考えると、LDRレイヤの赤チャネルは:

r(i,j)=S(g(R(i,j)/2Ep(i,j))) (2)

によって求められ得る。この式において、
−R(i,j)は、HDR画像の赤成分の線形値であり、
−g()は、以下で記載されるガンマ補正関数であり、
−S()は、以下で記載される飽和関数である:

g(x)=x1/α (αは、通常は2.2である。) (3)

1 (x>1の場合)
S(x)={x (0<x<1の場合) (4)
0 (x<0の場合)

他の色チャネルは、同様にして求められ得る。LDRレイヤを生成した後、緻密なエクスポージャマップは、上述された関数Q()を用いて量子化される。よって、次のステップへの全ての入力は固定小数点である(通常、8ビット)。
分解が実行された後、2つのレイヤは多くの実施において圧縮される。LDRレイヤは、例えば、H.264ビデオ圧縮器等の、従来のビデオ圧縮器により圧縮され得る。これは、例えば、動作220を実行する。エクスポージャマップも圧縮され、よって、例えば、動作230を実行する。しかしながら、様々な技術が使用可能である。エクスポージャマップは、多くの実施において、低いエントロピを有する区分的に滑らかな信号である。加えて、本発明者は、多くの実施において、エクスポージャマップがLDRレイヤと強い相関を有すると認めている。例えば、エッジは、しばしば、LDRレイヤ及びエクスポージャマップの両方において一所に配置されている。然るに、デプスマップの圧縮にこれまで適用されてきた様々な技術は、エクスポージャマップの圧縮に適用可能である。
1つのそのような技術には、2011年4月21日付けで公開された国際公開第2011/046607号(国際出願第PCT/US10/002744号)において説明されるジョイントバイラテラルフィルタが含まれる。なお、この特許文献は、全ての目的のためにその全文を参照により本願に援用される。ジョイントバイラテラルフィルタリングは、例えば、当該特許文献のビデオ画像を本願のLDR画像により置き換えることによって、且つ、当該特許文献のデプスマップを本願のエクスポージャマップに置き換えることによって、適用され得る。この置換は、少なくとも、当該特許文献におけるビデオ画像及びデプスマップのエッジであるように、LDR画像及びエクスポージャマップのエッジが通常は一所に配置されるとの事由により、良好な結果をもたらすと期待される。様々なそのような実施は、予測リファレンスとして使用するためのより良く再構成されたエクスポージャマップを得るために、当該特許文献のデブロッキングフィルタをインループフィルタに置き換える。
他のそのような技術は、2009年4月23日付けで公開された国際公開第2009/051668号(国際出願第PCT/US08/011661号)において説明され適用される幾何学的パーティショニングを伴う。なお、この特許文献は、全ての目的のためにその全文を参照により本願に援用される。
更なるそのような技術は、既に全ての目的のためにその全文を参照により援用されている国際公開第2011/046607号において説明される疎二分(sparse dyadic)モード及び他の技術を含む。疎二分モード及び幾何学的パーティショニングは、所与のブロックについてラインを見つけ、そのラインの片側にあるブロックの各部について値を決定することによって、適用され得る。ラインは、例えば、LDR画像から又はエクスポージャマップから、決定され得る。1つの特定の実施において、エクスポージャマップにおける所与のブロックのラインは、再構成されたLDR画像から決定される。然るに、ライン自体は、デコーダがそれ自体を決定することができるので、送信される必要がない。他の実施において、エクスポージャマップの所与のブロックのラインは、完全なエクスポージャマップから決定される。然るに、ラインは、その実施においては、デコーダがラインを決定することができないので、送信される。
符号化の後、符号化されたレイヤは、例えば、送信又は記憶され得る。様々な実施において、デコーダは、2つのレイヤにアクセスし、復号する。それら2つのレイヤは、所与の画像について、LDR画像及びエクスポージャマップである。よって、例えば、デコーダは動作310及び320を実行する。次いで、デコーダは、再構成されたLDR画像及び再構成されたエクスポージャマップからHDR画像を再合成する(例えば、動作330を実行する)。
少なくとも1つの実施において、再合成は次のように起こる。デコーダ側は、再構成されたバージョン
[外1]
Figure 0006584538
を得るためにLDR画像及びエクスポージャマップを夫々復号する。ここで、我々は、輝度チャネルのみを考えている。同様の式は、3つの色チャネルについて求められ得る。
次いで、再構成されたHDR画像は、次の式によって求められる:
Figure 0006584538

これは、反対のプロセスであることから、上記の分解式とよく似ている。
プロセス200の幾つかの更なる特定の実施が、これより、より詳細に記載される。様々な実施は、HDR信号(場合により、複数の画像を含む。)を複数のレイヤ又はコンポーネントに分解する。HDR信号を、例えば、2つのレイヤに分解するための多数の方法が存在する。以下で記載される幾つかの実施は、HDR信号を、LDRレイヤと、如何にしてHDR信号がLDRレイヤから再構成され得るかを示す再構成情報とに分解し、このようにして動作210の1つの変形を実行する。
様々な実施のエクスポージャマップはまた、如何にしてHDR信号がLDRレイヤから再合成され得るかを示す再合成情報と見なされる点に留意されたい。
様々な実施において、HDR画像は、一般に量子化を指すトーンマッピングを用いて、LDR画像に変換される。様々な技術、例えば、平均化、切り捨て、又はルックアップテーブル等が使用され得る。提示の便宜上、我々は、ルックアップテーブルに関連して様々な実施について議論する。しかしながら、他のメカニズムが同様に適用可能であり、考えられている。
ルックアップテーブル(LUT)は、HDR画像ごとに生成され得る。これは、しばしば、大域的トーンマッピングと呼ばれる。代替的に、LUTは、例えば、シーケンス又は映画等の複数の画像について、生成され使用され得る。加えて、LUTは、全体に満たない画像について、生成され使用され得る。これは、しばしば、局所的トーンマッピングと呼ばれる。様々な実施が、スライスごと、ブロックごと、又はパーティションごとにLUTを生成し使用する。
LUTは、様々な実施において、1又はそれ以上のHDR画像についてのヒストグラムを解析することによって、生成される。HDR値のヒストグラムに基づき、ビンが生成される。ビンは、しばしば、不揃いなサイズを有し、HDR値の各ビンは、単一のLDR値を割り当てられる。ビンが不揃いなサイズを有する場合に、ビンは、HDR画像のHDRデータ値とLDR画像のLDRデータ値との間の不均一マッピングを提供する。ビンは、しばしば、量子化ビンと呼ばれる。
LUTは、異なる実施において、異なる値を用いて構成される。例えば、LUTは、様々な実施において、各ビンの最初又は最後のいずれかのHDR値を使用する。分解器は、次いで、適切なビン及びLDR値を決定するために、入力されたHDR値をLUTの値と比較することができる。
次いで、様々な実施は、記憶又は送信のために、LDR画像及びLUTを符号化する。LUTは、有利には、データ量が小さい。LUTは、例えば、LDRデータのために8ビットを使用する実施について、たった256エントリしか含まない。これは、256個のとり得るLDRデータ値の夫々がLUTにおける1つのエントリに対応するためである。シーケンスごとに別々のLUTを使用する大域的トーンマッピング実施に関し、従って、画像のシーケンスごとにたった256のエントリ(1LUT)しか存在しない。
様々な実施は、符号化されたLDR画像及び符号化されたLUTからビットストリームを形成する。LDR画像は、例えば、H.264により符号化され、LUTは、例えば、可逆符号化スキームにより符号化される。他の実施は、当然に、LUTのために不可逆スキームを使用する。LUTは、例えば、SEI(supplemental enhancement information)メッセージを用いて、又はある形式のメタデータを用いて、H.264ビットストリームにおいて含められるか、あるいは、ストリーム外で送信され得る。
LUTをデコーダへ供給することによって、実施はHDR画像を再構成することができる。この動作は、様々な実施において、例えば、デコーダ、再合成器、又はポストプロセッサにより実行される。
HDR画像の再構成は、符号化側で実行されたトーンマッピング動作の逆を実行することを伴う。典型的な実施において、夫々の入力されたLDR値は、LUTの特定のHDR値に対応する。LUTのHDR値は、様々な実施において、ビンの先頭、又はビンの終わりに設定される。逆トーンマッピングは、例えば、その対応するLUTのHDR値を用いて、又はビンの他端に対応するHDR値を用いて、又はビンの中央に対応するHDR値を用いて、実行され得る。LUTにおける2つの隣り合うHDR値の単純な数学的平均化が実行され得る。しかしながら、各ビンの中央のHDR値を使用する一実施においては、逆トーンマッピングLUTは、生成逆行LUT158によって記載及び図示されたように、LUTエントリとして中央の値を有してデコーダにおいて生成される。
典型的な受信器はまた、再構成されたHDR画像の見かけを改善するよう、ディザリングアルゴリズム又は他の技術を適用する。ディザリング又は他の処理は、再構成されたHDR画像において量子化ノイズを低減することができる。
図4を参照すると、エンコーダ(符号器)1100は、様々な実施において、例えば、LDR画像、HDR画像、又はエクスポージャマップ等の画像を符号化するのに使用されるエンコーダの実施を表す。エンコーダ1100はまた、特定の実施において、例えば、符号化されたビットストリームに関する情報を提供するメタデータ等のデータを符号化するのに使用される。メタデータは、例えば、LUT等の再構成情報を含むことができる。エンコーダ1100は、一実施においては、例えば、図6に関して後述されるビデオ送信システムの部分として、実施される。また、当然ながら、図4のブロックは、エンコーダのブロック図を提供することに加えて、符号化プロセスのフロー図を提供する。
入力画像シーケンスは、加算器1101に、更には変位補償ブロック1120及び変位推定ブロック1118に到着する。変位は、例えば、動きのずれ又は視差のずれのいずれかを言う点に留意されたい。入力画像シーケンスは、一実施において、LDRレイヤである。加算器1101への他の入力は、スイッチ1123を通じて受信される様々なとり得るリファレンスピクチャ情報項目のうちの1つである。
例えば、第1のシナリオにおいて、スイッチ1123と信号通信するモード決定モジュール1124は、現在符号化されている同じピクチャ(例えば、LDRピクチャ)からのブロックを参照して、符号化モードがイントラ予測であるべきと決定する。この第1のシナリオにおいて、加算器1101は、イントラ予測モジュール1122からその入力を受け取る。代替的に、第2のシナリオにおいて、モード決定モジュール1124は、現在符号化されているピクチャとは異なるピクチャ(例えば、異なる時間若しくはビュー又はその両方)を参照して、符号化モードが変位の補償及び推定であるべきと決定する。この第2のシナリオにおいて、加算器1101は、変位補償モジュール1120からその入力を受け取る。
様々な実施において、イントラ予測モジュール1122は、符号化されているブロックに隣接したブロックである1又はそれ以上のブロックに基づき所定の予測子を提供する。様々な実施において、イントラ予測モジュール1122は、符号化されているピクチャ内で最良のリファレンスブロックを探すことによって、予測子(リファレンス)を提供する。
より具体的に、幾つかのそのような予測子に基づく実施は、既に符号化されている現在のピクチャの部分の再構成内を探索する。幾つかの実施において、探索は、既存のブロック境界に位置するブロックに制限される。しかしながら、他の実施においては、探索は、それらのブロックが既存のブロック境界を横切るかどうかに関わらず、ブロックを探索することを認められる。探索により、そのような実施は、単に所定の隣接したブロックをリファレンスとして使用することよりも、しばしば、非常に時間がかかり且つプロセッサ負荷が大きい。しかしながら、そのような実施は、通常は、所与のブロックのより良い予測を見つけるという利点を提供する。
そのような実施は、最も良く推定されたイントラ予測ブロックをもたらし得る。加えて、様々な実施において、リファレンスブロックの境界は、サブピクセル境界に位置することができ、リファレンスの回復は、復号化の間にリファレンスとして使用されるべき実際のブロックをリストアする補間ステップを伴う。ピクチャの内容に依存して、そのようなサブピクセル補間実施は、リファレンスとしての隣接ブロックの使用と比べて、圧縮効率を改善することができる。
加算器110は、信号を変換モジュール1102へ供給する。変換モジュール1102は、その入力された信号を変換し、変換された信号を量子化モジュール1104へ供給するよう構成される。量子化モジュール1104は、その受信した信号に対して量子化を実行し、量子化された情報をエントロピエンコーダ1105へ出力するよう構成される。エントロピエンコーダ1105は、その入力された信号に対してエントロピ符号化を実行してビットストリームを生成するよう構成される。逆量子化モジュール1106は、量子化モジュール1104から量子化された信号を受信し、量子化された信号に対して逆量子化を実行するよう構成される。順に、逆変換モジュール1108は、逆量子化モジュール1106から逆量子化された信号を受信し、その受信された信号に対して逆変換を実行するよう構成される。逆変換モジュール1108の出力は、加算器1101から出力される信号の再構成である。
加算器(より一般的には結合器と呼ばれる。)1109は、逆変換モジュール1108及びスイッチ1123から受信された信号を加算(結合)し、結果として得られる信号をイントラ予測モジュール1122及びインループフィルタ1110へ出力する。イントラ予測モジュール1122は、結果として得られる信号を、例えば、現在のピクチャから更なるブロックを符号化することにおいて、使用する。インループフィルタ1110は、以下で更に説明されるように、所与のピクチャについての再構成されたピクチャデータにフィルタをかけて、これをデプスリファレンスバッファ1112へ供給する。結果として得られる信号は、エンコーダ1100へ入力される画像シーケンス信号の再構成である。
イントラ予測モジュール1122は、上述されたように、その受信した信号を用いて、イントラ予測を実行する。インループフィルタ1110は、加算器1109から受信された信号にフィルタをかけ、フィルタ処理された信号をリファレンスバッファ1112へ供給する。リファレンスバッファ1112は、画像情報を変位推定モジュール1118及び変位補償モジュール1120へ供給する。一実施においては、リファレンスバッファ1112は、例えば、現在のピクチャからよりもむしろ、他の時間インスタンス又は他のビューからのリファレンスピクチャを記憶する。
一実施において、インループフィルタ1110は、現在のブロックに含まれる所与のブロックについてのフィルタ処理された結果を得るために隣接ピクセルを使用する。様々なフィルタ設計において、現在のブロックについての隣接ピクセルは、復号されていないブロックからのピクセルを含む。然るに、そのようなフィルタ設計に関し、現在のブロックは、それが復号されている間、フィルタ処理され得ない。然るに、既に復号されている特定の隣接ピクセルは、現在のブロックが復号されるまでフィルタ処理され得ない。結果として、少なくとも1つの実施は、イントラ予測において、フィルタ処理された結果を使用しない。しかしながら、実施は、前のピクチャ(リファレンスピクチャ)からの全てのブロックが復号されており、フィルタ処理され得るので、インタ予測のために、フィルタ処理された結果を使用する。
メタデータは、符号化されたメタデータとしてエンコーダ1100へ加えられ、エントロピコーダ1105からの出力ビットストリームと結合されてよい。代替的に、例えば、符号化されていないメタデータは、量子化された画像シーケンスとともに、エントロピ符号化のためにエントロピコーダ1105へ入力されてよい。
データはまた、モード決定モジュール1124によって出力ビットストリームへ提供される。モード決定モジュール1124は、所与のブロックを符号化するのに使用されるモードを示すビットストリームへ情報を提供する。そのような情報は、しばしば、リファレンスブロックの位置のインジケーションを含む。例えば、イントラ予測を使用し且つ現在のピクチャの探索を実行してリファレンスブロックを見つける様々な実施において、モード決定モジュール1124は、視差ベクトルを用いてリファレンスの位置を示す。視差ベクトル情報は、イントラ予測モジュール1122によってモード決定モジュール1124へ供給されてよい。
以下で更に記載されるように、視差ベクトル情報は、隣接したマクロブロックの視差ベクトルをリファレンスとして用いて差分符号化されてよい。加えて、あるピクチャについての視差ベクトルは、グループ化され、更には、視差ベクトルにおいて空間類似性が存在する可能性があるので、エントロピを除くよう符号化されてよい。
図5を参照すると、デコーダ1200は、例えば、LDR画像等の画像を復号するのに使用され得るデコーダの実施を表す。復号された画像は、一実施において、LDR画像に基づきHDR画像を生成する再合成又は再構成装置へ供給される。デコーダ1200は、他の実施においては、例えば、メタデータを復号するために及び/又はビデオデータを復号するために使用される。メタデータは、例えば、LUT、エクスポージャマップ、符号化されたビデオ画像、又は復号されたビットストリームに関する情報を提供する。一実施において、デコーダ1200は、例えば、図7に関して後述されるビデオ受信システムの部分として、実施される。また、当然ながら、図5のブロックは、デコーダのブロック図を提供することに加えて、復号化プロセスのフロー図を提供する。
デコーダ1200は、ビットストリーム受信器1202によりビットストリームを受信するよう構成される。ビットストリーム受信器1202は、ビットストリームパーサ1204と信号通信し、ビットストリームをビットストリームパーサ1204へ供給する。
ビットストリームパーサ1204は、残余ビットストリームをエントロピデコーダ1206へ送信するよう、制御シンタックス要素をモード選択モジュール1216へ送信するよう、且つ変位(動き/視差)ベクトル情報を変位補償モジュール1226へ送信するよう構成される。
視差ベクトル情報は、例えば、動きベクトル情報又は視差ベクトル情報であってよい。動きベクトル情報は、通常は、前の画像からの相対的な動きを示すためにインタ予測において使用される。視差ベクトル情報は、通常は、(i)別個の画像に対する視差を示すインタ予測、又は(ii)同じ画像の部分に対する視差を示すイントラ予測のいずれかにおいて使用される。当該技術で知られているように、視差は、通常は、2つの画像の間の相対的なオフセット又は変位を示す。視差はまた、画像の2つの部分の間の相対的なオフセット又は視差を示すために使用されてよい。
逆量子化モジュール1208は、エントロピデコーダ1206から受信されたエントロピ復号された信号に対して逆量子化を実行する。加えて、逆変換モジュール1210は、逆量子化モジュール1208から受信された逆量子化された信号に対して逆変換を実行するよう且つ逆変換された信号を加算器(結合器とも呼ばれる。)1212へ出力するよう構成される。
加算器1212は、用いられる復号化モードに依存して様々な他の信号のうちの1つを受信することができる。例えば、一実施において、モード決定モジュール1216は、制御シンタックス要素をパースし解析することによって、現在処理されているブロックに対して変位補償又はイントラ予測符号化がエンコーダによって実行されたかどうかを判断する。判断されたモードに依存して、モード選択制御モジュール1216は、加算器1212が変位補償モジュール1226又はイントラ予測モジュール1218から信号を受信するように、制御シンタックス要素に基づきスイッチ1217にアクセスして制御する。
ここで、イントラ予測モジュール1218は、イントラ予測を実行して、現在復号されている同じピクチャへのリファレンスを用いてブロックを復号するよう構成される。順に、変位補償モジュール1226は、変位補償を実行して、現在復号されているピクチャとは異なる(例えば、異なる時間若しくはビュー又はその両方からの)他の以前に処理されたピクチャのブロックへのリファレンスを用いてブロックを復号するよう構成される。
予測又は補償情報信号を受信した後、加算器1212は、インループフィルタ1214への送信のために、予測又は補償情報信号を逆変換された信号と加算する。インループフィルタ1214は、例えば、ブロッキングアーティファクトを除去するデブロッキングフィルタである。加算器1212はまた、イントラ予測における使用のために、加算された信号をイントラ予測モジュール1218へ出力する。
インループフィルタ1214は、その入力された信号にフィルタをかけ、復号されたピクチャを出力するよう構成される。更に、インループフィルタ1214は、フィルタ処理された信号をリファレンスバッファ1220へ供給する。リファレンスバッファ1220は、その受信した信号をパースして、変位補償モジュール1226による変位補償復号化を可能にし且つ助けるよう構成される。変位補償モジュール1226へは、リファレンスバッファ1220が、パースされた信号を供給する。そのようなパースされた信号は、例えば、リファレンスとして使用されている様々なピクチャの全て又は部分であってよい。
メタデータは、ビットストリーム受信器1202へ供給されるビットストリームに含まれてよい。メタデータは、ビットストリームパーサ1204によってパースされ、エントロピデコーダ1206によって復号されてよい。復号されたメタデータは、出力を用いたエントロピ復号化の後にデコーダ1200から取り出されてよい(図示せず。)。
少なくとも1つの実施において、図5のブロックの多くは、図4における対応するブロックの反対の動作を実行する。例えば、一実施において:
−エントロピデコーダ1206は、エントロピエンコーダ1105の逆を実行し、
−逆量子化モジュール1208は、量子化モジュール1104の逆を実行し、且つ
−逆変換モジュール1210は、変換モジュール1102の逆を実行する。
更に、既に先に示されたように、少なくとも1つの実施において、図5のブロックの多くは、図4における対応するブロックと同じ動作を実行する。例えば、一実施において:
−インループフィルタ1214は、インループフィルタ1110と同じ動作を実行し、
−イントラ予測モジュール1218は、イントラ予測モジュール1122と同じ動作を実行し、且つ
−変位補償モジュール1226は、変位補償モジュール1120と同じ動作を実行する。
これより図6を参照すると、上記の特徴及び原理が適用され得るビデオ送信システム又は装置1600が示されている。ビデオ送信システム又は装置1600は、例えば、衛星、ケーブル、電話線、又は地上放送等の様々なメディアのいずれかを用いて信号を送信するヘッドエンド又は送信システムであってよい。ビデオ送信システム又は装置1600はまた、あるいは代替的に、例えば、記憶のために信号を供給するために使用されてよい。送信は、インターネット又は何らかの他のネットワークを介して提供されてよい。ビデオ送信システム又は装置1600は、ビデオコンテンツと、例えばメタデータ等の他のコンテンツとを生成し、配信する能力を備える。また、当然ながら、図6のブロックは、ビデオ送信システム又は装置のブロック図を提供することに加えて、ビデオ送信プロセスのフロー図を提供する。
ビデオ送信システム又は装置1600は、プロセッサ1601から入力ビデオを受信する。一実施において、プロセッサ1601は、単純に、例えばLDR画像等のビデオ画像をビデオ送信システム又は装置1600へ供給する。しかしながら、他の実施においては、プロセッサ1601は、代替的に、又は追加的に、エクスポージャマップ及び/又はLUTをビデオ送信システム又は装置1600へ供給する。プロセッサ1601はまた、メタデータをビデオ送信システム又は装置1600へ供給してよく、このとき、メタデータは、例えば、入力画像のうちの1又はそれ以上に関係があり、例えば、LUTを含んでよい。
ビデオ送信システム又は装置1600は、エンコーダ1602と、符号化された信号を送信する能力を備える送信器1604とを含む。エンコーダ1602は、プロセッサ1601からビデオ情報を受信する。ビデオ情報は、例えば、ビデオ画像、及び/又はエクスポージャマップを含んでよい。エンコーダ1602は、ビデオ及び/又は他の情報に基づき、符号化された信号を生成する。エンコーダ1602は、一実施において、図4のエンコーダ1100である。様々な実施において、エンコーダ1602は、例えば、AVCエンコーダである。
エンコーダ1602は、例えば、情報の様々な断片を受信して、記憶又は送信のための構造化されたフォーマットにアセンブルするアセンブリユニットを含む、サブモジュールを含んでよい。情報の様々な断片には、例えば、符号化された又は符号化されていないビデオ、エクスポージャマップ値、LUT、他のメタデータ又は情報、並びに例えば動きベクトル、符号化モードインジケータ、及びシンタックス要素等の様々な要素が含まれてよい。幾つかの実施において、エンコーダ1602は、プロセッサ1601を含み、従って、プロセッサ1601の動作を実行する。
送信器1604は、エンコーダ1602から符号化された信号を受信し、符号化された信号を1又はそれ以上の出力信号において送信する。送信器1604は、例えば、符号化されたピクチャ及び/又はそれに関連する情報を表す1又はそれ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化を提供すること、信号においてデータをインターリービングすること、信号においてエネルギをランダマイズすること、及び変調器1606により信号を1又はそれ以上の搬送波上に変調することのうちの1又はそれ以上のような、機能を実行する。送信器1604は、アンテナ(図示せず。)を含むか、あるいは、それとインターフェース接続してよい。更に、送信器1604の実施は、変調器1606に制限されてよい。
ビデオ送信システム又は装置1600はまた、記憶ユニット1608へ通信上結合される。一実施において、記憶ユニット1608はエンコーダ1602へ結合され、記憶ユニット1608は、エンコーダ1602からの符号化されたビットストリームを記憶し、任意に、記憶されたビットストリームを送信器1604へ供給する。他の実施においては、記憶ユニット1608は送信器1604へ結合され、送信器1604からのビットストリームを記憶する。送信器1604からのビットストリームは、例えば、送信器1604によって更に処理されている1又はそれ以上の符号化されたビットストリームを含んでよい。記憶ユニット1608は、異なる実施においては、標準のDVD、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの1又はそれ以上である。
様々な実施において、ビデオ送信システム又は装置1600はプロセス200を実行する。例えば、プロセッサ1601は動作210を実行し、エンコーダ1602は動作220及び230を実行する。
これより図7を参照すると、上記の特徴及び原理が適用され得るビデオ受信システム又は装置1700が示されている。ビデオ受信システム又は装置1700は、例えば、衛星、ケーブル、電話線、又は地上放送等の様々なメディアを介して信号を受信するよう構成されてよい。信号は、インターネット又は何らかの他のネットワークを介して受信されてよい。また、当然ながら、図7のブロックは、ビデオ受信システム又は装置のブロック図を提供することに加えて、ビデオ受信プロセスのフロー図を提供する。
ビデオ受信システム又は装置1700は、例えば、携帯電話機、コンピュータ、セットトップボックス、テレビ受像機、又は符号化されたビデオを受信し、例えば、表示(例えば、ユーザへの表示)のために、処理のために、又は記憶のために、復号されたビデオ信号を供給する他の装置であってよい。このように、ビデオ受信システム又は装置1700は、その出力を、例えば、テレビ受像機のスクリーン、コンピュータのモニタ、コンピュータ(記憶、処理、又は表示用)、又は何らかの他の記憶、処理、又は表示装置へ供給してよい。
ビデオ受信システム又は装置1700は、ビデオ情報を受信し処理する能力を有する。ビデオ情報は、例えば、ビデオ画像、LUT、及び/又はエクスポージャマップを含んでよい。ビデオ受信システム又は装置1700は、例えば、本願の実施において記載される信号等の符号化された信号を受信する受信器1702を含む。受信器1702は、例えば、1又はそれ以上のLDR画像、HDR画像、LUT、及び/又はエクスポージャマップを供給する信号、あるいは、図6のビデオ送信システム1600から(例えば、記憶ユニット1608又は送信器1604から)出力された信号を受信してよい。
受信器1702は、例えば、符号化されたピクチャ(例えば、ビデオピクチャ又はデプスピクチャ)を表す複数のビットストリームを有するプログラム信号を受信するよう構成されてよい。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器1704により1又はそれ以上の搬送波からデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリービングすること、及び信号をエラー訂正復号することのうちの1又はそれ以上のような、機能を実行する。受信器1702は、アンテナ(図示せず。)を含むか、あるいは、それとインターフェース接続してよい。更に、受信器1702の実施は、復調器1704に制限されてよい。
ビデオ受信システム又は装置1700はデコーダ1706を含む。デコーダ1706は、一実施において、図5のデコーダ1200である。
受信器1702は、受信した信号をデコーダ1706へ供給する。受信器1702によってデコーダ1706へ供給される信号は、1又はそれ以上の符号化されたビットストリームを含んでよい。デコーダ1706は、例えば、ビデオ情報、エクスポージャマップ、LUT、又は他のメタデータ若しくは再構成情報を含む復号されたビデオ信号のような、復号された信号を出力する。デコーダ1706は、例えば、AVCデコーダであってよい。
ビデオ受信システム又は装置1700はまた、記憶ユニット1707へ通信上結合される。一実施において、記憶ユニット1707は受信器1702へ結合され、受信器1702は、記憶ユニット1707からビットストリームにアクセスし、且つ/あるいは、受信したビットストリームを記憶ユニット1707に記憶する。他の実施においては、記憶ユニット1707はデコーダ1706へ結合され、デコーダ1706は、記憶ユニット1707からビットストリームにアクセスし、且つ/あるいは、復号されたビットストリームを記憶ユニット1707に記憶する。記憶ユニット1707からアクセスされるビットストリームは、異なる実施において、1又はそれ以上の符号化されたビットストリームを含む。記憶ユニット1707は、異なる実施においては、標準のDVD、ブルーレイディスク、ハードドライブ、又は何らかの他の記憶装置のうちの1又はそれ以上である。
デコーダ1706からの出力ビデオは、一実施において、プロセッサ1708へ供給される。プロセッサ1708は、一実施において、HDR画像の再構成又は再合成を実行するよう構成されるプロセッサである。幾つかの実施において、デコーダ1706はプロセッサ1708を含み、従って、プロセッサ1708の動作を実行する。他の実施においては、プロセッサ1708は、例えば、セットトップボックス又はテレビ受像機等の下流装置の部分である。
様々な実施において、ビデオ受信システム又は装置1700は、プロセス300を実行する。例えば、デコーダ1706は動作310及び320を実行し、プロセッサ1708は動作330を実行する。
本願は、図1乃至7の図を含む多数のブロック及び/又はフロー図を提供する。当然ながら、本願のブロック及び/又はフロー図は、プロセスを記述するフロー図及び装置の機能ブロックを記述するブロック図の両方を与える。
−例えば、上述されたように、図1のフロー図は、図1に挙げられている動作を含むフロープロセスを記述する。しかしながら、図1はまた、そのフローを実施するためのブロック図を提供する。一実施において、例えば、(i)HDR画像110のためのブロックは画像受信装置に相当し、(ii)LDR画像112のためのブロックは、LDR画像を生成する分解コンポーネントに相当し、(iii)符号化されたLDR画像122のためのブロックはエンコーダに相当し、(iv)LDR信号部分132のためのブロックはビットストリーム生成器に相当し、且つ(v)再構成されたLDR画像142のためのブロックはデコーダに相当する。この実施において、図1における他のブロックは、フローを実施するための完全なブロック図を提供するよう同様に解釈される。
−例えば、上述されたように、図2のフロー図は、図2に挙げられている動作を含むフロープロセスを記述する。しかしながら、図2はまた、そのフローを実施するためのブロック図を提供する。一実施において、例えば、動作210乃至230の夫々についてのブロックは、各々の動作を実行するためのコンポーネントを夫々表す。すなわち、例えば、動作210のためのブロックは、HDR画像をLDR画像及び再構成情報に分解する動作を実行するためのコンポーネントに相当する。他の実施においては、図3は、図2についてまさに記載されているものと同じように解釈される。
−例えば、上述されたように、図4のブロック図は、図4に示されているコンポーネントを含むシステム又は装置を記述する。しかしながら、図4はまた、ブロックの機能を実行するためのフロー図を提供する。一実施において、例えば、(i)コンポーネントである変換モジュール1102のためのブロックは、変換を実行する動作に相当し、且つ(ii)インループフィルタ1110のためのブロック(やはりコンポーネント)は、インループフィルタリングを実行する動作に相当する。この実施において、図4における他のブロックは、ブロックの機能を実行するための完全なフロー図を提供するよう同様に解釈される。他の実施においては、図5乃至7は、図4についてまさに記載されているものと同じように解釈される。
このように、我々は、特定の特徴及び態様を有する1又はそれ以上の実施を提供する。特に、我々は、HDR画像の分解及び再合成(又は再構成)に関連する幾つかの実施を提供する。しかしながら、それらの実施の変形、及び追加的な応用が考えられ且つ我々の開示範囲内に含まれ、そして、記載される実施の特徴及び態様は、他の実施に適応されてよい。
本願で記載される実施及び特徴のうちの幾つかは、AVC標準、及び/又はMVC拡張(付録H)を伴うAVC、及び/又はSVC拡張(付録G)を伴うAVCに関連して使用されてよい。加えて、それらの実施及び特徴は、他の標準(既存又は将来)に関連して、あるいは、標準に関係しない背景において、使用されてよい。
本原理の「一実施形態」若しくは「実施形態」又は「一実施」若しくは「実施」並びにそれらの他のバリエーションへの言及は、実施形態に関して記載される特定の特徴、構造、特性、及び他が本原理の少なくとも1つの実施形態に含まれることを意味する。よって、明細書の全体を通して様々な箇所に現れる「一実施形態において」若しくは「実施形態において」又は「一実施において」若しくは「実施において」との言い回し及びあらゆる他のバリエーションの出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
加えて、本願又はその特許請求の範囲は、情報の様々な断片を“決定する”ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること,又はメモリから情報を取り出すことのうちの1又はそれ以上を含んでよい。
更に、本願又はその特許請求の範囲は、情報の様々な断片に“アクセスする”ことに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの1又はそれ以上を含んでよい。
様々な実施は、「画像」及び/又は「ピクチャ」に言及する。語「画像」及び「ピクチャ」は、本文書の全体を通じて同義的に使用され、広義語であるよう意図される。「画像」又は「ピクチャ」は、例えば、フレームの又はフィールドの全て又は部分であってよい。語「ビデオ」は、画像(又はピクチャ)のシーケンスを指す。画像又はピクチャは、例えば、様々なビデオコンポーネント又はそれらの組み合わせのいずれかを含んでよい。そのようなコンポーネント又はそれらの組み合わせは、例えば、輝度、色度、(YUV又はYCbCr又はYPbPrの)Y、(YUVの)U、(YUVの)V、(YCbCrの)Cb、(YCbCrの)Cr、(YPbPrの)Pb、(YPbPrの)Pr、(RGBの)R(赤)、(RGBの)B(緑)、(RGBの)B(青)、S−Video、及びそれらのコンポーネントのいずれかの負又は正を含んでよい。「画像」又は「ピクチャ」はまた、又は代替的に、例えば、典型的な2次元ビデオ、エクスポージャマップ、2Dビデオピクチャのための視差マップ、2Dビデオピクチャに対応するデプスマップ、又はエッジマップを含む、様々な異なるタイプのコンテンツを指してよい。
「エクスポージャマップ」、「デプスマップ」、「視差マップ」、「エッジマップ」、及び同様の語はまた、広義語であるよう意図される。マップは、一般に、例えば、特定のタイプの情報を含むデータの組を指す。しかしながら、マップは、その名称によって示されない他のタイプの情報を含んでよい。例えば、デプスマップは、通常はデプス情報を含んでよいが、例えば、ビデオ又はエッジ情報等の他の情報を更に含んでよい。更に、例えば、エクスポージャマップ又はデプスマップ等のマップは、ビデオ画像がそうであるように視覚的に有用又は有意である必要はない。しかしながら、マップは、視覚に有用な又は有意な情報を提供することができ、しばしばそうする。例えば、デプスマップは、通常は、対象及びデプスが人間の目によって確認することができる画像を提供する。
語「レイヤ」は、本文書においては、例えば、HDRレイヤ、LDRレイヤ、及びエクスポージャマップレイヤに言及するために使用される。レイヤは、様々な異なる要素を含むことができる。通常は、HDRレイヤは、例えば、HDR画像を含む。より一般的には、HDRレイヤは、例えば、HDR画像等のHDR要素を含む、組織的又は階層的な意味におけるレイヤ又はレベルである。
「信号」は、例えば、ビットストリームを指す。然るに、HDR信号は、通常は、HDRレイヤからの、例えば、HDR画像等のHDR要素を表すビットストリームを含む。
語「隣の」及び「隣接した」は、本願の全体を通じて使用される。例として、第1のブロック又はピクセルは、その第1のブロック又はピクセルが第2のブロック又はピクセルに接する場合に、第2のブロック又はピクセルに隣接すると言われる。従って、所与のブロック又はピクセルは、一般に、左手、右手、上、下、及び四つ角にあるブロック又はピクセルを含む8つの隣接ブロック又はピクセルを有する。
当然ながら、次の「/」、「及び/又は(且つ/あるいは)」、及び「のうちの少なくとも1つ」のうちのいずれかの使用は、例えば、「A/B」、「A及び/又はB」及び「A及びBのうちの少なくとも1つ」の場合において、最初に挙げられている選択肢(A)のみの選択、又は2番目に挙げられている選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含するよう意図される。更なる例として、「A、B、及び/又はC」並びに「A、B、及びCのうちの少なくとも1つ」及び「A、B、又はCのうちの少なくとも1つ」の場合において、そのような言葉遣いは、最初に挙げられている選択肢(A)のみの選択、又は2番目に挙げられている選択肢(B)のみの選択、又は三羽目に挙げられている選択肢(C)のみの選択、又は最初及び2番目に挙げられている選択肢(A及びB)のみの選択、又は最初及び3番目に挙げられている選択肢(A及びC)のみの選択、又は2番目及び3番目に挙げられている選択肢(B及びC)のみの選択、又は全ての3つの選択肢(A及びB及びC)の選択を包含するよう意図される。これは、挙げられている項目の数だけ、当業者によって容易に理解できるように、拡張されてよい。
然るに、多くの実施は、エンコーダ(例えば、エンコーダ1100又は1602)、デコーダ(例えば、デコーダ1200又は1706)、デコーダからの出力を処理するポストプロセッサ(例えば、プロセッサ1708)、又はエンコーダへ入力を提供するプレプロセッサ(例えば、プロセッサ1601)のうちの1又はそれ以上において実施されてよい。更に、他の実施は、本願によって考えられている。
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ信号形態の実施に関してしか議論されていない(例えば、方法としてしか議論されていない)としても、議論されている特徴の実施は、他の形態(例えば、装置又はプログラム)においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて、実施されてよい。方法は、例えば、一般に、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含むプロセッシング装置を指すプロセッサ等の装置において、実施されてよい。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル/パーソナルデジタルアシスタント(PDA)、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置を更に含む。
ここで記載される様々なプロセス及び特徴の実施は、様々な異なる設備又は用途、特に、例えば、データ符号化、データ復号化、HDR処理、ビュー生成、デプス又は視差処理、且つ、画像並びに関連するデプス及び/又は視差マップの他の処理に関連した設備又は用途において、具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を提供するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、HDR TV又は他のHDR表示装置、ラップトップ、パーソナルコンピュータ、携帯電話機、PDA、及び他の通信装置が含まれる。当然ながら、設備は可搬であり、更には移動車両に設置されてよい。
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令(及び/又は実施によって生成されるデータ値)は、例えば、集積回路、ソフトウェア担体、又は、例えば、ハードディスク、コンパクトディスケット(CD)、光ディスク(例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクとも呼ばれるDVD)、ランダムアクセスメモリ(RAM)、又は読出専用メモリ(ROM)等のプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に担持されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら2つの組み合わせに含まれてよい。プロセッサは、従って、例えば、プロセスを実行するよう構成される装置、及びプロセスを実行するための命令を有するプロセッサ可読媒体(例えば、記憶装置)を含む装置の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて又はその代わりに、実施によって生成されたデータ値を記憶してよい。
当業者に明らかであるように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載されている実施のうちの1つによって生成されたデータを含んでよい。例えば、信号は、シンタックスを読み出す又は書き込むための規則をデータとして運ぶよう、あるいは、シンタックス規則を用いて生成された実際のシンタックス値をデータとして運ぶようフォーマットされてよい。そのような信号は、例えば、電磁波(例えば、スペクトルの無線周波数部分を使用する。)として、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化することと、符号化されたデータストリームにより搬送波を変調することとを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、様々な異なる有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施を実現するよう組み合わされ、補足され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されている構造及びプロセスの代わりに用いられてよく、結果として得られる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう少なくとも実質的に同じ機能を少なくとも実質的に同じようにして実行するであろうことを理解するであろう。然るに、それら及び他の実施は、本願によって意図される。
ここで例としていくつかの付記を記載する。
(付記1)
より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より高いダイナミックレンジの画像が前記より低いダイナミックレンジの画像から再構成されることを可能にする情報とを生成するステップと、
前記より低いダイナミックレンジの画像を符号化するステップと、
前記情報を符号化するステップと
を有する方法。
(付記2)
前記情報は、エクスポージャマップを有し、
前記情報を符号化するステップは、前記エクスポージャマップを符号化するステップを有し、
前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用する、
付記1に記載の方法。
(付記3)
前記相関は、前記より低いダイナミックレンジの画像及び前記エクスポージャマップの両方における一所に配置されたエッジを含む、
付記2に記載の方法。
(付記4)
前記エクスポージャマップは、前記より低いダイナミックレンジの画像の再構成に基づき符号化される、
付記2に記載の方法。
(付記5)
前記エクスポージャマップは、(i)ジョイントバイラテラルフィルタリング、(ii)幾何学的パーティショニング、又は(iii)疎二分モードのうちの1又はそれ以上を用いて符号化される、
付記2に記載の方法。
(付記6)
前記より低いダイナミックレンジの画像及び前記情報を生成するステップは、
前記より高いダイナミックレンジの画像を用いて前記エクスポージャマップを生成するステップと、
前記エクスポージャマップを用いて前記より低いダイナミックレンジの画像を生成するステップと
を有する、
付記2に記載の方法。
(付記7)
前記より低いダイナミックレンジの画像及び前記情報を生成するステップは、
前記より高いダイナミックレンジの画像を用いて前記より低いダイナミックレンジの画像を生成するステップと、
前記より高いダイナミックレンジの画像を用いて前記エクスポージャマップを生成するステップと
を有する、
付記2に記載の方法。
(付記8)
前記より低いダイナミックレンジの画像を生成することは、前記より高いダイナミックレンジの画像のデータ値と前記より低いダイナミックレンジの画像のデータ値との間の不均一マッピングを用いて前記より高いダイナミックレンジの画像を前記より低いダイナミックレンジの画像に変換することを有し、
前記情報は、(i)前記不均一マッピング又は(ii)前記より高いダイナミックレンジの画像の再構成を可能にする逆変換のうちの1又はそれ以上を記述する、
付記1に記載の方法。
(付記9)
前記情報は、より高いダイナミックレンジのデータ値及び関連するより低いダイナミックレンジのデータ値の範囲を示すルックアップテーブルを有する、
付記8に記載の方法。
(付記10)
前記情報は、特定のより低いダイナミックレンジのデータ値に関連する再構成されたより高いダイナミックレンジのデータ値を示すルックアップテーブルを有する、
付記8に記載の方法。
(付記11)
前記符号化されたより低いダイナミックレンジの画像及び前記符号化された情報を含むビットストリームを構成するステップを更に有する
付記1に記載の方法。
(付記12)
前記ビットストリームを構成するステップは、前記符号化された情報をメタデータとして含めるステップを有する、
付記11に記載の方法。
(付記13)
前記ビットストリームを構成するステップは、前記符号化された情報をSEIメッセージとして含めるステップを有する、
付記11に記載の方法。
(付記14)
前記より低いダイナミックレンジの画像を符号化するステップは、H.264を用いて前記より低いダイナミックレンジの画像を符号化するステップを有する、
付記1に記載の方法。
(付記15)
前記より低いダイナミックレンジの画像及び前記情報を生成するステップは、前記より高いダイナミックレンジの画像を分解するステップを有し、
前記情報は、前記より高いダイナミックレンジの画像が前記より低いダイナミックレンジの画像から再合成されることを可能にする、
付記1に記載の方法。
(付記16)
より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする情報とを生成するよう構成されるプロセッサと、
前記より低いダイナミックレンジの画像を符号化するよう且つ前記情報を符号化するよう構成されるエンコーダと
を有する装置。
(付記17)
より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする情報とを生成する手段と、
前記より低いダイナミックレンジの画像を符号化する手段と、
前記情報を符号化する手段と
を有する装置。
(付記18)
1又はそれ以上のプロセッサに集合的に、
より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする情報とを生成するステップと、
前記より低いダイナミックレンジの画像を符号化するステップと、
前記情報を符号化するステップと
を実行させる命令を記憶するプロセッサ可読媒体。
(付記19)
符号化されたより低いダイナミックレンジの画像を有するより低いダイナミックレンジのセクションと、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を有する情報セクションと
を有する信号。
(付記20)
前記情報は、エクスポージャマップを有し、
前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用する、
付記19に記載の信号。
(付記21)
前記情報は、前記より高いダイナミックレンジの画像から前記より低いダイナミックレンジの画像を生成するのに使用される、より高いダイナミックレンジのデータ値とより低いダイナミックレンジのデータ値との間の不均一マッピングを記述する、
付記19に記載の信号。
(付記22)
前記情報は、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする、より高いダイナミックレンジのデータ値とより低いダイナミックレンジのデータ値との間の不均一マッピングを記述する、
付記19に記載の信号。
(付記23)
前記情報セクションは、SEIメッセージ又はメタデータのうちの1又はそれ以上を有する、
付記19に記載の信号。
(付記24)
符号化されたより低いダイナミックレンジの画像を有するより低いダイナミックレンジのセクションと、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を有する情報セクションと
を有する信号構造。
(付記25)
符号化されたより低いダイナミックレンジの画像を有するより低いダイナミックレンジのセクションと、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を有する情報セクションと
を有する信号構造を記憶するプロセッサ可読媒体。
(付記26)
符号化されたより低いダイナミックレンジの画像を復号するステップと、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号するステップと、
前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成するステップと
を有する方法。
(付記27)
前記情報は、エクスポージャマップを有し、
前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用し、
前記エクスポージャマップを復号することは、前記より低いダイナミックレンジの画像の復号化に基づく、
付記26に記載の方法。
(付記28)
前記情報は、前記より高いダイナミックレンジの画像から前記より低いダイナミックレンジの画像を生成するのに使用される、より高いダイナミックレンジのデータ値とより低いダイナミックレンジのデータ値との間の不均一マッピングを記述する、
付記26に記載の方法。
(付記29)
前記情報は、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする、より高いダイナミックレンジのデータ値とより低いダイナミックレンジのデータ値との間の不均一マッピングを記述する、
付記26に記載の方法。
(付記30)
前記情報は、より低いダイナミックレンジのデータ値とより高いダイナミックレンジのデータ値との間の不均一マッピングを有し、
前記より高いダイナミックレンジの画像を再構成するステップは、(i)前記不均一マッピング及び(ii)前記より低いダイナミックレンジの画像からのより低いダイナミックレンジのデータ値を用いてより高いダイナミックレンジのデータ値を生成するステップを有する、
付記26に記載の方法。
(付記31)
前記情報は、より高いダイナミックレンジのデータ値とより低いダイナミックレンジのデータ値との間の不均一マッピングを有し、
前記より高いダイナミックレンジの画像を再構成するステップは、(i)前記不均一マッピングに基づき逆マッピングを生成するステップと、(ii)前記逆マッピング及び前記復号されたより低いダイナミックレンジの画像からのより低いダイナミックレンジのデータ値を用いてより高いダイナミックレンジのデータ値を生成するステップとを有する、
付記26に記載の方法。
(付記32)
前記情報を復号するステップは、SEIメッセージ又はメタデータのうちの1又はそれ以上を復号化するステップを有する、
付記26に記載の方法。
(付記33)
前記符号化されたより低いダイナミックレンジの画像を復号するステップは、受信されたビットストリームから前記符号化されたより低いダイナミックレンジの画像にアクセスするステップを有し、
前記情報を復号するステップは、前記受信されたビットストリームから前記符号化された情報にアクセスするステップを有する、
付記26に記載の方法。
(付記34)
前記情報は、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再合成を可能にし、
前記より高いダイナミックレンジの画像を再構成するステップは、前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再合成するステップを有する、
付記26に記載の方法。
(付記35)
符号化されたより低いダイナミックレンジの画像を復号するよう且つ前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号するよう構成されるデコーダと、
前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成するよう構成されるプロセッサと
を有する装置。
(付記36)
符号化されたより低いダイナミックレンジの画像を復号する手段と、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号する手段と、
前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づきより高いダイナミックレンジの画像を再構成する手段と
を有する装置。
(付記37)
1又はそれ以上のプロセッサに集合的に、
符号化されたより低いダイナミックレンジの画像を復号するステップと、
前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号するステップと、
前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成するステップと
を実行させる命令を記憶するプロセッサ可読媒体。

Claims (7)

  1. より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より高いダイナミックレンジの画像が前記より低いダイナミックレンジの画像から再構成されることを可能にする情報とを生成することと、
    前記より低いダイナミックレンジの画像を符号化することと、
    平滑化された情報を生成するためにバイラテラルフィルタを使用して前記情報に平滑条件を課すことと、
    前記平滑化された情報を符号化すること
    を有する方法であって、
    前記情報は、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であるエクスポージャマップを有し、
    前記平滑化された情報を符号化することは、平滑化されたエクスポージャマップを符号化することを有し、
    前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用する、方法。
  2. より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする情報とを生成するよう構成されるプロセッサと、
    前記より低いダイナミックレンジの画像を符号化するよう構成されるエンコーダと
    前記情報に平滑条件を課し、平滑化された情報を生成するバイラテラルフィルタと、
    前記平滑化された情報を符号化することと
    を有する装置であって、
    前記情報は、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であるエクスポージャマップを有し、
    前記平滑化された情報を符号化することは、平滑化されたエクスポージャマップを符号化することを有し、
    前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用する、装置。
  3. 1又はそれ以上のプロセッサに集合的に、
    より高いダイナミックレンジの画像から、より低いダイナミックレンジの画像と、前記より低いダイナミックレンジの画像からの前記より高いダイナミックレンジの画像の再構成を可能にする情報とを生成することと、
    前記より低いダイナミックレンジの画像を符号化することと、
    平滑化された情報を生成するためにバイラテラルフィルタを使用して前記情報に平滑条件を課すことと、
    前記平滑化された情報を符号化すること
    を実行させる命令を含むコンピュータ・プログラムであって、
    前記情報は、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であるエクスポージャマップを有し、
    前記平滑化された情報を符号化することは、平滑化されたエクスポージャマップを符号化することを有し、
    前記より低いダイナミックレンジの画像及び前記エクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用する、コンピュータ・プログラム。
  4. 符号化されたより低いダイナミックレンジの画像を復号することと、
    前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号することと、
    前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成すること
    を有する方法であって、
    前記情報は、バイラテラルフィルタから生成された、平滑化されたエクスポージャマップを有し、前記エクスポージャマップは、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であり、
    前記より低いダイナミックレンジの画像及び前記平滑化されたエクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用し、
    前記エクスポージャマップを復号することは、前記より低いダイナミックレンジの画像の復号化に基づく、方法。
  5. 符号化されたより低いダイナミックレンジの画像を復号するよう且つ前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号するよう構成されるデコーダと、
    前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成するよう構成されるプロセッサと
    を有する装置であって、
    前記情報は、バイラテラルフィルタから生成された、平滑化されたエクスポージャマップを有し、前記エクスポージャマップは、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であり、
    前記より低いダイナミックレンジの画像及び前記平滑化されたエクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用し、
    前記エクスポージャマップを復号することは、前記より低いダイナミックレンジの画像の復号化に基づく、装置。
  6. 1又はそれ以上のプロセッサに集合的に、
    符号化されたより低いダイナミックレンジの画像を復号することと、
    前記より低いダイナミックレンジの画像からのより高いダイナミックレンジの画像の再構成を可能にする符号化された情報を復号することと、
    前記復号されたより低いダイナミックレンジの画像及び前記復号された情報に基づき前記より高いダイナミックレンジの画像を再構成すること
    を実行させる命令を含むコンピュータ・プログラムであって、
    前記情報は、バイラテラルフィルタから生成された、平滑化されたエクスポージャマップを有し、前記エクスポージャマップは、各エントリが前記より低いダイナミックレンジの画像から前記より高いダイナミックレンジの画像を回復するのに使用される各ピクセルの乗数を表す2次元行列であり、
    前記より低いダイナミックレンジの画像及び前記平滑化されたエクスポージャマップのうちの1又はそれ以上の符号化は、前記より低いダイナミックレンジの画像と前記エクスポージャマップとの間の相関を利用し、
    前記エクスポージャマップを復号することは、前記より低いダイナミックレンジの画像の復号化に基づく、コンピュータ・プログラム。
  7. 請求項3及び6のいずれか1項記載のコンピュータ・プログラムを記憶したプロセッサ可読記憶媒体。
JP2018004636A 2018-01-16 2018-01-16 高ダイナミックレンジ画像の処理 Active JP6584538B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018004636A JP6584538B2 (ja) 2018-01-16 2018-01-16 高ダイナミックレンジ画像の処理

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018004636A JP6584538B2 (ja) 2018-01-16 2018-01-16 高ダイナミックレンジ画像の処理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015543014A Division JP6278972B2 (ja) 2012-11-16 2012-11-16 高ダイナミックレンジ画像の処理のための方法、装置及びプロセッサ可読媒体

Publications (3)

Publication Number Publication Date
JP2018088691A JP2018088691A (ja) 2018-06-07
JP2018088691A5 JP2018088691A5 (ja) 2018-11-22
JP6584538B2 true JP6584538B2 (ja) 2019-10-02

Family

ID=62493937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018004636A Active JP6584538B2 (ja) 2018-01-16 2018-01-16 高ダイナミックレンジ画像の処理

Country Status (1)

Country Link
JP (1) JP6584538B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371583B (zh) * 2006-01-23 2012-03-21 马普科技促进协会 编码/解码高动态范围图像的方法和设备
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
RU2013152741A (ru) * 2011-04-28 2015-06-10 Конинклейке Филипс Н.В. Способ и устройство для генерирования сигнала кодирования изображения

Also Published As

Publication number Publication date
JP2018088691A (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6278972B2 (ja) 高ダイナミックレンジ画像の処理のための方法、装置及びプロセッサ可読媒体
EP3338452B1 (en) Signalling of reshaping functions for coding high dynamic range and wide color gamut sequences
JP7369124B2 (ja) 結合されたピクセル/変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御
JP6158384B2 (ja) フィルタ処理およびエッジ符号化
US10013746B2 (en) High dynamic range video tone mapping
EP3011741B1 (en) Adaptive reshaping for layered coding of enhanced dynamic range signals
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
US20200404339A1 (en) Loop filter apparatus and method for video coding
TWI765903B (zh) 用於循環樣本處理之視訊寫碼工具
US9979973B2 (en) Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
KR20010102155A (ko) '블러키 화상' 효과의 감소
CN110754085A (zh) 用于非4:4:4格式视频内容的颜色重映射
JP2022172137A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
JP6584538B2 (ja) 高ダイナミックレンジ画像の処理
Hanhart et al. Evaluation of JPEG XT for high dynamic range cameras
Naccari et al. Perceptually optimized video compression
US11259054B2 (en) In-loop deblocking filter apparatus and method for video coding
WO2013105946A1 (en) Motion compensating transformation for video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181012

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R150 Certificate of patent or registration of utility model

Ref document number: 6584538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250