JP5249784B2 - 高ダイナミックレンジコーデック - Google Patents

高ダイナミックレンジコーデック Download PDF

Info

Publication number
JP5249784B2
JP5249784B2 JP2008551653A JP2008551653A JP5249784B2 JP 5249784 B2 JP5249784 B2 JP 5249784B2 JP 2008551653 A JP2008551653 A JP 2008551653A JP 2008551653 A JP2008551653 A JP 2008551653A JP 5249784 B2 JP5249784 B2 JP 5249784B2
Authority
JP
Japan
Prior art keywords
dynamic range
range image
image
high dynamic
prediction function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008551653A
Other languages
English (en)
Other versions
JP2009524371A (ja
JP2009524371A5 (ja
Inventor
エフレーモフ、アレクサンドル
マンティウク、ラファウ
クラフチック、グジェゴシ
ミシュクフスキ、カロル
サイデル、ハンス−ペーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Original Assignee
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Max Planck Gesellschaft zur Foerderung der Wissenschaften eV filed Critical Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Publication of JP2009524371A publication Critical patent/JP2009524371A/ja
Publication of JP2009524371A5 publication Critical patent/JP2009524371A5/ja
Application granted granted Critical
Publication of JP5249784B2 publication Critical patent/JP5249784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Description

本発明は、画像データの符号化に関する。本発明は、画像を符号化するための又は一連の映像データを符号化するための特定の用途を有する。
ダイナミックレンジは、画像の最も明るい部分と及び最も暗い部分との相対的な輝度の単位である。最近まで、ほとんどのテレビ、コンピュータ、モニタ及び他の表示装置は、わずか数百対1のダイナミックレンジを再生することが可能なだけであった。これは、人間の目によって認識し得るダイナミックレンジよりはるかに小さい。ダイナミックレンジが大きくなった表示装置が、利用可能になりつつある。そのような高ダイナミックレンジ表示装置は、従来の“低ダイナミックレンジ”表示装置によって生成される画像よりはるかに自然で現実的な画像を提供する。
高ダイナミックレンジ表示装置は、広範囲の用途において有益である。例えば、高ダイナミックレンジ表示装置は、映画やゲーム画像から、飛行シミュレータ等のシミュレータにおける表示装置までの範囲に渡る現実的な映像を表示するために用いられる。高ダイナミックレンジ表示装置には、更に、医療用の画像表示等の要求の厳しい画像表示での使途がある。
多くの現在の画像データフォーマットは、画素当り24ビット以下を用いて、画素値を指定する。これらのビットは、画素の輝度及び色の双方を指定する。24ビットは、全範囲の色及び高ダイナミックレンジ表示装置が再生できる範囲で円滑に変え得る輝度の双方を指定するには、少な過ぎる。高ダイナミックレンジ表示装置から全ての恩典を得るためには、広範囲の画素値を指定することが可能な画像データを提供することが必要である。より大きな数の画素当りのビットを提供する様々な高ダイナミックレンジデータフォーマットが、開発され提案されている。そのような高ダイナミックレンジデータフォーマットは、通常、従来の低ダイナミックレンジデータフォーマットと下位互換性がない。
例えば、マンティク(R.Mantiuk)、クロウツィク(G.Krawczyk)、ミツコウスキ(K.Myszkowski)、及びザイデル(H−P.Seidel)によるACMグラフィックス会報(SIGGRAPH2004の議事録)、23(3)730−38、2004年の“知覚目的の高ダイナミックレンジ映像符号化”に記載されたHDRV“知覚目的のHDR映像符号化”は、損失の大きいHDR映像圧縮法であり、下位互換性を提供しない。本方法は、輝度用に11ビット及びクロミナンス用に2倍の8ビットを用いて、HDR画素を符号化する。結果的に生じる映像ストリームは、LDRフレームに関する情報を一切含まない。
JPEG HDRについては、グレッグ・ウォード(Greg Ward)及びマルヤン・シモンズ(Maryann Simmons)によるAPGV04:グラフィックス及び視覚化における応用知覚に関する第1回シンポジウムの議事録、ページ83−90、ニューヨーク、NY、米国,2004年、ACM出版社の“高ダイナミックレンジ画像のサブバンド符号化”に述べられている。本方法は、二次サンプリングサブバンド層を伴い、これにより、高周波の損失が生じ得る。それを防止するために、本方法は、3つの手法、即ち、この層内において、二次サンプリングにより失われる可能性がある高周波を符号化するためのLDR層の事前補正、LDR画像を修正するよりもむしろ失われた高周波を復旧しようとする事後補正、二次サンプリングが実施されない全サンプリングを提案する。
HDR画像、特に、HDRビデオ画像を符号化及び復号化するための実用的な方法及び装置に対するニーズがある。低ダイナミックレンジ画像を再生するための既存のハードウェアとの下位互換性を提供する方法及び装置に対する特別なニーズがある。
本発明は、高ダイナミックレンジ画像データを符号化し、また、そのデータを復号して、低ダイナミックレンジ画像データ及び高ダイナミックレンジ画像データ双方を提供するための方法及び装置を提供する。本方法及び装置は、画像データの符号化に適用し得る。本発明の幾つかの実施形態において、低ダイナミックレンジデータは、MPEG(Motion Pictures Experts Group)フォーマット等の標準フォーマットで符号化される。
本発明の1つの態様は、高ダイナミックレンジ画像を符号化するための方法を提供する。本方法には、高ダイナミックレンジ画像に対応する低ダイナミックレンジ画像を取得する段階と、低ダイナミックレンジ画像の対応する画素が全て同じ画素値を有する高ダイナミックレンジ画像における画素のグループを識別する段階と、複数のグループの各々に属する高ダイナミックレンジ画像の画素の画素値に少なくとも部分的に基づき、予測関数を生成する段階と、低ダイナミックレンジ画像に予測関数を適用して、予測画像を取得する段階と、予測画像の画素値と高ダイナミックレンジ画像の対応する画素値との間の差を表す残留画像を演算する段階と、低ダイナミックレンジ画像、予測関数及び残留画像を表すデータを符号化し記憶する段階と、が含まれる。
本発明の他の態様は、本発明により符号化された高ダイナミックレンジ画像を復号するための方法、及び高ダイナミックレンジ画像を符号化及び/又は復号するための装置を提供する。
本発明の更なる態様及び本発明の特定の実施形態の特徴については、以下に記載する。
図面は、本発明の非限定的な実施形態を示す。
以下の説明では、本発明の理解を更に深めるために、具体的な詳細について記載する。しかしながら、本発明は、これら細目がなくても実施し得る。その他、公知の要素については、本発明が不必要に不明瞭になるのを避けるために、詳細な例示や説明を行っていない。従って、本明細書及び図面は、限定的でなく例示的であると見なすべきものである。
図1は、本発明の基本的な実施形態によるフレームの画像データを符号化するための方法10を示す。方法10は、高ダイナミックレンジ(HDR)データ12及び低ダイナミックレンジ(LDR)データ14双方を符号化画像データ38に符号化する。後に記載するように、符号化画像データ38を復号化して、LDRデータ及びHDRデータ双方を再構築することができる。
単なる一例として、HDRデータ12は、各画素の色及び輝度が、3つの浮動小数点数によって指定される絶対CIE XYZ(2E標準観察者)色空間等の色空間で表現される。LDRデータ14は、各画素の色及び輝度が、3バイトで指定されるsRGB色空間等の色空間で表現される。幾つかの実施形態において、LDRデータ14は、適切なダイナミックレンジ低減プロセス16によって、HDRデータ12(又はHDRデータ12の先行物)から導出される。
ダイナミックレンジ低減には、例えば、色合いマッピング及び/又は色域マッピングを含む。任意の適切な色合いマッピング演算子又は色域マッピングを用いてよい。例えば、色合いマッピング演算子は、輝度及び色双方を飽和し、色値を変更し、また、局所的なコントラストを強化するように選択される。そのような変更によって、圧縮比が低下するが、LDR及びHDRフレーム双方は、結果的に生じる映像ストリームに保持される。
ブロック18において、方法10は、予測関数19を確立する。予測関数19は、出力として、LDRデータ14の対応する画素の画素値に基づき、HDRデータ12における画素の予測画素値を提供する。目標は、符号化画像データ38からHDRデータ12及びLDRデータ14を再生できることであるため、符号化画像データ38から再構築し得るLDRデータ14のバージョンにベース予測関数9を基づかせることが好ましい。
LDRデータ14が、損失の大きいアルゴリズムを用いて、符号化され圧縮される場合、LDRデータ14を再構築したバージョンが、元のLDRデータ14と同じであることを保証することができない。この理由により、図1は、ブロック19が、入力として、再構築されたLDRデータ26を受信することを示す。再構築LDRデータ26は、ブロック20において、LDRデータ14を符号化/圧縮して符号化され圧縮されたLDRデータ22を提供し、ブロック24において、符号化され圧縮されたLDRデータ22を復号/復元することによって得られる。符号化され圧縮されたLDRデータ22は、符号化画像データ38に含まれる。線15は、低精度の選択肢を示し、この場合、ブロック18は、LDRデータ14を直接用いて、予測関数19を確立する。
予測関数19は、好適には、再構築LDRデータ26の画素値とHDRデータ12の対応する画素値との間の統計的な関係を利用する。一般的に、画素が全て同じ特定の画素値を有する再構築LDR画像26の全ての画素を選択すると、HDR画像データ12の対応する画素は、全て同じ画素値を有さない。即ち、一般的に、LDR画素値とHDR画素値との間に1対多の関係がある。
図1Aは、横軸が、全ての可能なHDR画素値全体に達し、縦軸が、HDR画像データ12によって表される画像における幾つの画素が、その値を有するかを示すヒストグラムである。画像がその画素値を有する如何なる画素も有さない多数の画素値が存在し得る。図1Aの陰影付き棒は、再構築LDR画像データ26における対応する画素が、全て同じ画素値XLDRを有するHDR画像データ12における画素の値を表す。LDR画素値XLDRに対応するHDR画素値は、AからBの範囲に及ぶ。再構築LDR画像データ26における同じ画素値に対応する画素の全HDR画素値は、ビンと呼ばれる。異なるビンは、普通重なり合わないが、強制されるものではない。
画像用の予測関数19は、HDR画素値をビンに集めることによって、また、各ビンを統計的に解析することによって、HDR画像データ12及び再構築LDR画像データ26から得られる。HDR画素値をビンに集める段階には、再構築LDR画像データ26を選択し、再構築LDR画像データ26に表された各画素値について、その画素値を有する全ての画素の組を識別する段階と、各組の画素について、HDRデータ12の対応する画素を識別し、また、それらの対応する画素の画素値を決定して、各LDR画素値に対応する全てのHDR画素値の組を生成する段階と、が含まれる。
予測関数19は、
各ビンにおけるHDR画素値の算術平均を求める段階と、
各ビンにおけるHDR画素値の中央値を求める段階と、
ビンを区切る値A及びBの平均を求める段階と、
これらの幾つかの組合せと、
これらに類似する段階
のいずれかによって得ることができる。
多くの用途について、算術平均は、精度及び計算効率の良好な組合せを提供すると考えられている。
予測関数19が与えられた場合、予測関数19によって予測された値とHDR画像データ12からの実際の値との間の差を符号化するだけが必要とされる。そのような差は、通常、ゼロに近く、従って、残留フレームで効率的に圧縮される。
予測関数19は、LDRデータ14における可能な画素値(画素値が8ビット数によって表される場合、256個の値)のためだけに定義する必要がある。予測関数19は、LDR画素用の有効な値によって索引付けされたルックアップ表を含み得る。予測関数19は、各索引値に対応する1つの出力値を有するルックアップ表として実現され得る。例えば、LDR画素が8ビット値を有する場合、ルックアップ表には、1乃至256の範囲の整数によって索引付けされた256の異なる値を含む。予測関数19は、その主要な役割が、残留フレームの値をできるだけ小さくすることであるため、連続的である必要がない。他の選択肢では、予測関数19は、適切にパラメータ化された連続曲線によって部分的に又は全体的に表わされる。
ブロック28において、方法10は、予測関数19を再構築LDRデータ26に適用することによって、予測HDR画像を取得する。再構築LDRデータ26の各画素用の画素値は、入力として、予測関数19に適用され、画素値は、予測関数19からの結果的に生じる出力で置き換えられ、予測HDR画像29を生成する。
ブロック30は、予測HDR画像29とHDRデータ12の画像との間の差を計算して、残留画像32を提供する。残留画像32は、ブロック34において符号化/圧縮され、符号化画像データ38に対する残留画像データ35として出力される。ブロック34には、残留画像32をフィルタ処理し量子化し、符号化画像データ38から再構築されたHDR画像の忠実度に対して、認識可能な効果を有さない(又は、より大きなフィルタ処理及び/又は量子化を伴う過度に有害な効果を有する)情報を除去する段階が含まれる。
図2は、符号化画像データ38を復号するための方法40を示す。LDRデータ22は、ブロック32において、符号化画像データ38から抽出し、復号/復元して、LDRデータ出力44として出力されるLDRデータ43を生成する。LDRデータ出力44が、要求される全てである場合、それ以上処理を行う必要はない。
HDRデータ出力56も要求される場合、予測関数37が、ブロック46において復号され、予測関数47を生成し、ブロック50において、残留画像データ35が、復号/復元され、残留画像52を生成する。
ブロック48において、予測関数47は、LDRデータ43に適用され、予測HDR画像49を生成する。ブロック54において、予測HDR画像49は、残留画像52と組み合わせられ、HDRデータ出力56を生成する。図2に示すように動作するデコーダは、HDRデータ出力56において高品質HDRデータを提供しつつ、LDRデータ出力44を必要とするシステム及び装置と下位互換性を有することができる。
方法10及び40は、
プログラム式データプロセッサであって、データプロセッサに本方法を実施させるソフトウェアを実行する1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ、その幾つかの組合せ等を含み得るプログラム式データプロセッサ、又は類似物を備える、プログラム式データプロセッサか、
例えば、協働して本方法を実現する機能ブロックを含み、例えば、適切に構成された現場でプログラム可能なゲートアレイ(FPGA)又は特定用途向け集積回路(ASIC)を含む、ハードウェア回路か、
本方法の幾つかの部分をプログラム式データプロセッサにおいて実施し、本方法の他の部分を適切なハードウェア回路において実施することか
によって、実施される。
図3は、更に特定の実施形態例による方法70を示す。方法70は、MPEG(Motion Pictures Experts Group)標準によって設定された標準に準拠するやり方で映像フレームを符号化する。方法70は、映像データの2つの着信ストリームを受信する。HDRフレーム74を含むストリームは、入力72において受信される。LDRフレーム76を含むストリームは、入力78において受信される。LDRフレーム76は、入力78の上流で、HDRフレーム74又はHDRフレーム74の何らかの先行物から導出される。
図3に示すように動作するエンコーダは、3つの圧縮されたストリームを生成する。即ち、MPEGと完全に互換性があり得るLDRストリーム80と、LDRフレーム76と対応するHDRフレーム74との間の差を含む残留ストリーム82と、HDRフレーム74を再構築するための補助データを含む補助ストリーム84と、を生成する。最良の性能は、残留ストリーム82及び補助ストリーム84が、LDRストリーム80において符号化された情報を複製しない場合、達成される。
LDRフレーム76は、ブロック88において、適切なエンコーダを用いて符号化される。例えば、ブロック88は、ISO/IEC14496−2標準と互換性があるMPEG映像エンコーダを用いる。他の映像エンコーダは、他の選択肢として用いられる。結果的に生じる映像ストリームは、音声映像インターリーブ(AVI)又はQuickTime(登録商標)等の、適切な媒体コンテナフォーマットにカプセル化することで、既存のソフトウェアによって認識し再生される。
ブロック90において、MPEG符号化LDRフレームが復号される。計算を最小限に抑えるために、ブロック90の復号は、ブロック88で用いられるMPEGエンコーダによって実施される。MPEGエンコーダは、通常、運動ベクトルを推定するために用いるフレームを内部で復号する。ブロック90には、MPEGエンコーダによって生成された復号フレームにアクセスする段階を含む。他の選択肢では、ブロック90は、ブロック88とは独立に実施される。
ブロック90からの出力は、一般的に、MPEGが不可逆圧縮方法であることから、ブロック88への入力と異なる。MPEG符号化され、そして復号されるLDRフレームは、元のLDRフレームと厳密に同じではなく、圧縮歪み(compression artifact)を含む。
ブロック92A及び92Bにおいて、LDRフレーム76及びHDRフレーム74の一方又は双方の色空間が、必要ならば、変換され、互いに互換性がある色空間で表されるLDRフレーム及びHDRフレームを提供する。もしいずれかの変換が実施される場合、どちらの変換がブロック92A及び92Bにおいて実施されるかは、着信LDRフレーム76及びHDRフレーム74の色空間に依存する。場合によっては、ブロック92A及び92Bは、不要である。他の場合、ブロック92A及び92Bの内の一方だけが、必要である。
HDR及びLDR色空間は、LDR及びHDR色空間双方の色チャネルが、ほぼ同じ情報を表す場合、互換性がある。HDR及びLDR色空間が、知覚的に均一であることも望ましい。知覚的均一性は、計算よりもむしろ知覚可能な差による色差の推定を円滑にする。HDR色空間が、広範囲の全色領域、理想的には全ての可視の全色領域を保持することは、全可視色領域が既存の表示装置に表示できない場合であっても望ましい。
本発明者らは、HDR画像データを表す際に用いるための良好な色空間は、CIE1976色度図(u、v)と、sRGB色空間のガンマ補正との組合せであると考えているが、他の色空間も用いてもよい。一例において、着信LDRフレーム76は、sRGB色空間で表され、他方、着信HDRフレーム74は、CIE XYZ(2E標準観察者)色空間で表される。この場合、ブロック92Aには、sRGB色空間からlldrldrldr空間にLDR画素を変換する段階が含まれる。このことは、CIE XYZ色座標を計算し、XYZ値からルーマ及びu’及びv’色座標を計算することによって行われる。XYZ値は、「IEC61966−2−1、1999:マルチメディアシステム及び装置‐色測定及び管理‐パート2−1:色管理‐既定RGB色空間‐sRGB:国際電気標準会議、1999」において与えられたsRGB変換公式を用いて求められる。例えば、8ビット色座標であるR8ビットの場合、
Figure 0005249784
8ビット及びB8ビット色座標は、同様に、浮動小数点数に変換され、X、Y、及びZは、下式から求められる。
Figure 0005249784
式(3)における行列の例は、白色点D65を取る。ルーマは、適切な修正色値を用いることによって、各LDR画素について計算される。例えば、ルーマは、下式によって与えられる。
Figure 0005249784
上式において、lldrは、LDR画素のルーマ値である。ルーマは、ガンマ補正適用後の非線形R’G’B’成分の加重和である。
色度u’及びv’は、下式から得られる。
Figure 0005249784
そして、8ビット数uldr及びvldrは、下式等の適切な換算係数をu’及びv’の各々に乗ずることによって得られる。
Figure 0005249784
変換された色空間において、LDRデータの各画素は、画素値lldr、vldr、uldrによって表される。
ブロック92Bは、LDR画素値について上で記載したのと実質的に同様に、HDRフレーム74の色値を変換する。通常、一般的なガンマ補正は、HDRフレームに指定される輝度値の範囲には用いない。従って、幾つかの実施形態では、人間の観察者のコントラスト検出測定値から導出された知覚的に均一な輝度表現を用いる。この空間は、LDR画素値が、ガンマ修正されているが、輝度の全て可視範囲を(例えば、11乃至12ビットを用いて)符号化する空間と同様な特性を有する。
一実施形態例において、HDR輝度yは、以下の公式によって、12ビットHDRルーマlhdrに変換される。
Figure 0005249784
上式において、定数は、下表1に挙げられている。逆変換は、下式によって与えられる
Figure 0005249784
上式において、式(9)及び(10)に用いられる様々な定数は、下表1に挙げられている。
Figure 0005249784
ブロック94は、HDR画像データの予測関数を生成する。予測関数は、LDR画像データにおける対応する画素の対応する画素値に基づき、HDR画像データにおける画素の画素値を予測しようとする。予測関数は、予測関数によって予測された値と大幅に異なる値を有するHDR画像データにおける画素の数を最小にするために理想的に選択されている。予測関数は、好適には、対数領域において非線形である。
HDRデータにおいて色度を表す画素値が、LDR画像データにおける対応する画素値とほとんど同じである場合、色度画素値(例えば、u’及びv’)に対する予測関数を計算することは、有益ではない。そのような場合には、輝度値(例えば、ルーマ、輝度等)に予測関数を提供するだけで良い。
LDRフレーム76及びHDRフレーム74は、同様な情報を含むことから、これらのフレームは、強い相関がある。LDRフレーム76が、色合いマッピングアルゴリズムをHDRフレーム74に適用することによって得られる場合、相関関係の特定の性質は、どんな色合いマッピングアルゴリズムが用いられたかに依存する。
図4A乃至4Fは、LDRフレームのルーマ値が、対応するHDRフレームのルーマ値にどのように関連するか示す。これらの図は、HDR画像例からLDR画像を導出する異なる色合いマッピング関数に各々該当する。これらの色合いマッピング関数は、値が小さい場合、lldrとlhdrとの間のほぼ線形の関係を有する。輝度値が更に大きい場合、色合いマッピング関数間には、更なるバリエーションが存在する。図4A乃至4Dの各々において、LDRルーマ値は、横軸にプロットされ、HDRルーマ値は、縦軸にプロットされる。Xと印した点は、LDR及びHDR画像における対応する画素の画素値を示す。
図4A乃至4Fは、
パッタネイク(S.Pattanaik)、タンブリン(J.E.Tumblin)、イー(H.Yee)、及びグリーンバーグ(D.P.Greenberg)によるACM SIGGRAPH2000の議事録の「現実的な画像表示のための時間依存視覚適合」、コンピュータグラフィックス議事録、年次会議集、47−54頁、2000年7月、
エリック・ラインハード(Erik Reinhard)、マイケル・スターク(Michael Stark)、ピータ・シャーリー(Peter Shirley)、及びジム・ファーベルダ(Jim Ferwerda)による「デジタル画像のための写真色合い再生」、グラフィックスに関するACM議事録、21(3):267−276、2002年、
フレッド・デュランド(Fredo Durand)及びジュリー・ドルシー(Julie Dorsey)による「高ダイナミックレンジ画像の表示用高速バイラテラルフィルタ処理」、グラフィックスに関するACM議事録、21(3):257−266、2002年、
ラーナン・ファッタル(Raanan Fattal)、ダニー・リシンスキー(Dani Lischinski)、及びマイケル・ベルマン(Michael Werman)による「傾斜領域高ダイナミックレンジ圧縮」、グラフィックスに関するACM議事録、21(3):249−256、2002年、
フレデリック・ドラゴ(Frederic Drago)、カロル・ミスコウスキー(Karol Myszkowski)、トーマス・アネン(Thomas Annen)、及びノリシゲ・チバ(Norishige Chiba)による「高コントラストシーンを表示するための適応対数マッピング」、コンピュータグラフィックスフォーラム、ユーログラフィックス2003年議事録、22(3):419−426、2003年、および
ラファル・マンティク(Rafal Mantiuk)、カロル・ミスコウスキー、及びハンス・ピータ・サイデル(Hans−Peter Seidel)による「高ダイナミックレンジ画像のコントラスト処理のための知覚フレームワーク」、APGV‘05:グラフィックス及び視覚化における応用知覚に関する第2シンポジウムの議事録、87−94頁、ニューヨーク、NY、米国、2005年、ACM出版社、
において開示された色合いマッピング関数にそれぞれ対応する。
予測関数は、上記したように生成される。予測関数が、対応するビンに入る全てのHDR画素の値の算術平均として定義される場合、予測は、以下のように書くことができる。
Figure 0005249784
上式において、Σ={i=1...N*lldr(i)=l}、l=0...255であり、Nは、フレームにおける画素の数であり、lldr(i)及びlhdr(I)は、それぞれ、LDR及びHDRフレームにおけるi番目の画素のルーマ値である。予測関数は、好適には、フレーム毎に更新される。
図4A乃至4Fにおいて、予測関数は、実線として示される。予測関数は、画像コンテンツ並びに用いられる色合いマッピング機能に依存する。図4A乃至4Fは、通常のHDR画像用の予測関数が示される。通常の予測関数が、それらの範囲のかなりの部分に渡って、勾配が大きくなるにつれてゆっくりと変わる傾向があることを、図4A乃至4Fは示す。従って、幾つかの実施形態において、ビン毎の予測関数の値を符号化する代わりに、2つの連続したビンの予測関数値間の差が符号化される。ビット数を更に低減するために、これらの差は、例えば、ブロック95に示すように、適応ハフマン(Huffman)アルゴリズムを用いて圧縮される。補助データストリーム84のサイズは、幾つかの実施形態において、総ストリームサイズの1%以下である。従って、予測関数の記憶オーバーヘッドは、ほとんど取るに足らないものである。また、予測関数又は予測関数の一部は、他のやり方で、例えば、パラメータ化された多項式曲線、スプライン曲線、又は他のパラメータ化された関数で表わされてもよい。
ブロック96において、残留フレームが計算される。残留フレームの各画素値は、HDRフレームの対応する画素の画素値と、LDRフレームの対応する画素の画素値に予測関数を適用することによって予測された画素の画素値と、の間の差を表す。ブロック96は、各画素値(本例では、l、u及びv)について別個に実施される。輝度値の場合、残留フレームの各画素r(i)は、以下のように計算される。
Figure 0005249784
色度値の場合、予測関数は、識別関数であってよく、この場合、以下のようになる。
Figure 0005249784
適切に選択された予測関数は、HDRフレームを符号化するデータの量を大幅に低減する。この節約にもかかわらず、残留フレームは、依然として、再構築HDR画像の品質を視覚的に改善しない大量の雑音を含む。圧縮比は、残留フレームをフィルタ処理して、この雑音を低減又は解消することによって、画像品質の顕著な低下を招くことなく改善する。ブロック98は、残留フレームをフィルタ処理する。残留フレームの信号は、相対的に視認度しきい値に近いことが多い。従って、フィルタ処理することにより、データから再構築されたHDR画像の品質を大幅に劣化させることなく、データを大幅に低下することができる。
ブロック98の出力は、可視でない領域において高周波が減衰された残留フレームである。図5は、残留フレームをフィルタ処理するために適用される方法110を示す。方法110は、本発明による符号化方法に照らして実施されるが、画像に可視歪みを招くことなく、画像を表すデータの量を低減することが望ましい他の状況における用途も有する。
以下の説明は、ルーマチャネルに行われる処理について記載する。また、同じ処理が、色度チャネルにも適用される。色度チャネルは、例えば、それらの元の解像度の半分に合わせてサブサンプリングし、処理を低減する。この低減は、ほぼ輝度とクロミナンスCSFとの差に相当する。
方法110は、残留フレーム112と、残留フレームをマスクするHDRフレーム114と、を受信する。ブロック116及び118において、離散的ウェーブレット変換(DWT)が、マスキングフレーム114及び残留フレーム112各々を幾つかの周波数及び方位選択チャネルに分割するために適用される。ワトソン(A.B.Watson)によるコンピュータ視覚グラフィックス及び画像処理、39:311−327、1987年の「皮質変換:シミュレート神経系画像の高速演算」に記載された皮質変換等の他の適切な変換は、DWTの代わりに適用され得る。皮質変換は、極めて計算集約的であり、従って、充分な計算資源が利用可能な場合にだけ実用的である。
試作実施形態は、(JPEG−2000標準による画像の不可逆圧縮にも用いられる)CDF9/7離散ウェーブレット基底を用いる。このウェーブレット基底は、円滑さと計算効率との間に良好なトレードオフを与える。試作品では、ウェーブレット分解の3つの最も細かいスケールだけが用いられるが、これは、粗いスケールでの低空間周波数のフィルタ処理は、歪みが顕著になる可能性があるためである。
ブロック120において、コントラスト感度関数(CSF)等の関数は、高空間周波数に対する人の視覚系の感度を取り込むために適用される。CSFの適用には、定数値によってウェーブレット係数の各帯域を重み付けする段階を伴う。1700画素の距離を見るための重み付け係数例が、表2に与えられている。
Figure 0005249784
人の視覚チャネルの位相感度は限定されている。これによって、再構築された画像から顕著な劣化なしで情報を廃棄するための更なる機会が提供される。マスキング信号は、ウェーブレット係数の値が最も高い領域に影響を及ぼすだけではなく、隣り合った領域にも影響を及ぼし得る。位相不確定性は、更に大きい量のマスキングを示すテクスチャーとは対照的に、エッジにおけるマスキングの効果も低下させる。
位相不確定性は、L0.2ノルムでモデル化されるが、これは、JPEG−2000画像圧縮にも用いられる。L0.2ノルムは、下式
Figure 0005249784
及びその数学的に同値な式によって与えられるが、ここで、lは、係数の近傍を示し(13H13ボックスが、試作実施例において近傍として用いられる)、LCSFは、CSF係数を適用することによって加重されるウェーブレット係数であり、
Figure 0005249784
は、位相不確定性を考慮した後のCSF加重ウェーブレット係数である。
ブロック124は、元のHDRフレーム114からのマスキング信号がある状態で、しきい値コントラストが、どのように変わるか予測する。コントラストマスキングをモデル化する場合、しきい値上昇関数を用いる。しきい値上昇関数は、例えば、以下の形態を有する。
Figure 0005249784
試作実施形態において、式(16)の定数は、a=0.093071及びb=1.0299及びc=11.535によって与えられる。
残留フレームRCSFの各CSF加重係数が、元のHDRフレーム114から計算された対応するしきい値上昇Teの値と比較される。RCSFが、式(16)からの視認度しきい値Teより小さい場合、係数は、最終的な再構築画像に顕著な変化をもたらすことなく、ゼロに設定される。このことは、下式によって表される。
Figure 0005249784
最後に、フィルタ処理済みウェーブレット係数Rfiltは、画像領域に変換して戻される。上記事前フィルタ処理方法は、実質的に残留ストリームのサイズを低減し得る。このフィルタ処理は、視覚モデルの計算効率と精度との間の妥当なトレードオフである。本明細書に述べたフィルタ処理により、通常、符号化時間がわずかに約80%増加する。符号化中のフィルタ処理では、復号時間は増大しない。
図3に戻ると、ブロック100は、フィルタ処理された残留フレームを量子化する。残留フレームで符号化された差の大きさは、通常、小さいが、(12ビットHDRルーマ符号化の場合、)!4095乃至4095の範囲の値をとる。明らかに、そのような値は、8ビットMPEGエンコーダを用いて符号化できない。MPEG標準は、12ビットでルーマ値を符号化するための拡張を提供するが、そのような拡張は、特に、ハードウェアでは、めったに実現されない。
量子化ブロック100によって、残留値の大きさは、好適には、標準8ビットMPEGエンコーダを用いて、それらの値を符号化するのに充分なほどに低減される。様々な量子化方式が用いられる。例えば、幾つかの実施形態は、非線形量子化を適用するが、この場合、残留の大きな絶対値は、大きく量子化され、他方、小さい値は、最大精度で保持される。ほとんどの画素が、大きさが大きい残留を含まないことから、ほとんどの画素は、強い量子化による影響を受けない。
強い量子化は、視覚品質の悪い幾つかの画像をもたらし得る。これは、大きな量子化誤差を有するわずかな数の画素であっても、知覚される画像品質が減少するように目立つことによる。
残留値を単純に(例えば、8ビット範囲へ)クランピングすると、極めて明るい又は暗い領域において細部を失うという代価を払って、視覚的に良い結果を生成する。更に、通常の画像では、適切に選択された予測関数の場合、極めて少数の画素だけが、8ビット範囲を超過する残留値を有する。
幾つかの実施形態において、より強い量子化という代価を払ってクランピングを低減するために、残留値を一定の量子化係数で除算する。係数は、クランピングによる誤差と量子化による誤差との間のトレードオフに基づき選択される。そのような量子化係数は、各ビンに対して、そのビンに属する全ての画素の残留の最大の絶対値に基づき、別個に設定される。従って、量子化後の残留値は、下式のように計算される。
Figure 0005249784
上式において、
演算子[ .]−127÷127は、角括弧内の値を最も近い整数に丸め、そして、その値が、127より大きいか又は−127より小さい場合、その値をクランプする。
q(l)は、各ビンΣについて、別個に選択される量子化係数である。量子化係数は、下式によって与えられる。
Figure 0005249784
上式において、qminは、例えば、1又は2である最小量子化係数である。
量子化係数q(l)は、予測関数と共に補助データストリーム84に格納される。このデータは、まず、ブロック95のように最初に圧縮される。ほとんどの場合、量子化係数q(J)のほとんどが、値qminを有する。従って、ハフマン符号化が続くランレングス符号化は、量子化係数を表すデータを圧縮する効果的なやり方である。
ブロック102において、残留値が符号化される。残留値は、8ビット値である場合、普通のMPEG圧縮(例えば、MPEG−4圧縮)を用いて符号化される。一試作実施形態において、量子化された残留値
Figure 0005249784
並びに色度残留値r及びrは、最も近い整数値に丸められた後、MPEG符号化される。尚、残留値を取得するために適用される演算は、予測関数が、ほぼ線形であり、式(18)の適応可能な量子化の効果が最小である場合、ほぼ線形である。そのような場合には、残留フレームの視覚情報は、元のHDRフレームと同じ周波数帯であり、残留のDCT量子化は、元のHDR画素値に対するのと同様な効果を有する。従って、標準DCT量子化行列は、残留フレームを符号化するために用いられる。
ブロック88及び102におけるMPEG符号化は、独立であることから、各ブロック88及び102のMPEG品質パラメータを別個に設定することが可能である。ほとんどの用途において、2つの組のMPEG品質パラメータを設定することは、直感的でもなければ便利なものでもない。好適な実施形態において、単一の品質制御は、ブロック88及び102双方の品質パラメータを設定する。ブロック88及び102において品質パラメータを互いに等しく設定すると、ほぼ満足な結果が得られることが見出された。
ブロック88及び102の幾つかの品質設定値は、他より良い圧縮結果を与える。最良品質のHDR画像を達成するために、ブロック102は、最良の品質を用いて符号化する段階を含むべきである。ブロック88の品質設定値は、本来、ストリーム80から再構築されるLDR画像の品質に影響を及ぼすが、HDR画像の品質にも何らかの影響を及ぼす。
本発明の幾つかの実施形態は、LDR及びHDRフレーム双方が、同じシーンを含むという事実を利用する。従って、光学フローは、それら双方に対して、同じであるべきである。そのような実施形態において、LDRフレームのために演算された同じ運動ベクトルは、残留フレームにも用いられる。データ構造38には、一組だけの運動ベクトルが含まれる。本発明の他の選択肢としての実施形態において、運動ベクトルは、LDR及び残留フレームに対して別個に演算され、双方の組の運動ベクトルは、符号化画像データ38に格納される。
本発明による方法を実施するためのソフトウェアは、様々なやり方で実現される。一試作実施形態において、ソフトウェアは、動的なライブラリとして実現され、外部ソフトウェアとの一体化を簡素化する。命令ラインツールの別個の組によって、HDR画像ファイルとの間での映像ストリームの符号化及び復号が可能になる。
HDR映像再生は、2つのMPEGストリーム80及び82の復号を伴うことから、許容可能なフレームレートを達成することは、普通のLDR映像再生の場合より困難である。再生フレームレートは、グラフィックスハードウェアを用いて、復号プロセスの幾つかの部分を実施することによって大きくできる。例えば、色空間変換及び色チャネルのアップサンプリング双方は、CPU上で実行された場合、計算量が多くなるが、断片プログラムとして、グラフィックスプロセッサ(GPU)において、極端に効率的に実施される。更に、幾つかの色変換機能は、固定小数点計算及びルックアップ表を用いて大幅に加速される。
図6は、品質設定値の関数として、試作実施形態の性能を示す。下の点は、LDRストリーム80に対応し、上の点は、LDRストリーム80と残留ストリーム82との和に対応する。qスケール品質パラメータの小さい値に対して(即ち、高品質画像の場合)、残留ストリーム82によって構成される全データストリームの割合は、(低品質LDR画像に対応する)大きい値の品質パラメータに対して小さいことが分かる。
本明細書に述べたコーデックは、個々の画像及び一連の映像双方を符号化し復号するために用いられる。そのようなコーデックは、DVD等の媒体や映画を記憶するために将来普及する他の記憶媒体に記憶される映画を符号化し復号するために用いられる。
本発明の幾つかの態様は、HDR表示装置が接続される又は接続できるHDR画像用の出力が含まれるメディアプレーヤを提供する。メディアプレーヤには、例えば、図2に示す復号方法を実現するハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組合せが含まれる。
本発明のある実施例には、プロセッサに本発明の方法を実施させるソフトウェア命令を実行するコンピュータプロセッサが含まれる。例えば、データ処理システムにおける1つ又は複数のプロセッサは、プロセッサがアクセス可能なメモリに記憶されたソフトウェア命令を実行することによって、図1又は3の符号化方法や図2の復号方法を実現する。本発明は、また、プログラムプロダクトの形態で提供される。プログラムプロダクトには、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令が含まれる一組のコンピュータ判読可能信号を伝達する任意の媒体を含む。本発明によるプログラムプロダクトは、任意の多種多様な形態であってよい。プログラムプロダクトには、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CDROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等の物理的な媒体を含む。プログラムプロダクト上のコンピュータ判読可能信号は、オプションとして、圧縮又は暗号化される。
構成要素(例えば、ソフトウェアモジュール、プロセッサ、組立、装置、回路等)が、上記において言及される場合、他に規定されない限り、その構成要素についての言及(“手段”についての言及を含む)は、その構成要素の均等物として、説明した本発明の代表的な実施形態の機能を実施する開示構造と構造的に均等でない構成要素を含み、記載された構成要素の機能を実施する(即ち、機能的に等価な)任意の構成要素を含むものと解釈すべきである。
上記開示に鑑みて、当業者には明らかなように、本発明の技術思想又は範囲から逸脱することなく、本発明を実践する際、数多くの変更及び修正が可能である。従って、本発明の範囲は、以下の請求項によって定義される内容に基づき解釈されるものである。
本発明の一実施形態による符号化方法を示すフローチャート。 高ダイナミックレンジ画像からの画素値のヒストグラムであって、その画像の低ダイナミックレンジバージョンにおける対応する画素が全て同じ画素値を有するヒストグラムを示す図。 本発明による復号方法を示すフローチャート。 特定の実施形態によるMPEG符号化方法を示すフローチャート。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 様々な色合いマッピングアルゴリズム用の対応するHDR及びLDR画像におけるルーマ値間の関係を示す図。 本発明の一実施形態による残留画像データをフィルタ処理するための方法を示す図。 試作符号化システム用の画像品質パラメータの関数としてビットレートを示すグラフ。

Claims (10)

  1. 高ダイナミックレンジ画像(12)を符号化するための方法であって、
    前記高ダイナミックレンジ画像(12)に対応する低ダイナミックレンジ画像(14)を取得する段階(16)と、
    前記高ダイナミックレンジ画像(12)及び前記低ダイナミックレンジ画像(14)に基づいて、予測関数(19)を生成する段階(18)と、
    前記低ダイナミックレンジ画像(14)に前記予測関数(19)を適用して、予測高ダイナミックレンジ画像(29)を取得する段階と、
    前記予測高ダイナミックレンジ画像(29)の画素値と前記高ダイナミックレンジ画像(12)の対応する画素値との間の差を表す残留画像(32)を計算する段階と、
    前記低ダイナミックレンジ画像(14)、前記予測関数(19)及び前記残留画像(32)を表すデータを符号化し(20、34、36)記憶する段階と、
    を備える、方法。
  2. 請求項1に記載の方法であって、前記低ダイナミックレンジ画像を取得する段階には、前記低ダイナミックレンジ画像(14)を符号化する段階(20)と、前記低ダイナミックレンジ画像を復号する段階(24)と、が含まれる、方法。
  3. 請求項1又は2に記載の方法であって、前記予測関数(19)を確立する前に、色空間の間において、前記高ダイナミックレンジ画像(12)、前記低ダイナミックレンジ画像(14)又は前記高ダイナミックレンジ画像及び前記低ダイナミックレンジ画像双方を変換する段階が含まれる、方法。
  4. 請求項1乃至3のいずれか1項に記載の方法であって、前記予測関数(19)を生成する段階は、
    (a)対数領域において非線形である関数を生成する段階と、
    (b)前記低ダイナミックレンジ画像(14)の対応する画素が全て同じ画素値を有する前記高ダイナミックレンジ画像(12)における画素の複数のグループの各々に属する前記高ダイナミックレンジ画像(12)における前記画素の前記画素値の算術平均を計算
    する段階と、
    (c)前記複数のグループの各々に属する前記高ダイナミックレンジ画像(12)における前記画素の前記画素値の中央値を計算する段階と、
    (d)前記複数のグループの各々に属する前記高ダイナミックレンジ画像(12)における前記画素の前記画素値の最高及び最低画素値の平均を計算する段階と、
    (e)前記複数のグループの各々に属する前記高ダイナミックレンジ画像(12)における前記画素の前記画素値の部分集合の図心を計算する段階と、
    (f)それらの組合せと
    のうちの1つ又は複数を含む、方法。
  5. 請求項1乃至4のいずれか1項に記載の方法であって、前記低ダイナミックレンジ画像(14)及び高ダイナミックレンジ画像(12)は、各々一連の映像のフレームを含み、前記方法は、前記一連の映像の各フレーム用の新しい予測関数を生成する段階を含む、方法。
  6. 画像エンコーダであって、前記画像エンコーダは、命令を実行するプロセッサを備え、前記命令は、前記プロセッサに、
    高ダイナミックレンジ画像(12)に対応する低ダイナミックレンジ画像(14)を取得(16)させ、
    前記高ダイナミックレンジ画像(12)及び前記低ダイナミックレンジ画像(14)に基づいて、予測関数(19)を生成(18)させ、
    前記低ダイナミックレンジ画像(14)に前記予測関数(19)を適用して、予測高ダイナミックレンジ画像(29)を取得させ、
    前記予測高ダイナミックレンジ画像(29)の画素値と前記高ダイナミックレンジ画像(12)の対応する画素値との間の差を表す残留画像(32)を計算させ、
    前記低ダイナミックレンジ画像(14)、前記予測関数(19)及び前記残留画像(32)を表すデータを符号化し記憶させる、
    画像エンコーダ。
  7. デコーダであって、
    低ダイナミックレンジ画像(22)と、予測関数(37)と、残留画像(35)とを符号化したデータストリームを受信するように構成された入力デバイスと、
    前記予測関数(37、47)を前記低ダイナミックレンジ画像(22、43)に適用して、予測高ダイナミックレンジ画像(49)を取得するように構成された変換器と、
    前記残留画像(35、52)を前記予測高ダイナミックレンジ画像と結合して、高ダイナミックレンジ画像(56)を取得するように構成された結合器と
    を備え、前記予測関数(37、47)は、前記低ダイナミックレンジ画像が対応する基準高ダイナミックレンジ画像と、前記低ダイナミックレンジ画像(22)に基づくものである、デコーダ。
  8. 請求項に記載のデコーダであって、前記予測関数(37、47)は、前記低ダイナミックレンジ画像が対応する基準高ダイナミックレンジ画像における複数の画素グループの各々における画素のHDR画素値に少なくとも部分的に基づくものであり、前記基準高ダイナミックレンジ画像における各画素グループの画素は、同じLDR画素値を有する低ダイナミックレンジ画像の画素に対応する、デコーダ。
  9. 請求項に記載のデコーダであって、前記予測関数(37、47)は、同じ画素値を有する低ダイナミックレンジ画像(22、43)の画素が、多数の異なる画素値を有する前記予測高ダイナミックレンジ画像(49)の画素に対応するような、前記低ダイナミッ
    クレンジ画像(22、43)の画素及び前記予測高ダイナミックレンジ画像(49)の対応する画素の間の関係を生じさせるように構成されている、デコーダ。
  10. 請求項1に記載の方法であって、前記予測関数(19)を符号化すること(36)は、ルックアップ表を符号化することを含む、方法。
JP2008551653A 2006-01-23 2006-09-07 高ダイナミックレンジコーデック Active JP5249784B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US76151006P 2006-01-23 2006-01-23
US60/761,510 2006-01-23
PCT/EP2006/008741 WO2007082562A2 (en) 2006-01-23 2006-09-07 High dynamic range codecs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013052804A Division JP5558603B2 (ja) 2006-01-23 2013-03-15 高ダイナミックレンジコーデック

Publications (3)

Publication Number Publication Date
JP2009524371A JP2009524371A (ja) 2009-06-25
JP2009524371A5 JP2009524371A5 (ja) 2009-10-22
JP5249784B2 true JP5249784B2 (ja) 2013-07-31

Family

ID=38222685

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008551653A Active JP5249784B2 (ja) 2006-01-23 2006-09-07 高ダイナミックレンジコーデック
JP2013052804A Active JP5558603B2 (ja) 2006-01-23 2013-03-15 高ダイナミックレンジコーデック

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013052804A Active JP5558603B2 (ja) 2006-01-23 2013-03-15 高ダイナミックレンジコーデック

Country Status (8)

Country Link
US (8) US8537893B2 (ja)
EP (5) EP3197157B1 (ja)
JP (2) JP5249784B2 (ja)
KR (1) KR101356548B1 (ja)
CN (2) CN101742306A (ja)
ES (2) ES2551561T3 (ja)
HK (1) HK1129181A1 (ja)
WO (1) WO2007082562A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153508A (ja) * 2006-01-23 2013-08-08 Max-Planck-Ges Zur Foerderung Der Wissenschaften Ev 高ダイナミックレンジコーデック
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9264681B2 (en) 2010-08-25 2016-02-16 Dolby Laboratories Licensing Corporation Extending image dynamic range
US9497456B2 (en) 2011-11-04 2016-11-15 Dolby Laboratories Licensing Corporation Layer decomposition in hierarchical VDR coding
US10511837B2 (en) 2011-04-15 2019-12-17 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2893806A1 (fr) * 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2007139534A1 (en) * 2006-05-25 2007-12-06 Thomson Licensing Method and system for weighted encoding
DE602006019006D1 (de) 2006-07-17 2011-01-27 Thomson Licensing Verfahren und vorrichtung zum codieren von video-farberweiterungsdaten und verfahren und vorrichtung zum decodieren von video-farberweiterungsdaten
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8175158B2 (en) 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
US8165393B2 (en) 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
EP2144444B1 (en) * 2008-07-10 2012-06-27 The University Of Warwick HDR video data compression devices and methods
CN101415117B (zh) * 2008-11-18 2010-06-09 浙江大学 基于gpgpu的高真实感图像的传输方法
KR101740741B1 (ko) * 2009-02-11 2017-06-08 톰슨 라이센싱 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
JP5453519B2 (ja) * 2009-04-03 2014-03-26 アイ−シーイーエス(イノベイティブ コンプレッション エンジニアリング ソリューションズ) 特に画像,映像,及び/又は音声のデジタルファイルを処理する方法
CN101859430B (zh) * 2009-04-09 2014-01-01 恩斯迈电子(深圳)有限公司 产生高动态范围图像的方法及装置
WO2011002505A1 (en) * 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
EP2360926A1 (en) 2010-01-19 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Image encoder and image decoder
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US9100661B2 (en) * 2010-04-05 2015-08-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
KR101664123B1 (ko) * 2010-06-14 2016-10-11 삼성전자주식회사 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US9024951B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
US8879628B2 (en) 2011-02-21 2014-11-04 Dolby Laboratories Licensing Corporation Floating point video coding
JP5960731B2 (ja) 2011-03-02 2016-08-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 局所マルチスケールトーンマッピングオペレータ
EP2498499B1 (en) 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
ES2550782T3 (es) * 2011-03-24 2015-11-12 Koninklijke Philips N.V. Aparato y método para analizar gradaciones de imágenes
US8743291B2 (en) * 2011-04-12 2014-06-03 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
PL2782348T3 (pl) 2011-04-14 2018-04-30 Dolby Laboratories Licensing Corp Zmienna objaśniająca regresji wielorakiej kanału wielu barw
WO2012142506A1 (en) * 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
TWI690211B (zh) * 2011-04-15 2020-04-01 美商杜比實驗室特許公司 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
WO2012148883A1 (en) * 2011-04-25 2012-11-01 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像を符号化及び復号するための装置及び方法
RU2013152741A (ru) * 2011-04-28 2015-06-10 Конинклейке Филипс Н.В. Способ и устройство для генерирования сигнала кодирования изображения
WO2012158504A1 (en) * 2011-05-16 2012-11-22 Dolby Laboratories Licensing Corporation Efficient architecture for layered vdr coding
EP3595281B8 (en) 2011-05-27 2022-05-04 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
WO2013039730A2 (en) * 2011-09-15 2013-03-21 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
US11640656B2 (en) 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
RS61015B1 (sr) * 2011-10-17 2020-11-30 Toshiba Kk Postupak kodiranja i dekodiranja
JP5638731B1 (ja) * 2011-11-01 2014-12-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジをもつ画像の階層式符号化における適応的な偽輪郭生成防止
IN2014KN00934A (ja) 2011-11-09 2015-10-09 Fraunhofer Ges Forschung
EP2749026A1 (en) 2011-11-18 2014-07-02 Koninklijke Philips N.V. Encoding high quality (medical) images using standard lower quality (web) image formats
KR20130068823A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 영상 신호 처리를 위한 방법 및 장치
EP2613532A1 (en) 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US9756353B2 (en) 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
EP2826245A1 (en) * 2012-03-12 2015-01-21 Dolby Laboratories Licensing Corporation 3d visual dynamic range coding
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
TR201911093T4 (tr) * 2012-03-26 2019-08-21 Koninklijke Philips Nv Hdr görüntü kodlamaya ve kod çözmeye yönelik parlak bölge tabanlı aparatlar ve yöntemler.
WO2014009844A1 (en) 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
WO2014018050A1 (en) * 2012-07-27 2014-01-30 Hewlett-Packard Development Company, L.P. Techniques for Video Compression
EP2748792B1 (en) * 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법
JP5911643B2 (ja) * 2012-10-08 2016-04-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 色制約付きの輝度変更画像処理
WO2014077827A1 (en) * 2012-11-16 2014-05-22 Thomson Licensing Processing high dynamic range images
KR20150123810A (ko) * 2013-02-27 2015-11-04 톰슨 라이센싱 이미지 동적 범위 변환 오퍼레이터를 선택하는 방법 및 디바이스
CN105052143B (zh) * 2013-03-26 2018-04-20 杜比实验室特许公司 对多层vdr译码中的感知量化的视频内容进行编码
KR20160019060A (ko) * 2013-06-10 2016-02-18 톰슨 라이센싱 큰 동적 범위 픽처들의 평균 휘도를 적응시키기 위한 인코딩과 디코딩 방법들 및 대응하는 인코더 및 디코더
CN105324997B (zh) * 2013-06-17 2018-06-29 杜比实验室特许公司 用于增强动态范围信号的分层编码的自适应整形
JP5639228B2 (ja) * 2013-06-18 2014-12-10 トムソン ライセンシングThomson Licensing 重み付け符号化する方法及びシステム
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
JP6174926B2 (ja) * 2013-07-11 2017-08-02 キヤノン株式会社 画像復号装置及びその制御方法
CN105393525B (zh) * 2013-07-18 2019-04-12 皇家飞利浦有限公司 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置
TWI632810B (zh) 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630821B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
MX355009B (es) 2013-08-20 2018-03-28 Sony Corp Dispositivo de reproducción, método de reproducción, y medio de grabación.
US9438827B2 (en) 2013-08-27 2016-09-06 Semiconductor Components Industries, Llc Imaging systems and methods for generating binned high-dynamic-range images
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
CN105723711B (zh) * 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
KR102330316B1 (ko) * 2014-02-25 2021-11-24 애플 인크. 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
US10171833B2 (en) * 2014-03-04 2019-01-01 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
JP6367359B2 (ja) 2014-03-27 2018-08-01 マイクロソフト テクノロジー ライセンシング,エルエルシー 色空間を切り替えるときの量子化/スケーリング及び逆量子化/スケーリングの調整
GB201408618D0 (en) * 2014-05-15 2014-06-25 Univ Warwick Compressing high dynamic range images
RU2667034C2 (ru) * 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
WO2015197436A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for processing images
KR20160003502A (ko) 2014-07-01 2016-01-11 삼성전자주식회사 병렬화 방법 및 전자 장치
WO2016020189A1 (en) * 2014-08-08 2016-02-11 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
WO2016040255A1 (en) * 2014-09-09 2016-03-17 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
CN111212251B (zh) * 2014-09-10 2022-05-27 松下电器(美国)知识产权公司 再现装置以及再现方法
US9936199B2 (en) 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
WO2016055875A1 (en) * 2014-10-07 2016-04-14 Agostinelli Massimiliano Improved video and image encoding process
US10687069B2 (en) 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
FI3624459T3 (fi) * 2014-12-03 2023-06-02 Panasonic Ip Man Co Ltd Datangenerointimenetelmä, datantoistomenetelmä, datangenerointilaite ja datantoistolaite
EP3242487B1 (en) 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
WO2016120354A1 (en) 2015-01-30 2016-08-04 Thomson Licensing Method and device for matching colors between color pictures of different dynamic range
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
CN111654697B (zh) 2015-01-30 2022-07-19 交互数字Vc控股公司 对彩色画面进行编码和解码的方法和装置
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
KR102291585B1 (ko) * 2015-03-03 2021-08-20 세종대학교산학협력단 단일 화질 값 기반의 hdr 이미지 부호화 장치의 전처리 방법 및 장치, 단일 화질 값 기반의 hdr 이미지 부호화 방법
JP6374614B2 (ja) * 2015-03-20 2018-08-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号再整形近似
US20160286226A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
EP3096519A1 (en) 2015-05-18 2016-11-23 Thomson Licensing A method for encoding/decoding a picture block
CA2986150A1 (en) 2015-05-19 2016-11-24 Irystec Software Inc. System and method for color retargeting
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
KR102309676B1 (ko) 2015-07-24 2021-10-07 삼성전자주식회사 사용자 적응 이미지 보상기
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
US10184835B2 (en) * 2015-09-23 2019-01-22 Agilent Technologies, Inc. High dynamic range infrared imaging spectroscopy
JP6871945B2 (ja) 2015-12-21 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特定のディスプレイのための高ダイナミックレンジ画像の最適化
WO2017142360A1 (ko) * 2016-02-19 2017-08-24 세종대학교산학협력단 이미지 부호화 및 복호화 방법, 이를 이용하는 이미지 부호화기 및 이미지
KR20170098163A (ko) * 2016-02-19 2017-08-29 세종대학교산학협력단 이미지 부호화 및 복호화 방법, 이를 이용하는 이미지 부호화기 및 이미지 복호화기
CN108885783B (zh) * 2016-03-23 2022-02-15 杜比实验室特许公司 编码和解码可逆制作质量单层视频信号
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10575028B2 (en) * 2016-09-09 2020-02-25 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
CN106506983B (zh) * 2016-12-12 2019-07-19 天津大学 一种适用于ldr视频的hdr视频生成方法
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
EP3386198A1 (en) 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
EP3399497A1 (en) 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
EP3416363A1 (en) * 2017-06-13 2018-12-19 Koninklijke Philips N.V. Gamut mapping for hdr (de)coding
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技(成都)有限公司 三维摄像装置、三维摄像方法及人脸识别方法
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
JP6584538B2 (ja) * 2018-01-16 2019-10-02 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像の処理
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
CN113728624B (zh) * 2019-04-23 2023-11-14 杜比实验室特许公司 高动态范围图像的显示管理
CN110232669A (zh) * 2019-06-19 2019-09-13 湖北工业大学 一种高动态范围图像的色调映射方法及系统
TWI812874B (zh) * 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN110933416B (zh) * 2019-11-12 2021-07-20 宁波大学 高动态范围视频自适应预处理方法
EP4070541A1 (en) * 2019-12-06 2022-10-12 Dolby Laboratories Licensing Corp. Cascade prediction
CN115811616A (zh) * 2021-09-15 2023-03-17 华为技术有限公司 一种视频编码、解码方法及装置
US11995743B2 (en) * 2021-09-21 2024-05-28 Samsung Electronics Co., Ltd. Skin tone protection using a dual-core geometric skin tone model built in device-independent space
CN115115518B (zh) * 2022-07-01 2024-04-09 腾讯科技(深圳)有限公司 高动态范围图像的生成方法、装置、设备、介质及产品

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0611231B1 (en) * 1993-02-12 1999-09-29 Eastman Kodak Company Method for cross-device color calibration and enhancement using explicit constraints
EP0611230B1 (en) * 1993-02-12 1998-09-30 Eastman Kodak Company Method and associated apparatus for transforming input color values in an input color space to output color values in an output color space
US6335983B1 (en) * 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
JP4362895B2 (ja) 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
US6301393B1 (en) * 2000-01-21 2001-10-09 Eastman Kodak Company Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image
US6748106B1 (en) * 2000-03-28 2004-06-08 Eastman Kodak Company Method for representing an extended color gamut digital image on a hard-copy output medium
JP4012669B2 (ja) * 2000-07-21 2007-11-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置、記録媒体並びに画像撮影装置
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
JP3948229B2 (ja) * 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
US7046852B2 (en) * 2001-09-13 2006-05-16 Sharp Laboratories Of America, Inc. Fast image decompression via look up table
AU2003201746A1 (en) * 2002-01-15 2003-07-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for compressing the dynamic range of an image
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
WO2005002233A1 (en) * 2003-06-27 2005-01-06 Koninklijke Philips Electronics N.V. Method of encoding for handheld apparatuses
US20050117799A1 (en) * 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
JP2005284534A (ja) * 2004-03-29 2005-10-13 Inventec Appliances Corp 高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法及び関連装置
US8265378B2 (en) * 2004-04-15 2012-09-11 Dolby Laboratories Licensing Corporation Methods and systems for converting images from low dynamic to high dynamic range
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
US7932914B1 (en) * 2005-10-20 2011-04-26 Nvidia Corporation Storing high dynamic range data in a low dynamic range format
ES2551561T3 (es) 2006-01-23 2015-11-19 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Codecs de alto rango dinámico
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153508A (ja) * 2006-01-23 2013-08-08 Max-Planck-Ges Zur Foerderung Der Wissenschaften Ev 高ダイナミックレンジコーデック
US10158835B2 (en) 2010-08-25 2018-12-18 Dolby Laboratories Licensing Corporation Extending image dynamic range
US9264681B2 (en) 2010-08-25 2016-02-16 Dolby Laboratories Licensing Corporation Extending image dynamic range
US9271011B2 (en) 2011-04-15 2016-02-23 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9654781B2 (en) 2011-04-15 2017-05-16 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9819938B2 (en) 2011-04-15 2017-11-14 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US10027961B2 (en) 2011-04-15 2018-07-17 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US10264259B2 (en) 2011-04-15 2019-04-16 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US10511837B2 (en) 2011-04-15 2019-12-17 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US10992936B2 (en) 2011-04-15 2021-04-27 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9497456B2 (en) 2011-11-04 2016-11-15 Dolby Laboratories Licensing Corporation Layer decomposition in hierarchical VDR coding
US9924171B2 (en) 2011-11-04 2018-03-20 Dolby Laboratories Licensing Corporation Layer decomposition in hierarchical VDR coding

Also Published As

Publication number Publication date
KR20080107389A (ko) 2008-12-10
US20170041626A1 (en) 2017-02-09
EP2320653A3 (en) 2012-06-13
JP2013153508A (ja) 2013-08-08
HK1129181A1 (en) 2009-11-20
ES2551561T3 (es) 2015-11-19
US8989267B2 (en) 2015-03-24
US10931961B2 (en) 2021-02-23
US20180103263A1 (en) 2018-04-12
US9544610B2 (en) 2017-01-10
EP1989882B1 (en) 2015-11-11
CN101371583B (zh) 2012-03-21
EP1989882A2 (en) 2008-11-12
EP2290983A2 (en) 2011-03-02
WO2007082562A3 (en) 2007-12-21
EP2320653B1 (en) 2015-09-02
WO2007082562A2 (en) 2007-07-26
US8611421B1 (en) 2013-12-17
EP2988499B1 (en) 2017-03-22
JP2009524371A (ja) 2009-06-25
US20100172411A1 (en) 2010-07-08
EP2290983B1 (en) 2015-09-02
EP2988499A1 (en) 2016-02-24
KR101356548B1 (ko) 2014-01-28
US8537893B2 (en) 2013-09-17
CN101742306A (zh) 2010-06-16
US20160119638A1 (en) 2016-04-28
US20140086321A1 (en) 2014-03-27
EP3197157A1 (en) 2017-07-26
JP5558603B2 (ja) 2014-07-23
CN101371583A (zh) 2009-02-18
US9210439B2 (en) 2015-12-08
US10165297B2 (en) 2018-12-25
US9894374B2 (en) 2018-02-13
US20150156506A1 (en) 2015-06-04
EP2320653A2 (en) 2011-05-11
EP3197157B1 (en) 2021-12-15
EP2290983A3 (en) 2012-06-13
US20190052892A1 (en) 2019-02-14
ES2551562T3 (es) 2015-11-19
US20130322532A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5249784B2 (ja) 高ダイナミックレンジコーデック
Mantiuk et al. Backward compatible high dynamic range MPEG video compression
EP3266208B1 (en) Content-adaptive perceptual quantization for high dynamic range images
US10032262B2 (en) Block-based content-adaptive reshaping for high dynamic range images
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
EP3069513B1 (en) Pre-dithering in high dynamic range video coding
US10742986B2 (en) High dynamic range color conversion correction
US10715772B2 (en) High dynamic range color conversion correction
Efremov et al. Design and evaluation of backward compatible high dynamic range video compression

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090904

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130412

R150 Certificate of patent or registration of utility model

Ref document number: 5249784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250