JP6349053B2 - Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体 - Google Patents

Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体 Download PDF

Info

Publication number
JP6349053B2
JP6349053B2 JP2012213797A JP2012213797A JP6349053B2 JP 6349053 B2 JP6349053 B2 JP 6349053B2 JP 2012213797 A JP2012213797 A JP 2012213797A JP 2012213797 A JP2012213797 A JP 2012213797A JP 6349053 B2 JP6349053 B2 JP 6349053B2
Authority
JP
Japan
Prior art keywords
ldr
exposed
image
images
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012213797A
Other languages
English (en)
Other versions
JP2013081170A5 (ja
JP2013081170A (ja
Inventor
トウゼ デイビッド
トウゼ デイビッド
オリヴィエ ヤニック
オリヴィエ ヤニック
ボルデ フィリップ
ボルデ フィリップ
トロ ドミニク
トロ ドミニク
ルラッチ ジョーン
ルラッチ ジョーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013081170A publication Critical patent/JP2013081170A/ja
Publication of JP2013081170A5 publication Critical patent/JP2013081170A5/ja
Application granted granted Critical
Publication of JP6349053B2 publication Critical patent/JP6349053B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、高ダイナミックレンジの画像の符号化の分野においてなされる。
スチール画像であれ画像シーケンスの画像フレームであれ、画像は一般に、輝度信号を表現するための限られた値の範囲に対応して、限られたビット数（たとえば8ビット、10ビット、12ビットまたはそれ以上のビット）で表現される。そのようにして表現される画像は低ダイナミックレンジ（low dynamic range）の画像または略してLDR画像と呼ばれる。しかしながら、人間の視覚系はより広い範囲の輝度を知覚できる。上記の限られた表現では、たいていの場合、特にきわめて暗いまたは明るい輝度の画像領域において、小さな信号変動を正しく再構成することができない。HDR（High Dynamic Range［高ダイナミックレンジ］）フォーマットは、輝度範囲全体で信号の高い精度を保つために、信号表現のビット深さをより多くのビット、たとえば20ないし64ビットを用いた整数表現に、またさらには浮動小数点表現に著しく拡張するものである。
HDR画像はさまざまな仕方で取り込むことができる。たとえば、デジタル一眼レフ・カメラは、同じシーンの一連の画像を種々の露出で取り込むブラケット機能を使うことができる。ここで、露出は、画像を撮影するプロセスの間に撮像媒体（写真フィルムまたはイメージセンサー）に入射することが許容される光の総密度である。異なる露出の画像はLDR画像として表現される。過少露出の画像は明るい領域において詳細を捕捉する一方、過剰露出の画像は暗い領域において詳細を捕捉する。このことは、異なる露出値（exposure value）EVについて図１に例示的に描かれている。
これら異なる露出のLDR画像の融合により、浮動小数点表現をもつHDR画像を生成できる。生成されたHDR画像は暗い領域も明るい領域もすべての詳細を含む。
HDR画像は、その源フォーマットのまま、LDR画像で使うよう指定された装置、たとえばセットトップボックス、PVRおよびレガシー・ディスプレイと一緒に使うことはできない。いずれにせよ、トーン・マッピング（Tone Mapping）と呼ばれるプロセスが、特に暗い強度範囲と明るい強度範囲における異なる信号強度のセグメントの良好な復元を保証しつつ、画像を表現することを許容する。トーン・マッピングはHDR画像から、すべての要素が正しく露出されたLDR画像を生成する。LDR画像は、暗い領域および白い領域の両方においてずっと多くの詳細がある。これは図２に例示的に描かれている。
HDRは特にポストプロダクションにおいて使われる。すべての特殊効果ツールは、浮動小数点表現でHDR画像を扱っている。自然なシーンと特殊効果の混合もHDR表現において実現される。ポストプロダクション・プロセスの終わりに、写真監督（Director of Photography）のもとでトーン・マッピングが適用されて、標準的な8/10/12ビットのマスターが生成される。
非特許文献１は、HDRビデオ・ストリームを残差ストリームと標準的なLDRストリームに分解するために使用されるコンパクトな再構成機能を導入する、従来のものと互換なHDRビデオ圧縮（HDR MPEG）方法を提案している。この標準的なLDRストリームは、DVDプレーヤーのような既存のMPEGデコーダで再生できる。非特許文献１の残差ストリームは、LDRストリームだけに比べて約30%のビットストリーム・オーバーヘッドを生じる。
非特許文献２は、著者によって提案される適応LogLuv変換を用いてHDRビデオ・シーケンスをエンコードするために既存のエンコーダが使用できるアプローチを記載している。非特許文献２はさらに、それらのデータをエンコードするためにMPEG AVCの高ビット深さプロファイルを使うことを記載している。
Mantiuk et al.、"Backward Compatible High Dynamic Range MPEG Video Compression"、Proc. of SIGGRAPH '06（ACM Transactions on Graphicsの特別号）、25(3)、pp.713-723、2006 Motra and Thoma、"An Adaptive LogLuv Transform for High Dynamic Range Video Compression"、Proceedings of 2010 IEEE 17th International Conference on Image Processing、Sept. 2010、香港
上述した両方法の一つの欠点は、標準的なHDTVエコ・システムに対する後方互換性がないことである。
本発明者は、当技術分野において、すでに展開された画像／ビデオ・エンコーダを再利用することを許容し、かつ標準的なLDR HDTVに対して上位互換である、HDR画像およびビデオのための代替的なエンコード方式が必要とされていることを認識した。
本発明は、フレーム互換（Frame Compatible）フォーマットの概念に基づく。その発想は、ダウンサンプリングされたLDRコンテンツを、該LDRコンテンツからHDRコンテンツを再構成することを許容する追加情報と一緒に転送するフレーム互換方法を使うというものである。デコーダ側では、LDRコンテンツを使ってLDRディスプレイのソースとすることができ、HDRコンテンツを再構成し、HDRディスプレイのソースとして使うことができる。あるいは、HDRコンテンツ再構成は、LDRディスプレイによって使われるためにトーン・マッピングされる。
こうして、請求項１記載の高ダイナミックレンジのHDR画像をエンコードする方法が提案される。前記方法は、LDR画像および追加データをダウンサンプリングすることを含み、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する。前記方法はさらに、フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置することを含む。
さらに、請求項２記載の高ダイナミックレンジのHDR画像を再構成する方法が提案される。このさらなる提案される方法は、フレームをデコードする段階と、該フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する段階であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、段階と、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データをアップサンプリングする段階と、アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する段階とを含む。
また、低ダイナミックレンジのダウンサンプリングされたLDR画像およびダウンサンプリングされた追加情報を含むエンコードされたフレームを担持する記憶媒体であって、前記追加データが、前記LDR画像コンテンツのより高ダイナミックレンジの表現を与えるHDR画像を再構成することを許容する、記憶媒体が提案される。
さらに、本発明者は、請求項１１に基づく、高ダイナミックレンジのHDR画像をエンコードする装置および請求項１４に基づく、高ダイナミックレンジのHDR画像を再構成する装置を提案する。
ある実施形態では、前記フレームは基本層でエンコードされ、前記LDR画像および／または前記追加データをダウンサンプリングすることによって除去される情報は向上層でエンコードされる。
さらなる諸実施形態では、ダウンサンプリングおよびアップサンプリングはあるサンプリング方向、たとえば横、斜めまたは縦のサンプリング方向において行われる。サンプリング方向に対応して、配置パターンがある。たとえば、隣り合わせ（side-by-side）〔本願では「隣り合わせ」はside-by-side、すなわち上下ではなく「横に隣り合わせ」の意で用いる〕の配置は横方向のサンプリングに対応し、上下（top-and-bottom）は縦方向のダウンサンプリングおよびアップサンプリングに対応する。
さらに有利な諸実施形態の特徴は従属請求項において指定される。
本発明の例示的な実施形態は図面において例解され、以下の記述においてより詳細に説明される。例示的な実施形態は、本発明を明快にするためだけに説明されるのであって、本発明の開示または請求項において定義される範囲を限定するためではない。
種々の露出による同じシーンの同じビューの例示的な系列を描いた図である。 明るい領域にトーン・マッピングが適用された例示的な画像を描いた図である。 第一および第二の例示的な実施形態のエンコード側における隣り合わせのダウンサンプリングおよびパッキングを例示的に描いた図である。 第一および第二の例示的な実施形態のエンコード側における上下のダウンサンプリングおよびパッキングを例示的に描いた図である。 第一の例示的な実施形態の符号化枠組みを描いた図である。 第一の例示的な実施形態の二つの可能なフレーム構造を描いた図である。 第一および第二の例示的な実施形態のデコード側における隣り合わせのパッキング解除およびアップサンプリングを例示的に描いた図である。 第一および第二の例示的な実施形態のデコード側における上下のパッキング解除およびアップサンプリングを例示的に描いた図である。 第二の例示的な実施形態の二つの可能なフレーム構造を描いた図である。 第二の実施形態の符号化枠組みを描いた図である。 第三の例示的な実施形態の二つの可能なフレーム構造を描いた図である。 第三の実施形態の符号化枠組みを描いた図である。 MVC対応デコード装置を用いたマルチビュー符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。 MVC対応でないデコード装置を用いたマルチビュー符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。 スケーラブル・ビデオ符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。
本発明は、しかるべく適応された処理装置を有する任意の電子装置で実現されうる。たとえば、本発明は、テレビジョン、メディア・ゲートウェイ、セットトップボックス、携帯電話、パーソナル・コンピュータ、デジタル・スチール・カメラ、デジタル・ビデオ・カメラまたは自動車娯楽システムにおいて実現されてもよい。これら例示的なシステムのそれぞれは、低ダイナミックレンジ、高ダイナミックレンジまたは両方の画像コンテンツを処理するよう構成されていることができる。本発明は、HDRスチール画像ならびにHDRビデオ／HDR画像シーケンスに適用できる。
本発明の第一の例示的な実施形態は、高ダイナミックレンジの画像が、露出の異なる整列された画像から、たとえば一方が露出過少で他方が露出過剰な同じ視点から撮影された同じシーンの一対の画像から、生成されることができるという事実を活用する。
一対の画像を単一のフレームに収めるために、両画像がダウンサンプリングされる。第一の例示的な実施形態では、ダウンサンプリングは横方向にであることができる。すなわち、図３に例示的に描かれるように、すべての奇数番目の列またはすべての偶数番目の列が除去される。あるいは縦方向にであることもできる。すなわち、図４に例示的に描かれるように、すべての奇数番目の行またはすべての偶数番目の行が除去される。次いで、ダウンサンプリングされた画像が単一のフレーム内に配置されることができる。配置は、横方向のダウンサンプリングの場合には隣り合わせであり、縦方向のダウンサンプリングの場合には上下である。このことは図５に例示的に描かれている。例示的に描かれている二つのLDR画像は1080行および1920列を有し、横方向にダウンサンプリングされて960列にされ、図６ａに描かれるように隣り合わせに配置されるか、縦方向にダウンサンプリングされて540行にされ、図６ｂに描かれるように上下に配置される。
他のサンプリング方向、たとえば斜め上がりまたは斜め下がりの方向も可能である。サンプリング方向は固定でもよいし、コンテンツ保持に適応して選択されてもよい。たとえば、エンコーダ側で、画像毎またはピクチャー・グループ毎にいくつかのサンプリング方向が試験されることができ、たとえばレート‐歪みが最もよくなるものが選択される。配置の型はメタデータにおいて信号伝達されてもよいし、あるいはフレーム内で、該フレームを半分に分かつエッジの諸特徴を検索することによって決定されてもよい。前記諸特徴の有意性が比較されることができ、最も有意なものがフレームを再び画像に分割するために使われることができる。
同様に、前記サンプリング方向に垂直な奇数ラインと偶数ラインのどちらが除去されるかは、固定であってもよいし、たとえばレート‐歪みを改善するために両方の画像について、共通してまたは個々に調整されてもよい。この調整は、サンプリング方向の適応とは独立に、たとえば固定したサンプリング方向の場合であっても行われてもよいし、あるいはサンプリング方向の適応と整合して行われてもよい。
フレーム内に配置したのち、そのフレームがエンコードされる。HDRビデオを再構成するために好適なLDR画像対のシーケンスに属するLDR画像の場合、フレームは、任意の既知のビデオ符号化規格、たとえばH.264/MPEG-4 AVCに従ってエンコードされることができる。本発明の要点のためには、どの符号化規格が使われるかは重要でない。
エンコードは、二つのLDR画像が異なる露出で同じコンテンツを示すという事実を利用することができる。すなわち、動きベクトル検索はフレームの半分に制約されることができ、半分のフレームで決定された動きベクトルは他方の半分のフレームで再利用できる。再利用は必須とすることさえできる。その場合、半分のフレームの動きベクトルをエンコードするだけでよい。
任意的に、エンコーダはスケーラブル画像／ビデオ符号化（SVC: scalable image/video coding）フォーマットの基本層を出力し、ダウンサンプリングされたLDR画像中で省略された行および列はSVCフォーマットの向上層においてエンコードされる。あるいは、エンコーダはマルチビュー符号化（MVC）フォーマットの第一のビューを出力し、ダウンサンプリングされたLDR画像中で省略された行および列はMVCフォーマットの第二のビューにおいてエンコードされる。
二つのLDR画像それぞれの正常に露出された領域における詳細を保存する仕方で二つのLDR画像の露出を改善するために、ダウンサンプリングの前または後に、任意的なヒストグラム整列（histogram alignment）が適用されることができる。ヒストグラム調整の個別的な設定は固定であってもよいし、適応されることもできる。後者の場合、デコーダが逆変換を実行できるよう、設定はメタデータを介してデコード・プロセスに送られることができる。
二つの露出が異なるLDR画像に基づく例示的な符号化枠組みが図５に描かれている。
エンコード装置ENCは、低ダイナミックレンジをもつ二つの、異なる露出の、整列された画像またはビデオ・フレームを受領し、その露出をモジュールHSTにおいてヒストグラム等化によって調整する。次いで、露出調整された画像はダウンサンプリングDWNされ、単一のフレーム中にパックPCKされる。該単一のフレームはH.264/MPEG-4 AVCエンコーダAVCによってエンコードされる。モジュールMDEはヒストグラム整列のパラメータと、ダウンサンプリングについての情報と、パッキングについての情報とを前記フレームのメタデータ中にエンコードする。次いで、メタデータを含むエンコードされたフレームは、ストリーム中での送信または記憶媒体、たとえば光ディスクへの記憶のために出力される。
デコード装置DECは、前記メタデータを含むエンコードされたフレームを、前記記憶媒体を読む装置から、またはストリーム受領装置から受領し、前記フレームを、エンコードのために使われた規格に従ってデコードIAVCする。次いで、メタデータがデコードMDDされ、フレームをダウンサンプリングされたLDR画像に分割SEPするために使われる。メタデータはさらに、アップサンプリングUPが奇数ラインを加えるか偶数ラインを加えるかに使われる。分割およびアップサンプリングは、図７では隣り合わせに配置されたLDR画像について、図８では上下に配置されたLDR画像について例示的に描かれている。次に、ヒストグラム整列パラメータのメタデータが、ヒストグラム整列をもとに戻すIHSTために使われる。逆整列後、LDR画像を融合FUSすることで、HDRコンテンツが生成される。
HDRコンテンツは次いで、HDRディスプレイにソースを与えるためにそのまま出力される、あるいはLDRディスプレイにソースを与えるためにトーン・マッピングMAPされて出力される。
図９に描かれる第二の例示的な実施形態では、エンコード装置ENCは赤緑青（RGB）色空間においてHDRコンテンツを供給される。コンテンツは、RGBにおいてLDRコンテンツを生成するためにトーン・マッピングMAPされる。LDRコンテンツはルミナンス・クロミナンス空間、たとえばYUV 420に色変換CCVされ、HDRコンテンツのルミナンス値が決定される。次いで、これらの値はHDRコンテンツから露出マップを抽出するために使われる。該抽出はたとえば、ピクセルごとにHDRコンテンツのルミナンス値をLDRコンテンツのルミナンス値で割るDIVことによる。これは、ルミナンス・クロミナンス空間への変換がたとえば対数スケールまたは線形スケールを使ってできることを要求する。次いで露出マップは、フォーマットによって許されるビット深さに規格化および量子化NQされる。エンコードがYUV 420フレームに最適化されていることを利用するため、規格化および量子化された露出マップはYUV 400空間からYUV 420空間に変換される。
次いで、変換された露出マップおよびLDRコンテンツはダウンサンプリングDWNされ、図１０ａに例示的に描かれるように隣り合わせにまたは図１０ｂに例示的に描かれるように上下に、一つのフレームにパックPCKされる。その後、フレームはAVCエンコードされる。ダウンサンプリングは横方向または縦方向であることができ、奇数ラインまたは偶数ラインが除去されることができ、および／またはダウンサンプリングのために除去された情報がSVCの向上層またはMVCの異なるビューにおいて伝達されることができる。
図９に例示的に描かれるこの第二の例示的な実施形態では、メタデータは、奇数ラインまたは偶数ラインのどちらが除去されるかについての情報のほか、規格化のために使われるルミナンス比の極端値を含む。配置、たとえば隣り合わせか上下かについての情報も含めてもよいし、あるいはフレームを半分に分かつエッジ特徴の検出を使ってデコーダ側で決定されることもできる。
デコーダDECは、エンコードされたフレームをデコードIAVCし、ダウンサンプリングされたトーン・マッピングされたLDRコンテンツとダウンサンプリングされた露出マップに分割SEPする。アップサンプリングUPによって、LDRコンテンツおよび露出マップは再びフレーム・サイズに拡大される。
アップサンプリングされたLDRコンテンツはLDR対応の装置にそのまま出力されることができる。露出マップは、メタデータとして伝達される最小および最大ルミナンス値を使って逆量子化および逆規格化IQNされることができる。次いで、拡大された露出マップは逆トーン・マッピングITMのために使用されることができ、結果として得られるHDRコンテンツはHDR対応のディスプレイのソースとなることができる。
本発明の第三の例示的な実施形態も、高ダイナミックレンジの画像が、整列された、異なる露出の画像から生成できるという事実を活用する。異なる露出の整列された画像とは、たとえば、同じ視点から撮影された同じシーンの三つの画像で、そのうち一つは露出過少で、一つは露出正常で、一つは露出過剰というものである。
図１２に描かれるこの第三の実施形態では、整列された画像のうち正常に露出されなかったものが横方向および縦方向にダウンサンプリングされる。任意的に、ダウンサンプリングに先立ってヒストグラム整列が適用される。正常に露出されたLDR画像は、ヒストグラム整列なしに縦方向または横方向にダウンサンプリングされる。次いで、三つの画像は、図１１ａまたは図１１ｂに例示的に描かれるようにフレーム内に配置される。
すなわち、正常に露出されたLDR画像が縦方向にダウンサンプリングされる場合、ダウンサンプリングされた正常に露出されなかった二つの画像は隣り合わせに配置され、その下か上にダウンサンプリングされた正常に露出された画像が配置される。正常に露出されたLDR画像が横方向にダウンサンプリングされる場合、ダウンサンプリングされた正常に露出されなかった二つの画像は上下に配置され、それと隣り合わせにダウンサンプリングされた正常に露出された画像が配置される。次いで結果として得られるフレームは、たとえばAVCエンコーダを使ってエンコードされる。フレームのメタデータは、除去されるラインのパリティ、正常に露出された画像のダウンサンプリングの方向および／またはヒストグラム整列のパラメータについての情報を担持できる。
デコーダ側では、ストリームはまず、たとえばAVCのような標準的なビデオ・コーダを使ってデコードされる。次いでフレームは、メタデータによって担持される準拠方法を使って、または検出された縦方向または横方向の中央エッジを使ってアンパックされる。結果として得られる画像または画像ストリームの正常に露出されたものは、次いで、メタデータによって担持される準拠方法を使ってオーバーサンプリングされ、再構成された正常に露出されたLDR画像／ビデオを生成する。露出過剰のLDRビデオおよび露出過少のLDRビデオは縦方向および横方向にオーバーサンプリングされる。
結果として得られる正常に露出されたLDRコンテンツは、直接、LDRディスプレイのソースとなることができる。
エンコーダ側でヒストグラム整列が適用されていた場合、逆ヒストグラム調整が、メタデータによって担持されるパラメータを使って、露出過剰または露出過少のコンテンツに任意的に適用されることができる。
結果として得られる正常に露出されたLDRコンテンツはさらに、HDRコンテンツを再構成するために、逆ヒストグラム整列された、露出過剰のLDRコンテンツおよび露出過少のLDRコンテンツと融合されることができる。再構成されたHDRコンテンツはHDRディスプレイに与えられることができる。
第一および第二の例示的な実施形態でも第三の例示的な実施形態でも、フレームはスケーラブル・ビデオ符号化フォーマットの基本層においてエンコードされることもできる。あるいは、あるいは、MVCを使うこともできる。その際、ダウンサンプリングしたために基本層／主要ビューにおいて欠けている情報は、一つまたは複数の向上層／副次ビューにおいてエンコードされることができる。異なるビューまたは層に情報を分配するこの原理が適用されるあらゆる場合において、基本層／第一ビューの半フレームの動きベクトル情報が基本層／第一ビューの他方の半フレームについて再利用できるばかりでなく、向上層の両半フレームにも再利用できる。
たとえば、HDRコンテンツが異なる露出の四つの画像に基づく場合、四つのLDR画像のそれぞれのピクセルは、四分の一の解像度の四つのLDRサブ画像に分類されることができる。たとえば、奇数行の奇数ピクセルは第一のサブ画像に分類され、偶数行の奇数ピクセルは第二のサブ画像に分類され、奇数行の偶数ピクセルは第三のサブ画像に分類され、偶数行の偶数ピクセルは第四のサブ画像に分類される。すると、四つのLDR画像の第一の諸サブ画像はSVC基本層または主要MVCビューに配置され、四つのLDR画像の第二の諸サブ画像は第一のSVC向上層または第一の副次MVCビューに配置され、四つのLDR画像の第三の諸サブ画像は第二のSVC向上層／第二の副次MVCビューに配置され、四つのLDR画像の第四の諸サブ画像は第三のSVC向上層または第三の副次MVCビューに配置される。フレームのエンコードがH.264/MPEG-4 AVCに基づく例示的な実施形態でメタデータをエンコードするために、下記の例示的なシンタックスが提案される。
すなわち、本発明のある側面は、修正されたまたは新たなSEIメッセージの提案に関する。たとえば、下記の表１に例示的に描かれているように、sei_payload()は45に等しい追加的なpayloadType〔ペイロード型〕が定義されるよう修正されることができる。これは、表２に例示的に描かれているhdr_frame_compatible_info(payloadSize)へのアクセスをトリガーする。
Figure 0006349053
Figure 0006349053
 SEI HDRフレーム互換情報（HDR Frame compatible information）メッセージはデコーダに、出力されるデコードされたピクチャが、指示されるフレーム・パッキング配置を使って、複数の相異なる空間的にパッキングされた構成フレームからなるフレームのサンプルを含んでいることを通知する。この情報は、デコーダによって、サンプルを適切に再配置し、表示もしくは他の目的（これは本明細書の範囲外である）のために適切に構成フレームのサンプルを処理するために使用されることができる。
hdr_frame_compatible_idは、HDRフレーム互換情報SEIメッセージの使用を同定するために使用できる識別番号を含む。hdr_frame_compatible_idの値は両端を含めて0から2^32−2の範囲内でなければならない。
hdr_frame_compatible_idの値0ないし255および512ないし2-31−1は、本願によって決定されるように使用されてもよい。hdr_frame_compatible_idの値256ないし511および2^31ないし2-32−2は、ITU-T｜ISO/IECによる将来の使用のためにリザーブされる。デコーダは、hdr_frame_compatible_idの256ないし511の範囲および2^31ないし2-32−2の範囲内の値を含むあらゆるHDRフレーム互換情報SEIメッセージを無視しなければならず、ビットストリームはそのような値を含んではならない。
hdr_frame_compatible_cancel_flagが1に等しいことは、HDRフレーム互換情報SEIメッセージが出力オーダー（output order）における、いかなるHDRフレーム互換情報SEIメッセージの持続をも打ち消すことを示す。
hdr_frame_compatible_cancel_flagが0に等しいことは、HDRフレーム互換情報SEIメッセージ情報が続くことを示す。
hdr_frame_packing_arrangement_typeは、次の表３に指定されるフレームのパッキング配置の型を示す。

値0：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの偶数列で構築される。
右の半フレームは対応する全フレームの偶数列で構築される。
値1：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの偶数列で構築される。
右の半フレームは対応する全フレームの奇数列で構築される。
値2：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの奇数列で構築される。
右の半フレームは対応する全フレームの偶数列で構築される。
値3：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの奇数列で構築される。
右の半フレームは対応する全フレームの奇数列で構築される。
値4：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの偶数ラインで構築される。
下の半フレームは対応する全フレームの偶数ラインで構築される。
値5：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの偶数ラインで構築される。
下の半フレームは対応する全フレームの奇数ラインで構築される。
値6：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの奇数ラインで構築される。
下の半フレームは対応する全フレームの偶数ラインで構築される。
値7：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの奇数ラインで構築される。
下の半フレームは対応する全フレームの奇数ラインで構築される。
表３：hdr_frame_packing_arrangement_type。

hdr_frame_compatible_typeはHDR関係情報を転送するために使われる解決策を指定する。
hdr_frame_compatible_typeが0とは、二つのLDRビューを使った方式に対応し、hdr_frame_compatible_typeが1とは、LDRビューおよび露出マップを使った方式に対応し、hdr_frame_compatible_typeが2とは、一つの半フレームでのLDRビュー、一つの四分の一フレームでの露出過少の一つのLDRビューおよび一つの四分の一フレームでの露出過剰の一つのLDRビューを使う方式に対応する。2より大きなhdr_frame_compatible_typeは三つより多くのLDR画像の使用を示すことができる。
over_exposed_view_mappingは、どちらの半フレームが露出過剰のLDRビューをマッピングされるかを指定する。このフラグは、hdr_frame_compatible_typeが0または2に等しいときに存在する。
hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・over_exposed_view_mappingが0に等しいことは、露出過剰のLDRビューが左の半フレーム上にマッピングされ、よって露出過少のLDRビューは右の半フレーム上にマッピングされることを示す。
・over_exposed_view_mappingが1に等しいことは、露出過剰のLDRビューが右の半フレーム上にマッピングされ、よって露出過少のLDRビューは左の半フレーム上にマッピングされることを示す。
hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・over_exposed_view_mappingが0に等しいことは、露出過剰のLDRビューが上の半フレーム上にマッピングされ、よって露出過少のLDRビューは下の半フレーム上にマッピングされることを示す。
・over_exposed_view_mappingが1に等しいことは、露出過剰のLDRビューが下の半フレーム上にマッピングされ、よって露出過少のLDRビューは上の半フレーム上にマッピングされることを示す。
ldr_view_mappingは、どちらの半フレームがLDRビューをマッピングされるかを指定する。このフラグは、hdr_frame_compatible_typeが1に等しいときに存在する。
hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・ldr_view_mappingが0に等しいことは、LDRビューが左の半フレーム上にマッピングされ、よって露出マップは右の半フレーム上にマッピングされることを示す。
・ldr_view_mappingが1に等しいことは、LDRビューが右の半フレーム上にマッピングされ、よって露出マップは左の半フレーム上にマッピングされることを示す。
hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・ldr_view_mappingが0に等しいことは、LDRビューが上の半フレーム上にマッピングされ、よって露出マップは下の半フレーム上にマッピングされることを示す。
・ldr_view_mappingが1に等しいことは、LDRビューが下の半フレーム上にマッピングされ、よって露出マップは上の半フレーム上にマッピングされることを示す。
hdr_luminance_minは、規格化前のHDRフレームと対応するLDRフレームとの間のルミナンス比の最小値を与える。この16ビット値は半精度の値（IEEE754表現）として解釈される。
hdr_luminance_maxは、規格化前のHDRフレームと対応するLDRフレームとの間のルミナンス比の最大値を与える。この16ビット値は半精度の値（IEEE754表現）として解釈される。
luminance_ratio_scaling_methodは、ルミナンス比の値を圧縮するために使われる方法を指定する。
luminance_ratio_scaling_methodが0とは、線形スケーリングに対応する。
luminance_ratio_scaling_methodが1とは、log2スケーリングに対応する。
luminance_ratio_scaling_methodが2とは、log10スケーリングに対応する。
multi_view_mappingはどの半フレームが正常露出されたLDRビューをマッピングされ、どの四分の一フレームが露出過少および露出過剰のLDRビューをマッピングしているかを指定する。このフラグは、hdr_frame_compatible_typeが2に等しい場合にのみ存在する。
hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・multi_view_mappingが0に等しいことは、正常露出のLDRビューが左の半フレーム上にマッピングされ、露出過少のLDRビューが右上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが1に等しいことは、正常露出のLDRビューが左の半フレーム上にマッピングされ、露出過剰のLDRビューが右上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが2に等しいことは、正常露出のLDRビューが右の半フレーム上にマッピングされ、露出過少のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが左下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが3に等しいことは、正常露出のLDRビューが右の半フレーム上にマッピングされ、露出過剰のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが左下の四分の一フレーム上にマッピングされることを示す。
hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・multi_view_mappingが0に等しいことは、正常露出のLDRビューが上の半フレーム上にマッピングされ、露出過少のLDRビューが左下の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが1に等しいことは、正常露出のLDRビューが上の半フレーム上にマッピングされ、露出過剰のLDRビューが左下の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが2に等しいことは、正常露出のLDRビューが下の半フレーム上にマッピングされ、露出過少のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右上の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが3に等しいことは、正常露出のLDRビューが下の半フレーム上にマッピングされ、露出過剰のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右上の四分の一フレーム上にマッピングされることを示す。
secondary_down_sample_mappingは、二次ダウンサンプリング方法が適用される仕方を、すなわちどのラインまたは列（偶数または奇数）が使われるかを指定する。このフラグはhdr_frame_compatible_typeが2に等しい場合にのみ存在する。
hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、横方向のサブサンプリングのための列選択はhdr_frame_packing_arrangement_typeの値によってすでに指定されている。
secondary_down_sample_mappingが0に等しいことは、縦方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について偶数ラインが使われることを示す。
secondary_down_sample_mappingが1に等しいことは、縦方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について奇数ラインが使われることを示す。
hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、縦方向のサブサンプリングのためのライン選択はhdr_frame_packing_arrangement_typeの値によってすでに指定されている。
secondary_down_sample_mappingが0に等しいことは、横方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について偶数列が使われることを示す。
secondary_down_sample_mappingが1に等しいことは、横方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について奇数列が使われることを示す。

本発明は、すでに展開されているソリューション（標準的なHDTVシステム）を使ったHDR分配を許容する。
本発明はさらに、標準的なHDTVシステムとの後方互換性をもつHDRデータの効率的かつスケーラブルなエンコードを許容する。
本発明は、多くのディスプレイ技術に適合する能力をもつので、柔軟である。
本発明は、配送および／または記憶のためのHDRビデオ・エンコード／デコードの分野において適用可能である。
本発明は、ビデオ表現フォーマット、ビデオ配送チェーンおよび受信機（セットトップボックス、デコーダ、PVR）またはディスプレイ装置のいずれにも関わりうる。
いくつかの付記を記載しておく。
〔付記１〕
高ダイナミックレンジのHDR画像をエンコードする方法であって：
・LDR画像および追加データをダウンサンプリングする段階であって、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する、段階と；
・フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置する段階と；
・前記フレームをエンコードする段階とを含む、
方法。
〔付記２〕
高ダイナミックレンジのHDR画像を再構成する方法であって：
・フレームをデコードする段階と；
・前記フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する段階であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、段階と；
・ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データをアップサンプリングする段階と；
・アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する段階とを含む、
方法。
〔付記３〕
付記１または２記載の方法であって、前記LDR画像は露出過少であり、前記追加データは、前記HDR画像コンテンツの低ダイナミックレンジの表現のさらなるLDR画像を含み、前記さらなるLDR画像は露出過剰である、方法。
〔付記４〕
付記１または２記載の方法であって、前記LDR画像は露出正常であり、前記ダウンサンプリングされた追加データは、前記HDR画像コンテンツの低ダイナミックレンジの表現の二つのさらなるダウンサンプリングされたLDR画像を含み、前記二つのさらなるダウンサンプリングされたLDR画像の一つは露出過剰であり、二つのさらなるダウンサンプリングされたLDR画像の一つは露出過少であり、両方のさらなるダウンサンプリングされたLDR画像は横方向および縦方向にダウンサンプリングされており、前記追加データにおいて、前記二つのさらなるダウンサンプリングされたLDR画像は、前記ダウンサンプリングされた追加データと前記LDR画像が上下に配置される場合には隣り合わせに配置され、前記二つのさらなるダウンサンプリングされたLDR画像は、前記ダウンサンプリングされた追加データと前記LDR画像が隣り合わせに配置される場合には上下に配置される、方法。
〔付記５〕
付記２ないし４のうちいずれか一項記載の方法であって、前記露出過少のLDR画像および前記露出過剰のLDR画像は、ヒストグラム整列を使って調整されており、前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームのメタデータにおいてエンコードされている、方法。
〔付記６〕
付記１または２記載の方法であって、前記LDR画像は前記HDR画像のトーン・マッピングされたバージョンであり、前記追加データは逆トーン・マッピングを許容する露出マップである、方法。
〔付記７〕
付記６記載の方法であって、前記露出マップは、前記HDR画像と前記HDR画像のトーン・マッピングされたバージョンのルミナンス値の比の規格化されたマップであり、最小ルミナンス比の値および最大ルミナンス比の値の少なくとも一方が前記フレームのメタデータにおいてエンコードされる、方法。
〔付記８〕
付記１ないし７のうちいずれか一項記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記ダウンサンプリングされたLDR画像において奇数ラインが除去されているかどうかおよび前記ダウンサンプリングされた追加データにおいて奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。
〔付記９〕
付記１ないし８のうちいずれか一項記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記ダウンサンプリングされたLDR画像および前記ダウンサンプリングされた追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
方法。
〔付記１０〕
低ダイナミックレンジのダウンサンプリングされたLDR画像およびダウンサンプリングされた追加情報を含むエンコードされたフレームを担持する非一時的記憶媒体であって、前記追加データが、前記LDR画像コンテンツのより高ダイナミックレンジの表現を与えるHDR画像を再構成することを許容する、記憶媒体。
〔付記１１〕
高ダイナミックレンジのHDR画像をエンコードする装置であって：
・LDR画像および追加データをダウンサンプリングする手段であって、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する、手段と；
・フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置する手段と；
・前記フレームをエンコードする手段とを有する、
装置。
〔付記１２〕
ヒストグラム整列手段をさらに有する、付記１１記載の装置。
〔付記１３〕
露出マップを決定する手段をさらに有する、付記１１記載の装置。
〔付記１４〕
高ダイナミックレンジのHDR画像を再構成する装置であって：
・フレームをデコードする手段と；
・前記フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する手段であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、手段と；
・ダウンサンプリングされたLDR画像をアップサンプリングする手段と；
・アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する手段とを有する、
装置。
〔付記１５〕
ヒストグラム整列手段および逆トーン・マッピング手段のうちの少なくとも一方をさらに有する、付記１１記載の装置。


Claims (16)

  1. 高ダイナミックレンジのHDR画像をエンコードする方法であって：
    ・三つの低ダイナミックレンジ（LDR）画像を取得する段階であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少である、段階と；
    ・前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で前記露出過少のLDR画像および露出過剰のLDR画像の露出を改善するよう、前記露出過少のLDR画像および前記露出過剰のLDR画像を、ヒストグラム整列を使って調整する段階と；
    ・前記露出正常のLDR画像および前記の調整された露出過少および露出過剰のLDR画像をダウンサンプリングする段階と；
    ・フレーム中に、前記のダウンサンプリングされた露出正常のLDR画像と、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像を含む追加データとを配置する段階であって、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、段階と；
    ・前記フレームをエンコードする段階とを含む、
    方法。
  2. 請求項１記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。
  3. 請求項１または２記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
    ・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
    ・ダウンサンプリングは縦方向であり、配置は上下である、
    方法。
  4. 前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされる、請求項１記載の方法。
  5. 高ダイナミックレンジのHDR画像をエンコードする装置であって：
    ・三つの低ダイナミックレンジ（LDR）画像を取得する手段であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少である、手段と；
    ・前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で前記露出過少のLDR画像および露出過剰のLDR画像の露出を改善するために、前記露出過少のLDR画像および前記露出過剰のLDR画像を、ヒストグラム整列を使って調整する手段と；
    ・前記露出正常のLDR画像および前記の調整された露出過少および露出過剰のLDR画像をダウンサンプリングする手段と；
    ・フレーム中に、前記のダウンサンプリングされた露出正常のLDR画像と、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像を含む追加データとを配置する手段であって、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、手段と；
    ・前記フレームをエンコードする手段とを有する、
    装置。
  6. 請求項５記載の装置であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた追加の露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、装置。
  7. 請求項６記載の装置であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
    ・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
    ・ダウンサンプリングは縦方向であり、配置は上下である、
    装置。
  8. 前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされる、請求項５記載の装置。
  9. 高ダイナミックレンジの高ダイナミックレンジ（HDR）画像を再構成する方法であって：
    ・フレームをデコードする段階と；
    ・前記フレームを三つの低ダイナミックレンジ（LDR）画像に分割する段階であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少であり、追加データは前記露出過少および露出過剰のLDR画像を含み、前記露出過剰および露出過少のLDR画像は、前記追加データと前記の露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記の露出過少および露出過剰のLDR画像は、前記追加データと前記の露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、段階と；
    ・前記露出正常のLDR画像および前記の露出過少および露出過剰のLDR画像を含む追加データをアップサンプリングする段階と；
    ・アップサンプリングされた露出過少のLDR画像およびアップサンプリングされた露出過剰のLDR画像に逆ヒストグラム整列を適用する段階と；
    ・アップサンプリングされた露出正常の画像と、調整されたアップサンプリングされた露出過少および露出過剰のLDR画像を含む前記追加データとからHDR画像を再構成する段階とを有しており、
    前記逆ヒストグラム整列は、露出過少のLDR画像および露出過剰のLDR画像の露出を、前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で改善するよう意図されたヒストグラム整列の逆である、
    方法。
  10. 請求項９記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされており、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。
  11. 請求項９または１０記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされており、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
    ・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
    ・ダウンサンプリングは縦方向であり、配置は上下である、
    方法。
  12. 前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされている、請求項９記載の方法。
  13. 高ダイナミックレンジのHDR画像を再構成する装置であって：
    ・フレームをデコードする手段と；
    ・前記フレームを三つの低ダイナミックレンジ（LDR）画像に分割する手段であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少であり、追加データは前記露出過少および露出過剰のLDR画像を含み、前記露出過剰および露出過少のLDR画像は、前記追加データと前記の露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記の露出過少および露出過剰のLDR画像は、前記追加データと前記の露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、手段と；
    ・前記露出正常のLDR画像および前記の露出過少および露出過剰のLDR画像をアップサンプリングする手段と；
    ・アップサンプリングされた露出過少のLDR画像およびアップサンプリングされた露出過剰のLDR画像に逆ヒストグラム整列を適用する手段と；
    ・アップサンプリングされた露出正常の画像と、調整されたアップサンプリングされた露出過少および露出過剰のLDR画像を含む前記追加データとからHDR画像を再構成する手段とを有しており、
    前記逆ヒストグラム整列は、露出過少のLDR画像および露出過剰のLDR画像の露出を、前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で改善するよう意図されたヒストグラム整列の逆である、
    装置。
  14. 請求項１３記載の装置であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされており、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、装置。
  15. 請求項１３記載の装置であって、前記フレームのメタデータにおいて配置情報がエンコードされており、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
    ・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
    ・ダウンサンプリングは縦方向であり、配置は上下である、
    装置。
  16. 前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされている、請求項１３記載の装置。
JP2012213797A 2011-10-04 2012-09-27 Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体 Expired - Fee Related JP6349053B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11306281.4 2011-10-04
EP11306281.4A EP2579591A1 (en) 2011-10-04 2011-10-04 Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium

Publications (3)

Publication Number Publication Date
JP2013081170A JP2013081170A (ja) 2013-05-02
JP2013081170A5 JP2013081170A5 (ja) 2015-11-12
JP6349053B2 true JP6349053B2 (ja) 2018-06-27

Family

ID=46785327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012213797A Expired - Fee Related JP6349053B2 (ja) 2011-10-04 2012-09-27 Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体

Country Status (5)

Country Link
US (1) US9554056B2 (ja)
EP (2) EP2579591A1 (ja)
JP (1) JP6349053B2 (ja)
KR (1) KR20130036730A (ja)
CN (1) CN103037215B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278642A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Perceptual lossless display power reduction
AU2012394396B2 (en) * 2012-11-16 2019-01-17 Interdigital Vc Holdings, Inc. Processing high dynamic range images
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US9280803B2 (en) * 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
JP2015008024A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
EP3024222A4 (en) * 2013-07-14 2017-01-18 LG Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
US9712781B2 (en) * 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Ｈｄｒ放送サービスの提供のための放送信号送受信方法及び装置
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
EP2938083A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Method and device for processing an information data indicating that a frame contains samples of at least two distinct packed constituent frames according to a specific frame-packing-arrangement scheme
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
WO2015193114A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture
WO2015193113A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
MX358934B (es) * 2014-06-26 2018-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
EP2963924B1 (en) * 2014-07-01 2017-05-24 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
GB201506644D0 (en) * 2015-04-20 2015-06-03 Univ Warwick HDR compression method and application to viewers
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10440401B2 (en) * 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
GB2554663B (en) 2016-09-30 2022-02-23 Apical Ltd Method of video generation
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
US10489878B2 (en) * 2017-05-15 2019-11-26 Google Llc Configurable and programmable image processor unit
JP7037396B2 (ja) * 2018-03-15 2022-03-16 キヤノン株式会社 撮像素子、撮像装置及び撮像方法
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
JP7143012B2 (ja) 2018-11-19 2022-09-28 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオエンコーダおよび符号化方法
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN113283819B (zh) * 2021-07-21 2021-10-01 武汉科技大学 基于规则解码的Job Shop调度问题求解方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121114B2 (ja) * 1986-07-30 1995-12-20 ソニー株式会社 高能率符号化装置
JPH06204892A (ja) * 1992-12-26 1994-07-22 Canon Inc ディジタル信号処理装置
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
JP2001339722A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd マルチチャネル画像符号化装置、復号化表示装置、符号化方法および復号化表示方法
US7296286B2 (en) * 2002-01-31 2007-11-13 Hitachi Kokusai Electric Inc. Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2003299067A (ja) * 2002-01-31 2003-10-17 Hitachi Kokusai Electric Inc 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム
JP2004135107A (ja) * 2002-10-11 2004-04-30 Hitachi Ltd 画像処理装置及びその方法
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP2009033586A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置
EP2180692A1 (en) 2008-10-22 2010-04-28 STWireless SA Method of and a device for producing a digital picture
CN104702960B (zh) * 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5430218B2 (ja) * 2009-05-07 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP5672796B2 (ja) * 2010-01-13 2015-02-18 株式会社ニコン 画像処理装置、画像処理方法
JP5454158B2 (ja) * 2010-01-15 2014-03-26 カシオ計算機株式会社 撮像装置、その制御方法およびプログラム
JP2011142682A (ja) * 2011-04-04 2011-07-21 Panasonic Electric Works Co Ltd 映像表示システム

Also Published As

Publication number Publication date
EP2579597A1 (en) 2013-04-10
EP2579591A1 (en) 2013-04-10
CN103037215B (zh) 2018-01-12
CN103037215A (zh) 2013-04-10
KR20130036730A (ko) 2013-04-12
US9554056B2 (en) 2017-01-24
US20130083838A1 (en) 2013-04-04
JP2013081170A (ja) 2013-05-02

Similar Documents

Publication Publication Date Title
JP6349053B2 (ja) Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体
US10708620B2 (en) Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US10595034B2 (en) Decoding device and decoding method, and coding device and coding method
CN113170218B (zh) 具有多级增强和可调编码格式的视频信号增强解码器
US20140177706A1 (en) Method and system for providing super-resolution of quantized images and video
KR101484487B1 (ko) 깊이-맵을 프로세싱하는 방법 및 디바이스
EP2667610B1 (en) Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
CN109479111A (zh) 图像处理装置、再生装置、图像处理方法以及再生方法
JP2019512985A (ja) ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置
US20120307882A1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
WO2013127753A1 (en) Method and device for encoding an hdr video image, method and device for decoding an hdr video image
WO2024061660A1 (en) Dynamic structures for volumetric data coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R150 Certificate of patent or registration of utility model

Ref document number: 6349053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees