JP6733547B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6733547B2
JP6733547B2 JP2016547725A JP2016547725A JP6733547B2 JP 6733547 B2 JP6733547 B2 JP 6733547B2 JP 2016547725 A JP2016547725 A JP 2016547725A JP 2016547725 A JP2016547725 A JP 2016547725A JP 6733547 B2 JP6733547 B2 JP 6733547B2
Authority
JP
Japan
Prior art keywords
brightness
image
luminance
dynamic range
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016547725A
Other languages
English (en)
Other versions
JPWO2016038950A1 (ja
Inventor
雅之 相羽
雅之 相羽
江藤 博昭
博昭 江藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016038950A1 publication Critical patent/JPWO2016038950A1/ja
Application granted granted Critical
Publication of JP6733547B2 publication Critical patent/JP6733547B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • G09G2320/062Adjustment of illumination source parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本明細書で開示する技術は、画像情報を処理する画像処理装置及び画像処理方法に係り、特に、高ダイナミック・レンジ画像にグラフィックス画像を重畳して表示する画像処理装置及び画像処理方法に関する。
最近、撮像素子(イメージ・センサー)の高ビット化などにより、画像の高ダイナミック・レンジ(HDR:High Dynamic Range)化が進んでいる。画像のダイナミック・レンジは、一般に最小輝度と最大輝度の比で表すことができる。HDR画像は、最大明度色と最低明度色の間のコントラスト比が例えば10000:1以上に達し、現実世界をリアルに表現することができる。HDR画像は、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。HDR画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
例えば、UHD(Ultra High Definition)−BD(Blu−ray(登録商標) Disc)や、OTT(Over The Top)などのネット配信サービス、ディジタル放送サービスでもHDRコンテンツが提供されるようになってきている。
一方、コンテンツを視聴する各家庭内には、例えばダイナミック・レンジが40分の1程度に圧縮された標準ダイナミック・レンジ(SDR:Standard Dynamic Range)画像に対応するディスプレイや、逆に最大輝度が500nitや1000nitであるHDR対応のディスプレイなど、性能がまちまちである。したがって、元のコンテンツのダイナミック・レンジを、画像出力先のディスプレイに性能に適合させる処理(以下では、「ディスプレイ・マッピング」とも呼ぶ)が必要である(例えば、特許文献1を参照のこと)。
ディスプレイ・マッピングにおいて、単純に線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者や供給者の意図にも反することである。
また、ユーザーにより操作されるメニューやOSD(On Screen Display)などのグラフィックスをコンテンツ画面に重畳して表示することは頻繁にある。SDRで作成されたグラフィックスをHDRコンテンツに合成する際、グラフィックスを輝度変換しないでそのまま表示すると暗くて見え難くなり、また、グラフィックスの輝度を単純に線形スケーリングすると明るくなり過ぎてしまう。
特表2014−502480号公報
本明細書で開示する技術の目的は、高ダイナミック・レンジ画像にグラフィックス画像を好適に重畳して見え易く表示することができる、優れた画像処理装置及び画像処理方法を提供することにある。
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
画像データのメタデータを取得するメタデータ取得部と、
画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理部と、を具備する画像処理装置である。
本明細書で開示する技術の第2の側面によれば、第1の側面に係る画像処理装置の前記メタデータ取得部は、メタデータとして画像データにおいて基準とする白の輝度値を表すDiffuse white輝度を取得し、前記処理部は、Diffuse white輝度に基づいてグラフィックス画像の輝度を調整するように構成されている。
本明細書で開示する技術の第3の側面によれば、第2の側面に係る画像処理装置の前記処理部は、Diffuse white輝度を、画像データを表示するディスプレイの基準輝度と比較し、いずれか大きい方の輝度情報に基づいてグラフィックス画像の輝度を調整するように構成されている。
本明細書で開示する技術の第4の側面によれば、第3の側面に係る画像処理装置の前記処理部は、前記メタデータ取得部が画像データのDiffuse white輝度を取得できないときは、前記ディスプレイの基準輝度に基づいてグラフィックス画像の輝度を調整するように構成されている。
本明細書で開示する技術の第5の側面によれば、第2の側面に係る画像処理装置の前記処理部は、Diffuse white輝度を、所定の輝度ダイナミック・レンジの基準輝度と比較し、いずれか大きい方の輝度情報に基づいてグラフィックス画像の輝度を調整するように構成されている。
本明細書で開示する技術の第6の側面によれば、第5の側面に係る画像処理装置の前記処理部は、前記メタデータ取得部が画像データのDiffuse white輝度を取得できないときは、前記所定の輝度ダイナミック・レンジの基準輝度に基づいてグラフィックス画像の輝度を調整するように構成されている。
本明細書で開示する技術の第7の側面によれば、第1乃至6のいずれかの側面に係る画像処理装置は、前記処理部が処理した後のグラフィックス画像を画像データと合成する合成部をさらに備えている。
本明細書で開示する技術の第8の側面によれば、第7の側面に係る画像処理装置は、グラフィックス画像と合成した後の画像データの輝度ダイナミック・レンジが画像データを表示するディスプレイに適合するように調整するダイナミック・レンジ変換部をさらに備えている。
本明細書で開示する技術の第9の側面によれば、第8の側面に係る画像処理装置の前記メタデータ取得部は、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度又は画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度のうち少なくとも一方の情報をメタデータとして取得し、前記ダイナミック・レンジ変換部は、Diffuse white輝度又は注目輝度を保持するように画像データの輝度ダイナミック・レンジを調整するように構成されている。
本明細書で開示する技術の第10の側面によれば、第8の側面に係る画像処理装置の前記メタデータ取得部は、画像データのピーク輝度の情報をメタデータとして取得し、前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するように構成されている。
本明細書で開示する技術の第11の側面によれば、第8の側面に係る画像処理装置の前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報をメタデータとして取得し、前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、Diffuse white輝度以下の輝度を保持しながらピーク輝度からDiffuse white輝度までを圧縮するように構成されている。
本明細書で開示する技術の第12の側面によれば、第8の側面に係る画像処理装置の前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、注目輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮するように構成されている。
本明細書で開示する技術の第13の側面によれば、第8の側面に係る画像処理装置の前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、前記ダイナミック・レンジ変換部は、Diffuse white輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮するとともに、ピーク輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮するように構成されている。
また、本明細書で開示する技術の第14の側面に係る技術は、
画像データのメタデータを取得するメタデータ取得ステップと、
画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理ステップと、
を有する画像処理方法である。
本明細書で開示する技術によれば、標準的なダイナミック・レンジで生成されたグラフィックス画像を好適に高ダイナミック・レンジ画像に重畳して見え易く表示することができる、優れた画像処理装置及び画像処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用する画像表示システム100の構成例を模式的に示した図である。 図2は、画像表示システム100を構成するソース機器200の機能的構成例を模式的に示した図である。 図3は、ソース機器200の一例としてのBDプレイヤー3000のハードウェア構成を示した図である。 図4は、シンク機器300の一例としてのテレビ受信機4000のハードウェア構成を示した図である。 図5は、撮影画像を例にとって、ディスプレイ・マッピングにおいて基準となる各輝度情報を示した図である。 図6は、ディスプレイ・マッピングにおいて基準となる輝度情報をEOTF特性上で示した図である。 図7は、ダイナミック・レンジ変換定義情報「knee_function_info SEI」のシンタクス例を示した図である。 図8は、表2に示したパラメーター設定例をダイナミック・レンジ変換定義情報として示した図である 図9は、SDR用のグラフィックス画像をHDRコンテンツと合成する機能ブロック図の一例である。 図10は、メタデータに基づいてSDR用のグラフィックス画像を処理する機能ブロック図の一例である。 図11は、図10に示したダイナミック・レンジ変換部206又は311の機能ブロック図の変形例である。 図12は、図10に示したダイナミック・レンジ変換部206又は311の機能ブロック図のさらなる変形例である。 図13は、SDR用に生成されたグラフィックス画像をHDR用のグラフィックス画像にレンジ変換(マッピング)する例を示した図である。 図14は、SDRグラフィックス画像をHDRグラフィックス画像にレンジ変換するためのマッピング・テーブルを設定処理手順の一例を示したフローチャートである。 図15は、ディスプレイの基準輝度Lndに合わせたマッピング・テーブル(Diffuse White輝度の情報を取得できない場合)を示した図である。 図16は、ディスプレイの基準輝度Lndに合わせたマッピング・テーブル(ディスプレイの基準輝度>Diffuse White輝度の場合)を示した図である。 図17は、コンテンツのDiffuse White輝度Ldcに合わせたマッピング・テーブル(ディスプレイの基準輝度≦Diffuse White輝度の場合)を示した図である。 図18は、SDRグラフィックス画像をHDRグラフィックス画像にレンジ変換する処理手順の他の例を示したフローチャートである。 図19は、HDRの100%基準輝度Lhdr100に合わせたマッピング・テーブル(Diffuse White輝度の情報を取得できない場合)を示した図である。 図20は、HDRの100%基準輝度Lhdr100cに合わせたマッピング・テーブル(HDRの100%基準輝度Lhdr100>Diffuse White輝度の場合)を示した図である。 図21は、コンテンツのDiffuse White輝度Ldcに合わせたマッピング・テーブル(HDRの100%基準輝度Lhdr100≦Diffuse White輝度の場合)を示した図である。 図22は、HDRコンテンツをディスプレイ・マッピングする例(但し、コンテンツのピーク輝度のみを使用する場合)を示した図である。 図23は、HDRコンテンツをディスプレイ・マッピングする他の例(但し、コンテンツのピーク輝度とDiffise white輝度を使用する場合)を示した図である。 図24は、HDRコンテンツをディスプレイ・マッピングする他の例(但し、コンテンツのピーク輝度とDiffise white輝度、注目輝度を使用する場合)を示した図である。 図25は、画像表示システム100を構成するシンク機器300の機能的構成例(HDR対応)を模式的に示した図である。 図26は、画像表示システム100を構成するシンク機器300の他の機能的構成例(HDR非対応)を模式的に示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術を適用する画像表示システム100の構成例を模式的に示している。図示の画像表示システム100は、HDRコンテンツを出力するソース機器200と、HDRコンテンツを受信して表示出力するシンク機器300で構成される。
画像表示システム100がUHD−BDなどの記録再生システムに適用される場合、ソース機器200はBDプレイヤーなどのメディア再生装置であり、シンク機器300は再生画像を表示出力するディスプレイなどである。画像表示システム100では、ソース機器200からシンク機器300へ、映画などの商用コンテンツが伝送される。UHD−BDのような再生システムでは、例えばHDMI(登録商標)(High Definition Multimedia Interface)インターフェース経由で非圧縮の再生ストリームが伝送される。
なお、画像表示システム100がOTTなどのネット配信サービスに適用される場合、ソース機器200はストリーミング・サーバーであり、シンク機器300はパーソナル・コンピューターなどで構成されるクライアントである。また、画像表示システム100がディジタル放送サービスに適用される場合、ソース機器200は放送局であり、シンク機器300は家庭内に設置されたテレビ受信機などである。また、コンテンツはMPEG2
TSなどの符号化ストリームとして伝送される。
図2には、画像表示システム100を構成するソース機器200の機能的構成例を模式的に示している。図示のソース機器200は、HDR対応とし、本明細書で開示する技術を実現できるように構成されているものとする。
図示のソース機器200は、記憶媒体201と、コンテンツ復号部202と、メタデータ処理部203と、UI(User Interface)部204と、グラフィック生成部205と、ダイナミック・レンジ(DR)変換部206と、画像合成部207と、ダイナミック・レンジ(DR変換部)208と、送信部209を備えている。
記憶媒体201は、映画などの商用コンテンツの符号化圧縮画像データを格納する。コンテンツ復号部202は、MPEGデコーダーなどで構成され、記憶媒体201から符号化データを読み出して復号処理し、コンテンツとコンテンツに付随するメタデータを再生する。
本実施形態では、コンテンツ復号部202は、ブルーレイ・ディスクなどの高記録密度の記録媒体201から、HDRコンテンツを復号することを想定している。また、メタデータ処理部203は、コンテンツに付随するメタデータとして含まれている、HDRコンテンツのディスプレイ・マッピングに有用な輝度情報(後述)を処理する。
UI部204は、ユーザーからの入力を処理する。グラフィックス生成部205は、コンテンツ復号部202で復号されたデータやUI部204を介したユーザー入力などに応じて、メニューやOSD、字幕などのグラフィックス画像を生成する。本実施形態では、グラフィックス生成部205は、一旦、SDR用のグラフィックス画像を生成するものとする。
ダイナミック・レンジ(DR)変換部206は、グラフィックス生成部205でSDR用に生成されたグラフィックス画像を、HDRコンテンツとダイナミック・レンジが適合するように、メタデータ処理部203から出力される輝度情報に基づいて、HDRグラフィックス画像にダイナミック・レンジを変換する。メタデータに基づいてSDR用のグラフィックス画像をHDRグラフィックス画像にダイナミック・レンジ変換する処理の詳細については、後述に譲る。
画像合成部207は、HDRにダイナミック・レンジ変換した後のHDRグラフィックス画像を、コンテンツ復号部202で復号したHDRコンテンツと合成する。
ダイナミック・レンジ(DR)変換部208は、HDRグラフィックス画像を合成した後のHDRコンテンツのダイナミック・レンジ処理を行なう。ダイナミック・レンジ(DR)変換部208が行なうダイナミック・レンジ変換は、HDMI(登録商標)ケーブルなどの伝送路101を介して接続されているシンク機器300が対応するダイナミック・レンジに適合させることを意図している。例えば、HDR非対応のシンク機器が接続されている場合には、ダイナミック・レンジ変換部208は、HDRコンテンツをSDRに変換する。但し、HDR対応のシンク機器が接続されている場合には、ダイナミック・レンジ変換部208は、ダイナミック・レンジ変換を行なわない。例えば、シンク機器300のHDR対応可否をHDMI(登録商標)ケーブルなどの伝送路101経由で判別して、ダイナミック・レンジ変換部208で行なう処理を適応的に切り替えるようにしてもよい。
送信部209は、例えばHDMI(登録商標)インターフェースを装備しており、ダイナミック・レンジ(DR)変換部208から出力されるコンテンツと、コンテンツ復号部202が記録媒体201から復号したメタデータを多重化して、HDMI(登録商標)ケーブルなどからなる伝送路101を介して、シンク機器300へ送出する。一部のメタデータは、ソース機器200内のメタデータ処理部203で生成されることも想定される。但し、シンク機器300へ伝送するコンテンツに必ずしもグラフィックス画像が合成されているとは限らない。また、シンク機器300へ伝送するコンテンツにメタデータが必ずしもコンテンツに付随して伝送されるとは限らない。なお、圧縮コンテンツをシンク機器300へ送信する場合には、記憶媒体201から符号化データを読み出したコンテンツをコンテンツ復号部202で復号処理せず、又は、図示しない符号化部で改めて圧縮処理した後、送信部209から送出するものとする。
図25には、画像表示システム100を構成するシンク機器300の機能的構成例を模式的に示している。図示のシンク機器300は、HDR対応とし、本明細書で開示する技術を実現できるように構成されているものとする。
図示のシンク機器300は、受信部301と、コンテンツ処理部302と、メタデータ処理部303と、コンテンツ受信部304と、コンテンツ復号部305と、メタデータ処理部306と、UI部307と、グラフィックス生成部308と、信号選択部309と、信号選択部310と、ダイナミック・レンジ(DR)変換部311と、画像合成部312と、ダイナミック・レンジ(DR)変換部313と、表示部314を備えている。
受信部301は、例えばHDMI(登録商標)インターフェースを装備しており、HDMI(登録商標)ケーブルなどからなる伝送路101を介して、ソース機器200からの伝送信号を受信し、コンテンツと、コンテンツに付随するメタデータと、グラフィックス画像に分離する。なお、ソース機器200側から圧縮コンテンツが送信される場合には、受信部301で受信した圧縮コンテンツを図示しない復号部(例えば、MPEGデコーダー)で復号してコンテンツとメタデータに分離してから、後段の処理で利用するものとする。本実施形態では、ソース機器200から受信するコンテンツはHDR画像であることを想定している。コンテンツ処理部302と、メタデータ処理部303は、受信部301で受信したコンテンツ、メタデータをそれぞれ処理する。また、メタデータ処理部303は、コンテンツに付随するメタデータとして含まれている、HDRコンテンツのディスプレイ・マッピングに有用な輝度情報(後述)を処理する。
コンテンツ受信部304は、例えばディジタル放送チューナーで構成され、MPEGなどの所定の符号化形式で符号化された放送ストリームを選局受信する。あるいは、コンテンツ受信部304は、インターネットなどのIP(Internet Protocol)ネットワークやホーム・ネットワークに接続されるネットワーク・インターフェースで構成され、MPEGなどの所定の符号化形式で符号化されたIP配信ストリームを受信する。
コンテンツ復号部305は、MPEGデコーダーなどで構成され、コンテンツ受信部304で受信した符号化ストリームを復号処理し、コンテンツとコンテンツに付随するメタデータを再生する。
本実施形態では、コンテンツ復号部305は、コンテンツ受信部304の受信ストリームから、HDRコンテンツを復号することを想定している。また、メタデータ処理部306は、コンテンツに付随するメタデータとして含まれている、HDRコンテンツのディスプレイ・マッピングに有用な輝度情報(後述)を処理する。
UI部307は、ユーザーからの入力を処理する。グラフィックス生成部308は、UI部307を介したユーザー入力などに応じて、メニューやOSD、字幕などのグラフィックス画像を生成する。本実施形態では、グラフィックス生成部308は、一旦、SDR用のグラフィックス画像を生成するものとする。
信号選択部309は、受信部301でソース機器200から受信したHDRコンテンツ、又は、コンテンツ受信部304で受信したHDRコンテンツのうちいずれを表示出力するかを切り換える。すなわち、信号選択部309は、シンク機器200による再生コンテンツを表示するときはコンテンツ処理部302からの信号を選択出力し、コンテンツ受信部304の受信コンテンツを表示するときはコンテンツ復号部305からの信号を選択出力する。
また、信号選択部310は、信号選択部309による切り換え動作と連動して信号切り換えを行なう。すなわち、信号選択部309がコンテンツ処理部302からのHDRコンテンツを選択出力するときは、信号選択部310は、メタデータ処理部303からのメタデータを選択出力し、信号選択部309がコンテンツ受信部304の受信コンテンツを選択出力するときは、信号選択部310は、メタデータ処理部306からのメタデータを選択出力する。
ダイナミック・レンジ(DR)変換部311は、グラフィックス生成部308でSDR用に生成されたグラフィックス画像を、信号選択部309から出力されるHDRコンテンツとダイナミック・レンジが適合するように、信号選択部310から出力されるメタデータの情報に基づいて、HDRグラフィックス画像にダイナミック・レンジを変換する。SDR用のグラフィックス画像をHDRグラフィックス画像にダイナミック・レンジ変換する処理の詳細については、後述に譲る。
画像合成部312は、HDRにダイナミック・レンジ変換した後のグラフィックス画像を、信号選択部309から出力されるHDRコンテンツと合成する。
ダイナミック・レンジ(DR)変換部313は、グラフィックス画像と合成した後のHDRコンテンツのダイナミック・レンジを変換する。ここで行なわれるダイナミック・レンジ変換処理は、表示部314の性能(ピーク輝度など)に適合させること、すなわちディスプレイ・マッピングを意図したものであり、信号選択部310から出力されるメタデータの情報に基づいて処理される。メタデータに基づくコンテンツのディスプレイ・マッピング処理の詳細については、例えば本出願人に既に譲渡されている特願2014−153320号明細書を参照されたい。
表示部314は、ダイナミック・レンジ(DR)変換部313によりディスプレイ・マッピングが施された合成画像を、表示パネル(図示しない)に表示出力する。
また、図26には、画像表示システム100を構成するシンク機器300の他の機能的構成例を模式的に示している。図示のシンク機器300は、HDR非対応とし、基本的には本明細書で開示する技術を実現しないものとする。
図示のシンク機器300は、受信部301と、コンテンツ処理部302と、コンテンツ受信部304と、コンテンツ復号部305と、UI部307と、グラフィックス生成部308と、信号選択部309と、画像合成部312と、表示部314を備えている。
受信部301は、例えばHDMI(登録商標)インターフェースを装備しており、HDMI(登録商標)ケーブルなどからなる伝送路101を介して、ソース機器200からの伝送信号を受信処理する。なお、ソース機器200側から圧縮コンテンツが送信される場合には、受信部301で受信した圧縮コンテンツを図示しない復号部(例えば、MPEGデコーダー)で復号してから、後段の処理で利用するものとする。図26に示す例では、ソース機器200から受信するコンテンツはSDR画像であることを想定している。コンテンツ処理部302は、受信部301で受信したコンテンツを処理する。
コンテンツ受信部304は、例えばディジタル放送チューナーで構成され、MPEGなどの所定の符号化形式で符号化された放送ストリームを選局受信する。あるいは、コンテンツ受信部304は、インターネットなどのIP(Internet Protocol)ネットワークやホーム・ネットワークに接続されるネットワーク・インターフェースで構成され、MPEGなどの所定の符号化形式で符号化されたIP配信ストリームを受信する。
コンテンツ復号部305は、MPEGデコーダーなどで構成され、コンテンツ受信部304で受信した符号化ストリームを復号処理し、コンテンツとコンテンツに付随するメタデータを再生する。図26に示す例では、コンテンツ復号部305は、コンテンツ受信部304の受信ストリームから、SDRコンテンツを復号することを想定している。
UI部307は、ユーザーからの入力を処理する。グラフィックス生成部308は、UI部307を介したユーザー入力などに応じて、メニューやOSD、字幕などのグラフィックス画像を生成する。但し、グラフィックス生成部308は、SDR用のグラフィックス画像を生成するものとする。
信号選択部309は、受信部301でソース機器200から受信したコンテンツ、又は、コンテンツ受信部304で受信したコンテンツのうちいずれを表示出力するかを切り換える。すなわち、信号選択部309は、シンク機器200による再生コンテンツを表示するときはコンテンツ処理部302からの信号を選択出力し、コンテンツ受信部304の受信コンテンツを表示するときはコンテンツ復号部305からの信号を選択出力する。
画像合成部312は、グラフィックス生成部308が生成したSDRグラフィックス画像を、信号選択部309が選択出力するSDRコンテンツと合成する。そして、表示部314は、合成画像を、表示パネル(図示しない)に表示出力する。
図3には、図2に示したソース機器200の一例としてのBDプレイヤー3000のハードウェア構成を示している。
BDプレイヤー3000は、CPU(Central Processing Unit)3001と、内部バス3002と、フラッシュROM(Read Only Memory)3003と、SDRAM(Synchronous Random Access Memory)3004と、リモコン受信部3005と、リモコン送信機3006を備えている。
また、BDプレイヤー3000は、記憶媒体制御インターフェース3007と、BD(Blu−ray(登録商標) Disc)ドライブ3008、HDD(Hard Disk Drive)ドライブ3009、又はSSD(Solid State Disc)3018の少なくとも1つの記録媒体を備えている。記録媒体としてBDドライブ3008又はHDD3009を装備する場合、記録媒体制御インターフェース3007としてSATA(Serial Advanced Technology Attachment)インターフェースを備える。また、記録媒体としてSSD3018を装備する場合、記録媒体インターフェース3007として、PCI(Peripheral Component Interconnect) Expressを用いてもよい。
また、BDプレイヤー3000は、MPEG(Moving Picture Expert Group)デコーダー3010と、グラフィック生成回路3011と、画像出力端子3012と、音声出力端子3013を備えている。
また、BDプレイヤー3000は、表示制御部3014と、パネル駆動回路3015と、表示パネル3016と、電源部3017を備えていてもよい。CPU3001、フラッシュROM3003、SDRAM3004、リモコン受信部3005、記憶媒体制御インターフェース3007及びMPEGデコーダー3010は、内部バス3002に接続されている。HDM送信部3019は、HDMI(登録商標)端子3019aに接続されている。
CPU3001は、BDプレイヤー3000内の各部の動作を制御する。フラッシュROM3003は、制御ソフトウェアの格納及びデータの保管を行なう。SDRAM3004は、CPU3001のワークエリアを構成する。CPU3001は、フラッシュROM3003から読み出したソフトウェアやデータをSDRAM3004上に展開してソフトウェアを起動させ、BDプレイヤーの各部を制御する。
リモコン受信部3005は、リモコン送信機3006から送信されたリモート・コントロール信号(リモコン・コード)を受信し、CPU3001に供給する。CPU3001は、リモコン・コードに従ってBDプレイヤーの各部を制御する。なお、図示の例では、BDプレイヤー3000はユーザー指示入力部としてリモコン送信機3006を示しているが、BDプレイヤー3000のユーザー指示入力部は、その他の構成、例えば、スイッチ、ホイール、近接/タッチにより指示入力を行なうタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャー入力部、音声により指示入力を行なう音声入力部など(いずれも図示しない)であってもよい。
BDドライブ3008は、ディスク状記録メディアとしてのBDディスク(図示しない)に対してコンテンツ・データを記録し、あるいは、このBDからコンテンツ・データを再生する。このBDドライブ3008は、記録媒体制御インターフェース3007を介して内部バス3002に接続されている。また、HDDドライブ3009は、HDDに対してコンテンツ・データを記録し、あるいは、このHDDからコンテンツ・データを再生する。このHDDドライブ3009は、記録媒体制御インターフェース3007を介して内部バス3002に接続されている。また、SSD3018は、コンテンツ・データを記録し、あるいは、このSSD3018からコンテンツ・データを再生する。このSSD3018は、記録媒体制御インターフェース3007を介して内部バス3002に接続されている。MPEGデコーダー3010は、BDドライブ3008、HDDドライブ3009、又はSSD3018で再生されたMPEG2ストリームに対してデコード処理を行なって画像及び音声のデータを得る。
グラフィック生成回路3011は、MPEGデコーダー3010で得られた画像データに対して、必要に応じてグラフィックス・データの重畳処理などを行なう。画像出力端子3012は、グラフィック生成回路3011から出力される画像データを出力する。音声出力端子3013は、MPEGデコーダー3010で得られた音声データを出力する。
パネル駆動回路3015は、グラフィック生成回路3011から出力される画像データに基づいて、表示パネル3016を駆動する。表示制御部3014は、グラフィックス生成回路3011やパネル駆動回路3015を制御して、表示パネル3016における表示を制御する。表示パネル3016は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro−Luminescence)パネルなどで構成されている。
なお、図3では、CPU3001の他に表示制御部3014を備える構成例を示しているが、表示パネル3016における表示をCPU3001が直接制御するようにしてもよい。また、CPU3001と表示制御部3014は、1つのチップになっていても、複数チップであってもよい。電源部3017は、BDプレイヤー3000の各部に電源を供給する。この電源部3017は、AC電源であっても、電池(蓄電池、乾電池)であってもよい。
HDMI(登録商標)送信部3019は、HDMI(登録商標)に準拠した通信により、ベースバンド画像と音声のデータを、HDMI(登録商標)端子3019aからテレビ受信機などのシンク機器300に送出する。
図3に示したBDプレイヤー3000の動作を簡単に説明する。記録時には、図示されないディジタル・チューナーを介して、あるいはHDMI(登録商標)端子3019aを介して、記録すべきコンテンツ・データが取得される。このコンテンツ・データは、記録媒体制御インターフェース3007に入力され、BDドライブ3008によりBDメディアに記録され、又はHDDドライブ3009やSSD3018に記録される。
一方、再生時には、BDドライブ3008によりBDメディアから再生され、又はHDDドライブ3009やSSD3018から再生されたコンテンツ・データ(MPEGストリーム)は、記録媒体制御インターフェース3007を介してMPEGデコーダー3010に供給される。MPEGデコーダー3010では、再生されたコンテンツ・データに対してデコード処理が行なわれ、ベースバンドの画像及び音声のデータが得られる。画像データは、グラフィック生成回路3011を通じて画像出力端子3012から外部に出力される。また、音声データは、音声出力端子3013から外部に出力される。
また、再生時には、MPEGデコーダー3010で得られた画像データが、ユーザー操作に応じて、グラフィック生成回路3011を通じてパネル駆動回路3015に供給され、表示パネル3016に再生画像が表示される。また、MPEGデコーダー3010で得られた音声データが、ユーザー操作に応じて、図示しないスピーカーに供給され、再生画像に対応した音声が出力される。
また、この再生時に、MPEGデコーダー3010で得られた画像及び音声のデータをHDMI(登録商標)のTMDSチャネルで送信する場合には、これら画像及び音声のデータは、グラフィック生成回路3011で生成したグラフィック画像とともにHDMI(登録商標)送信部3019に供給されてパッキングされ、このHDMI(登録商標)送信部3019からHDMI(登録商標)端子3019aに出力される。
本明細書では、本明細書で開示する技術を適用した画像表示システム100に利用可能なソース機器200として、BDプレイヤー3000を挙げたが、BD以外のディスク・レコーダー、ディスク・プレーヤー、STB(Set Top Box)、ゲーム機、NAS(Network Attached Storage)、ディジタルビデオカメラなど、画像データを送出するその他のさまざまなタイプのソース機器を利用することができる。なお、BDプレイヤーなどのHDR対応のソース機器200でSDR用のグラフィックス画像をHDRコンテンツと合成する処理の詳細については、後述に譲る。
また、図4には、図25又は図26に示したシンク機器300の一例としてのテレビ受信機4000のハードウェア構成を示している。
テレビ受信機4000は、アンテナ端子4001と、ディジタル・チューナー4002と、MPEGデコーダー4003と、画像信号処理回路4004と、グラフィック生成回路4005と、パネル駆動回路4006と、表示パネル4007を備えている。
また、テレビ受信機4000は、音声信号処理回路4008と、音声増幅回路4009と、スピーカー4010と、内部バス4011と、CPU4012と、フラッシュROM4013と、SDRAM4014とを備えている。また、テレビ受信機は、ワイヤレス送受信部4017と、リモコン受信部4015と、リモコン送信機4016とを備えている。また、テレビ受信機4000は、表示制御部4018と、電源部4019を備えている。
アンテナ端子4001は、受信アンテナ(図示しない)で受信されたテレビ放送信号を入力する端子である。ディジタル・チューナー4002は、アンテナ端子4001に入力されたテレビ放送信号を処理して、ユーザーの選択チャネルに対応した所定のトランスポート・ストリームから、パーシャルTS(Transport Stream)(画像データのTSパケット、音声データのTSパケット)を抽出する。
また、ディジタル・チューナー4002は、得られたトランスポート・ストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU4012に出力する。ディジタル・チューナー4002で得られた複数のトランスポート・ストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
MPEGデコーダー4003は、ディジタル・チューナー4002で得られる画像データのTSパケットにより構成される画像PES(Packetized Elementary Stream)パケットに対してデコード処理を行なって画像データを得る。また、MPEGデコーダー4003は、ディジタル・チューナー4002で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行なって音声データを得る。
画像信号処理回路4004及びグラフィック生成回路4005は、MPEGデコーダー4003で得られた画像データ、あるいはHDMI(登録商標)受信部4020で受信された画像データに対して、必要に応じてスケーリング処理(解像度変換処理)、ダイナミック・レンジ調整処理、グラフィックス・データの重畳処理などを行なう。ダイナミック・レンジ調整処理を行なう際には、画像データの送信元であるHDMI(登録商標)ソース機器(BDプレイヤー)、ディジタル・チューナー4002、あるいはワイヤレス送受信部4017から受信した画像データ及びメタデータに基づいてダイナミック・レンジ変換などの処理を行なうものとする。
パネル駆動回路4006は、グラフィック生成回路4005から出力される画像データに基づいて、表示パネル4007を駆動する。表示制御部4018は、グラフィックス生成回路4005やパネル駆動回路4006を制御して、表示パネル4007における表示を制御する。表示パネル4007は、例えば、LCD、有機ELパネルなどで構成されている。
なお、図4では、CPU4012の他に表示制御部4018を備える例を示しているが、表示パネル4007における表示をCPU4012が直接制御するように構成してもよい。また、CPU4012と表示制御部4018は、1つのチップになっていても、複数チップであってもよい。電源部4019は、テレビ受信機4000の各部に電源を供給する。この電源部4019は、AC電源であっても、電池(蓄電池、乾電池)であってもよい。
音声信号処理回路4008はMPEGデコーダー4003で得られた音声データに対してD/A変換などの必要な処理を行なう。音声増幅回路4009は、音声信号処理回路4008から出力される音声信号を増幅してスピーカー4010に供給する。なお、スピーカー4010は、モノラルでもステレオでもよい。また、スピーカー4010は、1つでもよく、2つ以上でもよい。また、スピーカー4010は、イヤホン、ヘッドホンでもよい。また、スピーカー4010は、2.1チャネルや、5.1チャネルなどに対応するものであってもよい。また、スピーカー4010は、テレビ受信機4000本体と無線で接続してもよい。また、スピーカー4010は、テレビ受信機4000に外部接続される他機器であってもよい。
CPU4012は、テレビ受信機4000の各部の動作を制御する。フラッシュROM4013は、制御ソフトウェアの格納及びデータの保管を行なう。SDRAM4014は、CPU4012のワークエリアを構成する。CPU4012は、フラッシュROM4013から読み出したソフトウェアやデータをSDRAM4014上に展開してソフトウェアを起動させ、テレビ受信機4000の各部を制御する。
リモコン受信部4015は、リモコン送信機4016から送信されたリモート・コントロール信号(リモコン・コード)を受信し、CPU4012に供給する。CPU4012は、このリモコン・コードに基づいて、テレビ受信機4000の各部を制御する。なお、図4に示した例では、ユーザー指示入力部としてリモート・コントロール部を示しているが、テレビ受信機4000のユーザー指示入力部は、その他の構成、例えば、近接/タッチにより指示入力を行なうタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャー入力部、音声により指示入力を行なう音声入力部(いずれも図示しない)などであってもよい。
CPU4012、フラッシュROM4013、SDRAM4014、ワイヤレス送受信部4017、MPEGデコーダー4003及び表示制御部4018は、内部バス4011に接続されている。また、HDMI(登録商標)受信部4020はHDMI(登録商標)端子4020aに接続されている。
HDMI(登録商標)受信部4020は、HDMI(登録商標)に準拠した通信により、HDMI(登録商標)ケーブルを介してHDMI(登録商標)端子4020aに供給される非圧縮画像音声データを受信する。
ワイヤレス送受信部4017は、内部バス4002を介してCPU4012と外部機器とのワイヤレス通信を行なう。ワイヤレス送受信部4017は、例えばWi−Fi(登録商標)(Wireless Fidelity)、Bluetooth(登録商標)通信やBLE(Bluetooth(登録商標) Low Energy)通信などのワイヤレス通信規格に則って、ワイヤレス通信を行なう。
なお、テレビ受信機4000は、IPTVなどで配信される画像音声データを受信する場合もある。例えば、テレビ受信機4000は、Ethernet(登録商標)回路並びにEthernet(登録商標)端子を、ワイヤレス送受信部4017の代わりに(あるいは、ワイヤレス送受信部4017とともに)具備しても、同様の機能を実現することができる。
図4に示すテレビ受信機4000の動作を簡単に説明する。アンテナ端子4001に入力されたテレビ放送信号はディジタル・チューナー4002に供給される。このディジタル・チューナー4002では、テレビ放送信号を処理して、ユーザーの選択チャネルに対応した所定のトランスポート・ストリームが出力され、トランスポート・ストリームから、パーシャルTS(画像データのTSパケット、音声データのTSパケット)が抽出され、当該パーシャルTSはMPEGデコーダー4003に供給される。
MPEGデコーダー4003では、画像データのTSパケットにより構成される画像PESパケットに対してデコード処理が行なわれて画像データが得られる。この画像データは、画像信号処理回路4004及びグラフィック生成回路4005において、必要に応じて、スケーリング処理(解像度変換処理)、ダイナミック・レンジ調整処理、グラフィックス・データの重畳処理などが行なわれた後に、パネル駆動回路4006に供給される。そのため、表示パネル4007には、ユーザーの選択チャネルに対応した画像が表示される。
また、MPEGデコーダー4003では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行なわれて音声データが得られる。この音声データは、音声信号処理回路4008でD/A変換などの必要な処理が行なわれ、さらに、音声増幅回路4009で増幅された後に、スピーカー4010に供給される。そのため、スピーカー4010から、ユーザーの選択チャネルに対応した音声が出力される。
また、HDMI(登録商標)受信部4020では、HDMI(登録商標)端子4020aにHDMI(登録商標)ケーブルを介して接続されているBDプレイヤーなどのソース機器200から送信されてくる、非圧縮画像音声データが取得される。本実施形態では、画像データに付随して、メタデータ(後述)が送られてくるものとする。受信した画像データは、画像信号処理回路4004に供給される。また、受信した音声データは、直接、音声信号処理回路4008に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル4007に画像が表示され、スピーカー4010から音声が出力される。なお、テレビ受信機などのHDR対応のシンク機器300でSDR用のグラフィックス画像をHDRコンテンツと合成する処理の詳細については、後述に譲る。
画像表示システム100において、HDR技術を適用する場合、ソース機器200から送出する画像とシンク機器300の表示部314で表示できる画像がそれぞれ持つダイナミック・レンジが一致しないという事態が想定される。このような場合、シンク機器300側では、受信した画像のダイナミック・レンジ変換を行なって、自分の性能に適合させるディスプレイ・マッピングが必要になる。
ところが、ディスプレイ・マッピングにおいて、単純に線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者や供給者の意図にも反することである。
画像表示システム100においてHDRの世界を構築するには、制作側若しくはソース機器200側においてHDRコンテンツを提供し、シンク機器300側においてHDR対応の表示デバイスを装備するというだけでなく、HDRコンテンツの制作ワークフローを確立する必要がある、と本発明者らは思料する。
また、シンク機器300においてディスプレイ・マッピングによりHDR画像のダイナミック・レンジ変換を行なう際に、コンテンツの制作者や供給者の意図が損失しないようにする必要がある。
そこで、本明細書で開示する技術では、シンク機器300において、単純な線形スケーリングではなく、コンテンツの制作者や供給者の意図に従ったダイナミック・レンジ変換を実現するために、画像ストリームに付随するメタデータに含めて伝送するようにしている。
HDRコンテンツの制作プロセス、撮影、編集、符号化・復号、伝送、表示の一連のワークフローにおいて、マスタリング又はグレーディング時におけるコンテンツのピーク輝度、色域、光電伝達特性(EOTF)などの、コンテンツの制作者や供給者の意図を示す情報を格納するメタデータを定義する。このようなメタデータは、BDなどのメディアに、コンテンツに付随して記録される。画像表示システム100において、ソース機器200からシンク機器300へ再生コンテンツを伝送する際には、このようなメタデータを併せて送信する。そして、シンク機器300側では、メタデータを活用して再生コンテンツに対するダイナミック・レンジ変換などの処理を行なうことで、コンテンツの制作者や供給者の意図を反映する効果的なHDR画像表示を実現することができる。
コンテンツの制作者や供給者の意図を反映させるためのメタデータは、以下の(1)と(2)の2種類に大きく分類することができる。
(1)コンテンツのオーサリング又はマスタリング時で取得可能なメタデータ
(2)ディスプレイ・マッピングで有用な(若しくは、強く要求される)メタデータ
後者のディスプレイ・マッピングで有用と思われる要素として、以下の(a)〜(d)を挙げることができる。
(a)コンテンツのマスタリングに使用するモニター・ディスプレイのピーク輝度
(b)コンテンツのピーク輝度
(c)Diffuse white輝度
(d)注目輝度
ここで、(a)のマスタリング・モニターのピーク輝度はハードウェアの基本仕様として自動検出することができる。また、(b)のコンテンツのピーク輝度は、画像又はシーン内の最大輝度であり、例えば光が反射している部分に相当し、画像の輝度解析により自動検出することができる。また、(c)のDifuse white輝度は、画像又はシーン内で基準となる白の輝度である。Difuse white輝度は、大面積を占める白でもあり、画像の輝度解析により自動検出することができ、コンテンツの制作者が検出値を任意に変更することも可能である。また、(d)の注目輝度は、コンテンツの制作者が主に見せたい、シーンの中心となる物体の輝度であり、コンテンツの制作者が設定する。例えば、人が映ったシーンでは、注目輝度は人物の肌(Flesh tone)に相当する輝度である。上記の4種類の輝度情報のうち、(a)はハードウェアの仕様により定まる静的な値であり、(b)〜(d)はシーン毎に変化する動的な値である。
図5に示す、白いテーブルの上に載せたガラス細工を撮影した画像を例にとって、ディスプレイ・マッピングにおいて基準となる各輝度情報(b)〜(d)をについて説明しておく。ガラス細工の表面で、光が反射している部分がピーク輝度501に相当する、また、白いテーブルはシーンの大面積を占め、Diffuse White輝度502に相当する。また、ガラス細工は、図4に示したシーンの中心となる物体であり、その表面の主に見せたい部分を、注目輝度503としてコンテンツの制作者が設定する。
HDRコンテンツに対してディスプレイ・マッピングを行なう場合、注目輝度以下の輝度は保持することが、コンテンツの制作者又は供給者から強く期待されていると考えられる。また、注目輝度からDiffuse whiteまでの輝度は、ある程度保持することが、コンテンツの制作者又は供給者から期待されていると考えられる。
図6には、ディスプレイ・マッピングにおいて基準となる輝度情報(b)〜(d)の一例を、EOTF特性上で示している(横軸は輝度の10ビット符号値であり、縦軸は線形輝度値[cd/m2]である)。
図6中、参照番号601は、コンテンツのピーク輝度(Peak white)を示している。図示の例では、ピーク輝度は2000cd/m2、10ビットの符号値で844である。
また、参照番号602は、Diffuse white輝度を示している。Diffuse white輝度には、リファレンス白の輝度値を設定する。具体的には、Diffuse white輝度は、シーン内に映っているテーブルやシャツのような支配的な白などに相当し、300〜500cd/m2程度の輝度であり、従来のSDRの100%白に相当する。図示の例では、Diffuse white輝度は500cd/m2、10ビットの符号値で691に設定されている。
また、参照番号603は、注目輝度を示している。注目輝度には、シーンの中心となる人の肌色(Flesh Tone)や物体の輝度値を設定する。図示の例では、注目輝度は50cd/m2、10ビットの符号値で451に設定されている。
本実施形態に係る画像表示システム100では、適切なディスプレイ・マッピングを実現するために、上記の輝度情報(a)〜(d)を、コンテンツに付随するメタデータに含めて扱うようにしている。すなわち、HDRコンテンツに付随するメタデータは、保持すべき輝度ポイントであるDiffuse white輝度や注目輝度を指定している。シンク機器300は、ディスプレイ・マッピングにおいてダイナミック・レンジを圧縮又は伸長する際に、メタデータで指定された輝度情報(a)〜(d)を参考にすることで、コンテンツの制作者又は供給者の意図に応じた画像表示を実現することができる。
なお、メタデータは、シーン単位で上記の輝度(a)〜(d)を反映させるために、ダイナミックであるべきである。
ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)を伝送するコンテナーとして、例えばMPEGで既に定義されているSEI(Supplemental Enhancement Information)を利用することができる。あるいは、輝度情報(a)〜(d)の伝送コンテナーとなるSEIを新たに定義したり、SEI以外の既存の伝送コンテナーを利用したりしてもよい。
MPEGにおいて非圧縮画像データのダイナミック・レンジ変換定義情報として定義されている「knee_function_info SEI(Supplemental
Enhancement Information)」を輝度情報(a)〜(d)の伝送コンテナーに用いる場合を例にとって、ディスプレイ・マッピングにおいて有用なメタデータの伝送方法について説明しておく。
図7には、ダイナミック・レンジ変換定義情報「knee_function_info SEI」のシンタクス例を示している。まず、各パラメーターの本来の意味について説明する。
このknee_function_info700では、ニー変換ID(knee_function_id)701とニー変換キャンセル・フラグ(knee_function_cancel_flag)702が設定される。
ニー変換ID701は、ニー圧縮又はニー伸長であるニー変換の目的に固有のIDである。本実施形態では、当該knee_function_info SEIを本来のダイナミック・レンジ変換定義情報として用いる場合にはニー変換ID701をロー・レベル「0」に設定し、上記の輝度情報(a)〜(d)の伝送コンテナーに用いる場合にはニー変換ID701をハイ・レベル「1」に設定するものとする。また、ニー変換キャンセル・フラグ702は、直前のknee_function_infoの連続性をキャンセルするかどうかを表すフラグである。ニー変換キャンセル・フラグ702は、前のknee_function_infoの連続性をキャンセルする場合にはハイ・レベル「1」を設定し、キャンセルしない場合にはロー・レベル「0」を設定する。
また、ニー変換キャンセル・フラグ702がロー・レベル「0」である場合、knee_function_info700には、ダイナミック・レンジ変換定義情報が設定される。このダイナミック・レンジ変換定義情報は、持続フラグ(knee_function_persistence_flag)703と、圧縮伸長フラグ(mapping_flag)704と、入力画像のピーク輝度(0.1%単位)を格納する入力画像ダイナミック・レンジ情報(input_d_range)705と、入力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する入力画像表示ディスプレイ最大輝度情報(input_disp_luminance)706と、出力画像のピーク輝度(0.1%単位)を格納する出力画像ダイナミック・レンジ情報(output_d_range)707と、出力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する出力表示ディスプレイ最大輝度情報(output_disp_luminace)708と、ニー位置数情報(num_knee_point_minus1)709が設定される。さらに、ニー位置数情報709の数分だけニー位置毎の情報のループ710が配置される。各ニー位置情報ループ内には、ニー位置毎の変換前ニー位置情報(input_knee_point)711と変換後ニー位置情報(output_knee_point)712がニー位置毎に設定される。
持続フラグ703は、一度送ったknee_function_info700がその後も有効なのか、1回限りなのかを示すものである。knee_function_info600が付加されたピクチャーに限り有効な場合には、持続フラグ703にロー・レベル「0」を設定し、ストリームが切り替わるまで有効又は新しいニー変換ID701が来るまで有効の場合には、持続フラグ703にハイ・レベル「1」を設定する。
圧縮伸長フラグ704は、ニー変換がニー圧縮であるかどうかを表すフラグである。すなわち、ニー位置の数が1つである場合、変換前ニー位置情報が変換後ニー位置情報以上であるとき、ニー変換がニー伸長であると判断し、変換前ニー位置情報が変換後ニー位置情報より小さいとき、ニー変換がニー圧縮であると判断することができる。しかしながら、ニー位置の数が複数である場合、変換前ニー位置情報と変換後ニー位置情報の大小関係で、ニー変換がニー伸長であるか、ニー圧縮であるかを正確に判断することができないため、圧縮伸長フラグ704が設定される。なお、ニー・ポイントの数が1つである場合であっても、圧縮伸長フラグ704が設定されるようにしてもよい。圧縮伸長フラグ704は、ニー変換がニー圧縮である場合にはハイ・レベル「1」を設定し、ニー伸長である場合にはロー・レベル「0」を設定する。
ニー位置数情報709は、ニー位置の数から1を減算した値である。なお、ニー位置の変換前ニー位置情報711と変換後ニー位置情報712が設定される順番i(iは0以上の整数)は、変換前ニー位置情報711の小さい順である。続くニー位置数の数分の各ループでは、ニー位置iにおける変換前ニー位置情報711と変換後ニー位置情報712が格納される。
変換前ニー位置情報711は、ダイナミック・レンジ変換における変換前の符号化対象の画像のニー位置を表す情報であり、符号化対象の画像の輝度の最大値を1000‰としたときのニー位置の千分率で表される。ニー位置とは、符号化対象の画像の輝度のダイナミック・レンジの同一の変換率でニー変換される輝度の範囲の始点の0以外の輝度である。
また、変換後ニー位置情報712は、ダイナミック・レンジ変換における変換後の画像の、ニー位置を始点とするニー変換される輝度の範囲に対応する輝度の範囲の始点を表す情報である。具体的には、変換後ニー位置情報(output_knee_point)は、変換後の画像の輝度の最大値を1000‰としたときのニー位置に対応する変換後の画像の輝度の千分率で表される。
ここで、図7に示したknee_function_info SEIを、ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)の伝送コンテナーとして用いる場合、1番目の変換前ニー位置情報及び1番目の変換後ニー位置情報として注目輝度の輝度値を格納し、2番目の変換前ニー位置情報及び番目の変換後ニー位置情報としてDiffuse whiteの輝度値を格納し、3番目の変換前ニー位置情報及び番目の変換後ニー位置情報としてコンテンツのピーク輝度値を格納する。knee_function_info SEIを輝度情報の伝送コンテナーとして用いる場合の各パラメーターのセマンティックスを以下の表1にまとめておく。
また、knee_function_info SEIに各パラメーターに輝度情報(b)〜(d)を設定した例を、以下の表2に示した。図8には、表2に示したパラメーター設定例801、802、803をダイナミック・レンジ変換定義情報として示している。
このように、本実施形態に係る画像表示システム100では、ディスプレイ・マッピングにおいて有用な上記の輝度情報(a)〜(d)を、Knee function information SEIなどの伝送コンテナーで伝送される。また、ディスプレイ・マッピングにおいてダイナミック・レンジを圧縮又は伸長する際に、メタデータで指定された輝度ポイントを参考にすることで、コンテンツの制作者又は供給者の意図に応じた画像表示を実現することができる。具体的には、圧縮又は伸長時に、ダイナミック・レンジを線形スケーリングするのではなく、注目輝度以下の輝度は保持すること、並びに、注目輝度からDiffuse whiteまでの輝度はある程度保持することが、期待されている。メタデータに基づくコンテンツのダイナミック・レンジ変換処理の詳細については、例えば本出願人に既に譲渡されている特願2014−153320号明細書を参照されたい。
また、本実施形態に係る画像表示システム100では、図2を参照しながら説明したように、BDプレイヤー3000などのソース機器200側でコンテンツの再生画像にグラフィックス画像を合成してからシンク機器300に伝送するケースが頻繁にある。また、テレビ受信機4000などのシンク機器300内で生成したグラフィックス画像をコンテンツの再生画像に重畳して表示するケースも想定される。
ここで言うグラフィックス画像は、例えばメニューやOSD、字幕データである。一般には、この種のグラフィックス画像は、標準的な輝度レベル(例えば、100cd/m2)からなるSDR画像として生成される。例えば、ソース機器200側でグラフィックス画像を生成する場合、シンク機器300側における輝度100%の基準点が不明であることから、SDRのグラフィックス画像を生成するのが一般的である。
一方、シンク機器300において、HDRコンテンツを表示している際に、SDRで作成されたグラフィックス画像をそのまま表示すると暗くて見え難くなってしまう。また、SDR用に生成したグラフィックス画像を、シンク機器300側の表示パネルのピーク輝度に合わせて線形スケーリングすると、明るくなり過ぎて見え難くなる。
そこで、本実施形態では、ソース機器200又はシンク機器300は、HDRコンテンツのディスプレイ・マッピングで有用と思われる輝度情報を入手することができたときには、その輝度情報に基づいて、SDR用に作成されたグラフィックス画像をコンテンツと適合するようにHDR画像にダイナミック・レンジ変換してからHDRコンテンツと合成し、その後に表示先ディスプレイの性能(ピーク輝度など)に適合するようにディスプレイ・マッピングを行なうようにしている。
図9には、ソース機器200又はシンク機器300(但し、HDR対応の機器とする)においてSDR用のグラフィックス画像をHDRコンテンツと合成する機能ブロック図の一例を示している。
ソース機器200側では、グラフィックス生成部205は、UI部204を介したユーザー入力などに応じて、メニューやOSDなどのグラフィックス画像(A)を生成する。また、シンク機器300側では、グラフィックス生成部308は、UI部307を介したユーザー入力などに応じて、メニューやOSDなどのグラフィックス画像(A)を生成する。いずれにせよ、グラフィックス画像(A)は、SDR用に作成されているものとする。
ダイナミック・レンジ(DR)変換部206又は311は、SDR用に生成されたグラフィックス画像(A)を、HDRコンテンツとダイナミック・レンジが適合するように、HDRコンテンツに付随するメタデータに含まれる輝度情報に基づいて、HDRグラフィックス画像(B)にダイナミック・レンジを変換する。SDR画像は、例えばsRGB(standard RGB) 8ビット画像とする。また、HDR画像は、例えばBT2020 10ビット画像とする。SDR用のグラフィックス画像をHDR画像にダイナミック・レンジ変換処理の詳細については、後述に譲る。
画像合成部207又は311は、HDRにダイナミック・レンジ変換した後のグラフィックス画像を、元のHDRコンテンツと合成する。
そして、ダイナミック・レンジ(DR)変換部208又は313は、HDRグラフィックス画像と合成した後のHDRコンテンツのダイナミック・レンジを変換する。シンク機器300側のダイナミック・レンジ変換部313で行なわれるダイナミック・レンジ変換処理は、表示部314の性能(ピーク輝度など)に適合させること、すなわちディスプレイ・マッピングを意図したものであり、HDRコンテンツに付随するメタデータに含まれる輝度情報に基づいて処理される。メタデータに基づくコンテンツのディスプレイ・マッピング処理の詳細については、例えば本出願人に既に譲渡されている特願2014−153320号明細書を参照されたい。
図10には、ソース機器200内のダイナミック・レンジ変換部206、又はシンク機器300内のダイナミック・レンジ変換部311において、メタデータに基づいてSDR用のグラフィックス画像を処理する機能ブロック図の一例を示している。
ソース機器200内のダイナミック・レンジ変換部206又はシンク機器300内のダイナミック・レンジ変換部311には、HDRコンテンツのストリーム・データ(V)とメタデータ(M)が出力されるものとする。
また、グラフィックス生成部205又は308は、UI部204又は307を介したユーザー入力などに応じて、メニューやOSDなどのグラフィックス画像(A)を生成する。あるいは、ソース機器200から、コンテンツのストリーム・データ(V)に付随して、グラフィックス画像(A)が送られてくることもある。いずれにせよ、グラフィックス画像(A)は、SDR用に作成されているものとする。
電光線形変換部1001は、参照番号1011で示すようにEOTF変換テーブルを用いて、例えばsRGB 8ビットの符号値からなるSDR用のグラフィックス・データを、例えばRGB 8ビットからなる光線形の輝度信号に変換する。
レンジ変換部1002は、光線形の輝度信号のレンジを変換するルックアップ・テーブル(LUT)を備えている。メタデータ処理部303は、受信したメタデータが示すメタデータに基づいて、このルック・アップ・テーブルの内容を設定するものとする。そして、レンジ変換部1002は、ルック・アップ・テーブルに従って、電光線形変換した後の輝度信号のレンジを、例えばRGB 10ビットにレンジ変換する。以降の信号はHDR領域となる。
次いで、非線形光電変換部1003は、参照番号1012で示すようなOETF変換テーブルを用いて、レンジ変換された光線形輝度信号を、HDRコンテンツのストリーム・データに合わせたHDR信号(RGB 10ビットの符号値)に非線形変換する。
色形式変換部(Color Format Convert)1004は、グラフィックス画像の色域がHDRコンテンツのストリーム・データと異なる場合に、ストリーム・データと適合するように色形式変換を行なう。図10に示す例では、RGB 10ビットのHDRグラフィックス画像を、色形式変換部1004でBT2020 10ビットに変換する。
その後、BT2020 10ビットのHDRグラフィックス画像は、画像合成部207又は312で、HDRコンテンツのストリーム・データと合成される。
図11には、図10に示したダイナミック・レンジ変換部206又は311の機能ブロック図の変形例を示している。図11に示す例では、レンジ変換部1101で、電光線形変換、レンジ変換、及び非線形光電変換の処理を一括して行なうように構成されている。また、色形式変換部1102は、グラフィックス画像の色域がHDRコンテンツのストリーム・データと異なる場合に、ストリーム・データと適合するように色形式変換を行なう(同上)。
また、図12には、図10に示したダイナミック・レンジ変換部206又は311の機能ブロック図のさらなる変形例を示している。図12に示す例では、レンジ変換部1201で、電光線形変換、レンジ変換、及び非線形光電変換、並びに、ストリーム・データと色域が異なる場合の色形式変換の処理を一括して行なうように構成されている。
図13には、ダイナミック・レンジ変換部206又は311で、SDR用に生成されたグラフィックス画像をHDR用のグラフィックス画像にレンジ変換(マッピング)する例を示している。
図中、参照番号1301で示すように、SDR用に生成されたグラフィックス画像は、sRGB 8ビット(256階調)の画像である。
ダイナミック・レンジ変換部206又は311では、SDR用に生成されたグラフィックス画像を、HDR用のグラフィックス画像にレンジ変換(マッピング)する。ここで、メタデータでDiffuse white輝度が指定されている場合には、参照番号1302で示すように、8ビットのSDR100%の基準輝度をDiffuse white輝度に合せるように、SDRグラフィックス画像を輝度変換して、HDRグラフィックス画像を生成する。
また、メタデータでDiffuse white輝度が指定されていない場合には、参照番号1303で示すように、8ビットのSDR100%の基準輝度を10ビットのHDR100%の基準輝度に合せるように、SDRグラフィックス画像を輝度変換して、HDRグラフィックス画像を生成する。
その後、HDRグラフィックス画像は、画像合成部207又は312で、HDRコンテンツのストリーム・データと合成される。なお、HDRグラフィックス画像の色域がHDRコンテンツのストリーム・データと異なる場合には、画像合成を行なう前に、HDRグラフィックス画像の色域が(本実施形態ではBT2020に)色形式変換される。そして、ダイナミック・レンジ変換部305によって、HDRグラフィックス画像と合成されたHDRコンテンツが、例えばPQ 10ビット(ピーク輝度4000[cd/m2]、920階調)にダイナミック・レンジ変換される。
図14には、SDRグラフィックス画像をHDRグラフィックス画像にレンジ変換(マッピング)するためのマッピング・テーブルをレンジ変換部1002に設定するための処理手順の一例をフローチャートの形式で示している。
まず、メタデータ処理部203、303又は306で、HDRコンテンツに付随するメタデータからコンテンツのDiffuse White輝度の情報の取得を試みる(ステップS1401)。そして、コンテンツのDiffuse White輝度の情報を取得することができたかどうかをチェックする(ステップS1402)。
ここで、コンテンツのDiffuse White輝度の情報を取得できなかった場合には(ステップS1402のNo)、図15に示すように、ディスプレイの基準輝度Lndに合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1405)。
また、コンテンツのDiffuse White輝度の情報を取得することができた場合には(ステップS1402のYes)、コンテンツのDiffuse White輝度Ldcがディスプレイの基準輝度Lndより小さいかどうかをさらにチェックする(ステップS1403)。
そして、コンテンツのDiffuse White輝度Ldcがディスプレイの基準輝度Lndより小さい場合には(ステップS1403のYes)、図16に示すように、ディスプレイの基準輝度Lndに合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1404)。
一方、コンテンツのDiffuse White輝度Ldcがディスプレイの基準輝度Lndより小さくない場合には(ステップS1403のNo)、図17に示すように、コンテンツのDiffuse White輝度Ldcに合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1405)。
図18には、SDRグラフィックス画像をHDRグラフィックス画像にレンジ変換(マッピング)するためのマッピング・テーブルをレンジ変換部1002に設定するための処理手順の他の例をフローチャートの形式で示している。
まず、メタデータ処理部303で、ソース機器200から受信したメタデータからコンテンツのDiffuse White輝度の情報の取得を試みる(ステップS1801)。そして、コンテンツのDiffuse White輝度の情報を取得することができたかどうかをチェックする(ステップS1802)。
ここで、コンテンツのDiffuse White輝度の情報を取得できなかった場合には(ステップS1802のNo)、図19に示すように、HDRの100%基準輝度に合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1805)。
また、コンテンツのDiffuse White輝度の情報を取得することができた場合には(ステップS1802のYes)、コンテンツのDiffuse White輝度LdcがHDRの100%基準輝度Lhdr100より小さいかどうかをさらにチェックする(ステップS1803)。
そして、コンテンツのDiffuse White輝度LdcがHDRの100%基準輝度Lhdr100より小さい場合には(ステップS1803のYes)、図20に示すように、HDRの100%基準輝度Lhdr100に合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1904)。
一方、コンテンツのDiffuse White輝度LdcがHDRの100%基準輝度Lhdr100より小さくない場合には(ステップS1803のNo)、図21に示すように、コンテンツのDiffuse White輝度Ldcに合わせたマッピング・テーブルをレンジ変換部1002に設定する(ステップS1805)。
最後に、ダイナミック・レンジ(DR)変換部305で、HDRグラフィックス画像と合成した後のHDRコンテンツをダイナミック・レンジ変換する方法について説明しておく。ここで行なわれるダイナミック・レンジ変換は、表示部309の性能(ピーク輝度など)に適合させること、すなわちディスプレイ・マッピングを意図したものであり、ソース機器200から受信したメタデータの情報に基づいて処理される。
図22には、合成後のHDRコンテンツをディスプレイ・マッピングする例(但し、コンテンツのピーク輝度のみを使用する場合)を示している。同図では、特定のコンテンツのピーク輝度を持つHDRコンテンツを、ピーク輝度が異なる3種類の対象ディスプレイにディスプレイ・マッピングする例を併せて示している。
処理するHDRコンテンツは、コンテンツのピーク輝度が4000cd/m2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともにシンク機器300に伝送される(前述)。
ケース1の対象ディスプレイは、そのピーク輝度が500cd/m2であり、コンテンツのピーク輝度よりも低い。このため、HDRコンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
また、ケース2の対象ディスプレイは、そのピーク輝度が1000cd/m2であり、上記と同様に、コンテンツのピーク輝度よりも低い。このため、HDRコンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
また、ケース3の対象ディスプレイは、そのピーク輝度が5000cd/m2であり、HDRコンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRコンテンツの輝度を保持する。
また、図23には、合成後のHDRコンテンツをディスプレイ・マッピングする他の例(但し、コンテンツのピーク輝度とDiffise white輝度を使用する場合)を示している。同図では、特定のコンテンツのピーク輝度及びDiffise white輝度を持つHDRコンテンツを、ピーク輝度が異なる4種類の対象ディスプレイにディスプレイ・マッピングする例を併せて示している。
処理するHDRコンテンツは、コンテンツのピーク輝度が4000cd/m2、Diffuse white輝度が500cd/m2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともにシンク機器300に伝送される(前述)。
ケース11の対象ディスプレイは、そのピーク輝度が300cd/m2であり、HDRコンテンツのDiffuse white輝度よりも低い。このため、HDRコンテンツに対し、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで圧縮するディスプレイ・マッピングを行なう。
ケース12の対象ディスプレイは、そのピーク輝度が500cd/m2であり、HDRコンテンツのDiffuse white輝度と一致する。このため、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで線形的又は非線形的に圧縮するディスプレイ・マッピングを行なう。
また、ケース13の対象ディスプレイは、そのピーク輝度が1000cd/m2であり、HDRコンテンツのピーク輝度よりは低いがDiffuse white輝度よりは高い。このため、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで線形的又は非線形的に圧縮するディスプレイ・マッピングを行なう。
また、ケース14の対象ディスプレイは、そのピーク輝度が3000cd/m2であり、HDRコンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRコンテンツの輝度を保持する。あるいは、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで伸長するディスプレイ・マッピングを行なう。
また、図24には、合成後のHDRコンテンツをディスプレイ・マッピングする他の例(但し、コンテンツのピーク輝度とDiffise white輝度、注目輝度を使用する場合)を示している。
処理するHDRコンテンツは、コンテンツのピーク輝度が4000cd/m2、Diffuse white輝度が500cd/m2、注目輝度が50cd/m2であるとする。これらの輝度情報はknee_function_info SEIなどの伝送コンテナーで、ストリーム・データとともに画像受信装置300に伝送される(前述)。
ケース21の対象ディスプレイは、そのピーク輝度が300cd/m2であり、HDRコンテンツのDiffuse white輝度よりも低いが注目輝度よりも高い。このため、HDRコンテンツに対し、注目輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、ディスプレイのピーク輝度以上の輝度信号についてはディスプレイのピーク輝度まで線形的又は非線形的に圧縮するディスプレイ・マッピングを行なう。
ケース22の対象ディスプレイは、そのピーク輝度が500cd/m2であり、HDRコンテンツのDiffuse white輝度と一致する。このため、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで線形的又は非線形的に圧縮するディスプレイ・マッピングを行なう。
また、ケース23の対象ディスプレイは、そのピーク輝度が1000cd/m2であり、HDRコンテンツのピーク輝度よりは低いがDiffuse white輝度よりは高い。このため、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで線形的又は非線形的に圧縮するディスプレイ・マッピングを行なう。
また、ケース24の対象ディスプレイは、そのピーク輝度が3000cd/m2であり、HDRコンテンツのピーク輝度よりも高い。この場合、すべての輝度レベルにわたり、HDRコンテンツの輝度を保持する。あるいは、HDRコンテンツに対し、Diffuse white輝度以下の輝度レベルを保持しながら(若しくは、注目輝度以下の輝度は完全に保持し、注目輝度からDiffuse white輝度まではある程度保持しながら)、Diffuse white輝度以上の輝度信号についてはディスプレイのピーク輝度まで伸長するディスプレイ・マッピングを行なう。
なお、メタデータに基づいてHDRコンテンツをダイナミック・レンジ変換する方法の詳細については、例えば本出願人に既に譲渡されている特願2014−153320号明細書を参照されたい。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、UHD−BDなどのHDRコンテンツを再生表示する画像表示システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、例えばOTTなどのネット配信サービス、ディジタル放送サービスなど、HDRコンテンツを伝送し又は表示するさまざまなシステムに適用することができる。
本明細書では、SDR用のグラフィックス画像に対するディスプレイ・マッピングをシンク機器側で行なう実施形態を中心に説明してきたが、ソース機器側で実施するという実施形態も可能である。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像データのメタデータを取得するメタデータ取得部と、
画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理部と、を具備する画像処理装置。
(2)前記メタデータ取得部は、メタデータとして画像データにおいて基準とする白の輝度値を表すDiffuse white輝度を取得し、
前記処理部は、Diffuse white輝度に基づいてグラフィックス画像の輝度を調整する、
上記(1)に記載の画像処理装置。
(3)前記処理部は、Diffuse white輝度を、画像データを表示するディスプレイの基準輝度と比較し、いずれか大きい方の輝度情報に基づいてグラフィックス画像の輝度を調整する、
上記(2)に記載の画像処理装置。
(4)前記処理部は、前記メタデータ取得部が画像データのDiffuse white輝度を取得できないときは、前記ディスプレイの基準輝度に基づいてグラフィックス画像の輝度を調整する、
上記(3)に記載の画像処理装置。
(5)前記処理部は、Diffuse white輝度を、所定の輝度ダイナミック・レンジの基準輝度と比較し、いずれか大きい方の輝度情報に基づいてグラフィックス画像の輝度を調整する、
上記(2)に記載の画像処理装置。
(6)前記処理部は、前記メタデータ取得部が画像データのDiffuse white輝度を取得できないときは、前記所定の輝度ダイナミック・レンジの基準輝度に基づいてグラフィックス画像の輝度を調整する、
上記(5)に記載の画像処理装置。
(7)前記処理部が処理した後のグラフィックス画像を画像データと合成する合成部をさらに備える、
上記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)グラフィックス画像と合成した後の画像データの輝度ダイナミック・レンジが画像データを表示するディスプレイに適合するように調整するダイナミック・レンジ変換部をさらに備える、
上記(7)に記載の画像処理装置。
(9)前記メタデータ取得部は、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度又は画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度のうち少なくとも一方の情報をメタデータとして取得し、
前記ダイナミック・レンジ変換部は、Diffuse white輝度又は注目輝度を保持するように画像データの輝度ダイナミック・レンジを調整する、
上記(8)に記載の画像処理装置。
(10)前記メタデータ取得部は、画像データのピーク輝度の情報をメタデータとして取得し、
前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮する、
上記(8)に記載の画像処理装置。
(11)前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報をメタデータとして取得し、
前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、Diffuse white輝度以下の輝度を保持しながらピーク輝度からDiffuse white輝度までを圧縮する、
上記(8)に記載の画像処理装置。
(12)前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、
前記ダイナミック・レンジ変換部は、画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、注目輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮する、
上記(8)に記載の画像処理装置。
(13)前記メタデータ取得部は、画像データのピーク輝度の情報と、画像データにおいて基準とする白の輝度値を表すDiffuse white輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、
前記ダイナミック・レンジ変換部は、Diffuse white輝度が前記表示部のピーク輝度より大きいときには、画像データのピーク輝度を前記表示部のピーク輝度まで圧縮するとともに、ピーク輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮する、
上記(8)に記載の画像処理装置。
(14)画像データのメタデータを取得するメタデータ取得ステップと、
画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理ステップと、
を有する画像処理方法。
100…画像表示システム
200…ソース機器、201…記憶媒体、202…コンテンツ復号部
203…メタデータ処理部、204…UI部
205…グラフィック生成部
206…ダイナミック・レンジ(DR)変換部、207…画像合成部
208…ダイナミック・レンジ(DR)変換部、209…送信部
300…シンク機器、301…受信部、302…コンテンツ処理部
303…メタデータ処理部、304…コンテンツ受信部
305…コンテンツ復号部、306…メタデータ処理部
307…UI部、308…グラフィックス生成部
309…信号選択部、310…信号選択部
311…ダイナミック・レンジ(DR)変換部、312…画像合成部
313…ダイナミック・レンジ(DR)変換部、314…表示部
1001…電光線形変換部、1002…レンジ変換部
1003…非線形光電変換部、1004…色形式変換部
1101…レンジ変換部、1102…色形式変換部
1201…レンジ変換部
3000…BDプレイヤー、3001…CPU、3002…内部バス
3003…フラッシュROM、3004…SDRAM
3005…リモコン受信部、3006…リモコン送信機
3007…記憶媒体インターフェース、3008…BDドライブ
3009…HDD、3010…MPEGデコーダー
3011…グラフィック生成回路、3012…画像出力端子
3013…音声出力端子、3014…表示制御部
3015…パネル駆動回路、3016…表示パネル
3017…電源部、3018…SSD
3019…HDMI(登録商標)送信部
3019a…HDMI(登録商標)端子
4000…テレビ受信機、4001…アンテナ端子
4002…ディジタル・チューナー、4003…MPEGデコーダー
4004…画像信号処理回路、4005…グラフィック生成回路
4006…パネル駆動回路、4007…表示パネル
4008…音声信号処理回路、4009…音声増幅回路
4010…スピーカー、4011…内部バス
4012…CPU、4013…フラッシュROM
4014…SDRAM、4015…リモコン受信部
4016…リモコン送信機、4017…ワイヤレス送受信部
4018…表示制御部、4019…電源部
4020…HDMI(登録商標)受信部
4020a…HDMI(登録商標)端子

Claims (13)

  1. 画像データのメタデータを取得するメタデータ取得部と、
    画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理部と、
    を具備し、
    前記メタデータ取得部は、前記画像データにおいて基準となる白の輝度として定義されたDiffuse white輝度を前記画像データのメタデータとして取得し、
    前記処理部は、取得したDiffuse white輝度を、前記画像データを表示するディスプレイの基準輝度と比較し、いずれか大きい方の輝度情報に基づいて、第2の輝度ダイナミック・レンジを持つ前記グラフィックス画像を第1の輝度ダイナミック・レンジを持つグラフィックス画像に変換する、
    画像処理装置。
  2. 前記メタデータ取得部は、MPEGにおいて非圧縮画像データのダイナミック・レンジ変換定義情報として定義されているknee_function_info SEI(Supplemental Enhancement Information)に変換前ニー位置情報及び変換後ニー位置情報として格納されているDiffusewhite輝度の情報を取得する、
    請求項1に記載の画像処理装置。
  3. 前記処理部は、前記メタデータ取得部が前記画像データのDiffuse white輝度を取得できないときは、前記ディスプレイの基準輝度に基づいて、第2の輝度ダイナミック・レンジを持つ前記グラフィックス画像を第1の輝度ダイナミック・レンジを持つグラフィックス画像に変換する、
    請求項1に記載の画像処理装置。
  4. 前記処理部は、Diffuse white輝度を、所定の輝度ダイナミック・レンジの基準輝度と比較し、いずれか大きい方の輝度情報に基づいて、第2の輝度ダイナミック・レンジを持つ前記グラフィックス画像を第1の輝度ダイナミック・レンジを持つグラフィックス画像に変換する、
    請求項1に記載の画像処理装置。
  5. 前記処理部は、前記メタデータ取得部が前記画像データのDiffuse white輝度を取得できないときは、前記所定の輝度ダイナミック・レンジの基準輝度に基づいて、第2の輝度ダイナミック・レンジを持つ前記グラフィックス画像を第1の輝度ダイナミック・レンジを持つグラフィックス画像に変換する、
    請求項に記載の画像処理装置。
  6. 前記処理部が処理した後の第1の輝度ダイナミック・レンジを持つグラフィックス画像を前記第1の輝度ダイナミック・レンジを持つ前記画像データと合成する合成部をさらに備える、
    請求項1乃至のいずれかに記載の画像処理装置。
  7. グラフィックス画像と合成した後の前記画像データの輝度ダイナミック・レンジが前記画像データを表示するディスプレイに適合するように輝度ダイナミック・レンジを変換するダイナミック・レンジ変換部をさらに備える、
    請求項に記載の画像処理装置。
  8. 前記メタデータ取得部は、前記Diffuse white輝度又は前記画像データにおいて(シーン毎に)中心となり又は注目すべき物体の輝度値を表す注目輝度のうちすくなとも一方の情報をメタデータとして取得し、
    前記ダイナミック・レンジ変換部は、Diffuse white輝度又は注目輝度を保持するように前記合成した後の画像データの輝度ダイナミック・レンジを調整する、
    請求項7に記載の画像処理装置。
  9. 前記メタデータ取得部は、前記画像データのピーク輝度の情報をメタデータとして取得し、
    前記ダイナミック・レンジ変換部は、前記画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、前記画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮する、
    請求項に記載の画像処理装置。
  10. 前記メタデータ取得部は、前記画像データのピーク輝度の情報をメタデータとして取得し、
    前記ダイナミック・レンジ変換部は、前記画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、前記画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、Diffuse white輝度以下の輝度を保持しながらピーク輝度からDiffuse white輝度までを圧縮する、
    請求項に記載の画像処理装置。
  11. 前記メタデータ取得部は、前記画像データのピーク輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、
    前記ダイナミック・レンジ変換部は、前記画像データのピーク輝度が前記ディスプレイのピーク輝度より大きいときには、前記画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、注目輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮する、
    請求項8に記載の画像処理装置。
  12. 前記メタデータ取得部は、前記画像データのピーク輝度の情報と、画像データにおいて中心となり又は注目すべき物体の輝度値を表す注目輝度の情報をメタデータとして取得し、
    前記ダイナミック・レンジ変換部は、Diffuse white輝度が前記ディスプレイのピーク輝度より大きいときには、前記画像データのピーク輝度を前記ディスプレイのピーク輝度まで圧縮するとともに、ピーク輝度以下の輝度を保持しながらピーク輝度から注目輝度までを圧縮する、
    請求項に記載の画像処理装置。
  13. 画像データのメタデータを取得するメタデータ取得ステップと、
    画像データに重畳するグラフィックス画像をメタデータに基づいて処理する処理ステップと、
    を有し、
    前記メタデータ取得ステップでは、前記画像データにおいて基準となる白の輝度として定義されたDiffuse white輝度を前記画像データのメタデータとして取得し、
    前記処理ステップでは、取得したDiffuse white輝度を、前記画像データを表示するディスプレイの基準輝度と比較し、いずれか大きい方の輝度情報に基づいて、第2の輝度ダイナミック・レンジを持つ前記グラフィックス画像を第1の輝度ダイナミック・レンジを持つグラフィックス画像に変換する、
    画像処理方法。
JP2016547725A 2014-09-11 2015-06-04 画像処理装置及び画像処理方法 Expired - Fee Related JP6733547B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014185588 2014-09-11
JP2014185588 2014-09-11
PCT/JP2015/066257 WO2016038950A1 (ja) 2014-09-11 2015-06-04 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2016038950A1 JPWO2016038950A1 (ja) 2017-06-22
JP6733547B2 true JP6733547B2 (ja) 2020-08-05

Family

ID=55458713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547725A Expired - Fee Related JP6733547B2 (ja) 2014-09-11 2015-06-04 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (4) US9501855B2 (ja)
EP (1) EP3193326B1 (ja)
JP (1) JP6733547B2 (ja)
WO (1) WO2016038950A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
CN110489073B (zh) * 2014-06-10 2023-09-01 松下知识产权经营株式会社 变换方法及变换装置
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
JP2016062637A (ja) * 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生装置、および再生方法
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
US11176646B2 (en) * 2015-06-25 2021-11-16 Samsung Electronics Co., Ltd. HDR tone mapping methods with scene adaptive parameterized tone map function
EP3343933A1 (en) * 2015-08-24 2018-07-04 Sharp Kabushiki Kaisha Reception device, broadcast system, reception method, and program
US9767543B2 (en) * 2015-09-22 2017-09-19 Samsung Electronics Co., Ltd. Method and apparatus for enhancing images via white pop-out
JP6796757B2 (ja) * 2015-12-10 2020-12-09 パナソニックIpマネジメント株式会社 表示装置およびバックライトの制御方法
JP6700908B2 (ja) * 2016-03-30 2020-05-27 キヤノン株式会社 表示装置及び表示方法
JP2017198733A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 投射型表示装置および投射型表示システム
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
PL3745390T3 (pl) 2016-05-27 2024-03-04 Dolby Laboratories Licensing Corporation Przechodzenie pomiędzy priorytetem wideo a priorytetem grafiki
US10242427B2 (en) * 2016-07-29 2019-03-26 Massachusetts Institute Of Technology Deviation magnification: revealing departures from ideal geometries
JP6855205B2 (ja) * 2016-10-06 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像処理方法
US10216906B2 (en) 2016-10-24 2019-02-26 Vigilias LLC Smartphone based telemedicine system
CN108205512B (zh) * 2016-12-16 2021-08-13 佛山市顺德区顺达电脑厂有限公司 高解析多媒体界面装置及其控制方法
CN106791865B (zh) * 2017-01-20 2020-02-28 杭州当虹科技股份有限公司 基于高动态范围视频的自适应格式转换的方法
US11039045B2 (en) * 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
KR102435875B1 (ko) * 2017-07-21 2022-08-25 삼성디스플레이 주식회사 하이 다이내믹 레인지 영상 신호 처리를 위한 구동 회로 및 그것을 포함하는 표시 장치
US10504263B2 (en) 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
US20210337174A1 (en) * 2017-08-23 2021-10-28 Mitsubishi Electric Corporation Video content medium and video reproduction apparatus
JP6821269B2 (ja) * 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
CN108495108B (zh) * 2018-03-02 2019-11-05 深圳创维-Rgb电子有限公司 图像转换方法和装置、终端、存储介质
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
US10863157B2 (en) 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
JP2019040659A (ja) * 2018-08-07 2019-03-14 三菱電機株式会社 映像コンテンツ媒体
JP7083319B2 (ja) * 2019-04-16 2022-06-10 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11049228B2 (en) 2019-07-25 2021-06-29 Microsoft Technology Licensing, Llc Controlling display brightness when rendering composed scene-referred and output-referred content
JP7370762B2 (ja) * 2019-08-20 2023-10-30 キヤノン株式会社 撮像装置およびその制御方法
EP4050909A4 (en) 2019-10-23 2022-12-28 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND ARTIFICIAL INTELLIGENCE SYSTEM
JP2021124638A (ja) 2020-02-06 2021-08-30 キヤノン株式会社 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP7418233B2 (ja) * 2020-02-13 2024-01-19 キヤノン株式会社 表示装置、制御方法およびプログラム
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting
JP6861873B2 (ja) * 2020-06-18 2021-04-21 三菱電機株式会社 映像再生方法
US11657778B2 (en) 2021-09-10 2023-05-23 Dell Products L.P. On demand display source presentation at a partial display area

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317128B1 (en) * 1996-04-18 2001-11-13 Silicon Graphics, Inc. Graphical user interface with anti-interference outlines for enhanced variably-transparent applications
JP2001333350A (ja) 2000-03-15 2001-11-30 Sony Corp 画質調整方法および画質調整装置
KR100612831B1 (ko) 2002-04-25 2006-08-18 삼성전자주식회사 영상의 내용기술 메타데이터를 이용한 색온도 변환 방법및 시스템
JP2005318491A (ja) * 2004-03-30 2005-11-10 Seiko Epson Corp 画像データの色変換処理
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
JP2009081617A (ja) 2007-09-26 2009-04-16 Mitsubishi Electric Corp 画像データ処理装置および画像データ処理方法
JP2010087661A (ja) 2008-09-30 2010-04-15 Pioneer Electronic Corp 情報再生装置、情報再生方法、情報再生プログラムおよび情報再生プログラムを格納した記録媒体
JP5317825B2 (ja) * 2009-05-18 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2011053468A (ja) * 2009-09-02 2011-03-17 Sony Corp 映像/文字同時表示装置及び頭部装着型ディスプレイ
JP2011223054A (ja) 2010-04-02 2011-11-04 Canon Inc 画像処理装置および画像処理方法
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US10152951B2 (en) * 2011-02-28 2018-12-11 Varian Medical Systems International Ag Method and system for interactive control of window/level parameters of multi-image displays
EP2518719B1 (en) * 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
WO2013046096A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
JP6175810B2 (ja) * 2013-03-06 2017-08-09 セイコーエプソン株式会社 画像処理装置、プロジェクター及び画像処理方法
JP6528683B2 (ja) * 2013-07-12 2019-06-12 ソニー株式会社 再生装置、再生方法
KR102355046B1 (ko) * 2013-10-31 2022-01-25 에어로바이론먼트, 인크. 타겟영역의 원격 감지 영상을 디스플레이하는 대화형 무기 조준 시스템

Also Published As

Publication number Publication date
WO2016038950A1 (ja) 2016-03-17
US10032300B2 (en) 2018-07-24
US9665964B2 (en) 2017-05-30
US20170228908A1 (en) 2017-08-10
US20170018109A1 (en) 2017-01-19
US20180300921A1 (en) 2018-10-18
EP3193326A4 (en) 2018-03-28
US10402681B2 (en) 2019-09-03
US20160189409A1 (en) 2016-06-30
EP3193326A1 (en) 2017-07-19
US9501855B2 (en) 2016-11-22
JPWO2016038950A1 (ja) 2017-06-22
EP3193326B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
JP6733547B2 (ja) 画像処理装置及び画像処理方法
JP7018573B2 (ja) 輝度変換装置および輝度変換方法
JP6573237B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6512458B2 (ja) データ再生方法及び再生装置
JP6508634B2 (ja) 再生方法および再生装置
JP2017050840A (ja) 変換方法および変換装置
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP6868797B2 (ja) 変換方法及び変換装置
WO2017037971A1 (ja) 変換方法および変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R151 Written notification of patent or utility model registration

Ref document number: 6733547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees