JP6957332B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6957332B2
JP6957332B2 JP2017235996A JP2017235996A JP6957332B2 JP 6957332 B2 JP6957332 B2 JP 6957332B2 JP 2017235996 A JP2017235996 A JP 2017235996A JP 2017235996 A JP2017235996 A JP 2017235996A JP 6957332 B2 JP6957332 B2 JP 6957332B2
Authority
JP
Japan
Prior art keywords
display
image
correspondence
hdr
map information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017235996A
Other languages
English (en)
Other versions
JP2018117343A5 (ja
JP2018117343A (ja
Inventor
哲二 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/869,811 priority Critical patent/US10403233B2/en
Publication of JP2018117343A publication Critical patent/JP2018117343A/ja
Publication of JP2018117343A5 publication Critical patent/JP2018117343A5/ja
Application granted granted Critical
Publication of JP6957332B2 publication Critical patent/JP6957332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像処理装置および画像処理方法に関する。
近年、撮像センサの性能の向上、画像処理に関する技術の進歩、等に伴い、HDR画像データが普及し始めている。HDR画像データは、広いダイナミックレンジ(High Dynamic Range;HDR)に対応した画像データである。例えば、HDR画像データは、色深度が8ビットより大きい画像データである。ダイナミックレンジは、例えば、取られ得る階調値の範囲、取られ得る輝度の範囲、等である。
表示装置の性能の向上に伴い、高輝度な表示を実現する技術が提案され始めている。例えば、液晶表示装置のバックライト部の光源として使用されるLED(Light Emitting Diode)の性能の向上に伴い、バックライト部の発光輝度を制御することで高輝度な表示を実現可能な技術が提案され始めている。OLED(Organic
Light Emitting Diode;有機EL(Electro Luminescence)素子)を使用し、複数の画素のそれぞれについて高輝度な表示を個別に実現可能な技術も提案されている。
画像制作者は、例えば、高輝度な表示を実現可能な表示装置での表示を想定したHDR画像データを作成する際に、画面上において小サイズの白色画像が際立つように、HDR画像データを作成する。具体的には、画像制作者は、画面上において小サイズの白色画像が際立つように、フレーム間の輝度の変化、シーン間の輝度の変化、各フレームの最大輝度、各シーンの最大輝度、等を決定する。そして、今後は、高輝度な表示を実現可能な表示装置での表示を想定したHDR画像データの普及が見込まれている。
HDR画像データは、SMPTE ST2084、HLG(Hybird Log Gamma)方式、等の様々な方式の規格で生成される。HLGは、輝度値を相対的に扱う方式であり、従来のテレビジョン装置にも対応するガンマカーブで定義されている。SMPTE ST2084は、SMPTEで標準化されたHDRコンテンツの輝度情報収録方式である。SMPTE ST2084は、10000nitまでの輝度を絶対的に扱う方式である。SMPTE ST2084では、PQ(Perceptual Quantitize)カーブを使用して、階調値と輝度の対応関係が定義されている。SMPTE ST2084とHLGの特徴として、HDR画像データの輝度を表示装置の表示輝度として扱うことが挙げられる。
SMPTE ST2084の規格として、HDR10が定義されている。HDR10では、静的データであるメタデータとして、MaxCLL(Maximum Content Light Level)とMaxFALL(Maximum Frame Average Light Level)が付加されている。MaxCLLは、HDR画像データの最大輝度を定義したメタデータであり、MaxFALLは、HDR画像データの平均輝度を定義したメタデータである。HDR10のオーサリングガイドラインでは、1000nitを超える画像領域を、鏡面反射の画像領域のような小サイズの画像領域に限定することが規定されている。さらに、平均輝度が400nitを超えないことも規定されている。
さらに、HDR画像データの規格として、上述した規格ではない新たな規格が、カメラメーカ、ディスプレイメーカ、画像配信会社、等によって独自に定義され、そのような独
自の規格を用いてHDR画像データが生成されることも考えられる。
複数の規格、複数の方式、等があるHDR画像データは、例えば、ネットワークを用いてユーザに提供されたり、Blu−rayディスク等に記録されてユーザに提供されたりする。HDR画像データがユーザに提供される機会が増すと、表示装置でHDR画像データが表示される機会も増す。
複数の画像データに基づく複数の画像が表示装置の画面に並べて表示されることがある。画面に複数の画像を並べて表示するための技術は、例えば、特許文献1に開示されている。特許文献1に開示の技術では、複数の画像のそれぞれについて、画像データに対して施される画像処理が、表示サイズ(画面における画像のサイズ)に応じて変更される。複数の画像データは、従来のREC.709で定義された100nitを輝度の上限とするSDR(Standard Dynamic Range)画像データと、HDR画像データとを含むことがある。複数の画像データは、規格、輝度の上限、等が互いに異なる2つ以上のHDR画像データを含むこともある。そのような場合において、例えば、複数の画像データに対して、画像データの階調値と表示装置の表示輝度(画面の輝度)との対応関係が互いに異なる複数の画像処理がそれぞれ施される。
特開2009−5258号公報
しかしながら、特許文献1に開示の技術では、複数の画像データに複数の画像処理をそれぞれ施す必要があるため、画像処理の回路規模、画像処理の処理負荷、等が増してしまう。また、10000nitなどの高輝度な画像データを10000nitの表示輝度で常に表示すると、他の画像に対するユーザの視認が困難となることがある。
本発明は、簡易な構成で好適な表示輝度での表示を可能にする技術を提供することを目的とする。
本発明の第1の態様は、
複数の画像から構成される表示画像データを生成する生成手段と、
前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像データの階調値と表示輝度との対応関係を決定する決定手段と、
前記表示画像データと前記対応関係を示す情報とを表示手段に出力する出力手段と、を備え、
前記決定手段は、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
ことを特徴とする画像処理装置である。
本発明の第2の態様は、
複数の画像から構成される表示画像データを生成する生成手段と、
前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像データの階調値と表示輝度との対応関係を決定するステップと、
前記表示画像データと前記対応関係を示す情報とを表示手段に出力するステップと、を有し、
前記対応関係を決定するステップでは、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
ことを特徴とする画像処理方法である。
本発明の第3の態様は、上述した画像処理方法の各ステップをコンピュータに実行させ
るためのプログラムである。
本発明の第4の態様は、
複数の画像から構成される表示画像のデータを生成する生成手段と、
前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像のデータの階調値と表示輝度との対応関係を決定する決定手段と、
前記対応関係で前記表示画像のデータに基づく画像を表示する表示手段と、
を備え、
前記決定手段は、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
ことを特徴とする表示装置である。
本発明は、簡易な構成で好適な表示輝度での表示が可能となる。
実施例1に係る画像処理装置の構成例 実施例1に係るHDRフラグ生成部の処理フローの一例 実施例1に係るレイアウト部の処理の一例 実施例1に係る表示対応関係の一例 実施例1に係る表示装置の表示状態の一例 実施例2に係る表示装置の表示状態の一例 実施例2に係る画像処理装置の構成例 実施例2に係る表示トーンマップ情報決定部の処理フローの一例 実施例2に係る表示装置の表示状態の一例 実施例3に係る表示装置の構成例 実施例3に係るHDR対応関係の一例 実施例3に係る、上限表示輝度と外光照度の対応関係の一例 実施例3に係る、上限表示輝度とバッテリー残量の対応関係の一例 実施例4に係る画像処理装置の構成例 実施例4に係る画像処理装置の処理フローの一例
<実施例1>
以下、本発明の実施例1について説明する。以下では、本実施例に係る画像処理装置が表示装置とは別体の装置である例を説明する。画像処理装置は、例えば、パーソナルコンピュータ(PC)、再生装置(例えば、ブルーレイプレーヤ)、サーバ装置、等である。表示装置は、例えば、液晶表示装置、有機EL(Electro Luminescence)表示装置、プラズマ表示装置、MEMS(Micro Electro Mechanical System)シャッタ方式表示装置、プロジェクタ、等である。なお、画像処理装置と表示装置が一体化されていてもよい。画像処理装置を有する表示装置は、例えば、スマートフォン、タブレット端末、ノート型のPC、テレビジョン装置、等である。
図1は、本実施例に係る画像処理装置100の構成例を示すブロック図である。画像処理装置100は、画像入力部101、デコーダ102、画像記憶部103、メタデータ解析部104、操作部105、レイアウト部106、レイアウト検出部107、及び、ED
ID取得部108を有する。さらに、画像処理装置100は、HDRフラグ生成部109、表示トーンマップ情報決定部110、表示トーンマップ情報描画部111、及び、画像出力部112を有する。
画像処理装置100は、1以上の画像を含む表示画像データを生成し、表示画像データの階調値と表示装置500の表示輝度との対応関係である表示対応関係を決定する。画像処理装置100は、表示画像データと、表示対応関係を示す情報(トーンマップ情報;表示トーンマップ情報)とを、表示装置500へ出力する。表示トーンマップ情報は、例えば、表示対応関係に対応する上限表示輝度の情報、表示対応関係を示す関数、表示対応関係を示すテーブル、表示対応関係を示す識別子、等である。表示装置500は、表示トーンマップ情報(表示対応関係)に従い、表示画像データに基づく画像を画面に表示する。
画像処理装置100は、クラウドコンピューティングを利用して、クラウド(サーバ装置など)10に接続することができる。また、画像処理装置100には、有線または無線で表示装置500が接続されている。例えば、Display Port、HDMI(High−Definition Multimedia Interface)、等の規格で画像処理装置100と表示装置500が互いに接続されている。本実施例では、表示装置500の表示輝度(画面の輝度)の上限は、2000nitである。なお、上限表示輝度(表示輝度の上限)は特に限定されない。上限表示輝度は、2000nitより高くてもよいし、2000nitより低くてもよい。
画像入力部101は、画像処理装置100の外部から画像データ(入力画像データ)を取得し、入力画像データをデコーダ102へ出力する。本実施例では、画像入力部101は、クラウド10から入力画像データを取得する。画像入力部101は、様々なデータフォーマット(方式、規格、等)の入力画像データを取得することができる。
本実施例では、入力画像データは、広いダイナミックレンジ(ハイダイナミックレンジ;High Dynamic Range;HDR)に対応したHDR画像データである。例えば、HDR画像データは、高輝度な表示を実現可能な表示装置での表示を想定した画像データである。ダイナミックレンジは、例えば、取られ得る階調値の範囲、取られ得る輝度の範囲、等である。本実施例では、HDR画像データは、SMPTE ST2084規格で規定されたデータ形式の画像データであるとする。そして、データ輝度(画像(画像データ)の輝度;画像データで想定されている輝度)に関する情報が、メタデータとしてHDR画像データに付加されているとする。また、入力画像データは、階調値が10ビットの値(0〜1023)で記述されたHDR画像データであるとする。
なお、入力画像データのデータフォーマットは特に限定されない。HDR画像データはST 2084に準拠していなくてもよいし、HDR画像データにメタデータが付加されていなくてもよい。例えば、HDR画像データは、Hybrid Log Gamma方式で規定されたデータ形式の画像データであってもよい。HDR画像データにのみメタデータが付加されていてもよいし、そうでなくてもよい。HDR画像データの階調値のビット数は、10ビットより多くてもよいし、10ビットより少なくてもよい。例えば、HDR画像データの階調値は12ビットの値であってもよい。また、入力画像データは、HDR画像データでなくてもよい。入力画像データは、静止画データであってもよいし、動画データであってもよい。
なお、入力画像データの取得方法は特に限定されない。例えば、画像入力部101は、クラウドコンピューティングを利用せずに入力画像データを取得してもよい。画像入力部101は、画像処理装置100(画像入力部101)に接続された、再生装置、記憶装置(ハードディスクドライブ、ソリッドステートドライブ、等)、等から入力画像データを
取得してもよい。画像入力部101は、ケーブルを介して外部装置から入力画像データを取得してもよいし、無線で外部装置から入力画像データを取得してもよい。記録媒体(光学ディスク、メモリーカード、等)から入力画像データを読み出し可能な読み出し部(ブルーレイドライブ、メモリーカードリーダ、等)を画像処理装置100が有してもよい。そして、画像入力部101が読み出し部を介して記録媒体から入力画像データを取得してもよい。
デコーダ102は、画像入力部101から出力された入力画像データのデコードを行う。一例として、HDMIなどの規格で入力画像データが取得された場合を考える。この場合には、デコーダ102は、TMDS(Transition Minimized Differential Signaling)の信号を、RGBデータ、YCbCrデータ、等の画像データに変換する処理を行う。さらに、デコーダ102は、画像入力部101から出力された入力画像データに付加されているメタデータを、当該入力画像データから抽出する。そして、デコーダ102は、メタデータをメタデータ解析部104へ出力し、デコード後の入力画像データをレイアウト部106へ出力する。
画像記憶部103は、画像データを記憶する。画像記憶部103は、例えば、磁気ディスク、光学ディスク、半導体メモリ、等である。画像記憶部103は、画像処理装置100に内蔵されていてもよいし、画像処理装置100に対して着脱可能であってもよい。画像記憶部103は、様々なデータフォーマット(方式、規格、等)の画像データを記憶することができる。
本実施例では、画像記憶部103は、HDR画像データ、HDR画像データよりもダイナミックレンジが狭いSDR(Standard Dynamic Range)画像データ、等を記憶している。SDR画像データは、例えば、従来のREC.709で定義された100nitを上限データ輝度(データ輝度の上限)とする画像データである。画像データは、それぞれ画像処理装置100が実行したアプリケーションに対応するウィンドウであってもよい。例えば、HDRで画像を表示するためのアプリケーションに対応するHDRウィンドウや、SDRで画像を表示するためのアプリケーションに対応するSDRウィンドウである。
本実施例では、レイアウト部106は、画像処理装置100(操作部105)に対してユーザが行った操作に応じて、画像記憶部103から画像データ(記憶画像データ)を読み出す。そして、メタデータ解析部104は、画像記憶部103から読み出された記憶画像データにメタデータが付加されている場合に、当該メタデータを画像記憶部103から読み出す。
なお、記憶画像データのデータフォーマットは特に限定されない。例えば、画像記憶部103は、HDR画像データとSDR画像データの少なくとも一方を記憶していなくてもよい。記憶画像データは、静止画データであってもよいし、動画データであってもよい。
メタデータ解析部104は、メタデータ(デコーダ102から出力されたメタデータ、または、画像記憶部103から読み出したメタデータ)を解析することにより、データ対応関係を示す情報(トーンマップ情報;データトーンマップ情報)を取得する。データ対応関係は、画像データの階調値とデータ輝度との対応関係である。データトーンマップ情報は、例えば、上限データ輝度の情報、データ対応関係を示す関数、データ対応関係を示すテーブル、データ対応関係を示す識別子、等である。メタデータ解析部104は、得られたデータトーンマップ情報を表示トーンマップ情報決定部110へ出力する。
本実施例では、上限データ輝度を示す情報がメタデータに含まれており、上限データ輝
度の情報がデータトーンマップ情報として得られる。具体的には、メタデータ解析部104は、入力画像データのメタデータを解析することにより、入力画像データの上限データ輝度を示すデータトーンマップ情報を取得する。メタデータ解析部104は、記憶画像データのメタデータを解析することにより、記憶画像データの上限データ輝度を示すデータトーンマップ情報を取得する。
なお、データトーンマップ情報の取得方法は特に限定されない。例えば、メタデータ解析部104は、画像データ(各階調値)を解析することにより、当該画像データのデータトーンマップ情報を取得してもよい。
操作部105は、画像処理装置100(操作部105)に対してユーザが行う操作を受け付け、行われた操作に応じた操作情報を出力する。例えば、操作部105は、表示画像データにおける画像(入力画像データによって表された入力画像、記憶画像データによって表された記憶画像、等)のレイアウトに関するレイアウト操作を受け付ける。そして、操作部105は、行われたレイアウト操作に応じて操作情報を、レイアウト部106とレイアウト検出部107へ出力する。
レイアウト操作は、例えば、表示対象の画像データ(入力画像データ、記憶画像データ、等)を選択する操作、表示された画像(入力画像、記憶画像、等)のサイズを変更する操作、表示された画像の位置を変更する操作、等である。また、レイアウト操作は、画像(入力画像、記憶画像、等)が表示されるウィンドウのサイズを変更する操作、ウィンドウの位置を変更する操作、等でもある。
操作部105は、例えば、マウス、キーボード、等である。なお、操作部105は、画像処理装置100に対して着脱可能であってもよいし、画像処理装置100に対して着脱可能でなくてもよい。操作部105は、画像処理装置100に設けられたボタン、画像処理装置100に設けられたタッチパネル、等であってもよい。操作部105は、操作情報を無線で画像処理装置100へ出力するリモートコントローラであってもよい。
レイアウト部106は、表示画像データを生成する。本実施例では、レイアウト部106は、操作部105から出力された操作情報に従って、入力画像データ、記憶画像データ、等を必要に応じて用いて、表示画像データを生成する。本実施例では、例えば、画像(入力画像、記憶画像、等)が配置されていない表示画像データ、1つ以上の画像が配置されている表示画像データ、全画面表示されるように1つ画像が配置されている表示画像データ、等が生成される。そして、レイアウト部106は、表示画像データを表示トーンマップ情報決定部110へ出力する。
本実施例では、表示画像データにおける画像(入力画像、記憶画像、等)のレイアウトは、操作情報に応じて決まる。なお、レイアウトの決定方法は特に限定されない。例えば、レイアウト部106は、表示対象の画像データの種類(医療画像、風景画、イラスト画像、グラフ、等)、画像処理装置100の動作モード(表示モード)、等に応じてレイアウトを決定してもよい。
レイアウト検出部107は、レイアウト部106から出力された表示画像データにおける画像のレイアウトを検出(確認)し、検出結果であるレイアウト情報をHDRフラグ生成部109へ出力する。上述したように、本実施例では、表示画像データにおける画像のレイアウトは、操作情報に応じて決まる。そのため、レイアウト検出部107は、操作部105からレイアウト検出部107への操作情報の出力に応じて、レイアウトの確認を行う。
なお、レイアウトの検出方法、レイアウト情報の生成方法、等は特に限定されない。例えば、レイアウト検出部107は、表示画像データを解析することにより、レイアウトを検出してもよい。レイアウトの検出、レイアウト情報の生成、等において、操作情報、データトーンマップ情報、等が使用されてもよい。レイアウトの検出が行われるタイミングも特に限定されない。例えば、レイアウト検出部107は、レイアウト部106から出力された表示画像データを解析し、表示画像データの変化が検出されたタイミングでレイアウトの検出を行ってもよい。レイアウト検出部107は、所定時間おきにレイアウトの検出を行ってもよい。
EDID取得部108は、画像処理装置100の外部から表示装置500のEDID(Extended Display Identification Data)を取得する。そして、EDID取得部108は、表示装置500の表示性能に関する表示性能情報をEDIDに基づいて生成し、表示性能情報をHDRフラグ生成部109へ出力する。表示装置500の表示性能情報は、例えば、表示装置500の上限表示輝度の情報、HDRに対応しているか否かの情報、表示装置500が表示可能な輝度の範囲の情報、表示装置500が使用可能な表示対応関係の情報、等である。
本実施例では、EDID取得部108は、画像出力部112を介して表示装置500から、表示性能情報を含むEDIDを取得し、EDIDから表示性能情報を抽出する。なお、表示性能情報の取得方法は特に限定されない。例えば、EDID取得部108は、EDIDに基づいて、EDIDに含まれている情報とはデータフォーマットが異なる表示性能情報を生成してもよい。画像出力部112を介さずにEDIDを取得するための伝送路が使用されてもよい。EDID取得部108は、EDIDを取得せずに、表示性能情報を画像処理装置100の外部から取得してもよい。EDID取得部108は、表示装置500とは異なる装置(サーバ装置など)から表示性能情報を取得してもよい。表示性能情報は、画像処理装置100に予め記録されていてもよい。
HDRフラグ生成部109は、レイアウト検出部107から出力されたレイアウト情報、EDID取得部108から出力された表示性能情報、等に基づいて、HDRフラグを生成する。そして、HDRフラグ生成部109は、HDRフラグを表示トーンマップ情報決定部110へ出力する。HDRフラグは、表示トーンマップ情報(表示対応関係)に対応するフラグである。
表示トーンマップ情報決定部110は、レイアウト部106から出力された表示画像データが含む1以上の画像(入力画像、記憶画像、等)のレイアウトに基づいて、表示装置500の画面内で共通の(1つの)表示対応関係を決定する。本実施例では、レイアウト(レイアウト情報)に基づいてHDRフラグが生成される。表示トーンマップ情報決定部110は、HDRフラグ生成部109から出力されたHDRフラグに基づいて、表示トーンマップ情報(表示対応関係)を決定する。そして、表示トーンマップ情報決定部110は、表示画像データ、表示トーンマップ情報、及び、メタデータ解析部104から出力されたデータトーンマップ情報を互いに関連付けて表示トーンマップ情報描画部111へ出力する。
次に、表示対応関係(表示トーンマップ情報)の具体例について、図4(A)〜4(C)を用いて説明する。図4(A)はHDR対応関係(HDRトーンマップ情報)の一例を示し、図4(B),4(C)はSDR対応関係(SDRトーンマップ情報)の一例を示す。図4(A)〜4(C)において、縦軸は表示輝度を示し、横軸は表示画像データの階調値を示す。
図4(A)のHDR対応関係では、0から1023までの階調値の増加に対して、0n
itから2000nitまで表示輝度が線形に増加する。図4(A)のHDR対応関係では、上限表示輝度は2000nitである。一方、図4(B),4(C)のSDR対応関係では、上限表示輝度は100nitである。図4(B)のSDR対応関係では、0から所定値までの階調値の増加に対して、0nitから100nitまで表示輝度が線形に増加する。そして、所定値以上の階調値に対して、100nitの表示輝度が対応付けられている。図4(C)のSDR対応関係では、0から1023までの階調値の増加に対して、0nitから100nitまで表示輝度が線形に増加する。すなわち、HDR対応関係では、画像データに対応する表示輝度の上限値が、SDR対応関係よりも高い。
なお、表示対応関係は、図4(A)〜4(C)の表示対応関係に限られない。例えば、表示対応関係では、階調値の範囲の一部または全部において、階調値の変化に対して表示輝度が非線形に変化してもよい。
本実施例では、表示トーンマップ情報決定部110は、HDRフラグが1の場合に、HDR対応関係(第1対応関係)を表示対応関係として決定する。具体的には、表示トーンマップ情報決定部110は、HDRフラグが1の場合に、HDR対応関係に対応するHDRトーンマップ情報を表示トーンマップ情報として決定する。本実施例では、HDRトーンマップ情報(HDR対応関係)に対応する上限表示輝度は、HDR画像データの上限データ輝度と略等しい。具体的には、HDRトーンマップ情報は、メタデータ解析部104から出力された、HDR画像データのデータトーンマップ情報である。データトーンマップ情報を表示トーンマップ情報として使用する場合には、データトーンマップ情報に対応するデータ対応関係が表示対応関係として扱われ、データトーンマップ情報に対応するデータ輝度が表示輝度として扱われる。そのため、HDRトーンマップ情報に対応する上限表示輝度は、HDR画像データの上限データ輝度と等しい。
なお、HDRトーンマップ情報は、HDR画像データのデータトーンマップ情報と異なっていてもよい。例えば、HDRトーンマップ情報に対応する上限表示輝度は、HDR画像データの上限データ輝度と異なっていてもよい。HDRトーンマップ情報は、予め定められていてもよい。表示トーンマップ情報決定部110は、表示装置500が表示可能な輝度の範囲に応じて、HDRトーマップ情報に対応する上限表示輝度を決定してもよい。例えば、表示装置500の上限表示輝度が、HDRトーマップ情報に対応する上限表示輝度として決定されてもよい。
本実施例では、表示トーンマップ情報決定部110は、HDRフラグが0の場合に、HDR対応関係と表示輝度の範囲が異なるSDR対応関係(第2対応関係)を表示対応関係として決定する。具体的には、表示トーンマップ情報決定部110は、HDRフラグが0の場合に、SDR対応関係に対応するSDRトーンマップ情報を表示トーンマップ情報として決定する。SDRトーンマップ情報(SDR対応関係)に対応する上限表示輝度は、HDRトーンマップ情報に対応する上限表示輝度よりも低い。例えば、SDRトーンマップ情報に対応する上限表示輝度は、従来のREC.709で定義された100nitである。
表示トーンマップ情報描画部111は、表示トーンマップ情報決定部110によって決定された表示対応関係をユーザに通知する。具体的には、表示トーンマップ情報描画部111は、表示トーンマップ情報決定部110から出力された表示トーンマップ情報とデータトーンマップ情報に基づいて、グラフィック画像データを生成する。グラフィック画像データによって表されたグラフィック画像は、表示画像データにおいて配置された画像のデータ対応関係、表示対応関係、等を示す。そして、表示トーンマップ情報描画部111は、表示トーンマップ情報決定部110から出力された表示画像データにグラフィック画像データを合成する。その後、表示トーンマップ情報描画部111は、合成後の表示画像
データと表示トーンマップ情報とを互いに関連付けて画像出力部112へ出力する。
本実施例では、合成後の表示画像データに基づく画像が表示装置500で表示される。そのため、上記グラフィック画像が表示装置500の画面に表示され、表示対応関係、データ対応関係、等がユーザに通知される。なお、表示対応関係の通知方法、データ対応関係の通知方法、等は特に限定されない。例えば、音声の出力、ランプの点灯、等によってユーザへの通知が実現されてもよい。表示対応関係の通知とデータ対応関係の通知との少なくとも一方が行われなくてもよい。例えば、表示トーンマップ情報描画部111は、表示トーンマップ情報決定部110から出力された表示画像データをそのまま画像出力部112へ出力してもよい。グラフィック画像は、常に表示されてもよいし、一時的に表示されてもよい。例えば、表示トーンマップ情報描画部111は、表示対応関係、レイアウト、等が変化したタイミングから所定時間だけグラフィック画像が表示されるように、グラフィック画像データの合成を行ってもよい。
画像出力部112は、表示トーンマップ情報描画部111から出力された表示画像データと表示トーンマップ情報を、表示装置500へ出力する。本実施例では、画像出力部112は、表示画像データのデータフォーマットと表示トーンマップ情報のデータフォーマットとを、所定のデータフォーマットへ変換する。所定のデータフォーマットは、例えば、Display Port、HDMI(High−Definition Multimedia Interface)、等の規格に準拠したデータフォーマットである。そして、画像出力部112は、データフォーマットが変換された後の表示画像データと、データフォーマットが変換された後の表示トーンマップ情報とを、表示装置500へ出力する。
なお、画像出力部112は、表示画像データと表示トーンマップ情報を個別に出力してもよいし、表示トーンマップ情報が付加された表示画像データを出力してもよい。画像出力部112は、他の装置を介して表示装置500へ表示画像データと表示トーンマップ情報を出力してもよい。画像出力部112は、記憶装置に表示画像データと表示トーンマップ情報を記録してもよい。そして、表示装置500は、記憶装置から表示画像データと表示トーンマップ情報を読み出してもよい。
次に、HDRフラグ生成部109の処理フローの一例について、図2を用いて説明する。図2は、HDRフラグ生成部109の処理フローの一例を示すフローチャートである。図2の処理フローは、例えば、画像処理装置100(画像処理装置100のOS(Operating System)が起動したタイミングで開始される。
まず、S201にて、HDRフラグ生成部109は、HDRフラグFを0に初期化する。そのため、本実施例では、画像処理装置100の起動時に、表示トーンマップ情報決定部110は、レイアウトによらず、SDRトーンマップ情報を表示トーンマップ情報として決定する。それにより、表示装置500において、SDRトーンマップ情報に基づく表示が行われる。その結果、HDRトーンマップ情報に基づく表示が初めから行われることを抑制することができ、高輝度な表示が初めから行われることを抑制することができる。
次に、S202にて、HDRフラグ生成部109は、EDID取得部108から出力された表示性能情報に応じて、表示装置500がHDRトーンマップ情報に基づく表示を行えるか否かを判断する。例えば、表示装置500の上限表示輝度が輝度閾値Th_L1よりも高い場合に、HDRフラグ生成部109は、表示装置500がHDRトーンマップ情報に基づく表示を行えると判断する。そして、表示装置500の上限表示輝度が輝度閾値Th_L1以下である場合に、HDRフラグ生成部109は、表示装置500がHDRトーンマップ情報に基づく表示を行えないと判断する。輝度閾値Th_L1は、例えば、1
000nit、従来のREC.709で定義された100nit、等である。
表示装置500がHDRトーンマップ情報に基づく表示を行えると判断されるまで、S202の処理が繰り返される。そして、表示装置500がHDRトーンマップ情報に基づく表示を行えると判断された場合に、S203へ処理が進められる。本実施例では、表示装置500がHDRトーンマップ情報に基づく表示を行えない場合には、表示トーンマップ情報決定部110は、レイアウトによらず、SDRトーンマップ情報を表示トーンマップ情報として決定する。具体的には、S201にてHDRフラグFが0に初期化されるため、表示装置500がHDRトーンマップ情報に基づく表示を行えない場合には、表示トーンマップ情報であるSDRトーンマップ情報が維持される。それにより、表示装置500において、SDRトーンマップ情報に基づく表示が維持される。その結果、HDRトーンマップ情報に基づく表示を行えない表示装置500でHDRトーンマップ情報が使用されることを抑制することができる。そして、HDRトーンマップ情報に基づく表示を行えない表示装置500でHDRトーンマップ情報が使用されることに起因した表示の劣化を抑制することができる。
S203にて、HDRフラグ生成部109は、レイアウト検出部107からのレイアウト情報の出力を待つ。レイアウト検出部107からレイアウト情報が出力されるまで、S203の処理が繰り返される。そして、レイアウト検出部107からレイアウト情報が出力された場合に、S204へ処理が進められる。
本実施例では、レイアウト検出部107は、レイアウト操作が行われた場合にレイアウト情報を生成して出力する。即ち、レイアウト検出部107は、表示画像データにおける画像のレイアウトが変更された場合にレイアウト情報を生成して出力する。生成されたレイアウト情報は、不図示のレジスタに記録され、レジスタに記録されたレイアウト情報は、レイアウトの変更の度に更新される。そして、S204〜S209の処理を少なくとも含む処理により、表示トーンマップ情報が更新される。そのため、本実施例では、レイアウトの変更に応じて、表示トーンマップ情報を更新する処理が行われる。
本実施例では、レイアウト情報は、以下の情報I1〜I3を含む。

(I1)HDR画像データによって表されたHDR画像が表示画像データにおいて配置されているか否かを示すHDR有無情報
(I2)HDR画像を表示するためのアプリケーション(HDRアプリケーション)が起動中か否かを示すアプリケーション状態情報
(I3)表示画像データにおいて配置されているウィンドウに関するウィンドウ情報
ウィンドウ情報は、ウィンドウの識別子、ウィンドウの状態を示す情報、及び、表示画像データにおけるウィンドウサイズ(ウィンドウのサイズ)を示す情報を含む。本実施例では、ウィンドウの状態は、当該ウィンドウが選択されている選択状態(アクティブ状態)と、当該ウィンドウが選択されていない非選択状態(非アクティブ状態)との間で切り替え可能である。「表示画像データにおいて配置されているウィンドウ」は、「表示画像データにおいて配置されている画像」と読み替えることができる。
なお、レイアウト検出部107は、HDR画像データを表示するためのアプリケーション(HDRアプリケーション)が起動中にのみ動作してもよい。その場合には、HDRフラグ生成部109がレイアウト情報を取得できる状態は、HDRアプリケーションが起動中の状態であり、HDR画像データが表示できる状態である。
なお、レイアウト情報は、上記情報に限られない。レイアウト情報は、HDR有無情報、アプリケーション状態情報、及び、ウィンドウ情報の少なくともいずれかを含んでいなくてもよい。レイアウト情報は、他の情報を含んでいてもよい。例えば、レイアウト情報は、表示画像データにおいて配置されている画像の数の情報、表示画像データにおいて配置されている画像の位置の情報、等を含んでいてもよい。
S204にて、HDRフラグ生成部109は、S203で取得したレイアウト情報(HDR有無情報)に応じて、HDR画像が表示画像データにおいて配置されているか否かを判断する。そのため、S204の判断が行われる。HDR画像が配置されていると判断された場合にはS205へ処理が進められ、HDR画像が配置されていないと判断された場合にはS209へ処理が進められる。
S205にて、HDRフラグ生成部109は、S203で取得したレイアウト情報(アプリケーション状態情報)に応じて、HDRアプリケーションが起動中か否かを判断する。HDRアプリケーションが起動中であると判断された場合には、S206へ処理が進められ、HDRアプリケーションが起動中でないと判断された場合には、S209へ処理が進められる。なお、S205の処理は省略されてもよい。
S206にて、HDRフラグ生成部109は、S203で取得したレイアウト情報(ウィンドウ情報)に応じて、状態がアクティブ状態であり且つ全画面表示されるように配置されているHDRウィンドウが存在するか否かを判断する。HDRウィンドウは、HDR画像を表示するウィンドウである。状態がアクティブ状態であり且つ全画面表示されるように配置されているHDRウィンドウが存在すると判断された場合には、S208へ処理が進められる。状態がアクティブ状態であり且つ全画面表示されるように配置されているHDRウィンドウが存在しないと判断された場合には、S207へ処理が進められる。全画面表示において、ウィンドウの枠が表示されてもよいし、ウィンドウの枠が表示されなくてもよい。
S207にて、HDRフラグ生成部109は、S203で取得したレイアウト情報(ウィンドウ情報)に応じて、状態がアクティブ状態であり且つウィンドウサイズがサイズ閾値Th_Sよりも大きいHDRウィンドウが存在するか否かを判断する。状態がアクティブ状態であり且つウィンドウサイズがサイズ閾値(所定のサイズ)Th_Sよりも大きいHDRウィンドウが存在すると判断された場合には、S208へ処理が進められる。状態がアクティブ状態であり且つウィンドウサイズがサイズ閾値Th_Sよりも大きいHDRウィンドウが存在しないと判断された場合には、S209へ処理が進められる。サイズ閾値Th_Sは、例えば、表示装置500の画面のサイズの70%に対応するサイズである。
S208にて、HDRフラグ生成部109は、HDRフラグF=1を決定する。S209にて、HDRフラグ生成部109は、HDRフラグF=0を決定する。S208またはS209の次に、S210にて、HDRフラグ生成部109は、S208またはS209で決定されたHDRフラグFを、表示トーンマップ情報決定部110へ出力する。その後、S203へ処理が戻される。HDRフラグ生成部109からHDRフラグF=0が出力されると、表示トーンマップ情報決定部110は、SDRトーンマップ情報を表示トーンマップ情報として決定する。それにより、表示装置500において、SDRトーンマップ情報に基づく表示が行われる。HDRフラグ生成部109からHDRフラグF=1が出力されると、表示トーンマップ情報決定部110は、HDRトーンマップ情報を表示トーンマップ情報として決定する。本実施例では、後述する特定画像のデータトーンマップ情報が表示トーンマップ情報として決定される。それにより、表示装置500において、HDRトーンマップ情報に基づく表示が行われる。
図2の処理フローによれば、表示画像データにおいて配置されている画像として、レイアウトに関する所定の条件を満たす特定画像が存在する場合に、HDRフラグF=1が設定されて、HDRトーンマップ情報が表示トーンマップ情報として決定される。そして、特定画像が存在しない場合に、HDRフラグF=0が設定されて、SDRトーンマップ情報が表示トーンマップ情報として決定される。本実施例では、上記所定の条件は、以下の条件C1,C2を含む。また、本実施例では、HDR画像(所定の種類の画像)のみが特定画像となり得るため、特定画像の条件は、以下の条件C3を含む。そして、以下の条件C1〜C3の全てを満たす画像が、特定画像として扱われる。本実施例では、アクティブ状態の画像が最前面に配置されるため、条件C2は、「画像が最前面に配置されている」とも言える。また、上限データ輝度が輝度閾値Th_L2よりも高い画像がHDR画像(所定の種類の画像)とみなされるため、条件C3は、「画像の種類が所定の種類である」とも言える。そして、「全画面表示されるように画像が配置されている」という条件は、「表示画像データが1種類の画像のみから構成されている」とも言える。

(C1)表示画像データにおける画像サイズ(画像のサイズ)がサイズ閾値Th_Sよりも大きい、または、全画面表示されるように画像が配置されている。
(C2)画像の状態がアクティブ状態である。
(C3)上限データ輝度が輝度閾値Th_L2よりも高い。
本実施例では、アクティブ状態の画像にユーザが注目する可能性が高いため、条件C1を用いている。また、サイズが大きい画像にユーザが注目する可能性が高いため、条件C2を用いている。そして、ユーザが注目する可能性の高いHDR画像は、HDRトーンマップ情報に従って表示されることが好ましい。そのため、本実施例では、条件C1〜C3を満たす特定画像が存在する場合に、HDRフラグF=1が設定されて、HDRトーンマップ情報が表示トーンマップ情報として決定される。
なお、特定画像の条件は、上記条件に限られない。例えば、特定画像の条件は、条件C1〜C3のいずれかを含んでいなくてもよい。特定画像の条件は、表示画像データにおける画像サイズがサイズ閾値Th_Sよりも大きいという条件と、全画面表示されるように画像が配置されているという条件との少なくとも一方を含んでいなくてもよい。画面の中央部などの所定部に表示される画像にユーザが注目する可能性が高いため、特定画像の条件は、表示画像データにおいて所定部に画像が配置されている、という条件を含んでいてもよい。
なお、表示トーンマップ情報の決定方法は、上記方法に限られない。例えば、S206の処理とS207の処理との一方が省略されてもよい。具体的には、表示画像データが含む複数の画像のうち、最前面に配置され、かつ、所定のサイズよりも大きい画像が、HDR画像である場合に、HDRトーンマップ情報が表示トーンマップ情報として決定されてもよい。そして、そうでない場合に、SDRトーンマップ情報が表示トーンマップ情報として決定されてもよい。また、表示画像データがHDR画像のみから構成される場合に、HDRトーンマップ情報が表示トーンマップ情報として決定され、そうでない場合に、SDRトーンマップ情報が表示トーンマップ情報として決定されてもよい。
表示画像データにおいて配置されている画像の数が多い場合には、ユーザが複数の画像に注目する可能性が高い。そして、そのような場合において、HDRトーンマップ情報に応じた表示が行われると、ユーザが注目する画像が必要以上に高い輝度で表示されることがある。そのため、表示画像データにおいて配置されている画像の数が数閾値(所定の数)よりも多い場合に、レイアウト(特定画像が存在するか否か)によらず、SDRトーン
マップ情報が表示トーンマップ情報として決定されてもよい。数閾値は、1以上の整数である。
次に、レイアウト部106の処理の具体例について図3を用いて説明する。本実施例では、レイアウト部106は、複数の画像を合成して表示画像データを生成することが可能である。図3の符号301〜303は、レイアウト部106によって合成される複数のプレーン(複数の画像)を示し、符号304は、合成後のプレーン(表示画像データ)を示す。
プレーン301は、背景画像のプレーンである。例えば、画像処理装置100がPCなどである場合には、プレーン301は、デスクトップの壁紙のプレーンである。プレーン301〜303の合成において、プレーン301は、最も下側(最背面)に配置される。
プレーン302とプレーン303のそれぞれは、入力画像または記憶画像のプレーンである。プレーン301〜303の合成において、プレーン302,303は、プレーン301の上に重ねられる。
プレーン302,303がプレーン301の上に重ねられることにより、プレーン304が得られる。プレーン304において、アクティブ状態のプレーンが最も上側(最前面)に配置される。図3は、プレーン303の状態がアクティブ状態である例を示す。そのため、図3では、プレーン303が最も上側に配置されている。
次に、HDRフラグ生成部109の処理の具体例について、図2,3を用いて説明する。
表示画像データのプレーンとしてプレーン301が使用される場合と、プレーン302,303がHDR画像のプレーンでない場合とにおいて、S204の処理により、HDR画像が配置されていないと判断される。そして、S204からS209へ処理が進められる。その結果、HDRフラグF=0が設定されて、SDRトーンマップ情報が表示トーンマップ情報として決定される。
表示画像データのプレーンとしてプレーン304が使用され、且つ、アクティブ状態のプレーン303がHDR画像のプレーンである場合には、S206とS207の処理により、HDRフラグF=1を設定するか否かが判断される。図3の例では、プレーン303は、全画面表示されるように配置されていない。そのため、S206からS207へ処理が進められる。そして、プレーン303のサイズがサイズ閾値Th_Sよりも大きい場合には、S207からS208へ処理が進められ、HDRフラグF=1が設定され、HDRトーンマップ情報が表示トーンマップ情報として決定される。プレーン303のサイズがサイズ閾値Th_S以下である場合には、S207からS209へ処理が進められ、HDRフラグF=0が設定され、SDRトーンマップ情報が表示トーンマップ情報として決定される。
次に、表示対応関係とデータ対応関係の通知の具体例について、図5を用いて説明する。図5は、表示装置500の表示状態501を示す。表示状態501では、ウィンドウ502,503が表示されている。ウィンドウ502が特定画像のウィンドウであり、ウィンドウ502で表示されているHDR画像(特定画像)のデータトーンマップ情報が表示トーンマップ情報として使用されている。そして、ウィンドウ502で表示されているHDR画像のデータ対応関係はデータ対応関係1であり、ウィンドウ503で表示されている画像のデータ対応関係はデータ対応関係2である。
図5の例では、表示トーンマップ情報描画部111の処理により、表示対応関係がデータ対応関係1であることを示すグラフィック画像504が表示されている。それにより、表示対応関係がユーザに通知される。グラフィック画像504は、「データ対応関係1」が記載されたテキスト画像である。
さらに、表示トーンマップ情報描画部111の処理により、ウィンドウ502で表示されているHDR画像のデータ対応関係がデータ対応関係1であることを示すグラフィック画像505が、ウィンドウ502に対応付けて表示されている。同様に、ウィンドウ503で表示されている画像のデータ対応関係がデータ対応関係2であることを示すグラフィック画像506が、ウィンドウ503に対応付けて表示されている。具体的には、グラフィック画像505がウィンドウ502内に表示されており、グラフィック画像506がウィンドウ503内に表示されている。グラフィック画像505は、「データ対応関係1」が記載されたテキスト画像であり、グラフィック画像506は、「データ対応関係2」が記載されたテキスト画像である。
なお、グラフィック画像504〜506はテキスト画像に限られない。例えば、グラフィック画像504として、表示対応関係を示すアイコンなどの他のグラフィック画像が使用されてもよい。グラフィック画像505,506として、データ対応関係を示すアイコンなどの他のグラフィック画像が使用されてもよい。
以上述べたように、本実施例によれば、表示画像データにおける画像のレイアウトに基づいて、表示装置の画面内で共通の表示対応関係が決定される。それにより、簡易な構成で好適な表示輝度での表示が可能となる。例えば、画面の複数の領域のそれぞれについて個別に表示対応関係を決定する必要が無いため、装置の負荷、ユーザの負荷、等を低減して好適な表示輝度での表示を実現することができる。画面の複数の領域のそれぞれについて個別に画像処理(表示対応関係に応じた画像処理)を行う必要が無いため、装置の負荷、装置のコスト、等を低減して好適な表示輝度での表示を実現することができる。そして、ユーザがHDR画像に注目する可能性が高い場合に限ってHDR対応関係での表示が行われるように、表示対応関係を決定することができる。そのため、高輝度な表示が長時間行われることを抑制することができ、ユーザの目の負荷を低減することができる。
なお、好適な表示輝度は、画像の種類、表示装置の使用環境、ユーザ、表示された画像の用途、等に依存する。そのため、表示対応関係の決定方法は、上記方法に限られない。レイアウトに基づいて表示対応関係が決定されれば、表示対応関係の決定方法は特に限定されない。HDR対応関係およびSDR対応関係とは異なる表示対応関係が決定されてもよい。第1対応関係はHDR対応関係に限られないし、第2対応関係はSDR対応関係に限られない。例えば、第1対応関係はSDR対応関係であってもよいし、第2対応関係はHDR対応関係であってもよい。特定画像も特に限定されない。特定画像となり得る画像として、SDR画像データによって表されたSDR画像などが使用されてもよい。
なお、画像処理装置の起動時に決定される表示対応関係は、第2対応関係でなくてもよい。表示装置が第1対応関係に基づく表示を行えない場合に決定される表示対応関係も、第2対応関係に限られない。図2のS202の処理は省略されてもよい。
<実施例2>
以下、本発明の実施例2について説明する。以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。表示装置では、複数の画像が同時に表示されることがある。そして、そのような場合に、画面全体の表示輝度が高くなり、画像に対するユーザの視認が困難となることがある。
画面全体の表示輝度が高くなる場合の具体例について、図6を用いて説明する。図6は、表示装置の表示状態601を示す。表示状態601では、複数のウィンドウが表示されている。ウィンドウ602が特定画像のウィンドウであり、ウィンドウ602で表示されているHDR画像(特定画像)のデータトーンマップ情報が、画面全体で共通の表示トーンマップ情報として使用されている。
ウィンドウ602で表示されているHDR画像は、HDR10に準拠した画像である。HDR10では、静的データであるメタデータとして、MaxCLL(Maximum Content Light Level)とMaxFALL(Maximum Frame Average Light Level)が付加されている。MaxCLLは、HDR画像データの最大輝度(最大データ輝度)を定義したメタデータであり、MaxFALLは、HDR画像データの平均輝度(平均データ輝度)を定義したメタデータである。HDR画像データの最大データ輝度は、HDR画像データで使用されているデータ輝度の最大値であり、HDR画像データの平均データ輝度は、HDR画像データで使用されているデータ輝度の平均値である。HDR10のオーサリングガイドラインでは、1000nitを超える画像領域を、鏡面反射の画像領域のような小サイズの画像領域に限定することが規定されている。さらに、平均データ輝度が400nitを超えないことも規定されている。
図6において、領域603は、表示輝度が1500〜2000nitの高輝度領域であり、領域604は、表示輝度が0〜50nitの低輝度領域である。ウィンドウ602で表示されているHDR画像のHDR画像データは、平均データ輝度が400nitを超えないように作成されている。
しかしながら、表示状態601では、複数のウィンドウでそれぞれ表示された複数の画像によって複数の高輝度領域603が表示されるため、高輝度領域の総サイズが大きく、平均表示輝度(表示輝度の平均値)が400nitを超えてしまう。
本実施例では、好適な表示輝度での表示をより確実に実現可能にする例を説明する。本実施例によれば、例えば、画面全体の表示輝度が高くなることを防ぐことができる。
図7は、本実施例に係る画像処理装置700の構成例を示すブロック図である。図7において、実施例1(図1)と同じ機能部には実施例1と同じ符号が付されている。画像処理装置700は、APL取得部701とAPL記憶部702をさらに有する。また、本実施例に係る表示トーンマップ情報決定部の処理は、実施例1の表示トーンマップ情報決定部110の処理と異なるため、本実施例に係る表示トーンマップ情報決定部には、実施例1の符号110と異なる符号703が付されている。
APL取得部701は、レイアウト部106から出力された表示画像データに基づいて、当該表示画像データの平均データ輝度APLを取得する。そして、APL取得部701は、平均データ輝度APLをAPL記憶部702に記録する。平均データ輝度APLは、1画面分のデータ輝度の平均値である。表示画像データが動画データである場合には、APL取得部701は、表示画像データの各フレームについて平均データ輝度APLを取得する。APL取得部701は、例えば、以下の式1を用いて平均データ輝度APLを算出する。式1において、「YDATA」は画素のデータ輝度であり、「h」は水平方向の画素数であり、「v」は垂直方向の画素数であり、Σ(x)は全画素のxの総和を算出する関数である。式1は、データ輝度が10ビットの値である場合の式であり、式1により、0以上かつ100以下の平均データ輝度APLが得られる。

APL=(Σ(YDATA/(h×v))/1023)×100
・・・(式1)
なお、平均データ輝度APLの取得方法は特に限定されない。例えば、表示画像データにおいて配置されている画像のデータ輝度(各画素のデータ輝度、平均データ輝度、等)に関する情報がメタデータに含まれている場合には、当該情報を用いて平均データ輝度APLが取得されてもよい。表示画像データにおいて複数の画像が配置されている場合に、複数の画像にそれぞれ対応する複数のデータ対応関係を用いて平均データ輝度APLが取得されてもよいし、複数のデータ対応関係のいずれかを用いて平均データ輝度APLが取得されてもよい。実施例1の方法で決定される表示対応関係をデータ対応関係として用いて平均データ輝度APLが取得されてもよい。
APL記憶部702は、APL取得部701によって取得された平均データ輝度APLを記憶する。APL記憶部702は、例えば、レジスタ、半導体メモリ、等である。
表示トーンマップ情報決定部703は、実施例1の表示トーンマップ情報決定部110と同様の処理を行う。但し、表示トーンマップ情報決定部703は、APL記憶部702が記憶している平均データ輝度APLにさらに基づいて、表示トーンマップ情報(表示対応関係)を決定する。具体的には、表示トーンマップ情報決定部703は、HDRフラグFと平均データ輝度APLに基づいて、表示トーンマップ情報を決定する。
次に、表示トーンマップ情報決定部703の処理フローの一例について、図8を用いて説明する。図8は、表示トーンマップ情報決定部703の処理フローの一例を示すフローチャートである。図8の処理フローは、例えば、HDRフラグ生成部109からHDRフラグFが出力されたタイミングで開始される。
まず、S801にて、表示トーンマップ情報決定部703は、HDRフラグ生成部109から出力されたHDRフラグFが1であるか否かを判断する。HDRフラグF=1の場合にはS802へ処理が進められ、HDRフラグF=0の場合にはS810へ処理が進められる。
S802にて、表示トーンマップ情報決定部703は、APL記憶部702から現在の平均データ輝度APLを取得する。そして、S803にて、表示トーンマップ情報決定部703は、S802で取得した平均データ輝度APLが輝度閾値Th_APLよりも高いか否かを判断する。平均データ輝度APLが輝度閾値Th_APL以下である場合にはS804へ処理が進められ、平均データ輝度APLが輝度閾値Th_APLよりも高い場合にはS810へ処理が進められる。
輝度閾値Th_APLは、例えば、HDR10のオーサリングガイドラインで規定された400nitに相当する値である。本実施例では、表示画像データにおける画像のレイアウトが変更された場合にのみ、S802とS803の処理が再度行われる。そのため、表示画像データにおいて配置された画像のシーンの変化による平均データ輝度APLの変化を考慮して、400nitよりも低い輝度に相当する値が、輝度閾値Th_APLとして使用されてもよい。例えば、200nitに相当する値が、輝度閾値Th_APLとして使用されてもよい。
S804にて、表示トーンマップ情報決定部703は、特定画像のデータトーンマップ情報であるHDRトーンマップ情報を表示トーンマップ情報として決定する。それにより、表示装置500において、HDRトーンマップ情報に基づく表示が行われる。
次に、S805にて、表示トーンマップ情報決定部703は、レイアウト検出部107からのレイアウト情報の出力を待つ。レイアウト検出部107からレイアウト情報が出力されるまで、S805の処理が繰り返される。そして、レイアウト検出部107からレイアウト情報が出力された場合に、S806へ処理が進められる。
S806にて、表示トーンマップ情報決定部703は、S805で取得したレイアウト情報を解析し、表示トーンマップ情報を更新すべきか否かを判断する。例えば、特定画像が他のHDR画像に変更された場合、特定画像が存在しなくなった場合、等において、表示トーンマップ情報決定部703は、表示トーンマップ情報を更新すべきであると判断する。そして、それら以外の場合に、表示トーンマップ情報決定部703は、表示トーンマップ情報を更新すべきでないと判断する。表示トーンマップ情報を更新すべきであると判断された場合にはS807へ処理が進められ、表示トーンマップ情報を更新すべきでないと判断された場合にはS802へ処理が戻される。
S807にて、表示トーンマップ情報決定部703は、S802で取得した平均データ輝度APLに基づいて、表示対応関係を示すトーンマップ情報であるAPLトーンマップ情報を生成する。S807で使用される平均データ輝度APLは、更新前の表示トーンマップ情報に対応する表示画像データの平均データ輝度である。例えば、S807では、直前に取得された平均データ輝度APLが使用される。
なお、APLトーンマップ情報の生成方法は特に限定されない。APLトーンマップ情報の生成方法として、提案されている種々の方法を用いることができる。例えば、表示トーンマップ情報決定部703は、上限表示輝度が平均データ輝度APL以下になるようにAPLトーンマップ情報を生成する。表示トーンマップ情報決定部703は、実施例1の方法で決定された表示トーンマップ情報の上限表示輝度を平均データ輝度APLに基づいて低減することによりAPLトーンマップ情報を生成してもよい。
次に、S808にて、表示トーンマップ情報決定部703は、S807で生成したAPLトーンマップ情報を表示トーンマップ情報として決定する。それにより、表示装置500において、APLトーンマップ情報に基づく表示が行われる。
そして、S809にて、表示トーンマップ情報決定部703は、S805で取得したレイアウト情報を解析し、特定画像が他のHDR画像に変更されたか否かを判断する。特定画像が他のHDR画像に変更されたと判断された場合にはS802へ処理が戻され、特定画像が存在しなくなったと判断された場合にはS810へ処理が進められる。
S810にて、表示トーンマップ情報決定部703は、SDRトーンマップ情報を表示トーンマップ情報として決定する。それにより、表示装置500において、SDRトーンマップ情報に基づく表示が行われる。
図8の処理フローによれば、平均データ輝度APLが輝度閾値Th_APLよりも高い場合に、レイアウトによらず、SDRトーンマップ情報が表示トーンマップ情報として決定される。それにより、画面全体の表示輝度が高くなることを防ぐことができる。さらに、表示トーンマップ情報を他の表示トーンマップ情報に更新する場合に、更新前の表示トーンマップ情報からAPLトーンマップ情報を経て更新後の表示トーンマップ情報へ表示トーンマップ情報が変化するように、表示トーンマップ情報が決定される。それにより、表示輝度の急激な変化を抑制することができる。
S807で生成されたAPLトーンマップ情報を表示トーンマップ情報として用いることで得られる効果の具体例について、図9(A),9(B)を用いて説明する。図9(A
),9(B)は表示装置500の表示状態の一例を示す。図9(A)の表示状態901では、ウィンドウ902,903が表示されている。ウィンドウ902が特定画像のウィンドウであり、ウィンドウ902で表示されているHDR画像(特定画像)のデータトーンマップ情報が表示トーンマップ情報として使用されている。ウィンドウ902で表示されているHDR画像では、上限データ輝度が1000nitであり、平均データ輝度が150nitである。
表示状態901では、ウィンドウ902で表示されているHDR画像のデータトーンマップ情報が表示トーンマップ情報として使用されているため、ウィンドウ902のHDR画像が150nitで表示されている。
ウィンドウ902を閉じる操作がユーザによって行われると、表示状態901から図9(B)の表示状態904へ表示装置500の表示状態が遷移する。表示状態904では、ウィンドウ902が表示されておらず、ウィンドウ903が表示されている。ウィンドウ903では、上限データ輝度が1500nitであり、且つ、平均データ輝度が400nitであるHDR画像が表示されている。ここでは、表示状態904において、ウィンドウ903のHDR画像が特定画像として使用されるものとする。
表示状態901から表示状態904へ表示装置500の表示状態が遷移すると、実施例1の方法では、表示トーンマップ情報が、ウィンドウ903で表示されているHDR画像のデータトーンマップ情報へ即座に切り替えられる。そのため、ウィンドウ903で表示されているHDR画像の表示輝度が、400nitという高い表示輝度へ急激に変化する。その結果、ユーザが高い表示輝度に慣れるまで、ウィンドウ903のHDR画像に対するユーザの視認が困難となる。
そこで、本実施例では、表示状態901から表示状態904へ表示装置500の表示状態が遷移する場合に、表示状態901における表示画像データの平均データ輝度APLに基づくAPLトーンマップ情報へ表示トーンマップ情報を変更する。その後、ウィンドウ903で表示されているHDR画像のデータトーンマップ情報へ表示トーンマップ情報を変更する。それにより、ウィンドウ903で表示されているHDR画像の表示輝度が高い表示輝度へ急激に変化することを防ぐことができる。その結果、ウィンドウ903のHDR画像に対するユーザの視認が困難となることを防ぐことができる。
以上述べたように、本実施例によれば、表示画像データの平均データ輝度にさらに基づいて、表示対応関係が決定される。それにより、好適な表示輝度での表示がより確実に実現可能となる。例えば、画面全体の表示輝度が高くなること、画像の表示輝度が急激に変化すること、等を防ぐことができる。
なお、表示対応関係の決定方法は、上記方法に限られない。表示画像データの平均データ輝度の代わりに、表示画像データの最大データ輝度が使用されてもよい。表示トーンマップ情報の決定において、表示画像データの平均データ輝度と、表示画像データの最大データ輝度との両方が使用されてもよい。表示画像データの最大データ輝度と表示画像データの平均データ輝度との少なくとも一方にさらに基づいて表示対応関係が決定されれば、表示対応関係の決定方法は特に限定されない。
APLトーンマップ情報の代わりに、更新前の表示対応関係に対応する表示画像データの最大輝度に基づくトーンマップ情報(MAXトーンマップ情報)が使用されてもよい。表示トーンマップ情報決定部703は、表示トーンマップ情報を他の表示トーンマップ情報に更新する場合に、表示装置500に表示される輝度が徐々に変化するように表示トーンマップ情報を決定してもよい。例えば、S808にて、表示トーンマップ情報決定部7
03は、表示トーンマップ情報が代表トーンマップ情報(APLトーンマップ情報、MAXトーンマップ情報、等)へ徐々に変化するように表示トーンマップ情報を決定してもよい。S808の処理の後に、表示トーンマップ情報決定部703は、表示トーンマップ情報が代表トーンマップ情報から徐々に変化するように表示トーンマップ情報を決定してもよい。表示トーンマップ情報決定部703は、更新前の表示トーンマップ情報から、代表トーンマップ情報を経て、更新後の表示トーンマップ情報へ表示トーンマップ情報が徐々に変化するように、表示トーンマップ情報を決定してもよい。表示トーンマップ情報決定部703は、更新前の表示トーンマップ情報から、代表トーンマップ情報を経ずに、更新後の表示トーンマップ情報へ表示トーンマップ情報が徐々に変化するように、表示トーンマップ情報を決定してもよい。
図8のS803で使用される代表データ輝度(最大データ輝度、平均データ輝度、等)は、S807で使用される代表データ輝度と同じであってもよいし、異なっていてもよい。例えば、S803で最大データ輝度が使用され、S807で平均データ輝度が使用されてもよい。その場合には、例えば、表示画像データの最大データ輝度が輝度閾値よりも高い場合に、レイアウトによらず、SDRトーンマップ情報が表示トーンマップ情報として決定される。平均データ輝度と最大データ輝度の一方がS803で使用されてもよいし、平均データ輝度と最大データ輝度の両方がS803で使用されてもよい。平均データ輝度と最大データ輝度の一方がS807で使用されてもよいし、平均データ輝度と最大データ輝度の両方がS807で使用されてもよい。
図8の処理フローでは、更新前の表示トーンマップ情報がHDRトーンマップ情報である場合に限って代表データ輝度が考慮されるが、これに限られない。例えば、SDRトーンマップ情報からHDRトーンマップ情報へ表示トーンマップ情報を更新する場合に、代表データ輝度を考慮して表示トーンマップ情報が決定されてもよい。更新前の表示トーンマップ情報がHDRトーンマップ情報である場合と、更新前の表示トーンマップ情報がSDRトーンマップ情報である場合との一方において、代表データ輝度が考慮されてもよい。更新前の表示トーンマップ情報がHDRトーンマップ情報である場合と、更新前の表示トーンマップ情報がSDRトーンマップ情報である場合との両方において、代表データ輝度が考慮されてもよい。更新前の表示トーマップ情報、更新後の表示トーマップ情報、等によらずに、代表データ輝度が考慮されてもよい。
<実施例3>
以下、本発明の実施例3について説明する。以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。以下では、本実施例に係る画像処理装置を有する表示装置の例を説明するが、画像処理装置は表示装置とは別体の装置であってもよい。
図10は、本実施例に係る表示装置1000の構成例を示すブロック図である。図10において、実施例1(図1)の画像処理装置100が有する機能部と同じ機能部には実施例1と同じ符号が付されている。表示装置1000は、画像処理装置100の機能部、デバイス情報記憶部1001、外光センサ1002、バッテリー1003、バッテリー残量検出部1004、表示部1005、及び、トーンマップ部1007を有する。表示装置1000は、画像処理装置100のEDID取得部108と画像出力部112を有していない。また、本実施例に係る表示トーンマップ情報決定部の処理は、実施例1の表示トーンマップ情報決定部110の処理と異なるため、本実施例に係る表示トーンマップ情報決定部には、実施例1の符号110と異なる符号1006が付されている。
デバイス情報記憶部1001には、表示装置1000に関する情報が予め記録されている。デバイス情報記憶部1001は、例えば、磁気ディスク、光学ディスク、半導体メモ
リ、等である。本実施例では、デバイス情報記憶部1001には、表示部1005の種類を示すデバイス情報が予め記録されている。表示部1005の種類は特に限定されないが、例えば、表示部1005は、液晶パネル、OLED(Organic Light Emitting Diode)パネル、等である。OLEDパネルは「有機ELパネル」とも言える。
外光センサ1002は、表示装置1000に対する外光を検出し、外光の検出値を示す外光情報を出力する。外光センサ1002は、例えば、外光の照度(輝度)、外光の色、等を検出する。外光センサ1002は、外光照度(外光の照度)と外光色(外光の色)の一方を検出してもよいし、外光照度と外光色の両方を検出してもよい。
バッテリー1003は、表示装置1000を駆動するためのバッテリーである。バッテリー1003は、例えば、リチウムイオン電池などである。
バッテリー残量検出部1004は、バッテリー1003の残容量(バッテリー残量)を検出し、バッテリー残量の検出値を示すバッテリー残量情報を出力する。
表示トーンマップ情報決定部1006は、実施例1の表示トーンマップ情報決定部110と同様の処理を行う。但し、表示トーンマップ情報決定部1006は、デバイス情報記憶部1001からデバイス情報を読み出し、外光センサ1002から外光情報を取得し、バッテリー残量検出部1004からバッテリー残量情報を取得する。そして、表示トーンマップ情報決定部1006は、デバイス情報、バッテリー残量情報、及び、外光情報にさらに基づいて、表示トーンマップ情報(表示対応関係)を決定する。具体的には、表示トーンマップ情報決定部1006は、HDRフラグF、デバイス情報、バッテリー残量情報、及び、外光情報に基づいて、表示トーンマップ情報を決定する。
本実施例では、表示装置1000(画像処理装置)は、輝度忠実再生モードと視環境再生モードを少なくとも含む複数の動作モードを有する。表示装置1000の動作モードは、例えば、表示装置1000に対してユーザが行った操作、表示対象の画像データの種類、等に応じて切り替えられる。輝度忠実再生モードが設定されている場合には、表示トーンマップ情報決定部1006は、実施例1と同様の方法で、表示トーンマップ情報を決定する。視環境再生モードが設定されている場合には、表示トーンマップ情報決定部1006は、デバイス情報、バッテリー残量情報、及び、外光情報をさらに考慮して、表示トーンマップ情報を決定する。具体的には、視環境再生モードが設定されている場合には、表示トーンマップ情報決定部1006は、デバイス情報、バッテリー残量情報、及び、外光情報を考慮して、HDRトーンマップ情報を変更する。
トーンマップ部1007は、表示トーンマップ情報決定部1006によって決定された表示トーンマップ情報に基づいて表示画像データに画像処理を施し、画像処理後の表示画像データを表示トーンマップ情報描画部111へ出力する。具体的には、トーンマップ部1007は、画像処理前の表示画像データの階調値が表示トーンマップ情報の表示輝度で表示されるように、画像処理を行う。本実施例では、トーンマップ部1007の処理により、表示画像データが含む1以上の画像のレイアウトに基づいて、表示部1005の表示輝度が制御される。例えば、表示画像データが含む複数の画像のうち、最前面に配置され、かつ、所定のサイズよりも大きい画像に対応する表示輝度に、表示部1005の表示輝度が制御される。具体的には、最前面に配置され、かつ、所定のサイズよりも大きい画像が、HDR画像である場合に、第1の表示輝度範囲の表示輝度に、表示部1005の表示輝度が制御される。そして、そうでない場合に、第1の表示輝度範囲よりも上限の表示輝度が低い第2の表示輝度範囲の表示輝度に、表示部1005の表示輝度が制御される。第1の表示輝度範囲は、HDRトーンマップ情報に対応する表示輝度の範囲であり、第2の
表示輝度範囲は、SDRトーンマップ情報に対応する表示輝度の範囲である。
表示部1005は、表示部1005に入力された表示画像データ(表示トーンマップ情報に基づく画像処理後の表示画像データ)に応じて画面に画像を表示する。表示装置と画像処理装置が一体化されている場合には、表示装置の画面に設けられたタッチパネルを操作部105として用いることができる。そのため、図10では、操作部105は、表示部1005の一部として記載されている。
なお、本実施例に係る画像処理装置が表示装置とは別体の装置である場合には、表示部1005とトーンマップ部1007は表示装置に設けられる。また、デバイス情報記憶部1001、外光センサ1002、バッテリー1003、及び、バッテリー残量検出部1004の少なくともいずれかが、表示装置に設けられていてもよい。デバイス情報記憶部1001、外光センサ1002、バッテリー1003、及び、バッテリー残量検出部1004の少なくともいずれかが、画像処理装置に設けられていてもよい。画像処理装置がデバイス情報、バッテリー残量情報、外光情報、等を取得できれば、それらを取得するための構成は特に限定されない。
視環境再生モードでのHDR対応関係(HDRトーンマップ情報)の具体例について、図11(A)〜11(C),12,13を用いて説明する。図11(A)〜11(C)は、HDR対応関係の一例を示す。図11(A)〜11(C)において、縦軸は表示輝度を示し、横軸は表示画像データの階調値を示す。なお、輝度忠実再生モードでのHDR対応関係は、図11(A)のHDR対応関係と同様であってもよいし、図11(B)のHDR対応関係と同様であってもよいし、図11(A),11(B)のHDR対応関係と異なっていてもよい。
まず、HDR対応関係(HDRトーンマップ情報)をデバイス情報に基づいて変更する例を説明する。OLEDパネル(有機EL表示装置)では、液晶パネル(液晶表示装置)に比べ、黒浮きが抑制された表示、暗部の階調性の高い表示、等を実現しやすい。そのため、本実施例では、表示部1005がOLEDパネルである場合に、表示部1005が液晶パネルである場合に比べ暗部の階調性が高いHDR対応関係が使用される。暗部の階調性が高いHDR対応関係は、暗部の表示輝度の範囲に対して割り当てられた階調値の数が多いHDR対応関係である。例えば、表示部1005が液晶パネルである場合に図11(A)のHDR対応関係が使用され、表示部1005がOLEDパネルである場合に図11(B)のHDR対応関係が使用される。デバイス情報に基づいてHDR対応関係を変更することにより、表示装置の種類に応じた適切な表示輝度での表示が可能となる。
次に、HDR対応関係を外光情報に基づいて変更する例を説明する。本実施例では、上限表示輝度と外光照度の対応関係を示す情報(関数、テーブル、等)が予め用意されている。図12は、上限表示輝度(nit)と外光照度(lx)の対応関係の一例を示す。図12の縦軸は上限表示輝度を示す線形軸であり、図12の横軸は外光照度を示す対数軸である。外光照度の増加により、表示の視認し易さが低減する。そのような場合には、表示輝度を高めることにより、表示の視認し易さを向上することができる。そのため、図12では、外光照度の増加に対して、上限表示輝度が増加する。
本実施例では、表示トーンマップ情報決定部1006は、図12の対応関係を用いて、外光情報によって示された外光照度に対応する上限表示輝度を判断する。そして、表示トーンマップ情報決定部1006は、判断した上限表示輝度がHDR対応関係の上限表示輝度として用いられるように、HDR対応関係を変更する。例えば、外光情報によって示された外光照度が100lxである場合には、上限表示輝度500nitが得られ、図11(C)のHDR対応関係が得られる。図11(C)のHDR対応関係では、階調値0〜1
023に表示輝度0〜500nitが対応付けられている。外光情報に基づいてHDR対応関係を変更することにより、表示装置に対する外光に応じた適切な表示輝度での表示が可能となる。
次に、HDR対応関係をバッテリー残量情報に基づいて変更する例を説明する。本実施例では、上限表示輝度とバッテリー残量の対応関係を示す情報(関数、テーブル、等)が予め用意されている。図13は、上限表示輝度(nit)とバッテリー残量(%)の対応関係の一例を示す。図13の縦軸は上限表示輝度を示し、図13の横軸はバッテリー残量を示す。バッテリー残量の低下により、表示可能時間(表示を行える残り時間)が低減する。そのような場合には、表示輝度を低減することにより、表示可能時間を増やすことができる。そのため、図13では、バッテリー残量の低下に対して、上限表示輝度が低下する。
本実施例では、表示トーンマップ情報決定部1006は、図13の対応関係を用いて、バッテリー残量情報によって示されたバッテリー残量に対応する上限表示輝度を判断する。そして、表示トーンマップ情報決定部1006は、判断した上限表示輝度がHDR対応関係の上限表示輝度として用いられるように、HDR対応関係を変更する。例えば、バッテリー残量情報によって示されたバッテリー残量が70%である場合には、上限表示輝度500nitが得られ、図11(C)のHDR対応関係が得られる。バッテリー残量情報に基づいてHDR対応関係を変更することにより、表示装置のバッテリー残量に応じた適切な表示輝度での表示が可能となる。
本実施例では、表示トーンマップ情報決定部1006は、デバイス情報、バッテリー残量情報、及び、外光情報を考慮して、上述した3種の変化の組み合わせが実現されるように、HDR対応関係を変更する。
なお、各種対応関係は、図11(A)〜11(C),12,13の対応関係に限られない。例えば、表示対応関係では、階調値の範囲の一部または全部において、階調値の変化に対して表示輝度が非線形に変化してもよいし、階調値の変化に対して表示輝度が線形に変化してもよい。上限表示輝度と外光照度の対応関係では、外光照度の範囲の一部または全部において、外光照度の変化に対して表示輝度が非線形に変化してもよいし、外光照度の変化に対して表示輝度が線形に変化してもよい。上限表示輝度とバッテリー残量の対応関係では、バッテリー残量の範囲の一部または全部において、バッテリー残量の変化に対して表示輝度が非線形に変化してもよいし、バッテリー残量の変化に対して表示輝度が線形に変化してもよい。
なお、HDR対応関係を変更するタイミングは特に限定されない。例えば、HDR画像の表示を開始するタイミング、シーンの切り替わりのタイミング、レイアウトの変更のタイミング、等でHDR対応関係が変更される。外光の変化、バッテリー残量の変化、等として、閾値以上の大きさの変化が生じたタイミングで、HDR対応関係が変更されてもよい。
以上述べたように、本実施例によれば、表示装置の種類、表示装置のバッテリーの残容量、及び、表示装置に対する外光にさらに基づいて、表示対応関係が決定される。それにより、好適な表示輝度での表示がより確実に実現可能となる。
なお、表示対応関係の決定方法は、上記方法に限られない。例えば、表示装置の種類、表示装置のバッテリーの残容量、及び、表示装置に対する外光のいずれか1つまたは2つが考慮されなくてもよい。表示装置の種類、表示装置のバッテリーの残容量、及び、表示装置に対する外光の少なくともいずれかにさらに基づいて表示対応関係が決定されれば、
表示対応関係の決定方法は特に限定されない。画像処理装置の動作モードに依らずに、表示装置の種類、表示装置のバッテリーの残容量、及び、表示装置に対する外光の少なくともいずれかが考慮されてもよい。表示装置の種類、表示装置のバッテリーの残容量、及び、表示装置に対する外光の少なくともいずれかを考慮してSDR対応関係が変更されてもよい。HDR対応関係とSDR対応関係の一方が変更されてもよいし、HDR対応関係とSDR対応関係の他方が変更されてもよい。表示対応関係を決定する処理は、HDR対応関係、SDR対応関係、等を変更する処理でなくてもよい。
なお、実施例1〜3における各種閾値は、メーカによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。
なお、実施例1〜3の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
<実施例4>
実施例4の画像処理装置について、説明する。実施例4の画像処理装置は、表示装置と接続し、表示装置に表示画像データを出力する。また、画像処理装置は、1以上のアプリケーションを実行可能な画像処理装置である。画像処理装置は、実行した1以上のアプリケーションに対応する1以上のウィンドウを配置して、表示画像データを生成する。
さらに、実施例4の画像処理装置は、表示装置の表示輝度の上限値を設定する設定情報を出力する。すなわち、画像処理装置は、表示装置の表示輝度の上限値を制御する制御装置であるともいえる。画像処理装置は、HDR画像を表示するためのアプリケーションに対応するHDRウィンドウが、表示画像データにおいて所定の条件を満たすように配置される場合、そうでない場合よりも表示装置の表示輝度の上限値が高くなるように、表示装置を制御する。以下で、実施例4の画像処理装置について、詳細に説明する。
図14は、画像処理装置400と表示装置600とを含む装置構成図を示す模式図である。画像処理装置400は、CPU401、記憶媒体402、メモリ403、操作部404、通信部405、生成部406、およびパラメータ決定部407を備える。画像処理装置400は、例えば、パーソナルコンピュータであるとする。画像処理装置400は、表示装置600に、表示画像データを出力する。また、画像処理装置400は、表示装置600の表示輝度の上限値を制御する。表示装置600は、実施例1と同様に、表示画像データに基づいて画像を表示するディスプレイであるとする。
CPU401は、記憶媒体402またはメモリ403から読み出したプログラムを実行することにより画像処理装置400が後述する各機能を発揮するように制御するプロセッサである。CPU401は、1つのプロセッサでもよいし、2以上の複数のプロセッサからなるものであってもよい。また、一部の機能をハードウェアで実行してもよい。
CPU401は、記憶媒体402に記録された1以上のアプリケーションプログラムを実行して、1以上のアプリケーションを並列に実行することが可能であるとする。CPU401が実行可能なアプリケーションは、HDR画像を表示するためのアプリケーション、およびSDR画像を表示するためのアプリケーションを含む。例えば、HDR画像を表
示するためのアプリケーションは、不図示の通信インターフェースで外部装置から受信したHDRコンテンツを再生するための再生アプリケーションであるとする。SDR画像を表示するためのアプリケーションは、例えば、書類作成用のアプリケーション等であるとする。
記憶媒体402は、CPU401が実行するアプリケーションプログラムや、アプリケーションプログラムに対応するウィンドウを形成するための画像データを記憶する記憶媒体である。記憶媒体402は、例えば、不揮発性のハードディスクである。なお、記憶媒体402は、複数の記憶媒体から構成されるものであってもよい。
メモリ403は、CPU401が実行可能なプログラムやパラメータ等を記憶する記憶媒体である。
操作部404は、ユーザが操作可能な操作部材である。操作部404は、例えば、マウスやキーボードであるとする。ユーザは、操作部404を介して、CPU401に動作指示を入力することが可能である。ユーザは、操作部404を介して、CPU401に表示画像データにおけるウィンドウのレイアウトを指示することが可能である。
通信部405は、表示装置600と接続する通信インターフェースである。例えば、通信部405は、Display Port(登録商標)に準拠した通信インターフェースであるとする。なお、通信部405は、上述の規格に準拠した通信インターフェースでなくともよい。通信部405は、任意の通信インターフェースを利用可能である。また、通信部405は、複数の伝送路を介して、表示装置600と通信するものであってもよい。CPU401は、通信部405を介して、表示画像データおよび表示装置600の表示輝度の上限値を示す設定値を出力する。
生成部406は、表示画像データを生成する機能ブロックである。生成部406は、CPU401が実行した1以上のアプリケーションに対応する1以上のウィンドウを配置して表示画像データを生成する。また、生成部406は、操作部404を介して入力された指示に基づいて、レイアウトを決定する。生成部406は、ユーザからの指示ではなく、あらかじめ定められた条件に従って、レイアウトを決定してもよい。レイアウトを決定するための指示をレイアウト情報とする。なお、あらかじめ定められた条件は、例えば、無操作時間の長さや、実行されたアプリケーションの種類などである。
パラメータ決定部407は、CPU401の制御に応じて、表示装置600の表示輝度の上限値を決定する。パラメータ決定部407は、生成部406が生成した表示画像データにおけるウィンドウのレイアウトに応じて、表示装置600の表示輝度の上限値を決定する。ここで、表示装置600の表示輝度の上限値は、画像データの最大値に対応する表示輝度である。具体的には、画像データが10ビットのビット深度で表された画像データであるとすると、画像データの最大値(1023)に対応する表示輝度が表示輝度の上限値である。なお、画像データの最小値(0)に対応する表示輝度は、表示装置600の表示可能な輝度の下限値であることが多い。したがって、表示装置600の表示輝度の上限値を決定することは、表示装置600における表示輝度の範囲を決定するともいえる。
パラメータ決定部407は、生成部406が生成した表示画像データにおいてHDRウィンドウが所定の条件を満たす場合に、そうでない場合よりも表示装置600の表示輝度の上限値が高くなるように、表示輝度の上限値を決定する。HDRウィンドウは、HDR画像を表示するためのアプリケーションに対応するウィンドウである。また、そうでないウィンドウは、例えば、SDR画像を表示するためのアプリケーションに対応するウィンドウである。所定の条件は、例えば、(1)表示画像データにおいてHDRウィンドウが
最前面に配置されていること、および(2)表示画像データにおいてHDRウィンドウが所定のサイズ以上で配置されていること、の少なくとも一方であるとする。
例えば、パラメータ決定部407は、表示画像データにおいてHDRウィンドウが所定の条件を満たす場合に、2000nitを表示輝度の上限値と決定するとする。また、表示画像データにおいてHDRウィンドウが所定の条件を満たさない場合に、100nitを表示輝度の上限値と決定するとする。
表示装置600は、画像処理装置400から取得した表示輝度の上限値を示す設定値に基づいて、表示画像データに基づく画像を表示する。表示装置600は、画像データの最大値を、取得した設定値に対応する表示輝度の上限値で表示する。具体的には、取得した設定値に対応する表示輝度の上限値が2000nitである場合、図4(A)に示すような画像データと表示輝度との関係で画像を表示する。また、具体的には、取得した設定値に対応する表示輝度の上限値が100nitである場合、図4(C)に示すような画像データと表示輝度との関係で画像を表示する。したがって、CPU401およびCPU401が制御するパラメータ決定部407は、表示装置の表示輝度の上限値を制御する制御装置である。
CPU401が実行する表示装置600の表示輝度の上限値の制御フローについて、説明する。図15は、表示輝度の上限値の制御フローについて示したフローチャートである。この制御フローは、画像処理装置400が表示装置600に表示画像データを出力する間、実行されるとする。また、各機能ブロックにおける処理は、CPU401の実行指示のもとに動作するとする。
S1401で、生成部406は、CPU401が実行中のアプリケーションと、レイアウト情報とに基づいて、表示画像データを生成する表示画像データ生成処理を実行する。
S1402で、パラメータ決定部407は、表示画像データにおいてHDRウィンドウが所定の条件を満たすか否かを判定する判定処理を実行する。表示画像データにおいてHDRウィンドウが所定の条件を満たすと判定された場合、S1403に進む。そうでない場合、S1404に進む。
S1403で、パラメータ決定部407は、表示輝度の上限値を示す設定値をHDR設定値に決定する。HDR設定値は、例えば、2000nitである。
S1404で、パラメータ決定部407は、表示輝度の上限値を示す設定値をSDR設定値に決定する。SDR設定値は、例えば、100nitである。HDR設定値は、SDR設定値よりも高い。
S1405で、通信部405は、表示画像データと表示輝度の上限値を示す設定値とを出力する。
S1406で、CPU401は、表示画像データにおけるウィンドウのレイアウトに変更があるか否かを判定する。表示画像データにおけるウィンドウのレイアウトに変更がない場合、処理はS1407に進む。表示画像データにおけるウィンドウのレイアウトに変更がある場合、処理は、S1401に戻る。
S1407で、CPU401は、表示画像データの出力を停止するか否かを判定する。表示画像データの出力を停止する場合は、例えば、ユーザが操作部404を介して、表示画像データの出力停止を指示した場合や、操作部404を介したユーザの指示が入力され
ない期間が所定の期間経過した場合等である。CPU401は、表示画像データの出力を停止すると判定した場合、表示輝度の制御フローを終了する。また、そうでない場合、処理はS1406に戻り、レイアウトの変更の有無の監視を継続する。
従来、パーソナルコンピュータから出力される画像データは、SDRを想定した画像データであり、画像データの最大値は100nit程度の表示輝度を想定していた。しかし、HDR画像を表示可能な表示装置では、画像データの最大値に対応する表示輝度を従来よりも高い輝度とすることが可能である。このような表示装置で、例えば、従来から用いられたSDRを想定したアプリケーションに対応するウィンドウが最前面に配置された表示画像データを表示すると、画面全体が高輝度となってしまい、ユーザが違和感を覚える場合がある。一方で、表示装置の表示輝度の上限値を常に制限すると、HDR画像を表示するためのアプリケーションを実行し、HDRウィンドウを最前面や大きく表示する場合に、全体的に暗い画像が表示され、HDRの特性を生かすことができない場合があった。
上述の実施例4の画像処理装置によれば、表示画像データにおいてHDR画像を表示するためのアプリケーションに対応するHDRウィンドウが所定の条件を満たす場合に、そうでない場合よりも表示装置の表示輝度の上限値を高く設定することが可能となる。したがって、HDRウィンドウが主として表示される場合に、表示装置の表示輝度の上限値がそうでない場合よりも高くなり、HDR画像の特性を生かし、好適に表示することが可能となる。また、HDRウィンドウを主として表示されない場合に、表示装置の表示輝度の上限値を制限することによって、SDRを想定した画像が、高輝度で表示されないようにすることが可能となる。
なお、パラメータ決定部407は、実施例1のように、画像データと表示輝度との対応関係を設定するものであってもよい。この場合、例えば、図4(B)に示すように画像データと表示輝度との対応関係を上述した関係以外に設定することも可能である。
また、パラメータ決定部407が決定する表示輝度の上限値を示す設定値(HDR設定値)は、実施例3に示すように、表示装置600が表示可能な輝度の範囲、外光の照度、およびバッテリー残量に応じて決定してもよい。
また、画像処理装置400と表示装置600とは、同一の装置であってもよい。例えば、画像処理装置400と表示装置600とを備えるスマートフォン、タブレット端末、パーソナルコンピュータ、およびデジタルカメラ等の種々の電子機器でも本実施例の処理を実行可能である。
なお、実施例1〜4はあくまで一例であり、本発明の要旨の範囲内で実施例1〜4の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜4の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,700:画像処理装置
110,703,1006:表示トーンマップ情報
112:画像出力部 1000:表示装置 1007:トーンマップ部

Claims (14)

  1. 複数の画像から構成される表示画像データを生成する生成手段と、
    前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像データの階調値と表示輝度との対応関係を決定する決定手段と、
    前記表示画像データと前記対応関係を示す情報とを表示手段に出力する出力手段と、を備え、
    前記決定手段は、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
    ことを特徴とする画像処理装置。
  2. 前記決定手段は、前記表示画像において前記ハイダイナミックレンジに対応する画像が最前面に配置され、かつ、所定のサイズよりも大きい場合に、前記第1対応関係を前記対応関係として決定し、そうでない場合に、前記第2対応関係を前記対応関係として決定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記ハイダイナミックレンジに対応する画像は、SMPTE ST2084規格で規定されたデータ形式の画像およびHybrid Log Gamma方式で規定されたデータ形式の画像である
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記第2対応関係に対応する表示輝度の上限は、前記第1対応関係に対応する表示輝度の上限よりも低い
    ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記表示画像が含む画像の数が所定の数よりも多い場合に、前記決定手段は、前記レイアウトによらず、前記第2対応関係を前記対応関係として決定する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記表示画像の平均輝度が第1閾値よりも高い場合に、前記決定手段は、前記レイアウトによらず、前記第2対応関係を前記対応関係として決定する
    ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記表示画像の最大輝度が第2閾値よりも高い場合に、前記決定手段は、前記レイアウトによらず、前記第2対応関係を前記対応関係として決定する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記画像処理装置の起動時に、前記決定手段は、前記レイアウトによらず、前記第2対応関係を前記対応関係として決定する
    ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記決定手段は、前記対応関係を他の対応関係に更新する場合に、前記表示手段に表示される輝度が徐々に変化するように前記対応関係を決定する
    ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記決定手段は、前記対応関係を他の対応関係に更新する場合に、更新前の対応関係から、前記更新前の対応関係に対応する表示画像の最大輝度または平均輝度に基づく第3対応関係を経て、更新後の対応関係へ前記対応関係が変化するように、前記対応関係を決定する
    ことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記決定手段は、前記表示手段の種類、前記表示手段のバッテリーの残容量、及び、前記表示手段に対する外光の少なくともいずれかにさらに基づいて、前記対応関係を決定する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 複数の画像から構成される表示画像のデータを生成する生成手段と、
    前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像のデータの階調値と表示輝度との対応関係を決定する決定手段と、
    前記対応関係で前記表示画像データに基づく画像を表示する表示手段と、
    を備え
    前記決定手段は、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
    ことを特徴とする表示装置。
  13. 複数の画像から構成される表示画像データを生成する生成手段と、
    前記表示画像を構成する前記複数の画像のレイアウトに基づいて、前記表示画像データの階調値と表示輝度との対応関係を決定するステップと、
    前記表示画像データと前記対応関係を示す情報とを表示手段に出力するステップと、を有し、
    前記対応関係を決定するステップでは、前記表示画像においてハイダイナミックレンジに対応する画像が最前面に配置されている場合に、第1対応関係を前記対応関係として決定し、そうでない場合に、前記第1対応関係と前記表示輝度の範囲が異なる第2対応関係を前記対応関係として決定する
    ことを特徴とする画像処理方法。
  14. 請求項13に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017235996A 2017-01-17 2017-12-08 画像処理装置および画像処理方法 Active JP6957332B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/869,811 US10403233B2 (en) 2017-01-17 2018-01-12 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017005877 2017-01-17
JP2017005877 2017-01-17

Publications (3)

Publication Number Publication Date
JP2018117343A JP2018117343A (ja) 2018-07-26
JP2018117343A5 JP2018117343A5 (ja) 2020-12-24
JP6957332B2 true JP6957332B2 (ja) 2021-11-02

Family

ID=62984403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017235996A Active JP6957332B2 (ja) 2017-01-17 2017-12-08 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6957332B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6924726B2 (ja) 2018-06-20 2021-08-25 株式会社ブリヂストン タイヤ
JP7301551B2 (ja) * 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP7256663B2 (ja) 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60205492A (ja) * 1984-03-29 1985-10-17 株式会社東芝 マルチウインドウ表示処理装置
JPS61163383A (ja) * 1985-01-16 1986-07-24 株式会社リコー 情報処理装置
US7051287B1 (en) * 1998-12-14 2006-05-23 Canon Kabushiki Kaisha Display device with frame reduction, display control method thereof, and storage medium
JP2001147760A (ja) * 1999-11-22 2001-05-29 Atr Media Integration & Communications Res Lab マルチウィンドウ表示装置
JP2007148064A (ja) * 2005-11-29 2007-06-14 Kyocera Corp 携帯電子機器及びその制御方法
JP4872982B2 (ja) * 2008-07-31 2012-02-08 ソニー株式会社 画像処理回路および画像表示装置
MX340266B (es) * 2011-06-14 2016-07-04 Koninklijke Philips Nv Procesamiento de graficos para video de intervalo dinamico alto.
CN104205204B (zh) * 2012-03-22 2016-01-20 富士胶片株式会社 图像显示装置及方法
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置

Also Published As

Publication number Publication date
JP2018117343A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
US10403233B2 (en) Image processing apparatus and image processing method
US11030727B2 (en) Display apparatus and display method
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
US10735688B2 (en) Electronics apparatus, display apparatus and control method thereof
JP6957332B2 (ja) 画像処理装置および画像処理方法
US11410343B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US10191712B2 (en) Display apparatus and recording medium
US10872557B2 (en) Display control apparatus and display control method
JP6659178B2 (ja) 画像処理装置および画像処理方法
US10504486B2 (en) Display apparatus and control method thereof
US11315290B2 (en) Image processing apparatus and image processing method
US10741131B2 (en) Display apparatus and display method
KR102553764B1 (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
US20210225306A1 (en) Display device and control method of display device
US11080829B2 (en) Control apparatus and control method
US11234042B2 (en) Display device, control method therefor and recording medium
US20220130315A1 (en) Selection of color calibration profile data from display memory
KR102533723B1 (ko) 전자 장치 및 그 제어 방법
KR102351095B1 (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
JP2019109279A (ja) 処理方法、表示装置、及び、情報処理装置
JP2020127107A (ja) 画像処理装置
US20220398993A1 (en) Control apparatus, signal output apparatus, signal distributing apparatus, display apparatus, system, control method, and storage medium
US20190114994A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
KR20220133724A (ko) 전자 장치 및 그 제어 방법
JP2023110846A (ja) 電子機器、電子機器の制御方法、プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R151 Written notification of patent or utility model registration

Ref document number: 6957332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151