JP6891882B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP6891882B2
JP6891882B2 JP2018519163A JP2018519163A JP6891882B2 JP 6891882 B2 JP6891882 B2 JP 6891882B2 JP 2018519163 A JP2018519163 A JP 2018519163A JP 2018519163 A JP2018519163 A JP 2018519163A JP 6891882 B2 JP6891882 B2 JP 6891882B2
Authority
JP
Japan
Prior art keywords
image
hdr
sdr
matrix
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018519163A
Other languages
English (en)
Other versions
JPWO2017203942A1 (ja
Inventor
江藤 博昭
博昭 江藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017203942A1 publication Critical patent/JPWO2017203942A1/ja
Application granted granted Critical
Publication of JP6891882B2 publication Critical patent/JP6891882B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/92
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、高ダイナミックレンジ画像(HDR(High Dynamic Range)画像)を、現在多く利用されている通常のダイナミックレンジ画像表示装置であるSDR(Standard Dynamic Range)表示装置に画質を大きく劣化させることなく表示可能とする画像処理装置、および画像処理方法、並びにプログラムに関する。
最近、撮像素子(イメージ・センサー)の高ビット化などにより、画像の高ダイナミックレンジ化が進んでいる。
画像のダイナミックレンジは、一般に最小輝度と最大輝度の比で表すことができる。
高画質画像として知られるHDR(High Dynamic Range)画像は、最大明度色と最低明度色の間のコントラスト比が例えば10000:1以上に達し、現実世界をリアルに表現することができる。
HDR画像は、可視範囲のほとんどすべての輝度を記録することができ、人間の視覚特性と同等のダイナミックレンジと色域をサポートすることができる。HDR画像は、陰影のリアルな表現や、眩しさの表現等の点で、従来画像に比較して極めて高画質な画像であると言える。
コンテンツ制作側は、HDR画像の撮影、制作を盛んに行っているが、一方、コンテンツを視聴する各家庭内のテレビ等の表示装置の多くはHDR画像を表示可能な表示装置ではないというのが現状である。
各家庭内のテレビ等の表示装置の多くは、表示可能な画像のダイナミックレンジがHDR画像より狭いSDR(Standard Dynamic Range)表示装置である。現状では、最大輝度が500nitや1000nitであるHDR対応の表示装置を利用しているユーザは少ない。
HDR画像を入力してSDR表示装置に表示すると、HDR画像本来の輝度情報や、色情報が失われ画質の低下した画像が表示されてしまう。なお、HDR画像をSDR画像として出力する場合、元のコンテンツのダイナミックレンジを、画像出力先のSDR表示装置(ディスプレイ)に適合させる処理(ディスプレイ・マッピングとも呼ぶ)が行われる場合がある(例えば、特許文献1を参照のこと)。
しかしながら、すべての表示装置がディスプレイ・マッピング機能を備えているわけではない。また、単純に線形スケーリングによりダイナミックレンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者や供給者の意図にも反することである。
特表2014−502480号公報
本開示は、例えばこのような状況に鑑みてなされたものであり、SDR表示装置にHDR画像を表示する場合に、画質を大きく低下させることなく高品質な画像の表示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記画像信号処理部は、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理装置にある。
さらに、本開示の第2の側面は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記マトリクス算出部は、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換する1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理装置にある。
さらに、本開示の第3の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記画像信号処理部が、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理方法にある。
さらに、本開示の第4の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記マトリクス算出部が、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理方法にある。
さらに、本開示の第5の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記プログラムは、前記画像信号処理部に、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行させるプログラムにある。
さらに、本開示の第6の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記プログラムは、前記マトリクス算出部に、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、HDR画像に対するマトリクス変換によって、画像平均輝度の大きな低下のない高品質なSDR画像を生成する装置、方法が実現される。
具体的には、HDR画像をSDR画像に変換する画像信号処理部が、HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する。規定しきい値より高輝度の高輝度領域画素については、変換後のSDR画像の最高出力画素として設定する。適用する変換マトリクスは、マクベスカラーチャートに設定された記憶色の変化率がより小さくなる設定としたマトリクスとする。
本構成により、HDR画像に対するマトリクス変換によって、画像平均輝度の大きな低下のない高品質なSDR画像を生成する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の構成と処理について説明する図である。 SDR表示装置の入出力特性としてのガンマ曲線の例について説明する図である。 ガンマ曲線とガンマ補正曲線、および表示部出力信号の例について説明する図である。 HDR画像とSDR画像の特性の差異について説明する図である。 画像タイプと特性について説明する図である。 HDR画像の入出力特性であるハイブリッドーログーガンマ(HLG)曲線について説明する図である。 ハイブリッドーログーガンマ(HLG)曲線に従った入出力特性をもつHDR画像のSDR画像への変換処理例について説明する図である。 ハイブリッドーログーガンマ(HLG)曲線に従った入出力特性をもつHDR画像のSDR画像への変換処理例について説明する図である。 ハイブリッドーログーガンマ(HLG)曲線に従った入出力特性をもつHDR画像のSDR画像への変換をマトリクス変換によって実行する画像処理装置について説明する図である。 マトリクス変換部の処理について説明する図である。 マトリクス変換部の処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換部の処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換部の処理について説明する図である。 マクベスカラーチャートについて説明する図である。 マクベスカラーチャートの各色に対するマトリクス変換処理について説明する図である。 マクベスカラーチャートの各色に対するマトリクス変換処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換を適用した画像変換処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置が実行するマトリクス変換を適用した画像変換処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換を適用した画像変換処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換部の処理について説明する図である。 本開示の画像処理装置が実行するマトリクス変換部の処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.画像処理装置における画像表示処理の概要について
2.SDR表示部に対するHDR画像出力処理における問題点について
3.ハイブリッドーログ−ガンマ方式のHDR画像について
4.マトリクス変換を適用して、HDR画像からSDR画像への変換を実行する構成について
5.変換後のSDR画像の輝度レベル低下を防止したマトリクス変換処理構成について
6.画像処理装置の構成例について
7.本開示の構成のまとめ
[1.画像処理装置における画像表示処理の概要について]
まず、図1以下を参照して画像処理装置における画像表示処理の一般的な処理例について説明する。
図1の画像処理装置10は、例えば、テレビ、スマートフォン、PC等の表示部を備えたユーザ装置(クライアント)である。
画像処理装置10は、例えば、放送局やストリーミング・サーバ等からの受信画像データ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアからの再生画像データを表示部13に表示する。
画像信号処理部11は、例えば、放送局やサーバ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアから入力するMPEG―2TSなどの符号化ストリームを復号し、復号データに基づいて生成した画像信号を表示制御部12に出力する。
例えば、表示部13の表示特性に応じた出力信号を生成して表示制御部12に出力する。
表示制御部12は、画像信号処理部11からの入力信号に基づいて、表示部13に対する出力信号を生成する。
表示部13は、表示制御部12からの入力信号を用いて表示パネルを駆動し、画像表示を実行する。
放送局やサーバの提供するコンテンツ、あるいはメディアに格納されるコンテンツを構成する画像データは、時代とともにより高品質な画像に変化してきている。具体的には、これまでの2K画像から、4K画像や8K画像と呼ばれる高解像度画像に推移しつつある。
さらに、これまでのSDR(Standard Dynamic Range)画像に比較して低輝度から高輝度まで広い輝度範囲の画像を忠実に再現可能とした高ダイナミックレンジ(HDR:High Dynamic Range)画像の利用が普及しつつある。
HDR画像は、SDR画像より表現可能なダイナミックレンジが広く、可視範囲のすべての輝度を表現可能な画像であり、人間の視覚特性とほぼ同等のダイナミックレンジと色域をサポートすることができる。
図1に示す表示部13に対応して示す(参考図)は、表示部13に表示される色域を解説する図であり、DCI規格色空間内に規定される2つの表色系を示している。
ITU−R BT.709表色系、さらに、より広い広範囲な色表現を可能としたITU−R BT.2020表色系を示している。
これらは、いずれも放送規格の策定機関であるITU−R(International Telecommunication Union−Radio communications sector)の規定する表色系である。
HDR画像は、例えばITU−R BT.2020準拠の光電変換関数(OETF:Optical−Electro Transfer Function)を用いて輝度を非線形変換した10〜12ビットの信号値によって出力される。
HDR画像は、表示部(ディスプレイ)53がHDR画像対応のダイナミックレンジを出力可能なHDR表示部であれば、問題なく正しい輝度と色情報を表現した画像として出力される。
しかし、表示部13がHDR対応でなく、HDR画像より表現可能な輝度や色の範囲が狭いSDR画像に対応した表示部(SDR表示部)である場合、正しい輝度と色情報の出力ができなくなる場合がある。
図1に示す画像処理装置10の画像信号処理部11は、表示部13の表示特性に応じた出力信号を生成する。
表示部13は、入力信号を用いて表示パネルを駆動し、画像表示を実行する。
例えば、表示部13がSDR画像専用の表示部である場合、図2に示すガンマ2.2曲線31に従った入出力特性を有する。
図2に示すグラフは横軸が入力(信号値(0〜1))、縦軸が出力(輝度(cd/m))であり、入力(信号値)と出力(輝度)の対応関係を示すグラフである。このグラフは、入力電気信号を出力光信号に変換する電光変換関数(EOTF:Electro−Optical Transfer Function)を示すグラフである。
表示部13を構成するディスプレイは、一般的に「入力値:Vin」と「出力値:Vout」は直線関係になく、「入力値:Vin」と「出力値:Vout」との関係は、以下のような「べき乗関数」で表される。
Vout=Vinγ
このべき乗の指数値γがガンマ値に相当する。
図2に示す曲線31は、ガンマ値=2.2に対応するガンマ2.2曲線であり、一般的なSDR表示装置の入出力特性である。
曲線31は、横軸に相当する入力xに対して、縦軸に相当する出力yとの関係が、以下の関係式、すなわち、
y=x2.2
上記関係にある。
曲線31は、2.2乗曲線とも呼ばれ、現在利用されている多くの一般的なSDR表示装置(ガンマ値=2.2)の入出力特性を示すガンマ2.2曲線である。
図3を参照して、ガンマ2.2曲線に従った表示特性を有する一般的なSDR表示装置に対する出力信号であるガンマ補正信号について説明する。
図3に示すように、入出力特性がガンマ2.2曲線31となるSDR表示部に対して、図3に示すガンマ2.2曲線の逆特性を持つガンマ補正信号32を出力することで、表示部の出力(輝度値や色値)を入力信号に対して線形とした表示部出力33を得ることができる。
このように、ガンマ補正信号を用いた表示部出力を行うことで、入力信号と出力信号(輝度値や色値)との対応が線形対応となり、入力画像の持つ輝度や色表現を正しく表現した画像を表示することができる。
[2.SDR表示部に対するHDR画像出力処理における問題点について]
図3を参照して説明した処理は、SDR表示部の表示部特性であるガンマ2.2曲線に対応して生成されるガンマ補正信号を用いた処理例であり、この場合、SDR表示部に表示されるSDR画像は、オリジナルの入力SDR画像の持つ輝度や色表現を正しく表現したものとなる。
しかし、SDR画像より広範囲なダイナミックレンジを持つHDR画像は、SDR画像の画像特性と全く異なる特性を持つ。
図4を参照してHDR画像とSDR画像の画像特性について説明する。
図4に示すグラフは横軸が入力(信号値(0〜1))、縦軸が出力(輝度(cd/m))であり、入力(信号値)と出力(輝度)の対応関係を示すグラフである。このグラフは、入力電気信号を出力光信号に変換する電光変換関数(EOTF:Electro−Optical Transfer Function)を示すグラフである。
図4には、SDR画像の画像特性(=SDR表示装置の表示特性)に相当するガンマ2.2曲線31と、HDR画像の画像特性(=HDR表示装置の表示特性)に相当するSMPTE ST 2084曲線40を示している。SMPTE ST 2084曲線40は、SMPTE(米国映画テレビ技術者協会)の規格として規定された曲線である。
SMPTE ST 2084曲線40は、HDR画像の1つの代表的な特性曲線であり、SMPTE(米国映画テレビ技術者協会)の規格として規定された曲線である。
なお、SMPTE ST 2084曲線は、PQ(Perceptual Quantization)曲線とも呼ばれる。
SMPTE ST 2084曲線(PQ曲線)は、HDR画像を構成する輝度範囲:0.05〜10,000Nitのダイナミックレンジに対応する符号化データの生成に用いられる。具体的には、HDR画像を構成する輝度範囲:0.05〜10,000Nitのダイナミックレンジを、人間の眼に合わせた量子化ステップのカーブとして定義されるSMPTE ST 2084曲線40に従って変換することで所定ビット(例えば12ビット)の階調に収めた画像信号を生成することができる。
図4から明らかなように、HDR画像の表現可能な輝度範囲は、SDR画像の表現可能な輝度範囲に比較してはるかに大きくなっている。すなわち高ダイナミックレンジ化が実現されている。
しかし、図4に示すように、SDR画像対応のガンマ2.2曲線と、HDR画像対応のSMPTE ST 2084曲線とは全く異なる特性を有している。
今後、HDR画像コンテンツが増加すると、図1を参照して説明した画像処理装置10の画像信号処理部11が入力する画像は、SDR画像である場合とHDR画像である場合の2通りのケースが発生する。
すなわち、画像処理装置10は、SDR画像信号、またはHDR画像信号のいずれかからなる画像コンテンツを表示部13に表示することになる。
しかし、現状では、多くのユーザ装置の保有する表示装置(ディスプレイ)は、HDR画像に対応しない表示装置である。すなわちHDR画像において規定されている高ダイナミックレンジの画像表示が行えないSDR画像対応のSDR表示部が多く利用されているという現状がある。
画像処理装置10の表示部13がSDR画像に対応するSDR表示部である場合、画像処理装置10の入力画像がSDR画像であれば、先に図2、図3を参照して説明したガンマ2.2曲線に対応するガンマ補正信号を生成することで、表示部に元のSDR画像の持つ輝度や色表現を正しく表現した画像を出力することができる。
しかし、SDR画像より広範囲なダイナミックレンジを持ち、図4に示すSMPTE ST 2084曲線に相当する特性を持つHDR画像を入力した場合、SDR画像に対する処理と同様の処理を行なっても、図3を参照して説明したような入力(信号)と出力(輝度や色)とが線形関係となる表示信号103は生成されない。従って、HDR画像の持つ輝度や色が再現されず画質が低下してしまうという問題が発生する。
[3.ハイブリッドーログ−ガンマ方式のHDR画像について]
上述したように、SMPTE ST 2084曲線を信号変換関数として用いたHDR方式では、SDR画像の表示処理のみに対応したSDR表示装置では、視聴できないレベルまで画質が低下してしまうという問題がある。
HDR画像やSDR画像の撮影、伝送、画像出力を行なう場合、撮影装置や放送局側で、撮影画像に相当する光信号を電気信号に変換して伝送し、さらに、テレビ等の表示装置で電気信号を光信号に変換して出力する処理が必要となる。
これらの処理に必要となる信号変換関数として、光信号を電気信号に変換する光電変換関数(OETF:Optical−Electro Transfer Function)、さらに、電気信号を光信号に変換する電光変換関数(EOTF:Electro−Optical Transfer Function)が利用される。
この光電変換関数(OETF)や、電光変換関数(EOTF)等の信号変換関数として、どのような関数を用いるかによって、テレビ等の表示部に出力される画像の態様が決定される。
先に説明した放送規格策定機関であるITU−Rは、HDR画像の伝送や出力に適用する信号変換関数(OETF/EOTF)として、異なる関数を利用した複数の異なる方式の規格化を行う予定としている。
図5を参照して、これらの規格について説明する。
ITU−Rは、HDR画像について、以下の2つの方式についての規格化する予定としている。
(a)アプリケーション1(Application1)(=SMPTE ST 2084曲線適用)
(b)アプリケーション2(Application2)(=ハイブリッドーログ−ガンマ曲線適用)
(a)アプリケーション1(Application1)は、図4を参照して説明したSMPTE ST 2084曲線を信号変換関数として用いたHDR方式である。
一方、(b)アプリケーション2(Application2)は、ガンマ曲線と、対数(log)曲線とを組み合わせたHLG(Hybrid Log−Gamma)曲線を信号変換関数として用いたHDR方式である。
(a)アプリケーション1(Application1)は、表示部において、撮影環境の輝度の絶対値を表現できるいわゆる絶対値方式であり、最大で1万cd/mの絶対輝度を表現できる。
一方、(b)アプリケーション2(Application2)は、表示部の表示特性に応じた相対的な輝度レベルで画像を表示可能とした相対値方式であり、例えば、予め規定される基準白色の12倍の相対輝度を表現できる。
絶対値方式である(a)アプリケーション1(Application1)は、出力輝度の上限が高いHDR画像出力に対応したHDRテレビでは、ダイナミックレンジの広いHDR画像を出力可能であるが、出力輝度の上限が低い従来型のSDRテレビでは、自然な画像が表示できない。
一方、相対値方式である(b)アプリケーション2(Application2)に従ったHDR画像は、HDRテレビ、SDRテレビ双方において各テレビの表示可能な輝度範囲で視聴可能な表示画像を出力することができるという特徴を持つ。
すなわち、出力輝度の上限が高いHDR画像出力に対応したHDRテレビではダイナミックレンジの広いHDR画像が出力可能となる。
さらに、出力輝度の上限が低い従来型のSDRテレビにおいても、SDRテレビが出力可能な輝度範囲内の擬似的なSDR画像として表示して視聴することが可能となる。
図5は、今後、テレビ等の表示装置に表示される可能性のある画像の例を示す図である。
図5に示すように、今後、テレビ等の表示装置に表示される可能性のある画像のタイプとして、以下の3種類がある。
(1)HDR1
(2)HDR2
(3)SDR
(1)画像タイプ=HDR1は、上述したITU−R規格のアプリケーション1(Application1)に対応するHDR画像であり、信号変換(OETF/EOTF)に適用する変換関数は、例えばSMPTE ST 2084曲線によって規定される関数である。
(2)画像タイプ=HDR2は、上述したITU−R規格のアプリケーション2(Application2)に対応するHDR画像であり、信号変換(OETF/EOTF)に適用する変換関数は、例えばハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線によって規定される関数である。
なお、HDR2画像は、前述したようにHDR2画像の表示機能を持つHDRテレビでは高ダイナミックレンジのHDR画像を表示できる。また、HDR2画像の表示機能を持たないSDRテレビでは擬似的なSDR画像として表示することができる。
(3)画像タイプ=SDRは、HDR画像よりダイナミックレンジの小さい従来型の画像データであり、信号変換(OETF/EOTF)に適用する変換関数は、例えばガンマ2.2(Gamma2.2)曲線によって規定される関数である。
図5(2)に示すHDR2(アプリケーション2)は、今後、普及することが予想されるHDRテレビ、すなわち出力輝度の上限が高いHDRテレビではダイナミックレンジの広いHDR画像が出力可能となる。
さらに、出力輝度の上限が低い従来型のSDRテレビにおいても、SDRテレビが出力可能な輝度範囲内の擬似的なSDR画像として表示して視聴することが可能とり、放送や、その他のメディアにおいても多く利用されることが予想される。
図5(2)に示すHDR2(アプリケーション2)に適用される信号変換関数であるハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線の例を図6に示す。
図6に示すHLG(ハイブリッド−ログーガンマ)曲線50は、先に説明した図4と同様、横軸が入力(信号値(0〜1))、縦軸が出力(輝度(cd/m))であり、入力(信号値)と出力(輝度)の対応関係を示すグラフである。このグラフは、入力電気信号を出力光信号に変換する電光変換関数(EOTF:Electro−Optical Transfer Function)を示すグラフである。
この図6に示す入出力特性を有するHDR画像をSDR表示部に表示するための処理の一例について、図7を参照して説明する。
図7に示すHLG(ハイブリッド−ログーガンマ)曲線50に従った入出力特性(EOTF)を持つHDR画像をSDR表示装置に出力して、擬似的なSDR画像として表示するためには、図7に示すHDR曲線50を、SDR表示部の表示特性に適合した入出力特性、すなわち、図7に示すガンマ2.2曲線に従った入出力特性をもつ変換信号51に変換して表示部に入力することが必要となる。
この信号変換処理の一例について、図8を参照して説明する。
図8は、図1に示す画像処理装置10の画像信号処理部11の構成と処理を説明する図である。
図8に示すように、画像信号処理部11は、リニア変換部71、色域輝度変換部72、リニアガンマ変換部73を有する。
図6、図7を参照して説明したHLG(ハイブリッド−ログーガンマ)曲線50に従った入出力特性(EOTF)を持つHDR画像81は、リニア変換部71に入力される。
リニア変換部71は、HLG(ハイブリッド−ログーガンマ)曲線50に従った入出力特性を入出力関係が線形になるように線形変換(リニア変換)を実行する。
この線形変換により、図に示すHDR画像色域輝度対応入出力線形データ82を生成する。この線形データは、色域輝度変換部72に入力される。
色域輝度変換部72は、SDR画像のみを表示可能な表示部13の表示特性に応じて、入力値に対する出力色、輝度を再設定する処理を実行する。
すなわち、入力画像の色域や輝度を表示部13の表示可能な色域や輝度に従って変換する処理である。
この変換処理を正確に行うために、入出力関係を線形データとして処理を行なう。
この処理結果として、図に示すSDR画像色域輝度対応入出力線形データ83を生成する。この線形データは、リニアガンマ色変換部73に入力される。
リニアガンマ色変換部73は、入出力関係が線形データとして設定されたSDR画像色域輝度対応入出力線形データ83を、ガンマ2.2曲線に従った入出力関係に設定するためのリニアガンマ変換処理を実行する。
この処理により、図8に示す擬似SDR画像84を生成して表示制御部12を介して表示部13に出力する。
図8に示すように、擬似SDR画像84は、入出力特性がガンマ2.2曲線に従った特性であり、SDR表示部においてSDR画像として表示可能な画像データであり、表示部13は、入力する擬似SDR画像84をSDR画像として表示することが可能となる。
しかし、この一連の処理においては、入力信号(HDR画像81)に対して、リニア変換処理、色域輝度変換処理、さらにリニアガンマ変換処理を実行することが必要であり、処理負荷が大きく、データ処理機能やメモリ容量の小さい装置では、処理が困難になるという問題がある。また処理時間が長くなり表示タイミングの遅延が大きくなるという問題もある。
[4.マトリクス変換を適用して、HDR画像からSDR画像への変換を実行する構成について]
上述したように、SDR画像のみの表示可能なSDR表示部に、HDR画像を変換したSDR画像を表示する処理構成として、図8に示す一連の処理を実行する構成がある。
しかし、図8に示す構成では、入力信号(HDR画像81)に対して、リニア変換処理、色域輝度変換処理、さらにリニアガンマ変換処理が必要であり、処理負荷、処理時間が大きくなるという問題がある。
以下、この問題を解決する本開示の画像処理装置の構成と処理について説明する。
図9は、本開示の画像処理装置100の構成例を示す図である。
図9の画像処理装置100は、例えば、テレビ、スマートフォン、PC等の表示部を備えたユーザ装置(クライアント)である。
画像処理装置100は、例えば、放送局やストリーミング・サーバ等からの受信画像データ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアからの再生画像データを表示部116に表示する。
画像信号処理部110は、例えば、放送局やサーバ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアから入力するMPEG―2TSなどの符号化ストリームを復号し、復号データに基づいて生成した画像信号を表示制御部115に出力する。
例えば、表示部116の表示特性に応じた出力信号を生成して表示制御部115に出力する。
表示制御部115は、画像信号処理部110からの入力信号に基づいて、表示部116に対する出力信号を生成する。
表示部116は、表示制御部115からの入力信号を用いて表示パネルを駆動し、画像表示を実行する。
図9に示す例では、画像信号処理部110は、マトリクス変換部111を有する。
マトリクス変換部111は、HDR画像121の画素値各々について、1つのマトリクスを適用して画素値変換を実行し、変換結果として技師SDR画像122を生成する。
この画像信号処理部110のマトリクス変換部111の処理について、図10を参照して説明する。
画像信号処理部110のマトリクス変換部111は、入力画像として、HDR画像121を入力する。
このHDR画像は、図10に示すように、先に図6を参照して説明したHLG(ハイブリッド−ログ−ガンマ)曲線に従った入出力特性を持つHDR画像データである。
画像信号処理部110のマトリクス変換部111は、HDR画像121の画素値各々について、1つのマトリクス(行列)を適用して画素値変換を実行する。
この画素値変換結果として、図9に示す擬似SDR画像122を生成する。
入力するHD画像121は、HDR固有の高ダイナミックレンジの出力輝度レベルや出力色域を有する画像である。
しかし、画像信号処理部110のマトリクス変換部111におけるマトリクス変換によって生成される擬似SDR画像122は、SDR画像として許容されるダイナミックレンジの出力輝度レベルや色域を持つ画像となる。
すなわち、擬似SDR画像122の入出力特性は、図10に示すように、図2他を参照して説明したガンマ2.2曲線に従った特性であり、SDR画像のみを表示可能な表示部116においてSDR画像として表示、視聴することが可能となる。
しかし、マトリクス変換による生成画像、すなわち擬似SDR画像122の画質は全体的に明るさが低下してしまうという問題がある。
図11を参照して、マトリクスを用いた画素値変換によるHDR画像から擬似SDR画像の生成処理例について説明する。
HDR画像の入出力特性は、先に図6他を参照して説明した図11に示すHLG(ハイブリッド−ログ−ガンマ)曲線201に従った特性であるものとする。
この特性をもつHDR画像の画素値を、あるマトリックスを用いて変換し、SDR画像の入出力特性に対応るガンマ2.2曲線に従った特性を持つSDR画像に変換すると、例えば、変換後のSDR画像の特性は、図11に示すガンマ2.2曲線202に従った特性となる。
図11から明らかなように、HLG曲線201とガンマ曲線202を比較すると、ガンマ曲線202は、HLG曲線201に比較して全体的に出力輝度が低下している。
これは、変換前のHDR画像の出力値を、入力信号値0〜1全体に渡ってSDR画像の許容出力値以下に低下させる画素値変換、すなわちマトリクス変換処理を行なったためである。
具体的には、図11に示すHDR画像の最大輝度、例えば図11に示す入力信号=1.0の最大輝度2000cd/mを、変換後のSDR画像の入力信号1.0に対応する最大輝度、約400cd/mに低下させるパラメータ設定した1つのマトリクスを生成する。
このマトリクスを、入力信号0〜1.0に対するHDR画像出力値についても同様に適用して画素値変換を行うと、生成されたSDR画像の入力信号0〜1に対する出力値が、全体に低下し、結果として、図11に示すような出力レベルが低下した特性を持つ擬似SDR画像が生成されることになる。
なお、画像の平均輝度を示す指標値として、図11に示すAPL(Average Picture Level)がある。APLは画像の平均輝度指標値であり、HDR画像の最大輝度をSDR画像の最大輝度に変換する設定としたマトリクスを適用した画像変換を実行するとAPL(平均画像輝度)が低下し、全体的に暗いSDR画像が生成されて出力されるという問題が発生する。
[5.変換後のSDR画像の輝度レベル低下を防止したマトリクス変換処理構成について]
次に、HDR画像の画素値を、マトリクスを用いて変換して、SDR表示部に表示可能な擬似SDR画像を生成する構成において、変換後のSDR画像の輝度レベルを低下させず、明るいSDR画像を生成する画像処理装置の構成と処理について説明する。
HDR画像のマトリクス変換を行い、変換後のSDR画像の輝度レベルを低下させることのない画像変換を実行するための変換処理態様について、図12以下を参照して説明する。
図12には、変換処理対象となるHDR画像の入出力特性曲線であるHLG(ハイブリッド−ログ−ガンマ)曲線201を示している。
横軸が入力信号0〜1.0であり、縦軸が出力(輝度:cd/m)である。
画像処理装置の画像変換(HDR→SDR)に適用するマトリクスの生成処理において、図12に示すように、HDR画像の特性曲線であるHLG曲線201をSDt領域と、HDR拡張領域の2つの領域に区分する。
SDR領域は、出力信号の輝度レベルが相対的に低い低輝度レベルの領域であり、HDR画像の入力値(0〜1.0)中の、入力値=0〜0.5の領域に対応する領域である。
また、HDR拡張領域は、出力信号の輝度レベルが相対的に高い高輝度レベルの領域であり、HDR画像の入力値(0〜1.0)中の、入力値=0.5〜1.0の領域に対応する。
この領域境界、すなわち、HDR画像の入力値=0.5の入力値位置を変換後のSDR画像の最大入力値、すなちわち、入力値=1.0に設定する。
SDR画像の入力値=1.0は、SDR画像のRGB値の最大値に相当し、出力画素値としては、RGB最大レベル(Max)に設定された「白」に相当する。
HDR画像の画素値をSDR画像の画素値に変換する場合、マトリクスを適用したマトリクス変換の処理対象を、HLG曲線201中のSDR領域内のデータのみとする。
HLG曲線201中のSDR領域外の高輝度領域、すなわち、図12に示すHDR拡張領域のHDR画素については、マトリクス変換を行わず、変換後のSDR画像においてすべて最高輝度(白)として出力する。
図13にマトリクス変換によって生成されるSDR画像対応の特性曲線、すなわちガンマ2.2曲線203の例を示す。
図13に示すガンマ2.2曲線203は、HDR入力信号0〜0.5のHLG曲線201に従ったHDR画像のSDR領域の画素値に、1つのマトリクスを適用した画素値変換によって生成したSDR画像の入出力特性に相当する。
なお、マトリクス変化に適用するマトリクスは、1つのマトリクスであり、以下の各条件を満たすマトリクスを利用する。
(条件1)SDR領域とHDR拡張領域の境界位置のHDR画像の入力信号の値を、SDR画像の入力信号=1.0(最大値)である「白」、すなわち基準白に設定したマトリクスとする。
(条件2)SDR画像の特定色、例えばマクベスカラーチャートの記憶色#01〜#06の少なくとも一部の記憶色、例えば#01〜#03について、マトリクス変換による変化率を0、または、他の色より小さい変化率に設定したマトリクスとする。
上記の2つの条件を満足するマトリクスを利用して、HDR画像の画素値変換を実行してSDR画像の画素値として設定する。
上記条件1,2の詳細について、順次、説明する。
まず、上記(条件1)について説明する。
(条件1)SDR領域とHDR拡張領域の境界位置のHDR画像の入力信号の値を、SDR画像の入力信号=1.0(最大値)である「白」、すなわち基準白に設定したマトリクスとする。
この(条件1)の詳細について、図13を参照して説明する。
図13に示す例では、SDR領域とHDR拡張領域の境界位置のHDR画像の入力信号の値=0.5である。このHDR画像の入力信号の値=0.5を、SDR画像の入力信号=1.0(最大値)である「白」、すなわち基準白に設定するマトリクスを適用することが条件1である。
例えば、
SDR画像のRGB値が8ビットデータであり、画素値(RGB)は、(R,G.B)=(0,0,0)〜(255,255,255)の各値の範囲に設定されるとする。
この時、SDR画像の入力信号=1.0(最大値)である「白」は、(R,G,B)=(255,255,255)である。
一方、HDR画像のRGB値が10ビットデータであり、画素値(RGB)は、(R,G.B)=(0,0,0)〜(1023,1023,1023)の各値の範囲に設定されるとする。
この時、HDR画像の入力信号=0.5は、(R,G,B)≒(511,511,511)である。
この場合、マトリクスMは、以下の(条件式1)を満足するマトリクスとする。
(1023,1023,1023)=M×(511,511,511)・・・(条件式1)
上記(条件式1)を満たすことが、前述の(条件1)を満たすマトリクス、すなわち、SDR領域とHDR拡張領域の境界位置のHDR画像の入力信号の値を、SDR画像の入力信号=1.0(最大値)である「白」、すなわち基準白に設定するマトリクスとなる。
なお、HDR画像の画素値が、図13に示すHDR拡張領域にある場合、変換処理後のSDR画像に設定する画素値は、すべて最大値、すなわち「白」に設定する。
図13に示す例において、SDR領域とHDR拡張領域の境界位置のHDR信号=0.5以上のHDR信号(0.5〜1.0)は、すべて変換後のSDR画像の画素値として最大値(1:白)に設定される。
例えば、上述したSDR画像のRGB値が8ビットデータ、HDR画像のRGB値が10ビットデータの場合、HDR画像の画素値(RGB)が、(R,G.B)=(0,0,0)〜(1023,1023,1023)の範囲の画素は、変換後のSDR画像の最大画素値(RGB)=(255,255,255)に設定する。
次に、(条件2)について説明する。
(条件2)SDR画像の特定色、例えばマクベスカラーチャートの記憶色#01〜#06の少なくとも一部の記憶色、例えば#01〜#03について、マトリクス変換による変化率を0、または、他の色より小さい変化率に設定したマトリクスとする。
この(条件2)について、図14、図15を参照して説明する。
図14は、マクベスカラーチャートを示す図すである。
デジタルカメラを始めとするカラーイメージングの分野で用いられる色再現性の評価データとして「マクベスカラーチャート」がある。
色再現性の支配要因には、分光感度、調子再現、三原色がある。また、色再現性の評価にはこれらの要因を個別に評価せずに最終的に得られる再現色で評価する方法が多く用いられている。
色再現性の評価に適用するカラーチャートの代表的な例が図14に示すマクベスカラーチャートである。
図14に示すように、マクベスカラーチャートは、以下の各色を含む24色を代表的カラーとして設定したカラーチャートである。各色は、色番号#01〜#24に対応付けられており、以下のような設定である。
#01:濃い肌色
#02:薄い肌色
#03:空色
#04:緑
#05:紫
#06:水色
: :
#24:黒
これら24色中、色番号#01〜#06は、いわゆる記憶色と呼ばれる色に相当する。記憶色とは、人の日常的な観察に基づいて、人物や空や樹木等の自然界の色として無意識に記憶している色である。
人は、写真や、ディスプレイに表示されたカラー画像を見るとき、脳裏に記憶している色と比較する処理を行なう。この比較対象とする色が記憶色、すなわち、例えばマクベスカラーチャートの#01〜#06の色である。
写真や、ディスプレイに表示されたカラー画像に含まれる記憶色(色番号#01〜#06)が、画像観察者が記憶している色と一致していないと、出力画像に違和感を抱くことになる。一方、表示色中の記憶色(色番号#01〜#06)が、観察者が記憶している色と一致していると、出力画像に違和感を抱くことなく自然な色が再現されていると感じることができる。
(条件2)は、マクベスカラーチャートの記憶色#01〜#06の少なくとも一部、例えば#01〜#03の記憶色について、HDR画像の画素値のマトリクス変換によって生成されるSDR画像の画素値を、本来のSDR画像の記憶色の画素値に一致、または他のカラーチャート色より小さい変化率に設定できるマトリクスとすることである。
図15には、マクベスカラーチャートに含まれる24色(#01〜#24)について、
個別のマトリクス(M#01〜M#24)と、
SDR画像の画素値(RSDR#nn,GSDR#nn,BSDR#nn
HDR画像の画素値(RHDR#nn,GHDR#nn,BHDR#nn)と、
これらの2種類のデータ例を示している。
例えばSDR画像がRGB各8ビットデータの設定であれば、SDR画像の画素値RGBは、RGB=(0,0,0)〜(255,255,255)である。
一方、HDR画像がRGB各10ビットデータの設定であれば、SDR画像の画素値RGBは、RGB=(0,0,0)〜(1023,1023,1023)である。
マクベスカラーチャートに含まれる24色(#01〜#24)について、
マトリクス(M#01〜M#24)の各々は、以下の式を満足するマトリクスである。
(RSDR#nn,GSDR#nn,BSDR#nn)=M#nn×(RHDR#nn,GHDR#nn,BHDR#nn
この設定では、24色(#01〜#24)各々のマトリクス(M#01〜M#24)は、すべて異なるマトリクスとなる。
マクベスカラーチャート24色(#01〜#24)対応の24個のマトリクス(M#01〜M#24)を用いて、HDR画像の画素値から、SDR画像の画素値を算出式する式は、以下の(式1)として示される。
Figure 0006891882
本開示の構成では、HDR画像の画素値からSDR画像の画素値を算出する際、このように画素値に応じた個別のマトリクスを適用せず、1つのマトリクスを用いて、図13に示すHDR画像のSDR領域の画素値からSDR画像の画素値を算出する。
マクベスカラーチャートにおける各色のSDR画素値とHDR画素値、さらにマトリクスMとの対応関係は、図16に示す通りとなる。
図16に示すマトリクスMは1つのマトリクスである。
マクベスカラーチャート24色(#01〜#24)に共通の1つのマトリクス(M)を用いて、HDR画像の画素値から、SDR画像の画素値を算出する式は以下の(式2)として示される。
Figure 0006891882
本開示の画像処理装置は、このように、マクベスカラーチャートの24色すべてに対して共通の1つのマトリクスを適用してHDR画像の画素値をSDR画像の画素値に変換する。
ただし、1つのマトリクスMを使用する画素値変換を行うと、HDR画像の各色(#01〜#24)対応のRGB値を変換して得られるSDR画像の各色(#01〜#24)対応の画素値は、本来のマクベスカラーの色を示すSDR画像のRGB画素値とずれが発生する。
上記(式2)、および図16に示す(R'SDR#nn.G'SDR#nn,B'SDR#nn)は、上記(式1)や図15に示す本来のマクベスカラーの色を示すSDR画像のRGB画素値(RSDR#nn.GSDR#nn,BSDR#nn)とは異なる値であることを示している。
なお、上記(式2)、および図16に示すマトリクスM、すなわち、HDR画像からSDR画像の画素値算出処理に適用する共通マトリクスMは、前述の2つの条件を満たすように算出する。すなわち、以下の2つの条件である。
(条件1)SDR領域とHDR拡張領域の境界位置のHDR画像の入力信号の値を、SDR画像の入力信号=1.0(最大値)である「白」、すなわち基準白に設定したマトリクスとする。
(条件2)SDR画像の特定色、例えばマクベスカラーチャートの記憶色#01〜#06の少なくとも一部、例えば#01〜#03の記憶色について、マトリクス変換による変化率を0、または、他の色より小さい変化率に設定したマトリクスとする。
これら2つの条件を満足するマトリクスの算出シーケンスについて、図17に示すフローチャートを参照して説明する。
(ステップS101)
まず、ステップS101において、マクベスカラーチャート各色のHDR画像対応RGB値と、SDR画像対応のRGB値を算出する。
すなわち、以下の各値を算出する。
24色対応HDR画像RGB値(RGBHDR#01〜RGBHDR#24
24色対応SDR画像RGB値(RGBSDR#01〜RGBSDR#24
これらは図15に示す表の24色対応各RGB値に相当する。
(ステップS102)
次に、ステップS102において、マクベスカラーチャート各色のHDR画像対応RGB値と、SDR画像対応のRGB値を、全てCIELab色空間のL値に変換する。
すなわち、以下の各値を算出する。
24色対応HDR画像L値(L HDR#01〜L HDR#24
24色対応SDR画像L値(L SDR#01〜L SDR#24
これは、モニタ等の出力機器の特性依存型の色表現データであるRGB値を、人間の視覚特性を正確に反映した色表現データとしてのL値に変換する処理として行われる。
(ステップS103)
次に、ステップS103において、マクベスカラーチャート各色のHDR画像対応のL値と、SDR画像対応のL値との差分に相当するユークリッド距離を算出する。
以下のユークリッド距離を算出する。
マクベスカラーチャートの各色#01〜#24のユークリッド距離(ΔE ab#01〜 ΔE ab#24
ユークリッド距離ΔE ab#nnは、以下の(式3)によって算出される。
Figure 0006891882
ΔE ab#nnは、図16に示すマクベスカラー#nnのHDR画像対応の画素値RGBHDR#nnに基づいて生成したHDR画像対応のL画素値と、
図16に示すマクベスカラー#nnのSDR画像対応の画素値R'G'B'SDR#nnに基づいて生成したSDR画像対応のL画素値との差分に相当するユークリッド距離である、
なお、SDR画像対応のL画素値(L SDR,a SDR,b SDR)は、HDR画像対応のL画素値(L HDR,a HDR,b HDR)とマトリクスMとの演算式によって表現可能である。
すなわち、
(L SDR,a SDR,b SDR
=M×(L HDR,a HDR,b HDR
上記関係式が成立する。
従って、上記(式3)は、HDR画像対応のL画素値(L HDR,a HDR,b HDR)とマトリクスMとの演算式によって表現される。
(ステップS104)
次に、ステップS104において、ユークリッド距離の総和を最小値とする1つの変換マトリクスMを算出する。
すなわち、以下の(式4)が最小値となる1つの変換マトリクスMを算出する。
Figure 0006891882
なお、上記(式4)において、
Knnは、各色(#nn=#01〜#24)対応の重み係数である。
このように、
ΣKnn・ΔE ab#nn→最小値となるように、最小二乗法を適用してマトリクスMを算出する。
なお、本例では、マトリクスカラーチャートの構成色#01〜#24の全てのユークリッド距離を適用してマトリクスMを算出する例として説明しているが、例えば、マクベスカラーチャートに含まれる白等の高輝度色、すなわちマトリクス変換対象としない高輝度色については、上述のユークリッド距離の算出処理や、マトリクスの算出処理の対象から排除して処理を行なう構成としてもよい、
マトリクスMの算出処理は、下記条件を満たすことを条件として実行する。
条件1:白を基準とする
条件2:マクベスカラーチャート24色中、記憶色(#01〜#06)の少なくとも一部、例えば#01〜#03の3種類の色の変化率を0、または最小とする。
上記条件2を満たすための処理として、例えば、上記(式4)において、記憶色(#01〜#03)対応の重み係数Knnを大きな値に設定する処理をし行なう。具体的には、例えば、記憶色(#01〜#03)対応の重み係数Knnを、他の色(#04〜)の3倍の係数等、大きな係数に設定する。
なお、ここでは、条件2として、マクベスカラーチャートの#01〜#03の3種類の色の変化率を0、または最小とする設定としているが、例えばマクベスカラーチャートの#01〜#06の6種類の色の変化率を0、または最小とする設定や、マクベスカラーチャートの#01〜#04の4種類の色の変化率を0、または最小とする設定等、様々な設定が可能である。
ただし、記憶色のカテゴリに含まれる色の変化率を、記憶色以外のカテゴリの変化率に比較して、より小さくすることを優先してマトリクスを算出する。
この優先処理のために、選択した記憶色対応の重み係数Knnを、他の色の3倍の係数等、大きな係数に設定して、ユークリッド距離の総和を小さくする最小二乗法を実行してマトリクス算出処理を行なう、
すなわち、上記(式4)の算出値が最小値となるように、最小二乗法を適用してマトリクスMを算出する。
この図17に示すフローに従って算出した1つのマトリクスMを、HDR画像画素値をSDR画像画素値に変換する1つのマトリクスとする。
なお、前述したように、マトリクス適用対象は、HDR画像の全画素値ではなく、図13に示すSDR領域内のHDR画素値のみである。
HDR拡張領域については、変換後のSDR画素値は、全て最大値、すなわち「白」として出力する。
このような1つのマトリクスを適用してHDR画像の画素値からSDR画像の画素値を算出し、表示部出力を実行する画像処理装置の構成と処理例について図18を参照して説明する。
図18に示す画像処理装置100は、先に説明した図9に示す画像処理装置100と、同様、画像信号処理部110と、表示制御部115、表示部116を有する。
図18の画像処理装置100は、例えば、テレビ、スマートフォン、PC等の表示部を備えたユーザ装置(クライアント)である。
画像処理装置100は、例えば、放送局やストリーミング・サーバ等からの受信画像データ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアからの再生画像データを表示部116に表示する。
画像信号処理部110は、例えば、放送局やサーバ、あるいはBD(Blu−ray(登録商標) Disc)などのメディアからHDR画像121を入力する。
画像信号処理部110は、マトリクス変換部111を有し、マトリクス変換部111において、HDR画像の画素値がSDR画像の画素値に変換される。
このマトリクス変換部111において適用するマトリクスが、図17に示すフローチャートを参照して説明したシーケンスに従って生成されるマトリクスである。
このマトリクスは、図18には示していないが、画像処理装置100の記憶部に予め格納されている。
マトリクス変換部111において適用されるマトリクスは1つのマトリクスであり、HDR画像の構成画素中、先に図13を参照して説明したSDR領域の画素値が選択され、マトリクスによる演算処理によってSDR画像の画素値に変換されれる。
具体的には、例えば、以下の算出式によって、SDR画像の画素値(RSDR,GSDR,BSDR)が算出される。
(RSDR,GSDR,BSDR)=M×(RHDR,GHDR,BHDR
上記式において、
Mは、図17に示すフローに従って算出されるマトリクス、
(RHDR,GHDR,BHDR)はHDR画像のRGB画素値、
(RHDR,GHDR,BHDR)は、算出されるSDR画像の画素値、
である。
なお、上記のマトリクスによるSDR画素値算出対象となるのは元のHDR画像の構成画素中、低輝度領域画素、すなわち図13に示すSDR領域の画素のみである。
図13に示すHDR拡張領域に含まれる高輝度のHDR画素については、全てSDR画像では、最高輝度の「白」に設定されて出力される。
画像信号処理部110のマトリクス変換部111は、上述した処理により、擬似SDR画像122を生成して表示制御部115に出力する。
表示制御部115は、画像信号処理部110のマトリクス変換部111からの入力信号に基づいて、表示部116に対する出力信号を生成する。
表示部116は、表示制御部115からの入力信号を用いて表示パネルを駆動し、画像表示を実行する。
このように、図18に示す画像処理装置100の画像信号処理部110のマトリクス変換部111は、HDR画像121の構成画素中、規定しきい値以下の低輝度領域画素(図13のSDR領域の画素)について、1つの変換マトリクスを適用して、HDR画像121の画素値をSDR画像の画素値に変換する処理を実行する。
規定しきい値とは、例えば、HDR画像の表示部に対する入力値0〜1中の中間値である入力値=0.5に対応する出力値である。
なお、画像信号処理部110のマトリクス変換部111は、変換対象のHDR画像121の構成画素中、規定しきい値より高輝度の高輝度領域画素(図13のHDR拡張領域の画素)について、変換後のSDR画像の最高出力画素(白)として設定する。
マトリクス変換部111に入力されるHDR画像121は、図18に示すように、HLG(ハイブリッド−ログ−ガンマ)曲線に従った入出力特性をもつHDR画像である。
一方、マトリクス変換部111において生成される擬似SDR画像122の入出力特性は、図18に示すように2.2ガンマ曲線に従った特性となる。さらに、この擬似SDR画像122は、全体的な画像の平均輝度であるAPLの低下しない明るいSDR画像となる。
これは、先に図13を参照して説明したように、マトリクス変換による画素値変換対象をSDR領域の画素、すなわち、HDR画像の低輝度領域の画素とし、SDR領域と、高輝度画素領域であるHDR拡張領域の境界位置のHDR画素の画素値を、変換後のSDR画像の最高画素値(白)に設定する処理に基づく効果である。
なお、HDR画像におけるHDR拡張領域の画素は、変換後のSDR画像では、すべて最高輝度(白)に設定されることになる。
なお、図18に示す構成において、マトリクス変換部111は、図示しない記憶部に予め格納されたマトリクス、すなわち、図17に示すフローチャートに従って算出されたマトリクスを適用してマトリクス変換を行うことができる。
あるいは、図19に示すように、画像信号処理部110にマトリクス算出部112を設け、マトリクス算出部112において、図17に示すシーケンスに従ったマトリクス算出処理を実行する構成としてもよい。
すなわち、マトリクス算出部112は、HDR画像の複数の異なる画素値をSDR画像の画素値に変換する1つの共通の変換マトリクスを算出する。この変換マトリクスは、HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスであり、マクベスカラーチャートの複数の設定色対応のHDR画像とSDR画像の色の差異を小さくする設定とした変換マトリクスを算出する
マトリクス算出部112は、変換マトリクスを適用して算出される変換後のSDR画像の画素値が、予め既定した特定色対応のSDR画像の画素値に一致、または変化率が前記特定色以外の色の画素値変化率より小さくなる変換マトリクスを算出する。
この図19に示す構成では、マトトリクス変換部111はマトリクス算出部112の算出したマトリクスを利用した処理を実行する。
なお、上述した実施例では、マトリクス変換対象とするHDR画像の画素値は、図13を参照して説明したSDR領域とし、SDR領域と、HDR拡張領域の境界を、HDR画像の画素値に相当する入力値(0〜1.0)の半分の値、すなわち、HDR入力値=0.5に設定した例を説明した、
このSDR領域とHDR拡張領域の設定は、図13に示す例に限らず、様々な設定が可能である。
図20は、SDR領域と、HDR拡張領域の境界を、HDR入力値=0.6に設定した例である。
SDR領域と、HDR拡張領域を、図20に示すように設定した場合、マトリクス変換対象は、HDR画像の入力値=0〜0.6の範囲に設定され、HDR画像の入力値=0.6を、変換後のSDR画像の最大画素値に相当するSDR入力値=1.0に変換されるマトリクスを算出して利用することになる。
HDR画像の入力値が0.6以上のHDR拡張領域にあるHDR画像の画素値は、マトリクス変換対象とならず、変換後のSDR画像では、すべて最高輝度(白)に設定されることになる。
図21は、SDR領域と、HDR拡張領域の境界を、HDR入力値=0.7に設定した例である。
SDR領域と、HDR拡張領域を、図21に示すように設定した場合、マトリクス変換対象は、HDR画像の入力値=0〜0.7の範囲に設定され、HDR画像の入力値=0.7を、変換後のSDR画像の最大画素値に相当するSDR入力値=1.0に変換されるマトリクスを算出して利用することになる。
HDR画像の入力値が0.7以上のHDR拡張領域にあるHDR画像の画素値は、マトリクス変換対象とならず、変換後のSDR画像では、すべて最高輝度(白)に設定されることになる。
このように、SDR領域とHDR拡張領域の設定は、様々な設定が可能である。
本開示の画像処理装置は、マトリクス変換対象とするSDR領域と、マトリクス変換対象とせず、変換後のSDR画像において最大画素値(白:入力値=1.0)とするHDR拡張領域の2つを設定して、HDR画像からSDR画像への変換を行う。
この処理によって、画像全体の輝度レベル(APL)の低下しない明るい変換SDR画像を生成することが可能となる。
[6.画像処理装置の構成例について]
次に、本開示の画像処理装置のハードウェア構成例について、図22を参照して説明する。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記画像信号処理部は、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理装置。
(2) 前記画像信号処理部は、
変換対象のHDR画像の構成画素中、前記規定しきい値より高輝度の高輝度領域画素について、変換後のSDR画像の最高出力画素として設定する(1)に記載の画像処理装置。
(3) 前記変換マトリクスは、
前記規定しきい値に相当するHDR画像の画素値を、変換後のSDR画像の最高出力画素に設定する変換マトリクスである(1)または(2)に記載の画像処理装置。
(4) 前記変換マトリクスは、
変換後のSDR画像の画素値が、予め既定した特定色対応のSDR画像の画素値に一致、または前記特定色以外の画素値変化率より小さな変化率となる設定を有する変換マトリクスである(1)〜(3)いずれかに記載の画像処理装置。
(5) 前記特定色は、マクベスカラーチャートに設定された記憶色である(4)に記載の画像処理装置。
(6) 前記特定色は、マクベスカラーチャートに設定された記憶色中、色番号#01〜#03の色である(4)または(5)に記載の画像処理装置。
(7) 前記規定しきい値は、HDR画像の表示部に対する入力値0〜1中の中間値である入力値=0.5に対応する出力値である(1)〜(6)いずれかに記載の画像処理装置。
(8) 前記HDR画像は、ITU−R(International Telecommunication Union−Radio communications sector)の規定するHDR画像であり、入出力特性がハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線によって規定されるHDR画像である(1)〜(7)いずれかに記載の画像処理装置。
(9) HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記マトリクス算出部は、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換する1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理装置。
(10) 前記マトリクス算出部は、
マクベスカラーチャートの複数の設定色対応のHDR画像とSDR画像の色の差異を小さくする設定とした変換マトリクスを算出する(9)に記載の画像処理装置。
(11) 前記色の差異は、L色空間における差異である(10)に記載の画像処理装置。
(12) 前記マトリクス算出部は、
前記規定しきい値に相当するHDR画像の画素値を変換後のSDR画像の最高出力画素に設定する変換マトリクスを算出する(9)〜(11)いずれかに記載の画像処理装置。
(13) 前記マトリクス算出部は、
前記変換マトリクスを適用して算出される変換後のSDR画像の画素値が、予め既定した特定色対応のSDR画像の画素値に一致、または変化率が前記特定色以外の色の画素値変化率より小さくなる変換マトリクスを算出する(9)〜(12)いずれかに記載の画像処理装置。
(14) 前記特定色は、マクベスカラーチャートに設定された記憶色である(13)に記載の画像処理装置。
(15) 前記特定色は、マクベスカラーチャートに設定された記憶色中、色番号#01〜#03の色である(13)または(14)に記載の画像処理装置。
(16) 前記HDR画像は、ITU−R(International Telecommunication Union−Radio communications sector)の規定するHDR画像であり、入出力特性がハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線によって規定されるHDR画像である(9)〜(15)いずれかに記載の画像処理装置。
(17) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記画像信号処理部が、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理方法。
(18) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記マトリクス算出部が、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理方法。
(19) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
前記プログラムは、前記画像信号処理部に、
前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行させるプログラム。
(20) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
前記プログラムは、前記マトリクス算出部に、
前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、HDR画像に対するマトリクス変換によって、画像平均輝度の大きな低下のない高品質なSDR画像を生成する装置、方法が実現される。
具体的には、HDR画像をSDR画像に変換する画像信号処理部が、HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する。規定しきい値より高輝度の高輝度領域画素については、変換後のSDR画像の最高出力画素として設定する。適用する変換マトリクスは、マクベスカラーチャートに設定された記憶色の変化率がより小さくなる設定としたマトリクスとする。
本構成により、HDR画像に対するマトリクス変換によって、画像平均輝度の大きな低下のない高品質なSDR画像を生成する装置、方法が実現される。
10 画像処理装置
11 画像信号処理部
12 表示制御部
13 表示部
71 リニア変換部
72 色域輝度変換部
73 リニアガンマ変換部
81 HDR画像
84 擬似SDR画像
100 画像処理装置
110 画像信号処理装置
111 マトリクス変換部
112 マトリクス算出部
115 表示制御部
116 表示部
121 HDR画像
122 擬似SDR画像
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア

Claims (20)

  1. HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
    前記画像信号処理部は、
    前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理装置。
  2. 前記画像信号処理部は、
    変換対象のHDR画像の構成画素中、前記規定しきい値より高輝度の高輝度領域画素について、変換後のSDR画像の最高出力画素として設定する請求項1に記載の画像処理装置。
  3. 前記変換マトリクスは、
    前記規定しきい値に相当するHDR画像の画素値を、変換後のSDR画像の最高出力画素に設定する変換マトリクスである請求項1に記載の画像処理装置。
  4. 前記変換マトリクスは、
    変換後のSDR画像の画素値が、予め既定した特定色対応のSDR画像の画素値に一致、または前記特定色以外の画素値変化率より小さな変化率となる設定を有する変換マトリクスである請求項1に記載の画像処理装置。
  5. 前記特定色は、マクベスカラーチャートに設定された記憶色である請求項4に記載の画像処理装置。
  6. 前記特定色は、マクベスカラーチャートに設定された記憶色中、色番号#01〜#03の色である請求項4に記載の画像処理装置。
  7. 前記規定しきい値は、HDR画像の表示部に対する入力値0〜1中の中間値である入力値=0.5に対応する出力値である請求項1に記載の画像処理装置。
  8. 前記HDR画像は、ITU−R(International Telecommunication Union−Radio communications sector)の規定するHDR画像であり、入出力特性がハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線によって規定されるHDR画像である請求項1に記載の画像処理装置。
  9. HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
    前記マトリクス算出部は、
    前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換する1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理装置。
  10. 前記マトリクス算出部は、
    マクベスカラーチャートの複数の設定色対応のHDR画像とSDR画像の色の差異を小さくする設定とした変換マトリクスを算出する請求項9に記載の画像処理装置。
  11. 前記色の差異は、L色空間における差異である請求項10に記載の画像処理装置。
  12. 前記マトリクス算出部は、
    前記規定しきい値に相当するHDR画像の画素値を変換後のSDR画像の最高出力画素に設定する変換マトリクスを算出する請求項9に記載の画像処理装置。
  13. 前記マトリクス算出部は、
    前記変換マトリクスを適用して算出される変換後のSDR画像の画素値が、予め既定した特定色対応のSDR画像の画素値に一致、または変化率が前記特定色以外の色の画素値変化率より小さくなる変換マトリクスを算出する請求項9に記載の画像処理装置。
  14. 前記特定色は、マクベスカラーチャートに設定された記憶色である請求項13に記載の画像処理装置。
  15. 前記特定色は、マクベスカラーチャートに設定された記憶色中、色番号#01〜#03の色である請求項13に記載の画像処理装置。
  16. 前記HDR画像は、ITU−R(International Telecommunication Union−Radio communications sector)の規定するHDR画像であり、入出力特性がハイブリッド−ログーガンマ(HLG:Hybrid Log−Gamma)曲線によって規定されるHDR画像である請求項9に記載の画像処理装置。
  17. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
    前記画像信号処理部が、
    前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行する画像処理方法。
  18. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
    前記マトリクス算出部が、
    前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出する画像処理方法。
  19. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像信号処理部を有し、
    前記プログラムは、前記画像信号処理部に、
    前記HDR画像の構成画素中、規定しきい値以下の低輝度領域画素について、1つの変換マトリクスを適用して、HDR画像の画素値をSDR画像の画素値に変換する処理を実行させるプログラム。
  20. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    HDR(High Dynamic Range)画像を入力し、HDR画像よりダイナミックレンジの狭いSDR画像に変換する画像変換処理に適用する変換マトリクスを算出するマトリクス算出部を有し、
    前記プログラムは、前記マトリクス算出部に、
    前記HDR画像の複数の異なる画素値をSDR画像の画素値に変換するための1つの共通の変換マトリクスであり、前記HDR画像の構成画素中、規定しきい値以下の画素値の変換のみに適用する変換マトリクスを算出させるプログラム。
JP2018519163A 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム Active JP6891882B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016104440 2016-05-25
JP2016104440 2016-05-25
PCT/JP2017/017115 WO2017203942A1 (ja) 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017203942A1 JPWO2017203942A1 (ja) 2019-03-22
JP6891882B2 true JP6891882B2 (ja) 2021-06-18

Family

ID=60412332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519163A Active JP6891882B2 (ja) 2016-05-25 2017-05-01 画像処理装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10915999B2 (ja)
JP (1) JP6891882B2 (ja)
CN (1) CN109155060A (ja)
WO (1) WO2017203942A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
TW201946445A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像處理方法
JP7138935B2 (ja) * 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
US10986320B2 (en) 2019-01-31 2021-04-20 Coretronic Corporation Projector and method for projecting image light beam
US11095861B2 (en) * 2019-01-31 2021-08-17 Coretronic Corporation Projector and method for projecting image light beam
EP3754978A1 (en) * 2019-06-18 2020-12-23 Coretronic Corporation Projector and method for projecting image light beam
US11412174B2 (en) * 2020-09-22 2022-08-09 Microsoft Technology Licensing, Llc Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content
US11302287B1 (en) * 2020-11-10 2022-04-12 Microsoft Technology Licensing, Llc Color correction in computing systems for color vision deficiency
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
RU2643485C2 (ru) * 2011-09-27 2018-02-01 Конинклейке Филипс Н.В. Устройство и способ для преобразования динамического диапазона изображений
ES2770426T3 (es) * 2013-02-21 2020-07-01 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes HDR mejorados
WO2015174026A1 (ja) * 2014-05-16 2015-11-19 パナソニックIpマネジメント株式会社 変換方法および変換装置
CN110460744B (zh) * 2014-06-10 2022-03-08 松下知识产权经营株式会社 亮度变换装置和亮度变换方法
JP6460014B2 (ja) * 2016-03-04 2019-01-30 ソニー株式会社 信号処理装置、信号処理方法およびカメラシステム
US10516810B2 (en) * 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
AU2016203181B2 (en) * 2016-05-16 2018-09-06 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
CN109792504B (zh) * 2016-09-29 2021-08-03 松下知识产权经营株式会社 再生方法、生成方法、再生装置、生成装置以及记录介质
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping

Also Published As

Publication number Publication date
WO2017203942A1 (ja) 2017-11-30
US20190139201A1 (en) 2019-05-09
CN109155060A (zh) 2019-01-04
US10915999B2 (en) 2021-02-09
JPWO2017203942A1 (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7126184B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
US10462407B2 (en) Display method and display device
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
US10891722B2 (en) Display method and display device
US9948884B2 (en) Converting method and converting apparatus for converting luminance value of an input video into a second luminance value
US10460699B2 (en) Transitioning between video priority and graphics priority
RU2643485C2 (ru) Устройство и способ для преобразования динамического диапазона изображений
US10218917B2 (en) Method and apparatus to create an EOTF function for a universal code mapping for an HDR image, method and process to use these images
US9509935B2 (en) Display management server
KR102135841B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
JP6876931B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20170129004A (ko) 영상 처리 장치 및 그의 영상 처리 방법
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
JP6760274B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20120051636A1 (en) Color converting images
TW202143693A (zh) 動態範圍映射的方法和裝置
WO2016181584A1 (ja) 表示方法および表示装置
JP6980858B2 (ja) 表示方法および表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R151 Written notification of patent or utility model registration

Ref document number: 6891882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151