JP7431595B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7431595B2
JP7431595B2 JP2020015535A JP2020015535A JP7431595B2 JP 7431595 B2 JP7431595 B2 JP 7431595B2 JP 2020015535 A JP2020015535 A JP 2020015535A JP 2020015535 A JP2020015535 A JP 2020015535A JP 7431595 B2 JP7431595 B2 JP 7431595B2
Authority
JP
Japan
Prior art keywords
dynamic range
display
image processing
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020015535A
Other languages
English (en)
Other versions
JP2021124766A (ja
JP2021124766A5 (ja
Inventor
真一 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020015535A priority Critical patent/JP7431595B2/ja
Priority to US17/161,862 priority patent/US12067304B2/en
Priority to KR1020210013002A priority patent/KR20210098377A/ko
Priority to EP21154213.9A priority patent/EP3860104A1/en
Priority to CN202110135015.9A priority patent/CN113205460A/zh
Publication of JP2021124766A publication Critical patent/JP2021124766A/ja
Publication of JP2021124766A5 publication Critical patent/JP2021124766A5/ja
Application granted granted Critical
Publication of JP7431595B2 publication Critical patent/JP7431595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1208Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1242Image or content composition onto a page
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1867Post-processing of the composed and rasterized print image
    • G06K15/1872Image enhancement
    • G06K15/1878Adjusting colours
    • G06K15/188Adjusting colours with provisions for treating some of the print data differently
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23Reproducing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6072Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6097Colour correction or control depending on the characteristics of the output medium, e.g. glossy paper, matt paper, transparency or fabrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、ハイダイナミックレンジデータを処理可能な画像処理装置、画像処理方法およびプログラムに関する。
特許文献1には、高ダイナミックレンジ(High Dynamic Range:HDR)の静止画HDRデータの輝度ダイナミックレンジを、それより狭い印刷用紙の反射輝度で決まるダイナミックレンジの静止画データに変換することが記載されている。HDRデータは、動画や静止画などの撮像データとして用いられ、HDRデータを表示するディスプレイでは、表示可能な最大輝度が向上しており、画像のハイライト側からシャドウ側までを同時に高画質に表示することが可能となっている。
ところで、HDRデータの映像伝達関数としては、例えばITU-R(国際電気通信連合無線通信部門)の勧告BT.2100(非特許文献1)において、Hybrid Log Gamma(HLG)とPerceptual Quantization(PQ)の2つが規定されている。伝達関数では、映像の伝達において階調の不連続性が視覚的に検知されないように伝達関数とビット数が定義されている。
映像方式は、撮像側での光-電気伝達関数(Opto-Electronic Transfer Function:OETF)、表示側での電気-光伝達関数(Electro-Optical Transfer Function:EOTF)、シーン光から表示光の総合特性を表す光-光伝達関数(Opto-Optical Transfer Function:OOTF)で規定されている。
HLG方式は、黒から白の間を相対的な階調として扱い、上記撮像側のOETFを規定する方式である。表示側のEOTFは、OETFの逆関数とシーン光から表示光の総合特性を表すOOTFで構成される。HLG方式では、OOTFの特性を決定するシステムガンマは、輝度成分にのみ適用される。また、システムガンマは、表示可能な最大輝度値が異なるディスプレイでの見えの違いを考慮してディスプレイの輝度に応じて決定される。また、PQ方式は、表示側の輝度を最大10000cd/mの絶対値で表し、上記表示側のEOTFを規定する方式である。撮像側のOETFは、OOTFとEOTFの逆関数から構成される。
一方、印刷出力のダイナミックレンジは、HDRデータのダイナミックレンジに比べて狭い場合が多い。近年、表示輝度レンジの広いHDRディスプレイが登場するまでは、標準ダイナミックレンジ(Standard Dynamic Range:SDR)のディスプレイが主流であった。従来、SDRデータをディスプレイに表示する際の最大輝度値は100cd/m固定で考えることが通常であった。それに対して、HDRデータをディスプレイに表示する輝度の最大値は、HDRデータが規定する輝度やHDRディスプレイの最大輝度値によって可変である。
国際公開第2018/092711号
Recommendation ITU-R BT.2100-2(07/2018)Image parameter values for high dynamic range television for use in production and international programme exchange
上述のHDRデータがHLG方式の場合、輝度の相対値で階調が規定されたデータである。そのため、データを複数のディスプレイに表示する場合、上述したようにディスプレイの最大輝度値に応じて表示される画像の輝度は異なる。また、PQ方式の場合、輝度の絶対値でデータが規定されている。そのため、データを複数のディスプレイに表示する場合、ディスプレイ間で共通に再現できる輝度レンジでは、表示される画像の輝度は同一である。しかしながら、ディスプレイ間で共通に再現できないハイライト等の輝度レンジは、ディスプレイの最大輝度値に応じて表示される画像の輝度は異なる。データの輝度ダイナミックレンジとディスプレイの表示可能な輝度レンジが同じ場合にはデータに忠実に表示がされる。一方で、データに対して輝度レンジが狭いディスプレイでは、表示できないハイライト部は、例えば全て最大輝度値で白く表示される。一方で、HDRデータが印刷装置に入力された場合、特許文献1のように、HDRデータは、印刷可能なダイナミックレンジに変換されたデータに1対1対応した単一の印刷物が出力される。
このように、同一のHDRデータに対して、表示装置は最大輝度値等の条件に応じて表示が適応的に変わるが、印刷装置では単一の出力となる。このため、異なる最大輝度値を持つディスプレイ(表示装置)が存在する昨今、印刷装置ではディスプレイ毎の表示に対応した印刷出力を得ることができない。
本発明は、表示装置の表示情報に対応した印刷出力を可能とする画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上記課題を解決するため、本願発明に係る画像処理装置は、ハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得手段と、前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得手段と、前記HDRデータに基づいて表示を行う表示装置の表示情報を取得する第3取得手段と、前記表示情報に基づいて、前記HDRデータの輝度のダイナミックレンジを、前記表示装置による表示に対応する第1ダイナミックレンジに変換し、前記印刷情報に基づいて、前記第1ダイナミックレンジを、前記印刷情報に基づく印刷に対応する第2ダイナミックレンジに変換することにより、前記HDRデータの輝度のダイナミックレンジを圧縮する変換手段とを備えることを特徴とする。
本発明によれば、表示装置の表示情報に対応した印刷出力を可能とすることができる。
プリントシステムの全体構成を示す図である。 画像処理部の構成を示す図である。 画像処理を示すフローチャートである。 変換カーブを示す図である。 変換カーブを示す図である。 変換カーブを示す図である。 ダイナミックレンジ変換処理を用いた処理を示すフローチャートである。 ダイナミックレンジ変換処理を示すフローチャートである。 変換カーブを示す図である。 画像処理を示すフローチャートである。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1実施形態]
[システム構成]
図1は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す図である。本プリントシステムは、パーソナルコンピュータ装置(情報処理装置)101(以下、「PC」ともいう)と表示装置102と出力装置103を含む。
PC101には、ディスプレイI/Fを介して、表示装置102が接続されている。表示装置102は、HDR(High Dynamic Range)ディスプレイであり、PC101とHDMIインタフェースで接続されている。PC101と表示装置102の接続は、HDR((High Dynamic Range))データを伝送できる規格であれば、HDMIインタフェースに限定されるものではなく、その他の接続形式でも良い。また、PC101と表示装置102の間で伝送される表示情報(後述)は、ディスプレイIF113を介して、HDMIインタフェースとは異なる伝送路のUSB(Universal Serial Bus)ケーブルを用いて伝送される。しかしながら、表示情報の伝送形式は、表示装置102とPC101もしくは出力装置103との間で情報を双方向で通信できれば、USBケーブルに限定されるものではない。
また、PC101には、ネットワークやUSBケーブルまたはローカルバスなどのインタフェースを介して、出力装置103が接続されている。本実施形態では、出力装置103の一例としてインクジェット記録方式のプリンタ(画像処理装置)を用いた構成を説明する。PC101は、出力装置103への印刷制御指示、必要な情報およびデータの転送などを行う。記憶装置105は、OS、システムプログラム、各種アプリケーションソフトウェア、本実施形態に必要なパラメータデータ等を記憶管理している。記憶装置105は、例えば、ハードディスクやフラッシュROMで構成される。CPU104は、作業メモリ107を用いて、記憶装置105に記憶されたソフトウェアやプログラムを読み出して処理を実行する。ユーザインタフェースとなる操作部(以下、「UI」ともいう)106は、処理の実行に関してユーザによる入力を受け付け、ユーザに対する表示を行う。操作部106は、キーボードやマウス等の入力機器を含む。また、データ入出力装置108は、SDカード等の外部記録媒体とのデータの入出力を行い、例えば、撮像装置のデータが記憶された外部記録媒体とのデータの入出力が可能である。また、不図示の撮像装置がデータ入出力装置108やデータ転送部109へ直接接続されるようにして、外部記録媒体を介さず、撮像装置とのデータの入出力を行っても良い。
出力装置103は、データ転送部109、プリンタ制御部112、画像処理部110、印刷部111を含み、印刷データをPC101から受信する。本実施形態では、印刷データは、入力画像データであるHDRデータ、表示装置102の表示情報、記録媒体の固有データである画像処理パラメータとプリンタ制御データ、ユーザが操作部106上で選択した印刷品位や記録媒体等の印刷情報を含む。ここで、記録媒体とは、例えば、印刷用紙等の紙メディアである。
データ転送部109は、PC101から受信した印刷データから、HDRデータと、表示装置102の表示情報と、画像処理パラメータ、印刷情報を取得して画像処理部110に送り、プリンタ制御データを取得してプリンタ制御部112に送る。本実施形態では、PC101内で記憶装置105に記憶されているHDRデータが、出力装置103が受信する入力画像データとなる。また、本実施形態では、画像処理部110は、出力装置102内に構成されているが、PC101内で構成されても良い。
また、画像処理パラメータやプリンタ制御データは、PC101の記憶装置105や、出力装置103内の不図示の記憶装置(ハードディスクやROM等)に記憶されている。これらが、印刷データ内の印刷情報に基づいて選択され、画像処理部110、プリンタ制御部112に送られる構成でも良い。プリンタ制御部112は、プリンタ制御データに従って、印刷部111の動作を制御する。印刷部111における印刷は、インクジェット記録方式により行われる。本実施形態では、印刷部111における印刷としてインクジェット記録方式を例として説明するが、電子写真方式等、他の記録方式であっても良い。表示装置102は、画像表示を制御するディスプレイコントローラ114を有しており、例えば、ディスプレイコントローラ114は、表示データを生成する。
図2は、本実施形態における画像処理部110の構成を示す図である。本実施形態の画像処理部110では、まず、HDRデータと表示装置102の表示情報と印刷情報がダイナミックレンジ変換部201に入力される。ダイナミックレンジ変換部201は、後述するように、入力された各情報を用いて、HDRデータを、出力画像生成部202に入力可能なダイナミックレンジの画像データに変換する。入力されるHDRデータのハイダイナミックレンジに対して、出力画像生成部202に入力される画像データのダイナミックレンジは、輝度レンジとしては狭くなる。出力画像生成部202に入力されるダイナミックレンジとは、例えば、SDRデータの最大輝度100cd/mとするダイナミックレンジである。また、ユーザが設定した用紙情報により特定される反射輝度を最大値としたダイナミックレンジとしても良い。本実施形態では、ダイナミックレンジ変換部201では、SDRデータのダイナミックレンジへ変換されるとする。
次に、出力画像生成部202は、ダイナミックレンジ変換部201から出力される画像データ(RGBデータ)に対して、印刷部111の記録ヘッドで記録するためのデータを生成する。
図3は、本実施形態における画像処理を示すフローチャートである。S301では、ダイナミックレンジ変換部201は、HDRデータのRGBデータを取得する。本実施形態のHDRデータは、上述した、輝度の相対値で階調を規定しているHLG方式で記録されている。この段階では、RGBの各要素について輝度の相対値で階調を規定している。本実施形態ではHLG方式としているが、相対的に階調を規定していればその他の形式でも良い。本実施形態では、S301で取得されたHDRデータは、HDRディスプレイである表示装置102での表示にも用いられる。
S302では、ダイナミックレンジ変換部201は、表示装置102の表示情報を取得する。本実施形態では、HDRデータが示す画像は、表示装置102上でディスプレイ表示されている。出力装置103で印刷するユーザが印刷アプリ上での印刷指示ボタンもしくは出力装置103のパネルの印刷ボタンを押下した時点で、ダイナミックレンジ変換部201は、その時の表示装置102のディスプレイ表示状態を記録した表示情報を、表示装置102から若しくはPC101を介して取得する。また、表示情報がディスプレイと連動してPC101に適時保存されている場合、ダイナミックレンジ変換部201は、PC101から取得しても良い。また、表示情報は、印刷アプリや出力装置103が起動した時点で取得され、また、表示装置102側で表示の設定変更があれば、そのタイミングで再取得するようにしても良い。即ち、印刷時にユーザが見ているディスプレイ(表示装置102)の表示状態を取得できれば良い。また、本実施形態では、PC101に1台のディスプレイが接続されているが、1台のPCに対して複数のディスプレイが同時に接続され、使用される場合もある。複数のディスプレイで拡張表示(複数のディスプレイにまたがるような表示)されている場合は、HDRデータの印刷プレビューが表示されているディスプレイを認識し、その表示情報を取得する。また、複数のディスプレイで複製表示(複数のディスプレイで同一の表示)されている場合は、ユーザが表示情報を取得するディスプレイを選択するようにしても良いし、優先的に表示情報を取得するディスプレイが予め定められるようにしても良い。
本実施形態では、表示情報として、ディスプレイのダイナミックレンジ情報とシステムガンマ情報が取得される。ディスプレイのダイナミックレンジ情報は、HDRデータをHDRディスプレイに表示した際の表示可能な最大の輝度値(最大輝度値)と、黒に対するディスプレイ表示の輝度値を含む。本実施形態では、例えば、ディスプレイの最大輝度値として1000cd/m、黒の輝度値として0cd/mが取得される。ディスプレイのダイナミックレンジは、表示装置102の表示設定を変更することにより変化し、ディスプレイ自体が表示可能な輝度ダイナミックレンジは、ディスプレイの性能によって変化し得る。また、システムガンマ情報は、BT.2100対応ディスプレイであるという情報とガンマ値を含む。BT.2100対応であるため、BT.2100で規定されるHLG方式におけるOOTFのガンマ値は、式(1)により算出可能である。BT.2100では、式(1)で定義され、例えば最大輝度値1000cd/mで1.2となる。但し、表示される被写体によっては、このガンマ値がディスプレイの設定によってユーザにより変更される場合があり、その場合は表示情報としてディスプレイの設定によるガンマ値が適用される。
γ = 1.2+0.42Log10(L/1000)・・・(1)
S303では、ダイナミックレンジ変換部201は、印刷情報を取得する。印刷情報は、ダイナミックレンジ変換後のダイナミックレンジを特定するための情報である。本実施形態では、印刷情報として、例えば印刷モード情報を取得し、印刷モード情報に基づいて、出力画像生成部202への入力がsRGBのSDRデータであることを特定する。その結果、SDRデータとして最大輝度値100cd/mが変換後の輝度ダイナミックレンジであることが特定される。印刷情報は、例えば、用紙の種類を示す情報を取得し、用紙の種類から特定される反射輝度を特定可能な情報であれば良く、印刷時の輝度ダイナミックレンジ情報が取得可能な情報であれば、他の情報でも良い。また、印刷物は、観察環境においては、様々な照度の照明が照射される場合がある。照明が照射される場合には、用紙の輝度ダイナミックレンジは、特に紙白の明るさが上がることにより広がる。そのため、照明が照射された場合の用紙の反射輝度を印刷時の輝度ダイナミックレンジ情報として取得しても良い。
S304では、ダイナミックレンジ変換部201は、S302で取得した表示情報、S303で取得した印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換した画像データを生成する。つまり、本実施形態では、表示情報から得られた1000cd/mを最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理が行われる。上記のように、ダイナミックレンジ変換後の輝度ダイナミックレンジは、印刷情報から特定される輝度の絶対値で表されるものとなる。
上述した通り、HDRデータの映像伝達関数としては、例えばITU-R(国際電気通信連合無線通信部門)の勧告BT.2100において、Hybrid Log Gamma(HLG)とPerceptual Quantization(PQ)の2つが規定されている。本実施形態のHDRデータは、上述したHLG方式の伝達関数(OETF)で変換されたデータである。そのため、ダイナミックレンジ変換部201は、HDRデータを、式(2)で定まるHLG方式のEOTF(OETFの逆関数)とOOTFを用いて、HDRデータの輝度信号レベルxを輝度信号レベルyに輝度変換する。ガンマ値γは式(1)で算出された値であり、Lはディスプレイの最大輝度値であり、Lは黒に対するディスプレイの輝度値である。本実施形態では、Lは0とする。E‘はHLG方式の信号であり、xは0から1のレンジに正規化された信号である。αはユーザゲインのための変数であり、Yは正規化された輝度、Eは0から1に正規化されたリニア光信号である。
Figure 0007431595000001
・・・(2)
次に、ダイナミックレンジ変換部201は、OOTF処理により得られたデータを1000cd/mを最大輝度値とするデータとして、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、ダイナミックレンジ変換部201は、OOTF処理により得られたRGBデータを、式(3)(4)(5)により輝度(Y)と色差(CbCr)のデータに変換する。
Y=0.29900×R+0.58700×G+0.114400×B ・・・(3)
Cb=-0.16874×R-0.33126×G+0.50000×B ・・・(4)
Cr=0.50000×R-0.41869×G-0.081×B ・・・(5)
ダイナミックレンジ変換部201は、変換された輝度Yのデータに対して図4(a)の実線で示すグラフ(横軸は入力輝度、縦軸は出力輝度)に示される変換カーブに基づいて、輝度Y‘への輝度ダイナミックレンジ変換を行う。図4(a)の一点破線は、入力と出力がリニアな状態を示している。本実施形態では、図4(a)の実線のように、暗部から特定の輝度まではリニアでの変換が行われ、ハイライト部ではLog特性での変換が行われる。図4(a)に示すように、HDRデータのハイライト領域を再現しつつ、画像のコントラストを維持するダイナミックレンジ圧縮処理を行うことが望ましい。また、図4(b)は、図4(a)と同じダイナミックレンジ圧縮方法であり、ディスプレイが2000cd/mを最大輝度値とした場合のダイナミックレンジ変換前後の輝度の関係を示した図である。図4(a)と図4(b)に示されるように、S302で取得した表示情報とS303で取得した印刷情報から、ディスプレイに表示可能なダイナミックレンジに応じて、ダイナミックレンジ変換を行うことができる。そして、ダイナミックレンジ変換部201は、変換された輝度Y‘と色差成分を合わせて、(6)(7)(8)によりRGBデータに変換する。
R=Y+1.40200×Cr ・・・(6)
G=Y-0.34414×Cb-0.71414×Cr ・・・(7)
B=Y+1.77200×Cb ・・・(8)
上記では、輝度ダイナミックレンジの圧縮について説明したが、色域に関してもHDRデータの広色域な空間(例えばITU-R BT.2020)からSDRの色域(例えばITU-R BT.709)に色域圧縮処理を行う。
次に、S305では、出力画像生成部202は、印刷部111に出力する出力画像データを生成する。例えば、出力画像生成部202は、S304で出力されたSDRデータ(RGBデータ)をデバイス依存のRGBデータに変換する色変換処理を行う。そして、出力画像生成部202は、デバイス依存のRGBデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理を行う。さらに、出力画像生成部202は、インク色データをインクドットのON/OFFの情報であるハーフトーン処理、記録ヘッドの各記録走査で記録される2値データを生成するマスクデータ変換処理等を行う。
次に、S306では、出力画像生成部202は、生成した出力画像データを印刷部111に送り、その後、記録媒体上に画像が出力される。
上記で説明したように、HLG方式のHDRデータは、表示装置102の性能によって表示が異なる。本実施形態によれば、HLG方式のHDRデータの印刷時に、ユーザが見ている表示装置102の表示情報と出力装置103の印刷情報を用いることで、ディスプレイ表示状態に対応したダイナミックレンジ変換を行うことが可能となる。その結果、異なる性能を持つ複数の表示装置102のそれぞれの表示に対応した印刷出力を得ることができる。
[第2実施形態]
以下、第2実施形態について第1実施形態と異なる点について説明する。本実施形態では、PQ方式のHDRデータが入力される場合を説明する。
図3のS301で取得するHDRデータ(RGBデータ)は、本実施形態では、上述した輝度の絶対値で階調を規定しているPQ方式で記録されている。本実施形態では、HDRデータには、10000cd/mまで情報が記録されていることとする。
S302では、ダイナミックレンジ変換部201は、表示情報として、ディスプレイのダイナミックレンジ情報と輝度ダイナミックレンジ変換方法を取得する。ディスプレイのダイナミックレンジ情報は、第1実施形態における説明と同じである。輝度ダイナミックレンジ変換方法は、最大輝度値10000cd/mで規定されるPQ方式の輝度ダイナミックレンジをディスプレイの輝度ダイナミックレンジに変換する方法に関する情報である。この情報は、変換が周知の方法であれば変換方法名でも良いし、変換モジュール(例えば、後述する変換カーブ)が格納されているパスの情報が受け渡されても良く、変換がS304で実行可能な情報であれば良い。
図5(a)(b)は、2通りのディスプレイの輝度ダイナミックレンジ変換の変換カーブを示す図である。図5(a)は、HDRデータに含まれるディスプレイが表示できない1000cd/mより高い輝度の部分のデータは、全て1000cd/mで表示する変換方法を示す。一方、図5(b)は、図4と同様に、暗部から特定の輝度まではリニアで、ハイライト部をLog特性で変換する方法を示す。本実施形態では、HDRデータがPQ形式であるため、図5の輝度範囲501においては、図5(a)と図5(b)の変換でディスプレイにおける表示に差異はないが、輝度範囲502においては表示が異なることとなる。
S303の印刷情報の取得は、第1実施形態における説明と同じである。
S304では、ダイナミックレンジ変換部201は、S302で取得した表示情報とS303で取得した印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換したデータを生成する。本実施形態では、ダイナミックレンジ変換部201は、HDRデータが持つ10000cd/mを最大輝度値とする輝度ダイナミックレンジの情報を、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。
本実施形態のHDRデータは、上述したPQ方式の伝達関数(EOTFの逆関数)で変換されたデータである。そのため、ダイナミックレンジ変換部201は、HDRデータを、式(9)で定まるPQ方式のEOTFを用いて、HDRデータの輝度信号レベルxを輝度信号レベルyに輝度変換する。本実施形態では、Lは0とする。E‘はPQ方式の信号であり、xは0から1のレンジに正規化された信号である。
Figure 0007431595000002
・・・(9)
次に、ダイナミックレンジ変換部201は、EOTF処理により変換されたデータを10000cd/mを最大輝度値とするデータとして、100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、ダイナミックレンジ変換部201は、EOTF処理により得られたRGBデータを、式(3)(4)(5)により輝度(Y)と色差(CbCr)のデータに変換する。そして、ダイナミックレンジ変換部201は、変換された輝度Yのデータに対して、図5(a)に示す変換カーブによる変換を行い、さらに図4(a)の変換カーブで変換を行うことで、変換後のSDRデータを得る。図4(a)と図5(a)に示す変換カーブの変換はそれぞれ1DLUTで変換可能であるため、夫々の1DLUTを合成した1DLUTで変換を行っても良い。その後、変換された輝度と色差成分を合わせて、式(6)(7)(8)によりRGBデータに変換する。また、上記では、図5(a)を用いて説明しているが、図5(b)が用いられても良い。
S305とS306は、第1実施形態における説明と同じである。
上記で説明したように、PQ方式のHDRデータは、表示装置102の性能によってデータのハイライト部の表示が異なる。本実施形態によれば、PQ方式のHDRデータの印刷時に、表示装置102の表示情報と出力装置103の印刷情報を用いることで、ディスプレイ表示状態に対応したダイナミックレンジ変換を行うことが可能となる。その結果、異なる性能を持つ複数の表示装置102のそれぞれの表示に対応した印刷出力を得ることができる。
[第3実施形態]
以下、第3実施形態について第1及び第2実施形態と異なる点について説明する。本実施形態では、PQ形式のHDRデータが入力され、表示装置102側で輝度ダイナミックレンジ変換処理が行われてSDRディスプレイに表示されている場合を説明する。本実施形態では、表示装置102はSDRディスプレイである。
本実施形態では、図3のS301において、PQ形式のHDRデータが取得される。
S302では、第2実施形態と同様に、ディスプレイのダイナミックレンジ情報と輝度ダイナミックレンジ変換方法が取得される。本実施形態では表示装置102はSDRディスプレイであるため、ディスプレイの最大輝度値として100cd/m、黒の輝度値として0cd/mが取得される。輝度ダイナミックレンジ変換方法の取得については第2実施形態における説明と同じである。
図6は、本実施形態におけるディスプレイの輝度ダイナミックレンジ変換の変換カーブを示す図である。図6は、図5(b)のディスプレイの輝度ダイナミックレンジの最大輝度値が100cd/mとなった状態に相当する。本実施形態では、図6に示すような輝度ダイナミックレンジ変換が行われるが、このダイナミックレンジ変換方法は、変換カーブ601や602に示すように、ディスプレイを製造するメーカーやモデルによって異なる。
S303の印刷情報の取得は、第1実施形態における説明と同じである。
S304では、ダイナミックレンジ変換部201は、S302で取得した表示情報とS303で取得した印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換した画像データを生成する。本実施形態では、ダイナミックレンジ変換部201は、HDRデータが持つ輝度ダイナミックレンジの情報を、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。
HDRデータは、第2実施形態で説明したように、ディスプレイの輝度信号レベルの情報に変換される。そして、変換されたデータに対して、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理が行われる。本実施形態では、ディスプレイ側と印刷側とで、変換後の輝度ダイナミックレンジが100cd/mと等しい。そのため、本実施形態のS304では、変換された輝度Yのデータに対して、図6に示す変換カーブで輝度ダイナミックレンジ変換を行い、変換された輝度と色差成分を合わせて、式(6)(7)(8)によりSDRのRGBデータに変換する。
S305とS306は、第1実施形態における説明と同じである。
上記で説明したように、表示装置102側で輝度ダイナミックレンジ変換処理が行われてSDRディスプレイに表示される場合、表示装置102によって輝度ダイナミックレンジ変換処理方法が異なることで表示が異なる場合がある。本実施形態によれば、HDRデータの印刷時に、SDRディスプレイの表示情報と出力装置103の印刷情報を取得することで、ディスプレイ表示状態に対応したダイナミックレンジ変換を行うことが可能となる。その結果、異なる性能を持つ複数のSDRディスプレイのそれぞれの表示に対応した印刷出力を得ることができる。
[第4実施形態]
以下、第4実施形態について第1~第3実施形態と異なる点について説明する。第1~第3実施形態では、式(2)(9)によりディスプレイ表示の輝度信号レベルに変換する処理を行っていた。本実施形態では、ディスプレイ表示の輝度信号レベルに既に変換されたデータを取得する構成を説明する。本実施形態では、図3のS301で取得するHDRデータは、HLG方式もしくはPQ方式のどちらでも良い。
S302では、ダイナミックレンジ変換部201は、表示情報として、ディスプレイの輝度ダイナミックレンジ情報と、ディスプレイ表示の輝度信号レベルに変換された、輝度の絶対値で階調を規定されたデータを取得する。つまり、HLG方式のHDRデータを取得する場合には、第1実施形態におけるOOTF処理後のRGBデータを取得する。また、PQ方式のHDRデータを取得する場合には、第2実施形態におけるEOTF処理後のRGBデータに対して、図5(a)の変換カーブで変換を行ったRGBデータを取得する。これらのデータをPQ方式のOETF処理(EOTFの逆関数)したデータを取得しても良い。これらのデータは、ディスプレイコントローラ114が表示装置102での表示処理の画像処理過程で生成することが可能であり、表示装置102、もしくは例えばPC101等の表示装置102外の装置で生成される。これらのデータは、例えば、表示装置102、もしくはPC101等の表示装置102外の装置内の記憶部に記憶されており、ユーザーが印刷ボタンを押した時点でのディスプレイの表示状態に対応したデータを該記憶部から取得する。
S303の印刷情報の取得は、第1実施形態における説明と同じである。
S304では、ダイナミックレンジ変換部201は、S302で取得された表示情報とS303で取得された印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換した画像データを生成する。本実施形態では、ダイナミックレンジ変換部201は、表示情報に基づいて、S301で取得したHDRデータに対して、図4(a)に示す変換カーブで、既に述べたような輝度ダイナミックレンジ変換を行う。ダイナミックレンジ変換部201は、データが持つ1000cd/mを最大輝度値とする輝度ダイナミックレンジの情報を、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへ変換する。
S305とS306は、第1実施形態における説明と同じである。
上記で説明したように、ディスプレイ表示の輝度信号レベルに変換された輝度の絶対値で階調を規定されたデータを表示情報として取得し、輝度ダイナミックレンジ変換を行う。そのため、異なる性能を持つ複数の表示装置102のそれぞれのディスプレイ表示に対応した印刷出力を得ることができる。さらに、ダイナミックレンジ変換部201ではOOTF処理後もしくはEOTF処理後のHDRデータを用いるので、出力装置103側の処理負荷を軽減することができる。
本実施形態では、YCbCrを用いて輝度ダイナミックレンジ変換を行ったが、ICtCpを用いて輝度ダイナミックレンジ変換を行っても良い。ICtCpは、ハイダイナミックレンジで広色域信号を目的とする色空間である。ここで、Iは輝度成分であり、CtCpは色差成分である。輝度成分Iは、広い輝度範囲の視覚特性を考慮した情報となっている。その結果、ICtCp色空間を用いることで、人間の視覚特性を考慮した輝度ダイナミックレンジ変換が可能になる。
本実施形態では、図4に示す特性で輝度ダイナミックレンジ変換を行う代わりに、図7、図8のフローチャートに示す処理でダイナミックレンジ変換処理を行っても良い。
図7のS701では、ダイナミックレンジ変換部201は、OOTF処理により得られたRGBデータを式(3)(4)(5)により、輝度と色差成分に分離する。
S702では、ダイナミックレンジ変換部201は、輝度に変換されたデータに対して、低周波成分と高周波成分に分離する処理を行う。これは、Retinex理論に基づいて、低周波成分と高周波成分で処理を切り替えるためである。Retinex理論とは、人間の脳が色や光をどのように捉えるかをモデル化したものである。この理論では、目に入る光の強度は、物体の反射率と物体を照らす照明光の積で表され、人が感じる明るさや色は、絶対的な光学量よりも周辺からの相対的な変化量に大きく依存しているとする。ここで、絶対的な光学量とは物体を照らす照明光であり、相対的な変化量とは物体の反射率である。
S702では、ダイナミックレンジ変換部201は、物体を照らす照明光成分として画像データの低周波成分を抽出する。低周波成分を作成するためには、ローパスフィルタを適用する。処理方法は、空間フィルタを適用しても良いし、一旦、FFTにより空間周波数に変換し、フィルタ処理後にIFFTで戻しても良い。対象とする周波数は、印刷物を鑑賞する際の用紙サイズ、鑑賞距離から、人間の視覚特性を考慮し、決定すれば良い。高周波成分については、逆のハイパスフィルタを適用してもよいし、得られた低周波成分を元の画像から除算することで取得しても良い。
S703では、ダイナミックレンジ変換部201は、入力と出力の輝度ダイナミックレンジの情報に基づき、低周波成分に対してダイナミックレンジ変換処理を実施する。S703の処理の詳細については、図8を用いて後述する。
S704では、ダイナミックレンジ変換部201は、高周波成分に対してコントラスト補正処理を実施する。コントラスト補正処理とは、得られた画像に対し、係数kを乗じる処理である。入力データに忠実に近づける場合はk=1付近とし、さらに印刷物のインクの滲みなどの劣化を考慮したい場合は、1以上の値を係数kに設定する。
S705では、ダイナミックレンジ変換部201は、低周波成分に対してダイナミックレンジ変換が行われた画像データと、高周波成分に対してコントラスト補正が行われた画像データとの合成を行う。その結果、所定のダイナミックレンジに圧縮され、コントラストが補正された輝度画像が得られる。
S706では、ダイナミックレンジ変換部201は、輝度成分と色差成分を合わせて、式(6)(7)(8)によりRGBデータに変換する。S706の後、図7の処理を終了する。
次に、S703のダイナミックレンジ変換処理を、図8のフローチャートを用いて説明する。
S801では、ダイナミックレンジ変換部201は、圧縮レンジを算出する。本実施形態では、表示情報から得られた1000cd/mを最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。また、ダイナミックレンジ変換部201は、露出輝度値YaをHDRデータのメタデータから取得する。これは、画像撮影時にユーザが露出を設定した点であり、本実施形態では、露出輝度値Yaを18cd/mとする。
S802では、ダイナミックレンジ変換部201は、HDRデータの画像を領域分割する。領域分割は、予め定められた所定の矩形サイズで分割しても良いし、輝度データの情報から類似の輝度画素でグループピングしても良い。後者の場合、領域分割された特定の輝度レンジのコントラストを復元することができ、よりコントラストの保持された画像を得ることができる。また、輝度データのみではなく、RGBデータを用いても良い。それにより、RGBデータにより画像の認識を行い、認識された領域種別に合ったコントラストの復元方法が可能となる。
S803では、ダイナミックレンジ変換部201は、S802で分割された領域ごとに変換カーブを作成する。図9(a)、(b)、(c)は、変換カーブの一例を示す図である。図9(a)は、ある領域の変換カーブを表したグラフである。横軸は入力輝度を示し、縦軸は出力輝度を示し、太線は変換カーブを示す。棒グラフで示されているのは、領域における輝度分布であり、所定の輝度範囲の度数に相当する(右の縦軸に対応)。変換前の輝度ダイナミックレンジをDi、変換後の輝度ダイナミックレンジをDoとして図中に示されている。変換カーブの傾きが1、つまり45度の場合は、入力輝度値と出力輝度値とが一致し、その部分での画像変化が起きない。つまり、ダイナミックレンジ変換前のコントラストが保持される。傾きが小さくなるにつれ(角度として45度未満)、変換後のコントラストは、変換前のコントラストに比べて低下する。好適な変換後の画像を得るためには、コントラストの保持が必要であり、傾き1にすることが望ましい。ここでは低周波成分を扱っているため、低周波成分のコントラスト保持のために、できる限り傾き1の変換を行う必要がある。図9(b)は、別の領域の変換カーブを表しているが、輝度分布が高輝度側に偏っている。図9(a)と同様、輝度分布の度数に応じ、度数の高い輝度グループに1に近い傾きを割り当てている。図9(c)は、一様に輝度が分布している領域の変換カーブを表している。この場合は、度数の高い輝度グループであっても傾きを1に割り当てることができない。変換後の輝度ダイナミックレンジDoが狭いため、特定の輝度グループに傾き1を割りあててしまうと、別の輝度グループの傾きが0に近くなってしまうためである。このような場合は、平均的に傾きを割り当てて、その中で極端に0に近づくことがないように、度数に応じた傾きの分配を行うことになる。また、画像中の領域の異なる図9(a)から図9(c)において、共通の箇所が存在する。例えば、S801で取得した露出設定輝度Yaであるが、変換後の輝度値が常に一定のYa‘になるような変換カーブが作成されている。これにより、高輝度側は階調を再現することを実現しつつ、ユーザが撮影時に設定した露出輝度が保持される。
S804では、ダイナミックレンジ変換部201は、領域分割した全ての領域に対し、変換カーブを作成したか否かの判定を行う。作成していないと判定された場合、S803からの処理を繰り返し、全て作成されていると判定された場合、S805に進む。
S805では、ダイナミックレンジ変換部201は、作成した変換カーブを用いて、画素ごとのダイナミックレンジの圧縮処理を実施する。その際、領域間で階調の不連続な箇所が出ないように周囲の領域の情報を考慮しながら実施する。具体的には、領域と同程度のウインドウを当てはめ、ウインドウに含まれる面積で重み付けを行い、その比率に基づいてダイナミックレンジの圧縮処理を実施する。また、単純な面積比率であると、境界にハロなどの画像弊害が発生するため、対象領域の平均輝度により重みを変化させても良い。つまり、対象画素に比べ、周囲領域の平均輝度が異なるほど、重みを小さくするようにすると画像弊害を抑止できる。
S806では、ダイナミックレンジ変換部201は、全ての画素においてS805の処理が実施されたか否かの判定を行う。全ての画素において処理が実施されていないと判定された場合、S805からの処理を繰り返し、全ての画素において処理が実施されたと判定された場合、図10の処理を終了する。
このように、Retinex理論に基づいて高周波成分と低周波成分に分離し、低周波数成分に対して画像の領域ごとに変換カーブによって輝度ダイナミックレンジ変換することで、人間の視覚特性を考慮した高コントラストな画像を生成することができる。
第1実施形態と第2実施形態において、表示情報が取得できない場合がある。これは、表示装置102から表示情報が取得できない場合、もしくは表示機能のない出力装置103にダイレクトにHDRデータが入力される場合等である。そのような場合の処理を図10に示す。図10において、S301の後、表示情報が取得可能であるか否かの判定を行う。表示情報が取得可能でないと判定された場合、S302をスキップし、S303の後のS304において、HDRデータと印刷情報を用いて輝度ダイナミックレンジ変換により画像データが生成される。その場合の輝度ダイナミックレンジ変換では、輝度の相対値で階調を規定しているHDRデータの場合、EOTF(OETFの逆関数)処理後に、データが持つ相対値で規定される輝度ダイナミックレンジを、出力装置103の輝度ダイナミックレンジに相対的に対応させる。一方、PQ方式のような輝度の絶対値で階調を規定しているHDRデータの場合、EOTF処理後にデータが持つ絶対値で規定される輝度ダイナミックレンジを印刷時の輝度ダイナミックレンジに図4に示す変換カーブ等を用いて変換する。このように、表示装置102からの表示情報の取得の有無によって、適応的に印刷出力を切り替えることが可能となる。
また、表示情報を用いて輝度ダイナミックレンジ圧縮を行うか、表示情報を用いずに輝度ダイナミックレンジ圧縮を行うかは、ユーザがUIにより選択できるようにしても良い。ユーザは、表示装置102の表示に対応した印刷出力か、HDRデータに基づいた印刷出力かを選択することができ、ユーザの意図を反映させることができる。
本実施形態では、BT.2100の規格に準拠したHDRデータを表示・印刷する例を示した。しかしながら、BT.2100の規格に限定されることはなく、その他の規格に準拠した処理を行っても良いし、OETF・EOTFの伝達のみでも良い。例えば、伝達関数としてHLG方式とPQ方式の例を示したが、輝度を相対値、または絶対値で階調を規定することでHDRデータを扱う伝達関数であればその他の方式でも良い。その場合は、式(1)、式(2)に示した伝達関数・システムガンマはその規格に準拠した形となる。また、表示情報として、例えばガンマ変換処理のガンマ値等のディスプレイ独自の変換情報を取得しても良い。
本実施形態では、輝度ダイナミックレンジ変換方法の例として、図4、図5、図6の例を示したが、それらに限られず、輝度ダイナミックレンジの変換を行う方法であればどのような方法でも良い。また、ダイナミックレンジ変換処理での入出力の輝度ダイナミックレンジは、本実施形態で例示した(1000cd/m等)輝度ダイナミックレンジに限定されるものではない。また、本実施形態での表示装置102とは、スマートフォンや装置に取り付けられたパネルやタッチパネル等、情報を表示する装置であればディスプレイに限られず、どのような形態の装置でも良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101 情報処理装置: 102 表示装置: 103 出力装置: 110 画像処理部: 201 ダイナミックレンジ変換部: 202 出力画像生成部

Claims (26)

  1. ハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得手段と、
    前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得手段と、
    前記HDRデータに基づいて表示を行う表示装置の表示情報を取得する第3取得手段と、
    前記表示情報に基づいて、前記HDRデータの輝度のダイナミックレンジを、前記表示装置による表示に対応する第1ダイナミックレンジに変換し、前記印刷情報に基づいて、前記第1ダイナミックレンジを、前記印刷情報に基づく印刷に対応する第2ダイナミックレンジに変換することにより、前記HDRデータの輝度のダイナミックレンジを圧縮する変換手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記表示情報は、前記表示装置のダイナミックレンジ情報を含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記印刷情報は、前記変換手段による変換後のダイナミックレンジを特定するための情報であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記印刷情報は、印刷される用紙の種類を示す情報を含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記第1取得手段により取得される前記HDRデータは、撮像側での輝度変換後のデータであることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記第1取得手段により取得される前記HDRデータは、出力側での輝度変換前のデータであることを特徴とする請求項5に記載の画像処理装置。
  7. 前記変換手段は、前記出力側での輝度変換を実行し、該輝度変換が実行されたHDRデータに対してダイナミックレンジの変換を行うことを特徴とする請求項6に記載の画像処理装置。
  8. 前記第1取得手段により取得される前記HDRデータは、出力側での輝度変換後のデータであることを特徴とする請求項5に記載の画像処理装置。
  9. 前記変換手段は、前記表示装置に対応する、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記変換手段は、所定の輝度範囲において、入力輝度と出力輝度とが一致するように、前記HDRデータの輝度のダイナミックレンジを、前記第2ダイナミックレンジに変換することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記HDRデータにより表される画像を領域分割する分割手段、をさらに備え、
    前記変換手段は、前記分割手段により分割された領域ごとに定められた、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記分割手段は、前記HDRデータにより表される画像の低周波成分に対して領域分割を行うことを特徴とする請求項11に記載の画像処理装置。
  13. 前記HDRデータにより表される画像の高周波成分に対してコントラスト補正を行う手段、をさらに備えることを特徴とする請求項12に記載の画像処理装置。
  14. 前記変換手段によりダイナミックレンジの変換が行われたデータに基づいて印刷の制御を行う印刷制御手段、をさらに備えることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  15. 前記表示装置は、HDRディスプレイであることを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
  16. 前記表示装置は、標準ダイナミックレンジ(SDR)ディスプレイであることを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
  17. 前記第3取得手段は、印刷プレビューが現在表示されている表示装置のための表示情報を取得することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。
  18. 前記第3取得手段は、複数の表示装置から表示装置を選択し、前記選択された表示装置の表示情報を取得することを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。
  19. 前記第3取得手段は、ユーザからの指示に基づいて、前記複数の表示装置から表示装置を選択することを特徴とする請求項18に記載の画像処理装置。
  20. 前記第3取得手段は、優先される表示装置を特定する情報に基づいて、前記複数の表示装置から表示装置を選択することを特徴とする請求項18に記載の画像処理装置。
  21. 前記変換手段は、前記第3取得手段が前記表示情報を取得可能であるか否かを判定し、
    前記変換手段は、前記第3取得手段が前記表示情報を取得可能でないと判定した場合に、前記表示情報を用いたダイナミックレンジの変換を行わずに、前記取得されたHDRデータの輝度のダイナミックレンジを前記第2ダイナミックレンジに変換することを特徴とする請求項1乃至20のいずれか1項に記載の画像処理装置。
  22. 前記取得されたHDRデータは、伝達関数を用いて得られたデータであることを特徴とする請求項1乃至21のいずれか1項に記載の画像処理装置。
  23. 前記伝達関数は、ハイブリッドログガンマ方式の光電気伝達関数であることを特徴とする請求項22に記載の画像処理装置。
  24. 前記表示情報は、前記表示装置の最高輝度値と最低輝度値とを示す情報であることを特徴とする請求項1乃至23のいずれか1項に記載の画像処理装置。
  25. ハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得工程と、
    前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得工程と、
    前記HDRデータに基づいて表示を行う表示装置の表示情報を取得する第3取得工程と、
    前記表示情報に基づいて、前記HDRデータの輝度のダイナミックレンジを、前記表示装置による表示に対応する第1ダイナミックレンジに変換し、前記印刷情報に基づいて、前記第1ダイナミックレンジを、前記印刷情報に基づく印刷に対応する第2ダイナミックレンジに変換することにより、前記HDRデータの輝度のダイナミックレンジを圧縮する変換工程と、
    を有することを特徴とする画像処理方法。
  26. 請求項1乃至24のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
JP2020015535A 2020-01-31 2020-01-31 画像処理装置、画像処理方法およびプログラム Active JP7431595B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020015535A JP7431595B2 (ja) 2020-01-31 2020-01-31 画像処理装置、画像処理方法およびプログラム
US17/161,862 US12067304B2 (en) 2020-01-31 2021-01-29 Image processing apparatus, image processing method, and non-transitory computer-readable storage medium storing a program that performs dynamic range conversion based on obtained display information
KR1020210013002A KR20210098377A (ko) 2020-01-31 2021-01-29 화상 처리 장치, 화상 처리 방법, 프로그램, 및 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체
EP21154213.9A EP3860104A1 (en) 2020-01-31 2021-01-29 Image processing apparatus, image processing method, program, and non-transitory computer-readable storage medium storing program
CN202110135015.9A CN113205460A (zh) 2020-01-31 2021-01-29 图像处理装置、图像处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020015535A JP7431595B2 (ja) 2020-01-31 2020-01-31 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2021124766A JP2021124766A (ja) 2021-08-30
JP2021124766A5 JP2021124766A5 (ja) 2023-01-23
JP7431595B2 true JP7431595B2 (ja) 2024-02-15

Family

ID=74418212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020015535A Active JP7431595B2 (ja) 2020-01-31 2020-01-31 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US12067304B2 (ja)
EP (1) EP3860104A1 (ja)
JP (1) JP7431595B2 (ja)
KR (1) KR20210098377A (ja)
CN (1) CN113205460A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质
EP4415343A1 (en) * 2023-02-08 2024-08-14 Koninklijke Philips N.V. Hdr out of gamut adjusted tone mapping

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016816A (ja) 2000-06-29 2002-01-18 Seiko Epson Corp 色補正方法および色補正装置
JP2010062672A (ja) 2008-09-01 2010-03-18 Canon Inc 画像処理装置およびその方法
US20170330312A1 (en) 2016-05-16 2017-11-16 Lg Electronics Inc. Image processing device and image processing method using the same
WO2018092711A1 (ja) 2016-11-17 2018-05-24 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019080156A (ja) 2017-10-24 2019-05-23 キヤノン株式会社 画像処理方法および画像処理装置
JP2019204439A (ja) 2018-05-25 2019-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2020004268A (ja) 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US7941750B2 (en) * 2001-10-11 2011-05-10 Hewlett-Packard Development Company, L.P. Method and system for defining separate print quality regions within a print job
AU2003201746A1 (en) 2002-01-15 2003-07-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for compressing the dynamic range of an image
US7672528B2 (en) 2003-06-26 2010-03-02 Eastman Kodak Company Method of processing an image to form an image pyramid
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7426312B2 (en) 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
KR100739731B1 (ko) * 2005-09-06 2007-07-13 삼성전자주식회사 표시된 화상의 인쇄를 위한 화상처리 방법 및 장치
US7783121B1 (en) 2005-11-29 2010-08-24 Adobe Systems Incorporated Method and apparatus for applying a filter to an image with a large range of pixel values
US8111941B2 (en) 2006-11-22 2012-02-07 Nik Software, Inc. Method for dynamic range editing
US9830691B2 (en) 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
JP5489649B2 (ja) * 2009-10-29 2014-05-14 キヤノン株式会社 画像処理装置及び画像処理方法
US9230312B2 (en) 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
US20110273731A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Printer with attention based image customization
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US9852499B2 (en) * 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN105469375B (zh) 2014-08-28 2021-09-07 北京三星通信技术研究有限公司 处理高动态范围全景图的方法和装置
WO2016197033A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Rendering and displaying high dynamic range content
EP3493532B8 (en) 2016-07-27 2021-04-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US9883112B1 (en) 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
CN109983754B (zh) * 2016-11-17 2021-03-19 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
US10567777B2 (en) 2017-03-16 2020-02-18 Intel Corporation Contrast optimization and local adaptation approach for high dynamic range compression
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
JP7105737B2 (ja) 2018-06-29 2022-07-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7104575B2 (ja) 2018-06-29 2022-07-21 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7117915B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7280670B2 (ja) 2018-07-06 2023-05-24 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7212466B2 (ja) 2018-07-06 2023-01-25 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
JP7278096B2 (ja) * 2019-02-20 2023-05-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7301551B2 (ja) 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP7296745B2 (ja) 2019-03-05 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6921886B2 (ja) 2019-03-19 2021-08-18 キヤノン株式会社 情報処理装置および情報処理方法
JP7388025B2 (ja) 2019-07-19 2023-11-29 セイコーエプソン株式会社 補正値設定方法、記録方法、及び記録装置
US11295423B2 (en) 2019-11-25 2022-04-05 Intel Corportation Unsupervised training of neural network for high dynamic range image compression
JP7431596B2 (ja) 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016816A (ja) 2000-06-29 2002-01-18 Seiko Epson Corp 色補正方法および色補正装置
JP2010062672A (ja) 2008-09-01 2010-03-18 Canon Inc 画像処理装置およびその方法
US20170330312A1 (en) 2016-05-16 2017-11-16 Lg Electronics Inc. Image processing device and image processing method using the same
WO2018092711A1 (ja) 2016-11-17 2018-05-24 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019080156A (ja) 2017-10-24 2019-05-23 キヤノン株式会社 画像処理方法および画像処理装置
JP2019204439A (ja) 2018-05-25 2019-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2020004268A (ja) 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210241055A1 (en) 2021-08-05
KR20210098377A (ko) 2021-08-10
CN113205460A (zh) 2021-08-03
JP2021124766A (ja) 2021-08-30
EP3860104A1 (en) 2021-08-04
US12067304B2 (en) 2024-08-20

Similar Documents

Publication Publication Date Title
JP7117915B2 (ja) 画像処理装置、制御方法、及びプログラム
US10896358B2 (en) Image processing apparatus, display system, image processing method and storage medium for projecting a moving image onto printed matter in an overlapping manner
JP7104575B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7105737B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10848644B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US11435961B2 (en) Image processing apparatus, image processing method, control apparatus, control method, and storage medium that display converted image data whose maximum luminance has been set according to an obtained lighting luminance
US10764469B2 (en) Image processing apparatus, image processing method, and storage medium that convert an input luminance signal included in image data into an output signal for printing by using a conversion parameter
US20080062484A1 (en) Image processing device and image processing method
JP7431595B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7431596B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5894108B2 (ja) コンピュータ、プログラム及び色再現方法
JP2008072551A (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9218552B2 (en) Image processing apparatus and image processing method
KR102631844B1 (ko) 디지털 이미지를 프로세싱하기 위한 방법, 디바이스, 단말 장비 및 연관된 컴퓨터 프로그램
US7755639B2 (en) Image reproduction using a particular color space
US20230005110A1 (en) Information processing apparatus, information processing method, and storage medium for storing program
JP2008227955A (ja) 画像処理装置、画像処理方法および画像処理システム
JP2007036879A (ja) 画像処理装置およびその方法
JP2005079951A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および像構造プロファイル

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R151 Written notification of patent or utility model registration

Ref document number: 7431595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151