JP7180885B2 - 画像調整装置及びプログラム - Google Patents

画像調整装置及びプログラム Download PDF

Info

Publication number
JP7180885B2
JP7180885B2 JP2019518822A JP2019518822A JP7180885B2 JP 7180885 B2 JP7180885 B2 JP 7180885B2 JP 2019518822 A JP2019518822 A JP 2019518822A JP 2019518822 A JP2019518822 A JP 2019518822A JP 7180885 B2 JP7180885 B2 JP 7180885B2
Authority
JP
Japan
Prior art keywords
image data
luminance value
image
tone
tone curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518822A
Other languages
English (en)
Other versions
JPWO2018212212A1 (ja
Inventor
作一 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018212212A1 publication Critical patent/JPWO2018212212A1/ja
Application granted granted Critical
Publication of JP7180885B2 publication Critical patent/JP7180885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像調整装置及びプログラムに関する。
ダイナミックレンジとは、画像における輝度の最大値と最小値の幅(比率)のことをいう。最近では、ダイナミックレンジが広い画像を撮像することが可能となっており、このような画像をHDR(High Dynamic Range)画像ともいう。HDR画像においては、ダイナミックレンジは例えば6000:1(1/6000)であり、その輝度値は例えば16ビットで表現される。
これに対して、通常のディスプレイで表現できる程度の幅のダイナミックレンジを有する画像をSDR(Standard Dynamic Range)画像という。SDR画像では、ダイナミックレンジは、例えば20:1(1/20)であり、輝度値は例えば8ビットで表現される。
最近では、モバイル機器等の発達に伴い、暗い部屋でHDRディスプレイを用いて表示することが前提となっている映画等のHDR画像を、明るい環境の下でモバイル機器の画面のようなSDRディスプレイを用いて鑑賞したいという要請が高まっている。そこで、入力されたHDR画像から、表示画面が表現可能な輝度範囲内で表示できる画像を生成する画像処理装置等が開示されている(例えば、特許文献1参照)。
特開2006-215756号公報
画像のトーンマッピングには、画像全体を同じトーンカーブを用いてマッピングするグローバルマッピングと、画像の部分的な特徴を用いて部分的に異なるトーンマッピングを行う部分マッピングと、がある。本発明者は、一部の特殊な条件を除いて、人は画面全体で輝度のバランスを意識して判別していることを発見した。したがって、部分マッピングを行うと、人間の輝度の判別に影響を与える画像の輝度のバランスが崩れてしまう可能性があるため、画像に対してグローバルマッピングを行って画像の輝度のバランスを崩すことなく、現実の環境での画像の実際の見え方を考慮して輝度を調整できるようになっているのが望ましい。
現実の環境での画像の実際の見え方に影響を与えるのが鑑賞時の照明光である。照明光が画像を表示する画面で反射すると、その反射光によりその画像を見る者の各画素の輝度が大きくなるためである。これにより、例えば、照明光が強い環境では、輝度値の低い部分のコントラストが大幅に低下し、画像が見えなくなってしまうなどの影響が出る。
本発明は、上記実情に鑑みてなされたものであり、画像の輝度のバランスを崩すことなく、現実の環境での画像の見え方を考慮したトーンマッピングで画像調整を行うことができる画像調整装置及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る画像調整装置は、
表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置であって、
第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、
前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
=D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部と、を備え、
前記トーン調整部は、
前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する。
本発明の第2の観点に係る画像調整装置は、
表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置であって、
第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、
前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をD とし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をL とし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
=D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部と、を備え、
前記トーン調整部は、
前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者又は画像の作者によって指定された鑑賞者の注視領域であって、前記モニタ画面に表示される画像における注視領域の輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する。
本発明の第3の観点に係るプログラムは、
表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置として機能するコンピュータを、
第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部、
前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をD とし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をL とし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
=D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部、として機能させ、
前記トーン調整部は、
前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する。
本発明の第4の観点に係るプログラムは、
表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置として機能するコンピュータを、
第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部、
前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をD とし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をL とし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
=D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部、として機能させ、
前記トーン調整部は、
前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者又は画像の作者によって指定された鑑賞者の注視領域であって、前記モニタ画面に表示される画像における注視領域の輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する。
本発明によれば、鑑賞時の環境光の影響を考慮してコントラスト比が低下した状態でも傾きが0とならないトーンカーブを用いて画像調整を行っているため、鑑賞時の環境光によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、弁別閾(区別できる最小の変化量)を増加させることができる。この結果、画像の輝度のバランスを崩すことなく、現実の環境での画像の見え方を考慮したトーンマッピングで画像調整を行うことができる。
本発明の実施の形態に係る画像調整装置の構成を示すブロック図である。 撮像対象の実際の輝度と撮像された画像データの輝度との関係を示す図である。 HDR、SDRの雑音レベルと、16ビットの理論限界とを示す図である。 図1の画像調整装置におけるトーンカーブの一例を示す図である。 従来のトーンカーブの一例を示す図である。 鑑賞時の実際の画像の見え方を示す模式図である。 明るい環境で撮像されたトーンカーブの一例を示す図である。 暗い環境で撮像されたトーンカーブの一例を示す図である。 本発明の実施の形態に係る画像調整装置の動作を示すフローチャートである。 自動処理1のフローチャートである。 自動処理2のフローチャートである。 手動処理のフローチャートである。 後処理のフローチャートである。 手動処理で用いられる画像データの一例を示す図である。 図1の画像調整装置で調整される一般的なトーンカーブを示す図である。 調整されたトーンカーブの一例を示す図である。 調整されたトーンカーブの他の例を示す図である。 本発明の他の実施の形態に係る画像調整装置の構成を示すブロック図である。 図17の画像調整装置で調整される一般的なトーンカーブを示す図である。
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の図面では、各構成部材の大きさや構成部材間の位置関係が実際のものとは異なる場合がある。また、以下の図面において、同一又は相当部分には同一符号を付す。
図1に示すように、画像調整装置1はコンピュータであり、CPU(Central Processing Unit)及びメモリから成る制御部2と、ハードディスク等から成る記憶部3と、マンマシンインターフェイスである操作部4と、画面を表示する表示ディスプレイである表示部5と、を備える。操作部4の操作入力により、制御部2が記憶部3に記憶されたプログラムを実行されることにより、画像調整装置1の以下の構成要素の機能が実現される。例えば、操作部4の操作入力に従って表示部5の表示画像が変更され、画像データの輝度値が調整される。
画像調整装置1は、そのような構成要素として、前処理部10と、トーン調整部11と、後処理部12と、を備える。また、記憶部3には、入力データ20と、トーンカーブ21と、出力データ22とが記憶されている。
入力データ20は、撮像素子で撮像された動画データ又は静止画データ(第1の画像データ)である。入力データ20は、HDR規格の画像(TIFF(Tag Image File Format),BTR(Broadcast and Television Receivers)規格)でもよいし、SDR規格の画像(JPEG(Joint Photographic Experts Group),MPEG(Moving Picture Experts Group))でもよい。画像調整装置1は、第1のダイナミックレンジを有する入力データ20(第1の画像データ)の輝度値を、第2のダイナミックレンジ(例えばSDR)を有する出力データ22(第2の画像データ)の輝度値に調整する。調整した輝度値を有する出力データ22は、記憶部3に記憶される。本実施の形態では、第1のダイナミックレンジは、第2のダイナミックレンジより大きい(すなわち第2のダイナミックレンジは、第1のダイナミックレンジより小さい)ものとする。
なお、撮像素子においては、撮像対象の実際の輝度値I’(I’MIN~I’MAX)と、撮像素子で撮像された画像データ(入力データ20)の輝度値Dip(Log1~Log255(8ビットの場合)又はLog65535(16ビットの場合))との間には、図2Aに示すように、LogD=f1(LogI’)の関係がある。なお、SDR画像、HDR画像には、図2Bに示すように、画像に含まれるノイズのため、実際の輝度値I’との間で線形関係に限界がある。
前処理部10は、画像の輝度調整に先立って前処理を行う。具体的には、前処理部10は、入力データ20を記憶部3から読み込んで、入力データ20に対する前処理、例えば、入力データ20の線形化、正規化、校正処理を行う。具体的には、前処理部10は、入力データ20の各画素の輝度値Dを、以下の演算式を用いて正規化された輝度値Dipに変換する。
ip=K・f -1(D
なお、以下の実施の形態では、この輝度値Dipを、第1の画像データ(入力データ20)の輝度値Iとして説明を行う。
トーン調整部11は、前処理部10で前処理されたデータの各画素の輝度値Iを入力するとともにトーンカーブ21を記憶部3から読み込む。トーン調整部11は、読み込んだ入力データ20の輝度値Iを、トーンカーブ21を用いて、出力データ22の輝度値Dに調整する。
トーンカーブ21は、前処理された入力データ20の輝度値をXとし、出力する画像データの輝度値をYとすると、logY=γ(X)LogXの関係を有する曲線である。γ(X)はトーンカーブ21の傾きである。本実施の形態では、Xは、前処理がなされた画像データの輝度値Iであり、Yは調整後の輝度値Dまたは鑑賞時の環境光の影響を加味した輝度値Lである。
記憶部3には、トーンカーブ21として、標準となるトーンカーブTDSTD(I)(後述するTD(I)に対応)が記憶されている。図3に示すように、横軸をLogIとし、縦軸をLogDとすると、トーンカーブTDSTD(I)は、傾きγ(I)のグラフとなる。傾きγ(I)の値は輝度値Iによって異なっている。また、トーンカーブTDSTD(I)は、輝度値の最大値近傍(LogI=1の近傍)では、その輝度値が、ハードクリッピングでなく、ソフトクリッピングされている。すなわち、輝度値の最大値に近づくにつれて、傾きγ(I)が小さくなっている。これにより、画像の白とびが抑制されている。
本実施の形態では、トーンカーブTDSTD(I)は、鑑賞時の環境光の影響を考慮してその特性が決められている。鑑賞時の環境については様々なものがある。環境光の影響について、以下の3つの場合を例にとって説明する。
S:映画を見る暗室のような明るさ(1000:1)の場合
A:周りが暗く、広いダイナミックレンジ(100:1)で再生可能な明るさの場合
B:通常の明るさ(ダイナミックレンジ20:1)の場合
入力データ20の正規化された輝度値Iを、トーンカーブTDSTD(I)を用いて調整すれば、画素の輝度値はDとなる。しかしながら、図5に示すように、モニタ画面に入射する照明光の反射の影響により、画像の実際の見え方は変化する。すなわち、画像の各画素の輝度値は、輝度値Dに、モニタ画面で反射した照明光の反射による輝度値Dが加味された輝度値Lとなる。図3には、この実際にモニタ画面を見る人が知覚する輝度値Lに対応するトーンカーブTL(I)が点線で描かれている。
Sの場合には、輝度値Dの大きさは、コントラスト比=1/1000となる。また、Aの場合には、輝度値Dの大きさは、コントラスト比=1/100となる。さらに、Bの場合には、輝度値Dの大きさは、コントラスト比=1/20となる。モニタ画面に表示される画像では、これらの輝度値Dだけ輝度が大きくなる。
図3に示すように、点線で示されるトーンカーブでも、その傾きγ(I)は、ダイナミックレンジ全域で0になっていないので、モニタ画面を見る人は、コントラストの良い画像としてその画像を認識することができる。このトーンカーブは、例えばジグモイド曲線のようなS字カーブとなる。
一方、図4に示すように、従来のトーンカーブをそのまま用いて輝度値の調整を行った場合には、モニタ画面に表示される画像の実際の見え方は、傾きγ(I)が0の部分を有するトーンカーブに従ったものとなる。このため、モニタ画面に表示される画像は、黒つぶれ、すなわち黒い部分がつぶれた画像として認識される。これに対して、図3に示す本実施の形態に係るトーンカーブTDSTD(I)は、鑑賞時の環境光の影響を加味して、実際の見えを示すトーンカーブが全域でγ(I)が0でないので、黒つぶれが最小限に抑えられている。
画像調整装置1は、トーンカーブ21として、特性、すなわちカーブ形状が異なる複数のトーンカーブTDSTD(I)の他にも、複数のトーンカーブTDSEL(I)を記憶している。図6及び図7には、2つのトーンカーブTDSEL1(I)、TDSEL2(I)が示されている。本実施の形態では、これらのトーンカーブが後述のトーンカーブTD(I)に対応する。
図6に示すように、トーンカーブTDSEL1(I)は、鑑賞時の反射を考慮したトーンカーブとしたときに、トーンカーブTDSTD(I)に対して高輝度側の傾きγ(I)が大きくなっている。このため、トーンカーブTDSEL1(I)は、高輝度の画素が多い画像の表示に適している。
また、図7に示すように、トーンカーブTDSEL2(I)は、鑑賞時の反射を考慮したトーンカーブを仮定したときに、トーンカーブTDSTD(I)に対して低輝度側の傾きγ(I)が大きくなっている。トーンカーブTDSEL2(I)は、比較的低い輝度の画素が多い画像の表示に適している。
これらの他にも、記憶部3は、より多くのトーンカーブTDSEL(I)を記憶することが可能である。また、トーン調整部11は、記憶部3に記憶されたトーンカーブTDSEL(I)の中から、入力データ20において画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブTDSEL(I)を選択し、選択したトーンカーブを用いた輝度値の調整が可能である。このようなトーンカーブTDSEL(I)の傾きγ(I)の最大値としては、例えば、0.5以上1.0未満とすることができる。
記憶部3は、例えば、鑑賞者の注視領域(作者が鑑賞者に見せたい領域・鑑賞者が見たい領域)の輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブをトーンカーブTDSEL(I)として記憶することが可能である。トーン調整部11は、記憶部3に記憶されたトーンカーブTDSEL(I)の中から、入力データ20において画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きが大きいトーンカーブTDSEL(I)を選択し、選択したトーンカーブを用いた輝度値の調整が可能である。
このように、トーンカーブTDSEL(I)は、照明光の反射を考慮した時に一部に傾きγ(I)の大きい部分を有するトーンカーブとなる。γ(I)の最大値は1近傍となってもよい。傾きγ(I)の大きい部分は1箇所であってもよいし、複数箇所存在していてもよい。上述のトーンカーブTDSTD(I)は、傾きγ(I)の大きい部分を2か所有するカーブである。
画像調整装置1は、この他、トーンカーブ21としてγ(I)=1のトーンカーブも記憶している。これをトーンカーブTDLIN(I)と呼ぶ。
また、トーン調整部11は、表示部5がトーンカーブ21(後述するトーンカーブTD(I)に対応)を表示しつつ、操作部4を介してトーンカーブ21の特性を調整可能である。初期のトーンカーブとしては、トーンカーブTDSTD(I)、トーンカーブTDSEL(I)、トーンカーブTDLIN(I)を採用することができる。
このとき、表示部5は、鑑賞時の環境光の影響を加味したトーンカーブTL(I)を表示可能である。トーン調整部11は、輝度値が最低である領域を含む画像データを、入力データ20として、表示部5に表示されたトーンカーブを用いて、入力データ20の正規化された輝度値Iを出力データ22の輝度値Dに調整し、表示部5に出力データ22を表示することができる。
この状態で、トーン調整部11は、操作部4の操作入力にしたがって、表示部5に表示されたトーンカーブの特性(傾きγ(I))を調整可能である。この動作により、実際の見え方が精細となるように輝度調整を行うことができるトーンカーブTD(I)を生成することができる。
いずれの場合でも、トーンカーブ21は、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブとなる。これらのトーンカーブには、γ(I)が1近傍である部分が少なくとも1箇所存在する。これにより、調整後の画像データでは、輝度値が低い部分の黒つぶれや輝度値が高い部分の白とびの発生を低減することができる。
後処理部12は、後処理を行う。具体的には、後処理部12は、トーン調整部11でトーンが調整された画像データに対して逆ガンマ補正やJPEGデータ又はMPEGデータへのフォーマット調整等を行う。後処理部12は、フォーマット調整された動画データ又は画像データを出力データ22として記憶部3に記憶する。
次に、本発明の実施の形態に係る画像調整装置1の動作(画像調整方法)について図8~図12のフローチャートを主に参照して、説明する。
まず、前処理部10は、前述のように、前処理(線形化、校正)を行う(ステップS1)。続いて、トーン調整部11は、処理内容を選択し、選択した処理への分岐を行う(ステップS2:トーン調整ステップ)。トーン調整部11が実行可能な処理には、自動処理1と、自動処理2と、手動処理との3つがある。処理の分岐は、操作部4による操作入力に基づいて行われるようにしてもよいし、予め設定されていてもよい。
(自動処理1)
自動処理1が選択された場合、図9に示すように、トーン調整部11は、トーンカーブ21として、標準のトーンカーブTDSTD(I)を読み出す(ステップS11)。続いて、トーン調整部11は、トーンカーブTDSTD(I)を、対数軸上のカーブから実数軸上のトーンカーブTDLSTD(I)に変換する(ステップS12)。続いて、トーン調整部11は、トーンカーブTDLSTD(I)を用いて、画像データの輝度値Iを画像データの輝度値Dに調整する(ステップS13)。
調整された画像データは、表示部5に表示されると、画像の各画素の輝度値は、図5に示すように、輝度値Dに照明光の反射による輝度値Dを加算した輝度値Lとなる。したがって、図3に示すように、この画像データは、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブ21に基づいて調整された画像となり、その画像を見る者にとって黒つぶれ等のない鮮明な画像となる。
(自動処理2)
自動処理2が選択された場合、図10に示すように、トーン調整部11は、トーンカーブ21として、カーブの形状が異なるトーンカーブTDSEL(I)(TDSEL1(I)、TDSEL2(I))を読み出す(ステップS21)。続いて、トーン調整部11は、正規化された画像データに対して、輝度値Iのヒストグラムを生成する(ステップS22)。続いて、トーン調整部11は、生成したヒストグラムに基づいて、トーンカーブTDSEL(I)を決定する(ステップS23)。例えば、高輝度となる画素数が多ければ、高輝度の領域で傾きγ(I)が大きいトーンカーブ(例えばTDSEL1(I))が選択され、低い輝度の画素数が多ければ、低い輝度の領域で傾きγ(I)が大きいトーンカーブ(例えばTDSEL2(I))が選択される。また、鑑賞者等によって指定された注視領域が指定されている場合には、ステップS22で、画像データにおいて注視領域の輝度値Iのヒストグラムを生成し、そのヒストグラムに対応する注視領域の輝度値の範囲で傾きγ(I)が大きいトーンカーブTDSEL(I)をステップS23で選択するようにしてもよい。
続いて、トーン調整部11は、トーンカーブTDSEL(I)を、対数軸上のカーブから実数軸上のトーンカーブTDLSEL(I)に調整する(ステップS24)。続いて、トーン調整部11は、トーンカーブTDLSEL(I)を用いて、各画素の輝度値Iを輝度値Dに調整する(ステップS25)。
調整された画像データは、表示部5に表示されると、モニタ画面に表示される画像の各画素の実際(見かけ上)の輝度値は、図6又は図7に示すように、輝度値Dに照明光の反射による輝度値Dを加算した輝度値Lとなる。したがって、図6又は図7に示すように、この画像データは、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブ(Lに対応するトーンカーブ)に基づいて輝度値が調整された画像となり、その画像を見る者にとって黒つぶれ等のない鮮明な画像となる。さらに、トーンカーブの特性を、撮像素子で撮像された画像の輝度値の分布に応じたものとすることができるので、表示する画像をさらに鮮明なものとすることができる。
(手動処理)
手動処理が選択された場合、図11に示すように、トーン調整部11は、トーンカーブ21として、初期値となるトーンカーブTD(I)(N=0)を読み出す(ステップS31)。初期値として選択されるトーンカーブTD(I)は、TDSTD(I)であってもよいし、TDSEL(I)(TDSEL1(I)、TDSEL2(I))であってもよいし、TDLIN(I)であってもよい。
続いて、トーン調整部11は、トーンカーブTD(I)を、対数軸上のカーブから実数軸のカーブに調整し、トーンカーブTDL(I)を生成する(ステップS32)。続いて、トーン調整部11は、トーンカーブTDL(I)を用いて、画像データの輝度値Iを画像データの輝度値Dに調整する(ステップS33)。
さらに、トーン調整部11は、輝度値Dに、鑑賞時の環境光の反射による輝度値Dを加算して輝度値Lを算出する(ステップS34)。輝度値Dは操作部4の操作入力により調整することが可能であるが、例えば、Aの場合には、1/100、Bの場合には1/20を入力することができる。
続いて、トーン調整部11は、トーンマッピングの評価を行う(ステップS35)。ここでは、トーン調整部11は、算出された輝度値Dに基づく画像データを表示部5に表示するとともに、輝度値Lに対応するトーンカーブを表示する。表示部5を見る評価者は、表示される画像データの評価を行う。
なお、評価に用いる画像データとしては、図13に示すような画像データを用いることができる。図13に示す画像データは、輝度値が最低である領域としての周辺補償部と、評価画面表示部とが含まれる画像データとなる。周辺補償部は、鑑賞時の照明光の反射による輝度値Dが正確であるか否かの評価に用いられる。輝度値Dが正確であれば、周辺補償部と、評価画面表示部とが一体となって感じられるようになるためである。
トーン調整部11は、表示部5に輝度値を調整した出力データ22の表示画面評価部の画像を表示しつつ、周辺補償部と評価画面表示部とが一体となって感じられるかどうかの評価を行う。評価者が実際に表示された画像において、評価画面表示部の画像が精細であると感じられ、周辺補償部と評価画面表示部とが一体となって感じられれば評価結果はOKとなる。
トーン調整部11は、評価結果がOKであるか否かを判定する(ステップS36)。評価結果がOKでなければ(ステップS36;No)、さらに、トーン調整部11は、カウンタ値Nを1だけインクリメントする(ステップS37)。さらに、トーン調整部11は、上述のようにしてトーンカーブTD(I)を操作部4の操作入力により変更して、新たなトーンカーブTD(I)を生成する(ステップS38)。
その後、トーン調整部11は、ステップS32に戻り、トーンカーブTDL(I)の実数軸への調整(ステップS32)、輝度値Dの算出(ステップS33)、輝度値Lの算出(ステップS34)、トーンマッピングの評価(ステップS35)、評価結果の判定(ステップS36)が繰り返される。ステップS36で評価結果がOKであると判定されれば(ステップS36;Yes)、画像調整装置1は、後処理へ進む。このときのトーンカーブTD(I)がトーンカーブTD(I)である。
(後処理)
自動処理1、自動処理2又は手動処理が終了すると、図12に示すように、後処理部12は、後処理として画像最終調整を行う(ステップS41)。後処理には、前述のように、例えば逆ガンマ補正やJPEGやMPEGのフォーマットへの変換処理などがある。後処理終了後、画像調整装置1は処理を終了する。
本実施の形態に係る画像調整装置1についてまとめる。画像調整装置1は、トーン調整部11を備える。トーン調整部11は、第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整する。より具体的には、トーン調整部11は、第1の画像データにおける最大値1で正規化された輝度値をIとし、第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光の輝度値をDaとして調整を行う。トーン調整部11は、鑑賞時の環境光の影響を考慮した輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定する。
トーン調整部11は、TL(I)をトーンカーブ調整時の目的関数に設定して、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。例えば、図14に示すように、トーンカーブTD(I)が調整されることにより、TD(I)とDaとの和であるTL(I)は、その傾きγ(I)がダイナミックレンジ全域(10-4~1)で0でないトーンカーブとなっている。なお、図3、図6及び図7では、TDSTD(I)、TDSEL1(I)、TDSEL2(I)がTD(I)に相当し、点線の曲線がTL(I)に相当する。
このようにして、トーン調整部11は、環境光の影響を考慮してトーンカーブTL(I)を調整する。調整されたトーンカーブTL(I)の例を図15、図16に示す。
図15に示す、トーンカーブTD(I)は、両対数軸上で、I=Iaを境に傾きγ(I)が変わる直線となる。この場合、トーンカーブTL(I)は、単調増加関数となる。原画像(γ(I)=1の画像)より、暗部の再現性が改善される。Da=TD(I)=TL(I)/2を与える輝度値Iの値をIaとする。トーンカーブTL(I)において、γ(I)の最大値をとる輝度値Iは、Iaよりも小さいところに生じ、比較的暗部のところの階調が強調される一方、明部のコントラスト比が不足して、軟調になる。
図16に示すトーンカーブTD(I)も、両対数軸上で、傾きγ(I)が一定でない単調増加関数となる。トーンカーブTL(I)において、1≧I≧Iaの少なくとも1箇所で傾きγ(I)が0.5を上回る区間がある。また、トーンカーブTL(I)の傾きγ(I)が最大値をとるIの値をImとすると、1≧lm≧Iaの関係を満たす。このようにすることで、トーンカーブTL(I)は、環境光の影響が相対的に少ない中間調からハイライトの何れかの部分にγ(I)が最大の場所が存在するような関数となる。このトーンカーブTL(I)を用いれば、視覚的により良好に、HDR画像からSDR画像を変換が可能になる。
以上詳細に説明したように、本実施の形態によれば、鑑賞時の環境光の反射による影響を考慮してコントラスト比が低下した状態でも傾きγ(I)が0とならないトーンカーブ21を用いて画像調整を行っているため、鑑賞時の環境光の影響によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、弁別閾(区別できる最小の変化量)を増加させることができる。この結果、画像の輝度のバランスを崩すことなく、人間の見えを考慮したトーンマッピングで画像調整を行うことができる。
また、別の実施の形態として、図17に示すように、画像調整装置1は、特定のディスプレイ8に表示される画像を調整するものであってもよい。ディスプレイ8の外枠には、照明センサ7が取り付けられており、照明センサ7により、ディスプレイ8の画面に入射する環境光の強度を検出することが可能となっている。画像調整装置1は、照明センサ7と照明センサ7からのセンサ出力を入力する入力部6をさらに備える。
トーン調整部11は、照明センサ7で検出された環境光の強度と、画像を表示するディスプレイ8の反射率とに基づいて、ディスプレイ8の画面の実効的な最低輝度情報として、環境光による輝度値Daを算出する。反射率は、予め測定された値を用いることで正確に算出できるが、標準的な値を用いてもよい。そして、トーン調整部11は、図18に示すように、算出された輝度値Daに応じて、トーンカーブTL(I)の傾きγ(I)がダイナミックレンジ全域で0にならないように、トーンカーブTD(I)を調整する。このようにすれば、環境光の強度が変化しても、その都度、適切なトーンカーブTL(I)の下で、画像変換を行うことができるので、常に見やすい画像を表示することができる。
このとき、図18に示すように、トーン調整部11は、輝度値Daに応じて、傾きγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)とともに第2の画像データの最大輝度値(縦軸で1となるDの最大値)を上下させて調整するようにしてもよい。例えば、輝度値Daが大きくなるにつれて第2の画像データの最大輝度値を高くするようにしてもよい。このようにすることで、暗い部屋から中程度の明るさの部屋のように環境光が変化する場合であっても、実効的な輝度コントラスト比と階調特性とをほぼ同一に保つことが出来る。したがって、必要以上の輝度コントラスト比となって見やすさを阻害することを防止できる効果が期待できる。また、最大レベルを調整できない程に環境光が極端に明るくなった場合においても、トーンカーブTD(I)のみを調整することで、限られた輝度コントラスト比の中でもより適切な階調を表現することが可能になる。
また、上記各実施の形態によれば、複数のトーンカーブのうち、画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブ21又は鑑賞者の注視領域の輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブ21を選択して画像を調整することができる。このようにすれば、全体として鑑賞時の環境光の影響によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、画像の重要な領域でのコントラストをさらに大きくすることができる。
また、従来では、手動処理でトーンカーブ21を調整する際には、γ補正(通常はγ=2.2~2.4)された画像データの画素値もしくは輝度値の実数値を横軸(X軸)、縦軸(Y軸)としたトーンカーブを表示しつつ、表示されたトーンカーブを手動操作で調整していた。このように、両軸を実数値とするトーンカーブを使用しても、一般的なSDR画像のようにγ補正された8ビットの画像データの画素値を入出力した場合には、ダイナミックレンジはHDRと比較してはるかに狭いため、近似的に人間の視覚特性との差が極端に大きくならず、トーンマッピングの操作性に大きな問題は生じていなかった。しかし、HDR画像はダイナミックレンジが広いため、両軸を実数値とするトーンカーブを用いた場合には、低輝度部分の操作を緻密に行うことが困難になるという操作性の問題が生じる。そこで、本実施の形態に係る画像調整装置1では、手動処理において、横軸及び縦軸がともに輝度値の対数となるトーンカーブ21を表示部5で表示しつつ、操作部4を介してトーンカーブ21を調整可能とした。人間の視覚特性は、実数軸ではなくほぼ対数軸で表される(ヴェーバー・フェヒナーの法則による)ので、両対数軸で表示されたトーンカーブ21を用いた方が、人間の感覚(視覚特性)に近い状態で、画像の輝度値の調整を行うことができる。
なお、入力データ20が動画データである場合、場面(シーン)が切り替わる度にトーンカーブを変更するようにしてもよい。
なお、上記各実施の形態に係る画像調整装置1は、ディスプレイに表示される画像データを調整したが、本発明はこれには限られない。本発明は、写真や印刷物に表示される画像データの輝度値の調整にも適用することが可能である。例えば、本発明は、メディア変換(例、ディスプレイに表示される画像から印刷物への変換)に際してのトーンマッピングの前処理又は包括処理として適応可能である。
上記各実施の形態の動作を行うプログラムを記述するステップは、記載された順序に沿って時系列に行われる処理であるが、必ずしも時系列に処理されなくても、並列的又は個別に実行される処理を含んでいてもよい。
上記各実施の形態において、システムとは、複数の装置で構成される装置全体又は複数の機能で構成される機能全体を表すものである。
その他、画像調整装置1のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
制御部2及び記憶部3などから構成される画像調整装置1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像調整装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画像調整装置1を構成してもよい。
画像調整装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
なお、本願については、2017年5月18日に出願された日本国特許出願2017-99165号を基礎とする優先権を主張し、本明細書中に日本国特許出願2017-99165号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
本発明は、様々な環境下で画像を表示するのに適用することができる。
1 画像調整装置、2 制御部、3 記憶部、4 操作部、5 表示部、6 入力部、7 照明センサ、8 ディスプレイ、10 前処理部、11 トーン調整部、12 後処理部、20 入力データ(第1の画像データ)、21 トーンカーブ、22 出力データ(第2の画像データ)

Claims (4)

  1. 表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置であって、
    第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、
    前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
    =D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部と、を備え、
    前記トーン調整部は、
    前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
    選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
    画像調整装置。
  2. 表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置であって、
    第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、
    前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
    =D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部と、を備え、
    前記トーン調整部は、
    前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者又は画像の作者によって指定された鑑賞者の注視領域であって、前記モニタ画面に表示される画像における注視領域の輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
    選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
    画像調整装置。
  3. 表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置として機能するコンピュータを、
    第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部、
    前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をD とし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をL とし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
    =D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部、として機能させ、
    前記トーン調整部は、
    前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
    選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する
    プログラム。
  4. 表示ディスプレイのモニタ画面に表示される画像の輝度値を調整する画像調整装置として機能するコンピュータを、
    第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部、
    前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をD とし、前記第2の画像データに基づく画像を表示するモニタ画面で反射する鑑賞時の環境光による輝度値をDaとし、前記鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をL とし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
    =D +Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、L =TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないように調整され、互いに特性が異なるトーンカーブTD(I)を複数記憶する記憶部、として機能させ、
    前記トーン調整部は、
    前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者又は画像の作者によって指定された鑑賞者の注視領域であって、前記モニタ画面に表示される画像における注視領域の輝度値の範囲で前記鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
    選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
    プログラム。
JP2019518822A 2017-05-18 2018-05-16 画像調整装置及びプログラム Active JP7180885B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017099165 2017-05-18
JP2017099165 2017-05-18
PCT/JP2018/018861 WO2018212212A1 (ja) 2017-05-18 2018-05-16 画像調整装置、画像調整方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018212212A1 JPWO2018212212A1 (ja) 2020-03-19
JP7180885B2 true JP7180885B2 (ja) 2022-11-30

Family

ID=64273935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518822A Active JP7180885B2 (ja) 2017-05-18 2018-05-16 画像調整装置及びプログラム

Country Status (3)

Country Link
US (1) US11107441B2 (ja)
JP (1) JP7180885B2 (ja)
WO (1) WO2018212212A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107441B2 (en) 2017-05-18 2021-08-31 Sakuichi Ohtsuka Image adjustment device, image adjustment method, and computer readable medium
US11473971B2 (en) * 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
JP2021093608A (ja) * 2019-12-09 2021-06-17 国立大学法人 鹿児島大学 画質調整装置、画質調整方法及びプログラム
US11348470B1 (en) * 2021-01-07 2022-05-31 Rockwell Collins, Inc. Apparent video brightness control and metric

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177558A (ja) 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
US20130155330A1 (en) 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215756A (ja) 2005-02-02 2006-08-17 Dainippon Ink & Chem Inc 画像処理装置および画像処理方法ならびにそのプログラム
CN104902141B (zh) * 2015-06-08 2018-06-26 西安诺瓦电子科技有限公司 图像处理方法及装置
US11107441B2 (en) 2017-05-18 2021-08-31 Sakuichi Ohtsuka Image adjustment device, image adjustment method, and computer readable medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177558A (ja) 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
US20130155330A1 (en) 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANTIUK Rafal et al.,Display Adaptive Tone Mapping,ACM Transactions on Graphics,米国,ACM,2008年,Vo.27, No.3, Article 68

Also Published As

Publication number Publication date
US20210174763A1 (en) 2021-06-10
US11107441B2 (en) 2021-08-31
JPWO2018212212A1 (ja) 2020-03-19
WO2018212212A1 (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP7180885B2 (ja) 画像調整装置及びプログラム
US11025830B1 (en) Deghosting camera
Mantiuk et al. Display adaptive tone mapping
US10459318B2 (en) Image display apparatus method and storage medium for modifying display luminance
JP6030396B2 (ja) 映像処理装置
EP2800352B1 (en) Image pickup apparatus and image processing apparatus
US20130202204A1 (en) Image processing apparatus and method of controlling the same
JP2012010048A (ja) 画像信号処理装置
JP5089783B2 (ja) 画像処理装置及びその制御方法
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
US9799108B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009124264A (ja) 画像処理装置および画像処理方法
US11810281B2 (en) Image processing apparatus, image processing method, and storage medium
JP5663914B2 (ja) 画像表示装置
JP2011120299A (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
Mohammadi et al. An entropy-based inverse tone mapping operator for high dynamic range applications
WO2018167898A1 (ja) 映像表示装置
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6397261B2 (ja) 画像処理装置及び方法
JPWO2018003665A1 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP5863236B2 (ja) 画像処理装置、画像処理方法
Cyriac et al. Automatic, viewing-condition dependent contrast grading based on perceptual models
JP6270448B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021093608A (ja) 画質調整装置、画質調整方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221110

R150 Certificate of patent or registration of utility model

Ref document number: 7180885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150