JP7071084B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、ＨＤＲ（ハイダイナミックレンジ）画像を現像する技術に関するものである。

近年ディスプレイのＬＥＤ素子の進歩などにより、黒を引き締め、高輝度をさらに高めることができ、ハイダイナミックレンジ（以下、ＨＤＲ(High Dynamic Range)と称する）な画像のデータを圧縮することなくそのまま表示することができるようになってきている。ＨＤＲでは、従来のダイナミックレンジ（以下、ＳＤＲ(Standard Dynamic Range)と称する）でコントラストが下がってしまっていた青空の雲の階調や、夜景のネオンなどの風景をリアルに再現できる。

一方で、ＨＤＲでは、明るい部分が眩しいほど明るく、相対的に主被写体を暗く知覚してしまうという特徴も併せ持つ。これは、人間の視覚特性である色彩対比のうち、空間的に隣接する場合に発生する同時対比に起因するものであると考えられる。同時対比には、明度対比の他に彩度の高い色に囲まれた色は彩度が低下して見える彩度対比もある。

上記の同時対比の現象は、明暗差がより強調される現象であるため、これこそがリアルなＨＤＲ画質で好ましいというシーンもあるであろうが、一方で主被写体の明るさ、特に人物の顔などが暗くなった場合には必ずしも好ましい画像とはならない場合もある。そのような場合には、ユーザーは、撮影時ではカメラ内の画質調整機能、現像時ではＰＣアプリ内の画質調整機能を用いてコントラストを落とすような調整を行うことが想定される。

コントラスト調整の一般的な方法としては、ある信号レベルを基準として、それよりも大きい信号および小さい信号を増減させ振幅制御する方法が一般的である。しかしながら、人間の視覚特性として、感覚量は、刺激量（この場合は輝度値）の強度の対数に比例して知覚されるため、基準信号レベルに対して暗部と明部の調整量を同量にしても、暗部と明部で同様の変化量に感じられない。この現象はＨＤＲのように扱う対象輝度が１０００ｎｉｔｓを超えるような高輝度になると、より顕著になる。

そこで例えば、特許文献１では、撮像装置のダイナミックレンジよりも出力装置のダイナミックレンジが狭いときに、大局輝度に基づいて圧縮することにより、コントラストを維持する補正方法が提案されている。また特許文献２では、コントラスト調整手段で行うコントラスト調整との相関性を持たせて、視覚上の平均輝度レベルが変化しないようにバックライトの輝度調整を行う方法が提案されている。

特開２０１６－０８６３４７号公報 特開２００１－０２７８９０号公報

しかしながら、上述の特許文献１に開示されている従来技術は、ダイナミックレンジが広い状態から狭い状態への圧縮方法において、人間の視覚特性を考慮してなるべくコントラストを維持する方法ではある。しかし、暗部と明部の調整量が同量に知覚されることを保証する方法ではない。

また特許文献２に開示された従来技術は、単なる信号の振幅制御だけでなく表示装置のバックライトの輝度再現範囲を考慮して平均輝度を維持しようとすることを特徴とする。しかし、やはり暗部と明部の調整量が同量に知覚されることを保証する方法ではない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、暗部と明部の知覚的な明るさの変化量が同等となるように、ＨＤＲ画像のコントラストの調整を行うことができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力された画像データであるＲＡＷ画像データに対して少なくとも階調変換を行うことで現像処理を行う画像処理装置であって、前記画像データのダイナミックレンジに対応する第１の階調変換特性を設定する設定手段と、前記第１の階調変換特性の出力値に対応する絶対輝度値を取得する取得手段と、前記絶対輝度値に基づいて、該絶対輝度値に対応する知覚可能な輝度変化量を算出する算出手段と、前記絶対輝度値に対応する知覚可能な輝度変化量に基づいて、前記画像データに含まれる所定の輝度よりも高い輝度を有する部分である明部の輝度変化の度合いが、前記画像データに含まれる前記所定の輝度よりも低い輝度を有する部分である暗部の輝度変化の度合いと視覚的に同等となるように、前記第１の階調変換特性を調整し、該調整の結果に基づき、前記画像データのコントラストを調整する調整手段と、を備えることを特徴とする。

本発明によれば、暗部と明部の知覚的な明るさの変化量が同等となるように、ＨＤＲ画像のコントラストの調整を行うことができる画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係るデジタルカメラの断面図。 カメラ本体と交換レンズの電気回路の構成を示したブロック図。 従来のコントラスト強調を実現するガンマカーブを示した図。 元画像と元画像に従来のコントラスト強調を施した画像を示す図。 刺激量と感覚強度の関係を示した図。 第１の実施形態における画像の現像動作を示すフローチャート。 第１の実施形態における信号処理回路の内部の現像処理部のブロック構成を示す図。 ＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）のＥＯＴＦ特性を示した図。 Ｂａｒｔｅｎモデルによる視覚のコントラスト感度特性を示す図。 各輝度値における相対的な弁別閾（ＪＮＤ）の特性を示す図。 ＪＮＤを考慮したコントラスト強調を実現するガンマカーブを示す図。 第１の実施形態におけるコントラスト調整用カーブ生成の動作を示すフローチャート。 元画像にＪＮＤを考慮したコントラスト強調を施した画像を示す図。 第２の実施形態における信号処理回路の内部の現像処理部のブロック構成を示す図。 第２の実施形態における画像の現像動作を示すフローチャート。 第２の実施形態におけるコントラスト調整用カーブ生成の動作を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の実施形態においては、本発明の画像処理装置の一例としてのデジタルカメラについて説明する。なお、本発明はデジタルカメラのような撮影を主目的とした機器に限らず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」という言葉は、撮像機能を備えた任意の電子機器を包含することが意図されている。

（第１の実施形態）
図１は本発明の第１の実施形態に係るデジタルカメラの、主として光学部材やセンサ等の配置を示す断面図である。本実施形態におけるデジタルカメラはレンズ交換可能な所謂デジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。

カメラ本体１において、撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方に設けられているメカニカルシャッタ１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ（ＡＦセンサ）９に入射させる。焦点検出用センサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子である。第１の反射ミラー７、第２の反射ミラー８および焦点検出用センサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。

測光用センサ（ＡＥセンサ）６はペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。

なお、撮像素子１０には、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが配置されている。

ペンタプリズム４によってファインダー光学系が構成される。図１には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の光線の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。なお、ライブビュー表示および動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。

図２は、図１に示したカメラ本体１とその交換レンズ２の電気回路の構成を示すブロック図である。カメラ本体１において、制御部２１は、例えば内部にＡＬＵ(ＡＲＩＴＨＭＥＴＩＣ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ)、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。

焦点検出センサ９及び測光用センサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換および信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々な信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７としては、背面液晶ディスプレイや、ＨＤＭＩ（登録商標）等の規格で外部ディスプレイとして接続される表示装置が想定されており、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。

モータ２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッタ１１のチャージを行う。操作部２３はユーザーがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッタ駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッタ１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。

交換レンズ２がカメラ本体１に装着されると接点部２９，５０を介してレンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて交換レンズ２内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等が交換レンズ２からカメラ本体の制御部２１へとデータ通信によって出力される。また、カメラ本体の制御部２１が焦点検出や露出演算を行って求められた焦点調節情報や絞り情報はカメラ本体の制御部２１からレンズへとデータ通信によって出力されて、交換レンズ２は焦点調節情報や絞り情報に従ってフォーカスレンズや絞りを制御する。

図３は、従来の方法で画像のコントラストを調整した際の輝度の変化例を示す図である。図３では、輝度の変わらない点（以降、中間点と称する）を基準にそれよりも信号値の低い暗部と、それよりも信号値の高い明部の輝度変化の調整量は大体同程度である。また、元の画像信号をそのまま表示した例を図４（ａ）に示し、コントラスト強調後の画像信号を表示した例を図４（ｂ）にそれぞれ風景の画像として示す。コントラスト強調後の画像は元の画像に対して、コントラストが強調され特に暗部の山の陰の部分が引き締まっていることがわかる。一方で、明部の雲の部分はあまり明るくならず、暗部と明部で輝度の変化量を同程度に感じられない。つまり、暗部と明部の輝度変化の調整量を同じにしたのでは、明部と暗部の知覚的な輝度の変化量が同程度にならない。これはＷｅｂｅｒの法則によるものである。Ｗｅｂｅｒの法則とは刺激量に対する弁別閾の比が常に一定であるという法則である。弁別閾とは刺激の量が変わった時に、変わったと知覚できる最小の変化量のことを指す。この弁別閾は刺激量が大きくなるほどより大きくなることが知られている。すなわち、刺激量が大きくなると、感覚強度の変化量としては小さくなり図５のような特性を持つ。従って、コントラスト調整において、暗部の変化量よりも明部の変化量を大きくすることが知覚的には暗部と明部の変化量を同程度にすることに繋がる。

図６は、本実施形態における、コントラストを調整して現像を行う動作の流れを示すフローチャートである。また、図７は、信号処理回路２５の内部の現像処理部のブロック構成を示す図である。

本実施形態においては、図２の操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、図６のフローチャートの動作を実行する前に以下のような動作を行う。

まず制御部２１は交換レンズ２のレンズ制御部５１と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。次に、操作部２３に含まれるシャッタスイッチの半押し操作により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理の動作開始を指示する。その後、シャッタスイッチの全押し操作で、撮影を行う。その後、図６のフローチャートに従って、撮影された各ＲＡＷ画像データの現像を行う。

ここで現像処理の詳細について図６、図７を用いて説明する。被写体像は交換レンズ２を経て、被写体像を光電変換する撮像素子１０上に結像される。撮像素子１０は例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける光強度を得ることしかできない。このため撮像素子からは色モザイク画像であるＲＡＷ画像１０１が出力される（図６：Ｓ１０）。ホワイトバランス部１０２では、本来白である被写体を白く見えるようにする処理が行われる（図６：Ｓ１１）。具体的には、撮像画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。その結果、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。このような処理により生成されたホワイトバランス係数を用いてホワイトバランス処理を実施する。

色補間部１０３では、ノイズリダクション処理や色モザイク画像を補間する処理によって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する（図６：Ｓ１２）。生成されたカラー画像は、マトリクス変換部１０４およびガンマ変換部１０５を経て基本的なカラー画像が生成される（図６：Ｓ１３，Ｓ１４）。その後、色輝度調整部１０９で画像の見栄えを改善するための処理がカラー画像に対して行われ（図６：Ｓ１５）、例えば、夕景を検出して彩度強調を行うといった画像補正がシーンに応じて行われる。色輝度調整が終わると現像処理が完了し、現像画像１１２が生成される。

ここで、ガンマ変換部１０５はＨＤＲ（ハイダイナミックレンジ）現像を想定している。そして、ガンマ特性（階調変換カーブ）としては、例えばＳＭＰＴＥ ＳＴ２０８４で規格化されている図８に示すＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）やＡＲＩＢ ＳＴＤ－Ｂ６７で開発されたＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ）のＥＯＴＦ（Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の逆特性となる。

続いて、暗部と明部の知覚的な変化量を同等にするコントラスト調整用カーブの生成方法について説明する。暗部と明部の知覚的な変化量を同等にするために視覚の弁別閾を用いる。弁別閾（本実施形態では知覚可能な視覚的変化の量）は精神物理学において、丁度可知差異（ちょうどかちさい、ｊｕｓｔ ｎｏｔｉｃｅａｂｌｅ ｄｉｆｆｅｒｅｎｃｅ、ＪＮＤ ）あるいは最小可知差異（さいしょうかちさい）とも呼ばれる。以降、弁別閾をＪＮＤと称する。ＪＮＤの求め方については幾つか方法が考えられるが、本実施形態ではＢａｒｔｅｎモデルと呼ばれる視覚のコントラスト感度からＪＮＤの算出を行う方法を用いる。Ｂａｒｔｅｎモデルによる視覚のコントラスト感度は以下に示す式（１）によりモデル化されている。

式（１）において、図９に示すように、輝度値、および空間周波数毎の視覚のコントラスト感度Ｓ（Ｌ，ｕ）が算出される。このとき、最もコントラスト感度の高い空間周波数を用い、その時のコントラスト感度の逆数を算出することにより、図１０に示すような、任意の輝度値での相対的な弁別閾ＪＮＤを算出することができる。縦軸は相対的な弁別閾で絶対的な弁別閾を算出するには輝度を乗算すればよい。絶対的な輝度の弁別閾は高輝度になるほど大きくなる特性となる。

以上のようにして算出されるＪＮＤを用いて、コントラスト調整時における暗部と明部が知覚的に同量の変化量と感じられる輝度変化量を求める例を図１１に示す。実線が元信号、点線がコントラスト調整後の信号を示す。２つの線の交点が適正露出の点で、コントラスト調整において変動しない点であり、大体１８ｃｄ／ｍ²とする。このグラフではコントラストを強調する例を示しており、例えば、下向きの矢印は入力信号で適正露出から－２段の信号レベル調整を示し、上向きの矢印は入力信号で適正露出から＋２段の信号レベル調整を示す。ここで－２段の信号をさらに１段アンダーにする場合、具体的な輝度は４．５ｃｄ／ｍ²から２．２５ｃｄ／ｍ²となり、差分は２．２５ｃｄ／ｍ²である。この時、＋２段の信号をさらに１段オーバーにする場合、具体的な輝度は７２ｃｄ／ｍ²から２．２５ｃｄ／ｍ²を足した、７４．２５ｃｄ／ｍ²ではなく、ＪＮＤを考慮すると１０３ｃｄ／ｍ²にする。これにより、暗部と明部の変化量を知覚的に同程度にすることができる。これは、暗部においてＪＮＤを知覚の１階調としたときの輝度変化量の階調数に対して、明部においてＪＮＤを知覚の１階調としたときの輝度変化の階調数を同じ階調数とすることを意味する。このような輝度変化量にすることにより、暗部と明部の知覚的な輝度変化量を同程度にすることが可能となる。

次にコントラスト調整用カーブ１０７（図６、図７参照）の生成動作を示すフローチャートを図１２に示す。まず、撮影条件から撮影モードを判別する（Ｓ１４０）。従来のデジタルカメラには、通常のＡＥモードと、１段アンダー撮影するＡＥを備えた高輝度優先モードがあり、ユーザーはシーンに応じてどちらのモードで撮影するかを選択している。どちらのモードであっても、現像後の適正露出の明るさは同一にさせるために、入力信号における適正露出の信号レベルを通常撮影モードに対して、高輝度優先モードでは１段低信号側にシフトさせるようなガンマ特性を割り当てている。これにより双方の撮影モードで撮像素子の飽和レベルが同じだったとしてもダイナミックレンジ、特にハイライトにおいて１段分の差が生じる。この差はＨＤＲ現像すると、ピーク輝度の差となるため、ＪＮＤの算出においてもこの部分を考慮する必要がある。

続いて同様にＩＳＯ感度によってもダイナミックレンジが異なる場合がある。撮像素子においてアンプでゲインがかからない基準のＩＳＯ感度１００に対して、アナログゲイン、もしくはデジタルゲインがかかるＩＳＯ２００以降の高感度の方がフォトダイオードの容積に対して電荷量が少ないため、ダイナミックレンジが大きくなる。また１／３段刻みの中間ＩＳＯ感度について、ゲインの刻みが１段しかない安価なアンプを有した撮像素子では、中間ＩＳＯ感度は代表ＩＳＯ感度からのゲインアップもしくはゲインダウンで実現している。このときゲインダウンでは飽和の信号レベルが下がってしまうためダイナミックレンジとしては小さくなる。このように、撮影条件、特にＩＳＯ感度に応じて異なるピーク輝度もＪＮＤ算出の際に考慮する必要がある（Ｓ１４１）。従って、撮影モードとＩＳＯ感度の組み合わせの数だけ、ガンマカーブを予め用意し、コントラスト調整用カーブ１０７としてメモリ２８に格納しておく。そしてガンマ選択部１０８で、撮影条件（撮影モードおよびＩＳＯ感度）１０６を参照し、撮影モードとＩＳＯ感度の組み合わせに該当するコントラスト調整用カーブ１０７をメモリ２８から読み出す（Ｓ１４２）。

取得したコントラスト調整用のガンマカーブデータから、ガンマカーブの各出力値に対応する絶対輝度を取得する（Ｓ１４３）。絶対輝度値の算出は、ＳＭＰＴＥ ＳＴ２０８４で規格化されている図８に示すＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）やＡＲＩＢ ＳＴＤ－Ｂ６７で開発されたＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ）のＥＯＴＦ（Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いて行えばよい。

その後、前述したＢａｒｔｅｎモデルと呼ばれる視覚のコントラスト感度からＪＮＤを算出する（Ｓ１４４）。求めたＪＮＤに基づいて、コントラスト調整の輝度変化量を算出する（Ｓ１４５）。最後に、ガンマカーブの各入力値に対応する輝度変化量からガンマ出力値を算出する（Ｓ１４６）。この換算には、ＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）の逆特性のＯＥＴＦ（Ｏｐｔｉｃａｌ－Ｅｌｅｃｔｒｏ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いることができる。

更新したコントラスト調整用のガンマカーブを用いてコントラスト調整をすることにより、従来、暗部と明部が同程度の輝度変化として知覚できなかった図５（ｂ）のようなシーンが、図１３に示すように、同程度の輝度変化として知覚できるようになる。

以上説明したように、第１の実施形態によれば、視覚の弁別閾ＪＮＤに基づいて生成したガンマカーブを使用することにより、ＨＤＲのような高輝度な画像であっても、暗部と明部の輝度変化量を知覚的に同程度にしたコントラスト調整を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、撮影条件に基づく入力画像のダイナミックレンジに応じて決まるＪＮＤを考慮して、予め用意したコントラスト調整用のガンマカーブを用いてコントラスト調整を行う方法について説明した。これに対して、第２の実施形態では、シーンや被写体の特徴に依存する入力画像のダイナミックレンジに応じて決まるＪＮＤを考慮して、コントラスト調整用のガンマカーブを動的に生成し、コントラスト調整を行う点が第１の実施形態と異なる。

図１４は、第２の実施形態における、信号処理回路２５の内部の現像処理部のブロック構成を示す図である。図１４の構成が第１の実施形態と異なるのは、図１４のホワイトバランス部１１３において算出されたホワイトバランス係数を用いて、入力画像のダイナミックレンジを決定し、それに基づいてコントラスト調整用カーブ生成部１１４でガンマカーブを生成する点である。その他、図７と共通の部分については、同じ参照番号を付してその説明を省略する。

ここで、ホワイトバランス処理によって入力のダイナミックレンジが変化する原理について説明する。ホワイトバランスは前述した通り、本来白である被写体を白く見えるようにする処理であり、Ｇを基準（等倍）として、ＲとＢに所定のゲイン（ホワイトバランス係数）をかける処理である。この際、撮像素子１０の画素が飽和している領域の信号では、ホワイトバランス処理を施す前の段階で、Ｒ，Ｇ，Ｂチャンネルの信号レベルが揃ってしまっている。ここにホワイトバランスゲインをかけることで却って、Ｒ，Ｇ，Ｂチャンネルの信号レベルが不揃いになってしまう。基本的にはＧ以外のＲ，Ｂの信号が大きくなるため、色としてはマゼンタ色の色付きとなり画質劣化の要因となる。そこで一般的には、Ｇの飽和レベルでリミッタをかけることで色付きを抑制する。一方で、リミッタ処理をすることでＲ，Ｂの信号については階調が失われてしまう。そこで、リミッタ処理をせずに、階調の残っているＲ，Ｂの信号を利用してＧ信号を置換処理し階調を推測することにより、高輝度の階調を拡張することができる。高輝度階調拡張の方法としては幾つか考えられるが、例えば、特開２０１５－１５６６１６号公報に記載の方法を用いて高輝度階調を拡張し、入力画像のダイナミックレンジを増大させる。増大させる量は、ホワイトバランス係数に依存し、つまりはシーンや被写体に依存する。

図１５は、第２の実施形態の現像処理の動作を示すフローチャートである。図６に示した第１の実施形態のフローチャートと異なり、上述した高輝度階調拡張のステップ（Ｓ２２）が追加されている。その他のステップは、図６と同じである。また、図１６は、コントラスト調整用カーブ２５を生成するための動作を示すフローチャートである。図１２に示した第１の実施形態のフローチャートと異なり、高輝度階調拡張量に応じてガンマカーブを更新するステップ（Ｓ２５０）が追加されている。そして、図１４中のコントラスト調整用カーブ生成部１１４において、コントラスト調整用カーブ２５を動的に生成する。なお、図１６のＳ２５１～Ｓ２５４の動作は、図１２に示す第１の実施形態の動作のＳ１４３～Ｓ１４５の動作と同じであるため、説明を省略する。

ここで、ＪＮＤの算出方法として、第１の実施形態ではＢａｒｔｅｎモデルと呼ばれる視覚のコントラスト感度からＪＮＤを算出する方法を用いた。しかし、ＪＮＤの算出方法はこれに限るものではなく、例えば、第２の実施形態ではＷｅｂｅｒの法則と呼ばれるモデルから算出する例について説明する。

Ｗｅｂｅｒの法則と呼ばれるモデルでは、ある輝度値Ｙに対するＪＮＤは、その比率で求められるとしており、式（２）によりモデル化されている。

ΔＹ／Ｙ＝ｃｏｎｓｔａｎｔ （２）
式（２）において、定数constantに適切な値を設定することにより、輝度値Ｙに対するＪＮＤを算出可能である。以上の方法により決定されたコントラスト調整用カーブを用いてガンマ変換部１０５によりガンマ変換を行う（Ｓ２５）。

以上説明したように第２の実施形態によれば、視覚の弁別閾ＪＮＤに基づいてガンマカーブを被写体に応じて動的に生成する。これにより、ＨＤＲのような高輝度な画像であっても、シーンに適応して、暗部と明部の輝度変化量が知覚的に同程度となるコントラスト調整を行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１：カメラ本体、２：交換レンズ、３：主ミラー、９：焦点検出用センサ、１０：撮像素子、１１：メカニカルシャッタ、２１：制御部、２５：信号処理回路、５１：レンズ制御部

Claims (13)

1. 入力された画像データであるＲＡＷ画像データに対して少なくとも階調変換を行うことで現像処理を行う画像処理装置であって、
   前記画像データのダイナミックレンジに対応する第１の階調変換特性を設定する設定手段と、
   前記第１の階調変換特性の出力値に対応する絶対輝度値を取得する取得手段と、
   前記絶対輝度値に基づいて、該絶対輝度値に対応する知覚可能な輝度変化量を算出する算出手段と、
   前記絶対輝度値に対応する知覚可能な輝度変化量に基づいて、前記画像データに含まれる所定の輝度よりも高い輝度を有する部分である明部の輝度変化の度合いが、前記画像データに含まれる前記所定の輝度よりも低い輝度を有する部分である暗部の輝度変化の度合いと視覚的に同等となるように、前記第１の階調変換特性を調整し、該調整の結果に基づき、前記画像データのコントラストを調整する調整手段と、
   を備えることを特徴とする画像処理装置。
2. 前記設定手段は、前記画像データが撮影された撮影条件に基づいて、前記ダイナミックレンジを判別し、前記第１の階調変換特性を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件とは、前記画像データがダイナミックレンジの異なる少なくとも２つの撮影モードのいずれの撮影モードで撮影されたかの条件であることを特徴とする請求項２に記載の画像処理装置。
4. 前記撮影条件とは、前記画像データが撮影されたＩＳＯ感度の条件であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記撮影条件とは、前記画像データにホワイトバランス処理を施すホワイトバランス係数の条件であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記ホワイトバランス係数に基づいて前記画像データの高輝度の階調を拡張する拡張手段をさらに備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、前記画像データが撮影された撮影条件の組み合わせに応じて用意された複数の階調変換特性から前記第１の階調変換特性を選択することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記調整手段による前記第１の階調変換特性の調整結果に基づくコントラストの調整は、ＨＤＲ（ハイダイナミックレンジ）画像に対して適用されることを特徴とする請求項１に記載の画像処理装置。
9. 前記調整手段は、前記画像データの明部における前記絶対輝度値に対応する知覚可能な輝度変化量である弁別閾を１階調としたときの階調変換特性の調整量の階調数と、前記画像データの暗部における前記弁別閾を１階調としたときの階調変換特性の調整量の階調数とが同等となるように前記第１の階調変換特性を調整することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記算出手段は、Ｂａｒｔｅｎモデルあるいは、Ｗｅｂｅｒの法則に基づいて、前記弁別閾を算出することを特徴とする請求項９に記載の画像処理装置。
11. 入力された画像データであるＲＡＷ画像データに対して少なくとも階調変換を行うことで現像処理を行う画像処理方法であって、
    前記画像データのダイナミックレンジに対応する第１の階調変換特性を設定する設定工程と、
    前記第１の階調変換特性の出力値に対応する絶対輝度値を取得する取得工程と、
    前記絶対輝度値に基づいて、該絶対輝度値に対応する知覚可能な輝度変化量を算出する算出工程と、
    前記絶対輝度値に対応する知覚可能な輝度変化量に基づいて、前記画像データに含まれる所定の輝度よりも高い輝度を有する部分である明部の輝度変化の度合いが、前記画像データに含まれる前記所定の輝度よりも低い輝度を有する部分である暗部の輝度変化の度合いと視覚的に同等となるように、前記第１の階調変換特性を調整し、該調整の結果に基づき、前記画像データのコントラストを調整する調整工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の各手段として機能させる、コンピュータが実行可能なプログラム。
13. コンピュータを請求項１乃至１０のいずれか１項に記載の各手段として機能させるプログラムを記憶した、コンピュータが読み取り可能な記憶媒体。

Images