JP7166903B2 - 画像処理装置、その制御方法、プログラム - Google Patents

Description

本発明は、画像の階調処理に関するものである。

デジタルカメラ、デジタルビデオカメラなどの画像処理装置では、ダイナミックレンジの広いシーンを撮影して得られた入力画像に対して、出力機器のダイナミックレンジに合わせた階調変換を行い、出力画像を生成する。ここで、入力画像と出力機器のダイナミックレンジの差を考慮して、一律の圧縮率で階調変換を行うと、主要被写体の分布域である暗部の階調が潰れてしまう。一方で、暗部階調を維持するような階調変換を行うと、明部の階調が潰れてしまい、入力画像の印象と大きく異なる画像になってしまう。そこで、従来から、暗部と明部の階調再現を優先し、中間の輝度域を強く圧縮することで、階撮影シーンの特徴をなるべく再現できるような、階調変換が行われている。

例えば、特許文献１では、入力画像の特徴を解析して、シーンを判別し、シーン判別結果に基づいて、入力画像に対する階調処理条件を設定する画像処理装置が提案されている。

特開２００７－２９３５２８号公報

ここで、暗部と明部の境界の被写体を、光学的に大きなボケが発生する光学条件で撮影した場合には、暗部と明部の間の輝度値をとるグラデーションの画素領域が発生する。

しかしながら、特許文献１の技術では、入力画像のみを参照してシーンを判別しており、例えば背景領域に光学的に大きなボケが発生することを考慮していない。例えばこのようなボケが発生する輝度域を強く圧縮するような階調変換を行うと、疑似階調が発生し、画質が損なわれるおそれがあった。

本発明に係る画像処理装置は、撮像手段により得られた画像を処理する画像処理装置であって、前記画像が撮像された際の光学条件に基づき、前記画像におけるボケ輝度域を特定する特定手段と、前記画像の信号レベルに基づき、前記画像の低輝度域側の信号レベルを増幅し、高輝度域側の信号レベルを低減する階調変換特性を決定する決定手段とを有し、前記決定手段は、前記階調変換特性の傾きが単調減少から単調増加に切り替わる輝度が、前記ボケ輝度域と異なる輝度域に設定されるよう階調変換特性を決定することを特徴とする。

本発明の特徴とする構成により、階調変換を行う場合に、光学的に大きなボケの発生している輝度域での疑似階調を抑制することができる。

実施例１の画像処理装置に適用可能な構成を示すブロック図 実施例１の画像処理部１０４の構成を示すブロック図 撮影指示後本撮影の露光量決定までの処理の流れを示すフローチャート 露光量算出のための輝度解析結果の一例を示す模式図 入力画像の一例 実施例１で階調変換特性を生成し、階調変換を行うまでのフローチャート 図４の入力画像に対応した輝度画像 局所的な輝度変化の有無を算出するための参照範囲を示す模式図 局所的な輝度変化が発生している画素領域の輝度ヒストグラム 実施例１の階調変換特性生成処理部での処理の流れを示すフローチャート 階調変換特性の一例 入力画像全体の輝度ヒストグラム 実施例２の画像処理装置に適用可能な構成を示すブロック図 実施例２の画像処理部１０４の構成を示すブロック図 実施例２で階調変換特性を生成し、階調変換を行うまでのフローチャート 図４の入力画像に対応した距離画像 実施例３で階調変換特性を生成し、階調変換を行うまでのフローチャート

以下、図を参照して本発明の実施形態を詳細に説明する。

［実施例１］
＜画像処理装置の構成＞
本実施例は、被写体領域および撮影条件などの撮影シーンに関する情報を用いて撮影画像の階調処理を行うものである。

図１に本発明を適用できる画像処理装置の構成図を示す。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理の他に、本発明における階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出した画像に対しても同様の画像処理を行うことができる。

露光量算出部１０５は、本発明の階調処理を行う為に最適な入力画像を得る為に、撮影時の露光量を算出する部分である。画像処理部１０４の処理結果を入力とし、算出した露光量を出力し、露光量制御部１０６の入力とする。

露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現する為に、光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。

表示部１０７は、画像処理部１０４から出力される画像をＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。

記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。

また、１０８はシステム制御部であり、画像処理装置の各処理部と接続し、画像信号および、制御信号を介して、画像処理装置全体の動作を制御するものとする。

図２は実施例１の画像処理部１０４を構成するブロック図を示している。

画像処理部１０４は、局所輝度変化検出処理部２０１、光学条件判定処理部２０２、第１の輝度域推定処理部２０３、階調変換特性生成処理部２０４、階調変換処理部２０５を含む。各処理部はシステム制御部１０８によって制御され、本発明の特徴である、光学的にボケが発生する輝度域を考慮した階調変換特性を生成し、入力画像に対して階調変換を行う。各ブロックが担う処理については、これより処理の流れとともに説明していく。

なお、本発明を実現するためには必ずしも図１、２に示す構成をとる必要はなく、適宜構成を追加することも可能である。また、図１、２に示した構成は必ずしもハードウェアと１対１で対応付いている必要はない。例えばプロセッサなどの複数のハードウェアが複数の構成の役割を担ってもよいし、逆に複数のハードウェアが協働して１つの構成として機能してもよい。さらに、制御の一部をプロセッサでなく１以上の回路が担ってもよい。

＜露光量の決定＞
以下、撮影時の処理について説明する。まず、画面内の輝度情報に基づいて本撮影前の露出を制御し、階調処理を行う上で最適な本撮影時の露光量を算出する露光量算出部１０５の処理に説明する。図３は、撮影者により撮影の指示がなされたときの本撮影の露光量を決定するまでの処理の流れを示すフローチャートである。

Ｓ３０１において、露光量算出部１０５は露光量を算出するため、撮像部１０２により撮像された画像を連続的に取得し、所定の間隔（例えば２フレームに１回）で画像全体の輝度値を算出した上で露出を変更する。

Ｓ３０２において、露光量算出部１０５は画像を図４に示すようなブロック領域に分割する。そして各ブロックの平均輝度値に対して中央部が大きくなるような重み付けにより加重加算した輝度値を適正の値、すなわち予め設定された目標輝度値（例えば１０ｂｉｔで１３０）に近づけるように露光量を決定する。

Ｓ３０３において、露光量算出部１０５はＳ３０２で決定した露光量を露光量制御部１０６に通知し、露光量制御部１０６により制御された露光で本撮影が行われる。

図５に、本撮影により得られる画像の一例を示す。これは近接の人物シーンを示す画像であり、近距離にいて合焦している人物はくっきりとしているのに対し、遠距離にいるそれ以外の被写体領域の大部分はぼけていて被写体間の境界が滲んだように見える画像である。以上が、入力画像を取得してから、露光量算出部１０５で露光量を算出し、本撮影を行うまでの処理の説明である。

＜階調変換＞
続いて、本撮影された画像に対して、画像処理部１０４が階調変換特性を生成し、階調変換を行うまでの処理の流れについて、図６のフローチャートを用いて説明する。

Ｓ６０１において、画像処理部１０４はＳ３０３で本撮影された画像を取得する。

Ｓ６０２において、局所輝度変化検出処理部２０１は、入力画像内で局所的に輝度値が変化している領域を検出する。詳細な検出方法について図７および図８を用いて説明する。

図７において、７０１は画像５００から生成した輝度画像を示しており、７０２は輝度画像７０１を水平および垂直それぞれ１／２５６倍に縮小した画像を示している。

図８は画像７０２における着目画素Ｙｉｊ対して周辺画素がどのように変化しているかを図示したものである。着目画素Ｙｉｊに対して周辺８画素との差分絶対値ΔＹ（ｉ，ｊ，ｍ，ｎ）を式（１）で算出する。差分絶対値ΔＹ（ｉ，ｊ，ｍ，ｎ）に対して式（２）を満たす値が所定数（例えば４）以上ある場合には、その着目画素は輝度境界領域であると判定する。
ΔＹ（ｉ，ｊ，ｍ，ｎ）＝｜Ｙｉ，ｊ－Ｙｍ，ｎ｜
ただし、ｍ＝ｉ－１，ｉ，ｉ＋１，ｎ＝ｊ－１，ｊ，ｊ＋１・・・式（１）
ΔＹ（ｉ，ｊ，ｍ，ｎ）＞Ｙｔｈ・・・・・（式２）

上記計算により、入力画像において、局所輝度変化がある領域として判定された部分（斜線）を図７の画像７０３に示す。

尚、本実施例では、ノイズによる輝度変動を除外して被写体の局所的な明るさが変化している領域を検出するため、縮小画像７０２に対して、周辺３ｔａｐの参照を行うことで輝度境界領域を検出したが、これに限られるものではない。周辺画素をより広い範囲で参照したり、局所領域の検出にも縮小した画像を用いたりしても良く、あるいは上記以外の手法を用いて検出しても良い。

説明を図６に戻す。Ｓ６０３において、システム制御部１０８から光学条件判定処理部２０２に対して、撮像時のレンズの絞り値や焦点距離、測距点毎の被写体距離などの情報が入力される。

Ｓ６０４において、光学条件判定処理部２０２は、光学的に大きなボケが発生する撮影条件で、入力画像が撮影されたかを判定する。具体的には、レンズの絞り値Ｆ、焦点距離ｆ、許容錯乱円系δ、ピント面の被写体距離ｓ、として、式（３）、（４）によって、前方被写界深度Ｄ_ｎ，後方被写界深度Ｄ_ｆを近似的に求める。

式（３）、（４）において、レンズの絞り値Ｆが、所定の閾値よりも小さい場合、または、焦点距離ｆが所定の閾値よりも大きい場合、または、被写体が、ｓ－Ｄｎよりも手前か、ｓ＋Ｄｆよりも後ろに位置する場合の少なくともいずれかを満たす場合に、光学的に大きなボケが発生すると判定する。

また、それぞれの判定で用いる絞り値、焦点距離、被写体距離の閾値については、撮像部の光学系および撮像素子の仕様に基づいて、あらかじめ計算され、システム制御部１０８に保持された値を用いる。また、許容錯乱円δは、撮像素子の大きさによってあらかじめ決められている。

Ｓ６０５において、第１の輝度域推定処理部２０３は、光学的に大きなボケが発生する中間の輝度域を推定する。具体的には、Ｓ６０２の検出結果とＳ６０４の判定結果を参照し、光学的に大きなボケが発生する条件下で撮影された入力画像に関して、局所的な輝度変化がある領域に含まれる画素を参照して輝度ヒストグラムを生成する。そして当該輝度ヒストグラムを解析して第１の輝度域を推定する。

ここで、第１の輝度域の推定について説明する。図９は、入力画像７０１において局所的な輝度変化が発生している画素領域７０３に含まれる画素から算出した輝度ヒストグラムである。このヒストグラムにおいて、例えば、最大の度数の所定の割合（たとえば１／２）以上の度数をとる輝度域９０１を、第１の輝度域と設定する。尚、図９の場合、最大の度数の所定の割合以上となる輝度域が１つであるが、ヒストグラムの形状によっては、複数の輝度域が設定可能な場合がある。このような場合には、さらに、度数が所定の割合となる複数の輝度域から、輝度域の下限の最小値と、輝度域の上限の最大値を検出し、前記下限の最小値から前記上限の最大値までの輝度域を、第１の輝度域と推定（特定）する。

ここで、光学的なボケが発生する撮影条件で、暗部と明部の境界を含む被写体を撮影した場合には、前記暗部と明部の間の信号値をとるグラデーションの画素領域が発生する。したがって、本実施例では、局所的な輝度変化がある領域に含まれる画素のみを参照して生成したヒストグラムにおいて、度数が大きい領域を、光学的なボケが発生する撮影条件下で、ボケによって発生した中間の輝度階調の分布輝度域を代表しているとみなす。そしてこの輝度域を第１の輝度域と推定している。以上のようにして推定した第１の輝度域の信号レベルは、Ｓ６０６での階調特性の生成処理に用いる。

次にＳ６０６において、階調変換特性生成処理部２０４は階調変換特性を生成する処理を行う。本処理について、図１０、図１１、図１２を用いて説明する。図１０は、階調変換特性を生成する処理を示すフローチャートである。

Ｓ１０００において、階調変換特性生成処理部２０４は入力画像を参照して輝度のヒストグラムを生成する。入力画像全体の輝度ヒストグラムの一例を図１２に示す。

Ｓ１００１では、階調変換特性生成処理部２０４はＳ１０００で生成したヒストグラムを参照し、入力画像において、低輝度側の輝度分布を代表する第２の輝度値ＬＬと、第２の輝度値を中心とする所定の輝度範囲を、第２の輝度域１２３として決定する。低輝度側は、入力画像の輝度のピーク値の１／２以下の領域であり、高輝度側は、入力画像の輝度のピーク値の１／２よりも大きい領域とする。具体的には、Ｓ１０００で生成したヒストグラムを参照し、入力画像における最小の輝度値をＬｍｉｎ、低輝度側で度数が最大となる輝度値を第２の輝度値ＬＬとしたときに、式（３）により、第２の輝度域の上限の輝度値ＬＬ＿Ｅを算出する。
ＬＬ＿Ｅ＝２×ＬＬ・・・・式（３）

そして、ＬｍｉｎからＬＬ＿Ｅまでの輝度域が第２の輝度域となり、図１２において１２２で示される範囲となる。

同様に、Ｓ１０００で生成したヒストグラムを参照し、入力画像における最大の輝度値をＬｍａｘ，高輝度側で度数が最大となる輝度値を第３の輝度値ＨＬとしたときに、式（４）により、第３の輝度域の下限の輝度値ＨＬ＿Ｓを算出する。
ＨＬ＿Ｓ＝２×ＨＬ－Ｌｍａｘ・・・・式（４）

そして、ＨＬ＿ＳからＬｍａｘまでの輝度域が第３の輝度域となり、図１２において１２３で示される範囲となる。

図１０の説明に戻る。Ｓ１００３、Ｓ１００４において、階調変換特性生成処理部２０４は、第２の輝度域の信号に対応した階調変換特性と第３の輝度域に対応した階調変換特性をそれぞれ決定する。以下、これらの処理について説明する。

第２の輝度域と第３の輝度域の階調変換特性の一例を図１１（ａ）に示す。図１１（ａ）において、破線で示される１１０は、入力信号の最大値が出力信号の最大値となるよう一律の変換ゲインで、スケーリングした場合の階調変換特性となる。第２の輝度域１１２では、入力信号を一律スケーリングした階調変換特性１１０よりも、信号レベルが高くなるようなゲインアップ（信号増幅）の階調圧縮特性を設定する。また、第３の輝度域１１３では、入力信号を一律スケーリングした階調変換特性１１０よりも、信号レベルが低くなるような、ゲインダウン（信号低減）の階調変換特性を設定する。

上記の階調変換特性と、光学的なボケの関係について説明する。第２の輝度域と第３の輝度域をそれぞれ所望の明るさ、階調再現となるように階調変換特性を設定したことにより、階調変換特性は、１１４の輝度値で、傾きが単調減少から単調増加に切り替わる。この切り替わりを階調変換特性の変曲点と定義する。ここで、階調変換処理部２０５への入力輝度信号をｘ、出力輝度信号をｙとしたときに、ｙ＝ｆ（ｘ）となる関数ｆ（ｘ）が、階調変換特性であるので、前記の変曲点は、ｆ（ｘ）をｘで２階微分したときの出力ｆ”（ｘ）の符号が負から正に切り替わる点である。

ここで、光学的に大きなボケが発生している第１の輝度域１１１に、この階調変換特性の変曲点が発生すると、ボケによる階調再現に不自然な疑似階調が発生し、画質を著しく損なう。したがって、本発明の画像処理装置では、なるべく光学的なボケによる階調特性を劣化させないよう、階調変換特性における変曲点を設定することを特徴としている。以下、図１０の説明に戻り詳細に説明する。

Ｓ１００５において、階調変換特性生成処理部２０４は、第１の輝度域の推定結果を参照する。第１の輝度域が存在する場合には、Ｓ１００６に進み、光学的に大きなボケが発生する撮影条件であることを考慮した階調変換特性の調整がＳ１００７、Ｓ１００８で行われる。Ｓ１００５において、第１の輝度域が存在しない場合は、Ｓ１００９に進む。

Ｓ１００９において、階調変換特性生成処理部２０４は、図１１（ａ）に示すように、第２の輝度域１１２の終了点の階調変換特性と、第３の輝度域１１３の開始点の階調変換特性を結ぶように階調変換特性を設定する。

一方Ｓ１００６に進んだ場合は、階調変換特性生成処理部２０４は、第２の輝度域と第３の輝度域のヒストグラムの面積を比較する。比較の結果、ヒストグラムの面積が大きい方の輝度域の階調再現性を優先するよう、階調変換特性の変曲点となる輝度値を設定することになる。

Ｓ１００７は、入力画像において、第２の輝度域の階調再現を優先する場合の処理である。階調変換特性生成処理部２０４は、第２の輝度域１１２と第３の輝度域１１３の階調変換特性の変曲点１１５が第１の輝度域外となり、かつ、第３の輝度域側の領域にくるよう、階調変換特性を設定する。このときの階調変換特性の一例を図１１（ｂ）に示す。

Ｓ１００８は、入力画像において、第３の輝度域の階調再現を優先する場合の処理である。階調変換特性生成処理部２０４は、第２の輝度域１１２と第３の輝度域１１３の階調変換特性の変曲点１１６が第１の輝度域外となり、かつ、第２の輝度域側の領域にくるよう、階調変換特性を設定する。このときの階調変換特性の一例は、図１１（ｃ）となる。

図１１（ｂ）、（ｃ）において、いずれも、第２の輝度域１１２（低輝度域側）では、入力信号を一律スケーリングした階調変換特性１１０よりも、信号レベルが高くなるようなゲインアップの階調圧縮特性が設定される。一方、第３の輝度域１１３（高輝度域側）では、入力信号を一律スケーリングした階調変換特性１１０よりも、信号レベルが低くなるような、ゲインダウンの階調圧縮特性が設定される。さらに、入力輝度域全体での階調変換特性の変曲点は、第１の輝度域外に設定される。なお、ここでいう低輝度域、高輝度域とは２つの階調特性の入力信号軸に対する相対的な位置関係を示すものである。つまり、第２の輝度域１１２は第３の輝度域１１３よりも低輝度側にあるから低輝度域と呼んでいるにすぎず、必ずしも第２の輝度域１１２が入力信号軸の中央値よりも低輝度側にあるとは限らない。これは第３の輝度域１１３（高輝度域側）についても同様である。したがって、暗部が暗くなりすぎず、明部の階調を維持した上で、光学的に大きなボケが発生する輝度域１１１での、不自然な疑似階調の発生も防ぐことができる。以上が、階調変換特性生成処理部２０４の説明を終了する。

図６の説明に戻る。Ｓ６０７において、階調変換処理部２０６は、Ｓ６０６で設定した階調変換特性に基づき、入力画像の画素毎の輝度レベルを参照し、階調変換を行う。

以上説明したように、本実施例によれば、光学的なボケの発生している輝度域での疑似階調を防ぎつつ、画面内で重要被写体の存在する輝度域の階調特性を良好に再現することができる。特に、ＨＤＲ画像をＳＤＲデバイスに出力する場合など、入力画像と出力機器のダイナミックレンジの差が大きく、入力画像に対して、階調圧縮を伴う階調変換を行う場合に、階調変換特性を好適に制御することができる。

［実施例２］
次に、本発明の実施例２について説明する。本実施例は実施例１と共通する部分が多いため、共通部分については説明を省略し、本実施例に特徴的な部分を中心に説明する。

実施例２の画像処理装置の構成図を図１３に示す。図１とは測距処理部１０９を有する点で異なり、共通する構成は同じ番号を付している。測距処理部１０９は、内部に、複数の測距点に対応した測距用の撮像素子を持ち、光学系１０１から出力される像を受けて、測距点での像の位相差に基づいて合焦状態を判断する。合焦状態に基づき、光学系１０１でのフォーカス制御をするとともに、測距点毎の合焦状態のデータを、距離情報を示す距離画像として、画像処理部１０４に送出する。

図１４は実施例２における画像処理部１０４のブロック図であり、第１の輝度域推定処理部２０６が測距処理部１０９からの出力を受ける点で図２と異なる。実施例２の画像処理部１０４では、局所輝度変化検出処理部２０１、光学条件判定処理部２０２に加えて、測距処理部１０９からの距離画像も参照して、光学的にボケが発生する輝度域を推定する。本実施例においても、第１の輝度推定処理部２０６の処理結果を参照して、光学的に大きなボケが発生する輝度領域で、階調変換特性の傾きが単調減少から単調増加に切り替わる変曲点が発生しないよう、後段の階調変換特性生成処理部２０４で階調変換特性を生成する。そして生成した階調変換特性に基づいて、階調変換処理部２０５で入力画像に対して階調変換を行う。

図１５のフローチャートを参照して、実施例２の画像処理部１０４において、階調変換特性を生成し、入力画像に対して階調変換処理を行うまでの処理について説明する。なお、図６と同様の処理を行うステップは図６と同じステップ番号としている。

Ｓ６０１において本撮影された画像を取得した後、Ｓ１５０１において第１の輝度域推定処理部２０６は測距処理部１０９から、測距の結果を画素値として示した距離画像を取得する。本実施例の距離画像は合焦状態を８ｂｉｔ階調で示しており、１２８をとる領域が合焦領域、０～１２７をとる領域が前景側の非合焦領域、１２９～２５５をとる領域が背景側の非合焦領域を示す。例えば、画像５００に対応した距離画像は図１６のようになる。図１６において、画面中央の人物の領域１６０１が合焦領域であり、１６０２、１６０３の領域は、いずれも背景側の非合焦領域である。

Ｓ１５０２において、第１の輝度域推定処理部２０６は距離画像の値に基づいて、入力画像の各画素の合焦状態を判定し、第１の輝度域を推定するための解析対象の画像領域を決定する。具体的には、後段のＳ６０２で局所的な輝度変化領域の検出処理を行う際に、非合焦領域に限定して検出処理を行うことで、光学的なボケによって発生した中間輝度域を、より精度良く推定することができる。Ｓ６０２以降の処理は実施例１と同様である。

以上説明したように、第２の実施例においても、光学的なボケの発生している輝度域で疑似階調を防ぎつつ、画面内で重要被写体の存在する輝度域の階調特性を良好に再現することができる。

［実施例３］
次に、実施例３について説明する。本実施例では、光学的に大きなボケが発生する輝度域が時間変動する場合を想定し、階調変換特性の時間変動を抑える制御を追加した点が、実施例１と異なる。光学的に大きなボケが発生する輝度域（第１の輝度域）が時間変動する状況の一例としては、ユーザーが、レンズの絞り値を変えて、被写界深度を調整しながら撮影する場合が挙げられる。このような場合に、本発明の画像処理装置では、第１の輝度域に連動して階調変換特性が変わる可能性があるが、同じようなシーンを撮影しているのに、ボケの状態に応じて、明るさが変わるのは好ましくない。

したがって、実施例３では、撮影時の光学設定ではなく、撮影時を基準に、その画像処理装置がとりうる複数種類の光学設定の中から、第１の輝度域を推定するための光学設定を選択する。

具体的には、図１７に示すように、入力画像と光学設定を参照して階調変換特性を生成し、入力画像に対して階調変換処理を行う処理フローにおいて、光学条件判定処理部で判定対象とする光学設定を選択する処理Ｓ１７０１が追加されている。

Ｓ１７０１において、システム制御部１０８は、画像処理装置に装着されているレンズの絞り値の設定範囲を参照する。そしてその中で最も小さい値を、光学条件判定処理部で参照する絞り値に設定する。図１７のＳ６０１以降の処理フローは、図６と同様であるので説明を割愛する。

以上説明したように、第３の実施例においても、光学的なボケの発生している輝度域で疑似階調を防ぎつつ、画面内で重要被写体の存在する輝度域の階調特性を良好に再現することができる。また、ボケの状態に応じて、明るさが時間変動しないよう、階調変換特性を制御することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像手段により得られた画像を処理する画像処理装置であって、
   前記画像が撮像された際の光学条件に基づき、前記画像におけるボケ輝度域を特定する特定手段と、
   前記画像の信号レベルに基づき、前記画像の低輝度域側の信号レベルを増幅し、高輝度域側の信号レベルを低減する階調変換特性を決定する決定手段とを有し、
   前記決定手段は、前記階調変換特性の傾きが単調減少から単調増加に切り替わる輝度が、前記ボケ輝度域と異なる輝度域に設定されるよう階調変換特性を決定することを特徴とする画像処理装置。
2. 前記特定手段は、前記画像が撮像された際の光学条件として焦点距離、絞り値、ピント位置の少なくともいずれかに基づいて光学的に大きなボケが発生するかを判定することで、前記画像におけるボケ輝度域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記光学的に大きなボケが発生する画像と判定された場合、前記画像において局所的な輝度変化領域に含まれる画素の輝度域をボケ輝度域と特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記撮像において取り得る光学条件のうち、いずれかの光学条件を選択する選択手段と、
   前記光学条件の変動があっても、前記選択手段により選択された光学条件に基づき前記画像におけるボケ輝度域を特定する第２の特定手段をさらに有する請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、前記画像の被写体までの距離を示す距離情報に基づき、前記画像の合焦領域と非合焦領域とを判定し、前記判定の結果に基づき、前記画像におけるボケ輝度域を特定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像手段をさらに有する請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 撮像手段により得られた画像を処理する画像処理装置の制御方法であって、
   前記画像が撮像された際の光学条件に基づき、前記画像におけるボケ輝度域を特定する特定工程と、
   前記画像の信号レベルに基づき、前記画像の低輝度域側の信号レベルを増幅し、高輝度域側の信号レベルを低減する階調変換特性を決定する決定工程とを有し、
   前記決定工程では、前記階調変換特性の傾きが単調減少から単調増加に切り替わる輝度が、前記ボケ輝度域と異なる輝度域に設定されるよう階調変換特性を決定することを特徴とする制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置として機能させる、コンピュータにより実行が可能なプログラム。

Images