JP5743456B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法に関し、特には撮像画像の階調補正機能を有する画像処理装置、画像処理方法に関する。
また、本発明は、本発明に係る画像処理装置を用いた撮像装置に関する。

好ましい明るさ、コントラストの画像を得るために、撮像画像のヒストグラムや被写体情報を解析して、撮像画像の階調補正を行うことが知られている。
特に、主被写体の明るさが背景の明るさに比べて著しく暗い、いわゆる逆光シーンでの撮像画像は、主被写体部分が暗くなってしまうため、階調補正が有効である。

階調補正は、入力輝度値と出力輝度値の関係を規定する補正テーブル（トーンカーブ）を用いて行うことができる。特許文献１では、逆光シーンなどにおいて、主被写体を好ましい明るさに補正しつつ、背景の明るい領域を白トビさせないように補正を抑えるような補正テーブルを設定する方法が提案されている。

また、補正の程度が異なる補正テーブルを複数用意し、ユーザーが好みに応じて補正の程度を選択できるようにした装置や、階調補正の度合いを変更できる、RAWデータの現像ソフトウェアが知られている。
また、動画（静止画撮像のスタンバイ時などに表示するライブビュー画像を含む）に対して階調補正を行う場合、大きな階調補正を適用すると、画像の明るさが急に変化するため好ましくない。そのため、階調補正量を段階的に目標値に近づけたり、補正量の変化にヒステリシスを持たせたりして、階調補正による画像の見え方の変動を抑制することが知られている。

動画の記録中に静止画を記録する機能を有する撮像装置も知られているが、動画の記録中に静止画を記録した場合には、動画と静止画の色味や画質を合わせることが望ましい。そのため、特許文献２では、動画と静止画のホワイトバランス調節を独立して行い、動画と当該動画の記録中に記録された静止画の色味を合わせることが開示されている。この他にも、静止画の撮像時点で動画に適用されている階調補正を、撮像された静止画に対しても反映させて両者の色味を合わせることも知られている。

特開２００７−１２４６０４号公報 特開２００６−２８７８０３号公報

しかし、階調補正を段階的に目標値に近づけている状態（遷移状態）で撮像された静止画に対し、階調補正の程度を調整しようとすると、問題が起こりうる。
例えば、撮像時に適用する階調補正の程度が、「標準」に設定されていたとする。この場合、ライブビュー表示や動画記録を行わずに（光学ファインダーのみを使用して）静止画を撮像した場合には、「標準」の程度に応じた階調補正が１回の補正で適用される。
一方、ライブビュー表示や動画記録中の場合、「標準」の程度に応じた階調補正が、複数回の階調補正を経て適用されるようになる。

ここで、説明及び理解を容易にするため、「標準」の程度に応じた階調補正が、補正量「１００」であると算出されたと仮定する。この場合、ライブビュー表示や動画記録を行わずに静止画を撮像すると、補正量「１００」の階調補正が静止画に適用される。一方、ライブビュー表示や動画記録中であれば、補正量「１０」、「２０」、「３０」、．．．、「１００」のように、段階的に最終的な補正量「１００」の階調補正が動画像に適用されるような制御が行われる。そして、補正量の遷移中（例えば補正量「５０」の段階）に静止画撮像が行われれば、静止画にも補正量「５０」の階調補正が適用される。

その後、画像処理ソフトウェアを用い、静止画に対する階調補正量の程度を「標準」から「弱め」に変更する場合を考える。従来、画像処理ソフトウェアは撮像時における階調補正量ではなく、静止画から算出した「標準」の階調補正量（すなわち補正量「１００」）を基準として「弱め」の補正量（例えば補正量「８０」）を算出する。

その結果、ライブビュー表示中もしくは動画記録中に撮像された静止画は、補正量「５０」の階調補正よりも弱い階調補正に変更したいというユーザの意図にもかかわらず、実際にはむしろ補正量「５０」よりも大きな階調補正の適用を受けることになる。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、静止画が撮像されたタイミングに依存せずに、階調補正の程度を適切に変更可能な画像処理装置、画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像によって得られた画像データに、撮像時に設定されていた階調補正の度合いと異なる度合いの階調補正を適用するための階調補正特性を生成する画像処理装置であって、撮像時における階調補正特性を表すデータを取得する取得手段と、取得手段により取得されたデータが表わす階調補正特性が撮像時に設定されていた階調補正の度合いに応じた目標階調補正特性と異なる場合、撮像時に設定されていた階調補正の度合いと異なる度合いとの差異に応じて、取得手段により取得されたデータが表わす階調補正特性を補正することにより、異なる度合いの階調補正を適用するための階調補正特性を算出する補正手段とを有することを特徴とする。

このように、本発明によれば、静止画が撮像されたタイミングに依存せずに、階調補正の程度を適切に変更可能な画像処理装置およびその制御方法が実現できる。

（ａ）は、本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラの撮像時の動作に関係する機能ブロックを、（ｂ）は再現像時の動作に関係する機能ブロックをそれぞれ示す図。 図１の静止画補正量演算部で行う処理を示したフローチャート。 実施形態で用いる、顔輝度取得領域の例を示す図。 実施形態における顔輝度代表値の算出処理の例を示すフローチャート。 顔が検出された場合の、図１の目標補正量算出部の動作の例を説明する図。 顔が検出されなかった場合の、図１の目標補正量算出部の動作の例を説明する図。 図１の他設定補正量算出部の動作を例を説明する図。 図１の他設定補正量算出部の動作を例を説明する図。 図１の他設定補正量算出部の動作を別の例を説明する図。

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
（第１の実施形態）
以下、図１を参照して、本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラの構成例について説明する。図１（ａ）は、撮像時の動作に関係する機能ブロックを、図１（ｂ）は再現像時の動作に関係する機能ブロックを、それぞれ示している。

図１（ａ）において、撮像部１０１は、メカニカルシャッターや絞り、撮像素子などを有する。不図示の撮像レンズを通過した被写体光学像は撮像素子上に結像し、撮像素子の各画素で、受光量に応じた電荷に変換される。撮像素子は例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の領域が配列されたカラーフィルタを備える。各色領域はそれぞれの色の波長帯域周辺の分光感度を持ち、各領域に対応して設けられた画素（光電変換素子）は、各カラーフィルタを通過した帯域の光線をそれぞれ光電変換する。

各光電変換素子により変換された電荷は、撮像部１０１から電気信号としてＡ／Ｄ変換部１０２に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。
Ａ／Ｄ変換部１０２から出力されたデジタル信号は、静止画補正量演算部１０３、ＷＢ処理部１１５のそれぞれに送られる。

静止画補正量演算部１０３は、ＷＢ検出部１０５、ヒストグラム検出部１０６、顔検出部１０７、目標補正量算出部１０８から成る。静止画補正量演算部１０３は、撮像された画像に適用する階調補正特性を、例えばボタンやスイッチである補正度合い設定部１０４によりメニュー画面などから設定された階調補正の度合い（強弱）に従って算出する。

図２は静止画補正量演算部１０３で行う処理を示したフローチャートである。
Ｓ２０１では、ＷＢ検出部１０５がＷＢ検出を行う。具体的には、ＷＢ検出部１０５は、画像データから、公知の手法を用いて、撮像画像に適したホワイトバランスのゲイン値を算出する。ＷＢ処理部１１５ではＷＢ検出部１０５で得られたホワイトバランスのゲイン値を画像のＲＧＢの各画素値に積算する。

Ｓ２０２では、ヒストグラム検出部１０６がヒストグラム検出を行う。具体的には、ヒストグラム検出部１０６が、Ｓ２０１で得られたホワイトバランスのゲイン値を画像データ全体に適用し、さらにガンマ補正処理を行った画素値について、輝度情報としてヒストグラムを作成する。ガンマ補正処理は公知のルックアップテーブルを用いる方法で良いが、現像処理部１１６で用いるものと同じガンマ特性を用いることが好ましい。ただし、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。

Ｓ２０３では、顔検出部１０７が顔検出前処理を行う。これは画像データに対して縮小処理、ガンマ処理等を施して、顔を容易に検出しやすいようにする処理である。

Ｓ２０４で、顔検出部１０７は、前処理した画像データに対し、公知の方法を用いて顔検出処理を実行する。顔検出処理により、顔と思われる領域（顔領域）と、検出の信頼度とが得られる。

Ｓ２０５で、顔検出部１０７は、Ｓ２０４の顔検出処理により検出された顔領域のうち、信頼度があらかじめ設定した評価閾値より高い顔領域がある場合に、顔が検出されたと判定する。顔が検出されたと判定された場合にはＳ２０６に、顔が検出されなかったと判定された場合にはＳ２０９に移行する。

Ｓ２０６で、顔検出部１０７は、検出された顔領域の一部の領域を、顔輝度取得領域として算出する。たとえば、顔検出部１０７は、図３に示すように、画像データ３０１から検出された顔領域３０２の中の両眼の下の領域３０３，３０５及び、その中間の領域３０４の３箇所に位置する同じ大きさの正方形の領域を、顔輝度取得領域として算出する。個々の領域の大きさは、顔領域の大きさによって決定する。顔輝度取得領域は、顔の明るい部分の輝度を取得するための領域であり、その数や位置などに関して特に制限はない。

Ｓ２０７で、顔検出部１０７は、顔輝度取得領域３０３〜３０５の各々について、含まれるＲ画素、Ｇ画素、Ｂ画素の種類ごとに平均値を求める。さらに顔検出部１０７はＲＧＢ画素の各平均値に対し、ヒストグラム検出部１０６と同様にしてホワイトバランスのゲイン値を適用し、ガンマ補正を行った後、以下の式１により輝度値Ｙに変換する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式１
なお、式１の代わりに式２のような近似式を用いても良い。
Ｙ＝（３×Ｒ＋６×Ｇ＋Ｂ）／１０ 式２

なお、ヒストグラム検出部１０６および顔検出部１０７において適用するホワイトバランスのゲイン値は、同一画像データに対してＷＢ検出部１０５が求めたゲイン値を用いることが好ましい。輝度ガンマも、理想的には現像処理部１１６と同じものを用いるのが好ましいが、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。

Ｓ２０８で、輝度算出手段としての顔検出部１０７は、検出された顔の代表輝度値を算出する。この処理の一例を図４のフローチャートを用いて説明する。
Ｓ４０１で、顔検出部１０７は、検出されている顔領域の顔輝度取得領域３０３〜３０５の輝度値の中から最大値を求める。なお、顔領域が複数検出されていれば、顔検出部１０７は個々の顔領域について最大値を求める。

Ｓ４０２で、顔検出部１０７は、顔領域が複数検出されているか判定し、複数検出されている場合はＳ４０３に処理を進める。検出されている顔領域が１つだけの場合、顔検出部１０７は、この顔領域についてＳ４０１で求めた輝度値の最大値を顔の代表輝度値とする（Ｓ４０８）。

Ｓ４０３で、顔検出部１０７は、検出されている全ての顔領域における輝度値の最大値Ｙａを求める。
Ｓ４０４で、顔検出部１０７は、Ｓ４０１で求めた各顔領域の輝度の最大値の平均値Ｙｂを求める。

Ｓ４０５で、顔検出部１０７は、顔領域で検出された最大輝度値Ｙａと顔領域で検出された平均輝度値Ｙｂに対して所定の重みをかけた重み平均輝度値Ｙｃを求める。
すなわち、Ｙｃ＝（α×Ｙａ＋β×Ｙｂ）
として求めることができる。ここで、α、βは所定の重みで、α＋β＝１である。
なお、重みの値は、一番明るい顔をどの程度重視するかに応じて経験的にαを定めることで決定することができる。一例として、α＝０．７、β＝０．３である。

Ｓ４０６で、顔検出部１０７は、顔領域の最大輝度値Ｙａと重み平均輝度値Ｙｃの差が、所定の閾値Ｙｔｈより小さいかどうかの判定を行う。
顔検出部１０７は、この差が閾値より小さい場合は重み平均輝度値Ｙｃを顔の代表輝度値とし（Ｓ４０７）、差が閾値以上である場合には最大輝度値Ｙａから閾値Ｙｔｈを引いた値を顔の代表輝度値とする（Ｓ４０８）。これは、差が閾値Ｙｔｈ以上ある場合に、重み平均輝度値Ｙｃを代表輝度値とすると、最大輝度値Ｙａに対応する顔領域が階調補正によって白トビする可能性が高くなると考えられるためである。従って、閾値Ｙｔｈにはこのような判定を行うために適切な値を経験的に定める。

図２に戻り、Ｓ２０５で顔領域が検出されなかったと判定された場合、Ｓ２０９でヒストグラム検出部１０６が、ヒストグラム特徴量を検出する。ヒストグラム特徴量は例えば、ヒストグラムで暗部側から累積度数が１％である画素が属するレベル（ＳＤ）、同１０％である画素が属するレベル（ＳＤ２）、明部側から累積度数が１％である画素が属するレベル（ＨＬ）等であってよい。

Ｓ２１０で、目標補正量算出部１０８は、目標の補正量の算出を行う。目標補正量算出部１０８は、顔が検出されている場合、顔の代表輝度値毎に、いくつかの入力輝度値に対する目標輝度を求め、目標輝度と画像の輝度の最小値と最大値からスプライン補間などにより各入力輝度に対する目標出力輝度を算出する。入力輝度と目標出力輝度の差が目標補正量であり、各輝度に対する目標出力輝度により形成されるトーンカーブが階調補正特性を表す。階調補正特性は、入力輝度と出力輝度の対応を示すルックアップテーブルによって表現することができる。なお、本明細書において、顔の代表輝度値とその目標値とからルックアップテーブルを作成することを便宜上「顔補正特性の作成」と呼ぶ。

図５を参照して目標補正量算出部１０８の顔補正特性の作成動作の例を説明する。図５（ａ）は、顔の代表輝度値と、３つの入力輝度値（６４ＬＳＢ，１２８ＬＳＢ，２２４ＬＳＢ）に対する目標輝度との関係の例を示す。なお、ＬＳＢは分解能を意味し、本実施形態では輝度値のフルスケール（最小値〜最大値）を８ビットの分解能（０〜２５５ＬＳＢ）で表すものとする。

図５（ａ）において、「６４ＬＳＢの点」に対応する横方向の線は、入力輝度が６４ＬＳＢの画素の目標出力輝度と、顔の代表輝度値との関係を示している。例えば、撮像された画像から検出された顔の代表輝度値が２５５ＬＳＢ〜１８０ＬＳＢの範囲であれば、その画像のうち６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢ（すなわち、変化無し）である。また、顔の代表輝度値が４５ＬＳＢ〜０ＬＳＢの範囲の画像においては、６４ＬＳＢの輝度を有する画素の目標出力輝度は１２８ＬＳＢである。そして、顔の代表輝度値が１８０〜４５の範囲では、６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢから１２８ＬＳＢの間で線形に変化する。

顔の代表輝度値が１１０ＬＳＢである場合、６４ＬＳＢ、１２８ＬＳＢおよび２２４ＬＳＢの輝度を有する画素の目標出力輝度はそれぞれ図５（ａ）から９７ＬＳＢ，１５９ＬＳＢおよび２２８ＬＳＢである。従って、顔の代表輝度値が１１０ＬＳＢの画像に対する階調補正特性は、この３点の入出力関係を表す３点と輝度の最低値（０ＬＳＢ）および最高値（２５５ＬＳＢ）に対応する点とをスプライン補間することにより、図５（ｂ）の様に得られる。なお、図５（ａ）に示す、顔の代表輝度値に応じた代表的な輝度値の入出力関係を示す補正テーブルは、補正度合い設定部１０４で設定可能な度合いごとに、予め目標補正量算出部１０８に用意しておくことができる。

また、顔が検出されなかった画像に対する階調補正特性の算出方法について図６を用いて説明する。まず、図６（ａ）〜図６（ｃ）は、ＳＤ、ＨＬおよびＳＤ２についての目標出力輝度を規定するテーブルを示す。このテーブルは、予め目標補正量算出部１０８に用意しておくことができる。なお、図５（ａ）及び図６（ａ）〜（ｃ）に示すテーブルは、設定可能な階調補正の程度（例えば「弱い」、「標準」、「強い」）ごとに用意する。あるいは、基準となる１つのテーブルと、基準となるテーブルから他の程度のテーブルを精製するための係数を用意しておいてもよい。

まず、目標補正量算出部１０８は、ヒストグラム検出部１０６で求められたＳＤとＨＬに対応する目標出力輝度を図６（ａ）及び図６（ｂ）から求める。そして、目標補正量算出部１０８は、図６（ｄ）に示すように、ＳＤとＨＬの入出力特性に対応する点（丸、四角）と、画像の輝度の最小値（０ＬＳＢ）と最大値（２５５ＬＳＢ）に対応する点の４点を折れ線で結んだ補正特性を求める。この補正特性を、便宜上、コントラスト補正特性と呼ぶ。また、目標補正量算出部１０８は、ＳＤ２についても図６（ｃ）から目標出力輝度を求める。そして、目標補正量算出部１０８、図６（ｅ）に示すように、ＳＤ２の入出力特性に対応する点（三角）と画像の輝度の最小値と最大値に対応する点の３点をスプライン補間して得られる補正特性を求める。この補正特性を便宜上、暗部補正特性と呼ぶ。

そして、目標補正量算出部１０８は、コントラスト補正特性と暗部補正特性とを合成して最終的な階調補正特性（目標補正特性）を作成する（図６（ｆ））。この合成は、各補正を順次適用した場合と同じ結果が１回の補正で得られるように各補正特性を合成することにより実現できる。

目標補正量算出部１０８は、このようにして求めた図６（ｆ）に示す階調補正特性を、ルックアップテーブル（又は関係式）として保存する。目標補正量算出部１０８は、このようにして作成した階調補正用のルックアップテーブル（あるいは補正特性を表す関数など、他の形式であってもよい）を、ＷＢ処理部１１５及び動画補正量演算部１０９の目標補正量修正部１１０に供給する。

なお、静止画補正量演算部１０３における上述の目標補正量算出処理は、撮像部１０１が撮像する動画（ライブビュー画像含む）の各フレームに対して行ってもよいし、予め定められた規則に従って間欠的に実行してもよい。

図１の動画補正量演算部１０９では、以上のようにして算出された階調補正特性をもとに、動画またはライブビュー表示用画像に適用する補正量を算出する。
動画補正量演算部１０９は、目標補正量修正部１１０、第１のメモリ１１１、現在補正量算出部１１２、第２のメモリ１１３から成る。

目標補正量修正部１１０では、静止画補正量演算部１０３で算出された階調補正特性の変動を抑制するように、ヒステリシス処理を行う。具体的には、目標補正量修正部１１０は、第１のメモリ１１１に記憶してある前回適用した階調補正特性と、静止画補正量演算部１０３で算出された階調補正特性とを入力輝度ごとに比較する。補正量の差（出力輝度値の差）がある閾値以内であれば、目標補正量修正部１１０は、前回の補正量を目標補正量として用いて修正し、閾値以上であれば、今回算出された目標補正量をそのまま用いて修正する。ここで用いる閾値は、たとえば輝度ごとにテーブルに登録して用意しておくことができる。

目標補正量修正部１１０は、次回の比較処理に用いるため、修正した階調補正特性を第１のメモリ１１１に記憶する。
現在補正量算出部１１２は、修正された階調補正特性と、前フレームに適用した階調補正特性とから、急激に補正量が変わらず、段階的に目標の階調補正特性に達するように、次フレームで行う階調補正特性を算出する。

具体的には、現在補正量算出部１１２は、前フレームに適用した階調補正特性から、目標となる階調補正特性に向かって少し近づくための階調補正特性を次フレームに適用する階調補正特性として算出する。この算出は以下のように行うことができる。たとえば、現在補正量算出部１１２は、前フレームに適用した各輝度に対する補正量と、次フレームに適用する補正量に対して許容する最大変化量をテーブルとして保持しておく。そして、現在補正量算出部１１２は、目標となる階調補正特性における補正量と、前フレームで適用した補正量との差分が最大変化量以内であれば、目標となる階調補正量が適用されるように補正量を決定する。

また、現在補正量算出部１１２は、目標となる階調補正特性における補正量と、前フレームで適用した補正量との差分が最大変化量を超えるならば、前フレームので適用した補正量に最大変化量分だけ増減させた補正量を算出する。この処理を各入力輝度に対して行うことで、現在補正量算出部１１２は階調補正特性を算出する。現在補正量算出部１１２は、このようにして算出された階調補正特性を、次フレーム用の階調補正特性を算出する際に用いるために第２のメモリ１１３に記憶するとともに、現像処理部１１６に供給する。

現像処理部１１６は、現在補正量算出部１１２から供給される階調補正特性を、ライブビュー画像、記録用の動画の各フレーム画像、ライブビュー表示中や動画記録中に撮像された静止画に適用する。

本実施形態のデジタルビデオカメラは、ＲＡＷ形式の静止画撮像時には、他設定補正量算出部１１４で、撮像時における階調補正度合いと異なる階調補正度合いに対応する補正量の算出を行う。これにより、撮像時における階調補正特性と補正度合いとの関係を壊すことなく、後で階調補正度合いを変更することが可能になる。

他設定補正量算出部１１４の動作について、図７及び図８を参照して説明する。
Ｓ７０１で、他設定補正量算出部１１４は、撮像時における階調補正特性（上述の通り、コントラスト補正特性と暗部補正特性が合成されたものである）のうち、暗部補正特性を見積もる。この見積もりは、撮像時における階調補正特性と、予め定められている暗部補正特性の特定の輝度における補正量の比とを用いて行うことができる。

図６（ｄ）〜（ｆ）からもわかるように、階調補正特性のうち、中間輝度部分の補正量は暗部補正特性（図６（ｅ））によるものが支配的である。また、暗部補正特性において、中間輝度部分のある特定輝度（例えば１００ＬＳＢ）に対応する補正量と、シャドウ部におけるある特定輝度（例えば３２ＬＳＢ）に対応する補正量との比は固定と見なすことができる。

他設定補正量算出部１１４は、撮像時における階調補正特性（図８（ａ））のうち、中間輝度部分の特定輝度Ｘに対応する補正量αと、シャドウ部における特定輝度Ｙに対応する補正量βとを取得する。そして、他設定補正量算出部１１４は、補正量αより小さな補正量α’と、補正量βより小さな補正量β’であって、かつその比（例えばβ’／α’）が、予め定めた比を満たす補正量α’とβ’を求める。
そして、他設定補正量算出部１１４は、この補正量α’とβ’に対応する点と、０ＬＳＢ及び２５５ＬＳＢに対応する点とを補間して、暗部補正特性を見積もる（図８（ｃ））。

Ｓ７０２で、他設定補正量算出部１１４は、撮像時における階調補正特性（図８（ａ））から、Ｓ７０１で見積もった暗部補正特性を分離し、コントラスト補正特性とする。

Ｓ７０３で、他設定補正量算出部１１４は、分離された各補正特性を、撮像時に設定された補正の度合いとの差異に応じて補正することにより、撮像時に設定された補正の度合いと異なる度合いに対応した補正特性を算出する。具体的には、図６（ａ）〜（ｃ）に示したＳＤ、ＨＬ、ＳＤ２の目標出力輝度を規定するテーブルを、補正の度合い（例えば「弱め」、「標準」、「強め」）毎に用意しておく。あるいは、各入力輝度値について、「標準」の値に対する補正比率を「弱め」、「強め」について用意しておく。そして、他設定補正量算出部１１４は、分離されたコントラスト補正特性における、ＳＤ、ＨＬに対応する出力輝度値を当該比率を用いて修正してコントラスト補正特性を作成することにより、コントラスト補正特性を修正する（図８（ｄ））。暗部補正特性についても同様に、ＳＤ２に対する出力輝度値を修正して暗部補正特性を作成することにより修正する（図８（ｅ））。

Ｓ７０４で、他設定補正量算出部１１４は、修正された各補正特性を合成する（図８（ｆ））。
Ｓ７０５で、他設定補正量算出部１１４は、合成した補正特性にリミッター処理を適用する（図８（ｆ））。具体的には、各階調補正の度合いに対応する最大の補正量を輝度毎に保持しておき、各輝度値についてこの最大補正量を超えていればクリップ処理を行うようにする。このようにして、撮像時に設定された補正の度合いと異なる度合いに対応した補正特性を得る。

なお、ここでは、精度よく修正を行うためにコントラスト補正特性と暗部補正特性とに分離し、個々の補正特性を修正した後に再度合成する方法を説明した。しかしながら、より簡易的な処理で代用してもよい。この場合、コントラスト補正特性と暗部補正特性への分離は行わずに、撮像時における階調補正特性の各輝度値に対し、補正の程度に対応した所定の補正係数を積算することで、撮像時とは異なる階調補正の程度に対応する階調補正特性を求めることができる。図９は、撮像時には階調補正の度合いが「標準」に設定されていた場合に、「強め」の度合いに対応する階調補正特性を算出する簡易的な方法を模式的に示している。

また、動画記録、ライブビュー表示、またはＲＡＷ記録モード以外の静止画撮像時では、撮像時に設定されていた階調補正の度合いと異なる度合いの補正特性を算出する必要がないので、他設定補正量算出部１１４による撮像時の処理を省略しても構わない。また、処理負荷の軽減や電池の節約などを目的として、他設定補正量算出部１１４を動作させないようにしてもよい。この場合、撮像時に設定されていた階調補正の度合いと異なる度合いの補正特性は、再現像時に算出すればよい。

画像データ出力部１１７は、現像処理部１１６が出力する現像済みの画像データをファイル化して出力する。例えば、画像データ出力部１１７は、ファイル形式をＪＰＥＧファイルに変換する場合には、画像データをＹＣｒＣｂ形式に３次元マトリックス変換して付属データを添付することでＪＰＥＧファイル形式に変換する。ＲＡＷ形式で記録する場合、画像データ出力部１１７は、ＲＡＷ画像データを含んだ画像ファイルを生成する。ＲＡＷ画像データを含んだ画像ファイルのヘッダにサムネイル用のＪＰＥＧ形式の画像を含めてもよい。画像データ出力部１１７は、画像ファイルをメモリカードのような記録媒体に記録したり、外部装置に出力したりすることができる。

また、画像データ出力部１１７は、他設定補正量算出部１１４で撮像時と異なる階調補正の度合いに対応する補正特性を算出した場合には、この補正特性を表す情報（テーブル等）と、対応する階調補正の度合いを画像ファイルのヘッダー等に記録する。また、画像データ出力部１１７は撮像時における階調補正特性を表す情報と、撮像時に設定されていた階調補正の度合いを表す情報も付属情報として画像ファイルのヘッダなどに含める。

以上のようにして生成された画像ファイルを再現像する場合の動作について図１（ｂ）を用いて説明する。なお、画像ファイルの生成と再現像とは異なる装置で実行されてもよい。例えば、画像ファイルの生成は撮像装置で行い、再現像はパーソナルコンピュータで現像アプリケーションを動作させて行うことができる。この場合、図１（ｂ）の各機能ブロックのうち、ＷＢ処理部１１５、現像処理部１１６及び画像データ出力部１１７はソフトウェア的に実現される。また、補正度合い設定部１０４はキーボードやマウスなどの入力デバイスであってよい。

ＷＢ処理部１１５は、画像ファイルに含まれるＲＡＷ形式の画像データに対し、ホワイトバランスのゲイン値を画像のＲＧＢの各画素値に積算する。これは撮像時と同じゲイン値でも良いし、異なる値に設定しなおしても良い。

現像処理部１１６は、補正度合い設定部１０４を通じてユーザが設定した度合いに対応する階調補正特性を、画像ファイルのヘッダから取得し、ＲＡＷ画像データに適用する。なお、他設定補正量算出部１１４が補正特性を算出していない場合、画像ファイルのヘッダに、対応する度合いの階調補正特性を表すデータが記録されていない。このような場合に対応可能とするには、図１（ｂ）の構成に他設定補正量算出部１１４を追加する。そして、画像ファイルのヘッダに、対応する度合いの階調補正特性を表すデータが記録されていない場合には、撮像時における階調補正特性を表す情報と、対応する補正度合いを表す情報から、他設定補正量算出部１１４が階調補正特性を算出する。現像処理部１１６は、他設定補正量算出部１１４が算出した補正特性を画像データに適用する。

画像データ出力部１１７は、上述の撮像時の処理と同様に、設定された画像ファイルの形式に応じた画像ファイルを生成して出力する。

以上説明したように、本実施形態によれば、撮像時に階調補正された静止画の階調補正の程度を変更する際に、撮像時における階調補正特性を基準として変更後の階調補正特性を算出する。そのため、静止画がライブビュー表示中や動画記録中に撮像され、目標の階調補正特性に達していない遷移状態で撮像されたものであったとしても、階調補正の程度を、動画との見えの差が少なく、またユーザの意図に沿って変更することができる。

本発明は特に、動画記録中に撮像された静止画であって、かつＡＥロックして撮像された静止画に対して好適である。これは、撮像時のＡＥロックは、ユーザが画像の明るさを一定に保ちたいという意志の現れであり、記録される動画と静止画の見えの同一性が一層要求されるからである。この場合には、階調補正特性もＡＥロック時に固定するべきである。

従って、上述した、撮像時における階調補正特性を基準とした、変更後の階調補正特性の算出処理を、撮像時にＡＥロックされている場合のみ実行するように構成してもよい。撮像時にＡＥロックされているかどうかは、画像ファイルの付属情報（例えばexif情報）や、ＡＥロックボタンが押下されたかどうかの検出（本発明を撮像装置に適用した場合）などによって判別することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 撮像によって得られた画像データに、前記撮像時に設定されていた階調補正の度合いと異なる度合いの階調補正を適用するための階調補正特性を生成する画像処理装置であって、
   前記撮像時における階調補正特性を表すデータを取得する取得手段と、
   前記取得手段により取得されたデータが表わす階調補正特性が前記撮像時に設定されていた階調補正の度合いに応じた目標階調補正特性と異なる場合、前記撮像時に設定されていた階調補正の度合いと前記異なる度合いとの差異に応じて、前記取得手段により取得されたデータが表わす階調補正特性を補正することにより、前記異なる度合いの階調補正を適用するための階調補正特性を算出する補正手段とを有することを特徴とする画像処理装置。
2. 前記画像データに含まれる顔領域の輝度情報と前記撮像時に設定されていた階調補正の度合いとに基づいて、前記目標階調補正特性を算出する算出手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記画像データに顔領域が含まれない場合、前記画像データの輝度ヒストグラムと前記撮像時に設定されていた階調補正の度合いとに基づいて、前記目標階調補正特性を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像データの輝度ヒストグラムと前記撮像時に設定されていた階調補正の度合いとに基づいて、前記目標階調補正特性を算出する算出手段を有することを特徴とする請求項１に記載の画像処理装置。
5. 選択可能な複数の階調補正の度合いのなかからユーザが選択した度合いを設定する設定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 連続した撮像によって得られた複数の画像データに適用する階調補正特性を、段階的に前記目標階調補正特性に達するように変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記補正手段が、
   前記撮像時における階調補正特性を、第１の補正特性と、前記第１の補正特性とは異なる第２の補正特性とに分離し、
   前記第１の補正特性と前記第２の補正特性を、前記撮像時に設定されていた階調補正の度合いと、前記異なる度合いとの差異に応じてそれぞれ補正し、
   前記補正した前記第１の補正特性と前記第２の補正特性を合成することにより、前記撮像時に設定されていた階調補正の度合いと異なる度合いの階調補正を適用するための階調補正特性を算出することを特徴とする請求項１記載の画像処理装置。
8. 前記第１の補正特性及び前記第２の補正特性は、前記画像データの輝度ヒストグラムに基づく補正特性であることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の補正特性は、前記輝度ヒストグラムにおいて暗部側からの累積度数が第１の値となるレベル及び前記輝度ヒストグラムにおいて暗部側からの累積度数が前記第１の値とは異なる第２の値となるレベルに基づく補正特性であり、
   前記第２の補正特性は、前記輝度ヒストグラムにおいて暗部側からの累積度数が前記第１の値及び前記第２の値とは異なる第３の値となるレベルに基づく補正特性であることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像データに顔領域が含まれない場合、前記第１の補正特性と前記第２の補正特性とに基づく補正特性が前記撮像時における階調補正特性として用いられることを特徴とすることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像データに含まれる顔領域に輝度情報に基づく補正特性が前記撮像時における階調補正特性として用いられることを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 前記補正手段が、
    前記撮像時に設定されていた階調補正の度合いと、前記異なる度合いとの関係によって予め定められた補正係数によって前記撮像時における階調補正特性を補正することにより、前記異なる度合いの階調補正を適用するための階調補正特性を算出することを特徴とする請求項１記載の画像処理装置。
13. 撮像によって得られた画像データに、前記撮像時に設定されていた階調補正の度合いと異なる度合いの階調補正を適用するための階調補正特性を生成する画像処理装置であって、
    前記撮像時における階調補正特性を表すデータを取得する取得手段と、
    前記撮像時に設定されていた階調補正の度合いと、前記異なる度合いとの差異に応じて前記階調補正特性を補正することにより、前記異なる度合いの階調補正を適用するための階調補正特性を算出する補正手段と、
    前記撮像時にＡＥロックされていたかどうかを判別する判別手段と、を有し、
    前記補正手段は、
    前記撮像時にＡＥロックされていた場合には、前記撮像時に設定されていた階調補正の度合いと、前記異なる度合いとの差異に応じて前記階調補正特性を補正することにより、前記異なる度合いの階調補正を適用するための階調補正特性を算出し、前記撮像時にＡＥロックされていなかった場合には、前記画像データの輝度情報に基づいて前記異なる度合いの階調補正を適用するための階調補正特性を算出することを特徴とする画像処理装置。
14. 前記撮像時における階調補正特性を表すデータと、前記補正手段が生成した階調補正特性を表す情報と、前記画像データとを有する画像ファイルを出力する出力手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の画像処理装置。
15. 前記画像データは、ＲＡＷ形式の画像データであることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 撮像によって得られた画像データに、前記撮像時に設定されていた階調補正の度合いと異なる度合いの階調補正を適用するための階調補正特性を生成する画像処理方法であって、
    取得手段が、前記撮像時における階調補正特性を表すデータを取得する取得工程と、
    補正手段が、前記取得工程で取得されたデータが表わす階調補正特性が前記撮像時に設定されていた階調補正の度合いに応じた目標階調補正特性と異なる場合、前記撮像時に設定されていた階調補正の度合いと前記異なる度合いとの差異に応じて、前記取得工程で取得されたデータが表わす階調補正特性を補正することにより、前記異なる度合いの階調補正を適用するための階調補正特性を算出する補正工程とを有することを特徴とする画像処理方法。
17. 被写体光学像を撮像し、画像データを生成する撮像部と、
    請求項１乃至請求項１５のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
18. コンピュータを、請求項１乃至請求項１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images