JP4992379B2 - 画像の階調変換装置、プログラム、電子カメラ、およびその方法 - Google Patents

Description

本発明は、画像の階調変換装置、プログラム、電子カメラ、およびその方法に関する。

下記の特許文献１には、下式によるダイナミックレンジ圧縮方式が開示されている。
Ｏ[i,j]＝I[i,j]×Ｆ（Ｒ[i,j]）・・・［１００］
ただし、I[i,j]は、入力画像の画素値である。Ｏ[i,j]は、出力画像の画素値である。Ｆ（）は、係数算出関数である。Ｒ[i,j]は、入力画像のイプシロンフィルタを施した画素値である。イプシロンフィルタは、入力画像から微小振幅成分を非線形に抽出し、この微小振幅成分を入力画像から減算する非線形フィルタである。
特開２００３−８９３５号公報

特許文献１のイプシロンフィルタは、処理が複雑で処理時間がかかるという問題もあった。一方、イプシロンフィルタに代えて単純なローパスフィルタを用いると、輝度差の激しい箇所にハロー（halo）が発生するという問題があった。
そこで、本発明の目的は、細部の階調調整に好適な変換ゲインマップを、少ない処理負荷で生成することである。

以下、本発明について説明する。
《１》 本発明の階調変換装置は、明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する装置であって、信号抽出部、近傍処理部、ゲイン決定部、および階調変換部を備える。
信号抽出部は、複数の画素のうちの第一画素もしくは該第一画素の第１近傍領域に含まれる第二画素が有する無彩色信号を無彩色信号値として抽出する。
近傍処理部は、第１近傍領域よりも広い範囲である第２近傍領域に含まれる第三画素が有する無彩色信号と有彩色信号とに基づいて、第一画素のローカル信号を生成する。
ゲイン決定部は、無彩色信号値とローカル信号とに基づいて、第一画素の信号成分に対する変換ゲインを決定する。
階調変換部は、変換ゲインを第一画素の信号成分または該信号成分に基づく信号に乗ずることによって階調を変換する。
《２》 なお好ましくは、ゲイン決定部は、無彩色信号値とローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、変換ゲインを決定する。
《３》 また好ましくは、ゲイン決定部は、無彩色信号値をＺ、ローカル信号をＶＬとしたとき、合成信号をＺ１とすると、Ｚ１＝β・Ｚ＋α・ＶＬ（ただし、α，βは重み係数）により合成信号を生成する。
《４》 なお好ましくは、表示制御部、および変更部を備える。
表示制御部は、階調を変換した画像を表示制御する。
変更部は、重み係数を変更する。
《５》 また好ましくは、判別手段、および変更部を備える。
判別手段は、画像が人物を主体とするか否かを判別する。
変更部は、判別手段によって画像が人物を主体とすると判別されない場合は、重み係数の比率α／βを、画像が人物を主体とすると判別された場合に比べて大きくする。
《６》 なお好ましくは、近傍処理部は、第２近傍領域の無彩色信号をＺ、有彩色信号をＣ１，Ｃ２としたときに次式で表される信号Ｖに基づいてローカル信号を求める
Ｖ＝Ｚ＋ｗ１・｜Ｃ１｜＋ｗ２・｜Ｃ２｜（ただし、ｗ１，ｗ２は重み係数）
《７》 また好ましくは、近傍処理部は、第２近傍領域の無彩色信号をＺ、有彩色信号をＣ１，Ｃ２としたときに、
信号Ｖ＝Ｚ＋ｗ１・｜Ｃ１｜＋ｗ２・｜Ｃ２｜（ただし、ｗ１，ｗ２は重み係数）
からなる縮小画像を生成する。近傍処理部は、この縮小画像が有する信号値に基づいてローカル信号を生成する。
《８》 なお好ましくは、近傍処理部は、画像を構成する画素のうちの間欠的な位置の画素を第一画素とし、該第一画素に関する信号Ｖからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《９》 また好ましくは、近傍処理部は、画像の信号Ｚ，Ｃ１，Ｃ２に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減する。近傍処理部は、この低減後の信号Ｚ，Ｃ１，Ｃ２から信号Ｖを求めることで、信号Ｖからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《１０》 なお好ましくは、近傍処理部は、画像から画素を間引いて間引き画像を求める。近傍処理部は、この間引き画像の信号Ｚ，Ｃ１，Ｃ２に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減する。近傍処理部は、この低減後の信号Ｚ，Ｃ１，Ｃ２から信号Ｖを求めることで、信号Ｖからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《１１》 また好ましくは、画像から縮小画像への縮小倍率は１／８以下である。
《１２》 なお好ましくは、近傍処理部は、縮小画像に対して所定のフィルタ処理を施す。近傍処理部は、このフィルタ処理後の縮小画像を補間拡大してローカル信号を求める。
《１３》 本発明の階調変換プログラムは、コンピュータを、上記《１》に記載の階調変換装置として機能させるためのプログラムである。
《１４》 本発明の電子カメラは、《１》ないし《１２》のいずれか１項に記載の階調変換装置と、被写体を撮像して原画像を生成する撮像部とを備える。この電子カメラは、撮像部で生成された原画像を、階調変換装置を用いて階調変換する機能を備える。
《１５》 本発明の階調変換方法は、明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換方法であって、下記のステップを備える。
（ステップ１）複数の画素のうちの第一画素もしくは該第一画素の第１近傍領域に含まれる第二画素が有する無彩色信号を無彩色信号値として抽出する。
（ステップ２）第１近傍領域よりも広い範囲である第２近傍領域に含まれる第三画素が有する無彩色信号と有彩色信号とに基づいて、第一画素のローカル信号を生成する。
（ステップ３）無彩色信号値とローカル信号とに基づいて、第一画素の信号成分に対する変換ゲインを決定する。
（ステップ４）変換ゲインを第一画素の信号成分または該信号成分に基づく信号に乗ずることによって階調を変換する。
《１６》 なお好ましくは、変換ゲインの決定ステップは、無彩色信号値とローカル信号の合成信号を生成する。この場合、この合成信号を入力変数とする所定のゲインカーブの関数に基づいて、変換ゲインを決定する。

本発明では、第一画素（または第一画素の第１近傍領域に含まれる第二画素）の値と、その第１近傍領域よりも広い範囲である第２近傍領域の値との割り当てを工夫することによって、処理負荷の軽減を実現している。
すなわち、第一画素（または第二画素）の値としては、無彩色信号Ｚを割り当てる。この無彩色信号Ｚは、原画像に元々含まれている信号成分のために生成の手間がかからず、原画像の画素数が多くなっても信号取得にかかる処理負荷を軽く済ませることができる。

また、請求項７にかかる発明では、原画像の画素数を減らして信号Ｖからなる縮小画像を一旦求め、この縮小画像からローカル信号ＶＬを生成する。この処理では、信号Ｖからローカル信号ＶＬを求めるため、原画像の複数成分（Ｚ，Ｃ１，Ｃ２など）を逐一処理するよりも、ローカル信号ＶＬの生成にかかる処理負荷を軽くすることができる。また、原画像の画素数が多くなっても、中間段階における縮小画像の画素数を抑えることで、ローカル信号ＶＬの生成にかかる処理負荷を軽くすることができる。

さらに、請求項８〜１０のいずれか１項にかかる発明では、原画像から画素数を減数した信号Ｚ，Ｃ１，Ｃ２から信号Ｖを求めて縮小画像とする。この場合、原画像の全画素について信号Ｖを求めないため、縮小画像の生成にかかる処理負荷を軽くできる。その結果、ローカル信号ＶＬの生成にかかる処理負荷を更に軽くすることができる。

［第１実施形態］
《構成説明》
図１は、階調変換装置１１の構成を示す図である。
図１において、階調変換装置１１は、下記の構成要件を備える。
（１）信号取得部１２・・階調変換装置１１は、電子カメラ、通信媒体、および記憶媒体などを経由して、原画像を取り込む。信号取得部１２は、この原画像の明るさを示す無彩色信号Ｚを得る。
（２）近傍処理部１３・・原画像の各画素から近傍領域を抽出し、その近傍領域の画素を処理してローカル信号ＶＬを得る。
（３）ゲイン生成部１４・・各画素について、信号Ｚとローカル信号ＶＬとから変換ゲインｋを求める。
（４）階調変換部１５・・原画像の各画素の信号と、各画素の変換ゲインｋとを乗じて、階調変換を行う。（ここでの乗じるとは、原画像の信号を変換ゲインｋに応じて増減変動させるという意味であり、算術的な乗算処理に限定されない）
（５）表示制御部１０１・・階調変換の処理結果を監視するための表示画像を作成し、画像表示装置へ逐次出力する。
（６）入力部１０２・・ユーザからの操作入力を、ＧＵＩ（Graphical User Interface）などで受付け、その操作入力に応じて後述する重み係数α，βを変更する。
（７）被写体判別部１０３・・原画像が人物を主要被写体とするか否かを選択する。この選択は、ユーザ入力、原画像の付随情報（撮影時の撮影モードなどの情報）、および顔認識やシーン解析による被写体識別の結果の少なくとも一つに基づいて行われる。
（８）設定部１０４・・原画像が人物を主要被写体としない場合は、重み係数の比率α／βを、人物を主要被写体とする場合よりも大きく設定する。
上述した階調変換装置１１は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置１１をソフトウェア的に実現してもよい。

図２は、このような階調変換装置１１を搭載した電子カメラ２１を示す図である。
図２において、電子カメラ２１には、撮影レンズ２２が装着される。この撮影レンズ２２の像空間側には、不図示の絞りやシャッターを介して、撮像素子２３の撮像面が配置される。この撮像素子２３から出力される画像信号は、Ａ／Ｄ変換部２４などを介した後、原画像として階調変換装置１１に入力される。この階調変換装置１１は、原画像に対して階調変換を施す。階調変換装置１１から出力された画像信号は、画像処理部２５を介して画像処理された後、記録部２６に保存記録される。
また、階調変換装置１１は、記録部２６から記録済みの画像データを後から読み出して、階調変換を実施することも可能である。
なお、Ａ／Ｄ変換部２４と階調変換装置１１との間に、画像生成部２７を設けてもよい。この画像生成部２７は、Ａ／Ｄ変換部２４の出力を、輝度色差信号（ＹＣｂＣｒなど）の原画像に変換して、階調変換装置１１に与える。なお、撮像部２３がBayer配列などの単板撮像素子の場合、画像生成部２７は、Ａ／Ｄ変換部２４の出力を補間して輝度色差信号（ＹＣｂＣｒなど）を出力するものである。

《動作説明》
図３は、第１実施形態の動作を説明する流れ図である。以下、図３に示すステップ番号にそって、第１実施形態の動作説明を行う。

［ステップＳ１］ 階調変換装置１１は、原画像を取り込む。この原画像は、（Ｙ，Ｃｒ，Ｃｂ）の色成分により構成される。この場合、輝度信号Ｙは、無彩色信号に相当する。色差信号ＣｒＣｂは、有彩色信号に相当する。

［ステップＳ２］ 信号取得部１２は、原画像の座標位置[i,j]の画素の信号値Ｙを、信号値Ｙ[i,j]とする。なお、座標位置[i,j]の極近傍の画素の信号値Ｙに基づいて、信号値Ｙ[i,j]を定めてもよい。
一方、近傍処理部１３は、原画像の座標位置[i,j]に、極近傍よりも広い範囲の近傍領域を定め、その近傍領域の画素に含まれるＹＣｂＣｒを反映（例えば、平均、メディアン、イプシロンフィルタなどのフィルタ処理）するローカル信号ＶＬ[i,j]を生成する。
図４は、このローカル信号ＶＬの算出例を示す図である。
まず、近傍処理部１３は、所定のサンプリング間隔Ｍに従って、原画像の縦横Ｍ画素おきの代表点（画素）を定め、この代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]を求める。ただし、Ｍ≧２が好ましい。Ｍ≧８が更に好ましい。なお、縦横でＭの値を変更してもよい。
この代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]の求め方としては、下記処理の何れかが好ましい。
(1)縦横Ｍ画素おきのサブサンプリング（間引き処理）
(2)代表点を含む局所的な範囲の画素の信号値ＹＣｂＣｒそれぞれの重み付け平均値や単純平均値を算出する（局所平均処理）。
(3)代表点を含む局所的な範囲の画素の信号値ＹＣｂＣｒそれぞれの中央値を算出する（局所中央処理）。
(4)代表点を含む局所的な範囲の画素の信号値ＹＣｂＣｒそれぞれの統計平均値を算出する（統計平均処理）。
このように求めた代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]に基づいて、下式の信号Ｖ[i,j]を算出する。
Ｖ[i,j]＝Ｙ[i,j]＋|Ｃｒ[i,j]|+|Ｃｂ[i,j]|
なお、||は絶対値演算である。
ここで、|Ｃｒ[i,j]|，|Ｃｂ[i,j]|の重みｗ１，ｗ２を、画質評価実験やシミュレーションなどから適宜設定して、
Ｖ[i,j]＝Ｙ[i,j]＋ｗ１・|Ｃｒ[i,j]|+ｗ２・|Ｃｂ[i,j]|
としてもよい。この処理により代表点の信号Ｖからなる縮小画像が得られる。
なお、原画像の画素を間引き、間引き後の代表点のＲＧＢ値を用いて
Ｖ[i,j]＝max（Ｒ[i,j]，Ｇ[i,j]，Ｂ[i,j]）
としてもよい。この処理によっても代表点の信号Ｖからなる縮小画像が得られる。
また、原画像が、ベイヤー配列などのＲＡＷ画像の場合には、代表点の近傍範囲から信号成分を採集し、採集された信号成分から信号Ｖを求めてもよい。この処理によっても代表点の信号Ｖからなる縮小画像が得られる。

［ステップＳ３］ 近傍処理部１３は、Ｍ画素おきの代表点の集まりからなる縮小画像を図４に示すように縦横Ｍ倍に補間拡大して、原画像サイズの画像を作成する。仮にＭが２のべき乗値であれば、縦横２倍ずつの補間拡大を数段階にわたって実施してもよい。
例えば、ここでの補間拡大には、バイキュービックやバイリニアなどの公知の補間処理技術が使用可能である。特に、バイキュービックは滑らかな補間画像を得る上で好ましい。なお、縮小画像を補間拡大する過程でローパスフィルタ処理を実施することにより、補間画像を適宜に平滑化してもよい。
この原画像サイズの画像は、原画像から微細構造を除去した信号Ｖの一成分画像である。この一成分画像の画素位置[i,j]の値を、ＶＬ[i,j]とする。
このローカル信号ＶＬは、明るい近傍領域においては、大きな輝度信号Ｙ（無彩色信号Ｚ）の値を反映した大きな値となる。また、高彩度の近傍領域においては、大きな色差信号ＣｒＣｂ（有彩色信号Ｃ１，Ｃ２）の絶対値を反映した大きな値となる。逆に、暗くて低彩度の近傍領域では、小さな値となる。この傾向から、ローカル信号ＶＬが極端に大きい近傍領域は、高輝度もしくは高彩度の箇所であり、白飛びや色飽和などの飽和現象を起こしやすい箇所であることが分かる。一方、ローカル信号ＶＬが極端に小さい近傍領域は、低輝度かつ低彩度の箇所であり、画像構造が比較的目立たず、メリハリに乏しい箇所であることが分かる。

［ステップＳ４］ ゲイン生成部１４は、信号Ｙ[i,j]とローカル信号ＶＬ[i,j]とに基づいて、画素[i,j]の変換ゲインｋを決定する。
例えば、ゲイン生成部１４は、信号Ｙ[i,j]とローカル信号ＶＬ[i,j]とから、合成信号Ｚ１[i,j]＝（Ｙ[i,j]＋ＶＬ[i,j]）／２を求める。
ここで、重み比率α，βを、画質評価実験やシミュレーションなどから適宜設定して、
合成信号Ｚ１[i,j]＝β・Ｙ[i,j]＋α・ＶＬ[i,j]）
としてもよい。なお、β＝１−α（ただし０＜α＜１）としてもよい。
ゲイン生成部１４は、この合成信号Ｚ１[i,j]を、ゲインカーブの関数ｋ（Ｚ１）に順次代入することにより、一画面分のゲインマップk[i,j]を求める。
このようにローカル信号ＶＬ[i,j]を考慮することにより、ローカル信号ＶＬ[i,j]が大きくて白飛びや色飽和を起こす箇所で、変換ゲインｋを抑制して白飛びや色飽和を防止できる。また、ローカル信号ＶＬ[i,j]が極端に小さくて低輝度かつ低彩度の箇所において、変換ゲインｋを大きくして細部の目立たない階調変化を強調できる。
図５は、このゲインカーブの関数ｋ（Ｚ１）の一例を示す図である。なお、図中では、入力変数Ｚ１をｘとして示している。
このｋ（Ｚ１）では、Ｚ１が小さい領域で最大ゲイン２〜１０倍程度となり、Ｚ１が増大するに従って減少する関数である。なお、ゲイン生成部１４は、このゲインカーブの関数ｋ（Ｚ１）を、ＬＵＴ（ルックアップテーブル）として記憶することが好ましい。この場合、ゲイン生成部１４は、このＬＵＴをデータ参照することによって、合成信号Ｚ１から変換ゲインｋを迅速に求めることができる。

［ステップＳ５］ 階調変換部１５は、原画像の画素[i,j]ごとに、下式の階調変換を実施する。
Ｙ′[i,j] ＝ｋ[i,j]×Ｙ[i,j]
Ｃｒ′[i,j]＝ｋ[i,j]×Ｃｒ[i,j]
Ｃｂ′[i,j]＝ｋ[i,j]×Ｃｂ[i,j]
このような処理により、階調変換後の画像Ｙ′Ｃｂ′Ｃｒ′が得られる。

《第１実施形態の効果など》
本実施形態では、画素自身（または極近傍）の値と、その画素の近傍領域の値とに基づいて、階調変換の変換ゲインｋを決定する。その結果、変換対象の画素が、暗い近傍領域に位置する場合と、明るい近傍領域に位置する場合とで、変換ゲインｋの値を異ならせるなど、画像全体の明暗バランスと、細部の階調の立ち方とをバランス良く両立させることが可能になる。

特に、本実施形態では、画素自身（または極近傍）の値として、原画像に元々含まれている信号成分Ｙをそのまま使用する。通常、原画像の画素数は非常に多いため、この画素自身の値を一つ一つ変換して生成していたのでは、処理負荷が大きくなる。本実施形態では、原画像に元々含まれる信号成分Ｙ（無彩色信号Ｚ）をそのまま使用するため、信号取得にかかる処理負荷を大幅に軽減することができる。

さらに、本実施形態では、Ｍ画素おきの代表点の値Ｖを求めて縮小画像を作成し、この縮小画像をＭ倍に補間拡大することにより、近傍領域のＹＣｂＣｒ成分をそれぞれ反映したローカル信号ＶＬを得る。
この場合、縮小画像の画素数は、原画像の画素数に対して（Ｍの２乗）分の１まで低減する。この縮小画像の画素数低減に伴って、信号ＶおよびＶＬの演算回数は大幅に低減される。その結果、原画像の全画素についてフィルタ処理を実施してローカル信号ＶＬを算出するよりも、一段と少ない処理負荷でローカル信号ＶＬを求めることが可能になる。

これらの相乗作用により、細部の階調調整に好適な変換ゲインマップを、極めて少ない処理負荷で生成することが可能になる。

［第２実施形態］
第２実施形態は、第１実施形態のステップＳ２の改良に関する。
すなわち、第２実施形態では、Ｍ画素おきの代表点の値Ｚ[i,j]を、その近傍画素の値から求める。例えば、代表点[i,j]の近接ｒの範囲内において、下式の平均演算を実施して、縮小画像の信号Ｖ[i,j]とする。

ただし、Ｓ＝（２×ｒ＋１）×（２×ｒ＋１）
縮小画像の信号値Ｖ[i,j]は、これに限らず、近傍領域の中央値や統計平均値でもよい。また、近傍領域内で値が所定値以上かけ離れた値を除いた上で、平均値を求めて信号値Ｖ[i,j]としてもよい。
通常、サンプルピッチＭが小さい場合は、代表点の近傍で平均処理を行う必要性は少ない。しかし、サンプルピッチＭがある程度大きくなると、このような平均処理をした方が、良好な結果が得られる。
なお、その他の処理については、第１実施形態と同様であるため、ここでの重複説明を省略する。

［第３実施形態］
第３実施形態は、第１および第２実施形態のステップＳ２の改良に関する。
ここでは、縮小画像を求める過程で、ステップＳ２ａとしてフィルタ処理を挿入する。例えば、フィルタ処理としては、次の局所オペレータを用いた局所積和演算が有効である。

もちろん、フィルタの係数や行列サイズについては、上記に限定されない。
このようなフィルタ処理は、縮小画像の拡大変倍だけではローカル信号ＶＬの平滑化が不十分な場合に、有効な処理である。
なお、縮小画像に対しては、平滑化以外のフィルタ処理も有効である。
例えば、縮小画像に対して階調変換を実施してもよい。この処理により、縮小画像から生成されるローカル信号ＶＬの階調特性を変化させることができる。これによって、ロール信号ＶＬを反映する変換ゲインｋの値を適宜に調整することが可能になる。

また例えば、縮小画像に対して、εフィルタのようなノイズ（ディテール）除去を実施してもよい。この処理により、ローカル信号ＶＬを介して変換ゲインｋに混入するノイズやディテールを抑制することが可能になる。
また例えば、縮小画像に対して、輪郭強調や輪郭抽出のような画像構造を変化させるフィルタ処理を実施してもよい。この処理により、変換ゲインｋに画像構造の変化を反映させることが可能になる。
なお、その他の処理については、第１〜第２の実施形態と同様であるため、ここでの重複説明を省略する。

［第４実施形態］
第１実施形態では、例えば図５に示すように、合成信号Ｚ１が小さい場合に、ゲインｋを大きくする。しかし、このようなゲインカーブの関数ｋ（Ｚ１）では、画像によっては暗部ノイズが強調されるなどの弊害が想定される。このように暗部ノイズが大きい場合や、画素値がゼロに近い部分をレベル抑圧した方が好ましい場合は、図６に示すように、合成信号Ｚ１がゼロに近い領域で、ゲインｋが１倍に近づけることが好ましい。
また、図５では、暗部の最大ゲインを４倍に設定しているが、図７に示すように、暗部の最大ゲインを任意に設定することが可能である。この場合、おおむね１５倍以下の最大ゲインに設定することが好ましい。電子カメラやコンピュータで、階調圧縮の『強・中・弱』を選択可能にしておき、その選択結果に応じて図７に示す最大ゲインを切り換えてもよい。

なお、階調変換における中輝度箇所や高輝度箇所の明るさ切り換えは、図８に示すように、合成信号Ｚ１の中間域のゲインカーブを変化させることで達成できる。
なお、その他の処理については、第１〜第３の実施形態と同様であるため、ここでの重複説明を省略する。

［第５実施形態］
上述した一種のダイナミックレンジ圧縮では、暗部の彩度が過度に高くなる場合がある。そのような場合は、下式のように色差成分の変換ゲインｋ[i,j]を、例えば図９に示すｋＣ[i,j]に変更する。
Ｙ′[i,j] ＝ｋ[i,j]×Ｙ[i,j]
Ｃｒ′[i,j]＝ｋC[i,j]×Ｃｒ[i,j]
Ｃｂ′[i,j]＝ｋC[i,j]×Ｃｂ[i,j]
なお、ｋ（Ｚ１）とｋＣ（Ｚ１）との関係は、画質主観評価などで実験的に決定することが好ましい。また、ｋＣ（Ｚ１）もＬＵＴとして記録しておくことが好ましい。
なお、その他の処理については、第１〜第４の実施形態と同様であるため、ここでの重複説明を省略する。

［第６実施形態］
第６実施形態は、第１〜第５の実施形態のステップＳ２の改良に関する。
図１０は、ローカル信号ＶＬの算出例を示す図である。
この図１０に示すように、近傍処理部１３は、所定のサンプリング間隔に従って原画像の信号ＹＣｂＣｒを間引き、画素数を低減した間引き画像を得る。この間引き画像の画素数は、原画像と縮小画像の中間の画素数に設定される。
この間引き画像の所定間隔おきに代表点を定め、この代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]を求める。
この代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]の求め方としては、下記処理の何れかが好ましい。
(1)代表点を含むローカルな範囲において、ＹＣｂＣｒそれぞれの重み付け平均値や単純平均値を算出する（局所平均処理）。
(2)代表点を含むローカルな範囲において、ＹＣｂＣｒそれぞれの中央値を算出する（局所中央処理）。
(2)代表点を含むローカルな範囲において、ＹＣｂＣｒそれぞれの統計平均値を算出する（統計平均処理）。
このように求めた代表点の３成分Ｙ[i,j]，Ｃｒ[i,j]，Ｃｂ[i,j]に基づいて、下式の信号Ｖ[i,j]を算出する。
Ｖ[i,j]＝Ｙ[i,j]＋|Ｃｒ[i,j]|+|Ｃｂ[i,j]|
なお、||は絶対値演算である。
ここで、|Ｃｒ[i,j]|，|Ｃｂ[i,j]|の重みｗ１，ｗ２を、画質評価実験やシミュレーションなどから適宜設定して、
Ｖ[i,j]＝Ｙ[i,j]＋ｗ１・|Ｃｒ[i,j]|+ｗ２・|Ｃｂ[i,j]|
としてもよい。この処理により代表点の信号Ｖからなる縮小画像が得られる。
なお、その他の処理については、第１〜第５の実施形態と同様であるため、ここでの重複説明を省略する。

［第７実施形態］
上述した実施形態では、合成信号Ｚ１を求める際に、ローカル信号ＶＬと信号Ｙとの重み係数α，βをデフォルト値（例えばα＝β＝０．５）に固定している。
しかしながら、この重み係数の比率α／βを積極的に可変することによって、階調変換後の画質を可変することができる。例えば、重み係数の比率α／βを大きくして、合成信号Ｚ１に占めるローカル信号ＶＬの割合を増やすと、階調変換後のコントラストは高くなる。逆に、重み係数の比率α／βを小さくして、合成信号Ｚ１に占めるローカル信号ＶＬの割合を減らすと、階調変換後のコントラストは低くなる。
第７実施形態では、この現象を利用することで、本発明における階調変換の処理工程に、画質の調整自由度を付加する。
まず、図１に示す表示制御部１０１は、階調変換後の画質を監視するための画像を、画像表示装置（モニタ画面など）に画像表示する。図１１は、この画像表示の一例を示す図である。ユーザは、この画像表示１１０を見ながら、マウスなどの入力デバイスなどを用いて画質調整バー１１１をＧＵＩ操作する。図１に示す入力部１０２は、この画質調整バー１１１のＧＵＩ操作に従って、重み係数α，βを変更する。この重み係数α，βの変更は、ゲイン生成部１４および階調変換部１５を経て、画像表示１１０の表示画像の画質に逐次に反映される。
したがって、ユーザは、この画像表示１１０が所望の画質となるように、重み係数α，βを手動調整することができる。
なお、その他の処理については、第１〜第６の実施形態と同様であるため、ここでの重複説明を省略する。

［第８実施形態］
第８実施形態では、重み係数α，βを、原画像の主要被写体の種類に応じて自動的に決定する。
すなわち、被写体判別部１０３は、原画像が人物を主要被写体とするか否かを、下記情報に基づいて判断する。
(1)ユーザによる被写体の選択入力
(2)原画像に付随する電子カメラの撮影情報（人物撮影モード／風景撮影モードなどの情報）
(3)原画像に対する被写体識別（公知の顔認識など）の結果
設定部１０４は、人物が主要被写体でない場合、重み係数の比率α／βを、人物が主要被写体の場合よりも大きく設定する。この設定変更の度合いについては、画質の主観評価などに基づいて予め設定しておくことが好ましい。
このような処理により、風景被写体の原画像では、階調変換後のコントラストを自動的に高め、風景の見栄えを一段と高めることが可能になる。また逆に、人物被写体の原画像では、階調変換後のコントラストを自動的にソフトにして、人物描写の自然さを高めることが可能になる。
なお、その他の処理については、第１〜第７の実施形態と同様であるため、ここでの重複説明を省略する。

［実施形態の補足事項］
なお、上述した実施形態では、階調変換装置、コンピュータまたは電子カメラを用いて、階調変換を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバー（画像アルバムサーバーなど）において、ユーザから伝送される画像データに対して、上述の階調変換方法をサービス提供してもよい。

また、上述した実施形態では、画面全体に対して階調変換を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画面の一部（主要被写体、陰影部、トリミング範囲、顔認識領域、人物や肌色領域を除いた背景部分など）に限って、階調変換を実施してもよい。

なお、上述した実施形態では、画素位置[i,j]の画素値から信号Zを求めている。しかしながら、実施形態はこれに限定されるものではない。例えば、画素位置[i,j]の極近傍の画素値から信号Zを求めてもよい。例えば、ＲＡＷデータでは、１画素ごとに全色が揃わないため極近傍の他色を加えて信号Ｚを生成してもよい。

また、上述した実施形態では、ゲインカーブの関数として予め定めておいたｋ（）を使用している。しかしながら、実施形態はこれに限定されるものではない。例えば、画像や撮像条件などに応じて、予め定めておいたｋ（）を適応的に選択または変更してもよい。

なお、上述した実施形態では、原画像の代表点について信号Ｖを求めることで、少ない処理負荷で縮小画像を生成している。しかしながら、実施形態はこれに限定されるものではない。例えば、原画像を信号変換して信号Ｖを求め、この信号Ｖの画像を画素数低減することで、信号Ｖからなる縮小画像を生成してもよい。

また、上述した実施形態において、クイックビュー画像を、本実施形態の縮小画像として利用することも好ましい。通常、画像の簡易表示用として、電子カメラ内やコンピュータ内では、高解像度画像の他にクイックビュー画像が作成される。また、原画像の画像ファイル内に予めクイックビュー画像が格納されている場合もある。このようなクイックビュー画像から信号Ｖの一成分画像を生成し、その一成分画像を補間拡大することによって、ローカル信号ＶＬを高速に算出することが可能になる。

なお、上述した実施形態では、縮小画像を原画像サイズまで拡大変倍することで、ローカル信号ＶＬを算出している。しかしながら、拡大後のサイズは、必ずしも原画像サイズと一致させなくてもよい。例えば、縮小画像を、原画像の縦１／Ｐ倍と横１／Ｑ倍のサイズまで拡大した場合には、拡大後の１画素分の信号Ｖを、縦Ｐ画素×横Ｑ画素分のローカル信号ＶＬとして採用することが可能である。

また、上述した実施形態では、拡大変倍前の縮小画像に対して、フィルタ処理を実施している。しかしながら、実施形態はこれに限定されるものではない。例えば、拡大変倍中や拡大変倍後にフィルタ処理を実施してもよい。

また、上述した実施形態において、ＶＬ[i,j]をそのまま使用すると、画像によっては過度に陰影が誇張される傾向がある。これは風景シーンなどの画像では、良好な印象効果が得られる。しかし、人物画像では、陰影が不自然に誇張されることで違和感が強くなる。

この場合、下式のように、ＶＬ[i,j]に、Y[i,j]の構造を含ませることによって、陰影の誇張を抑制する効果が得られる。
ＶＬ[i,j]＝Ｙ[i,j]×（１−γ）＋ＶＬ[i,j]×γ
（ただし、０＜γ＜１であり、画質評価実験やシミュレーションによって最適なγを決定することが好ましい）
このように、ＶＬ[i,j]にY[i,j]の構造を含ませることによって、陰影誇張の抑制だけでなく、輝度差の激しい箇所のハロー発生を抑える効果も確認されている。

［実施形態と特許文献１の差異について］
なお参考のため、上述した実施形態と特許文献１との差異について、説明する。
（１） 特許文献１は、イプシロンフィルタ値（高域の微小振幅成分）でゲインＦを制御している。一方、上述した実施形態は、画素の信号値と近傍領域の信号値の両方でゲインｋを制御する。この点で実施形態と特許文献１とは異なる。
（２） また、特許文献１は、カラー画像の対応について記載がない。一方、上述した実施形態は、カラー画像の複数色成分を合成して１つの信号面（例えば信号Ｖ，ＶＬなど）を作り、ゲインｋを制御する。この点で実施形態と特許文献１とは異なる。
（３） さらに、上述した実施形態では、２つの画素の信号Ｚ、近傍領域の信号ＶＬそれぞれを反映して、ゲインｋが変化する。この点でも実施形態と特許文献１とは異なる。
（４） また、上述した実施形態では、Ｚ＝Ｙ、ＶＬ＝ＶＬなどのバリエーションが可能である。この点でも実施形態と特許文献１とは異なる。
（５） さらに、上述した実施形態では、ローカル信号ＶＬを縮小画像から作成することも可能である。この点でも実施形態と特許文献１とは異なる。

［他の色座標系への適用について］
上述した実施形態では、ＹＣｂＣｒ表色系において、無彩色信号Ｙと、有彩色信号Ｃｂ，Ｃｒとした。ところで、実際の表色系では、これらに相当する無彩色や有彩色の信号成分が、様々な呼び名で呼ばれている。そのため、本信号は、これらの信号成分にそれぞれ置き換えて実施することが可能である。
ここで、代表的な表色系と、無彩色／有彩色との関係を下表に示す。したがって、本実施形態の無彩色信号Ｙおよび有彩色信号Ｃｂ，Ｃｒを、下表の例に従って置き換えることが可能である。

例えば、CIECAM02の座標系では、Ｙの代わりに明度Ｊを使用し、Ｃｒ，Ｃｂの代わりにクロマａｃ，ｂｃを使用することができる。同座標系の別表現では、Ｙの代わりに明るさＱを使用し、Ｃｒ，Ｃｂの代わりにカラフルネスａＭ，ｂＭを使用することもできる。また、IPT色座標系では、Ｙの代わりにＩを使用し、Ｃｒ，Ｃｂの代わりにP,Tを使用することもできる。

ここで、複数の有彩色信号Ｃ１，Ｃ２については、下式で定義されるＣに一旦置き換えてもよい。

この場合、上述したＶは、下記のように近似することができる。

さらに、上述した無彩色／有彩色の信号に限らず、画像信号を構成する信号成分から、無彩色に比較的近い（つまり無彩色と見なせる）信号を無彩色信号Ｚとし、無彩色に比較的遠い（つまり有彩色と見なせる）信号を有彩色信号Ｃ１，Ｃ２としてもよい。

以上説明したように、本発明は、階調変換装置などに利用可能な技術である。

階調変換装置の構成を示すブロック図である。 電子カメラの構成を示すブロック図である。 実施形態の動作を説明する流れ図である。 ローカル信号ＶＬの算出例を示す図である。 ゲインカーブの関数の一例を示す図である。 ゲインカーブの関数の一例を示す図である。 ゲインカーブの関数の一例を示す図である。 ゲインカーブの関数の一例を示す図である。 ゲインカーブの関数の一例を示す図である。 ローカル信号ＶＬの算出例を示す図である。 重み係数α，βのＧＵＩ操作を示す図である。

符号の説明

１１…階調変換装置，１２…信号取得部，１３…近傍処理部，１４…ゲイン生成部，１５…階調変換部，２１…電子カメラ，２３…撮像素子，２７…画像生成部

Claims (16)

1. 明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換装置であって、
   前記複数の画素のうちの第一画素もしくは該第一画素の第１近傍領域に含まれる第二画素が有する前記無彩色信号を無彩色信号値として抽出する信号抽出部と、
   前記第１近傍領域よりも広い範囲である第２近傍領域に含まれる第三画素が有する前記無彩色信号と前記有彩色信号とに基づいて、前記第一画素のローカル信号を生成する近傍処理部と、
   前記無彩色信号値と前記ローカル信号とに基づいて、前記第一画素の前記信号成分に対する変換ゲインを決定するゲイン決定部と、
   前記変換ゲインを前記第一画素の信号成分または該信号成分に基づく信号に乗ずることによって前記階調を変換する階調変換部と
   を備えたことを特徴とする階調変換装置。
2. 請求項１に記載の階調変換装置において、
   前記ゲイン決定部は、前記無彩色信号値と前記ローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、前記変換ゲインを決定する
   ことを特徴とする階調変換装置。
3. 請求項２に記載の階調変換装置において、
   前記ゲイン決定部は、前記無彩色信号値をＺ、前記ローカル信号をＶＬとしたとき、前記合成信号をＺ１とすると、
   Ｚ１＝β・Ｚ＋α・ＶＬ（ただし、α，βは重み係数）
   により前記合成信号を生成する
   ことを特徴とする階調変換装置。
4. 請求項３に記載の階調変換装置において、
   前記階調を変換した画像を表示制御する表示制御部と、
   前記重み係数を変更する変更部と
   を備えたことを特徴とする階調変換装置。
5. 請求項３に記載の階調変換装置において、
   前記画像が人物を主体とするか否かを判別する判別手段と、
   前記判別手段によって前記画像が人物を主体とすると判別されない場合は、前記重み係数の比率α／βを、前記画像が人物を主体とすると判別された場合に比べて大きくする変更部と
   を備えたことを特徴とする階調変換装置。
6. 請求項１に記載の階調変換装置において、
   前記近傍処理部は、前記第２近傍領域の前記無彩色信号をＺ、前記有彩色信号をＣ１，Ｃ２としたときに次式で表される信号Ｖに基づいて前記ローカル信号を求める
   Ｖ＝Ｚ＋ｗ１・｜Ｃ１｜＋ｗ２・｜Ｃ２｜（ただし、ｗ１，ｗ２は重み係数）
   ことを特徴とする階調変換装置。
7. 請求項１に記載の階調変換装置において、
   前記近傍処理部は、前記第２近傍領域の前記無彩色信号をＺ、前記有彩色信号をＣ１，Ｃ２としたときに、信号Ｖ＝Ｚ＋ｗ１・｜Ｃ１｜＋ｗ２・｜Ｃ２｜からなる縮小画像を生成し、該縮小画像が有する信号値に基づいて前記ローカル信号を生成する（ただし、ｗ１，ｗ２は重み係数）
   ことを特徴とする階調変換装置。
8. 請求項７に記載の階調変換装置において、
   前記近傍処理部は、前記画像を構成する画素のうちの間欠的な位置の画素を前記第一画素とし、該第一画素に関する前記信号Ｖからなる前記縮小画像を求め、該縮小画像を補間拡大して前記ローカル信号を求める
   ことを特徴とする階調変換装置。
9. 請求項７に記載の階調変換装置において、
   前記近傍処理部は、
   前記画像の前記信号Ｚ，Ｃ１，Ｃ２に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減し、低減後の信号Ｚ，Ｃ１，Ｃ２から前記信号Ｖを求めることで、前記信号Ｖからなる前記縮小画像を求め、
   前記縮小画像を補間拡大して前記ローカル信号を求める
   ことを特徴とする階調変換装置。
10. 請求項７に記載の階調変換装置において、
    前記近傍処理部は、
    前記画像から画素を間引いて間引き画像を求め、
    前記間引き画像の前記信号Ｚ，Ｃ１，Ｃ２に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減し、低減後の信号Ｚ，Ｃ１，Ｃ２から前記信号Ｖを求めることで、前記信号Ｖからなる前記縮小画像を求め、
    前記縮小画像を補間拡大して前記ローカル信号を求める
    ことを特徴とする階調変換装置。
11. 請求項７ないし請求項１０のいずれか１項に記載の階調変換装置において、
    前記画像から前記縮小画像への縮小倍率は１／８以下である
    ことを特徴とする階調変換装置。
12. 請求項７ないし請求項１０のいずれか１項に記載の階調変換装置において、
    前記近傍処理部は、前記縮小画像に対して所定のフィルタ処理を施し、フィルタ処理後の前記縮小画像を補間拡大して前記ローカル信号を求める
    ことを特徴とする階調変換装置。
13. コンピュータを、請求項１ないし請求項１２のいずれか１項に記載の階調変換装置として機能させるための階調変換プログラム。
14. 請求項１ないし請求項１２のいずれか１項に記載の階調変換装置と、
    被写体を撮像して画像を生成する撮像部とを備え、
    前記撮像部で生成された前記画像を、前記階調変換装置を用いて階調変換する
    ことを特徴とする電子カメラ。
15. 明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換方法であって、
    前記複数の画素のうちの第一画素もしくは該第一画素の第１近傍領域に含まれる第二画素が有する前記無彩色信号を無彩色信号値として抽出するステップと、
    前記第１近傍領域よりも広い範囲である第２近傍領域に含まれる第三画素が有する前記無彩色信号と前記有彩色信号とに基づいて、前記第一画素のローカル信号を生成するステップと、
    前記無彩色信号値と前記ローカル信号とに基づいて、前記第一画素の前記信号成分に対する変換ゲインを決定するステップと、
    前記変換ゲインを前記第一画素の信号成分または該信号成分に基づく信号に乗ずることによって前記階調を変換するステップと
    を備えたことを特徴とする階調変換方法。
16. 請求項１５に記載の階調変換方法において、
    前記変換ゲインの決定ステップは、前記無彩色信号値と前記ローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、前記変換ゲインを決定する
    ことを特徴とする階調変換方法。

Images