JP4992379B2 - 画像の階調変換装置、プログラム、電子カメラ、およびその方法 - Google Patents
画像の階調変換装置、プログラム、電子カメラ、およびその方法 Download PDFInfo
- Publication number
- JP4992379B2 JP4992379B2 JP2006285756A JP2006285756A JP4992379B2 JP 4992379 B2 JP4992379 B2 JP 4992379B2 JP 2006285756 A JP2006285756 A JP 2006285756A JP 2006285756 A JP2006285756 A JP 2006285756A JP 4992379 B2 JP4992379 B2 JP 4992379B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- gradation
- pixel
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 98
- 238000000034 method Methods 0.000 title claims description 39
- 238000012545 processing Methods 0.000 claims description 73
- 239000002131 composite material Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
O[i,j]=I[i,j]×F(R[i,j])・・・[100]
ただし、I[i,j]は、入力画像の画素値である。O[i,j]は、出力画像の画素値である。F()は、係数算出関数である。R[i,j]は、入力画像のイプシロンフィルタを施した画素値である。イプシロンフィルタは、入力画像から微小振幅成分を非線形に抽出し、この微小振幅成分を入力画像から減算する非線形フィルタである。
そこで、本発明の目的は、細部の階調調整に好適な変換ゲインマップを、少ない処理負荷で生成することである。
《1》 本発明の階調変換装置は、明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する装置であって、信号抽出部、近傍処理部、ゲイン決定部、および階調変換部を備える。
信号抽出部は、複数の画素のうちの第一画素もしくは該第一画素の第1近傍領域に含まれる第二画素が有する無彩色信号を無彩色信号値として抽出する。
近傍処理部は、第1近傍領域よりも広い範囲である第2近傍領域に含まれる第三画素が有する無彩色信号と有彩色信号とに基づいて、第一画素のローカル信号を生成する。
ゲイン決定部は、無彩色信号値とローカル信号とに基づいて、第一画素の信号成分に対する変換ゲインを決定する。
階調変換部は、変換ゲインを第一画素の信号成分または該信号成分に基づく信号に乗ずることによって階調を変換する。
《2》 なお好ましくは、ゲイン決定部は、無彩色信号値とローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、変換ゲインを決定する。
《3》 また好ましくは、ゲイン決定部は、無彩色信号値をZ、ローカル信号をVLとしたとき、合成信号をZ1とすると、Z1=β・Z+α・VL(ただし、α,βは重み係数)により合成信号を生成する。
《4》 なお好ましくは、表示制御部、および変更部を備える。
表示制御部は、階調を変換した画像を表示制御する。
変更部は、重み係数を変更する。
《5》 また好ましくは、判別手段、および変更部を備える。
判別手段は、画像が人物を主体とするか否かを判別する。
変更部は、判別手段によって画像が人物を主体とすると判別されない場合は、重み係数の比率α/βを、画像が人物を主体とすると判別された場合に比べて大きくする。
《6》 なお好ましくは、近傍処理部は、第2近傍領域の無彩色信号をZ、有彩色信号をC1,C2としたときに次式で表される信号Vに基づいてローカル信号を求める
V=Z+w1・|C1|+w2・|C2|(ただし、w1,w2は重み係数)
《7》 また好ましくは、近傍処理部は、第2近傍領域の無彩色信号をZ、有彩色信号をC1,C2としたときに、
信号V=Z+w1・|C1|+w2・|C2|(ただし、w1,w2は重み係数)
からなる縮小画像を生成する。近傍処理部は、この縮小画像が有する信号値に基づいてローカル信号を生成する。
《8》 なお好ましくは、近傍処理部は、画像を構成する画素のうちの間欠的な位置の画素を第一画素とし、該第一画素に関する信号Vからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《9》 また好ましくは、近傍処理部は、画像の信号Z,C1,C2に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減する。近傍処理部は、この低減後の信号Z,C1,C2から信号Vを求めることで、信号Vからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《10》 なお好ましくは、近傍処理部は、画像から画素を間引いて間引き画像を求める。近傍処理部は、この間引き画像の信号Z,C1,C2に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減する。近傍処理部は、この低減後の信号Z,C1,C2から信号Vを求めることで、信号Vからなる縮小画像を求める。近傍処理部は、この縮小画像を補間拡大してローカル信号を求める。
《11》 また好ましくは、画像から縮小画像への縮小倍率は1/8以下である。
《12》 なお好ましくは、近傍処理部は、縮小画像に対して所定のフィルタ処理を施す。近傍処理部は、このフィルタ処理後の縮小画像を補間拡大してローカル信号を求める。
《13》 本発明の階調変換プログラムは、コンピュータを、上記《1》に記載の階調変換装置として機能させるためのプログラムである。
《14》 本発明の電子カメラは、《1》ないし《12》のいずれか1項に記載の階調変換装置と、被写体を撮像して原画像を生成する撮像部とを備える。この電子カメラは、撮像部で生成された原画像を、階調変換装置を用いて階調変換する機能を備える。
《15》 本発明の階調変換方法は、明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換方法であって、下記のステップを備える。
(ステップ1)複数の画素のうちの第一画素もしくは該第一画素の第1近傍領域に含まれる第二画素が有する無彩色信号を無彩色信号値として抽出する。
(ステップ2)第1近傍領域よりも広い範囲である第2近傍領域に含まれる第三画素が有する無彩色信号と有彩色信号とに基づいて、第一画素のローカル信号を生成する。
(ステップ3)無彩色信号値とローカル信号とに基づいて、第一画素の信号成分に対する変換ゲインを決定する。
(ステップ4)変換ゲインを第一画素の信号成分または該信号成分に基づく信号に乗ずることによって階調を変換する。
《16》 なお好ましくは、変換ゲインの決定ステップは、無彩色信号値とローカル信号の合成信号を生成する。この場合、この合成信号を入力変数とする所定のゲインカーブの関数に基づいて、変換ゲインを決定する。
すなわち、第一画素(または第二画素)の値としては、無彩色信号Zを割り当てる。この無彩色信号Zは、原画像に元々含まれている信号成分のために生成の手間がかからず、原画像の画素数が多くなっても信号取得にかかる処理負荷を軽く済ませることができる。
《構成説明》
図1は、階調変換装置11の構成を示す図である。
図1において、階調変換装置11は、下記の構成要件を備える。
(1)信号取得部12・・階調変換装置11は、電子カメラ、通信媒体、および記憶媒体などを経由して、原画像を取り込む。信号取得部12は、この原画像の明るさを示す無彩色信号Zを得る。
(2)近傍処理部13・・原画像の各画素から近傍領域を抽出し、その近傍領域の画素を処理してローカル信号VLを得る。
(3)ゲイン生成部14・・各画素について、信号Zとローカル信号VLとから変換ゲインkを求める。
(4)階調変換部15・・原画像の各画素の信号と、各画素の変換ゲインkとを乗じて、階調変換を行う。(ここでの乗じるとは、原画像の信号を変換ゲインkに応じて増減変動させるという意味であり、算術的な乗算処理に限定されない)
(5)表示制御部101・・階調変換の処理結果を監視するための表示画像を作成し、画像表示装置へ逐次出力する。
(6)入力部102・・ユーザからの操作入力を、GUI(Graphical User Interface)などで受付け、その操作入力に応じて後述する重み係数α,βを変更する。
(7)被写体判別部103・・原画像が人物を主要被写体とするか否かを選択する。この選択は、ユーザ入力、原画像の付随情報(撮影時の撮影モードなどの情報)、および顔認識やシーン解析による被写体識別の結果の少なくとも一つに基づいて行われる。
(8)設定部104・・原画像が人物を主要被写体としない場合は、重み係数の比率α/βを、人物を主要被写体とする場合よりも大きく設定する。
上述した階調変換装置11は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置11をソフトウェア的に実現してもよい。
図2において、電子カメラ21には、撮影レンズ22が装着される。この撮影レンズ22の像空間側には、不図示の絞りやシャッターを介して、撮像素子23の撮像面が配置される。この撮像素子23から出力される画像信号は、A/D変換部24などを介した後、原画像として階調変換装置11に入力される。この階調変換装置11は、原画像に対して階調変換を施す。階調変換装置11から出力された画像信号は、画像処理部25を介して画像処理された後、記録部26に保存記録される。
また、階調変換装置11は、記録部26から記録済みの画像データを後から読み出して、階調変換を実施することも可能である。
なお、A/D変換部24と階調変換装置11との間に、画像生成部27を設けてもよい。この画像生成部27は、A/D変換部24の出力を、輝度色差信号(YCbCrなど)の原画像に変換して、階調変換装置11に与える。なお、撮像部23がBayer配列などの単板撮像素子の場合、画像生成部27は、A/D変換部24の出力を補間して輝度色差信号(YCbCrなど)を出力するものである。
図3は、第1実施形態の動作を説明する流れ図である。以下、図3に示すステップ番号にそって、第1実施形態の動作説明を行う。
一方、近傍処理部13は、原画像の座標位置[i,j]に、極近傍よりも広い範囲の近傍領域を定め、その近傍領域の画素に含まれるYCbCrを反映(例えば、平均、メディアン、イプシロンフィルタなどのフィルタ処理)するローカル信号VL[i,j]を生成する。
図4は、このローカル信号VLの算出例を示す図である。
まず、近傍処理部13は、所定のサンプリング間隔Mに従って、原画像の縦横M画素おきの代表点(画素)を定め、この代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]を求める。ただし、M≧2が好ましい。M≧8が更に好ましい。なお、縦横でMの値を変更してもよい。
この代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]の求め方としては、下記処理の何れかが好ましい。
(1)縦横M画素おきのサブサンプリング(間引き処理)
(2)代表点を含む局所的な範囲の画素の信号値YCbCrそれぞれの重み付け平均値や単純平均値を算出する(局所平均処理)。
(3)代表点を含む局所的な範囲の画素の信号値YCbCrそれぞれの中央値を算出する(局所中央処理)。
(4)代表点を含む局所的な範囲の画素の信号値YCbCrそれぞれの統計平均値を算出する(統計平均処理)。
このように求めた代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]に基づいて、下式の信号V[i,j]を算出する。
V[i,j]=Y[i,j]+|Cr[i,j]|+|Cb[i,j]|
なお、||は絶対値演算である。
ここで、|Cr[i,j]|,|Cb[i,j]|の重みw1,w2を、画質評価実験やシミュレーションなどから適宜設定して、
V[i,j]=Y[i,j]+w1・|Cr[i,j]|+w2・|Cb[i,j]|
としてもよい。この処理により代表点の信号Vからなる縮小画像が得られる。
なお、原画像の画素を間引き、間引き後の代表点のRGB値を用いて
V[i,j]=max(R[i,j],G[i,j],B[i,j])
としてもよい。この処理によっても代表点の信号Vからなる縮小画像が得られる。
また、原画像が、ベイヤー配列などのRAW画像の場合には、代表点の近傍範囲から信号成分を採集し、採集された信号成分から信号Vを求めてもよい。この処理によっても代表点の信号Vからなる縮小画像が得られる。
例えば、ここでの補間拡大には、バイキュービックやバイリニアなどの公知の補間処理技術が使用可能である。特に、バイキュービックは滑らかな補間画像を得る上で好ましい。なお、縮小画像を補間拡大する過程でローパスフィルタ処理を実施することにより、補間画像を適宜に平滑化してもよい。
この原画像サイズの画像は、原画像から微細構造を除去した信号Vの一成分画像である。この一成分画像の画素位置[i,j]の値を、VL[i,j]とする。
このローカル信号VLは、明るい近傍領域においては、大きな輝度信号Y(無彩色信号Z)の値を反映した大きな値となる。また、高彩度の近傍領域においては、大きな色差信号CrCb(有彩色信号C1,C2)の絶対値を反映した大きな値となる。逆に、暗くて低彩度の近傍領域では、小さな値となる。この傾向から、ローカル信号VLが極端に大きい近傍領域は、高輝度もしくは高彩度の箇所であり、白飛びや色飽和などの飽和現象を起こしやすい箇所であることが分かる。一方、ローカル信号VLが極端に小さい近傍領域は、低輝度かつ低彩度の箇所であり、画像構造が比較的目立たず、メリハリに乏しい箇所であることが分かる。
例えば、ゲイン生成部14は、信号Y[i,j]とローカル信号VL[i,j]とから、合成信号Z1[i,j]=(Y[i,j]+VL[i,j])/2を求める。
ここで、重み比率α,βを、画質評価実験やシミュレーションなどから適宜設定して、
合成信号Z1[i,j]=β・Y[i,j]+α・VL[i,j])
としてもよい。なお、β=1−α(ただし0<α<1)としてもよい。
ゲイン生成部14は、この合成信号Z1[i,j]を、ゲインカーブの関数k(Z1)に順次代入することにより、一画面分のゲインマップk[i,j]を求める。
このようにローカル信号VL[i,j]を考慮することにより、ローカル信号VL[i,j]が大きくて白飛びや色飽和を起こす箇所で、変換ゲインkを抑制して白飛びや色飽和を防止できる。また、ローカル信号VL[i,j]が極端に小さくて低輝度かつ低彩度の箇所において、変換ゲインkを大きくして細部の目立たない階調変化を強調できる。
図5は、このゲインカーブの関数k(Z1)の一例を示す図である。なお、図中では、入力変数Z1をxとして示している。
このk(Z1)では、Z1が小さい領域で最大ゲイン2〜10倍程度となり、Z1が増大するに従って減少する関数である。なお、ゲイン生成部14は、このゲインカーブの関数k(Z1)を、LUT(ルックアップテーブル)として記憶することが好ましい。この場合、ゲイン生成部14は、このLUTをデータ参照することによって、合成信号Z1から変換ゲインkを迅速に求めることができる。
Y′[i,j] =k[i,j]×Y[i,j]
Cr′[i,j]=k[i,j]×Cr[i,j]
Cb′[i,j]=k[i,j]×Cb[i,j]
このような処理により、階調変換後の画像Y′Cb′Cr′が得られる。
本実施形態では、画素自身(または極近傍)の値と、その画素の近傍領域の値とに基づいて、階調変換の変換ゲインkを決定する。その結果、変換対象の画素が、暗い近傍領域に位置する場合と、明るい近傍領域に位置する場合とで、変換ゲインkの値を異ならせるなど、画像全体の明暗バランスと、細部の階調の立ち方とをバランス良く両立させることが可能になる。
この場合、縮小画像の画素数は、原画像の画素数に対して(Mの2乗)分の1まで低減する。この縮小画像の画素数低減に伴って、信号VおよびVLの演算回数は大幅に低減される。その結果、原画像の全画素についてフィルタ処理を実施してローカル信号VLを算出するよりも、一段と少ない処理負荷でローカル信号VLを求めることが可能になる。
第2実施形態は、第1実施形態のステップS2の改良に関する。
すなわち、第2実施形態では、M画素おきの代表点の値Z[i,j]を、その近傍画素の値から求める。例えば、代表点[i,j]の近接rの範囲内において、下式の平均演算を実施して、縮小画像の信号V[i,j]とする。
縮小画像の信号値V[i,j]は、これに限らず、近傍領域の中央値や統計平均値でもよい。また、近傍領域内で値が所定値以上かけ離れた値を除いた上で、平均値を求めて信号値V[i,j]としてもよい。
通常、サンプルピッチMが小さい場合は、代表点の近傍で平均処理を行う必要性は少ない。しかし、サンプルピッチMがある程度大きくなると、このような平均処理をした方が、良好な結果が得られる。
なお、その他の処理については、第1実施形態と同様であるため、ここでの重複説明を省略する。
第3実施形態は、第1および第2実施形態のステップS2の改良に関する。
ここでは、縮小画像を求める過程で、ステップS2aとしてフィルタ処理を挿入する。例えば、フィルタ処理としては、次の局所オペレータを用いた局所積和演算が有効である。
このようなフィルタ処理は、縮小画像の拡大変倍だけではローカル信号VLの平滑化が不十分な場合に、有効な処理である。
なお、縮小画像に対しては、平滑化以外のフィルタ処理も有効である。
例えば、縮小画像に対して階調変換を実施してもよい。この処理により、縮小画像から生成されるローカル信号VLの階調特性を変化させることができる。これによって、ロール信号VLを反映する変換ゲインkの値を適宜に調整することが可能になる。
また例えば、縮小画像に対して、輪郭強調や輪郭抽出のような画像構造を変化させるフィルタ処理を実施してもよい。この処理により、変換ゲインkに画像構造の変化を反映させることが可能になる。
なお、その他の処理については、第1〜第2の実施形態と同様であるため、ここでの重複説明を省略する。
第1実施形態では、例えば図5に示すように、合成信号Z1が小さい場合に、ゲインkを大きくする。しかし、このようなゲインカーブの関数k(Z1)では、画像によっては暗部ノイズが強調されるなどの弊害が想定される。このように暗部ノイズが大きい場合や、画素値がゼロに近い部分をレベル抑圧した方が好ましい場合は、図6に示すように、合成信号Z1がゼロに近い領域で、ゲインkが1倍に近づけることが好ましい。
また、図5では、暗部の最大ゲインを4倍に設定しているが、図7に示すように、暗部の最大ゲインを任意に設定することが可能である。この場合、おおむね15倍以下の最大ゲインに設定することが好ましい。電子カメラやコンピュータで、階調圧縮の『強・中・弱』を選択可能にしておき、その選択結果に応じて図7に示す最大ゲインを切り換えてもよい。
なお、その他の処理については、第1〜第3の実施形態と同様であるため、ここでの重複説明を省略する。
上述した一種のダイナミックレンジ圧縮では、暗部の彩度が過度に高くなる場合がある。そのような場合は、下式のように色差成分の変換ゲインk[i,j]を、例えば図9に示すkC[i,j]に変更する。
Y′[i,j] =k[i,j]×Y[i,j]
Cr′[i,j]=kC[i,j]×Cr[i,j]
Cb′[i,j]=kC[i,j]×Cb[i,j]
なお、k(Z1)とkC(Z1)との関係は、画質主観評価などで実験的に決定することが好ましい。また、kC(Z1)もLUTとして記録しておくことが好ましい。
なお、その他の処理については、第1〜第4の実施形態と同様であるため、ここでの重複説明を省略する。
第6実施形態は、第1〜第5の実施形態のステップS2の改良に関する。
図10は、ローカル信号VLの算出例を示す図である。
この図10に示すように、近傍処理部13は、所定のサンプリング間隔に従って原画像の信号YCbCrを間引き、画素数を低減した間引き画像を得る。この間引き画像の画素数は、原画像と縮小画像の中間の画素数に設定される。
この間引き画像の所定間隔おきに代表点を定め、この代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]を求める。
この代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]の求め方としては、下記処理の何れかが好ましい。
(1)代表点を含むローカルな範囲において、YCbCrそれぞれの重み付け平均値や単純平均値を算出する(局所平均処理)。
(2)代表点を含むローカルな範囲において、YCbCrそれぞれの中央値を算出する(局所中央処理)。
(2)代表点を含むローカルな範囲において、YCbCrそれぞれの統計平均値を算出する(統計平均処理)。
このように求めた代表点の3成分Y[i,j],Cr[i,j],Cb[i,j]に基づいて、下式の信号V[i,j]を算出する。
V[i,j]=Y[i,j]+|Cr[i,j]|+|Cb[i,j]|
なお、||は絶対値演算である。
ここで、|Cr[i,j]|,|Cb[i,j]|の重みw1,w2を、画質評価実験やシミュレーションなどから適宜設定して、
V[i,j]=Y[i,j]+w1・|Cr[i,j]|+w2・|Cb[i,j]|
としてもよい。この処理により代表点の信号Vからなる縮小画像が得られる。
なお、その他の処理については、第1〜第5の実施形態と同様であるため、ここでの重複説明を省略する。
上述した実施形態では、合成信号Z1を求める際に、ローカル信号VLと信号Yとの重み係数α,βをデフォルト値(例えばα=β=0.5)に固定している。
しかしながら、この重み係数の比率α/βを積極的に可変することによって、階調変換後の画質を可変することができる。例えば、重み係数の比率α/βを大きくして、合成信号Z1に占めるローカル信号VLの割合を増やすと、階調変換後のコントラストは高くなる。逆に、重み係数の比率α/βを小さくして、合成信号Z1に占めるローカル信号VLの割合を減らすと、階調変換後のコントラストは低くなる。
第7実施形態では、この現象を利用することで、本発明における階調変換の処理工程に、画質の調整自由度を付加する。
まず、図1に示す表示制御部101は、階調変換後の画質を監視するための画像を、画像表示装置(モニタ画面など)に画像表示する。図11は、この画像表示の一例を示す図である。ユーザは、この画像表示110を見ながら、マウスなどの入力デバイスなどを用いて画質調整バー111をGUI操作する。図1に示す入力部102は、この画質調整バー111のGUI操作に従って、重み係数α,βを変更する。この重み係数α,βの変更は、ゲイン生成部14および階調変換部15を経て、画像表示110の表示画像の画質に逐次に反映される。
したがって、ユーザは、この画像表示110が所望の画質となるように、重み係数α,βを手動調整することができる。
なお、その他の処理については、第1〜第6の実施形態と同様であるため、ここでの重複説明を省略する。
第8実施形態では、重み係数α,βを、原画像の主要被写体の種類に応じて自動的に決定する。
すなわち、被写体判別部103は、原画像が人物を主要被写体とするか否かを、下記情報に基づいて判断する。
(1)ユーザによる被写体の選択入力
(2)原画像に付随する電子カメラの撮影情報(人物撮影モード/風景撮影モードなどの情報)
(3)原画像に対する被写体識別(公知の顔認識など)の結果
設定部104は、人物が主要被写体でない場合、重み係数の比率α/βを、人物が主要被写体の場合よりも大きく設定する。この設定変更の度合いについては、画質の主観評価などに基づいて予め設定しておくことが好ましい。
このような処理により、風景被写体の原画像では、階調変換後のコントラストを自動的に高め、風景の見栄えを一段と高めることが可能になる。また逆に、人物被写体の原画像では、階調変換後のコントラストを自動的にソフトにして、人物描写の自然さを高めることが可能になる。
なお、その他の処理については、第1〜第7の実施形態と同様であるため、ここでの重複説明を省略する。
なお、上述した実施形態では、階調変換装置、コンピュータまたは電子カメラを用いて、階調変換を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバー(画像アルバムサーバーなど)において、ユーザから伝送される画像データに対して、上述の階調変換方法をサービス提供してもよい。
VL[i,j]=Y[i,j]×(1−γ)+VL[i,j]×γ
(ただし、0<γ<1であり、画質評価実験やシミュレーションによって最適なγを決定することが好ましい)
このように、VL[i,j]にY[i,j]の構造を含ませることによって、陰影誇張の抑制だけでなく、輝度差の激しい箇所のハロー発生を抑える効果も確認されている。
なお参考のため、上述した実施形態と特許文献1との差異について、説明する。
(1) 特許文献1は、イプシロンフィルタ値(高域の微小振幅成分)でゲインFを制御している。一方、上述した実施形態は、画素の信号値と近傍領域の信号値の両方でゲインkを制御する。この点で実施形態と特許文献1とは異なる。
(2) また、特許文献1は、カラー画像の対応について記載がない。一方、上述した実施形態は、カラー画像の複数色成分を合成して1つの信号面(例えば信号V,VLなど)を作り、ゲインkを制御する。この点で実施形態と特許文献1とは異なる。
(3) さらに、上述した実施形態では、2つの画素の信号Z、近傍領域の信号VLそれぞれを反映して、ゲインkが変化する。この点でも実施形態と特許文献1とは異なる。
(4) また、上述した実施形態では、Z=Y、VL=VLなどのバリエーションが可能である。この点でも実施形態と特許文献1とは異なる。
(5) さらに、上述した実施形態では、ローカル信号VLを縮小画像から作成することも可能である。この点でも実施形態と特許文献1とは異なる。
上述した実施形態では、YCbCr表色系において、無彩色信号Yと、有彩色信号Cb,Crとした。ところで、実際の表色系では、これらに相当する無彩色や有彩色の信号成分が、様々な呼び名で呼ばれている。そのため、本信号は、これらの信号成分にそれぞれ置き換えて実施することが可能である。
ここで、代表的な表色系と、無彩色/有彩色との関係を下表に示す。したがって、本実施形態の無彩色信号Yおよび有彩色信号Cb,Crを、下表の例に従って置き換えることが可能である。
Claims (16)
- 明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換装置であって、
前記複数の画素のうちの第一画素もしくは該第一画素の第1近傍領域に含まれる第二画素が有する前記無彩色信号を無彩色信号値として抽出する信号抽出部と、
前記第1近傍領域よりも広い範囲である第2近傍領域に含まれる第三画素が有する前記無彩色信号と前記有彩色信号とに基づいて、前記第一画素のローカル信号を生成する近傍処理部と、
前記無彩色信号値と前記ローカル信号とに基づいて、前記第一画素の前記信号成分に対する変換ゲインを決定するゲイン決定部と、
前記変換ゲインを前記第一画素の信号成分または該信号成分に基づく信号に乗ずることによって前記階調を変換する階調変換部と
を備えたことを特徴とする階調変換装置。 - 請求項1に記載の階調変換装置において、
前記ゲイン決定部は、前記無彩色信号値と前記ローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、前記変換ゲインを決定する
ことを特徴とする階調変換装置。 - 請求項2に記載の階調変換装置において、
前記ゲイン決定部は、前記無彩色信号値をZ、前記ローカル信号をVLとしたとき、前記合成信号をZ1とすると、
Z1=β・Z+α・VL(ただし、α,βは重み係数)
により前記合成信号を生成する
ことを特徴とする階調変換装置。 - 請求項3に記載の階調変換装置において、
前記階調を変換した画像を表示制御する表示制御部と、
前記重み係数を変更する変更部と
を備えたことを特徴とする階調変換装置。 - 請求項3に記載の階調変換装置において、
前記画像が人物を主体とするか否かを判別する判別手段と、
前記判別手段によって前記画像が人物を主体とすると判別されない場合は、前記重み係数の比率α/βを、前記画像が人物を主体とすると判別された場合に比べて大きくする変更部と
を備えたことを特徴とする階調変換装置。 - 請求項1に記載の階調変換装置において、
前記近傍処理部は、前記第2近傍領域の前記無彩色信号をZ、前記有彩色信号をC1,C2としたときに次式で表される信号Vに基づいて前記ローカル信号を求める
V=Z+w1・|C1|+w2・|C2|(ただし、w1,w2は重み係数)
ことを特徴とする階調変換装置。 - 請求項1に記載の階調変換装置において、
前記近傍処理部は、前記第2近傍領域の前記無彩色信号をZ、前記有彩色信号をC1,C2としたときに、信号V=Z+w1・|C1|+w2・|C2|からなる縮小画像を生成し、該縮小画像が有する信号値に基づいて前記ローカル信号を生成する(ただし、w1,w2は重み係数)
ことを特徴とする階調変換装置。 - 請求項7に記載の階調変換装置において、
前記近傍処理部は、前記画像を構成する画素のうちの間欠的な位置の画素を前記第一画素とし、該第一画素に関する前記信号Vからなる前記縮小画像を求め、該縮小画像を補間拡大して前記ローカル信号を求める
ことを特徴とする階調変換装置。 - 請求項7に記載の階調変換装置において、
前記近傍処理部は、
前記画像の前記信号Z,C1,C2に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減し、低減後の信号Z,C1,C2から前記信号Vを求めることで、前記信号Vからなる前記縮小画像を求め、
前記縮小画像を補間拡大して前記ローカル信号を求める
ことを特徴とする階調変換装置。 - 請求項7に記載の階調変換装置において、
前記近傍処理部は、
前記画像から画素を間引いて間引き画像を求め、
前記間引き画像の前記信号Z,C1,C2に対して、所定の間隔ごとに局所平均、局所中央、およびその他の統計平均からなる群のいずれかの演算処理を施して画素数を低減し、低減後の信号Z,C1,C2から前記信号Vを求めることで、前記信号Vからなる前記縮小画像を求め、
前記縮小画像を補間拡大して前記ローカル信号を求める
ことを特徴とする階調変換装置。 - 請求項7ないし請求項10のいずれか1項に記載の階調変換装置において、
前記画像から前記縮小画像への縮小倍率は1/8以下である
ことを特徴とする階調変換装置。 - 請求項7ないし請求項10のいずれか1項に記載の階調変換装置において、
前記近傍処理部は、前記縮小画像に対して所定のフィルタ処理を施し、フィルタ処理後の前記縮小画像を補間拡大して前記ローカル信号を求める
ことを特徴とする階調変換装置。 - コンピュータを、請求項1ないし請求項12のいずれか1項に記載の階調変換装置として機能させるための階調変換プログラム。
- 請求項1ないし請求項12のいずれか1項に記載の階調変換装置と、
被写体を撮像して画像を生成する撮像部とを備え、
前記撮像部で生成された前記画像を、前記階調変換装置を用いて階調変換する
ことを特徴とする電子カメラ。 - 明るさに関する無彩色信号と色に関する有彩色信号からなる信号成分を有する複数の画素から生成される画像の階調を変換する階調変換方法であって、
前記複数の画素のうちの第一画素もしくは該第一画素の第1近傍領域に含まれる第二画素が有する前記無彩色信号を無彩色信号値として抽出するステップと、
前記第1近傍領域よりも広い範囲である第2近傍領域に含まれる第三画素が有する前記無彩色信号と前記有彩色信号とに基づいて、前記第一画素のローカル信号を生成するステップと、
前記無彩色信号値と前記ローカル信号とに基づいて、前記第一画素の前記信号成分に対する変換ゲインを決定するステップと、
前記変換ゲインを前記第一画素の信号成分または該信号成分に基づく信号に乗ずることによって前記階調を変換するステップと
を備えたことを特徴とする階調変換方法。 - 請求項15に記載の階調変換方法において、
前記変換ゲインの決定ステップは、前記無彩色信号値と前記ローカル信号の合成信号を生成し、該合成信号を入力変数とする所定のゲインカーブの関数に基づいて、前記変換ゲインを決定する
ことを特徴とする階調変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006285756A JP4992379B2 (ja) | 2005-10-24 | 2006-10-20 | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005308385 | 2005-10-24 | ||
JP2005308385 | 2005-10-24 | ||
JP2006285756A JP4992379B2 (ja) | 2005-10-24 | 2006-10-20 | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007151094A JP2007151094A (ja) | 2007-06-14 |
JP4992379B2 true JP4992379B2 (ja) | 2012-08-08 |
Family
ID=38211883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006285756A Expired - Fee Related JP4992379B2 (ja) | 2005-10-24 | 2006-10-20 | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4992379B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4996563B2 (ja) * | 2008-08-21 | 2012-08-08 | 株式会社リコー | 画像処理装置、画像処理方法、画像形成装置、プログラムおよび記録媒体 |
JP5208799B2 (ja) * | 2009-02-13 | 2013-06-12 | オリンパス株式会社 | 撮像システム、映像信号処理プログラム、および撮像方法 |
JP6060498B2 (ja) * | 2012-02-29 | 2017-01-18 | 株式会社ニコン | 補正装置 |
JP6485068B2 (ja) | 2014-02-05 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3913356B2 (ja) * | 1998-03-17 | 2007-05-09 | 富士フイルム株式会社 | 画像処理方法 |
JP2003060980A (ja) * | 2001-08-21 | 2003-02-28 | Olympus Optical Co Ltd | 画像処理システム |
JP2003348616A (ja) * | 2002-05-30 | 2003-12-05 | Mega Chips Corp | データ変換装置、データ転送システムおよびデジタルカメラ |
JP4214457B2 (ja) * | 2003-01-09 | 2009-01-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
-
2006
- 2006-10-20 JP JP2006285756A patent/JP4992379B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007151094A (ja) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
EP1302898B1 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
JP5251637B2 (ja) | ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体 | |
KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
JP4526445B2 (ja) | 撮像装置 | |
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
JP3828251B2 (ja) | 映像のダイナミックレンジ拡大装置 | |
CN100366052C (zh) | 图像处理设备和方法 | |
US8526057B2 (en) | Image processing apparatus and image processing method | |
JP4810473B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2007049540A (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
JP2008205691A (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
EP1931134A1 (en) | Imaging device | |
JP4479527B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
JP2005204195A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2009071621A (ja) | 画像処理装置及びデジタルカメラ | |
CN110599418A (zh) | 一种变换域融合的全局色调映射方法 | |
JP4992379B2 (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
JP2007180851A (ja) | Raw画像の階調変換装置、プログラム、方法、および電子カメラ | |
JP2020145553A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5410378B2 (ja) | 映像信号補正装置および映像信号補正プログラム | |
JP2004221645A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JPH07193766A (ja) | 画像情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120410 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120423 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4992379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |