JP4002863B2 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP4002863B2 JP4002863B2 JP2003179877A JP2003179877A JP4002863B2 JP 4002863 B2 JP4002863 B2 JP 4002863B2 JP 2003179877 A JP2003179877 A JP 2003179877A JP 2003179877 A JP2003179877 A JP 2003179877A JP 4002863 B2 JP4002863 B2 JP 4002863B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficient
- image
- saturation enhancement
- saturation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 238000003672 processing method Methods 0.000 title claims description 18
- 230000002708 enhancing effect Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000004040 coloring Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002542 deteriorative effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 1
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は画像処理システム及び画像処理方法に関するものである。
【0002】
【従来の技術】
電子カメラなどで撮影された画像は、しばしばその彩度を強調する画像処理が自動的になされる。一般に画像を見る場合、撮影被写体の色に忠実な画像は実際より地味に感じられ、特殊な用途を除いては鮮やかに強調されたものが好まれやすいからである。カメラ内部でこのような画像処理が自動的におこなわれ処理済み画像を出力することもあれば、ほとんど未処理の画像をカメラからパソコンで読み込んで、自動的に画像処理を施して画面に表示するような場合もある。どちらの場合も、彩度強調は、単純に固定係数を掛けるという方法が最も簡単であるが、全ての場合に同じ処理をすると不都合が出てくることがある。
【0003】
例えば、撮影条件により画像にノイズが載ることがある。このような場合、大きな強調量で彩度強調を掛けると、ノイズも同時に強調されてかえって見栄えが悪くなってしまう。これに対して例えば特開平6−124329号公報では特に彩度が低い領域の強調を押さえ、混じり込んでいた別の色が強調されて特異領域となるのを避けている。
【0004】
また、特開2001−311867号公報では、クローズアップモードやソフトフォーカスモードの選択状況や撮影距離の関係から被写体や撮影状況を推定し、彩度強調などの処理内容を変更している。
【0005】
【特許文献1】
特開平6−124329号公報
【0006】
【特許文献2】
特開2001−311867号公報
【0007】
【発明が解決しようとする課題】
第1の課題として以下の事項が挙げられる。すなわち、従来例は特に撮像系のノイズ特性を考慮したものではない。撮像素子とそれに付随するアナログ回路で発生するノイズは、ホワイトノイズ特性に近い特性を有するが、そのレベルはRGBの各輝度に依存するため、一概に低彩度領域ほど彩度強調時にノイズが目立ちやすいとはいえない。また撮影条件たとえば撮影感度によってもノイズレベルは大きく変わり、悪条件ではすべての彩度領域でノイズが目立ちやすくなる。
【0008】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、撮像系のノイズ特性を考慮して彩度強調を行うことにより、ノイズの強調で見栄えを損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法を提供することにある。
【0009】
また、第2の課題として以下の事項が挙げられる。すなわち、ホワイトバランスがずれ、無彩色の色づきや画像全体の色相のずれが発生することがあるが、このような場合、強い彩度強調を行うと全体の色合いが大きくずれてしまい、却って見栄えが悪くなる場合がある。従来例ではこの問題に対する具体的な対策について何ら考慮していない。
【0010】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、ホワイトバランスがずれているときに、画像全体の色相ずれの拡大で見栄を損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法を提供することにある。
【0011】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第1の態様に係る画像処理システムは、ホワイトバランス係数を用いて画像のホワイトバランスを行うとともに、画像の彩度を強調することが可能な画像処理システムであって、RGB信号で表される画像において、RとGの比率及びBとGの比率が所定の範囲内であるか否かで定まるホワイトバランス判定情報、および前記ホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、を具備する。
【0012】
また、本発明の第2の態様に係る画像処理システムは、第1の態様において、前記係数決定部は、前記ホワイトバランス係数の値が所定値未満で、かつRとGの比率及びBとGの比率が所定の範囲外である場合には、前記ホワイトバランス係数の値が書体値未満で、かつRとGの比率及びBとGの比率が所定の範囲内である場合よりも、小さい彩度強調係数を選択する。
【0013】
また、本発明の第3の態様に係る画像処理方法は、ホワイトバランス係数を用いて画像のホワイトバランス処理を行うとともに、画像の彩度を強調することが可能な画像処理方法であって、画像処理システムが、RGB信号で表される画像において、RとGの比率及びBとGの比率が所定の範囲内であるか否か、およびホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、を具備する。
【0022】
【発明の実施の形態】
(第1の実施の形態)
[構成]
図1は、本発明の第1の実施の形態に係る画像処理システムの構成を示す図であり、被写体を撮像する撮像系101には、撮像系101からの画像に対してアナログ処理やA/D変換を行う初期信号処理部102と、画像信号を一時的に記憶する画像用バッファ103と、補間処理部104と、ホワイトバランス(WB)処理部105と、色空間変換部106と、彩度強調部107と、色空間逆変換部108と、この色空間逆変換部108からの出力に対して圧縮等の後処理を行う後処理部109とが順に接続されている。後処理部109からの出力信号は図示せぬ記録系に供給される。
【0023】
画像用バッファ103は測光評価部110へも接続され、測光評価部110は撮像系101へ接続されている。初期信号処理部102とWB処理部104とはマイクロコンピュータなどの制御部121にも双方向に接続される。制御部121の信号は彩度強調部107にも送られる。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードなどの切り替えを行うためのインターフェースを備えた外部I/F部122が制御部121に双方向に接続されている。
【0024】
[作用]
以下に、上記した構成の作用を信号の流れに従って説明する。操作者が外部I/F部122を介してISO感度などの撮影条件を設定した後、同外部I/F部122を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。撮像系101で撮影された画像信号は、初期信号処理部102でアナログ信号として読み出されて増幅された後、デジタル信号へ変換されて画像用バッファ103へ転送される。画像用バッファ103内の画像信号は、測光評価部110へ転送される。
【0025】
測光評価部110では、設定されたISO感度やシャッター速度などを加味して画像内の輝度レベルから適正露光を算出し、撮像系101内の絞りや電子シャッター速度や初期信号処理部102での信号増幅率などを制御する。
【0026】
操作者が外部I/F部122を介してシャッターボタンを全押しにすることにより本撮影が行われ、画像信号はプリ撮像と同様に画像用バッファ103へ転送される。本撮影は、測光評価部110にて求められた露光条件に基づき行われ、撮影時の条件は制御部121へ転送される。画像用バッファ103内の画像信号は、補間処理部104でR、G、Bの3つの画像信号に分けられて補間処理が施されWB処理部105へ転送される。WB処理部105では画像内の無彩色のRGB比が適切な値になるようなWB係数を算出する。
【0027】
また、WB処理部105は、外部I/F部122を介して撮影前に設定され制御部121に転送されていたWB設定に基づき、画像のRGB信号に算出したWB係数を乗算して、色空間変換部106に転送する。またWB係数の情報は制御部121に転送される。色空間変換部106ではRGBの3画像信号を所定の色空間、例えばYCbCr空間の3画像信号Y,Cb,Crに変換する。Y,Cb,Crは次式で計算される。
【0028】
Y=0.299R+0.587G+0.114B
Cb=0.169R−0.331G+0.500B (1)
Cr=0.500R−0.419G−0.081B
これによりRGB信号は輝度成分Yと色成分Cb,Crとに分離される。次の彩度強調部107では色成分Cb,Crに所定の係数を適用することで彩度強調をおこない、色空間逆変換部108で再びYCbCr空間からRGB空間の信号へ戻す。処理後の画像信号は後処理部109へ転送され、後処理部109で公知の圧縮処理などが施されメモリーカードなどに記録保存される。
【0029】
図2は図1の彩度強調部107の一構成例を示す図であり、図1と同じものには同じ番号を付けてある。図2に示すように彩度強調部107は係数決定部201と、係数適用部202とからなる。係数決定部201は制御部121からISO感度情報を取得し、これに応じた彩度強調係数を決定する。係数適用部202は色空間変換部106から入力されたCb,Cr信号に対し、係数決定部201で決定された彩度強調係数kを乗算することで彩度強調処理をおこない、色空間逆変換部108へ出力する。なおここで用いる彩度とは、C=(Cb2+Cr2)1/2 で表される量Cを指し、彩度強調はCに係数kを乗算することを意味する。これは実質的にCb,Crにそれぞれ係数を乗算することと同じである。すなわち彩度強調後の信号Cb′,Cr′は
Cb′=k×Cb
Cr′=k×Cr (2)
となる。このとき元のR,G,Bに撮像系に起因するランダムノイズが載っていると、Cb,Crにもノイズ(色ノイズ)が載ることになり、Cb,Crが係数倍されることでノイズも係数倍されてしまう。
【0030】
ここで、ノイズに関して図3を用いて説明する。図3は信号値レベルに対するノイズ量の変化の様子をISO感度別にプロットしたものである。ノイズ量は信号値レベルのべき乗の関数に定数項が加算された式で表現でき、信号値レベルをL、ノイズ量をNとすると、
N=αLβ+γ (3)
の式により近似できる。ここではα、β、γはISO感度によって変化する。
【0031】
ノイズ量は図3に示すように、R、G、Bそれぞれにおいて信号レベルLに応じて変化し、またISO感度が大きいほど多くなる。そのため例えばISO80で撮影し彩度強調しても問題ない場合であっても、ISO320では色ノイズが目立ってしまうという現象があり得る。
【0032】
そこで図2の係数決定部201は図4に示すようなテーブルを保持しており、制御部121からISO感度情報を取得したときに当該テーブルを参照して、取得したISO感度情報に応じた彩度強調係数k(k0,k1,k2のいずれか)を選択する。ここでk0は標準の係数であり例えば1.4、k1はk0よりやや小さい係数であり例えば1.3、k2はさらに小さい係数であり例えば1.1である。kを1.0にすれば彩度強調を無効にすることができる。
【0033】
上記構成によりノイズ量が多いときは彩度強調を弱めにして、色ノイズが目立つのを避けることができる。
【0034】
以下に、上記した第1の実施の形態の変形例について述べる。第1の実施の形態では彩度強調係数kが定数(画像内では一定)の場合について説明したが、kは画像信号によって変化するものであっても良い。
【0035】
図5は、本変形例について説明するための図である。図5は、図2と同様に彩度強調部107の一構成例を示しているが、ここでは色空間変換部106の出力である3画像信号Y,Cb,Crは係数適用部202のみならず係数決定部211にも入力される点が異なっている。
【0036】
係数決定部211はY,Cb,Crの関数f(Y,Cb,Cr)として、ここでは図6(a)に示すような3種類の関数f0,f1,f2を保持している。そして、係数決定部211は、制御部121からのISO感度情報に応じて関数f0,f1,f2のうちから適切な関数fを選択して、入力される3画像信号Y,Cb,Crを用いて彩度強調係数k0=f0(Y,Cb,Cr)、k1=f0(Y,Cb,Cr)またはk2=f0(Y,Cb,Cr)を算出することにより彩度強調係数kを決定する。
【0037】
図6(b)は関数の代わりにルックアップテーブル(以下LUTと表記する)を用いて彩度強調係数を決定する例を説明するための図である。すなわち、係数決定部211は、制御部121からのISO感度情報に応じてLUT0,LUT1,LUT2のうちから適切なLUTを選択して彩度強調係数k0、k1あるいはk2を決定する。
【0038】
このような方法により関数やLUTを変更することで、ノイズが多いときのみノイズの目立ちやすい色相や輝度をもつ画素の彩度強調係数を小さくするといったことも可能である。またISO感度に応じて補正係数を選択し、これを関数やLUTにより決定した係数に乗算して最終的な係数kとしてもよい。これは例えばLUTを使用するがLUTを複数持つのが困難な場合に有用である。
【0039】
なお本実施の形態例では彩度強調をおこなう色空間としてYCbCrを用いたが、当然L*a*b*のような均等色空間や、変換時の計算式を簡略化した他の色空間であっても良い。
【0040】
また本実施の形態では係数適用部202で係数を単純に乗算することで彩度強調を行っているが、係数適用の方法は乗算に限らず、加減算や高次関数の形で適用しても良い。
【0041】
(第2の実施の形態)
第1の実施の形態ではISO感度に応じて彩度強調を変更する実施の形態を説明したが、以下に述べる第2の実施の形態ではホワイトバランス(以下WBと表記する)係数に応じて彩度強調を変更することを特徴とする。
【0042】
本実施の形態では図2および図5の係数決定部への入力信号と動作が異なる以外は、全体の構成および彩度強調部の構成は図1、図2、図5と同じであるので、構成の説明を省略する。
【0043】
ここでは図2と図7を用いて、係数決定部の作用を説明する。図2における係数決定部201は図7に示すようなテーブルを保持しており、制御部121からWB係数情報を取得したときに当該テーブルを参照して、取得したWB係数情報に応じた彩度強調係数を選択する。すなわち、ここではWB係数が所定値未満の場合にはk0(標準)(例えば1.3)を選択し、所定値以上の場合にはk1(小)(例えば1.0)を選択して彩度強調を弱くする。
【0044】
以下に図8(a)、(b)を参照してこの理由について説明する。WB係数が非常に大きいときは往々にしてWBが十分でなかったり、白色はよくても他の色にずれがでてくることがある。WBは画面全体あるいは画面内の無彩色に近い箇所のRGB値を平均し、RGB比が1になるようにするため、画面内に非常に彩度の高いものがある場合や無彩色のものがない場合などにうまくいかないことがある。
【0045】
図8(a)、(b)はWBのずれと彩度強調の関係を示している。図8(a)はWBが正常に機能した画像のいくつかの色を示したもので、グラフの横軸に第1の実施の形態で説明した色信号Cr、縦軸に色信号Cbをとっている。記号A0〜A5が付された黒のひし形は元の色のCbCr座標を示し、記号A′0〜A′5が付された白のひし形はこれに彩度強調をおこなった時のCbCr座標を示す。A0が無彩色点であり、彩度強調しても座標はほとんど変わらず、例えばA0、A′0は原点O上にとどまる。また画像全体として鮮やかになるが、色合いはあまり変わらない。
【0046】
一方、図8(b)はWBがずれている場合の色座標で、記号B0〜B5が付された黒の四角は元の色のCbCr座標を示し、記号B′0〜B′5が付された白の四角は、これに彩度強調をおこなった時のCbCr座標を示す。図8(b)では無彩色点B0が原点Oからずれているほか、画像全体の座標が片寄っており、彩度強調によりそのずれが大きくなっている。そのため画像全体が色づいて見えるようになる。したがってホワイトバランスに大きなずれがあるときには、あまり彩度強調量を大きくしない方がよい。そこで本実施の形態ではWB係数が所定の値以上のときには図7に示す表からk1の彩度強調係数を選択して彩度強調を弱くする。
【0047】
上記構成により、WBがずれているときには彩度強調を弱くして、画像の色づきが大きくなりすぎ見栄えが悪くなるのを防ぐことができる。なお本実施の形態でも、図5のように画像のY,Cb,Cr値から適応的に彩度強調係数を決定するような時に、係数kを直接選択する代わりに関数やLUTや補正係数を選択するようにしても良い。
【0048】
(第3の実施の形態)
第3の実施の形態ではホワイトバランス(WB)係数とISO感度の両方に応じて彩度強調を変更することを特徴とする。
【0049】
本実施の形態では図2および図5の係数決定部への入力信号と動作が異なる以外は、全体の構成および彩度強調部の構成は図1、図2、図5と同じであるので、構成の説明を省略する。
【0050】
以下に図2と図9を用いて本実施の形態に係る係数決定部の作用を説明する。図2に示す係数決定部201は図9に示すようなテーブルを保持しており、制御部121からWB係数情報とISO感度情報とを取得したときに当該テーブルを参照して、取得したWB係数情報及びISO感度情報の値に応じた彩度強調係数を選択する。すなわち、まずWB係数が所定値以上の場合にはISO感度にかかわらず小さな係数k(ここではk3)を選択する。一方、WB係数が所定値未満の場合にはISO感度(ISO80、ISO160、ISO320)に応じて彩度強調係数kを選択する。すなわち、ISO80の場合には標準の係数k0を選択し、ISO160の場合には中位の彩度強調係数k1を選択し、ISO320の場合には小さい彩度強調係数k2を選択する。
【0051】
上記構成により、WBがずれているとき、あるいはノイズ量が多いときは彩度強調を弱くし、画像の色づきが大きくなりすぎたりノイズが目立ったりして見栄えを損なうのを防ぐことができる。
【0052】
さらに、第3実施の形態では、まずWB係数が所定値以上か、所定値未満かを判断したが、まずISO感度が所定値以上か、所定値未満かを判断し、ISO感度が所定値未満のときにWB係数の大きさに応じて彩度強調係数kを決定するようにしてもよい。
【0053】
(第4の実施の形態)
第2の実施の形態ではWB係数に応じて彩度強調を変更する実施の形態を示したが、以下に述べる第4の実施の形態ではホワイトバランスのずれの有無を示すWB判定情報(ホワイトバランスの信頼度)に応じて彩度強調を変更する。
【0054】
本実施の形態では全体の構成および彩度強調部の構成は図1、図2、図5と同じであるので、構成の説明を省略する。本実施の形態では、図1に示すWB処理部105から制御部121への出力信号と動作、図2および図5の係数決定部201、211への入力信号と動作が異なっている。
【0055】
すなわち、WB処理部105は、撮影前に設定され制御部121に転送されていたWB設定がプリセットモードであれば、あらかじめ保持しているプリセット値をWB係数として選択する。WB設定がオートモードであれば自動でWB係数を算出する。プリセットモードで選択された、あるいはオートモードで算出されたWB係数は制御部121に転送されるとともに、画像のRGB信号に乗算され、その後、色空間変換部106に転送される。またWB処理部105はWB判定情報をWB係数とともに制御部121へ転送する。図2の係数決定部201または図5の係数決定部211は、制御部121よりWB判定情報とWB係数を取得し、取得したWB判定情報とWB係数に応じた彩度強調係数を選択する。
【0056】
以下に図10を用いてWB係数の自動算出について説明する。まず画像のRGB信号から、RとGとの比率(以下、R/Gと記す)と、BとGとの比率(以下、B/Gと記す)と、輝度とを求めて、R/GとB/Gと輝度が所定の範囲内(図10の白判定エリア500内)であれば白と判定し、白と判定された画素に関してのR/G平均値とB/G平均値を算出してWB係数とする。
【0057】
ここで白が存在しない画像や、算出したWB係数が図10のA点のように白判定エリアから外れる場合には、あらかじめ保持されている複数のプリセット値(ここでは白判定エリア内500にあるプリセット値P1〜P5のうち、色温度近似線501よりも右側にあるプリセット値P1,P2,P3)のいずれかをWB係数として選択する。どのプリセット値を選択するかは白判定エリアからどの方向に外れているかによって決めるようにしてもよい。
【0058】
白が存在しない画像や、算出したWB係数が図10のA点のように白判定エリアから外れる場合、ホワイトバランスの効果は十分でなくずれている場合がある。そこでWB処理部105は、算出したWB係数を使用するときは標準であることを示す値(例えば0)をWB判定情報として制御部121へ転送し、算出したWB係数判定結果からプリセット値が選択されたときには非標準であることを示す値(例えば1)をWB判定情報として制御部121へ転送する。
【0059】
以下に図2と図11を用いて、係数決定部の作用を説明する。図2に示す係数決定部201は図11に示すようなテーブルを保持しており、制御部121からWB係数およびWB判定情報を取得したときに当該テーブルを参照して、取得したWB係数およびWB判定情報の値に応じた彩度強調係数を選択する。すなわち、WB係数が所定値以上の場合にはWB判定情報にかかわらず最も小さい彩度強調係数k2(例えば1.0)を選択する。また、WB係数が所定値未満の場合にはWB判定情報に基づいて彩度強調係数kを選択する。すなわち、WB判定が標準である場合には標準の彩度強調係数k0(例えば1.3から1.4)を選択し、WB判定が非標準である場合にはやや小さい彩度強調係数k1(例えば1.1)を選択する。このように、WB係数が所定の値未満であってもWB判定情報が非標準(値1)のときには、彩度強調係数kを小さくする。
【0060】
上記構成によれば、WB係数だけでなくWB判定情報を取得して、WBがずれているときには彩度強調を弱くする事で、画像の色づきが大きくなりすぎ見栄えを損なうのを防ぐことができる。なお本実施の形態でも、図5のように画像のY,Cb,Cr値から適応的に彩度強調係数を決定するような時に、係数kを直接選択する代わりに関数やLUTや補正係数を選択してもよい。
【0061】
また、上記したように、まずWB係数が所定値未満かどうかを判断した上でWB判定を行うのではなく、WB判定のみで彩度強調係数kを決定するようにしてもよい。
【0062】
(第5の実施の形態)
第4の実施の形態ではWB判定情報に応じて彩度強調を変更する例を示したが、以下に述べる第5の実施の形態では、彩度強調部がホワイトバランスのずれの有無を判定するWB判定部を備え、WB判定結果とWBモードとWB係数に応じて彩度強調を変更するようにする。
【0063】
本実施の形態では全体の構成は図1と同じであるので説明を省略するが、彩度強調部107の構成が異なるので以下に説明する。
【0064】
図12は本実施の形態の彩度強調部107の構成を示しており、係数適用部202、係数決定部311に加えて、WB判定部312をさらに有している。図12において図2、図5と同じものには同じ番号が付されている。
【0065】
図12において、色空間変換部106からの画像信号は係数適用部202及びWB判定部312に入力される。係数決定部311は制御部121、係数適用部202およびWB判定部312に接続され、WB判定部312の出力と制御部121から取得したWBモード及びWB係数に応じた彩度強調係数を決定する。
【0066】
WB判定部312はCb,Crの平均値Cb0,Cr0をとり、その結果を係数決定部311に送る。WB処理が働いていればCb0,Cr0は0に近い。しかし第4の実施の形態で説明したようにオートモードでプリセット値が選択された場合、Cb,Crの平均値Cb0、Cr0は0からずれている。そこでCb0、Cr0のいずれかが所定の値以上の場合は非標準状態と判定する。
【0067】
係数決定部311は図13に示すようなテーブルを保持しており、制御部121からWBモード及びWB係数、及びWB判定部312からWB判定結果を取得したときに当該テーブルを参照して、取得した情報に応じた彩度強調係数を選択する。すなわち、まずWBモードがプリセットかオートモードかを判断し、プリセットの場合には、WB係数及びWB判定結果にかかわらず標準の彩度強調係数k0を選択する。また、オートモードの場合にはWB係数が所定値未満であるか所定値以上かを判断し、WB係数が所定値以上の場合にはWB判定結果にかかわらず小さい彩度強調係数k2を選択する。さらに、オートモードでWB係数が所定値未満の場合にはWB判定が標準か非標準化を判断し、標準のときには標準の彩度強調係数k0を選択し、非標準のときには小さい彩度強調係数k1を選択する。
【0068】
このように、WBモードがオートモードでWB係数が所定値以上の場合、あるいはWBモードがオートモードでWB係数が所定値未満であり、かつWB判定が非標準の場合には彩度強調係数を小さくする。
【0069】
上記構成によれば、WB判定部312での判定結果と、WBモードおよびWB係数の情報からWBがずれているか否かを判定し、ずれの度合いが大きい場合には彩度強調を弱くする事で、画像の色づきが大きくなりすぎ見栄えを損なうのを防ぐことができる。
【0070】
なお本実施の形態でも、図5のように画像のY,Cb,Cr値から適応的に彩度強調係数を決定する時は、係数kを直接選択する代わりに関数やLUTや補正係数を選択するようにしてもよい。
【0071】
(ソフトウェアによる処理)
上記した各実施の形態では、撮影時に彩度強調処理を行う構成になっていたが、これに限定される必要はない。例えば、撮影した信号を未処理のままのRawデータとして、制御部121から撮影時のISO感度、WBモード、WB判定情報、WB係数などをヘッダー情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【0072】
図14は、彩度強調のソフトウェア処理に関するフローの一例を示す図である。ステップS1にて、画像信号とISO感度、WBモード、WB判定情報、WB係数などのヘッダー情報を読み込む。ステップS2にて公知の線形補間によりRGBの三板画像を生成する。ステップS3にてヘッダー情報からホワイトバランス係数を求め、ホワイトバランス処理をおこなう。ステップS4にて色空間変換を行いRGBからY,Cb,Crを計算する。ステップS5にてヘッダー情報からWB係数を求め、所定値以上なら所定のLUT名を選択してステップS8へ行く。WB係数が所定値未満ならステップS6にてヘッダー情報からWB判定情報を求め、非標準なら所定のLUT名を選択してステップS8へいく。ステップS6にてWB判定情報が標準ならステップS7にてヘッダー情報からISO感度を求め、値に応じて読み込むLUT名を選択する。ステップS8にて選択したLUT(画素に応じた係数が対応付けられている)を読み込み、ステップS9にてLUTから彩度強調係数kを算出する。ステップS10にてCb,Cr各々に係数kを適用する。ステップS11にて色空間逆変換をおこない、YCbCr信号からRGB信号へ戻す。ステップS12にて全画素に関して処理が終了したかを判断し、終了していない場合は上記ステップS4〜ステップS11の過程を反復し、終了した場合はステップS13にて画像信号を出力して終了となる。
【0073】
なお上記の全実施の形態例では彩度強調をおこなう色空間としてYCbCrを用いたが、当然L*a*b*のような均等色空間や、変換時の計算式を簡略化した他の色空間であっても良い。
【0074】
また係数適用部202で係数を単純に乗算することで彩度強調を行っているが、係数の適用方法は乗算に限らず加減算や高次関数の形で適用しても良い。
【0075】
(付記)
上記した具体的な実施形態から以下のような構成の発明を抽出することができる。
【0076】
1. 画像の彩度を強調することが可能な画像処理システムであって、
撮影時の感度設定に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【0077】
(対応する実施の形態)
この発明に関する実施の形態は、図1、図2、図4、図5、図6に示される第1の実施の形態および図9に示される第3の実施の形態が対応する。構成中の係数決定部は図2に示される係数決定部201および図5に示される係数決定部211に該当し、構成中の係数適用部は図2および図5に示される係数適用部202に該当する。
【0078】
(作用)
係数決定部が撮影時の感度設定に応じた彩度強調係数を選択することにより、ノイズの多い撮影条件下での彩度強調を弱くする。
【0079】
(効果)
彩度強調のためにノイズまで強調され却って見栄えを損なうような事態の発生を防ぐことができる。
【0080】
2. 画像の彩度を強調することが可能な画像処理システムであって、
撮影時のホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【0081】
(対応する実施の形態)
この発明に関する実施の形態は、図1、図2、図5、図7に示される第2の実施の形態、図9に示される第3の実施の形態、図11に示される第4の実施の形態、図12、図13に示される第5の実施の形態が対応する。構成中の係数決定手段は図2に示される係数決定部201、図5に示される係数決定部211および図12に示される係数決定部311に該当し、構成中の係数適用部は図2、図5および図12に示される係数適用部202に該当する。
【0082】
(作用)
係数決定手段が撮影時のホワイトバランス係数に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【0083】
(効果)
彩度強調のために画像全体の色づき(色相のずれ)が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【0084】
3. 画像の彩度を強調することが可能な画像処理システムであって、
撮影時のホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【0085】
(対応する実施の形態)
この発明に関する実施の形態は、図1、図2、図5、図11に示される第4の実施の形態が対応する。構成中の係数決定部は図2に示される係数決定部201、図5に示される係数決定部211に該当し、構成中の係数適用部は図2、図5に示される係数適用部202に該当する。また構成中のホワイトバランスの信頼度は、図1に示されるWB処理部105が送出するWB判定情報に該当する。
【0086】
(作用)
係数決定部が撮影時のホワイトバランスの信頼度に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【0087】
(効果)
彩度強調のために画像全体の色づき(色相のずれ)が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【0088】
4. 画像の彩度を強調することが可能な画像処理システムであって、
画像信号に基づいてホワイトバランスの信頼度を判定するホワイトバランス判定部と、
このホワイトバランス判定部で判定されたホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【0089】
(対応する実施の形態)
この発明に関する実施の形態は、図1、12、13に示される第5の実施の形態が対応する。構成中のホワイトバランス判定部は図12のWB判定部312に該当し、構成中の係数決定部は図12に示される係数決定部311に該当し、構成中の係数適用部は図12に示される係数適用部202に該当する。
【0090】
(作用)
WB判定部が画像信号に基づいてホワイトバランスの信頼度を判定し、係数決定部がWB判定部での判定結果に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【0091】
(効果)
彩度強調のために画像全体の色づき(色相のずれ)が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【0092】
5. 画像の彩度を強調することが可能な画像処理方法であって、
撮影時の感度設定に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【0093】
(対応する実施の形態)、(作用)、
(効果)については1.と同様である。
【0094】
6. 画像の彩度を強調することが可能な画像処理方法であって、
撮影時のホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【0095】
(対応する実施の形態)、(作用)、
(効果)については2.と同様である。
【0096】
7. 画像の彩度を強調することが可能な画像処理方法であって、
撮影時のホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【0097】
(対応する実施の形態)、(作用)、
(効果)については3.と同様である。
【0098】
8. 画像の彩度を強調することが可能な画像処理方法であって、
画像信号に基づいてホワイトバランスの信頼度を判定するホワイトバランス判定工程と、
このホワイトバランス判定工程において判定されたホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【0099】
(対応する実施の形態)、(作用)、
(効果)については4.と同様である。
【0100】
【発明の効果】
本発明によれば、撮像系のノイズ特性を考慮して、ノイズの強調で見栄えを損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法が提供される。
【0101】
また、本発明によれば、ホワイトバランスがずれているときに、画像全体の色相ずれの拡大で見栄を損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法が提供される。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像処理システムの構成を示す図である。
【図2】図1の彩度強調部107の一構成例を示す図である。
【図3】信号値レベルに対するノイズ量の変化の様子をISO感度別にプロットした図である。
【図4】本発明の第1実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図5】第1の実施の形態の変形例について説明するための図である。
【図6】第1の実施の形態の変形例において、彩度強調係数の決定に用いられるテーブルを示す図である。
【図7】本発明の第2実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図8】WBずれと彩度強調について説明するための図である。
【図9】本発明の第3実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図10】WBについて説明するための図である。
【図11】本発明の第4実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図12】本発明の第5の実施の形態に係る画像処理システムの構成を示す図である。
【図13】本発明の第5実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図14】彩度強調のソフトウェア処理について説明するための図である。
【符号の説明】
101…撮像系、102…初期信号処理部、103…画像用バッファ、104…補間処理部、105…WB処理部、106…色空間変換部、107…彩度強調部、108…色空間逆変換部、109…後処理部、110…測光評価部、121…制御部、122…外部I/F部。
Claims (3)
- ホワイトバランス係数を用いて画像のホワイトバランスを行うとともに、画像の彩度を強調することが可能な画像処理システムであって、
RGB信号で表される画像において、RとGの比率及びBとGの比率が所定の範囲内であるか否かで定まるホワイトバランス判定情報、および前記ホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを特徴とする画像処理システム。 - 前記係数決定部は、前記ホワイトバランス係数の値が所定値未満で、かつRとGの比率及びBとGの比率が所定の範囲外である場合には、前記ホワイトバランス係数の値が所定値未満で、かつRとGの比率及びBとGの比率が所定の範囲内である場合よりも、小さい彩度強調係数を選択することを特徴とする請求項1記載の画像処理システム。
- ホワイトバランス係数を用いて画像のホワイトバランス処理を行うとともに、画像の彩度を強調することが可能な画像処理方法であって、
画像処理システムが、RGB信号で表される画像において、RとGの比率及びBとGの比率が所定の範囲内であるか否か、およびホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003179877A JP4002863B2 (ja) | 2003-06-24 | 2003-06-24 | 画像処理システム及び画像処理方法 |
PCT/JP2004/009264 WO2004114678A1 (ja) | 2003-06-24 | 2004-06-24 | 画像処理システム及び画像処理方法 |
US11/314,699 US20060098254A1 (en) | 2003-06-24 | 2005-12-21 | Image processing system and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003179877A JP4002863B2 (ja) | 2003-06-24 | 2003-06-24 | 画像処理システム及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005020186A JP2005020186A (ja) | 2005-01-20 |
JP2005020186A5 JP2005020186A5 (ja) | 2006-07-27 |
JP4002863B2 true JP4002863B2 (ja) | 2007-11-07 |
Family
ID=33535098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003179877A Expired - Fee Related JP4002863B2 (ja) | 2003-06-24 | 2003-06-24 | 画像処理システム及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20060098254A1 (ja) |
JP (1) | JP4002863B2 (ja) |
WO (1) | WO2004114678A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4952251B2 (ja) * | 2004-12-17 | 2012-06-13 | 株式会社ニコン | 画像処理方法、画像処理プログラム、記録媒体、および画像処理装置 |
US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
JP5056006B2 (ja) * | 2006-12-26 | 2012-10-24 | 株式会社ニコン | 撮像装置およびプログラム |
US7974487B2 (en) * | 2007-04-17 | 2011-07-05 | Kabushiki Kaisha Toshiba | System and method for image white balance adjustment |
DE102007022888B3 (de) * | 2007-05-14 | 2008-11-27 | Olympus Winter & Ibe Gmbh | Verfahren und Vorrichtung zur Bildverarbeitung von Endoskopbildern |
JP5529424B2 (ja) * | 2009-03-11 | 2014-06-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2529210B2 (ja) * | 1986-07-15 | 1996-08-28 | 松下電器産業株式会社 | ホワイトバランス調整装置 |
JP3091608B2 (ja) * | 1993-09-10 | 2000-09-25 | 三洋電機株式会社 | 映像信号処理装置及び映像信号処理方法 |
JP2001054013A (ja) * | 1999-08-13 | 2001-02-23 | Fuji Photo Film Co Ltd | 撮像信号処理装置およびその処理方法 |
CN1165183C (zh) * | 2000-05-15 | 2004-09-01 | 北京北达华彩科技有限公司 | 自适应色度补偿法及其补偿装置 |
JP3631169B2 (ja) * | 2001-06-19 | 2005-03-23 | 三洋電機株式会社 | ディジタルカメラ |
JP3992476B2 (ja) * | 2001-11-07 | 2007-10-17 | 三洋電機株式会社 | 画像処理装置 |
JP4202013B2 (ja) * | 2001-11-22 | 2008-12-24 | 富士フイルム株式会社 | 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム |
-
2003
- 2003-06-24 JP JP2003179877A patent/JP4002863B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-24 WO PCT/JP2004/009264 patent/WO2004114678A1/ja active Application Filing
-
2005
- 2005-12-21 US US11/314,699 patent/US20060098254A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2004114678A1 (ja) | 2004-12-29 |
US20060098254A1 (en) | 2006-05-11 |
JP2005020186A (ja) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8199227B2 (en) | Image-signal processing apparatus for performing space-variant image-signal processing | |
US9445067B2 (en) | Imaging device and image signal processor with color noise correction | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
USRE43085E1 (en) | Adaptive pixel-level color enhancement for a digital camera | |
US20060215908A1 (en) | Image pickup apparatus and image processing method | |
EP1549082A1 (en) | Digital still camera and image correction method | |
US20080253650A1 (en) | Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device | |
US20070013794A1 (en) | Image pickup system and image processing program | |
JP2005175718A (ja) | 撮像システムおよび画像処理プログラム | |
JP2006319781A (ja) | 画像処理装置、画像処理プログラム | |
JP2005210526A (ja) | 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム | |
JP4900419B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP2012165204A (ja) | 信号処理装置、信号処理方法、撮像装置及び撮像処理方法 | |
US20040246350A1 (en) | Image pickup apparatus capable of reducing noise in image signal and method for reducing noise in image signal | |
JP2014033273A (ja) | 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法 | |
US8139856B2 (en) | Image processing apparatus, imaging apparatus, and computer readable medium irregularizing pixel signals continuous in level near a saturation level | |
JP4002863B2 (ja) | 画像処理システム及び画像処理方法 | |
US8351695B2 (en) | Image processing apparatus, image processing program, and image processing method | |
US8115834B2 (en) | Image processing device, image processing program and image processing method | |
JP2006333113A (ja) | 撮像装置 | |
KR101612853B1 (ko) | 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
JP4767525B2 (ja) | 撮像システム及び撮像処理プログラム | |
EP1331805A2 (en) | Edge correction apparatus and method | |
US8665351B2 (en) | Image processing device, electronic camera, and storage medium storing image processing program | |
JP4377733B2 (ja) | 色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070820 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |