JP4002863B2

JP4002863B2 - 画像処理システム及び画像処理方法

Info

Publication number: JP4002863B2
Application number: JP2003179877A
Authority: JP
Inventors: 有紀徳橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-24
Filing date: 2003-06-24
Publication date: 2007-11-07
Anticipated expiration: 2023-06-24
Also published as: WO2004114678A1; US20060098254A1; JP2005020186A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理システム及び画像処理方法に関するものである。
【０００２】
【従来の技術】
電子カメラなどで撮影された画像は、しばしばその彩度を強調する画像処理が自動的になされる。一般に画像を見る場合、撮影被写体の色に忠実な画像は実際より地味に感じられ、特殊な用途を除いては鮮やかに強調されたものが好まれやすいからである。カメラ内部でこのような画像処理が自動的におこなわれ処理済み画像を出力することもあれば、ほとんど未処理の画像をカメラからパソコンで読み込んで、自動的に画像処理を施して画面に表示するような場合もある。どちらの場合も、彩度強調は、単純に固定係数を掛けるという方法が最も簡単であるが、全ての場合に同じ処理をすると不都合が出てくることがある。
【０００３】
例えば、撮影条件により画像にノイズが載ることがある。このような場合、大きな強調量で彩度強調を掛けると、ノイズも同時に強調されてかえって見栄えが悪くなってしまう。これに対して例えば特開平６−１２４３２９号公報では特に彩度が低い領域の強調を押さえ、混じり込んでいた別の色が強調されて特異領域となるのを避けている。
【０００４】
また、特開２００１−３１１８６７号公報では、クローズアップモードやソフトフォーカスモードの選択状況や撮影距離の関係から被写体や撮影状況を推定し、彩度強調などの処理内容を変更している。
【０００５】
【特許文献１】
特開平６−１２４３２９号公報
【０００６】
【特許文献２】
特開２００１−３１１８６７号公報
【０００７】
【発明が解決しようとする課題】
第１の課題として以下の事項が挙げられる。すなわち、従来例は特に撮像系のノイズ特性を考慮したものではない。撮像素子とそれに付随するアナログ回路で発生するノイズは、ホワイトノイズ特性に近い特性を有するが、そのレベルはＲＧＢの各輝度に依存するため、一概に低彩度領域ほど彩度強調時にノイズが目立ちやすいとはいえない。また撮影条件たとえば撮影感度によってもノイズレベルは大きく変わり、悪条件ではすべての彩度領域でノイズが目立ちやすくなる。
【０００８】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、撮像系のノイズ特性を考慮して彩度強調を行うことにより、ノイズの強調で見栄えを損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法を提供することにある。
【０００９】
また、第２の課題として以下の事項が挙げられる。すなわち、ホワイトバランスがずれ、無彩色の色づきや画像全体の色相のずれが発生することがあるが、このような場合、強い彩度強調を行うと全体の色合いが大きくずれてしまい、却って見栄えが悪くなる場合がある。従来例ではこの問題に対する具体的な対策について何ら考慮していない。
【００１０】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、ホワイトバランスがずれているときに、画像全体の色相ずれの拡大で見栄を損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る画像処理システムは、ホワイトバランス係数を用いて画像のホワイトバランスを行うとともに、画像の彩度を強調することが可能な画像処理システムであって、ＲＧＢ信号で表される画像において、ＲとＧの比率及びＢとＧの比率が所定の範囲内であるか否かで定まるホワイトバランス判定情報、および前記ホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、を具備する。
【００１２】
また、本発明の第２の態様に係る画像処理システムは、第１の態様において、前記係数決定部は、前記ホワイトバランス係数の値が所定値未満で、かつＲとＧの比率及びＢとＧの比率が所定の範囲外である場合には、前記ホワイトバランス係数の値が書体値未満で、かつＲとＧの比率及びＢとＧの比率が所定の範囲内である場合よりも、小さい彩度強調係数を選択する。
【００１３】
また、本発明の第３の態様に係る画像処理方法は、ホワイトバランス係数を用いて画像のホワイトバランス処理を行うとともに、画像の彩度を強調することが可能な画像処理方法であって、画像処理システムが、ＲＧＢ信号で表される画像において、ＲとＧの比率及びＢとＧの比率が所定の範囲内であるか否か、およびホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、を具備する。
【００２２】
【発明の実施の形態】
（第１の実施の形態）
［構成］
図１は、本発明の第１の実施の形態に係る画像処理システムの構成を示す図であり、被写体を撮像する撮像系１０１には、撮像系１０１からの画像に対してアナログ処理やＡ／Ｄ変換を行う初期信号処理部１０２と、画像信号を一時的に記憶する画像用バッファ１０３と、補間処理部１０４と、ホワイトバランス（ＷＢ）処理部１０５と、色空間変換部１０６と、彩度強調部１０７と、色空間逆変換部１０８と、この色空間逆変換部１０８からの出力に対して圧縮等の後処理を行う後処理部１０９とが順に接続されている。後処理部１０９からの出力信号は図示せぬ記録系に供給される。
【００２３】
画像用バッファ１０３は測光評価部１１０へも接続され、測光評価部１１０は撮像系１０１へ接続されている。初期信号処理部１０２とＷＢ処理部１０４とはマイクロコンピュータなどの制御部１２１にも双方向に接続される。制御部１２１の信号は彩度強調部１０７にも送られる。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードなどの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１２２が制御部１２１に双方向に接続されている。
【００２４】
［作用］
以下に、上記した構成の作用を信号の流れに従って説明する。操作者が外部Ｉ／Ｆ部１２２を介してＩＳＯ感度などの撮影条件を設定した後、同外部Ｉ／Ｆ部１２２を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。撮像系１０１で撮影された画像信号は、初期信号処理部１０２でアナログ信号として読み出されて増幅された後、デジタル信号へ変換されて画像用バッファ１０３へ転送される。画像用バッファ１０３内の画像信号は、測光評価部１１０へ転送される。
【００２５】
測光評価部１１０では、設定されたＩＳＯ感度やシャッター速度などを加味して画像内の輝度レベルから適正露光を算出し、撮像系１０１内の絞りや電子シャッター速度や初期信号処理部１０２での信号増幅率などを制御する。
【００２６】
操作者が外部Ｉ／Ｆ部１２２を介してシャッターボタンを全押しにすることにより本撮影が行われ、画像信号はプリ撮像と同様に画像用バッファ１０３へ転送される。本撮影は、測光評価部１１０にて求められた露光条件に基づき行われ、撮影時の条件は制御部１２１へ転送される。画像用バッファ１０３内の画像信号は、補間処理部１０４でＲ、Ｇ、Ｂの３つの画像信号に分けられて補間処理が施されＷＢ処理部１０５へ転送される。ＷＢ処理部１０５では画像内の無彩色のＲＧＢ比が適切な値になるようなＷＢ係数を算出する。
【００２７】
また、ＷＢ処理部１０５は、外部Ｉ／Ｆ部１２２を介して撮影前に設定され制御部１２１に転送されていたＷＢ設定に基づき、画像のＲＧＢ信号に算出したＷＢ係数を乗算して、色空間変換部１０６に転送する。またＷＢ係数の情報は制御部１２１に転送される。色空間変換部１０６ではＲＧＢの３画像信号を所定の色空間、例えばＹＣｂＣｒ空間の３画像信号Ｙ，Ｃｂ，Ｃｒに変換する。Ｙ，Ｃｂ，Ｃｒは次式で計算される。
【００２８】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ（１）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
これによりＲＧＢ信号は輝度成分Ｙと色成分Ｃｂ，Ｃｒとに分離される。次の彩度強調部１０７では色成分Ｃｂ，Ｃｒに所定の係数を適用することで彩度強調をおこない、色空間逆変換部１０８で再びＹＣｂＣｒ空間からＲＧＢ空間の信号へ戻す。処理後の画像信号は後処理部１０９へ転送され、後処理部１０９で公知の圧縮処理などが施されメモリーカードなどに記録保存される。
【００２９】
図２は図１の彩度強調部１０７の一構成例を示す図であり、図１と同じものには同じ番号を付けてある。図２に示すように彩度強調部１０７は係数決定部２０１と、係数適用部２０２とからなる。係数決定部２０１は制御部１２１からＩＳＯ感度情報を取得し、これに応じた彩度強調係数を決定する。係数適用部２０２は色空間変換部１０６から入力されたＣｂ，Ｃｒ信号に対し、係数決定部２０１で決定された彩度強調係数ｋを乗算することで彩度強調処理をおこない、色空間逆変換部１０８へ出力する。なおここで用いる彩度とは、Ｃ＝（Ｃｂ²＋Ｃｒ²）^1/2で表される量Ｃを指し、彩度強調はＣに係数ｋを乗算することを意味する。これは実質的にＣｂ，Ｃｒにそれぞれ係数を乗算することと同じである。すなわち彩度強調後の信号Ｃｂ′，Ｃｒ′は
Ｃｂ′＝ｋ×Ｃｂ
Ｃｒ′＝ｋ×Ｃｒ（２）
となる。このとき元のＲ，Ｇ，Ｂに撮像系に起因するランダムノイズが載っていると、Ｃｂ，Ｃｒにもノイズ（色ノイズ）が載ることになり、Ｃｂ，Ｃｒが係数倍されることでノイズも係数倍されてしまう。
【００３０】
ここで、ノイズに関して図３を用いて説明する。図３は信号値レベルに対するノイズ量の変化の様子をＩＳＯ感度別にプロットしたものである。ノイズ量は信号値レベルのべき乗の関数に定数項が加算された式で表現でき、信号値レベルをＬ、ノイズ量をＮとすると、
Ｎ＝αＬ^β＋γ （３）
の式により近似できる。ここではα、β、γはＩＳＯ感度によって変化する。
【００３１】
ノイズ量は図３に示すように、Ｒ、Ｇ、Ｂそれぞれにおいて信号レベルＬに応じて変化し、またＩＳＯ感度が大きいほど多くなる。そのため例えばＩＳＯ８０で撮影し彩度強調しても問題ない場合であっても、ＩＳＯ３２０では色ノイズが目立ってしまうという現象があり得る。
【００３２】
そこで図２の係数決定部２０１は図４に示すようなテーブルを保持しており、制御部１２１からＩＳＯ感度情報を取得したときに当該テーブルを参照して、取得したＩＳＯ感度情報に応じた彩度強調係数ｋ（ｋ０，ｋ１，ｋ２のいずれか）を選択する。ここでｋ０は標準の係数であり例えば１．４、ｋ１はｋ０よりやや小さい係数であり例えば１．３、ｋ２はさらに小さい係数であり例えば１．１である。ｋを１．０にすれば彩度強調を無効にすることができる。
【００３３】
上記構成によりノイズ量が多いときは彩度強調を弱めにして、色ノイズが目立つのを避けることができる。
【００３４】
以下に、上記した第１の実施の形態の変形例について述べる。第１の実施の形態では彩度強調係数ｋが定数（画像内では一定）の場合について説明したが、ｋは画像信号によって変化するものであっても良い。
【００３５】
図５は、本変形例について説明するための図である。図５は、図２と同様に彩度強調部１０７の一構成例を示しているが、ここでは色空間変換部１０６の出力である３画像信号Ｙ，Ｃｂ，Ｃｒは係数適用部２０２のみならず係数決定部２１１にも入力される点が異なっている。
【００３６】
係数決定部２１１はＹ，Ｃｂ，Ｃｒの関数ｆ（Ｙ，Ｃｂ，Ｃｒ）として、ここでは図６（ａ）に示すような３種類の関数ｆ０，ｆ１，ｆ２を保持している。そして、係数決定部２１１は、制御部１２１からのＩＳＯ感度情報に応じて関数ｆ０，ｆ１，ｆ２のうちから適切な関数ｆを選択して、入力される３画像信号Ｙ，Ｃｂ，Ｃｒを用いて彩度強調係数ｋ０＝ｆ０（Ｙ，Ｃｂ，Ｃｒ）、ｋ１＝ｆ０（Ｙ，Ｃｂ，Ｃｒ）またはｋ２＝ｆ０（Ｙ，Ｃｂ，Ｃｒ）を算出することにより彩度強調係数ｋを決定する。
【００３７】
図６（ｂ）は関数の代わりにルックアップテーブル（以下ＬＵＴと表記する）を用いて彩度強調係数を決定する例を説明するための図である。すなわち、係数決定部２１１は、制御部１２１からのＩＳＯ感度情報に応じてＬＵＴ０，ＬＵＴ１，ＬＵＴ２のうちから適切なＬＵＴを選択して彩度強調係数ｋ０、ｋ１あるいはｋ２を決定する。
【００３８】
このような方法により関数やＬＵＴを変更することで、ノイズが多いときのみノイズの目立ちやすい色相や輝度をもつ画素の彩度強調係数を小さくするといったことも可能である。またＩＳＯ感度に応じて補正係数を選択し、これを関数やＬＵＴにより決定した係数に乗算して最終的な係数ｋとしてもよい。これは例えばＬＵＴを使用するがＬＵＴを複数持つのが困難な場合に有用である。
【００３９】
なお本実施の形態例では彩度強調をおこなう色空間としてＹＣｂＣｒを用いたが、当然Ｌ^*ａ^*ｂ^*のような均等色空間や、変換時の計算式を簡略化した他の色空間であっても良い。
【００４０】
また本実施の形態では係数適用部２０２で係数を単純に乗算することで彩度強調を行っているが、係数適用の方法は乗算に限らず、加減算や高次関数の形で適用しても良い。
【００４１】
（第２の実施の形態）
第１の実施の形態ではＩＳＯ感度に応じて彩度強調を変更する実施の形態を説明したが、以下に述べる第２の実施の形態ではホワイトバランス（以下ＷＢと表記する）係数に応じて彩度強調を変更することを特徴とする。
【００４２】
本実施の形態では図２および図５の係数決定部への入力信号と動作が異なる以外は、全体の構成および彩度強調部の構成は図１、図２、図５と同じであるので、構成の説明を省略する。
【００４３】
ここでは図２と図７を用いて、係数決定部の作用を説明する。図２における係数決定部２０１は図７に示すようなテーブルを保持しており、制御部１２１からＷＢ係数情報を取得したときに当該テーブルを参照して、取得したＷＢ係数情報に応じた彩度強調係数を選択する。すなわち、ここではＷＢ係数が所定値未満の場合にはｋ０（標準）（例えば１．３）を選択し、所定値以上の場合にはｋ１（小）（例えば１．０）を選択して彩度強調を弱くする。
【００４４】
以下に図８（ａ）、（ｂ）を参照してこの理由について説明する。ＷＢ係数が非常に大きいときは往々にしてＷＢが十分でなかったり、白色はよくても他の色にずれがでてくることがある。ＷＢは画面全体あるいは画面内の無彩色に近い箇所のＲＧＢ値を平均し、ＲＧＢ比が１になるようにするため、画面内に非常に彩度の高いものがある場合や無彩色のものがない場合などにうまくいかないことがある。
【００４５】
図８（ａ）、（ｂ）はＷＢのずれと彩度強調の関係を示している。図８（ａ）はＷＢが正常に機能した画像のいくつかの色を示したもので、グラフの横軸に第１の実施の形態で説明した色信号Ｃｒ、縦軸に色信号Ｃｂをとっている。記号Ａ０〜Ａ５が付された黒のひし形は元の色のＣｂＣｒ座標を示し、記号Ａ′０〜Ａ′５が付された白のひし形はこれに彩度強調をおこなった時のＣｂＣｒ座標を示す。Ａ０が無彩色点であり、彩度強調しても座標はほとんど変わらず、例えばＡ０、Ａ′０は原点Ｏ上にとどまる。また画像全体として鮮やかになるが、色合いはあまり変わらない。
【００４６】
一方、図８（ｂ）はＷＢがずれている場合の色座標で、記号Ｂ０〜Ｂ５が付された黒の四角は元の色のＣｂＣｒ座標を示し、記号Ｂ′０〜Ｂ′５が付された白の四角は、これに彩度強調をおこなった時のＣｂＣｒ座標を示す。図８（ｂ）では無彩色点Ｂ０が原点Ｏからずれているほか、画像全体の座標が片寄っており、彩度強調によりそのずれが大きくなっている。そのため画像全体が色づいて見えるようになる。したがってホワイトバランスに大きなずれがあるときには、あまり彩度強調量を大きくしない方がよい。そこで本実施の形態ではＷＢ係数が所定の値以上のときには図７に示す表からｋ１の彩度強調係数を選択して彩度強調を弱くする。
【００４７】
上記構成により、ＷＢがずれているときには彩度強調を弱くして、画像の色づきが大きくなりすぎ見栄えが悪くなるのを防ぐことができる。なお本実施の形態でも、図５のように画像のＹ，Ｃｂ，Ｃｒ値から適応的に彩度強調係数を決定するような時に、係数ｋを直接選択する代わりに関数やＬＵＴや補正係数を選択するようにしても良い。
【００４８】
（第３の実施の形態）
第３の実施の形態ではホワイトバランス（ＷＢ）係数とＩＳＯ感度の両方に応じて彩度強調を変更することを特徴とする。
【００４９】
本実施の形態では図２および図５の係数決定部への入力信号と動作が異なる以外は、全体の構成および彩度強調部の構成は図１、図２、図５と同じであるので、構成の説明を省略する。
【００５０】
以下に図２と図９を用いて本実施の形態に係る係数決定部の作用を説明する。図２に示す係数決定部２０１は図９に示すようなテーブルを保持しており、制御部１２１からＷＢ係数情報とＩＳＯ感度情報とを取得したときに当該テーブルを参照して、取得したＷＢ係数情報及びＩＳＯ感度情報の値に応じた彩度強調係数を選択する。すなわち、まずＷＢ係数が所定値以上の場合にはＩＳＯ感度にかかわらず小さな係数ｋ（ここではｋ３）を選択する。一方、ＷＢ係数が所定値未満の場合にはＩＳＯ感度（ＩＳＯ８０、ＩＳＯ１６０、ＩＳＯ３２０）に応じて彩度強調係数ｋを選択する。すなわち、ＩＳＯ８０の場合には標準の係数ｋ０を選択し、ＩＳＯ１６０の場合には中位の彩度強調係数ｋ１を選択し、ＩＳＯ３２０の場合には小さい彩度強調係数ｋ２を選択する。
【００５１】
上記構成により、ＷＢがずれているとき、あるいはノイズ量が多いときは彩度強調を弱くし、画像の色づきが大きくなりすぎたりノイズが目立ったりして見栄えを損なうのを防ぐことができる。
【００５２】
さらに、第３実施の形態では、まずＷＢ係数が所定値以上か、所定値未満かを判断したが、まずＩＳＯ感度が所定値以上か、所定値未満かを判断し、ＩＳＯ感度が所定値未満のときにＷＢ係数の大きさに応じて彩度強調係数ｋを決定するようにしてもよい。
【００５３】
（第４の実施の形態）
第２の実施の形態ではＷＢ係数に応じて彩度強調を変更する実施の形態を示したが、以下に述べる第４の実施の形態ではホワイトバランスのずれの有無を示すＷＢ判定情報（ホワイトバランスの信頼度）に応じて彩度強調を変更する。
【００５４】
本実施の形態では全体の構成および彩度強調部の構成は図１、図２、図５と同じであるので、構成の説明を省略する。本実施の形態では、図１に示すＷＢ処理部１０５から制御部１２１への出力信号と動作、図２および図５の係数決定部２０１、２１１への入力信号と動作が異なっている。
【００５５】
すなわち、ＷＢ処理部１０５は、撮影前に設定され制御部１２１に転送されていたＷＢ設定がプリセットモードであれば、あらかじめ保持しているプリセット値をＷＢ係数として選択する。ＷＢ設定がオートモードであれば自動でＷＢ係数を算出する。プリセットモードで選択された、あるいはオートモードで算出されたＷＢ係数は制御部１２１に転送されるとともに、画像のＲＧＢ信号に乗算され、その後、色空間変換部１０６に転送される。またＷＢ処理部１０５はＷＢ判定情報をＷＢ係数とともに制御部１２１へ転送する。図２の係数決定部２０１または図５の係数決定部２１１は、制御部１２１よりＷＢ判定情報とＷＢ係数を取得し、取得したＷＢ判定情報とＷＢ係数に応じた彩度強調係数を選択する。
【００５６】
以下に図１０を用いてＷＢ係数の自動算出について説明する。まず画像のＲＧＢ信号から、ＲとＧとの比率（以下、Ｒ／Ｇと記す）と、ＢとＧとの比率（以下、Ｂ／Ｇと記す）と、輝度とを求めて、Ｒ／ＧとＢ／Ｇと輝度が所定の範囲内（図１０の白判定エリア５００内）であれば白と判定し、白と判定された画素に関してのＲ／Ｇ平均値とＢ／Ｇ平均値を算出してＷＢ係数とする。
【００５７】
ここで白が存在しない画像や、算出したＷＢ係数が図１０のＡ点のように白判定エリアから外れる場合には、あらかじめ保持されている複数のプリセット値（ここでは白判定エリア内５００にあるプリセット値Ｐ１〜Ｐ５のうち、色温度近似線５０１よりも右側にあるプリセット値Ｐ１，Ｐ２，Ｐ３）のいずれかをＷＢ係数として選択する。どのプリセット値を選択するかは白判定エリアからどの方向に外れているかによって決めるようにしてもよい。
【００５８】
白が存在しない画像や、算出したＷＢ係数が図１０のＡ点のように白判定エリアから外れる場合、ホワイトバランスの効果は十分でなくずれている場合がある。そこでＷＢ処理部１０５は、算出したＷＢ係数を使用するときは標準であることを示す値（例えば０）をＷＢ判定情報として制御部１２１へ転送し、算出したＷＢ係数判定結果からプリセット値が選択されたときには非標準であることを示す値（例えば１）をＷＢ判定情報として制御部１２１へ転送する。
【００５９】
以下に図２と図１１を用いて、係数決定部の作用を説明する。図２に示す係数決定部２０１は図１１に示すようなテーブルを保持しており、制御部１２１からＷＢ係数およびＷＢ判定情報を取得したときに当該テーブルを参照して、取得したＷＢ係数およびＷＢ判定情報の値に応じた彩度強調係数を選択する。すなわち、ＷＢ係数が所定値以上の場合にはＷＢ判定情報にかかわらず最も小さい彩度強調係数ｋ２（例えば１．０）を選択する。また、ＷＢ係数が所定値未満の場合にはＷＢ判定情報に基づいて彩度強調係数ｋを選択する。すなわち、ＷＢ判定が標準である場合には標準の彩度強調係数ｋ０（例えば１．３から１．４）を選択し、ＷＢ判定が非標準である場合にはやや小さい彩度強調係数ｋ１（例えば１．１）を選択する。このように、ＷＢ係数が所定の値未満であってもＷＢ判定情報が非標準（値１）のときには、彩度強調係数ｋを小さくする。
【００６０】
上記構成によれば、ＷＢ係数だけでなくＷＢ判定情報を取得して、ＷＢがずれているときには彩度強調を弱くする事で、画像の色づきが大きくなりすぎ見栄えを損なうのを防ぐことができる。なお本実施の形態でも、図５のように画像のＹ，Ｃｂ，Ｃｒ値から適応的に彩度強調係数を決定するような時に、係数ｋを直接選択する代わりに関数やＬＵＴや補正係数を選択してもよい。
【００６１】
また、上記したように、まずＷＢ係数が所定値未満かどうかを判断した上でＷＢ判定を行うのではなく、ＷＢ判定のみで彩度強調係数ｋを決定するようにしてもよい。
【００６２】
（第５の実施の形態）
第４の実施の形態ではＷＢ判定情報に応じて彩度強調を変更する例を示したが、以下に述べる第５の実施の形態では、彩度強調部がホワイトバランスのずれの有無を判定するＷＢ判定部を備え、ＷＢ判定結果とＷＢモードとＷＢ係数に応じて彩度強調を変更するようにする。
【００６３】
本実施の形態では全体の構成は図１と同じであるので説明を省略するが、彩度強調部１０７の構成が異なるので以下に説明する。
【００６４】
図１２は本実施の形態の彩度強調部１０７の構成を示しており、係数適用部２０２、係数決定部３１１に加えて、ＷＢ判定部３１２をさらに有している。図１２において図２、図５と同じものには同じ番号が付されている。
【００６５】
図１２において、色空間変換部１０６からの画像信号は係数適用部２０２及びＷＢ判定部３１２に入力される。係数決定部３１１は制御部１２１、係数適用部２０２およびＷＢ判定部３１２に接続され、ＷＢ判定部３１２の出力と制御部１２１から取得したＷＢモード及びＷＢ係数に応じた彩度強調係数を決定する。
【００６６】
ＷＢ判定部３１２はＣｂ，Ｃｒの平均値Ｃｂ０，Ｃｒ０をとり、その結果を係数決定部３１１に送る。ＷＢ処理が働いていればＣｂ０，Ｃｒ０は０に近い。しかし第４の実施の形態で説明したようにオートモードでプリセット値が選択された場合、Ｃｂ，Ｃｒの平均値Ｃｂ０、Ｃｒ０は０からずれている。そこでＣｂ０、Ｃｒ０のいずれかが所定の値以上の場合は非標準状態と判定する。
【００６７】
係数決定部３１１は図１３に示すようなテーブルを保持しており、制御部１２１からＷＢモード及びＷＢ係数、及びＷＢ判定部３１２からＷＢ判定結果を取得したときに当該テーブルを参照して、取得した情報に応じた彩度強調係数を選択する。すなわち、まずＷＢモードがプリセットかオートモードかを判断し、プリセットの場合には、ＷＢ係数及びＷＢ判定結果にかかわらず標準の彩度強調係数ｋ０を選択する。また、オートモードの場合にはＷＢ係数が所定値未満であるか所定値以上かを判断し、ＷＢ係数が所定値以上の場合にはＷＢ判定結果にかかわらず小さい彩度強調係数ｋ２を選択する。さらに、オートモードでＷＢ係数が所定値未満の場合にはＷＢ判定が標準か非標準化を判断し、標準のときには標準の彩度強調係数ｋ０を選択し、非標準のときには小さい彩度強調係数ｋ１を選択する。
【００６８】
このように、ＷＢモードがオートモードでＷＢ係数が所定値以上の場合、あるいはＷＢモードがオートモードでＷＢ係数が所定値未満であり、かつＷＢ判定が非標準の場合には彩度強調係数を小さくする。
【００６９】
上記構成によれば、ＷＢ判定部３１２での判定結果と、ＷＢモードおよびＷＢ係数の情報からＷＢがずれているか否かを判定し、ずれの度合いが大きい場合には彩度強調を弱くする事で、画像の色づきが大きくなりすぎ見栄えを損なうのを防ぐことができる。
【００７０】
なお本実施の形態でも、図５のように画像のＹ，Ｃｂ，Ｃｒ値から適応的に彩度強調係数を決定する時は、係数ｋを直接選択する代わりに関数やＬＵＴや補正係数を選択するようにしてもよい。
【００７１】
（ソフトウェアによる処理）
上記した各実施の形態では、撮影時に彩度強調処理を行う構成になっていたが、これに限定される必要はない。例えば、撮影した信号を未処理のままのＲａｗデータとして、制御部１２１から撮影時のＩＳＯ感度、ＷＢモード、ＷＢ判定情報、ＷＢ係数などをヘッダー情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００７２】
図１４は、彩度強調のソフトウェア処理に関するフローの一例を示す図である。ステップＳ１にて、画像信号とＩＳＯ感度、ＷＢモード、ＷＢ判定情報、ＷＢ係数などのヘッダー情報を読み込む。ステップＳ２にて公知の線形補間によりＲＧＢの三板画像を生成する。ステップＳ３にてヘッダー情報からホワイトバランス係数を求め、ホワイトバランス処理をおこなう。ステップＳ４にて色空間変換を行いＲＧＢからＹ，Ｃｂ，Ｃｒを計算する。ステップＳ５にてヘッダー情報からＷＢ係数を求め、所定値以上なら所定のＬＵＴ名を選択してステップＳ８へ行く。ＷＢ係数が所定値未満ならステップＳ６にてヘッダー情報からＷＢ判定情報を求め、非標準なら所定のＬＵＴ名を選択してステップＳ８へいく。ステップＳ６にてＷＢ判定情報が標準ならステップＳ７にてヘッダー情報からＩＳＯ感度を求め、値に応じて読み込むＬＵＴ名を選択する。ステップＳ８にて選択したＬＵＴ（画素に応じた係数が対応付けられている）を読み込み、ステップＳ９にてＬＵＴから彩度強調係数ｋを算出する。ステップＳ１０にてＣｂ，Ｃｒ各々に係数ｋを適用する。ステップＳ１１にて色空間逆変換をおこない、ＹＣｂＣｒ信号からＲＧＢ信号へ戻す。ステップＳ１２にて全画素に関して処理が終了したかを判断し、終了していない場合は上記ステップＳ４〜ステップＳ１１の過程を反復し、終了した場合はステップＳ１３にて画像信号を出力して終了となる。
【００７３】
なお上記の全実施の形態例では彩度強調をおこなう色空間としてＹＣｂＣｒを用いたが、当然Ｌ^*ａ^*ｂ^*のような均等色空間や、変換時の計算式を簡略化した他の色空間であっても良い。
【００７４】
また係数適用部２０２で係数を単純に乗算することで彩度強調を行っているが、係数の適用方法は乗算に限らず加減算や高次関数の形で適用しても良い。
【００７５】
（付記）
上記した具体的な実施形態から以下のような構成の発明を抽出することができる。
【００７６】
１．画像の彩度を強調することが可能な画像処理システムであって、
撮影時の感度設定に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【００７７】
（対応する実施の形態）
この発明に関する実施の形態は、図１、図２、図４、図５、図６に示される第１の実施の形態および図９に示される第３の実施の形態が対応する。構成中の係数決定部は図２に示される係数決定部２０１および図５に示される係数決定部２１１に該当し、構成中の係数適用部は図２および図５に示される係数適用部２０２に該当する。
【００７８】
（作用）
係数決定部が撮影時の感度設定に応じた彩度強調係数を選択することにより、ノイズの多い撮影条件下での彩度強調を弱くする。
【００７９】
（効果）
彩度強調のためにノイズまで強調され却って見栄えを損なうような事態の発生を防ぐことができる。
【００８０】
２．画像の彩度を強調することが可能な画像処理システムであって、
撮影時のホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【００８１】
（対応する実施の形態）
この発明に関する実施の形態は、図１、図２、図５、図７に示される第２の実施の形態、図９に示される第３の実施の形態、図１１に示される第４の実施の形態、図１２、図１３に示される第５の実施の形態が対応する。構成中の係数決定手段は図２に示される係数決定部２０１、図５に示される係数決定部２１１および図１２に示される係数決定部３１１に該当し、構成中の係数適用部は図２、図５および図１２に示される係数適用部２０２に該当する。
【００８２】
（作用）
係数決定手段が撮影時のホワイトバランス係数に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【００８３】
（効果）
彩度強調のために画像全体の色づき（色相のずれ）が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【００８４】
３．画像の彩度を強調することが可能な画像処理システムであって、
撮影時のホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【００８５】
（対応する実施の形態）
この発明に関する実施の形態は、図１、図２、図５、図１１に示される第４の実施の形態が対応する。構成中の係数決定部は図２に示される係数決定部２０１、図５に示される係数決定部２１１に該当し、構成中の係数適用部は図２、図５に示される係数適用部２０２に該当する。また構成中のホワイトバランスの信頼度は、図１に示されるＷＢ処理部１０５が送出するＷＢ判定情報に該当する。
【００８６】
（作用）
係数決定部が撮影時のホワイトバランスの信頼度に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【００８７】
（効果）
彩度強調のために画像全体の色づき（色相のずれ）が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【００８８】
４．画像の彩度を強調することが可能な画像処理システムであって、
画像信号に基づいてホワイトバランスの信頼度を判定するホワイトバランス判定部と、
このホワイトバランス判定部で判定されたホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを画像処理システム。
【００８９】
（対応する実施の形態）
この発明に関する実施の形態は、図１、１２、１３に示される第５の実施の形態が対応する。構成中のホワイトバランス判定部は図１２のＷＢ判定部３１２に該当し、構成中の係数決定部は図１２に示される係数決定部３１１に該当し、構成中の係数適用部は図１２に示される係数適用部２０２に該当する。
【００９０】
（作用）
ＷＢ判定部が画像信号に基づいてホワイトバランスの信頼度を判定し、係数決定部がＷＢ判定部での判定結果に応じた彩度強調係数を選択することにより、ホワイトバランスずれの大きい条件下での彩度強調を弱くする。
【００９１】
（効果）
彩度強調のために画像全体の色づき（色相のずれ）が拡大され却って見栄えを悪くするような事態の発生を防ぐことができる。
【００９２】
５．画像の彩度を強調することが可能な画像処理方法であって、
撮影時の感度設定に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【００９３】
（対応する実施の形態）、（作用）、
（効果）については１．と同様である。
【００９４】
６．画像の彩度を強調することが可能な画像処理方法であって、
撮影時のホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【００９５】
（対応する実施の形態）、（作用）、
（効果）については２．と同様である。
【００９６】
７．画像の彩度を強調することが可能な画像処理方法であって、
撮影時のホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【００９７】
（対応する実施の形態）、（作用）、
（効果）については３．と同様である。
【００９８】
８．画像の彩度を強調することが可能な画像処理方法であって、
画像信号に基づいてホワイトバランスの信頼度を判定するホワイトバランス判定工程と、
このホワイトバランス判定工程において判定されたホワイトバランスの信頼度に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。
【００９９】
（対応する実施の形態）、（作用）、
（効果）については４．と同様である。
【０１００】
【発明の効果】
本発明によれば、撮像系のノイズ特性を考慮して、ノイズの強調で見栄えを損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法が提供される。
【０１０１】
また、本発明によれば、ホワイトバランスがずれているときに、画像全体の色相ずれの拡大で見栄を損なうことなく効果的に彩度強調可能な画像処理システム及び画像処理方法が提供される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理システムの構成を示す図である。
【図２】図１の彩度強調部１０７の一構成例を示す図である。
【図３】信号値レベルに対するノイズ量の変化の様子をＩＳＯ感度別にプロットした図である。
【図４】本発明の第１実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図５】第１の実施の形態の変形例について説明するための図である。
【図６】第１の実施の形態の変形例において、彩度強調係数の決定に用いられるテーブルを示す図である。
【図７】本発明の第２実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図８】ＷＢずれと彩度強調について説明するための図である。
【図９】本発明の第３実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図１０】ＷＢについて説明するための図である。
【図１１】本発明の第４実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図１２】本発明の第５の実施の形態に係る画像処理システムの構成を示す図である。
【図１３】本発明の第５実施の形態において彩度強調係数の決定に用いられるテーブルを示す図である。
【図１４】彩度強調のソフトウェア処理について説明するための図である。
【符号の説明】
１０１…撮像系、１０２…初期信号処理部、１０３…画像用バッファ、１０４…補間処理部、１０５…ＷＢ処理部、１０６…色空間変換部、１０７…彩度強調部、１０８…色空間逆変換部、１０９…後処理部、１１０…測光評価部、１２１…制御部、１２２…外部Ｉ／Ｆ部。

Claims

ホワイトバランス係数を用いて画像のホワイトバランスを行うとともに、画像の彩度を強調することが可能な画像処理システムであって、
ＲＧＢ信号で表される画像において、ＲとＧの比率及びＢとＧの比率が所定の範囲内であるか否かで定まるホワイトバランス判定情報、および前記ホワイトバランス係数に応じて彩度強調係数を決定する係数決定部と、
この係数決定部において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用部と、
を具備することを特徴とする画像処理システム。
前記係数決定部は、前記ホワイトバランス係数の値が所定値未満で、かつＲとＧの比率及びＢとＧの比率が所定の範囲外である場合には、前記ホワイトバランス係数の値が所定値未満で、かつＲとＧの比率及びＢとＧの比率が所定の範囲内である場合よりも、小さい彩度強調係数を選択することを特徴とする請求項１記載の画像処理システム。
ホワイトバランス係数を用いて画像のホワイトバランス処理を行うとともに、画像の彩度を強調することが可能な画像処理方法であって、
画像処理システムが、ＲＧＢ信号で表される画像において、ＲとＧの比率及びＢとＧの比率が所定の範囲内であるか否か、およびホワイトバランス係数に応じて彩度強調係数を決定する係数決定工程と、
この係数決定工程において決定された彩度強調係数を用いて、画像信号に対する彩度強調処理を行う係数適用工程と、
を具備することを画像処理方法。