JP6348762B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、ホワイトバランス補正および色差補正を行う画像処理装置、画像処理方法、画像処理プログラムに関する。

アナログ信号は信号値が連続的に変化し得るのに対して、デジタル信号は所定の量子化単位でしか変化することができない。このために、本来の信号値からの変化量が例えば輝度信号において生じると、偽輪郭が表れることがある。

こうした偽輪郭を低減する技術として、例えば、特許第４３０１６２７号公報には、映像信号の最小量子化単位の２倍の変化をビット落ち部分として検出し、最小量子化単位の変化に補正する偽輪郭補正技術が記載されている。

一方、カラー画像に対するホワイトバランス処理が、画像処理の１つとして従来より行われている。このホワイトバランス処理は、色成分毎に異なるゲインを乗算して、白色部分が白く見えるようにカラーバランスを調整する処理である。

具体的にホワイトバランス処理においては、ある色成分に１倍以上のホワイトバランスゲインを乗算し、他のある色成分にはホワイトバランスゲインを乗算しない（あるいは乗算するホワイトバランスゲインが１である）、等の処理が行われる。

ところが、このようなホワイトバランス処理を行うと、処理後の階調精度が色成分毎に異なってしまうことになり、グラデーション中に色ノイズである偽色（偽色輪郭）が表れることがある。

このような偽色を低減する技術として、例えば特開２０１３−２２３０６１号公報には、色成分毎にホワイトバランスゲインが乗算された画像データの、色差データを算出し、無彩色グラデーション中の色ノイズが目立つ色差範囲内の色差データを小さくする色ノイズ低減技術が記載されている。該公報に記載の技術によれば、無彩色グラデーション中の色付きを軽減する効果が期待でき、また、ホワイトバランスゲインによる階調精度の劣化が改善される効果も期待できる。

ところで、近年のデジタルカメラには、撮像データを高速で読み出すことができる撮像駆動モードを備えたものがあり、高速連写撮影を行う場合、あるいは動きが滑らかな高速フレームレートのライブビュー表示を行う場合などに利用されている。このような高速読み出しは、低ビットの（つまりビット精度が低い）撮像データを読み出すことで実現されている。

特許第４３０１６２７号公報 特開２０１３−２２３０６１号公報

しかしながら、上記特許第４３０１６２７号公報では、ホワイトバランス処理に関する言及がなされておらず、２倍よりも大きいホワイトバランスゲインが乗算される場合に、最小量子化単位の２倍よりも大きい変化が生じてしまうことが考慮されていない。従って、該公報に記載の技術を用いただけでは、ホワイトバランス処理後の色輪郭が残ってしまうことがある。

また、上記特開２０１３−２２３０６１号公報では、ホワイトバランス処理に関する言及はあるものの、色成分毎に乗算されるゲインが異なることに起因して、ゲインに応じた階調数の偽色輪郭が生じてしまうことについては考慮されていない。従って、ゲインを考慮されずに設定される色差範囲では、色輪郭を解消できない、あるいは色輪郭以外の部分の色まで消してしまう、という場合が生じてしまう。

さらに、上記各公報は、上述したような高速読み出しで得られるビット精度の低い撮像データを、画像処理における処理ビット精度のデータに変換する際に、偽色輪郭の階調数も変化してしまうことについて考慮がなされていない。

本発明は上記事情に鑑みてなされたものであり、ホワイトバランスゲインが色成分毎に異なっても、無彩色画像部分の色付きを適切に軽減することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。

本発明のある態様による画像処理装置は、画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正部と、前記ホワイトバランス補正後の前記画像データの色差成分を画素毎に算出する色差算出部と、処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正部と、前記色差補正部よりも前段側において、前記画像データのビット精度を、前記色差補正部の処理ビット精度に変換するビット精度変換部と、前記ビット精度変換部によるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定部と、を具備している。

本発明のある態様による画像処理方法は、画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正ステップと、前記ホワイトバランス補正後の前記画像データのビット精度を、後述の色差算出ステップの処理ビット精度に変換するビット精度変換ステップと、前記画像データの色差成分を画素毎に算出する色差算出ステップと、処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正ステップと、前記ビット精度変換ステップによるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定ステップと、を有している。

本発明のある態様による画像処理プログラムは、コンピュータに、画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正ステップと、前記ホワイトバランス補正後の前記画像データのビット精度を、後述の色差算出ステップの処理ビット精度に変換するビット精度変換ステップと、前記画像データの色差成分を画素毎に算出する色差算出ステップと、処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正ステップと、前記ビット精度変換ステップによるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定ステップと、を実行させるためのプログラムである。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、ホワイトバランスゲインが色成分毎に異なっても、無彩色画像部分の色付きを適切に軽減することが可能となる。

本発明の実施形態１における画像処理装置を備えた撮像装置の構成を示すブロック図。 上記実施形態１における画像処理部の構成を示すブロック図。 上記実施形態１の画像処理部により行われる画像処理を示すサブルーチンのフローチャート。 上記実施形態１において、図３のステップＳ６における色ノイズ低減処理の詳細を示すフローチャート。 上記実施形態１において、図４のステップＳ１５におけるホワイトバランスゲイン対応調整の詳細を示すフローチャート。 上記実施形態１において、図４のステップＳ１６におけるビット精度変換対応調整の詳細を示すフローチャート。 上記実施形態１において、Ｒ色差低減係数Ｋｒのグラフの例を示す図。 上記実施形態１において、Ｂ色差低減係数Ｋｂのグラフの例を示す図。 上記実施形態１において、色差および輝度値が所定範囲内である画素データの処理例を示す図。 上記実施形態１において、Ｒ色差が所定範囲外である画素データの処理例を示す図。 上記実施形態１において、輝度値が所定範囲外である画素データの処理例を示す図。 上記実施形態１において、Ｒ成分とＧ成分とでホワイトバランスゲインが異なることにより生じる色ノイズを説明するための線図。 上記実施形態１において、図１２に示した色ノイズが除去された様子を示す線図。 上記実施形態１において、Ｂ色成とＧ成分とでホワイトバランスゲインが異なることにより生じる色ノイズを説明するための線図。 上記実施形態１において、図１４に示した色ノイズが除去された様子を示す線図。 上記実施形態１において、色差ｄＲに対するＲ色差低減係数Ｋｒの基本特性の例を示す図。 上記実施形態１において、色差ｄＢに対するＢ色差低減係数Ｋｂの基本特性の例を示す図。 上記実施形態１において、ホワイトバランスゲインに対応して補正されたＲ色差低減係数Ｋｒの特性の例を示す図。 上記実施形態１において、ホワイトバランス補正により１階調分の色差ｄＢ１の色ノイズが生じる例を示す線図。 上記実施形態１において、図１９に示した色ノイズが２ビット分のビット精度変換により拡大した様子を示す線図。 上記実施形態１において、ビット精度変換に対応して補正されたＢ色差低減係数Ｋｂの特性の例を示す図。 上記実施形態１において、輝度範囲を３つに分けてＲ，Ｂ色差低減係数を用意した例を示す図表。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２２は本発明の実施形態１を示したものであり、図１は画像処理装置を備えた撮像装置の構成を示すブロック図である。

本実施形態は、撮像機能を備える撮像装置に画像処理装置を適用したものであり、撮像装置の具体的な一例はデジタルカメラである。

図１に示すように、撮像装置は、レンズ１と、レンズ駆動部２と、レンズ駆動制御回路３と、撮像素子４と、撮像回路５と、アナログ／デジタル（Ａ／Ｄ）変換部６と、バス７と、ＳＤＲＡＭ８と、画像処理部９と、ＬＣＤドライバ１０と、ＬＣＤ１１と、ＪＰＥＧ処理部１２と、メモリインターフェイス（Ｉ／Ｆ）１３と、記録媒体１４と、操作部１５と、フラッシュ（Ｆｌａｓｈ）メモリ１６と、マイクロコンピュータ１７と、を備えている。

レンズ１は、被写体の光学像を撮像素子４に結像するための光学系である。このレンズ１は、フォーカスレンズ、あるいはズームレンズ等の複数のレンズにより構成されているものであっても良い。

レンズ駆動部２は、フォーカス調整、あるいは電動ズームレンズである場合にはさらにズーム調整等を行うために、レンズ１を駆動するものである。

レンズ駆動制御回路３は、マイクロコンピュータ１７の指令に従って、レンズ駆動部２を制御し動作させる。

撮像素子４は、撮像面に複数の画素が２次元状に配置されていて、レンズ１により結像された被写体の光学像を光電変換して画像信号を出力するものである。この撮像素子４は、複数の色成分を有する画像信号を出力するカラー撮像素子であるものとするが、ＣＣＤ、ＣＭＯＳ、単板、三板等の特定の構成に限定されるものではない。また、本実施形態の撮像素子４は、通常読出モードと、この通常読出モードよりも高いフレームレートで読み出しを行う高速読出モードと、で動作可能となっているものとする。

撮像回路５は、撮像素子４から出力された画像信号にＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施すものである。

Ａ／Ｄ変換部６は、撮像回路５により処理された画像信号をデジタル信号（以下、画像データという）に変換する。ここに、Ａ／Ｄ変換部６から出力される画像データのビット精度は、通常読出モードのときよりも、高速読出モードのときの方が低いものとする。具体例としては、通常読出モードのときには１０ビットのデジタル信号に変換されるが、高速読出モードのときには８ビットのデジタル信号に変換される、等である。

バス７は、撮像装置内のある場所から他の場所へ、各種のデータや命令等を転送する転送路である。Ａ／Ｄ変換部６から出力された画像データは、このバス７を介してＳＤＲＡＭ８へ転送される。

ＳＤＲＡＭ８は、画像データを含む、撮像装置の内部で発生した各種のデータを一時的に記憶する記憶部である。このＳＤＲＡＭ８は、画像処理部９が画像処理を行う際のバッファメモリとしても使用される。

本実施形態における画像処理装置の一例としての画像処理部９は、入力された画像データに後述するような各種の画像処理を行う。

ＬＣＤドライバ１０は、画像処理部９により処理された画像データ、または記録媒体１４から読み出されＪＰＥＧ処理部１２で伸張された画像データなどを映像信号に変換してＬＣＤ１１に出力する。

ＬＣＤ１１は、ＬＣＤドライバ１０から入力された映像信号により画像を表示する表示装置である。なお、ここでは表示装置として液晶ディスプレイ（ＬＣＤ）を例に挙げたが、有機エレクトロルミネッセンス（有機ＥＬ）などの、その他の表示デバイスを用いたものであっても勿論構わない。

ＪＰＥＧ処理部１２は、画像を記録する際に画像処理部９により処理された画像データを圧縮し、画像を再生する際に圧縮されている画像データを伸張するものである。ここに、圧縮／伸張方式としては、静止画像に対して例えばＪＰＥＧやＴＩＦＦ等が用いられ、動画像に対して例えばＭＰＥＧやＨ．２６４等が用いられる。

メモリＩ／Ｆ１３は、マイクロコンピュータ１７等が記録媒体１４にアクセスして、記録媒体１４への書き込みや、記録媒体１４からの読み出しを行うためのインターフェイスである。

記録媒体１４は、ＪＰＥＧ処理部１２によって圧縮された画像データにヘッダ情報を付加して作成された画像ファイル等を、不揮発に記録するものである。この記録媒体１４は、例えば、撮像装置に対して着脱自在なメモリカードとして構成されている。従って、記録媒体１４は、撮像装置に固有の構成でなくても構わない。

操作部１５は、撮像装置に対する各種の操作入力を行うためのものである。この操作部１５には、例えば、撮像装置の電源をオン／オフするための電源ボタン、静止画撮影モード、動画撮影モード、再生モード、ホワイトバランスモードなどを設定するためのモード設定ボタン、撮影開始を指示入力するためのレリーズボタンなどが含まれている。

ここに、ホワイトバランスモードにおいては、撮影された画像に応じて自動的にホワイトバランス補正を行うオートホワイトバランスモードを設定可能である他に、ユーザが光源の種類を、昼間太陽光、夕方太陽光、電球、蛍光灯などから選択する手動設定も可能となっている。

また、モード設定ボタンにより静止画撮影モードまたは動画撮影モードが設定されている場合には、さらに、通常読出モードと高速読出モードとを選択操作することも可能となっている。

なお、ここでは操作部１５の例として操作ボタンを挙げたが、同様の機能をタッチパネルによって実現しても良いし、その他の構成を採用しても構わない。

フラッシュ（Ｆｌａｓｈ）メモリ１６は、マイクロコンピュータ１７が実行する処理プログラム（例えば、後述する図３〜図６に示すような処理を行うための画像処理プログラム）や、撮像装置の動作に必要な各種のパラメータを不揮発に記憶する、コンピュータにより読み取り可能な一時的でない記録媒体である。ここに、Ｆｌａｓｈメモリ１６が記憶するパラメータとしては、色ノイズ低減処理の要否を判断するための色差範囲や輝度値範囲を示す閾値、色ノイズ低減処理に用いる色差低減係数Ｋの基本特性データ（図１６および図１７参照）、ホワイトバランス補正用のホワイトバランスゲイン、色マトリクス演算用の色マトリクス係数、ガンマ変換用のガンマテーブルなどが、幾つかの例として挙げられる。

マイクロコンピュータ１７は、上述したような撮像装置内の各部を統括的に制御する制御部である。

次に、図２は、画像処理部９の構成を示すブロック図である。

この画像処理部９は、ビット精度変換部２１と、オプティカルブラック（ＯＢ）減算部２２と、ホワイトバランス補正部２３と、同時化処理部２４と、色差算出部２５と、色差補正部２６と、色マトリクス演算部２７と、ガンマ変換部２８と、を有している。

ビット精度変換部２１は、色差補正部２６よりも前段側において、入力された画像データのビット精度を、色差補正部２６の処理ビット精度に変換するものである。画像処理部９は、例えば、処理対象とする画像データのビット精度が、通常読出モードのときのビット精度となるように設計される。従ってこの場合には、色差補正部２６の処理ビット精度も、通常読出モードのときのビット精度に一致する。これに対して、高速読出モードのときにＡ／Ｄ変換部６から出力される画像データのビット精度は、上述したように通常読出モードのときのビット精度とは異なり、つまり処理ビット精度とは異なる。そこで、ビット精度変換部２１は、画像処理部９に入力される画像データのビット精度が処理ビット精度と異なる場合に、一致させるようにビット精度変換を行うものである。

ＯＢ減算部２２は、画像データからオプティカルブラック成分を減算するＯＢ減算処理を行い、暗電流成分を低減するものである。

ホワイトバランス補正部２３は、入力された画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正処理を行う。ここに、ホワイトバランス補正部２３が用いるホワイトバランスゲインは、オートホワイトバランスモードであれば、取得された画像データに基づき算出される。また、ユーザが光源の種類を、昼間太陽光、夕方太陽光、電球、蛍光灯などから選択している場合には、選択された光源の種類に応じて予め定められているホワイトバランスゲインが用いられる。そして、ホワイトバランス補正部２３により用いられた各色成分毎のホワイトバランスゲインは、図２に点線矢印で示すように、色差補正部２６へ出力される。

同時化処理部２４は、撮像素子４が例えば単板撮像素子であって、１画素に付き１色成分しか得られない場合に、１画素にカラー画像を構成する全色成分が揃うように補間処理を行う。具体的に、撮像素子４が原色ベイヤー配列のカラーフィルタを供えた単板撮像素子である場合には、全ての画素に赤色（Ｒ）成分、緑色（Ｇ）成分、青色（Ｂ）成分が揃うように同時化処理が行われる。

色差算出部２５は、ホワイトバランス補正処理および同時化処理が行われた後の画像データの色差成分を画素毎に算出する。

色差補正部２６は、処理対象画素の全ての色差成分が所定の色差補正範囲内である場合に、その処理対象画素について、色差成分を小さくする色差補正処理を行う。この色差補正部２６は、ホワイトバランス補正部２３から入力されたホワイトバランスゲインに基づいて、色差補正範囲を、ホワイトバランスゲインが大きいほど広く、小さいほど狭くするように設定する色差補正範囲設定部としての機能をさらに備えている。

これら色差算出部２５および色差補正部２６は、入力された画像データの無彩色（白色や灰色を含む無彩色を、以下では便宜的に白色などという）部分に生じる色輪郭等の色ノイズを低減する色ノイズ低減処理を行う色ノイズ低減処理部を構成している。

色マトリクス演算部２７は、ホワイトバランス補正の結果に応じた色マトリクス演算を画像データに行って、画像データを特定の色空間上にマッピングする色マトリクス演算処理を行う。

ガンマ変換部２８は、入力された画像データの階調特性を例えば表示装置の特性に合わせて変換するガンマ変換処理を行う。

ビット精度変換部２１によりビット精度変換がなされた画像データを処理する画像処理部９内の各部の内の、ＯＢ減算部２２、ホワイトバランス補正部２３、同時化処理部２４、色マトリクス演算部２７は線形処理を行う線形処理部であり、ガンマ変換部２８は非線形処理を行う非線形処理部である。つまり、色ノイズ低減処理部を構成する色差算出部２５および色差補正部２６は、非線形処理部よりも前段に配置されている。後述するように、色差補正部２６による色差補正処理の対象となる色差補正範囲は、入力信号と出力信号との比率（信号の増減率）によって変化するが、非線形処理ではこの増減率が複雑となる（例えば、ガンマ変換を例に挙げれば、信号の輝度値によって増減率が異なる）。従って、色差補正部２６による色ノイズ低減処理は、色差補正範囲を信号の増幅率に応じて変化させるために、画像データに対して行われる任意の非線形画像処理よりも前段において行うようにすることが好ましい。

続いて、撮像装置におけるライブビュー表示動作および撮影動作の概要について説明する。

撮像装置の電源がオンになると、マイクロコンピュータ１７は、Ｆｌａｓｈメモリ１６からプログラムコードを順次読み込み、処理を開始する。
ライブビュー表示が開始されると、マイクロコンピュータ１７は、撮像素子４に所定の露光時間の露光を行わせ、画像信号を出力させる。出力された画像信号は、撮像回路５によりアナログ処理が施され、Ａ／Ｄ変換部６によりデジタル信号に変換され、バス７を介してＳＤＲＡＭ８に記憶される。露光動作の結果としてＳＤＲＡＭ８に記憶された画像データは、画像処理部９により画像処理が施され、ＳＤＲＡＭ８に再び記憶される。画像処理の結果としてＳＤＲＡＭ８に記憶された画像データは、ＬＣＤドライバ１０により読み出され、映像信号に変換されてＬＣＤ１１に出力される。これにより、ＬＣＤ１１には、撮像素子４で得られた画像信号に対応した画像が表示される。この撮像素子４による露光からＬＣＤ１１による表示までの一連の動作を例えばフレーム単位で繰り返すことにより、画像がＬＣＤ１１にリアルタイム表示され、すなわちライブビュー表示動作が行われる。ユーザは、ＬＣＤ１１にライブビュー表示された画像を見ることにより、撮影しようとする画像の構図確認等を行うことができる。

そして、操作部１５のレリーズボタンが操作されることにより、撮影動作が開始される。すると、マイクロコンピュータ１７は、必要に応じてレンズ駆動制御回路３を制御しレンズ１を合焦位置まで駆動させる。そして、マイクロコンピュータ１７は、例えば被写体の輝度に応じて露光時間を決定し、撮像素子４に露光動作を行わせる。露光終了後に撮像素子４から出力される画像信号は、ライブビュー表示動作時と同様に、デジタル信号に変換されて画像処理が施され、ＳＤＲＡＭ８に記憶される。画像処理の結果としてＳＤＲＡＭ８に記憶された画像データは、ＪＰＥＧ処理部１２によって圧縮され、ＳＤＲＡＭ８に再び記憶される。圧縮処理の結果としてＳＤＲＡＭ８に記憶された画像データは、マイクロコンピュータ１７により所定のヘッダ情報が付加されて画像ファイルとして構成される。マイクロコンピュータ１７は、こうして生成した画像ファイルを、メモリＩ／Ｆ１３を介して記録媒体１４に記録する。

次に、図３は画像処理部９により行われる画像処理を示すサブルーチンのフローチャートである。この画像処理は、Ｆｌａｓｈメモリ１６から読み出した画像処理プログラムに基づくマイクロコンピュータ１７の制御に従って行われる。
この実施形態において、図３に示す画像処理のサブルーチンは、撮像装置全体の処理を制御する不図示のメインルーチンから実行されるサブルーチンの一つとなっている。

この処理が開始されると、ビット精度変換部２１は、ＳＤＲＡＭ８から読み出され、バス７を介して入力された画像データのビット精度が、画像処理部９内の処理ビット精度と等しいか否かを判定する（ステップＳ１）。ビット精度の不一致は、上述したように、高速読出モードにおけるＡ／Ｄ変換部６のＡ／Ｄ変換等により発生する。

ここでビット精度が一致しないと判定された場合には、ビット精度変換部２１は入力画像データのビット精度を画像処理部９内の処理ビット精度に変換する（ステップＳ２）。

このステップＳ２の処理が終了するか、またはステップＳ１においてビット精度が一致すると判定された場合には、ＯＢ減算部２２が、入力された画像データからオプティカルブラック成分を減算する（ステップＳ３）。

続いて、ホワイトバランス補正部２３が、例えば、Ｒ成分にＲ成分用のホワイトバランスゲインＷＧｒを乗算し、Ｂ成分にＢ成分用のホワイトバランスゲインＷＧｂを乗算し、Ｇ成分にＧ成分用のホワイトバランスゲインＷＧｇを乗算するホワイトバランス補正処理を行う（ステップＳ４）。ただし、ホワイトバランス補正は、各色成分の比を変更する補正処理であるために、例えば、
ＷＧｒ：ＷＧｂ：ＷＧｇ＝（ＷＧｒ／ＷＧｇ）：（ＷＧｂ／ＷＧｇ）：１
であり、左辺と右辺の相違であるＷＧｇは画像信号全体のゲインアップに寄与するのみであってホワイトバランスの変更には寄与しない。そこで、何れか１つの色成分のホワイトバランスゲイン、例えばＧ成分用のホワイトバランスゲインＷＧｇを「１」に固定しても（つまり、Ｇ成分についてはホワイトバランスゲインを乗算しなくても）構わず、以下では主としてこのような場合を考えるものとする。

さらに、同時化処理部２４が、入力された画像データに同時化処理を行い、任意の画素に全色成分が揃うカラー画像データを生成する（ステップＳ５）。

そして、色差算出部２５および色差補正部２６が、後で図４を参照して説明するような色ノイズ低減処理を行う（ステップＳ６）。

その後、色マトリクス演算部２７が、入力された画像データに色マトリクス演算処理を行って色空間を変換する（ステップＳ７）。

加えて、ガンマ変換部２８が、マイクロコンピュータ１７によりＦｌａｓｈメモリ１６から読み出されたガンマテーブルに従って、入力された画像データにガンマ変換処理を行う（ステップＳ８）。

こうしてステップＳ８の処理を行ったところで、画像処理後の画像データをＳＤＲＡＭ８に記憶させて、この画像処理部９による画像処理を終了し、メインルーチン に戻り処理を継続する。

なお、図２および図３に示した画像処理の順序は一例であって、例えば、同時化処理をホワイトバランス補正処理の前に行う、あるいは色ノイズ低減処理を色マトリクス演算処理の後に行う、等のように変更することが可能である。ただし、本実施形態の色ノイズ低減処理は、ホワイトバランス補正処理よりも後段において行われるものとする。さらに、上述したように、色ノイズ低減処理は、非線形処理であるガンマ変換処理よりも前段において行うことが好ましい。

続いて、図４は、図３のステップＳ６における色ノイズ低減処理の詳細を示すフローチャートである。

この処理を開始すると、色差算出部２５が、処理対象画素の色差を算出する（ステップＳ１１）。

具体的に、撮像素子４を構成する全Ｎ（Ｎは正の整数）画素中の、ｉ（ｉは１以上Ｎ以下の整数）番目の画素を処理対象画素として、ｉを１〜Ｎまでの間で変化させて処理対象画素を順次変更していくものとする。このとき、同時化処理後の画素データにおけるｉ番目の画素の、Ｒ成分をＲｉｎ（ｉ）、Ｇ成分をＧｉｎ（ｉ）、Ｂ成分をＢｉｎ（ｉ）と表すとすると、色差算出部２５は、Ｒ成分に対応する色差ｄＲ（ｉ）とＢ成分に対応する色差ｄＢ（ｉ）とを、例えば、次の数式１によって算出する。
［数１］
ｄＲ（ｉ）＝Ｇｉｎ（ｉ）−Ｒｉｎ（ｉ）
ｄＢ（ｉ）＝Ｇｉｎ（ｉ）−Ｂｉｎ（ｉ）

色差ｄＲ（ｉ）は白色からのＲ成分方向へのずれ量（符号も考慮すれば、−Ｒ成分方向へのずれ量）を、色差ｄＢ（ｉ）は白色からのＢ成分方向へのずれ量（符号も考慮すれば、−Ｂ成分方向へのずれ量）を、それぞれ表しており、白色のときにはＧｉｎ（ｉ）＝Ｒｉｎ（ｉ）＝Ｂｉｎ（ｉ）となるためにｄＲ（ｉ）およびｄＢ（ｉ）は何れも０となる。

なお、ここでは計算を簡単にするためにＲ，Ｂ色成分に対するＧ成分の差分を色差としたが、これに限らず、ＹＣｂＣｒ色空間における色差や、その他の色空間における色差を用いても構わない。

続いて、色差補正部２６は、色差ｄＲ（ｉ）が、次の数式２に示すように、所定範囲内であるか否かを判定する（ステップＳ１２）。
［数２］
−ＴＨ＿ｄＲ＜ｄＲ（ｉ）＜ＴＨ＿ｄＲ

この数式２における所定範囲を設定するための閾値ＴＨ＿ｄＲは、後で図７を参照して説明する閾値ＴＨ＿ｄＲ２に対応し、ホワイトバランスゲインやビット精度変換率に応じて変化する。

このステップＳ１２において、色差ｄＲ（ｉ）が数式２に示す所定範囲内であると判定された場合には、色差補正部２６は、さらに、色差ｄＢ（ｉ）が、次の数式３に示すように、所定範囲内であるか否かを判定する（ステップＳ１３）。
［数３］
−ＴＨ＿ｄＢ＜ｄＢ（ｉ）＜ＴＨ＿ｄＢ

この数式３における所定範囲を設定するための閾値ＴＨ＿ｄＢは、後で図８を参照して説明する閾値ＴＨ＿ｄＢ２に対応し、ホワイトバランスゲインやビット精度変換率に応じて変化する。

Ｆｌａｓｈメモリ１６には、後述するような、製造時に実測を行って設定された、Ｒ色差低減係数Ｋｒの基本特性データと、Ｂ色差低減係数Ｋｂの基本特性データと、が予め記憶されている。数式２および数式３に示したような、所定範囲を設定するための閾値ＴＨ＿ｄＲ，ＴＨ＿ｄＢは、マイクロコンピュータ１７によりＦｌａｓｈメモリ１６から読み出されたこれらの基本特性データに基づいて、ホワイトバランスゲインやビット精度変換率を考慮しながら色差補正部２６により設定される。

ここで、色差ｄＢ（ｉ）が数式３に示す所定範囲内であると判定された場合には、白色からＲ成分方向への色ずれが一定の範囲内であって、かつ白色からＢ成分方向への色ずれが一定の範囲内であることを示す。このような数式２および数式３の両方が満たされる場合に、処理対象画素が色ノイズであると判定するようにしている。一方、数式２と数式３との少なくとも一方が満たされない場合には、処理対象画素が元々白色以外の色を有する画素であると判定して、色ノイズ低減処理は行わないようにしている。

こうして、ステップＳ１３において数式３が満たされる場合には、処理対象画素が色ノイズ画素であると判定されたことになるが、色ノイズは輝度値によって目立ち易い場合と目立ち難い場合とがある。まず、色の表現範囲は、低輝度であるとどの色であっても全て黒色に近付いて色の表現範囲が狭く、高輝度であるとどの色であっても全て白色に近付いて同様に色の表現範囲が狭く、中輝度である場合に最も色の表現範囲が広くなる。また、人間の視覚的にも、輝度によって色ノイズの感知のし易さが異なる。そこで色差補正部２６は、処理対象画素の輝度成分の値（輝度値）が、色ノイズ低減処理を行う必要がある所定の輝度範囲内であるか否かを、次の数式４に示すようにさらに判定する（ステップＳ１４）。
［数４］
Ｌｇ≦Ｇｉｎ（ｉ）≦Ｕｇ

ここに、数式４に示したような、所定の輝度範囲を設定するための下限閾値Ｌｇおよび上限閾値Ｕｇも、上述と同様に、例えば、製造時に実測を行って設定され、Ｆｌａｓｈメモリ１６に予め記憶されていて、マイクロコンピュータ１７により読み出された値である。

なお、ここでは計算を簡単にするためにＧ成分を輝度成分の値（輝度値）として用いたが、上述と同様に、ＹＣｂＣｒ色空間における輝度や、その他の色空間における輝度を用いても構わない。

ここで、図９から図１１を参照して、上述したステップＳ１２〜Ｓ１４の判定について説明する。図９は色差および輝度値が所定範囲内である画素データの処理例を示す図、図１０はＲ色差が所定範囲外である画素データの処理例を示す図、図１１は輝度値が所定範囲外である画素データの処理例を示す図である。

まず、図９に示す例は、色差ｄＲ（ｉ）が数式２に示す所定範囲を満たし、色差ｄＢ（ｉ）が数式３に示す所定範囲を満たし、かつ輝度値Ｇｉｎ（ｉ）が数式４に示す所定の輝度範囲を満たす（すなわち、ステップＳ１２〜Ｓ１４の判定が全てイエスとなる）例となっている。この場合には、左側に示すような色ノイズ低減処理前の画素データＲｉｎ，Ｇｉｎ，Ｂｉｎが、後述するステップＳ１８の処理により色ノイズ低減されて、右側に示すような色ノイズ低減処理後の画素データＲｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔとなる。この図９に示す例においては特に、Ｒ色差低減係数Ｋｒ＝１およびＢ色差低減係数Ｋｂ＝１が適用されて（これらの係数については後の説明を参照）、色ノイズが完全に除去され画素が無彩色（白色）に戻っている。

また、図１０に示す例は、色差ｄＢ（ｉ）が数式３に示す所定範囲を満たし、かつ輝度値Ｇｉｎ（ｉ）が数式４に示す所定の輝度範囲を満たすが、色差ｄＲ（ｉ）は数式２に示す所定範囲を満たさない（すなわち、ステップＳ１２の判定がノーとなる）例となっている。この場合には、後述するステップＳ１８の処理がスキップされ、すなわち色ノイズ低減処理が行われない。

さらに、図１１に示す例は、色差ｄＲ（ｉ）が数式２に示す所定範囲を満たし、かつ色差ｄＢ（ｉ）が数式３に示す所定範囲を満たすが、輝度値Ｇｉｎ（ｉ）が数式４に示す所定の輝度範囲を満たさない（すなわち、ステップＳ１４の判定がノーとなる）例となっている。この場合にも、後述するステップＳ１８の処理がスキップされ、すなわち色ノイズ低減処理が行われない。

次に、色差補正部２６は、色ノイズ低減処理における色差成分の低減度合いを示す色差低減係数Ｋをホワイトバランスゲインに応じて調整するための、ホワイトバランスゲイン対応調整を、後で図５を参照して説明するように行う（ステップＳ１５）。

続いて、色差補正部２６は、上述した色差低減係数Ｋを、ビット精度変換に応じて調整するためのビット精度変換対応調整を、後で図６を参照して説明するように行う（ステップＳ１６）。

なお、ここではホワイトバランスゲイン対応調整を先に行い、ビット精度変換対応調整を後に行ったが、処理順序を逆にしても構わない。

ステップＳ１５およびステップＳ１６により調整されたＲ，Ｂ色差低減係数Ｋｒ，Ｋｂが、例えば図７および図８に示すようになっているものとする。ここに、図７はＲ色差低減係数Ｋｒのグラフの例を示す図、図８はＢ色差低減係数Ｋｂのグラフの例を示す図である。

図７に示すＲ色差低減係数Ｋｒは、｜ｄＲ｜≦ＴＨ＿ｄＲ１のときはＫｒ＝１となり、｜ｄＲ｜＞ＴＨ＿ｄＲ１のときに｜ｄＲ｜の増加に従ってＫｒが減少し、｜ｄＲ｜＞ＴＨ＿ｄＲ２（ここに、ＴＨ＿ｄＲ１≦ＴＨ＿ｄＲ２）のときにＫｒ＝０となるような特性となっている。

同様に、図８に示すＢ色差低減係数Ｋｂは、｜ｄＢ｜≦ＴＨ＿ｄＢ１のときはＫｂ＝１となり、｜ｄＢ｜＞ＴＨ＿ｄＢ１のときに｜ｄＢ｜の増加に従ってＫｂが減少し、｜ｄＢ｜＞ＴＨ＿ｄＢ２（ここに、ＴＨ＿ｄＢ１≦ＴＨ＿ｄＢ２）のときにＫｂ＝０となるような特性となっている。

色差補正部２６は、処理対象画素の色差ｄＲ（ｉ）に基づいて、図７に示すＲ色差低減係数Ｋｒのグラフから、処理対象画素に対して適用するＲ色差低減係数Ｋｒを決定し、さらに、処理対象画素の色差ｄＢ（ｉ）に基づいて、図８に示すＢ色差低減係数Ｋｂのグラフから、処理対象画素に対して適用するＢ色差低減係数Ｋｂを決定する（ステップＳ１７）。

そして、色差補正部２６は、決定したＲ，Ｂ色差低減係数Ｋｒ，Ｋｂに基づいて、色ノイズ低減処理を、次の数式５に示すように行う（ステップＳ１８）。
［数５］
Ｒｏｕｔ（ｉ）＝Ｒｉｎ（ｉ）＋（Ｋｒ×ｄＲ（ｉ））
Ｂｏｕｔ（ｉ）＝Ｂｉｎ（ｉ）＋（Ｋｂ×ｄＢ（ｉ））
Ｇｏｕｔ（ｉ）＝Ｇｉｎ（ｉ）

この数式５を見れば分かるように、まず、Ｇ成分は、色ノイズ低減処理の影響を受けない。

また、数式１に示した色差ｄＲ（ｉ），ｄＢ（ｉ）の定義と、図７および図８に示したＲ，Ｂ色差低減係数Ｋｒ，Ｋｂと、を参照すれば、Ｋｒ＝０のときにはＲ成分は補正されず、Ｋｂ＝０のときにはＢ成分は補正されないことが分かる。さらに、Ｋｒ＝１のときにはＲ成分はＧ成分Ｇｉｎ（ｉ）に置き換えられ、Ｋｂ＝１のときにはＢ成分はＧ成分Ｇｉｎ（ｉ）に置き換えられる。つまり、Ｋｒ＝Ｋｂ＝１のときにはＲｏｕｔ（ｉ）＝Ｂｏｕｔ（ｉ）＝Ｇｏｕｔ（ｉ）となって、色ノイズ低減処理後の画素は完全な白色（上述したように、より正確には無彩色）になることが分かる。そして、０＜Ｋｒ＜１、０＜Ｋｂ＜１のときには、Ｋｒの値およびＫｂの値に応じて、入力画素データが白色に近付くことになる。

このようにして算出されたＲｏｕｔ（ｉ）、Ｂｏｕｔ（ｉ）、Ｇｏｕｔ（ｉ）が、色差補正部２６からの出力となる。

ステップＳ１８の処理が行われたら、全Ｎ画素についての処理が終了したか否かを判定する（ステップＳ１９）。ここで、未処理の画素があると判定された場合には、処理対象画素の位置を移動してから（ステップＳ２０）、ステップＳ１１へ戻って新たな処理対象画素について上述したような処理を行う。

こうして、ステップＳ１９において全Ｎ画素についての処理が終了したと判定されたところで、この処理から図３に示した処理にリターンする。

次に、図５は、図４のステップＳ１５におけるホワイトバランスゲイン対応調整の詳細を示すフローチャートである。

この処理に入ると、色差補正部２６は、ホワイトバランス補正部２３により行われたホワイトバランス補正処理において、Ｇ成分に対するホワイトバランスゲインＷＧｇに対する、Ｒ成分に対するホワイトバランスゲインＷＧｒの比（ＷＧｒ／ＷＧｇ）が、「１」であるか否かを判定する（ステップＳ３１）。

ここで、「１」でないと判定された場合には、例えば図１２に示すような色ノイズが発生することがある。ここに図１２は、Ｒ色成とＧ成分とでホワイトバランスゲインが異なることにより生じる色ノイズを説明するための線図である。

この図１２は、ＷＧｇ＝１、ＷＧｒ＝３であるときの例を示している。Ｇ成分はゲインアップされていないために、信号値が変化する最小単位は、量子化単位の１階調である。これに対して、Ｒ成分は３倍にゲインアップされているために、信号値が変化する最小単位は、量子化単位の３倍の３階調となる。従って、ホワイトバランス補正後に白色となるべき画素に生じる、信号値変化の最小単位の相違に基づく誤差、ここでは１階調分の色差ｄＲ１、および２階調分の色差ｄＲ２が、色ノイズとなる。ここに、最大で何階調分の色差が色ノイズとして生じるかは、Ｒ成分のゲイン値（より一般には（ＷＧｒ／ＷＧｇ））に応じて異なる。

そこで、ステップＳ３１において「１」でないと判定された場合には、色差補正部２６は、マイクロコンピュータ１７を介してＦｌａｓｈメモリ１６から読み出されたＲ色差低減係数Ｋｒの基本特性データである、例えば図１６に示すようなＲ色差低減係数Ｋｒのグラフを、比率（ＷＧｒ／ＷＧｇ）に応じた倍率で色差軸方向にスケール変換する補正を行う（ステップＳ３２）。

ここに図１６は、色差ｄＲに対するＲ色差低減係数Ｋｒの基本特性の例を示す図である。この図１６に示す例は、ＷＧｒ＝２、ＷＧｇ＝１であり、かつ入力画像のビット精度が処理ビット精度に一致するときのＲ色差低減係数Ｋｒのグラフを基本特性とした例となっている。具体的に、図１６に示すＲ色差低減係数Ｋｒは、｜ｄＲ｜≦１のときはＫｒ＝１となり、｜ｄＲ｜＞１のときに｜ｄＲ｜の増加に従ってＫｒが減少し、｜ｄＲ｜＞３のときにＫｒ＝０となるような特性となっている。

このときには図１４を参照して下記に説明する色差ｄＢの場合と同様に、ホワイトバランス補正後に白色となるべき画素に生じる、信号値変化の最小単位の相違に基づく誤差は、１階調分の色差ｄＲ１となる（ＷＧｒ＝３の場合のような、２階調分の色差ｄＲ２は生じない）。そして、色差ｄＲ１に対応するＲ色差低減係数Ｋｒは、この図１６を参照すれば１．０となる。Ｋｒ＝１．０を数式５の第１式に適用すれば、Ｒｏｕｔ（ｉ）＝Ｇｉｎ（ｉ）となって、Ｒ成分に対する色ノイズが完全に除去されることが分かる。また、｜ｄＲ｜が１から３へ増加するに従ってＫｒが減少して行くのは、色ノイズ補正があり／なしで急激に変化するのを避けて、色差が周辺領域へ向けてなだらかに変化するようにし、色差変化の違和感を軽減するためである。

そして、この図１６に示す基本特性を採用する場合には、Ｒ色差低減係数Ｋｒのグラフを色差軸方向に例えば｛（ＷＧｒ／ＷＧｇ）−１｝倍することによりステップＳ３２のスケール変換が行われる。特に、ＷＧｇ＝１とした場合には、Ｒ色差低減係数Ｋｒのグラフは、色差軸方向に（ＷＧｒ−１）倍されることになる。

ただし、デジタル画像における色差は整数値のみを取るために、より正確にはステップＳ３２のスケール変換は段階的に行われる。例えば、１＜ＷＧｒ≦２のときにはスケール変換を行わず（つまり、ＷＧｒ＝２のときのＲ色差低減係数Ｋｒのグラフがそのまま用いられ）、２＜ＷＧｒ≦３のときにはＷＧｒ＝２のときのＲ色差低減係数Ｋｒのグラフを色差軸方向に２倍し、３＜ＷＧｒ≦４のときにはＷＧｒ＝２のときのＲ色差低減係数Ｋｒのグラフを色差軸方向に３倍し、…、ｎを正の整数とするとｎ＜ＷＧｒ≦（ｎ＋１）のときにはＷＧｒ＝２のときのＲ色差低減係数Ｋｒのグラフを色差軸方向にｎ倍する、等である。

具体的に、図１２に示した場合には、ＷＧｒ＝３であるために、ステップＳ３２のスケール変換によって、図１６に示すＲ色差低減係数Ｋｒのグラフが色差軸方向に２倍され、図１８に示すようなＲ色差低減係数Ｋｒのグラフが生成される。ここに図１８は、ホワイトバランスゲインに対応して補正されたＲ色差低減係数Ｋｒの特性の例を示す図である。

ＷＧｒ＝３のときに生じ得る色ノイズは、上述したように、１階調分の色差ｄＲ１または２階調分の色差ｄＲ２である。これら何れの場合も、Ｒ色差低減係数Ｋｒは、図１８を参照すれば１．０となり、Ｒｏｕｔ（ｉ）＝Ｇｉｎ（ｉ）となって、Ｒ成分に対する色ノイズである色差ｄＲ１，ｄＲ２が図１３に示すように完全に除去されることが分かる。ここに、図１３は図１２に示した色ノイズが除去された様子を示す線図である。また、図１８のグラフにおいて、｜ｄＲ｜が２から６へ増加するに従ってＫｒが減少し、色差が急激に変化することによる違和感を軽減しているのは上述と同様である。

このステップＳ３２の処理が行われるか、またはステップＳ３１において「１」であると判定された場合には、色差補正部２６は、ホワイトバランス補正部２３により行われたホワイトバランス補正処理において、Ｇ成分に対するホワイトバランスゲインＷＧｇに対する、Ｂ成分に対するホワイトバランスゲインＷＧｂの比（ＷＧｂ／ＷＧｇ）が、「１」であるか否かを判定する（ステップＳ３３）。

ここで、「１」でないと判定された場合には、上述と同様に、例えば図１４に示すような色ノイズが発生することがある。ここに図１４は、Ｂ色成とＧ成分とでホワイトバランスゲインが異なることにより生じる色ノイズを説明するための線図である。

この図１４は、ＷＧｇ＝１、ＷＧｂ＝２であるときの例を示している。Ｇ成分の信号値が変化する最小単位は１階調であるのに対して、Ｒ成分は２倍にゲインアップされているために、信号値が変化する最小単位が２階調となる。従って、ホワイトバランス補正後に白色となるべき画素に生じる１階調分の色差ｄＢ１が色ノイズとなる。そして、上述と同様に、最大で何階調分の色差が色ノイズとして生じるかは、Ｂ成分のゲイン値（より一般には（ＷＧｂ／ＷＧｇ））に応じて異なる。

そこで、ステップＳ３３において「１」でないと判定された場合には、色差補正部２６は、マイクロコンピュータ１７を介してＦｌａｓｈメモリ１６から読み出されたＢ色差低減係数Ｋｂの基本特性データである、例えば図１７に示すようなＢ色差低減係数Ｋｂのグラフを、比率（ＷＧｂ／ＷＧｇ）に応じた倍率で色差軸方向にスケール変換する補正を行う（ステップＳ３４）。

ここに図１７は、色差ｄＢに対するＢ色差低減係数Ｋｂの基本特性の例を示す図である。この図１７に示す例は、ＷＧｂ＝２、ＷＧｇ＝１であり、かつ入力画像のビット精度が処理ビット精度に一致するときのＢ色差低減係数Ｋｂのグラフを基本特性とした例となっている。具体的に、図１７に示すＢ色差低減係数Ｋｂは、｜ｄＢ｜≦１のときはＫｂ＝１となり、｜ｄＢ｜＞１のときに｜ｄＢ｜の増加に従ってＫｂが減少し、｜ｄＢ｜＞３のときにＫｂ＝０となるような特性となっている。

このときには図１６を参照して説明した例と同様に、色差ｄＢ１に対応するＢ色差低減係数Ｋｂ＝１．０が数式５の第２式に適用され、Ｂｏｕｔ（ｉ）＝Ｇｉｎ（ｉ）となって、Ｂ成分に対する色ノイズである色差ｄＢ１が図１５に示すように完全に除去されることが分かる。ここに、図１５は図１４に示した色ノイズが除去された様子を示す線図である。また、図１７のグラフにおいて、｜ｄＢ｜が１から３へ増加するに従ってＫｂが減少して行き、色差が急激に変化することによる違和感を軽減しているのも上述と同様である。

この図１７に示す基本特性を採用する場合には、Ｂ色差低減係数Ｋｂのグラフを色差軸方向に例えば｛（ＷＧｂ／ＷＧｇ）−１｝倍することによりステップＳ３４のスケール変換が行われる。特に、ＷＧｇ＝１とした場合には、Ｂ色差低減係数Ｋｂのグラフは、色差軸方向に（ＷＧｂ−１）倍されることになる。

また、ステップＳ３４のスケール変換が段階的に行われるのも上述と同様である。例えば、１＜ＷＧｂ≦２のときにはスケール変換を行わず（つまり、ＷＧｂ＝２のときのＢ色差低減係数Ｋｂのグラフがそのまま用いられ）、２＜ＷＧｂ≦３のときにはＷＧｂ＝２のときのＢ色差低減係数Ｋｂのグラフを色差軸方向に２倍し、３＜ＷＧｂ≦４のときにはＷＧｂ＝２のときのＢ色差低減係数Ｋｂのグラフを色差軸方向に３倍し、…、ｎを正の整数とするとｎ＜ＷＧｂ≦（ｎ＋１）のときにはＷＧｂ＝２のときのＢ色差低減係数Ｋｂのグラフを色差軸方向にｎ倍する、等である。

こうして、ステップＳ３２またはステップＳ３４の処理を行う色差補正部２６は、色差補正範囲を、ホワイトバランスゲインが大きいほど広く、小さいほど狭くするように設定する色差補正範囲設定部として機能する。

このステップＳ３４の処理が行われるか、またはステップＳ３３において「１」であると判定された場合には、この処理から図４に示す処理にリターンする。

続いて、図６は、図４のステップＳ１６におけるビット精度変換対応調整の詳細を示すフローチャートである。

この処理に入ると、色差補正部２６は、ビット精度変換部２１によりビット精度変換が実施されたか否かを判定する（ステップＳ４１）。

例えば、ホワイトバランス補正により図１９に示すような１階調分の色差ｄＢ１の色ノイズが生じたものとする。ここに、図１９はホワイトバランス補正により１階調分の色差ｄＢ１の色ノイズが生じる例を示す線図である。そして、ビット精度変換部２１によるビット精度変換が、上述したように例えば８ビットから１０ビットへの変換、つまり４倍のゲインに相当する変換であったものとする。この場合には、図１９に示すような１階調分の色差ｄＢ１の色ノイズは、図２０に示すような４階調分の色差ｄＢ４の色ノイズに拡大されることになる。ここに、図２０は、図１９に示した色ノイズが２ビット分のビット精度変換により拡大した様子を示す線図である。従って、ビット精度変換が実施された場合には、以下のような処理を行う。

すなわち、ビット精度変換が実施されたと判定された場合には、ビット精度変換率に応じて、ステップＳ１５のホワイトバランスゲイン対応調整済みのＲ色差低減係数ＫｒのグラフおよびＢ色差低減係数Ｋｂのグラフを、色差軸方向にスケール変換する補正を行う（ステップＳ４２）。具体的には、入力画像データのビット精度をＢ０、処理ビット精度をＢｐｒｏとすると、Ｒ色差低減係数ＫｒのグラフおよびＢ色差低減係数Ｋｂのグラフを、色差軸方向に（Ｂｐｒｏ／Ｂ０）倍する処理が行われる。

図１９に示した例ではｄＢ１が生じているために、ステップＳ１５のホワイトバランスゲイン対応調整を行っても図１７に示すようなＢ色差低減係数Ｋｂのグラフがそのまま用いられることになる。従って、このステップＳ４２においては、図１７に示すようなＢ色差低減係数Ｋｂのグラフを色差軸方向に４倍するスケール変換を行って、図２１に示すようなグラフを作成する。ここに図２１は、ビット精度変換に対応して補正されたＢ色差低減係数Ｋｂの特性の例を示す図である。

こうして、色差補正範囲設定部として機能する色差補正部２６は、ビット精度の拡大率に応じて色差補正範囲を広くするように設定している。

なお、上述では、ビット精度変換部２１によるビット精度の変換が、精度拡大である場合について説明したが、精度縮小である場合にも上述した技術を同様に適用することが可能である。従って、色差補正部２６は、ビット精度変換部２１によるビット精度の変換が、精度拡大である場合には拡大率に応じて色差補正範囲を広く、精度縮小である場合には縮小率に応じて色差補正範囲を狭くするように設定することになる。

このステップＳ４２の処理が行われるか、またはステップＳ４１においてビット精度変換が実施されていないと判定された場合には、この処理から図４に示す処理にリターンする。

上述したようなステップＳ１５のホワイトバランスゲイン対応調整、およびステップＳ１６のビット精度変換対応調整により、図１６に示したようなＲ色差低減係数Ｋｒと、図１７に示したようなＢ色差低減係数Ｋｂとは、次に示すように調整されることになる。

Ｒ色差低減係数ＫｒとＢ色差低減係数Ｋｂとをまとめて色差低減係数Ｋとして表し、ＷＧｇ＝１であるときのＲ成分またはＢ成分に対するホワイトバランスゲインをまとめてＷＧにより表し、図１６および図１７に示すようなビット精度変換が行われずＷＧｇ＝１、ＷＧｒ＝２、ＷＧｂ＝２であるときの色差低減係数ＫのグラフをＫ２と表記することにすると、ステップＳ１５およびステップＳ１６による処理後の補正色差低減係数Ｋｃｏｒは、天井関数ｃｅｉｌｉｎｇ（）を用いて、次の数式６により表される。
［数６］
Ｋｃｏｒ＝｛ｃｅｉｌｉｎｇ（ＷＧ）−１｝×（Ｂｐｒｏ／Ｂ０）×Ｋ２

ここに、上述したように、Ｂ０は入力画像データのビット精度、Ｂｐｒｏは処理ビット精度である。

従って、基本となる色差低減係数グラフＫ２に基づき色差補正が行われる範囲である基本色差補正範囲Ｗｉｄｔｈ（Ｋ２）は、ステップＳ１５およびステップＳ１６による処理後は、次の数式７に示すような色差補正範囲Ｗｉｄｔｈ（Ｋｃｏｒ）となる。
［数７］
Ｗｉｄｔｈ（Ｋｃｏｒ）
＝｛ｃｅｉｌｉｎｇ（ＷＧ）−１｝×（Ｂｐｒｏ／Ｂ０）×Ｗｉｄｔｈ（Ｋ２）

なお、処理後の色差補正範囲Ｗｉｄｔｈ（Ｋｃｏｒ）は、具体的には、図７に示すような−（ＴＨ＿ｄＲ２）〜ＴＨ＿ｄＲ２、および図８に示すような−（ＴＨ＿ｄＢ２）〜ＴＨ＿ｄＢ２が該当する。

また、ＷＧｇ＝１でないときにはＧ成分にもホワイトバランスゲインによるノイズが発生するために、補正色差低減係数Ｋｃｏｒを一般化してＲ成分に係る補正色差低減係数ＫＲｃｏｒおよびＢ成分に係る補正色差低減係数ＫＢｃｏｒを正確に表すのは難しいが、近似的には上述した数式６と同様の、次の数式７に示すようになる。
［数７］
ＫＲｃｏｒ
＝｛ｃｅｉｌｉｎｇ（ＷＧｒ／ＷＧｇ）−１｝×（Ｂｐｒｏ／Ｂ０）×Ｋ２
ＫＢｃｏｒ
＝｛ｃｅｉｌｉｎｇ（ＷＧｂ／ＷＧｇ）−１｝×（Ｂｐｒｏ／Ｂ０）×Ｋ２

なお、上述では基本となる色差低減係数グラフＫ２は、Ｒ色差、およびＢ色差に対してそれぞれ１つずつであることを想定していたが、これに限定されるものでもなく、処理対象画素の輝度値に応じて複数ずつ用意しても良い。

図２２は輝度範囲を３つに分けてＲ，Ｂ色差低減係数を用意した例を示す図表である。

図２２に示す例においては、全輝度範囲が０〜Ｙｍａｘであるとすると、０＜Ｙ１＜Ｙ２＜Ｙｍａｘとなるような輝度値Ｙ１およびＹ２を用いて、第１の所定の輝度範囲が０〜Ｙ１、第２の所定の輝度範囲がＹ１〜Ｙ２、第３の所定の輝度範囲がＹ２〜Ｙｍａｘとなるように設定され、つまり、複数の所定の輝度範囲が全輝度範囲０〜Ｙｍａｘ内において互いに重複することのないように設定されている。

そして、色差補正範囲を与える色差低減係数は、第１〜第３の所定の輝度範囲毎に予め定められていて、第１の所定の輝度範囲０〜Ｙ１に対してはＲ色差低減係数Ｋｒ１およびＢ色差低減係数Ｋｂ１が、第２の所定の輝度範囲Ｙ１〜Ｙ２に対してはＲ色差低減係数Ｋｒ２およびＢ色差低減係数Ｋｂ２が、第３の所定の輝度範囲Ｙ２〜Ｙｍａｘに対してはＲ色差低減係数Ｋｒ３およびＢ色差低減係数Ｋｂ３が、それぞれ定められている。

具体的に、Ｒ色差低減係数Ｋｒｊ（ｊ＝１，２，３）は、｜ｄＲ｜≦ＴＨ＿ｄＲｊ１のときはＫｒｊ＝１となり、｜ｄＲ｜＞ＴＨ＿ｄＲｊ１のときに｜ｄＲ｜の増加に従ってＫｒｊが減少し、｜ｄＲ｜＞ＴＨ＿ｄＲｊ２（ここに、ＴＨ＿ｄＲｊ１≦ＴＨ＿ｄＲｊ２）のときにＫｒｊ＝０となるような特性となっている。

同様に、Ｂ色差低減係数Ｋｂｊ（ｊ＝１，２，３）は、｜ｄＢ｜≦ＴＨ＿ｄＢｊ１のときはＫｂｊ＝１となり、｜ｄＢ｜＞ＴＨ＿ｄＢｊ１のときに｜ｄＢ｜の増加に従ってＫｂｊが減少し、｜ｄＢ｜＞ＴＨ＿ｄＢｊ２（ここに、ＴＨ＿ｄＢｊ１≦ＴＨ＿ｄＢｊ２）のときにＫｂｊ＝０となるような特性となっている。

そして、色ノイズは低輝度域で目立ち易いことを考慮して、この図２２に示す例では、輝度値が低い輝度範囲ほど色差補正範囲が広くなるように（つまり、ＴＨ＿ｄＲ１１≧ＴＨ＿ｄＲ２１≧ＴＨ＿ｄＲ３１，ＴＨ＿ｄＲ１２≧ＴＨ＿ｄＲ２２≧ＴＨ＿ｄＲ３２，ＴＨ＿ｄＢ１１≧ＴＨ＿ｄＢ２１≧ＴＨ＿ｄＢ３１，ＴＨ＿ｄＢ１２≧ＴＨ＿ｄＢ２２≧ＴＨ＿ｄＢ３２となるように）色差低減係数が設定されている。具体的に、この図２２に示す例では、ＴＨ＿ｄＲ１２＞ＴＨ＿ｄＲ２２＞ＴＨ＿ｄＲ３２、かつＴＨ＿ｄＢ１２＞ＴＨ＿ｄＢ２２＞ＴＨ＿ｄＢ３２となるようにしている。

色差補正範囲設定部として機能する色差補正部２６は、処理対象画素の輝度成分の値（輝度値）が第１〜第３の所定の輝度範囲の何れかに含まれる場合に、処理対象画素の輝度値が含まれる輝度範囲の色差補正範囲を設定する。

従って、処理対象画素の輝度値が、第１の所定の輝度範囲０〜Ｙ１内に入る場合にＲ色差低減係数Ｋｒ１およびＢ色差低減係数Ｋｂ１を用い、第２の所定の輝度範囲Ｙ１〜Ｙ２内に入る場合にＲ色差低減係数Ｋｒ２およびＢ色差低減係数Ｋｂ２を用い、第３の所定の輝度範囲Ｙ２〜Ｙｍａｘ内に入る場合にＲ色差低減係数Ｋｒ３およびＢ色差低減係数Ｋｂ３を用いることになる。

このような実施形態１によれば、色差成分を小さくする色差補正処理を行う色差補正範囲を、ホワイトバランスゲインが大きいほど広く、小さいほど狭く、設定するようにしたために、ホワイトバランスゲインが色成分毎に異なっても、無彩色画像部分の色付きを適切に軽減することができる。

さらに、ビット精度の変換における拡大率または縮小率に応じて色差補正範囲を広くまたは狭くするようにしたために、ビット精度の変換が行われた場合であっても、無彩色画像部分の色付きを適切に軽減することが可能となる。

具体的に、色差補正範囲を（Ｂｐｒｏ／Ｂ０）倍に設定することで、色ノイズの低減を最適化することができる。

また、Ｒ成分に係る色差補正範囲を比率（ＷＧｒ／ＷＧｇ）に応じた倍率に設定し、Ｂ成分に係る色差補正範囲を比率（ＷＧｂ／ＷＧｇ）に応じた倍率に設定することで、Ｒ色差の低減と、Ｂ色差の低減とを、それぞれ適正に行うことができる。

そして、処理対象画素の輝度値が所定の輝度範囲内である場合に色差補正処理を行うようにすれば、色ノイズが目立たない輝度範囲の補正を省略して、処理負荷を軽減することが可能となる。

加えて、複数の輝度範囲毎に色差補正範囲を予め定めることにより、処理対象画素の輝度値に応じた適切な色ノイズ低減が可能となる。

さらに、任意の非線形画像処理よりも前段において色差補正処理を行うことで、色差補正処理の複雑化を回避することが可能となる。

なお、上述では主として画像処理装置について説明したが、上述したような画像処理装置と同様の処理を行う画像処理方法であっても良いし、該画像処理方法をコンピュータに実行させるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…レンズ駆動部
３…レンズ駆動制御回路
４…撮像素子
５…撮像回路
６…Ａ／Ｄ変換部
７…バス
８…ＳＤＲＡＭ
９…画像処理部
１０…ＬＣＤドライバ
１１…ＬＣＤ
１２…ＪＰＥＧ処理部
１３…メモリＩ／Ｆ
１４…記録媒体
１５…操作部
１６…Ｆｌａｓｈメモリ
１７…マイクロコンピュータ
２１…ビット精度変換部
２２…ＯＢ減算部
２３…ホワイトバランス補正部
２４…同時化処理部
２５…色差算出部
２６…色差補正部（色差補正範囲設定部）
２７…色マトリクス演算部
２８…ガンマ変換部

Claims (9)

1. 画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正部と、
   前記ホワイトバランス補正後の前記画像データの色差成分を画素毎に算出する色差算出部と、
   処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正部と、
   前記色差補正部よりも前段側において、前記画像データのビット精度を、前記色差補正部の処理ビット精度に変換するビット精度変換部と、
   前記ビット精度変換部によるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定部と、
   を具備することを特徴とする画像処理装置。
2. 前記色差補正範囲設定部は、前記色差補正範囲を、前記ホワイトバランスゲインが大きいほど広く、小さいほど狭くするように設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色差補正範囲設定部は、前記画像データのビット精度をＢ０、前記色差補正部の処理ビット精度をＢｐｒｏとしたときに、前記色差補正範囲を（Ｂｐｒｏ／Ｂ０）倍に設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記ホワイトバランス補正部は、画像データのＲＧＢ成分に、ＲＧＢ成分毎のホワイトバランスゲインＷＧｒ，ＷＧｇ，ＷＧｂをそれぞれ乗算してホワイトバランス補正を行い、
   前記色差補正範囲設定部は、Ｒ成分に係る色差補正範囲を比率（ＷＧｒ／ＷＧｇ）に応じた倍率に設定し、Ｂ成分に係る色差補正範囲を比率（ＷＧｂ／ＷＧｇ）に応じた倍率に設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記色差補正部は、前記処理対象画素の輝度成分の値が所定の輝度範囲内である場合に、前記色差補正処理を行うことを特徴とする請求項１から請求項４の何れか一項に記載の画像処理装置。
6. 前記所定の輝度範囲は、全輝度範囲内において、互いに重複することのないように複数設定されており、
   前記色差補正範囲は、複数の前記所定の輝度範囲毎に予め定められていて、
   前記色差補正範囲設定部は、前記処理対象画素の輝度成分の値が複数の前記所定の輝度範囲の何れかに含まれる場合に、該処理対象画素の輝度成分の値が含まれる輝度範囲の色差補正範囲を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記色差補正部による色差補正処理は、前記画像データに対して行われる任意の非線形画像処理よりも前段において行われることを特徴とする請求項１から請求項６の何れか一項に記載の画像処理装置。
8. 画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正ステップと、
   前記ホワイトバランス補正後の前記画像データのビット精度を、後述の色差算出ステップの処理ビット精度に変換するビット精度変換ステップと、
   前記画像データの色差成分を画素毎に算出する色差算出ステップと、
   処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正ステップと、
   前記ビット精度変換ステップによるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定ステップと、
   を有することを特徴とする画像処理方法。
9. コンピュータに、
   画像データの各色成分に、各色成分毎のホワイトバランスゲインをそれぞれ乗算してホワイトバランス補正を行うホワイトバランス補正ステップと、
   前記ホワイトバランス補正後の前記画像データのビット精度を、後述の色差算出ステップの処理ビット精度に変換するビット精度変換ステップと、
   前記画像データの色差成分を画素毎に算出する色差算出ステップと、
   処理対象画素の全ての前記色差成分が所定の色差補正範囲内である場合に、該処理対象画素について、前記色差成分を小さくする色差補正処理を行う色差補正ステップと、
   前記ビット精度変換ステップによるビット精度の変換が、精度拡大である場合には拡大率に応じて前記色差補正範囲を広く、精度縮小である場合には縮小率に応じて前記色差補正範囲を狭くするように設定する色差補正範囲設定ステップと、
   を実行させるための画像処理プログラム。

Images