JP4552596B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理方法に関し、特に、撮像した画像の色抑制処理に関するものである。

近年、ＣＣＤ（Charge Coupled Devices）などの撮像素子を使用して画像を撮影するデジタルカメラが普及している。撮像素子は、赤、青、緑という３原色を透過する透過フィルタを有している。透過フィルタの透過率は各色で異なり、各色の飽和する信号値が異なる。そのため、撮像した画像では、各色の信号値が同時ではなく順に飽和する結果、高輝度部分で、本来その部分には存在しない色が付く、いわゆる「偽色」と呼ばれる現象が発生し、正確な色が再現されないという問題があった。

かかる問題点を改善するために、撮像された画像において、輝度情報を用いて、高輝度部分の色信号のゲインを抑圧することにより、彩度を低下させ、偽色の発生を抑制する色抑制処理という技術が開示されている。

また、透過フィルタの透過率が各色で異なるため、各色信号値の強弱の度合いによって、被写体の白色部分が現実の白色と異なった色となることがある。この現象を防止するために、ＣＣＤの色空間において、ゲインを乗算して各色信号値を調節し、被写体の色を人の目でみた色と同様の色にするホワイトバランス処理が広く使用されている。

特開２０００−３２４８２号公報

しかしながら、色抑制処理とホワイトバランス処理とを一連の画像処理において行うと、色つきが発生するという問題があった。例えば、色抑制処理後にホワイトバランス処理を行うと、色抑制処理によって所定の無彩色軸にマッピングされた色空間には、色の連続性を保つため所定の無彩色軸における色空間には存在しない色信号が拡張している。そのため、色抑制処理後に別の無彩色軸へホワイトバランス処理を行う場合には、拡張された色信号は新たな無彩色軸に連続的にマッピングされた色信号ではないため、色付きとなり偽色が発生する。

本発明はこのような課題を解決するためになされたものであり、色抑制処理とホワイトバランス処理を一連の画像処理の中で行う際に、偽色の発生を抑制することを目的とする。

上述した課題の少なくとも一部を解決するために、本発明は以下の構成をとることとした。すなわち、
３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理装置において、
所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する係数設定部と、
前記係数に基づき、前記色空間に存在する座標点を調整する色空間調整部と、
前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、前記調整された色空間における無彩色軸である調整後無彩色軸の飽和点以降にマッピングする第１のマッピング処理部と、
前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記調整後無彩色軸方向へマッピングを行う第２のマッピング処理部とを備えることを要旨とする。

本発明の第１の構成によれば、３色の色成分の色成分値を同一にして３色の色成分のバランスを調整した後の色空間において、高い輝度値を有する領域に偽色が発生することを抑制するとともに、原色信号の彩度の連続性を保持した階調再現を行うことができる。

本発明は、第２の構成として、
３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理装置において、
前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、所定の光源に基づき特定される無彩色軸の飽和点以降にマッピングする第１のマッピング処理部と、
前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記無彩色軸方向へマッピングを行う第２のマッピング処理部と、
所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する係数設定部と、
前記係数に基づき、前記色空間に存在する座標点を調整する色空間調整部とを備えることを要旨とする。

本発明の第２の構成によれば、原色空間の彩度の連続性を保持した階調再現を行ったうえで、３色の色成分の色成分比を同一とする調整を行うことができる。従って、マッピング処理により偽色の発生を抑制し、かつ、３色の色成分比のバランスを調整することにより、撮影した被写体の色と現実の被写体の色との差分を低減することができる。

本発明の画像処理装置において、
前記色空間調整部は、
前記第１のマッピング処理部および前記第２のマッピング処理部により、前記画像データの撮影時に特定される色空間の領域外に拡張された拡張色空間にマッピングされた色信号値を調整する拡張色空間調整部と、
前記第１のマッピング処理部および前記第２のマッピング処理部により、前記画像データの撮影時に特定される前記色空間の領域内である通常色空間に存在する座標点を調整する通常空間調整部とを備えることとしてもよい。

本発明によれば、拡張色空間と通常色空間とを個別に調整することができるため、調整の精度を向上することができる。

本発明の画像処理装置において、
前記係数設定部は、前記拡張色空間における前記係数と、前記通常色空間における前記係数とを、個別に設定し、
前記色空間調整部は、前記個別に設定された係数に基づき、前記座標点の調整を行うこととしてもよい。

本発明によれば、撮影時の環境に基づき特定される色空間内に存在しない拡張色空間と、撮影時の環境に基づき特定される色空間内に存在する通常色空間とにおいて、色空間調整に使用される係数を個別に設定することができ、精度を向上することができる。

本発明の画像処理装置において、
前記係数設定部は、更に、
前記第１のマッピング処理部および前記第２のマッピング処理部による前記マッピング処理後の色空間において、輝度値が最大となる座標点を、前記第１のマッピング処理部および前記第２のマッピング処理部による前記マッピング処理を行わずに、前記通常色空間における前記係数により前記調整を行った場合の輝度値の最高値と同一の輝度値を有する座標点とし、前記拡張色空間における前記係数を設定することとしてもよい。

本発明によれば、拡張色空間の輝度値を適切に調整するとともに、３色の色成分の色成分値を調整することができる。従って、拡張色空間において偽色の発生を防止することができる。

本発明の画像処理装置において、
更に、
前記色空間の光源を特定するための光源情報を設定する光源情報設定部を備え、
前記係数設定部は、前記設定された光源情報に基づき、前記係数を設定することとしてもよい。

本発明によれば、撮影時以外にも、画像データの光源情報を任意に設定することが出来るため、色空間の調整を高い精度で行うことができる。

本発明の画像処理装置において、
前記画像データは、撮像時において任意に設定される、前記色空間の光源を特定するための光源情報を有しており、
前記係数設定部は、前記光源情報により特定される光源に基づき、前記係数を設定することとしてもよい。

本発明によれば、予め、画像データに光源情報が設定されているため、これを参照して調整を行うことができる。従って、簡易に色空間の調整を行うことができる。

本発明の画像処理装置において、
前記色空間調整部は、前記色空間内に存在する座標点に、前記係数を乗算することにより、前記調整を行うこととしてもよい。

本発明によれば、係数を乗算することにより調整を行うため、簡易に調整を行うことができ、また、画像処理装置の処理負荷を軽減することができる。

本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理装置としての構成の他に、画像処理装置による画像処理方法、画像処理装置に画像データを画像処理させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。

以下、本発明の実施の形態について、実施例に基づき、次の順序で説明する。
Ａ．第１実施例：
Ａ１．システム構成：
Ａ２．画像処理：
Ｂ．第２実施例：
Ｂ１．画像処理：
Ｃ．変形例：

Ａ．第１実施例：
Ａ１．システム構成：
図１は、本実施例の画像処理システム１０００のシステム構成を例示する説明図である。画像処理システム１０００は、画像処理装置１００と、デジタルカメラ２００とを含み構成されている。デジタルカメラ２００は、撮像素子として、ＣＣＤを備えており、画像を撮影する。撮影された画像はＲＡＷ形式で生成され、画像データ１０として、図示しないメモリカードに保存される。本実施例では、デジタルカメラ２００の撮像素子としてＣＣＤを備えることとしたが、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などとしてもよい。

画像処理装置１００は、一般的なコンピュータであり、デジタルカメラ２００から画像データ１０の入力を受け付けると、画像データ１０に対して、ホワイトバランス処理、および、色抑制処理を含む画像処理を行い、ビットマップ形式の画像データ２０に変換する。

図に併せて画像処理装置１００の機能ブロックを示した。画像処理装置１００は、ＣＰＵ１０１と、インターフェース１０２と、画像処理部１０３と、中間画像格納領域１０５と、画像格納部１０５とから構成されている。画像格納部１０５は、ハードディスクドライブ１０６の所定の領域に構成されている。画像処理部１０３と、中間画像格納領域１０５は、メモリ１０７に構成されている。機能ブロックはソフトウェア的に構成され、ＣＰＵ１０１により制御される。各機能ブロックは、ハードウェア的に構成することとしてもよい。

インターフェース１０２は、ＵＳＢインターフェースである。インターフェース１０２は、デジタルカメラ２００と通信を行い、画像処理対象となる画像データ１０を取得する。ＵＳＢに限らず、デジタルカメラ２００内のメモリカード格納された画像データ１０を取得可能なインターフェースであればよい。画像処理部１０３は、インターフェース１０２を介して取得した画像データに対して、ホワイトバランス処理および色抑制処理を含む画像処理を行い、画像データ２０に変換して画像格納部１０５に格納する。画像処理の詳細は後述する。

本実施例では、デジタルカメラ２００は、ユーザの入力に基づき、撮影時の環境条件を画像データ１０に設定する機能を備える。画像処理装置１００は、画像データ１０に設定された環境条件に基づき、ホワイトバランス処理を行う。環境条件の詳細について、図２を用いて説明する。

図２（ａ）〜（ｃ）は、本実施例における環境条件を説明する説明図である。図２（ａ）は、撮影時における環境条件の設定方法を説明する説明図である。デジタルカメラ２００の背面には、液晶パネルＤＳＰと操作部２１０とが備えられている。操作部２１０は、操作ボタン２０１，２０２，２０３，２０４，２０５から構成される。デジタルカメラ２００を使用して撮影を行うユーザは、撮影前に操作ボタン２０１〜２０５を操作して液晶パネルＤＳＰに環境条件の設定メニューを表示する。図の液晶パネルＤＳＰに環境条件の設定メニューを示した。

図示するように、環境条件として「晴天」、「曇天」等が表示され、各環境条件と共にラジオボタン２２１，２２２，２２３，２２４が表示される。ユーザは、操作ボタン２０１〜２０５を操作して所望の環境条件を選択する。本実施例では、環境条件として「晴天」を選択することとした。

図２（ｂ）は、画像データ１０のデータ構成を例示する説明図である。画像データ１０は、Ｅｘｉｆ情報１１と、データ１２とから構成されている。撮影時に設定した環境条件は、Ｅｘｉｆ情報１１に設定されている。Ｅｘｉｆ情報の内容の一例を、図２（ｃ）を用いて説明する。

図２（ｃ）は、Ｅｘｉｆ情報１１の設定内容を例示する説明図である。Ｅｘｉｆ情報１１には、図示するように、「画像タイトル」、「撮影日時」などの画像データ１０に関する情報とともに、「光源情報」「色空間情報」、「ＩＳＯ感度」、「露出時間」、「被写体距離」、「焦点距離」等の画像データ１０の撮影時の撮影環境が記録されている。図に破線で示すように、画像データ１０の「光源情報」は、「晴天」と設定されている。Ｅｘｉｆ情報１１は、簡易に参照することができ、種々の値を取得することができるため、光源種の判断材料として好適である。

Ａ２．画像処理：
図３は、本実施例における画像処理を説明するブロックチャートである。画像処理部１０３は、図示するように、機能ブロックとして、欠陥画素補正処理部１５０と、プレ補正処理部１５１と、色補間処理部１５２と、色抑制処理部１５３と、ホワイトバランス処理部１５５と、色変換処理部１５４と、逆γ補正処理部１５６とから構成されている。画像処理部１０３による画像処理は、デジタルカメラ２００から、インターフェース１０２を介して画像データ１０を受け取ることにより開始される。

欠陥画素補正処理部１５０は、画像データ１０の入力を検出すると、画像データ１０に対して、欠陥画素を補正する処理を行う。欠陥画素とは、撮像素子を構成する画素に欠陥画素が含まれている場合に、撮像された画像データ１０の欠陥画素に対応する画素を指しており、かかる画素データには、不正確な信号情報が設定された状態となっている。欠陥画素補正処理部１５０は、欠陥画素の周囲の画素の信号情報に基づき、かかる欠陥画素の画素値を補正する。

プレ補正処理部１５１は、画像データの無彩色軸を、標準光源における無彩色軸に調整する処理である。標準光源とは、本実施例では、太陽光と近似する色温度を有する光源とする。プレ補正処理部１５１は、本発明の「第１のマッピング処理部」に当たる。

次に、色補間処理部１５２は、欠陥補正後の画像データに対して、色補間処理を実行する。色補間処理は、画像データ１０を構成する各画素データのフィルタ色以外の色成分を算出し、画素データごとにＲ，Ｇ，Ｂの各色成分の画素値を有するように、欠けているデータを補完する処理である。色補間処理によって、デジタルカメラ２００の機器特性に依存した色空間におけるＲＧＢデータが生成される。色補間処理部１５２は、生成された画像データである中間画像データ１５を中間画像格納領域１０５に格納する。本実施例では、撮像素子としてＣＣＤを用いているため、生成される色空間をＣＣＤＲＧＢ色空間と呼ぶこととする。

色抑制処理部１５３は、中間画像格納領域１０５に格納されている色補間処理後の中間画像データ１５に対して色抑制処理を実行する。色抑制処理は、Ｒ，Ｇ，Ｂの各色成分を変化させ、彩度を抑圧する処理である。色抑制処理によって、高輝度の無彩色を撮像した際に、各色成分のフィルタ透過率の相異による偽色の発生や色飛びが抑制される。かかる処理は、本発明の要部であり、詳細は後述する。色抑制処理部１５３は、本発明の「第２のマッピング処理部」に当たる。

次に、色変換処理部１５４は、色抑制処理後の中間画像データ１５に対して、色変換処理を行う。色変換処理とは、画像データの色空間を、目的に応じて適切な色空間へ変換する処理である。本実施例では、ＣＣＤＲＧＢ色空間から、ＲＧＢ色空間へ変換する。

ホワイトバランス処理部１５５は、色変換処理後の中間画像データ１５に対して、ホワイトバランス処理を実行する。ホワイトバランス処理とは、光源が異なる場合に、撮像した画像に実際の被写体の色とは異なる色が付くことを防止する処理であり、各色信号値に対して、光源によって異なるゲイン量を乗算することにより実行される。ゲイン量とは、本発明における「係数」に該当する。ホワイトバランス処理部１５５は、本発明における「係数設定部」および「色空間調整部」に当たる。光源によって異なるゲイン量の一例を、図４を用いて説明する。

図４は、本実施例におけるゲイン量の一例を示す説明図である。ゲイン表５０は、各種光源によって特定される各色信号のゲイン量を表している。ゲイン表５０は、「光源種」と、「Ｒｇａｉｎ」と、「Ｇｇａｉｎ」と、「Ｂｇａｉｎ」とから構成されている。「光源種」は、光源の種類を表す。「Ｒｇａｉｎ」はＲ信号のゲイン量を表し、「Ｇｇａｉｎ」はＧ信号のゲイン量を表し、「Ｂｇａｉｎ」は、Ｂ信号のゲイン量を表す。

本実施例では、光源情報としてＥｘｉｆ情報１１に「晴天」と設定されているため、光源種が「晴天」であるゲイン量を用いる。図示するように、光源種が「晴天」と設定されている画像データに対して、ホワイトバランス処理を行う際のゲイン量は、「Ｒｇａｉｎ」は「１．９０」、「Ｇｇａｉｎ」は「１．００」、「Ｂｇａｉｎ」は「１．７１」である。

図３に戻り説明を続ける。逆γ補正処理部１５６は、色変換後の画像データ１０に対して、出力機器の特性を示すガンマ値を使用して逆ガンマ補正を実行する。

画像処理部１０３は、以上の処理を行い、ＲＡＷ形式の画像データ１０を、ビットマップ形式の画像データ２０に変換する。画像データ２０は、画像格納部１０５に格納される。

画像処理部１０３は、上述の処理と併せて、例えば、コントラスト、色彩、シャープネスの補正等、一般的な画質調整処理を実行することとしてもよい。

図５は、本実施例におけるＣＣＤＲＧＢ色空間を模式的に示した図である。プレ補正処理部１５１によるプレ補正処理前のＣＣＤＲＧＢ色空間を表している。ＣＣＤＲＧＢ色空間３００（以降、色空間３００と呼ぶこととする）とは、ＣＣＤにより撮像した際に表現する事のできる信号の集合を表している。色空間３００は、図示するように、色信号の３色の成分であるＲ成分、Ｇ成分、Ｂ成分を軸とした表色座標系において、３次元的に略立方体となるよう構成されている。色空間３００において、全ての色信号の値が「０」のとき、すなわち、彩度「０」、かつ、輝度「０」のときには「黒色（Ｂｋ）」となり、かかる表色座標系の原点を表す。無彩色軸３１０は、撮像時の光源により特定される彩度「０」となる軸である。

本実施例における撮像素子であるＣＣＤには、ＲＧＢの各色成分を透過するフィルタが配置されている。標準光源において得られる色空間では、Ｒ成分、Ｇ成分、Ｂ成分が等量となる信号の集合が無彩色軸を形成するが、本実施例における色空間３００では、色成分ごとにフィルタを透過する透過率が異なるため、各色成分は、同量のときに飽和せず、別々に飽和する。本実施例の色空間３００では、白色などの明るい無彩色を撮像した際に、Ｇ成分、Ｂ成分、Ｒ成分の順に飽和するものとする。図示するように、Ｇ成分が飽和する点を飽和点Ｐ１、Ｂ成分が飽和する点を飽和点Ｐ２、Ｒ成分が飽和する点を飽和点Ｐ３とよぶこととする。飽和点Ｐ１およびＰ２を結ぶ線分を飽和線分３２０と呼ぶこととし、同様に、飽和点Ｐ２およびＰ３を結ぶ線分を飽和線分３３０と呼ぶこととする。本実施例における無彩色軸３１０は、各色成分の色成分比が同一の信号の集合から形成されている。

図６（ａ）、（ｂ）は、本実施例におけるプレ補正処理を説明する説明図である。図６（ａ）は、プレ補正処理部１５１が行うプレ補正処理の式である。標準光源における無彩色軸を、色空間３００における無彩色軸とする処理である。図中右上に示すように、色空間３００において、任意の色信号値をＤ（ｒ，ｇ，ｂ）、無彩色軸３１０のＲ信号、Ｇ信号、Ｂ信号の信号比を、Ｒｇ，Ｇｇ，Ｂｇとし、また、Ｒ成分の飽和値をＲｓ、Ｇ成分の飽和値をＧｓ、Ｂ成分の飽和値をＢｓとする。

プレ補正処理部１５１が行うプレ補正処理の計算式は以下の通りである。ｒａ，ｇａ，ｂａは、プレ補正処理後の信号値である。

式（１）
ｒａ＝ｒ／Ｒｇ；
ｇａ＝ｇ／Ｇｇ；
ｂａ＝ｂ／Ｂｇ；
Ｒｓａ＝Ｒｓ／Ｒｇ；
Ｇｓａ＝Ｇｓ／Ｇｇ；
Ｂｓａ＝Ｂｓ／Ｂｇ；

図６（ｂ）は、プレ補正処理後の色空間４００である。無彩色軸４１０は、色空間４００における彩度「０」となる信号値の集合を表している。飽和点Ｐ１では、３色の色成分が等量のときに、Ｇ成分が飽和する。図に一点鎖線で示す飽和線分４２０、４３０は、飽和線分３２０、３３０に対応する線分である。

図７は、本実施例における色抑制処理を説明するフローチャートである。プレ補正処理後の画像データに対して色補間処理が実行され生成された中間画像データ１５に対して、色抑制処理部１５３が行う処理である。

色抑制処理部１５３は、マッピング対象とすべき領域を選択する（ステップＳ１１）。色抑制処理部１５３は、式（２）を適用して処理を実行する。

式（２）
ｒａ＋ｂａ＞２＊Ｂｓａ ａｎｄ
ｒａ ≦Ｒｓａ ａｎｄ
ｂａ ≦Ｂｓａ；

次に、色抑制処理部１５３は、式（２）により選択された領域内の色信号のＢ成分を伸張する（ステップＳ１２）。色抑制処理部１５３は、式（３）を適用してかかる処理を実行する。

式（３）
ｒａ＝ｒａ；
ｂａ＝ｒａ＋２＊ｂａ−２＊Ｂｓａ；

図８は、色抑制処理部１５３が行うマッピング処理を模式的に示す説明図であり、図７のステップＳ１１〜Ｓ１２において行われる処理である。図８（ａ）は、本実施例におけるＢｋを原点とするＢ−Ｒ座標系５００を示している。無彩色線４４０は、飽和線分４２０を延長した直線である。また、直線４５０は、無彩色線４４０が、和線分４３０に対して対称となる直線である。かかる直線４５０は、以下の式で表すことができる。

式（４）
ｒａ＋ｂａ＝２Ｂｓａ；

すなわち、式（２）が表す領域は、図にハッチングを付した領域５１０であり、Ｒ，Ｂ成分が、Ｐ２−Ｐ３−Ｑ２'に含まれる値を有する信号からなる領域である。式（３）は、Ｇ成分に関係なく、Ｂ成分を変化させ、領域５１０内の任意の信号Ｄ１（ｒａ，ｂａ）を、Ｄ１'（ｒａ、ｂａ'）に移動する式である。

図８（ｂ）は、式（３）を行った後の色空間４００を示す。図示するように、Ｑ２'−Ｐ３−Ｐ２−Ｑ５−Ｑ６−Ｑ４'から構成されるマッピング候補領域８００内の信号は、矢印Ａ方向に移動し、Ｑ２−Ｐ３−Ｐ２−Ｑ５−Ｑ６−Ｑ４から構成される領域にマッピングされる。

図７に戻り説明を続ける。色抑制処理部１５３は、次に、飽和線分４２０の周囲の領域のうち、マッピング対象とすべき領域を選択する（ステップＳ１３）。色抑制処理部１５３は、式（５）を適用してかかる処理を実行する。

式（５）
ｒａ＋ｇａ＞２＊Ｇｓａ ａｎｄ
ｒａ−ｂａ≦０ ａｎｄ
ｒａ ≦Ｒｓａ ａｎｄ
ｇａ ≦Ｇｓａ

次に、色抑制処理部１５３は、式（５）により選択された領域内の色信号のＧ成分を伸張する（ステップＳ１７）。色抑制処理部１５３は、式（６）を適用してかかる処理を実行する。

式（６）
ｒａ'＝ｒａ；
ｇａ'＝ｒａ＋２＊ｇａ−２＊Ｇｓａ；
ｂａ'＝ｂａ；

図９は、本実施例におけるマッピング処理を模式的に示す説明図であり、図７のステップＳ１３、Ｓ１７において行われる処理を示している。図９（ａ）は、本実施例におけるＢｋを原点とするＢ−Ｒ座標系５００および、Ｒ−Ｇ座標系６００を示している。直線４６０は、以下の式により表される。

式（７）
ｒａ＋ｇａ＝２＊Ｇｓａ；

すなわち、式（５）が表す領域は、図９（ａ）にハッチングで示す領域５２０および６１０であり、Ｒ，Ｂ成分が、Ｐ１−Ｐ２−Ｑ７に含まれる値を有する信号で、かつ、Ｒ，Ｇ成分が、Ｐ２−Ｑ７−Ｑ１０の領域に含まれる値を有する信号の集合からなる領域である。かかる領域は、図９（ｂ）において、ハッチングを付したマッピング候補領域８１０である。

図９（ｂ）に示すように、Ｐ１−Ｐ２−Ｑ７−Ｑ１０ら構成されるマッピング候補領域８１０内の信号は、矢印Ｂ方向に移動され、Ｐ１−Ｐ２−Ｑ７−Ｑ３から構成される領域にマッピングされる。

図７に戻り説明を続ける。色抑制処理部１５３は、更に、飽和線分４３０の周囲の領域のうち、マッピング対象とすべき領域を選択する。色抑制処理部１５３は、式（８）を適用してかかる処理を実行する。式（８）により選択される領域内であるか否かの判断を行う（ステップＳ１４）。

式（８）
ｇａ＋ｂａ＞２＊Ｇｓａ ａｎｄ
ｒａ−ｂａ＞０ ａｎｄ
ｇａ ≦Ｇｓａ ａｎｄ
ｂａ ≦Ｒｓａ；

次に、色抑制処理部１５３は、式（８）により選択された領域内（ステップＳ１４：ＹＥＳ）の色信号のＧ成分を伸張する（ステップＳ１５）。色抑制処理部１５３は、式（９）を適用してかかる処理を実行する。

式（９）
ｒａ'＝ｒａ；
ｇａ'＝ｒａ＋２＊ｇａ−２＊Ｇｓａ；
ｂａ'＝ｂａ；

図１０は、本実施例におけるマッピング処理を模式的に示す説明図であり、図７のステップＳ１４〜Ｓ１５において行われる処理を示している。図１０（ａ）は、本実施例におけるＢｋを原点とするＢ−Ｒ座標系５００および、Ｂ−Ｇ座標系７００を示している。直線４８０は、以下の式により表される。

式（１０）
ｇａ＋ｂａ＝２＊Ｇｓａ；

すなわち、式（８）が表す領域は、図１０（ａ）にハッチングで示す領域５３０および７１０であり、Ｒ，Ｂ成分が、Ｐ１−Ｑ２−Ｑ７に含まれる値を有する信号で、かつ、Ｇ，Ｂ成分が、Ｑ７−Ｑ２−Ｑ９の領域に含まれる値を有する信号の集合から構成される領域である。かかる領域は、図１０（ｂ）において、ハッチングを付したマッピング候補領域８２０である。

図１０（ｂ）に、図示するように、Ｐ１−Ｑ７−Ｑ２−Ｑ９から構成されるマッピング候補領域８２０内の信号は、Ｇ成分が変更され、矢印Ｃ方向に移動し、Ｐ１−Ｑ７−Ｑ２−Ｑ１から構成される領域にマッピングされる。

図７に戻り説明を続ける。色抑制処理部１５３は、マッピング候補領域以外の領域内の色信号をそのまま保持する（ステップＳ１６）。色抑制処理部１５３は、式（１１）を適用して本処理を実行する。

式（１１）
ｒａ'＝ｒａ；
ｇａ'＝ｇａ；
ｂａ'＝ｂａ；

図１１は、本実施例におけるホワイトバランス処理を説明するフローチャートである。本処理は、ホワイトバランス処理部１５５が、色抑制処理後に行う処理である。

ホワイトバランス処理部１５５は、輝度情報を取得するために、ＣＣＤＲＧＢ空間から、Ｙｕｖ空間に変換する（ステップＳ２０）。Ｙｕｖ色空間への変換は、以下の式（１２）を用いて行う。

式（１２）
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ；
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ；
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ；

次に、ホワイトバランス処理部１５５は、ホワイトバランス処理を行う空間が、色抑制処理により拡張された空間であるか否かを判断する（ステップＳ２１）。色抑制処理により拡張された空間でない場合（ステップＳ２１：ＮＯ）には、通常のホワイトバランス処理を行う（ステップＳ２２）。すなわち、色抑制処理により拡張されていない空間に存在する、色抑制処理後の各色信号値に、以下の式（１３）を適用する。

式（１３）
ｒａ"＝Ｒｇａｉｎ＊ｒａ'
ｇａ"＝Ｇｇａｉｎ＊ｇａ'
ｂａ"＝Ｂｇａｉｎ＊ｂａ'

本実施例では、光源情報として「晴天」と設定されているため、図３のゲイン表において示すように、各ゲイン量は、以下の数値をとなる。

Ｒｇａｉｎ＝１．９６
Ｇｇａｉｎ＝１．００
Ｂｇａｉｎ＝１．７１

ステップＳ２０〜Ｓ２２までの処理を、図１２、図１３を用いて説明する。

図１２は、本実施例におけるＹｕｖ色空間を模式的に表す平面図である。図１０のステップＳ２０の処理後の状態を表している。Ｙ軸は輝度を表し、ｕ軸、ｖ軸は色度を表す。Ｙ'軸は、Ｒ，Ｇ，Ｂの３色の色成分値が同一の値である座標点の集合を表しており、３色の色成分のバランスが取れている軸である。

色抑制処理によって、Ａ−Ｂ−Ｃ−Ｄから構成される領域は、Ｅ−Ｆ−Ｂ−Ｃ−Ｄ−Ｇから構成される領域へマッピングされる。例えば、座標点ａは座標点ａ'にマッピングされ、座標点ｂは座標点ｂ'にマッピングされる。座標点ｃは、色抑制処理による座標の変化はない。図中、ハッチングを付した領域（Ｈ−Ｄ−Ｃ−Ｂ−Ｆ）は、色抑制処理後に構成される領域（Ｅ−Ｆ−Ｂ−Ｃ−Ｄ−Ｇ）のうち、色抑制処理前に構成されていた領域（Ａ−Ｂ−Ｃ−Ｄ）と重複する領域である。ホワイトバランス処理部１５５は、この選択された領域に対して、通常のホワイトバランス処理を適用する。

図１３は、本実施例におけるホワイトバランス処理後の状態を示す平面図であるステップＳ２２における処理後のＹｕｖ色空間の状態を表している。図１２においてハッチングを付した領域（Ｈ−Ｄ−Ｃ−Ｂ−Ｆ）内に存在する座標点は、本図にハッチングを付した領域（Ｉ−Ｊ−Ｃ−Ｋ−Ｌ）内の座標点に変更される。Ｙ'軸上の点は、図示するように、輝度軸であるＹ軸上にマッピングされる。Ｙ軸上の点は、Ｙ"軸上にマッピングされる。

図１１に戻り説明を続ける。色抑制処理により拡張された空間である場合（ステップＳ２１：ＹＥＳ）には、ホワイトバランス処理部１５５は、拡張された空間のゲイン量を算出する（ステップＳ２３）。Ｓ２３の処理を図１４を用いて説明する。

図１４は、本実施例におけるＹｕｖ色空間を模式的に表す平面図である。図中、Ｅ−Ｇ−Ｈから構成される領域が、色抑制処理により拡張された領域であるが、Ｎ−Ｇ−Ｏ−Ｉから構成される領域は、ステップＳ２１におけるホワイトバランス処理により形成された領域と重複しているため、この重複領域はステップＳ２４における処理対象領域から除外する。

図１４に示した、Ｓ−Ｊ−Ｃ−Ｋから構成される領域は、色抑制処理を行う前のＡ−Ｂ−Ｃ−Ｄから構成される領域に対して、光源種が「晴天」であるゲイン量を用いて、通常のホワイトバランス処理を行った状態を表す領域である。Ｓ点はホワイトバランス処理後のＲ、Ｇ、Ｂの各色成分値の最大値が設定されている。Ｓ点における輝度値が、通常のホワイトバランス処理後の輝度値の最大値となる。Ｒ、Ｇ、Ｂの各色成分値の最大値を（Ｒｍａｘ'、Ｇｍａｘ'Ｂｍａｘ'）と表し、Ｒ、Ｇ、Ｂの各成分値をＹｕｖの成分値に変換する行列をＭとする。以下の式（１４）に示すように、各成分値の最大値と行列Ｍとの乗算により（ｙ，ｕ，ｖ）の値を求める。

式（１４）

次に、求めた（ｙ，ｕ，ｖ）のｕ，ｖを「０」とした（ｙ，０，０）と、行列Ｍの逆行列との乗算によって、Ｓ点に対応するＹ軸上のＴ点を特定する。Ｔ点の座標を、（Ｒｔ，Ｇｔ，Ｂｔ）と表す。以下の式（１５）によりＴ点を特定する。

式（１５）

Ｔ点を特定した後、ホワイトバランス処理部１５５は、Ｓ点とＴ点に基づきゲイン量を算出する。算出された各色成分値のゲイン量を、Ｒｇａｉｎ'、Ｇｇａｉｎ'、Ｂｇａｉｎ'とし、Ｅ点の座標を（Ｒｅ，Ｇｅ，Ｂｅ）とすると、各ゲイン量は、以下の式（１６）により算出される。

式（１６）
Ｒｇａｉｎ'＝Ｒｔ／Ｒｅ；
Ｇｇａｉｎ'＝Ｇｔ／Ｇｅ；
Ｂｇａｉｎ'＝Ｂｔ／Ｂｅ；

図１１に戻り説明を続ける。ホワイトバランス処理部１５５は、色抑制処理により拡張された空間（Ｅ−Ｎ−Ｉ−Ｏ−Ｈ）に対して、ステップＳ２３において算出したゲイン量を用いた以下の式（１７）を適用し、ホワイトバランス処理を行う。

式（１７）
ｒａ"＝Ｒｇａｉｎ'＊ｒａ'
ｇａ"＝Ｇｇａｉｎ'＊ｇａ'
ｂａ"＝Ｂｇａｉｎ'＊ｂａ'

図１５は、本実施例におけるホワイトバランス処理後のＹｕｖ色空間を表す平面図である。色抑制処理により拡張された領域（Ｅ−Ｎ−Ｉ−Ｏ−Ｈ）内に存在する座標点は、図にハッチングを付して表した領域（Ｔ−Ｎ−Ｉ）内に存在する座標点に変更される。

以上説明した第１実施例の画像処理システム１０００によれば、色抑制処理を行い、原画像の再度の連続性を保持した階調再現を行い偽色の発生を抑制し、かつ、Ｒ，Ｇ，Ｂの３色の色成分の色成分比を同一とし、撮影した画像の被写体の色と、現実の被写体の色との差分を低減することができる。

本実施例によれば、色抑制処理において拡張された色空間に存在する色信号に対して、適切なゲイン量を算出し、ホワイトバランス処理を実行することができる。拡張された色空間に対して、通常のゲイン量を使用してホワイトバランス処理を行うと、偽色が発生する場合があるが、拡張された色空間について、適切なゲイン量を算出し、これを使用してホワイトバランス処理を実行するため、偽色の発生を防止することができる。

また、本実施例によれば、Ｅｘｉｆ情報１１に記録された光源情報を参照してゲイン量を設定するため、簡易にゲイン量を特定することができ、処理効率を向上することができる。

Ｂ．第２実施例：
上述した第１実施例では、色抑制処理部１５３が処理を行った画像データに対して、ホワイトバランス処理を行うこととした。以下に説明する第２実施例では、ホワイトバランス処理を行った画像データに対して色抑制処理を行うこととした。

Ｂ１．画像処理：
図１６は、第２実施例における画像処理を説明するブロックチャートである。画像処理部１０３は、図示するように、機能ブロックとして、欠陥画素補正処理部１５０と、プレ補正処理部１５１と、色補間処理部１５２と、色抑制処理部１５３と、ホワイトバランス処理部１５５と、色変換処理部１５４と、逆γ補正処理部１５６とから構成されている。各機能ブロックは、第１実施例と同様の機能を備える。

本実施例では、第１実施例と機能ブロックの処理順序が一部異なる。色補間処理部１５２によって生成された中間データ３５を、ホワイトバランス処理部１５５が受け取り、ホワイトバランス処理を行う。ホワイトバランス処理部１５５により処理された中間データ３５を、色抑制処理部１５３が受け取り、色抑制処理を行う。色抑制処理された中間データ３５を色変換部が受け取り、色変換処理を行い、逆γ補正処理部１５６に受け渡す。以降の処理は第１実施例と同様である。

図１７は、本実施例におけるホワイトバランス処理および色抑制処理を説明するフローチャートである。本処理は、色補間処理部１５２による色補間処理により生成される中間画像データ３５を、ホワイトバランス処理部１５５が受け取ることにより開始される。

ホワイトバランス処理部１５５は、以下の式（１８）を適用して、ホワイトバランス処理を実行する（ステップＳ３０）。

（式１８）
ｒａ'＝Ｒｇａｉｎ＊ｒａ；
ｇａ'＝Ｇｇａｉｎ＊ｇａ；
ｂａ'＝Ｂｇａｉｎ＊ｂａ；
Ｒｓａ'＝Ｒｇａｉｎ＊Ｒｓａ；
Ｇｓａ'＝Ｇｇａｉｎ＊Ｇｓａ；
Ｂｓａ'＝Ｂｇａｉｎ＊Ｂｓａ；

図１８は、本実施例におけるホワイトバランス処理後の状態を説明する平面図である。Ｙ軸は輝度を表し、ｕ軸、ｖ軸は色度を表す。Ｙ'軸は、Ｒ，Ｇ，Ｂの３色の色成分値が同一の値である座標点の集合を表しており、３色の色成分のバランスが取れている軸である。

Ａ−Ｂ−Ｃ−Ｄから構成される領域は、ホワイトバランス処理部１５５が色補間処理部１５２から受け取った中間データ３５にＹｕｖ色変換を行った結果を表している。ホワイトバランス処理部１５５がホワイトバランス処理を実行すると、Ａ−Ｂ−Ｃ−Ｄから構成される領域は、Ｓ−Ｋ−Ｃ−Ｊから構成される領域に変更される。たとえば、座標点ａは座標点ａ'へ移動され、座標点ｂは座標点ｂ'へ移動され、座標点ｃは座標点ｃ'へ移動される。Ｙ'軸上の点は、図示するように、輝度軸であるＹ軸上に移動される。Ｙ軸上の点は、Ｙ"軸上に移動される。

図１７に戻り説明を続ける。次に、色抑制処理部１５３は、ホワイトバランス処理後の中間データ３５に対して、色抑制処理を実行する（ステップＳ３１〜Ｓ３７）。本実施例では、色抑制処理に先立ちホワイトバランス処理を行っているため、ｒａ、ｇａ、ｂａ、Ｒｓａ、Ｇｓａ、Ｂｓａ等の各値にゲイン量を乗算したｒａ'、ｇａ'、ｂａ'、Ｒｓａ'、Ｇｓａ'、Ｂｓａ'を用いて、色抑制処理が行われる。詳細な処理は、第１実施例の図７におけるステップＳ１１〜ステップＳ１７において説明した処理と同様の処理であるため、説明を省略する。色抑制処理後の状態を、図１９を用いて説明する。

図１９は、本実施例における色抑制処理を説明する平面図である。色抑制処理部１５３は、ホワイトバランス処理後の領域（Ｓ−Ｋ−Ｃ−Ｊ）に対して色抑制処理を実行する。図にハッチングで示した領域（Ｗ−Ｘ−Ｋ−Ｃ−Ｊ−Ｎ）は、色抑制処理によりマッピングされた領域である。

以上説明した第２実施例の画像処理システムによれば、ホワイトバランス処理によって各色成分の色成分比を同一とし、色空間のバランスを調整した後に色抑制処理を行うことができる。従って、色抑制処理部１５３は、ホワイトバランス処理後の各色成分値を用いて、色抑制処理を実行すればよいため、処理効率を向上することができ、画像処理装置の負荷を軽減することができる。

Ｃ．変形例：
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。

Ｃ１．変形例１：
上述した第１実施例では、画像データ１０のＥｘｉｆ情報１１に、撮影時に設定された光源情報が記録されており、光源情報に基づきゲイン量を決定することとしたが、これに限られない。例えば、図２０に示すように、画像処理装置１００のディスプレイに、光源情報をユーザに選択させる画面ＷＤを表示し、ユーザに選択させることとしてもよい。こうすれば、後からゲイン量を設定することができ、利便性の向上を図ることができる。

Ｃ２．変形例２：
上述した第１実施例、第２実施例では、色補間処理部１５２が、色補間処理により生成された中間データを中間画像格納領域１０５に格納することとしたが、他の機能ブロック、例えば、ホワイトバランス処理部１５５や色抑制処理部１５３が、各処理の後に格納することとしてもよい。

第１実施例におけるシステム構成を例示する説明図である。 第１実施例における光源情報を説明する説明図である。 第１実施例における画像処理装置の機能ブロックを例示する説明図である。 第１実施例におけるゲイン量を説明する説明図である。 第１実施例におけるＲＧＢ色空間を模式的に示した説明図である。 第１実施例におけるプレ補正を説明する説明図である。 第１実施例における色抑制処理を説明するフローチャートである。 第１実施例における色抑制処理を説明する模式図である。 第１実施例における色抑制処理を説明する模式図である。 第１実施例における色抑制処理を説明する模式図である。 第１実施例におけるホワイトバランス処理を説明するフローチャートである。 第１実施例における色抑制処理後のＹｕｖ空間の平面図である。 第１実施例におけるホワイトバランス処理を説明する説明図である。 第１実施例における拡張空間のホワイトバランス処理を説明する説明図である。 第１実施例における拡張空間のホワイトバランス処理を説明する説明図である。 第２実施例における画像処理装置の機能ブロックを例示する説明図である。 第２実施例におけるホワイトバランス処理および色抑制処理を説明するフローチャートである。 第２実施例におけるホワイトバランス処理を説明する説明図である。 第２実施例における色抑制処理後のＹｕｖ空間の平面図である。 変形例における画面例を例示する説明図である。

符号の説明

１０００...画像処理システム
１０...画像データ
１２...画像データ
１５...中間画像データ
２０...画像データ
３５...中間データ
３５...中間画像データ
５０...ゲイン表
１００...画像処理装置
１０１...ＣＰＵ
１０２...インターフェース
１０３...画像処理部
１０４...中間画像格納領域
１０５...画像格納部
１０６...ハードディスクドライブ
１０７...メモリ
２２１，２２２，２２３，２２４...ラジオボタン
１５０...欠陥画素補正処理部
１５１...プレ補正処理部
１５２...色補間処理部
１５３...色抑制処理部
１５４...色変換処理部
１５５...ホワイトバランス処理部
１５６...逆γ補正処理部
２００...デジタルカメラ
２０１，２０２，２０３，２０４，２０５...操作ボタン
２１０...操作部
３００...色空間
３１０...無彩色軸
３２０...飽和線分
３３０...飽和線分
４００...色空間

Claims (10)

1. ３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理装置であって、
   所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する係数設定部と、
   前記係数に基づき、前記色空間に存在する座標点を調整する色空間調整部と、
   前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、前記調整された色空間における無彩色軸である調整後無彩色軸の飽和点以降にマッピングする第１のマッピング処理部と、
   前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記調整後無彩色軸方向へマッピングを行う第２のマッピング処理部とを備える画像処理装置。
2. ３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理装置であって、
   前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、所定の光源に基づき特定される無彩色軸の飽和点以降にマッピングする第１のマッピング処理部と、
   前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記無彩色軸方向へマッピングを行う第２のマッピング処理部と、
   所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する係数設定部と、
   前記係数に基づき、前記色空間に存在する座標点を調整する色空間調整部とを備える画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記色空間調整部は、
   前記第１のマッピング処理部および前記第２のマッピング処理部により、前記画像データの撮像時に特定される色空間の領域外に拡張された拡張色空間に存在する座標点を調整する拡張色空間調整部と、
   前記第１のマッピング処理部および前記第２のマッピング処理部により、前記画像データの撮像時に特定される前記色空間の領域内である通常色空間に存在する座標点を調整する通常空間調整部とを備える画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記係数設定部は、前記拡張色空間における前記係数と、前記通常色空間における前記係数とを、個別に設定し、
   前記色空間調整部は、前記個別に設定された係数に基づき、前記座標点の調整を行う画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記係数設定部は、更に、
   前記第１のマッピング処理部および前記第２のマッピング処理部による前記マッピング処理後の色空間において、輝度値が最大となる座標点を、前記第１のマッピング処理部および前記第２のマッピング処理部による前記マッピング処理を行わずに、前記通常色空間における前記係数により前記調整を行った場合の輝度値の最高値と同一の輝度値を有する座標点とし、前記拡張色空間における前記係数を設定する画像処理装置。
6. 請求項１ないし請求項５いずれか記載の画像処理装置であって、
   更に、
   前記色空間の光源を特定するための光源情報を設定する光源情報設定部を備え、
   前記係数設定部は、前記設定された光源情報に基づき、前記係数を設定する画像処理装置。
7. 請求項１ないし請求項５いずれか記載の画像処理装置であって、
   前記画像データは、撮像時において任意に設定される、前記色空間の光源を特定するための光源情報を有しており、
   前記係数設定部は、前記光源情報により特定される光源に基づき、前記係数を設定する画像処理装置。
8. 請求項１ないし請求項７いずれか記載の画像処理装置であって、
   前記色空間調整部は、前記色空間内に存在する座標点に、前記係数を乗算することにより、前記調整を行う画像処理装置。
9. ３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理方法であって、
   （ａ）所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する工程と、
   （ｂ）前記係数に基づき、前記色空間に存在する座標点を調整する工程と、
   （ｃ）前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、前記調整された色空間における無彩色軸である調整後無彩色軸の飽和点以降にマッピングする工程と、
   （ｄ）前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記調整後無彩色軸方向へマッピングを行う工程とを備える画像処理方法。
10. ３色の色成分で構成される色空間を表す表色座標系によって表される画像データを処理する画像処理方法であって、
    （ａ）前記３色の色成分のうち、第１の色成分が飽和する第１飽和点、第２の色成分が飽和する第２飽和点、および第３の色成分が飽和する第３飽和点を連結して構成される飽和線分上の座標点を、所定の光源に基づき特定される無彩色軸の飽和点以降にマッピングする工程と、
    （ｂ）前記飽和線分に対し飽和点以降の無彩色軸と対称となる直線と飽和線分とにより囲まれる領域内に存在する座標点を、前記直線までの距離に応じて、前記無彩色軸方向へマッピングを行う工程と、
    （ｃ）所定の光源下で撮像された、無彩色の被写体を表す画像データにおける、前記３色の色成分の各値を同一の値とする係数を設定する工程と、
    （ｄ）前記係数に基づき、前記色空間に存在する座標点を調整する工程とを備える画像処理方法。

Images