JP4037036B2 - カラーバランス調整方法および装置並びに記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像のカラーバランスを調整するカラーバランス調整方法および装置並びにカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）においては、撮影により取得した画像をデジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカードなどの記録媒体に記憶し、記憶されたデジタル画像データに基づいて、プリントなどのハードコピーとしてあるいはディスプレイ上にソフトコピーとして撮影により取得した画像を再現することができる。このように、デジタルカメラにより取得した画像を再現する場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。
【０００３】
一方、人間の視覚には色順応といって、昼光やそれと分光エネルギー分布の異なる蛍光灯下やタングステン光下において白い紙を見ても、青っぽいあるいは赤っぽいというようには知覚せず、基本的には白として認識する機構が作用する。このような色順応を考慮し、タングステン光、蛍光灯あるいは屋外の昼光のように撮影光源が異なっても、光源色に依存しない画像を得ることができるように、撮影された画像を表す画像データに対して撮影光源に応じたホワイトバランス調整処理（ＡＷＢ処理）を自動的に施すようにした機能（ＡＷＢ機能）を有するデジタルカメラが提案されている。
【０００４】
このような、ホワイトバランス調整方法としては、von Kriesの色順応予測式に従う方法が用いられている。この方法は、光源１において撮影した画像を光源２下において観察する場合に、光源１および光源２の白色点の生理原色に基づく三刺激値がＬ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗおよびＬ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗであるとすると、ホワイトバランス調整前の光源１下における画像のＬＭＳ三刺激値（Ｌ，Ｍ，Ｓ）_１を、下記の式（１）に示すようにホワイトバランス調整後の光源２下における画像のＬＭＳ三刺激値（Ｌ，Ｍ，Ｓ）_２に変換するものである。
【０００５】
【数１】

しかしながら、von Kriesの色順応予測式に従う方法は、昼光光源の場合には白色以外の顔等の色も適切に調整することができるが、例えば蛍光灯やタングステン光のような特殊な光源下において撮影された画像については、白色以外の顔等の色が不自然な色に変換されてしまうという問題がある。
【０００６】
このため、生理原色の変換を、上記式（１）に示すように対角項にのみ０でない値を有するマトリクスを用いるのではなく、非対角項も０でない値を有するマトリクスを用いて行うことにより画像のカラーバランスを調整する方法も提案されている。この方法によれば、特殊な光源下において撮影がなされた画像であっても、その光源を考慮したマトリクスを生成しておくことにより、適切な色となるようにカラーバランス調整処理を行うことができる。
【０００７】
【発明が解決しようとする課題】
von Kriesの色順応予測式に従う方法においては、マトリクスは対角項にのみ０でない値を有し、三刺激値Ｌ，Ｍ，Ｓのそれぞれの成分を白色点の各成分Ｌ_ｗ，Ｍ_ｗ，Ｓ_ｗに応じて定数倍しているものであるため、カラーバランス調整処理において撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合でも、処理に失敗して不自然な色を有する画像が得られてしまう可能性は低い。これに対して、非対角項も０でない値を有するマトリクスを用いて変換を行う場合には、対角項のみならず非対角項も含めて三刺激値Ｌ，Ｍ，Ｓを変換しているため、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とがずれていると、変換によりずれが増幅され、処理により得られる画像の白色が色味を帯びてしまうという問題がある。
【０００８】
例えば、von Kriesの色順応予測式に基づく変換が下記の式（２）に示すマトリクスからなる変換パラメータにより行うものであり、非対角項も０でない値を有するマトリクスによる変換が下記の式（３）に示すマトリクスからなる変換パラメータにより行うものであるとする。そして、変換前の白色点のＬが１％ずれたとすると、式（２）の場合、変換後の色はＬ：０．９９％、Ｍ：０％、Ｓ：０％ずれるのみであるが、式（３）の場合、変換後の色はＬ：１．２２％、Ｍ：−０．１１％、Ｓ：−０．０５％ずれる。このため、非対角項も０でない値を有するマトリクスを用いた変換においては、白色点の推定が多少ずれる等により変換パラメータが誤って設定されると、変換後の白色が色味を帯びてしまうこととなる。
【０００９】
【数２】

【数３】

本発明は上記事情に鑑みなされたものであり、変換パラメータが多少誤って設定されても適切にカラーバランスを調整できるカラーバランス調整方法および装置並びにカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明によるカラーバランス調整方法は、被写体を撮影することにより取得した画像を表す画像データ、または所定の光源下において観察することを前提としたカラーバランス調整処理が施された画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、対角行列に基づく第１の変換パラメータによるカラーバランス調整処理と、少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによるカラーバランス調整処理とを所定の比率により混合した混合処理を前記画像データに施すことにより、前記処理済み画像データを得ることを特徴とするものである。
【００１１】
「対角行列に基づく第１の変換パラメータ」とは、例えば上述したvon Kriesの色順応予測式に用いられるマトリクスのように、対角項にのみ０でない値を有し、変換の前後における画像の白色点を一致させることができるマトリクスが挙げられるが、変換の前後における画像の白色点を一致させるために、対角項にのみ０でない値を有するマトリクスに基づいて生成されたものであれば、非対角項も０でない値を有するマトリクスであってもよい。
【００１２】
「少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータ」とは、撮影時の光源を考慮して適切なカラーバランス調整処理を行うことができるように生成された、非対角項にも０でない値を有するマトリクスである。
【００１３】
なお、本発明によるカラーバランス調整方法においては、前記混合処理は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得、
前記画像データを前記第２の変換パラメータによって変換することにより第２の中間画像データを得、
前記第１および第２の中間画像データを前記所定の比率により重み付け加算する処理とすればよい。
【００１４】
また、前記混合処理は、前記第１の変換パラメータと前記第２の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得、
前記画像データを該加算パラメータによって変換する処理としてもよい。
【００１５】
さらに、前記混合処理は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得、
該第１の中間画像データを、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータによって変換することにより第２の中間画像データを得、
前記第１の中間画像データを、前記第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータによって変換することにより第３の中間画像データを得、
前記第２および第３の中間画像データを前記所定の比率により重み付け加算する処理としてもよい。
【００１６】
「白色を保存する第３の変換パラメータ」とは、変換の前後において白色を変更することなくカラーバランス調整処理を行うことができる変換パラメータであり、第１の変換パラメータと第３の変換パラメータとにより処理を行ったときに、第２の変換パラメータによる処理に相当する処理が行われるように生成される。
【００１７】
「単位パラメータ」とは対角項が１の値を有し、非対角項が０の値を有するマトリクスである。
【００１８】
「白色を保存する第４の変換パラメータ」とは、変換の前後において白色を変更することなくカラーバランス調整処理を行うことができる変換パラメータであり、第１の変換パラメータと第４の変換パラメータとにより処理を行ったときに、第１の変換パラメータから第２の変換パラメータを減算した処理に相当する処理が行われるように、単位パラメータから第３のパラメータを減算することにより生成される。
【００１９】
また、前記混合処理は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得、
前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータと、該第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得、
前記第１の中間画像データを該加算パラメータによって変換する処理としてもよい。
【００２０】
さらに、前記混合処理は、前記画像データを、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータによって変換することにより第１の中間画像データを得、
前記画像データを、前記第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータによって変換することにより第２の中間画像データを得、
前記第１および第２の中間画像データを前記所定の比率によって重み付け加算することにより加算画像データを得、
該加算画像データを前記第１の変換パラメータによって変換する処理としてもよい。
【００２１】
さらにまた、前記混合処理は、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータと、該第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得、
前記画像データを該加算パラメータによって変換することにより変換画像データを得、
該変換画像データを前記第１の変換パラメータによって変換する処理としてもよい。
【００２２】
また、本発明によるカラーバランス調整方法においては、前記画像を撮影した撮影装置の分光特性に関連する色空間において、前記混合処理を行ってもよい。
【００２３】
「撮影を行う撮像装置の分光特性に関連する色空間」とは、例えばＲＧＢ色空間、ＣＭＹ色空間が挙げられる。
【００２４】
さらに、本発明によるカラーバランス調整方法においては、人間の視覚特性に関連する色空間において、前記混合処理を行ってもよい。
【００２５】
「人間の視覚特性に関連する色空間」とは、例えば生理原色に基づくＬＭＳ色空間が挙げられる。
【００２６】
また、本発明によるカラーバランス調整方法においては、前記第１の変換パラメータを、人間の視覚特性に関連する色空間において前記対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータとし、
前記第２の変換パラメータを、人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータとしてもよい。
【００２７】
「人間の視覚特性に関連する色空間において前記対角行列に基づいて行われるカラーバランス調整処理」とは、上記式（１）に示すvon Kriesの色順応予測式のように例えばＬＭＳ色空間においてカラーバランスの調整を行う処理である。ここで、例えばデジタルカメラのように、得られる画像データがＲＧＢ色信号からなるものである場合、カラーバランス調整処理を行うためにはＲＧＢの色信号をＬＭＳ色空間に変換する必要がある。よって、「人間の視覚特性に関連する色空間において前記対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータ」とは、撮影装置の分光特性に関連する色空間から人間の視覚特性に関連する色空間への変換処理を行うパラメータと、von Kriesの色順応予測式のようなカラーバランス調整処理を行うパラメータとを合成することにより、色空間の変換とカラーバランス調整処理とを同時に行うようにしたパラメータのことをいう。
【００２８】
また、「人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータ」とは、撮影装置の分光特性に関連する色空間から人間の視覚特性に関連する色空間への変換処理を行うパラメータと、上記非対角項も０でない値を有するマトリクスのようなカラーバランス調整処理を行うパラメータとを合成することにより、色空間の変換とカラーバランス調整処理とを同時に行うようにしたパラメータのことをいう。
【００２９】
さらに、本発明によるカラーバランス調整方法においては、前記画像データを撮影した際の撮影光源の白色点を推定し、
該白色点に基づいて前記第１および第２の変換パラメータを生成してもよい。
【００３０】
さらにまた、本発明によるカラーバランス調整方法においては、前記画像データを撮影した際の撮影光源の指定を受け付け、
該指定された撮影光源に応じて、前記所定の比率を変更するようにしてもよい。
【００３１】
ここで、撮影光源の指定の受け付けは、例えば本発明を実施するための装置において、キーボード、光源を指定するキー等からの入力を受け付けることにより行うことができる。また、撮影時に画像データに撮影光源に関する情報を付与しておき、処理パラメータの生成時に画像データに付与された撮影光源に関する情報を読み取ることにより、撮影光源の指定を受け付けるようにしてもよい。
【００３２】
本発明によるカラーバランス調整装置は、被写体を撮影することにより取得した画像を表す画像データ、または所定の光源下において観察することを前提としたカラーバランス調整処理が施された画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、対角行列に基づく第１の変換パラメータによるカラーバランス調整処理と、少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによるカラーバランス調整処理とを所定の比率により混合した混合処理を前記画像データに施すことにより、前記処理済み画像データを得る混合処理手段を備えたことを特徴とするものである。
【００３３】
なお、本発明によるカラーバランス調整装置においては、前記混合処理手段は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
前記画像データを前記第２の変換パラメータによって変換することにより第２の中間画像データを得る第２の変換手段と、
前記第１および第２の中間画像データを前記所定の比率により重み付け加算する重み付け加算手段とを備えるものとしてもよい。
【００３４】
また、前記混合処理手段は、前記第１の変換パラメータと前記第２の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
前記画像データを該加算パラメータによって変換する変換手段とを備えるものとしてもよい。
【００３５】
さらに、前記混合処理手段は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
該第１の中間画像データを、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータによって変換することにより第２の中間画像データを得る第２の変換手段と、
前記第１の中間画像データを、前記第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータによって変換することにより第３の中間画像データを得る第３の変換手段と、
前記第２および第３の中間画像データを前記所定の比率により重み付け加算する重み付け加算手段とを備えるものとしてもよい。
【００３６】
また、前記混合処理手段は、前記画像データを前記第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータと、該第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
前記第１の中間画像データを該加算パラメータによって変換する第２の変換手段とを備えるものとしてもよい。
【００３７】
さらに、前記混合処理手段は、前記画像データを、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
前記画像データを、前記第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータによって変換することにより第２の中間画像データを得る第２の変換手段と、
前記第１および第２の中間画像データを前記所定の比率によって重み付け加算することにより加算画像データを得る重み付け加算手段と、
該加算画像データを前記第１の変換パラメータによって変換する第３の変換手段とを備えるものとしてもよい。
【００３８】
また、前記混合処理手段は、前記第１および第２の変換パラメータに基づいて生成された白色を保存する第３の変換パラメータと、該第３の変換パラメータと単位パラメータとに基づいて生成された白色を保存する第４の変換パラメータとを前記所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
前記画像データを該加算パラメータによって変換することにより変換画像データを得る第１の変換手段と、
該変換画像データを前記第１の変換パラメータによって変換する第２の変換手段とを備えるものとしてもよい。
【００３９】
また、本発明によるカラーバランス調整装置においては、前記混合処理手段は、前記画像を撮影した撮影装置の分光特性に関連する色空間において、前記混合処理を行う手段としてもよい。
【００４０】
さらに、前記混合処理手段は、人間の視覚特性に関連する色空間において、前記混合処理を行う手段としてもよい。
【００４１】
さらにまた、前記第１の変換パラメータを、人間の視覚特性に関連する色空間において前記対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータとし、
前記第２の変換パラメータを、人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われるカラーバランス調整処理を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータとしてもよい。
【００４２】
また、本発明によるカラーバランス調整装置においては、前記画像データを撮影した際の撮影光源の白色点を推定する白色点推定手段と、
該白色点に基づいて前記第１および第２の変換パラメータを生成するパラメータ生成手段とを備えるものとしてもよい。
【００４３】
さらに、本発明によるカラーバランス調整装置においては、前記画像データを撮影した際の撮影光源の指定を受け付ける受付手段と、
該指定された撮影光源に応じて、前記所定の比率を変更する変更手段とを備えるものとしてもよい。
【００４４】
なお、本発明によるカラーバランス調整方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００４５】
また、本発明によるカラーバランス調整装置を、デジタルカメラのような撮像装置に設けてもよい。
【００４６】
さらに、本発明によるカラーバランス調整装置を、プリンタ、モニタのような出力装置に設けてもよい。
【００４７】
【発明の効果】
本発明によれば、対角行列に基づく第１の変換パラメータによるカラーバランス調整処理と、少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによるカラーバランス調整処理とを所定の比率により混合した混合処理を画像データ、または所定の光源下において観察することを前提としたカラーバランス調整処理が施された画像データに施すことにより、処理済み画像データを得るようにしたものである。ここで、第１の変換パラメータによるカラーバランス調整処理は、対角行列に基づくものであるため、カラーバランス調整処理において撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合でも、処理に失敗して不自然な色を有する画像が得られてしまう可能性は低いが、特殊な光源下において得られた画像に対しては白色以外の色が不自然に変換されてしまう。一方、第２の変換パラメータによるカラーバランス調整処理は、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれていると、処理により得られる画像の色が不自然なものとなってしまうが、特殊な光源下において得られた画像に対しては白色以外の色も適切な色となるように変換を行うことができる。したがって、これらのカラーバランス調整処理を所定の比率により混合した混合処理を行うことにより、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合であっても、また、特殊な光源下において得られた画像であっても、さらに所定の光源下において観察することを前提としたカラーバランス調整処理が施された画像であっても、処理により得られる画像の白色が色味を帯びることなく、かつ不自然な色を生じさせることなくカラーバランス調整処理を行うことができる。
【００４８】
また、人間の視覚特性に関連する色空間において混合処理を行うことにより、人間がものを見た際に認識する色に基づいてカラーバランス調整処理を行うことができるため、見た目の印象に忠実な画像が再現されるようなカラーバランス調整処理を行うことができる。
【００４９】
さらに、画像を撮影した撮影装置の分光特性に関連する色空間において混合処理を行うことにより、デジタルカメラなどの撮影装置において取得されたデータに対して何ら色変換を行うことなくカラーバランス調整処理を行うことができるため、装置の構成を簡易なものとすることができ、かつ処理を高速に行うことができる。
【００５０】
さらに、所定の比率を撮影光源の指定に応じて変更することにより、例えば昼光下において撮影を行うことにより得られた画像、あるいは第２の変換パラメータを生成する際に仮定した撮影光源下において撮影を行うことにより得られた画像については、光源に適したカラーバランス調整処理が行えるように混合処理の比率を変更できるため、より適切なカラーバランス調整処理を行うことができる。
【００５１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００５２】
図１は本発明の第１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。図１に示すように、本実施形態によるカラーバランス調整装置１は、デジタルカメラ２においてシーンを撮影することにより取得されたＲＧＢ色信号Ｒ０，Ｇ０，Ｂ０からなる画像データＳ０に対してカラーバランス調整処理を施して処理済み画像データＳ３を得るためのものであり、画像データＳ０が記憶されたメモリカード２Ａから画像データＳ０を読み出すカードスロット等の読出手段３と、画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０をＬＭＳ色空間における生理原色の三刺激値Ｌ０，Ｍ０，Ｓ０に変換するＬＭＳ変換手段４と、三刺激値Ｌ０，Ｍ０，Ｓ０に対して第１のカラーバランス調整処理を施して処理済み三刺激値Ｌ１，Ｍ１，Ｓ１を得る第１のカラーバランス調整処理手段５と、三刺激値Ｌ０，Ｍ０，Ｓ０に対して第２のカラーバランス調整処理を施して処理済み三刺激値Ｌ２，Ｍ２，Ｓ２を得る第２のカラーバランス調整処理手段６と、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１と処理済み三刺激値Ｌ２，Ｍ２，Ｓ２とを重み付け加算して加算三刺激値Ｌ３，Ｍ３，Ｓ３を得る重み付け加算手段７と、加算三刺激値Ｌ３，Ｍ３，Ｓ３をＲＧＢ色空間の信号に変換して変換済み信号Ｒ３，Ｇ３，Ｂ３からなる処理済み画像データＳ３を得るＲＧＢ変換手段８と、第１および第２のカラーバランス調整処理手段５，６において用いられるカラーバランス調整処理のためのマトリクスＡ，Ｂを、撮影光源の種類に応じて記憶したデータベース９と、データベース９に撮影光源種を入力する入力手段１０とを備える。
【００５３】
ＬＭＳ変換手段４は下記のように画像データＳ０をＬＭＳ色空間の三刺激値Ｌ０，Ｍ０，Ｓ０に変換する。デジタルカメラ２において取得された画像データＳ０は、ＩＴＵ Ｒｅｃ．７０９規格に準拠したＲＧＢ各色８ビットの色信号からなるものであり、ＬＭＳ変換手段４は、画像データＳ０を構成する各色信号Ｒ０，Ｇ０，Ｂ０を下記の式（４），（５）により０〜１の値に正規化された色信号Ｒ１に変換する。
【００５４】
【数４】

なお、ここでは色信号Ｒ１についてのみ説明したが、色信号Ｇ１，Ｂ１についても色信号Ｒ１と同様の演算により求める。
【００５５】
次いで、色信号Ｒ１，Ｇ１，Ｂ１を下記の式（６）によりＣＩＥ１９３１ＸＹＺ三刺激値に変換して三刺激値Ｘ１，Ｙ１，Ｚ１を得る。
【００５６】
【数５】

さらに、三刺激値Ｘ１，Ｙ１，Ｚ１を下記の式（７）により生理原色に基づく三刺激値に変換し、これを画像データＳ０により表される画像の生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０とする。
【００５７】
【数６】

第１のカラーバランス調整処理手段５は、下記の式（８）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０を上記式（１）に示すvon Kriesの色順応予測式に従ったマトリクスＡにより変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１を得る。
【００５８】
【数７】

第２のカラーバランス調整処理手段６は、下記の式（９）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０をvon Kriesの色順応予測式とは異なる非対角項も０でない値を有するマトリクスＢにより変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ２，Ｍ２，Ｓ２を得る。
【００５９】
【数８】

重み付け加算手段７は、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１と処理済み三刺激値Ｌ２，Ｍ２，Ｓ２とを所定の比率αにより下記の式（１０）に示すように重み付け加算して加算三刺激値Ｌ３，Ｍ３，Ｓ３を得る。なお、本実施形態においてはα＝０．５とされる。
【００６０】
【数９】

ＲＧＢ変換手段８は、下記の式（１１）に示すように、式（７）および式（６）を逆に解き、さらに式（４）および式（５）を逆に解くことにより、処理済み画像データＳ３を構成する処理済み色信号Ｒ３，Ｇ３，Ｂ３を得る。
【００６１】
【数１０】

データベース９にはデジタルカメラ２により画像データＳ０を取得した際の撮影光源（以下光源１とする）と、処理済み画像データＳ３を観察する際の観察光源（以下光源２とする）に応じて生成された、von Kriesの色順応予測式に基づくマトリクスＡおよび非対角項も０でない値を有するマトリクスＢを複数記憶してなるものである。以下、マトリクスＡ，Ｂの作成方法について説明する。まず、von Kriesの色順応予測式に基づくマトリクスＡの作成方法について説明する。
【００６２】
まず、光源１下において撮影を行うことにより画像データＳ１１を得、この画像データＳ１１を構成する色信号Ｒ１１，Ｇ１１，Ｂ１１を上記式（４）、（５）により変換して正規化した信号Ｒ１１′，Ｇ１１′，Ｂ１１′を得る。そして、画像データＳ１１により表される画像の全画素数Ｎを用いて、下記の式（１２）により色信号Ｒ１１′，Ｇ１１′，Ｂ１１′の平均値Ｒｍ１１，Ｇｍ１１，Ｂｍ１１を算出する。
【００６３】
【数１１】

そして、算出された平均値Ｒｍ１１，Ｇｍ１１，Ｂｍ１１を上記式（６）によりＣＩＥ１９３１ＸＹＺ三刺激値に変換し、これを画像データＳ１１により表される画像における白色点の三刺激値Ｘ_１１ｗ，Ｙ_１１ｗ，Ｚ_１１ｗとする。さらに、三刺激値Ｘ_１１ｗ，Ｙ_１１ｗ，Ｚ_１１ｗを上記式（７）により生理原色に基づく三刺激値に変換し、これを光源１の白色点の生理原色に基づく三刺激値Ｌ_１１ｗ，Ｍ_１１ｗ，Ｓ_１１ｗとする。
【００６４】
同様に、光源２下において撮影を行うことにより画像データＳ１２を得、これから上記と同様にして光源２の白色点の生理原色に基づく三刺激値Ｌ_１２ｗ，Ｍ_１２ｗ，Ｓ_１２ｗを得る。
【００６５】
そして、各光源１，２の白色点の生理原色に基づく三刺激値Ｌ_１１ｗ，Ｍ_１１ｗ，Ｓ_１１ｗ、Ｌ_１２ｗ，Ｍ_１２ｗ，Ｓ_１２ｗから上記式（１）に示すマトリクスを求め、これをvon Kriesの色順応予測式に基づくマトリクスＡとする。
【００６６】
次いで、非対角項も０でない値を有するマトリクスＢの作成方法について説明する。自然界の物体の分光反射率は３つの主成分により代表できることが一般的に知られている。したがって、撮影した物体の分光反射率は、３つの主成分ｘ_１（λ），ｘ_２（λ），ｘ_３（λ）（λ：スペクトル周波数）の線形結合として下記の式（１３）に示すように表すことができる。
【００６７】
【数１２】

但し、ａ_１，ａ_２，ａ_３は各主成分を重み付け加算する際の重みである。
【００６８】
光源１の分光放射分布をＦ（λ）とし、三刺激値のＬ−ｃｏｎｅ，Ｍ−ｃｏｎｅ，Ｓ−ｃｏｎｅをそれぞれ
【数１３】

となる。なお、式（１４）〜（１６）において積分は可視領域の積分であるが、全スペクトル領域において積分を行ってもよい。ここで、光源１の分光放射分布Ｆ（λ）、各主成分ｘ_１（λ），ｘ_２（λ），ｘ_３（λ）および
【数１４】

のように置き換えると、光源１下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ三刺激値は、
【数１５】

となる。同様に、光源２下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ三刺激値は、
【数１６】

となる。式（１８）および（１９）からａ_１，ａ_２，ａ_３を消去すると、
【数１７】

となり、光源１下におけるＬＭＳ三刺激値（ｙ_１とする）から光源２下におけるＬＭＳ三刺激値（ｙ_２とする）への変換は、式（２０）より、
【数１８】

のように非対角項も０でない値を有する３×３のマトリクスＰ_２Ｐ_１ ^−１により行うことができる。よって、このようにして求められたマトリクスＰ_２Ｐ_１ ^−１をマトリクスＢとする。
【００６９】
そして、種々の撮影光源および観察光源について複数のマトリクスＡ，Ｂを算出し、これをデータベース９に記憶する。データベース９に記憶されるマトリクスＡ，Ｂの例を下記に示す。ここでは、撮影光源を昼白色蛍光灯（相関色温度５０００Ｋ）、昼光色蛍光灯（相関色温度６５００Ｋ）とし、処理済み画像データＳ３をプリント出力するものと想定して、観察光源はＣＩＥ−Ｄ５０とする。なお、処理済み画像データＳ３をモニタに再生する場合はＣＩＥ−Ｄ６５である。また、本実施形態において観察光源はＣＩＥ−Ｄ５０に固定し、観察光源をＣＩＥ−Ｄ５０として生成されたマトリクスＡ，Ｂがデータベース９に記憶されているものとする。
【００７０】
【数１９】

なお、例えばマンセルカラーチップ中の１２６９色のように多数色の分光反射率データを用いて、光源１下および光源２下におけるＬＭＳ三刺激値を求め、最小二乗法などによって三刺激値ｙ_１を三刺激値ｙ_２に変換するためのマトリクスをマトリクスＢとして求めるようにしてもよい。
【００７１】
また、光源１の白色が光源２の白色に変換されるように、マトリクスを決定することもできる。これはまず、上記マンセルカラーチップのような多数色の分光反射率データを用いて、光源１下および光源２下におけるＬＭＳ三刺激値を求め、最小二乗法などによって三刺激値ｙ_１を三刺激値ｙ_２に変換するためのマトリクスを求める。この際、光源１における白色が光源２の白色に変換されるよう、下記の式（２２）に示すように、求めるマトリクスをvon Kriesの色順応予測式に基づくマトリクスＶ_１と、三刺激値ｙ_１に垂直なマトリクスＶ_１′とに分解してマトリクスＶ_１，Ｖ_１′を求める。
【００７２】
ｙ_２＝（Ｖ_１＋Ｖ_１′）ｙ_１ （２２）
但し、Ｖ_１′ｙ_１＝０
この場合、
Ｐ_２Ｐ_１ ^−１＝Ｖ_１＋Ｖ_１′ （２３）
となる。このように、光源１の白色が光源２の白色に変換されるように、マトリクスを決定することにより、光源１下における白色と光源２下における白色とを一致させることができるため、より好ましい。
【００７３】
入力手段１０は、撮影光源の情報をデータベース９に入力するためのものであり、キーボード、光源を指定するキー等からなるものである。データベース９は入力手段１０から入力された撮影光源の種類に応じて、マトリクスＡ，Ｂを読み出して第１および第２のカラーバランス調整手段５，６に入力する。また、撮影時に画像データＳ０に撮影光源に関する情報を付与しておき、メモリカード２Ａからの画像データＳ０の読み出し時にこの情報も読み出し、これを入力手段１０を介してデータベース９に入力してもよい。この場合、データベース９においては入力された情報に基づいてマトリクスＡ，Ｂが読み出されることとなる。
【００７４】
次いで、本実施形態の動作について説明する。図２は第１の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ１）。そして、ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０に変換される（ステップＳ２）。一方、入力手段１０から入力された撮影光源種に応じて、マトリクスＡ，Ｂがデータベース９から読み出されて第１および第２のカラーバランス調整手段５，６に入力される（ステップＳ３）。
【００７５】
三刺激値Ｌ０，Ｍ０，Ｓ０は第１および第２のカラーバランス調整手段５，６に入力され、ここでそれぞれマトリクスＡ，Ｂによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２が得られる（ステップＳ４）。処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２は重み付け加算手段７に入力され、ここで重み付け加算がなされて加算三刺激値Ｌ３，Ｍ３，Ｓ３が得られる（ステップＳ５）。加算三刺激値Ｌ３，Ｍ３，Ｓ３はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られ（ステップＳ６）、処理を終了する。
【００７６】
ここで、第１のカラーバランス調整手段５におけるマトリクスＡによるカラーバランス調整処理は、von Kriesの色順応予測式に基づくものであるため、カラーバランス調整処理において撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合でも、処理に失敗して不自然な色を有する画像が得られてしまう可能性は低いが、蛍光灯のような特殊な光源下において得られた画像に対しては白色以外の色が不自然に変換されてしまう。一方、第２のカラーバランス調整手段６におけるマトリクスＢによるカラーバランス調整処理は、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれていると、処理により得られる画像の色が不自然なものとなってしまうが、特殊な光源下において得られた画像に対しては白色以外の色も適切な色となるように変換を行うことができる。したがって、第１の実施形態のように、第１のカラーバランス調整手段５において得られる三刺激値Ｌ１，Ｍ１，Ｓ１と第２のカラーバランス調整手段６において得られる三刺激値Ｌ２，Ｍ２，Ｓ２とを、所定の比率αにより重み付け加算することにより、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合であっても、また、特殊な光源下において得られた画像であっても、処理済み画像データＳ３により表される画像の白色が色味を帯びることなく、かつ不自然な色を生じさせることなくカラーバランス調整処理を行うことができる。
【００７７】
また、人間の視覚特性に関連する色空間であるＬＭＳ色空間においてカラーバランス調整処理を行っているため、人間がものを見た際に認識する色に基づいてカラーバランス調整を行うことができ、これにより、見た目の印象に忠実な画像が再現されるようなカラーバランス調整処理を行うことができる。
【００７８】
次いで、本発明の第２の実施形態について説明する。図３は本発明の第２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第２の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態によるカラーバランス調整装置１は、第１および第２のカラーバランス調整手段５，６および重み付け加算手段７に代えて、データベース９から読み出されたマトリクスＡ，Ｂを重み付け加算して加算マトリクスＭ０を得る重み付け加算手段７′と、ＬＭＳ変換手段４において得られた三刺激値Ｌ０，Ｍ０，Ｓ０に対して加算マトリクスＭ０によってカラーバランス調整処理を施して処理済み三刺激値Ｌ４，Ｍ４，Ｓ４を得るカラーバランス調整手段１１とを備えた点が第１の実施形態と異なるものである。
【００７９】
重み付け加算手段７′は下記の式（２４）によりマトリクスＡ，Ｂを重み付け加算して加算マトリクスＭ０を得る。
【００８０】
Ｍ０＝αＡ＋（１−α）Ｂ （２４）
カラーバランス調整手段１１は、下記の式（２５）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０を加算マトリクスＭ０により変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ４，Ｍ４，Ｓ４を得る。
【００８１】
【数２０】

なお、第１の実施形態におけるマトリクスＡ，Ｂと第２の実施形態におけるマトリクスＡ，Ｂとが同一であれば、式（２５）により得られる処理済み三刺激値Ｌ４，Ｍ４，Ｓ４と加算三刺激値Ｌ３，Ｍ３，Ｓ３とは同一のものとなる。したがって、ＲＧＢ変換手段８において得られる処理済み画像データは第１の実施形態と同一のものとなるため、第２の実施形態における処理済み画像データについては、第１の実施形態と同様に参照符号Ｓ３を用いるものとする。
【００８２】
次いで、第２の実施形態の動作について説明する。図４は第２の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ１１）。そして、ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０に変換される（ステップＳ１２）。一方、入力手段１０から入力された撮影光源種に応じて、マトリクスＡ，Ｂがデータベース９から読み出され（ステップＳ１３）、重み付け加算手段７′において重み付け加算されて加算マトリクスＭ０が得られる（ステップＳ１４）。なお、ステップＳ１３，Ｓ１４の処理をステップＳ１１，Ｓ１２より先に行ってもよく、これらを並列して行ってもよい。
【００８３】
加算マトリクスＭ０はカラーバランス調整手段１１に入力され、ここで三刺激値Ｌ０，Ｍ０，Ｓ０に対して加算マトリクスＭ０によるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ４，Ｍ４，Ｓ４が得られる（ステップＳ１５）。処理済み三刺激値Ｌ４，Ｍ４，Ｓ４はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られ（ステップＳ１６）、処理を終了する。
【００８４】
このように、第２の実施形態においては、マトリクスＡ，Ｂを、所定の比率αにより重み付け加算して加算マトリクスＭ０を得、この加算マトリクスＭ０によりカラーバランス調整を行うようにしたため、撮影時の光源と仮定している光源の白色点と実際の撮影時の光源の白色点とが若干ずれている場合であっても、また、特殊な光源下において得られた画像であっても、処理済み画像データＳ３により表される画像の白色が色味を帯びることなく、かつ不自然な色を生じさせることなくカラーバランス調整処理を行うことができる。
【００８５】
なお、上記第１の実施形態における、式（４）、（５）による色信号Ｒ０，Ｇ０，Ｂ０を正規化する変換を変換Ｘ、式（６）による三刺激値Ｘ１，Ｙ１，Ｚ１への変換を変換Ｙ、式（７）による生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０への変換を変換Ｚ、第１のカラーバランス調整手段５におけるマトリクスＡによる変換を変換Ａ、第２のカラーバランス調整手段６におけるマトリクスＢによる変換を変換Ｂとすると、画像データＳ０の入力から処理済み画像データＳ３の出力までの系は図５のように表すことができる。この系における変換は下記の式（２６）に示すように１つの式で表すことができる。
【００８６】
Ｘ^−１Ｙ^−１Ｚ^−１（αＡ＋（１−α）Ｂ）ＺＹＸ （２６）
また、この式（２６）は下記の式（２７）に示すように変形することができる。
【００８７】
Ｘ^−１（αＹ^−１Ｚ^−１ＡＺＹ＋（１−α）Ｙ^−１Ｚ^−１ＢＺＹ）Ｘ （２７）
ここで変換Ｙ，Ｚ，Ａ，Ｂを行うのは３×３のマトリクスである。したがって、第１の実施形態によるカラーバランス調整装置１は図６に示すように構成を変更することができる。以下これを第３の実施形態として説明する。
【００８８】
図６に示すように第３の実施形態によるカラーバランス調整装置は、第１の実施形態と同様の読出手段３、第１のカラーバランス調整手段５、第２のカラーバランス調整手段６、重み付け加算手段７、データベース９および入力手段１０と、画像データＳ０を構成するＩＴＵ Ｒｅｃ７０９規格に準拠した色信号Ｒ０，Ｇ０，Ｂ０を正規化して色信号Ｒ１，Ｇ１，Ｂ１を得る正規化手段１２と、後述するように重み付け加算手段７において得られた色信号Ｒ６，Ｇ６，Ｂ６をＲｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７に変換するＲＧＢ変換手段１３とを備え、データベース９にはマトリクスＡ，Ｂに代えてマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを記憶し、第１および第２のカラーバランス調整手段５，６においては、これらのマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹに基づいて色信号Ｒ１，Ｇ１，Ｂ１に対してカラーバランス調整処理を行うようにしたものである。
【００８９】
正規化手段１２においては、上記式（４），（５）に示すように色信号Ｒ０，Ｇ０，Ｂ０を正規化して正規化された色信号Ｒ１，Ｇ１，Ｂ１が得られる。
【００９０】
第１のカラーバランス調整処理手段５においては、下記の式（２８）に示すようにマトリクスＹ^−１Ｚ^−１ＡＺＹによって色信号Ｒ１，Ｇ１，Ｂ１を変換することによりカラーバランス調整処理が行われて、処理済み色信号Ｒ４，Ｇ４，Ｂ４が得られる。なお、第３の実施形態においては、マトリクスＹ^−１Ｚ^−１ＡＺＹは非対角項も０でない値を有するものである。
【００９１】
【数２１】

第２のカラーバランス調整処理手段６においては、下記の式（２９）に示すようにマトリクスＹ^−１Ｚ^−１ＢＺＹによって色信号Ｒ１，Ｇ１，Ｂ１を変換することによりカラーバランス調整処理が行われて、処理済み色信号Ｒ５，Ｇ５，Ｂ５が得られる。
【００９２】
【数２２】

重み付け加算手段７においては、処理済み色信号Ｒ４，Ｇ４，Ｂ４と処理済み色信号Ｒ５，Ｇ５，Ｂ５とが所定の比率αにより下記の式（３０）に示すように重み付け加算されて加算色信号Ｒ６，Ｇ６，Ｂ６が得られる。
【００９３】
【数２３】

ＲＧＢ変換手段１４においては、加算色信号Ｒ６，Ｇ６，Ｂ６に対して上記式（４）、（５）とは逆の処理が行われてＲｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７が得られる。なお、ここで色信号Ｒ７，Ｇ７，Ｂ７は、第１の実施形態において得られる色信号Ｒ３，Ｇ３，Ｂ３と同一のものとなるため、色信号Ｒ７，Ｇ７，Ｂ７からなる処理済み画像データとしては第１の実施形態と同様に参照符号Ｓ３を用いるものとする。
【００９４】
次いで、第３の実施形態の動作について説明する。図７は第３の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ２１）。そして、正規化手段１２において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が正規化されて正規化された色信号Ｒ１，Ｇ１，Ｂ１が得られる（ステップＳ２２）。一方、入力手段１０から入力された撮影光源種に応じて、マトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹがデータベース９から読み出されて第１および第２のカラーバランス調整手段５，６に入力される（ステップＳ２３）。
【００９５】
色信号Ｒ１，Ｇ１，Ｂ１は第１および第２のカラーバランス調整手段５，６に入力され、ここでそれぞれマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹによるカラーバランス調整処理が施されて、処理済み色信号Ｒ４，Ｇ４，Ｂ４、Ｒ５，Ｇ５，Ｂ５が得られる（ステップＳ２４）。処理済み色信号Ｒ４，Ｇ４，Ｂ４、Ｒ５，Ｇ５，Ｂ５は重み付け加算手段７に入力され、ここで重み付け加算がなされて加算色信号Ｒ６，Ｇ６，Ｂ６が得られる（ステップＳ２５）。加算色信号Ｒ６，Ｇ６，Ｂ６はＲＧＢ変換手段１３においてＩＴＵ Ｒｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７に変換されて処理済み画像データＳ３が得られ（ステップＳ２６）、処理を終了する。
【００９６】
一方、第２の実施形態によるカラーバランス調整装置１は図８に示すように構成を変更することができる。以下これを第４の実施形態として説明する。
【００９７】
図８に示すように第４の実施形態によるカラーバランス調整装置は、第２の実施形態と同様の読出手段３、カラーバランス調整手段１１、重み付け加算手段７′、データベース９および入力手段１０と、第３の実施形態と同様の正規化手段１２およびＲＧＢ変換手段１３とを備え、データベース９には第３の実施形態と同様にマトリクスＡ，Ｂに代えてマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを記憶し、重み付け加算手段７′においては、これらのマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを重み付け加算して加算マトリクスＭ１を得るようにしたものである。
【００９８】
なお、第３の実施形態と第４の実施形態とにおいて、マトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹが同一であれば、カラーバランス調整処理手段１１において得られる処理済み色信号と第３の実施形態における加算色信号Ｒ６，Ｇ６，Ｂ６とは同一のものとなり、ＲＧＢ変換手段１３において得られる色信号からなる処理済み画像データも同一のものとなる。したがって、第４の実施形態においては、第３の実施形態と同様にカラーバランス調整処理手段１１において得られる処理済み色信号について参照符号Ｒ６，Ｇ６，Ｂ６を、ＲＧＢ変換手段１３において得られる色信号について参照符号Ｒ７，Ｇ７，Ｂ７を、処理済み画像データについて参照符号Ｓ３を用いるものとする。
【００９９】
次いで、第４の実施形態の動作について説明する。図９は第４の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ３１）。そして、正規化手段１２において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が正規化されて正規化された色信号Ｒ１，Ｇ１，Ｂ１が得られる（ステップＳ３２）。一方、入力手段１０から入力された撮影光源種に応じて、マトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹがデータベース９から読み出され（ステップＳ３３）、重み付け加算手段７′において重み付け加算されて加算マトリクスＭ１が得られる（ステップＳ３４）。なお、ステップＳ３３，Ｓ３４の処理をステップＳ３１，Ｓ３２より先に行ってもよく、これらを並列して行ってもよい。
【０１００】
加算マトリクスＭ１はカラーバランス調整手段１１に入力され、ここで色信号Ｒ１，Ｇ１，Ｂ１に対して加算マトリクスＭ１によるカラーバランス調整処理が施されて、処理済み色信号Ｒ６，Ｇ６，Ｂ６が得られる（ステップＳ３５）。処理済み色信号Ｒ６，Ｇ６，Ｂ６はＲＧＢ変換手段１３においてＩＴＵ Ｒｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７に変換されて処理済み画像データＳ３が得られ（ステップＳ３６）、処理を終了する。
【０１０１】
次いで、本発明の第５の実施形態について説明する。図１０は本発明の第５の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第５の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第１の実施形態においては、データベース９に記憶されたマトリクスＡ，Ｂによりカラーバランス調整処理を行っていたが、第５の実施形態においてはマトリクスＡ，Ｂを生成してカラーバランス調整処理を行うようにしたものである。このため、第５の実施形態によるカラーバランス調整装置１は、第１の実施形態におけるデータベース９および入力手段１０に代えて、画像データＳ０を取得した際の撮影光源の白色点を推定する白色点推定手段１４、白色点推定手段１４において推定された白色点に基づいてマトリクスＡ，Ｂを生成するパラメータ生成手段１５、および後述するようにマトリクスＡ，Ｂを生成するために必要なパラメータを記憶したデータベース１６を備える。
【０１０２】
白色点推定手段１４は、上記式（４）、（５）により画像データＳ０を正規化して色信号Ｒ１，Ｇ１，Ｂ１を得、式（１２）により色信号Ｒ１，Ｇ１，Ｂ１の平均値を求め、この平均値を上記式（６）、（７）により変換して、画像データＳ０を取得した際の撮影光源の白色点の生理原色に基づく三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗを得、これを画像データＳ０を得た際の撮影光源の白色点とする。なお、本実施形態では撮影光源を光源１、観察光源を光源２と称して説明する。
【０１０３】
データベース１６には、複数の光源（観察光源を含む、以下既知光源とする）についての白色点の生理原色に基づく三刺激値が記憶されている。また、各既知光源下における三刺激値を画像を観察する観察光源下における三刺激値に変換するためのマトリクスも記憶されている。このマトリクスは、上記式（１３）から（２１）により算出された非対角項も０でない値を有するマトリクスであり、以下既知光源パラメータとする。
【０１０４】
パラメータ生成手段１５は、光源１の白色点の三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗに基づいてマトリクスＡ，Ｂを生成する。まず、マトリクスＡについては、データベース１６に処理済み画像データＳ３を観察する観察光源（光源２）についての白色点の生理原色に基づく三刺激値Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗが記憶されていることから、画像データＳ０を取得した際の光源１の白色点の生理原色に基づく三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗと観察光源である光源２の三刺激値Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗとから上記式（１）に示すvon Kriesの色順応予測式に基づくマトリクスを求め、これをマトリクスＡとする。
【０１０５】
次いで、マトリクスＢの生成方法について説明する。まず、パラメータ生成手段１５は、ＬＭＳ色空間において白色点推定手段１４から入力された光源１の白色点の三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗと、データベース１６に記憶された既知光源の白色点の三刺激値との距離を求め、この距離が最も小さい２つの既知光源を選択する。具体的には、データベース１６に記憶された既知光源の白色点の三刺激値および三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗをＬＭＳ色空間にプロットし、ＬＭＳ色空間において、光源１の白色点に最も近い位置にあるすなわち同種の光源と見なすことができる既知光源を選択する。ここでは、図１１に示すように既知光源ＫＡ，ＫＢが選択されたものとする。
【０１０６】
このように２つの既知光源ＫＡ，ＫＢが選択されると、ＬＭＳ色空間上において既知光源ＫＡ，ＫＢの白色点（点ＫＡ，ＫＢとする）を結ぶ直線ＫＡＫＢと、光源１の白色点（図１１における×点）から直線ＫＡＫＢに下した垂線との交点ＫＣを求める。ここで、交点ＫＣにより直線ＫＡＫＢが１−β：βの分割比率により分割されるとすると、交点ＫＣは、図１２に示すように既知光源ＫＡの分光強度分布と既知光源ＫＢの分光強度分布とをβ：１−βの割合で合成した分光強度分布を有する光源の白色点に相当するものとなる。
【０１０７】
上記のようにして交点ＫＣが求められると、既知光源ＫＡ，ＫＢの既知光源パラメータＭＡ，ＭＢに対して補間演算を施すことにより、交点ＫＣに対応する光源におけるマトリクスを算出する。
【０１０８】
具体的には、上述したように算出したβに基づいて、交点ＫＣに対応する光源下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＰｃを下記の式（３１）により求める。
【０１０９】
Ｐｃ＝βＭＡ＋（１−β）ＭＢ （３１）
したがって、交点ＫＣに対応する光源下におけるＬＭＳ三刺激値ｙ_Ｃは下記の式（３２）により光源２下におけるＬＭＳ三刺激値に変換することができる。
【０１１０】
ｙ_２＝Ｐｃｙ_Ｃ （３２）
一方、上記交点ＫＣはＬＭＳ色空間において既知光源ＫＡ，ＫＢの白色点を結ぶ直線ＫＡＫＢ上にあり光源１とは一致していない。したがって、光源１下における白色が光源２下における白色に変換されるように下記のようにしてマトリクスＰｃを補正する。まず、マトリクスＰｃに補正マトリクスΔＰを加算して、下記の式（３３）に示すように、光源１下における白色が光源２下における白色に変換されるようにすることを考える。
【０１１１】
【数２４】

次いで、マトリクスＰｃおよびΔＰを、下記の式（３４）、（３５）に示すように、光源１から光源２へのvon Kriesの色順応予測式に従う成分Ｖと、その他の成分ＱｃおよびΔＱとに分解する。
【０１１２】
Ｐｃ＝ＱｃＶ （３４）
ΔＰ＝ΔＱＶ （３５）
ここで、三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗと三刺激値Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗとは下記の式（３６）に示す関係にあることから、式（３４）および（３５）を式（３３）に代入すると下記の式（３７）となる。
【０１１３】
【数２５】

式（３７）を変形すると下記の式（３８）となる。
【０１１４】
【数２６】

但し、Ｅ：単位行列
式（３４）より
Ｑｃ＝ＰｃＶ^−１ （３９）
であることから、式（３８）の右辺は既知である。したがって、
【数２７】

のように置き換えを行うと、
【数２８】

となる。ここで、ベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）の値が最小となれば補正マトリクスΔＰの成分も最小となるため、マトリクスＰｃに少ない補正を加えるのみで、光源１下における白色点を光源２下における白色点に変換できることとなる。
【０１１５】
ベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）の値が最小となるのは、これらのベクトルがベクトル（Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗ）に平行な場合である。したがって、下記の式（４０）〜（４１）によりベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）を決定することにより、マトリクスΔＱを求める。
【０１１６】
【数２９】

よって、補正マトリクスΔＰは上記式（３５）により求めることができる。これにより、光源１下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＢは、
Ｂ＝Ｐｃ＋ΔＰ （４３）
により求めることができる。
【０１１７】
このマトリクスＢは、光源１下における白色点の三刺激値を光源２下における白色点の三刺激値に変換する。また、交点ＫＣに対応する光源下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＰｃを補正したものであるため、光源１下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換する特徴をも備えたものとなっている。
【０１１８】
そして、このようにして生成されたマトリクスＡ，Ｂは第１および第２のカラーバランス調整処理手段５，６に入力され、第１の実施形態と同様に三刺激値Ｌ０，Ｍ０，Ｓ０に対してカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２が得られる。処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２は重み付け加算手段７に入力され、ここで重み付け加算がなされて加算三刺激値Ｌ３，Ｍ３，Ｓ３が得られる。加算三刺激値Ｌ３，Ｍ３，Ｓ３はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られることとなる。
【０１１９】
次いで、本発明の第６の実施形態について説明する。図１３は本発明の第６の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第６の実施形態において、第２の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態においては、データベース９に記憶されたマトリクスＡ，Ｂを重み付け加算して加算マトリクスＭ０を求めていたが、第６の実施形態においては第５の実施形態と同様にマトリクスＡ，Ｂを生成し、生成されたマトリクスＡ，Ｂから加算マトリクスＭ０を求めるようにしたものである。このため、第６の実施形態によるカラーバランス調整装置１は、第５の実施形態と同様に、データベース９および入力手段１０に代えて、白色点推定手段１４、パラメータ生成手段１５、およびデータベース１６を備える。
【０１２０】
第５の実施形態と同様にして生成されたマトリクスＡ，Ｂは重み付け加算手段７′に入力され、ここで第２の実施形態と同様に重み付け加算されて加算マトリクスＭ０が得られる。加算マトリクスＭ０はカラーバランス調整手段１１に入力され、ここで加算マトリクスＭ０によるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ４，Ｍ４，Ｓ４が得られる。処理済み三刺激値Ｌ４，Ｍ４，Ｓ４はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られることとなる。
【０１２１】
次いで、本発明の第７の実施形態について説明する。図１４は本発明の第７の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第７の実施形態において、第３の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第３の実施形態においては、データベース９に記憶されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを重み付け加算して加算マトリクスＭ０を求めていたが、第７の実施形態においては第５の実施形態と同様にマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを生成し、生成されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹに基づいてカラーバランス調整処理を行うようにしたものである。このため、第７の実施形態によるカラーバランス調整装置１は、第５の実施形態と同様に、データベース９および入力手段１０に代えて、白色点推定手段１４、パラメータ生成手段１５、およびデータベース１６を備える。
【０１２２】
なお、マトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹは、第５の実施形態と同様にして生成したマトリクスＡ，Ｂ、式（６）に示す変換を行うマトリクスＹ、および式（７）に示す変換を行うマトリクスＺに基づいて、パラメータ生成手段１５において生成される。また、マトリクスＹ、Ｚはデータベース１６に記憶しておけばよい。
【０１２３】
パラメータ生成手段１５において生成されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹは第１および第２のカラーバランス調整処理手段５，６に入力され、第３の実施形態と同様に正規化された色信号Ｒ１，Ｇ１，Ｂ１に対してカラーバランス調整処理が施されて、処理済み色信号Ｒ４，Ｇ４，Ｂ４、Ｒ５，Ｇ５，Ｂ５が得られる。処理済み色信号Ｒ４，Ｇ４，Ｂ４、Ｒ５，Ｇ５，Ｂ５は重み付け加算手段７に入力され、ここで重み付け加算がなされて色信号Ｒ６，Ｇ６，Ｂ６が得られる。色信号Ｒ６，Ｇ６，Ｂ６はＲＧＢ変換手段１３においてＩＴＵ Ｒｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７に変換されて処理済み画像データＳ３が得られることとなる。
【０１２４】
次いで、本発明の第８の実施形態について説明する。図１５は本発明の第８の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第８の実施形態において、第４の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第４の実施形態においては、データベース９に記憶されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを重み付け加算して加算マトリクスＭ１を求めていたが、第８の実施形態においては第７の実施形態と同様にマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを生成し、生成されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹを重み付け加算して加算マトリクスＭ１を求めるようにしたものである。このため、第８の実施形態によるカラーバランス調整装置１は、第７の実施形態と同様に、データベース９および入力手段１０に代えて、白色点推定手段１４、パラメータ生成手段１５、およびデータベース１６を備える。
【０１２５】
第７の実施形態と同様に生成されたマトリクスＹ^−１Ｚ^−１ＡＺＹおよびＹ^−１Ｚ^−１ＢＺＹは、重み付け加算手段７′に入力され、ここで第４の実施形態と同様に重み付け加算されて加算マトリクスＭ１が得られる。加算マトリクスＭ１はカラーバランス調整手段１１に入力され、ここで加算マトリクスＭ１によるカラーバランス調整処理が施されて、処理済み色信号Ｒ６，Ｇ６，Ｂ６が得られる。処理済み色信号Ｒ６，Ｇ６，Ｂ６はＲＧＢ変換手段１３においてＩＴＵ Ｒｅｃ７０９規格に準拠した色信号Ｒ７，Ｇ７，Ｂ７に変換されて処理済み画像データＳ３が得られることとなる。
【０１２６】
次いで、本発明の第９の実施形態について説明する。図１６は本発明の第９の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第９の実施形態において、第５の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図１６に示すように本発明の第９の実施形態によるカラーバランス調整装置１は、第５の実施形態と同様の読取手段３、ＬＭＳ変換手段４、第１のカラーバランス調整処理手段５、ＲＧＢ変換手段８、白色点推定手段１４、パラメータ生成手段１５およびデータベース１６と、第１のカラーバランス調整処理手段５において得られた処理済み三刺激値Ｌ１，Ｍ１，Ｓ１に対して後述するマトリクスＣによるカラーバランス調整処理を施して処理済み三刺激値Ｌ６，Ｍ６，Ｓ６を得る第３のカラーバランス調整処理手段１７と、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１に対して後述するマトリクスＤによるカラーバランス調整処理を施して処理済み三刺激値Ｌ７，Ｍ７，Ｓ７を得る第４のカラーバランス調整処理手段１８と、処理済み三刺激値Ｌ７，Ｍ７，Ｓ７を比率αにより重み付けして処理済み三刺激値Ｌ６，Ｍ６，Ｓ６と加算して加算三刺激値Ｌ８，Ｍ８，Ｓ８を得る重み付け加算手段２７とを備える。
【０１２７】
ここで、パラメータ生成手段１５においては、第５の実施形態と同様にして白色点推定手段１４において推定された白色点およびデータベース１６に記憶されたパラメータに基づいてマトリクスＡ，Ｂが生成されるとともに、マトリクスＣ，Ｄが生成される。ここで、マトリクスＣはマトリクスＡ，Ｂから下記の式（４４）に示すように生成される。
【０１２８】
Ｃ＝ＢＡ^−１ （４４）
このマトリクスＣは、下記の式（４５）に示す特徴を有するものとなる。したがって、白色点を変化させることなく他の色を変化させることができるものである。
【０１２９】
【数３０】

但し、Ｌ_ｗ，Ｍ_ｗ，Ｓ_ｗ：白色点の生理原色に基づく三刺激値
一方、マトリクスＤはマトリクスＣから下記の式（４６）に示すように生成される。
【０１３０】
Ｄ＝Ｅ−Ｃ （４６）
但し、Ｅ：単位行列
ここで、マトリクスＤはマトリクスＣと同様に白色点を変化させることなく他の色を変化させることができるものである。
【０１３１】
第３のカラーバランス調整処理手段１７は、下記の式（４７）に示すように処理済み三刺激値Ｌ１，Ｍ１，Ｓ１をマトリクスＣにより変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ６，Ｍ６，Ｓ６を得る。この処理済み三刺激値Ｌ６，Ｍ６，Ｓ６は、第１の実施形態の第２のカラーバランス調整処理手段６において、三刺激値Ｌ０，Ｍ０，Ｓ０に対してマトリクスＢにより変換を施すことにより得られる処理済み三刺激値Ｌ２，Ｍ２，Ｓ２に相当するものである。
【０１３２】
【数３１】

第４のカラーバランス調整処理手段１８は、下記の式（４８）に示すように処理済み三刺激値Ｌ１，Ｍ１，Ｓ１をマトリクスＤにより変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ７，Ｍ７，Ｓ７を得る。この処理済み三刺激値Ｌ７，Ｍ７，Ｓ７は、第１の実施形態の第１のカラーバランス調整処理手段５において、三刺激値Ｌ０，Ｍ０，Ｓ０に対してマトリクスＡにより変換を施すことにより得られる処理済み三刺激値Ｌ１，Ｍ１，Ｓ１と、処理済み三刺激値Ｌ２，Ｍ２，Ｓ２との差に相当するものである。
【０１３３】
【数３２】

重み付け加算手段２７は、処理済み三刺激値Ｌ６，Ｍ６，Ｓ６と処理済み三刺激値Ｌ７，Ｍ７，Ｓ７とを所定の比率αにより下記の式（４９）に示すように重み付け加算して加算三刺激値Ｌ８，Ｍ８，Ｓ８を得る。
【０１３４】
【数３３】

ここで、第９の実施形態においては、第１のカラーバランス調整処理手段５においてまず白色を補正し、第３および第４のカラーバランス調整処理手段１７，１８において、白色を保存しつつ白色以外の色に対する補正を行う構成となっている。
【０１３５】
なお、第９の実施形態において得られる加算三刺激値Ｌ８，Ｍ８，Ｓ８と第１の実施形態において得られる加算三刺激値Ｌ３，Ｍ３，Ｓ３とは同一のものとなる。したがって、ＲＧＢ変換手段８において得られる処理済み画像データは第１の実施形態と同一のものとなるため、第９の実施形態のＲＧＢ変換手段８において得られる処理済み画像データとしては、第１の実施形態と同様に参照符号Ｓ３を用いるものとする。
【０１３６】
次いで、第９の実施形態の動作について説明する。図１７は第９の実施形態の動作を示すフローチャートである。なお、ここではパラメータ生成手段１５において、マトリクスＡ，Ｃ，Ｄが既に生成されているものとして説明する。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ４１）。そして、ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０に変換される（ステップＳ４２）。一方、パラメータ生成手段１５において生成されたマトリクスＡ，Ｃ，Ｄが第１、第３および第４のカラーバランス調整手段５，１７，１８に入力される（ステップＳ４３）。
【０１３７】
三刺激値Ｌ０，Ｍ０，Ｓ０に対しては下記のようにカラーバランス調整処理が施される（ステップＳ４４）。まず三刺激値Ｌ０，Ｍ０，Ｓ０は第１のカラーバランス調整手段５に入力され、ここでマトリクスＡによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１が得られる。処理済み三刺激値Ｌ１，Ｍ１，Ｓ１は、第３および第４のカラーバランス調整手段１７，１８に入力され、ここでそれぞれマトリクスＣ，Ｄによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ６，Ｍ６，Ｓ６、Ｌ７，Ｍ７，Ｓ７が得られる。処理済み三刺激値Ｌ６，Ｍ６，Ｓ６、Ｌ７，Ｍ７，Ｓ７は重み付け加算手段２７に入力され、ここで重み付け加算がなされて加算三刺激値Ｌ８，Ｍ８，Ｓ８が得られる（ステップＳ４５）。加算三刺激値Ｌ８，Ｍ８，Ｓ８はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られ（ステップＳ４６）、処理を終了する。
【０１３８】
次いで、本発明の第１０の実施形態について説明する。図１８は本発明の第１０の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第１０の実施形態において、第９の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第１０の実施形態によるカラーバランス調整装置１は、パラメータ生成手段１５において生成されたマトリクスＣ，Ｄを重み付け加算手段２７′において重み付け加算して加算マトリクスＭ２を得、第５のカラーバランス調整処理手段１９において、第１のカラーバランス調整処理手段５において得られた処理済み三刺激値Ｌ１，Ｍ１，Ｓ１に対して加算マトリクスＭ２によってカラーバランス調整処理を施して処理済み三刺激値Ｌ８，Ｍ８，Ｓ８を得るようにした点が第９の実施形態と異なるものである。
【０１３９】
重み付け加算手段２７′は下記の式（５０）によりマトリクスＣ，Ｄを重み付け加算して加算マトリクスＭ２を得る。
【０１４０】
Ｍ２＝Ｃ＋αＤ （５０）
第５のカラーバランス調整手段１９は、下記の式（５１）に示すように処理済み三刺激値Ｌ１，Ｍ１，Ｓ１を加算マトリクスＭ２により変換してカラーバランス調整処理を行って、処理済み三刺激値Ｌ８，Ｍ８，Ｓ８を得る。
【０１４１】
【数３４】

なお、第１０の実施形態の第５のカラーバランス調整処理手段１９において得られる処理済み三刺激値は第９の実施形態の重み付け加算手段２７において得られる加算三刺激値Ｌ８，Ｍ８，Ｓ８と同一のものとなるため同一の参照符号を用いる。また、ＲＧＢ変換手段８において得られる処理済み画像データは、第１の実施形態において得られる処理済み画像データと同一のものとなるため、参照符号Ｓ３を用いるものとする。
【０１４２】
次いで、第１０の実施形態の動作について説明する。図１９は第１０の実施形態の動作を示すフローチャートである。なお、ここではパラメータ生成手段１５において、マトリクスＡ，Ｃ，Ｄが既に生成されているものとして説明する。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ５１）。そして、ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０に変換される（ステップＳ５２）。一方、パラメータ生成手段１５において生成されたマトリクスＡ，Ｃ，Ｄが第１のカラーバランス調整手段５および重み付け加算手段２７′に入力される（ステップＳ５３）。
【０１４３】
重み付け加算手段２７′に入力されたマトリクスＣ，Ｄは重み付け加算されて加算マトリクスＭ２が得られる（ステップＳ５４）。そして、三刺激値Ｌ０，Ｍ０，Ｓ０に対しては下記のようにカラーバランス調整処理が施される（ステップＳ５５）。まず第１のカラーバランス調整手段５に入力された三刺激値Ｌ０，Ｍ０，Ｓ０は、ここでマトリクスＡによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１が得られる。処理済み三刺激値Ｌ１，Ｍ１，Ｓ１は、第５のカラーバランス調整手段１９に入力され、ここで加算マトリクスＭ２によるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ８，Ｍ８，Ｓ８が得られる。処理済み三刺激値Ｌ８，Ｍ８，Ｓ８はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られ（ステップＳ５６）、処理を終了する。
【０１４４】
次いで、本発明の第１１の実施形態について説明する。図２０は本発明の第１１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第１１の実施形態において、第９の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図２０に示すように本発明の第１１の実施形態によるカラーバランス調整装置１は、第９の実施形態と同様の読取手段３、ＬＭＳ変換手段４、第１のカラーバランス調整処理手段５、重み付け加算手段２７、ＲＧＢ変換手段８、白色点推定手段１４、パラメータ生成手段１５およびデータベース１６を備え、ＬＭＳ変換手段４において得られた三刺激値Ｌ０，Ｍ０，Ｓ０に対して第６のカラーバランス調整処理手段１７′において後述するマトリクスＣ′によるカラーバランス調整処理を施して処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′を得、ＬＭＳ変換手段４において得られた三刺激値Ｌ０，Ｍ０，Ｓ０に対して第７のカラーバランス調整処理手段１８′において後述するマトリクスＤ′によるカラーバランス調整処理を施して処理済み三刺激値Ｌ７′，Ｍ７′，Ｓ７′を得、重み付け加算手段２７において処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′と処理済み三刺激値Ｌ７′，Ｍ７′，Ｓ７′とを重み付け加算して加算三刺激値Ｌ９，Ｍ９，Ｓ９を得、この加算三刺激値Ｌ９，Ｍ９，Ｓ９に対して第１のカラーバランス調整処理手段５においてマトリクスＡによるカラーバランス調整処理を施して処理済み三刺激値Ｌ８，Ｍ８，Ｓ８を得るようにしたものである。
【０１４５】
ここで、第６のカラーバランス調整処理手段は第９の実施形態における第３のカラーバランス調整処理手段に対応するため、参照符号として１７′を用いる。また、第７のカラーバランス調整処理手段は第９の実施形態における第４のカラーバランス調整処理手段に対応するため、参照符号として１８′を用いる。
【０１４６】
パラメータ生成手段１５においては、マトリクスＣ′，Ｄ′はマトリクスＡ，Ｂから下記の式（５２）、（５３）に示すように生成される。
【０１４７】
Ｃ′＝Ａ^−１Ｂ （５２）
Ｄ′＝Ｅ−Ｃ （５３）
なおマトリクスＣ′，Ｄ′は、上記第９および第１０の実施形態におけるマトリクスＣ，Ｄと同様に、白色点を変化させることなく他の色を変化させることができるものである。
【０１４８】
第６のカラーバランス調整処理手段１７′においては、下記の式（５４）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０をマトリクスＣ′により変換してカラーバランス調整処理が行われて、処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′が得られる。
【０１４９】
【数３５】

第７のカラーバランス調整処理手段１８′においては、下記の式（５５）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０をマトリクスＤ′により変換してカラーバランス調整処理が行われて、処理済み三刺激値Ｌ７′，Ｍ７′，Ｓ７′が得られる。
【０１５０】
【数３６】

重み付け加算手段２７においては、処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′と処理済み三刺激値Ｌ７′，Ｍ７′，Ｓ７′とが所定の比率αにより下記の式（５６）に示すように重み付け加算されて加算三刺激値Ｌ９，Ｍ９，Ｓ９が得られる。
【０１５１】
【数３７】

第１のカラーバランス調整処理手段５は、加算三刺激値Ｌ９，Ｍ９，Ｓ９をマトリクスＡにより変換してカラーバランス調整処理が施された処理済み三刺激値Ｌ８，Ｍ８，Ｓ８を得る。
【０１５２】
ここで、第１１の実施形態においては、第６および第７のカラーバランス調整処理手段１７′，１８′において、白色を保存しつつ白色以外の色に対する補正比率を変更し、第１のカラーバランス調整処理手段５において白色を補正する構成となっている。
【０１５３】
なお、第１１の実施形態の第１のカラーバランス調整処理手段５において得られる処理済み三刺激値と第９の実施形態の重み付け加算手段２７において得られる加算三刺激値Ｌ８，Ｍ８，Ｓ８とは同一のものとなるため、同一の参照符号を用いる。また、ＲＧＢ変換手段８において得られる処理済み画像データは、第１の実施形態において得られる処理済み画像データと同一のものとなるため、参照符号Ｓ３を用いるものとする。
【０１５４】
次いで、第１１の実施形態の動作について説明する。なお、第１１の実施形態においては、上記第９の実施形態におけるカラーバランス調整処理のみが異なるため、このカラーバランス調整処理の動作についてのみ説明する。ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０を変換することにより得られた三刺激値Ｌ０，Ｍ０，Ｓ０は、第６および第７のカラーバランス調整処理手段１７′，１８′に入力される。三刺激値Ｌ０，Ｍ０，Ｓ０は、第６および第７のカラーバランス調整手段１７′，１８′において、それぞれマトリクスＣ′，Ｄ′によるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′、Ｌ７′，Ｍ７′，Ｓ７′が得られる。処理済み三刺激値Ｌ６′，Ｍ６′，Ｓ６′、Ｌ７′，Ｍ７′，Ｓ７′は重み付け加算手段２７に入力され、ここで重み付け加算がなされて加算三刺激値Ｌ９，Ｍ９，Ｓ９が得られる。加算三刺激値Ｌ９，Ｍ９，Ｓ９は第１のカラーバランス調整手段５に入力され、ここでマトリクスＡによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ８，Ｍ８，Ｓ８が得られる。処理済み三刺激値Ｌ８，Ｍ８，Ｓ８はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られる。
【０１５５】
次いで、本発明の第１２の実施形態について説明する。図２１は本発明の第１２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第１２の実施形態において、第１０の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第１２の実施形態によるカラーバランス調整装置１は、パラメータ生成手段１５において生成されたマトリクスＣ′，Ｄ′を重み付け加算手段２７′において重み付け加算して加算マトリクスＭ３を得、第８のカラーバランス調整処理手段１９′において、ＬＭＳ変換手段４において得られた三刺激値Ｌ０，Ｍ０，Ｓ０に対して加算マトリクスＭ３によってカラーバランス調整処理を施して処理済み三刺激値Ｌ１０，Ｍ１０，Ｓ１０を得、この処理済み三刺激値Ｌ１０，Ｍ１０，Ｓ１０に対して第１のカラーバランス調整処理手段５においてマトリクスＡによるカラーバランス調整処理を施して処理済み三刺激値Ｌ８，Ｍ８，Ｓ８を得るようにしたものである。
【０１５６】
ここで、第８のカラーバランス調整処理手段は第１０の実施形態における第５のカラーバランス調整処理手段に対応するため、参照符号として１９′を用いる。
【０１５７】
重み付け加算手段２７′においては、下記の式（５７）によりマトリクスＣ′，Ｄ′が重み付け加算されて加算マトリクスＭ３が得られる。
【０１５８】
Ｍ３＝Ｃ′＋αＤ′ （５７）
第８のカラーバランス調整手段１９′においては、下記の式（５８）に示すように三刺激値Ｌ０，Ｍ０，Ｓ０が加算マトリクスＭ３により変換されてカラーバランス調整処理が行われて、処理済み三刺激値Ｌ１０，Ｍ１０，Ｓ１０が得られる。
【０１５９】
【数３８】

なお、第１２の実施形態の第１のカラーバランス調整処理手段５において得られる処理済み三刺激値は第９の実施形態の重み付け加算手段２７において得られる加算三刺激値Ｌ８，Ｍ８，Ｓ８と同一のものとなるため同一の参照符号を用いる。また、ＲＧＢ変換手段８において得られる処理済み画像データは、第１の実施形態において得られる処理済み画像データと同一のものとなるため、参照符号Ｓ３を用いるものとする。
【０１６０】
次いで、第１２の実施形態の動作について説明する。なお、第１２の実施形態においては、上記第１０の実施形態におけるカラーバランス調整処理のみが異なるため、このカラーバランス調整処理の動作についてのみ説明する。パラメータ生成手段１５において生成されたマトリクスＣ′，Ｄ′は重み付け加算手段２７′において重み付け加算されて加算マトリクスＭ３が得られる。ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０を変換することにより得られた三刺激値Ｌ０，Ｍ０，Ｓ０は、第８のカラーバランス調整処理手段１９′に入力され、ここで三刺激値Ｌ０，Ｍ０，Ｓ０に対して加算マトリクスＭ３によるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１０，Ｍ１０，Ｓ１０が得られる。処理済み三刺激値Ｌ１０，Ｍ１０，Ｓ１０は第１のカラーバランス調整処理手段５に入力され、ここでマトリクスＡによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ８，Ｍ８，Ｓ８が得られる。処理済み三刺激値Ｌ８，Ｍ８，Ｓ８はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られる。
【０１６１】
なお、上記第９から第１２の実施形態は、白色点推定手段１４、パラメータ生成手段１５およびデータベース１６を備え、画像データＳ０から算出された白色点に基づいてマトリクスＡ，Ｃ，Ｄ，Ｃ′，Ｄ′を生成しているが、第１の実施形態と同様にデータベース９および入力手段１０を備える構成とし、データベース９にマトリクスＡ，Ｃ，Ｄ，Ｃ′，Ｄ′を記憶しておき、入力手段１０からの撮影光源の入力に応じてマトリクスＡ，Ｃ，Ｄ，Ｃ′，Ｄ′を読み出してカラーバランス調整処理手段に入力するようにしてもよい。
【０１６２】
また、上記第１から第１２の実施形態においては、重み付け加算手段７，７′，２７，２７′における重み付け加算の比率αを固定としているが、撮影光源に応じてこの比率αを変更してもよい。以下、比率αを変更するカラーバランス調整装置の実施形態を第１３の実施形態として説明する。
【０１６３】
図２２は本発明の第１３の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、比率αの変更は上記第１から第１２の実施形態のいずれのカラーバランス調整装置においても行うことができるが、ここでは第１の実施形態によるカラーバランス調整装置において比率αを変更するものとして説明する。図２２に示すように本発明の第１３の実施形態によるカラーバランス調整装置１は、第１の実施形態と同様の読出手段３、ＬＭＳ変換手段４、第１のカラーバランス調整処理手段５、第２のカラーバランス調整処理手段６、重み付け加算手段７、ＲＧＢ変換手段８、データベース９および入力手段１０と、入力手段１０から入力される撮影光源の情報に基づいて重み付け加算手段７における重み付け加算の比率αを変更する変更手段２０とを備え、撮影光源の情報に応じて処理済み三刺激値Ｌ１，Ｍ１，Ｓ１と処理済み三刺激値Ｌ２，Ｍ２，Ｓ２との加算比率αを変更するようにしたものである。
【０１６４】
すなわち、撮影光源が昼光の場合にはマトリクスＡのみによる処理であっても色が不自然なものとなる場合は少なく、比率αは１に近いものであることが好ましい。一方、撮影光源が蛍光灯の場合には比率αは０に近いものであることが好ましい。したがって、変更手段２０においては、入力手段１０から入力された撮影光源の情報に基づいて、例えば、撮影光源が昼光の場合は比率αを１に近いものとし、撮影光源が蛍光灯の場合は比率αを０に近いものとするように重み付け加算手段７における比率αを変更する。これにより、撮影光源の種類に応じてより適切なカラーバランス調整処理を行うことができる。
【０１６５】
さらに、上記第１から第１３の実施形態においては、本発明によるカラーバランス調整装置を単独の装置として用いているが、本発明によるカラーバランス調整装置をプリンタに設けてもよい。
【０１６６】
また、本発明によるカラーバランス調整装置をデジタルカメラ２に設けてもよい。以下、これを第１４の実施形態として説明する。図２３は本発明の第１４の実施形態によるカラーバランス調整装置を備えたデジタルカメラの構成を示す概略ブロック図である。なお、デジタルカメラ２には上記第１から第１３の実施形態のいずれのカラーバランス調整装置を設けることができるが、ここでは第１の実施形態によるカラーバランス調整装置を設けたものとして説明する。図２３に示すようにデジタルカメラ２は、ＣＣＤ等の撮像手段２１と、第１の実施形態と同様の読出手段３、ＬＭＳ変換手段４、第１のカラーバランス調整処理手段５、第２のカラーバランス調整処理手段６、重み付け加算手段７、ＲＧＢ変換手段８、データベース９および入力手段１０を備え、ＲＧＢ変換手段８において得られた処理済み画像データＳ３をメモリカード２Ａに記憶するものである。
【０１６７】
以下、第１４の実施形態の動作について説明する。図２４は第５の実施形態の動作を示すフローチャートである。まず、撮像手段２１において被写体が撮像されて画像データＳ０が得られる（ステップＳ６１）。そして、ＬＭＳ変換手段４において画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０が生理原色に基づく三刺激値Ｌ０，Ｍ０，Ｓ０に変換される（ステップＳ６２）。一方、入力手段１０から入力された撮影光源種に応じて、マトリクスＡ，Ｂがデータベース９から読み出されて第１および第２のカラーバランス調整手段５，６に入力される（ステップＳ６３）。
【０１６８】
三刺激値Ｌ０，Ｍ０，Ｓ０は第１および第２のカラーバランス調整手段５，６に入力され、ここでそれぞれマトリクスＡ，Ｂによるカラーバランス調整処理が施されて、処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２が得られる（ステップＳ６４）。処理済み三刺激値Ｌ１，Ｍ１，Ｓ１、Ｌ２，Ｍ２，Ｓ２は重み付け加算手段７に入力され、ここで重み付け加算がなされて加算三刺激値Ｌ３，Ｍ３，Ｓ３が得られる（ステップＳ６５）。加算三刺激値Ｌ３，Ｍ３，Ｓ３はＲＧＢ変換手段８においてＲＧＢ色空間に変換されて処理済み画像データＳ３が得られる（ステップＳ６６）。処理済み画像データＳ３はメモリカード２Ａに記憶され（ステップＳ６７）、処理を終了する。
【０１６９】
なお、上記各実施形態においては、ＬＭＳ色空間においてカラーバランス調整処理を行っているが、とくに第１４の実施形態のように本発明によるカラーバランス調整装置をデジタルカメラに設けた場合は、装置の構成を簡易なものとするためにＲＧＢ色空間においてカラーバランス調整処理を行うことが好ましい。以下、ＲＧＢ色空間においてカラーバランス調整処理を行うカラーバランス調整装置について第１５の実施形態として説明する。なお、ＲＧＢ色空間におけるカラーバランス調整処理は、上記第１から第１３の実施形態によるカラーバランス調整装置および上記第１４の実施形態によるカラーバランス調整装置を備えたデジタルカメラのいずれにおいても行うことができるが、ここではデジタルカメラにＲＧＢ色空間におけるカラーバランス調整装置を設けたものとして説明する。
【０１７０】
図２５は本発明の第１５の実施形態によるカラーバランス調整装置を備えたデジタルカメラの構成を示す概略ブロック図である。図２５に示すようにこのデジタルカメラ２は、撮像手段２１、第１のカラーバランス調整処理手段５′、第２のカラーバランス調整処理手段６′、重み付け加算手段７、入力手段１０、およびデータベース９を備える。データベース９には画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０に対してＲＧＢ色空間においてカラーバランス調整処理を施すマトリクスＡ′，Ｂ′が記憶されている。ここで、マトリクスＡ′はＬＭＳ色空間においてカラーバランス調整処理を行うマトリクスＡに対応し、マトリクスＢ′はマトリクスＢに対応する。そして、第１のカラーバランス調整処理手段５′において、マトリクスＡ′により色信号Ｒ０，Ｇ０，Ｂ０に対してカラーバランス調整処理を施して処理済み色信号Ｒ２１，Ｇ２１，Ｂ２１を得、第２のカラーバランス調整処理手段６′において、マトリクスＢ′により色信号Ｒ０，Ｇ０，Ｂ０に対してカラーバランス調整処理を施して処理済み色信号Ｒ２２，Ｇ２２，Ｂ２２を得、これらの処理済み色信号Ｒ２１，Ｇ２１，Ｂ２１、Ｒ２２，Ｇ２２，Ｂ２２を重み付け加算手段７において加算して加算色信号Ｒ２３，Ｇ２３，Ｂ２３を得、これを処理済み画像データＳ３とするものである。
【０１７１】
このように、ＲＧＢ色空間においてカラーバランス調整処理を行うことにより、画像データＳ０のＲＧＢ色空間からＬＭＳ色空間への色変換、およびＬＭＳ色空間からＲＧＢ色空間への色変換を行う必要がなくなるため、装置の構成を簡易なものとすることができ、かつ処理を高速に行うことができる。
【０１７２】
なお、上記第５から第１２の実施形態においては、上記式（４）、（５）、（１２）、（６）および（７）により画像データＳ０の白色点の三刺激値を推定しているが、例えば特願平１１−７０１８６号に記載された白色点推定方法により画像データＳ０の白色点の三刺激値を推定してもよい。以下、特願平１１−７０１８６号に記載された白色点の三刺激値の推定方法について説明する。
【０１７３】
まず、画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０から式（４）、（５）により正規化した色信号Ｒ１，Ｇ１，Ｂ１を得、色信号Ｒ１，Ｇ１，Ｂ１を式（６）によりＣＩＥ１９３１ＸＹＺ三刺激値に変換するとともに、下記の式（５９）によりＣＩＥ１９７６ｕｖ色度値に変換する。
【０１７４】
ｕ＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ）
ｖ＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ） （５９）
そして、上記式（５９）により求められた色度値ｕ，ｖの平均値ｕ０，ｖ０を下記の式（６０）により算出する。
【０１７５】
ｕ０＝Σｕ／ｎ
ｖ０＝Σｖ／ｎ （６０）
但し、ｎ：画素数
次いで平均値ｕ０，ｖ０を下記の式（６１）〜（６３）により生理原色Ｌ０，Ｍ０，Ｓ０に変換する。
【０１７６】
ｓｘ＝9.0×ｕ０（6.0×ｕ０−16.0×ｖ０＋12.0）
ｓｙ＝4.0×ｖ０（6.0×ｕ０−16.0×ｖ０＋12.0） (６１）
Ｘ０＝ｓｘ／ｓｙ
Ｙ０＝１００．０ （６２）
Ｚ０＝（1.0−ｓｘ−ｓｙ）／ｓｙ
Ｌ０ Ｘ０
Ｍ０ ＝Ｚ・Ｙ０ （６３）
Ｓ０ Ｚ０
ここで、マトリクスＺは、式（７）におけるマトリクスである。そして、このようにして求められた生理原色Ｌ０，Ｍ０，Ｓ０を画像データＳ０の白色点の三刺激値とするものである。
【０１７７】
さらに、上記各実施形態においては、ＲＧＢの色信号からなる画像データＳ０に対してカラーバランス調整処理を施しているが、これに限定されるものではなく、ＣＭＹの色信号からなる画像データＳ０に対してカラーバランス調整処理を施すものであってもよい。
【０１７８】
また、上記各実施形態においては、カラーバランス調整処理を施す画像データを、所定の光源下において観察することを前提としたカラーバランス調整処理が既に施された画像データとしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２】第１の実施形態の動作を示すフローチャート
【図３】本発明の第２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図４】第２の実施形態の動作を示すフローチャート
【図５】第１の実施形態における画像データの変換の系を示す図
【図６】本発明の第３の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図７】第３の実施形態の動作を示すフローチャート
【図８】本発明の第４の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図９】第４の実施形態の動作を示すフローチャート
【図１０】本発明の第５の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１１】ＬＭＳ色空間におけるマトリクスの生成を説明するための図（その１）
【図１２】ＬＭＳ色空間におけるマトリクスの生成を説明するための図（その２）
【図１３】本発明の第６の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１４】本発明の第７の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１５】本発明の第８の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１６】本発明の第９の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１７】第９の実施形態の動作を示すフローチャート
【図１８】本発明の第１０の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１９】第１０の実施形態の動作を示すフローチャート
【図２０】本発明の第１１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２１】本発明の第１２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２２】本発明の第１３の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２３】本発明の第１４の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２４】第１４の実施形態の動作を示すフローチャート
【図２５】本発明の第１５の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【符号の説明】
１ カラーバランス調整装置
２ デジタルカメラ
３ 読出手段
４ ＬＭＳ変換手段
５ 第１のカラーバランス調整処理手段
６ 第２のカラーバランス調整処理手段
７，７′，２７，２７′ 重み付け加算手段
８，１３ ＲＧＢ変換手段
９，１６ データベース
１０ 入力手段
１１ カラーバランス調整処理手段
１２ 正規化手段
１４ 白色点推定手段
１５ パラメータ生成手段
１７ 第３のカラーバランス調整処理手段
１８ 第４のカラーバランス調整処理手段
１９ 第５のカラーバランス調整処理手段
２０ 変更手段
２１ 撮像手段

Claims (35)

1. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得、
   前記画像データを少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによって変換することにより第２の中間画像データを得、
   前記第１および第２の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
2. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   対角行列に基づく第１の変換パラメータと少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータとを所定の比率により重み付け加算して加算パラメータを得、
   前記画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
3. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得、
   該第１の中間画像データを、前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第２の中間画像データを得、
   前記第１の中間画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第３の中間画像データを得、
   前記第２および第３の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
4. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得、
   前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得、
   前記第１の中間画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
5. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   前記画像データを、対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第１の中間画像データを得、
   前記画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第２の中間画像データを得、
   前記第１および第２の中間画像データを所定の比率によって重み付け加算することにより加算画像データを得、
   該加算画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
6. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
   対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得、
   前記画像データを該加算パラメータによって変換することにより変換画像データを得、
   該変換画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得ることを特徴とするカラーバランス調整方法。
7. 前記画像を撮影した撮影装置の分光特性に関連する色空間において、前記カラーバランスを調整する処理を行うことを特徴とする請求項１から６のいずれか１項記載のカラーバランス調整方法。
8. 人間の視覚特性に関連する色空間において、前記カラーバランスを調整する処理を行うことを特徴とする請求項１から７のいずれか１項記載のカラーバランス調整方法。
9. 前記第１の変換パラメータは、人間の視覚特性に関連する色空間において前記対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであり、
   前記第２の変換パラメータは、人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであることを特徴とする請求項１から８のいずれか１項記載のカラーバランス調整方法。
10. 前記画像データを撮影した際の撮影光源の白色点を推定し、
    該白色点に基づいて前記第１および第２の変換パラメータを生成することを特徴とする請求項１から９のいずれか１項記載のカラーバランス調整方法。
11. 前記画像データを撮影した際の撮影光源の指定を受け付け、
    該指定された撮影光源に応じて、前記所定の比率を変更することを特徴とする請求項１から１０のいずれか１項記載のカラーバランス調整方法。
12. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
    前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
    前記画像データを少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによって変換することにより第２の中間画像データを得る第２の変換手段と、
    前記第１および第２の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得る重み付け加算手段とを備えたことを特徴とするカラーバランス調整装置。
13. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整 装置において、
    対角行列に基づく第１の変換パラメータと少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータとを所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
    前記画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得る変換手段とを備えたことを特徴とするカラーバランス調整装置。
14. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
    前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
    該第１の中間画像データを、前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第２の中間画像データを得る第２の変換手段と、
    前記第１の中間画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第３の中間画像データを得る第３の変換手段と、
    前記第２および第３の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得る重み付け加算手段とを備えたことを特徴とするカラーバランス調整装置。
15. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
    前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る第１の変換手段と、
    前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
    前記第１の中間画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得る第２の変換手段とを備えたことを特徴とするカラーバランス調整装置。
16. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
    前記画像データを、対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第１の中間画像データを得る第１の変換手段と、
    前記画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第２の中間画像データを得る第２の変換手段と、
    前記第１および第２の中間画像データを所定の比率によって重み付け加算することにより加算画像データを得る重み付け加算手段と、
    該加算画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得る第３の変換手段とを備えたことを特徴とするカラーバランス調整装置。
17. 被写体を撮影することにより取得した画像を表す画像データに対し てカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
    対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得る重み付け加算手段と、
    前記画像データを該加算パラメータによって変換することにより変換画像データを得る第１の変換手段と、
    該変換画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得る第２の変換手段とを備えたことを特徴とするカラーバランス調整装置。
18. 前記画像を撮影した撮影装置の分光特性に関連する色空間において、前記カラーバランスを調整する処理を行うことを特徴とする請求項１２から１７のいずれか１項記載のカラーバランス調整装置。
19. 人間の視覚特性に関連する色空間において、前記カラーバランスを調整する処理を行うことを特徴とする請求項１２から１８のいずれか１項記載のカラーバランス調整装置。
20. 前記第１の変換パラメータは、人間の視覚特性に関連する色空間において前記対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであり、
    前記第２の変換パラメータは、人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであることを特徴とする請求項１２から１９のいずれか１項記載のカラーバランス調整装置。
21. 前記画像データを撮影した際の撮影光源の白色点を推定する白色点推定手段と、
    該白色点に基づいて前記第１および第２の変換パラメータを生成するパラメータ生成手段とを備えたことを特徴とする請求項１２から２０のいずれか１項記載のカラーバランス調整装置。
22. 前記画像データを撮影した際の撮影光源の指定を受け付ける受付手段と、
    該指定された撮影光源に応じて、前記所定の比率を変更する変更手段とを備えたことを特徴とする請求項１２から２１のいずれか１項記載のカラーバランス調整装置。
23. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    前記プログラムは、前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る手順と、
    前記画像データを少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータによって変換することにより第２の中間画像データを得る手順と、
    前記第１および第２の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
24. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    対角行列に基づく第１の変換パラメータと少なくとも１つの０でない非対角項を含む非 対角行列に基づく第２の変換パラメータとを所定の比率により重み付け加算して加算パラメータを得る手順と、
    前記画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
25. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る手順と、
    該第１の中間画像データを、前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第２の中間画像データを得る手順と、
    前記第１の中間画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第３の中間画像データを得る手順と、
    前記第２および第３の中間画像データを所定の比率により重み付け加算することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
26. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    前記画像データを対角行列に基づく第１の変換パラメータによって変換することにより第１の中間画像データを得る手順と、
    前記第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得る手順と、
    前記第１の中間画像データを該加算パラメータによって変換することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
27. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    前記画像データを、対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 によって変換することにより第１の中間画像データを得る手順と、
    前記画像データを、前記第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃによって変換することにより第２の中間画像データを得る手順と、
    前記第１および第２の中間画像データを所定の比率によって重み付け加算することにより加算画像データを得る手順と、
    該加算画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
28. 被写体を撮影することにより取得した画像を表す画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
    対角行列に基づく第１の変換パラメータＡおよび少なくとも１つの０でない非対角項を含む非対角行列に基づく第２の変換パラメータＢに基づいて生成された第３の変換パラメータＣ＝ＢＡ ^-1 と、該第３の変換パラメータＣを単位パラメータＥから減算することにより生成された第４の変換パラメータＤ＝Ｅ−Ｃとを所定の比率により重み付け加算して加算パラメータを得る手順と、
    前記画像データを該加算パラメータによって変換することにより変換画像データを得、
    該変換画像データを前記第１の変換パラメータによって変換することにより、前記処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
29. 前記画像を撮影した撮影装置の分光特性に関連する色空間において、前記カラーバランスを調整する処理を行うことを特徴とする請求項２３から２８のいずれか１項記載のコンピュータ読取り可能な記録媒体。
30. 人間の視覚特性に関連する色空間において、前記カラーバランスを調整する処理を行う手順であることを特徴とする請求項２３から２９のいずれか１項記載のコンピュータ読取り可能な記録媒体。
31. 前記第１の変換パラメータは、人間の視覚特性に関連する色空間において前記対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであり、
    前記第２の変換パラメータは、人間の視覚特性に関連する色空間において前記非対角行列に基づいて行われる変換を、前記画像を撮影した撮影装置の分光特性に関連する色空間において行うためのパラメータであることを特徴とする請求項２３から３１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
32. 前記画像データを撮影した際の撮影光源の白色点を推定する手順と、
    該白色点に基づいて前記第１および第２の変換パラメータを生成する手順とを有することを特徴とする請求項２３から３１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
33. 前記画像データを撮影した際の撮影光源の指定を受け付ける手順と、
    該指定された撮影光源に応じて、前記所定の比率を変更する手順とを有することを特徴とする請求項２３から３２のいずれか１項記載のコンピュータ読取り可能な記録媒体。
34. 請求項１２から２２のいずれか１項記載のカラーバランス調整装置を備えたことを特徴とする撮像装置。
35. 請求項１２から２２のいずれか１項記載のカラーバランス調整装置を備えたことを特徴とする出力装置。

Images