JP4156168B2

JP4156168B2 - カラー画像変換装置

Info

Publication number: JP4156168B2
Application number: JP2000057076A
Authority: JP
Inventors: 信人松代; 範治藤原
Original assignee: 株式会社沖データ
Priority date: 2000-03-02
Filing date: 2000-03-02
Publication date: 2008-09-24
Anticipated expiration: 2020-03-02
Also published as: JP2001245166A

Description

【０００１】
【発明の属する技術分野】
本発明はカラー画像処理の分野に関わるもので、カラー画像を所定の光源下でのものへと変換する装置に関する。
【０００２】
【従来の技術】
近年パソコンの高性能化、インターネットの急速な進展に伴い、世界各地のウエブサーバに蓄積された膨大な画像データにアクセスしてそれを自宅に居ながらにして鑑賞することが今や可能となった。それらの中にはフリーで使用出来るものも数多い。また、近年目覚しい普及を見せたデジタルカメラやスキャナなどの周辺機器からカラー画像を取り込んで使用することも今や日常的であり、カラープリンタがオフィスのみならず一般家庭へも急速に普及しつつあることを考えると、カラー画像をプリント出力するニーズは今後さらに増大していくと予想される。
【０００３】
そのようなニーズの進展に伴い、カラー画像に対して所望の変換調整を施すためのフォトレタッチソフトなどと呼ばれるソフトウエアも広く一般的となっている。そのようなソフトウエアでは、カラー画像の赤(Ｒ),緑(Ｇ),青(Ｂ)の各成分を強めたり弱めたり、あるいは画像全体の明るさを一律に上げたり下げたり、などの調整を行うことが出来る。これを用いることにより例えば、撮影時の環境条件（明る過ぎる、暗過ぎる、等）や機器に固有の癖（赤みがかかる、青みがかかる、等）などを画像を改めて撮り直す（スキャンし直す）ことなく事後に修正することが可能になる。これは画像のデジタル化によりもたらされる大きな利点であると言える。
【０００４】
【発明が解決しようとする課題】
そして、事後の修正が可能であるという利点をさらに進めて、元のカラー画像に対し、含まれる対象物はそのままにそれをある所望の光源下で撮影したシーンへと変換することが出来れば、カラー画像の利用に対する大きな付加価値を生み出すことが出来ると考える。つまり例えば、ウエブ環境などを通じて入手することの出来る例えばツタンカーメン像やモナリザの肖像画などのような重要文化財を対象物としたカラー画像に対し、さも実際にその光源下で撮影したかのような画像に変換した上で鑑賞することが出来れば、重要文化財だけに実際には絶対に手を触れられないにも関わらずそのようなことが可能になるという点において、大きな付加価値であると言える。これをもし、先に述べた既存のフォトレタッチソフトでのＲ,Ｇ,Ｂ各色の強さや明るさの調整などの組み合わせによって実現しようとした場合、高度な感覚的操作による試行錯誤が必要となる。所定光源を指定するだけの自動処理により行えることが望まれるところである。
【０００５】
特開平１１−２８３０２５では、元のカラー画像に含まれる肌色部分の色分布を既知の光源下で撮影された肌色の分布と比較することにより元のカラー画像の光源を推定し、その上で元のカラー画像の肌色部分の画素または肌色以外の部分も含めた画像全体の色を所定光源下でのものに変換する、という技術が記載されている。しかしながらこの技術では、元のカラー画像中の肌色部分の色分布をもとに光源の判定を行っており、元のカラー画像に必ず肌色部分が含まれていることを前提ている。従って、生身の人物像のような画像に対しては良好に動作するものの、先のツタンカーメンやモナリザのような画像に対しては正しく動作し得ないものと考えられる。
【０００６】
以上の問題点に着目し、本発明は、カラー画像に対し所定光源下での画像への変換を高い精度で行うことの出来るカラー画像変換装置を提供する。
【０００７】
【課題を解決するための手段】
本発明は、入力カラー画像を、指定された所定光源下のカラー画像に変換するカラー画像変換装置において、入力カラー画像から光源色を第１抽出色として抽出する第１光源色抽出手段と、複数の光源におけるそれぞれの分光分布データを主成分分析して得られた光源主成分データを有し、第１光源色抽出手段により抽出した第１抽出色と最も近い色を光源色とする光源を光源主成分データに基づき作成し、作成された光源における光源色を第２抽出色とする抽出色合成手段と、抽出色合成手段で抽出された第２抽出色と、指定された所定光源における光源色とに基づき、視覚の行列式として表現される色順応モデルのモデルパラメータを算出する色順応モデルパラメータ算出手段と、色順応モデルパラメータ算出手段により算出したモデルパラメータに基づき決定された色順応モデルにより、入力カラー画像を変換する画像変換手段とを有するものである。
【０００８】
したがって、光源色である可能性の最も高い画素を元画像から抽出して初期光源色とし、該初期光源色および所定光源光源色とを視覚の色順応モデルに当てはめた場合の評価関数が最小になるような変換パラメータを導出して、該変換パラメータに基づいて元画像を所定光源下でのものに変換を行う。
【０００９】
【発明の実施の形態】
第一の実施の形態のカラー画像変換装置のブロック図を図１に示す。なお、この変換装置はコンピュータの一部を構成するものであってもよい。第一の実施の形態のカラー画像変換装置は、カラー画像をＸＹＺ表色系で表現し、このカラー画像を構成する各画素を多値でメモリに格納したカラー画像（これより元画像という）１５を所定光源下でのものに変換し、変換後の出力画像１６を画素毎に多値でメモリに出力する。
初期光源色抽出部１１は、元画像１５の中で光源色である可能性の最も高い画素を探してその色度座標値を作業用メモリ１４に格納する。
【００１０】
ラグランジェ未定乗数法演算部１２は、指定された所定光源の光源色色度座標値および初期光源色色度座標値および元画像１５の各画素の色度座標値をもとに、元画像を所定光源下でのものに変換するための変換パラメータを導出し、作業用メモリ１４の所定の位置に格納する。変換パラメータは、カラーアピアレンスモデルに組み込まれている視覚の色順応モデルのモデルパラメータである。該変換パラメータの導出に際しては、ラグランジェ未定乗数法を用いた拘束条件下での評価関数最小化の手法を用いる。詳しくは後述する。
【００１１】
元画像変換部１３は、導出された変換パラメータに従って元画像１５の変換を行い、出力画像１６を出力する。
作業用メモリ１４は、指定された所定光源の光源色色度座標値、元画像から抽出された初期光源色の色度座標値、導出された変換パラメータを格納するための記憶領域である。
【００１２】
第一の実施の形態につき、動作を説明する。
初期光源色抽出部１１では、元画像１５の中から、光源色つまり撮影時の光源の色と同じである可能性の最も高い画素を探し、その色度座標値を作業用メモリ１４に格納する。光源色の候補としては、ＸＹＺ表色系における元画像の中で最大の明るさを持つ画素を探し初期光源色とする。ここでは、色度座標値としてはＸＹＺ表色系でのベクトル (X,Y,Z) を用いる。
【００１３】
なお、色を表す場合、ＲＧＢ表色系での (R,G,B) が通常よく用いられるが、計算上の都合よりＸＹＺ表色系でのＸＹＺ表現もよく用いられる。 (R,G,B) から (X,Y,Z) への変換は次の式（１）の行列演算により行うことが出来る。
【００１４】
【数１】

【００１５】
初期光源色抽出部１１では元画像の光源に関する情報を、初期光源色として近似的に抽出する。対して、変換先の所定光源に関する情報は、キーボードやマウスなど外部からの指定により与えられ、この指定に対応する光源色のＸＹＺ座標値が作業用メモリの所定の領域に格納されるものとする。
【００１６】
ラグランジェ未定乗数法演算部１２は、作業用メモリ１４に格納されている所定光源光源色データおよび元画像光源色データ、および元画像の各画素の色度座標値をもとに、元画像を所定光源下でのものに変換するための変換パラメータを導出し作業用メモリ１４の所定の位置に格納する。
【００１７】
さて、この変換パラメータは次のようにして導出される。所定光源下での画像への変換には、カラーアピアレンスモデルに組み込まれている視覚の色順応モデルを用いる。以下これについて簡単に説明する。このモデルでは、以下の式（２）の色順応変換行列Ｍによって人間の視覚の色順応を記述する。
【００１８】
【数２】

【００１９】
k_L,k_M,k_S は人間の視覚特性に関わる変換パラメータである。人間の視覚には、明るさに対する明暗順応（例：暗がりの中で最初は辺りがよく見えない状態から次第に目が慣れて見えるようになっていく）と同様に、色に対しても適応的に感度を調節する機能がある。つまり、同一の物体色を持つ対象物を２つの異なる光源の下で観察した場合、光源の色が異なるので対象物表面で反射して人間の目に入る光のスペクトル自体は変化するにも関わらず、光源の色の変化をキャンセルする方向へ感度を調節して対象物の元来の色を恒常的に知覚出来るようにする、色順応と呼ばれる機能がある。
【００２０】
２つの異なる光源Aおよび光源Bの光源色ＸＹＺ座標値をそれぞれ (X^A _W,Y^A _W,Z^A _W)、(X^B _W,Y^B _W,Z^B _W) としたとき、次の式（３）を考える。
【００２１】
【数３】

【００２２】
これより得られる３つの連立方程式を解くことにより、k_L,k_M,k_S の値が一組決まる。この k_L,k_M,k_S を代入して得られる行列Ｍの意味するところは、光源が光源Ａから光源Ｂへと変わった際に視覚の色順応が起こった結果の視覚の感度変化の様子を表すと言える。従って、光源Ａの下での物体色の色度座標値に対して行列Ｍを施すことにより、同じ物体色を光源Ａから光源Ｂへの色順応により人間が知覚する色度座標値を得ることが出来る。
本発明では、元画像を所定光源下でのものに変換するにあたり、式（２）の行列Ｍを用いて行う。これにより、人間の見え方により近い変換結果を得ることが出来る。
【００２３】
ラグランジェ未定乗数法演算部１２では、作業用メモリ１４に格納されている所定光源光源色データおよび元画像光源色データ、および元画像の各画素の色度座標値をもとに、元画像を所定光源下でのものに変換するための変換パラメータ k_L,k_M,k_S を導出し作業用メモリ１４の所定の位置に格納する。k_L,k_M,k_S の導出は以下のようにして行う。
【００２４】
元画像の初期光源色データ、および所定光源光源色データとをそれぞれ (X_W,Y_W,Z_W)、(X^* _W,Y^* _W,Z^* _W) とすると、(X_W,Y_W,Z_W) から (X^* _W,Y^* _W,Z^* _W) への行列Ｍは、次の式（４）として得られる連立方程式から求められる k_L,k_M,k_S を式（２）に代入すれば得られる。
【００２５】
【数４】

【００２６】
ただし (X_W,Y_W,Z_W) は初期光源色抽出部１１により元画像から抽出された明るさ最大の画素の色度ＸＹＺ座標値そのものではなく、ＸＹＺのＹの値が (X^* _W,Y^* _W,Z^* _W) と同じになるように正規化を行ったものである。つまり、初期光源色抽出部１１により抽出されたＸＹＺ座標値を (X_I,Y_I,Z_I) とすると、次の式（５）の計算により (X_W,Y_W,Z_W) を求める。
【００２７】
【数５】

【００２８】
これは、元画像の光源と所定光源とで明るさを同じにするという拘束条件である（ＸＹＺ表色系でＹの値が明るさに対応する）。
【００２９】
しかしながら式（４）の右辺の (X_W,Y_W,Z_W) は近似的に抽出したものであり、元画像の実際の光源の光源色とはかけ離れていることも有り得るので、式（４）から求められる行列Ｍによる変換では正しい変換結果が得られない可能性がある。
そこで次のようにして、ラグランジェの未定乗数法を用いた拘束条件付きの最適化問題の解として行列Ｍを求める。まず評価関数を、行列Ｍによる (X_W,Y_W,Z_W) から (X^* _W,Y^* _W,Z^* _W) への変換誤差を表す次の式の f とする。
【００３０】
【数６】

【００３１】
(X_W,Y_W,Z_W) が元画像の実際の光源の真の光源色であれば f を最小化することによって望みの行列Ｍが得られるが、(X_W,Y_W,Z_W) は近似的に抽出したものであり誤差を含んでいるので、 f をこのまま最小化した結果得られる行列Ｍでは誤った変換結果となる可能性がある。
【００３２】
これを緩和するために、元画像に含まれる情報をもとに次の式（７）の C を拘束条件として設ける。
【００３３】
【数７】

【００３４】
この式（７）中のＸ,Ｙ,Ｚは元画像の画素の色度座標値である。Σは全ての画素についての和を取るという意味である。２つ目のΣは、元画像の画素の色度座標値のＭによる変換後のＹの値であり、これと変換前のＹの値の総和との差であるから、このＣを拘束条件に入れることの意味は、行列Ｍによる変換の前後で元画像の明るさを同じにするという意味である。
この拘束条件 C における評価関数として、第４パラメータμとともに作られる次の式（８）のＦを最小にするように、k_L,k_M,k_S,μ を求める。
【００３５】
【数８】

【００３６】
ここで、Ｆを最小にする k_L,k_M,k_S,μ を求めるには、Ｆを k_L,k_M,k_S,μ のそれぞれについて偏微分して 0 とおいた４つの式を連立方程式として解く。
【００３７】
【数９】

【００３８】
上記４つの式（９）は k_L,k_M,k_S,μ に関する連立一次方程式となる。
【００３９】
これを計算すると以下のようになる。
【００４０】
【数１０】

【００４１】
但し
【００４２】
【数１１】

【００４３】
である。
【００４４】
【数１２】

【００４５】
但し、画像の全画素数をＳとし
【００４６】
【数１３】

【００４７】
である。
【００４８】
これらを代入してさらに整理すると、前記４つの連立方程式は次の式（１４）のように書ける。
【００４９】
【数１４】

【００５０】
ここで、係数行列 a11〜a44 および定数列ベクトル b1〜b4 は、所定光源光源色データ、元画像の初期光源色データ、および元画像の各画素の色度座標値とから以下のように計算される定数である。
【００５１】
【数１５】

【００５２】
【数１６】

【００５３】
【数１７】

【００５４】
【数１８】

【００５５】
【数１９】

【００５６】
結局、ラグランジェ未定乗数法演算部１２で行う処理は、作業用メモリ１４に格納されている所定光源光源色データおよび元画像光源色データ、および元画像１５の各画素の色度座標値をもとに、式（１４）の行列 a11〜a44 およびベクトル b1〜b4 を計算して連立方程式を解いて k_L,k_M,k_S,μ を求めて、作業用メモリ１４の所定の位置に格納する。
元画像変換部１３は、導出されたパラメータ k_L,k_M,k_S を代入した変換行列Ｍを用いて、元画像の各画素の色度座標値を変換し、出力画像を生成する。
【００５７】
図２に、第一の実施の形態のカラー画像変換装置の処理フローを示す。ステップS201 でまず、初期光源色抽出部１１により元画像から明るさが最大になる(ＸＹＺのＹの値が最大になる)画素を探して初期光源色として抽出し、そのＸＹＺ座標値を作業用メモリ１４の所定の領域に格納する。次にステップS202で、ラグランジェ未定乗数法演算部１２により変換パラメータ k_L,k_M,k_S を導出して、作業用メモリ１４の所定の領域に格納する。最後にステップS203では、元画像変換部１３により、変換パラメータ k_L,k_M,k_S に基づいて元画像を変換し、出力画像を生成する。なお、これらの処理は、コンピュータのプログラムとして記憶されてもよい。
【００５８】
以上説明したように第一の実施の形態のカラー画像変換装置によれば、光源色である可能性の最も高い画素を元画像から抽出して初期光源色とし、該初期光源色および所定光源光源色とを視覚の色順応モデルに当てはめた場合の評価関数が最小になるような変換パラメータを導出して、該変換パラメータに基づいて元画像を所定光源下でのものに変換を行う。人間の視覚の色順応モデルに基づいた変換を行うので人間の見え方により近い変換結果を得ることが出来、また変換パラメータの導出に際しては元画像から得られる情報をもとに拘束条件を設定して行うので、元画像より得ることの出来る情報の範囲内での最適解を得ることが出来、精度の良い変換結果を得ることが出来る。
【００５９】
第二の実施の形態のカラー画像変換装置のブロック図を図３に示す。第一の実施の形態と同様に、元画像２６を所定光源下でのものに変換し、変換後の出力画像２７を出力する。
初期光源色抽出部２１、ラグランジェ未定乗数法演算部２３、元画像変換部２４、作業用メモリ２５は第一の実施の形態でのものと同じである。第二の実施の形態では、光源色合成部２２を備える部分が異なる。また作業用メモリ２５の所定の領域に、光源色合成部２２での処理を行うための光源主成分データおよび等色関数データをあらかじめ格納しておく。
【００６０】
第二の実施の形態につき、動作を説明する。
まず、作業用メモリ２５にあらかじめ格納しておく光源主成分データについて説明する。色の測定に関しては、根源的には光の分光エネルギー分布という物理量に集約される。つまり、その色を与えている光の波長ごとのエネルギー分布がわかればそれがどのような色であるかがわかる。光源の色についても同様であり、図１０は７つの光源の分光分布を示したものであるが、それぞれで分布の様子が異なっている。横軸が波長である。
【００６１】
それぞれに様相の異なる分光分布データであるが、これに対して主成分分析と呼ばれる統計的手法を施すことにより、７つの変量（分光分布データ）に共通して潜む主要な変動がある場合、それを抽出することが出来る。上の７つの分光分布データに対して主成分分析を行った結果、図１１に示す３つの主成分が抽出される。第一主成分とは、もとの７つの変量の変動に共通する最も代表的な変動であり、第二主成分は二番目に代表的な変動、第三主成分は三番目に代表的な変動、であるということが出来る。第四主成分以降はもとの７つの変動に対する寄与率が低いので無視している。
【００６２】
この第一, 第二, 第三主成分の分布をそれぞれ c₁(λ),c₂(λ),c₃(λ) とすると(λ：波長)、３つの重み付き和によって、式（２０）のように、もとの７つの光源の特性を備えた分光分布を持つ任意光源を合成することが出来る。
【００６３】
【数２０】

【００６４】
第二の実施の形態では、主成分分析によって得られた光源主成分データ c₁(λ),c₂(λ),c₃(λ) を作業用メモリにあらかじめ格納しておく。c₁(λ),c₂(λ),c₃(λ) を得るための主成分分析の対象としては先の例に示した７つの光源に限らず、現実に存在する光源のうちの代表的なものをいくつか選んでそれに対して適用すればよい。また必要に応じて第四主成分以降も考慮に入れることも可能である。以下では３つの主成分 c₁(λ),c₂(λ),c₃(λ) を用いる場合で説明していく。作業用メモリにあらかじめ格納される光源主成分データの一例としては、例えば図４に示すように、５ｎｍ間隔などの離散的に取った各波長に対する第一,第二,第三主成分の値を格納する。
【００６５】
分光分布が L(λ) である光の色度座標値 (X,Y,Z) は次の式（２１）の計算で求めることが出来る。ここで、kは正規化のための係数である。
【００６６】
【数２１】

【００６７】
【数２２】

【００６８】
ここで、式（２２）は等色関数と呼ばれるもので、これも作業用メモリにあらかじめ格納しておく。等色関数データの格納形式としては例えば図４に示すように、５ｎｍ間隔などの離散的に取った各波長に対する値を格納する。
【００６９】
初期光源色抽出部２１は、元画像の中から明るさが最大になる画素を探してその色度座標値を作業用メモリ２５に格納する。ラグランジェ未定乗数法演算部２３は、作業用メモリ２５に格納されている所定光源光源色データおよび元画像光源色データ、および元画像の各画素の色度座標値をもとに変換パラメータを導出し作業用メモリ２５の所定の位置に格納する。元画像変換部２４は、導出された変換パラメータを用いて元画像の各画素の色度座標値を変換し、出力画像を生成する。以上３つの処理は第一の実施の形態と同様である。第二の実施の形態では、光源色合成部２２により、作業用メモリ２５に格納されている元画像の初期光源色データの更新を行う。
【００７０】
光源色合成部２２では、元画像から抽出した初期光源色と最も近い色度座標値を光源色とする光源を、光源主成分データ c₁(λ),c₂(λ),c₃(λ) の重み付き和によって合成し、その合成光源色の色度座標値によって元画像から抽出した初期光源色を置き換える。合成光源の分光分布 L_c(λ) は式（２０）に従い、重み w₁,w₂,w₃ を適宜変えて合成し元画像から抽出した初期光源色と光源色が最も近くなる L_c(λ) を探す。重み w₁,w₂,w₃ の変更の方法としては、あらかじめ定めた最小−最大の範囲内で３つそれぞれの値を一定ステップで変化させていく、などとしてもよい。
【００７１】
光源色合成部２２の処理フローを図５に示す。元画像から抽出された初期光源色の色度座標値を (X_W,Y_W,Z_W)、合成光源の光源色を (X_c,Y_c,Z_c)、(X_W,Y_W,Z_W) と (X_c,Y_c,Z_c) の距離および距離の最小値を D,D_min とし、初期光源色 (X_W,Y_W,Z_W) との距離が最小となるときの合成光源の光源色を (x_c,y_c,z_c) とする。合成光源の重み係数 w₁,w₂,w₃ については、３つそれぞれを一定の刻み幅で変化させた場合の全ての値の組み合わせについて (X_W,Y_W,Z_W) と (X_c,Y_c,Z_c) の距離を調べる処理を行う。
【００７２】
まず、ステップS501でD_minを-1に初期化する。次に、ステップS502で重み係数 w₁,w₂,w₃ の組を１つ決める。次に、ステップS503で、現在の w₁,w₂,w₃ に従って式（２０）より合成光源の分光分布 L_c(λ) を求める。次に、ステップS504で、 L_c(λ) から式（２１）に従って合成光源の光源色 (X_c,Y_c,Z_c) を求める。このとき正規化係数 k としては、Yの値が Y_W と等しくなるように決める。すなわち、式（２３）のように (X_c,Y_c,Z_c) を計算する。
【００７３】
【数２３】

【００７４】
次に、ステップS505で、初期光源色 (X_W,Y_W,Z_W) と合成光源光源色 (X_c,Y_c,Z_c) との距離Ｄを求める。距離Ｄは式（２４）により計算する。
【００７５】
【数２４】

【００７６】
次にステップS506で、D_min が -1 であるかまたは D＜D_min かのいずれかである場合はステップS507に進み、D_min および (x_c,y_c,z_c) の更新を行う。ステップS508で重み係数 w₁,w₂,w₃ の次の組み合わせがあれば、またステップS502に戻って w₁,w₂,w₃ を更新して、同様の処理を行う。
【００７７】
全ての w₁,w₂,w₃ の組合わせについて行ったならばステップS509に進み、作業用メモリ２５に格納されている初期光源色の色度座標値を (x_c,y_c,z_c) で更新する。以上の光源色合成部２２の処理により、元画像から抽出された初期光源色と最も近い光源色を持つ合成光源の光源色座標値が得られる。
【００７８】
光源色合成部２２の処理は、初期光源色抽出部２１によって抽出された初期光源色を補正する役割を持つ。初期光源色抽出部２１によって抽出された初期光源色 (X_W,Y_W,Z_W) は元画像において明るさが最大であるという観点から抽出されたものであり、元画像撮影時の光源の本来の光源色とかけ離れていることも有り得る。光源色合成部２２では、光源主成分データを用いて (X_W,Y_W,Z_W) を最も良く近似する合成光源 L_c(λ) を求めてその光源色 (x_c,y_c,z_c) で初期光源色を更新する。合成光源 L_c(λ) は現実に存在する光源の特徴を備えたものであり、現実に存在する光源の特性に沿ったかたちで初期光源色 (X_W,Y_W,Z_W) の含んでいる誤差を補正することが出来る。
【００７９】
第二の実施の形態のカラー画像変換装置の処理フローを図６に示す。まず、ステップS601で初期光源色抽出部２１により元画像から明るさが最大になる画素を探して初期光源色として抽出し、そのＸＹＺ座標値を作業用メモリ２５の所定の領域に格納する。次に、ステップS602で、光源色合成部２２により初期光源色の補正を行い、作業用メモリ２５内の初期光源色の内容を更新する。
【００８０】
次に、ステップS603で、ラグランジェ未定乗数法演算部２３により変換パラメータ k_L,k_M,k_S を導出して、作業用メモリ２５の所定の領域に格納する。最後に、ステップS604で、元画像変換部２４により、変換パラメータ k_L,k_M,k_S に基づいて元画像を変換し、出力画像を生成する。光源色合成部による補正後の初期光源色を用いてその後の処理を行うのでより精度の高い変換が可能になる。
【００８１】
以上説明したように、第二の実施の形態のカラー画像変換装置によれば、光源色である可能性の最も高い画素を元画像から抽出して初期光源色とし、さらにそれを光源の合成を用いた補正を行い、該補正後の初期光源色および所定光源光源色とを視覚の色順応モデルに当てはめた場合の評価関数が最小になるような変換パラメータを導出して、元画像を所定光源下でのものに変換を行う。したがって、人間の視覚の色順応モデルに基づいた変換を行うので人間の見え方により近い変換結果を得ることが出来る。実際の光源の特性に沿って補正を施した光源色を元に変換パラメータの導出を行うので、より精度の高い変換結果を得ることが出来る。
【００８２】
第三の実施の形態のカラー画像変換装置のブロック図を図７に示す。第一, 第二の実施の形態と同様、元画像７７を所定光源下でのものに変換し変換後の出力画像７８を出力する。初期光源色抽出部７１、光源色合成部７３、ラグランジェ未定乗数法演算部７４、元画像変換部７５、作業用メモリ７６は、第二の実施の形態でのものと同じである。第三の実施の形態では、変換パラメータ導出制御部７２を備える部分が異なる。
【００８３】
第三の実施の形態につき、動作を説明する。
光源色合成部７３は、作業用メモリ７６に格納されている元画像光源色データに対し、主成分データによる合成光源を用いての補正を施し、補正後の光源色を新たな元画像光源色データとして作業用メモリ７６に格納し直す。ラグランジェ未定乗数法演算部７４は、作業用メモリ７６に格納されている所定光源光源色データおよび元画像光源色データ、および元画像の各画素の色度座標値をもとに変換パラメータを導出し作業用メモリ７６の所定の領域に格納する。変換パラメータ導出制御部７２は、この両処理部の動作を制御して変換パラメータの導出を行う。
【００８４】
変換パラメータ導出制御部７２は、あらかじめ定めた終了条件に達するまで、光源色合成部７３およびラグランジェ未定乗数法演算部７４の処理を繰り返し行って変換パラメータを導出する。その処理フローを図８に示す。
まず、ステップS801では光源色合成部７３の処理を行い、作業用メモリ７６に格納されている元画像光源色データの更新を行う。次に、ステップS802で、ラグランジェ未定乗数法演算部７４の処理を行い変換パラメータを導出する。次に、ステップS803で以下に説明する元画像光源色の更新処理を行った後、ステップS804で終了条件を判定し、まだ終了条件に達していなければステップS801に戻り同様の処理を繰り返す。ステップS804で終了条件に達していれば終了する。
【００８５】
ステップS803では、ステップS802でラグランジェ未定乗数法演算部７４により求められた変換パラメータk_L,k_M,k_Sを代入して得られる式（２）の行列Ｍによって所定光源光源色 W^*=(X^* _w,Y^* _w,Z^* _w) へと写像される色度座標値で、元画像光源色 W₀ を更新する。すなわち、以下の式（２５）で得られる (X'_w,Y'_w,Z'_w) を、新たな元画像光源色 W₁ として作業用メモリ７６に格納する。
【００８６】
【数２５】

【００８７】
ステップS803での、式（２５）による元画像光源色の更新の意味は次の通りである。ラグランジェ未定乗数法演算部７４の一回の処理によって得られる行列Ｍは、W₀ から W^* への完全な順応を表す行列となっているとは限らない（W₀ に行列Mを施した結果が W^* と一致するとは限らない）が、W₀ を元画像の光源色と仮定し拘束条件を考慮した場合の最適解である。該行列Mの逆変換を W^* に施すことにより得られる色度座標値 W₁ は、行列Mの表す色順応モデルのモデル状態において W^* と色順応の対を成すものである（W₁ に行列Mを施した結果は W^* と一致する）。
【００８８】
この W₁ で元画像の初期光源色を置き換えた後、二回目のラグランジェ未定乗数法演算部７４の処理により W₁ を元画像光源色と仮定した場合の解を求める。以下同様の処理を、ステップS804での終了条件に達するまで繰り返し行う。ステップS804での終了条件としては、ステップS801、S802 の処理の実行が所定の繰り返し回数を越えたかどうか、あるいはステップS803での式（２５）において W₀ と W₁ の距離が所定のしきい値より小さいかどうか、などが考えられる。
【００８９】
このように、拘束条件下での最適解として得られた１つ前のモデル状態の内容を反映させて元画像光源色を更新しながらラグランジェ未定乗数法を繰り返し変換パラメータの導出を行っていくことにより、より精度の高い変換結果を得ることが出来る。
【００９０】
第三の実施の形態の全体の処理フローを図９に示す。まず、ステップS901で、初期光源色抽出部７１により元画像から明るさが最大になる画素を探して初期光源色として抽出し、そのＸＹＺ座標値を作業用メモリ７６の所定の領域に格納する。次に、ステップS902で、変換パラメータ導出制御部７２により変換パラメータ k_L,k_M,k_S の導出を行い作業用メモリ７６内の所定の領域に格納する（図８のフローで説明した処理である）。最後に、ステップS903で、元画像変換部７５により、変換パラメータ k_L,k_M,k_S に基づいて元画像を変換し出力画像を生成する。
【００９１】
以上説明したように、第三の実施の形態のカラー画像変換装置によれば、光源色である可能性の最も高い画素を元画像から抽出して初期光源色とし、該初期光源色および所定光源光源色とを視覚の色順応モデルに当てはめた場合の評価関数が最小になるような変換パラメータを導出して、元画像を所定光源下でのものに変換を行う。人間の視覚の色順応モデルに基づいた変換を行うので人間の見え方により近い変換結果を得ることが出来る。
また、ラグランジェ未定乗数法を繰り返し適用して変換パラメータの導出を行うことにより、より精度の高い変換結果を得ることが出来る。
【００９２】
【発明の効果】
本発明は、光源色である可能性の最も高い画素を元画像から抽出して初期光源色とし、該初期光源色および所定光源光源色とを視覚の色順応モデルに当てはめた場合の評価関数が最小になるような変換パラメータを導出して、該変換パラメータに基づいて元画像を所定光源下でのものに変換を行う。
【００９３】
したがって、人間の視覚の色順応モデルに基づいた変換を行うので人間の見え方により近い変換結果を得ることが出来、また変換パラメータの導出に際しては元画像から得られる情報をもとに拘束条件を設定して行うので、元画像より得ることの出来る情報の範囲内での最適解を得ることが出来、精度の良い変換結果を得ることが出来る。
【図面の簡単な説明】
【図１】第一の実施の形態のカラー画像変換装置のブロック図である。
【図２】第一の実施の形態のカラー画像変換装置の処理フローを示す。
【図３】第二の実施の形態のカラー画像変換装置のブロック図である。
【図４】作業用メモリにあらかじめ格納される光源主成分データの一例を示す。
【図５】光源色合成部の処理フローを示す。
【図６】第二の実施の形態のカラー画像変換装置の処理フローを示す
【図７】第三の実施の形態のカラー画像変換装置のブロック図である。
【図８】ラグランジェ未定乗数法演算部に関する処理フローを示す
【図９】第三の実施の形態の全体の処理フローを示す
【図１０】７つの光源の分光分布の例を示す。
【図１１】抽出された３つの主成分の例を示す。
【符号の説明】
１１初期光源色抽出部
１２ラグランジェ未定乗数法演算部
１３元画像変換部
１４作業用メモリ
２２光源色合成部

Claims

入力カラー画像を、指定された所定光源下のカラー画像に変換するカラー画像変換装置において、
入力カラー画像から光源色を第１抽出色として抽出する第１光源色抽出手段と、
複数の光源におけるそれぞれの分光分布データを主成分分析して得られた光源主成分データを有し、前記第１光源色抽出手段により抽出した前記第１抽出色と最も近い色を光源色とする光源を該光源主成分データに基づき作成し、該作成された光源における光源色を第２抽出色とする抽出色合成手段と、
前記抽出色合成手段で抽出された前記第２抽出色と、指定された前記所定光源における光源色とに基づき、視覚の行列式として表現される色順応モデルのモデルパラメータを算出する色順応モデルパラメータ算出手段と、
前記色順応モデルパラメータ算出手段により算出した前記モデルパラメータに基づき決定された色順応モデルにより、前記入力カラー画像を変換する画像変換手段と
を有することを特徴とするカラー画像変換装置。
前記色順応モデルパラメータ算出手段により算出した前記モデルパラメータに基づき作成された色順応モデルの逆行列により判定色を作成する判定色作成手段と、
前記判定色作成手段で作成された前記判定色と、前記抽出色合成手段で抽出された前記第２抽出色の差が所定値以下になるまで、前記判定色を前記第２抽出色と置換して前記抽出色合成手段、色順応モデルパラメータ算出手段、判定色作成手段を繰り返す誤差補正手段と
を更に有することを特徴とする請求項１記載のカラー画像変換装置