JPWO2005074302A1 - 色再現システム及び色再現方法 - Google Patents

Abstract

画像入力装置（１２）で撮影された画像を、色補正部（１６）で色変換し、画像出力装置（１８）に表示若しくは印刷による出力を行う色再現システムにおいて、上記色補正部（１６）は、撮影時における照明環境の情報（撮影照明情報）と、観察時における照明環境の情報（観察照明情報）と、上記画像入力装置（１２）に関する情報（画像入力装置情報）と、を用いて入力画像（撮影照明画像データ）から出力画像への色変換を行うものとし、更に、上記観察時における照明環境の情報は、各々異なる２つ以上の照明環境の情報（Ａ観察照明情報、Ｂ観察照明情報）を含むようにする。

Description

本発明は、マルチバンドカメラにより撮影された画像から、撮影環境の照明光の情報及び観察環境の照明光の情報に基づき、照明条件を変えた被写体の画像を正確に色再現する色再現システム及び色再現方法に関する。

被写体の正確なカラー画像を再現することを目的として、マルチバンドカメラにより撮影された画像から被写体の分光反射率を推定して色推定を行なう方法が、例えば、ＵＳＰ５，８６４，３６４及びＵＳＰ６，４６６，３３４に提案されている。

それらＵＳＰに開示された方法によれば、撮影環境及び観察環境の照明光のスペクトル情報を用いて、撮影時に観察時と異なる照明光下で撮影した画像からでも観察時における照明光下の被写体の色を正確に再現してカラー画像表示を行うことができる。

しかしながら、上記ＵＳＰに開示された方法は、撮影環境及び観察環境の照明光は各々１種類であることが前提であった。そのため、複数色の照明光が異なる位置から混合して照明された被写体を撮影した場合、若しくは、そのように照明された被写体を観察したい場合には、正確な色再現が行えないという問題があった。特に、室内で撮影された画像から屋外自然光下の画像を正確に色再現したい場合、屋外自然光は太陽の直接光と周囲の青空による拡散光とが混合されたものであり、且つ、直接光と周囲の拡散光とでは各々色が異なるため、屋外自然光下の正確な色を再現することができなかった。

本発明は、上記の点に鑑みてなされたもので、複数色の照明光により混合して照明された被写体においても正確に色再現を行うことが可能な色再現システム及び色再現方法を提供することを目的とする。

本発明の第１の態様によれば、画像入力装置で撮影された画像を、色補正手段で色変換し、画像出力装置に表示若しくは印刷による出力を行う色再現システムにおいて、
上記色補正手段は、撮影時における照明環境の情報と、観察時における照明環境の情報と、上記画像入力装置に関する情報と、を用いて入力画像から出力画像への色変換を行うものであり、
上記観察時における照明環境の情報は、各々異なる２つ以上の照明環境の情報を含むことを特徴とする色再現システムが提供される。

本発明の第２の態様によれば、画像入力装置で撮影された画像を色変換し、画像出力装置に表示若しくは印刷による出力を行う色再現方法において、
上記色変換は、撮影時における照明環境の情報と、観察時における照明環境の情報と、上記画像入力装置に関する情報と、を用いて入力画像から出力画像への色変換を行うものであり、
上記観察時における照明環境の情報は、各々異なる２つ以上の照明環境の情報を含むことを特徴とする色再現方法が提供される。

図１は、本発明の第１実施例に係る色再現システムの全体構成を示すブロック図である。 図２は、第１実施例におけるＡ観察照明光及びＢ観察照明光の計測を行う様子を示す図である。 図３は、図１におけるデバイスインディペンデントカラー画像変換部の詳細構成を示すブロック図である。 図４は、図１におけるデバイスカラー画像変換部の詳細構成を示すブロック図である。 図５は、図１における照明分光検出センサの代わりに、分光計を用いてＡ撮影照明光及びＢ撮影照明光の分光計測を行う様子を示す図である。 図６は、図１における直接光の代わりに、ドーム型の拡散スクリーンを用いて直接光と拡散光成分での撮影を可能にする構成を示す図である。 図７は、図６におけるドーム型の拡散スクリーンの代わりに、骨組みに透過拡散シートを被せて拡散光の撮影を行うようにした構成を示す図である。 図８は、本発明の第２実施例に係る色再現システムの全体構成を示すブロック図である。 図９は、第２実施例における具体的な画像撮影の様子を示す図である。 図１０は、観察環境として屋外自然光下を設定した場合の第２実施例におけるＡ観察照明光及びＢ観察照明光の計測を行う様子を示す図である。 図１１は、太陽直接光（図１０におけるＡ観察照明光）の照明角度測定の様子と、伝送された照明角度により撮影照明の角度の調整を行う様子を示す図である。 図１２は、図８における照明分光検出センサの代わりに、分光計を用いてＡ撮影照明光及びＢ撮影照明光の分光計測を行う様子を示す図である。 図１３は、遮光板を用いて屋外での照明分離撮影を行う場合の構成を示す図である。 図１４は、曇りの日の照明分離撮影による晴れの日の照明変換画像の再現を説明するための図である。 図１５は、遮光板が大きい場合の拡散光の遮光問題を説明するための図である。 図１６は、遮光板を被写体から遠ざけることができない場合における拡散光の遮光問題の解決方法を説明するための図である。 図１７は、遮光板を被写体から遠ざけることができない場合におけるブラインドを用いた拡散光の遮光問題の解決方法を説明するための図である。 図１８は、本発明の第３実施例に係る色再現システムの全体構成を示すブロック図である。 図１９は、第３実施例における具体的な画像撮影の様子を示す図である。 図２０は、第３実施例におけるＡ観察照明光情報及びＢ観察照明光情報の取得方法を示す図である。 図２１は、本発明の第４実施例に係る色再現システムの全体構成を示すブロック図である。 図２２は、第４実施例の変形例における、観察環境として夕刻時での屋外自然光を設定した場合の第１乃至第３観察照明光情報の取得方法を示す図である。 図２３は、第４実施例の変形例における第１乃至第３撮影照明光情報の取得方法を示す図である。 図２４は、本発明の第５実施例に係る色再現システムの全体構成を示すブロック図である。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施例］
本発明の第１実施例に係る色再現システムは、図１に示すように、被写体Ｏを照明するための２つの照明光源（Ａ撮影照明１０Ａ、Ｂ撮影照明１０Ｂ）、被写体Ｏの画像を撮影するマルチバンドカメラである画像入力装置１２、撮影照明光のスペクトル特性を検出するための照明分光検出センサ１４、上記画像入力装置１２から入力された画像データの色を補正する色補正部１６、及び該色補正部１６で色補正された画像データを出力（表示若しくは印刷）する画像出力装置１８を含む。

また、上記色補正部１６は、照明切替制御部２０、２つの撮影照明画像格納部（Ａ撮影照明画像格納部２２Ａ、Ｂ撮影照明画像格納部２２Ｂ）、２つの撮影照明情報格納部（Ａ撮影照明情報格納部２４Ａ、Ｂ撮影照明情報格納部２４Ｂ）、２つのスイッチ２６，２８、デバイスインディペンデントカラー画像変換部３０、乗算係数設定部３２、２つの乗算器３４Ａ，３４Ｂ、画像加算部３６、及びデバイスカラー画像変換部３８を含む。

ここで、上記Ａ撮影照明１０ＡとＢ撮影照明１０Ｂとは、図示のように互いに異なる照明である。勿論、同一の照明であっても、照明位置を変えることでＡ，Ｂ２つの撮影照明を構成するものとしても構わない。

上記照明切替制御部２０は、上記Ａ撮影照明１０ＡとＢ撮影照明１０Ｂとを切り替えると共に、その切り替えに同期して、上記スイッチ２６，２８を切り替える。即ち、被写体Ｏに対する照明をＡ撮影照明１０Ａに切り替えたときには、画像入力装置１２によって入力された画像データ（以後、Ａ撮影照明画像データと称する）がＡ撮影照明情報格納部２４Ａに格納されるように、上記スイッチ２６を切り替える。それと同時に、照明分光検出センサ１４で検出されたＡ撮影照明１０Ａの照明光のスペクトル特性（以後、Ａ撮影照明情報と称する）がＡ撮影照明情報格納部２４Ａに格納されるように、上記スイッチ２８を切り替える。これに対して、被写体Ｏに対する照明をＢ撮影照明１０Ｂに切り替えたときには、画像入力装置１２からの画像データ（以後、Ｂ撮影照明画像データと称する）がＢ撮影照明情報格納部２４Ｂに格納されるように、上記スイッチ２６を切り替える。それと同時に、照明分光検出センサ１４からのＢ撮影照明１０Ｂの照明光のスペクトル特性（以後、Ｂ撮影照明情報と称する）がＢ撮影照明情報格納部２４Ｂに格納されるように、上記スイッチ２８を切り替える。

上記デバイスインディペンデントカラー画像変換部３０は、上記撮影照明画像格納部２２Ａ，２２Ｂに格納されたＡ，Ｂ撮影照明画像データを、画像入力装置１２及び画像出力装置１８に依存しない色の画像データであるＡ，Ｂデバイスインディペンデントカラー画像データに変換するものである。ここで、詳細は後述するが、まず、記憶媒体やネットワーク等により外部から供給されるＡ，Ｂ観察照明情報、画像入力装置情報、被写体特性情報と、上記撮影照明情報格納部２４Ａ，２４Ｂに格納されたＡ，Ｂ撮影照明情報とに基づいてＡ，Ｂプロファイルを作成し、それらＡ，Ｂプロファイルを使用して色変換を行うようになっている。このデバイスインディペンデントカラー画像変換部３０の詳細については後述する。

なお、上記画像入力装置情報は、撮影に用いた画像入力装置１２の特性やそれらの設定状態等であり、上記被写体特性情報は、撮影した被写体Ｏのスペクトルの統計的性質等の情報である。

また、上記観察照明情報は、その撮影した被写体Ｏの画像を観察したい遠隔地等の場所における照明光のスペクトルデータであり、例えば、図２に示すように、して得る。即ち、Ａ観察照明４０Ａで白色板４２を照明して、分光計４４で計測することで、Ａ観察照明情報を得る。同様に、Ｂ観察照明４０Ｂで白色板４２を照明して、分光計４４で計測することで、Ｂ観察照明情報を得る。そして、それら観察照明情報を、図に破線で示すようにネットワークや記憶媒体にて、該色補正部１６のデバイスインディペンデントカラー画像変換部３０に供給する。なお、測定には、観察照明光のスペクトルデータを測定できれば良いので、分光反射率が既知のものを用いれば良い。ここでは、反射率が高く、経時変化の少ない標準白色板４２を用いている。

上記のような画像入力装置情報を用いることによって、画像入力装置それぞれに対し、精度よく色再現画像を推定できる。画像入力装置が複数のスペクトル画像を撮影するマルチスペクトルカメラの場合や、デジタルカメラで撮影する場合でも、色再現を可能とする。そして、上記撮影照明情報を用いることによって、撮影時の照明光による影響をキャンセルできる。つまり、どんな照明光下（例えば、蛍光燈、白熱灯、太陽など）で被写体Ｏを撮影しても、被写体Ｏ自体の正確な分光反射率を算出することができる。また、上記観察照明情報を用いることによって、実際に画像を観察したい場所の照明下の色を算出できる。更に、上記被写体特性情報を用いることによって、入力画像が少ないスペクトル情報しか持たなくても、精度良く色再現画像を推定できる。

上記画像加算部３６は、上記デバイスインディペンデントカラー画像変換部３０で得られたＡ，Ｂデバイスインディペンデントカラー画像データを混合するものである。その際、Ａ，Ｂデバイスインディペンデントカラー画像データの混合比率を変更できるようになっている。これは、上記乗算係数設定部３２によりユーザが任意に乗算係数を設定し、それら乗算係数を、乗算器３４Ａ，３４Ｂで、Ａ，Ｂデバイスインディペンデントカラー画像データに乗ずることで、行われる。

上記デバイスカラー画像変換部３８は、使用する画像出力装置１８の特性を表す画像出力装置情報に基づいて作成されたデバイスプロファイルを参照して、上記画像加算部３６によって混合されたデバイスインディペンデントカラー画像データを画像出力装置１８の特性にあわせたカラー画像データに変換する。そして、その変換したカラー画像データを画像出力装置１８に出力する。このデバイスカラー画像変換部３８の詳細については、後述する。

このような構成の色再現システムによれば、まず、複数の照明状態における被写体Ｏの画像を各々分離して撮影を行う。次に、各照明状態について撮影時及び観察時の照明光のスペクトル情報を元に各々色変換を行う。そしてさらに、各々色変換された画像同士を混色することで、複数混合照明下での再現画像を得る。

以上により、屋外自然光のように太陽の直接光と周囲の青空による拡散光とで混合された照明により照明された被写体でも、正確に色再現を行うことが可能となる。また、室内照明等においても、スポットライトと壁による周囲の反射照明とでは照明の色が異なる場合が多く、このような複数色の混合照明下のもとでの被写体の色も正確に再現することが可能となる。

上記デバイスインディペンデントカラー画像変換部３０は、図３に示すように、Ａプロファイル作成部４６Ａ、Ａプロファイル作用部４８Ａ、Ｂプロファイル作成部４６Ｂ、及びＢプロファイル作用部４８Ｂを含む。

ここで、上記Ａプロファイル作成部４６Ａは、上記Ａ撮影照明情報格納部２４Ａから入力されるＡ撮影照明情報と、外部から入力されるＡ観察照明情報、画像入力装置情報、及び被写体特性情報と、に応じて、Ａプロファイルを算出するものである。また、上記Ａプロファイル作用部４８Ａは、上記Ａ撮影照明画像格納部２２Ａに格納されたＡ撮影照明画像データに、上記Ａプロファイル作成部４６Ａで作成したＡプロファイルを作用して色変換を行い、Ａデバイスインディペンデントカラー画像データを得るものである。

同様に、上記Ｂプロファイル作成部４６Ｂは、上記Ｂ撮影照明情報格納部２４Ｂから入力されるＢ撮影照明情報と、外部から入力されるＢ観察照明情報、画像入力装置情報、及び被写体特性情報と、に応じて、Ｂプロファイルを算出するものである。また、上記Ｂプロファイル作用部４８Ｂは、上記Ｂ撮影照明画像格納部２２Ｂに格納されたＢ撮影照明画像データに、上記Ｂプロファイル作成部４６Ｂで作成したＢプロファイルを作用して色変換を行い、Ｂデバイスインディペンデントカラー画像データを得るものである。

なお、本実施例においては、Ａ，Ｂプロファイル作成部４６Ａ，４６Ｂは、マトリックス作成部として、また、Ａ，Ｂプロファイル作用部４８Ａ，４８Ｂは、マトリックス演算部として構成している。このように、マトリックス演算でプロファイルを作用することで、高速に撮影照明画像データをデバイスインディペンデントカラー画像データに変換することができる。

即ち、画像入力装置１２としてのマルチスペクトルカメラの出力信号をｇ_ｉとすると、このｇ_ｉは、以下のように表せる。

実際に、被写体Ｏを人間が観察した場合の刺激値ＸＹＺは、以下のようである。

従って、以下のようなマトリックス（プロファイル）Ｍを算出すれば良い。なおここで、ｔは転置行列を表わす。

評価関数は、以下の式（４）を最小にするようにＭを設計する。

なおここで、Ｅ［ ］は期待値を求める演算子を表す。

以下の式（５）として求まるＭは最小二乗フィルタである。

このフィルタＭは、以下の式（６）で与えられる。

上記式（６）のＥ［ｆ（λ）・ｆ（λ’）］は被写体Ｏのスペクトル相関項を表している。あらゆる物体において評価関数を平均的に小さくする場合は、単位行列になり、フィルタＭは以下のようになる。

被写体Ｏをある程度限定し、分光反射率分布を少数の基底で表すことが出来れば、少数の分光画像からでも精度良く色を推定できる。例えば、遠隔医療では、人の肌の色の分光反射率を測定し、統計的性質として相関行列を予め求めれば、少数の分光画像から精度良く肌の色を再現できる。

つまり、上記Ａ，Ｂプロファイル作成部４６Ａ，４６Ｂは、被写体特性情報を用いて色再現処理を行う場合には、上記式（６）を計算するものであり、被写体特性情報を用いない場合は、上記式（７）を計算するものとなる。そして、Ａ，Ｂプロファイル作用部４８Ａ，４８Ｂは、Ａ，Ｂ撮影照明画像に画像データフィルタＭを掛ける、つまり、上記式（３）を計算することとなる。

また、上記デバイスカラー画像変換部３８は、図４に示すように、デバイスプロファイル作成部５０及びデバイスプロファイル作用部５２を含む。ここで、上記デバイスプロファイル作成部５０は、外部から与えられる画像出力装置情報に基づいて、デバイスプロファイルを算出するものである。また、上記デバイスプロファイル作用部５２は、このデバイスプロファイル作成部５０で作成したデバイスプロファイルを、上記画像加算部３６で混合したデバイスインディペンデントカラー画像データに作用して、色変換を行い、出力画像データを得るものである。

即ち、使用する画像出力装置１８、例えばモニタは、測定に用いる不図示の色度計と共に、暗室等の外光の影響を受けない場所にセッティングされ、図示しないＲＧＢ信号生成部から所定のＲＧＢ信号が与えられて、対応する色の画像を表示する。そして、このモニタに表示された色が色度計で測定され、その色度計から出力される信号が図示しない色度検出部によりＸＹＺ値等の色度値として検出される。この検出された色度値が、上記画像出力装置情報として、上記デバイスプロファイル作成部５０に送られる。上記デバイスプロファイル作成部５０では、上記不図示のＲＧＢ信号生成部で生成されたＲＧＢ値と上記画像出力装置情報としての色度値との関係からデバイスプロファイルを演算する。

次に、使用する画像出力装置１８としてのモニタに出力するＲＧＢ値と該モニタから出力されるＸＹＺ値の関係について説明する。モニタはＲＧＢ蛍光体を有しており、このＲＧＢ蛍光体に信号を送りカラー画像を表示する。ＲＧＢ蛍光体へ送る信号値（ＲＧＢ値）は、上記不図示ＲＧＢ信号生成部で生成される。このＲＧＢ値は、モニタのγ特性により、非線型に変換される。ＲＧＢのγ特性をそれぞれγｒ［ ］、γｇ［ ］、γｂ［ ］とする。さらに、人にはＲＧＢ蛍光体各々の和が色として感じられるため、γ特性を受けた信号値が加算されたものが、モニタから出力される次式（８）で示すような色度値（ＸＹＺ値）となる。

ここで、Ｘｒｍａｘ、Ｙｒｍａｘ、ＺｒｍａｘはＲ蛍光体の最大輝度時のＸＹＺ値であり、Ｘｇｍａｘ、Ｙｇｍａｘ、ＺｇｍａｘはＧ蛍光体の最大輝度時のＸＹＺ値であり、Ｘｂｍａｘ、Ｙｂｍａｘ、ＺｂｍａｘはＢ蛍光体の最大輝度時のＸＹＺ値である。

所望するＸＹＺ値を得るためのＲＧＢ値は、上記式（８）を利用して演算できる。即ち、次の式（９）のように、マトリックス変換とγ補正により演算される。

上記デバイスプロファイル作成部５０では、ＲＧＢ値とＸＹＺ値から、上記デバイスプロファイルとして、マトリックス変換のためのマトリックス係数とγ補正のためのγ補正値とを、演算する。そして、上記デバイスプロファイル作用部５２では、それらマトリックス係数とγ補正値とを利用して、上記デバイスインディペンデントカラー画像データにマトリックス変換及びγ補正を行い、画像出力装置１８に出力すべきＲＧＢ値を出力する。

なお、画像出力装置１８をモニタとして表示出力する場合は、以上の説明の通りである。画像出力装置１８をプリンタとして印刷出力する場合においても、同様にして、画像出力装置情報を得、その画像出力装置情報に基づいてデバイスプロファイルを作成できる。

また、図１に示した構成では、照明分光検出センサ１４を用いている。この照明分光検出センサ１４の代わりに、図５に示すように、白色板４２と分光計４４とを用いても良い。

逆に、図２では白色板４２と分光計４４を用いているが、それらの代わりに照明分光検出センサ１４を用いても良いことは勿論である。

さらに、図１の構成以外でも、例えばＡ，Ｂ撮影照明画像データがともに３バンドの画像の場合には、Ａ，Ｂ撮影照明画像データをまとめて一つの６バンドの画像データとして格納しても良い。その場合には、プロファイルもＡ，Ｂ両方の撮影照明情報をまとめて６ｘ３マトリクスとして作成する。そうすれば、プロファイル作用部においてマトリクス変換により足し合わせも同時に行うので、画像加算部３６は省略できる。

また、本実施例においては、被写体Ｏを照明する光がともに撮影照明１０Ａ，１０Ｂからの直接光を用いているが、これに限ることはない。例えば、図６に示すように、被写体Ｏを覆うようなドーム型の拡散スクリーン５４を用意し、一方はＡ撮影照明１０Ａからの直接光、もう一方はＢ撮影照明１０Ｂからのドーム型の拡散スクリーン５４に反射させた光で被写体Ｏを照明しても良い。このようにすれば、屋外の自然光のように太陽光からの直接光と青空からの拡散光成分の照明の当たり方をほぼ正確に再現でき、より屋外自然光への正確な照明変換を実現できる。

特に、自然光の青空の環境（照明の当たり方）を撮影側で正確に再現するためには、被写体Ｏの背面及び側面側に加えて、図６に示したように、被写体Ｏの天頂から画像入力装置１２側の面にかけて拡散照明があることが望ましい。このようにすれば、例えば鏡面反射が強く映り込みが激しい被写体の時にも、青空の映り込みを含めて正確に屋外自然光への照明変換を行うことが可能になる。

また、上記ドーム型の拡散スクリーン５４の代わりに、図７に示すように、被写体Ｏと撮影照明１０Ａ，１０Ｂの間の周囲に骨組み５６を用意して、この骨組み５６に透過拡散シート５８を被せて拡散光の撮影を行っても良い。この場合には、まずＡ撮影照明１０Ａの撮影を、透過拡散シート５８を被せない状態で行い、次に、Ｂ撮影照明１０Ｂの撮影を、透過拡散シート５８を被せた状態で行えば、上記と同様、直接光と拡散光を分離して撮影することが可能となる。なお、上記透過拡散シート５８の代わりに、外部電気制御により透明／不透明（拡散）の特性変更が可能なシースルーディスプレイ用のスクリーンを用いても良い。

［第２実施例］
本発明の第２実施例に係る色再現システムは、図８に示すように、２つの撮影照明１０Ａ，１０Ｂではなく１つの撮影照明１０のみとし、Ａ，Ｂ２つの撮影照明画像データを得るために、更に遮光板６０と照明反射板６２とを用いている。また、色補正部１６においては、照明切替制御部２０の代わりに遮光切替制御部６４を設け、更に、遮光なし撮影画像格納部６６及び遮光あり撮影画像格納部６８と、画像減算部７０とを追加している。

ここで、上記遮光切替制御部６４は、撮影照明１０の前面（被写体Ｏ側）への遮光板６０の挿入状態を切り替えるものであり、その切り替えに伴って、上記スイッチ２６，２８を切り替える。即ち、図９に示すように、遮光板６０を撮影照明１０の前面からどかし、被写体Ｏに撮影照明１０からの直接光と照明反射板６２からの反射光との両方が当たる状態としたときには、画像入力装置１２からの撮影画像データは遮光なし撮影画像格納部６６に格納される。また、遮光板６０を撮影照明１０の前面に挿入して、被写体Ｏには、撮影照明１０からの直接光は当たらず、照明反射板６２からの反射光のみが当たる状態としたときには、画像入力装置１２からの撮影画像データは遮光あり撮影画像格納部６８に格納される。そして、画像減算部７０によって、上記遮光なし撮影画像格納部６６に格納された撮影画像データから、上記遮光あり撮影画像格納部６８に格納された撮影画像データを減算することで、撮影照明１０からの直接光による撮影画像データが抽出される。この抽出された撮影画像データは、Ａ撮影照明画像格納部２２Ａに格納される。これに対して、上記遮光あり撮影画像格納部６８に格納された撮影画像データは、そのまま、Ｂ撮影照明画像格納部２２Ｂに格納される。このように、遮光なし撮影画像から遮光あり撮影画像を減算することで、直接光成分（これをＡ撮影照明とする）の撮影画像を得、遮光あり撮影画像はそのまま周囲拡散光成分（これをＢ撮影照明とする）の撮影画像として用いる。

なお、上記照明分光検出センサ１４からの撮影照明情報は、上記のように遮光板６０を撮影照明１０の前面からどかしたときにはＡ撮影照明情報格納部２４Ａに格納され、遮光板６０を撮影照明１０の前面に挿入したときにはＢ撮影照明情報格納部２４Ｂに格納される。

それ以外の、デバイスインディペンデントカラー画像変換部３０以降の動作は、上記第１実施例と同様であるので、説明は省略する。

但し、Ａ，Ｂ観察照明情報については、図１０に示すように、同様に遮光板６０なしの状態と遮光板６０ありの状態で、白色板４２と分光計４４により測定する。なお、ここでは、観察照明光として、屋外自然光を仮定しており、太陽からの直接光成分と青空による周囲拡散光成分の照明スペクトルを各々測定している。

このとき、図１０中に示すθは、白色板４２板面の法線に対する太陽光の入射角度を表している。通常、太陽からの直接光を測定する際には、上記太陽光の入射角度θが変化すると測定された値の絶対値が変化し、直接光と拡散光成分の比が正確に取得できない虞がある。そのため、ここでは図１０に示すように、上記太陽光の入射角度θに応じてｃｏｓθに比例する係数を乗算器７２でかけてＡ観察照明情報を算出し、一定の測定条件下のもとの直接光の値に補正している。

また、観察照明光として屋外自然光を用いる場合には、太陽光の角度を観察側で測定し、撮影側に伝達して、太陽の角度と撮影照明の角度が一致するよう撮影状態を調整したほうが好ましい。そこで、図１１に示すように、照明角度検出器７４により計測したマーカー（影先端位置）７６を、照明角度情報として、同図に破線で示すようにネットワークや記憶媒体により、撮影側に伝達する。そして、撮影側では、その照明角度情報に従って、同図に矢印Ａで示すように撮影照明１０の照明角度を調整する。

以上説明したように、複数の照明光が、一つの照明光源による直接光成分と間接光成分とを含む場合に、第１実施例のままでは照明光の切り替えが行えないが、本第２実施例に係る色再現システムによれば、各々分離して撮影することができる。

なお、本実施例においても、上記第１実施例と同様、照明分光検出センサ１４を用いる代わりに、図１２に示すように、白色板４２と分光計４４を用いて、Ａ，Ｂ撮影照明情報の計測を行うようにしても構わない。

また、照明反射板６２は、平板状であっても良いし、ドーム状のものを用いても構わない。更に、この照明反射板６２としては、ミラーのような全反射板であっても良いし、拡散反射板であっても良い。どのような照明反射板を使用するかは、観察側の状態に応じて決定すれば良い。

また、被写体Ｏに直接当たらず、照明反射板６２に向けて照明する反射板専用の照明光源を、撮影照明１０とは別に用いても良い。

また、以上説明した本実施例のように、遮光板６０を用いれば室内での照明分離撮影だけでなく屋外での照明分離撮影にも対応することができる。

そうすると、例えば図１３に示すようにある地点Ａの屋外で遮光板６０を用いて撮影した画像（地点Ａの屋外撮影画像７８Ａ）から別の地点Ｂでの屋外照明下の画像（地点Ｂの屋外照明変換画像７８Ｂ）に変換することが可能である。

さらに、同図に示すように、画像出力装置１８を２つ用意し（もしくは１つの画像出力装置に２つの画像表示領域を設けて）、一方では地点Ｂの屋外照明変換画像７８Ｂを表示すると共に、もう一方では地点Ａの屋外撮影画像７８Ａを照明変換せずに（但し、画像入力装置１２及び画像出力装置１８のキャリブレーションは行う）そのまま表示しても良い。このようにすれば、地点Ａと地点Ｂの屋外照明下での被写体Ｏの色の見え方の違いを分かり易く表示することができる。そのため、例えば被写体Ｏの色設計を行う際に、被写体Ｏをわざわざ地点Ｂに持って行かなくても、設計者は、地点Ｂでの被写体Ｏの色の変化を認識しながら色設計を効率良く行うことができる。勿論、上記２つの画像表示と共に地点Ａでの実物も並べて比較すれば、実物と画像の変化を認識しながら、より効率良く被写体Ｏの色設計が行える。

また、晴れの日の撮影だけでなく曇りの日でも、図１４に示すように、遮光板６０を用いて撮影することにより、照明光の拡散光成分と直接光（平行光）成分の画像に分離して撮影できる。こうすれば、曇りの日に撮影した画像（曇りの日の撮影画像８０Ａ）から、あたかも晴れた日に撮影された画像（晴れの日の照明変換画像８０Ｂ）を再現することも可能となる。

またこの場合も、画像出力装置１８を２つ用意し（もしくは１つの画像出力装置に２つの画像表示領域を設けて）、曇りの日の撮影画像８０Ａと晴れの日の照明変換画像８０Ｂとを比較できるようにしても良い。

なお、本実施例のように遮光板６０を用いて照明光の分離撮影を行う場合には、以下の問題に注意する必要がある。

即ち、遮光板６０を用いて直接光を遮光した場合には、図１５に示すように、遮光板６０が大きいと、太陽からの直接光８２と共に、青空からの拡散光８４の一部も遮光されてしまう可能性がある。そのため、拡散光８４が遮光されないようにするためには、なるべく被写体Ｏから遮光板６０を遠ざける（最低、遮光板６０の大きさ（対角の長さ）と同程度距離を離す）必要がある。

しかしどうしても設置上の問題により、距離を遠ざけることができない場合には、以下の方法により解決できる。

一つは、図１６に示すように、遮光板６０と被写体Ｏとの距離を変えて拡散板６０が遮光される割合を変化させて幾つか撮影し、その変化分より拡散光全部が遮光されない状態の画像を推定する。

もう一つは、図１７に示すように、ブラインド８６を遮光板として用いる。その場合、まず、ブラインド８６を閉めた状態（図１５のような状態）で遮光撮影を行い、更にブラインド８６を開けた状態で撮影して、その差分より遮光板により遮光される拡散光成分を求め、補正することにより、直接光のみ遮光された状態の撮影画像を得る。

［第３実施例］
本発明の第３実施例に係る色再現システムは、図１８に示すように、上記第２実施例における遮光板６０と照明反射板６２の代わりに、偏光板８８、拡散反射板９０及び回転偏光板９２を用いている。そして、その変更に伴って、色補正部１６において、遮光切替制御部６４の代わりに偏光切替制御部９４を、また、遮光なし撮影画像格納部６６及び遮光あり撮影画像格納部６８の代わりにＡ偏光撮影画像格納部９６及びＢ偏光撮影画像格納部９８を備える。

このような構成においては、被写体Ｏは、撮影照明１０の前面に配した偏光板８８によって偏光された直接光と、この直接光が上記拡散反射板９０によって拡散されて無偏光状態となった間接光とによって照明される。

そして、図１９に示すように、偏光切替制御部９４によって、画像入力装置１２と被写体Ｏとの間に配した回転偏光板９２を、上記偏光板８８と同じ偏光状態にしたときには、画像入力装置１２で撮影した画像データをＡ偏光撮影画像格納部９６に格納する。即ち、この場合には、上記回転偏光板９２が上記偏光板８８と同じ偏光状態となっているので、上記第２実施例における遮光板なしと同様な状態における撮影画像データが取得できる。

これに対して、Ｂ偏光撮影画像格納部９８には、偏光切替制御部９４によって上記回転偏光板９２を上記偏光板８８とは直交する偏光状態にして撮影した画像を格納する。即ち、この場合には、直接光成分が上記回転偏光板９２によりカットされ、無偏光状態の間接光成分の光による撮影画像データのみが取得でき、上記第２実施例における遮光板ありと同様な状態における撮影画像データが取得できる。

このような第３実施例に係る色再現システムは、上記第２実施例において遮光板６０が適切な位置、範囲に置けない場合に有効な構成である。この場合には、偏光板８８，９２は、撮影照明１０及び画像入力装置１２に近い位置に設置できるので、小さなもので良い。

なお、図１８では、図面の簡略化のため、照明分光検出センサ１４及びスイッチ２８の図示を省略してある。

また、本実施例においても、上記第１実施例と同様、そのような照明分光検出センサ１４を用いる代わりに、図２０に示すように、白色板４２と分光計４４を用いて、Ａ，Ｂ撮影照明情報の計測を行うようにしても構わない。

［第４実施例］
前述の第１実施例がそれぞれ２種類の撮影照明及び観察照明であったのに対して、本発明の第４実施例に係る色再現システムは、図２１に示すように、それぞれ３つ以上（Ｎ種類）の撮影照明１０−１〜１０−Ｎ及び観察照明を用いる例である。

このような本実施例によれば、乗算係数設定部３２で設定する乗算係数を種々変更することで、様々な観察照明での被写体Ｏの色の見え方をシミュレーションするようなシミュレーション装置を提供することが可能となる。

なお、上記のような３つ以上（Ｎ種類）の撮影照明１０−１〜１０−Ｎを用いる代わりに、前述の第２実施例のように遮光して異なる照明環境を作ることも可能である。その場合には、遮光する光の方向を各々変えて撮影を行えば良い。またこの場合、観察照明光情報の分光計４４による取得も、同様に、図２２に示すように、複数の遮光板６０によって白色板４２を様々な形で遮光することによって行う。なお、ここでは、観察環境として、夕刻時での屋外自然光（太陽からの直接光は赤く、太陽から遠い空からの間接光は青い）を設定している。また、撮影照明光情報の分光計４４による取得も、図２３に示すように、同様にして行う。

このような構成とすることにより、夕暮れ時の自然光のように、周囲拡散光（空）が幾つかの色からなる場合でも、正確に色再現できるようになる。

［第５実施例］
本発明の第５実施例に係る色再現システムは、図２４に示すように、前述の第１実施例における色補正部１６を、撮影側である前処理部（色補正前処理部１６ａ）と、観察側である後処理部（色補正後処理部１６ｂ）とに分離したものである。

ここで、上記色補正前処理部１６ａは、上記第１実施例と同様の照明切替制御部２０、Ａ，Ｂ撮影照明画像格納部２２Ａ，２２Ｂ、Ａ，Ｂ撮影照明情報格納部２４Ａ，２４Ｂ、及びスイッチ２６，２８を備えると共に、画像フォーマット変換部１００を有している。この画像フォーマット変換部１００には、Ａ，Ｂ撮影照明画像データ及びＡ，Ｂ撮影照明情報と、撮影側で得られる撮影環境の情報として画像入力装置情報及び被写体特性情報とが入力され、それらを組み合わせて、照明光の影響による色の変化に対して色変換可能な画像フォーマットを持つ照明分離画像データ１０２に変換する。そして、この照明分離画像データ１０２が、図に破線で示すようにネットワークや記憶媒体により、色補正後処理部１６ｂに伝送される。

上記色補正後処理部１６ｂは、上記第１実施例と同様のデバイスインディペンデントカラー画像変換部３０、乗算係数設定部３２、乗算器３４Ａ，３４Ｂ、画像加算部３６、及びデバイスカラー画像変換部３８を備えると共に、入力データ分割部１０４を備える。この入力データ分割部１０４は、上記色補正前処理部１６ａから伝送入力された上記照明分離画像データ１０２を、元のＡ，Ｂ撮影照明画像データ及びＡ，Ｂ撮影照明情報と、画像入力装置情報及び被写体特性情報とに分離し、それらをデバイスインディペンデントカラー画像変換部３０に供給するものである。よって、この場合には、デバイスインディペンデントカラー画像変換部３０には、新たに指定するＡ，Ｂ観察照明情報のみが外部入力として入力されるだけで良い。

このような本実施例によれば、撮影された画像を照明分離画像データ１０２として保存しておくことで、遠隔地のあらゆる所で、任意に観察照明光を設定して色再現が可能となる。

以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施例では、被写体Ｏを鞄として仮定しているが、これに限るものではない。被写体Ｏとして、例えば、衣服、装飾品、車、家具、オブジェ、建物、絵画、人肌、歯、等であっても、同様の効果を得ることができる。

Claims (12)

1. 画像入力装置（１２）で撮影された画像を、色補正手段（１６）で色変換し、画像出力装置（１８）に表示若しくは印刷による出力を行う色再現システムにおいて、
   上記色補正手段は、撮影時における照明環境の情報と、観察時における照明環境の情報と、上記画像入力装置に関する情報と、を用いて入力画像から出力画像への色変換を行うものであり、
   上記観察時における照明環境の情報は、各々異なる２つ以上の照明環境の情報を含むことを特徴とする色再現システム。
2. 上記色補正手段は、観察時における一の照明環境の情報を用いて色変換された画像と、観察時における二の照明環境の情報を用いて色変換された画像とを、足し合わせる画像加算手段（３６）を含むことを特徴とする請求項１に記載の色再現システム。
3. 上記観察時における２つ以上の照明環境の情報は、ある照明光源（１０）からの光を一部遮光した状態により得られた照明環境と、遮光しない状態により得られた照明環境であることを特徴とする請求項１または２に記載の色再現システム。
4. 上記色補正手段は、同一被写体を各々異なる撮影照明環境下において上記画像入力装置により撮影した複数の画像を用いて色変換を行うことを特徴とする請求項１乃至３の何れかに記載の色再現システム。
5. 上記異なる撮影照明環境下とは、照明光の位置、方向、及び形状のうち、少なくとも何れか一つが異なる照明環境であることを特徴とする請求項４に記載の色再現システム。
6. 上記異なる撮影照明環境下とは、照明光の一部の光を遮光した状態による照明環境と、遮光しない状態による照明環境であることを特徴とする請求項４に記載の色再現システム。
7. 上記異なる撮影照明環境下とは、各々照明光の偏光状態が異なることであることを特徴とする請求項４に記載の色再現システム。
8. 上記色補正手段は、さらに上記画像出力装置に関する情報を用いて色変換を行うことを特徴とする請求項１乃至７の何れかに記載の色再現システム。
9. 上記照明光の情報は、照明光のスペクトル情報であることを特徴とする請求項１乃至８の何れかに記載の色再現システム。
10. 上記色補正手段は、さらに被写体の分光反射率に関する統計的な特性を用いて色変換を行うことを特徴とする請求項１乃至９の何れかに記載の色再現システム。
11. 画像入力装置（１２）で撮影された画像を色変換し、画像出力装置（１８）に表示若しくは印刷による出力を行う色再現方法において、
    上記色変換は、撮影時における照明環境の情報と、観察時における照明環境の情報と、上記画像入力装置に関する情報と、を用いて入力画像から出力画像への色変換を行うものであり、
    上記観察時における照明環境の情報は、各々異なる２つ以上の照明環境の情報を含むことを特徴とする色再現方法。
12. 上記色変換は、観察時における一の照明環境の情報を用いて色変換された画像と、観察時における二の照明環境の情報を用いて色変換された画像とを、足し合わせることを含むことを特徴とする請求項１２に記載の色再現方法。

Images