JP4314381B2 - Color reproduction processing apparatus, program, and color reproduction processing method - Google Patents

Description

【００１９】
分光輝度の計測チャネル数は、物体表面や原画像等の被写体における色の推定精度や撮像装置の性能等に応じて決定することができる。
【００２０】
こうした計測により得られた各バンドの輝度に基づいて、画像入力装置１０においてｎ次元の列ベクトルで被写体のスペクトルを表す画像データが生成される。
そのために、例えば画像入力装置１０は、スペクトル推定部１０ａを備えている。スペクトル推定部１０ａは、マルチスペクトル画像データに所定のスペクトル推定マトリクスを適用（乗算）することにより、被写体のスペクトルを推定した画像データを生成する。
【００２１】
被写体のスペクトルを表す列ベクトルの次元数ｎは、例えば、被写体の色を計測する際のチャネル数と同じであってもよいし、マルチスペクトル画像データから照明光スペクトル等を加味して被写体のスペクトルを表すための任意の次元数であってもよい。
スペクトル推定部１０ａにより生成された画像データは、色再現処理装置１１により所定の変換処理が施される入力画像データとなる。
【００２２】
色再現処理装置１１は、被写体の色を、画像出力装置１２にて画素ごとに再現可能とする処理を実行するものである。
具体的には、色再現処理装置１１は、画像入力装置１０から受けた入力画像データに所定の変換処理を施して出力画像データを生成する。
【００２３】
例えば、色再現処理装置１１は、コンピュータシステムが備えるＣＰＵ（Central Processing Unit）により所定の記憶装置から読み出したプログラムを実行することで、図１に示すような論理的構成を備える。
図１に示すように、色再現処理装置１１は、色再現特性設定部２０と、等色関数設定部２１と、マトリクス生成部２２と、データ記憶部２３と、マトリクス演算部２４と、演算結果判定部２５とを備えている。
【００２４】
色再現特性設定部２０は、画像出力装置１２における各原色の輝度レベルと出力画像のスペクトルとの関係を示す情報を設定するためのものである。ここで、画像出力装置１２における各原色の輝度レベルと出力画像のスペクトルとの関係は、例えば、画像出力装置１２にて出力されたサンプル画像の分光分布を分光光度計などを用いて計測することにより、予め特定することができる。
【００２５】
等色関数設定部２１は、被写体や出力画像のスペクトルからＸＹＺ表示系における三刺激値Ｘ、Ｙ、Ｚを求めるための情報を設定する。ここで、測色表示系であるＸＹＺ表示系における三刺激値Ｘ、Ｙ、Ｚを求めるための情報は、例えば、標準的な観測者に対する等色実験により得られたデータの平均的な特性から求められる等色関数を示す。
【００２６】
マトリクス生成部２２は、色再現特性設定部２０と等色関数設定部２１により設定された情報に基づいて、入力画像データから出力画像データへの変換に使用するマトリクスを生成するためのものである。
具体的には、マトリクス生成部２２は、色再現特性設定部２０により設定された情報に基づいて、マトリクスＰを作成する。マトリクスＰは、画像出力装置１２における各原色の輝度レベルから出力画像のスペクトルを特定するためのスペクトル変換マトリクスである。
また、マトリクス生成部２２は、等色関数設定部２１により設定された情報に基づいて、マトリクスＡを作成する。マトリクスＡは、被写体や出力画像のスペクトルから三刺激値Ｘ、Ｙ、Ｚを求めるための測色値変換マトリクスである。
【００２７】
さらに、マトリクス生成部２２は、マトリクスＰとマトリクスＡに基づいて、マトリクス演算部２４が画像出力装置１２における各原色の輝度レベルを特定するための変換マトリクスＭ、Ｍ’などを作成する。これらのマトリクスＭ、Ｍ’については、後により詳しく説明する。
マトリクス生成部２２により生成された各種のマトリクスは、データ記憶部２３により記憶される。
【００２８】
データ記憶部２３は、マトリクス演算部２４が演算に使用するマトリクスを示すデータ等を記憶するためのものである。
具体的には、データ記憶部２３は、マトリクス生成部２２により作成されたマトリクスＰ、Ａ、Ｍ、Ｍ’などを示すデータを記憶する。
【００２９】
マトリクス演算部２４は、画像入力装置１０から送られた入力画像データに所定の変換処理を施すために、データ記憶部２３から読み出したデータを用いたマトリクス演算を実行するものである。マトリクス演算により変換された画像データは、演算結果判定部２５により所定の制約条件を満足すると判別された場合に、出力画像データとして画像出力装置１２に供給される。
【００３０】
演算結果判定部２５は、マトリクス演算部２４におけるマトリクス演算の結果が、所定の制約条件を満足しているか否かを判別するためのものである。
【００３１】
画像出力装置１２は、プロジェクタやＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイあるいはＰＤＰ（Plasma Display Panel）ディスプレイなどといった画像を表示可能に構成された装置等を備え、原色光の混色により出力画像データに応じた色を再現するためのものである。
例えば、画像出力装置１２は、出力画像データが示す各原色の輝度レベルを表示信号に変換するために、表示信号変換部１２ａを備えている。表示信号変換部１２ａは、予め記憶したルックアップテーブル（ＬＵＴ）を用いるなどして出力画像データを表示信号へ変換することにより、トーンカーブに応じた階調補正を施して表示信号を生成することができる。
【００３２】
また、画像出力装置１２は、例えば３原色を超える多原色（Ｎ原色：Ｎ≧４）の混色により、色再現処理装置１１から送られた出力画像データに対応する画像を出力して、被写体の色を画素ごとに再現する。すなわち、画像出力装置１２は、例えば３８０ｎｍから７８０ｎｍの光波長領域においてほぼ等間隔に分布する発光スペクトルのＮ原色を、画素ごとに出力画像データに対応する輝度レベルで発光させる。
【００３３】
以下に、この発明の実施の形態にかかる色再現システムの動作を説明する。
まず、この色再現システムにおいて再現色のスペクトルを被写体自身のスペクトルに近似させる動作の原理について説明する。
【００３４】
被写体のスペクトルは、次元数ｎのベクトルｓを用いて表され、画像出力装置１２におけるＮ原色の輝度レベルは、次元数Ｎのベクトルαを用いて表される。
そして、マトリクスＰは、画像出力装置１２における各原色の輝度レベルから出力画像のスペクトルを特定するためのスペクトル変換マトリクスである。また、マトリクスＡは、被写体や出力画像のスペクトルを示すｎ次元ベクトルから測色表示系であるＸＹＺ表示系における三刺激値Ｘ、Ｙ、Ｚを求めるための測色値変換マトリクスである。
このとき、Ｎ原色の画像出力装置１２にて再現された色が、被写体自身の色と測色的に一致する場合、数式２に示す関係が成立する。
【００３５】
【数２】

【００３６】
ここで、ベクトルαの各成分は画像出力装置１２における各原色の最大発光時に対する相対輝度レベルを示し、ベクトルαの各成分α_１、α_２、…、α_Ｎについて、数式３に示す関係が成立するものとする。すなわち、数式３は、画像出力装置１２の出力特性に基づく制約条件を示す。
【数３】
０≦α_ｉ≦１ （ｉ＝１，２，…，Ｎ）
【００３７】
数式２、３に示される条件の下、画像出力装置１２にて出力される画素のスペクトル（原色スペクトル）を被写体のスペクトルに近似させるには、一例として、数式４で示される関数Ｅ（α）を最小にするベクトルαを求めればよい。この関数Ｅ（α）はユークリッド二乗距離を求める目的関数であり、数式４は被写体のスペクトルに近似した再現色を特定するためのスペクトル近似評価式の１つである。
【００３８】
【数４】

【００３９】
ここで、解となるベクトルαの可能領域は、画像出力装置１２の色再現域に対応し、数式２が線形であり、数式３が凸集合であることから、凸集合である。また、目的関数である数式４に示された関数Ｅ（α）は、凸関数である。
従って、数式４で示された関数Ｅ（α）を最小とするための最適化問題にあっては、局所的最適解が大域的最適解となる。
【００４０】
そこでまず、数式３の制約がないものとして考える。
この際、ラグランジュの未定乗数法を適用し、数式２、４に基づいて、数式５で示される関数Ｆを定義する。
【００４１】
【数５】

ここで、ηはラグランジュ乗数を示す３次元の列ベクトルであり、ｔは転置を示す。
【００４２】
数式５で示されるＦの勾配は、数式６で示す条件を満たすときに０となる。
【００４３】
【数６】

【００４４】
数式２と数式６で示される関係を整理すると、数式７の関係が成立することとなる。なお、数式７では、部分マトリクスの集まりとしてマトリクス全体を表し、以下、他の数式でも同様とする。
【００４５】
【数７】

【００４６】
従って、数式８に基づくマトリクス演算を実行することにより、解となるベクトルαを求めることができる。
【００４７】
【数８】

【００４８】
こうして求められたベクトルαが数式３の制約条件を満足していれば、それが最適解となる。この場合、再現色を被写体の色と測色的に一致させる条件の下で、被写体のスペクトルに最も近似した再現色のスペクトルが、画像出力装置１２にて出力可能なスペクトルの範囲内に入っていることとなる。
【００４９】
ここで、数式８の右辺におけるマトリクス演算で使用され、数式９で示される画像データ変換マトリクスとしてのマトリクスＭは、マトリクスＰとマトリクスＡに基づいて、被写体のスペクトルを表すベクトルｓが決まる以前に予め作成することができる。
【００５０】
【数９】

【００５１】
一方、数式８に基づくマトリクス演算で求められたベクトルαが数式３の制約条件を満たしていない場合には、再現色を被写体の色と測色的に一致させる条件の下で、被写体のスペクトルに最も近似した再現色のスペクトルが、画像出力装置１２にて出力可能なスペクトルの範囲内に入らないこととなる。この場合、数式３で示される制約条件の下、数式４で示される関数Ｅ（α）を最小とする最適解は、数式３で示される領域の境界に存在することとなる。
【００５２】
そこで、数式８に基づくマトリクス演算で求められたベクトルαが数式３の制約条件を満たしていない場合には、ベクトルαの可能領域境界において、数式４で示される関数Ｅ（α）を最小にする最適解を、ラグランジュの未定乗数法を適用したマトリクス演算により求める。
【００５３】
ベクトルαの可能領域境界では、ベクトルαの成分α_１、α_２、…、α_Ｎの少なくともいずれか１つが”０”又は”１”となっている。これは、画像出力装置１２におけるＮ原色のいずれかが”最小発光”又は”最大発光”となっていることに対応する。
【００５４】
こうした状況において関数Ｅ（α）を最小にする最適解を求めるために、ベクトルαの成分のいずれかを予め”０”又は”１”に固定して、ラグランジュの未定乗数法を適用する。
【００５５】
ここで、マトリクスＰ_０を、画像出力装置１２におけるＮ原色のうちで”最小発光”又は”最大発光”に固定した原色についてのスペクトル変換マトリクスとし、マトリクスＰ_１を、固定しない原色についてのスペクトル変換マトリクスとする。
また、ベクトルα_Ｄが、画像出力装置１２におけるＮ原色のうちで”最小発光”又は”最大発光”に固定した原色の輝度レベルを表すものとし、ベクトルα_Ｆが、固定しない原色の輝度レベルを表すものとする。すなわち、ベクトルα_Ｄでは、固定する原色に対応する成分が、その輝度レベル（”最小発光”又は”最大発光”）に対応して”０”又は”１”に設定されている。
【００５６】
以上を前提とすると、数式１０に基づくマトリクス演算を実行して解となるベクトルα_Ｆを求めることで、画像出力装置１２におけるＮ原色のうちの少なくともいずれか１つを”最小発光”又は”最大発光”に固定した場合において関数Ｅ（α）を最小にする最適解を求めることができる。
【００５７】
【数１０】

ここで、η_１はラグランジュ乗数である。
【００５８】
また、画像出力装置１２におけるＮ原色のうちで”最小発光”又は”最大発光”に固定するものを選択する組合せ数ｃについては、数式１１に示す関係が成立する。
【００５９】
【数１１】

【００６０】
例えば、画像出力装置１２におけるＮ原色のうちで”最小発光”又は”最大発光”に固定するものの組合せを全て取り上げて関数Ｅ（α）を最小にする最適解を求めるとしても、数式１１で示される組合せ数ｃと同じ回数だけ数式１０に基づくマトリクス演算を実行すればよいことになる。
こうして各組合せに対応して求めたベクトルα_Ｆの各成分が、数式３と同様の制約条件を満足しているか否かを判別し、満たしていれば、その最適解（局所最適解）がベクトルαの可能領域全体における最適解（大域的最適解）となる。
【００６１】
ここで、マトリクスＰ_０とマトリクスＰ_１は、固定する原色の組合せに対応して予め作成することができる。
従って、数式１０の右辺におけるマトリクス演算で使用され、数式１２で示される画像データ変換マトリクスとしてのマトリクスＭ’は、マトリクスＰ_１とマトリクスＡに基づいて、被写体のスペクトルを表すベクトルｓが決まる以前に予め作成することができる。
【００６２】
【数１２】

【００６３】
次に、色再現処理装置１１の動作について説明する。
色再現処理装置１１は、上述したマトリクスＰ、Ｐ_０、Ｐ_１、Ａ、Ｍ、Ｍ’及びベクトルα_Ｄ等を示すデータを、ベクトルｓにより被写体のスペクトルを表す入力画像データが画像入力装置１０から送られる以前に、予めデータ記憶部２３に記憶しておく。そして、画像入力装置１０から入力画像データを取得すると、数式８あるいは数式１０に基づくマトリクス演算を実行して、数式３の制約条件を満足している解を特定する。これにより、画像出力装置１２の画素ごとにおける各原色の輝度レベルを決定して再現色を出力させるための演算を高速に実行することができる。
以下、色再現処理装置１１の動作について、図２のフローチャートを参照して、より詳細に説明する。
【００６４】
図２のフローチャートに示す処理を開始すると、まず、色再現特性設定部２０が、画像出力装置１２における各原色の輝度レベルと出力画像のスペクトルとの関係を示す情報を設定することにより、画像出力装置１２における色再現特性を設定する（ステップＳ１）。
より具体的には、色再現特性設定部２０は、画像出力装置１２における各原色の輝度レベルと出力画像のスペクトルとの関係を示すデータファイルを読み取り、マトリクス生成部２２へ転送するなどして、画像出力装置１２における色再現特性を設定してもよい。
【００６５】
また、等色関数設定部２１は、被写体や出力画像のスペクトルからＸＹＺ表示系における三刺激値Ｘ、Ｙ、Ｚを求めるための情報を設定することで、等色関数を設定する（ステップＳ２）。
より具体的には、等色関数設定部２１は、ｎ次元のスペクトルデータから三刺激値Ｘ、Ｙ、Ｚを求めるための変換式を示すデータファイルを読み取り、マトリクス生成部２２へ転送するなどして、等色関数を設定してもよい。
【００６６】
この後、マトリクス生成部２２は、色再現特性設定部２０と等色関数設定部２１により設定された情報に基づいて、上述したマトリクスＰ、Ｐ_０、Ｐ_１、Ａ、Ｍ、Ｍ’やベクトルα_Ｄなどを作成し、データ記憶部２３に記憶させる（ステップＳ３）。これにより、画像入力装置１０から色再現処理装置１１に入力画像データが送られる以前の段階で、マトリクス演算に必要なデータを準備することができる。
ここで、マトリクス生成部２２は、マトリクスＡとともに、画像出力装置１２における各原色のうちで”最小発光”又は”最大発光”に固定するものの組合せに対応して決まるマトリクスＰ_０、Ｐ_１、Ｍ’及びベクトルα_Ｄを、固定する原色及び”最小発光”に固定するか”最大発光”に固定するかの組合せごとに、互いに関連づけてデータ記憶部２３に記憶させてもよい。すなわち、例えば図３に示すように、１組のマトリクスＰとマトリクスＭとの組合せ（Ｐ，Ｍ）と、ｃ組のマトリクスＰ_０とマトリクスＰ_１とマトリクスＭ’及びベクトルα_Ｄとの組合せ（Ｐ_０ｋ，Ｐ_１ｋ，Ｍ’_ｋ，α_Ｄｋ）が、マトリクスＡとともにデータ記憶部２３に予め記憶される。なお、ｋ＝１，２，…，ｃである。
また、数式８あるいは数式１０に基づくマトリクス演算に備えて、マトリクスＰ、Ｐ_１の転置を２倍したものを、予めデータ記憶部２３に記憶するようにしてもよい。
【００６７】
マトリクス演算部２４は、画像入力装置１０にて生成された入力画像データを取得すると（ステップＳ４）、データ記憶部２３に記憶されているデータを読み出して、数式８あるいは数式１０に基づくマトリクス演算を実行する（ステップＳ５）。ここで、このマトリクス演算の処理としては、いくつかの手順を適用することができる。例えば、図４のフローチャートに示す第１の演算処理あるいは図５のフローチャートに示す第２の演算処理を、マトリクス演算のための処理として適用することができる。
以下に、上記ステップＳ５におけるマトリクス演算のための処理として適用可能な第１及び第２の演算処理について、それぞれ図４、５のフローチャートを参照して説明する。
【００６８】
図４のフローチャートに示す第１の演算処理を実行する場合、マトリクス演算部２４が、数式８に基づくマトリクス演算と、数式１０に基づくマトリクス演算とを並行して実行し、ベクトルαと、複数種類（組合せ数ｃと同数）のベクトルα_Ｄ、α_Ｆの組合せとを、求める（ステップＳ１０）。
【００６９】
演算結果判定部２５は、マトリクス演算部２４での演算により得られたベクトルα及び複数種類のベクトルα_Ｄ、α_Ｆの組合せのうちから、数式３の制約条件を満足する最適解を選択する（ステップＳ１１）。ここで、演算結果判定部２５は、数式８に基づくマトリクス演算で得られたベクトルαが数式３の制約条件を満足する場合には、ベクトルα_Ｄ、α_Ｆの組合せよりも優先的に、ベクトルαを最適解として選択する。
【００７０】
こうして演算結果判定部２５による最適解の選択が完了すると、図４のフローチャートに示す第１の演算処理は終了し、図２のフローチャートに示す処理にリターンする。
【００７１】
また、図５のフローチャートに示す第２の演算処理を実行する場合には、マトリクス演算部２４が、まず、数式８に基づくマトリクス演算を実行するために、データ記憶部２３からマトリクスＰ、Ａ、Ｍに対応するデータなどを読み出す（ステップＳ２０）。対応するデータを読み出したマトリクス演算部２４は、数式８に基づくマトリクス演算、すなわち画像出力装置１２における原色を固定しない条件でベクトルαを求めるマトリクス演算を実行する（ステップＳ２１）。こうして得られたベクトルαは、演算結果判定部２５により、各成分が数式３の制約条件を満足しているか否かが判定される（ステップＳ２２）。
【００７２】
ベクトルαの全成分が数式３の制約条件を満足している場合（ステップＳ２２にてＹｅｓ）、演算結果判定部２５によりベクトルαが最適解として選択される（ステップ２３）。
【００７３】
一方、ベクトルαのいずれかの成分が数式３の制約条件を満足していない場合（ステップＳ２２にてＮｏ）、求められたベクトルαにおける各成分の値に基づいて、固定する原色に関するデータ設定が実施される（ステップＳ２４）。
【００７４】
例えば、マトリクス演算部２４は、数式８に基づくマトリクス演算により求められたベクトルαの各成分のうち、負（０未満）の成分を０とし、１を超える成分を１とした場合に対応するベクトルα_Ｄを特定する。次に、マトリクス演算部２４は、特定したベクトルα_Ｄと関連づけられてデータ記憶部２３に記憶されているマトリクスＰ_０、Ｐ_１、Ｍ’を、マトリクスＡとともに読み出す。
【００７５】
マトリクス演算部２４は、こうしてベクトルαにおける各成分の値に基づいて設定したベクトルα_Ｄ及びデータ記憶部２３から読み出したマトリクスＰ_０、Ｐ_１、Ａ、Ｍ’を用いて、数式１０に基づくマトリクス演算を実行する。すなわち、マトリクス演算部２４は、画像出力装置１２における原色を固定した条件でベクトルα_Ｆを求めるマトリクス演算を実行する（ステップＳ２５）。こうして求められたベクトルα_Ｄ、α_Ｆの組合せは、ベクトルαに近似する可能性が高いため、最適解となる場合が多い。その場合、演算結果判定部２５は、上記ステップＳ２５のマトリクス演算にて求められたベクトルα_Ｄ、α_Ｆの組合せが数式３の制約条件を満足すると判別し、最適解として選択する（ステップＳ２６）。
【００７６】
演算結果判定部２５による最適解の選択が完了すると、図５のフローチャートに示す第２の演算処理は終了し、図２のフローチャートに示す処理にリターンする。
【００７７】
このように、第１あるいは第２の演算処理がマトリクス演算のための処理として実行されることにより、被写体のスペクトルに最も近似した再現色のスペクトルが画像出力装置１２にて出力可能なスペクトルの範囲内に入らない場合でも、ラグランジュの未定乗数法を適用したマトリクス演算を実行できる。そして、画像出力装置１２にて出力可能なスペクトルの範囲内で被写体のスペクトルに近似する再現色に対応した最適解を、逐次探索によることなく、求めることができる。これにより、再現色を被写体の色と測色的に一致させるとともに被写体の色にスペクトルまで近似させるための演算を、高速に実行することができる。
【００７８】
第１あるいは第２の演算処理といったマトリクス演算の処理が終了し、図２のフローチャートの処理にリターンすると、マトリクス演算部２４は、演算結果判定部２５により選択された最適解を、出力画像データとして画像出力装置１２に供給する（ステップＳ６）。
【００７９】
この後、マトリクス演算部２４は、全入力画像データの変換処理が完了したか否かを判別する（ステップＳ７）。そして、入力画像データの変換処理が完了していないと判別されると（ステップＳ７にてＮｏ）、上述のステップＳ４にリターンする。すなわち、上述のステップＳ４からステップＳ７の処理は、画像出力装置１２における各原色の輝度レベルを画素ごとに特定するために、例えば１フレームの被写体画像に対応する出力画像データが生成されるまで繰り返し実行される。
【００８０】
一方、全入力画像データの変換処理が完了したと判別されると（ステップＳ７にてＹｅｓ）、図２のフローチャートに示す処理が終了する。
【００８１】
こうして色再現処理装置１１から出力画像データを供給された画像出力装置１２は、画素ごとに出力画像データに対応する輝度レベルで各原色を発光させ、その混色により、被写体のスペクトルに近似した再現色の画像を出力することができる。
【００８２】
以上説明したように、この発明によれば、数式４に示すようなスペクトル近似評価式に基づき被写体のスペクトルに最も近似するとされた再現色のスペクトルが画像出力装置１２にて出力可能なスペクトルの範囲内に入らない場合でも、ラグランジュの未定乗数法を適用したマトリクス演算を実行する。このマトリクス演算を実行することで、被写体のスペクトルに近似した再現色を特定するための演算を、高速化することができる。
これにより、高精細の静止画像や動画像にも使用可能となって、被写体のスペクトルに近似させた色再現を、高速に実現できるようになる。
【００８３】
なお、上記実施の形態において、数式８は、数式１３のようにも書ける。
【００８４】
【数１３】

【００８５】
ここで、数式１３の右辺におけるマトリクス演算で使用され、数式１４で示されるマトリクスＱは、マトリクスＰとマトリクスＡに基づいて、被写体のスペクトルを表すベクトルｓが決まる以前に予め作成することができる。そこで、このマトリクスＱを画像データ変換マトリクスとしてデータ記憶部２３に記憶しておいてもよい。
【００８６】
【数１４】

【００８７】
この場合、マトリクス演算部２４は、画像入力装置１０にて生成された入力画像データを取得した際に、データ記憶部２３に記憶されたマトリクスＱのみを読み出すことにより、数式１３すなわち数式８に基づくマトリクス演算を実行することができる。
データ記憶部２３に数式１３で示されるマトリクスＱが記憶されている場合の処理について、以下に説明する。
【００８８】
具体的には、図２のフローチャートに示す処理のステップＳ５にて、マトリクス演算のための処理として図５のフローチャートに示す第２の演算処理を実行するものとする。
データ記憶部２３に上述したマトリクスＱが記憶されている場合、図５のフローチャートに示す第２の演算処理におけるステップＳ２０にて、マトリクス演算部２４はデータ記憶部２３からマトリクスＱに対応するデータのみを読み出せばよい。そして、図５のフローチャートに示す第２の演算処理におけるステップＳ２２にて、ベクトルαの全成分が数式３の制約条件を満足していると判別された場合、入力画像データとマトリクスＱのみを用いて出力画像データを生成できたことになる。
【００８９】
以上の説明のように、マトリクス演算部２４は、画像入力装置１０にて生成された入力画像データと、データ記憶部２３に記憶されている画像データ変換マトリクスとを少なくとも用いたマトリクス演算により、出力画像データを生成することができる。
【００９０】
また、上記実施の形態では、データ記憶部２３に記憶された各種のマトリクスを用いて、入力画像データから出力画像データを生成するものとして説明した。しかしながら、この発明はこれに限定されるものではなく、予め作成したテーブルを参照することにより、入力画像データに対応する出力画像データを特定して画像出力装置１２に供給するようにしてもよい。
以下に、テーブル参照方式により出力画像データを特定して画像出力装置１２に供給するこの発明の変形例について説明する。
【００９１】
図６に示す色再現処理装置３０は、予め作成されたテーブルを参照して、入力画像データに対応する出力画像データを画像出力装置１２に供給する装置である。なお、図６において、図１と同一の構成には同一の符号が付されている。
この色再現処理装置３０は、色再現特性設定部２０と、等色関数設定部２１のほか、テーブル生成部４０と、テーブル記憶部４１と、データ処理部４２とを備えている。
【００９２】
テーブル生成部４０は、色再現特性設定部２０と等色関数設定部２１により設定された情報に基づいて、入力画像データから出力画像データを特定するための処理に使用するテーブルを生成する。例えば、テーブル生成部４０は、画像出力装置１２における原色をいずれも固定しない場合と、原色の少なくともいずれか１つを”最小発光”又は”最大発光”に固定した場合のそれぞれに対応して、数式４で示されるスペクトル近似評価式の最適解を求めるためのテーブルを複数種類生成し、テーブル記憶部４１に記憶させる。また、テーブル生成部４０は、画像出力装置１２の出力特性に基づく数式３の制約条件も加味して、入力画像データから出力画像データを一意に特定可能なテーブルを生成し、テーブル記憶部４１に記憶させてもよい。
【００９３】
テーブル記憶部４１は、例えば全ての入力画像データに対応して決定されるアドレスに、予め求められた出力画像データをそれぞれ記憶することにより、入力画像データに対応する出力画像データを特定可能としたテーブルを、画像データ変換情報として記憶する。
【００９４】
データ処理部４２は、画像入力装置１０にて生成された入力画像データを取得すると、例えば入力画像データに対応するテーブル記憶部４１のアドレスから出力画像データを読み出すなどの処理を実行して、出力画像データを生成する。すなわち、データ処理部４２は、画像入力装置１０にて生成された入力画像データと、テーブル記憶部４１に記憶された画像データ変換情報としてのテーブルとを少なくとも用いた処理により、出力画像データを生成することができる。
データ処理部４２により生成された出力画像データは、画像出力装置１２に供給される。
【００９５】
このようなテーブル参照方式を用いて出力画像データを特定すれば、色再現特性設定部２０により設定された画像出力装置１２の色再現特性や、等色関数設定部２１により設定された等色関数が、非線形性を有する場合に、マトリクス演算によることなく適切な出力画像データを短時間で特定して、画像出力装置１２に供給することができる。
【００９６】
上記実施の形態では、色再現処理装置１１が備えるマトリクス演算部２４において、被写体のスペクトルを表す入力画像データから、画像出力装置１２における各原色の輝度レベルを示す出力画像データが生成されるものとして説明した。しかしながら、この発明はこれに限定されず、例えば画像入力装置１０にて生成されたマルチスペクトル画像データから被写体のスペクトルを推定する処理や、画像出力装置１２における各原色の輝度レベルを表示信号に変換する処理を、色再現処理装置が実行するようにしてもよい。
【００９７】
図７は、スペクトル推定や表示信号変換を行う色再現処理装置５０を備えた、この発明の変形例を示す図である。なお、図７において、図１と同一の構成には同一の符号が付されている。ただし、画像入力装置１０により生成される入力画像データはマルチスペクトル画像データであり、画像出力装置１２に供給される出力画像データはプロジェクタ等の表示装置における表示信号となるデータである。
この色再現処理装置５０は、図１に示す色再現処理装置１１が備える各部位のほか、推定情報設定部６０と、スペクトル推定部６１と、変換情報設定部６２と、表示信号変換部６３とを備えている。
【００９８】
推定情報設定部６０は、画像入力装置１０により生成されたマルチスペクトル画像データとしての入力画像データから被写体のスペクトルを推定するための情報を設定する。ここで、マルチスペクトル画像から被写体のスペクトルを推定するための情報は、照明光スペクトルや被写体の反射率などに基づいて、予め設定することができる。
【００９９】
スペクトル推定部６１は、図１に示すスペクトル推定部１０ａと同様に構成されており、画像入力装置１０により生成された入力画像データを取得すると、推定情報設定部６０により設定された情報に基づくマトリクス演算を実行するなどして、被写体のスペクトルを推定する。スペクトル推定部６１により推定されたスペクトルを表すデータは、マトリクス演算部２４に送られ、上記実施の形態と同様にしてマトリクス演算に供される。
【０１００】
変換情報設定部６２は、画像出力装置１２における各原色の輝度レベルと各原色単色の表示信号値との関係を示す情報を設定するためのものである。ここで、画像出力装置１２における各原色の輝度レベルと各原色単色の表示信号値との関係は、画像出力装置１２における階調特性（トーンカーブ）などに基づいて、予め設定することができる。
【０１０１】
表示信号変換部６３は、図１に示す表示信号変換部１２ａと同様に構成され、マトリクス演算部２４でのマトリクス演算により生成された各原色の輝度レベルを示すデータを、画像出力装置１２における各原色単色の表示信号値を示す出力画像データに変換する。
表示信号変換部６３による変換処理で生成された出力画像データは、画像出力装置１２に供給される。
こうして色再現処理装置５０は、マルチスペクトル画像データとしての入力画像データから、表示信号値を示す出力画像データを生成し、画像出力装置１２に供給することができる。
【０１０２】
上記実施の形態では、被写体のスペクトルに近似する再現色を特定するためのスペクトル近似評価式として数式４に示す評価式を採用し、ユークリッド二乗距離を求める関数Ｅ（α）を目的関数として使用した。しかしながら、この発明はこれに限定されるものではなく、凸関数となる任意のスペクトル近似評価式を用いて、当該評価式を最適化するマトリクス演算を実行するものであってもよい。
例えば数式１５に示す関数Ｇ（α）のような他の距離関数を目的関数とし、マトリクス演算部２４が当該関数Ｇ（α）の最適解を求めるためのマトリクス演算を実行するようにしてもよい。
【０１０３】
【数１５】

ここで、Ｔは正則な任意の行列である。
【０１０４】
また、スペクトル近似評価式を最適化する演算は、ラグランジュの未定乗数法を適用したマトリクス演算に限定されず、画像出力装置１２の出力特性（各原色の輝度レベル等）に基づく制約条件の下で所定のスペクトル近似評価式を最適化する任意の演算方式であってもよい。
【０１０５】
色再現処理装置１１に供給される入力画像データは、画像入力装置１０から直接提供されるものでなくてもよく、例えば所定の記録媒体に記録された入力画像データを色再現処理装置１１が読み出すようにしてもよい。さらに、色再現処理装置１１が出力する出力画像データも、画像出力装置１２に直接供給される必要はなく、例えば所定の記録媒体に一旦記録した後、画像出力装置１２が当該出力画像データを読み出すようにしてもよい。
【０１０６】
上記実施の形態では、被写体の色と出力画像の色を測色的に一致させるために、三刺激値Ｘ、Ｙ、Ｚを用いるものとして説明したが、これに限定されず、例えば、ＸＹＺ表示系に基づいた均等色空間であるＣＩＥＬＡＢ表示系における表色値などを用いてもよい。
【０１０７】
この発明の色再現処理装置は、専用の装置として構成することなく、通常のコンピュータシステムを用いて実現することができる。例えば、コンピュータシステムに上述の動作を実行するためのプログラムを記録した記録媒体（例えば、磁気ディスク、光ディスク、光磁気ディスク、ＩＣメモリー等）から該プログラムをインストールすることにより、上述の処理を実行する色再現処理装置を構成することができる。インストールによって、当該プログラムは、コンピュータシステム内のハードディスク等の記憶装置に記憶され、ＣＰＵ等によって読み出されて実行に供される。
【０１０８】
また、インターネット等の通信ネットワーク上に設けたＦＴＰ（File Transfer Protocol）サーバ上のファイルシステムに当該プログラムを登録し、ＦＴＰクライアントとなるコンピュータシステムにネットワークを介して配信するなどしてもよい。このプログラムをコンピュータシステムにて起動し、ＯＳ（Operating System）の制御下において実行することにより、上述の構成及び処理を実現することができる。さらに、通信ネットワークを介してプログラムを転送しながら起動実行してもよい。この発明の色再現処理装置は、１台のコンピュータシステムで実現する場合に限定されず、分散配置された複数のコンピュータシステムが協働することにより、上述の構成及び処理を実現するものとしてもよい。
【０１０９】
【発明の効果】
この発明によれば、被写体の色を再現するための演算に要する時間を、短縮することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態にかかる色再現処理装置を適用した色再現システムの一構成例を示す図である。
【図２】色再現処理装置の動作を説明するためのフローチャートである。
【図３】データ記憶部の記憶内容を例示する図である。
【図４】第１の演算処理を示すフローチャートである。
【図５】第２の演算処理を示すフローチャートである。
【図６】この発明の実施の形態にかかる色再現処理装置の変形例における構成を示す図である。
【図７】この発明の実施の形態にかかる色再現処理装置の変形例における構成を示す図である。
【符号の説明】
１０ 画像入力装置
１０ａ、６１ スペクトル推定部
１１、３０、５０ 色再現処理装置
１２ 画像出力装置
１２ａ、６３ 表示信号変換部
２０ 色再現特性設定部
２１ 等色関数設定部
２２ マトリクス生成部
２３ データ記憶部
２４ マトリクス演算部
２５ 演算結果判定部
４０ テーブル生成部
４１ テーブル記憶部
６０ 推定情報設定部
６２ 変換情報設定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color reproduction processing device for reproducing the color of a subject in an output image in an image output device, and in particular, color reproduction that enables color reproduction that approximates the subject's spectrum using a number of primary colors. The present invention relates to a processing apparatus.
[0002]
[Prior art]
In order to accurately reproduce the color of a subject, more band input and multi-primary color input / output systems have been developed in place of the conventional 3-band input and 3-primary color display input / output systems.
For example, by increasing the number of bands of the input device, the color reproduction range is expanded compared with the conventional three primary color display by improving the accuracy of the color information of the subject to be acquired or by displaying the six primary colors on the display device. Technology is known.
Such a technique for reproducing the color of an object with a large number of primary colors is called a multi-primary color separation technique, and is an indispensable and important technique for expanding a color reproduction range when outputting an image.
[0003]
Here, when reproducing an arbitrary color using multiple primary colors (N primary colors: N ≧ 4) exceeding three primary colors, it is specified by using a three-dimensional human color perception characteristic as a constraint condition. Can be displayed so that the observer can perceive that the reproduced color is the same color as the original color of the subject. This is a metamerism that even if the spectral distribution is different, if the tristimulus values X, Y, and Z of the XYZ display system (CIE1931 display system) defined by the International Commission on Illumination (CIE) are the same, they appear to be the same color ( Metamerism), called colorimetric color reproduction. The XYZ display system quantitatively expresses a color as a chromaticity value using tristimulus values X, Y and Z obtained by a color matching function obtained based on a color matching experiment. However, there are individual differences in the color matching function, and even a color that a certain observer perceives as the same color may be perceived as a different color by other observers.
[0004]
On the other hand, when displaying with N primary colors, even if the tristimulus values X, Y, and Z are the same, N-3 dimensional degrees of freedom remain. By utilizing this degree of freedom, by approximating the spectrum of the pixel to be reproduced with the N primary colors to the spectrum of the subject to be reproduced at the pixel position, good color reproduction can be performed for different observers. it can.
[0005]
As a method of approximating the reproduction color spectrum to the subject's own spectrum, an optimal solution that minimizes the least square error between the respective spectra is sequentially searched using an approximation method such as a reduced gradient method. It can be considered that As a result, even if the spectrum that is most approximate to the spectrum of the subject does not fall within the range of the spectrum that can be output by the image output device, the spectrum of the subject is approximated within the spectrum that can be output by the image output device. The spectrum can be searched and the reproduced color can be output.
[0006]
[Problems to be solved by the invention]
However, when the optimum solution is obtained by the sequential search, there is a problem that the amount of calculation increases because it is necessary to repeatedly execute a recursive operation. In particular, in a high-quality display device composed of a large number of pixels, if a sequential search is performed for each pixel, it takes a very long time to create data for outputting an image of one frame. For this reason, the technique for obtaining an optimal solution by sequential search can only be used for simulation and simple CG creation, and cannot be used for high-definition still images and moving images.
[0007]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a color reproduction processing apparatus capable of executing a calculation for reproducing the color of a subject with a large number of primary colors at high speed.
[0008]
[Means for Solving the Problems]
  In order to achieve the above object, a color reproduction processing device according to a first aspect of the present invention converts input image data generated by an image input device and corresponding to a spectrum representing the color of a subject into output image data. A color reproduction processing device for supplying to an image output device, wherein the spectrum conversion for specifying the spectrum of the output image from the luminance level of each primary color in the image output deviceMatrixConversion of colorimetric values to obtain colorimetric display system values from spectral dataMatrixImage data conversion created based onMatrixImage data conversion for generating output image data corresponding to the luminance level of each primary color in the image output device from input image data corresponding to the spectrum of the subjectMatrixMemorize multiple typesMatrixStorage means and input image data generated by the image input device, Spectrum conversion matrix, colorimetric value conversion matrix andImage data conversionMatrixData processing means for generating output image data by the processing used, supplying the output image data to the image output device, and causing the image output device to output a reproduction color;The matrix storage means includes at least one of a set of a spectral conversion matrix and an image data conversion matrix, a single set corresponding to a case where none of the primary colors in the image output device is fixed, and a primary color in the image output device. Are stored together with the colorimetric value conversion matrix as a plurality of types corresponding to each of the cases where the light emission is fixed to the minimum light emission or the maximum light emission, and the data processing means corresponds to the case where none of the primary colors in the image output device is fixed. A set of a single spectral conversion matrix and image data conversion matrix is read from the matrix storage means together with the colorimetric value conversion matrix, and output image data is generated under the condition that none of the primary colors in the image output device are fixed. Output image data generated by executing one matrix operation In the image output device, it is determined whether or not the constraint condition defined by the luminance level of each primary color is satisfied. When the constraint condition is satisfied, the output image data is supplied to the image output device and the constraint condition is satisfied. If not, one of a set of a plurality of types of spectral conversion matrixes and image data conversion matrices corresponding to a case where at least one of the primary colors in the image output apparatus is fixed to the minimum emission or maximum emission is read from the matrix storage means. , Executing a second matrix operation for generating output image data under a condition in which at least one of the primary colors in the image output device is fixed to the minimum light emission or the maximum light emission.It is characterized by that.
[0009]
According to the present invention, before obtaining the input image data generated by the image input device, a plurality of types of image data conversion information are created based on the spectrum conversion information and the colorimetric value conversion information, and the conversion information It memorize | stores in a memory | storage means.
The data processing means executes the process using at least the input image data generated by the image input device and the image data conversion information read from the conversion information storage means, so that output image data can be generated. The output image data generated by the data processing means is supplied to the image output device so that the reproduced color can be output.
Thereby, the calculation for reproducing the color of the subject with a large number of primary colors can be executed at high speed.
[0010]
According to a second aspect of the present invention, there is provided a program for inputting the input image data generated by the image input device, supplying the output image data to the image output device, and reproducing the subject color. Image data conversion created based on a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the output device and a colorimetric value conversion matrix for determining a colorimetric display system value from the spectrum data Matrix storage means for storing a plurality of types of image data conversion matrices for generating output image data corresponding to the luminance level of each primary color in the image output device from input image data corresponding to the spectrum of the subject. , Input image data generated by the image input device, spectrum conversion matrix A matrix calculation unit that generates output image data by a matrix calculation using a data, a colorimetric value conversion matrix, and an image data conversion matrix, and none of the primary colors in the image output device is fixed in the matrix storage unit A plurality of types of spectral conversion matrices and images corresponding to a set of a single spectral conversion matrix and image data conversion matrix corresponding to each of the above and a case where at least one of the primary colors in the image output apparatus is fixed to the minimum light emission or the maximum light emission. A set of data conversion matrices is stored together with a colorimetric value conversion matrix, and a single spectral conversion matrix and an image data conversion matrix corresponding to the case where none of the primary colors in the image output device is fixed in the matrix calculation means. Set the colorimetry A first readout process for reading from the matrix storage means together with the conversion matrix; a first computation process for performing a matrix computation for generating output image data using the matrix read out in the first readout process; and the first computation A calculation result determination process for determining whether output image data generated as a result of processing satisfies a constraint condition defined by a luminance level of each primary color in the image output device; and a constraint condition in the calculation result determination process If it is determined that the image data satisfying the above, the first selection process for selecting the output image data generated as a result of the first calculation process as data to be supplied to the image output device, and the constraint condition in the calculation result determination process When it is determined that the image output device is not satisfied, the case where at least one of the primary colors in the image output apparatus is fixed to the minimum light emission or the maximum light emission. A second reading process for reading out the selected matrix based on the result of the first calculation process from the set of a plurality of types of corresponding spectrum conversion matrices and image data conversion matrices, and the second reading process. A second calculation process for performing a matrix calculation for generating output image data using the matrix and the colorimetric value conversion matrix read out in step (b), and the output image data generated as a result of the second calculation process is the image output device. A second selection process for selecting output image data generated as a result of the second calculation process as data to be supplied to the image output device when the constraint condition defined by the luminance level of each primary color is satisfied, A data supply process for supplying the output image data selected in the first selection process or the second selection process to the image output device; Characterized in that to the row.
[0011]
In the color reproduction processing method according to the third aspect of the present invention, input image data generated by an image input device and corresponding to a spectrum representing the color of a subject is converted into output image data and supplied to the image output device. A color reproduction processing method for a color reproduction processing apparatus for obtaining a value of a colorimetric display system from a spectrum conversion matrix and spectrum data for specifying a spectrum of an output image from a luminance level of each primary color in the image output apparatus. Output data corresponding to the luminance level of each primary color in the image output device from the input image data corresponding to the spectrum of the subject. Matrix storage means for storing a plurality of types of image data conversion matrix for the image data, and the image input device The output image data is generated by the processing using the input image data, the spectral conversion matrix, the colorimetric value conversion matrix, and the image data conversion matrix generated by the above, and supplied to the image output device. In the color reproduction processing apparatus including the data processing means for outputting the image data, the matrix storage means is a single unit corresponding to a case where none of the primary colors in the image output apparatus is fixed as a set of a spectral conversion matrix and an image data conversion matrix. One set and at least one of the primary colors in the image output device is stored together with a colorimetric value conversion matrix as a plurality of types corresponding to each case where the minimum emission or the maximum emission is fixed, and the data processing means Corresponding to the case where none of the primary colors in the image output device is fixed A first set for reading out a set of one spectral conversion matrix and image data conversion matrix from the matrix storage means together with a colorimetric value conversion matrix, and generating output image data under the condition that none of the primary colors in the image output apparatus is fixed. A matrix operation is executed, and it is determined whether or not the generated output image data satisfies a constraint condition defined by the luminance level of each primary color in the image output device. If the constraint condition is satisfied, the output image data Are supplied to the image output device, and a plurality of types of spectral conversion matrices and image data conversion corresponding to a case where at least one of the primary colors in the image output device is fixed to the minimum light emission or the maximum light emission when the constraint condition is not satisfied. One of the matrix sets is read from the matrix storage means, and the image A second matrix operation for generating output image data is performed under a condition in which at least one of the primary colors in the output device is fixed to the minimum light emission or the maximum light emission.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a color reproduction system to which a color reproduction processing device of the present invention is applied will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration example of a color reproduction system to which a color reproduction processing apparatus according to an embodiment of the present invention is applied.
As shown in FIG. 1, the color reproduction system includes an image input device 10, a color reproduction processing device 11, and an image output device 12.
[0017]
The image input device 10 includes an imaging device such as a digital camera, a TV camera, or a scanner, for example, and measures the spectral distribution of reflected or transmitted light from an object or the like to obtain a spectral sensitivity for each predetermined number of bands. Generate multispectral image data based on it. For example, the image input device 10 measures the spectral luminance in each band having three, six, or sixteen peak sensitivities at approximately equal intervals in the light wavelength region of 380 nm to 780 nm that is a human visible region. Here, the spectral luminance in each band is the spectral sensitivity of the imaging device in the jth band._j(Λ), where the spectral radiance of illumination is L (λ) and the spectral reflectance of the subject is r (λ), the pixel value ν shown in Equation 1_jRepresented as: Note that λ represents a wavelength.
[0018]
[Expression 1]

[0019]
The number of spectral luminance measurement channels can be determined in accordance with the accuracy of color estimation in the subject such as the object surface or the original image, the performance of the imaging apparatus, and the like.
[0020]
Based on the brightness of each band obtained by such measurement, the image input device 10 generates image data representing the spectrum of the subject with an n-dimensional column vector.
For this purpose, for example, the image input apparatus 10 includes a spectrum estimation unit 10a. The spectrum estimation unit 10a generates image data in which the spectrum of the subject is estimated by applying (multiplying) a predetermined spectrum estimation matrix to the multispectral image data.
[0021]
The number of dimensions n of the column vector representing the subject spectrum may be, for example, the same as the number of channels when the subject color is measured, or the subject spectrum taking into account the illumination light spectrum and the like from the multispectral image data. Any number of dimensions may be used to represent.
The image data generated by the spectrum estimation unit 10a is input image data that is subjected to a predetermined conversion process by the color reproduction processing device 11.
[0022]
The color reproduction processing device 11 executes processing for enabling the color of the subject to be reproduced for each pixel by the image output device 12.
Specifically, the color reproduction processing device 11 performs a predetermined conversion process on the input image data received from the image input device 10 to generate output image data.
[0023]
For example, the color reproduction processing device 11 has a logical configuration as shown in FIG. 1 by executing a program read from a predetermined storage device by a CPU (Central Processing Unit) included in the computer system.
As shown in FIG. 1, the color reproduction processing apparatus 11 includes a color reproduction characteristic setting unit 20, a color matching function setting unit 21, a matrix generation unit 22, a data storage unit 23, a matrix calculation unit 24, and a calculation result. And a determination unit 25.
[0024]
The color reproduction characteristic setting unit 20 is for setting information indicating the relationship between the luminance level of each primary color in the image output device 12 and the spectrum of the output image. Here, the relationship between the luminance level of each primary color in the image output device 12 and the spectrum of the output image is obtained by, for example, measuring the spectral distribution of the sample image output from the image output device 12 using a spectrophotometer or the like. Can be specified in advance.
[0025]
The color matching function setting unit 21 sets information for obtaining tristimulus values X, Y, and Z in the XYZ display system from the spectrum of the subject and the output image. Here, the information for obtaining the tristimulus values X, Y, and Z in the XYZ display system which is a colorimetric display system is, for example, from the average characteristics of data obtained by color matching experiments for a standard observer. The required color matching function is shown.
[0026]
The matrix generation unit 22 is for generating a matrix used for conversion from input image data to output image data based on information set by the color reproduction characteristic setting unit 20 and the color matching function setting unit 21. .
Specifically, the matrix generation unit 22 creates the matrix P based on the information set by the color reproduction characteristic setting unit 20. The matrix P is a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the image output device 12.
Further, the matrix generation unit 22 creates the matrix A based on the information set by the color matching function setting unit 21. The matrix A is a colorimetric value conversion matrix for obtaining tristimulus values X, Y, and Z from the spectrum of the subject and the output image.
[0027]
Further, based on the matrix P and the matrix A, the matrix generation unit 22 creates conversion matrices M and M ′ for the matrix calculation unit 24 to specify the luminance level of each primary color in the image output device 12. These matrices M and M ′ will be described in detail later.
Various matrices generated by the matrix generation unit 22 are stored in the data storage unit 23.
[0028]
The data storage unit 23 stores data indicating a matrix used by the matrix calculation unit 24 for calculation.
Specifically, the data storage unit 23 stores data indicating the matrices P, A, M, M ′ and the like created by the matrix generation unit 22.
[0029]
The matrix calculation unit 24 performs matrix calculation using data read from the data storage unit 23 in order to perform a predetermined conversion process on the input image data sent from the image input device 10. The image data converted by the matrix calculation is supplied to the image output device 12 as output image data when the calculation result determination unit 25 determines that a predetermined constraint condition is satisfied.
[0030]
The calculation result determination unit 25 is for determining whether or not the result of the matrix calculation in the matrix calculation unit 24 satisfies a predetermined constraint condition.
[0031]
The image output apparatus 12 includes an apparatus configured to display an image such as a projector, a CRT (Cathode Ray Tube) display, a liquid crystal display, or a PDP (Plasma Display Panel) display, and outputs image data by mixing primary colors. This is for reproducing the corresponding color.
For example, the image output device 12 includes a display signal conversion unit 12a for converting the luminance level of each primary color indicated by the output image data into a display signal. The display signal conversion unit 12a converts the output image data into a display signal using, for example, a pre-stored look-up table (LUT), thereby generating a display signal with gradation correction according to the tone curve. Can do.
[0032]
Further, the image output device 12 outputs an image corresponding to the output image data sent from the color reproduction processing device 11 by, for example, a mixture of multiple primary colors (N primary colors: N ≧ 4) exceeding three primary colors, and the subject image Reproduce the color pixel by pixel. That is, the image output device 12 emits N primary colors of an emission spectrum that are distributed at almost equal intervals in a light wavelength region of, for example, 380 nm to 780 nm at a luminance level corresponding to output image data for each pixel.
[0033]
The operation of the color reproduction system according to the embodiment of the present invention will be described below.
First, the principle of operation of approximating the reproduction color spectrum to the subject's own spectrum in this color reproduction system will be described.
[0034]
The spectrum of the subject is expressed using a vector s of dimension number n, and the luminance level of the N primary colors in the image output device 12 is expressed using a vector α of dimension number N.
The matrix P is a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the image output device 12. The matrix A is a colorimetric value conversion matrix for obtaining tristimulus values X, Y, and Z in an XYZ display system, which is a colorimetric display system, from an n-dimensional vector indicating a spectrum of a subject or an output image.
At this time, when the color reproduced by the image output device 12 of the N primary colors coincides colorimetrically with the color of the subject itself, the relationship shown in Formula 2 is established.
[0035]
[Expression 2]

[0036]
Here, each component of the vector α indicates a relative luminance level with respect to the maximum light emission of each primary color in the image output device 12, and each component α of the vector α₁, Α₂, ..., α_NSuppose that the relationship shown in Formula 3 holds. That is, Formula 3 shows a constraint condition based on the output characteristics of the image output device 12.
[Equation 3]
0 ≦ α_i≦ 1 (i = 1, 2,..., N)
[0037]
To approximate the pixel spectrum (primary color spectrum) output from the image output device 12 to the subject spectrum under the conditions shown in Equations 2 and 3, as an example, the function E (α) shown in Equation 4 is used. What is necessary is just to obtain | require the vector (alpha) which minimizes. This function E (α) is an objective function for obtaining the Euclidean square distance, and Equation 4 is one of spectrum approximation evaluation equations for specifying a reproduction color approximate to the spectrum of the subject.
[0038]
[Expression 4]

[0039]
Here, the possible area of the vector α as a solution corresponds to the color gamut of the image output device 12, and since Equation 2 is linear and Equation 3 is a convex set, it is a convex set. In addition, the function E (α) shown in Equation 4 as the objective function is a convex function.
Therefore, in the optimization problem for minimizing the function E (α) expressed by Equation 4, the local optimum solution is the global optimum solution.
[0040]
Therefore, first, it is considered that there is no restriction of Equation 3.
At this time, Lagrange's undetermined multiplier method is applied, and a function F represented by Expression 5 is defined based on Expressions 2 and 4.
[0041]
[Equation 5]

Here, η is a three-dimensional column vector indicating a Lagrange multiplier, and t indicates transposition.
[0042]
The gradient of F shown in Equation 5 becomes 0 when the condition shown in Equation 6 is satisfied.
[0043]
[Formula 6]

[0044]
When the relationship expressed by Equation 2 and Equation 6 is arranged, the relationship of Equation 7 is established. In Expression 7, the entire matrix is represented as a collection of partial matrices, and the same applies to other expressions below.
[0045]
[Expression 7]

[0046]
Therefore, the vector α as a solution can be obtained by executing the matrix operation based on Expression 8.
[0047]
[Equation 8]

[0048]
If the vector α obtained in this way satisfies the constraint condition of Expression 3, it is an optimal solution. In this case, under the condition that the reproduced color is colorimetrically matched with the subject color, the reproduced color spectrum that is closest to the subject spectrum falls within the spectrum range that can be output by the image output device 12. Will be.
[0049]
Here, the matrix M as the image data conversion matrix used in the matrix calculation on the right side of Equation 8 and represented by Equation 9 is based on the matrix P and matrix A before the vector s representing the spectrum of the subject is determined in advance. Can be created.
[0050]
[Equation 9]

[0051]
On the other hand, when the vector α obtained by the matrix calculation based on Expression 8 does not satisfy the constraint condition of Expression 3, the spectrum of the subject is obtained under the condition that the reproduced color is colorimetrically matched with the subject color. The most approximate reproduction color spectrum does not fall within the spectrum range that can be output by the image output device 12. In this case, the optimal solution that minimizes the function E (α) expressed by Equation 4 under the constraint expressed by Equation 3 exists at the boundary of the region expressed by Equation 3.
[0052]
Therefore, when the vector α obtained by the matrix calculation based on Expression 8 does not satisfy the constraint condition of Expression 3, the function E (α) expressed by Expression 4 is minimized at the boundary of the possible region of the vector α. The optimal solution is obtained by matrix calculation using Lagrange's undetermined multiplier method.
[0053]
At the possible region boundary of vector α, component α of vector α₁, Α₂, ..., α_NAt least one of these is “0” or “1”. This corresponds to one of the N primary colors in the image output device 12 being “minimum emission” or “maximum emission”.
[0054]
In order to obtain an optimal solution that minimizes the function E (α) in such a situation, one of the components of the vector α is fixed to “0” or “1” in advance, and the Lagrange multiplier method is applied.
[0055]
Where matrix P₀Is a spectral conversion matrix for the primary colors fixed to “minimum emission” or “maximum emission” among the N primary colors in the image output device 12, and the matrix P₁Is a spectral conversion matrix for primary colors that are not fixed.
The vector α_DRepresents the luminance level of the primary color fixed to “minimum emission” or “maximum emission” among the N primary colors in the image output device 12, and the vector α_FRepresents the luminance level of the primary color that is not fixed. That is, the vector α_DIn this case, the component corresponding to the primary color to be fixed is set to “0” or “1” corresponding to the luminance level (“minimum emission” or “maximum emission”).
[0056]
Assuming the above, a vector α that becomes a solution by executing a matrix operation based on Equation 10_FThus, an optimum solution that minimizes the function E (α) when at least one of the N primary colors in the image output device 12 is fixed to “minimum emission” or “maximum emission” can be obtained. it can.
[0057]
[Expression 10]

  Where η₁Is the Lagrange multiplier.
[0058]
Further, for the number of combinations c for selecting the “primary emission” or “maximum emission” among the N primary colors in the image output device 12, the relationship shown in Expression 11 is established.
[0059]
## EQU11 ##

[0060]
For example, even if all combinations of N primary colors in the image output device 12 that are fixed to “minimum emission” or “maximum emission” are taken up and the optimum solution for minimizing the function E (α) is obtained, This means that the matrix operation based on Expression 10 is executed as many times as the number of combinations c to be performed.
Thus, the vector α obtained for each combination_FIt is determined whether or not each of the components satisfies the same constraints as in Equation 3, and if they satisfy, the optimal solution (local optimal solution) is the optimal solution (global optimal) in the entire possible region of vector α Solution).
[0061]
Where matrix P₀And matrix P₁Can be created in advance corresponding to a combination of primary colors to be fixed.
Therefore, the matrix M ′, which is used in the matrix calculation on the right side of Equation 10 and is an image data conversion matrix expressed by Equation 12, is the matrix P.₁And the matrix A can be created in advance before the vector s representing the spectrum of the subject is determined.
[0062]
[Expression 12]

[0063]
Next, the operation of the color reproduction processing device 11 will be described.
The color reproduction processing device 11 has the above-described matrices P, P₀, P₁, A, M, M 'and vector α_DIs stored in advance in the data storage unit 23 before the input image data representing the spectrum of the subject by the vector s is sent from the image input device 10. When the input image data is acquired from the image input device 10, a matrix operation based on Equation 8 or Equation 10 is executed to identify a solution that satisfies the constraint condition of Equation 3. Thereby, the calculation for determining the luminance level of each primary color for each pixel of the image output device 12 and outputting the reproduced color can be executed at high speed.
Hereinafter, the operation of the color reproduction processing device 11 will be described in more detail with reference to the flowchart of FIG.
[0064]
When the processing shown in the flowchart of FIG. 2 is started, first, the color reproduction characteristic setting unit 20 sets information indicating the relationship between the luminance level of each primary color in the image output device 12 and the spectrum of the output image, thereby outputting the image. Color reproduction characteristics in the apparatus 12 are set (step S1).
More specifically, the color reproduction characteristic setting unit 20 reads a data file indicating the relationship between the luminance level of each primary color and the spectrum of the output image in the image output device 12 and transfers it to the matrix generation unit 22. Color reproduction characteristics in the image output device 12 may be set.
[0065]
The color matching function setting unit 21 sets the color matching function by setting information for obtaining the tristimulus values X, Y, and Z in the XYZ display system from the spectrum of the subject and the output image (step S2). .
More specifically, the color matching function setting unit 21 reads a data file indicating a conversion formula for obtaining tristimulus values X, Y, and Z from n-dimensional spectrum data, and transfers the data file to the matrix generation unit 22. Thus, a color matching function may be set.
[0066]
Thereafter, the matrix generation unit 22 performs the above-described matrices P and P based on the information set by the color reproduction characteristic setting unit 20 and the color matching function setting unit 21.₀, P₁, A, M, M 'and vector α_DAre created and stored in the data storage unit 23 (step S3). Thereby, data required for matrix calculation can be prepared before the input image data is sent from the image input device 10 to the color reproduction processing device 11.
Here, the matrix generation unit 22, together with the matrix A, determines the matrix P determined in accordance with the combination of the primary colors in the image output device 12 that are fixed to “minimum emission” or “maximum emission”.₀, P₁, M ′ and vector α_DMay be stored in the data storage unit 23 in association with each other for each combination of primary color to be fixed and “minimum emission” or “maximum emission”. That is, for example, as shown in FIG. 3, a combination (P, M) of one set of matrixes P and M and a matrix P of c sets₀And matrix P₁And matrix M 'and vector α_DCombination with (P_0k, P_1k, M ’_k, Α_Dk) Is previously stored in the data storage unit 23 together with the matrix A. Note that k = 1, 2,..., C.
Further, in preparation for matrix calculation based on Equation 8 or Equation 10, matrices P and P₁You may make it memorize | store in the data memory | storage part 23 what doubled transposition of 2 beforehand.
[0067]
When the matrix calculation unit 24 acquires the input image data generated by the image input device 10 (step S4), the matrix calculation unit 24 reads the data stored in the data storage unit 23, and performs matrix calculation based on Formula 8 or Formula 10. Execute (Step S5). Here, several procedures can be applied as the processing of the matrix calculation. For example, the first calculation process shown in the flowchart of FIG. 4 or the second calculation process shown in the flowchart of FIG. 5 can be applied as a process for matrix calculation.
The first and second calculation processes applicable as the matrix calculation process in step S5 will be described below with reference to the flowcharts of FIGS.
[0068]
When executing the first calculation process shown in the flowchart of FIG. 4, the matrix calculation unit 24 executes the matrix calculation based on Formula 8 and the matrix calculation based on Formula 10 in parallel, and a vector α and a plurality of types are calculated. Vector α (the same number as the number of combinations c)_D, Α_FIs obtained (step S10).
[0069]
The calculation result determination unit 25 includes a vector α obtained by the calculation in the matrix calculation unit 24 and a plurality of types of vectors α._D, Α_FFrom the combinations, an optimal solution that satisfies the constraints of Equation 3 is selected (step S11). Here, when the vector α obtained by the matrix calculation based on Expression 8 satisfies the constraint condition of Expression 3, the calculation result determination unit 25 determines that the vector α_D, Α_FThe vector α is selected as the optimal solution in preference to the combination of
[0070]
When the selection of the optimum solution by the calculation result determination unit 25 is completed in this way, the first calculation process shown in the flowchart of FIG. 4 ends, and the process returns to the process shown in the flowchart of FIG.
[0071]
Further, when executing the second calculation process shown in the flowchart of FIG. 5, the matrix calculation unit 24 first performs the matrix calculation based on Expression 8 from the data storage unit 23 to the matrices P, A, Data corresponding to M is read (step S20). The matrix calculation unit 24 that has read out the corresponding data performs a matrix calculation based on Equation 8, that is, a matrix calculation for obtaining the vector α under the condition that the primary color in the image output device 12 is not fixed (step S21). The vector α obtained in this way is determined by the calculation result determination unit 25 whether or not each component satisfies the constraint condition of Expression 3 (step S22).
[0072]
When all the components of vector α satisfy the constraint condition of Equation 3 (Yes in step S22), vector α is selected as the optimal solution by operation result determination unit 25 (step 23).
[0073]
On the other hand, if any component of the vector α does not satisfy the constraint condition of Equation 3 (No in step S22), the data setting relating to the primary color to be fixed is made based on the value of each component in the obtained vector α. Implemented (step S24).
[0074]
For example, the matrix calculation unit 24 is a vector corresponding to a case where a negative component (less than 0) is set to 0 and a component exceeding 1 is set to 1 among the components of the vector α obtained by the matrix calculation based on Expression 8. α_DIs identified. Next, the matrix calculation unit 24 determines the identified vector α._DAssociated with the matrix P stored in the data storage unit 23₀, P₁, M ′ are read out together with the matrix A.
[0075]
The matrix computing unit 24 thus sets the vector α set based on the value of each component in the vector α._DAnd the matrix P read from the data storage unit 23₀, P₁, A, and M ′, a matrix operation based on Equation 10 is performed. That is, the matrix calculation unit 24 sets the vector α under the condition that the primary colors in the image output device 12 are fixed._FA matrix operation for obtaining is performed (step S25). The vector α thus obtained_D, Α_FSince there is a high possibility that the combination is approximated to the vector α, it is often an optimal solution. In that case, the calculation result determination unit 25 obtains the vector α obtained by the matrix calculation in step S25._D, Α_FIs selected as an optimum solution (step S26).
[0076]
When the selection of the optimum solution by the calculation result determination unit 25 is completed, the second calculation process shown in the flowchart of FIG. 5 ends, and the process returns to the process shown in the flowchart of FIG.
[0077]
As described above, the first or second calculation process is executed as a process for the matrix calculation, so that the spectrum of the reproduction color that most closely approximates the spectrum of the subject can be output by the image output device 12. Even if it does not fall within the range, a matrix operation using Lagrange's undetermined multiplier method can be executed. Then, an optimum solution corresponding to the reproduced color that approximates the spectrum of the subject within the range of the spectrum that can be output by the image output device 12 can be obtained without performing a sequential search. As a result, the calculation for matching the reproduced color with the color of the subject colorimetrically and approximating the color of the subject to the spectrum can be executed at high speed.
[0078]
When the matrix calculation process such as the first or second calculation process is completed and the process returns to the process of the flowchart of FIG. 2, the matrix calculation unit 24 uses the optimum solution selected by the calculation result determination unit 25 as output image data. The image is supplied to the image output device 12 (step S6).
[0079]
Thereafter, the matrix calculation unit 24 determines whether or not the conversion processing for all input image data has been completed (step S7). If it is determined that the input image data conversion process has not been completed (No in step S7), the process returns to step S4 described above. That is, the above-described processing from step S4 to step S7 is repeated until output image data corresponding to, for example, one frame of the subject image is generated in order to specify the luminance level of each primary color in the image output device 12 for each pixel. Executed.
[0080]
On the other hand, when it is determined that the conversion process for all input image data has been completed (Yes in step S7), the process illustrated in the flowchart of FIG. 2 ends.
[0081]
In this way, the image output device 12 supplied with the output image data from the color reproduction processing device 11 emits each primary color at a luminance level corresponding to the output image data for each pixel, and the reproduced color approximates the spectrum of the subject by the mixed color. Images can be output.
[0082]
As described above, according to the present invention, the range of the spectrum that can be output by the image output device 12 with the reproduced color spectrum that is most approximated to the spectrum of the subject based on the spectrum approximation evaluation formula as shown in Formula 4. Even if it does not fall within the range, a matrix operation using Lagrange's undetermined multiplier method is executed. By executing this matrix calculation, it is possible to speed up the calculation for specifying a reproduced color that approximates the spectrum of the subject.
As a result, it can be used for high-definition still images and moving images, and color reproduction that approximates the spectrum of the subject can be realized at high speed.
[0083]
In the above embodiment, Equation 8 can also be written as Equation 13.
[0084]
[Formula 13]

[0085]
Here, the matrix Q used in the matrix calculation on the right side of Expression 13 and represented by Expression 14 can be created in advance before the vector s representing the spectrum of the subject is determined based on the matrix P and the matrix A. Therefore, the matrix Q may be stored in the data storage unit 23 as an image data conversion matrix.
[0086]
[Expression 14]

[0087]
In this case, the matrix calculation unit 24 reads out only the matrix Q stored in the data storage unit 23 when acquiring the input image data generated by the image input device 10, so that the matrix calculation unit 24 is based on Expression 13 or Expression 8. Matrix operations can be performed.
Processing when the matrix Q represented by Expression 13 is stored in the data storage unit 23 will be described below.
[0088]
Specifically, in step S5 of the process shown in the flowchart of FIG. 2, the second calculation process shown in the flowchart of FIG. 5 is executed as a process for matrix calculation.
When the above-described matrix Q is stored in the data storage unit 23, in step S20 in the second calculation process shown in the flowchart of FIG. 5, the matrix calculation unit 24 receives only data corresponding to the matrix Q from the data storage unit 23. Can be read out. If it is determined in step S22 in the second calculation process shown in the flowchart of FIG. 5 that all components of the vector α satisfy the constraint condition of Expression 3, only the input image data and the matrix Q are used. Thus, output image data can be generated.
[0089]
As described above, the matrix calculation unit 24 outputs the matrix by matrix calculation using at least the input image data generated by the image input device 10 and the image data conversion matrix stored in the data storage unit 23. Image data can be generated.
[0090]
In the above embodiment, the output image data is generated from the input image data by using various matrices stored in the data storage unit 23. However, the present invention is not limited to this, and output image data corresponding to input image data may be specified and supplied to the image output device 12 by referring to a table created in advance.
Hereinafter, a modified example of the present invention in which output image data is specified by the table reference method and supplied to the image output apparatus 12 will be described.
[0091]
The color reproduction processing device 30 shown in FIG. 6 is a device that supplies output image data corresponding to input image data to the image output device 12 with reference to a table created in advance. In FIG. 6, the same components as those in FIG. 1 are denoted by the same reference numerals.
The color reproduction processing device 30 includes a color reproduction characteristic setting unit 20 and a color matching function setting unit 21, a table generation unit 40, a table storage unit 41, and a data processing unit 42.
[0092]
Based on the information set by the color reproduction characteristic setting unit 20 and the color matching function setting unit 21, the table generation unit 40 generates a table used for processing for specifying output image data from input image data. For example, the table generation unit 40 corresponds to each of a case where none of the primary colors in the image output device 12 is fixed and a case where at least one of the primary colors is fixed to “minimum emission” or “maximum emission”. A plurality of types of tables for obtaining the optimum solution of the spectrum approximation evaluation formula expressed by Formula 4 are generated and stored in the table storage unit 41. The table generation unit 40 also generates a table that can uniquely identify the output image data from the input image data in consideration of the constraint condition of Expression 3 based on the output characteristics of the image output device 12, and stores the table in the table storage unit 41. It may be memorized.
[0093]
The table storage unit 41 can specify the output image data corresponding to the input image data by storing the output image data obtained in advance, for example, at addresses determined corresponding to all the input image data. The table is stored as image data conversion information.
[0094]
When the input image data generated by the image input device 10 is acquired, the data processing unit 42 executes processing such as reading output image data from the address of the table storage unit 41 corresponding to the input image data, and outputs the data. Generate image data. That is, the data processing unit 42 generates output image data through processing using at least the input image data generated by the image input device 10 and a table as image data conversion information stored in the table storage unit 41. can do.
The output image data generated by the data processing unit 42 is supplied to the image output device 12.
[0095]
If the output image data is specified using such a table reference method, the color reproduction characteristic of the image output device 12 set by the color reproduction characteristic setting unit 20 or the color matching function set by the color matching function setting unit 21 is used. However, when it has non-linearity, appropriate output image data can be specified in a short time and supplied to the image output device 12 without performing matrix calculation.
[0096]
In the above embodiment, the matrix calculation unit 24 included in the color reproduction processing device 11 generates output image data indicating the luminance level of each primary color in the image output device 12 from the input image data indicating the spectrum of the subject. explained. However, the present invention is not limited to this, for example, processing for estimating the spectrum of the subject from the multispectral image data generated by the image input device 10, or converting the luminance level of each primary color in the image output device 12 into a display signal. The color reproduction processing device may execute the processing to be performed.
[0097]
FIG. 7 is a diagram showing a modification of the present invention including a color reproduction processing device 50 that performs spectrum estimation and display signal conversion. In FIG. 7, the same components as those in FIG. 1 are denoted by the same reference numerals. However, the input image data generated by the image input device 10 is multispectral image data, and the output image data supplied to the image output device 12 is data that becomes a display signal in a display device such as a projector.
The color reproduction processing device 50 includes an estimated information setting unit 60, a spectrum estimation unit 61, a conversion information setting unit 62, a display signal conversion unit 63, in addition to the parts included in the color reproduction processing device 11 shown in FIG. 1. It has.
[0098]
The estimation information setting unit 60 sets information for estimating a subject spectrum from input image data as multispectral image data generated by the image input device 10. Here, information for estimating the spectrum of the subject from the multispectral image can be set in advance based on the illumination light spectrum, the reflectance of the subject, and the like.
[0099]
The spectrum estimation unit 61 is configured in the same manner as the spectrum estimation unit 10a illustrated in FIG. 1. When the input image data generated by the image input device 10 is acquired, the matrix based on information set by the estimation information setting unit 60 is obtained. The spectrum of the subject is estimated by performing an operation or the like. Data representing the spectrum estimated by the spectrum estimation unit 61 is sent to the matrix calculation unit 24 and is subjected to matrix calculation in the same manner as in the above embodiment.
[0100]
The conversion information setting unit 62 is for setting information indicating the relationship between the luminance level of each primary color and the display signal value of each primary color in the image output device 12. Here, the relationship between the luminance level of each primary color and the display signal value of each primary color in the image output apparatus 12 can be set in advance based on the gradation characteristics (tone curve) in the image output apparatus 12.
[0101]
The display signal conversion unit 63 is configured in the same manner as the display signal conversion unit 12a shown in FIG. 1, and the data indicating the luminance level of each primary color generated by the matrix calculation in the matrix calculation unit 24 is stored in each image output device 12. Conversion into output image data indicating a display signal value of a single primary color.
The output image data generated by the conversion process by the display signal conversion unit 63 is supplied to the image output device 12.
In this way, the color reproduction processing device 50 can generate output image data indicating the display signal value from the input image data as the multispectral image data, and supply the output image data to the image output device 12.
[0102]
In the above embodiment, the evaluation formula shown in Formula 4 is adopted as the spectrum approximation evaluation formula for specifying the reproduction color approximate to the spectrum of the subject, and the function E (α) for obtaining the Euclidean square distance is used as the objective function. . However, the present invention is not limited to this, and an arbitrary spectral approximation evaluation formula that becomes a convex function may be used to execute a matrix operation that optimizes the evaluation formula.
For example, another distance function such as the function G (α) shown in Formula 15 may be used as the objective function, and the matrix calculation unit 24 may execute matrix calculation for obtaining an optimal solution of the function G (α). .
[0103]
[Expression 15]

Here, T is a regular arbitrary matrix.
[0104]
Further, the calculation for optimizing the spectrum approximation evaluation formula is not limited to the matrix calculation using Lagrange's undetermined multiplier method, but under the constraint based on the output characteristics of the image output device 12 (such as the luminance level of each primary color). Any calculation method for optimizing a predetermined spectrum approximation evaluation formula may be used.
[0105]
The input image data supplied to the color reproduction processing device 11 may not be provided directly from the image input device 10. For example, the color reproduction processing device 11 reads input image data recorded on a predetermined recording medium. You may do it. Further, the output image data output from the color reproduction processing device 11 does not need to be directly supplied to the image output device 12. For example, the image output device 12 reads the output image data after temporarily recording it on a predetermined recording medium. You may do it.
[0106]
In the above-described embodiment, the tristimulus values X, Y, and Z are used to match the subject color and the output image colorimetrically. However, the present invention is not limited to this. For example, XYZ display Color values in the CIELAB display system, which is a uniform color space based on the system, may be used.
[0107]
The color reproduction processing apparatus of the present invention can be realized by using a normal computer system without being configured as a dedicated apparatus. For example, the above-described processing is executed by installing the program from a recording medium (for example, a magnetic disk, an optical disk, a magneto-optical disk, an IC memory, etc.) on which a program for executing the above-described operation is recorded in a computer system. A color reproduction processing apparatus can be configured. By installation, the program is stored in a storage device such as a hard disk in the computer system, and is read out by a CPU or the like for execution.
[0108]
Alternatively, the program may be registered in a file system on an FTP (File Transfer Protocol) server provided on a communication network such as the Internet, and distributed to a computer system serving as an FTP client via the network. By starting this program in a computer system and executing it under the control of an OS (Operating System), the above-described configuration and processing can be realized. Further, the program may be activated and executed while transferring the program via a communication network. The color reproduction processing apparatus according to the present invention is not limited to being realized by a single computer system, and the above-described configuration and processing may be realized by cooperation of a plurality of distributed computer systems. .
[0109]
【The invention's effect】
According to the present invention, the time required for the calculation for reproducing the color of the subject can be shortened.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a color reproduction system to which a color reproduction processing apparatus according to an embodiment of the present invention is applied.
FIG. 2 is a flowchart for explaining the operation of the color reproduction processing apparatus.
FIG. 3 is a diagram illustrating contents stored in a data storage unit;
FIG. 4 is a flowchart showing a first calculation process.
FIG. 5 is a flowchart showing a second calculation process.
FIG. 6 is a diagram showing a configuration in a modification of the color reproduction processing device according to the embodiment of the present invention;
FIG. 7 is a diagram showing a configuration of a modification of the color reproduction processing device according to the embodiment of the present invention.
[Explanation of symbols]
10 Image input device
10a, 61 Spectrum estimation unit
11, 30, 50 color reproduction processing device
12 Image output device
12a, 63 Display signal converter
20 color reproduction characteristics setting section
21 Color matching function setting section
22 Matrix generator
23 Data storage
24 Matrix operation unit
25 Calculation result judgment part
40 Table generator
41 Table storage unit
60 Estimated information setting part
62 Conversion information setting part

Claims (3)

A color reproduction processing device for converting input image data generated by an image input device and corresponding to a spectrum representing the color of a subject into output image data and supplying the output image data to the image output device,
An image created on the basis of a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the image output device and a colorimetric value conversion matrix for determining a colorimetric display system value from the spectrum data. a data transformation matrix, the image data conversion matrix to generate an output image data corresponding to the input image data corresponding to the spectrum of the subject brightness level of each primary color in the image output device, a matrix memory for storing a plurality of kinds Means,
Output image data is generated and supplied to the image output device by processing using the input image data , spectral conversion matrix, colorimetric value conversion matrix, and image data conversion matrix generated by the image input device, and the image output Data processing means for outputting a reproduction color to the apparatus ,
The matrix storage means includes at least one of a set of a spectral conversion matrix and an image data conversion matrix, a single set corresponding to a case where none of the primary colors in the image output apparatus is fixed, and a primary color in the image output apparatus. When fixed to the minimum light emission or the maximum light emission, a plurality of types corresponding to each is stored together with the colorimetric value conversion matrix,
The data processing means reads a set of a single spectral conversion matrix and an image data conversion matrix corresponding to a case where none of the primary colors in the image output device is fixed, together with a colorimetric value conversion matrix, from the matrix storage means, The first matrix calculation for generating output image data under the condition that none of the primary colors in the image output apparatus is fixed, and the generated output image data is defined by the luminance level of each primary color in the image output apparatus It is determined whether or not the condition is satisfied. When the constraint condition is satisfied, the output image data is supplied to the image output device. When the constraint condition is not satisfied, at least one of the primary colors in the image output device is selected. Multiple types of spectral conversion matrix and corresponding to fixed minimum emission or maximum emission A second matrix calculation for reading one of the sets of image data conversion matrices from the matrix storage means and generating output image data under a condition in which at least one of the primary colors in the image output apparatus is fixed to the minimum light emission or the maximum light emission. A color reproduction processing apparatus characterized by executing A computer for inputting the input image data generated by the image input device and supplying the output image data to the image output device to reproduce the color of the subject.
An image created on the basis of a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the image output device and a colorimetric value conversion matrix for determining a colorimetric display system value from the spectrum data. A matrix storage for storing a plurality of types of image data conversion matrix for generating output image data corresponding to the luminance level of each primary color in the image output device from input image data corresponding to the spectrum of the subject. Means,
Function as matrix calculation means for generating output image data by matrix calculation using the input image data, spectral conversion matrix, colorimetric value conversion matrix and image data conversion matrix generated by the image input device;
A set of a single spectral conversion matrix and an image data conversion matrix corresponding to a case where none of the primary colors in the image output device is fixed in the matrix storage means, and at least one of the primary colors in the image output device has minimum light emission or A set of a plurality of types of spectral conversion matrix and image data conversion matrix corresponding to each when fixed to maximum light emission is stored together with a colorimetric value conversion matrix,
In the matrix calculation means,
A first reading process of reading a set of a single spectral conversion matrix and an image data conversion matrix corresponding to a case where none of the primary colors in the image output device is fixed, together with the colorimetric value conversion matrix, from the matrix storage unit;
First calculation processing for performing matrix calculation for generating output image data using the matrix read in the first reading processing;
A calculation result determination process for determining whether output image data generated as a result of the first calculation process satisfies a constraint condition defined by a luminance level of each primary color in the image output device;
A first selection process for selecting output image data generated as a result of the first calculation process as data to be supplied to the image output device when it is determined that the constraint condition is satisfied in the calculation result determination process;
Plural types of spectrum conversion matrices and images corresponding to a case where at least one of the primary colors in the image output apparatus is fixed to the minimum light emission or the maximum light emission when it is determined that the constraint condition is not satisfied in the calculation result determination processing A second reading process for reading out from the matrix storage means a data conversion matrix set selected based on the result of the first calculation process;
A second calculation process for performing a matrix calculation for generating output image data using the matrix and the colorimetric value conversion matrix read in the second reading process;
When the output image data generated as a result of the second arithmetic processing satisfies the constraint condition defined by the luminance level of each primary color in the image output device, the output image data generated as a result of the second arithmetic processing is A second selection process for selecting data to be supplied to the image output device;
A data supply process for supplying the output image data selected in the first selection process or the second selection process to the image output apparatus.   A color reproduction processing method in a color reproduction processing device for converting input image data generated by an image input device and corresponding to a spectrum representing the color of a subject into output image data and supplying the output image data to the image output device,
  An image created on the basis of a spectrum conversion matrix for specifying the spectrum of the output image from the luminance level of each primary color in the image output device and a colorimetric value conversion matrix for determining a colorimetric display system value from the spectrum data. A matrix storage for storing a plurality of types of image data conversion matrix for generating output image data corresponding to the luminance level of each primary color in the image output device from input image data corresponding to the spectrum of the subject. Means,
  Output image data is generated and supplied to the image output device by processing using the input image data, spectral conversion matrix, colorimetric value conversion matrix, and image data conversion matrix generated by the image input device, and the image output In the color reproduction processing apparatus comprising data processing means for causing the apparatus to output reproduction colors,
  The matrix storage means includes at least one of a combination of a spectral conversion matrix and an image data conversion matrix, a single set corresponding to a case where none of the primary colors in the image output device is fixed, and a primary color in the image output device. When fixed to the minimum light emission or the maximum light emission, a plurality of types corresponding to each is stored together with the colorimetric value conversion matrix,
  The data processing means reads a set of a single spectral conversion matrix and an image data conversion matrix corresponding to a case where none of the primary colors in the image output device is fixed, together with a colorimetric value conversion matrix, from the matrix storage means, The first matrix calculation for generating output image data under the condition that none of the primary colors in the image output apparatus is fixed, and the generated output image data is defined by the luminance level of each primary color in the image output apparatus It is determined whether or not the condition is satisfied. When the constraint condition is satisfied, the output image data is supplied to the image output device. When the constraint condition is not satisfied, at least one of the primary colors in the image output device is selected. Multiple types of spectral conversion matrix and corresponding to the case where the minimum emission or maximum emission is fixed A second matrix calculation for reading one of the sets of image data conversion matrices from the matrix storage means and generating output image data under a condition in which at least one of the primary colors in the image output apparatus is fixed to the minimum light emission or the maximum light emission. Run
  A color reproduction processing method characterized by that.

Images