JP4557478B2 - 画像処理装置及び画像処理方法と記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ある環境光の下で被写体を撮影した画像信号を入力し、その画像信号に対して、それを再生して観察する観察環境光を考慮した画像処理を行う画像処理装置及び画像処理方法と記録媒体に関するものである。
【０００２】
【従来の技術】
対象物を撮影して画像信号を発生する、例えばカメラ等の画像入力機器では、その撮影に際して、その対象物を照射している照明光により、その対象物の表色は大きく変化する。しかしながら、このような照明光と、その対象物から得られる画像信号との関係が定量化されておらず、ある対象物が任意の異なる環境光で照射された場合での、その表色に変換する色変換手法が存在しなかった。
【０００３】
従って、このような画像入力機器と、その画像入力機器からの画像信号を入力して表示或いは印刷して出力する画像出力機器との間でのカラーマッチングを行う場合、その画像出力機器における出力画像の観察環境が、画像入力機器における撮影時の環境光と同様であるものとして、カラーマッチングを行っていた。従って、予め定義されている環境光以外の環境光の下における表色について、入力される画像信号と出力された画像とのカラーマッチングを行うことは不可能であった。
【０００４】
画像入力機器における入力画像の撮影時の環境光と、画像出力機器における画像の観察環境光とが、予め定義されている条件と異なる場合に、従来の等色方法による画像処理により出力される画像の色は、入力画像に対して色味が異なって見える。
【０００５】
また、分光分布データ(spectral distribution)を用いて、環境光の分光分布データの異なる環境間における完全等色を実現する例は、例えば特開平９−１７２６４９号公報に開示されているが、この方法では、必ず、対象物の分光反射率Ｒ（λ）を求める必要があった。
【０００６】
本発明は上記従来例に鑑みてなされたもので、被写体の撮影された撮影環境光と、その撮影された被写体の画像信号に基づく出力画像の観察環境光とに基づいて、被写体の画像信号を処理して最適な表色の画像で出力できる画像処理装置及び画像処理方法と記憶媒体を提供することを目的とする。
【０００７】
また本発明の目的は、被写体の撮影環境光と観察環境光とが互いに異なる場合でも、再生された被写体の画像の色が、その観察環境光の下に置いた時に、本来の被写体の色として再現される表色で再生できる画像処理装置及び画像処理方法と記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段とを有することを特徴とする。
【０００９】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理を行う画像処理装置の画像処理方法であって、
前記画像処理装置の取得手段が、対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得工程と、
前記画像処理装置の算出手段が、前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出工程と、
前記画像処理装置の変換手段が、前記取得工程で取得された対象物の各画素の分布分布データと、前記算出工程で算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得工程で取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換工程と、
前記画像処理装置のデータ出力手段が、前記変換工程で変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力工程とを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１１】
図１は、本発明の実施の形態に係る画像処理装置の機能構成の概要を示すブロック図である。
【００１２】
図１において、１０１は撮影環境光の分光分布データ検出部で、撮影装置により対象物を撮影する撮影環境において、その撮影環境における環境光（照明光）の分光分布データ(spectral distribution data)を検出する。１０２はマルチスペクトルカメラで、その撮影環境、即ち、撮影環境光によって照射されている対象物を撮影し、その対象物の画素毎の分光分布データ（画像信号）を獲得する。１０４は観察環境光の分光分布データ検出部で、マルチスペクトルカメラ１０２により撮影される撮影環境光とは異なる環境光である可能性の高い観察環境において、その観察環境での環境光（照明光）の分光分布データを検出している。１０３は信号処理部で、ある撮影環境で環境光（照明光）によって照射されている対象物の画素毎の分光分布データをマルチスペクトルカメラ１０２から入力し、再生環境における観察環境光によって照射される表色について、観察環境光の下で正確な色再現性を有する表色の各画素毎の分光分布データに変換し、更に表色データに変換する。１０６はデータ格納部で、撮影環境光分光分布データ検出部１０１から入力される撮影環境光の分光分布データ、マルチスペクトルカメラ１０２からの、その撮影環境光によって照射されている対象物画像の画素毎の分光分布データ（画像信号）、及び観察環境光分光分布データ検出部１０４により検出された観察環境光のマルチ分光分布データを入力して格納、保持している。１０７は環境光変換データ作成部で、撮影時及び観察時の各環境光の分光分布データより、環境光を変換するための環境光変換データを作成する。１０８は分光反射率変換部で、対象物の撮影環境光の下において撮影された画像の画素毎の分光分布データを、環境光変換データ作成部１０７により生成された環境光変換データに基づいて変換することにより、観察環境光の下で、その対象物の本来の色を再現するための分光分布データを求める。１０９は表色データ変換部で、分光反射率変換部１０８で変換された画素毎の対象物分光分布データを、出力部１０５における表色データに変換する。この信号処理部１０３により変換された表色データは出力部１０５に出力されて表示或いは印刷される。
【００１３】
次に図２及び図３を参照して、本発明の実施の形態１に係る画像処理装置のより詳細な機能構成及びその動作を説明する。
【００１４】
図３は、本発明の実施の形態１に係る画像処理装置の構成を中心に示すブロック図で、前述の図１と共通する部分は同じ番号で示し、その説明を省略する。ここでは、撮影装置とその撮影装置により撮影された画像信号を処理する画像処理装置（信号処理部を中心とする処理部）とが同じ環境光の下に置かれ、画像を出力する画像出力装置が別の環境光の下に置かれている。
【００１５】
図３において、カメラ等の撮影装置は、少なくともマルチスペクトルカメラ１０２及び撮影環境光分光分布データ検出部１０１を有している。画像処理装置は、上述した撮影装置、データ格納部１０６と信号処理部１０３とを有している。また画像出力装置は、撮影環境とは離間している、或いは空間的に分離されているなどの任意の状態で、明らかに撮影環境と異なると判断される観察環境の下で、少なくとも画像を出力するための出力部１０５を備えており、上述の画像処理装置に接続されている。又、この画像出力装置には、それに接続されているか、もしくはそれに組み込まれている観察環境光分光分布データ検出部１０４が設けられている。
【００１６】
この画像処理装置と画像出力装置との間は、通信インターフェース装置３１２、３１３により、双方向でのデータ伝送を可能にして接続されている。
【００１７】
また後に詳細に説明するが、撮影環境光分光分布データ検出部１０１において検出された分光分布データがバンド情報（離散した波長に対応する分光分布データの集合）である場合には、撮影環境光の分光分布データを推測する撮影環境光分光分布データ推測部３０２を有するのが望ましい。またマルチスペクトルカメラ１０２において撮影された分光分布データがバンド情報である場合には、撮影対象物の分光分布データを推測する撮影対象物分光分布データ推測部３０４を有するのが望ましい。更には、観察環境光分光分布データ検出部１０４において検出された分光分布データがバンド情報である場合には、観察環境光分光分布データを推測する観察環境光分光分布データ推測部３１０を備えるのが望ましく、これら分光分布データ推測部３０２，３０４，３１０によって推測されて作成された分光分布データ（所定の波長域で連続した波長に対する分光分布データ）がデータ格納部１０６に格納される。尚、以下の実施の形態２以降に係る説明では、これら分光分布データ推測部を省略して説明するが、分光分布データ検出部１０１，１０４及びマルチスペクトルカメラ１０２の構成に応じて、これら分光分布データ推測部はなくても良いことは勿論である。
【００１８】
次に、図３に示される構成を備える画像処理装置における、実施の形態１に係る分光分布データを用いた画像処理の概要を図２のフローチャートに従って説明する。
【００１９】
まずステップＳ２０１で、ある環境光によって対象物を照射する撮影環境において、マルチスペクトルカメラ１０２によって、その対象物を撮影し、その撮影した映像に応じた画像信号（分光分布データ）を得る。この結果、その撮影環境光の分光分布データＳ0（λ）と、その対象物画像の各画素の分光分布データＲ（λ）とが掛け合わされた分光分布データＳ0（λ）・Ｒ（λ）が得られることになる。
【００２０】
次にステップＳ２０２に進み、そのマルチスペクトルカメラ１０２による撮影環境での環境光の分光分布データが、撮影環境光分光分布データ検出部１０１によって検出されることによって、その撮影時の環境光の分光分布データＳ0（λ）が得られる。尚、この撮影時における環境光の分光分布データＳ0（λ）は、撮影時に環境光で照射される標準白板の反射光をマルチスペクトルカメラ１０２によって撮影した結果から求めても良い。
【００２１】
次にステップＳ２０３に進み、撮影環境とは異なる環境である可能性の高い観察環境での観察環境光の分光分布データＳ1（λ）を得る。これは、観察環境光分光分布データ検出部１０４からの検出結果に基づくものである。この観察環境光の分光分布データＳ1（λ）の検出は、この観察環境光分光分布データ検出部１０４によるものだけでなく、例えば観察環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、観察環境光の分光分布データＳ1（λ）は、通信インターフェース装置３１３、３１２を通じて画像処理装置に伝送される。
【００２２】
尚、この際、その観察環境光の分光分布データＳ1（λ）を圧縮処理部（不図示）によって圧縮し、その圧縮されたデータを、この通信インターフェース装置３１２，３１３を通して伝送しても良い。この場合、画像処理装置では、その受信したデータを圧縮した状態でデータ格納部１０６に格納してもよく、或いはデータ復元部（不図示）により復号した後、データ格納部１０６に格納してもよい。
【００２３】
次にステップＳ２０４に進み、マルチスペクトルカメラ１０２によって撮影された画像信号から、対象物の分光分布データＳ0（λ）・Ｒ（λ）を各画素毎に獲得する。こうして画像処理装置に入力された対象物の分光分布データＳ0（λ）・Ｒ（λ）、及び環境光の分光分布データＳ0（λ）は、信号処理部１０３のデータ格納部１０６に格納されて保存される。
【００２４】
次にステップＳ２０５に進み、撮影環境光の分光分布データＳ0（λ）と、画像信号に基づいて出力された画像を観察する観察環境光の分光分布データＳ1（λ）とに基づいて、その対象物の画像の分光反射率を得るために、環境光変換データＴr（λ）を式（１）の如く定義する。
【００２５】
Ｔr（λ）＝Ｓ1（λ）／Ｓ0（λ） ...式（１）
この環境光変換データＴr（λ）は、環境光変換データ作成部１０７において算出される。
【００２６】
次にステップＳ２０６に進み、データ格納部１０６に格納されている対象物の分光分布データＳ0（λ）・Ｒ（λ）に対して、ステップＳ２０５で求めた環境光変換データＴr（λ）をかけ合わせることによって、観察環境光によって照射される、対象物の画像の画素毎の分光反射率Ｓ1（λ）・Ｒ（λ）を求める。これは式（２）に基づいて求められ、この計算は分光反射率変換部１０８において算出される。
【００２７】
Ｓ1（λ）・Ｒ（λ）＝Ｔr（λ）・Ｓ0（λ）・Ｒ（λ） ...式（２）
次にステップＳ２０７に進み、表色データ変換部１０９により、ステップＳ２０６で得られた観察環境光の分光分布データＳ1（λ）の下での、対象物の画像の画素毎の分光分布データＳ1（λ）・Ｒ（λ）を、適宜選択された表色系での等色関数のコンボリューション演算によって積分し、３つの値を持つ表色ベクトルデータに変換する。ここでは一般的に、３つの値を持つ表色ベクトルデータとしては、Ｌ*ａ*ｂ*表色系や、ＸＹＺ表色系等のデバイス・インデペンデント値が選択される。このように変換された３つの値を持つＸＹＺ表色系のそれぞれの表色ベクトルデータは、通信インターフェース装置３１２、３１３を通じて画像出力装置の出力部１０５に伝送される。
【００２８】
図４は、等色関数の一例であるＸＹＺ表色系における等色関数を説明する図である。図４に示すように、ＸＹＺ表色系のそれぞれの表色ベクトルデータは、それぞれ異なる波長に対応して、各異なる刺激値を有している。
【００２９】
次にステップＳ２０８に進み、ステップＳ２０７において、分光分布データＳ1（λ）・Ｒ（λ）により変換され、出力部１０５に伝送された３つの値を持つ表色ベクトルデータを、その画像出力装置の出力部１０５における観察環境光に最適な出力信号に変換する。この画像出力装置としては、例えばＲＧＢ信号値を用いるディスプレイや、ＣＭＹＫ信号を用いるプリンタ、及びＲＧＢ，ＣＭＹＫ以上の多色信号値を用いるディスプレイ、もしくはプリンタ装置等が挙げられる。このような画像出力装置においては、３値の表色ベクトルに対して、出力部１０５の出力特性を考慮し、その出力部１０５において、適正な表色を行うためのＣＭＳ（カラーマネジメント）等の機能が組み込まれており、ステップＳ２０７における表色データ変換の際には、このようなＣＭＳ機能を参照して、出力部１０５における観察環境光に最適な出力信号に変換する。
【００３０】
そしてステップＳ２０９に進み、ステップＳ２０８で作成された出力信号を出力部１０５に出力して画像の出力を行う。
【００３１】
以上説明した図２のフローチャートで示される各ステップによって作成された画像データの出力部１０５における出力結果は、撮影環境光の下で撮影された対象物を、それとは異なる観察環境光の下で観察した場合に予測される表色で出力されたものとなる。
【００３２】
次に、本実施の形態に係る図２の各ステップをより詳細に説明する。
【００３３】
図５は、本実施の形態に係る撮影装置であるマルチスペクトルカメラ１０２の一例を示すブロック図である。
【００３４】
図５において、５０１はレンズやアイリス等を含む光学ユニットを示す。５０２は回転フィルタで、複数個の波長の異なる分光特性をもつフィルタを、図示のように、円盤の円周に沿って各バンドに対応する波長の順に設置している。この構成において、対象物からの光は光学ユニット５０１を通過し、この回転フィルタ５０２の内の１つのフィルタを通過してＣＣＤ５０４に入力される。これにより、ＣＣＤ５０４から出力されるデータは、各フィルタの波長に応じたバンド情報（離間した波長に応じたデータ）となる。ここで、回転フィルタ５０２を駆動モータ５０３によって回転させることによって、ＣＣＤセンサ５０４に対向して位置付けられるフィルタを切り替えることにより、各波長に対応するバンド情報が得られる。こうして得られた各バンド情報は、ＣＣＤセンサ５０４から出力されてＡ／Ｄ変換器５０５によってデジタル値に変換され、各画素を表わすデジタルデータとしてデータ格納部５０６に格納される。
【００３５】
尚、ここで回転フィルタ５０２にあるフィルタの数は少ない方が、サンプリングにかかる処理時間が短縮されるため高速撮影が可能となる。よって、各バンドに対応するフィルタの枚数を出来る限り少なくしている。
【００３６】
このようなマルチスペクトルカメラ１０２によって獲得された分光分布データは、図６に示すように、各フィルタに対応して獲得された波長に基づいて分解されたバンド毎の情報であるため、そのままでは全波長域に亙る分光分布データとして用いることはできない。本実施の形態に係るマルチスペクトルカメラ１０２によって獲得された限定された波長域でのバンド情報に対し、全波長域に亙る分光分布データをマルチ分光分布データと呼ぶことにする。従って、この実施の形態に係るマルチスペクトルカメラ１０２によってサンプリングされたバンド毎の分光分布データに対して補間処理を行うことによって、そのマルチ分光分布データを獲得するための手段が必要となる。
【００３７】
本実施の形態においては、図６に示すように、回転フィルタ５０２から得られた各バンド毎における出力波長データにおいて、各波長データの中間の値をバンド情報として定義し、点線６０１で示すように、これらバンド情報を補間することによってマルチ分光分布データを得ている。
【００３８】
図３における撮影対象物分光分布データ推測部３０４が、カメラなどの撮影装置内、或いは画像処理装置に設けられていて、上述したバンド毎の情報として入力されるバンドデータより、画像処理装置で用いられるマルチ分光分布データを作成している。
【００３９】
この撮影対象物分光分布データ推測部３０４は、マルチスペクトルカメラ１０２により撮影された各バンド情報に対して逐次処理を実行し、補間により得られたマルチ分光分布データを、マルチスペクトルカメラ１０２の分光分布データとして出力するか、もしくは、画像処理装置内で、マルチスペクトルカメラ１０２から入力された各バンド情報に対して補間による推定処理を行い、その推定されたマルチ分光分布データを画像処理装置のデータ格納部１０６に分光分布データとして格納する構成であっても良い。
【００４０】
また本実施の形態に係る構成においては、環境光の分光分布データを検出する撮影環境光分光分布データ検出部１０１、及び観察環境光分光分布データ検出部１０４において検出された環境光の分光分布データが、上述したような限定された波長域に対応するバンド情報であった場合には、上記と同様に、これら撮影時、及び観察時における環境光の分光分布データを推測する撮影環境光分光分布データ推測部３０２、及び観察環境光分光分布データ推測部３１０を画像処理装置内に備えるのが望ましい。
【００４１】
また本実施の形態では、分光分布データは、従来のＲＧＢといった３信号値に対して複数の値を持つバンド情報として構成されるため、１画素に対するデータ量が大きくなってしまう。
【００４２】
よって、撮影環境光分光分布データ検出部１０１およびマルチスペクトルカメラ１０２より画像処理装置に対して、マルチ分光分布データもしくはマルチ分光分布データに対するバンド情報を伝達する際には、図３では不図示であるが、マルチ分光分布データもしくはマルチ分光分布データに対するバンド情報を圧縮するデータ圧縮部を設け、このデータ圧縮部を用いて伝送すべきデータを圧縮して伝送することにより、これらデータの転送に要する時間を短縮することが可能となる。この場合、画像処理装置は、不図示のデータ復元部を備え、その伝送されたデータを受信し、受信した画像データをそのまま、或いは復元してデータ格納部１０６に格納する。
【００４３】
以下、分光分布データ或いはバンド情報を圧縮する処理の一例を説明する。
【００４４】
図７は、本実施の形態に係るマルチスペクトルカメラ１０２の回転フィルタ５０２に８枚のフィルタが設置されている場合の、各フレームバンド情報の時間的な並びを示した図である。
【００４５】
本実施の形態に係るマルチスペクトルカメラ１０２では、回転フィルタ５０２の回転によって、１枚のフィルタを通した波長のバンド情報を画素毎に獲得しているため、１枚のフィルタにつき１つのフレームバンド情報が獲得される。そして回転フィルタ５０２を回転し、フィルタを順次切り替えて全てのフィルタを用いて撮影を行うと、この回転フィルタ５０２に設けられたフィルタ数分のフレームバンド情報が獲得される。
【００４６】
次に図８に示すように、注目画素に対するフレーム毎のバンド情報に注目し、隣合うフレームバンド情報同士の差分を求めることによって、フレームバンド情報間の相関情報を抽出する。次に１フレーム内でのバンド情報において、各画素間の差分を求めることによって、１フレームのバンド情報内における画素間の相関情報を抽出する。
【００４７】
このようにして、フレームバンド情報間の相関情報と、１フレーム内でのバンド情報の画素間の相関情報に基づいた最適な符号化を行うことにより、効率の良い分光分布データの圧縮を行うことができる。
【００４８】
一方、撮影時及び観察時における環境光における分光分布データの圧縮に関しては、マルチスペクトルカメラ１０２によって撮影された画像の分光分布データに比べて、フレームバンド情報が必ずしも必要ではなく、各フィルタに対応するバンド情報のみがあれば良い。よって、本実施の形態に係る撮影環境光及び観察環境光分光分布データ検出部１０１，１０４は、各フィルタに対応するバンド情報のみを出力する構成であってもよく、またはマルチスペクトルカメラ１０２によって、その環境光の下で標準白色板を撮影することによって環境光の分光分布データを検出する場合には、撮影された画像のフレームバンド情報より、任意の画素におけるフィルタに対応するバンド情報を直接、もしくは任意のいくつかの画素における各フィルタに対応するバンド情報を平均化した値を、バンド情報として出力するようにしても良い。
【００４９】
このような方法によって獲得された撮影時、及び観察時の環境光の分光分布データの各フィルタに対応するバンド情報に対して、バンド情報間の差分を求め、そのバンド情報間の相関情報に基づいた最適な符号化を行うことによって、効率の良い分光分布データの圧縮を行うことができる。
【００５０】
上記の画像処理装置は、撮影装置に接続された、例えば、ホストコンピュータのドライバソフトウェアのような形態で構成され、ホストコンピュータに入力された分光分布データを、そのソフトウェアによって処理して画像出力装置に出力する構成であっても良い。もしくは、この画像処理機能が撮影装置内にファームウェアとして組み込まれており、分光分布データが入力されると、撮影装置内の画像処理機能によって上記画像信号処理が行われ、出力信号に変換した後に画像出力装置に伝送されて出力される構成を持つものであっても良い。又、これらを画像処理方法を実行するプログラム、もしくはそれを記憶する記録媒体であっても良い。
【００５１】
後者の構成に対しては、ＰＣなどの仲介を必要とせず、撮影装置と画像出力装置とが任意の伝達手段（ケーブル、ネットワークなど）によって直接接続することが可能となるため、画像処理システムの構成が簡易となる利点がある。
【００５２】
図３における、画像処理装置における信号処理部１０３は、環境光変換データ作成部１０７、分光反射率変換部１０８、表色データ変換部１０９の３つの信号処理部を備えている。
【００５３】
図９は、これら環境光変換データ作成部１０７、分光反射率変換部１０８、表色データ変換部１０９のそれぞれの詳細な構成を示すブロック図である。
【００５４】
図９において、各分光分布データを格納するメモリ３１６，３１７，３２１及び等色関数データメモリ３２３には、画像処理装置内におけるデータ格納部１０６よりデータが渡される。
【００５５】
環境光変換データ作成部１０７において、撮影環境光分光分布データメモリ３１６よりの撮影環境光分光分布データと、観察環境光分光分布データメモリ３１７よりの観察環境光分光分布データとが割り算器３１８に供給される。この割り算器３１８は、撮影環境光分光分布データを観察環境光分光分布データで割り算し比率を求め（Ｔr（λ）＝Ｓ1（λ）／Ｓ0（λ））、その計算結果を環境光変換データ（Ｔr（λ））として環境光変換データメモリ３１９に格納する。
【００５６】
分光反射率変換部１０８において、積算器３２０は、カメラ１０２により撮影した対象物の分光分布データを記憶している対象物分光分布データメモリ３２１よりの分光分布データと、環境光変換データメモリ３１９よりの環境光変換データとを乗算することにより、撮影した対象物の分光反射率（Ｓ1（λ）・Ｒ（λ））を求めている。
【００５７】
表色データ変換部１０９では、積算器３２２により、先に求められた撮影した対象物の分光分布データと環境光変換データを乗算した結果である積算器３２０の出力と、等色関数データメモリ３２３から供給される等色関数とを乗算し、その計算結果を積分器３２４にてコンボリューション積分演算することによって、３値の表色データを算出し、その結果を表色データ格納メモリ３２５に格納する。
【００５８】
図１０は本実施の形態に係る画像出力装置の構成を示すブロック図である。
【００５９】
図において、処理部３２６は、観察環境光分光分布データ検出部１０４で得られた分光分布データを通信インターフェース装置３１３、通信インターフェース装置３１２を通じて画像処理装置に転送する。また画像処理装置からは、この出力部１０５の独自の色空間における３信号値（ＸＹＺ，Ｌａｂ等）である表色データや、表色データを出力部１０５への出力信号に変換する際、この画像出力装置のカラーマネジメントシステムを観察環境光におけるデバイスプロファイルに変更するために必要な情報が、通信インターフェース装置３１２，３１３を通じて画像出力装置の処理部３２６に伝送される。
【００６０】
この処理部３２６は、表色データを出力信号値に変換するためのカラーマネジメントシステムを含む色変換部３２９を使用して、その観察環境光における画像出力装置に最適な出力信号を作成する。この出力信号は、Ｄ／Ａ変換器３２７によってアナログ信号に変換され、出力エンジン３２８に出力される。
【００６１】
図１１は、本実施の形態に係る画像出力装置に搭載されているカラーマネジメントシステムを、観察環境光に応じたデバイスプロファイルに変更する処理を説明するブロック図である。
【００６２】
ここで、フォン・クリースの色順応予測式によれば、第１の環境光（試験光）の下で、ある物体色の３刺激値を（Ｘ，Ｙ，Ｚ）とし、これを他の環境光（基準光）に変えた時の対応色の３刺激値を（Ｘ'，Ｙ'，Ｚ'）とすると、式（３）が成立する。ここで行列要素ａijは、試験光と基準光の３刺激値から求められる定数である。
【００６３】
【数１】

【００６４】
観察環境光分光分布データ検出部１０４によって検出された観察環境光の分光分布データがバンド情報であった場合には、マルチ分光分布データ推定部３４０によりマルチ分光分布データに変換する。表色データ変換部３４１は、ＸＹＺ表色系の等色関数を等色関数メモリ３４２より獲得し、その観察環境における環境光分光分布データをＸＹＺ値に変換する。これにより、その観察環境光の下での白色のＸＹＺ値が得られる。なお、このＸＹＺ値又は等色関数は、撮影側にある画像処理装置において算出して格納されているので、それを通信インターフェース３１２，３１３を通じて獲得しても良い。
【００６５】
更に、デバイスプロファイル変換データ作成部３４３は、この求められた観察環境光の下での白色値のＸＹＺデータ、及び画像出力装置に搭載されているカラーマネジメントシステムにおける、標準光源下での白色値のＸＹＺ値をデバイスプロファイルメモリ３４５より獲得する。そして、フォン・クリースの色順応予測式を適用することによって、カラーマッチングシステムにおける標準光源下での画像出力装置の出力色の特性を記述したデバイスプロファイルのＸＹＺ値を、その観察環境下での物体色のＸＹＺ値に変換するために前述の行列要素ａijを算出する。
【００６６】
デバイスプロファイル変換部３４４は、こうして算出された行列要素ａijに基づいて、画像出力装置に搭載のカラーマネジメントシステムにおける標準光源に基づくデバイスプロファイルより、その観察環境光の下での画像出力装置のデバイスプロファイルを作成する。こうして作成されたデバイスプロファイルは、その環境光の下でのデバイスプロファイルとして、デバイスプロファイルメモリ３４５に格納される。
【００６７】
上述のように、撮影環境光に基づいて変換された撮影対象物の分光分布データである表色データ３４７が入力されると、色変換部３２９およびＣＭＳ処理部３４６は、前述の観察環境光の下におけるデバイスプロファイルを用いて、その観察環境光に応じて最適化した出力信号を得る。その出力信号はＤ／Ａ変換器３２７によってアナログ信号に変換され、出力エンジン３２８に送られて画像として出力される。これにより、その観察環境光の下で、元の対象物の色に応じた正確な表色を実現することができる。
【００６８】
以上説明した実施の形態１に係る画像処理装置においては、ある環境光によって照射されて撮影された対象物の表色を分光分布データを用いて正確に再現することによって、それとは異なる環境光の下での観察環境であっても、その対象物そのものが、その観察環境光の下に置かれた場合に見られる表色で、その対象物の画像を再生することができる。
【００６９】
また、撮影時と観察時のそれぞれの環境光の分光分布データを取得することによって、画像出力装置のカラーマネジメントシステムに搭載されている標準光源下におけるデバイスプロファイルを、その環境光下におけるデバイスプロファイルに変換できるため、画像出力装置において正確な色再現性を実現することができる。
【００７０】
［実施の形態２］
図１２は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図で、ここでは撮影装置（カメラ）における撮影環境光と、それを再生する画像処理部及び画像出力部の観察環境光が異なっている場合の構成例を示す。尚、前述の実施の形態１と共通する部分は同じ番号で示し、それらの説明を省略する。
即ち、ここでは、少なくともマルチスペクトルカメラ１０２および撮影環境光分光分布データ検出部１０１を備える撮影装置が置かれている撮影環境光の下と、それとは異なる可能性の高い観察環境光の下に置かれた画像処理部（信号処理部４１１等を中心とする処理部）及び出力装置とを備えている。
【００７１】
ここで画像処理部及び出力装置は、少なくともデータ格納部１０６、信号処理部４１１、画像を出力する出力部１０５、及び観察環境光分光分布データ検出部１０４を備えている。ここで撮影装置と画像処理部及び出力装置との間は、各装置に設けられた各通信インターフェース装置４０３，４０４を介して任意の伝達手段によって接続され、双方向でのデータ伝送を可能にしている。
【００７２】
この実施の形態２に係る構成では、画像処理部が観察環境側に存在するため、撮影装置は、少なくとも被写体を撮影するマルチスペクトルカメラ１０２と撮影環境光の分光分布データを検出する撮影環境光分光分布データ検出部１０１、及び観察環境に置かれた画像処理装置に分光分布データを転送するための通信インターフェース装置４０３だけを備えれば良い。これにより撮影装置を軽量小型化できるため、撮影環境が複数存在し、かつ画像処理装置の機能が一体となった撮影装置を各撮影場所に移動することが困難な場合であっても容易に対処できる。
【００７３】
また実施の形態２において、撮影された対象物の分光分布データ、撮影環境光の分光分布データという少なくとも２つ以上の分光分布データを転送する必要があるため、分光分布データを効率良く転送するための分光分布データ圧縮・復元する装置を、通信インターフェース装置４０３、４０４内に備えても良い。
【００７４】
又、マルチスペクトルカメラ１０２および撮影環境光分光分布データ検出部１０１において検出され、或いは撮影された各分光分布データがマルチ分光分布情報でなく上述したバンド情報であった場合は、そのバンド情報をマルチ分光分布データに補間するための、上述したような分光分布データ推定部をデータ格納部１０６に備え、その補間されたマルチ分光分布データを格納するようにしても良い。
【００７５】
この実施の形態２に係る画像処理は、画像出力装置に接続された、例えばホストコンピュータにドライバソフトウェアのような形態で記憶され、ホストコンピュータに入力された分光分布データを画像処理して画像出力装置に出力信号として出力するか、もしくは、画像出力装置内にファームウェアとして組み込まれており、画像出力装置に分光分布データが入力され、そのデータに対して画像処理が行われた後、出力信号に変換されて出力されるものであっても良く、もしくは、そのようなソフトウェアを記憶する記録媒体であっても良い。
【００７６】
［実施の形態３］
前述の実施の形態２では、撮影環境と観察環境という明確な環境条件が設定されて、そこに撮影装置、画像出力装置が設けられていたが、実施の形態３では、撮影環境、観察環境という環境を定義をせず、図１３に示すように、環境Ａ（環境光Ａ）に置かれたマルチスペクトルカメラ６０１、環境光分光分布データ検出部６０２、画像処理装置６０３、通信インターフェース装置６０６及び出力装置６０４を備え、別の環境Ｂ（環境光Ｂ）に置かれたマルチスペクトルカメラ６０７、環境光分光分布データ検出部６０８、画像処理装置６０９、通信インターフェース装置６１０及び出力装置６１１を備えている。これら互いに異なる環境光の下で撮影された対象物を、通信インターフェース装置６０６，６１０によって双方向通信を可能とし、それぞれの環境光の下で、出力装置６０４，６１１によって、別の環境光の下で撮影された対象物の表色を正確に再現できるようにしている。この基本原理は前述の実施の形態と同様であるため、その説明を省略する。
【００７７】
また、ある環境光に置かれた画像処理装置では、その環境光の下で撮影した画像データを取得して処理するのか、或いは別の環境光の下で撮影された対象物の画像データを処理して再現するのかによって、その画像処理を行う画像データの対象とする環境光が撮影環境光になるのか、観察環境光になるかが一義的に定義される。これにより、画像処理装置は前述の実施の形態で説明された信号処理方法を適用して、対象物の表色を適正に再現することが可能となる。
【００７８】
ここで、画像処理速度、メモリ容量などといった画像処理装置の処理能力、または伝達手段におけるデータ伝送速度や、ユーザの指示などによって、上記画像処理装置における演算処理をどちらの環境光に基づいて行うかを決定する構成であっても良い。
【００７９】
［第４実施の形態］
図１４は、ＲＧＢの分光特性を示すグラフ図である。
【００８０】
前述の実施の形態において、マルチスペクトルカメラ１０２，６０１，６０７から出力されるバンド情報である分光分布データ、また環境光分光分布データ検出部１０１，６０２，６０８によって検出されるバンド情報である環境光の分光分布データは、前述の図６に示すような、各波長に応じた出力値である。この第４実施の形態では、分光分布データを示す任意の複数の波長に対応する出力値は、図１４に示すような、ＲＧＢの分光特性を持つものでもよい。尚、このＲＧＢ分光特性データの代わりに、ＲＧＢ値を直接持つようなデータ構成であっても良い。
【００８１】
［第５実施の形態］
前述の実施の形態では、マルチスペクトルカメラは、回転フィルタを備え、各フィルタの波長に応じた分光分布データを出力したが、第５実施の形態に係るマルチスペクトルカメラはこれに限定されるものでなく、例えば、複数の波長の光に対して高感度なフィルタを配置したエリアセンサを備えるマルチスペクトルカメラであっても良い。
【００８２】
また或いは、複数の特定の波長の光源データを切り替えて使用するか、もしくは複数の波長に対して高い感度を有するフィルタを切り替えて使用するラインセンサを備えたマルチスペクトルカメラであっても良い。要は、この第５実施の形態に係るカメラは、各波長に応じた分光分布データを獲得するためのスペクトルカメラであれば良く、その光学的構成には依存しない。
【００８３】
［実施の形態６］
本実施の形態６では、予め、図２のフローチャートのステップＳ２０５で環境光変換データを作成した後、その環境光変換データを画像処理装置のデータ格納部１０６に格納しておき、撮影環境光或は観察環境光のいずれかが変化した場合のみ、その環境光変換データを更新することを特徴としている。
【００８４】
図１５は、この実施の形態６に係る処理を示すフローチャートである。尚、この場合の装置構成は前述の実施の形態１（図１，図３）と同様であるので、その説明を省略する。
【００８５】
まずステップＳ３０１において、スペクトルカメラ１０２により対象物を撮影し、次にステップＳ３０２に進み、撮影環境光分光分布データ検出部１０１からの検出データで示される、そのスペクトルカメラ１０２による撮影環境光の分光分布データが、先に撮影された時点における撮影環境光の分光分布データ（データ格納部１０６に格納されている）と比べて変化しているかどうかを判断する。変化している場合はステップＳ３０３に進み、その撮影環境光分光分布データ検出部１０１からの分光分布データを、新たな撮影環境光分光分布データとしてデータ格納部１０６に格納してステップＳ３０４に進む。
【００８６】
一方ステップＳ３０２で、撮影環境光分光分布データ検出部１０１からの分光分布データが変化していないか、或いは撮影時間間隔や、ユーザからの指示等により、撮影環境光の分光分布データに変化が無いと判断された場合はステップＳ３０４に進み、観察環境光分光分布データ検出部１０４からの分光分布データが、既にデータ格納部１０６に格納されている観察環境光の分光分布データに対して変化しているかを調べ、変化があった場合はステップＳ３０５に進み、観察環境光分光分布データ検出部１０４からの分光分布データを、新たな観察環境光の分光分布データとしてデータ格納部１０６に格納してステップＳ３０６に進む。
【００８７】
またステップＳ３０４で、観察環境光分光分布データ検出部１０４からの分光分布データが変化していないか、或いは撮影時間間隔や、ユーザからの指示等により、観察環境光の分光分布データに変化が無いと判断された場合はステップＳ３０６に進み、その対象物を撮影した環境光の下での対象物の分光分布データをデータ格納部１０６から読み出して獲得する。
【００８８】
次にステップＳ３０７に進み、ステップＳ３０２及びステップＳ３０４における環境光分光分布データの変化の有無によって、撮影環境光もしくは観察環境光のいずれかでも変化しているか否かを判定し、変化している場合はステップＳ３０９に進み、ステップＳ３０３、及び／又はステップＳ３０５において保存された、撮影及び／又は観察環境での環境光の分光分布データに基づいて、その対象物の環境光変換データＴｒ（λ）を再度、算出する。
【００８９】
一方、ステップＳ３０７で、いずれの環境光の分光分布データも変化していないと判断された場合はステップＳ３０８に進み、データ格納部１０６に予め格納されていた環境光変換データＴｒ（λ）を読み出す。
【００９０】
こうしてステップＳ３０８或いはＳ３０９を実行した後ステップＳ３１０に進み、ステップＳ３０８又はＳ３０９で獲得された環境光変換データＴｒ（λ）を用い、分光反射率変換部１０８により、マルチスペクトルカメラ１０２によって撮影された対象物の分光分布データの環境光に基づく変換処理を行う。そしてステップＳ３１１に進み、表色データへの変換を実行する。次にステップＳ３１２に進み、画像出力装置の出力部１０５へ応じた出力信号に変換し、ステップＳ３１３で、その出力信号を出力部１０５に出力する。
【００９１】
この実施の形態６によれば、マルチスペクトルカメラ１０２において連続撮影を行う場合などにおいて、環境光の変化が無かった場合には処理工程を少なくできる。
【００９２】
又実施の形態６によれば、環境光変換データを予め格納しておくことにより、環境光を常に測定することが必要がなくなる。又、予め格納された所望の環境光変換データを用いることによって、所望の環境光によって照射される対象物の分光分布データを推定することができる。
【００９３】
又、撮影環境光及び観察環境光がそれぞれ複数存在する場合には、それぞれの環境光に対応する環境光変換データを記憶しておくことにより、同様に対処できる。
【００９４】
［実施の形態７］
次に本発明の実施の形態７を説明する。この実施の形態７では、予め、或いは最新の撮影及び観察環境光変換データを記憶しておき、そのいずれかが変化した場合にのみ、その変化した環境光の分光分布データを取得して、前述と同様に、その環境における対象物の分光分布データを作成することを特徴とする。
【００９５】
図１６は、この実施の形態７に係る処理を示すフローチャートである。
【００９６】
まずステップＳ３２１で、マルチスペクトルカメラ１０２を用いて対象物を撮影し、ステップＳ３２２で、現時点での撮影環境光分光分布データ検出部１０１からの分光分布データが、先に撮影された時点での撮影環境光分光分布データ（データ格納部１０６に格納されている）と比べて変化しているか否かを判定する。変化している場合にはステップＳ３２４に進み、撮影環境光分光分布データ検出部１０１からの分光分布データを入力してデータ格納部１０６に格納する。
【００９７】
一方ステップＳ３２２で変化していないか、或いは撮影環境光の分光分布データの変化の確認の結果や、撮影時間間隔の条件やユーザからの指定等によって、撮影環境光の分光分布データに変化が無いと判断された場合はステップＳ３２３に進み、データ格納部１０６に格納されていた、先に撮影された時点における撮影環境光の分光分布データを読み出す。
【００９８】
次にステップＳ３２５に進み、現時点での観察環境光分光分布データ検出部１０４からの分光分布データの変化を確認し、データ格納部１０６に格納されていた観察環境光の分光分布データと変化があった場合はステップＳ３２７に進み、観察環境光分光分布データ検出部１０４で検出された撮影環境光の分光分布データを取得する。又、その観察環境光分光分布データ検出部１０４における検出結果が変化していないか、或いは撮影時間間隔の条件やユーザからの指示等によって観察環境光の分光分布データに変化が無いと判断された場合はステップＳ３２６に進み、データ格納部１０６に格納されていた、先に獲得された時点における観察環境光の分光分布データを読み出す。
【００９９】
次にステップＳ３２８に進み、その対象物を撮影した分光分布データを獲得し、次にステップＳ３２９に進み、環境光変換データＴｒ（λ）を算出してステップＳ３３０に進む。こうしてステップＳ３３０乃至Ｓ３３３で、前述の図１５のステップＳ３１０乃至Ｓ３１３と同様にして、撮影された分光分布データの環境光変換処理、表色データへの変換、及び画像出力装置の出力部１０５への出力信号への変換処理を行って、出力部１０５による画像再生を行う
このように実施の形態７によれば、例えばマルチスペクトルカメラ１０２を使用して連続撮影を行った場合や、常に環境光の分光分布データが調整されている環境下の場合など、どちらかの環境光に変化がないような場合には、予め記憶されているデータを使用できるので処理効率を高めることができる。
【０１００】
又実施の形態７によれば、環境光の分光分布データを格納しておくことにより、環境光を必ずしも測定する必要がなくなる。また所望の環境光の分光分布データを格納しておき、それを用いることにより、所望の環境光によって照射される対象物の分光分布データを容易に推定することができる。
【０１０１】
［実施の形態８］
図１７は本発明の実施の形態８に係る構成を示すブロック図で、前述の図３と共通する部分は同じ番号で示し、その説明を省略する。
【０１０２】
図３と比較すると明らかなように、実施の形態８では、撮影装置と画像処理装置及び画像出力装置とがそれぞれ分離されて、通信インターフェース装置３１２，３１３、４０３，４０４を介して接続されており、それぞれ異なる環境に置かれている。また、前述の実施の形態１では、分光分布データをバンド情報として受取るため、それを全波長に亙るマルチ分光分布データに変換するための分光分布データ推測部３０２，３０４，３１０を備えていたのに対し、この実施の形態８では、各環境光の分光分布データを全波長に亙るマルチ分光分布データとして入力するため、これらが不要になっている。
【０１０３】
実施の形態８に係る画像処理装置１３１３は、観察環境及び撮影環境のいずれに対しても独立した関係にあり、各環境より受け取った分光分布データを基に適宜、環境光変換データを作成して対象物の分光分布データの変換を行う。更に、その分光分布データを表色データに変換すべく演算を実行し、その算出された表色データを観察環境光の下に置かれた画像出力装置に出力して画像を再生する。
【０１０４】
この実施の形態８に係る画像処理装置の機能は、コンピュータ等の処理装置における画像処理方法を実行するプログラムにより達成されても良い。
【０１０５】
例えば、図１８に示すように、撮影環境と観察環境といった環境光の属性がそれぞれ異なる可能性がある場合、任意の２つの異なる環境光を持つ環境Ａ，Ｂにおいて、それぞれマルチスペクトルカメラ１４０２、１４０８、環境光分光分布データ検出器１４０１、１４０７、処理装置１４０３、１４０９、通信インターフェース装置１４０５、１３０９、１４１４、出力装置１４０６、１４１２及びユーザＩ／Ｆ１４０５、１４１０を備え、互いに異なる環境光の下で撮影された対象物の画像を、通信インターフェース装置１４０５、１４１１を通じて、対象物の環境光の変換処理を行う画像処理装置１３１３に接続されている。
【０１０６】
この構成において、各装置間で双方向通信を可能とすることにより、画像処理装置１３１３において、撮影環境を環境Ａ或いはＢとして処理するか、或いは観察環境を環境Ａ或いはＢとして処理するかを適宜切り換えることができる。
【０１０７】
また、上記説明においては、画像処理装置１３１３に対する観察環境及び撮影環境が１対１で定義されているが、例えば図１９に示すように、任意の複数の撮影環境８２０〜８２３、及び任意の複数の観察環境８２４〜８２７が伝送回線を通じて接続されていても良い。尚、図１９において、撮影環境と観察環境がそれぞれ同じ数で示されているが、これらはそれぞれ異なっていても良い。
【０１０８】
この場合、画像処理装置１３１３において、指定された撮影環境と観察環境における各分光分布データを獲得し、撮影された対象物の分光分布データを表色変換処理し、指示された観察環境光の下での画像出力装置に対して表色データを送信するような場合にも適用できる。
【０１０９】
例えば、ネットワーク上に色変換処理サーバとして、実施の形態８に係る画像処理装置１３１３を備え、それぞれの撮影環境、観察環境から、そのネットワークを通じて各分光分布データを獲得し、観察環境光に置かれた画像出力装置に対して表色データを送信する色変換処理システムとしても本発明を適用することが出来る。
【０１１０】
［実施の形態９］
図１９に示すように、画像処理装置１３１３が、複数の撮影環境８２０〜８２３と、複数の観察環境８２４〜８２７とに伝送回線を通じて接続されている場合、画像処理装置１３１３は、指定された撮影環境と観察環境の組における各分光分布データを獲得し、撮影された対象物の分光分布データに対して表色変換処理を行い、その観察環境光の下に置かれた画像出力装置に対して表色データを送信する。
【０１１１】
この場合、図１８に示すように、それぞれの環境におけるユーザは、ユーザＩ／Ｆ１４０４、１４１０、及び通信インターフェース装置１４０５、１４１１、１３０９を介して、撮影された対象物の分光分布データ及び撮影環境における撮影光の分光分布データを取得して画像処理装置１３１３のデータ格納部１０６に格納、登録することができる。こうして登録されたデータは画像データベースとして使用可能である。
【０１１２】
図２０は、本発明の実施の形態に９に係る、ユーザが環境光の分光分布データを登録するデータ格納部１０６のデータ構成例を示す図である。
【０１１３】
ここでは各ユーザＩＤに対して、登録されている環境光の種類が、撮影環境光であるか、もしくは観察環境光であるかを示す環境光の種類、及び、環境光の分光分布データが各波長（ｎｍ）毎の値で格納されている。もちろん、環境光の分光分布データは圧縮された形態で登録されていても良いことはいうまでもない。
【０１１４】
図２１は、本発明の実施の形態９に係る処理を示すフローチャートで、ユーザによって行われるデータ格納部１０６への環境光の分光分布データの登録、更新処理を示すフローチャートである。
【０１１５】
まずステップＳ４０１において、撮影環境或いは観察環境における環境光が環境光分光分布データ検出器において検出され、それが取得される。次にステップＳ４０２に進み、その環境光の分光分布データが既にデータ格納部１０６に登録されているかをみる。そうであればステップＳ４０４に進み、その取得した環境光の分光分布データを更新するかを判断する。更新すると判断した場合はステップＳ４０５に進み、そのユーザの登録ＩＤを入力する。次にステップＳ４０６に進み、その入力されたユーザＩＤによって、登録されている環境光の分光分布データの種類が特定される。即ち、図２０に示すデータ格納部１０６のデータ構成において、１つの環境光データの一組が特定される。
【０１１６】
次にステップＳ４０７に進み、その特定された環境光の分光分布データを、ステップＳ４０１で新たに取得した環境光の分光分布データで更新する。そしてステップＳ４０８で、その更新処理を終了する。尚、ステップＳ４０４で更新処理を実行しない場合にはステップＳ４０８に進んで処理を終了する。
【０１１７】
またステップＳ４０２で登録済みでない場合はステップＳ４０３に進み、登録するかどうかを判断する。登録しない場合はステップＳ４０８に進んで処理を終了するが、登録する場合はステップＳ４０９に進み、図２０に示すデータ格納部１０６のデータ構成において、１つの環境光データの一組を登録するためのデータ領域メモリが確保される。そしてステップＳ４１０に進み、そのユーザのＩＤを設定登録し、ステップＳ４１１で、その入力されたユーザＩＤに対応付けて、登録する分光分布データの環境光の種類を指定する。そしてステップＳ４１２に進み、その環境光の分光分布データを、対応するデータ領域に記憶し、それに対応付けてユーザＩＤ、環境光の種類も登録する。そしてステップＳ４０８に進み、登録更新手続きを終了する。
【０１１８】
図２２は、本発明の実施の形態９に係る環境光の分光分布データの削除手続きを示すフローチャートである。
【０１１９】
まずステップＳ４２１で、登録されている環境光の分光分布データを削除する指示が入力されたかどうかを判断する。削除しない時はステップＳ４２８に進み、この削除処理を終了する。削除する場合はステップＳ４２２に進み、そのユーザの登録ＩＤが入力され、次にステップＳ４２３に進み、そのユーザＩＤに対応して格納されている環境光の分光分布データの中から、削除すべき環境光の分光分布データの環境光の種類が指定される。これによって、図２０に示すデータ格納部１０６のうちの、削除すべき環境光データの組が特定される。
【０１２０】
次にステップＳ４２４に進み、その特定された環境光の分光分布データを削除する。そしてステップＳ４２５に進み、その削除した環境光の分光分布データの環境光の種類を示す情報を削除する。次にステップＳ４２６に進み、その削除した環境光の分光分布データの登録ＩＤ（ユーザＩＤ）を削除する。次にステップＳ４２７に進み、その削除した１つの環境光データの組を格納していたデータ格納部１０６のメモリ領域を開放する。そしてステップＳ４２８に進み、この削除手続きを終了する。
【０１２１】
以上説明したように実施の形態９によれば、各環境光の分光分布データをユーザ毎に登録可能にし、又そのユーザ毎のデータの更新、削除を行うことができる。
【０１２２】
これにより、ユーザが、登録された各環境光の分光分布データを指定することによって、各環境光の分光分布データを毎回受け取ることなく、上述した色変換処理を行うことができる。
【０１２３】
これにより、各環境間でのデータ伝送によるトラフィックの効率向上を図ることができ、画像処理装置は、対象物の分光分布データに対して環境光の変換処理のみを行えばよく、撮影及び観察環境光の分光分布データを取得するための手段を不要にできる。
【０１２４】
また実施の形態９では、ユーザによって、ユーザＩ／Ｆ及び通信インターフェース装置を介してデータ格納部１０６に格納された各環境光の分光分布データの登録、更新、削除を行っていた。しかし、環境光を検出した時間からの経過時間等により、その情報の登録、更新、削除するかどうかを自動的に判別してもよい。
【０１２５】
また、登録ＩＤ及び分光分布データの種類、撮影した環境光の分光分布データを指定するパラメータ、及び撮影された対象物の分光分布データを、図２０に示されるデータ構成と同様に設定し、データ格納部１０６に登録、更新或いは削除できるようにしても良い。
【０１２６】
以上説明したように実施の形態９によれば、ある環境下で撮影された対象物の分光分布データ及びその撮影環境光の分光分布データ、及びその対象物の出力画像を観察する観察環境光の分光分布データを用いて、異なる照明光の下で撮影され、別の環境光の下で観察される対象物の画像を正確に再現することができる。
【０１２７】
また、複数の撮影部と複数の画像出力部とを有する画像処理部を複数持つ必要が無く、一つの画像処理装置によって、複数の画像入力部および複数の画像出力部とを接続して正確な色再現を行うことができる。
【０１２８】
［実施の形態１０］
次に本発明の実施の形態１０について説明する。
【０１２９】
図２３は、この実施の形態１０に係る構成を説明するブロック図で、前述の図１と共通する部分は同じ番号で示し、それらの説明を省略する。
【０１３０】
図２３において、１１０は再現環境光分光分布データ検出部で、撮影環境及び観察環境とは異なる照明光（再現環境光）で照射される環境において、その再現環境光の下での分光分布データを得ている。この再現環境光の下での分光分布データはデータ格納部１０６に送られて記憶される。信号処理部１０３は、撮影環境光の下で撮影された対象物の分光分布データを取得し、その対象物の画像を再現する再現環境光の分光分布データに応じた表色データに変換する。更に、その再現された画像を観察する観察環境光の下での分光分布データに変換する。
【０１３１】
図２４はこの処理を示すフローチャート、そして図２５は、この実施の形態１０に係る詳細構成を示すブロック図で、図１７と共通する部分は同じ番号で示し、その説明を省略する。
【０１３２】
この図２５と図１７から明らかなように、実施の形態１０に係る画像処理装置では、再現環境を示す環境光の分光分布データが再現環境光分光分布データ検出部１１０で検出され、通信インターフェース装置３０５、通信インターフェース装置４０４を介して入力される点が前述の実施の形態８と異なっている。その他の構成及び処理に関しては、基本的に前述の実施の形態と同様であるので、詳しい説明は省略する。
【０１３３】
次に実施の形態１０に係る分光分布データを用いた画像処理の概要を図２４のフローチャートに従って説明する。
【０１３４】
まずステップＳ５０１で、ある環境光によって対象物を照射する撮影環境において、マルチスペクトルカメラ１０２によって、その対象物を撮影する。これによりステップＳ５０２で、その撮影した映像に応じた画像信号（分光分布データ）を得る。この結果、その撮影環境における環境光の分光分布データＳ0（λ）と、その対象物の画像信号における各画素の分光分布データＲ（λ）とが掛け合わされた分光分布データＳ0（λ）・Ｒ（λ）が得られることになる。
【０１３５】
次にステップＳ５０３に進み、そのマルチスペクトルカメラ１０２による撮影環境での環境光の分光分布データが、撮影環境光分光分布データ検出部１０１によって検出されることによって、その撮影時の環境光の分光分布データＳ0（λ）が得られる。尚、この撮影環境光の分光分布データＳ0（λ）は、撮影時に環境光で照射される標準白板の反射光をマルチスペクトルカメラ１０２によって撮影した結果から求めても良い。こうして得られた撮影環境光の分光分布データＳ0（λ）と、分光分布データＳ0（λ）・Ｒ（λ）は、通信インターフェース装置４０３，４０４を介して画像処理装置に伝送され、データ格納部１０６に格納される。
【０１３６】
次にステップＳ５０４に進み、撮影環境とは異なる環境である可能性の高い観察環境での観察環境光の分光分布データＳ1（λ）を得る。これは、観察環境光分光分布データ検出部１０４からの検出結果に基づくものである。この観察環境光の分光分布データＳ1（λ）の検出は、この検出部１０４によるものだけでなく、例えば観察環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、観察環境光の分光分布データＳ1（λ）は、通信インターフェース装置３１３、３１２を通じて、その画像処理装置に伝送され、データ格納部１０６に格納される。
【０１３７】
尚、この際、その観察環境における観察環境光の分光分布データＳ1（λ）を圧縮処理部（不図示）によって圧縮し、その圧縮されたデータを、この通信インターフェース装置３１２，３１３を通して伝送しても良い。この場合、その画像処理装置では、その受信したデータを圧縮したままデータ格納部１０６に格納してもよく、或いはデータ復元部（不図示）により復号した後、データ格納部１０６に格納してもよい。
【０１３８】
次にステップＳ５０５に進み、再現環境光分光分布データ検出部１１０により、対象物を照明したい環境光条件を有し、撮影環境光及び観察環境光とは異なる再現環境光での分光分布データＳ2（λ）を得る。この再現環境光の分光分布データＳ2（λ）の検出は、この検出部１１０によるものだけでなく、例えば再現環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、再現環境光の分光分布データＳ2（λ）は、通信インターフェース装置３０５、４０４を通じて、その画像処理装置に伝送される。この際、この分光分布データＳ2（λ）もまた圧縮されて伝送されて、データ格納部１０６に格納されてもよい。
【０１３９】
次にステップＳ５０６に進み、撮影環境光によって照射された対象物の画像信号から得られた分光分布データＳ0（λ）と、その画像信号に基づいて出力された画像を観察する観察環境光の分光分布データＳ1（λ）、及び再現環境における再現環境光の分光分布データＳ2（λ）とに基づいて、その対象物の画像の分光反射率を得るために、環境光変換データＴr（λ）を式（４）の如く定義する。
【０１４０】
Ｔr（λ）＝Ｓ2（λ）／（Ｓ0（λ）・Ｓ1（λ）） ...式（４）
この環境光変換データＴr（λ）は、環境光変換データ作成部１０７において算出される。
【０１４１】
次にステップＳ５０７に進み、データ格納部１０６に格納されている対象物の分光分布データＳ0（λ）・Ｒ（λ）に対して、ステップＳ５０６で求められた環境光変換データＴr（λ）をかけ合わせることによって、観察環境光によって照射される、対象物の画像の画素毎の分光反射率を求める。これは式（５）に基づいて求められ、この計算は分光反射率変換部１０８において算出される。
【０１４２】
Ｒ（λ）・Ｓ2（λ）／Ｓ1（λ）＝Ｔr（λ）・Ｒ（λ）Ｓ0（λ） ...式（５）
次にステップＳ５０８に進み、表色データ変換部１０９により、ステップＳ５０４で得られた観察環境光の分光分布データＳ1（λ）の下での、対象物の画像の画素毎の分光分布データＲ（λ）・Ｓ2（λ）／Ｓ1（λ）を、適宜選択された表色系での等色関数のコンボリューション演算によって積分し、３つの値を持つ表色ベクトルデータに変換する。ここでは一般的に、３つの値を持つ表色ベクトルデータとしては、Ｌ*ａ*ｂ*表色系や、ＸＹＺ表色系等のデバイス・インデペンデント値が選択される。このように変換された３つの値を持つＸＹＺ表色系のそれぞれの表色ベクトルデータは、通信インターフェース装置３１２、３１３を通じて画像出力装置の出力部１０５に伝送される。
【０１４３】
この等色関数の一例は前述の図４に示すような、ＸＹＺ表色系における等色関数である。
【０１４４】
次にステップＳ５０９に進み、ステップＳ５０８において、分光分布データＲ（λ）・Ｓ2（λ）／Ｓ1（λ）により変換され、出力部１０５に伝送された３つの値を持つ表色ベクトルデータを、その画像出力装置の出力部１０５における観察環境光に最適な出力信号に変換する。この画像出力装置としては、例えばＲＧＢ信号値を用いるディスプレイや、ＣＭＹＫ信号を用いるプリンタ、及びＲＧＢ，ＣＭＹＫ以上の多色信号値を用いるディスプレイ、もしくはプリンタ装置等が挙げられる。このような画像出力装置においては、３値の表色ベクトルに対して、出力部１０５の出力特性を考慮し、その出力部１０５において、適正な表色を行うためのＣＭＳ（カラーマネジメント）等の機能が組み込まれており、ステップＳ５０８における表色データ変換の際には、このようなＣＭＳ機能を参照して、出力部１０５における観察環境光に最適な出力信号に変換する。
【０１４５】
そしてステップＳ５１０に進み、ステップＳ５０９で作成された出力信号を出力部１０５に出力して、画像の出力を行う。
【０１４６】
以上説明した図２４のフローチャートで示される各ステップによって作成された画像データの、出力部１０５における出力結果は、撮影環境光の下で撮影された対象物を、それとは異なる再現環境光の下で観察した場合の表色を、観察環境光の下で、正確な色再現性を有する表色で出力されたものとなる。
【０１４７】
尚、この実施の形態１０に係るマルチスペクトルカメラ１０２の構成は前述の図５に示す如くであり、それによるバンド情報の処理に関しても、上述の実施の形態と同様であるので、その詳細な説明を省略する。
【０１４８】
この場合、図２５に示すブロック図において、撮影対象物分光分布データ推測部が、マルチスペクトルカメラ１０２もしくは画像処理装置に設けられており、バンド毎の情報として入力されたバンド情報より画像処理装置において用いられるマルチ分光分布データを作成する。この処理は前述した実施の形態と同様である。
【０１４９】
図２５に示す画像処理装置における信号処理部１０３では、環境光変換データ作成部１０７、分光反射率変換部１０８、表色データ変換部１０９の３つの信号処理部を有している。図２６は、これら環境光変換データ作成部１０７、分光反射率変換部１０８及び表色データ変換部１０９の詳細な構成を示すブロック図である。
【０１５０】
図２６において、分光分布データ等を格納するデータメモリ２３１５，２３１６，２３１７、２３２１には、画像処理装置におけるデータ格納部１０６より、適宜データが渡される。
【０１５１】
環境光変換データ作成部１０７は、撮影環境光分光分布データメモリ２３１５より撮影環境光の分光分布データＳ0（λ）を、観察環境光分光分布データメモリ２３１７より観察環境光の分光分布データＳ1（λ）を、そして再現環境光分光分布データメモリ２３１６より再現環境光の分光分布データＳ2（λ）を入力し、これらを割り算器２３１９に供給して、再現環境光の分光分布データを、撮影環境光の分光分布データおよび観察環境光の分光分布データで除算した結果（Ｓ2（λ）／（Ｓ0（λ）・Ｓ1（λ）））を環境光変換データＴr（λ）として環境光変換データメモリ２３１９に格納する。
【０１５２】
分光反射率変換部１０８は、対象物分光分布データメモリ２３２１より撮影した対象物の分光分布データ（Ｓ0（λ）・Ｒ（λ））を読み出して積算部２３２０に供給し、環境光変換データメモリ２３１９からの環境光変換データＴr（λ）と乗算し、その結果（Ｒ（λ）・Ｓ2（λ）／Ｓ1（λ））が求められる。
【０１５３】
表色データ変換部１０９は、対象物の分光分布データと環境光変換データとを乗算した結果に対して、積算器２３２４において、等色関数データメモリ２３２３より供給される等色関数と乗算し、その乗算結果を、積分器２３２４によりコンボリューション演算することによって３値の表色データを算出し、それを表色データ格納メモリ２３２５に格納する。
【０１５４】
図２５に示す観察環境における画像出力装置を含む出力部１０５の詳細な構成は、前述の図１０の構成と同じであるので、その説明を省略する。また、画像処理装置は、前述の図１１の構成と同じであるので、その説明を省略する。
【０１５５】
［実施の形態１１］
実施の形態１１では、画像処理装置に通信インターフェース装置を通じて接続される観察環境、観察環境、再現環境は１組の関係に限られるものでなく、任意の数の環境に接続されてもよい。よって、各環境における分光分布データを獲得し、データ格納部１０６に格納される構成を備えることを特徴とする。
【０１５６】
よって実施の形態１１では、図２７に示すように、複数の環境１〜ｎと、環境１〜ｍとが、伝送回線を介して画像処理装置に接続されている。これにより、これら複数の環境の中から、ユーザの指定等によって、所望の撮影環境、観察環境及び再現環境を含む一組の環境群を定義することができる。
【０１５７】
これら撮影環境、観察環境及び再現環境として定義された各環境から伝送回線を通じて、撮影された対象物の撮影環境光の分光分布データを獲得し、更に再現環境として定義された環境からの環境光の分光分布データを入力し、観察環境として定義された環境におかれた画像出力装置に対して最適な表色データを得ることができる。
【０１５８】
例えば、実施の形態１１における画像処理装置を、ネットワーク上に色変換処理サーバとして構築し、定義された撮影環境、観察環境および再現環境の各環境からネットワークを通じて、それぞれ対応する環境光の分光分布データ、及び撮影された対象物の分光分布データを獲得し、観察環境として定義された環境光の下に置かれた画像出力装置に対して表色データを出力して画像の再生を行うことができる。
【０１５９】
実施の形態１１によれば、任意に定義された２つの環境間で、所望の環境光に置かれた対象物の表色を、観察環境光の下で正確な表色で再現できる。
【０１６０】
これにより、ネットワークに接続された、それぞれ異なる環境での撮影と、その最適な色再生とを実現できる。
【０１６１】
［実施の形態１２］
実施の形態１２においては、図２８のブロック図に示すように、画像処理装置２３１２が、マルチスペクトルカメラ２４０２によって撮影された対象物の分光分布データ、および各環境光の分光分布データを格納するデータ格納装置２４１０を有し、また、これら分光分布データの登録、更新、削除、読み出しを行うデータベース管理部を備える処理装置２４０９を有することを特徴とする。
【０１６２】
また画像処理装置２３１２は、伝送回線及び通信インターフェース装置２４０４，２４０７，２４０８，２４１３を通じて、撮影環境、観察環境、再現環境に接続されている。これら各環境は、それぞれ任意の数あってもよく、各環境での環境光における分光分布データを獲得し、それらをデータ格納装置２４１０に格納することができることを特徴としている。
【０１６３】
撮影環境は、撮影環境光の分光分布を測定する照明スペクトラム検出器２４０１，マルチスペクトルカメラ２４０２，処理装置２４０３及び通信インターフェース装置２４０４を有し、再現環境は、再現環境光での分光分布を測定する照明スペクトラム検出器２４０５，処理装置２４０６及び通信インターフェース装置２４０７を有している。更に、観察環境は、観察環境光の分光分布を測定する照明スペクトラム検出器２４１１，ユーザインターフェース２４１４，処理装置２４１２、出力装置２４１５及び通信インターフェース装置２４１３を有しており、それぞれ各環境での環境光（照明光）の分光分布データを取得して、画像処理装置２３１２に伝送している。
【０１６４】
この実施の形態１２では、任意の再現環境において検出された再現環境光の分光分布データ、任意の対象物を撮影した撮影環境において検出された撮影環境光の分光分布データ、及び太陽光、白熱灯、蛍光灯といった標準的な環境光の分光分布データを予めデータ格納装置２４１０に登録しておく。
【０１６５】
任意の観察環境では、観察側におけるユーザはユーザＩ／Ｆ２４１４により、伝送回線、通信インターフェース装置２４１３を通して画像処理装置２３１２に指示し、データ格納装置２４１０より、任意の撮影された対象物の分光分布データ、及び任意の再現環境光の分光分布データを指定することができる。また、処理装置２４１２は、観察環境における環境光の分光分布データを照明スペクトル検出器２４１１で検出し、通信インターフェース２４１３を通じて画像処理装置２３１２に伝送することができる。
【０１６６】
画像処理装置２３１２は、観察環境から選択された、任意の撮影された対象物の分光分布データより、対応する撮影環境光の分光分布データを選択する。そして、その選択した撮影環境光の分光分布データと、再現環境光の分光分布データおよび伝送された観察環境光の分光分布データより、実施の形態１２に係る環境光変換データを作成する。この環境光変換データにより、撮影された対象物の分光分布データを変換した後、表色データに変換し、その表色データを観察環境に伝送する。これを受信した観察環境では、その受信した表色データを出力装置２４１５への出力信号に変換し、出力装置２４１５で出力する。
【０１６７】
以上の処理によって、観察環境において、ユーザが指定した所望の再現環境の照明光によって照射される、異なる撮影環境光の下で撮影された対象物の表色を、観察環境光の下で、正確に色再現して画像再生できる。
【０１６８】
また観察環境における照明スペクトル検出器２４１１によって検出された観察環境光の分光分布データを、画像処理装置２３１２のデータ格納装置２４１０に登録することも可能であり、ユーザＩＤなどの識別情報と共に、画像処理装置２３１２のデータベース管理部に対して登録するように指示できる。こうして登録された観察環境光の分光分布データを指定すると、画像処理装置２３１２の処理装置２４０９は、データ格納装置２４１０から、その指定された観察環境光の分光分布データを読み出す。
【０１６９】
これにより、観察環境から環境光の分光分布データを毎回伝送する必要が無くなり、伝送回線のトラフィック効率が向上する。また、登録された分光分布データの更新、削除も容易に行うことが可能である。
【０１７０】
実施の形態１２は、例えばインターネットを使用したオンラインによるカタログショッピング等に適用することができる。即ち、カタログショッピングを希望するユーザに対し、画像処理装置２３１２のデータ格納装置２４１０に登録されている商品の表色を、ユーザが所望する再現環境光の下において見た色に再現できる。これにより、ユーザはその商品の購入に関して適切な判断を下すことが可能となる。
【０１７１】
更に、ユーザが、マルチスペクトルカメラ２４０２によって撮影した画像の分光分布データ、及びその撮影時に検出した撮影環境光の分光分布データを画像処理装置２３１２に登録することもできる。これによりユーザは、実施の形態１２に係る画像処理装置２３１２において、撮影した画像の色を、所望する再現環境光の下での表色に変換することが可能となる。また、他のユーザが、登録（および公開）されている撮影された画像を指定した場合にも適用出来る。
【０１７２】
また、ユーザが任意に検出した再現環境光の分光分布データをデータ格納装置２４００に、任意に登録することもできる。
【０１７３】
実施の形態１２に係る画像処理装置２３１２は、撮影された対象物の分光分布データ、及び撮影環境における環境光の分光分布データ、再現環境光の分光分布データを格納・登録して管理するデータ格納装置２４１０を有し、任意の観察環境におけるユーザが、その観察環境光の分光分布データをデータ格納装置２４１０に、そのユーザＩＤとともに登録できる。そして、ある観察環境におけるユーザが、ある対象物の撮影された画像データ（分光分布データ）と、その再現環境光の分光分布データ、登録されている観察環境光の分光分布データとを指定すると、画像処理装置２３１２は、その対象物を撮影した撮影環境、再現環境及び観察環境の各分光分布データを基に、その撮影された対象物の分光分布データに対して表色変換処理を行い、その指定された観察環境光に置かれた出力装置２４１５に対して、その変換した表色データを送信して出力するようにしてもよい。
【０１７４】
又、ある観察環境にあるユーザが、画像処理装置２３１２に登録されている観察環境光の分光分布データを指定することにより、画像処理装置２３１２は、その観察環境からの環境光の分光分布データを毎回受け取る必要がなくなる。これにより、データ転送におけるトラフィックの効率向上を実現できる。
【０１７５】
実施の形態１２では、画像処理装置２３１２は、複数の撮影環境からの環境光の分光分布データを受け取ることができるため、各撮影環境における撮影環境光の分光分布データ、或いは環境光変換データそのものをデータ格納装置２４１０に格納しておく。そして各撮影環境光の分光分布データが変化しなければ、画像処理装置２３１２は、撮影された対象物の分光分布データのみを受け取るだけで、撮影環境光の分光分布データはデータ格納装置２４１０を参照すれば良い。これにより、データ転送の効率を向上できる。
【０１７６】
又、この画像処理装置２３１２は、例えばネットワーク上に設けられた色変換処理サーバとして機能しても良い。
【０１７７】
［実施の形態１３］
前述の実施の形態５において示したように、さまざまなマルチスペクトルカメラの構成があることから、撮影された分光分布データに対して、マルチスペクトルカメラの特性が影響を及ぼす。そのため、被写体が同じであっても構成が異なるカメラによって撮影された分光分布データには違いが生じる。
【０１７８】
この影響を補正するために、マルチスペクトルカメラの特性情報や補正情報を記載したプロファイルデータを保持する機構及び、プロファイルデータに則り撮影された分光分布データを補正する機構を、マルチスペクトルカメラが持ち、カメラ側で補正を施し、その補正済み分光分布データを、画像処理装置に渡すような構成であって良い。
【０１７９】
もしくは、マルチスペクトルカメラが撮影した分光分布データとプロファイルデータを、画像入力信号として画像処理装置／信号処理部に渡し、画像処理装置／信号処理部では、撮影された分光分布データを補正する機構によって、受け取ったプロファイルデータに則り、分光分布データの補正を行なった後、画像処理を行なうような構成としても良い。
【０１８０】
なお、本実施の形態は、前記実施の形態１から実施の形態１２における、マルチスペクトルカメラや分光分布データ検出器とそれらに付随する処理装置、画像処理装置／信号処理部においても適用可能であることは言うまでもない。
【０１８１】
これによって、撮影された分光分布データに対してマルチスペクトルカメラの特性による影響を排除した後、画像処理を行うことによって、出力装置において正確な色再現性を実現する。
【０１８２】
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
【０１８３】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【０１８４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。
【０１８５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８７】
以上説明したように本実施の形態によれば、撮影された対象物の分光分布データおよび異なる２つの環境光の分光分布データより求められた環境光変換データを用いた分光反射率変換処理によって、対象物の分光反射率Ｒ（λ）を求めることなく、異なる環境光によって照射される対象物の分光分布データを正確に再現することができる。
【０１８８】
本発明は上述した実施の形態に限定されるものでなく、上述した特許請求の範囲により規定されるものである。
【０１８９】
【発明の効果】
以上説明したように本発明によれば、被写体の撮影された撮影環境光と、その撮影された被写体の画像信号に基づく出力画像の観察環境光とに基づいて、被写体の画像信号を処理して最適な表色の画像で出力できる。
【０１９０】
また本発明によれば、被写体の撮影環境光と観察環境光とが互いに異なる場合でも、再生された被写体の画像の色が、その観察環境光の下に置いた時に、本来の被写体の色として再現される表色で再生できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る機能構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理の流れを示すフローチャートである。
【図３】本発明の実施の形態１に係る画像処理システムの構成を示すブロック図である。
【図４】等色関数の一例を示すグラフ図である。
【図５】本実施の形態に係るマルチスペクトルカメラの構成例を示すブロック図である。
【図６】本実施の形態に係るマルチスペクトルカメラにおいてフィルタを通して得られるバンド情報を示すグラフ図である。
【図７】分光分布データの圧縮処理を説明する図である。
【図８】分光分布データの圧縮処理を説明する図である。
【図９】本発明の実施の形態に係る信号処理部の構成を示すブロック図である。
【図１０】本発明の実施の形態に係る出力装置の構成を示すブロック図である。
【図１１】本発明の実施の形態に係るカラーマネジメントシステムの修正方法を示すブロック図である。
【図１２】本発明の実施の形態２に係る画像処理システムの構成例を示すブロック図である。
【図１３】本発明の実施の形態３に係る構成例を示すブロック図である。
【図１４】スペクトルカメラにおけるＲＧＢフィルタ特性の一例を示す図である。
【図１５】本発明の実施の形態６に係る画像処理ステムにおける処理の流れを示すフローチャートである。
【図１６】本発明の実施の形態７に係る画像処理ステムにおける処理の流れを示すフローチャートである。
【図１７】本発明の実施の形態８に係る画像処理システムの構成例を示すブロック図である。
【図１８】本発明の実施の形態８に係る信号処理部の構成を示すブロック図である。
【図１９】本発明の実施の形態９に係る画像出力システムの構成を示すブロック図である。
【図２０】本発明の実施の形態９に係る、ユーザが環境光分光分布データを登録するデータ格納部のデータ構成例を示す図である。
【図２１】本発明の実施の形態９に係る処理を示すフローチャートである。
【図２２】本発明の実施の形態９に係る環境光の分光分布データの削除手続きを示すフローチャートである。
【図２３】本発明の実施の形態１０に係る画像処理システムの構成を説明するブロック図である。
【図２４】本発明の実施の形態１０に係る処理を示すフローチャートである。
【図２５】本発明の実施の形態１０に係る画像処理システムの構成を示すブロック図である。
【図２６】本発明の実施の形態１０に係る信号処理部の構成を示すブロック図である。
【図２７】本発明の実施の形態１１に係る画像処理システムの構成を説明するブロック図である。
【図２８】本発明の実施の形態１２に係る画像処理システムの構成を示すブロック図である。

Claims (9)

1. 対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
   前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
   前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
   前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段と、
   を有することを特徴とする画像処理装置。
2. 撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理を行う画像処理装置の画像処理方法であって、
   前記画像処理装置の取得手段が、対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得工程と、
   前記画像処理装置の算出手段が、前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出工程と、
   前記画像処理装置の変換手段が、前記取得工程で取得された対象物の各画素の分布分布データと、前記算出工程で算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得工程で取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換工程と、
   前記画像処理装置のデータ出力手段が、前記変換工程で変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力工程と、
   を有することを特徴とする画像処理方法。
3. 前記画像処理装置の画像出力手段が、前記データ出力工程で出力される前記出力信号に基づいて画像を出力する画像出力工程を更に有することを特徴とする請求項２に記載の画像処理方法。
4. 前記画像処理装置の分光分布データ変換手段が、前記分光分布データが離散波長に対応するデータである場合、前記分光分布データを補間して所定の波長帯に亙る分光分布データに変換する分光分布データ変換工程を更に有することを特徴とする請求項２に記載の画像処理方法。
5. 前記取得工程では、メモリに記憶された前記撮影環境光の分光分布データ及び前記観察環境光の分光分布データを取得することを特徴とする請求項２又は３に記載の画像処理方法。
6. 前記画像処理装置のデータ圧縮手段が、前記分光分布データを圧縮するデータ圧縮工程を更に有することを特徴とする請求項２に記載の画像処理方法。
7. 前記画像信号の分光分布データが離散波長に対応するデータである場合、前記データ圧縮工程は、フレーム間における画素値の相関、及びフレーム内における画素値の相関に基づいて圧縮を行うことを特徴とする請求項６に記載の画像処理方法。
8. 前記環境情報を示す分光分布データが離散波長に対応する出力値を有する場合、前記データ圧縮工程は、前記出力値の相関に基づいて圧縮することを特徴とする請求項６に記載の画像処理方法。
9. 撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理をコンピュータに実行させるために、該コンピュータを、
   対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
   前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
   前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
   前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段と、を有する画像処理装置として機能させる制御プログラムを記憶したことを特徴とする、コンピュータにより読取り可能な記録媒体。

Images