JP4262359B2 - 色再現システム - Google Patents
色再現システム Download PDFInfo
- Publication number
- JP4262359B2 JP4262359B2 JP17277299A JP17277299A JP4262359B2 JP 4262359 B2 JP4262359 B2 JP 4262359B2 JP 17277299 A JP17277299 A JP 17277299A JP 17277299 A JP17277299 A JP 17277299A JP 4262359 B2 JP4262359 B2 JP 4262359B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- photographing
- spectral reflectance
- data
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタルカメラのようなカラー撮影装置により被写体を撮影して得られた撮影信号から被写体の色を推定するカラー画像処理装置を有する色再現システムに関する。
【０００２】
【従来の技術】
ディジタルカメラのようなカラー撮影装置により被写体を撮影して得られたカラー画像データから、所定の照明光下における被写体の色情報を推定する方法として、特開平１１−８５９５２に開示されているように、被写体の分光反射率の基底関数や相関行列などの被写体に関する先見情報を用いる方法が提案されている。このように被写体の分光反射率の基底関数や相関行列を用いることにより、撮影時の撮影照明光と観察時の観察照明光とが異なっていても、高精度に色推定を行って色再現を行うことが可能となる。
【０００３】
この従来の色再現システムでは、色推定のための情報としてカラー撮影装置の分光感度、撮影照明光スペクトルおよび観察照明光スペクトルを用いているが、従来ではこれらのデータは高価な分光計等の測定器を用いて測定することにより得られており、そのためシステムを簡便にすることができなかった。
【０００４】
一方、特開平１１−９６３３３には、被写体の撮影と同時もしくは同一条件で分光反射率が既知の色票等の対象物を撮影することにより得られた対象物撮影信号を利用することにより、カラー撮影装置の分光感度や撮影照明光スペクトルの測定データを用いずに、所定の照明光下における被写体の色情報を推定する方法が開示されている。この方法によると、カラー撮影装置の分光感度を予め測定する必要がなく、撮影時に撮影照明光のスペクトルを分光計により測定する必要もなくなるため、システムを簡便にすることができる。
【０００５】
例えば、病院Ａにおいてディジタルカメラにより患者の顔色と同時に所定の色票を撮影して病院Ｂにそれらの画像データを伝送し、患者の顔色を病院Ｂの観察照明光下に患者がいた場合の色に変換してモニタ等に表示することができる。このようなシステムとすることにより、撮影側である病院Ａには分光計等の高価な測定器が不要となり、簡便に正確な色再現を行うためのデータが得られる。
【０００６】
【発明が解決しようとする課題】
上述したような被写体の先見情報を用いて照明の色変換を行う色再現システムにおいて、被写体の色を正確に推定するためには、カラー撮影装置が被写体の分光反射率の基底関数以上の独立した分光感度を有することが条件となる。人肌の分光反射率は、３個の基底関数の線形和により高精度に表すことができることが知られているが、一般に自然界の物体全ての分光反射率を表すためには、より多くの基底関数が必要になると考えられる。そのため、通常の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドのディジタルカメラにより、簡便かつ高精度に色再現を行うためには、被写体が３つの基底関数により近似可能な分光反射率を持つ対象物に限定されてしまうという問題点があった。
【０００７】
本発明は、限られたバンド数のカラー撮影装置を用いて多様な被写体の色を高精度に推定して再現できる色再現システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の色再現システムの第１の態様は、カラー画像撮影手段と、カラー画像出力手段と、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、から構成される色再現システムにおいて、前記カラー画像処理装置は、前記複数の被写体分光反射率データと前記カラー画像撮影手段の分光感度と前記撮影明光のスペクトルの積の波長積分に基づいて複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、を行うことを特徴とする。
【０００９】
本発明の色再現システムの第２の態様は、カラー画像撮影手段と、カラー画像出力手段と、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、から構成される色再現システムにおいて、前記カラー画像処理装置は、前記複数の被写体分光反射率データと前記分光反射率が既知の対象物の撮影信号と前記対象物の分光反射率データとを用いて、複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、を行うことを特徴とする。
【００１０】
より具体的には、前記の本発明の色再現システムの第１の態様または第２の態様において、前記カラー画像処理装置は、予め所定の複数の撮影信号に対して前記第１乃至第５の処理を実施することで、前記所定の複数の撮影信号を前記カラー画像出力手段の入力信号に変換して、それらをルックアップテーブルデータとして記憶しておき、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた変換対象の被写体撮影信号が与えられた時、前記第１乃至第５の処理を実施することなく、前記ルックアップテーブルデータを参照して前記変換対象の被写体撮影信号を前記カラー画像出力手段の入力信号に変換する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る色再現システムの構成を示す。この色再現システムは、カラー撮影手段としてのディジタルカメラ１、色推定機能を有するカラー画像処理装置２およびＣＲＴモニタ３から構成されている。
【００１５】
ディジタルカメラ１は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドを有し、被写体を撮影して各画素３チャンネルの撮影画像データ（被写体撮影信号）をカラー画像処理装置２へ出力する。各チャンネルの撮影画像データは、１バイト（０〜２５５）の信号値を持つ。カラー画像処理装置２は、入力された撮影画像データをＣＲＴモニタ３での表示に適したモニタ入力信号に変換してＣＲＴモニタ３へ出力する。ＣＲＴモニタ３上には、被写体像がカラー画像として表示される。
【００１６】
カラー画像処理装置２は色変換装置１１、ＬＵＴデータ記憶装置１２、ＬＵＴデータ算出装置１３および特性データ記憶装置１４から構成されている。
【００１７】
以下、カラー画像処理装置２の各部について詳細に説明すると、まず色変換装置１１は、ディジタルカメラ１から入力された撮影画像データのＲＧＢ値をアドレスとしてＬＵＴデータ記憶装置１２内のルックアップテーブル（ＬＵＴ）データＲ′Ｇ′Ｂ′を参照し、これらのＬＵＴデータＲ′Ｇ′Ｂ′をモニタ入力信号としてＣＲＴモニタ３へ出力する。
【００１８】
ＬＵＴデータ記憶装置１２には、ＬＵＴデータ算出装置１３により算出されたＬＵＴデータが予め記憶されている。ＬＵＴデータは撮影画像データの全ての信号値に対応するモニタ入力信号、すなわち２５６3のＲ′Ｇ′Ｂ′からなる。Ｒ′Ｇ′Ｂ′は、各チャンネル１バイトのデータである。
【００１９】
ＬＵＴデータ算出装置１３は、特性データ記憶装置１４からディジタルカメラ１の分光感度（以下、ディジタルカメラ分光感度という）、撮影照明光スペクトル、観察照明光スペクトル、等色関数、被写体分光反射率データベースおよびモニタプロファイルのデータを入力し、これらのデータを用いてＬＵＴデータを算出する。特性データ記憶装置１４に記憶されているディジタルカメラ分光感度、撮影照明光スペクトル、観察照明光スペクトル、等色関数、被写体分光反射率データベースおよびモニタプロファイルの各データは、次のように構成されている。
【００２０】
まず、ディジタルカメラ分光感度のデータは、３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で設定されたＲ、Ｇ、Ｂの各色に対するディジタルカメラ１の分光感度を表す感度データｒ（λ）、ｇ（λ）、ｂ（λ）からなる。
【００２１】
撮影照明光スペクトル及び観察照明光スペクトルのデータは、それぞれ３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で設定された撮影照明光スペクトル及び観察照明光の光強度データＥｍ（λ）、Ｅｏ（λ）からなる。
【００２２】
等色関数のデータは、ＣＩＥの規定する２度視野等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）であり、３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔でデータを持つように補間されたデータとなっている。
【００２３】
被写体分光反射率データベースは、自然界の物について測定された多数の分光反射率データの集合である。図２は、被写体反射率データベースの例であり、各分光反射率データｆｉ（λ）（ｉ＝１〜１０００）は３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で分光反射率のデータを持ち、登録番号ｉによりそれぞれ管理されている。被写体分光反射率データベースに登録されている分光反射率データｆｉ（λ）は、例えば植物、岩石、人肌、色票、絵画、染料、顔料など、ディジタルカメラ１により撮影される対象物のデータが含まれる。ここでは、対象物の数は１０００としたが、必要に応じてデータの追加も可能であり、登録データ数は任意である。
【００２４】
モニタプロファイルは、マトリクスＭと階調補正データＴとからなる。マトリクスＭは、ＣＲＴモニタ３の入力信号（２５５，０，０）、（０，２５５，０）、（０，０，２５５）における表示色のＸＹＺ三刺激値であるＸrＹrＺr、ＸgＹgＺg、ＸbＹbＺbを要素とする行列
【００２５】
【数１】
【００２６】
である。階調補正データは、ＣＲＴモニタ３のＲＧＢ各入力信号に対する出力輝度の関係を与えるテーブルデータγｒ（Ｒ）、γｇ（Ｇ）、γｂ（Ｂ）であり、それぞれ最大値は１に正規化されている。
【００２７】
図３に、ＬＵＴデータ算出装置１３の構成を示す。このＬＵＴデータ算出装置１３はデータベース撮影信号算出装置２１、データベース撮影信号記憶装置２２、サンプルデータ算出装置２３および色変換ＬＵＴ算出装置２４から構成されている。データベース撮影信号算出装置２１では、図１の特性データ記憶装置１４からディジタルカメラ分光感度、撮影照明光スペクトル、被写体分光反射率データベースの全データを読み込み、被写体分光反射率データベースにおける各分光反射率データｆi（λ）について、撮影信号ＲiＧiＢiの値を算出する。撮影信号ＲiＧiＢiの値は、次式
【００２８】
【数２】
【００２９】
によって推定される。これらの撮影信号ＲiＧiＢiの値は、図４に示すように対応する分光反射率データｆi（λ）の登録番号ｉと共にデータベース撮影信号記憶装置２２に記憶される。サンプルデータ算出装置２３では、次式で定める所定のサンプル撮影信号ＲsＧsＢsからの距離Ｄiが小さい順に１０個の撮影信号ＲiＧiＢiを選択し、その登録番号ｉとサンプル撮影信号ＲsＧsＢsを色変換ＬＵＴ算出装置２４へ出力する。
【００３０】
【数３】
【００３１】
図５に、サンプル撮影信号ＲsＧsＢsとその最近傍１０個の撮影信号ＲiＧiＢiの選択の概念図を示した。＋印がサンプル撮影信号ＲsＧsＢsであり、黒丸が最近傍１０個の撮影信号ＲiＧiＢiである。
【００３２】
図６に、色変換ＬＵＴ算出装置２４の構成を示す。この色変換ＬＵＴ算出装置２４は相関行列算出装置３１、三刺激値算出装置３２、モニタ入力信号算出装置３３およびデータ補間装置３４から構成されている。図３のサンプルデータ算出装置２３において選択された１０個の撮影信号ＲiＧiＢiの登録番号ｉは、相関行列算出装置３１に入力される。相関行列算出装置３１では、登録番号ｉの被写体分光反射率データを被写体分光反射率サンプルデータとして図１の特性データ記憶装置１４から入力し、それらの相関行列Ａ
【００３３】
【数４】
【００３４】
を被写体の分光反射率の統計データとして算出する。ここで、＜＞は１０個の分光反射率データの平均値を表す。
【００３５】
こうして相関行列算出装置３１で算出された相関行列Ａは、三刺激値算出装置３２に出力される。三刺激値算出装置３２は、相関行列算出装置３１から入力された相関行列Ａ、図１の特性データ記憶装置１４から入力されるディジタルカメラ分光感度、撮影照明光スペクトル、観察照明光スペクトルおよび等色関数の各データとサンプルデータ算出装置２３から入力されるサンプル撮影信号ＲsＧsＢsとから、観察照明光下における被写体のＸＹＺ三刺激値を次式により算出する。
【００３６】
【数５】
【００３７】
ただし、
【００３８】
【数６】
【００３９】
【数７】
【００４０】
【数８】
【００４１】
三刺激値算出装置３２により算出されたＸＹＺ三刺激値は、モニタ入力信号算出装置３３に出力される。モニタ入力信号算出装置３３では、図１の特性データ記憶装置１３から入力されたモニタプロファイルを用いてＸＹＺ三刺激値をサンプルモニタ入力信号に変換し、データ補間装置３４に出力する。
【００４２】
図７に、モニタ入力信号算出装置３３の構成を示す。このモニタ入力信号算出装置３３は、マトリクス変換装置４１と階調補正装置４２から構成されている。マトリクス変換装置４１では、図１の特性データ記憶装置１４から入力されたモニタプロファイルのマトリクスＭを用いて、図６の三刺激値算出装置３２から入力されたＸＹＺ三刺値を次式によりＲ″sＧ″sＢ″sに変換し、これを階調補正装置４２に出力する。
【００４３】
【数９】
【００４４】
ただし、
【００４５】
【数１０】
【００４６】
階調補正装置４２では、図１の特性データ記憶装置１４から入力された階調補正データγ( )の逆関数γ-1( )を用いて、マトリクス変換装置４１から入力されたＲ″sＧ″sＢ″sの階調補正を次式により行い、これをサンプルモニタ入力信号Ｒ′sＧ′sＢ′sとして図６のデータ補間装置３４へ出力する。
【００４７】
【数１１】
【００４８】
以上の処理を所定のサンプル撮影信号ＲsＧsＢsについて行い、サンプルモニタ入力信号Ｒ′sＧ′sＢ′sをデータ補間装置３４に記憶する。データ補間装置３４では、サンプル撮影信号ＲsＧsＢsの間の撮影信号の値に対応するモニタ入力信号を補間により求めて、全ての撮影信号値に対応するモニタ入力信号値を持つＬＵＴデータを得る。
【００４９】
図８に、データ補間装置３４の構成を示す。このデータ補間装置３４は、データ記憶装置５１と補間演算装置５２とから構成されている。データ記憶装置５１では、図３のサンプルデータ算出装置２３から入力されたサンプル撮影信号とそれに対応する図６のモニタ入力信号算出装置３３から入力されたサンプルモニタ入力信号値を記憶する。補間演算装置５２では、全ての撮影信号値について撮影信号近傍のサンプル撮影信号とそれに対応するサンプルモニタ入力信号とから補間演算を行って、撮影信号に対応するモニタ入力信号を求め、これを図１のＬＵＴデータ記憶装置１２へ出力する。ここで用いる補間方法は任意であり、サンプル撮影信号から補間できない信号値や０〜２５５の範囲とならない信号に対しては、近傍へのマッピング等により置き換えることで対応できる。
【００５０】
以上のように構成された本実施形態の色再現システムでは、画像処理装置２において被写体の分光反射率の統計データ（この例では相関行列Ａ）を用いて被写体の三刺激値を推定する色推定に際して、ディジタルカメラ１で被写体を撮影して得られた被写体撮影信号に応じて統計データである相関行列Ａを切り替えて使用する、より具体的には分光反射率の統計データを算出するための分光反射率データｆi（λ）と被写体撮影信号との関係に応じて相関行列Ａを切り替えて使用することによって、全ての被写体撮影信号に対して同一の統計データを用いる場合と比較して、より高精度な色推定を行うことができる。
【００５１】
（第２の実施形態）
図９に、本発明の第２の実施形態に係る色再現システムの構成を示す。この色再現システムは、カラー撮影手段としてのディジタルカメラ１、カラー画像処理装置２′、ＣＲＴモニタ３および色票４から構成されている。色票４は、この例では１６枚の独立な分光反射率を有するパッチ（分光反射率が既知の複数の対象物）から構成されており、各パッチの分光反射率はパッチ内において一定になっている。
【００５２】
ディジタルカメラ１は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドを有し、被写体を撮影して各画素３チャンネルの撮影画像データ（被写体撮影信号）をカラー画像処理装置２′へ出力する。各チャンネルの撮影画像データは、１バイト（０〜２５５）の信号値を持つ。カラー画像処理装置２′は、入力された撮影画像データをＣＲＴモニタ３での表示に適したモニタ入力信号に変換してＣＲＴモニタ３へ出力する。ＣＲＴモニタ３上には、被写体像がカラー画像として表示される。
【００５３】
カラー画像処理装置２′は色変換装置１１、ＬＵＴデータ記憶装置１２、ＬＵＴデータ算出装置１５および特性データ記憶装置１６から構成されている。色変換装置１１とＬＵＴデータ記憶装置１２は第１の実施形態において説明したものと同様なので、説明は省略する。
【００５４】
ＬＵＴデータ算出装置１５では、ディジタルカメラ１により色票４を撮影して得られた色票撮影信号と、特性データ記憶装置１６から入力された観察照明光スペクトル、等色関数、被写体分光反射率データベース、色票分光反射率データおよびモニタプロファイルの各データを用いてＬＵＴデータを算出し、ＬＵＴデータ記憶装置１２に出力する。
【００５５】
図１０に、ＬＵＴデータ算出装置１５の構成を示す。このＬＵＴデータ算出装置１５は、データベース撮影信号算出装置６１、データベース撮影信号記憶装置６２、サンプルデータ算出装置６３および色変換ＬＵＴ算出装置６４から構成されている。
【００５６】
データベース撮影信号算出装置６１は、図９のディジタルカメラ１から入力された色票撮影信号と、特性データ記憶装置１６から入力された色票分光反射率データとから、被写体分光反射率データベースの各分光反射率の撮影信号を推定する。データベース撮影信号算出装置６１内においては、まずディジタルカメラ１から入力された色票撮影信号から、色票４の１６枚のパッチに対応する信号の平均信号値データ（Ｒci，Ｇci，Ｂci）（ｉ＝１〜１６）が予め求められる。被写体分光反射率データベースにおける分光反射率ｆi（λ）の撮影信号（ＲiＧiＢi）は、次式により求められる。
【００５７】
【数１２】
【００５８】
ここで、ｃijは次式で表されるように被写体分光反射率データベースのｉ番目の分光反射率ｆi（λ）を色票４の１６枚の各パッチの分光反射率ｐj（λ）（ｊ＝１〜１６）により展開した場合の展開係数である。
【００５９】
【数１３】
【００６０】
データベース撮影信号算出装置６１により算出された撮影信号は、データベース撮影信号記憶装置６２に記憶される。データベース撮影信号記憶装置６２とサンプルデータ算出装置６３は、第１の実施形態において説明したものと同様なので、説明は省略する。
【００６１】
図１１に、色変換ＬＵＴ算出装置６４の構成を示す。この色変換ＬＵＴ算出装置６４は基底関数算出装置７１、三刺激値算出装置７２、モニタ入力信号算出装置７３およびデータ補間装置７４から構成されている。図１０のサンプルデータ算出装置６３において選択された１０個の撮影信号データの登録番号ｉは、基底関数算出装置７１に入力される。
【００６２】
基底関数算出装置７１は、登録番号ｉの被写体分光反射率データを被写体分光反射率サンプルデータとして図９の特性データ記憶装置１６から入力し、それらの基底関数ρｋ（λ）（ｋ＝１〜３）を被写体の分光反射率の統計データとして求める。基底関数ρｋ（λ）（ｋ＝１〜３）は、分光反射率の相関行列の固有ベクトルとして求められる。
【００６３】
三刺激値算出装置７２では、図１０のサンプルデータ算出装置６３から入力されたサンプル信号ＲsＧsＢs、図９のディジタルカメラ１から入力された色票撮影信号Ｒ（ｊ）Ｇ（ｊ）Ｂ（ｊ）（ｊ＝１〜１６）、基底関数算出装置７１から入力された基底関数ρｋ（λ）（ｋ＝１〜３）、図９の特性データ記憶装置１６から入力された観察照明光スペクトルＥｏ（λ）、等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）、色票分光反射率ｐｊ（λ）（ｊ＝１〜１６）の各データから、以下のようにして被写体の観察照明光下におけるＸＹＺ三刺激値を算出し、モニタ入力信号算出装置７３に出力する。
【００６４】
すなわち、三刺激値算出装置７２では被写体の分光反射率ｆ（λ）を算出し、これに基づき次式により観察照明光下における三刺激値ＸＹＺを求める。
【００６５】
【数１４】
【００６６】
被写体の分光反射率ｆ（λ）は、次式により算出される。
【００６７】
【数１５】
【００６８】
ただし、
【００６９】
【数１６】
【００７０】
【数１７】
【００７１】
【数１８】
【００７２】
【数１９】
【００７３】
【数２０】
【００７４】
ただし、Ｄの要素ｄｋ（ｊ）（ｋ＝１〜３、ｊ＝１〜１６）は、基底関数を色票４の各パッチの分光反射率により展開した場合の展開係数である。
【００７５】
【数２１】
【００７６】
こうして三刺激値算出装置７２により算出された三刺激値ＸＹＺは、モニタ入力信号算出装置７３に出力される。モニタ入力信号算出装置７３およびデータ補間装置７４、は第１の実施形態において説明したものと同様なので、説明は省略する。
【００７７】
以上のように構成された本実施形態の色再現システムでは、カラー画像処理装置２′においてディジタルカメラ１の分光感度、等色関数、撮影照明光のスペクトル、観察照明光のスペクトルおよび被写体の分光反射率の統計データ（この例では基底関数ρｋ（λ）（ｋ＝１〜３））から、観察照明光下における被写体の三刺激値を推定する色推定を行うに際して、被写体撮影信号に応じて統計データである基底関数ρｋ（λ）（ｋ＝１〜３）を切り替えて使用する、すなわち、被写体撮影信号に近い信号値を与える被写体の分光反射率データから基底関数ρｋ（λ）（ｋ＝１〜３）を算出することによって、より高精度な色推定を行うことが可能となる。
【００７８】
（その他の実施形態）
本発明は、上述した実施形態に限定されるものではなく、以下のように種々変形して実施することが可能である。
【００７９】
（１）第１、第２の実施形態では、カラー撮影手段としてＲＧＢ３チャンネルのディジタルカメラ１を用いたが、これに限られるものではなく、４チャンネル以上のディジタルカメラにおいても適用可能である。
【００８０】
（２）第１、第２の実施形態では、カラー画像出力手段としてＣＲＴモニタ３を用いたが、プロジェクタ等の他の表示装置や、プリンタ等のハードコピー出力装置に置き換えることも可能である。
【００８１】
（３）第１の実施形態では、被写体の分光反射率の統計データを撮影時にディジタルカメラの分光感度と撮影照明光スペクトルを用いて算出することを想定しているが、予め所定のディジタルカメラと撮影照明光スペクトルに対する相関行列データを算出して用いてもよい。
【００８２】
（４）第２の実施形態では、被写体と色票４の撮影を行う場合に、同一の撮影条件であればそれぞれ別々に撮影してもよいし、同時に１枚の画像として撮影して撮影後に被写体撮影信号と色票撮影信号とを切り出して用いてもよい。
【００８３】
（５）第２の実施形態においては、色票４に含まれるパッチの数は任意であるが、色票４に含まれるパッチの分光反射率により被写体分光反射率データベースの全分光反射率データを高精度に展開できることが望ましい。
【００８４】
【発明の効果】
以上説明したように、本発明の色再現システムによれば、カラー撮影装置により被写体を撮影して得られた被写体撮影信号、あるいは被写体撮影信号とカラー撮影装置により分光反射率が既知の複数の対象物を撮影して得られた対象物撮影信号とから、被写体の分光反射率の統計データを先見情報として用いて、所定の照明光下における被写体の色を推定する場合に、被写体撮影信号に応じて統計データを切り替えて使用することによって、限られたバンド数のカラー撮像装置を用いた簡便なシステム構成により高精度に被写体の色推定を行うことができ、これにより正確な色再現を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る色再現システムの構成を示すブロック図
【図２】同実施形態における被写体分光反射率データベースの具体例を示す図
【図３】同実施形態におけるＬＵＴデータ算出装置の構成を示すブロック図
【図４】同実施形態におけるデータベース撮影信号の具体例を示す図
【図５】同実施形態におけるサンプル撮影信号とその最近傍の撮影信号の選択について説明するための概念図
【図６】図３における色変換ＬＵＴ算出装置の構成を示すブロック図
【図７】図６におけるモニタ入力信号算出装置の構成を示すブロック図
【図８】図６におけるデータ補間装置の構成を示すブロック図
【図９】本発明の第２の実施形態に係る色再現システムの構成を示すブロック図
【図１０】同実施形態におけるＬＵＴデータ算出装置の構成を示すブロック図
【図１１】図１０における色変換ＬＵＴ算出装置の構成を示すブロック図
【符号の説明】
１…ディジタルカメラ（カラー撮影手段）
２，２′…カラー画像処理装置
３…ＣＲＴモニタ
１１…色変換装置
１２…ＬＵＴデータ記憶装置
１３，１５…ＬＵＴデータ算出装置
１４，１６…特性データ記憶装置
【発明の属する技術分野】
本発明は、ディジタルカメラのようなカラー撮影装置により被写体を撮影して得られた撮影信号から被写体の色を推定するカラー画像処理装置を有する色再現システムに関する。
【０００２】
【従来の技術】
ディジタルカメラのようなカラー撮影装置により被写体を撮影して得られたカラー画像データから、所定の照明光下における被写体の色情報を推定する方法として、特開平１１−８５９５２に開示されているように、被写体の分光反射率の基底関数や相関行列などの被写体に関する先見情報を用いる方法が提案されている。このように被写体の分光反射率の基底関数や相関行列を用いることにより、撮影時の撮影照明光と観察時の観察照明光とが異なっていても、高精度に色推定を行って色再現を行うことが可能となる。
【０００３】
この従来の色再現システムでは、色推定のための情報としてカラー撮影装置の分光感度、撮影照明光スペクトルおよび観察照明光スペクトルを用いているが、従来ではこれらのデータは高価な分光計等の測定器を用いて測定することにより得られており、そのためシステムを簡便にすることができなかった。
【０００４】
一方、特開平１１−９６３３３には、被写体の撮影と同時もしくは同一条件で分光反射率が既知の色票等の対象物を撮影することにより得られた対象物撮影信号を利用することにより、カラー撮影装置の分光感度や撮影照明光スペクトルの測定データを用いずに、所定の照明光下における被写体の色情報を推定する方法が開示されている。この方法によると、カラー撮影装置の分光感度を予め測定する必要がなく、撮影時に撮影照明光のスペクトルを分光計により測定する必要もなくなるため、システムを簡便にすることができる。
【０００５】
例えば、病院Ａにおいてディジタルカメラにより患者の顔色と同時に所定の色票を撮影して病院Ｂにそれらの画像データを伝送し、患者の顔色を病院Ｂの観察照明光下に患者がいた場合の色に変換してモニタ等に表示することができる。このようなシステムとすることにより、撮影側である病院Ａには分光計等の高価な測定器が不要となり、簡便に正確な色再現を行うためのデータが得られる。
【０００６】
【発明が解決しようとする課題】
上述したような被写体の先見情報を用いて照明の色変換を行う色再現システムにおいて、被写体の色を正確に推定するためには、カラー撮影装置が被写体の分光反射率の基底関数以上の独立した分光感度を有することが条件となる。人肌の分光反射率は、３個の基底関数の線形和により高精度に表すことができることが知られているが、一般に自然界の物体全ての分光反射率を表すためには、より多くの基底関数が必要になると考えられる。そのため、通常の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドのディジタルカメラにより、簡便かつ高精度に色再現を行うためには、被写体が３つの基底関数により近似可能な分光反射率を持つ対象物に限定されてしまうという問題点があった。
【０００７】
本発明は、限られたバンド数のカラー撮影装置を用いて多様な被写体の色を高精度に推定して再現できる色再現システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の色再現システムの第１の態様は、カラー画像撮影手段と、カラー画像出力手段と、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、から構成される色再現システムにおいて、前記カラー画像処理装置は、前記複数の被写体分光反射率データと前記カラー画像撮影手段の分光感度と前記撮影明光のスペクトルの積の波長積分に基づいて複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、を行うことを特徴とする。
【０００９】
本発明の色再現システムの第２の態様は、カラー画像撮影手段と、カラー画像出力手段と、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、から構成される色再現システムにおいて、前記カラー画像処理装置は、前記複数の被写体分光反射率データと前記分光反射率が既知の対象物の撮影信号と前記対象物の分光反射率データとを用いて、複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、を行うことを特徴とする。
【００１０】
より具体的には、前記の本発明の色再現システムの第１の態様または第２の態様において、前記カラー画像処理装置は、予め所定の複数の撮影信号に対して前記第１乃至第５の処理を実施することで、前記所定の複数の撮影信号を前記カラー画像出力手段の入力信号に変換して、それらをルックアップテーブルデータとして記憶しておき、前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた変換対象の被写体撮影信号が与えられた時、前記第１乃至第５の処理を実施することなく、前記ルックアップテーブルデータを参照して前記変換対象の被写体撮影信号を前記カラー画像出力手段の入力信号に変換する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る色再現システムの構成を示す。この色再現システムは、カラー撮影手段としてのディジタルカメラ１、色推定機能を有するカラー画像処理装置２およびＣＲＴモニタ３から構成されている。
【００１５】
ディジタルカメラ１は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドを有し、被写体を撮影して各画素３チャンネルの撮影画像データ（被写体撮影信号）をカラー画像処理装置２へ出力する。各チャンネルの撮影画像データは、１バイト（０〜２５５）の信号値を持つ。カラー画像処理装置２は、入力された撮影画像データをＣＲＴモニタ３での表示に適したモニタ入力信号に変換してＣＲＴモニタ３へ出力する。ＣＲＴモニタ３上には、被写体像がカラー画像として表示される。
【００１６】
カラー画像処理装置２は色変換装置１１、ＬＵＴデータ記憶装置１２、ＬＵＴデータ算出装置１３および特性データ記憶装置１４から構成されている。
【００１７】
以下、カラー画像処理装置２の各部について詳細に説明すると、まず色変換装置１１は、ディジタルカメラ１から入力された撮影画像データのＲＧＢ値をアドレスとしてＬＵＴデータ記憶装置１２内のルックアップテーブル（ＬＵＴ）データＲ′Ｇ′Ｂ′を参照し、これらのＬＵＴデータＲ′Ｇ′Ｂ′をモニタ入力信号としてＣＲＴモニタ３へ出力する。
【００１８】
ＬＵＴデータ記憶装置１２には、ＬＵＴデータ算出装置１３により算出されたＬＵＴデータが予め記憶されている。ＬＵＴデータは撮影画像データの全ての信号値に対応するモニタ入力信号、すなわち２５６3のＲ′Ｇ′Ｂ′からなる。Ｒ′Ｇ′Ｂ′は、各チャンネル１バイトのデータである。
【００１９】
ＬＵＴデータ算出装置１３は、特性データ記憶装置１４からディジタルカメラ１の分光感度（以下、ディジタルカメラ分光感度という）、撮影照明光スペクトル、観察照明光スペクトル、等色関数、被写体分光反射率データベースおよびモニタプロファイルのデータを入力し、これらのデータを用いてＬＵＴデータを算出する。特性データ記憶装置１４に記憶されているディジタルカメラ分光感度、撮影照明光スペクトル、観察照明光スペクトル、等色関数、被写体分光反射率データベースおよびモニタプロファイルの各データは、次のように構成されている。
【００２０】
まず、ディジタルカメラ分光感度のデータは、３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で設定されたＲ、Ｇ、Ｂの各色に対するディジタルカメラ１の分光感度を表す感度データｒ（λ）、ｇ（λ）、ｂ（λ）からなる。
【００２１】
撮影照明光スペクトル及び観察照明光スペクトルのデータは、それぞれ３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で設定された撮影照明光スペクトル及び観察照明光の光強度データＥｍ（λ）、Ｅｏ（λ）からなる。
【００２２】
等色関数のデータは、ＣＩＥの規定する２度視野等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）であり、３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔でデータを持つように補間されたデータとなっている。
【００２３】
被写体分光反射率データベースは、自然界の物について測定された多数の分光反射率データの集合である。図２は、被写体反射率データベースの例であり、各分光反射率データｆｉ（λ）（ｉ＝１〜１０００）は３８０ｎｍ〜７８０ｎｍの波長領域において１ｎｍ間隔で分光反射率のデータを持ち、登録番号ｉによりそれぞれ管理されている。被写体分光反射率データベースに登録されている分光反射率データｆｉ（λ）は、例えば植物、岩石、人肌、色票、絵画、染料、顔料など、ディジタルカメラ１により撮影される対象物のデータが含まれる。ここでは、対象物の数は１０００としたが、必要に応じてデータの追加も可能であり、登録データ数は任意である。
【００２４】
モニタプロファイルは、マトリクスＭと階調補正データＴとからなる。マトリクスＭは、ＣＲＴモニタ３の入力信号（２５５，０，０）、（０，２５５，０）、（０，０，２５５）における表示色のＸＹＺ三刺激値であるＸrＹrＺr、ＸgＹgＺg、ＸbＹbＺbを要素とする行列
【００２５】
【数１】
である。階調補正データは、ＣＲＴモニタ３のＲＧＢ各入力信号に対する出力輝度の関係を与えるテーブルデータγｒ（Ｒ）、γｇ（Ｇ）、γｂ（Ｂ）であり、それぞれ最大値は１に正規化されている。
【００２７】
図３に、ＬＵＴデータ算出装置１３の構成を示す。このＬＵＴデータ算出装置１３はデータベース撮影信号算出装置２１、データベース撮影信号記憶装置２２、サンプルデータ算出装置２３および色変換ＬＵＴ算出装置２４から構成されている。データベース撮影信号算出装置２１では、図１の特性データ記憶装置１４からディジタルカメラ分光感度、撮影照明光スペクトル、被写体分光反射率データベースの全データを読み込み、被写体分光反射率データベースにおける各分光反射率データｆi（λ）について、撮影信号ＲiＧiＢiの値を算出する。撮影信号ＲiＧiＢiの値は、次式
【００２８】
【数２】
によって推定される。これらの撮影信号ＲiＧiＢiの値は、図４に示すように対応する分光反射率データｆi（λ）の登録番号ｉと共にデータベース撮影信号記憶装置２２に記憶される。サンプルデータ算出装置２３では、次式で定める所定のサンプル撮影信号ＲsＧsＢsからの距離Ｄiが小さい順に１０個の撮影信号ＲiＧiＢiを選択し、その登録番号ｉとサンプル撮影信号ＲsＧsＢsを色変換ＬＵＴ算出装置２４へ出力する。
【００３０】
【数３】
図５に、サンプル撮影信号ＲsＧsＢsとその最近傍１０個の撮影信号ＲiＧiＢiの選択の概念図を示した。＋印がサンプル撮影信号ＲsＧsＢsであり、黒丸が最近傍１０個の撮影信号ＲiＧiＢiである。
【００３２】
図６に、色変換ＬＵＴ算出装置２４の構成を示す。この色変換ＬＵＴ算出装置２４は相関行列算出装置３１、三刺激値算出装置３２、モニタ入力信号算出装置３３およびデータ補間装置３４から構成されている。図３のサンプルデータ算出装置２３において選択された１０個の撮影信号ＲiＧiＢiの登録番号ｉは、相関行列算出装置３１に入力される。相関行列算出装置３１では、登録番号ｉの被写体分光反射率データを被写体分光反射率サンプルデータとして図１の特性データ記憶装置１４から入力し、それらの相関行列Ａ
【００３３】
【数４】
を被写体の分光反射率の統計データとして算出する。ここで、＜＞は１０個の分光反射率データの平均値を表す。
【００３５】
こうして相関行列算出装置３１で算出された相関行列Ａは、三刺激値算出装置３２に出力される。三刺激値算出装置３２は、相関行列算出装置３１から入力された相関行列Ａ、図１の特性データ記憶装置１４から入力されるディジタルカメラ分光感度、撮影照明光スペクトル、観察照明光スペクトルおよび等色関数の各データとサンプルデータ算出装置２３から入力されるサンプル撮影信号ＲsＧsＢsとから、観察照明光下における被写体のＸＹＺ三刺激値を次式により算出する。
【００３６】
【数５】
ただし、
【００３８】
【数６】
【数７】
【数８】
三刺激値算出装置３２により算出されたＸＹＺ三刺激値は、モニタ入力信号算出装置３３に出力される。モニタ入力信号算出装置３３では、図１の特性データ記憶装置１３から入力されたモニタプロファイルを用いてＸＹＺ三刺激値をサンプルモニタ入力信号に変換し、データ補間装置３４に出力する。
【００４２】
図７に、モニタ入力信号算出装置３３の構成を示す。このモニタ入力信号算出装置３３は、マトリクス変換装置４１と階調補正装置４２から構成されている。マトリクス変換装置４１では、図１の特性データ記憶装置１４から入力されたモニタプロファイルのマトリクスＭを用いて、図６の三刺激値算出装置３２から入力されたＸＹＺ三刺値を次式によりＲ″sＧ″sＢ″sに変換し、これを階調補正装置４２に出力する。
【００４３】
【数９】
ただし、
【００４５】
【数１０】
階調補正装置４２では、図１の特性データ記憶装置１４から入力された階調補正データγ( )の逆関数γ-1( )を用いて、マトリクス変換装置４１から入力されたＲ″sＧ″sＢ″sの階調補正を次式により行い、これをサンプルモニタ入力信号Ｒ′sＧ′sＢ′sとして図６のデータ補間装置３４へ出力する。
【００４７】
【数１１】
以上の処理を所定のサンプル撮影信号ＲsＧsＢsについて行い、サンプルモニタ入力信号Ｒ′sＧ′sＢ′sをデータ補間装置３４に記憶する。データ補間装置３４では、サンプル撮影信号ＲsＧsＢsの間の撮影信号の値に対応するモニタ入力信号を補間により求めて、全ての撮影信号値に対応するモニタ入力信号値を持つＬＵＴデータを得る。
【００４９】
図８に、データ補間装置３４の構成を示す。このデータ補間装置３４は、データ記憶装置５１と補間演算装置５２とから構成されている。データ記憶装置５１では、図３のサンプルデータ算出装置２３から入力されたサンプル撮影信号とそれに対応する図６のモニタ入力信号算出装置３３から入力されたサンプルモニタ入力信号値を記憶する。補間演算装置５２では、全ての撮影信号値について撮影信号近傍のサンプル撮影信号とそれに対応するサンプルモニタ入力信号とから補間演算を行って、撮影信号に対応するモニタ入力信号を求め、これを図１のＬＵＴデータ記憶装置１２へ出力する。ここで用いる補間方法は任意であり、サンプル撮影信号から補間できない信号値や０〜２５５の範囲とならない信号に対しては、近傍へのマッピング等により置き換えることで対応できる。
【００５０】
以上のように構成された本実施形態の色再現システムでは、画像処理装置２において被写体の分光反射率の統計データ（この例では相関行列Ａ）を用いて被写体の三刺激値を推定する色推定に際して、ディジタルカメラ１で被写体を撮影して得られた被写体撮影信号に応じて統計データである相関行列Ａを切り替えて使用する、より具体的には分光反射率の統計データを算出するための分光反射率データｆi（λ）と被写体撮影信号との関係に応じて相関行列Ａを切り替えて使用することによって、全ての被写体撮影信号に対して同一の統計データを用いる場合と比較して、より高精度な色推定を行うことができる。
【００５１】
（第２の実施形態）
図９に、本発明の第２の実施形態に係る色再現システムの構成を示す。この色再現システムは、カラー撮影手段としてのディジタルカメラ１、カラー画像処理装置２′、ＣＲＴモニタ３および色票４から構成されている。色票４は、この例では１６枚の独立な分光反射率を有するパッチ（分光反射率が既知の複数の対象物）から構成されており、各パッチの分光反射率はパッチ内において一定になっている。
【００５２】
ディジタルカメラ１は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３バンドを有し、被写体を撮影して各画素３チャンネルの撮影画像データ（被写体撮影信号）をカラー画像処理装置２′へ出力する。各チャンネルの撮影画像データは、１バイト（０〜２５５）の信号値を持つ。カラー画像処理装置２′は、入力された撮影画像データをＣＲＴモニタ３での表示に適したモニタ入力信号に変換してＣＲＴモニタ３へ出力する。ＣＲＴモニタ３上には、被写体像がカラー画像として表示される。
【００５３】
カラー画像処理装置２′は色変換装置１１、ＬＵＴデータ記憶装置１２、ＬＵＴデータ算出装置１５および特性データ記憶装置１６から構成されている。色変換装置１１とＬＵＴデータ記憶装置１２は第１の実施形態において説明したものと同様なので、説明は省略する。
【００５４】
ＬＵＴデータ算出装置１５では、ディジタルカメラ１により色票４を撮影して得られた色票撮影信号と、特性データ記憶装置１６から入力された観察照明光スペクトル、等色関数、被写体分光反射率データベース、色票分光反射率データおよびモニタプロファイルの各データを用いてＬＵＴデータを算出し、ＬＵＴデータ記憶装置１２に出力する。
【００５５】
図１０に、ＬＵＴデータ算出装置１５の構成を示す。このＬＵＴデータ算出装置１５は、データベース撮影信号算出装置６１、データベース撮影信号記憶装置６２、サンプルデータ算出装置６３および色変換ＬＵＴ算出装置６４から構成されている。
【００５６】
データベース撮影信号算出装置６１は、図９のディジタルカメラ１から入力された色票撮影信号と、特性データ記憶装置１６から入力された色票分光反射率データとから、被写体分光反射率データベースの各分光反射率の撮影信号を推定する。データベース撮影信号算出装置６１内においては、まずディジタルカメラ１から入力された色票撮影信号から、色票４の１６枚のパッチに対応する信号の平均信号値データ（Ｒci，Ｇci，Ｂci）（ｉ＝１〜１６）が予め求められる。被写体分光反射率データベースにおける分光反射率ｆi（λ）の撮影信号（ＲiＧiＢi）は、次式により求められる。
【００５７】
【数１２】
ここで、ｃijは次式で表されるように被写体分光反射率データベースのｉ番目の分光反射率ｆi（λ）を色票４の１６枚の各パッチの分光反射率ｐj（λ）（ｊ＝１〜１６）により展開した場合の展開係数である。
【００５９】
【数１３】
データベース撮影信号算出装置６１により算出された撮影信号は、データベース撮影信号記憶装置６２に記憶される。データベース撮影信号記憶装置６２とサンプルデータ算出装置６３は、第１の実施形態において説明したものと同様なので、説明は省略する。
【００６１】
図１１に、色変換ＬＵＴ算出装置６４の構成を示す。この色変換ＬＵＴ算出装置６４は基底関数算出装置７１、三刺激値算出装置７２、モニタ入力信号算出装置７３およびデータ補間装置７４から構成されている。図１０のサンプルデータ算出装置６３において選択された１０個の撮影信号データの登録番号ｉは、基底関数算出装置７１に入力される。
【００６２】
基底関数算出装置７１は、登録番号ｉの被写体分光反射率データを被写体分光反射率サンプルデータとして図９の特性データ記憶装置１６から入力し、それらの基底関数ρｋ（λ）（ｋ＝１〜３）を被写体の分光反射率の統計データとして求める。基底関数ρｋ（λ）（ｋ＝１〜３）は、分光反射率の相関行列の固有ベクトルとして求められる。
【００６３】
三刺激値算出装置７２では、図１０のサンプルデータ算出装置６３から入力されたサンプル信号ＲsＧsＢs、図９のディジタルカメラ１から入力された色票撮影信号Ｒ（ｊ）Ｇ（ｊ）Ｂ（ｊ）（ｊ＝１〜１６）、基底関数算出装置７１から入力された基底関数ρｋ（λ）（ｋ＝１〜３）、図９の特性データ記憶装置１６から入力された観察照明光スペクトルＥｏ（λ）、等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）、色票分光反射率ｐｊ（λ）（ｊ＝１〜１６）の各データから、以下のようにして被写体の観察照明光下におけるＸＹＺ三刺激値を算出し、モニタ入力信号算出装置７３に出力する。
【００６４】
すなわち、三刺激値算出装置７２では被写体の分光反射率ｆ（λ）を算出し、これに基づき次式により観察照明光下における三刺激値ＸＹＺを求める。
【００６５】
【数１４】
被写体の分光反射率ｆ（λ）は、次式により算出される。
【００６７】
【数１５】
ただし、
【００６９】
【数１６】
【数１７】
【数１８】
【数１９】
【数２０】
ただし、Ｄの要素ｄｋ（ｊ）（ｋ＝１〜３、ｊ＝１〜１６）は、基底関数を色票４の各パッチの分光反射率により展開した場合の展開係数である。
【００７５】
【数２１】
こうして三刺激値算出装置７２により算出された三刺激値ＸＹＺは、モニタ入力信号算出装置７３に出力される。モニタ入力信号算出装置７３およびデータ補間装置７４、は第１の実施形態において説明したものと同様なので、説明は省略する。
【００７７】
以上のように構成された本実施形態の色再現システムでは、カラー画像処理装置２′においてディジタルカメラ１の分光感度、等色関数、撮影照明光のスペクトル、観察照明光のスペクトルおよび被写体の分光反射率の統計データ（この例では基底関数ρｋ（λ）（ｋ＝１〜３））から、観察照明光下における被写体の三刺激値を推定する色推定を行うに際して、被写体撮影信号に応じて統計データである基底関数ρｋ（λ）（ｋ＝１〜３）を切り替えて使用する、すなわち、被写体撮影信号に近い信号値を与える被写体の分光反射率データから基底関数ρｋ（λ）（ｋ＝１〜３）を算出することによって、より高精度な色推定を行うことが可能となる。
【００７８】
（その他の実施形態）
本発明は、上述した実施形態に限定されるものではなく、以下のように種々変形して実施することが可能である。
【００７９】
（１）第１、第２の実施形態では、カラー撮影手段としてＲＧＢ３チャンネルのディジタルカメラ１を用いたが、これに限られるものではなく、４チャンネル以上のディジタルカメラにおいても適用可能である。
【００８０】
（２）第１、第２の実施形態では、カラー画像出力手段としてＣＲＴモニタ３を用いたが、プロジェクタ等の他の表示装置や、プリンタ等のハードコピー出力装置に置き換えることも可能である。
【００８１】
（３）第１の実施形態では、被写体の分光反射率の統計データを撮影時にディジタルカメラの分光感度と撮影照明光スペクトルを用いて算出することを想定しているが、予め所定のディジタルカメラと撮影照明光スペクトルに対する相関行列データを算出して用いてもよい。
【００８２】
（４）第２の実施形態では、被写体と色票４の撮影を行う場合に、同一の撮影条件であればそれぞれ別々に撮影してもよいし、同時に１枚の画像として撮影して撮影後に被写体撮影信号と色票撮影信号とを切り出して用いてもよい。
【００８３】
（５）第２の実施形態においては、色票４に含まれるパッチの数は任意であるが、色票４に含まれるパッチの分光反射率により被写体分光反射率データベースの全分光反射率データを高精度に展開できることが望ましい。
【００８４】
【発明の効果】
以上説明したように、本発明の色再現システムによれば、カラー撮影装置により被写体を撮影して得られた被写体撮影信号、あるいは被写体撮影信号とカラー撮影装置により分光反射率が既知の複数の対象物を撮影して得られた対象物撮影信号とから、被写体の分光反射率の統計データを先見情報として用いて、所定の照明光下における被写体の色を推定する場合に、被写体撮影信号に応じて統計データを切り替えて使用することによって、限られたバンド数のカラー撮像装置を用いた簡便なシステム構成により高精度に被写体の色推定を行うことができ、これにより正確な色再現を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る色再現システムの構成を示すブロック図
【図２】同実施形態における被写体分光反射率データベースの具体例を示す図
【図３】同実施形態におけるＬＵＴデータ算出装置の構成を示すブロック図
【図４】同実施形態におけるデータベース撮影信号の具体例を示す図
【図５】同実施形態におけるサンプル撮影信号とその最近傍の撮影信号の選択について説明するための概念図
【図６】図３における色変換ＬＵＴ算出装置の構成を示すブロック図
【図７】図６におけるモニタ入力信号算出装置の構成を示すブロック図
【図８】図６におけるデータ補間装置の構成を示すブロック図
【図９】本発明の第２の実施形態に係る色再現システムの構成を示すブロック図
【図１０】同実施形態におけるＬＵＴデータ算出装置の構成を示すブロック図
【図１１】図１０における色変換ＬＵＴ算出装置の構成を示すブロック図
【符号の説明】
１…ディジタルカメラ（カラー撮影手段）
２，２′…カラー画像処理装置
３…ＣＲＴモニタ
１１…色変換装置
１２…ＬＵＴデータ記憶装置
１３，１５…ＬＵＴデータ算出装置
１４，１６…特性データ記憶装置
Claims (3)
- カラー画像撮影手段と、
カラー画像出力手段と、
前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、
から構成される色再現システムにおいて、
前記カラー画像処理装置は、
前記複数の被写体分光反射率データと前記カラー画像撮影手段の分光感度と前記撮影明光のスペクトルの積の波長積分に基づいて複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、
前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、
前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、
前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、前記カラー画像撮影手段の分光感度と、前記撮影照明光のスペクトルと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、
推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、
を行うことを特徴とする色再現システム。 - カラー画像撮影手段と、
カラー画像出力手段と、
前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた被写体撮影信号を、複数の被写体分光反射率データと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、観察照明光のスペクトルと、等色関数とを用いて前記カラー画像出力手段の入力信号に変換するカラー画像処理装置と、
から構成される色再現システムにおいて、
前記カラー画像処理装置は、
前記複数の被写体分光反射率データと前記分光反射率が既知の対象物の撮影信号と前記対象物の分光反射率データとを用いて、複数の被写体分光反射率データに係る撮影信号を算出する第１の処理と、
前記被写体撮影信号に近い値をもつ前記複数の被写体分光反射率データに係る撮影信号を選択する第２の処理と、
前記選択した複数の被写体分光反射率データに係る撮影信号の算出に用いた前記複数の被写体分光反射率データを被写体分光反射率サンプルデータとして選択する第３の処理と、
前記被写体撮影信号から、前記被写体分光反射率サンプルデータと、分光反射率が既知の対象物の撮影信号と、前記対象物の分光反射率データと、前記観察照明光のスペクトルと、前記等色関数とを用いて前記観察照明光により照明された前記被写体の三刺激値を推定する第４の処理と、
推定した前記被写体の三刺激値を前記カラー画像出力手段の入力信号に変換する第５の処理と、
を行うことを特徴とする色再現システム。 - 前記カラー画像処理装置は、
予め所定の複数の撮影信号に対して前記第１乃至第５の処理を実施することで、前記所定の複数の撮影信号を前記カラー画像出力手段の入力信号に変換して、それらをルックアップテーブルデータとして記憶しておき、
前記カラー画像撮影手段により撮影照明光の下で被写体を撮影することにより得られた変換対象の被写体撮影信号が与えられた時、前記第１乃至第５の処理を実施することなく、前記ルックアップテーブルデータを参照して前記変換対象の被写体撮影信号を前記カラー画像出力手段の入力信号に変換する
ことを特徴とする請求項１または請求項２に記載の色再現システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17277299A JP4262359B2 (ja) | 1999-06-18 | 1999-06-18 | 色再現システム |
| US09/583,521 US7009640B1 (en) | 1999-05-31 | 2000-05-31 | Color reproduction system for carrying out color correction by changing over color correction parameters according to images of photographed subjects |
| US11/328,377 US7408573B2 (en) | 1999-05-31 | 2006-01-09 | Color production system for carrying out color correction by changing over color-correction parameters according to images of photographed subjects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17277299A JP4262359B2 (ja) | 1999-06-18 | 1999-06-18 | 色再現システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001008220A JP2001008220A (ja) | 2001-01-12 |
| JP2001008220A5 JP2001008220A5 (ja) | 2006-10-12 |
| JP4262359B2 true JP4262359B2 (ja) | 2009-05-13 |
Family
ID=15948060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17277299A Expired - Fee Related JP4262359B2 (ja) | 1999-05-31 | 1999-06-18 | 色再現システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4262359B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3729252B2 (ja) | 2001-03-26 | 2005-12-21 | セイコーエプソン株式会社 | 画像処理システム、プログラムおよび情報記憶媒体 |
| JP4174703B2 (ja) * | 2001-10-22 | 2008-11-05 | 独立行政法人情報通信研究機構 | スペクトル・色再現システム |
| JP2003134527A (ja) * | 2001-10-24 | 2003-05-09 | Telecommunication Advancement Organization Of Japan | カラー映像再現システム |
| KR100426504B1 (ko) * | 2001-11-22 | 2004-04-08 | 주식회사 케이디미디어 | 분광반사율 추정방법 |
| JP2005201693A (ja) | 2004-01-13 | 2005-07-28 | Olympus Corp | 色票処理装置、色票処理方法及び色票処理プログラム |
| GB0504520D0 (en) | 2005-03-04 | 2005-04-13 | Chrometrics Ltd | Reflectance spectra estimation and colour space conversion using reference reflectance spectra |
| US8023736B2 (en) | 2005-07-13 | 2011-09-20 | Nec Corporation | Color correction method and color correction apparatus |
| JP4692190B2 (ja) * | 2005-09-29 | 2011-06-01 | 凸版印刷株式会社 | 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム |
| JP4798354B2 (ja) * | 2006-02-02 | 2011-10-19 | 凸版印刷株式会社 | 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム |
| JP2009053212A (ja) * | 2008-12-08 | 2009-03-12 | Olympus Corp | 色票処理装置、色票処理方法及び色票処理プログラム |
| JP4987045B2 (ja) * | 2009-08-20 | 2012-07-25 | オリンパス株式会社 | 色票処理装置、色票処理方法及び色票処理プログラム |
| JP6517766B2 (ja) * | 2016-09-16 | 2019-05-22 | セコム株式会社 | 色変換テーブル作成装置、色変換装置、色変換システム、及びプログラム |
| WO2019026189A1 (ja) * | 2017-08-01 | 2019-02-07 | オリンパス株式会社 | 撮像装置および制御方法 |
| CN111528792A (zh) * | 2020-05-12 | 2020-08-14 | 宁波蓝明信息科技有限公司 | 一种基于光谱信息压缩及恢复的快速高光谱眼底成像方法 |
| EP4224125A4 (en) * | 2020-10-02 | 2024-03-27 | FUJIFILM Corporation | IMAGE ANALYZING METHOD, IMAGE ANALYZING APPARATUS, PROGRAM AND RECORDING MEDIUM |
| JP2022099436A (ja) * | 2020-12-23 | 2022-07-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
| JP2022182590A (ja) | 2021-05-28 | 2022-12-08 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
-
1999
- 1999-06-18 JP JP17277299A patent/JP4262359B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001008220A (ja) | 2001-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4212165B2 (ja) | 色再現システム | |
| JP4262359B2 (ja) | 色再現システム | |
| JP4274632B2 (ja) | 色再現システム | |
| US7009640B1 (en) | Color reproduction system for carrying out color correction by changing over color correction parameters according to images of photographed subjects | |
| US6549653B1 (en) | Color image processing apparatus | |
| JP3767541B2 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
| Berns | The science of digitizing paintings for color-accurate image archives: a review | |
| JP4076248B2 (ja) | 色再現装置 | |
| JP3829238B2 (ja) | 色再現システム | |
| JP3663941B2 (ja) | 撮像装置の分光感度特性測定方法および撮像データ構成方法 | |
| JP2005117612A (ja) | 画像処理方法および装置 | |
| US7450158B2 (en) | Spectrum and color reproduction system to convert a color signal from a color-image input into a color signal for a color-image output | |
| WO2008062874A1 (fr) | Procédé de traitement d'image, programme de traitement d'image, dispositif et caméra de traitement d'image | |
| JP2008532401A (ja) | 基準反射スペクトルを用いた反射スペクトル推定と色空間変換 | |
| JP2001258044A (ja) | 医療用画像処理装置 | |
| JP4677699B2 (ja) | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム | |
| US7230642B2 (en) | Apparatus and method for converting spectral data of an object in a photographing environment into spectral data in an observation environment | |
| JP3925681B2 (ja) | マルチバンド画像出力方法および装置 | |
| JPH1084550A (ja) | 色変換方法 | |
| JP4174707B2 (ja) | 分光測定システム、色再現システム | |
| JP3863773B2 (ja) | 画像撮影方法および装置 | |
| JP4400146B2 (ja) | 分光画像データ処理方法および分光画像データ処理装置 | |
| JP4289973B2 (ja) | 細隙灯顕微鏡から取得された白内障被検眼のカラー画像データに基づき、白内障の症状を定量化するための色補正装置 | |
| JP2000337965A (ja) | 撮像系の光源の分光分布測定方法 | |
| JP5029187B2 (ja) | 色座標変換装置、撮像装置、色座標変換プログラム、色座標変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060830 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090209 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |