JP5090146B2 - 色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法 - Google Patents

Description

本発明は、複数の色信号からなる第１のカラー信号を複数の色信号からなる第２のカラー信号に変換する色変換係数を算出するための色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法に関する。

デジタルカメラ等の撮像装置は、同一の被写体を異なる環境下で撮影した場合に、色再現が異なる場合があることが知られている。しかし実際には、このような場合に限らず、同一の被写体を同一の環境下で撮影した場合であっても、色再現が異なる場合がある。

撮像装置は、例えばカラーフィルタを備えた撮像素子を用いて撮像を行うように構成されているが、カラーフィルタを含む撮像素子はその種類により分光特性等の色再現に係る特性が異なる。また、同一種類の撮像素子であっても、材料や製造過程、経時変化等でその特性が個体毎に変化してくる。従って、このような特性の違いにより個々の撮像装置での色再現も異なってくる。色再現は、特に医療の分野では重要な要素の一つとして扱われており、色再現が異なると診断の妨げにもなり兼ねない。

このような課題を解決するために、近年様々な色補正技術が開発されていて、例えば、撮像装置個々には依存しない固定の色補正係数を用いて色補正を行う技術が提案されている。しかし、この技術は、撮像装置の個体毎の特性の違いに対応することができるものとはなっていない。

そこで例えば、特開２００１−３５８９６０号公報には、第１の分光感度分布と第２の分光感度分布とに基づいて、第１の分光感度分布で特徴付けられる信号を第２の分光感度分布で特徴付けられる信号に線形変換するための色補正係数を導出する技術が記載されている。この技術を個々の撮像装置毎に適用すれば、２つの分光感度分布間の差を吸収する最適な色補正係数を導出することが可能である。

また、特開２００５−１１７５２４号公報には、複数の撮像装置毎にカラーチャートを撮影して、撮影したカラーチャート間の画像データが一致するように色補正係数を導出する技術が記載されている。
特開２００１−３５８９６０号公報 特開２００５−１１７５２４号公報

しかしながら、上記特開２００１−３５８９６０号公報に記載の技術では、撮像素子の個体毎の差異に対応して最適な色補正係数を導出するには、個々の撮像素子の分光感度分布を測定する必要があるために、測定の手間を考慮すると煩雑であり、製造コストの上昇につながってしまう。

また、上記特開２００５−１１７５２４号公報に記載の技術は、導出される色補正係数がカラーチャート上に存在する色の種類や数に依存することになるために、カラーチャート上にない色に関しては、高い精度で補正することができる保証はない。もし、色域全体の補正を高い精度で行おうとすると、多種多様な色を持つカラーチャートを準備する必要があり、そのような大規模なカラーチャートを作成したり測定したりすることは現実的に困難である。

本発明は上記事情に鑑みてなされたものであり、機種間の差だけでなく個体差にも応じた高精度な色変換処理を行い得る色変換係数を簡単に算出することが可能な色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法を提供することを目的としている。

上記の目的を達成するために、本発明による色変換係数算出装置は、第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出するための色変換係数算出装置において、上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出手段と、複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出手段と、上記色変換係数を上記補正係数を用いて補正する係数補正手段と、を具備したものである。

また、本発明による色変換係数算出プログラムは、コンピュータに、第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出させるための色変換係数算出プログラムにおいて、コンピュータに、上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出ステップと、複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出ステップと、上記色変換係数を上記補正係数を用いて補正する係数補正ステップと、を実行させるためのプログラムである。

さらに、本発明による色変換係数算出方法は、第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出するための色変換係数算出方法において、上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出ステップと、複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出ステップと、上記色変換係数を上記補正係数を用いて補正する係数補正ステップと、を有する方法である。

本発明の色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法によれば、機種間の差だけでなく個体差にも応じた高精度な色変換処理を行い得る色変換係数を簡単に算出することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図８は本発明の実施形態１を示したものであり、図１は色変換係数算出装置の構成を示すブロック図、図２は色パッチが配列された色票の構成例を示す図、図３は色票の色パッチの分光透過率を示す線図、図４はベイヤー型原色カラーフィルタの構成を示す図、図５は光源の分光特性を示す線図、図６は撮像素子の対象分光特性を示す線図、図７は回転式フィルタの構成を示す図、図８は色変換係数算出方法における処理の流れを示すフローチャートである。

まず図１を参照して、色変換係数算出装置の構成について説明する。ここに、本実施形態の色変換係数算出装置は、撮像系を装着して後述するような複数の色パッチを配列した色票１２０（図２参照）を撮像し、撮像して得られた映像信号に基づき、装着した撮像系に対する色変換係数を算出するものとなっている。従って、図１には、この撮像系についても図示をしている。

まず、撮像系は、レンズ系１００と、ＣＣＤ１０１と、を備えている。

そして、色変換係数算出装置は、Ａ／Ｄ変換部１０２と、バッファ１０３と、信号処理部１０４と、信号算出部１０５と、補正係数算出手段たる補正係数算出部１０６と、参照カラー信号算出部１０７と、色変換係数算出手段たる変換係数算出部１０８と、係数補正手段たる変換係数補正部１０９と、出力部１１０と、制御部１１１と、分光特性入力手段たる外部Ｉ／Ｆ部１１２と、を備えて構成されている。

レンズ系１００は、被写体の光学像をＣＣＤ１０１に結像するためのものであり、撮像手段を構成している。

ＣＣＤ１０１は、レンズ系１００により結像された光学像を光電変換して映像信号を出力する撮像素子であり、撮像手段を構成している。このＣＣＤ１０１は、Ａ／Ｄ変換部１０２へ接続されるようになっている。

Ａ／Ｄ変換部１０２は、バッファ１０３、信号処理部１０４、信号算出部１０５、補正係数算出部１０６、変換係数補正部１０９をこの順に介して、出力部１１０へ接続されている。また、参照カラー信号算出部１０７は、補正係数算出部１０６へ接続されている。変換係数算出部１０８は、変換係数補正部１０９へ接続されている。

制御部１１１は、Ａ／Ｄ変換部１０２、信号処理部１０４、信号算出部１０５、補正係数算出部１０６、参照カラー信号算出部１０７、変換係数算出部１０８、変換係数補正部１０９、出力部１１０、外部Ｉ／Ｆ部１１２と双方向に接続されていて、これらを制御するようになっている。

Ａ／Ｄ変換部１０２は、ＣＣＤ１０１から出力されたアナログの映像信号をデジタルの映像信号に変換するものである。

バッファ１０３は、Ａ／Ｄ変換部１０２により変換されたデジタルの映像信号を一時的に保存するものである。

信号処理部１０４は、バッファ１０３から転送される映像信号に、三板化や明るさ補正等の信号処理を施すものである。

信号算出部１０５は、信号処理部１０４から転送される映像信号に基づき、色票１２０の色パッチ毎の平均ＲＧＢ信号を基準ＲＧＢ信号（基準カラー信号）として算出するものである。

参照カラー信号算出部１０７は、外部Ｉ／Ｆ部１１２から後述するように入力される対象分光特性と光源の分光特性と色パッチの分光透過率（分光特性）とに基づいて、基準ＲＧＢ信号に対応する参照ＲＧＢ信号（参照カラー信号）を算出するものである。

補正係数算出部１０６は、参照カラー信号算出部１０７から参照ＲＧＢ信号を読み込んで、読み込んだ参照ＲＧＢ信号と、信号算出部１０５から転送される基準ＲＧＢ信号と、に基づいて補正係数を算出するものである。

変換係数算出部１０８は、外部Ｉ／Ｆ部１１２から後述するように入力される対象分光特性および目標分光特性に基づいて、変換係数を算出するものである。

変換係数補正部１０９は、変換係数算出部１０８から転送される変換係数を、補正係数算出部１０６から転送される補正係数を用いて補正するものである。

出力部１１０は、変換係数補正部１０９から転送された補正後の変換係数を、例えばメモリーカード等の記録媒体に保存するものである。

制御部１１１は、例えばマイクロコンピュータ等により構成されていて、この色変換係数算出装置全体を統括的に制御するものである。

外部Ｉ／Ｆ部１１２は、電源スイッチ、シャッタボタン、分光特性（後述するような対象分光特性、目標分光特性、光源の分光特性、および色パッチの分光透過率）の情報等を入力するための入力装置等を備えたインターフェースである。

次に、図１に示したような色変換係数算出装置の作用を、信号の流れに沿って説明する。

まず、色変換係数を算出する対象となる撮像系を色変換係数算出装置に取り付ける。本実施形態の図１に示したような構成においては、色変換係数を算出する対象となる撮像系は、レンズ系１００およびＣＣＤ１０１により構成される撮像系である。

そして、外部Ｉ／Ｆ部１１２を介して、色変換係数を算出する対象となる撮像素子の機種の代表的な分光特性（色変換係数を算出する対象となる撮像素子により得られたカラー信号を標準的に特徴付ける分光特性）（例えばカタログ等に記載された分光特性であり、以降では、対象分光特性という）と、色再現の目標となる撮像素子の分光特性（以降では、目標分光特性という）と、色パッチの分光透過率と、この色パッチを照明する光源の分光特性と、を入力する。

さらに、レンズ系１００により撮像可能な位置に、レンズ系１００の光軸に対して垂直になるように色票１２０を設置して、外部Ｉ／Ｆ部１１２のシャッタボタンを押すことにより、色票１２０の撮影を行う。

ここに、色票１２０は、本実施形態においては、予め定められた特定の狭帯域波長の光を透過する複数の色パッチを配した透過型の色票であるものとする。この色パッチの分光透過率の波長帯域幅を狭めることによって、撮像素子の分光特性の分布形状の特徴を高精度に抽出することが可能となる。

具体的には、色票１２０は、図２に示すように、基準色に各対応する分光透過率Ｏ^１〜Ｏ^１１までの１１個の色パッチを面内に配列して構成されたものである。これらの各分光透過率Ｏ^１〜Ｏ^１１は、図３に示すようになっている。すなわち、各分光特性Ｏ^１〜Ｏ^１１は、波長が４００ｎｍ〜７００ｎｍとなる範囲において、各ピーク波長が３０ｎｍ間隔となるように構成されたものとなっている。さらに、各色パッチの分光透過率は、半値全幅３０ｎｍの山形の分布形状をなしているものとする。なお、半値全幅が３０ｎｍの色パッチに限る必要はなく、任意の半値全幅をもった色パッチを利用することも可能である。

そして、このような透過型の色票１２０を用いて撮影を行うときには、色票１２０の背面側にライトボックス光源を設置して発光させる。これにより、色票１２０の背面側からレンズ系１００およびＣＣＤ１０１へ向けて光が照射される。

すると、レンズ系１００を介して色票１２０の光学像がＣＣＤ１０１上に結像され、このＣＣＤ１０１により光電変換が行われて映像信号が出力される。なお、本実施形態においては、ＣＣＤ１０１は、ベイヤー型の原色カラーフィルタを備えた単板ＣＣＤであることを想定している。

ここで、ベイヤー型の原色カラーフィルタは、図４に示すように、２×２画素を基本単位として、対角方向にＧ（緑）画素を２つ、残りの対角方向の２画素にＲ（赤）画素とＢ（青）画素とをそれぞれ１つずつ、配置したものとなっている。

このＣＣＤ１０１からの映像信号は、Ａ／Ｄ変換部１０２によってデジタル信号へ変換され、バッファ１０３に一時的に保存される。従って、Ａ／Ｄ変換部１０２を介してバッファ１０３に保存される映像信号は、１画素についてＲ信号、Ｇ信号、またはＢ信号の何れか１つの色信号のみが得られるＲＧＢ信号（ＲＧＢベイヤー信号）である。このバッファ１０３内のＲＧＢ信号は、信号処理部１０４へ転送される。

信号処理部１０４は、公知の補間処理を行うことにより、三板状態のＲＧＢ信号（すなわち、１画素についてＲ信号、Ｇ信号、およびＢ信号の全てがそろった状態のＲＧＢ信号）を生成する。さらに、信号処理部１０４は、三板状態のＲＧＢ信号に対して明るさ補正等の信号処理を行う。この信号処理部１０４により処理された映像信号は、信号算出部１０５へ転送される。

信号算出部１０５は、信号処理部１０４から転送されたＲＧＢ信号から、図２および図３に示したような色票１２０の各色パッチ毎の平均ＲＧＢ信号（平均Ｒ信号、平均Ｇ信号、および平均Ｂ信号）を算出して（この平均ＲＧＢ信号を基準ＲＧＢ信号とする）、算出した基準ＲＧＢ信号を補正係数算出部１０６へ転送する。

参照カラー信号算出部１０７は、外部Ｉ／Ｆ部１１２から入力され、制御部１１１を介して転送される対象分光特性と光源の分光特性と色パッチの分光透過率とに基づいて、基準ＲＧＢ信号に対応する参照ＲＧＢ信号を算出し、算出した参照ＲＧＢ信号を補正係数算出部１０６へ転送する。

補正係数算出部１０６は、参照カラー信号算出部１０７から転送された参照ＲＧＢ信号と、信号算出部１０５から転送された基準ＲＧＢ信号と、に基づいて、補正係数を算出する。補正係数算出部１０６は、算出した補正係数を変換係数補正部１０９へ転送する。

変換係数算出部１０８は、外部Ｉ／Ｆ部１１２から入力され、制御部１１１を介して転送される対象分光特性および目標分光特性に基づいて、変換係数（色変換係数を算出する対象となる撮像素子と同一機種の代表的な分光特性の撮像素子により得られたＲＧＢ信号を、色再現の目標となる撮像素子により得られるＲＧＢ信号に近似する変換を行うための変換係数）を算出し、算出した変換係数を変換係数補正部１０９へ転送する。

ここで、上述したように外部Ｉ／Ｆ部１１２を介して入力される対象分光特性は、ＣＣＤ１０１の機種を代表する分光特性であるものとする。具体的には、上述したように例えばカタログに記載されている分光特性を用いることができる。なお、代表的な分光特性としては、カタログに記載された分光特性に限るものではなく、例えば、ＣＣＤ１０１として採用されている機種に属する特定の１つのＣＣＤ個体の分光特性を実際に測定して、この測定結果として得られた分光特性を用いても構わない。

一方、目標分光特性は、色再現の目標となる撮像素子を実測して得られた分光特性であっても構わないし、あるいはカタログに記載されている分光特性であっても良い。

変換係数補正部１０９は、補正係数算出部１０６から転送された補正係数に基づいて、変換係数算出部１０８から転送された変換係数を補正する。

出力部１１０は、変換係数補正部１０９から転送された補正後の変換係数を、メモリーカード等の記録媒体に記録して保存する。

次に、参照カラー信号算出部１０７の作用について説明する。

参照カラー信号算出部１０７は、外部Ｉ／Ｆ部１１２から制御部１１１を介して入力さ対象分光特性と光源の分光特性と色パッチの分光透過率とに基づいて、参照ＲＧＢ信号を算出する。

この参照ＲＧＢ信号は、基準ＲＧＢ信号と対応するものであって、予め測定してあるライトボックス型光源の分光特性（図５参照）と、色再現の対象となる撮像素子のカタログ等に記載された対象分光特性（図６参照）と、色票１２０の各色パッチの分光透過率と（図３参照）と、を波長成分毎にそれぞれ積算して、対象としている波長帯域（４００ｎｍ〜７００ｎｍ）に関して足し合わせたものである。この参照ＲＧＢ信号の算出は、具体的には次の数式１に示すように行われる。
［数１］

ここで、Ｒ_ｉ ^Ｓ，Ｇ_ｉ ^Ｓ，Ｂ_ｉ ^Ｓは参照ＲＧＢ信号を、ｉは色票１２０の色パッチの識別番号を、Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λは色再現の対象となる撮像素子のＲ画素，Ｇ画素，Ｂ画素それぞれのカタログ等に記載された対象分光特性を、Ｌ_λは光源の分光特性を、Ｏ^ｉ _λは色パッチｉの分光透過率を、それぞれ示している。

上述において、λは波長を表しており、上記各分光特性は、波長４００ｎｍ〜７００ｎｍの範囲を１０ｎｍ間隔でサンプリングして得られたものであるとする。また、色パッチの総数をｎとすると、色票１２０の色パッチの識別番号ｉが取り得る範囲は１〜ｎであり、本実施形態においては図２および図３に示したようにｎは１１である。

この参照カラー信号算出部１０７により算出された参照ＲＧＢ信号は、補正係数算出部１０６へ出力される。

次に、補正係数算出部１０６の作用について、詳細に説明する。

この補正係数算出部１０６は、参照カラー信号算出部１０７から転送された参照ＲＧＢ信号と、信号算出部１０５から転送された基準ＲＧＢ信号と、に基づいて、補正係数（補正マトリックス係数）を、例えば次の数式２に示すように、参照ＲＧＢ信号と基準ＲＧＢ信号との間の最小自乗法により算出する。
［数２］

ここで、Ｒ_ｉ ^Ｏ，Ｇ_ｉ ^Ｏ，Ｂ_ｉ ^Ｏは基準ＲＧＢ信号を示し、ａ_１〜ａ_９は補正マトリックス係数を表す。

このような補正マトリックス係数は、参照ＲＧＢ信号の算出に用いたカタログ等の撮像素子の分光特性と、色票１２０の撮影に実際に用いた撮像素子の分光特性と、の間の差異（つまり、同一機種であっても生じる個体毎の差異）を吸収する役割をもつものとなっている。

こうして補正係数算出部１０６により算出された補正マトリックス係数ａ_１〜ａ_９は、変換係数補正部１０９へ転送される。

なお、数式２においては、補正マトリックス係数が線形な３×３のマトリックス係数であるとして算出を行っているが、Ｒ_ｉ ^Ｏ，Ｇ_ｉ ^Ｏ，Ｂ_ｉ ^Ｏの高次の項（非線形項）を含むようなマトリックス係数であっても構わない。このときにも、高次のマトリックス係数を最小自乗法により算出することは、線形マトリックス係数の場合と同様である。すなわち、高次のマトリックス係数の算出は、例えば次の数式３に示すように行うことができる。
［数３］

ここで、ｂ_１１〜ｂ_９９は９×９の高次のマトリックスの係数を表す。こうして、数式３に示す９つの式がそれぞれ最小になるときのｂ_１１〜ｂ_９９を算出すれば良い。

次に、変換係数算出部１０８の作用について、詳細に説明する。

変換係数算出部１０８は、外部Ｉ／Ｆ部１１２から入力される、色変換係数を算出する対象となる撮像素子のカタログ等に記載された対象分光特性Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λを、色再現の目標となる撮像素子の目標分光特性Ｔ^Ｒ _λ，Ｔ^Ｇ _λ，Ｔ^Ｂ _λに近似する変換を行うための変換マトリックス係数ｃ_１〜ｃ_９を、次の数式４に示すような最小自乗法により算出する。
［数４］

変換係数算出部１０８により算出された変換マトリックス係数ｃ_１〜ｃ_９は、変換係数補正部１０９へ転送される。

なお、数式４においては、変換マトリックス係数が線形な３×３のマトリックス係数であるとして算出を行っているが、Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λの高次の項（非線形項）を含むようなマトリックス係数であっても構わない。このときにも、高次のマトリックス係数を最小自乗法により算出することは、線形マトリックス係数の場合と同様である。すなわち、高次のマトリックス係数の算出は、例えば次の数式５に示すように行うことができる。
［数５］

ここで、ｄ_１１〜ｄ_３９は３×９の高次のマトリックスの係数を表す。こうして、数式５に示す３つの式がそれぞれ最小になるときのｄ_１１〜ｄ_３９を算出すれば良い。

続いて、変換係数補正部１０９の作用について、詳細に説明する。

変換係数補正部１０９は、補正係数算出部１０６から得られた補正マトリックス係数を用いて、変換係数算出部１０８から得られた変換マトリックス係数の補正を行う。例えば、補正マトリックス係数が上述したようなａ_１〜ａ_９であり、かつ変換マトリックス係数が上述したようなｃ_１〜ｃ_９である場合には、変換係数補正部１０９は、補正後の変換マトリックス係数ｃ’_１〜ｃ’_９を、次の数式６に示すように算出する。
［数６］

ここで、線形な変換に対応する数式６が導かれる過程について、概要を説明する。

今、元来的に求めたい色変換係数は、色変換係数を求めようとしている撮像素子によりある被写体を撮像したときに得られるＲＧＢ信号（これをＲ’Ｇ’Ｂ’信号とする）を、目標とする撮像素子により同一の被写体を撮像したときに得られるＲＧＢ信号（これをＲ^ＴＧ^ＴＢ^Ｔ信号とする）に変換するための色変換係数であって、しかも任意の被写体を撮像したときに用いることができるような色変換係数である。この色変換係数ｘ_１〜ｘ_９は、次の数式７に示すように表される。
［数７］

ここに、任意の被写体の分光分布をｆ_λとおくと、Ｒ^ＴＧ^ＴＢ^Ｔ信号は、次の数式８に示すように表される。
［数８］

また、色変換係数を求めようとしている撮像素子は、該撮像素子と同一機種のカタログに記載されている分光特性Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λとは、個体差があり得る点で幾らか異なっているはずであるために、ダッシュを付してＳ’^Ｒ _λ，Ｓ’^Ｇ _λ，Ｓ’^Ｂ _λと表すことにすると、Ｒ’Ｇ’Ｂ’信号は、次の数式９に示すように表される。
［数９］

上述した数式７に示すような変換係数ｘ_１〜ｘ_９を求めたいところであるが、様々な分光分布を持つ任意の被写体に対して正確な変換を行うことができる変換係数を求めることは不可能である（というよりも、変換係数が定数として構成される場合には存在しない。実際に、メタメリズム等を考えれば分かるように、同一のＲ’Ｇ’Ｂ’信号が得られる被写体の分光分布は一般に１つではなく複数存在するが、これら複数の分光分布の被写体を色再現の目標とする撮像素子により撮像したときに、何れの被写体についても同一のＲ^ＴＧ^ＴＢ^Ｔ信号が得られるとは限らない）。加えて、被写体が任意である場合には、全ての被写体に対して色の誤差を最小化するような変換係数（定数で構成される変換係数）ｘ_１〜ｘ_９を求めることも困難である。

そこで、被写体の分光分布や被写体を照明する光源の分光特性といった条件が同一であれば、対象の撮像素子により得られるＲＧＢ信号を、目標の撮像素子により得られるＲＧＢ信号に変換するには、分光特性間の変換を行うことができれば良い、という近似を行う。すなわち、次の数式１０に示すような分光特性間の変換を行う変換係数ｃ’_１〜ｃ’_９が分かるとすると、この変換係数ｃ’_１〜ｃ’_９を数式７に示した変換係数ｘ_１〜ｘ_９として代用することができるものと近似する。
［数１０］

ところで、数式１０の右辺に現れる、変換係数を算出する対象となる撮像素子の分光特性Ｓ’^Ｒ _λ，Ｓ’^Ｇ _λ，Ｓ’^Ｂ _λは、全ての撮像素子の個体毎に測定することは現実的でないために、本実施形態においては既知の量ではない。今、既知であるといえるのは、対象となる撮像素子と同一機種の代表的な分光特性であるＳ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λのみである。すなわち、算出可能であるのは、次の数式１１に示すような変換係数ｃ_１〜ｃ_９である。
［数１１］

ここで、仮に、次の数式１２に示すような、変換係数を算出する対象となる撮像素子の分光特性Ｓ’^Ｒ _λ，Ｓ’^Ｇ _λ，Ｓ’^Ｂ _λから、カタログ等に記載されている同一機種の撮像素子の分光特性Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λへの変換係数ａ_１〜ａ_９を知ることができたとしよう。
［数１２］

すると、数式１２を数式１１に代入すれば、次の数式１３を得る。
［数１３］

この数式１３を数式１０と見比べれば、数式６が得られることが分かる。従って、今残された課題は、数式１２に示すような変換係数ａ_１〜ａ_９を求めることである。

そこで、変換係数を算出する対象となる撮像素子の分光特性Ｓ’^Ｒ _λ，Ｓ’^Ｇ _λ，Ｓ’^Ｂ _λから、カタログ等に記載されている同一機種の撮像素子の分光特性Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λへの変換係数ａ_１〜ａ_９が、次のようにして得られると近似する。

すなわち、図２に示したような色票１２０の各パッチを、変換係数を算出する対象となる撮像素子により撮像して得られたＲＧＢ信号（基準ＲＧＢ信号Ｒ_ｉ ^Ｏ，Ｇ_ｉ ^Ｏ，Ｂ_ｉ ^Ｏ）から、カタログ等に記載されている同一機種の撮像素子の分光特性Ｓ^Ｒ _λ，Ｓ^Ｇ _λ，Ｓ^Ｂ _λに基づき得られる参照ＲＧＢ信号Ｒ_ｉ ^Ｓ，Ｇ_ｉ ^Ｓ，Ｂ_ｉ ^Ｓへの変換が、上記変換係数ａ_１〜ａ_９により行われるものと近似する。この近似を示すのが、数式２である。この数式２により算出した補正マトリックス係数ａ_１〜ａ_９を、数式１２により求められる変換係数に代えて用いることができるために、数式６による算出を行うことが可能となる。

なお、高次のマトリックス係数の場合にも、考え方の流れは線形の場合とほぼ同様である。

高次のマトリックス係数の場合は、数式６、数式７、数式１０、数式１１、数式１２、数式１３に対応する各式は、それぞれ以下に示すようになる。

まず、数式６は、次の数式１４に示すようになる。
［数１４］

次に、数式７は、次の数式１５に示すようになる。
［数１５］

さらに、数式１０は、次の数式１６に示すようになる。
［数１６］

同様に、数式１１は、次の数式１７に示すようになる。
［数１７］

そして、数式１２は、次の数式１８に示すようになる。
［数１８］

従って、数式１３は、次の数式１９に示すようになる。
［数１９］

ここで、数式１８に示すような補正マトリックス係数ｂ_１１〜ｂ_９９を得るための近似式が、上述した数式３である。

従って、高次のマトリックス係数も、線形マトリックス係数と同様の方法で算出することが可能である（ただし、上述したのは２次項までを考慮した一例であり、例えば３次項、４次項等の更なる高次項までを考慮することも同様に可能である）。

このようにして変換係数補正部１０９により算出された補正後の変換マトリックス係数は、出力部１１０へ転送されて、この出力部１１０によって記録媒体に記録して保存される。

なお、上述では、撮像素子としてＣＣＤを例に挙げているが、これに限るものではなく、ＣＭＯＳやその他のタイプの撮像素子であってももちろん構わない。

また、上述ではベイヤー型の原色カラーフィルタを備えた単板撮像素子を用いていたが、これに限定される必要なく、補色カラーフィルタを備えた単板撮像素子であっても構わないし、カラーフィルタが原色あるいは補色であるに限らず、互いに独立な複数の任意のカラー成分を有するカラーフィルタを備えた撮像素子であれば良い。

加えて、撮像素子も単板に限るものではなく、二板、三板、あるいはそれ以上の多板の撮像素子であっても構わない。

また、上述では、透過型の色票１２０を用いているが、これに限定される必要はなく、例えば反射型の色票を用いることも可能である。この場合には、ライトボックス光源ではなく、別途の外部照明器具を用いて照明光を色票に照射することになる。

さらに、図７に示すような円形状の回転式フィルタ１３０（各フィルタの分光特性は、図３のＯ^１〜Ｏ^１１に示したようなものであるとする）を撮像系（モノクロの撮像素子を備えた撮像系）におけるレンズ系１００の前に設置して、この回転式フィルタ１３０を回転させることにより各色パッチの映像信号を時系列的に取得するように構成することも可能である。

加えて、任意の狭帯域波長の光を発光する例えばＬＥＤ等を色パッチとして用いた発光型の色票を適用しても良い。

ところで、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、ＣＣＤ１０１からの映像信号を未処理のままのＲａｗデータとしてコンピュータに入力し、別途のソフトウェアである色変換係数算出プログラムをコンピュータに実行させて処理することも可能である。

さらにあるいは、色変換係数算出装置あるいは色変換係数算出プログラムに限らず、同様の処理を行う色変換係数算出方法であっても構わない。

図８を参照して、色変換係数算出方法における処理の流れについて説明する。

この処理を開始すると、まず、色変換係数を算出する対象となる撮像素子により色票１２０を撮像することによって得られた未処理の映像信号を入力する（ステップＳ１）。

次に、ステップＳ１により得られた映像信号に対して、公知の補間処理を行うことにより三板状態の映像信号を生成し、その後に明るさ補正等を行う（ステップＳ２）。

さらに、ステップＳ２により得られた映像信号から、色票１２０の各色パッチの平均ＲＧＢ信号を算出する（ステップＳ３）。なお、ここで算出された平均ＲＧＢ信号を、基準ＲＧＢ信号とする。

そして、色変換係数を算出する対象となる撮像素子の対象分光特性、色再現の目標となる撮像素子の目標分光特性、光源の分光特性、色票１２０の各色パッチの分光特性をそれぞれ入力する（ステップＳ４）。

次に、ステップＳ４により得られた対象分光特性と、光源の分光特性と、色票１２０の分光特性と、に基づいて、例えば数式１に示したように参照ＲＧＢ信号の算出を行う（ステップＳ５）。

続いて、ステップＳ３により得られた基準ＲＧＢ信号と、ステップＳ５により得られた参照ＲＧＢ信号と、に基づいて、例えば数式２に示したように補正係数の算出を行う（ステップＳ６）。

さらに、ステップＳ４により得られた対象分光特性と目標分光特性とに基づいて、例えば数式４に示したように変換係数の算出を行う（ステップＳ７）。

その後、ステップＳ７により得られた変換係数に、ステップＳ６から得られた補正係数を例えば数式６に示したように乗算することにより、変換係数を補正して（ステップＳ８）、補正した変換係数の保存等を行ってからこの処理を終了する。

なお、上述においては、撮像素子が３原色である場合を例に挙げて説明したが、２原色、あるいは４原色以上の多原色であっても、上述した技術を同様に適用することが可能である。そして、当然にして、３原色はＲＧＢに限るものではない。また、原色数が同一の撮像素子同士の色変換を行うに限るものではなく、例えば４原色の撮像素子から３原色の撮像素子への色変換を行う、等の場合にも上述した技術を適用することができる。

このような実施形態１によれば、対象分光特性と目標分光特性とに基づいて標準的な変換係数を算出しているために、全ての色成分において概略妥当な変換係数を得ることができる。さらに、この標準的な変換係数を、色票１２０を撮影して得られた映像信号から算出した補正係数を用いて補正するようにしたために、撮像素子個々の分光特性の差を排除した最適な色変換係数を算出することが可能となる。

そして、このような処理を行うようにしたために、撮像素子の個体毎に分光特性を測定することが不要になると共に、多種多様な色を配置した色票を用意して撮像することも不要になる。これらに代えて、幾つかの色パッチが配置されただけの色票１２０を撮像すれば済むために、色変換係数を補正するための情報を容易に取得することができ、工程を簡易化して生産効率を向上することが可能となる。

また、カタログ等に記載された対象分光特性に基づいて参照カラー信号を算出する場合には、実装が容易であり、算出を簡易に行うことができる利点がある。

さらに、変換係数を変換マトリックス係数として算出するとともに、補正係数を補正マトリックス係数として算出し、これらをマトリックス演算することにより補正された変換マトリックス係数を算出するようにしたために、実装が容易であり、システムの低コスト化を図ることが可能となる。

そして、波長帯域幅の狭い色パッチ等を用いるようにしたために、分光特性の分布形状の特徴を高精度に抽出することが可能となる。

また、色パッチとして、ＬＥＤ等の発光型のものを用いることにより、別途の光源が不要になると共に、比較的精度の高い色票を安価に構成することが可能となる。

さらに、透過型カラーフィルタを時系列的に介してモノクロの撮像素子により撮像して基準カラー信号を取得するようにした場合には、面順次型の撮像系に適合した基準カラー信号を簡便に取得することが可能となる。

加えて、算出した色変換係数をデジタルカメラ等の撮像装置が有する色変換処理の係数に適用すれば、撮像素子個々に最適な色変換処理を撮像装置において行うことが可能となる。

［実施形態２］
図９は本発明の実施形態２を示したものであり、色変換係数算出装置の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の色変換係数算出装置は、上述した実施形態１の図１に示したような色変換係数算出装置における、変換係数算出部１０８を変換係数ＲＯＭ１１３に、参照カラー信号算出部１０７を参照カラー信号ＲＯＭ１１４に、それぞれ置換した構成になっている。そして、変換係数ＲＯＭ１１３は変換係数補正部１０９へ、参照カラー信号ＲＯＭ１１４は補正係数算出部１０６へそれぞれ接続されているが、これらは制御部１１１とは直接接続されている必要はない。その他の基本的な構成は、上述した実施形態１とほぼ同様である。

次に、本実施形態の色変換係数算出装置の作用の内の、上述した実施形態１の色変換係数算出装置の作用と異なる部分について、図９における信号の流れに沿って説明する。

色変換係数を算出する対象となる撮像素子の対象分光特性と、色再現の目標となる撮像素子の目標分光特性と、光源の分光特性と、色パッチの分光透過率と、が予め分かっている場合には、事前に参照ＲＧＢ信号や変換係数を算出しておくことが可能である。そこで、このようにして予め算出された参照ＲＧＢ信号が参照カラー信号ＲＯＭ１１４に、変換係数が変換係数ＲＯＭ１１３に、記録されているものとする。従って、本実施形態の構成においては、対象分光特性と目標分光特性と光源の分光特性と色パッチの分光透過率とを外部Ｉ／Ｆ部１１２を介して入力する手順は不要となる。

補正係数算出部１０６は、参照カラー信号ＲＯＭ１１４から参照ＲＧＢ信号を読み出して、例えば数式２に基づき、補正マトリックス係数ａ_１〜ａ_９を算出する。

また、変換係数補正部１０９は、変換係数ＲＯＭ１１３から所定の変換係数を読み出して、読み出した変換係数を、補正係数算出部１０６から得られる補正マトリックス係数によって例えば数式６に基づき補正する。

これら以外の処理は、上述した実施形態１とほぼ同様である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、参照ＲＧＢ信号や変換係数をＲＯＭ等に予め記録しておくようにしたために、参照ＲＧＢ信号や色変換係数を色変換係数算出装置内で算出する手間を省くことができ、その結果、効率的に作業性良く色変換係数を算出することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における色変換係数算出装置の構成を示すブロック図。 上記実施形態１における色パッチが配列された色票の構成例を示す図。 上記実施形態１における色票の色パッチの分光透過率を示す線図。 上記実施形態１におけるベイヤー型原色カラーフィルタの構成を示す図。 上記実施形態１における光源の分光特性を示す線図。 上記実施形態１における撮像素子の対象分光特性を示す線図。 上記実施形態１における回転式フィルタの構成を示す図。 上記実施形態１の色変換係数算出方法における処理の流れを示すフローチャート。 本発明の実施形態２における色変換係数算出装置の構成を示すブロック図。

符号の説明

１００…レンズ系
１０１…ＣＣＤ
１０２…Ａ／Ｄ変換部
１０３…バッファ
１０４…信号処理部
１０５…信号算出部
１０６…補正係数算出部（補正係数算出手段）
１０７…参照カラー信号算出部
１０８…変換係数算出部（色変換係数算出手段）
１０９…変換係数補正部（係数補正手段）
１１０…出力部
１１１…制御部
１１２…外部Ｉ／Ｆ部（分光特性入力手段）
１１３…変換係数ＲＯＭ
１１４…参照カラー信号ＲＯＭ
１２０…色票
１３０…回転式フィルタ

Claims (11)

1. 第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出するための色変換係数算出装置において、
   上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として、上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を、上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出手段と、
   複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を、上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出手段と、
   上記色変換係数を上記補正係数を用いて補正する係数補正手段と、
   を具備したことを特徴とする色変換係数算出装置。
2. 上記色変換係数算出手段は、上記色変換係数を、上記第１のカラー信号にマトリックス演算することにより上記第２のカラー信号が得られるような変換マトリックスを構成する変換マトリックス係数として算出するものであることを特徴とする請求項１に記載の色変換係数算出装置。
3. 上記補正係数算出手段は、上記補正係数を、上記基準カラー信号にマトリックス演算することにより上記参照カラー信号に近似するカラー信号が得られるような補正マトリックスを構成する補正マトリックス係数として算出するものであることを特徴とする請求項２に記載の色変換係数算出装置。
4. 上記係数補正手段は、上記補正された色変換係数を、上記変換マトリックス係数により構成される変換マトリックスに、上記補正マトリックス係数により構成される補正マトリックスをマトリックス演算することにより、補正された変換マトリックス係数として算出するものであることを特徴とする請求項３に記載の色変換係数算出装置。
5. 上記基準カラー信号は、上記複数の基準色に対応する複数色の色パッチを撮像することにより得られた第１のカラー信号であり、
   上記参照カラー信号は、上記複数色の色パッチの分光特性と上記第１の分光特性とに基づき得られたカラー信号であることを特徴とする請求項１に記載の色変換係数算出装置。
6. 上記色パッチは、特定の狭帯域の光を発光する色パッチであることを特徴とする請求項５に記載の色変換係数算出装置。
7. 上記色パッチは、特定の狭帯域の光を透過または反射する色パッチであり、
   上記基準カラー信号は、光源により照明された上記複数色の色パッチを撮像することにより得られた第１のカラー信号であり、
   上記参照カラー信号は、上記複数色の色パッチの分光特性と上記光源の分光特性と上記第１の分光特性とに基づき得られたカラー信号であることを特徴とする請求項５に記載の色変換係数算出装置。
8. 上記基準カラー信号は、光源により照明された上記複数の基準色に対応する複数色の透過型カラーフィルタを時系列的に介してモノクロの撮像手段により撮像することによって得られた第１のカラー信号であり、
   上記参照カラー信号は、上記複数色の透過型カラーフィルタの分光特性と上記光源の分光特性と上記第１の分光特性とに基づき得られたカラー信号であることを特徴とする請求項１に記載の色変換係数算出装置。
9. 上記第１の分光特性と上記第２の分光特性とを入力するための分光特性入力手段をさらに具備したことを特徴とする請求項１に記載の色変換係数算出装置。
10. コンピュータに、第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出させるための色変換係数算出プログラムにおいて、コンピュータに、
    上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として、上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を、上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出ステップと、
    複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を、上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出ステップと、
    上記色変換係数を上記補正係数を用いて補正する係数補正ステップと、
    を実行させるための色変換係数算出プログラム。
11. 第１の種類に属する第１の撮像素子により得られる、複数の色信号からなる第１のカラー信号を、第２の種類に属する第２の撮像素子により得られる、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出するための色変換係数算出方法において、
    上記第１のカラー信号を上記第２のカラー信号に変換するための色変換係数として、上記第１の種類に属する撮像素子を標準的に特徴付ける第１の分光特性を、上記第２の種類に属する撮像素子を標準的に特徴付ける第２の分光特性に変換するための色変換係数を算出する色変換係数算出ステップと、
    複数の基準色に対応する、上記第１の種類に属する上記第１の撮像素子により得られる上記第１のカラー信号である基準カラー信号を、上記複数の基準色に対応して、上記第１の種類に属する撮像素子を標準的に特徴付ける上記第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する補正係数算出ステップと、
    上記色変換係数を上記補正係数を用いて補正する係数補正ステップと、
    を有することを特徴とする色変換係数算出方法。

Images