JP6427926B2 - 色再現補正方法、色再現補正装置及び撮像装置 - Google Patents

Description

本発明は色再現補正方法、色再現補正装置及び撮像装置に関し、より詳細には、撮影時の被写体の照明条件によらずに、撮像装置個体間の特性ばらつきを補正して良好な色再現を行うことが可能な色再現補正方法、色再現補正装置及び撮像装置に関する。

近年広く普及しているデジタルカメラやビデオカメラ等の撮像装置においては、搭載されたＣＭＯＳやＣＣＤからなる固体撮像素子から出力されるＲ、Ｇ、Ｂの各信号に対して、種々の画像処理を施したものを画像データとして記録している。これらの画像処理のうち、白色の再現を行うのがホワイトバランス処理である。

このホワイトバランス補正処理とは、照明光源によっては肉眼で観察した被写体像と、撮影された画像との間に色彩上の差異が生じるが、特に白色の被写体が純白に再現されるようにするための補正処理である。例えば、日光などの自然光と、蛍光灯などの人工光とでは、両光源の色温度に相違があり、この結果、撮影された画像の白色再現性に大きな影響を及ぼすこととなるため、ホワイトバランス補正処理を施すことにより再現される画像に違和感が生じないようにするものである。

ここで、撮像装置に搭載される固体撮像素子には、その分光感度特性等に個体ばらつきがあることが知られている。そのため、良好なホワイトバランス処理を行うためには、その特性ばらつきまで考慮に入れて補正を行う必要がある。

例えば、特許文献１に開示の発明では、光学系を介した被写体光を電気信号に変換してカラー画像信号として出力するＣＣＤ２０１と、カラー画像信号の所定の色のゲインを調整することによりＡＷＢ調整を可変利得増幅器２０３と、ＡＷＢ初期ゲイン値に基づいて、可変利得増幅器２０３のゲインを制御する制御部２０６と、複数種類の色温度フィルタを備えたフィルタ部材３０３と、フィルタ部材３０３の指定の色温度フィルタを撮影光軸上に配置するフィルタ移動用モータ３０２と、を備え、ＡＷＢ調整モードにおいて、各色温度フィルタを介した撮影を、ＡＥ及びＡＷＢ調整機能を停止させて、各色温度フィルタに対応するＡＥデータを各々設定して行う構成としている。

これにより、撮像装置個体間の特性ばらつきを補正するＡＷＢ調整を自動で行なうことが可能な撮像システムを提供できる、としている。

また、特許文献２に開示の発明では、操作部材の操作に基づいて光源種を選択し、該選択した光源種に適したホワイトバランス補正値を第１の記憶手段から読み出すとともに、電子カメラの撮像光学系及びカラー撮像素子のバラツキに伴うホワイトバランスの微調整値を第２の記憶手段から読み出し、前記読み出したホワイトバランス補正値及び微調整値に基づいて前記カラー撮像素子から得られるＲ，Ｇ，Ｂ信号のホワイトバランス調整を行う電子カメラのホワイトバランス調整方法であって、（ａ）ホワイトバランス調整用の所定のチャートを所定の光源種の下で撮影するとともに、前記第１の記憶手段から前記所定の光源種に対応するホワイトバランス補正値に基づいて前記カラー撮像素子から得られたＲ，Ｇ，Ｂ信号のホワイトバランス調整を行うステップと、（ｂ）前記ステップ（ａ）で得られるＲ，Ｇ，Ｂ信号の各色の積算値の比を求めるステップと、（ｃ）前記ステップ（ｂ）で求めたＲ，Ｇ，Ｂ信号の各色の積算値の比を、前記所定のチャートを所定の光源種の下で撮影したときに得られる目標のＲ，Ｇ，Ｂ信号の各色の積算値の比（目標値）に一致させるための微調整値を求めるステップと、（ｄ）前記ステップ（ｃ）で求めたホワイトバランスの微調整値を前記第２の記憶手段に記憶させるステップと、を含む構成としている。

実際の撮影時には、操作部材の操作によって予め決定されたホワイトバランス補正値と前記微調整値とを使用してカラー撮像素子から得られたＲ，Ｇ，Ｂ信号のホワイトバランス調整を行い、これにより撮影光学系、撮像素子の分光感度バラツキまでを考慮したホワイトバランス調整が行われる。

これにより、各電子カメラの撮影レンズのバラツキやカラー撮像素子の分光特性の感度バラツキ等があっても実際の撮影時に得られる最終出力に色ずれやバラツキが生じないように補正することができる、としている。

特開平１１−１６８７３２号公報 特開２００４−３０４６９５号公報 特開２００６−２７０１３５号公報

ところで、撮影時の被写体の照明光源には様々なものがあり、さらに被写体自体の持つ色も様々である。このため、ホワイトバランスの調整値に基づく補正のみでは、照明条件によって被写体の有彩色の色再現性が得られない場合があった。

ホワイトバランス処理と色再現処理の双方に注目した発明としては、例えば特許文献３がある。特許文献３に開示の発明では、光学系から入射した被写体像を、撮像素子２により画像信号として取り出し、該画像信号を処理して電子的に画像記録を行う電子的撮像装置の色再現補正装置であって、撮像画像の色再現を補正する色再現信号算出部５と、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する映像信号処理部４とを具備し、色再現信号算出部５には、撮像素子２の画像信号に基づいて被写体の照明光源の種類を推定する光源推定処理手段５２が設けられ、光源推定処理手段５２の推定結果に基づいて、映像信号処理部４に対し補正信号を出力し、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する、構成としている。

これにより、撮影時の被写体の照明条件、例えば複数の光源が混じり合ったような環境下においても、最適なホワイトバランス補正処理、並びに色再現補正処理を的確に行うことができ、しかも色再現補正処理を短時間で行うことが可能な色再現補正装置を提供することができる、としている。

ただし、特許文献３では分光感度特性等の個体ばらつきには言及しておらず、ホワイトバランス処理と色再現処理に限界がある。

本発明はこのような状況に鑑みてなされたものであり、撮影時の被写体の照明条件に関わらず、撮像装置個体間の特性ばらつきを補正して良好な色再現を行うことを目的とする。

上記目的を達成するために、本発明を実施の色再現補正方法は、透過型フィルタを少なくとも２種類以上有する透過型チャートを介して、光源装置からの照射光を補正対象である撮像装置に設けられた撮像素子で光電変換し、ＲＧＢ信号から成る画像データを取得するチャート撮影ステップと、前記光源装置の光源色温度を、少なくとも２以上の所定の色温度から選択し変更する変更ステップと、前記各光源色温度に対応する前記各画像データのＲＧＢ信号値と、予め設定された基準信号値とをそれぞれ比較し、ＲＧＢ各信号の差分の絶対値が最小となるような３行３列の補正マトリクスをそれぞれ算出する算出ステップと、前記画像データを取得した際の前記光源色温度と、前記画像データから算出された前記補正マトリクスとを、それぞれ対応させて前記撮像装置内のメモリ部に記録する記録ステップと、通常撮影における被写体を前記撮像装置で撮影し、撮影画像データを取得する被写体撮影ステップと、前記被写体の撮影シーンの推定色温度を推定する光源推定ステップと、前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、前記推定色温度に対応する前記補正マトリクスを補間算出する補間ステップと、補間により算出された前記補正マトリクスを用いて、前記撮影画像データの色再現に係る色再現マトリクスを補正する補正ステップと、を含むことを特徴とする。

本発明の色再現補正方法によれば、２種類以上の光源光で２種類以上の透過型フィルタを有するチャートを撮影した画像データを用いて補正マトリクスを算出するので、撮影時の被写体の様々な照明条件に対応でき、撮像装置個体間の特性ばらつきを補正して良好な色再現を行うことが可能となる。

さらに本発明を実施の色再現補正方法は、上記発明において、透過型フィルタは、透明フィルタと少なくとも１種類以上の有色フィルタであり、取得した画像データの内、透明フィルタの透過光を光電変換して得られたＲＧＢ信号値のホワイトバランス調整に用いる個体調整用ゲインを算出し、前記個体調整用ゲインを、前記１種類以上の有色フィルタの透過光を光電変換して得られた各ＲＧＢ信号値に適用するホワイトバランス個体調整ステップをさらに含み、前記ホワイトバランス個体調整ステップでホワイトバランス調整された各ＲＧＢ信号値に対して前記算出ステップを適用することを特徴とする。

本発明の色再現補正方法によれば、透過型フィルタとして透明フィルタを有するで、透明フィルタを透過した光源光を用いた撮像装置のホワイトバランス個体調整を行うことにより、より精度の高い色再現を行うことが可能となる。

上記目的を達成するために、本発明を実施の色再現補正装置は、少なくとも２種類の色温度の光を選択して発生することのできる光源装置と、透過型フィルタを少なくとも２種類以上有する透過型チャートと、被写体を撮像してＲＧＢ信号値から成る画像データを取得する撮像装置と、通常撮影における被写体を補正対象である前記撮像装置で撮影し、取得した撮影画像データの色再現に係る色再現マトリクスを補正するための補正マトリクスの算出を行う算出部と、基準となるＲＧＢ信号値から成る基準信号値を記録する第１の記憶部と、算出された前記補正マトリクスを記録する第２の記憶部と、通常撮影における被写体の撮影シーンの推定色温度を推定する光源推定処理部と、前記推定色温度に対応する前記補正マトリクスを補間算出する補正マトリクス補間部と、補間により算出された前記補正マトリクスを用いて、前記色再現マトリクスを補正して色再現処理を行う色再現処理部と、を有し、前記撮像装置は、前記光源装置の発生する全ての光源色温度において、前記透過型チャートを透過した光源光を撮影して前記各画像データを取得し、前記算出部は、前記各画像データと前記基準信号値のＲＧＢ信号値をそれぞれ比較して、ＲＧＢ各信号の差分の絶対値が最小となるような３行３列の前記補正マトリクスをそれぞれ算出し、前記第２の記憶部は、前記画像データを取得した際の前記光源色温度と対応付けて、前記画像データから算出された前記各補正マトリクスを記録し、前記補正マトリクス補間部は、前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、前記推定色温度に対応する前記補正マトリクスを補間算出することを特徴とする。

本発明の色再現補正装置によれば、２種類以上の光源光で２種類以上の透過型フィルタを有するチャートを撮影した画像データを用いるので、撮影時の被写体の様々な照明条件に対応でき、撮像装置個体間の特性ばらつきを良好に補正できる補正マトリクスを算出することが可能となる。

上記目的を達成するために、本発明を実施の撮像装置は、被写体を撮像してＲＧＢ信号値から成る画像データを取得する撮像素子と、前記被写体の撮影シーンの推定色温度を推定する光源推定処理部と、取得した前記画像データのホワイトバランスゲインと色再現マトリクスとを設定するパラメータ設定部と、前記色再現マトリクスを補正するための補正マトリクスを、予め定められた複数種類の光源色温度とそれぞれ対応付けて記録する記録部と、前記補正マトリクスを、前記推定色温度に基づいて補間する補間部と、補間により得られた前記補正マトリクスと前記色再現マトリクスとを用いて前記画像データの色再現処理を行う色再現処理部と、を有し、前記補間部は、前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、線形補間により前記推定色温度に対応する前記補正マトリクスを算出することを特徴とする。

本発明の撮像装置によれば、補正マトリクスに対応する光源色温度と撮影シーンの推定色温度を比較して補間するので、実際の撮影シーンに対応する補正マトリクスを用いて色再現マトリクスの補正を行うことが可能となる。

本発明を実施の色再現補正方法、色再現補正装置及び撮像装置によれば、撮影時の被写体の照明条件によらずに、撮像装置個体間の特性ばらつきを補正して良好な色再現を行うことが可能となる。

本発明の一実施形態である色再現補正装置の主要な構成を示すブロック図である。 透過型チャートのフィルタ配置の一例を示す模式図である。 図１に示した撮像装置の主要な構成を示すブロック図である。 図１に示したＰＣの主要な構成を示すブロック図である。 補正マトリクスを算出するまでの処理を説明するフローチャートである。 図３に示した画像処理部の主要な構成を示すブロック図である。 撮影画像データに補正マトリクスが適用されるまでの色再現処理を説明するフローチャートである。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１は本発明に係る色再現補正方法が適用された色再現補正装置の主要な構成を示すブロック図である。本図に示す通り、色再現補正装置１００は、光源装置２００と、透過型チャート３００と、撮像装置４００と、コンピュータ（ＰＣ）５００と、を備えている。

光源装置２００は、所定の色温度の光を発生することのできる照射装置である。この光源装置２００は、発生する光の色温度を予め設定された複数の色温度から選択することができる。本実施形態の光源装置２００は、３種類の色温度の光を切り替えて発生することができる。以降では、光源装置２００の発生する光の色温度を光源色温度とも表記する。

発生可能な光源色温度としては、例えば、晴れ（５４００Ｋ）、曇り（６５００Ｋ）、タングステン電球（３０００Ｋ）、白色蛍光灯（４２００Ｋ）、昼白色蛍光灯（５０００Ｋ）、昼光色蛍光灯（６５００Ｋ）等が考えられる。

透過型チャート３００は、透過型フィルタとして、ガラス等で構成された透明フィルタ（ＣＬＲ）と、それぞれ異なる透過波長帯域を有する複数の有色フィルタとを有している。本実施形態では、フィルタ配置の一例として、図２に示す、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の６色を用いている。ただし、フィルタの種類、配置は共にこれに限られるものではない。

撮像装置４００には、色再現の補正を行うために、補正対象である撮像装置４００が１台ずつ配置される。

光源装置２００、透過型チャート３００、撮像装置４００は、概ね一直線上に配置されており、透過型チャート３００を透過した光源光を撮像装置４００で撮影できる構成となっている。すなわち、撮像装置４００は、透過型チャート３００の透明フィルタ（ＣＬＲ）を透過した光源色を含めて、合計７色の透過光を撮影する。上記の構成は、暗室等の周辺光の影響が抑えられた環境に設置されるのが望ましい。

ＰＣ５００は、撮像装置４００と電気的に接続されており、種々のデータをやり取りする。このＰＣ５００を光源装置２００と電気的に接続することで、ＰＣ５００から光源の点灯消灯や色温度の切り替えを行える構成とすることも可能である。

次に、撮像装置４００について説明する。

図３は、撮像装置４００の主要な構成を示すブロック図である。本図に示す撮像装置４００は、撮影光学系４０１と、撮像素子４０２と、Ａ／Ｄコンバータ４０３と、データ保持部４０４と、画像表示部４０５と、通信インターフェース（Ｉ／Ｆ）４０６と、画像処理部４０７と、カメラＣＰＵ４０８と、ユーザインターフェース（Ｉ／Ｆ）４０９と、を備えている。

撮影光学系４０１は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子４０２は、撮影光学系４０１により集光された光線を受光して光電変換し、アナログ画像データを出力する。この撮像素子４０２としては、ＣＣＤやＣＭＯＳイメージセンサを使用することができる。

撮像素子４０２の受光面は無数の画素から構成されている。これらの画素は、それぞれ赤色、緑色、青色のカラーフィルタいずれかを有しており、それらが公知のベイヤー配列で配置されることによって、Ｒ信号、Ｇ信号、Ｂ信号の３種類の信号で構成される画像データが出力されることになる。

また、カラーフィルタを用いずに、画素内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各信号を出力可能な垂直色分離タイプのイメージセンサであってもよい。

Ａ／Ｄコンバータ４０３、データ保持部４０４、画像表示部４０５、通信Ｉ／Ｆ４０６、画像処理部４０７、及び、カメラＣＰＵ４０８は、バス４１０を介して互いに接続されている。

Ａ／Ｄコンバータ４０３は、撮像素子４０２から出力されるアナログ画像データをデジタル変換する。デジタル変換された画像データは一旦データ保持部４０４に記録される。

画像処理部４０７は、データ保持部４０４に記録された画像データに対して各種の画像処理を行う。ホワイトバランス処理及び色再現処理もこの画像処理部４０７で行われる。

カメラＣＰＵ４０８は、撮像装置４００全体の包括的な制御を行う。このカメラＣＰＵ４０８にはユーザＩ／Ｆ４０９が接続されている。ユーザＩ／Ｆ４０９は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ４０８は所定の動作を行う指示を出す。

画像表示部４０５は、画像処理部４０７で処理された画像データや、データ保持部４０４に記録された画像データ等を表示する。

通信Ｉ／Ｆ４０６は、ＰＣ５００との間で不図示の通信ケーブルにより電気的に接続されている。これにより、ＰＣ５００と画像データ等の送受信を行うことができる。なお、通信Ｉ／Ｆ４０６としては、有線による接続に限らず、無線ＬＡＮを用いた接続であってもよい。

次に、ＰＣ５００について説明する。

図４は、ＰＣ５００の主要な構成を示すブロック図である。本図に示すＰＣ５００は、通信インターフェース（Ｉ／Ｆ）５０１と、データ保持部５０２と、モニタ５０３と、算出部５０４と、ＰＣＣＰＵ５０５と、ユーザインターフェース（Ｉ／Ｆ）５０６と、を備えている。

通信Ｉ／Ｆ５０１は、撮像装置４００との間で不図示の通信ケーブルにより電気的に接続されている。これにより、撮像装置４００と画像データ等の送受信を行うことができる。なお、通信Ｉ／Ｆ５０１としては、有線による接続に限らず、無線ＬＡＮを用いた接続であってもよい。撮像装置４００で取得された画像データは通信Ｉ／Ｆ５０１を介して転送され、データ保持部５０２に記録される。

通信Ｉ／Ｆ５０１、データ保持部５０２、モニタ５０３、及び、ＰＣＣＰＵ５０５は、バス５０７を介して互いに接続されている。

ＰＣＣＰＵ５０５は、ＰＣ５００全体の包括的な制御を行う。このＰＣＣＰＵ５０５にはユーザＩ／Ｆ５０６が接続されている。ユーザＩ／Ｆ５０６は、キーボードやマウス等で構成され、ユーザの操作によりＰＣＣＰＵ５０５は所定の動作を行う指示を出す。

また、ＰＣＣＰＵ５０５には、不図示の内部メモリ部に本発明に係る色再現補正方法を実施するためのプログラムが予め記録されている。このプログラムを読み出して実行することにより、ＰＣＣＰＵ５０５は撮像装置４００に対して静止画撮影の指示を出したり、補正マトリクス算出の指示を出したりする。

データ保持部５０２には、基準となるＲＧＢ信号から成る基準信号値が予め記録されている。

ＰＣＣＰＵ５０５には、さらに算出部５０４が接続されている。算出部５０４はＰＣＣＰＵ５０５からの指示に従って補正マトリクスの算出を行う。

ここで、算出される補正マトリクスについて説明する。図５は、本発明に係る色再現補正装置１００において補正マトリクスを算出するまでの処理を説明するフローチャートである。この処理は撮像装置出荷前に工場における調整工程で行われる。

本フローチャートは、図１に示す色再現補正装置１００に補正対象である撮像装置４００が配置された後、ＰＣ５００のユーザＩ／Ｆ５０６を介して、ＰＣＣＰＵ５０５に記録されている本発明を実施するプログラムが実行されると開始する。撮像装置４００の電源は予めＯＮになっているものとする。光源装置２００は不図示の通信ケーブルを介してＰＣ５００と接続し、ＰＣ５００からの指示で点灯等の制御をするようにしてもよい。

プログラムが開始されると、まず、ＰＣＣＰＵ５０５からカメラＣＰＵ４０８に対して、チャート撮影時の撮影条件（ＩＳＯ感度、シャッタスピード、Ｆ値、フォーカス位置等）が不図示の通信ケーブルを介して伝達される。これを受けて、カメラＣＰＵ４０８は各撮影条件を受信した値に設定する。（ステップＳ１０１）

続けてＰＣＣＰＵ５０５は、通信Ｉ／Ｆ５０１を介して、カメラＣＰＵ４０８に対して透過型チャート３００の撮影開始の指示を出す。これを受けて、カメラＣＰＵ４０８は撮像素子４０２に駆動信号を送信し、静止画の撮影を行わせる。（ステップＳ１０３）

撮影により取得された透過型チャート３００の画像データは、撮像装置４００内のデータ保持部４０４に記録される。光源装置２００とＰＣ５００とが不図示の通信ケーブルにより接続されている構成であれば、透過型チャート３００の撮影終了後に、ＰＣ５００を介して光源装置２００を消灯させる設定としてもよい。

ＰＣＣＰＵ５０５は、撮像装置４００のデータ保持部４０４内に記録された透過型チャート３００の画像データをＰＣ５００に転送するように、カメラＣＰＵ４０８に指示を出す。指示を受けたカメラＣＰＵ４０８は、通信Ｉ／Ｆ４０６を介してＰＣ５００に画像データを転送する。（ステップＳ１０５）そして、ＰＣＣＰＵ５０５は受信した画像データを、チャート撮影時の光源装置２００の光源色温度と対応付けてデータ保持部５０２に記録する。光源装置２００とＰＣ５００とが不図示の通信ケーブルにより接続されている構成であれば、チャート撮影時の光源色温度を自動で記録することも可能である。

次にＰＣＣＰＵ５０５は、光源装置２００の所定の種類の色温度全てに対して、透過型チャート３００を撮影したかどうかを判断する。（ステップＳ１０７）本実施形態の光源装置２００では、上述したように３種類の光源色温度の光を発生することができる。従って、ＰＣＣＰＵ５０５は、それら３種類の光源色温度全てに対して画像データを取得したかどうかを判断する。

まだ３種類全ての画像データを取得していなかった場合はステップＳ１０９に進み、光源装置２００の光源色温度の切り替えが行われる。（ステップＳ１０９）光源装置２００とＰＣ５００とが不図示の通信ケーブルにより接続されている構成であれば、ＰＣ５００からの指示で光源装置２００の光源色温度を切り替えるようにしてもよい。光源色温度の切り替えが完了したらステップＳ１０１に戻り、再度透過型チャート３００の撮影が行われる。

３種類全ての光源色温度に対応した画像データの取得が完了していた場合はステップＳ１１１に進み、取得された３種類の画像データから補正マトリクスの算出が行われる。（ステップＳ１１１）

ここで、補正マトリクスの算出について説明する。算出部５０４は、透過型チャート３００の撮影により取得した３種類の画像データのＲＧＢ信号値（ＲＧＢｃｈａ）（以下、取得信号値とも称す）と、基準となるＲＧＢ信号値（ＲＧＢｒｅｆ）（以下、基準信号値とも称す）とを、データ保持部５０２からそれぞれ読み出し、ＲＧＢ各信号値において基準信号値と取得信号値との間の差分の絶対値（誤差）（ΔＲＧＢ）が最小となるような係数を算出する演算を行う。

以下に詳しく説明する。取得信号値ＲＧＢｃｈａは、ＣＬＲを含む７色の透過光を光電変換し、それらをＲＧＢ信号値で表した画像データであり、それらの画像データが透過型チャート３００撮影時の各光源色温度に対してそれぞれ取得されたものである。これらの値は、以下のような３行７列の行列式として表すことができる。

ここで、本実施形態においてはｎ＝３であり、これが透過型チャート３００の撮影時に使用した光源装置２００の光源色温度の種類に対応している。

補正の対象である撮像装置４００は、色再現に関する個体ばらつきだけでなく、ホワイトバランスに関する個体ばらつきもそれぞれ有している。そのため、７色のカラーフィルタに対応する各ＲＧＢ信号値もまた、それぞれホワイトバランス個体ばらつきを含んでいることになる。

そこで、まず算出部５０４は、光源装置２００の各光源色温度下において取得した画像データの内、ＣＬＲに対応するデータＲＧＢＣＬＲに対してホワイトバランス個体調整を行い、各光源色温度について、ＲＧＢ信号値のバランスが概ね１：１：１となるような個体調整用ゲインをそれぞれ算出する。そして、算出した各個体調整用ゲインをそれぞれの７色のＲＧＢ信号値全てに掛け合わせることで、７色の出力からホワイトバランス個体ばらつきが取り除かれる。

なお、予めホワイトバランス個体調整が行われた撮像装置４００を、補正対象として色再現補正装置１００に配置した場合には、上記の処理は不要となる。ホワイトバランス個体調整後の撮像装置４００が用意できるのであれば、透過型チャート３００を構成する透過型フィルタのうち、透明フィルタ（ＣＬＲ）は不要となる。その場合には透過型チャート３００は２種類以上の有色フィルタのみで構成すればよい。

ホワイトバランス個体調整が行われた７色の出力ではＣＬＲの画像データを基準に個体調整用ゲインが算出されているので、ホワイトバランス個体調整後のＣＬＲのＲＧＢ信号値をＷ（白）と表記することとする。Ｗ以外の６色の出力値の表記については、便宜上変更しないこととすると、ＣＬＲのホワイトバランス個体調整後の透過型チャート３００の取得信号値ＲＧＢｃｈａは、次のような３行７列の行列式として表すことができる。

データ保持部５０２に記録されている基準信号値ＲＧＢｒｅｆは、各光源色温度における各信号値の基準値を定めている。これらの値も、取得信号値ＲＧＢｃｈａと対応するように、以下のような３行７列の行列式として表すことができる。

ここでもｎは光源色温度の種類に対応しており、本実施形態においてはｎ＝３である。

続いて算出部５０４は、各ＲＧＢ信号値において、基準信号値と、３行３列から成る係数が乗算された取得信号値との間の差分信号値ΔＲＧＢが最小となるように３行３列から成る係数の値を適宜調節する。

これにより算出された、差分の絶対値を最小とする係数が、その光源色温度に対応する補正マトリクスとなる。ここでもｎは光源色温度の種類に対応しており、本実施形態においてはｎ＝３である。

これにより、３種類の光源色温度にそれぞれ対応した補正マトリクスが算出される。ＰＣＣＰＵ５０５は、算出された各補正マトリクスを一旦データ保持部５０２に記録する。

続いて、ＰＣＣＰＵ５０５は通信Ｉ／Ｆ５０１を介して、記録した各補正マトリクスを撮像装置４００に転送する。このとき、ＰＣＣＰＵ５０５は各補正マトリクスに対応する光源色温度も同時に転送する。

カメラＣＰＵ４０８は、転送された補正マトリクスと光源色温度を画像処理部４０７内の補正マトリクス補間部４１４に設けられた不図示の内部メモリ部に記録する。（ステップＳ１１３）これにより、本フローチャートが終了する。引き続き、他の撮像装置４００に対応した補正マトリクスを算出する場合には、改めて、補正対象である別の撮像装置４００を配置し、本フローチャートを実行すればよい。

なお、ＰＣ５００のデータ保持部５０２に記録されている基準信号値ＲＧＢｒｅｆは、予め計算により求めておく。若しくは、基準となるＲＧＢ信号を出力することができる撮像装置４００を基準カメラとして設定し、その基準カメラに対して、図５に示したフローチャートの一部を適用することにより取得することもできる。具体的には、基準カメラとなる撮像装置が配置された色再現補正装置において、本フローチャートのステップＳ１０１からステップＳ１０９までを実行して各光源色温度におけるＲＧＢ信号を取得し、得られたＲＧＢ信号値を基準信号値としてデータ保持部５０２に記録すればよい。

次に、撮像装置４００内の画像処理部４０７について説明する。

図６は、画像処理部４０７の主要な構成を示すブロック図である。本図に示す画像処理部４０７は、ホワイトバランス処理部４１１と、色再現処理部４１２と、光源推定処理部４１３と、補正マトリクス補間部４１４と、パラメータ設定部４１５と、を備えている。

図３に示した撮像装置４００で取得した被写体の撮影画像データは、上述したようにデジタルデータに変換された後、バス４１０を介して画像処理部４０７に入力される。画像処理部４０７において、撮影画像データはホワイトバランス処理部４１１と光源推定処理部４１３とにそれぞれ供給される。

ホワイトバランス処理部４１１では撮影画像データに対してホワイトバランスゲイン演算による公知のホワイトバランス処理を施し、次いで、色再現処理部４１２では色再現マトリクス演算による色再現処理を施す。色再現処理まで施された撮影画像データは、その他の各種画像処理が施された後、画像処理部４０７から出力される。

光源推定処理部４１３は、供給された撮影画像データに基づいて、被写体が撮影されたシーンの光源種（色温度）を推定する。光源推定処理部４１３による推定結果は、推定色温度として補正マトリクス補間部４１４とパラメータ設定部４１５とに供給される。光源推定の方法としては、例えば特開２００６−２７０１３５が利用できる。

パラメータ設定部４１５は、光源推定処理部４１３から供給された推定色温度に応じて画像処理用のパラメータを設定する。詳しくは、パラメータ設定部４１５は取得した推定色温度に応じて、ホワイトバランスゲインをホワイトバランス処理部４１１に供給するとともに、色再現マトリクスを色再現処理部４１２に供給する。

ここで、ホワイトバランスゲインは、ＲＧＢ各信号に対応した３つのゲイン（Ｋｒ、Ｋｇ、Ｋｂ）からなる行ベクトルである。また、色補正マトリクスは、３行３列の９つの要素（ＣＣ１１乃至ＣＣ３３）からなる行列である。これらのパラメータの設定方法としては、例えば特開２００６−２７０１３５が利用できる。

ホワイトバランス処理部４１１は、供給された撮影画像データに、パラメータ設定部４１５から供給されたホワイトバランスゲインを掛け合わせることによりホワイトバランス処理を行う。すなわち、ＲＧＢ信号からなる列ベクトルの撮影画像データ（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）に対してホワイトバランスゲインである列ベクトル（Ｋｒ、Ｋｇ、Ｋｂ）を掛け合わせることで、新たなＲＧＢ信号を算出する。

上述したように、図５のフローチャートで算出した３種類の補正マトリクスが、補正マトリクス補間部４１４に設けられた不図示の内部メモリ部に記録されている。これらの補正マトリクスはそれぞれに対応した光源色温度と共に記録されている。

補正マトリクス補間部４１４は、光源推定処理部４１３から供給された推定色温度に対応する補正マトリクスを、記録されている３種類の補正マトリクスから補間して算出する。算出された補正マトリクスは、パラメータ設定部４１５から出力された色再現マトリクスと共に色再現処理部４１２に供給される。

色再現処理部４１２には、ホワイトバランス処理部４１１によりホワイトバランス処理が施された撮影画像データと、パラメータ設定部４１５により設定された色再現マトリクスと、補正マトリクス補間部４１４により算出された補正マトリクスとが供給される。そして、ホワイトバランス処理後の撮影画像データのＲＧＢ列ベクトルに対して、３行３列の色再現マトリクス及び３行３列の補正マトリクスを掛け合わせることで、新たな撮影画像データ（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）を算出する。算出された撮影画像データは、ガンマ補正等の不図示の後段の処理に送られる。

次に、補正マトリクスの補間及び、その補正マトリクスを用いた色再現処理について説明する。図７は、ユーザが撮影した撮影画像データに補正マトリクスが適用されるまでの色再現処理を説明するフローチャートである。

ユーザにより通常の撮影が行われると、図６にも示したように、補正マトリクス補間部４１４は、光源推定処理部４１３から推定色温度を取得する。（ステップＳ２０１）

次に、補正マトリクス補間部４１４は、不図示の内部メモリ部に記録されている補正マトリクスに対応する光源色温度を読み出し、推定色温度に対応する補正マトリクスを線形補間により算出する。（ステップＳ２０３）

詳しくは、補正マトリクス補間部４１４は、取得した推定色温度と、読み出した各光源色温度とを比較し、推定色温度に近接する２つの光源色温度を特定する。そして、補正マトリクス補間部４１４は、特定した２つの光源色温度にそれぞれ対応する補正マトリクスから、推定色温度に対応する補正マトリクスを線形補間により算出する。

特定する光源色温度としては、推定色温度よりも高いものと低いものの中から、最も推定色温度に近いものをそれぞれ１つずつ選ぶのが望ましい。また、推定色温度が、読み出した各光源色温度の最も高いものよりも高温側、若しくは最も低いものよりも低温側にある場合には、どちらも場合も最も近い光源色温度に対応する補正マトリクスを採用するのが望ましい。

色温度の比較に際しては、直接色温度を比較してもよいし、ミレッド値を用いて比較するようにしてもよい。ミレッド値を用いる場合、工場において補正マトリクスを算出する段階で色温度の替わりにミレッド値を対応付けて記録するようにしてもよいし、読み出した光源色温度を補正マトリクス補間部４１４等においてミレッド値に変換するようにしてもよい。

続いて、補正マトリクス補間部４１４は、補間により算出された推定色温度に対応する補正マトリクスを色再現処理部４１２に出力する。出力された補正マトリクスは、パラメータ設定部４１５から出力された色再現マトリクスと共に色再現処理部４１２に供給される。

色再現処理部４１２では、ホワイトバランス処理部４１１から出力された撮影画像データのＲＧＢ列ベクトルに対して、３行３列の色再現マトリクス及び３行３列の補正マトリクスを掛け合わせることで、新たな撮影画像データ（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）を算出する。（ステップＳ２０５）

これにより、撮影画像の色再現処理フローチャートが終了する。算出された撮影画像データは、ガンマ補正等の不図示の後段の処理に送られる。

以上で説明したように、本発明に記載の色再現補正方法、色再現補正装置及び撮像装置によれば、撮影時の被写体の照明条件によらずに、撮像装置個体間の特性ばらつきを補正して良好な色再現を行うことが可能となる。

なお、光源装置２００による光源色温度の変更は、光源装置２００内の光発生装置自体を切り替える構成によってもよいし、光源装置２００内の色温度変換フィルタを切り替える構成によってもよい。

また、上述した実施形態では、図５に示すフローチャートのステップＳ１０５にあるように、撮像装置４００により取得した透過型チャート３００の画像データを、その都度ＰＣ５００に転送するような構成としているが、これを、全ての光源色温度におけるチャート撮影終了後に、得られた画像データをまとめてＰＣ５００に転送するような構成としてもよい。この場合、ステップＳ１０５とステップＳ１０７の順番が逆となる。

また、上述した実施形態では、図５に示すフローチャートのステップＳ１０９にあるように、光源色温度の切り替えが完了したらステップＳ１０１に戻る構成としているが、全ての光源色温度を共通の撮影条件で撮影するようにしてもよい。この場合、ステップＳ１０９で光源色温度の切り替えが完了したらステップＳ１０３に進めばよい。

また、上述した実施形態では、図２にも示したように、透過型チャート３００を構成する透過型フィルタとして、透明フィルタ（ＣＬＲ）と６色の有色フィルタとを有しているが、透明フィルタと有色フィルタとで合計２種類以上を有していればよい。また、上述したように、ホワイトバランス個体調整後の撮像装置４００を補正対象とするならば、透明フィルタ（ＣＬＲ）は不要であり、２種類以上の有色フィルタのみで構成すればよい。

なお、有色フィルタの種類を増やすことで、光源装置２００の発する光源色温度に対応する各補正マトリクスの精度自体を向上させることが可能となる。

一方、上述した実施形態では、光源装置２００の発生する光源色温度は３種類としているが、これは２種類以上であればよい。光源色温度の種類を増やすことで、推定色温度を線形補間する際に用いる参照ポイントが増えることになるので、色再現マトリクスの補正に用いる補正マトリクスの補間精度自体を向上させることが可能となる。

１００ 色再現補正装置、２００ 光源装置、３００ 透過型チャート、４００ 撮像装置、４０１ 撮影光学系、４０２ 撮像素子、４０３ Ａ／Ｄコンバータ、４０４ データ保持部、４０５ 画像表示部、４０６ 通信インターフェース（Ｉ／Ｆ）、４０７ 画像処理部、４０８ カメラＣＰＵ、４０９ ユーザインターフェース（Ｉ／Ｆ）、４１０ バス、４１１ ホワイトバランス処理部、４１２ 色再現処理部、４１３ 光源推定処理部、４１４ 補正マトリクス補間部、４１５ パラメータ設定部、５００ コンピュータ（ＰＣ）、５０１ 通信インターフェース（Ｉ／Ｆ）、５０２ データ保持部、５０３ モニタ、５０４ 算出部、５０５ ＰＣＣＰＵ、５０６ ユーザインターフェース（Ｉ／Ｆ）、５０７ バス

Claims (4)

1. 透過型フィルタを少なくとも２種類以上有する透過型チャートを介して、光源装置からの照射光を補正対象である撮像装置に設けられた撮像素子で光電変換し、ＲＧＢ信号から成る画像データを取得するチャート撮影ステップと、
   前記光源装置の光源色温度を、少なくとも２以上の所定の色温度から選択し変更する変更ステップと、
   前記各光源色温度に対応する前記各画像データのＲＧＢ信号値と、予め設定された基準信号値とをそれぞれ比較し、ＲＧＢ各信号の差分の絶対値が最小となるような３行３列の補正マトリクスをそれぞれ算出する算出ステップと、
   前記画像データを取得した際の前記光源色温度と、前記画像データから算出された前記補正マトリクスとを、それぞれ対応させて前記撮像装置内のメモリ部に記録する記録ステップと、
   通常撮影における被写体を前記撮像装置で撮影し、撮影画像データを取得する被写体撮影ステップと、
   前記被写体の撮影シーンの推定色温度を推定する光源推定ステップと、
   前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、前記推定色温度に対応する前記補正マトリクスを補間算出する補間ステップと、
   補間により算出された前記補正マトリクスを用いて、前記撮影画像データの色再現に係る色再現マトリクスを補正する補正ステップと、を含むことを特徴とする色再現補正方法。
2. 前記透過型フィルタは、透明フィルタと少なくとも１種類以上の有色フィルタであり、
   取得した前記画像データの内、前記透明フィルタの透過光を光電変換して得られたＲＧＢ信号値のホワイトバランス調整に用いる個体調整用ゲインを算出し、前記個体調整用ゲインを、前記１種類以上の有色フィルタの透過光を光電変換して得られた各ＲＧＢ信号値に適用するホワイトバランス個体調整ステップをさらに含み、
   前記ホワイトバランス個体調整ステップでホワイトバランス調整された各ＲＧＢ信号値に対して前記算出ステップを適用することを特徴とする請求項１に記載の色再現補正方法。
3. 少なくとも２種類の色温度の光を選択して発生することのできる光源装置と、
   透過型フィルタを少なくとも２種類以上有する透過型チャートと、
   被写体を撮像してＲＧＢ信号値から成る画像データを取得する撮像装置と、
   通常撮影における被写体を補正対象である前記撮像装置で撮影し、取得した撮影画像データの色再現に係る色再現マトリクスを補正するための補正マトリクスの算出を行う算出部と、
   基準となるＲＧＢ信号値から成る基準信号値を記録する第１の記憶部と、
   算出された前記補正マトリクスを記録する第２の記憶部と、
   通常撮影における被写体の撮影シーンの推定色温度を推定する光源推定処理部と、
   前記推定色温度に対応する前記補正マトリクスを補間算出する補正マトリクス補間部と、
   補間により算出された前記補正マトリクスを用いて、前記色再現マトリクスを補正して色再現処理を行う色再現処理部と、
   を有し、
   前記撮像装置は、前記光源装置の発生する全ての光源色温度において、前記透過型チャートを透過した光源光を撮影して前記各画像データを取得し、
   前記算出部は、前記各画像データと前記基準信号値のＲＧＢ信号値をそれぞれ比較して、ＲＧＢ各信号の差分の絶対値が最小となるような３行３列の前記補正マトリクスをそれぞれ算出し、
   前記第２の記憶部は、前記画像データを取得した際の前記光源色温度と対応付けて、前記画像データから算出された前記各補正マトリクスを記録し、
   前記補正マトリクス補間部は、前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、前記推定色温度に対応する前記補正マトリクスを補間算出することを特徴とする色再現補正装置。
4. 被写体を撮像してＲＧＢ信号値から成る画像データを取得する撮像素子と、
   前記被写体の撮影シーンの推定色温度を推定する光源推定処理部と、
   取得した前記画像データのホワイトバランスゲインと色再現マトリクスとを設定するパラメータ設定部と、
   前記色再現マトリクスを補正するための補正マトリクスを、予め定められた複数種類の光源色温度とそれぞれ対応付けて記録する記録部と、
   前記補正マトリクスを、前記推定色温度に基づいて補間する補間部と、
   補間により得られた前記補正マトリクスと前記色再現マトリクスとを用いて前記画像データの色再現処理を行う色再現処理部と、を有し、
   前記補間部は、前記推定色温度と前記各光源色温度とをそれぞれ比較し、前記推定色温度に近接する前記光源色温度と対応する前記補正マトリクスから、線形補間により前記推定色温度に対応する前記補正マトリクスを算出することを特徴とする撮像装置。

Images