JP6668673B2 - 色変換マトリクス推定方法 - Google Patents

Description

本発明は、ホログラムシートを用いた色校正シートとこれを用いたカメラ等の色校正方法に関するものである。

近年、各カメラメーカーより様々なカメラが発売されているが、撮影される色が各社ハードの仕様や現像過程が統一されていないために、同じ色彩値として扱うことができない。例えば、画像入力装置は取り込んだ被写体のカラー画像を光の３原色ＲＧＢ信号に変換して、これをモニタやプリンタ等の画像出力装置に出力し、出力装置側ではこのＲＧＢ信号値に基づいてカラー画像を再現することが一般的に行われている。画像入力装置で得られるＲＧＢ信号は撮影レンズなどの光学系、カメラのガンマ関数、ＲＧＢフィルタの分光透過率、ＣＣＤなどの分光感度特性、フィルタ配列、ホワイトバランスなどに依存し、画像出力装置も再現の仕方や機器の個体差によって同じＲＧＢ信号を入力しても再現される色が異なるため、正確な色再現が行えない。

そこで、近年画像入力装置及び画像出力装置間で共通化したｓＲＧＢ規格に準拠した色信号を採用することが多くなっており、画像入力装置では撮像系で得られるＲＧＢ信号をｓＲＧＢ規格に応じて色補正し、これを出力している。これによりｓＲＧＢ規格対応の画像出力装置では正確な色再現を行うことができる。このような色補正の手法は様々であり、例えば撮像系に設ける光学フィルタの分光特性をｓＲＧＢ規格に光学的に合わせることで再現色を近似しているものが提案されている。しかしながら、光学フィルタの分光特性を光学的にｓＲＧＢ規格に完全に一致させることは難しいし、現実には各社が独自の画質向上のために様々な特性を持った光学フィルタを作成していることが多い。

一方でＲＧＢ信号をマトリクス演算する電子的な補正をすることで再現色を近似するもの（例えば、特許文献１、２）が一般的である。これらの方法は、色校正用として、マクベスチャートなどのカラーチャートをＲＡＷ画像で撮影し、各カメラの現像のプロファイルを作成することで色再現を行うことができる。このプロファイルにはＣＣＤの画素強度からのカメラのハードウェア特性とその後のソフトウェア処理の工程を格納することができる（例えば、非特許文献１）。実際の推定方法としては撮影されたカラーチャート内のカラーパッチのＲＧＢ値とあらかじめ測色された既知のＲＧＢ値から色変換マトリクスを推定することで求めることができる。このようにカラーチャートを用いてカメラの色特性を推定できれば、正確にカメラの色再現を行うことができる。

また、従来のカラーチャートでは広い色域をカバーできていないため、白色基準のことなるカラーチャートの測色値を一方の白色基準により校正することでこれに対応したものもある（特許文献３）。

特許第４１３６８２０号公報 特許第５０９７９２７号公報 特開２００５−５７６８１号公報 特開平８−２６１８２７号公報 特表平８−５００１９２号公報 特開平３−２８００７８号公報

マクベスチャートなどの一般的なカラーチャートは表面が拡散反射特性を持っているため、白色票を用いて光源の色をキャンセルし、反射率に変換する必要がある。

また、鏡面反射をさけるために、粉体による塗装がされていることから汚れやすい。さらに色票を並列に並べる必要があるためサイズが大きくなる。このため、観測される反射光が空間的な照明のむらや汚れによる影響を受けやすい。

さらに偏った分光分布を持つ光源環境下では条件等色現象による誤差が生じる可能性がある。また、各パッチの反射率は可視光域で広い分光特性を持っているため、各パッチの分光分布の重なりが多いところでは推定計算精度に限界があることが予想される。

本発明は、照明の分光分布の影響を極力受けず、カメラ等の撮像素子の感度を正確に推定できる反射光を設計でき、汚れに強く、サイズを小さくすることのできるホログラム色校正シートおよびこれを用いた色校正方法を提供することを目的とする。

上記課題を解決するため、本発明の一局面は、撮像手段を用いた色変換マトリクス推定方法であって、あらかじめ測色された所定のカラーチャートの各色票のＲＧＢ値と、ホログラムを含み、ホログラムの回折現象により、所定の波長分布を持つ光を反射する光反射部を備えた色校正のカラーチャートの各色票に対応する色が観察される観察角度とを、撮像手段が受け付ける工程と、撮像手段が、撮像手段の色校正シートに対する角度を推定して、角度が観察角度であることを検出すると、色校正シートを撮影する工程と、撮像手段が、撮像手段による色校正シートの撮影結果に基づいて、カラーチャートの各色票に対応するＲＧＢ値を算出する工程と、撮像手段が、算出されたカラーチャートの各色票に対応するＲＧＢ値と、あらかじめ測色したカラーチャートの各色票のＲＧＢ値とにより、色変換マトリックスを推定する工程と、を含み、ホログラムは、観察角度に応じて相異なるピークを有する複数の波長分布を有する光を生じ、光反射部の複数の波長分布は、対象波長領域において、３つ以上の山の組み合わせで、強度のない領域がないように、いずれも分布幅が満たしている、色変換マトリクス推定方法である。

また、ホログラムは、所定の格子幅を有する回折素子を含んでもよい。

また、光反射部の複数の波長分布のうち少なくとも隣り合わない２つは、互いに重ならないようにしてもよい。

また、色校正シートは、２値コード化された幾何学的模様をさらに備え、色校正シートを撮影する工程において、撮像手段は、幾何学的模様を用いて色校正シートに対する角度を推定してもよい。

また、色校正シートは、表面に保護フィルムをさらに備えてもよい。

本発明によれば、照明の分光分布の影響を極力受けず、カメラ等の撮像素子の感度を正確に推定できる反射光を設計でき、汚れに強く、サイズを小さくすることのできるホログラム色校正シートおよびこれを用いた色校正方法を提供できる。

本発明の一実施形態に係るホログラム色校正シートの機能概略を示す図 本発明の一実施形態に係るホログラム色校正シートの積層構造を示す図 一般的なデジタルカメラの色信号変換方法の一例を表した図 一般的なカメラのＲＧＢカラーフィルタの分光感度を示した図 一般的な色校正用で用いられるマクベスカラーチャート及びこのシートの各色票の分光反射率を示した図 本発明の一実施形態に係るホログラム色校正シートの各色票の反射率の例を示した図 本発明の一実施形態に係るホログラム色校正シートによる計測方法の概略を示したフローチャート 本発明の一実施形態に係るホログラム色校正シートの観察角度に応じた見え方の例を示した図

以下、図面を参照して、本発明の好適な実施形態について説明する。

図１は本発明の一実施形態に係るホログラム色校正シート１の機能概略を示す図である。分光分布３を持つ光源２から光が放射され、ホログラム色校正シート１表面で反射する反射光は内部の回折現象により、観察される分光波形５を持って、撮像部４に観察される。

図２はホログラム色校正シート１の積層構造を示す図である。反射のための基材ｂ３の上に回折素子ｂ１を設置し、光反射部が構成される。このとき、回折素子ｂ１を調整することで任意の色を作ることができる。さらに、この上に保護フィルムｂ２が設けられる。保護フィルムｂ２はできる限り、波長依存性の無い透過率を持つものがよい。

＜第１の実施形態＞
図３は一般的なデジタルカメラ６の色信号変換方法を表した図である。デジタルカメラ６は、撮像素子により被写体１１のフルカラーの画像を得る画像入力装置であり、撮影光学系７と、撮像素子、例えばＲＧＢ３色のカラーフィルタ８が取り付けられた単板式のＣＣＤ９と備える。撮像光学系７より撮像素子に結像された光学的被写体像は例えばＣＣＤ９により光電変換された後、ＣＣＤ９より読み出され、アナログ変換後にＡ／Ｄ変換されて、１フレームのＲＡＷ画像データとしてデジタル信号処理回路１０に送られる。その後、メモリ１２に保存される。

デジタル信号処理回路１０では、ＲＡＷ画像データから画素毎のＲＧＢ信号を生成する色分解処理、ホワイトバランス補正処理、モニタ装置１３のガンマ特性を相殺するように階調を調整するガンマ補正を施して、例えばｓＲＧＢなどの規格で決められた色信号に変換する。

図４は一般的なカメラのＲＧＢカラーフィルタの分光感度を示した図である。ＲＧＢカラーフィルタは、可視光領域において、赤、緑、青の３枚のフィルタで構成されている。実際にはこのフィルタはカメラメーカー及びカメラの種類によっても変わってしまう。よって、ホログラム色校正シート１を用いることでこれらガンマ特性と３つの関数を推定する。また、カラーフィルタが４枚以上の色を持つものであっても、かまわない。

ガンマ特性は色票に黒から白までの段階的な無彩色の色票をいれ、ガンマカーブを推定することで算出できる。

ＲＡＷデータから得られる色を入力色Ｃｉｎ、色変換マトリクスをＡ、色票の既知の色をＣｇｔと定義すると、それぞれのＲＧＢ信号Ｃｉｎ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）およびＣｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）について（式１）のような線形の１次式が成り立つ。この（式１）と等価なマトリクス要素による表現式を（式２）に示す。ａ１〜ａ９は色変換マトリクスＡのマトリクス要素である。

図５の（ａ）は一般的な色校正用で用いられるマクベスカラーチャートである。そして、図５の（ｂ）はこのシートの各色票の分光反射率を表している。しかしながら、各色票の分光反射率は重なりが多く精度良くカメラの分光感度を近似できるとは言いがたい。

図６はホログラム色校正シート１の各色票の反射率の例を示した図である。例えば、図６のような狭帯域の反射率を持つ色票を作成することで色変換マトリクスＡを精度良く推定できる。推定にはＲＧＢカメラの場合、たとえば、３個以上の分光分布に重なりの少ない色票があれば、特異値分解（ＳＶＤ）などを用いて推定できる。４色以上のカメラの場合はカラーフィルタの枚数以上の色票があれば推定することができる。

次に、図７のフローチャートを参照して、色変換マトリクス推定部１４が行う色変換マトリックス算出処理について詳細に説明する。

（ステップＳ１：カラーチャートの測色値入力と観察角度入力）
まず、ステップＳ１において、あらかじめ測色してあるカラーチャート各色票の測色されたＲＧＢ値と観察される色票の観察角度とを入力する。

（ステップＳ２：観察角度一致検出）
次に、観察される各色票のマーカより、カメラ（撮像手段）の位置、姿勢を推定し観察角度を推定する。図８は各観察角度における色票の見えの例である。特定の角度において対応する色票が観測されるようにあらかじめ設定しておく。ただし、観察角度推定用のマーカはホログラム内でなく、色票の外に設置してもよい。また、観察角度推定用のマーカを使用しなくても、想定される色が観察されたときのあらかじめ決められた対応角度を観察角度としても良い。

（ステップＳ３：ホログラムカラーチャートの撮影）
所望の観察角度が検出されたら、色票を撮影する。このとき、動画で撮影して、一致した角度の画像を後または実時間で選び出して色票の画像を保存しても良いし、どの色票を撮影したのか、色空間上のプロットなどを確認するなど別の方法で検出できればマーカを用いて観察角度を検出しなくてもよい。

（ステップＳ４：Ｎ色の色表のＲＧＢ値を算出）
例えば所望の観察角度を変えながら、適宜ステップＳ３およびＳ４を繰り返して、全ての色票の撮影が終わったら、各色票のＲＧＢ値を算出する。これは平均値を用いても良いし、画素全てのＲＧＢ値を用いても良い

（ステップＳ５：カメラの色変換マトリックス推定）
ここで撮影された各色票のＲＧＢ値と測色値より、色変換マトリックスを推定する。

なお、各ステップの内容並びに処理の流れは、上述の内容に限定されない。例えば、上記処理フローの各ステップは、ステップＳ５の目的が達成できる範疇で、その処理の順番を変更可能である。

なお、上述した計測処理の各処理の過程の少なくとも一部は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）または半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上述した実施形態における計測処理の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。計測処理の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

本実施形態に係る校正シートでは、ホログラムの回折現象を用いることで照明の分光分布の影響を極力受けず、ホログラムの回折現象による任意の所定の波長分布を持つ光を反射する光を観察できる。

本発明のホログラム色校正シートは、光の回折現象を利用して発色する反射物であるホログラムを用いる。反射型のホログラムとしては金属箔によって像を反射するレインボーホログラムやホログラムそのものの回折によって反射させるリップマンホログラムがあり、これらを用いることができる。ただし、本発明のホログラムはこれらのホログラムに限定されるものではない。フルカラーのホログラムは表面の回折素子に入射した光が回折を起こして色を発色するため、ある程度の分布を持った照明であれば、照明光の分光分布に関わらず、回折素子の幅によって狭帯域の分光分布を持った反射光を返すことが可能である。設計により反射する光を波長分布レベルで調整し、任意の色彩を表現することができる。具体的には、ホログラムの回折素子の材質及び現像方法を調整することで任意の帯域を持つ色票を設計できる。

また、複数の色票を並列に配置しなくても、ホログラムは、観察角度に応じて異なる色票を表示させることができ、１つの小さい領域を複数の色票として用いることができる。

また、複数の波長分布のうち少なくとも隣り合わない２つは、互いに重ならないことが色変換マトリクス推定の点で好ましい。

また、複数の波長分布は、対象波長領域おいて、３つ以上の山の組み合わせで、強度のない領域がないように、いずれも分布幅が満たしていることが色変換マトリクス推定の点で好ましい。

また、マーカとして、例えば、２値コード化された幾何学的模様を備えることがカメラパラメータ推定の点で好ましい。

また、表面を粉体にする必要がないため、表面層に汚れに強い加工のできる表面保護部を備えることができる。

このような色校正シートを用いることで、照明の分光分布の影響を極力受けない任意の波長分布を持つ反射光を観察できる。

以上、本発明の一実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

本発明は、デジタルカメラ等で撮影される画像の色校正に有用である。

１ ホログラム色校正シート
２ 光源
３ 照明の分光分布
４ 撮像部
５ 観察される分光分布
ｂ１ 回折素子
ｂ２ 保護フィルム
ｂ３ 基材
６ デジタルカメラ
７ 撮像光学系
８ ＲＧＢカラーフィルタ
９ ＣＣＤ
１０ デジタル信号処理回路
１１ 被写体
１２ メモリ
１３ モニタ装置
１４ 色変換マトリクス推定部

Claims (5)

1. 撮像手段を用いた色変換マトリクス推定方法であって、
   あらかじめ測色された所定のカラーチャートの各色票のＲＧＢ値と、ホログラムを含み、前記ホログラムの回折現象により、所定の波長分布を持つ光を反射する光反射部を備えた色校正シートの前記カラーチャートの各色票に対応する色が観察される観察角度とを、前記撮像手段が受け付ける工程と、
   前記撮像手段が、前記撮像手段の前記色校正シートに対する角度を推定して、前記角度が前記観察角度であることを検出すると、前記色校正シートを撮影する工程と、
   前記撮像手段が、前記撮像手段による前記色校正シートの撮影結果に基づいて、前記カラーチャートの各色票に対応するＲＧＢ値を算出する工程と、
   前記撮像手段が、算出された前記カラーチャートの各色票に対応するＲＧＢ値と、あらかじめ測色した前記カラーチャートの各色票のＲＧＢ値とにより、前記色変換マトリックスを推定する工程と、を含み、
   前記ホログラムは、前記観察角度に応じて相異なるピークを有する複数の波長分布を有する光を生じ、
   前記光反射部の前記複数の波長分布は、対象波長領域において、３つ以上の山の組み合わせで、強度のない領域がないように、いずれも分布幅が満たしている、
   色変換マトリクス推定方法。
2. 前記ホログラムは、所定の格子幅を有する回折素子を含む、請求項１に記載の色変換マトリクス推定方法。
3. 前記光反射部の前記複数の波長分布のうち少なくとも隣り合わない２つは、互いに重ならない、請求項１に記載の色変換マトリクス推定方法。
4. 前記色校正シートは、２値コード化された幾何学的模様をさらに備え、
   前記色校正シートを撮影する工程において、前記撮像手段は、前記幾何学的模様を用いて前記色校正シートに対する角度を推定する、請求項１に記載の色変換マトリクス推定方法。
5. 前記色校正シートは、表面に保護フィルムをさらに備える、請求項１に記載の色変換マトリクス推定方法。