JP6257551B2 - 色忠実環境補正装置および色忠実環境補正方法 - Google Patents

Description

本発明は、対象物の色の忠実なシミュレーションを可能とする色忠実環境補正装置および色忠実環境補正方法に関する。

画像情報が可視化された場合において、可視化された画像の色を好みの色に容易に、そして自然に変換する画像処理方法を提供するため、たとえば、人物や青空を含んで撮影した場合において、色を変更する対象として人物または青空を特定することにより、変更可能な色の範囲をある程度絞り込め、更に被写体の人種や空の状態によっても、変更可能な色の範囲が更に絞りこまれるため、ユーザーは、その絞り込まれた色の中から、変更したい色を選択することができ、それにより色の選択が容易になる発明が提案されている。

また、予算と形を元に初心者に配慮したプレゼンテーションを行なうため、キーボード、スキャナなどの入力装置から入力された、マルチメディア情報を編集し、画像・動画情報に関してはデジタル画像・動画の形態で外部記憶装置に蓄積する。音声についても同様に外部記憶装置に蓄積する。該情報を元に予算や形等から概略選択をし、処理装置を介して、表示装置に表示する。次に履歴情報を携帯記憶媒体から読み込み、前回及び今回の仕様内容を表示する。指示仕様のプレゼンテ−ションと仕様の確定化では、その選択画面から仕様を選択し、必要ならプレゼンテーションを行い、仕様を確定する。仕様が確定したら、履歴情報を元にした査定計算を含む概算見積処理を行う。概算見積処理が了承なら、受注処理を行う発明が提案されている。

特開平１１−１６８６２０号公報 特開平１０−２４０８００号公報

商品の販売、たとえば、車の販売においては、サンプルとして所定色と実車を数台配置し、他の色はミニチュアの車の色を見せることで、車の色の選択を行っている。いろいろな色の実車をカメラで撮像し、このカメラで撮像した車の画像を販売店の表示装置で表示させて、ユーザーに車の色を選択させることも考えられる。

また、例えば、車の販売店には場所の制約から多数種類も実車が置けない事情がある。ユーザーに営業するときに、販売店に置いていない色をその場で見せたいという要望がある。別の場所や別の時間帯に撮像した車の画像データに基づいて販売をすると仮定した場合、そのままの色がそのまま使える場合もあり得るが、時間帯や場所が相違することによるミスマッチのおそれがある。例えば、車を実際に購入したところ、表示環境の相違により、納入された車の色が販売店で見た車の色と相違するおそれがあり、正確に色のシミュレーションをしたいというニーズがある。

また、例えば、国内で製造したローカルな環境下で撮像した基準品を、海外においてリモート側で製品の色を比較検査したい場合、日本と海外とでは、環境光（温度）が違うので、その環境光下で製品がどう見えるか、正確な色でモニター画面に表示させたいニーズがある。特に、ファッション性の高い服、家具など、ネットショップで正確な色ではないとの苦情をなくす必要がある。

さらに、現代では、インターネット画面で見て商品を選択するネットショッピングが発展しているが、注文した商品の色と、実際に買った商品の色とが相違するといった苦情に対応するニーズがある。

また、ローカル側で温度T=６５００Ｋで基準対象物を視覚感度カメラで撮像し、S１S２S３の３バンド視覚感度画像データが取得できる。このデータを、例えば、ネットワーク上で、リモート（遠隔）側に送信し、リモート側のタブレットで、基準対象物を見たい場合、例えば、蛍光灯の照明下でT=５０００Ｋの場合、そのまま、タブレットに表示してしまうと、環境の色温度差で色が正確に見えないという可能性がある。

そこで、本発明は、異なった環境下でも、シミュレーションの分野における忠実な色情報の取得、選択の要求に応え、また、人の眼に忠実で正確な色情報を取得してこれに基づいて、ユーザーの好みの色をシミュレーションで正確に表示し、ユーザーの商品選択の用に供するための色忠実環境補正装置及び色忠実環境補正方法を提供することを課題とする。

ところで、色の差し替えは、パーソナルコンピュータで作成した色をCADデータに貼り付けて画面上に表示させる発明が想定される。しかし、これでは、本物の色には見えないという問題がある。また、メーカーは、その他の諸般の事情、たとえば、車の三次元CADデータは出来る限り、外部に公表したくないという事情もあり、未だ十分ではない。

また、複数の色の実車を撮像しておき、コンピュータに車の画像を記憶させておいて、表示装置に表示させることで、車の色の選択を行うことも考えられる。しかし、色情報は、ある特定の時間帯での色温度、たとえば、昼間の6500Kの照明で撮像した時の正確な色を持つことは可能であるが、販売店での色選択の時間帯が相違している場合には、撮影時の色温度によって画像の色が変化するという問題があり、ユーザーの色の選択にミスマッチが生じるおそれがある。

そこで、上記課題に鑑み本発明は、商品の撮像の時間帯や場所が相違したとしても、ユーザーに色忠実情報を正確に提供し、製造色の検査、商品選択等におけるミスマッチを防止する色忠実環境補正装置及び色忠実環境補正方法を提供するものである。

本発明は、ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）を有するカメラと、前記カメラにより基準色温度で観測対象物を撮像した基準となる３バンド視覚感度画像を取得し、前記基準色温度とは別の色温度の条件下における照明光のスペクトルと前記カメラの３つの分光感度の積分演算によりシミュレーション値を得て、前記基準色温度の光源を直接前記カメラで測定した３つのバンドの出力値の比に対して、前記シミュレーション値によりゲインの調整値を得て、前記３バンド視覚感度画像を補正し、補正された３バンド視覚感度画像から三刺激値Ｘ’，Ｙ’，Ｚ’を演算するシミュレーション画像演算部と、該補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づいて、別の色温度で撮像されたＲＧＢ画像の色を差し替えて画面に表示するか、又は、前記補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づくＲＧＢ画像と、前記別の色温度で撮像されたＲＧＢ画像とを比較表示する表示装置と、を備えた色忠実環境補正装置である。

前記ゲインの調整を、前記基準色温度における、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）の出力が一致するように調整することにより、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）の出力の一致が前記別の色温度と関連付けられ、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）から前記別の色温度での三刺激値Ｘ´，Ｙ´，Ｚ´への変換式に前記基準色温度との関連が付けられることが好ましい。

前記ゲインの調整を、前記別の色温度下における照明光の分光器のスペクトルの出力値に基づいて行い、前記シミュレーションの３つのバンドの出力値の比の変化により、この別の色温度での前記カメラ出力のゲインの変化を求め、前記３つのバンドの出力値の比を、前記基準となる３バンド視覚感度画像に掛け合わせることが好ましい。

前記ゲインの調整を、分光器のスペクトルの出力値と規格化感度とに基づいて、スペクトルの規格化感度の出力値を求め、これに対応する積分値からゲインを求めることが好ましい。

前記基準色温度の照明スペクトルの出力値と、分光感度とから、掛算値を求め、それぞれの積分値を調整することにより、カメラのゲインを調整することが好ましい。

前記三刺激値Ｘ’，Ｙ’，Ｚ’からＲＧＢ値への変換テーブル又は変換マトリクスの作成を前記分光器のスペクトルの出力値に基づいて行うことが好ましい。

本発明は、ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）に従って観測対象物をカメラで基準色温度で撮像する撮像ステップと、前記カメラにより撮像された基準となる３バンド視覚感度画像を取得する分光感度取得ステップと、前記基準色温度とは別の色温度の条件下における照明光のスペクトルと前記カメラの３つの分光感度の積分演算によりシミュレーション値を得て、前記基準色温度の光源を直接前記カメラで測定した３つのバンドの出力値の比に対して、前記シミュレーション値によりゲインの調整値を得るステップと、このゲインの調整値により、前記３バンド視覚感度画像を補正し、補正された３バンド視覚感度画像から三刺激値Ｘ’，Ｙ’，Ｚ’を演算するシミュレーション画像演算ステップと、該補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づいて、別の色温度で撮像されたＲＧＢ画像の色を差し替えて画面に表示するか、又は、前記補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づくＲＧＢ画像と、前記別の色温度で撮像されたＲＧＢ画像とを比較表示する表示ステップと、を備えた色忠実環境補正方法である。

前記カメラの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）は、ＣＩＥ ＸＹＺ分光特性から負の値を持たない、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりは最小限にするという条件から等価変換したものであって、分光特性Ｓ１のカーブは、ピーク波長が５８２ｎｍであり、半値幅が５２３〜６２９ｎｍであり、１／１０幅が４９１〜６６３ｎｍである。分光特性Ｓ２のカーブは、ピーク波長が５４３ｎｍであり、半値幅が５０６〜５８９ｎｍであり、１／１０幅が４６４〜６３２ｎｍである。分光特性Ｓ３のカーブは、ピーク波長が４４６ｎｍであり、半値幅が４２３〜４７８ｎｍであり、１／１０幅が４０９〜５０８ｎｍである。

ここでいう表示とは、コンピュータの画面が例として挙げられ、商品の外観と色とを明確に把握できるものとする。

本発明における前記画像とは、静止画であるか動画であるかを問わないものであり、前記撮像ステップ、前記取得ステップ、前記演算ステップ、および前記表示ステップは即時かつ連続的に行われることが望ましい。

基準色温度は、例えば、人工太陽に近い照明であるキセノンランプを光源とすることが例示できる。

本発明におけるカメラは、三つの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）により、すなわち、観測対象物を三つのチャンネルに分けて撮像することとなるが、その手段としては、これらの分光感度を得るために設定された光学フィルタまたはダイクロイックミラーもしくはダイクロイックプリズム等のいずれであるかを問わず用いることができる。

本発明の色忠実環境補正装置または色忠実環境補正方法によれば、人の眼の感度に忠実な基準画像の分光感度をカメラによる撮像から取得し、コンピュータの演算により、この分光感度について温度による補正を行い、画面上に表示された他の画像の色を基準画像の色に差し換えることができる。

本発明の色忠実環境補正装置または色忠実環境補正方法の典型的な利用として、車などの商品の販売における商品の色の差し換えによるシミュレーションを提供でき、製造、販売に便宜を提供することができる他、商品選択の場と、購入した商品の色が、人間の目から見て近似するようになるので、色の違和感が少なくなる効果がある。

本発明実施例１の色忠実環境補正システム１のブロック図である。 本発明実施例１の色忠実環境補正システム１による実例を示す説明図である。 本発明実施例１の色忠実環境補正システム１のカメラ２のブロック図である。 本発明実施例１において三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従って画像情報を取得する方式の具体例である。（ａ）はダイクロイックミラーを用いる場合の説明図である。（ｂ）はフィルタターレットを用いる場合の説明図である。（ｃ）は光学フィルタ２２ａ，２２ｂ，２２ｃを撮像素子２３に微視的に貼着した場合の説明図である。 本発明実施例１におけるＸＹＺ表色系カメラであるカメラ２の分光感度を示す関数である。 本発明実施例１のカメラ２におけるフローチャートである。 本発明実施例１の色忠実環境補正システム１のコンピュータ５におけるフローチャートである。 黒体輻射のスペクトルの相対強度と色温度の関係を示すグラフ（基準色温度６５００K）である。 黒体輻射のスペクトルの相対強度と色温度の関係を示すグラフ（基準色温度５０００K）である。 本発明実施例１の分光感度とスペクトルの相対強度と分光感度ゲインとの関係を示すグラフである。 本発明実施例１の３つの分光感度についてのスペクトルの相対強度と色温度の関係を示すグラフである。 本発明実施例２の色忠実環境補正システム２０１のブロック図である。 本発明実施例２の色忠実環境補正システム２０１の変更形態のブロック図である。 本発明実施例２の携帯情報端末と分光器のブロック図である。 本発明実施例２の携帯情報端末の電子回路で行われる処理のフローチャートである。 本発明実施例２のローカル側のコンピュータの電子回路で行われる処理の説明図である。 本発明実施例２のリモート側の携帯情報端末の電子回路で行われる処理の説明図である。

図１は、本実施形態１の色忠実環境補正システム１によるリアルカラー・シミュレーションシステム（ＲＣＳ）と画像処理の流れの概略構成を示すものである。色忠実環境補正システム１は、カメラ２、カメラ２とタブレット３と表示装置４とに接続可能でＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク，バスライン等を備えたコンピュータ５と、を備えている。カメラ２と、タブレット３及びコンピュータ５が遠隔地に離れている場合でも、また、同じ場所にある場合でも、いずれでも適用が可能である。ここでは、遠隔地の場合を説明する。工場などローカル側でカメラ２（有限会社パパラボの品番ＲＣ−５００）により、赤色の車６を撮像し、コンピュータ５の記憶部５１に3バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）（i＝１〜ｍ、ｍは画素数である。）を記録する。リモート側となる野外でＲＧＢカメラを備えたタブレット３により青色の別の車７を撮影し、ＲＧＢカラー画像を記憶部５２に記録する。ローカル側の環境下でＴ＝６５００Ｋとし、リモート側の環境下でＴ＝２９００Ｋとし、環境光の相違を克服して正確な色を表示させるため、車７のＲＧＢカラー画像の青色を、3バンド視覚感度画像から変換した車６のＸＹＺ色忠実画像の赤色に差し換えて、赤色の車のＲＧＢカラー画像を作成し、表示装置４に表示する。

図２（１）〜（３）は表示装置４の画面例である。（１）において、表示装置４の表示画面に表示枠が形成されており、その左側枠にカラーシミュレーションを行いたい車７のカラー画像を設定する。車７の色は青色である。（２）において、右側枠に色を抽出したい車６のカラー画像を設定する。この場合、車６の色は赤色であり、この赤色を抽出する。（３）において、本実施形態のカラーシミュレーションを実行すると、左側枠に表示される車７の青色が、右側枠に表示される車６の赤色に差し換えられ、車６、７のカラー画像が同じ赤色になる。このため、販売店には実際には存在しない色でも、あたかも、実車の色が存在するような状態に近い環境を提供することができる。以下、構成及び動作を詳細に説明する。

カメラ２は、図３に示すように、撮影レンズ２１と、この撮影レンズ２１の後方に配置された三つの光学フィルタ２２ａ、２２ｂ、２２ｃと、光学フィルタ２２ａ、２２ｂ、２２ｃの後方に配置された撮像素子２３（ＣＣＤ、ＣＭＯＳなど）と、を備えている。カメラ２の三つの分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）は、光学フィルタ２２ａ、２２ｂ、２２ｃの分光透過率と撮像素子２３の分光感度との積により与えられるものである。図３における光学フィルタ２２ａ、２２ｂ、２２ｃと撮像素子２３との配列的関係は模式的に示したものにすぎないものである。三つの分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）に従って画像情報を取得する方式について以下に具体例を挙げるが、本実施形態ではこれらのうちいずれをも採ることができ、また、その他の方式を採ることもできる。

カメラ２は、図３に示す通り、ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）を有し、撮像した画像を三つの分光感度をＣＩＥ ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚに変換する演算処理部２４と、画像を表示する画像表示部２５とを備えている。

図４（ａ）に示すものはダイクロイックミラーを用いる方式である。これはダイクロイックミラー２２ｃ´により特定の波長の光を反射し、透過した残りの光について、さらに別のダイクロイックミラー２２ａ´により別の特定の波長の光を反射して分光し、撮像素子２３ａ、２３ｂ、２３ｃを三つ並列にして読み出す方式である。ここでは、ダイクロイックミラー２２ａ´が光学フィルタ２２ａ、２２ｂに相当し、ダイクロイックミラー２２ｃ´が光学フィルタ２２ｃに相当する。撮影レンズ２１から入射する光はダイクロイックミラー２２ｃ´により分光感度Ｓ３に従う光が反射され、残りの光は透過する。ダイクロイックミラー２２ｃ´により反射された光を反射鏡２６により反射して撮像素子２３ｃにより分光感度Ｓ３を得る。一方、ダイクロイックミラー２２ｃ´を透過した光は、ダイクロイックミラー２２ａ´において、分光感度Ｓ１に従う光が反射され、残りの分光感度Ｓ２に従う光は透過する。ダイクロイックミラー２２ａ´を透過した光を撮像素子２３ｂにより撮像して分光感度Ｓ２を得る。ダイクロイックミラー２２ａ´により反射された光を反射鏡２９により反射して撮像素子２３ａにより分光感度Ｓ１を得る。ダイクロイックミラーに代えて同様な特性を有するダイクロイックプリズムを用いて三つに分光し、それぞれの光が透過する位置に撮像素子２３ａ、２３ｂ、２３ｃを接着することとしてもよい。

図４（ｂ）に示すものはフィルタターレット２７を用いる方式である。撮影レンズ２１からの入射光と同じ方向を回転軸に持つフィルタターレット２７に光学フィルタ２２ａ、２２ｂ、２２ｃを設けてこれらを機械的に回転させ、順次透過する光について撮像素子２３により三つの分光感度Ｓ１、Ｓ２、Ｓ３を得るものである。

図４（ｃ）に示すものは光学フィルタ２２ａ、２２ｂ、２２ｃを撮像素子２３に微視的に貼着する方式である。撮像素子２３上における光学フィルタ２２ａ、２２ｂ、２２ｃは、ベイヤー配列型に設けられる。この配列は、格子状に分けた撮像素子２３上の領域のうち半分に光学フィルタ２２ｂを設け、残りの半分の領域に光学フィルタ２２ａと光学フィルタ２２ｃとをそれぞれ均等に配置するものである。すなわち、配置量は光学フィルタ２２ａ：光学フィルタ２２ｂ：光学フィルタ２２ｃ＝１：２：１となる。光学フィルタ２２ａ、２２ｂ、２２ｃの配列をベイヤー配列以外のものとすることは本実施形態１において特に妨げられない。一つ一つの光学フィルタ２２ａ、２２ｂ、２２ｃは非常に微細であるため、印刷により撮像素子２３に貼着される。ただし、本発明はこの配列に意味があるのではなく、分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）の特性のフィルタを撮像素子に貼着することにある。

カメラ２の分光感度はルータ条件を満たすものであって、その分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）は、図５に示す通り、ＸＹＺ等色関数から、負の値を持たず、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりはできるだけ少なくするという条件から等価変換したものである。分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）は具体的には以下の特性を持つ。
記
ピーク波長 半値幅 １／１０幅
Ｓ１ ５８２ｎｍ ５２３〜６２９ｎｍ ４９１〜６６３ｎｍ
Ｓ２ ５４３ｎｍ ５０６〜５８９ｎｍ ４６４〜６３２ｎｍ
Ｓ３ ４４６ｎｍ ４２３〜４７８ｎｍ ４０９〜５０８ｎｍ

上記の分光特性Ｓ１のピーク波長を５８０±４ｎｍ、分光特性Ｓ２のピーク波長を５４３±３ｎｍ、分光特性Ｓ３のピーク波長を４４６±７ｎｍとして取り扱うこともできる。

三つの分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）は、式１を用いて求められるものである。分光特性自体についての詳細は特開２００５−２５７８２７号公報を参照されたい。

カメラ２は、演算処理部２４を備え、分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）により、３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）を取得し、記録し、視覚化処理された画像を画像表示部２５に表示し、そして、コンピュータ５にインターネット等の通信回線を介して送信する。送信は通信回線に限らず、記憶媒体の運搬、その他の手段によって行われてもよい。

表示装置４はコンピュータ５と接続され、コンピュータ５で処理された画像信号を受信して、画像を画面に表示するようになっている。コンピュータ５または表示装置４は、適宜、入力手段（図示略）等を備える。入力手段はキーボード、マウス、画像表示装置に設けられるタッチパネル等である。

色忠実環境補正システム１の構成及び動作について具体例を挙げつつ説明する。色忠実環境補正システム１は、図１に示す通り、カメラ２と、タブレット３と、コンピュータ５と、表示装置４とを用い動作する。接続方法は有線・無線を問わず選択できる。カメラ２におけるフローチャートを図６に、コンピュータ５におけるフローチャートを図７に、それぞれ示す。

ローカル側のカメラ２の電源が入ると、図６に示す通り、初期化をする（初期化Ｓ１）。つぎに、分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）により自動車６を撮像する（撮像処理Ｓ２）。撮像処理Ｓ２は、三つの分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）（図５参照）を有するカメラ２によって自動車６を撮像する工程である。分光感度（Ｓ１(λ)、Ｓ２(λ)、Ｓ３(λ)）は数式１に従って与えられるものである。撮影レンズ２１と光学フィルタ２２ａ、２２ｂ、２２ｃと撮像素子２３により撮像されると同時に入力処理Ｓ３が連続的に行われる。

その後、撮像された３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）を撮像素子２３により入力する（入力処理Ｓ３）、演算処理部２４にて３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）をコンピュータ５に送信し（送信処理Ｓ４）、これらをカメラ２などの記録媒体に記録し（記録処理Ｓ５）、終了するか否かを判断し（Ｓ６）、処理を終了する。

次にリモート側のコンピュータ５に電源が入ると、図７に示す通り、初期化をする（Ｓ１１０）。カメラ２から送信された３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）を受信し、記憶部５１に記録する（データ受信Ｓ１２０）。タブレット３から車７に関するＲＧＢカラー画像を取得し、記憶部５２に記録する（Ｓ１２０）。画像が動画である場合には、一連の処理が連続的に行われる。

つぎに、カメラ２からのＸＹＺ色忠実画像と、タブレット３からのＲＧＢカラー画像に基づいて、ＸＹＺ色忠実画像の色を抽出し、この色でＲＧＢカラー画像の色を差し換える（Ｓ１３０）。以下、このプロセスについて詳細に説明する。

まず、カメラ２からのＸＹＺ色忠実画像は次のように取得される。すなわち、受信した３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）を、カメラ２の演算処理部２４において、各画素について、温度補正を行い、三刺激値Ｘ、Ｙ、Ｚに変換する。ＸＹＺ変換は、ローカル側では数式２により行われるが、ローカル側と環境の相違するリモート側では、温度補正の関係で、式３に従って補正を考慮した変換が行われる。ＸＹＺ色忠実画像の三刺激値Ｘ、Ｙ、Ｚは、式３に示す通り、補正されて三刺激値Ｘ’、Ｙ’、Ｚ’となり、この補正値に基づいてローカル側からの画像でリモート側の画像が差し替えられる。

ここで、下記数式２のＸＹＺ-Ｓ１Ｓ２Ｓ３の変換式で出てくる分光感度Ｓ１Ｓ２Ｓ３の曲線の頭が揃うように、D65標準白色光源（T=6500K）でのマトリクスの係数補正を行っておく。詳しくは技術文献のIEICE TRANS.INF.& SYST.,VOL.E93-D,No.3 MAR 2010 copy rght 2010 The Ｉｎｓｔｉｔｕｔｅ of Electronics, Information and CommunicationEngineers, Development of an XYZ Digital Camera with Enbedded Color Calibration System for Accurate Color Acquisition, Maciej KRETKOWSKI,Ryszard JABLONSKI,SHIMODAIRA P651-653に従ってホワイトバランスと色校正を行うので、参照されたい。

このように、野外の夕方での車７の撮像と、工場でのキセノンランプ下での車６の撮像とを、色温度との関係で補正することができる。

プランクによる熱輻射に関する公式から、スペクトル強度Ｉと絶対温度ｔ（Ｋ：ＫｅＩｖｉｎ；Ｋ）との関係は、強度の最大値を1に正規化して演算すると、図８に示す通り、横軸は波長（入）で単位はメートル（ｍ）、縦軸はスペクトルの相対的強度、数値は絶対温度（Ｋ）である。可視光線の波長（入）は概略0．4μｍ〜0．8μｍである。そして赤色（Ｒ）は0．675μｍ、緑色（Ｇ）は0．525μｍ、青色（Ｂ）は0．475μｍの波長に対応する。実施例１では、ある温度における黒体輻射をその温度での白色光とし、逆に、白色光のスペクトル分布から決まる黒体輻射の温度を色温度（ｃｏlｏｒ ｔｅｍｐｅｒａｔｕｒｅ）と定義する。このことから、色温度により三原色（ＲＧＢ）の相対強度がどのようになるのかを演算することができる。

日中、自然光の色温度は6500Ｋに相当する。これは真上からの太陽による光が黒体輻射に換算して絶対温度6500Ｋ相当であることを意味している。工場でのキセノンランプ下での撮像は、日中の自然光を再現したものであり、6500Kの色温度である。また、日が少し傾いてくると、太陽からの光は大気層を長い距離通過するため色温度は5000Ｋと低下する。さらに、夕方になると、おおむね色温度は2900Ｋ前後になる。

波長（入）が0．4μｍ〜0．7μｍの可視光線全てに対応する色が全て含まれているという意味で、色温度の日中自然光を白色と考え、これを基準値1にしてスペクトル強度を求めたものである。

色温度5000Ｋのスペクトルを白色の基準にした場合，波長0．525μｍでの値を1に正規化して演算すると、色温度とスペクトル強度との関係は図９に示すようになる。黒体輻射のスペクトルの相対強度と色温度（基準色温度5000Ｋ）との関係を示し、横軸は波長（入）で単位はメートル（ｍ）、縦軸はスペクトルの相対的強度、数値は絶対温度（K）である。このような演算結果から、色温度の下降に伴い、赤くなり、上昇するにつれて青緑がかってくる。照明光の色温度と三原色（ＲＧＢ）との定量的な関係が分かる。このような演算結果を基に、ＲＧＢの輝度を調整して色温度を変更できることから、工場での色温度6500Kの画像から夕方の色温度2900Kの画像を得ることができる。このように、色温度に適合させるための演算を行い、人間の目の感覚に近い忠実な色を作っている。

ここでは、工場内で色温度6500K（Ｄ65）のキセノンランプを車６に照射して得られた３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）を、野外で夕方の夕日の中（色温度2900K）で見える３バンド視覚感度画像Ｓ１i2900K，Ｓ２i2900K，Ｓ３i2900K（Ｔ＝２９００Ｋ）に換算することができる。

数式３で、6500Kを基準にして、2900Kに変換する。色温度6500Kを基準にすると、図１１に示す通り、色温度が2900Kにおける色は、照明光が青成分で、単発の成分は、数値は降下していて、長波長の成分は相対的に高いという演算が成り立つ。色温度6500Kを1に設定し、他の色温度を数値化すると、2900Kの波長の色の分布は図示する関係になる。

図１０に示す分光相対ゲインＳ１gain，Ｓ２gain，Ｓ３gain（Ｔ＝２９００Ｋ）は、T=2900Kの照明スペクトルS1,S2,S3の分光スペクトル特性曲線内の面積を示す積分値を取ったときの、それぞれの値の、相対比率となる（Ｓ２gainを１とする）。この演算の元となるのは黒体輻射の関係式であり、この関係式は、図８の通り、完全に決まる値である。図８（基準色温度6500K）、図９（基準色温度5000K）において、横軸は波長（λｍ）、縦軸はスペクトルの相対強度である。図８の関係式を使い、図１１に示す通り、色温度6500Kの照明を当てたときに、分光相対ゲインＳ１gain，Ｓ２gain，Ｓ３gain（Ｔ＝２９００Ｋ）の３つゲインの山のピークを合わせるように、カメラ２のゲインを調整している（図１０、図１１参照）。ここでは、基準温度が6500Ｋであるが、他の温度、例えば、5000Kであれば、図８に代えて、図９を用いる。

図１０に示す通り、色温度を2900Kに変えると、照明光の相対スペクトルIが波長λに対して相対的にこのような右肩上がりのカーブになる。波長λが長波長側に行くと、スペクトルの相対強度は大きくなる。図１０の右側の図に示す通り、スペクトルの相対強度Iに応じて、ゲインＳ１gain，Ｓ２gain，Ｓ３gainが長波長側の頂点が高くなり、面積も大きくなった分布をもつ。そうすると、もともとのゲインが変わるので、このゲインを、色温度が変わるとそれに応じて、演算で求めなければならない。色温度6500Kから2900Kの照明に変えると、カメラ２の分光感度S3が落ち、分光感度S1が上がる。分光感度S2を基準として、分光感度S1とS3のスペクトルの相対強度を演算する。それを色温度ごとに演算するため、予め、図１１に示すようなグラフを作成しておく。そうすると、色温度6500K（D65）で車６を撮像したときの分光感度S1，S2，S3の値を、2900KでのS1,S3gainを演算し、このゲインで前述の式３の補正を行い演算することで、３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）が３バンド視覚感度画像S1i2900k,S2i2900k,S3i2900kに換算し、三刺激値X’，Y’，Z’を演算し、正確な色の数値で差し替えが可能となり、正確な車７のRGBカラー画像が表示装置４上に表示される。

補正された三刺激値Ｘ’、Ｙ’、Ｚ’に基づいて、ＸＹＺ-ＲＧＢ変換を行い、タブレットで撮像されたＲＧＢ画像の色データを差し替える（Ｓ１３０）。

このように差し換えられたＲＧＢカラー画像を表示装置４の表示する（Ｓ１４０）。処理を終了するか否かを判断し、処理を終了しない場合には、処理はＳ１２０に戻り、処理を終了する場合にはリターンとなる。

以上の通り、工場でのキセノンランプ下での車６のＸＹＺ色忠実画像の色データを、野外で夕方に撮像したＲＧＢ画像の色データと差し替え表示すると、まさに、野外で夕方に撮像したと同様の赤い車７の色が表示装置４に表示される。野外での撮像が真昼間であったら、8000K〜9000Kの色温度に高く補正し、演算を行う。これにより、朝、昼、曇りの日など、気象条件は変わっても、適正な色温度に合わせて、画面には、ユーザーが希望する色の車７を自在に表示させることができる。

販売店に現存する実際の車の色は限られており、直接、ユーザーが見ることができない色が多いが、色忠実で正確に再現することができる。予め工場でいろいろな塗装色の車を撮像しておけば、これらの複数のＸＹＺ色忠実画像の撮像データに基づいて、色温度による環境補正も併せて行いつつ、ＲＧＢカラー画像の色を差し替えることができる。

実車６，７の撮像により、色を差し替えるので、リアル感があり、ユーザーにとって、好ましい。気象条件を反映することができ、ユーザーの現場に合わせて、違う条件で見たときにも正確に画像の色を見せることができるのである。

上記特性により色忠実カラーシミュレーションシステム１は、ＸＹＺ色忠実画像の色データに基づいて、ＲＧＢカラー画像の色を差し替え、色温度を考慮した精度の高い色忠実を反映できるものであるので、メーカー、ユーザーともに便宜を図ることができ、車の他にも家具内装品や衣料品など、建築物の色、その他の汎用的な利用用途がある。

実施例１の色忠実環境補正システム１は、黒体輻射のデータから計算上で色データの温度補正を行い、画像を差し替えているが、実施例２の色忠実環境補正システム２０１は、図１２に示す通り、ローカル側である国内で基準品として車２０６を製造し、リモート側である海外で製造した車２０７とを、色で比較し、色の一致度を判定するものとする。たとえばローカル側の環境下でＴ＝６５００Ｋ、リモート側の環境下では、例えば、環境色温度は説明のため仮にＴ＝５０００Ｋとするが、マイクロ分光器２２８で実測するため特に色温度は関係ないのであるが、温度差による補正を行い、色データの精度を高める趣旨である。ここでは、リモート側の携帯情報端末２０３（ここではＲＧＢ表色系カメラを備えたタブレット端末）、及び、これと接続可能な分光器２２８（ここでは小型分光器たとえばマイクロ分光器である。）の構成を用いている点などで相違する。実施例２において、実施例１と構成が相違する点について、図１３〜図１７を参照して説明する。この実施例２の色忠実環境補正システム２０１の他の構成については、実施例１と概ね同様であるので、説明は援用する。なお、後述するがＲＧＢ画面上で画像を比較する場合には図１３を参照されたい。

実施例１で、計算機上のシミュレーションで、この物理数式で定まる色温度を使い、実施例２で、分光器２２８で計測した実在する照明の色温度を用い、それらのスペクトルは、必ずしも一致しない（色彩工学 大田登著 （東京電気大学 出版局）が、等色温度線を引いて色温度を定義している。こうした色温度を利用する。色温度からの黒体輻射よりのS1,S2,S3の分光感度から導かなくても、ローカル側、リモート側の照明光の３つの数値は、S1,S2,S3の分光感度とローカル側、リモート側で測定した照明のスペクトルを掛け合わせた３つの数値を用いてS1gain,S3gainを計算する。これは、色温度からの理想的スペクトルと、スペクトル実測については、ローカル側、リモート側それぞれ任意に選ぶことができる。ローカル側照明のS123の分光特性とリモート側照明のS123の分光特性出力の比を求めることが特徴である。

携帯情報端末２０３は、スマートフォンあるいはタブレットが例示され、図１４に示す通り、レンズを備えたＲＧＢデジタルカメラ２２４、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備える演算部２２５、入出力部２２６、RGB表色系の表示装置２２７が一体となったものである。携帯情報端末２０３が分光器２２８とケーブルで接続可能である。演算部２２５がＲＧＢデジタルカメラ２２４で撮像された画像のｒｇｂ値を取得し、また、インターネットを介して、海外に送信されてくる車２０６の３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）について、Ｔ＝６５００ＫからＴ＝５０００Ｋへの温度の補正を行い、画像データを演算し視覚化処理するものである。なお、携帯情報端末２０３に代えてパーソナルコンピュータで実施してもよい。

マイクロ分光器２２８は、例えば、浜松フォトニクス社製のC12666MAが例示できる。これは、MEMS技術とイメージセンサ技術を融合した指先大の超小型分光器へッドで、感度波長範囲は340〜780nm、波長分解能は15nm maxである。対象物をマイクロ分光器２２８で撮像し、分光感度特性、つまり、感度波長範囲の波長に対するスペクトルの出力値である相対感度（％）が得られる。

図１５に示す通り、携帯情報端末２０３で行う処理を説明する。Ｓ２００において、リモート側は、ローカル側で車２０６をカメラ２０２で撮像して得られた３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）をローカル側から受信する。ローカル側では、図１６に示す通り、６５００Kの照明スペクトルの出力値と分光感度S1，S2，S3（数１、図５参照）とを掛け算すると、斜線で示すような掛算値S1,S2,S3が求まる。これらをそれぞれ積分して斜線に示す曲線範囲内の積分値IS1,IS2,IS3を演算し、これらの積分値を調整、たとえば、IS1=IS2=IS3となるように、カメラ２０２（図１２参照）のゲインを調整し、これをカメラ２０２の規格化感度とする。

Ｓ２１０において、リモート側のマイクロ分光器２２８により、Ｔ＝５０００ＫでのＳ１ｇａｉｎ、Ｓ２ｇａｉｎ（これを相対的に１とする）、Ｓ３ｇａｉｎを演算する。図１７に示す通り、リモート側のＴ＝５０００K（５０００Kは例示であり他の温度でもよい）の照明スペクトルの出力値を、規格化感度S1,S2，S3（数１、図５参照）で掛け算し、これらをそれぞれ積分して斜線に示す曲線範囲内の積分値I03,I02,I01を演算し、Ｓ１ｇａｉｎ=I01/I02、Ｓ３ｇａｉｎ=I03/I02を求める。この演算により、次のリモート側での演算で求めるゲイン値の計算が簡単なものとなる。ここでのゲイン調整をしなくても、その時の変換式であるS1gain = (IO1/IO2)/(IS1/IS2),S3gain = (IO3/IO2)/(IS3/IS2)を設定し、次のリモート側でのゲイン計算がローカル側での積分値をリモート側に伝えることにすれば、それに基づいてリモート側の計算が可能となる。前述の通り数式２で述べたマトリクスの係数補正のように、S1S2S3の頭を揃えるための、事前準備のための、より多くの演算をする必要はないため、このようなゲイン調整をしておくことにより、前述の数式２のS1S2S3-ＸＹＺ変換式がローカル側での照明と関連づけられることとなる。

Ｓ２２０において、Ｓ２００で取得した３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３i（Ｔ＝６５００Ｋ）をＳ２１０で演算したＳ１ｇａｉｎとＳ３ｇａｉｎによりS1iとS3iを補正し、３バンド視覚感度画像Ｓ１i5000k，Ｓ２i5000k(S2iと同じ)，Ｓ３i5000k（Ｔ＝５０００Ｋ）を導く。これは実施例１の数式３と同様の要領の演算である。

Ｓ２３０において、マイクロ分光器２２８の光入射部（スリット）を、携帯情報端末２０３の表示装置２２７の画面上に表示されている画像に押し当てて、画像を取り込み、Rデータ（例えばR=255：8ビット）値とのひも付け、GデータとXg,Yg,Zg、BデータとXb,Yb,Zbとのひも付けを行い、ＸＹＺ値からＲＧＢ値に変換するための変換テーブル（変換マトリクスでもよい）を作成する。この処理は、リモート側の環境光を分光器２２８を介して携帯情報端末２０３に取り込み、分光器２２８でリモート側の環境光のスペクトルをＸＹＺ−ＲＧＢ変換に正確に反映させる趣旨であり、分光器２２８でRGBのR,G,Bのそれぞれのデータを表示して、それぞれに対するスペクトルを取得する。これにより、Rに対するX_R,Y_R,Z_Rが求まるので、同様にGとBを求めると、Gに対してX_G,Y_G,Z_G、Bに対してX_B,Y_B,Z_Bが求める。このようにして、XYZからRGBへの変換テーブルが求まる。このステップ２３０については、予め処理を行い、プログラム化しておいてもよい。

Ｓ２４０において、Ｓ２２０で求めた分光相対ゲインＳ１gain，Ｓ２gain，Ｓ３gain（Ｔ＝５０００Ｋ）を掛け合わせたS1i5000k,S2i5000k,S3i5000k（i＝1〜ｍ、ｍは画素数）からそれぞれの画像の５０００ｋの正確なＸＹＺ値（Ｔ＝５０００Ｋ）を求める。実施例１で前述した数式２により演算する。

Ｓ２５０において、Ｓ２４０で求めたＸＹＺ値（Ｔ＝５０００Ｋ）をＸＹＺ−ＲＧＢ変換テーブルを用い、対応するＲＧＢ値（Ｔ＝５０００Ｋ）を求める。詳細は実施例１の説明を参照されたい。上記の色温度の補正演算により、RGBモニターに画像を正確に出すことができる。

Ｓ２６０において、Ｓ２５０で求めたＲＧＢ値（Ｔ＝５０００Ｋ）に基づき、その画像を携帯情報端末２０３の表示装置２２７に表示する。このとき、図１２に示す通り、海外で生産された現物である比較品の車２０７を携帯情報端末２０３のＲＧＢデジタルカメラ２２４（デジタルカメラでもよい）で撮像した画像１５２を、国内で生産された基準品の画像１５１で差し替えた画像を対比でき、見た目により、リアルタイムに、色の一致度を判定できる。また、変更形態として、図１３に示す通り、携帯情報端末２０３のＲＧＢデジタルカメラ２２４（デジタルカメラでもよい）で車２０７を撮像し、携帯情報端末２０３にＸＹＺ系の変換機能を持たせ、ＲＧＢ値をＸＹＺ補正変換したＲＧＢ画像１５５をＲＧＢ画面上に表示させてもよい（詳細は特願２０１５−３７４５０参照されたい）。つまり、別の色温度で撮像された色忠実ＲＧＢ画像同士を比較表示することができ、かつ一致度の数値での比較もできる。

これにより、例えば、製造された車２０７から適宜に車を抽出して塗装が適切に施工されているか否かを測定し、塗装等の色の検査をするなど、応用が可能である。また、例えば、日本の本社にデザイナーが作ったオリジナルの靴1個があったとすると、その靴とタイの工場で生産しようとしている靴を最終的な仕上がりの状態で２つの色が合っているか、作業者がその場で見て、確認することができる。また、例えば、日本のタイルを撮影し、それをカリフォルニアの空の下でタイルを見たい場合、日本の工場の中で撮像したデータがカリフォルニアのスペクトルの環境下で、携帯情報端末２０３でリアルタイムに確認できる。

なお、本発明の実施形態は、上記の実施形態に何ら限定されるものではなく、本発明の技術的思想を逸脱しない範囲において、改変等を加えることができるものであり、それらの改変、均等物等も本発明の技術的範囲に含まれ、該技術的範囲に属する限り種々の形態を採り得ることは言うまでもない。例えば、３バンド視覚感度画像Ｓ１i，Ｓ２i，Ｓ３iに従って画像情報を取得する方式について、本実施例において挙げた方式は具体例に過ぎないものであって、これらに限られず、その他の方式によっても本発明の技術的思想は実施されるものである。

本発明は、車などの商品の販売における商品の色の差し換え、あるいは、比較表示によるシミュレーションを提供でき、製造、販売に便宜を提供することができる他、商品選択の場と、購入した商品の色が、人間の目から見て近似し、色の違和感が少なくなるので、産業的利用価値は大である。

Claims (7)

1. ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）を有するカメラと、
   前記カメラにより基準色温度で観測対象物を撮像した基準となる３バンド視覚感度画像を取得し、前記基準色温度とは別の色温度の条件下における照明光のスペクトルと前記カメラの３つの分光感度の積分演算によりシミュレーション値を得て、前記基準色温度の光源を直接前記カメラで測定した３つのバンドの出力値の比に対して、前記シミュレーション値によりゲインの調整値を得て、前記３バンド視覚感度画像を補正し、補正された３バンド視覚感度画像から三刺激値Ｘ’，Ｙ’，Ｚ’を演算するシミュレーション画像演算部と、
   該補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づいて、別の色温度で撮像されたＲＧＢ画像の色を差し替えて画面に表示するか、又は、前記補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づくＲＧＢ画像と、前記別の色温度で撮像されたＲＧＢ画像とを比較表示する表示装置と、
   を備えた色忠実環境補正装置。
2. 前記ゲインの調整を、前記基準色温度における、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）の出力が一致するように調整することにより、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）の出力の一致が前記別の色温度と関連付けられ、分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）から前記別の色温度での三刺激値Ｘ´，Ｙ´，Ｚ´への変換式に前記基準色温度との関連が付けられることを特徴とする請求項１の色忠実環境補正装置。
3. 前記ゲインの調整を、前記別の色温度下における照明光の分光器のスペクトルの出力値に基づいて行い、前記シミュレーションの３つのバンドの出力値の比の変化により、この別の色温度での前記カメラ出力のゲインの変化を求め、前記３つのバンドの出力値の比を、前記基準となる３バンド視覚感度画像に掛け合わせる請求項１の色忠実環境補正装置。
4. 前記ゲインの調整を、分光器のスペクトルの出力値と規格化感度とに基づいて、スペクトルの規格化感度の出力値を求め、これに対応する積分値からゲインを求める請求項３の色忠実環境補正装置。
5. 前記基準色温度の照明スペクトルの出力値と、分光感度とから、掛算値を求め、それぞれの積分値を調整することにより、カメラのゲインを調整する請求項１乃至４いずれかの色忠実環境補正装置。
6. 前記三刺激値Ｘ’，Ｙ’，Ｚ’からＲＧＢ値への変換テーブル又は変換マトリクスの作成を前記分光器のスペクトルの出力値に基づいて行う請求項１乃至５いずれかの色忠実環境補正装置。
7. ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ_１(λ)，Ｓ_２(λ)，Ｓ_３(λ)）に従って観測対象物をカメラで基準色温度で撮像する撮像ステップと、
   前記カメラにより撮像された基準となる３バンド視覚感度画像を取得する分光感度取得ステップと、
   前記基準色温度とは別の色温度の条件下における照明光のスペクトルと前記カメラの３つの分光感度の積分演算によりシミュレーション値を得て、前記基準色温度の光源を直接前記カメラで測定した３つのバンドの出力値の比に対して、前記シミュレーション値によりゲインの調整値を得るステップと、
   このゲインの調整値により、前記３バンド視覚感度画像を補正し、補正された３バンド視覚感度画像から三刺激値Ｘ’，Ｙ’，Ｚ’を演算するシミュレーション画像演算ステップと、
   該補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づいて、別の色温度で撮像されたＲＧＢ画像の色を差し替えて画面に表示するか、又は、前記補正された三刺激値Ｘ’，Ｙ’，Ｚ’に基づくＲＧＢ画像と、前記別の色温度で撮像されたＲＧＢ画像とを比較表示する表示ステップと、
   を備えた色忠実環境補正方法。

Images