JP7132041B2 - 色評価装置、および、色評価方法 - Google Patents

Description

本発明は、色評価装置、および、色評価方法に関わる。

カラーインク（温度検知インク）で着色した表示物（紙片など）は、物理量を計測（センシング）した結果の計測値を色の変化で示す。カラーセンサは、計測値を電気信号に変換することが困難な測定対象に適用されたり、低コストでセンシングしたいという要望に応じて適用されたりする。
カラーセンサの色は、通常、変色前から最も変色した状態までの間のどこか中間の色を示している。大まかな計測値を取得できればよいのであれば、肉眼で色を確認するだけで済む。しかし、正確な計測値を機械的に取得したい場合には、センシングされたカラーセンサの中間色を読み取って定量的なデジタル値に変換（以下、「色の評価」）をする色評価装置が必要となる。

色評価装置は、カラーセンサを撮影した画像から色情報を取得する。ここで、取得される画像には通常、撮影環境と撮影機材とが強く影響するため、精度のよい中間色評価は難しい。画像に影響を与える撮影環境とは、例えば、光源の種類と明るさが挙げられる。被写体に当たる光のスペクトルは、直射日光、曇天の外光、蛍光灯、白熱電球などの光源の種類（照明機種）や、光源からの光の減衰度合いにより、様々に変化する。

多くの場合、光源は複数存在し、それらの光が混合することもある。撮影時の状況によってセンサのある場所や向き、撮影者の立ち位置などが異なることは珍しくない。さらに、撮影時刻（太陽の位置）や天気なども常に変化する。それらの要因に依り、撮影対象のセンサに当たる照明の明るさとスペクトルは様々に変化する。

そこで、特許文献１には、色が変化するカラーセンサと３色の色標本とを同時に撮像したカラー画像データから色標本の補正値を求める解析手段と、補正値を用いてカラーセンサの色を補正する補正手段と、を備える測定装置が記載されている。
これにより、様々な光源下でカラーセンサを撮像した場合でも、同じ画像に写っている色標本を手がかりにカラーセンサの色を補正することができる。

特開２０１２－９３２７７号公報

特許文献１の色補正には、３色の色標本が用いられていた。このため、色空間の座標変換によりセンサ色を色補正しようとするときには、特許文献１の手法では、原点が動かない線形変換のみが可能で、平行移動を含むアフィン変換を行なうことができない。

よって、線形変換の原点を中心とした回転などで補正を行ったとしても、特にセンサ色が黒色に近い撮影色であるときには、色空間内での座標が原点に近いため、その撮影色に対する補正量は小さくなってしまい、補正の精度を充分に高くすることができなかった。例えば、実際の撮影環境では照明の角度などに依存して全体が少し白色っぽく写ってしまうことはよくあり、もともとセンサ色が黒色を示していたとしても、その撮影色が少し白色っぽくなってしまうこともある。

そこで、本発明は、様々な撮影環境下で撮影されたカラーセンサから、高精度に測定値を求めることを、主な課題とする。

前記課題を解決するために、本発明の色評価装置は、以下の特徴を有する。
本発明は、第１の撮影環境において撮影された４つ以上の参照色の色情報が記憶部に登録されており、
計測する物理量によって変化するカラーセンサのセンサ色と、計測する物理量によって変化しない４つ以上の参照色とが表示された表示物を第２の撮影環境で撮影した計測時の撮影データから、センサ色と、４つ以上の参照色とをそれぞれ取得し、
前記記憶部から読み取った前記第１の撮影環境における４つ以上の参照色の色情報から、前記撮影データから取得した前記第２の撮影環境における４つ以上の参照色の色情報への変化量をもとに、前記第１の撮影環境と前記第２の撮影環境との間の色の変換係数を求める処理において、前記第１の撮影環境および前記第２の撮影環境それぞれで撮影データに施されている画像調整処理を示す色の変換係数も、前記参照色から求め、
前記計測時の撮影データから取得したセンサ色と、前記色の変換係数とをもとに、アフィン変換の平行移動を示す項を含む変換式を計算することで、センサ色を前記第１の撮影環境において撮影されたように補正する色評価部を有し、
前記表示物に表示される４つ以上の参照色それぞれを、色を表現するパラメータの組み合わせで構成される色空間内の座標で表現したとき、４つ以上の参照色の点が同一平面内に含まれることがないように参照色が決定されていることを特徴とする。
その他の手段は、後記する。

本発明によれば、様々な撮影環境下で撮影されたカラーセンサから、高精度に測定値を求めることができる。

本発明の一実施形態に関する色評価システムの構成図である。 本発明の一実施形態に関する表示物の各領域を説明するための構成図である。 本発明の一実施形態に関する図２の表示物に着色した結果を説明するための構成図である。 本発明の一実施形態に関する図３の表示物に対して、第２のセンサ領域を追加した表示物を示す。 本発明の一実施形態に関する図３の表示物に対して、参照領域の表示物と、センサ領域の表示物とを別々の媒体として構成した一例を示す。 本発明の一実施形態に関する図３の表示物に対して、新たに参照領域をセンサ領域を挟むように両側に設けた表示物を示す。 本発明の一実施形態に関する図３の表示物に対して、情報コードを表示した表示物を示す。 本発明の一実施形態に関する図３の表示物に対して、参照領域を設ける代わりに、第３の参照色を背景領域に塗った表示物を示す。 本発明の一実施形態に関する色補正の概念を説明する図である。 本発明の一実施形態に関する色評価システムの詳細を示す構成図である。 本発明の一実施形態に関する色評価部の動作を示すフローチャートである。 本発明の一実施形態に関するガンマ補正を考慮して色補正を行うために、５種の参照色を用いた例である。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。

図１は、色評価システムの構成図である。
色評価システムは、照明８が当てられた表示物７の全体を撮影する撮影機材５と、表示物７の撮影画像を読み取って色を評価する演算装置６とが接続されて構成される。
色評価装置として動作する演算装置６は、汎用的なパーソナルコンピュータまたはサーバとして構成される。撮影機材５は、例えば、デジタルカメラ、カメラ付き携帯電話、スマートフォン内蔵カメラなどの簡便な機材である。
なお、撮影機材５から演算装置６に撮影画像を転送するための接続は、有線であっても無線であってもよく、インターネットなどを介する接続でもよい。また、ＳＤメモリカードなどを介したデータの移動も、接続の一種と考えてよい。

表示物７は、例えば、単独のカード、パネル、ラベル、プレート、台紙としてあらかじめ用意してもよいし、計測時点において箱や袋の表面にシールとして貼ってもよいし、外部から印刷してもよい。表示物７の表面の材質は、任意である。なお、本明細書の「表示」には、表示物７の紙面上にインクを付着させて色を固定する表示（印刷）だけでなく（つまり紙片などだけでなく）、表示物７のディスプレイの液晶分子に光を通すことでパネルの表面を発色させる表示（電気的な発色）を含めてもよい。

照明８は、自然光でも人工照明でもよい。

図２は、表示物７の各領域を説明するための構成図である。この図２の段階では、表示物７が複数の領域に区切られているレイアウトを説明するため、あえて領域内は着色せずに説明する。１つの表示物７は、閉領域である複数の参照領域１１～１４と、閉領域である１つのセンサ領域２１と、それらの各領域以外の背景領域３０とに区切られている。
センサ領域２１には、カラーセンサによる「センサ色」が測定結果に応じて変化する。
参照領域１１～１４には、「参照色」が着色される。この参照色は、照明８などの撮影環境に応じたセンサ色の変化量を示す変換係数（詳細は図９）を求めるために使用される。

なお、図１では、表示物７の全体を撮影する撮影機材５として説明したが、厳密には、すべての参照領域１１～１４と、１つのセンサ領域２１とが同じ画像内に収まるように撮影すればよい。よって、参照領域１１～１４の各位置は図２に例示したセンサ領域２１の上側に横一列とする代わりに、センサ領域２１の近傍になるように参照領域１１～１４を配置してもよい。

また、表示物７の各領域の形状については、参照領域１１～１４の長方形と、センサ領域２１の円形とで異なる形状にすることで、どの領域がセンサ領域２１なのかを肉眼でもすぐに識別できる。なお、各領域の形状については、前記の長方形や円形に限定されず、任意の形状としてもよい。
表示物７の各領域の面積については、画像化したときに複数のピクセルで表され、色の平均値を計算できる程度の面積があればよい。

図３は、図２の表示物７に着色した結果を説明するための構成図である。
表示物７１のセンサ領域２１には、温度によって色が変化する温度検知インクなどのカラーセンサが塗られている。つまり、センサ領域２１は、周囲の環境を反映して、色が変化する。例えば、センサ領域２１は、温度、温度履歴、湿度、光、各種ガス濃度などの環境条件や、液体のｐＨ、各種イオン濃度、各種薬剤濃度、各種アミノ酸・タンパク質濃度、ウイルス・細菌の存在などを検知した結果が、色情報として反映される。

なお、本実施形態では、説明用の色モデルとしてＲＧＢ（Red、Green、Blue）モデルを採用する。ＲＧＢモデルでは、画像を構成する１ピクセルの色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色それぞれについての、最も暗い０から最も明るい２５５までの間の数値の組み合わせで表現される。以下、ＲＧＢ成分を[R,G,B]のように角括弧でくくって表記し、例えば、赤色[255,0,0]、最も暗い黒色[0,0,0]、最も明るい白色[255,255,255]である。

参照領域１１～１４の各参照色は、通常のカラーインクなどで着色される固定の（センサ色とは異なり変化しない）色である。以下、次の４つの参照色を例示するが、参照色の取り得る組み合わせは、この４つに限定されない。
・参照領域１１には、赤色[250,0,0]が塗られている。
・参照領域１２には、緑色[0,250,0]が塗られている。
・参照領域１３には、青色[0,0,250]が塗られている。
・参照領域１４には、灰色[200,200,200]が塗られている。

さらに、参照領域１１～１４の背景箇所、センサ領域２１の背景箇所、および、背景領域３０の全体箇所のうちの少なくとも１箇所（以下、塗りつぶし箇所）を、参照色とは異なる色である白色または黒色で塗りつぶしておいてもよい。これにより、完全な白色[255,255,255]が白飛びで写ったり、完全な黒色[0,0,0]が黒つぶれで写ったりする画像（色が飽和した画像）を撮影することを抑制できる。
そして、４種類の参照色はいずれも塗りつぶすときの白色より暗く、塗りつぶすときの黒色より明るいものとすることが望ましい。これにより、塗りつぶし箇所で白飛びや黒つぶれが発生したとしても、参照領域１１～１４の参照色や、センサ領域２１のセンサ色には、白飛びや黒つぶれを発生させずに済む。

図４は、図３の表示物７１に対して、第２のセンサ領域２２を追加した表示物７２を示す。例えば、同じ測定対象についての温度を測定するためのセンサ領域２１と、湿度を測定するためのセンサ領域２２とを、１枚の表示物７に含めることで、温度と湿度とを同時に測定できる。
ここで、参照領域１１～１４は、２つのセンサ領域２１，２２で共通して用いられるため、温度測定用の表示物７と、湿度測定用の表示物７とを別々に用意する方式に比べ、測定スペースや撮影時間の節約にもなる。なお、図４の表示物７２以外のセンサ領域２１は１つとして説明しているが、他の表示物７にも複数のセンサ領域２１，２２を設けてもよい。

図５は、図３の表示物７１に対して、参照領域１１～１４の表示物７３ａと、センサ領域２１の表示物７３ｂとを別々の媒体として構成した一例を示す。表示物７３ｂは、物理量を計測したい物や場所に置いて計測を継続する。
一方で、表示物７３ａと撮影機材５と一緒に持ち歩き、撮影時に表示物７３ａと表示物７３ｂとを接近させて一緒に撮影する使い方も想定される。これにより、表示物７３ｂの面積を小さくすることができるため、例えば、センサ領域２１が記入伝票の小さな枠に手書きされたカラーインクの領域であっても、参照領域１１～１４と同じ画像内に撮影することができる。

図６は、図３の表示物７１に対して、センサ領域２１を挟むように両側に参照領域１１～１４を設けた表示物７４を示す。
これにより、表示物７４内の照明８の当たり方が均一でなく明るい部分と暗い部分との差ができてしまう場合であっても、２箇所の参照領域１１による参照撮影色の平均を用いることで、センサ色の補正精度の劣化を抑制できる。
さらに、図６で示したように、同じ色の参照領域１１をなるべく距離を空けるように（つまり、センサ領域２１を挟んで対角線上に）配置することで、明るい部分と暗い部分との差を平均化できる。

また、演算装置６は、表示物７４内の異なる場所にある同じ参照色のデータを比較することにより、その差があまりにも大きい場合には照明８の当たり方が悪いと判断して撮影エラーと判定してもよい。
撮影画像に光源が反射して映り込むとセンサ色や参照色が強く影響を受けるので、好ましくない。よって、そのような画像の中には反射光の強い場所と弱い場所が現れるので、適切に撮影エラーと判定することができる。

図７は、図３の表示物７１に対して、参照領域１３を塗る参照色のかわりに、ＱＲコード（登録商標）やバーコードなどの情報コード３１を表示した表示物７５を示す。これにより、情報コード３１の撮影画像から情報コード３１自体の色である参照色だけでなく、事前に表示物７５に設定しておいた埋め込み情報を取得することができる。埋め込み情報は、例えば、どのような色モデルを使うか（ＲＧＢモデル、ＨＳＶモデルなど）、その色モデルにおける各参照基準色のカラーコードは何か、などが挙げられる。

図８は、図３の表示物７１に対して、参照領域１３を設ける代わりに、第３の参照色を背景領域３０に塗った表示物７６を示す。これにより、表示物７６の全体が何らかの色で塗られた状態になり、参照領域１３を省略して表示物７６の面積を節約できる。

図９は、色補正の概念を説明する図である。ＲＧＢモデルでは、Ｒ軸、Ｇ軸、Ｂ軸の３次元のＲＧＢ空間内の（一辺255の長さの立方体の中）どこかに、各ピクセルの色が位置する。一方、図９では説明をわかりやすくするため、ＲＧＢ空間を擬似的に２次元のグラフで表現した。
グラフ上の点がグラフの左下側に位置するほど、完全な黒色[0,0,0]に近づいて暗くなる色を示す。一方、グラフ上の点がグラフの右上側に位置するほど、完全な白色[255,255,255]に近づいて明るくなる色を示す。

参照領域１１～１４の各参照色をどの色にするかについては、参照基準色Ｃ０１～Ｃ０４をＲＧＢ空間の４つの点で表わしたとき、４点すべてが一つの平面内に含まれないようにすることが必要条件である。一つの平面内に含まれてしまうと、複数の変換係数の取り得る値の組み合わせを一意に特定できないからである。
さらに、ＲＧＢ空間内で４つの点が構成する４面体の体積を充分に大きく取ることで、変換係数を用いたセンサ色の補正精度を上げることができる。
なお、立方体の中の空間を回転したり並行移動したりする変換による補正後のセンサ色は、ＲＧＢ空間内の立方体の範囲内に収まることが望ましい。例えば、補正後に280の値となってしまった場合、255に丸め込むこととなるが、計測値の精度はその丸め込みにより落ちてしまう。

以上述べたように、４点すべてが一つの平面内に含まれないようにし、かつ、４面体の体積を充分に大きく取ることにより、参照色の照明による影響と、センサ色の照明による影響とが同じ撮影色として検出できるので、精度の高い変換係数を求めることができる。

以下、基準となる撮影環境（第１の撮影環境）で撮影された参照色を「参照基準色」とし、実際に測定される撮影環境（第２の撮影環境）で撮影された参照色を「参照撮影色」とする。
例えば、基準となる撮影環境として、特定の撮影機材５と特定の照明８の光源を用い、再現可能な様に定めた照明８からの距離と角度、撮影画角で表示物７を撮影しておく。特定の撮影機材５とは、実際の測定で使用する機材と同じものか、類似の機種で得られる画像の質が近いものが好ましい。どの機種で撮影したかが特定できて再現できることが重要である。このとき、参照領域１１には参照基準色Ｃ０１が撮影されたとする。なお、参照基準色の撮影では、自然光が入らない環境で人工照明だけで表示物７を照らすことが、環境を再現可能であるので望ましい。またそのとき、照明８の色光は白色光に近いことが望ましい。撮影色の補正を行うとき、最も一般的な白色光の元で得た基準色を元にすれば、多くの場合補正量を小さくする事ができ、大き過ぎる補正量で色補正が破綻する恐れを小さくする事ができるからである。

次に、実際に測定される撮影環境（スマートフォンなどの簡易的な撮影機材５や、照明８の光源が常に変化する車内など）で、表示物７を撮影する。このとき、参照領域１１には参照撮影色Ｃ１が撮影されたとする。
同様に、他の参照領域１２～１４でも、参照基準色Ｃ０２が参照撮影色Ｃ２として撮影され、参照基準色Ｃ０３が参照撮影色Ｃ３として撮影され、参照基準色Ｃ０４が参照撮影色Ｃ４として撮影されたとする。
このとき実際に測定される撮影環境は、基準となる撮影環境よりも明るい場所だったので、参照基準色Ｃ０１よりも参照撮影色Ｃ１が明るめに撮影されてしまった（図９の右上に向かう破線矢印）とする。

一方、センサ領域２１，２２（図４参照）の各センサ色についても、参照領域１１～１４の各参照色と同様の撮影環境による影響を受け、基準となるセンサ色よりも明るく撮影されてしまう。以下、実際に測定される撮影環境で撮影されたセンサ色を「センサ撮影色」とし、センサ色が基準となる撮影環境で撮影されたかのように補正した後のセンサ色を「センサ補正色」とする。
もし、このままセンサ撮影色Ｃ８を物理量に変換してしまうと、実際の測定データよりも大きい（明るい）物理量を出力してしまう。よって、センサ撮影色Ｃ８をセンサ補正色Ｃ０８に補正してから（換言すると、基準となる撮影環境に戻してから）物理量に変換する必要がある（図９の左下に向かう実線矢印）。同様に、センサ撮影色Ｃ９もセンサ補正色Ｃ０９に戻してから、物理量に変換する必要がある。

ここで、参照色とセンサ色とが同じ撮影画像にて撮影されていることで、２つの色はともに同じ撮影環境による影響を受けているとみなすことができる。よって、図９の右上に向かう破線矢印で示した参照基準色Ｃ０１から参照撮影色Ｃ１への変化量（つまり、変換係数）を、そのまま逆方向にセンサ撮影色Ｃ８からセンサ補正色Ｃ０８への補正量（図９の左下に向かう実線矢印）に適用することで、センサ補正色Ｃ０８を間接的に求めることができる。

図１０は、色評価システムの詳細を示す構成図である。
色評価システムの撮影機材５は、画像調整部５１と、撮影機材記憶部５２とを有する。
画像調整部５１は、第２の撮影環境としての撮影機材５が表示物７を撮影した撮影画像を画像調整した後、jpgなどの画像フォーマットにした画像ファイルを撮影機材記憶部５２に格納する。この画像調整は、後記するガンマ補正処理やホワイトバランス調整処理などである。なお、画像フォーマットは、各色のデータを１バイト＝８ビット（０～２５５までの値を取り得る）として説明するが、より多くのビット数で表現する画像フォーマットとしてもよい。
また、画像フォーマットにはjpg以外にもpng、tif、bmpなどの様々なフォーマットがあるがそのどれでもよい。ただし色数が少ない画像フォーマットではデータの正確性が損なわれるので、各ピクセルのＲＧＢ成分を１バイト以上で表せるフォーマットが好ましい。

色評価システムの演算装置６は、演算装置記憶部６１と、処理部６０としての色評価部６２と、物理量変換部６３とを有する。この演算装置６は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（演算装置記憶部６１）とを有するコンピュータとして構成される。このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、スマートフォンのアプリ）を実行することにより、各処理部６０により構成される制御部（制御手段）を動作させる。
演算装置記憶部６１には、第１の撮影環境で撮影したときの参照基準色Ｃ０１～Ｃ０４の色データなどの、処理部６０が使用する各種データが格納される。参照基準色Ｃ０１～Ｃ０４の色データは、撮影機材５の撮影前に（事前に）演算装置記憶部６１に登録される。

色評価部６２は、撮影機材５の撮影機材記憶部５２から演算装置６に伝送される第２の撮影環境での撮影画像に対して、図９で説明したように、参照基準色Ｃ０１～Ｃ０４から参照撮影色Ｃ１～Ｃ４への変更量をもとに、センサ撮影色Ｃ８，Ｃ９をセンサ補正色Ｃ０８，Ｃ０９に補正する。この色評価部６２の補正処理は、カラーセンサが測る物理量の種類に依存せず、共通のロジックで実装できる。色評価部６２の処理の詳細は、図１１で後記する。
物理量変換部６３は、色評価部６２が出力したセンサ補正色をもとに、対応する物理量（温度センサなら温度、湿度センサなら湿度）に変換する。

なお、各処理部６０を演算装置６にすべて備える構成の代わりに、一部の各処理部６０（例えば、色評価部６２）をスマートフォンの様なプログラミング可能な撮影機材５に備え、残りの各処理部６０（例えば、物理量変換部６３）を演算装置６に備える構成としてもよい。さらに、撮影機材５と演算装置６との両方の機能をスマートフォン単体で兼ねることも可能である。
これにより、各処理部６０を演算装置６にすべて備える構成で、撮影機材５から演算装置６に撮影画像データを転送する方式に比べ、転送データ量が大幅に少なくて済み、通信時間が短縮できる。

図１１は、色評価部６２の動作を示すフローチャートである。
Ｓ１１として、色評価部６２は、撮影データを撮影機材記憶部５２から受信し、その撮影データに撮影された表示物７の各領域から撮影色（参照撮影色、センサ撮影色）を取得する。なお、色評価部６２は、面積に応じて各領域に割り当てられた複数のピクセルそれぞれの色情報を読み取り、それらの色情報の平均値を各領域の代表値として抽出する。

Ｓ１２として、色評価部６２は、事前に登録された４つの参照基準色（図９で説明した参照基準色Ｃ０１～Ｃ０４の４色）から、Ｓ１１で今回撮影した４つの参照撮影色（図９で説明した参照撮影色Ｃ１～Ｃ４の４色）への色情報の変化量から、参照色の変換係数を求める。以下の（式１）～（式３）は、左辺の参照撮影色Ｃ１～Ｃ４と、右辺の参照基準色Ｃ０１～Ｃ０４との関係式である。

（式１）～（式３）で合計１２個の変換係数は、３次元空間の座標変換としてのアフィン変換の拡大縮小、回転、剪断などを示すａ１１～ａ３３の変数９個と、アフィン変換の平行移動を示すｂ１～ｂ３の変数３個とからなる。
色評価部６２は、（式１）～（式３）に参照撮影色Ｃ１～Ｃ４と、参照基準色Ｃ０１～Ｃ０４とを代入した４連立線形方程式を解くことで、１２個の変換係数を求める。

Ｓ１３として、色評価部６２は、Ｓ１２で求めた１２個の変換係数を用いて、センサ撮影色をセンサ補正色に補正（アフィン変換）する。以下の（式４）は、左辺のセンサ補正色Ｃ０８と、右辺のセンサ撮影色Ｃ８と、Ｓ１２で前記した１２個の変換係数との関係式である。１２個の変換係数は、センサ撮影色Ｃ８への係数となるａ１１～ａ３３の変数９個と、アフィン変換の平行移動を示すｂ１～ｂ３の変数３個からなる。

色評価部６２は、（式４）にセンサ撮影色Ｃ８と、１２個の変換係数とを代入した方程式を解くことで、センサ補正色Ｃ０８を求める。なお、図４のように、第２のセンサ色がセンサ領域２２に存在するときには、色評価部６２は、第１のセンサ色と同じ１２個の変換係数および同じ（式４）を用いて、第１のセンサ色と同じように、第２のセンサ色を補正すればよい。

また、比較例として、以下の（式５）は、左辺のセンサ補正色Ｃ０８と、右辺のセンサ撮影色Ｃ８と、９個の変換係数との関係式である。（式４）の関係式は、（式５）の関係式にｂ１～ｂ３の変数３個を第２項として追加することにより、照明８や撮影機材５の影響を除くことで、色補正の精度を向上させている。参照色を3種類しか用いない場合は変換係数を9個までしか決定できないため、この（式５）による色補正までしか行えない。

そして、色評価部６２は、Ｓ１３で得られたセンサ補正色Ｃ０８を演算装置記憶部６１に記憶する。さらに、物理量変換部６３は、センサ補正色Ｃ０８から、その色が表す物理量に変換し、その変換結果を物理量の計測値として演算装置記憶部６１に記憶する。この計測値は、スマートフォンである撮影機材５の表示画面に出力させてもよい。

以上、図１～図１１を参照して、第４の参照色とアフィン変換の平行移動を示す項とを追加した計算式により、色評価部６２がセンサ色補正の精度を向上させるしくみを説明した。
以下、図１２を参照して、さらに、第５の参照色や、第６の参照色を表示物７に追加することにより、センサ色補正の精度を向上させる構成について、説明する。

まず、画像調整部５１が画像データを生成するときに行うガンマ補正を例に、撮影機材５の機種依存性が画像データに与える影響を説明する。デジタル処理で撮影を行う撮影機材５は、その撮像素子の特性から、得られた生の信号を線形に加工して色データを生成すると暗い画像になる場合が多い。そこで、画像調整部５１は、ガンマ補正をしてからjpgフォーマットなどの画像データを生成する。
ただし、このガンマ補正も撮影機材５のメーカが独自の考えで「使用者が自然な明るさと感じる」ように調整しているものなので、機種が異なればガンマ補正の量や補正カーブの詳細が異なる。このような機種によるガンマ補正内容の違いが、撮影機材５の機種依存性の一例である。

なお、参照基準色にも参照撮影色にも同じガンマ補正がかかっているのなら、必ずしもそのガンマ補正を元に戻す必要はない。一方で、センサ色の色補正をする際にガンマ補正まで考慮することで、機種間のガンマ補正量の差を吸収し、暗い色から明るい色までの全域に渡る機種依存性をできるだけ排除し、色補正の精度を上げることができる。

図１２は、ガンマ補正を考慮して色補正を行うために、５種の参照色を用いた例である。表示物７７には、図３の表示物７１に対して、さらに、第５の参照領域１５が追加されている。
ガンマ補正を行うためのγ係数として、ＲＧＢ成分としてすべて共通の値である「単一γ係数」を用いてもよいし、ＲＧＢ成分ごとに個別の値である「色別γ係数」を用いてもよい。まず、色別γ係数を用いる場合を説明する。

（式６）は、センサ撮影色Ｃ８から、色別γ係数を用いてデータ値を変換（ガンマ補正）した結果をセンサγ補正色とする関係式である。ここで、（式６）の分母「Ｆ」は色データが取り得る最大値で、各色１バイトで表現する通常の場合はＦ＝２５５である。

色評価部６２は、（式１）～（式３）で説明した１２個の変換係数を求めるとともに、（式６）の３個の（Ｒ成分、Ｇ成分、Ｂ成分それぞれの）色別γ係数を非線形方程式で求めるため、合計１５個の変換係数を決定する必要がある。
（式７）は、（式６）のセンサγ補正色からセンサ補正色Ｃ０８に変換する式である。（式７）は、（式４）のセンサ撮影色Ｃ８をセンサγ補正色に置き換えたものである。

なお、どの機種もよい見栄えを意図して補正を行っているので、機種間の色別γ係数の差が小さいことも多い。そのときには、（式７）で求めようとしている適正な色別γ係数の値は、３個ともに１に非常に近い値を取る。ここで、γ＝１がガンマ補正を行わないことに対応し、γをそれより少し大きいか小さい値とすることで、機種間の中間階調の差を補正できる。

色評価部６２が１５個の変換係数を求める方法は複数考えられるが、ここで適用すべきγの適正値が１に非常に近いと想定できることから、例えば以下の（手順１）～（手順５）に示すアルゴリズムが考えられる。
（手順１）まず最初に色別γ係数の初期値として[γR=1,γG=1,γB=1]とおく。
（手順２）１番目から４番目までの参照色に対して（式６）および（式７）を適用し、ａ１１～ａ３３の変数９個とｂ１～ｂ３の変数３個に対する方程式を求め、それを解いてこれらの１２個の変換係数を決定する。このとき色別γ係数は決定済みの数値として扱う。
（手順３）前記の（手順２）で求めた１２個の変換係数に数値を代入し、５番目の参照色に対して（式６）および（式７）を適用し、色別γ係数に対する３個の方程式を立てる。この時、色別γ係数は求めるべき変数として扱い、（手順２）で用いた数値は使用しない。これら３個の変数の解は容易に求めることができる。ここで求めた解を[ΓR,ΓG,ΓB]とする。

（手順４）［ΓR-γR,ΓG-γG,ΓB-γB］がすべて充分に０に近い場合は収束したとみなす。
（手順５）収束していない場合、新しい色別γ係数[γRnew,γGnewγBnew]を計算し、（手順２）の手順に戻り繰り返す。
γRnew=γR+β(ΓR-γR)
γGnew=γG+β(ΓG-γG)
γBnew=γB+β(ΓB-γB)
ここでβは混合係数で、０＜β≦１の範囲の値に設定するものとする。βが大きいと変動量が大きいので少ないループ回数で収束できる可能性があるが、行き過ぎてしまって振動が起こり、いつまでも収束しないという事態も起こり得る。βが小さいと収束までに必要なループ回数が多くなることが多いが、振動現象を抑え収束できる可能性が高まることが期待できる。
充分に収束値に近い解からスタートできる場合、このような単純な繰り返し計算により計算を収束させることができる場合が多い。

ここまではＲＧＢ成分ごとに個別の色別γ係数を決定し、ＲＧＢ成分ごとにガンマ補正を行う方法について説明した。
一方で、ただ１種類の単一γ係数だけを使ってガンマ補正する方法もある。実際、画像の明るさを補正する際、単一γ係数を用いてガンマ補正することも多い。単一γ係数を使うガンマ補正の場合にも５番目の参照色が必要である。ただし（式６）の代わりに（式８）のように単一γ係数だけでセンサγ補正色を計算する。

前記の（手順１）～（手順５）の色別γ係数を求めるアルゴリズムに、単一γ係数を適用するとしたら、（手順３）で単一γ係数に対する方程式が３個現れることになる。そのすべての方程式を完全に満たすことは通常はできない。
そのため近似的に色（明るさ）の相違が最も小さいと思えるように単一γ係数を決定する必要がある。一つの方法としては例えば、ＹＵＶと呼ばれるフォーマットにおいて輝度ＹをＹ＝0.299R+0.587G+0.114Bと定義する方法があるので、これを用いて単一γ係数に対する３個の方程式をこの係数の重みで足し合わせ、（式９）によって単一γ係数を決定する方法が考えられる。

この（式９）は（手順３）で使うので、ａ１１～ａ３３の変数９個とｂ１～ｂ３の変数３個は決定済みの数値として扱う。センサγ補正色の中に単一γ係数が含まれるので、（式９）を単一γ係数について解けば（手順３）を実行できる。（式９）は異なる底のγ乗の和が現れる非線形方程式なので、色別γ係数を求める場合よりも解き方が少し複雑になるが、変数が１つだけなのでニュートン法や２分法などの一般的な解法により数値的に解くことができる。

ＲＧＢ成分で表されたカラー画像をグレースケールに変換する方法は上記の輝度Ｙを求める方法以外にも、色別γ係数[0,2126,0.7152,0.0722]とおく方法や、単一γ係数[1/3,1/3,1/3]とおく方法など、複数の方法が存在する。（式９）の両辺に左からかかっている変換係数のベクトルをこれらに置き換えれば、明るさの評価法を変えることは容易にできる。
また、単一γ係数を決定する別の方法として、（手順３）で３つの方程式をそのまま使って色別γ係数を独立に決定し、その後で色別γ係数の平均値またはあらかじめ設定した加重平均により単一γ係数を決定するという方法もある。

なお、基準色データを撮影した機材と参照色データを撮影した機材のガンマ補正の差を吸収するためには、単純に中間色で明るい方に膨らむか暗い方に膨らむかというだけの関数形で充分な補正ができるとは限らない。暗めの中間色では明るい方に膨らみ、明るめの中間色では暗い方に膨らむと言ったＳ字型の関数形での補正が必要な場合もあり得る。

Ｓ字型の関数形での補正を考慮する場合には、さらに６番目の参照色を導入する。その場合、（式６）に対応するセンサ撮影色Ｃ８の補正式を各色あたり２種類の変数を用いて定義し、補正カーブをＳ字型を取ることも可能な関数形とする。ＲＧＢ成分ごとに独立な変数を２個ずつ合計６個使うのでなく、共通な変数２個だけを使ってもよい。
ａ１１～ａ３３の変数９個とｂ１～ｂ３の変数３個に加え、ここで導入した６種または２種の変数を決定する手順は、上記のγを求めるアルゴリズムを拡張し新しい変数に当てはめた形にすればよい。ループを繰り返すアルゴリズムは変数が増えたことに依り若干収束性が悪くなる恐れがあるが、実用上問題があるほどに悪化した場合は関数形を変更するか、変数６個でなく２個で済む方法を採用するなどすればよい。

なお、ガンマ補正を行う場合、参照色領域を撮影し平均値を取って得た参照色データそのものも、撮影機材記憶部５２に記録しておくことが好ましい。ガンマ補正を行う場合、ここに示したように複数の方法が考えられるため、参照色データおよびカラーセンサの色データの組み合わせが記録してあれば、後から別の補正方法を適用し、最適な色補正の方法について再検証することが可能である。

また、５種以上の参照色の中からどの４種の参照色を色補正用に使い、どの参照色をガンマ補正用の参照色とするかについても任意性があるので、それらの組み合わせを変えて色補正を行ってみることも可能である。ガンマ補正用の参照色は中間的な明るさであることが望ましいが、５種以上の参照色の中にそのような明るさのものが複数あってもおかしくない。
複数の手法による色補正は、その正確性を後で検証するためだけでなく、最初から複数の色補正法で評価を行い、平均値またはあらかじめ定めた加重平均により補正値を決定するという使い方をしてもよい。これにより、より多くの状況で安定して色評価を行える可能性がある。

以上、ガンマ補正が画像データに与える撮影機材５の機種依存性について、説明した。なお、画像調整部５１が撮影機材記憶部５２に画像データを保存するときの撮影機材５の機種依存性として、オートホワイトバランスもその原因に挙げられる。
オートホワイトバランスとは、適切な明るさの画像となるように生データから切り出す値の範囲を自動で計算し、照明８の影響をできるだけ排除して白い物が白く写るようにカラーバランスを自動で調整する処理である。

このとき、カメラには撮影の瞬間の光源のスペクトルに関する正確な情報がある訳ではないので、オートホワイトバランスでは画像の内容だけに基づいて「多くの人が自然な色の画像だと感じるように」色が調整されているに過ぎない。その調整法はカメラメーカーが独自に機種ごとに設定するもので、同じ瞬間に同じ対象を撮影しても、機種が異なれば得られる映像の色データも異なる。
つまり、オートホワイトバランスで照明８の影響を完全に排除することは不可能で、撮影により作成された色データにはカメラの機種依存性が必ず残ってしまう。さらに、メーカー独自の画質調整が加味される場合も多く、色の鮮やかさを強調したり、肌の色を明るくすると言ったこともよく行われるので、色データの機種依存性は大きい。
このようなオートホワイトバランスに対しても、ガンマ補正の場合と同様に表示物７の参照色を増やしてセンサ領域２１と同時に撮影することで、撮影機材５の機種依存性を排除して色補正の精度を上げることができる。

以上説明した本実施形態では、表示物７に第４の参照色を追加し、色評価部６２がアフィン変換の平行移動を示す項を含む（式４）を計算することで、センサ色が黒色に近い撮影色であっても、適切に並行移動された色補正を実現できる。
さらに、図１２を参照して説明したように、表示物７に第５の参照色を追加し、色評価部６２がガンマ補正などの画像調整処理の影響を加味することで、撮影機材５の機種依存性の影響を排除して、精度の高い色評価を行うことができる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際にはほとんどすべての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。

５ 撮影機材
６ 演算装置
７ 表示物
８ 照明
１１～１５ 参照領域
２１，２２ センサ領域
３０ 背景領域
３１ 情報コード
５１ 画像調整部
５２ 撮影機材記憶部
６０ 処理部
６１ 演算装置記憶部
６２ 色評価部
６３ 物理量変換部

Claims (3)

1. 第１の撮影環境において撮影された４つ以上の参照色の色情報が記憶部に登録されており、
   計測する物理量によって変化するカラーセンサのセンサ色と、計測する物理量によって変化しない４つ以上の参照色とが表示された表示物を第２の撮影環境で撮影した計測時の撮影データから、センサ色と、４つ以上の参照色とをそれぞれ取得し、
   前記記憶部から読み取った前記第１の撮影環境における４つ以上の参照色の色情報から、前記撮影データから取得した前記第２の撮影環境における４つ以上の参照色の色情報への変化量をもとに、前記第１の撮影環境と前記第２の撮影環境との間の色の変換係数を求める処理において、前記第１の撮影環境および前記第２の撮影環境それぞれで撮影データに施されている画像調整処理を示す色の変換係数も、前記参照色から求め、
   前記計測時の撮影データから取得したセンサ色と、前記色の変換係数とをもとに、アフィン変換の平行移動を示す項を含む変換式を計算することで、センサ色を前記第１の撮影環境において撮影されたように補正する色評価部を有し、
   前記表示物に表示される４つ以上の参照色それぞれを、色を表現するパラメータの組み合わせで構成される色空間内の座標で表現したとき、４つ以上の参照色の点が同一平面内に含まれることがないように参照色が決定されていることを特徴とする
   色評価装置。
2. 前記色評価部は、前記計測時の撮影データから、センサ色と、４つ以上の参照色とをそれぞれ取得するときに、前記表示物に表示された情報コードを併せて読み取り、その後の前記色の変換係数を求める処理またはセンサ色を補正する処理において、前記情報コードを利用することを特徴とする
   請求項１に記載の色評価装置。
3. 色評価装置は、記憶部と、色評価部を有しており、
   前記記憶部には、第１の撮影環境において撮影された４つ以上の参照色の色情報が登録されており、
   前記色評価部は、
   計測する物理量によって変化するカラーセンサのセンサ色と、計測する物理量によって変化しない４つ以上の参照色とが表示された表示物を第２の撮影環境で撮影した計測時の撮影データから、センサ色と、４つ以上の参照色とをそれぞれ取得し、
   前記記憶部から読み取った前記第１の撮影環境における４つ以上の参照色の色情報から、前記撮影データから取得した前記第２の撮影環境における４つ以上の参照色の色情報への変化量をもとに、前記第１の撮影環境と前記第２の撮影環境との間の色の変換係数を求める処理において、前記第１の撮影環境および前記第２の撮影環境それぞれで撮影データに施されている画像調整処理を示す色の変換係数も、前記参照色から求め、
   前記計測時の撮影データから取得したセンサ色と、前記色の変換係数とをもとに、アフィン変換の平行移動を示す項を含む変換式を計算することで、センサ色を前記第１の撮影環境において撮影されたように補正し、
   前記表示物に表示される４つ以上の参照色それぞれを、色を表現するパラメータの組み合わせで構成される色空間内の座標で表現したとき、４つ以上の参照色の点が同一平面内に含まれることがないように参照色が決定されていることを特徴とする
   色評価方法。

Images