JP7243376B2 - 色味検査装置、及び色味検査プログラム - Google Patents

Description

本発明は、色味数値の自動計測に関し、特に、複雑なデザインを有する製品の色味検査を行う技術に関する。

各種製品の製造工程において、その製品の色が、設計の基準に従って適切に付けられているか否かを判定するための色味検査が行われている。
この色味検査を目視によって行う場合、評価基準値を定めたカラーチャートが用いられて、評価者により製品の色が基準値と同じであるか、あるいはどの程度相違しているのかについての色差の評価が行われる。

また、このような色味検査を自動的に行う技術も提案されている。
例えば、ΔＥの色差評価式を用いて算出する方法では、L^*a^*b^*色空間における単純なユークリッド距離を用いて色味数値が算出される。
また、ΔＥ₀₀（ＣＩＥＤＥ２０００）の色差評価式は、２００１年に国際照明委員会（ＣＩＥ）によって定められた評価式であり、ΔＥで生じていた目視感覚との乖離を低減させたことに特徴がある（非特許文献１参照）。また、このΔＥ₀₀は、ISO 11664-6:2014(E)/CIE S 014-6/E:2013として、２０１４年に国際標準に制定されている。

The CIEDE2000 Color-Difference Formula: Implementation Notes, Supplementary Test Data, and Mathematical Observations

特開２００９－２３６７８５号公報 国際公開２０１６／０９８５２９号パンフレット

しかしながら、ΔＥ₀₀は、例えば自動車外板の塗装面などの単一色の評価面では有効に利用可能であるが、複雑なデザインを有する製品の評価に利用することができないという問題があった。
すなわち、複雑なデザインを有する製品の場合、局所的な色差を判定する際に、人間の目は周辺の影響を受けるが、ΔＥ₀₀では、このような影響を考慮できないため、目視判定された色差と、ΔＥ₀₀にもとづき機械によって測定された色差との間の相関が低く、目視判定を機械化や自動化することが難しいという問題があった。

ここで、色味検査に関する技術としては、特許文献１に記載の自動測色装置や、特許文献２に記載の測色データ処理装置を挙げることができる。
特許文献１に記載の自動測色装置では、フィルターを較正することにより、精度の高い測色を行っているが、評価式は一般的なものであり、複雑なデザインを有する製品の評価に利用可能なものではなかった。
また、特許文献２の測色データ処理装置は、人間の目が受ける周辺の影響が考慮されたものではなく、同様に、複雑なデザインを有する製品の評価に利用可能なものではなかった。

そこで、本発明者らは鋭意研究して、複雑なデザインを有する製品について、目視評価を機械に置換することが可能な色味検査装置を開発することに成功し、本発明を完成させた。
すなわち、本発明は、目視による色味評価の結果と、機械で測定した色味（色差）の間の相関を高め、人間の目の特性を考慮した色味算出式を作成し、これを用いて色味の評価を行うことが可能な色味検査装置、及び色味検査プログラムの提供を目的とする。

上記目的を達成するため、本発明の色味検査装置は、検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査装置であって、前記色味算出式を決定するための複数の検査対象画像と該検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部と、前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部と、前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部とを備えた構成としてある。

また、本発明の色味検査プログラムは、検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査プログラムであって、コンピュータを、前記色味算出式を決定するための複数のサンプル検査対象画像と該サンプル検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部、前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部、及び、前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部として機能させる方法としてある。

本発明によれば、目視による色味評価の結果と、機械で測定した色味の間の相関を高め、人間の目の特性を考慮した色味算出式を作成し、これを用いて色味の評価を行うことが可能な色味検査装置、及び色味検査プログラムの提供が可能となる。

本発明の第一実施形態に係る色味検査装置の構成を示すブロック図である。 本発明の実施形態に係る色味検査装置によって用いられる選択領域、検査対象領域、及び周辺領域を示す図である。 本発明の実施形態に係る色味検査装置によるＲＧＢ値のL^*a^*b^*色空間への変換を示す模式図である。 本発明の実施形態に係る色味検査装置の実施例に用いたカラーチャート、基準シート、及び評価シートを示す模式図である。 本発明の実施形態に係る色味検査装置の重み付け係数、及び色味算出式の決定処理手順を示すフローチャートである。 本発明の実施形態に係る色味検査装置の色味数値の算出処理手順を示すフローチャートである。 本発明の第二実施形態に係る色味検査装置（色味算出式作成装置１０ａ）の構成を示すブロック図である。 本発明の第二実施形態に係る色味検査装置（色味算出装置１０ｂ）の構成を示すブロック図である。 本発明の実施形態に係る色味検査装置によるΔＥ₀₀の正規化を示す説明図である。 本発明の実施形態に係る色味検査装置の実施例に用いた選択領域、検査対象領域、及び周辺領域を示す図である。 本発明の実施形態に係る色味検査装置による赤（無地）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による赤（市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による緑（無地）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による緑（市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による青（無地）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による青（市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による赤（無地＋市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による緑（無地＋市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による青（無地＋市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による赤緑青混合（無地）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による赤緑青混合（市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による赤緑青混合（無地＋市松）の目視評価に対する実施例の推定値、及び比較例のΔＥ₀₀を表すグラフを示す図である。 本発明の実施形態に係る色味検査装置による各評価条件における目視評価値と推定値、ΔＥ₀₀との相関係数、平均二乗誤差平方根RMSE、及び±１正解率を示す図である。 本発明の実施形態に係る色味検査装置による各評価条件における目視評価値と推定値、ΔＥ₀₀との相関係数を比較したグラフを示す図である。 本発明の実施形態に係る色味検査装置による各評価条件における目視評価値と推定値、ΔＥ₀₀との平均二乗誤差平方根RMSEを比較したグラフを示す図である。 本発明の実施形態に係る色味検査装置による各評価条件における目視評価値と推定値、ΔＥ₀₀との±１正解率を比較したグラフを示す図である。 本発明の第三実施形態に係る色味検査装置による選択領域の選択方法を示す説明図である。

以下、本発明の色味検査装置、及び色味検査プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態、及び後述する実施例の具体的な内容に限定されるものではない。

［第一実施形態］
本発明の第一実施形に係る色味検査装置は、検査対象画像と基準画像の色の違いを、特定の色味算出式（色差評価式、又は単に評価式と称する場合がある）にもとづき自動測定する装置であり、例えばパソコンやタブレットなどのコンピュータ（情報処理装置）により構成することができる。また、スマートフォンなどのコンピュータと同様の機能を有する装置によって構成することもできる。

図１に示すように、本実施形態の色味検査装置１０は、画像記憶部１１、抽出部１２、特徴情報記憶部１３、学習処理部１４、重み付け係数・式記憶部１５、及び色味算出部１６を備えている。

画像記憶部１１は、画像情報を記憶するものであり、基準画像記憶部１１１と検査対象画像記憶部１１２を有する。
基準画像記憶部１１１は、基準となる色が表現されている基準画像の情報を記憶する。この基準画像は、例えば基準品をカメラで撮影し、その画像データを入力することにより取得して、基準画像記憶部１１１に記憶させることができる。
検査対象画像記憶部１１２は、基準画像に対応する、検査対象画像の情報を記憶する。この検査対象画像は、例えば製品をカメラで撮影し、その画像データを入力することにより取得して、検査対象画像記憶部１１２に記憶させることができる。

本実施形態の色味検査装置１０に画像データを入力するためなどの入力部を備えることができることは勿論である。この入力部としては、例えばＵＳＢやＬＡＮなどのインタフェースとすることができる。また、入力部として、キーボードやマウス等を備えることもできる。

抽出部１２は、画像から特徴情報（特徴量）を抽出するものであり、検査対象領域抽出部１２１と周辺領域抽出部１２２を有する。
検査対象領域抽出部１２１は、色味算出式を決定する場合に、複数の検査対象画像と、各検査対象画像にそれぞれ対応する複数の基準画像における全画素もしくはその一部を選択領域とし、該選択領域に内包される検査対象領域から複数の特徴情報を抽出する。
また、検査対象領域抽出部１２１は、ある検査対象画像の色味検査を行う場合、この検査対象画像と、この検査対象画像に対応する基準画像における全画素もしくはその一部を選択領域とし、該選択領域に内包される検査対象領域から複数の特徴情報を抽出する。

周辺領域抽出部１２２は、色味算出式を決定する場合に、複数の検査対象画像と、各検査対象画像にそれぞれ対応する複数の基準画像における全画素もしくはその一部を選択領域とし、該選択領域に内包される周辺領域から複数の特徴情報を抽出する。
また、周辺領域抽出部１２２は、ある検査対象画像の色味検査を行う場合、この検査対象画像と、この検査対象画像に対応する基準画像における全画素もしくはその一部を選択領域とし、該選択領域に内包される周辺領域から複数の特徴情報を抽出する。

このように、本実施形態の色味検査装置では、色、模様、文字、面積などを有する様々なデザインについての特徴量を、検査対象領域から以外に周辺領域からも抽出して、色味算出式のパラメータに用いるようにしている。また、このパラメータを、目視による色味評価の結果にもとづいて、これに近い色味数値が算出されるように重み付けすることで、目視による色味評価の結果と機械で測定した色味（色差）の間の相関を高めている。
これにより、本実施形態の色味検査装置では、デザインの影響を考慮すると共に、人間の目の特性を考慮した総合的な色味算出式を利用することが可能になっている。

ここで、図２に示すように、選択領域Ｕ、検査対象領域Ｔ、及び周辺領域Ｒは、以下の数１及び数２を満たす。

また、検査対象領域抽出部１２１は、所定の選択領域から、検査対象領域を幾何的に選択して、特徴情報を抽出することができる。この場合、検査対象領域としては、例えば、多角形、円、楕円等として選択することができる。このとき、周辺領域抽出部１２２は、選択領域における検査対象領域とは異なる部分集合を周辺領域として選択することができる。

また、周辺領域抽出部１２２が、所定の選択領域から、周辺領域を幾何的に選択して、特徴情報を抽出するようにすることができる。この場合、周辺領域としても、例えば、多角形、円、楕円等として選択することができる。このとき、検査対象領域抽出部１２１は、選択領域における周辺領域とは異なる部分集合を検査対象領域として選択することができる。

さらに、検査対象領域抽出部１２１は、上記の方法に替えて、所定の選択領域から、検査対象とする所定の色（スペクトル成分）から一定の色域内にある全画素を検査対象領域として選択すると共に、周辺領域抽出部１２２が、所定の選択領域における検査対象領域の差集合を周辺領域として選択して、それぞれの領域から特徴情報を抽出するようにすることもできる。
例えば、検査対象領域として青色の画素を選択し、周辺領域としてそれ以外の画素を選択することによって、検査対象領域と周辺領域の色空間（領域）を分けることができる。

また、検査対象領域抽出部１２１は、検査対象領域内の全画素からＲＧＢ値を取得して、これをL^*a^*b^*色空間座標値に変換し、L^*成分、a^*成分、及びb^*成分を取得する。そして、これらの指標と、検査対象領域の彩度、色相（角）等を用いて、特徴情報を作成する。なお、彩度、色相（角）は、L^*a^*b^*色空間座標値にもとづき算出することができる。
また、周辺領域抽出部１２２は、周辺領域から同様にして、特徴情報を作成する。

特徴情報記憶部１３は、検査対象領域抽出部１２１及び周辺領域抽出部１２２によって抽出して得られた特徴情報を記憶する。
すなわち、特徴情報記憶部１３は、基準画像の検査対象領域における特徴情報、基準画像の周辺領域における特徴情報、検査対象画像の検査対象領域における特徴情報、及び、検査対象画像の周辺領域における特徴情報をそれぞれ記憶する。

次に、特徴情報と色味算出式について、詳細に説明する。
まず、図３及び以下に示すように、画像の色情報を、デバイス依存性がなく目視感覚に近い色空間座標に変換する。
L^*：特定画素におけるRGB値をL^*a^*b^*色空間に変換したときのL^*成分
a^*：特定画素におけるRGB値をL^*a^*b^*色空間に変換したときのa^*成分
b^*：特定画素におけるRGB値をL^*a^*b^*色空間に変換したときのb^*成分

そして、変換した色空間座標の３成分を用いて定める特徴情報を、以下のように表記することとする。

ただし、式中の積分演算子∫は以下で定義する。

色味算出式は、例えば検査対象領域と周辺領域から取得した３３個の特徴情報と、上記３３個の特徴情報の異なる２つの積による５２８個の特徴情報（３４～５６１）を合わせた計５６１個の特徴情報を用いて、以下の数８ように定義することができる。また、数８は、総和記号Σを用いて、数９のように表記することもできる。

ここで、後述する実施例で用いたＸ_1,j～Ｘ_33,jの特徴情報を以下に示す（数１１～数４３）。

意味：j番目のサンプルの検査対象領域と基準品の検査対象領域との色差

意味：j番目のサンプルの検査対象領域におけるL^*成分の平均値

意味：j番目のサンプルの検査対象領域におけるa^*成分の平均値

意味：j番目のサンプルの検査対象領域におけるb^*成分の平均値

意味：j番目のサンプルの検査対象領域におけるL^*成分の標準偏差

意味：j番目のサンプルの検査対象領域におけるa^*成分の標準偏差

意味：j番目のサンプルの検査対象領域におけるb^*成分の標準偏差

意味：j番目のサンプルの検査対象領域における平均彩度

意味：j番目のサンプルの検査対象領域における平均色相（角）
※πは円周率
※atan2関数は座標(x,y)から角度を計算する公知の関数
（a^*をx、b^*をyとみなして色相角を計算している）

意味：j番目のサンプルの周辺領域におけるL^*成分の平均値

意味：j番目のサンプルの周辺領域におけるa^*成分の平均値

意味：j番目のサンプルの周辺領域におけるb^*成分の平均値

意味：j番目のサンプルの周辺領域におけるL^*成分の標準偏差

意味：j番目のサンプルの周辺領域におけるa^*成分の標準偏差

意味：j番目のサンプルの周辺領域におけるb^*成分の標準偏差

意味：j番目のサンプルの周辺領域における平均彩度

意味：j番目のサンプルの周辺領域における平均色相（角）

意味：j番目のサンプルの検査対象領域におけるL^*成分の平均値と、基準品の検査対象領域におけるL^*成分の平均値との差

意味：j番目のサンプルの検査対象領域におけるa^*成分の平均値と、基準品の検査対象領域におけるa^*成分の平均値との差

意味：j番目のサンプルの検査対象領域におけるb^*成分の平均値と、基準品の検査対象領域におけるb^*成分の平均値との差

意味：j番目のサンプルの検査対象領域におけるL^*成分の標準偏差と、基準品の検査対象領域におけるL^*成分の標準偏差との比

意味：j番目のサンプルの検査対象領域におけるa^*成分の標準偏差と、基準品の検査対象領域におけるa^*成分の標準偏差との比

意味：j番目のサンプルの検査対象領域におけるb^*成分の標準偏差と、基準品の検査対象領域におけるb^*成分の標準偏差との比

意味：j番目のサンプルの検査対象領域における平均彩度と、基準品の検査対象領域における平均彩度との差

意味：j番目のサンプルの検査対象領域における平均色相（角）と、基準品の検査対象領域における平均色相（角）との差

意味：j番目のサンプルの周辺領域におけるL^*成分の平均値と、基準品の周辺領域におけるL^*成分の平均値との差

意味：j番目のサンプルの周辺領域におけるa^*成分の平均値と、基準品の周辺領域におけるa^*成分の平均値との差

意味：j番目のサンプルの周辺領域におけるb^*成分の平均値と、基準品の周辺領域におけるb^*成分の平均値との差

意味：j番目のサンプルの周辺領域におけるL^*成分の標準偏差と、基準品の周辺領域におけるL^*成分の標準偏差との比

意味：j番目のサンプルの周辺領域におけるa^*成分の標準偏差と、基準品の周辺領域におけるa^*成分の標準偏差との比

意味：j番目のサンプルの周辺領域におけるb^*成分の標準偏差と、基準品の周辺領域におけるb^*成分の標準偏差との比

意味：j番目のサンプルの周辺領域における平均彩度と、基準品の周辺領域における平均彩度との差

意味：j番目のサンプルの周辺領域における平均色相（角）と、基準品の周辺領域における平均色相（角）との差

また、数８の右辺第３４項～第５６１項は、異なる２つの特徴情報の相互作用を考慮に入れた特徴情報であり、例えば第６４項は次のようになる。

意味：j番目のサンプルの検査対象領域の色差がΔＥ₀₀、かつそのときの周辺領域における平均彩度の差が次の数４５

このように、周辺領域の特徴情報との相互作用による新たな特徴情報を色味算出式に加えることで、より複雑な現象に対しても対応が可能となる。

学習処理部１４は、複数の特徴情報、及びその組み合わせからなる特徴情報を色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う。
すなわち、学習処理部１４は、各特徴情報の係数を決定することによって、色味算出式を作成する。このとき、学習処理部１４は、機械学習（スパースモデリング）を行うことによって、少ないデータにもとづいて、色味算出式における重み付け係数の値を、最適化することができる。

具体的には、例えば以下のような流れで行うことができる。
まず、目視評価値を、以下に示す手順で取得する。
（手順１）図４に示すような目視評価基準値を定めたカラーチャートを評価者に見せる。

（手順２）次に、カラーチャートの範囲内で検査対象色に差を付け、さらに周辺領域の色や模様を変えた各種評価シートと、対応する基準シートとを評価者に比較させて、評価シートの目視評価値を回答させる。

（手順３）手順１及び手順２の試験を、年齢、性別の異なる３人の被験者に対して実施し、回答の中央値を人間の目視評価値として採用する。なお、中央値を用いる理由は、性能を評価する上で個人差による誤差の影響を抑えたいためであるが、これに限定されず、平均値を用いたり、各データを独立データとして用いてもよい。

例えば、検査対象色３種類、周辺領域の模様２種類の計６種類について、６６枚の評価シートを作成し、1人の被験者は合計３９６枚の評価シートに対して、評価を行うようにすることができる。この場合、合計１，１８８個の評価データが得られる。後述する以下の実施例では、このような評価シートを用いて、試験を行った。
次に、得られた目視評価値を、重み付け係数・式記憶部１５に記憶させる。

学習処理部１４は、検査対象画像と基準画像から抽出されて、特徴情報記憶部１３に記憶された３３個の特徴情報と、これらの２要素の積による５２８個の特徴情報を色味算出式（上記の数８）の右辺に代入すると共に、目視評価値を同左辺に代入して、３９６個の式を作成する。
そして、学習処理部１４は、これらの式を用いて、スパースモデリングによる学習処理を行い、定数項を含む５６２個の重み付け係数βを算出して、これらを色味算出式に代入して色味算出式を完成し、これを重み付け係数・式記憶部１５に記憶させる。

このとき、学習処理部１４による機械学習は、既知のデータを元に式を決定する「学習処理」と、決定した式が未知データの値（目視評価）をどれだけ正確に予測できるかを確認する「検証」処理の２段階を経て式を決定することができる。
したがって、上記の場合、３９６個の式のうちランダムに選ばれた３７６個（９０％）を用いて「学習」処理が行われ、残りの２０個で「検証」処理が行われて、５６２個の重み付け係数βを決定することができる。

学習処理部１４によるスパースモデリングの機械学習の定義は、次の論文に記載されている。
「Regression Shrinkage and Selection via the Lasso」
また、この論文の具体的な数値計算を高速に行うためのアルゴリズム(FISTA)は、次の論文に記載されている。
「A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems」

ここで、例えば評価する製品や撮影条件が変わるといった、データ取得の根本の条件が変更された場合、画像の記憶、及び特徴情報の抽出をやり直して、学習処理部１４による学習を再度実行して、色味算出式を作成し直す必要がある。
一方、学習処理部１４による機械学習は、スパースモデルに限定されず、例えばベイズモデリングを用いることもできる。
ベイズモデリングを用いる場合、追加されたデータをもとにβの値を更新していくことが可能である。したがって、この場合には、例えば生産初期などでデータが不足する場合でも、色味算出式を運用しながら更新、修正することが可能である。

色味算出部１６は、特徴情報記憶部１３に記憶された特徴情報と、重み付け係数・式記憶部１５に記憶された色味算出式を用いて、色味の数値を算出する。

次に、本実施形態の色味検査装置の重み付け係数、及び色味算出式の決定処理手順について、図５を参照して説明する。
まず、画像記憶部１１に基準画像と検査対象画像を記憶させる（ステップ１０）。これらの画像は、カメラなどで撮影した画像を色味検査装置１０に入力することにより、得ることができる。
上述の例では、３９６枚の基準シートと評価シートにそれぞれ表示されている基準画像、検査対象画像が、それぞれ画像記憶部１１における基準画像記憶部１１１、検査対象画像記憶部１１２に記憶される。

次に、抽出部１２により、画像記憶部１１に記憶された画像にもとづいて、検査対象領域と周辺領域が選択され、それぞれの領域から複数の特徴情報が抽出され（ステップ１１）、これら複数の特徴情報が特徴情報記憶部１３に記憶される。
次に、学習処理部１４が、特徴情報記憶部１３に記憶された特徴情報と、重み付け係数・式記憶部１５に記憶された目視評価値を用いて、スパースモデルによる学習処理を行い（ステップ１２）、重み付け係数を決定して、色味算出式を作成し、これらを重み付け係数・式記憶部１５に記憶させる（ステップ１３）。

以上の処理手順により、本実施形態の色味検査装置において用いられる、目視による色味評価の結果と、機械で測定した色味の間の相関を高めた、人間の目の特性を考慮した色味算出式を得ることができる。

次に、本実施形態の色味検査装置の色味数値の算出処理手順について、図６を参照して説明する。
まず、画像記憶部１１に基準画像と検査対象画像を記憶させる（ステップ２０）。これらの画像は、カメラなどで撮影した画像を色味検査装置１０に入力することにより、得ることができる。

次に、抽出部１２により、画像記憶部１１に記憶された画像にもとづいて、検査対象領域と周辺領域が選択され、それぞれの領域から複数の特徴情報が抽出され（ステップ２１）、特徴情報記憶部１３に記憶される。
次に、色味算出部１６が、特徴情報記憶部１３に記憶された特徴情報を、色味算出式に代入して（ステップ２２）、色味の数値を算出する（ステップ２３）。

以上の処理手順により、本実施形態の色味検査装置によれば、人間の目の特性を考慮した色味算出式を用いて、目視による色味評価の結果に近い色味数値を、機械によって自動的に得ることが可能になっている。

［第二実施形態］
本発明の第二実施形態に係る色味検査装置は、第一実施形態の色味検査装置１０が有する機能を２種類の別個の情報処理装置に分割し、色味算出式を作成するための色味算出式作成装置１０ａと、色味数値を算出するための色味算出装置１０ｂとからなるものとしてある。

すなわち、図７に示すように、本実施形態における色味算出式作成装置１０ａは、画像記憶部１１、抽出部１２、特徴情報記憶部１３、学習処理部１４、及び重み付け係数・式記憶部１５を備えている。
これらの各構成は、第一実施形態の色味検査装置１０における同一符号の構成と同様の機能を備えており、これらによって、色味算出式を作成することが可能になっている。

重み付け係数・式記憶部１５に記憶された重み付け係数及び色味算出式は、色味算出装置１０ｂの重み付け係数・式記憶部１５にも同様に備えられる。なお、色味算出式作成装置１０ａと、色味算出装置１０ｂにおける重み付け係数・式記憶部１５は、これらの装置内に備えるほか、クラウドなどの外部の情報処理装置に共通のものとして備える構成としてもよい。

すなわち、図８に示すように、色味算出装置１０ｂは、画像記憶部１１、抽出部１２、特徴情報記憶部１３、重み付け係数・式記憶部１５、及び色味算出部１６を備えている。
これらの各構成も、第一実施形態の色味検査装置１０における同一符号の構成と同様の機能を備えており、これらによって、検査の対象とする画像についての色味数値を算出することが可能になっている。

また、色味算出装置１０ｂは、出力部１７を備えており、これによって色味数値を表示させることなどが可能になっている。
この出力部１７としては、例えばディスプレイやモニタ、スピーカ、プリンタ等を用いることができる。また、この出力部１７を第一実施形態における色味検査装置１０に備えることも好ましい。

本実施形態の色味検査装置をこのような構成にすることにより、色味算出式の作成、及び色味算出式を用いた色味数値の算出を、別個の情報処理装置で運用することが可能となる。

［第三実施形態］
本発明の第三実施形態に係る色味検査装置は、第一実施形態に係る色味検査装置よりも選択領域をきめ細かに選択可能にした点で第一実施形態と相違する。その他の点については、第一実施形態と同様の構成とすることができる。

すなわち、本実施形態の色味検査装置１０ｃは、以下に説明する点を除いて第一実施形態の色味検査装置１０と同様の機能を有し、図示しないが、画像記憶部１１ｃ、抽出部１２ｃ、特徴情報記憶部１３ｃ、学習処理部１４ｃ、重み付け係数・式記憶部１５ｃ、及び色味算出部１６ｃを備えている。

抽出部１２ｃは、色味算出式を決定する場合に、複数の検査対象画像と、各検査対象画像にそれぞれ対応する複数の基準画像の全部又は一部を同一形状の各領域に分割し、検査対象画像と基準画像において対応する分割された一領域をそれぞれの検査対象領域にすると共に、検査対象領域の周囲に位置する分割領域をそれぞれの周辺領域とし、検査対象領域及び周辺領域を併せて選択領域とし、検査対象領域及び周辺領域からそれぞれ複数の特徴情報を抽出する。
具体的には、図２７に示すように、抽出部１２ｃは、例えば画像の一部を格子状（グリッド状）に分割して９つの分割領域からなる選択領域とし、その中央の領域を検査対象領域にすると共に、この検査対象領域の周囲の領域を周辺領域とすることができる。

また、抽出部１２ｃは、ある検査対象画像の色味検査を行う場合、この検査対象画像と、この検査対象画像に対応する基準画像の全部又は一部を同一形状の各領域に分割し、検査対象画像と基準画像において対応する分割された一領域をそれぞれの検査対象領域にすると共に、検査対象領域の周囲に位置する分割領域をそれぞれの周辺領域とし、検査対象領域及び周辺領域を併せて選択領域とし、検査対象領域及び周辺領域からそれぞれ複数の特徴情報を抽出する。
なお、抽出部１２ｃによる選択領域の選択と、検査対象領域及び周辺領域の選択の順序は、特に限定されず、いずれを先に選択してもよい。

また、抽出部１２ｃにより、検査対象画像及び基準画像から、複数の選択領域を選択させることも好ましい。
すなわち、抽出部１２ｃが、検査対象画像と該検査対象画像に対応する基準画像の全部又は一部から、所定の選択領域として複数の異なる領域を選択し、当該所定の選択領域における検査対象領域及び周辺領域からそれぞれ複数の特徴情報を抽出する構成とすることも好ましい。
そして、学習処理部１４ｃが、これらの複数の特徴情報、及びそれぞれの複数の特徴情報の組み合わせからなる特徴情報を色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行うことも好ましい。

さらに、このようにして得られた色味算出式を用いて、色味算出部１６ｃが、検査対象画像における複数の選択領域のそれぞれについて色味を算出し、これらの数値を選択領域ごとの色味評価値とすることも好ましい。
そして、色味算出部１６ｃにより、これらの色味評価値を総合評価することによって、検査対象画像の品質を判定することも好ましい。
具体的には、色味算出部１６ｃが、複数の色味評価値の平均値，中央値，最大値，最小値，平均値との差分，中央値との差分等の代表値を計算し，この代表値を総合的な評価値として出力することも好ましい。

本実施形態の色味検査装置をこのような構成にすることにより、選択領域をきめ細かく柔軟に設定することが可能となる。
例えば、検査対象画像及び基準画像の全体を等間隔に分割して、各領域を検査対象領域とし、その周囲の領域を周辺領域とすることで、複数の選択領域を設定して、検査対象領域及び周辺領域からそれぞれ複数の特徴量を抽出して、これを用いて色味算出式を作成することができる。

また、このような色味算出式を用いて、同様に検査対象画像の全体を等間隔に分割して得られた複数の選択領域における検査対象領域及び周辺領域からそれぞれ複数の特徴量を抽出して、総合的な評価値を算出することもできる。
このようにすれば、例えば印刷で固定色のある版が用いられる場合などにおいて、画像全体の評価の分布を見ることが可能となり、有用である。

上記の実施形態の色味検査装置１０（色味算出式作成装置１０ａ、色味算出装置１０ｂ）は、本発明の色味検査プログラムに制御されたコンピュータを用いて実現することができる。コンピュータのＣＰＵは、色味検査プログラムにもとづいてコンピュータの各構成要素に指令を送り、色味検査装置１０の動作に必要となる所定の処理、例えば、特徴情報の抽出処理、スパースモデルによる学習処理、色味数値の算出処理等を行わせる。このように、本発明の色味検査装置１０における各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。

プログラムは予めＲＯＭ，ＲＡＭ等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。

以上説明したように、上記の実施形態によれば、検査対象領域と周辺領域とから特徴情報を抽出して色味算出式のパラメータに用い、このパラメータを、目視による色味評価の結果にもとづき、これに近い色味数値が算出されるように重み付けすることで、目視による色味評価の結果と機械で測定した色味の間の相関を高めることが可能になっている。
すなわち、本実施形態によれば、デザインの影響を考慮すると共に、人間の目の特性を考慮した総合的な色味算出式を利用することが可能になっている。
また、これによって、色味の評価の安定化と均質化を実現できると共に、省人化を行うことも可能になっている。

以下、本発明の実施形態に係る色味検査装置、及び色味検査プログラムの効果を確認するために行った試験について詳細に説明する。

以下の試験では、本実施形態による色味検査（実施例）と、ΔＥ₀₀による色味検査（比較例）について比較した。
ここで、目視評価値の１はΔＥ₀₀の１と同一ではなく、目視評価値とΔＥ₀₀は直接対応付けできない。このため、目視評価との散布図から原点を通る回帰直線を求め、得られた直線の傾きで各値を割ることで、ΔＥ₀₀を目視評価の幅に正規化した（図９参照）。以降の比較では、正規化後のΔＥ₀₀を比較対象として扱う。

まず、目視評価値を、年齢、性別の異なる３人の被験者に対して実施した。具体的には、検査対象色３種類（赤、緑、青）、周辺領域の模様２種類（無地、市松）の計６種類について、６６枚の評価シート（それぞれ図４に示すような基準シートと評価シートを含む）を作成し、1人の被験者は合計３９６枚の評価シートに対して、評価を行った。そして、得られた目視評価値を、重み付け係数・式記憶部１５に記憶させた。

次に、基準シートを用いて基準画像を得ると共に、評価シートを用いて検査対象画像を得て、これらの画像を画像記憶部１１に記憶させた。
そして、抽出部１２により、それぞれの画像から検査対象領域及び周辺領域を選択した。このとき、図１０に示すように、上記６６枚の評価シートの選択領域Ｕから各３種類の色が表示された正方形の検査対象領域Ｔを選択すると共に、各２種類の模様が表示された正方形の周辺領域Ｒを選択した。
そして、抽出部１２により検査対象領域及び周辺領域から特徴情報を抽出して、特徴情報記憶部１３に記憶させ、学習処理部１４によりスパースモデルによる学習を行って、重み付け係数を決定し、色味算出式を完成させた。

さらに、上記６６枚の各評価シートを用いて、それぞれにつき本実施形態の色味検査装置における色味算出式を用いて色味数値の算出処理を行い、評価条件ごとに、その結果（推定値）と目視評価値を表示するグラフと、ΔＥ₀₀を用いて算出した色味数値と目視評価値を表示するグラフを比較した。これらを図１１～図２２に示す。これらの図において、網掛部は目視評価に対する±１範囲である。

具体的には、検査対象領域と周辺領域について、次の１２種類の評価条件ごとにグラフを作成した。無地＋市松、及び赤緑青混合は、それぞれの対象のデータを混合して表示したグラフである。

（検査対象領域，周辺領域）：
（赤，無地）
（赤，市松）
（緑，無地）
（緑，市松）
（青，無地）
（青，市松）
（赤，無地＋市松）
（緑，無地＋市松）
（青，無地＋市松）
（赤緑青混合，無地）
（赤緑青混合，市松）
（赤緑青混合，無地＋市松）

その結果、いずれの図においても、本実施形態の色味検査装置によって得られた推定値のグラフと、ΔＥ₀₀のグラフを比較すると、ΔＥ₀₀の色味数値の方が目視評価値と相違するデータが多く、よりバラツキがあることが分かる。
また、無地＋市松、及び赤緑青混合に示す混合データのグラフでは、その傾向がさらに大きくなっていることが分かる。
これは、様々な色や模様を有するデザインであればあるほど、ΔＥ₀₀による色味算出に比較して、本実施形態の色味検査装置による色味算出が、より目視判定に近くなることを示している。

次に、図２３に、目視評価に対する本実施形態の色味検査装置による推定値（同図における提案手法）とΔＥ₀₀の相関係数、平均二乗誤差平方根（RMSE）、及び目視評価の値に対する±１の範囲に推定値が存在する割合（±１正解率）の結果を示す。
また、図２４に本実施形態の色味検査装置による各評価条件における目視評価値と推定値（同図の提案手法）、ΔＥ₀₀との相関係数を比較したグラフを示す。

さらに、図２５に本実施形態の色味検査装置による各評価条件における目視評価値と推定値（同図の提案手法）、ΔＥ₀₀との平均二乗誤差平方根（RMSE）を比較したグラフを示す。
また、図２６に本実施形態の色味検査装置による各評価条件における目視評価値と推定値（同図の提案手法）、ΔＥ₀₀との±１正解率を比較したグラフを示す。

ここで、平均二乗誤差平方根（RMSE）とは、データ点の値xと中心値cとの距離を表す指標であり、以下の式で計算される。

上記cを目視評価値Ｙ_ｊとすることにより、本手法やΔＥ₀₀で得られた値が、データ全体でどの程度一致しているかを判断することができる。RMSEは必ず正値をとり、0に近いほど目視評価値に一致しているといえる。

さらに、目視評価は個人差によるばらつきが必ず発生する。本実施例における目視評価は±３の整数値で評価されており、データからも評価者の間で±１程度のずれが生じていることが確認されている。そこで、得られた推定値と目視評価の中央値との間に±１のずれを許容して、目視評価の値に対して±１の範囲に推定値が存在する割合（±１正解率）を新たな指標として定義し、この指標から目視評価との近さを評価した。

その結果、相関係数、平均二乗誤差平方根（RMSE）、及び±１正解率の各指標からも、ΔＥ₀₀による色味算出に比較して、本実施形態の色味検査装置による色味算出が、より目視判定に近くなることが、明らかとなった。

本発明は、以上の実施形態に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、機械学習手法をベイズモデリングとしたり、あるいは特徴情報の種類を変更したりすることができる。また、色味検査装置における機能を二以上の装置に分割して備えるなど適宜変更することが可能である。

本発明は、複雑なデザインを有する製品について、目視評価に近い色味検査を自動的に行う場合に、好適に利用することが可能である。

１０ 色味検査装置
１０ａ 色味算出式作成装置
１０ｂ 色味算出装置
１１ 画像記憶部
１１１ 基準画像記憶部
１１２ 検査対象画像記憶部
１２ 抽出部
１２１ 検査対象領域抽出部
１２２ 周辺領域抽出部
１３ 特徴情報記憶部
１４ 学習処理部
１５ 重み付け係数・式記憶部
１６ 色味算出部
１７ 出力部

Claims (11)

1. 検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査装置であって、
   前記色味算出式を決定するための複数の検査対象画像と該検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部と、
   前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部と、
   前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部と、を備え、
   前記抽出部は、前記所定の選択領域から、検査対象とする所定の色から一定の色域内にある全画素を前記検査対象領域として選択すると共に、前記検査対象とする所定の色と異なる一定の色閾内にある全画素を前記周辺領域として選択して、前記複数の特徴情報を抽出する
   ことを特徴とする色味検査装置。
2. 検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査装置であって、
   前記色味算出式を決定するための複数の検査対象画像と該検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部と、
   前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部と、
   前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部と、を備え、
   前記抽出部は、検査対象画像と該検査対象画像に対応する基準画像の全部又は一部を同一形状の各領域に分割し、前記検査対象画像と前記基準画像において対応する分割された一領域をそれぞれの前記検査対象領域にすると共に、前記検査対象領域の周囲に位置する分割領域をそれぞれの前記周辺領域とし、前記検査対象領域及び前記周辺領域を併せて前記所定の選択領域とし、前記検査対象領域及び前記周辺領域からそれぞれ前記複数の特徴情報を抽出する
   ことを特徴とする色味検査装置。
3. 前記抽出部が、検査対象画像と該検査対象画像に対応する基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出すると共に、
   前記係数を代入した前記色味算出式に当該複数の特徴情報を代入し、前記検査対象画像の色味を算出する色味算出部をさらに備えた
   ことを特徴とする請求項１又は２記載の色味検査装置。
4. 前記複数の特徴情報が、前記検査対象領域及び前記周辺領域におけるそれぞれの画像の全画素を、L^*a^*b^*色空間座標値に変換し、これらの座標値にもとづき計算されたものである
   ことを特徴とする請求項１～３のいずれかに記載の色味検査装置。
5. 前記複数の特徴情報が、
   ＣＩＥＤ２０００の色差評価式を用いて算出された前記検査対象画像の前記検査対象領域と前記基準画像の前記検査対象領域との色差、
   前記検査対象画像の前記検査対象領域における色情報の各成分の平均値、
   前記検査対象画像の前記検査対象領域における色情報の各成分の標準偏差、
   前記検査対象画像の前記検査対象領域における平均彩度、
   前記検査対象画像の前記検査対象領域における平均色相角、
   前記検査対象画像の前記周辺領域における色情報の各成分の平均値、
   前記検査対象画像の前記周辺領域における色情報の各成分の標準偏差、
   前記検査対象画像の前記周辺領域における平均彩度、
   前記検査対象画像の前記周辺領域における平均色相角、
   前記検査対象画像の前記検査対象領域における色情報の各成分の平均値と、前記基準画像の前記検査対象領域における色情報の各成分の平均値との差、
   前記検査対象画像の前記検査対象領域における色情報の各成分の標準偏差と、前記基準画像の前記検査対象領域における色情報の各成分の標準偏差との比、
   前記検査対象画像の前記検査対象領域における平均彩度と、前記基準画像の前記検査対象領域における平均彩度との差、
   前記検査対象画像の前記検査対象領域における平均色相角と、前記基準画像の前記検査対象領域における平均色相角との差、
   前記検査対象画像の前記周辺領域における色情報の各成分の平均値と、前記基準画像の前記周辺領域における色情報の各成分の平均値との差、
   前記検査対象画像の前記周辺領域における色情報の各成分の標準偏差と、前記基準画像の前記周辺領域における色情報の各成分の標準偏差との比、
   前記検査対象画像の前記周辺領域における平均彩度と、前記基準画像の前記周辺領域における平均彩度との差、
   前記検査対象画像の前記周辺領域における平均色相角と、前記基準画像の前記周辺領域における平均色相角との差、及び、
   これらの全ての特徴情報から選択された異なる２つの特徴情報の積である
   ことを特徴とする請求項１～４のいずれかに記載の色味検査装置。
6. 前記同一形状が格子形状であることを特徴とする請求項２記載の色味検査装置。
7. 前記抽出部は、検査対象画像と該検査対象画像に対応する基準画像の全部又は一部から、前記所定の選択領域として複数の異なる領域を選択し、当該所定の選択領域における前記検査対象領域及び前記周辺領域からそれぞれ前記複数の特徴情報を抽出し、
   前記学習処理部は、これらの複数の特徴情報、及びそれぞれの複数の特徴情報の組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う
   ことを特徴とする請求項１～６のいずれかに記載の色味検査装置。
8. 検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査プログラムであって、
   コンピュータを、
   前記色味算出式を決定するための複数のサンプル検査対象画像と該サンプル検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部、
   前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部、及び
   前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部として機能させ、
   前記抽出部に、前記所定の選択領域から、検査対象とする所定の色から一定の色域内にある全画素を前記検査対象領域として選択させると共に、前記検査対象とする所定の色と異なる一定の色閾内にある全画素を前記周辺領域として選択させて、前記複数の特徴情報を抽出させる
   ことを特徴とする色味検査プログラム。
9. 検査対象画像と基準画像との色の違いを、特定の色味算出式にもとづき自動測定する色味検査プログラムであって、
   コンピュータを、
   前記色味算出式を決定するための複数のサンプル検査対象画像と該サンプル検査対象画像にそれぞれ対応する複数の基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出する抽出部、
   前記複数の特徴情報、及びその組み合わせからなる特徴情報を前記色味算出式の変数として使用すると共に、これらの特徴情報に重み付けを行う学習処理部、及び
   前記重み付けにより得られた係数及びこれらの係数を代入した前記色味算出式を記憶する記憶部として機能させ、
   前記抽出部に、検査対象画像と該検査対象画像に対応する基準画像の全部又は一部を同一形状の各領域に分割させ、前記検査対象画像と前記基準画像において対応する分割された一領域をそれぞれの前記検査対象領域にさせると共に、前記検査対象領域の周囲に位置する分割領域をそれぞれの前記周辺領域とさせ、前記検査対象領域及び前記周辺領域を併せて前記所定の選択領域とさせ、前記検査対象領域及び前記周辺領域からそれぞれ前記複数の特徴情報を抽出させる
   ことを特徴とする色味検査プログラム。
10. 前記抽出部に、検査対象画像と該検査対象画像に対応する基準画像における所定の選択領域内の検査対象領域及びその周辺領域から複数の特徴情報を抽出させると共に、
    前記コンピュータを、
    前記係数を代入した前記色味算出式に当該複数の特徴情報を代入し、前記検査対象画像の色味を算出する色味算出部
    としてさらに機能させることを特徴とする請求項８又は９記載の色味検査プログラム。
11. 前記抽出部に、検査対象画像と該検査対象画像に対応する基準画像の全部又は一部から、前記所定の選択領域として複数の異なる領域を選択させ、当該所定の選択領域における前記検査対象領域及び前記周辺領域からそれぞれ前記複数の特徴情報を抽出させ、
    前記学習処理部に、これらの複数の特徴情報、及びそれぞれの複数の特徴情報の組み合わせからなる特徴情報を前記色味算出式の変数として使用させると共に、これらの特徴情報に重み付けを行わせる
    ことを特徴とする請求項８～１０のいずれかに記載の色味検査プログラム。
    

Images