JP6501315B2 - 表面色・質感管理システム及び管理方法 - Google Patents

表面色・質感管理システム及び管理方法 Download PDF

Info

Publication number
JP6501315B2
JP6501315B2 JP2017005253A JP2017005253A JP6501315B2 JP 6501315 B2 JP6501315 B2 JP 6501315B2 JP 2017005253 A JP2017005253 A JP 2017005253A JP 2017005253 A JP2017005253 A JP 2017005253A JP 6501315 B2 JP6501315 B2 JP 6501315B2
Authority
JP
Japan
Prior art keywords
distribution
product
color
texture
xyz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017005253A
Other languages
English (en)
Other versions
JP2018115877A (ja
Inventor
加藤 誠
誠 加藤
Original Assignee
株式会社パパラボ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社パパラボ filed Critical 株式会社パパラボ
Priority to JP2017005253A priority Critical patent/JP6501315B2/ja
Publication of JP2018115877A publication Critical patent/JP2018115877A/ja
Application granted granted Critical
Publication of JP6501315B2 publication Critical patent/JP6501315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、インターネット上で、表面色・質感のデータを管理する表面色・質感管理システム及び管理方法に関する。
特許文献1の着色評価装置及び着色評価方法によれば、異種材料を組み立てる場合のメタリック感やパールのキラメキ等の質感を明確に簡単に定量化し、塗装工程を合理化することが提案されている。
部品工場1で工業製品の部品Aを製造し同一色で塗装し、部品工場2で工業製品の部品Bを製造し、これらを同一色で、それぞれ、塗装し、部品A,Bごとにその部品には、固有情報、例えば、部品番号、製造工場名、製造日時等が記憶されたICタグが、内蔵又は装着等により取り付けられ、部品工場で、塗装後の部品A,Bを、着色評価装置で色分布等の色情報を計測し、記憶させ、色情報をICタグに部品番号に関連づけて記憶され、製造番号と色情報のデータを、コンピュータでマッチングし、部品の組み合わせのテーブルを作成し、ICタグから情報を読み取って塗装部品をラインに流し、テーブルに基づいた最適な部品の組み合わせで工業製品を組み立てる。
特開2016−161297号公報
しかしながら、色のマッチング検査で不合格となる検査不合格部品は、基本的には、廃棄することになる。
そのため、例えば、マンション業界では、マンションの台所の壁面、又は、外壁等に貼り付けたタイルの一部が割れたり破損したり、汚損し、交換したというニーズがあるが、そこに、新品のタイルを交換で嵌め込んでも、経年劣化等で色彩の変化した周囲のタイルとは色が合わないという状況になる。タイルは焼物であり、オーダーメイドのタイルを製造するのは非常に難しい作業であり、マンション業界は対策に苦慮している。自動車業界では、新型車両であっても、使用により、表面が日焼けして、部品であるバンパーが破損した場合、後で、新品のバンパーに取り換えたいというとき、車の塗装面や質感が色ずれ、質感ずれしているので、ずれていった塗装面と同じようなバンパーが要望されても、純正のバンパーでは適合しないことがある。実質、新たに色付けしたオーダーメイドのバンパーを製造することはコストが高くなってしまう。同様の問題は、電機業界、医薬品業界等でも生じている。
そこで、本発明の課題は、規格に不適合となった規格外品を活用し、色・質感の適切なマッチングを行い、製造コストを削減するとともに、資源の有効活用を達成することを課題とする。
本発明の第1発明は、図1に示す通り、CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、記憶する記憶部と、
前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、データベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算部と、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記実施品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、該色空間ヒストグラム分布を記憶する実施品分布演算部と、
前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算部と、
前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力部と、を備え、
前記記憶部、規格外品分布演算部、実施品分布演算部、色・質感演算部、及び前記出力部のデータ通信をインターネットを介して行うことを特徴とする色・質感管理システム。
ここでいう「規格外品」とは、目視、センサ、検査装置等により、検査の結果、規格を満たさなかった製品をいう。「実施品」とは、製造され規格を満たし、市場に流通し、使用された製品である。
「撮像部」は単数でも複数でも良い。撮像部を固定して撮像しても、移動させて撮像してもよい。撮像部が複数の場合、撮像角度に対応する場所にそれぞれ設置できる。XYZ系の2次元色彩計が例示される。
本発明における撮像部は、3つの分光感度(S1(λ)、S2(λ)、S3(λ))により、すなわち、観測対象物を3つのチャンネルに分けて撮像することが好ましいが、その手段としては、これらの分光感度を得るために設定された光学フィルタ又はダイクロイックミラーもしくはダイクロイックプリズム等のいずれであるかを問わず用いることができる。
「撮像部」の分光感度(S1(λ)、S2(λ)、S3(λ))は、CIE XYZ分光特性から負の値を持たない、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりは最小限にするという条件から等価変換したものであって、分光特性S1のカーブは、ピーク波長が582nmであり、半値幅が523〜629nmであり、1/10幅が491〜663nmである。分光特性S2のカーブは、ピーク波長が543nmであり、半値幅が506〜589nmであり、1/10幅が464〜632nmである。分光特性S3のカーブは、ピーク波長が446nmであり、半値幅が423〜478nmであり、1/10幅が409〜508nmである。
2次元色彩計はイメージセンサによる多点同時測定方式を採用し、色・質感の評価を可能とすることが好ましく、自動車業界、家電業界、化粧品業界、印刷業界及び建材業界等で活用できる。
「色空間」とは、3つの独立な量で指定できる大きさを3つの軸方向の原点からの距離で表すと、色を空間の1点の座標として指定できるものである。
「XYZ表色系」は他のCIE系表色系を含む広義のものを意味し、実施形態では、狭義のものを意味する。狭義のXYZ表色系とは、RGB表色系を単純な一次変換で負の値が現れないように定めたものであり、他のCIE表色系、例えば、Yxy、XYZ、Lab、Luv等のCIE表色系の基礎となり、2次元色度図又は3次元色空間を含む概念である。従って、広義のXYZ表色系は、狭義のXYZ表色系と該XYZ表色系から発展させた他のCIE表色系を含む。
狭義のXYZ表色系とは、RGB表色系を単純な一次変換で負の値が現れないように、CIEが1931年にRGB表色系と同時に定めたものである。
xyY表色系(Yxy表色系ともいう)とは、XYZ表色系では数値と色の関連がわかりにくいので、XYZ表色系から絶対的な色合いを表現するために定められたものである。
Luv表色系とは、CIEが1976年に定めた均等色空間のひとつであり、CIELは光の波長を基礎に、XYZ表色系のxy色度図の波長間隔の均等性を改善したものである。日本ではJIS Z8518に規定されている。
Lab表色系とは、CIELであり、XYZ表色系から知覚と装置の違いによる色差ΔEを測定するために派生したものである。日本ではJIS Z 8729に規定されている。
「XYZ表色系」には、2次元座標と3次元座標で規定される色空間が含まれる。色空間の代表例としては、と、XYZ色空間と、Lab色空間等の構成例がある。2次元の色空間の場合、例えば、Yxy色空間、Luv色空間の場合、2次元平面であるxy色度図(Yxy色空間で正規化したxy色度値(平面))、uv色度図、u’v’色度図が挙げられる。平面上での2次元色度図の画素の密度として表現されるxy色度ヒストグラム分布又はLuv色度ヒストグラム分布等が対応する。3次元の色空間の場合、例えば、XYZ色空間、Lab色空間の場合、3次元空間であるXYZ色空間、Lab色空間が挙げられる。3次元での色空間上の画素の密度として表現されるXYZ色空間ヒストグラム、又はLab色空間ヒストグラム分布等が対応する。
2次元のxy色度平面、uv色度図、u’v’色度図での色と質感の分離に対して、他のXYZ色空間とLab色空間等は3次元色空間上で色と質感の分離となる。従って、用語として、xy色度ヒストグラムに対して、XYZ色空間ヒストグラム、Lab色空間ヒストグラム等のように、区別して定義している。
XYZ色空間ヒストグラムとLab色空間ヒストグラムは、それぞれ、別のものであり、Lab色空間での質感分布指標演算は、XYZ色データをLab色度データに変換して、この変換したデータより、計算するものである。
「近接させるようにシフト」する態様について、例えば、ヒストグラム分布の所定の位置、例えば、中心を一致させる、所定の位置、例えば中心同士を所定範囲内まで近接させる、座標軸と平行に移動させることで近接させる、中心から他の中心まで直線方向に近接させる等、適切な指標を得られる程度であれば、シフト量、シフト方向等は適宜設定が可能であり、種々なる態様でシフトの実施が可能である。
3バンド視覚感度画像S1i,S2i,S3iに基づくXYZ表色系の色空間にそれぞれ対応する座標を格子で区画し、各格子に属する前記規格外品と実施品の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、前記規格外品と実施品の2つの色空間ヒストグラム分布の中心を特定し、いずれか一方の色空間ヒストグラム分布の中心を他の色空間ヒストグラム分布の中心に近接するようにシフトさせることにより、色空間ヒストグラム分布の広がりの差を示す質感分布指標を演算することが好ましい。
本発明の第1撮像部と第2撮像部の撮影環境である色温度が相違する場合、色温度で分光感度を補正することが好ましい。CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する2次元色彩計により、標準光源下で、複数の実施品を撮像した複数の3バンド視覚感度画像S1i,S2i,S3iを記憶する記憶ステップと、リモート照明光下で、色温度測定センサーにより色温度を測定する色温度測定部と、前記3バンド視覚感度画像S1i,S2i,S3iを、前記色温度測定センサーの測定値に基づいて、色温度補正がなされた補正画像に変換する照明色変換補正部と、を備えることが好ましい。
2次元色彩計には、XYZ系の色彩計のほか、メガネに表示部を有するウェアラブルグラス、又は、ヘッドマウントディスプレイを有するXYZ系のウェアラブル装置などが挙げられる。
指標には、指数、グラフ、絵図、又は、これらの組み合わせで示すもの等、平面、立体にかぎらず、種々なる態様が可能である。
本発明の第2発明は、CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶部と、
xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を管理サーバーのデータベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算部と、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を演算する実施品分布演算部と、
前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算部と、
前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力部と、を備え、
前記記憶部、規格外品分布演算部、実施品分布演算部、色・質感演算部、及び前記出力部のデータ通信をインターネットを介して行うことを特徴とする色・質感管理システムである。
本発明の第3発明は、データベースを有し、色・質感を管理する管理サーバーと、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、規格外品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して前記管理サーバーに送信する第1クライアントと、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、実施品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して前記管理サーバーに送信する第2クライアントと、
インターネットを介して前記第1及び第2クライアントから3バンド視覚感度画像S1i,S2i,S3iを受信し、データベースに記憶する管理サーバーと、
を備え、
前記規格外品と、実施品の3バンド視覚感度画像S1i,S2i,S3iから、それぞれ、前記3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶し、
xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品と実施品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに記憶し、
前記規格外品の前記分布については、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶し、
前記規格外品の前記分布と、前記実施品に係る分布を比較判定し、質感分布指標を演算し、
該指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を前記第1クライアントから出力する、
ことが好ましい。
前記管理サーバーで前記分布の演算をすることに代えて、前記第1クライアントと第2クライアントが、前記3バンド視覚感度画像S1i,S2i,S3i、及び、該画像から演算された前記分布を、インターネットを介して、前記管理サーバーに送信することが好ましい。
前記規格外品にタグを付設し、該タグに前記規格外品の前記分布と、前記製品固有情報を記憶させることが好ましい。
「タグ」は、ICタグ、バーコード、QRコード(登録商標)等、適宜のものを選択できる。
前記タグに記憶され、読み出された規格外品に属する分布と、前記実施品に係る分布を比較判定し、色・質感が前記実施品に近似する前記規格外品の製品固有情報を前記第2クライアントに送信することが好ましい。
前記第1クライアントが、
第1色温度測定センサーにより色温度を測定する色温度測定部を備え、
前記第2クライアントが、
第2色温度測定センサーにより色温度を測定する色温度測定部を備え、
前記第1及び第2色温度測定センサーの測定値に基づいて、前記規格外品と前記実施品の3バンド視覚感度画像S1i,S2i,S3iについて、色温度補正がなされた補正画像に変換する照明色変換補正部と、
を備えたことが好ましい。
本発明の第4発明は、CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し記憶する記憶ステップと、
前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、データベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算ステップと、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記実施品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、該色空間ヒストグラム分布を記憶する実施品分布演算ステップと、
前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力ステップと、を備え、
前記記憶ステップ、規格外品分布演算ステップ、実施品分布演算ステップ、色・質感演算ステップ、及び前記出力ステップによるデータ通信をインターネットを介して行うことを特徴とする色・質感管理方法である
本発明の第5発明は、CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶ステップと、
xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を管理サーバーのデータベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算ステップと、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を演算する実施品分布演算ステップと、
前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力ステップと、を備え、
前記記憶ステップ、規格外品分布演算ステップ、実施品分布演算ステップ、色・質感演算ステップ、及び前記出力ステップによるデータ通信をインターネットを介して行うステップと、を備えたことを特徴とする色・質感管理システムである。
本発明の第6発明は、CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、規格外品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して、第1クライアントから管理サーバーに送信する第1送信ステップと、
前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶ステップと、
xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布記憶ステップと、
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、実施品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して、第2クライアントから管理サーバーに送信する第2送信ステップと、
xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記実施品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに記憶する実施品分布記憶ステップと、
前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、前記第1クライアントから出力する出力ステップと、
を備えることを特徴とする色・質感管理方法である。
前記管理サーバーで前記分布の演算をすることに代えて、前記第1クライアントと第2クライアントが、前記3バンド視覚感度画像S1i,S2i,S3i、及び、該画像から演算された前記分布を、インターネットを介して、前記管理サーバーに送信するステップを備えることを特徴とする。
前記規格外品記憶ステップが、
前記規格外品にタグを付設し、該タグに前記規格外品の前記分布と、前記製品固有情報を記憶させるタグ情報記憶ステップを備え、
前記出力ステップが、
前記タグに記憶された規格外品の前記分布と、前記実施品の前記分布を比較判定し、色・質感が前記実施品に近似する前記規格外品の製品固有情報を出力するタグ出力ステップと、を備えることが好ましい。
前記第1送信ステップが、
第1色温度測定センサーにより色温度を測定する色温度測定ステップを備え、
前記第2送信ステップが、
第2色温度測定センサーにより色温度を測定する色温度測定ステップを備え、
前記第1及び第2色温度測定センサーの測定値に基づいて、前記規格外品と前記実施品の3バンド視覚感度画像S1i,S2i,S3iについて、色温度補正がなされた補正画像に変換する照明色変換補正ステップと、
を備えたことが好ましい。
本発明は、規格に不適合となった規格外品を活用し、色・質感の適切なマッチングを行い、製造コストを削減するとともに、資源の有効活用を達成することができる。
本発明の色・質感管理システムのブロック図である。 本発明実施形態1の色・質感管理システム1のブロック図である。 本発明実施形態1の色・質感管理システム1を適用した住宅用色・質感管理システムの説明図である。 本発明実施形態1の2次元色彩計の接続ブロック図である。 本発明実施形態1におけるXYZ表色系カメラである2次元色彩計2の分光感度を示す関数である。 本発明実施形態1において三つの分光感度(S1(λ)、S2(λ)、S3(λ))に従って画像を取得する方式の具体例である。(a)はダイクロイックミラーを用いる場合の説明図である。(b)はフィルタターレットを用いる場合の説明図である。(c)は光学フィルタ22a、22b、22cを撮像素子23に微視的に貼着した場合の説明図である。 本発明実施形態1の色・質感管理システム1の管理サーバー6のブロック図である。 本発明実施形態1の2次元色彩計2におけるフローチャートである。 本発明実施形態1の演算部62におけるフローチャートである。 本発明実施形態1の演算部62におけるサブーチャートである。 本発明実施形態1の演算部62における、xy座標空間におけるシフト処理を示す説明図である。 (a)は発明実施形態1の演算部62における検査領域Tを示す説明図、(b)は検査領域Tに対応する色度図上の検査領域Kを示すxy色度図、(c)は格子Gで区画された検査領域Kの説明図、(d)はxy2次元色度図上での色度の重なりの様子を示す模式図、(e)はミニマム分布を示す説明図、(f)はxy色度ヒストグラム分布の一例を示す説明図である。 (a)は表面の粗さ度を示す説明図、(b)はxy色度ヒストグラム分布図、(c)はxy色度ヒストグラム分布の立体イメージ図である。 本発明実施形態2の色・質感管理システムの演算部62におけるフローチャート(XYZ色空間分布)である。 本発明実施形態2の色・質感管理システムの演算部62におけるフローチャート(Lab色空間分布)である。 本発明実施形態3の色・質感管理システムのxy座標空間におけるシフト処理を示す説明図である。 本発明実施形態3の色・質感管理システムのLab座標空間におけるシフト処理を示す説明図である。 本発明実施形態4の色・質感管理システムの説明図1である。 本発明実施形態4の色・質感管理システムの説明図2である。 本発明実施形態5の色・質感管理システムの微小光学系による色補正を行う場合の構成図である。 本発明実施形態6の色・質感管理システムの管理サーバーにおけるフローチャートである。 本発明実施形態6の照明色変換補正部の処理のフローチャートである。 本発明実施形態6の照明色変換補正部の処理の説明図である。 本発明実施形態6の照明色変換補正部の処理の説明図である。 本発明実施形態7の色・質感管理システム1のブロック図である。 本発明実施例1の検査結果の説明図である。 本発明実施例2の検査結果の説明図である。
本発明の好適な実施形態1による色・質感管理システム1は、住宅JのタイルTの色・質感管理に適用した例であるので、図2〜図17を参照して説明する。
色・質感管理システム1は、図2に示す通り、IE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する2次元色彩計2により、規格外品NGから3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3i(以下、画像Aと略すことがある。)を取得し、記憶する記憶部3を有し、該画像を管理サーバー6に送信する、コンピュータである第1クライアント4を備える。
色・質感管理システム1は、規格外品NGの3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶する前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、データベースDBに、当該色空間ヒストグラム分布と対応する製品固有情報IDと、を関連づけて記憶する規格外品分布演算部5を有する管理サーバー6を備える。
第1クライアント4により、タグ15にも、規格外品NGの3バンド視覚感度画像S1i,S2i,S3i(XYZ値でもよい)、及び/又は、作成された色空間ヒストグラム分布、及び/又は、対応する製品固有情報IDを記憶する。
ここでいう規格外品NGは、タイルメーカーの製造工場Mで製造され、検査工程で規格に適合するかどうか、検査した結果、不合格とされたものである。
CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する2次元色彩計7により、実施品Wから3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、第2クライアント8に記憶し、該3バンド視覚感度画像S1i,S2i,S3iを第2クライアント8が管理サーバー6に送信する。
管理サーバー6は、実施品Wの3バンド視覚感度画像S1i,S2i,S3i(以下、画像をBと略すことがある。)から、XYZ表色系の色空間に対応する座標を記憶する。当該座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、該色空間ヒストグラム分布を記憶する実施品分布演算部9を有する。
管理サーバー6は、前記規格外品の前記分布と、実施品Wの前記分布を比較判定し、質感分布指数を演算する質感分布指数演算部10を有する。
色・質感管理システム1は、前記質感分布指数を参照して、前記実施品Wに色・質感が近似する規格外品NGの前記製品固有情報IDを特定する出力部11を有するコンピュータである第3クライアント12を備える。第3クライアント12は物流倉庫会社が有している。
色・質感管理システム1は、第1クライアント4、管理サーバー6、第2クライアント8、及び第3クライアント12のデータ通信をインターネットIを介して行うことを特徴とする。
2次元色彩計2の分光感度はルータ条件を満たすものであって、その分光感度(S1(λ)、S2(λ)、S3(λ))は、図5に示す通り、XYZ等色関数から、負の値を持たず、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりはできるだけ少なくするという条件から等価変換したものである。分光感度(S1(λ)、S2(λ)、S3(λ))は具体的には以下の特性を持つ。

ピーク波長 半値幅 1/10幅
S1 582nm 523〜629nm 491〜663nm
S2 543nm 506〜589nm 464〜632nm
S3 446nm 423〜478nm 409〜508nm
上記の分光特性S1のピーク波長を580±4nm、分光特性S2のピーク波長を543±3nm、分光特性S3のピーク波長を446±7nmとして取り扱うこともできる。
三つの分光感度(S1(λ)、S2(λ)、S3(λ))は次の数式1を用いて求められるものである。分光特性自体についての詳細は特開2005−257827号公報等を参照されたい。
2次元色彩計2の仕様は、例えば、有限会社パパラボの2次元色彩計RC-500であり、有効頻度値約500万画素、有効面積9.93mm×8.7mm、画像サイズ3.45μm×3.45μm、ビデオ出力12Bit、カメラインターフェイスGigE、フレーム数(ピント調整時)3〜7フレーム/Sec、シャッタースピード1/15,600Sec〜1/15Sec、積算時間3秒まで、S/N比60dB以上、レンズマウントFマウント、動作温度0℃〜40℃、動作湿度20%〜80%である。
2次元色彩計2は、図4に示すように、撮影レンズ21と、この撮影レンズ21の後方に配置された三つの光学フィルタ22a、22b、22cと、光学フィルタ22a、22b、22cの後方に配置された撮像素子23(CCD、CMOSなど)と、を備えている。2次元色彩計2の三つの分光感度(S1(λ)、S2(λ)、S3(λ))は、光学フィルタ22a、22b、22cの分光透過率と撮像素子23の分光感度との積により与えられるものである。図4における光学フィルタ22a、22b、22cと撮像素子23との配列的関係は模式的に示したものにすぎない。三つの分光感度(S1(λ)、S2(λ)、S3(λ))に従って画像を取得する方式について以下に具体例を挙げるが、本実施形態1ではこれらのうちいずれをも採ることができ、また、その他の方式を採ることもできる。24は演算部、25は表示部である。
図6(a)に示すものはダイクロイックミラーを用いる方式である。これはダイクロイックミラー22c´により特定の波長の光を反射し、透過した残りの光について、さらに別のダイクロイックミラー22a´により別の特定の波長の光を反射して分光し、撮像素子23a、23b、23cを三つ並列にして読み出す方式である。ここでは、ダイクロイックミラー22a´が光学フィルタ22a、22bに相当し、ダイクロイックミラー22c´が光学フィルタ22cに相当する。撮影レンズ21から入射する光はダイクロイックミラー22c´により分光感度S3に従う光が反射され、残りの光は透過する。ダイクロイックミラー22c´により反射された光を反射鏡26により反射して撮像素子23cにより分光感度S3を得る。一方、ダイクロイックミラー22c´を透過した光は、ダイクロイックミラー22a´において、分光感度S1に従う光が反射され、残りの分光感度S2に従う光は透過する。ダイクロイックミラー22a´を透過した光を撮像素子23bにより撮像して分光感度S2を得る。ダイクロイックミラー22a´により反射された光を反射鏡29により反射して撮像素子23aにより分光感度S1を得る。ダイクロイックミラーに代えて同様な特性を有するダイクロイックプリズムを用いて三つに分光し、それぞれの光が透過する位置に撮像素子23a、23b、23cを接着することとしてもよい。
図6(b)に示すものはフィルタターレット27を用いる方式である。撮影レンズ21からの入射光と同じ方向を回転軸に持つフィルタターレット27に光学フィルタ22a、22b、22cを設けてこれらを機械的に回転させ、順次透過する光について撮像素子23により三つの分光感度S1、S2、S3を得るものである。
図6(c)に示すものは光学フィルタ22a、22b、22cを撮像素子23に微視的に貼着する方式である。撮像素子23上における光学フィルタ22a、22b、22cは、ベイヤー配列型に設けられる。この配列は、格子状に分けた撮像素子23上の領域のうち半分に光学フィルタ22bを設け、残りの半分の領域に光学フィルタ22aと光学フィルタ22cとをそれぞれ均等に配置するものである。すなわち、配置量は光学フィルタ22a:光学フィルタ22b:光学フィルタ22c=1:2:1となる。光学フィルタ22a、22b、22cの配列をベイヤー配列以外のものとすることは本実施形態1において特に妨げられない。一つ一つの光学フィルタ22a、22b、22cは非常に微細であるため、印刷により撮像素子23に貼着される。ただし、本発明はこの配列に意味があるのではなく、分光感度(S1(λ)、S2(λ)、S3(λ))の特性のフィルタを撮像素子に貼着することにある。
管理サーバー6は、第1クライアント4、第2クライアント8、及び第3クライアント12とインターネットを介して通信する。基本的には双方向の通信であるが適宜一方向通信とすることも可能である。管理サーバー6は、図7に示す通り、入出力インタフェース61と、演算部62と、記憶部63と、表示部64と、バスライン65と、を備えている。演算部62は前述の実施品分布演算部9、質感分布指数演算部10、規格外品分布演算部5を備える。演算部62はCPU,ROM,RAM,入出力インタフェース等を備えている。記憶部63は、ハードディスクから構成される。
2次元色彩計2は分光感度(S1(λ)、S2(λ)、S3(λ))により取得した画像Aを演算部62に送信し、演算部62でXYZ表色系における三刺激値X、Y、Zに変換し、取得した三刺激値X、Y、Zによる画像Aを変換処理による演算処理を行い、視覚化処理された画像を表示する表示装置(図示略)を備える。2次元色彩計7も同様の構成であるので、説明は援用する。
演算部62は2次元色彩計2、7により、それぞれ、取得した画像A,Bの任意の位置における輝度、色度等を演算し視覚化処理するものである。規格外品NG、実施品Wの表面の斜めから照明を照射し、xy、XYZ、又は、Lab色度分布データ同士を比較して指数化する。
2次元色彩計2、7で、それぞれ、規格外品NG、実施品Wの表面を、通常、1ヶ所で撮像し、必要に応じて、2次元色彩計2が移動して、他の別の角度で撮像する。ここでは、例えば、正面、左右45度の3箇所(適宜数の箇所でも良い)で撮影することもできる。
照明源はキセノンランプ(擬似太陽光)を採用する。照明部はキセノンランプのほかに、フレネルレンズ・アセンブリを備えている。キセノンランプは規格外品NG、実施品Wの表面の斜め上から均一に照らすものとする。キセノンランプ以外にLEDの人工太陽灯でもよい。
第1クライアント4の動作について具体例を挙げつつ説明する。図4に示す通り、2次元色彩計2と、管理サーバー6とをインターネットで接続することにより動作する。接続方法は有線・無線を問わず選択できる。2次元色彩計2におけるフローチャートを図8に、演算部62におけるフローチャートを図9に、それぞれ示す。2次元色彩計7も2次元色彩計2と同様な動作を行うので、動作の説明は援用する。
2次元色彩計2の電源が入ると、図8に示す通り、初期化をする(初期化S1)。つぎに、分光感度(S1(λ)、S2(λ)、S3(λ))により規格外品NGの表面を撮像し(撮像処理S2)、その後、撮像された画像Aを撮像素子23により入力し(S3)、演算部62にて三刺激値X、Y、Zに変換する(変換処理S4)。分光感度(S1(λ)、S2(λ)、S3(λ))は表示装置に送信される(S5)。画像Aが動画である場合には、撮像処理S2からデータ送信S5の一連の処理が連続的に行われる。画像Aは画像表示装置(図示略)に表示される。上記変換処理S4は管理サーバー6の規格外品分布演算部5で行ってもよい。この場合、第1クライアント4は画像AをインターネットIを介して管理サーバ−に送信する。
撮像処理S2では、規格外品NGの表面を測定する例が挙げられているが、撮像位置が相違する特定領域について、相違する角度にて2次元色彩計2で規格外品NG、実施品Wの表面を撮像する。撮像箇所は複数個所であり、適宜数を選択できる。ここでは、正面(0度)、左45度、右45度の3方向から測定する。また、測定の場所は、2次元色彩計2の0度の光軸は規格外品NGの表面に垂直になる。また、照明は、太陽光と同じく斜め上からの照明である。
三刺激値X、Y、ZからY´xy表色系への変換式を数式2、3に挙げる。ここでは2次元色彩計2とともに輝度計(図示略)を使用し、Yは輝度計の値(nt)により校正してY´としたものである。色空間の変換式は慣用されているものであるため、その他の詳しい式については割愛する。
XYZ表色系は、現在CIE標準表色系として各表色系の基礎となっている。光の三原色(R=赤、G=緑、B=青紫)の加法混色の原理に基づいて発展したもので、色度図を使って色をYxyの3つの値で表わす。Yが反射率で明度に対応し、xyが色度になる。
撮像処理S2は、三つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する2次元色彩計2によって規格外品NGの表面を撮像する工程である(図4、図8参照)。分光感度(S1(λ)、S2(λ)、S3(λ))は上記の数式1に従って与えられるものである。撮影レンズ21と光学フィルタ22a、22b、22cと撮像素子23により撮像されると同時に入力処理S3が連続的に行われる。
入力された画像Aは分光感度(S1(λ)、S2(λ)、S3(λ))に従った値であるため、2次元色彩計2の演算部62における変換処理S4によって、撮像された画像Aを三刺激値X、Y、Zに変換する。この変換は数式1に従って行われる。すなわち、数式1における係数の逆行列を乗じて三刺激値X、Y、Zを得ることとなる。なお、2次元色彩計2からは分光感度(S1(λ)、S2(λ)、S3(λ))に従った値のまま演算部62にインターネットにより送信する。
管理サーバー6に電源が入ると、図9に示す通り、初期化をする(初期化S110)。第1クライアント4及び/又は第2クライアント8から送信された画像A,Bを受信する(S120)。既に変換された三刺激値X、Y、Zを受信していれば、変換は行わず、受信していなければ、受信した画像A,Bから三刺激値X、Y、Zに変換する(S140)。受信の順序は、通常、第1クライアント4が先で、第2クライアント8が後である。そのデータを表示装置(図示略)に送信する(表示処理S150)。2次元色彩計2からS120に従い、変換処理S130から表示処理S150の一連の処理が連続的に行われる。
演算処理S140は、実施品Wと規格外品NGの画像A,BのLab平均値及びxy質感分布指数を演算し視覚化処理する工程であり、表示装置に表示するために必要な場合は、色情報をRGB等に変換処理する。
前記の表示処理S150は、視覚化処理された質感分布指数を画像表示装置に表示する工程であり、処理をリターンする。
図10のS140のサブフローチャートを説明する。タイルTの規格外品NGの画像Aを撮像し、記憶し、次に、タイルTの実施品Wの画像Bを撮像し、記憶する。次に、感分布指数を順次計算する。質感を分離した質感分布指数により、質感の類似性を判定する。
撮像した画像A、Bについて検査したい領域T(図8(a)参照)に対応する検査領域K(図20(b)参照)を設定する(ステップS141)。大きさや場所を自由に設定することができる。
色度xyを演算し、色度Yxyを求める(S142)。
撮像した規格外品NGの画像Aから切り出した領域Kのxy色度ヒストグラム分布を作成する(S143)。この色度ヒストグラム分布は、図12(c)に示す、2つのヒストグラム分布の重なり領域Dに属する画素をカウントした積算数である。
xy色度ヒストグラム分布は、上記各単位格子に属数する画素の積算数を示す立体ヒストグラムであり、図12(d)に重なり領域Dを示す。
図12(c)に示す通り、xy座標の位置での比較対象の色分布を平面的に書いたものであり、検査領域Kを格子Gで区画し、その区画のxy値を有する画素を積算しz軸とするヒストグラム分布を作成する。xy座標を、特定の幅のグリッド(立体マス目)、例えば、xyをそれぞれ1/1000(1000個の線)で切った平面格子とする。ヒストグラムの端から端までスキャンしてゆき、格子Gに区画した領域ごとに、これに属する画素数を同じxy面でそれぞれスキャンしz方向に積算してゆく。また、検査領域Kでxy座標の特定範囲だけを演算すれば、演算時間が短縮できる。グリッドのマス目を細かくすれば精度は上がるが、演算時間が長くなるので、適宜のマス目とする。
S143と同様に、タイルTの画像Bのxy色度ヒストグラム分布を作成する(S144)。xy色度ヒストグラム分布は、xy軸がxy色度、z軸が画素の積算数であり、図12(d)に平面的な重なり領域Dを示す。
Labのa軸、b軸、L軸について、それぞれ独立に検査領域Kのすべての画素の総和を取り、その画素数にて、それぞれのL値、a値、b値の総和を割って、Lab色度分布の平均L値、平均a値、平均b値を計算する(S145)。
下記の数式4により変換したLab空間のLab値を算出する。Lab色空間は補色空間の一種で、明度を意味する次元Lと補色次元のA及びBを持ち、CIEXYZ色空間の座標を非線形に圧縮したものに基づいている。正規化する前のXYZ値からLab値に数式4により変換する。XYZ色空間上での分布に対して、Lab色空間の分布は、明るさ方向も加味した分布が得られる。
数4で、関数fの括弧の中のX,Y,Z の値がそれぞれ白色点の座標Xn,Yn,Znで割ってあるのは,最大値を1に揃えるためである。
規格外品NG及び実施品Wの平均値の差分を取り色の相違の判断材料とする。
図10に示す通り、xy色度分布の中心座標C、Cを特定する(S146)。ここでは中心座標は図心(重心位置)とする。
図10に示す通り、2つのxyヒストグラム分布H(x,y)、H(x,y)のいずれか一方の中心座標を他の中心座標に一致するように、中心座標の偏差ΔF分だけ、xy色度分布全体をシフト(写像)処理する(S147)。いずれか一方の分布を他の分布にシフトさせないと、色成分の差も計算してしまう。グラフ上でも計算だけでもできる。シフト量は適宜設定可能である。例えば、一方の中心から他の中心へのシフトに代えて、一方の中心から他の中心の所定範囲内へのシフトでも同様の効果がある。要は、質感が把握できる適宜のシフト量で接近させればよい。
空間的な広がり度差分を示す質感分布指数と、色差ΔE等の色指数も演算する(S148)。これにより単純にメタリック感の違いだけ抽出して、色度の類似性と、メタリック感の程度を分離して判定し、これを定量化できる。xy色度分布の2次元空間の中で広がり度を演算し、その広がり度の違いを、色のことは除いた、光輝材のキラメキ感の違いとして把握できるので、色と質感とを確実に分離して検出できる。
質感分布指数は、下式により計算する。xy色度ヒストグラム分布は、画素の積算数であり、図12(d)に重なり領域D、図12(e)にミニマム分布を示す。
質感分布指数=重なり領域Dに属する画素の積算数/検査領域Kの全体の画素数×100(%)
画像A,Bの2次元空間上での広がり度ヒストグラムを計算し、その配列の同じ位置同士のミニマム値を取ったものが、重なり合い頻度となるため、全体のヒストグラム総和カウントで、この値を割ったもので計算される。
図12(d)(e)は図12(c)をS−S断面で切り取った1つの断面図であり、xy座標で同じライン上で見た場合には重なり合いがある。立体的に描く代わりに、便宜上、平面で描いている。またヒストグラムであるから、微小な階段形状の分布になっている。図12(d)の積算数Hと積算数Hはそれぞれ画像A、画像Bに対応する。二つのヒストグラム分布を比較すると、重なり領域Dが存在する。
図12(e)に示す通り、H(x、y)を規格外品NGのxy色度ヒストグラム分布の積算数、H2(x、y)を規格外品NGのxy色度ヒストグラム分布の積算数とすると、重なり合った左側領域ではH>Hで、中央でH=Hとなり、右側ではH<Hである。H,Hのうち、小さい方の積算数(画素頻度)を取ると、左側ではH、右側ではHとなり、階段状のヒストグラム曲線であるミニマム分布が特定できる。これを利用し、重なり領域Dの全体領域に対する割合が演算できる。
このミニマム分布で小さな方の積算値を特定する。HとHのうち、少ない方の積算数を加算演算すれば、重なり領域Dの積算数が演算でき、全体の画素数に対する割合が特定できる。検査領域Kの全体の画素数は決まっており、規格外品NGとタイルTでは、ともに総画素数は同一値である。この割合の演算は全部の格子Gについて3次元的に積算してもよいし、例えば、図12(c)に示す通り、S−S軸に沿って検査領域Kを切り、yが所定値でxが端から端まで変化する場合での画素の積算数の分布を2次元的に積算する。図12(f)が積算結果のxy座標上での2次元マップである。検査領域Kにおいて分布がなく画素数がゼロの場合には演算から除外する。
最後に、表示・保存処理、送信処理を行い(S149)、処理をリターンする。
例えば、検査領域Kに属する画素を縦100画素×横100画素=10,000画素とする。同じ検査領域Kで画像A,Bを切り取るので、画像Aと画像Bの全体の画素数はともに10,000画素である。xy色度ヒストグラムから、重なり領域Dの画素数を積算し、積算数が5,000個であった場合、質感分布指数は50%となる。質感分布指数が100%を下回るほど質感の相違度が大きくなる。xy値の分布が完全に一致していれば100%となる。これにより、一定以上の数値であると判定された場合に、質感について適合すると判定することができる。
画像A,Bについて、第1次的に得られる色情報はXYZ等色関数と等価な関数による三つの分光感度(S1(λ)、S2(λ)、S3(λ))であるため、RGBにより取得する場合と比べて人の眼の感度に忠実で高精度である。分光感度(S1(λ)、S2(λ)、S3(λ))の重なり合いは小さく、S/N比も十分にとれ、分光感度の曲線におけるカーブも自然に変化するため、測色における誤差は最低限に留められる。
画像A,Bの質感を色とは分離してヒストグラム分布で把握できるため、表面の光沢、つや、凹凸、粗さ等の違いを反映することにより、微妙な色合いの違いまで判定できる。
例えば、図13(a)〜(c)に示す通り、規格外品NGの粗さ度が小さいものから大きなものまで3種類を比較した場合の例を説明する。粗さ度の小さなものを「1」とし、粗さ度の中程度を「2」とし、粗さ度の大きなものを「3」とする。まず、規格外品NG1〜3を前記の処理を行った後のxyz色度図上での分布を作成すると、図13(b)のxy色度図に示す通り、ハイライト部分が積算されたデータである。積算数を明暗で示してあり、色の明るいほど積算数は大きい。図13(c)は実施品Wと規格外品NGの3次元で積算数を模式的に表したものである。xy軸は色度、z軸は積算数である。基本的には、粗さ度が大きいほど、低く広がった山形となり、粗さ度が細かいほど、尖った山形になる。「1」、「2」又は「3」について、実施品Wのヒストグラム分布を比較することで、重なりの度合いを示す質感分布指数を演算する。具体例は後述の実施例で示す。
次の本実施形態2の規格外品NG、実施品Wの表面の色・質感管理システムを図14、図15を参照して説明する。図14はXYZ色空間座標を用い、図15はLab色空間座標を用いるものであり、対応する同様なステップについては200番台及び300番台として説明を援用し、主として、相違点を説明する。
図14は2つの画像A、Bから色度ヒストグラム分布の比較による質感分布指数を演算するフローチャートである。プログラムが起動すると、画像Aから検査領域Kを切り出し特定し、設定する(S201)。画像Bから画像Aと同様の検査領域Kを切り出し特定し、設定する(S202)。画像A,Bより色度値XYZの演算を行う(S203)。検査領域Kにおいて、規格外品NGと実施品WのXYZ色度ヒストグラム分布をそれぞれ演算し、作成する(S204)。XYZ値の平均値を演算する(S205)。XYZ色空間分布の中心座標を特定する(S206)。中心座標へのXYZ色空間分布をシフト処理する(S207)。シフト処理後、XYZ色空間分布の中心座標を特定する(S208)。シフト処理後の中心座標の適否の確認のためである。ここで中心座標の再調整が可能である。XYZ色度ヒストグラム分布のミニマム分布を特定し、重なり領域DでのXYZ色度ヒストグラム分布の積算数を演算する(S209)。質感分布指数=(重なり領域Dに属する画素の積算数/検査領域Kの全体の画素数)×100(%)である。重なり領域Dでの積算数はTとTのうち、少ない方の積算数を加算演算する。質感分布指数を演算し、色差ΔE等の色指数も演算し(S210)、リターンする。
なお、検査領域Kに対応するXYZ分布の演算の場合、指数の演算は、X軸、Y軸、Z軸の3次元空間での分布により行う。規格外品NGと実施品WでのXYZ空間座標でのXYZ値を、図16(a)(b)に示す通り、それぞれ、T(L,a,b)、T(L,a,b)とする。XYZの色空間であるとヒストグラム分布は地球儀のような形状になっており、2つのヒストグラム分布が立体的に重なり合っている場合と分離している場合がある。これをシフト処理し、中心座標を近づける。3次元空間の検査領域Kを格子で区画し、3次元でのT(X,Y,Z)、T(X,Y,Z)の色度ヒストグラム分布とミニマム分布を求め、同様な指数の演算を行う。格子の積算数を平面上に投影し、その面内で同様な積算で格子上の重なり合いの領域の積算数を演算してもよい。XYZ色度の場合には、明るさの情報がないため、XYZ空間では、画像A,Bの明るさが変わってもヒストグラム分布は変化しない。
XYZ色空間ヒストグラムに代えてLab色空間ヒストグラムを質感判定に用いる場合には、図15のフローチャートを用いる。図15の説明は図14の上記説明を援用する。S205では領域の平均Lab値の計算と画像Bの検査領域Kの平均Lab値の演算となる。Lab色度の場合には、明るさの情報があるため、Lab空間では、画像A,Bの明るさが変わると、ヒストグラム分布が変化する。
次に本実施形態3の色・質感管理システムにつき図17を参照して説明する。対応する同様な要素については説明を援用し、主として、相違点を説明する。
検査領域Kに対応するLab空間における色度ヒストグラム分布の演算の場合、XYZ値からLabへ変換を行う。指数の演算は、L軸、a軸、b軸の3次元空間での分布により行う。Lab色度分布は立体楕円形状である。規格外品NGと実施品WでのLab空間座標でのLab値を、図17(a)(b)に示す通り、それぞれ、U(L,a,b)、U(L,a,b)とする。Labの色空間であるとヒストグラム分布は地球儀のような形状になっており、2つのヒストグラム分布が立体的に重なり合っている場合と分離している場合がある。3次元空間の検査領域Kを格子で区画し、3次元でのU(L,a,b)、U(L,a,b)の色度ヒストグラム分布とミニマム分布を求め、同様な指数の演算を行う。格子の積算数を平面上に投影し、その面内で同様な積算で格子上の重なり合いの領域の積算数を演算する。Lab色度の場合には、明るさの情報があるため、Lab空間では、画像A,Bの明るさが変わると、L値が変化して、一致度の分布U、UがLab空間内で位置がずれるため、明暗を考慮に入れた判定が可能である。画像A,Bの明るさが違えば分布の位置がずれるからである。例えば、Lab色度ヒストグラム分布は、暗くなれば下方にずれ、明るくなれば上方にずれる。
次に、本実施形態1の色・質感管理方法について、図3等を参照して説明する。住宅施工に伴う色・質感管理方法であるが、マンション等の他の建築物にも適用が可能である。
(1)製造工場Mの検査工程において、検査を行い、規格外品NGを選別する。
(2)規格外品NGを2次元色彩計2で撮像し、規格外品NGから取得した3つの分光感度を有する画像Aを第1クライアント4の記憶部3に記憶する。
(3)タグ15に製品固有情報IDと規格外品NGの画像Aを記憶させ、第3クライアント12を所有する物流倉庫会社にタグ15を付着させた規格外品NGを保管しておく。
(4)タグ15に製品固有情報IDと画像Aを第1クライアント4から管理サーバー6にインターネットIで送信する。
(5)工務店Xが施工した住宅Jが、年月の経過により、色褪せする。そして、タイルTの一部である実施品Wが破損し、実施品Wを取り替える必要が生じたので、住宅主は、工務店Xに連絡し、工務店Xが2次元色彩計7で破損した実施品Wを撮像し、第2クライアント8からインターネットIで管理サーバー6に送信する。
実施品Wそのものを撮像する代わりに、その周辺部分の色・質感とマッチングさせるため、その破損したところ以外の周辺を撮像し、色分布データを演算してもよい。
(6)管理サーバー6で実施品Wに近似する規格外品NGを検索するため、既にデータベースDBに記憶されたうちで、同一の製品固有情報IDを有する規格外品NGと実施品Wのヒストグラム分布を比較し、質感分布指数を演算し、そのうち、値の高い候補を特定し、色差ΔEなど、色の情報とともに、もっとも、色・質感の近似する、適切な規格外品NGを選択する。第2クライアント8はインターネットIでこの選択結果を受信し、工務店Xが確認する。必要に応じて住宅Jで現物を見ながら画像A,Bを確認してもよい。工務店Xの確認後、工務店Xは物流倉庫会社に該当する規格外品NGに対応する製品固有情報IDをインターネットで送信し(管理サーバー6から送信してもよい)、第3クライアント12の出力部11で該当する規格外品NGを、タグ15を用いて、自動出荷システムで、自動的に倉庫内で捜索、例えば、数千枚ないし数万枚の規格外品NGのデーPから出荷する。
製品固有情報IDに加えて、送り先の工務店Xの住所を結合した情報を送信すれば、物流倉庫会社ではそのIDと住所・名称を参照できるので、より高効率的になる。
(7)工務店Xは住宅Jに出向き、実施品Wに近似する規格外品NGに取り替える。以上の一連の処理は終了する。
以上、説明した通り、規格外品NGの色空間ヒストグタム分布を作成し、製品固有情報とともにデータベースDBと、タグ15に記憶させ、タグ15を規格外品NGに1枚毎に貼り付け、それを物流倉庫会社に保管する。そのタグ15を利用することで、対応する適切な色・質感の規格外品NGを交換品として出荷できる。
本実施形態は、規格外品NGの再利用を主眼とし、従来は廃棄して捨ててしまっている規格外品NGを廃棄せずに保管しておいて、活用する仕組みである。
これをオーダーメイドで作ろうとする場合と対比して、コストが著しく低減できる。実施品Wの経年劣化で交換する場合、汚れは取れるとしても、色がそれにピタッと適合するものを製造することは事実上不可能である。これにより、様々なクレームを回避できる。特に、タイルは、焼き物であるので、実際に焼成してみないと本来わからず、少なからず、ばらつきがあるので、検査に通らない焼き物は破棄されることから、廃棄物が非常に多くなるが、このような無駄を回避できる。
たとえば、他の業界である自動車業界のバンパー等の部品にも適用できる。たとえば、バンパーメーカーは、塗料を塗って、色を測色する。バンパーの規格外品NGは、破棄せず、保管しておいて、なるべく、色・質感の近似するバンパーを選び出すことができる。
例えば、本システムを利用することで、廃車になった車のバンパーを規格外品NGとして登録し、他のバンパーの交換品として活用でき、製品に付加価値を付与できる。
次に本発明実施形態4を図18、図19を参照して説明する。本実施形態4は、タイルTに代えて自動車部品であるバンパー、インストルパネル、シート、ドアパネルに適用した例であり、他は実施形態1〜3と共通するので、説明は援用する。
次に実施形態5の色・質感管理システムについて図20を参照して説明する。
図20に示す通り、ウェアラブル端末503に組み込まれた、RGBカラーディスプレイであるRGB表示部502の微少光学系で、候補となるRGB各色・質感データを表示して、RGB各チャンネルでの信号のリニアリティー特性、色発色・質感特性を測定し、さらにこの混色での色・質感データのクロストーク等補正項の算出を行う。また、同時に、微小光学系読み取り分光器(小型高精度分光器)509でのXYZ色空間測定を行い、高精度なXYZ補正データを取得する。管理サーバー506では小型高精度分光器509からのXYZデータを色・質感補正部511により補正し、補正データを記憶部512に記憶する。管理サーバー506から信号パターン発生器513に信号を出力され、この信号がRGB表示部502に送信される。
実施形態6の色・質感管理システムは、上記実施形態1〜4の2次元色彩計2、7の撮影環境の1つである色温度が相違するので、色温度で分光感度を補正するものである。実施形態6を図21〜図24を参照して説明する。格外品NGと、実施品Wとについて、それぞれの環境下で、2次元色彩計2、7で撮像する場合、それぞれ対応する色温度測定センサーE,Fにより色温度を測定する色温度測定部Rと、画像A,Bを、色温度測定センサーE,Fの測定値に基づいて、色温度補正がなされた補正画像に変換する照明色変換補正部Qと、を備える。またタイルに代えて、車のバンパーの色・質感管理の場合に適用したものである。
色温度測定センサーE,Fは、マイクロ分光器を備え、この分光器の測定データから色温度を演算し出力するものである。このマイクロ分光器は、例えば、浜松フォトニクス社製のC12666MAが例示できる。これは、MEMS技術とイメージセンサ技術を融合した指先大の超小型分光器へッドで、感度波長範囲は340〜780nm、波長分解能は15nm maxである。対象物をマイクロ色温度測定センサーE,Fで撮像し、分光感度特性、つまり、感度波長範囲の波長に対するスペクトルの出力値である相対感度(%)が得られる。
管理サーバー6の演算部62が色温度測定部Rを有し、2次元色彩計2が規格外品NGを撮像し、温度センサ−Eで色温度を計測し、一方、2次元色彩計7により、実施品Wを撮像し、温度センサ−Fで色温度を計測し、管理サーバー6の記憶部63に3バンド視覚感度画像S1i,S2i,S3i(T=6500K)(i=1〜m、mは画素数である。)を記録する。実施品W側の環境下はT=6500Kとし、規格外品NG側の環境下はT=2900Kとし、照明色変換補正部Qで環境光の色温度の差異に基づき3バンド視覚感度画像S1i,S2i,S3iの補正を行う。
管理サーバー6におけるフローチャートを図9、図10に、それぞれ示す。
図9に示す通り、初期化をする(S510)。2次元色彩計2、7からそれぞれ送信された規格外品NG及び/又は実施品Wに関する複数の3バンド視覚感度画像S1i,S2i,S3i(T=6500K、T=2900K)を受信し、記憶部63に3バンド視覚感度画像S1i,S2i,S3iとして記録する(S520)。画像が動画である場合には、一連の処理が連続的に行われる。
ICタグ515の製品固有情報ID(製品種等)に対応する、色・質感情報の登録されている3バンド視覚感度画像S1i,S2i,S3iを読み出し、照明色変換補正部Qに送信する(S530)。
登録要求を受信したかどうかを判定する(S540)。YESならS550に移行し、NOなら表示処理に移行する(S560)。
2次元色彩計2、7からの画像の登録要求を受信すると、2次元色彩計2、7で撮像し、記録した3バンド視覚感度画像S1i,S2i,S3iを新たに登録又は更新する(S550)。
管理サーバー6の表示部に登録に係る処理を表示する(S560)。
処理を終了するかどうかを判定し、処理が終了出ない場合には、S520に戻り、処理が終了の場合には、リターンとなる(S570)。
照明色変換補正部Qの処理について、図10を参照して説明する。環境光による色温度の補正処理を車のバンパーの色・質感管理の場合に適用したものである。
受信した3バンド視覚感度画像S1i,S2i,S3i(T=6500K)を、演算部62において、各画素について、温度補正を行い、三刺激値XYZに変換し、XYZ−RGB変換によりRGB画像を第1クライアント4、第2クライアント8、及び/又は第3クライアント12に送信する。XYZ変換は、実施品W側では数式2により行われるが、実施品W側と環境の相違する規格外品NG側では、温度補正の関係で、式3に従って補正を考慮した変換が行われる。XYZ色忠実画像の三刺激値XYZは、式3に示す通り、補正されて三刺激値X’、Y’、Z’となり、この補正値に基づいて実施品W側の画像、規格外品NG側の画像が表示される。
ここで、下記数式2のXYZ−S1,S2,S3の変換式で出てくる分光感度S1,S2,S3の曲線の頭が揃うように、T=6500Kでのマトリクスの係数補正を行っておく。詳しくは技術文献のIEICE TRANS.INF.& SYST.,VOL.E93-D,No.3 MAR 2010 copy rght 2010 The Institute of Electronics, Information and CommunicationEngineers, Development of an XYZ Digital Camera with Enbedded Color Calibration System for Accurate Color Acquisition, Maciej KRETKOWSKI,Ryszard JABLONSKI,SHIMODAIRA P651-653に従ってホワイトバランスと色校正を行うので、参照されたい。
この照明色変換補正部Qは、実施品W側と規格外品NG側での環境光補正を行うものである。たとえば実施品W側の環境下でT=6500K、規格外品NG側の環境下では、例えば、環境色温度は説明のため仮にT=5000Kとするが、マイクロ色温度測定センサーE,Fで実測するため特に色温度は関係ないのであるが、温度差による補正を行い、色・質感データの精度を高める趣旨である。規格外品NG側の照明色変換補正部Q、及び、これと接続可能で、小型分光器たとえばマイクロ分光器を備えた色温度測定センサーE,Fの構成を用いている。以下、図10〜図12を参照して説明する。
色温度測定センサーE,Fで計測した実在する照明の色温度を用いる場合、それらのスペクトルは、必ずしも一致しない(色彩工学 大田登著 (東京電気大学 出版局)が、等色温度線を引いて色温度を定義すればよい。色温度からの黒体輻射よりのS1,S2,S3の分光感度から導かなくても、実施品W側、規格外品NG側の照明光の3つの数値は、S1,S2,S3の分光感度と実施品W側、規格外品NG側で測定した照明のスペクトルを掛け合わせた3つの数値を用いてS1gain,S3gainを計算できる。これは、色温度からの理想的スペクトルと、スペクトル実測については、実施品W側、規格外品NG側それぞれ任意に選ぶことができる。実施品W側照明のS123の分光特性と規格外品NG側照明のS123の分光特性出力の比を求めることが特徴である。
照明色変換補正部Qは、図10〜図12に示す通り、管理サーバー6で記録された規格外品NGと実施品Wの3バンド視覚感度画像S1i,S2i,S3i(T=6500K)について、T=6500KからT=5000Kへの温度の補正を行い、演算処理された画像を2次元色彩計3に送信するものである。
照明色変換補正部Qで行う処理を説明する。S600において、規格外品NG側は、実施品W側で車を2次元色彩計207で撮像して得られた3バンド視覚感度画像S1i,S2i,S3i(T=6500K)を実施品W側から受信する。実施品W側では、図11に示す通り、6500Kの照明スペクトルの出力値と分光感度S1,S2,S3(数1、図5参照)とを掛け算すると、斜線で示すような掛算値S1,S2,S3が求まる。これらをそれぞれ積分して斜線に示す曲線範囲内の積分値IS1,IS2,IS3を演算し、これらの積分値を調整、たとえば、IS1=IS2=IS3となるように、2次元色彩計2、7のゲインを調整し、これを2次元色彩計2、7の規格化感度とする。
S610において、規格外品NG側の色温度測定センサーE,Fにより、T=5000KでのS1gain、S2gain(これを相対的に1とする)、S3gainを演算する。図12に示す通り、規格外品NG側のT=5000K(5000Kは例示であり他の温度でもよい)の照明スペクトルの出力値を、規格化感度S1,S2,S3(数1、図5参照)で掛け算し、これらをそれぞれ積分して斜線に示す曲線範囲内の積分値I03,I02,I01を演算し、S1gain=I01/I02、S3gain=I03/I02を求める。この演算により、次の規格外品NG側での演算で求めるゲイン値の計算が簡単なものとなる。ここでのゲイン調整をしなくても、その時の変換式であるS1gain = (IO1/IO2)/(IS1/IS2),S3gain = (IO3/IO2)/(IS3/IS2)を設定し、次の規格外品NG側でのゲイン計算が実施品W側での積分値を規格外品NG側に伝えることにすれば、それに基づいて規格外品NG側の計算が可能となる。前述の通り数式2で述べたマトリクスの係数補正のように、S1,S2,S3の頭を揃えるための、事前準備のための、より多くの演算をする必要はないため、このようなゲイン調整をしておくことにより、前述の数式2のS1,S2,S3-XYZ変換式が実施品W側での照明と関連づけられることとなる。
S620において、S600で取得した3バンド視覚感度画像S1i,S2i,S3i(T=6500K)をS610で演算したS1gainとS3gainによりS1iとS3iを補正し、3バンド視覚感度画像S1i5000k,S2i5000k(S2iと同じ),S3i5000k(T=5000K)を導く。数式3と同様の要領の演算である。
S630において、色温度測定センサーE,Fの光入射部(スリット)を、表示部の画面上に表示されている画像に押し当てて、画像を取り込み、Rデータ(例えばR=255:8ビット)値とのひも付け、GデータとXg,Yg,Zg、BデータとXb,Yb,Zbとのひも付けを行い、XYZ値からRGB値に変換するための変換テーブル(変換マトリクスでもよい)を作成する。この処理は、規格外品NG側の環境光を色温度測定センサーE,Fを介して照明色変換補正部Qに取り込み、色温度測定センサーE,Fで規格外品NG側の環境光のスペクトルをXYZ−RGB変換に正確に反映させる趣旨であり、色温度測定センサーE,FでRGBのそれぞれのデータを表示して、それぞれに対するスペクトルを取得する。これにより、Rに対するXR,YR,ZRが求まるので、同様にGとBを求めると、Gに対してXG,YG,ZG、Bに対してXB,YB,ZBが求める。このようにして、XYZからRGBへの変換テーブルが求まる。Sステップ630については、予め処理を行い、プログラム化しておいてもよい。
S640において、S620で求めた分光相対ゲインS1gain,S2gain,S3gain(T=5000K)を掛け合わせたS1i5000k,S2i5000k,S3i5000k(i=1〜m、mは画素数)からそれぞれの画像の5000kの正確なXYZ値(T=5000K)を求める。前述した数式2により演算する。
S650において、S640で求めたXYZ値(T=5000K)をXYZ−RGB変換テーブルを用い、対応するRGB値(T=5000K)を求める。上記の色温度の補正演算により、RGBモニターに画像を環境変化に対応して正確に表示することができる。
S660において、S650で求めたRGB値(T=5000K)を第1クライアント4、第2クライアント8、又は第3クライアント12に送信し、表示部にRGB値に対応する画像が表示される。
以上説明した実施形態6によれば、照明色変換補正部Qで色・質感の環境補正がされているので、品質において高い優位性を持ち、実施品W側と規格外品NG側で色・質感の共有化を図ることができる。色・質感判定に関して熟練度の低い労働者でもすぐに色・質感判定に関する高度な検査を行える利点がある。
色・質感合わせ工程の効率化によるコストダウン、色・質感修正の無駄の減少によるコストダウンが可能である。また、導入コストが低く、高精度で安定している。
完成車工場での車へのバンパーの交換組み付け工程に適用した例を挙げたが、部品工場でのバンパー交換にも適用できることは無論である。
組み合わされたボディーの色・質感の迅速な統一が可能となる。IOT技術により、運ばれてくる車の色・質感は、部品に添付のICタグ515等にその情報は記載されているため、再利用が可能である。
次に本発明実施形態7の色・質感管理システムについて図25を参照して説明する。本実施形態7は、実施形態1と概ね共通するが、製造工場Mの検査工程で2次元色彩計2を用い、直接、測定データを管理サーバー6に送信するものである。2つの工程を1つにまとめることができるので、作業が簡略化できる効果がある。また2次元色彩計2,7で色空間ヒストグラム分布までも演算し、管理サーバー6に送信するので、管理サーバー6での演算時間が短縮化する。なお、他の構成は、実施形態1と共通し、また、実施形態2〜6も適宜利用可能であるので、説明は上記を援用する。
実施形態7は次のような手順で実施される。構成の変更は当業者には自明であるので、説明は割愛する。
次に、本実施形態7の色・質感管理方法について、図25等を参照して説明する。住宅施工に伴う色・質感管理方法であるが、マンション等の他の建築物にも適用が可能である。
(1)製造工場Mの検査工程において、2次元色彩計2で検査を行い、規格外品NGを選別する。
(2)前記(1)で、規格外品NGから取得した3つの分光感度を有する画像Aをと、画像Aから色空間ヒストグラム分布を第1クライアント4の記憶部3に記憶する。
(3)製造工場Mで、タグ15に製品固有情報IDと規格外品NGの画像Aを記憶させ、第3クライアント12を所有する物流倉庫会社にタグ15を付着させた規格外品NGを輸送し、保管しておく。
(4)タグ15に製品固有情報IDと画像A及び色空間ヒストグラム分布を第1クライアント4から管理サーバー6にインターネットIで送信する。
(5)工務店Xが施工した住宅Jが、年月の経過により、色褪せする。そして、タイルTの一部である実施品Wが破損し、実施品Wを取り替える必要が生じたので、住宅主は、工務店Xに連絡し、工務店Xが2次元色彩計7で破損した実施品Wを撮像し、画像Bを取得し、色空間ヒストグラム分布を演算し、当該画像Bと色空間ヒストグラム分布を第2クライアント8からインターネットIで管理サーバー6に送信する。
実施品Wそのものを撮像する代わりに、その周辺部分の色・質感とマッチングさせるため、その破損したところ以外の周辺も撮像し、画像と色分布データを演算してもよい。
(6)管理サーバー6で実施品Wに近似する規格外品NGを検索するため、既にデータベースDBに記憶されたうちで、同一の製品固有情報IDを有する規格外品NGと実施品Wの色空間ヒストグラム分布を比較し、質感分布指数を演算し、そのうち、値の高いものを特定し、色差ΔEなど、色の情報とともに、もっとも、色・質感の近似する規格外品NGを選択する。第2クライアント8はインターネットIでこの選択結果を受信し、工務店Xが確認する。必要に応じて住宅Jで現物を見ながら画像A,Bを確認してもよい。工務店Xの確認後、工務店Xは物流倉庫会社に該当する規格外品NGに対応す製品固有情報IDをインターネットで送信し(管理サーバー6から送信してもよい)、第3クライアント12の出力部11で該当する規格外品NGを、タグ15を用いて、自動出荷システムで、自動的に倉庫内で捜索、例えば、数千枚ないし数万枚の規格外品NGのデーPから出荷する。
製品固有情報IDに加えて、送り先の工務店Xの住所を結合した情報を送信すれば、物流倉庫会社ではそのIDと住所・名称を参照できるので、より高効率的になる。
(7)工務店Xは住宅Jに出向き、実施品Wを近似する規格外品NGに取り替える。以上の一連の処理は終了する。
以上、説明した通り、実施形態1と同様の効果を奏する上、検査工程で画像Aと色空間ヒストグラム分布を演算し、タグ15を規格外品NGに1枚毎に貼り付け、それを物流倉庫会社に保管するので、作業が簡略化する。
なお、本発明の実施形態は、上記の実施形態に何ら限定されるものではなく、本発明の技術的思想を逸脱しない範囲において、改変等を加えることができるものであり、それらの改変、均等物等も本発明の技術的範囲に含まれ、前記技術的範囲に属する限り種々の形態を採り得ることは言うまでもない。例えば、2次元色彩計はこれらに限られず、その他の種類の2次元色彩計によっても本発明の技術的思想は実施されるものである。例えば、3バンド視覚感度画像S1i,S2i,S3iに従って画像情報を取得する方式について、本実施形態において挙げた方式は一具体例に過ぎないものである。
その他の例も実施できる。例えば、実施品W・規格外品NGの取得されたA,B画像の2枚の画像を重ねあわせ、それぞれの色度ヒストグラム分布を表示装置に表示したり、それぞれの色度ヒストグラム分布をひとつの色度図上で重ね合わせた色度図が表示でき、色の相違を平均Lab値で判定し、一方、表面の質感を示す質感分布指数演算を分離してパーセンテージで表示できる。これにより、規格外品NGの色度分布の実施品Wの色度分布の空間的広がりのズレ、特に、凹凸感や粗さ感を数値で確実に確認できる。各領域Kごとに検査結果が数値で表示される。格子のグリッド幅の調節が可能である。指数のしきい値を任意で設定可能である。測定結果と撮影した画像は保存が可能である。目視検査では避けられなかった個人差の問題や、客先との判断基準のトラブル等を減らして、質感の仕上がり具合の基準化や安定した質感管理を行うことが可能となる。
例えば、非接触及び広範囲での撮影ができるため、フラット照明で複数の角度から規格外品NG、実施品Wを撮像することで、フリップフロップ、表面粗さの数値化も可能であり、人の目が感じる色、質感に近い評価が可能である。木目パネルなどの不規則な柄のパーツも色・質感合せすることができる。取り込んだ画像A、Bをディスプレイに表示することもできるので(オーバーレイ機能)、簡単に位置合わせができる。規格外品が実施品Wとは、大きさや材質が異なっていても比較ができる。レザーなどの不規則な柄や質感をもつ生地も色・質感合せできる。樹脂パーツの検査、色ムラ・色ズレの検査が可能である。例えば、凹凸間のある対象物でも測定できる。床材などの不規則な柄や質感をもつ建材、壁紙などの不規則な柄や木目調・大理石風・幾何学模様などの質感も色合せできる。歯科分野での歯の質感も検査できる。
以下に、実施例を例示し、本発明を具体的に説明するが、本発明はこれらによって限定されるものではない。なお、実施例中における特性値の測定及び評価は下記のように行った。
(1) 評価装置
有限会社パパラボの2次元色彩計PPLB-500を用いた。照明はPanasonic社製D50照明を用いた。
(2) 撮影
PPLB-500による撮影は、部屋が暗室状態で行った。2次元色彩計は静止画タイプのものを使用し、白色板のL値を100として測定を行った。
(3)測定範囲
サンプルの測定範囲について、評価する際の範囲は全サンプルを同じサイズとした。測定範囲は、画像の枠線内である。
(4)測定項目及び結果について
建築外壁を撮像した画像から得られるサンプル1(基準)、サンプル2、サンプル3を用いる。サンプル1は住宅Jで撮像した実施品Wに関する画像Bである。サンプル2,3は規格外品NGに関する画像Aに該当する。サンプル1のうち、左上のタイルが実施品Wに相当し、他のタイルはその周辺に配置されたタイルである。サンプル2,3は、左上のタイルを、規格外品NGのタイルで差し替えたグラフィック技術による合成画像である。サンプル1は基準とする実施品Wが左上、サンプル2、3は規格外品NGが左上にある。
サンプル1〜3の一致度、ΔE、平均Labの差を求めた。質感分布指数のうち、LabはLab座標での一致度(中心座標のシフト処理[図10のS147、図14のS207、図15のS207]をしないもの)、xy3Dはxy座標での一致度(中心座標のシフト処理をしないもの)、Textureはxy3Dのそれぞれのヒストグラム分布の平均値だけ中心座標のシフト処理を行って演算した一致度である。平均Lab値の差=サンプル2又は3の平均Lab値−サンプル1の平均Lab値とした。測定結果から、一致度の結果とΔEの数値から、サンプル1に色も表面の質感も一番類似しているサンプル2又は3を特定した。ΔEに関して人間の視感度特性を考慮したΔE00を使用した。
サンプル1〜3の画像全体を比較検査であり、タイルを交換するためのタイルの規格外品NGを選択するための評価を得る。
各サンプル1〜3の検査画像全体についてサンプル1を基準にサンプル2とサンプル3の検査を行った。
タイル1枚1枚の比較ではなく、実施品Wの周辺の複数枚のタイルを包括した画像を比較することで、組み合わせ全体での違和感の無さを比較することができる。
複数枚のタイルの組み合わせ方によって、全体的に合っている、合っていないという判断が下すことができる。
画像A,Bの画像全体を検査領域Kに指定した。検査結果を表1及び図26に示す。
サンプル1〜3を検査にかけると、図26に示す通り、サンプル1,2のLab一致度が31%、Textureが89%であるのに対し、サンプル1,3のxy3D一致度が21%、Textureが80%に下がった。サンプル1,2のΔEが0.112であるのに対し、サンプル1,3のΔEが0.472と拡大が増大した。したがって、Lab一致度、Texture、ΔEの結果から、サンプル2の方がサンプル3よりもサンプル1に色・質感が近いことが分かる。サンプル1のタイルを交換する場合には、サンプル2の左上のタイルを選択することとなる。
サンプル1〜3について左上のタイルを基準に右上、左下、右下のタイルを比較した検査である。近似するタイルを選別するための参照とするためである。
サンプル1について、左上のタイルを基準に右上、左下、右下のタイルと比較した。左上-右上、左上-左下、左上-右下の3つの組み合わせがある。画像Bの四角形の枠を検査領域Kに指定した。検査結果を表2及び図27に示す。検査結果から次のことが分かる。
サンプル1〜3を検査にかけると、表2、図27に示す通り、Lab一致度はサンプル1の左上・右上が84%、左上・左下が0%、左上・右下が0%であり、サンプル2の左上・右上が50%、左上・左下が29%、左上・右下が28%であり、サンプル3の左上・右上が0%、左上・左下が88%、左上・右下が85%である。ΔEはサンプル1の左上・右上が0.200、左上・左下が4.296、左上・右下が4.164である。したがって、Lab一致度、ΔEの結果から、サンプル2の方がサンプル3よりも、周辺のタイルとの関係で、サンプル1に色・質感が近いことが分かる。サンプル1のタイルを交換する場合には、サンプル2の左上のタイルを選択することとなる。
以上説明した検査結果は、目視評価と相関が取れていたので、複数のタイル全体、又は、タイルと他の周辺のタイルとの色・質感を検査でき、多岐にわたった色・質感検査が可能であることが分かった。
マンションデベロッパ、各種製造業等、タイル等の廃棄品の処理に困っている産業を支援することができる。
A,B 画像
B バンパー
中心座標
D 領域
DB データベース
E,F 色温度測定センサー
G 格子
H ヒストグラム分布
積算数
積算数
I インターネット
ID 製品固有情報
J 住宅
K 検査領域
Lab 平均
M 製造工場
NG 規格外品
Q 照明色変換補正部
R 色温度測定部
T タイル
分布
W 実施品
ΔE 色差
ΔF 偏差
1 色・質感管理システム
2 2次元色彩計
3 記憶部
4 第1クライアント
5 規格外品分布
6 管理サーバー
7 2次元色彩計
8 第2クライアント
9 実施品分布演算部
10 質感分布指数演算部
11 出力部
12 第3クライアント
15 タグ
21 撮影レンズ
22a 光学フィルタ
22b 光学フィルタ
22c ダイクロイックミラー
23 撮像素子
23a−23c 撮像素子
26 反射鏡
27 フィルタターレット
61 入出力インタフェース
62 演算部
63 記憶部
64 表示部
65 バスライン

Claims (13)

  1. CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、記憶する記憶部と、
    前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、データベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算部と、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記実施品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、該色空間ヒストグラム分布を記憶する実施品分布演算部と、
    前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算部と、
    前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力部と、を備え、
    前記記憶部、規格外品分布演算部、実施品分布演算部、色・質感演算部、及び前記出力部のデータ通信をインターネットを介して行うことを特徴とする色・質感管理システム。
  2. CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶部と、
    xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を管理サーバーのデータベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算部と、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を演算する実施品分布演算部と、
    前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算部と、
    前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力部と、を備え、
    前記記憶部、規格外品分布演算部、実施品分布演算部、色・質感演算部、及び前記出力部のデータ通信をインターネットを介して行うことを特徴とする色・質感管理システム。
  3. データベースを有し、色・質感を管理する管理サーバーと、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、規格外品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して前記管理サーバーに送信する第1クライアントと、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、実施品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して前記管理サーバーに送信する第2クライアントと、
    インターネットを介して前記第1及び第2クライアントから3バンド視覚感度画像S1i,S2i,S3iを受信し、データベースに記憶する管理サーバーと、
    を備え、
    前記規格外品と、実施品の3バンド視覚感度画像S1i,S2i,S3iから、それぞれ、前記3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶し、
    xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品と実施品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに記憶し、
    前記規格外品の前記分布については、該分布と対応する製品固有情報と、を関連づけて記憶し、
    前記規格外品の前記分布と、前記実施品に係る分布を比較判定し、質感分布指標を演算し、
    該指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を前記第1クライアントから出力する、
    ことを特徴とする色・質感管理システム。
  4. 前記管理サーバーで前記分布の演算をすることに代えて、前記第1クライアントと第2クライアントが、前記3バンド視覚感度画像S1i,S2i,S3i、及び、該画像から演算された前記分布を、インターネットを介して、前記管理サーバーに送信することを特徴とする請求項3の色・質感管理システム。
  5. 前記規格外品にタグを付設し、該タグに前記規格外品の前記分布と、前記製品固有情報を記憶させる請求項1乃至4ずれかの色・質感管理システム。
  6. 前記タグに記憶され、読み出された規格外品に属する分布と、前記実施品に係る分布を比較判定し、色・質感が前記実施品に近似する前記規格外品の製品固有情報を前記第2クライアントに送信する請求項3又は4の色・質感管理システム。
  7. 第1クライアントが、
    第1色温度測定センサーにより色温度を測定する色温度測定部を備え、
    第2クライアントが、
    第2色温度測定センサーにより色温度を測定する色温度測定部を備え、
    前記第1及び第2色温度測定センサーの測定値に基づいて、前記規格外品と前記実施品の3バンド視覚感度画像S1i,S2i,S3iについて、色温度補正がなされた補正画像に変換する照明色変換補正部と、
    を備えたことを特徴とする請求項3ないし6いずれかの色・質感管理システム。
  8. CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、記憶する記憶ステップと、
    前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、データベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算ステップと、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記実施品の3バンド視覚感度画像S1i,S2i,S3iから、XYZ表色系の色空間に対応する座標を記憶し、前記座標を格子で区画し、各格子に属する検査面の画素数を積算することにより、XYZ表色系の色空間ヒストグラム分布を作成し、該色空間ヒストグラム分布を記憶する実施品分布演算ステップと、
    前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
    前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力ステップと、を備え、
    前記記憶ステップ、規格外品分布演算ステップ、実施品分布演算ステップ、色・質感演算ステップ、及び前記出力ステップによるデータ通信をインターネットを介して行うことを特徴とする色・質感管理方法。
  9. CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第1撮像部により、規格外品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶ステップと、
    xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を管理サーバーのデータベースに、該色空間ヒストグラム分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布演算ステップと、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する第2撮像部により、実施品から3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを取得し、xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を演算する実施品分布演算ステップと、
    前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
    前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、出力する出力ステップと、を備え、
    前記記憶ステップ、規格外品分布演算ステップ、実施品分布演算ステップ、色・質感演算ステップ、及び前記出力ステップによるデータ通信をインターネットを介して行うことを特徴とする色・質感管理方法。
  10. CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、規格外品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して、第1クライアントから管理サーバーに送信する第1送信ステップと、
    前記規格外品の3バンド視覚感度画像S1i,S2i,S3iから、該3バンド視覚感度画像S1i,S2i,S3iの各画素のXYZ値、又は、該XYZ値より正規化されたxy値を記憶する記憶ステップと、
    xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記規格外品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに、該分布と対応する製品固有情報と、を関連づけて記憶する規格外品分布記憶ステップと、
    CIE XYZ等色関数と等価に線形変換された3つの分光感度(S1(λ)、S2(λ)、S3(λ))を有する撮像部が、実施品から取得した3つの分光感度を有する3バンド視覚感度画像S1i,S2i,S3iを記憶し、インターネットを介して、第2クライアントから管理サーバーに送信する第2送信ステップと、
    xy色度図のxy座標、又はXYZ色度図のXYZ座標を格子で区画し、各格子に属する前記実施品の画素数を積算することにより作成された、xy色度ヒストグラム分布、XYZ色度ヒストグラム3次元分布、又は、Lab色度ヒストグラム3次元分布を前記管理サーバーのデータベースに記憶する実施品分布記憶ステップと、
    前記規格外品の前記分布と、前記実施品の前記分布を比較判定し、質感分布指標を演算する質感分布指標演算ステップと、
    前記質感分布指標を参照して、前記実施品に色・質感が近似する規格外品の前記製品固有情報を特定し、前記第1クライアントから出力する出力ステップと、
    を備えることを特徴とする色・質感管理方法。
  11. 前記管理サーバーで前記分布の演算をすることに代えて、前記第1クライアントと第2クライアントが、前記3バンド視覚感度画像S1i,S2i,S3i、及び、該画像から演算された前記分布を、インターネットを介して、前記管理サーバーに送信するステップを備えることを特徴とする請求項10の色・質感管理方法。
  12. 前記規格外品記憶ステップが、
    前記規格外品にタグを付設し、該タグに前記規格外品の前記分布と、前記製品固有情報を記憶させるタグ情報記憶ステップを備え、
    前記出力ステップが、
    前記タグに記憶された規格外品の前記分布と、前記実施品の前記分布を比較判定し、色・質感が前記実施品に近似する前記規格外品の製品固有情報を出力するタグ出力ステップと、を備える請求項10又は11の色・質感管理方法。
  13. 第1送信ステップが、
    第1色温度測定センサーにより色温度を測定する色温度測定ステップを備え、
    第2送信ステップが、
    第2色温度測定センサーにより色温度を測定する色温度測定ステップを備え、
    前記第1及び第2色温度測定センサーの測定値に基づいて、前記規格外品と前記実施品の3バンド視覚感度画像S1i,S2i,S3iについて、色温度補正がなされた補正画像に変換する照明色変換補正ステップと、
    を備えたことを特徴とする請求項10ないし12いずれかの色・質感管理方法。
JP2017005253A 2017-01-16 2017-01-16 表面色・質感管理システム及び管理方法 Active JP6501315B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017005253A JP6501315B2 (ja) 2017-01-16 2017-01-16 表面色・質感管理システム及び管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017005253A JP6501315B2 (ja) 2017-01-16 2017-01-16 表面色・質感管理システム及び管理方法

Publications (2)

Publication Number Publication Date
JP2018115877A JP2018115877A (ja) 2018-07-26
JP6501315B2 true JP6501315B2 (ja) 2019-04-17

Family

ID=62985270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017005253A Active JP6501315B2 (ja) 2017-01-16 2017-01-16 表面色・質感管理システム及び管理方法

Country Status (1)

Country Link
JP (1) JP6501315B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191131A1 (ja) * 2021-03-08 2022-09-15 大日本印刷株式会社 干渉色の評価方法、光学フィルム、偏光板、及び画像表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5714038A (en) * 1980-06-30 1982-01-25 Matsushita Electric Works Ltd Decorative plywood with groove
US20040218182A1 (en) * 2003-04-30 2004-11-04 Alman David H. Method for identifying effect pigments in a paint film for field color matching
US20060029728A1 (en) * 2004-08-03 2006-02-09 Roger Stull Method of repair for plastic automotive body panels
JP2012127871A (ja) * 2010-12-16 2012-07-05 Toyohashi Univ Of Technology 質感定量化装置及び質感定量化方法
JP2016006408A (ja) * 2014-05-26 2016-01-14 有限会社パパラボ ウェアラブル着色評価装置及びウェアラブルウェアラブル着色評価方法
JP6371237B2 (ja) * 2015-02-26 2018-08-08 株式会社パパラボ 着色評価装置および着色評価方法
JP6257551B2 (ja) * 2015-03-31 2018-01-10 有限会社パパラボ 色忠実環境補正装置および色忠実環境補正方法

Also Published As

Publication number Publication date
JP2018115877A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6039109B2 (ja) 着色検査装置および着色検査方法
US10260950B2 (en) Hand-held measurement device for capturing the visual impression of a measurement object
JP6039008B2 (ja) 着色評価装置及び着色評価方法
US7995838B2 (en) Color chart processing apparatus, color chart processing method, and color chart processing program
US8659653B2 (en) Device for evaluating the surface of a tire
JP7076760B2 (ja) 色判定装置及び色判定方法
WO2010032792A1 (ja) 3次元計測装置およびその方法
JP6371237B2 (ja) 着色評価装置および着色評価方法
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
WO2015141233A1 (ja) 色忠実環境補正装置および色忠実環境補正方法
JP6113319B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP5841091B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP2019020311A (ja) 色彩測定方法及び色彩測定装置
Smagina et al. Multiple light source dataset for colour research
BE1012272A5 (fr) Dispositif et procede de mesure d'images colorees.
JP6501315B2 (ja) 表面色・質感管理システム及び管理方法
JP2018004421A (ja) 金属表面の質感評価装置及び評価方法
JP2009271093A (ja) 色票処理装置、色票処理方法及び色票処理プログラム
JP6774788B2 (ja) 色調整装置および色調整システム
CN114503097A (zh) 使用移动设备进行颜色查找的方法和装置
JP6851082B2 (ja) 多地点モニタの色共有化装置
JPH11304589A (ja) 環境光測定システム
JP2017153054A (ja) 着色検査装置および着色検査方法
JP2023123265A (ja) 3次元色彩計測システム、3次元色彩計測方法及び3次元色彩計測プログラム
JP5895094B1 (ja) 画像色分布検査装置および画像色分布検査方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190314

R150 Certificate of patent or registration of utility model

Ref document number: 6501315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250