JP2024042521A - 色情報推定方法および色情報推定装置 - Google Patents

Abstract

【課題】対象物の表面上で目標の色と同等の色に視認される色を推定できる技術を提供する。【解決手段】色情報推定方法は、対象物の表面性状を表す第１画像を取得する第１取得ステップ（Ｓ１０）と、目標の第１色の色情報を取得する第２取得ステップ（Ｓ１４）と、第１画像と第１色の色情報とに基づいて、対象物の表面上で第１色と同等の色に視認される第２色の色情報を推定する推定ステップ（Ｓ１６）と、を備える。【選択図】図５

Description

本発明は、色情報推定方法および色情報推定装置に関する。

特許文献１は、１種類以上の色材を含有する組成物の配合組成データ及び対応する色彩データが登録されたデータベースと、データベースに登録されたデータを利用した色合わせ計算ロジックが作動するコンピュータと、を備える装置を用いるコンピュータ調色に基づく塗料の製造方法を開示する。

特開２０２１－１８８０４６号公報

材料の表面の微小な凹凸などの影響により、材料に塗料等を塗った場合に視認される色は、塗られた塗料等の色とは異なる可能性がある。そのため、所望の色に視認されるためにどの色の塗料等を材料に塗ればよいか推定することが望まれる。

本発明の目的は、対象物の表面上で目標の色と同等の色に視認される色を推定できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の色情報推定方法は、コンピュータが実行する色情報推定方法であって、対象物の表面性状を表す第１画像を取得する第１取得ステップと、目標の第１色の色情報を取得する第２取得ステップと、前記第１画像と前記第１色の色情報とに基づいて、前記対象物の表面上で前記第１色と同等の色に視認される第２色の色情報を推定する推定ステップと、を備える。

前記第１色の色情報と、前記第２色の色情報は、それぞれＬａｂ値であってもよい。前記推定ステップにおいて、前記第１画像に前記第２色のＬａｂ値を合成して得られる第１合成画像の複数の画素のそれぞれのＬａｂ値の統計値が、前記第１色のＬａｂ値と同等になるように、当該第２色のＬａｂ値を導出してもよい。

前記第１取得ステップにおいて、基準物の表面性状を表す第２画像と、第３色のＬａｂ値と、をさらに取得してもよい。前記第２取得ステップにおいて、前記第２画像と前記第３色のＬａｂ値とに基づいて、前記基準物の表面上に当該第３色を重ねた場合に視認される色のＬａｂ値を推定し、推定したＬａｂ値を前記第１色のＬａｂ値として取得してもよい。

前記第２取得ステップにおいて、機械学習された学習済みモデルを用いて、前記第２画像と前記第３色のＬａｂ値とに基づいて、前記第１色のＬａｂ値を推定してもよい。

前記第１画像と、前記第２画像は、それぞれグレースケール画像であってもよい。前記第２取得ステップは、前記第２画像に前記第３色のＬａｂ値を合成して第２合成画像を導出する第１導出ステップと、前記第２合成画像の各画素のＬａｂ値の統計値を導出し、当該統計値を前記第１色のＬａｂ値として取得する第２導出ステップと、を有してもよい。前記第１導出ステップにおいて、前記第２画像の各画素に関し、当該画素の画素値に応じた係数と、前記第３色のＬ値とを乗算した値を前記第２合成画像の対応する画素のＬ値として設定し、前記第３色のａ値およびｂ値を前記第２合成画像の各画素のａ値およびｂ値として設定してもよい。前記推定ステップにおいて、前記第１画像の各画素に関し、当該画素の画素値に応じた係数と、前記第２色のＬ値とを乗算した値を前記第１合成画像の対応する画素のＬ値として設定し、前記第２色のａ値およびｂ値を前記第１合成画像の各画素のａ値およびｂ値として設定してもよい。

本発明の別の態様は、色情報推定装置である。この装置は、対象物の表面性状を表す第１画像を取得する第１取得部と、目標の第１色の色情報を取得する第２取得部と、前記第１画像と前記第１色の色情報とに基づいて、前記対象物の表面上で前記第１色と同等の色に視認される第２色の色情報を推定する推定部と、を備える。

本発明によれば、対象物の表面上で目標の色と同等の色に視認される色を推定できる。

材料の表面画像の一例を示す図である。 表面に色が塗られた図１の材料のシミュレーション画像の一例を示す図である。 表面に色が塗られた図１の材料のシミュレーション画像の別の例を示す図である。 実施の形態の色情報推定装置の構成を示す図である。 図４の色情報推定装置の処理を示すフローチャートである。

実施の形態の色情報推定装置は、例えば、車両などの物体の各部を塗装するための塗料等の色を検討する際、材料に塗料等を塗った場合に視認される色をシミュレーションし、所望の色に視認される塗料等の色を推定する。

表面性状が異なる２つの材料のそれぞれに同じ色の塗料を塗った場合、表面性状の影響により、明度や彩度などの色の見た目が異なる可能性がある。例えば、表面の凹凸の深い部分が多い材料では色が相対的に暗く見え、平坦な部分が多い材料では色が相対的に明るく見える。そのため、例えば、表面性状が異なる基準物と対象物を塗装して、対象物に塗った色の見た目を基準物に塗った色の見た目に合わせたい状況で、対象物に塗るべき色を取得することが望まれる。

そこで、実施の形態の色情報推定装置は、基準物に基準色を塗った場合に視認される色を目標色として、対象物の表面性状を表す画像と、目標色の色情報とに基づいて、対象物に塗った場合に目標色と同等の色に視認される色の色情報を推定する。以下、色情報はＬａｂ値である例を説明する。Ｌａｂ値は、ＣＩＥ Ｌ＊ａ＊ｂ＊色空間における明度Ｌ＊、色度ａ＊、ｂ＊を表す。以下、明度Ｌ＊をＬ値またはＬと呼び、色度ａ＊をａ値またはａと呼び、色度ｂ＊をｂ値またはｂと呼ぶ。

図１は、材料の表面画像の一例を示す。図１（ａ）は、基準物の表面性状を表す第２画像を示し、図１（ｂ）は、対象物の表面性状を表す第１画像を示す。第１画像と第２画像は、それぞれ、実際の材料を顕微鏡などで拡大して撮影した画像であり、グレースケール画像である。拡大率は、材料ごとに、実験またはシミュレーションにより適宜定めることができる。第１画像と第２画像の複数の画素値は、材料の表面の凹凸を表す。例えば、画素の色が白に近いほど画素値が大きく、高さが高く、黒に近いほど画素値が小さく、高さが低いことを表す。例えば、様々な材料の複数のサンプルの凹凸において、最大の深さを最低の画素値に設定し、最大の高さを最大の画素値に設定する。図示するように、基準物と対象物は、表面性状が異なる。基準物と対象物は、例えば、樹脂または金属などである。

図２は、表面に色が塗られた図１の材料のシミュレーション画像の一例を示す。図２（ａ）は、図１（ａ）の第２画像に基準の第３色を合成した第２合成画像１００ａを示す。図２（ｂ）は、図１（ｂ）の第１画像に基準の第３色を合成した第１合成画像１０２ａを示す。

これらの合成画像は、カラー画像であり、実際に視認される色を模擬している。合成方法は後述する。同じ第３色を用いても、第１合成画像１０２ａの全体的な明るさは、第２合成画像１００ａの全体的な明るさとは異なり、第１合成画像１０２ａの全体的な色は、第２合成画像１００ａの全体的な色とは異なって視認される。

色情報推定装置は、図２（ａ）の第２合成画像１００ａの各画素のＬａｂ値の平均値を目標の第１色の色情報として取得する。色情報推定装置は、図１（ｂ）の第１画像と第１色の色情報とに基づいて、対象物の表面上で第１色と同等の色に視認される第２色の色情報を推定する。

図２（ｃ）は、図１（ｂ）の第１画像に、推定された第２色を合成した第１合成画像１０２ｂを示す。第１合成画像１０２ｃの全体的な明るさは、第２合成画像１００ａの全体的な明るさと同等であり、第１合成画像１０２ｃの全体的な色は、第２合成画像１００ａの全体的な色と同等に視認される。したがって、ユーザは、対象物に様々な色の塗料等を塗る実験を行うことなく、推定された第２色の塗料等を対象物の表面に塗ることで第３色の塗料等が塗られた基準物と同等の色に視認され得ることを短時間で容易に把握できる。

図３は、表面に色が塗られた図１の材料のシミュレーション画像の別の例を示す。図３（ａ）は、図１（ａ）の基準物の第２画像に基準の第３色を合成した第２合成画像１００ｂを示す。図３（ｂ）は、図１（ｂ）の対象物の第１画像に基準の第３色を合成した第１合成画像１０２ｃを示す。図３の第３色は、図２の第３色とは異なる。

第１合成画像１０２ｃの全体的な明るさは、第２合成画像１００ｂの全体的な明るさとは異なり、第１合成画像１０２ｃの全体的な色は、第２合成画像１００ｂの全体的な色とは異なって視認される。

色情報推定装置は、図３（ａ）の第２合成画像１００ｂの各画素のＬａｂ値の平均値を目標の第１色の色情報として取得する。色情報推定装置は、図１（ｂ）の第１画像と第１色の色情報とに基づいて、第２色の色情報を推定する。

図３（ｃ）は、図１（ｂ）の第１画像に、推定された第２色を合成した第１合成画像１０２ｄを示す。第１合成画像１０２ｄの全体的な明るさは、第２合成画像１００ｂの全体的な明るさと同等であり、第１合成画像１０２ｄの全体的な色は、第２合成画像１００ｂの全体的な色と同等に視認される。

このように、対象物の表面性状に応じて、対象物の表面上で目標の第１色と同等の色に視認される第２色の色情報を推定できる。

図４は、実施の形態の色情報推定装置１の構成を示す。色情報推定装置１は、第１取得部１０、第２取得部１２、第１推定部１４、および出力部１６を備える。第２取得部１２は、第２推定部２０を有する。色情報推定装置１の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

第１取得部１０は、例えばネットワークを介して、ユーザの指示に従い、基準物の表面性状を表す第２画像と、対象物の表面性状を表す第１画像と、基準の第３色のＬａｂ値とを取得する。第１取得部１０は、第２画像と第３色のＬａｂ値とを第２取得部１２に供給し、第１画像を第１推定部１４に供給する。

図２（ａ）と（ｂ）の例では、第３色のＬａｂ値は、Ｌ＝８７．６、ａ＝－１．６、ｂ＝６．４である。図３（ａ）と（ｂ）の例では、第３色のＬａｂ値は、Ｌ＝５４．５１、ａ＝１２．５、ｂ＝２２．４である。

第２取得部１２は、目標の第１色のＬａｂ値を取得し、取得した第１色のＬａｂ値を第１推定部１４に供給する。具体的には、第２推定部２０は、第１取得部１０で取得された第２画像と第３色のＬａｂ値とに基づいて、基準物の表面上に第３色を重ねた場合に視認される色のＬａｂ値を推定し、第２取得部１２は、推定されたＬａｂ値を第１色のＬａｂ値として取得する。

より詳細には、第２推定部２０は、第２画像に第３色のＬａｂ値を合成して第２合成画像を導出する。第２推定部２０は、第２画像の各画素に関し、当該画素の画素値に応じた係数と、第３色のＬ値とを乗算した値を第２合成画像の対応する画素のＬ値として設定する。この係数は、例えば、０から１までの実数であり、画素値が大きくなるほど大きくなる。例えば、最小の画素値に対応する係数は０であり、最大の画素値に対応する係数は１である。

第２推定部２０は、第３色のａ値およびｂ値を第２合成画像の各画素のａ値およびｂ値として設定する。つまり、第２合成画像の各画素のａ値およびｂ値は、第３色のａ値およびｂ値である。

第２推定部２０は、第２合成画像の各画素のＬａｂ値の統計値を導出し、当該統計値を第１色のＬａｂ値として取得する。統計値は、例えば、平均値である。第２合成画像の各画素のＬａｂ値の平均値とは、複数の画素のＬ値の平均値、複数の画素のａ値の平均値、および複数の画素のｂ値の平均値の組を表す。この処理により、比較的小さい演算負荷で第１色のＬａｂ値を取得できる。

図２（ａ）の例では、第２合成画像１００ａの各画素のＬａｂ値の平均値、すなわち第１色のＬａｂ値は、Ｌ＝２９．４、ａ＝－１．６、ｂ＝６．４である。図３（ａ）の例では、第２合成画像１００ｂの各画素のＬａｂ値の平均値、すなわち第１色のＬａｂ値は、Ｌ＝１８．２、ａ＝１２．５、ｂ＝２２．４である。

第１推定部１４は、第１取得部１０で取得された第１画像と、第２取得部１２で取得された第１色のＬａｂ値とに基づいて、対象物の表面上で第１色と同等の色に視認される第２色のＬａｂ値を推定する。

具体的には、第１推定部１４は、第１画像に第２色のＬａｂ値を合成して得られる第１合成画像の複数の画素のそれぞれのＬａｂ値の統計値が、第１色のＬａｂ値と同等になるように、当該第２色のＬａｂ値を導出する。既述のように、統計値は、例えば、平均値である。

第１推定部１４は、第１画像の各画素に関し、当該画素の画素値に応じた係数と、第２色のＬ値とを乗算した値を第１合成画像の対応する画素のＬ値として設定する。第１推定部１４は、第２色のａ値およびｂ値を第１合成画像の各画素のａ値およびｂ値として設定する。この処理により、比較的小さい演算負荷で第２色のＬａｂ値を取得できる。

第１推定部１４は、導出された第２色のＬａｂ値と、当該第２色のＬａｂ値により得られた第１合成画像とを出力部１６に供給する。

図２（ｃ）の例では、第２色のＬａｂ値は、Ｌ＝４６．２７、ａ＝－１．６、ｂ＝６．４である。第１合成画像１０２ｂの各画素のＬａｂ値の平均値は、Ｌ＝２９．３、ａ＝－１．６、ｂ＝６．４である。第１合成画像１０２ｂの各画素のＬａｂ値の平均値は、図２（ａ）の第２合成画像１００ａの各画素のＬａｂ値の平均値と同等であるため、既述のように、第１合成画像１０２ｂの全体的な色は、第２合成画像１００ａの全体的な色と同等に視認される。

図２（ｂ）のように、第３色を用いた第１合成画像１０２ａの各画素のＬａｂ値の平均値は、Ｌ＝５５．５、ａ＝－１．６、ｂ＝６．４であり、第２合成画像１００ａの各画素のＬａｂ値の平均値とはＬが大きく異なる。第１推定部１４は、第２合成画像１００ａと第１合成画像１０２ｂとの間でＬａｂ値の平均値の差が小さくなるように第２色のＬａｂ値を導出する。

図３（ｃ）の例では、第２色のＬａｂ値は、Ｌ＝２９．０２、ａ＝１２．５、ｂ＝２２．４である。第１合成画像１０２ｄの各画素のＬａｂ値の平均値は、Ｌ＝１８．３、ａ＝１２．５、ｂ＝２２．４である。第１合成画像１０２ｄの各画素のＬａｂ値の平均値は、図３（ａ）の第２合成画像１００ｂの各画素のＬａｂ値の平均値と同等であるため、既述のように、第１合成画像１０２ｄの全体的な色は、第２合成画像１００ｂの全体的な色と同等に視認される。

図３（ｂ）のように、第３色を用いた第１合成画像１０２ｃの各画素のＬａｂ値の平均値は、Ｌ＝３４．５、ａ＝１２．５、ｂ＝２２．４であり、第２合成画像１００ｂの各画素のＬａｂ値の平均値とはＬが大きく異なる。第１推定部１４は、第２合成画像１００ｂと第１合成画像１０２ｄとの間でＬａｂ値の平均値の差が小さくなるように第２色のＬａｂ値を導出する。

出力部１６は、第２色のＬａｂ値、第１合成画像、および第２合成画像を例えば図示しない表示装置に出力する。表示装置は、第２色のＬａｂ値、第１合成画像、および第２合成画像を表示する。ユーザは、表示装置に表示された情報から、どの色を対象物に塗ればよいか把握でき、シミュレーション画像である第１合成画像と第２合成画像を確認することで、どのような色に見えるか把握できる。

図５は、図４の色情報推定装置１の処理を示すフローチャートである。色情報推定装置１は、基準物の第２画像、対象物の第１画像、および基準の第３色のＬａｂ値を取得する（第１取得ステップ：Ｓ１０）。色情報推定装置１は、第２画像に第３色のＬａｂ値を合成して第２合成画像を導出し（第２取得ステップの第１導出ステップ：Ｓ１２）、第２合成画像の各画素のＬａｂ値の平均値を導出し、目標の第１色のＬａｂ値として取得する（第２取得ステップの第２導出ステップ：Ｓ１４）。色情報推定装置１は、第１画像と、第１色のＬａｂ値とに基づいて、第２色のＬａｂ値を推定し（推定ステップ：Ｓ１６）、処理を終了する。

実施の形態によれば、基準物と基準の第３色が与えられた場合、基準物の表面上に第３色を重ねた場合に視認される第１色を推定でき、対象物の表面上に重ねた場合に第１色と同等の色に視認される第２色のＬａｂ値を推定できる。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、実施の形態では、第２取得部１２は、基準物の第２画像と基準の第３色のＬａｂ値とに基づいて第１色のＬａｂ値を取得するが、目標とする第１色のＬａｂ値が予め特定されていれば、第２取得部１２は、例えばユーザが入力部に入力した第１色のＬａｂ値を取得してもよい。この変形例では、処理を簡素化できる。

実施の形態では、色情報はＬａｂ値である例を説明したが、明度を用いる他の表色系の色値を用いてもよく、色情報は、例えば、Ｌ*Ｃ*ｈ色空間のＬＣｈ値などであってもよい。この変形例では、色情報推定装置１の構成の自由度を向上できる。

実施の形態では、第２合成画像の各画素のａ値およびｂ値は、第３色のａ値およびｂ値であるが、第２画像の各画素の画素値を反映した値でもよい。この場合、第２推定部２０は、第２画像の各画素に関し、当該画素の画素値と、第３色のａ値とを所定の第１の数式に代入して得られた値を第２合成画像の対応する画素のａ値として設定してもよい。第２推定部２０は、第２画像の各画素に関し、当該画素の画素値と、第３色のｂ値とを所定の第２の数式に代入して得られた値を第２合成画像の対応する画素のｂ値として設定してもよい。第１の数式と第２の数式は、実験またはシミュレーションにより適宜定めることができる。同様に、第１推定部１４は、第１画像の各画素に関し、当該画素の画素値と、第２色のａ値とを所定の第１の数式に代入して得られた値を第１合成画像の対応する画素のａ値として設定してもよい。第１推定部１４は、第１画像の各画素に関し、当該画素の画素値と、第２色のｂ値とを所定の第２の数式に代入して得られた値を第１合成画像の対応する画素のｂ値として設定してもよい。この変形例では、より高精度な第１合成画像と第２合成画像を取得できる可能性がある。

実施の形態では、第２取得部１２は、第２合成画像の各画素のＬａｂ値の平均値を目標の第１色のＬａｂ値として取得するが、この処理に替えて、学習済みモデルを用いて第１色のＬａｂ値を推定してもよい。この変形例では、図示しない学習装置は、第１色のＬａｂ値を推定するモデルを予め機械学習する。学習装置は、色情報推定装置１に設けられてもよいし、色情報推定装置１とは別の装置でもよい。学習装置は、基準物の第２画像から、画像の特徴量を導出する。特徴量としては、表面の凹凸の分布の尖り度、表面の算術平均粗さ、輝度勾配、画像における周期性などの公知のものを採用できる。学習装置は、基準物の第２画像の特徴量と、基準の第３色のＬａｂ値とを入力とし、当該基準物に当該第３色の塗料を実際に塗ったサンプルの色を測色計で測定したＬａｂ値を正解ラベルとして、モデルを学習する。学習装置は、モデルの学習を繰り返す。

第２取得部１２の第２推定部２０は、第１色推定用の学習済みモデルを用いて、基準物の第２画像の特徴量と、第３色のＬａｂ値とに基づいて、第１色のＬａｂ値を推定する。推定される第１色のＬａｂ値は、基準物の表面上に第３色を重ねた場合に視認される色のＬａｂ値に相当する。この変形例では、色情報推定装置１の構成の自由度を向上できる。

また、第１推定部１４も、第２色推定用の別の学習済みモデルを用いて第２色のＬａｂ値を推定してもよい。この場合、学習装置は、対象物の第１画像の特徴量と、当該対象物に第２色の塗料を実際に塗ったサンプルの色を測色計で測定したＬａｂ値とを入力とし、当該第２色のＬａｂ値を正解ラベルとして、モデルを学習する。第１推定部１４は、第２色推定用の学習済みモデルを用いて、対象物の第１画像の特徴量と、目標の第１色のＬａｂ値とに基づいて、第２色のＬａｂ値を推定する。

１…色情報推定装置、１０…第１取得部、１２…第２取得部、１４…第１推定部、１６…出力部、２０…第２推定部。

Claims (5)

1. コンピュータが実行する色情報推定方法であって、
   対象物の表面性状を表す第１画像を取得する第１取得ステップと、
   目標の第１色の色情報を取得する第２取得ステップと、
   前記第１画像と前記第１色の色情報とに基づいて、前記対象物の表面上で前記第１色と同等の色に視認される第２色の色情報を推定する推定ステップと、
   を備えることを特徴とする色情報推定方法。
2. 前記第１色の色情報と、前記第２色の色情報は、それぞれＬａｂ値であり、
   前記推定ステップにおいて、前記第１画像に前記第２色のＬａｂ値を合成して得られる第１合成画像の複数の画素のそれぞれのＬａｂ値の統計値が、前記第１色のＬａｂ値と同等になるように、当該第２色のＬａｂ値を導出する、
   ことを特徴とする請求項１に記載の色情報推定方法。
3. 前記第１取得ステップにおいて、基準物の表面性状を表す第２画像と、第３色のＬａｂ値と、をさらに取得し、
   前記第２取得ステップにおいて、前記第２画像と前記第３色のＬａｂ値とに基づいて、前記基準物の表面上に当該第３色を重ねた場合に視認される色のＬａｂ値を推定し、推定したＬａｂ値を前記第１色のＬａｂ値として取得する、
   ことを特徴とする請求項２に記載の色情報推定方法。
4. 前記第１画像と、前記第２画像は、それぞれグレースケール画像であり、
   前記第２取得ステップは、
   前記第２画像に前記第３色のＬａｂ値を合成して第２合成画像を導出する第１導出ステップと、
   前記第２合成画像の各画素のＬａｂ値の統計値を導出し、当該統計値を前記第１色のＬａｂ値として取得する第２導出ステップと、
   を有し、
   前記第１導出ステップにおいて、
   前記第２画像の各画素に関し、当該画素の画素値に応じた係数と、前記第３色のＬ値とを乗算した値を前記第２合成画像の対応する画素のＬ値として設定し、
   前記第３色のａ値およびｂ値を前記第２合成画像の各画素のａ値およびｂ値として設定し、
   前記推定ステップにおいて、
   前記第１画像の各画素に関し、当該画素の画素値に応じた係数と、前記第２色のＬ値とを乗算した値を前記第１合成画像の対応する画素のＬ値として設定し、
   前記第２色のａ値およびｂ値を前記第１合成画像の各画素のａ値およびｂ値として設定する、
   ことを特徴とする請求項３に記載の色情報推定方法。
5. 対象物の表面性状を表す第１画像を取得する第１取得部と、
   目標の第１色の色情報を取得する第２取得部と、
   前記第１画像と前記第１色の色情報とに基づいて、前記対象物の表面上で前記第１色と同等の色に視認される第２色の色情報を推定する推定部と、
   を備えることを特徴とする色情報推定装置。

Images