JP7264268B2 - 表面性状推定システム - Google Patents

Description

本発明は、表面性状推定システム、表面性状推定方法、および、記録媒体に関する。

個々の物体（工業製品など）の表面性状を把握することは、物体の品質などを管理する上で重要である。ここで、表面性状とは、物体の表面の粗さ、形状等の表面の性質や状態に関する情報を意味する。表面性状を把握する典型的な手法は、３次元計測センサを用いて表面性状を計測することである（例えば特許文献１）。

しかし、３次元計測センサを用いる手法は、高精度な計測が可能である反面、コスト面に課題がある。その理由は、専用ツールが必要であること、計測時間が長くなること、さらに熟練者が必要になることによる。

そこで、物体の表面を撮影した画像とそれに対応する表面性状とに基づいて機械学習を行った推定モデルを使用して、物体を撮影した画像から表面性状を推定する手法が提案されている（例えば特許文献２）。

一方、工業製品や商品等の物体に対して、製造番号やバーコード、ＱＲコード等を付与することで、製品個々の品質や流通管理を行っている。また、ＩＣタグやＲＦＩＤを製品個々に付与し、無線通信方式によって、効率よく製品の生産から物流、販売に至る総合的な製品管理や製品の紛失防止、盗難防止、偽造防止を実現する技術がある。

しかし、上記製造番号やバーコード、ＱＲコード、あるいはＩＣタグやＲＦＩＤタグを用いる製品の個体管理手法は、これらを製造物個々に対して付与する必要がある。したがって、製品の生産量に比例してコストが膨大になるという課題がある。また、例えば、ネジやボルト等の物理的に小さな金属部品や樹脂製部品等、製品によっては、製造番号やバーコードを直接記入することや、上記タグを装着することができない場合も多い。さらに、バーコード等を物理的に記入することや、タグを付与することが可能な製造物であっても、これらを付与することは、製造物の外観や意匠といったデザインを損ねてしまうという課題がある。

そこで、製品表面の微細凹凸や紋様、素材表面のランダムパターン等といった、同一製造過程で生じる自然発生的な微小な差異を、カメラ等の撮影装置を用いて画像として取得し、その撮影画像から製品個体に固有な特徴量を抽出することで、製品個々の識別や管理を行う手法が提案されている（例えば特許文献３）。

特開２０１５－１２９７５１ 特開２０１８－１５６４４２ ＷＯ２０１８／１００６６９

上述したように物体表面を撮影した画像から表面性状を推定する手法によれば、表面性状を簡便に把握することができる。また、上述したように物体表面を撮影した画像から物体固有の特徴量を抽出する手法によれば、物体の個体を一意に識別する個体識別子を簡便に生成することができる。

しかしながら、物体表面を撮影した画像から表面性状を推定する手法と物体表面を撮影した画像から個体識別子を抽出する手法とは、互いに有機的に関連付けられていなかった。そのため、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録するのは困難であった。

本発明の目的は、上述した課題を解決する表面性状推定システムを提供することにある。

本発明の一形態に係る表面性状推定システムは、
物体の表面の画像を取得する画像取得手段と、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
を備えるように構成されている。

また本発明の他の形態に係る表面性状推定方法は、
物体の表面の画像を取得し、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
前記取得された画像から前記画像に固有の特徴量を抽出し、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
ように構成されている。

また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
物体の表面の画像を取得する処理と、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
を行わせるためのプログラムを記録するように構成されている。

本発明は、上述したような構成を有することにより、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。

本発明の第１の実施形態に係る表面性状推定システムのブロック図である。 本発明の第１の実施形態に係る表面性状推定システムにおける学習動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおけるトレーニングデータ作成部の動作を説明する模式図である。 本発明の第１の実施形態に係る表面性状推定システムにおける登録動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおける登録動作を説明する模式図である。 本発明の第１の実施形態に係る表面性状推定システムにおける照合動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおける照合動作を説明する模式図である。 本発明の第２の実施形態に係る表面性状推定システムにおけるトレーニングデータ作成部のブロック図である。 本発明の第２の実施形態に係る表面性状推定システムにおける対応表の内容の一例を示す図である。 本発明の第２の実施形態に係る表面性状推定システムにおける学習動作の一例を示すフローチャートである。 本発明の第３の実施形態に係る表面性状推定システムのブロック図である。

次に本発明を実施するための形態について詳細に説明する。
［第１の実施形態］
図１は本発明の第１の実施形態に係る表面性状推定システム１００のブロック図である。表面性状推定システム１００は、工業製品などの物体の表面を撮影した画像からその物体の表面性状を推定すると共に物体固有の特徴量を抽出し、両者を関連付けて記録するように構成された情報処理システムである。

表面性状推定システム１００は、主な構成要素として、カメラ１１０と、計測センサ１２０と、通信インターフェース部（以下、通信Ｉ／Ｆ部と記す）１３０と、操作入力部１４０と、画面表示部１５０と、記憶部１６０と、演算処理部１７０とを備えている。

カメラ１１０は、物体の表面の画像を撮像するための撮影手段である。カメラ１１０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えた可視光かつカラーカメラ或いは白黒カメラであってよい。

計測センサ１２０は、物体の表面性状を計測するセンサである。計測センサ１２０としては、触針（接触）走査法、光干渉法、焦点移動による画像合成法、コンフォーカル法（レーザ計測）などの各種の計測センサを使用してよい。

通信Ｉ／Ｆ部１３０は、専用のデータ通信回路から構成され、無線回線などを介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１４０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１７０に出力するように構成されている。画面表示部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１７０からの指示に応じて、照合位置などの各種情報を画面表示するように構成されている。

記憶部１６０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１７０における各種処理に必要な処理情報およびプログラム１６０１を記憶するように構成されている。プログラム１６０１は、演算処理部１７０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれて記憶部１６０に保存される。記憶部１６０に記憶される主な処理情報には、トレーニングデータ１６０２、推定モデル１６０３、画像１６０４、表面性状１６０５、個体識別子１６０６、および、データベース１６０７がある。

トレーニングデータ１６０２は、カメラ１１０によって撮影された物体の表面の画像とその画像が表す表面性状とのペアを複数有する。推定モデル１６０３は、トレーニングデータ１６０２を使用してディープラーニングによる物体認識手法により学習が行われたモデルである。推定モデル１６０３は、画像が入力されると、その画像から推定される表面性状を出力する。

画像１６０４は、カメラ１１０によって撮影された物体の表面の画像である。表面性状１６０５は、推定モデル１６０３によって画像１６０４から推定された表面性状である。個体識別子１６０６は、画像１６０４から抽出された特徴量である。データベース１６０７は、物体の個体識別子と表面性状とを関連付けて記憶するように構成されている。

演算処理部１７０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１６０からプログラム１６０１を読み込んで実行することにより、上記ハードウェアとプログラム１６０１とを協働させて各種処理部を実現するように構成されている。演算処理部１７０で実現される主な処理部には、トレーニングデータ作成部１７０１と学習部１７０２と画像取得部１７０３と推定部１７０４と抽出部１７０５と登録部１７０６と照合部１７０７とがある。

トレーニングデータ作成部１７０１は、物体表面の所定領域をカメラ１１０によって撮影するように構成されている。またトレーニングデータ作成部１７０１は、物体表面の所定領域の表面性状を計測センサ１２０によって計測するように構成されている。またトレーニングデータ作成部１７０１は、カメラ１１０によって撮影した物体表面の所定領域の画像と計測センサ１２０によって計測した物体表面の所定領域の表面性状とからトレーニングデータ１６０２を作成し、記憶部１６０に記憶するように構成されている。

学習部１７０２は、記憶部１６０からトレーニングデータ１６０２を読み込み、読み込んだトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶するように構成されている。学習部１７０２は、例えば畳み込みニューラルネットワーク（ＣＮＮ）上に推定モデル１６０３を構築するように構成されている。

画像取得部１７０３は、物体表面の所定領域をカメラ１１０によって撮影し、その撮影して得られた画像１６０４を記憶部１６０に記憶するように構成されている。

推定部１７０４は、記憶部１６０から推定モデル１６０３と画像１６０４とを読み込み、推定モデル１６０３に画像１６０４を入力し、推定モデル１６０３から出力される表面性状１６０５を記憶部１６０に記憶するように構成されている。

抽出部１７０５は、記憶部１６０から画像１６０４を読み込み、その画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶するように構成されている。画像１６０４からその画像固有の特徴量を抽出する方法としては、公知の任意の方法を使用してよい。例えば、抽出部１７０５は、画像１６０４から、輝度の変化が急峻で、位置が安定して求まる場所を特徴点として１以上決定し、その特徴点周辺の局所的な輝度パターンを特徴量としてデータ化してよい。

登録部１７０６は、記憶部１６０から表面性状１６０５と個体識別子１６０６とを読み出し、それらを関連付けてデータベース１６０７に記憶するように構成されている。

照合部１７０７は、記憶部１６０から個体識別子１６０６を読み込み、その個体識別子１６０６とデータベース１６０７に記憶されている個体識別子とを照合するように構成されている。個体識別子の照合は、公知の任意の方法を使用してよい。例えば、個体識別子が前述した特徴点周辺の局所的な輝度パターンを特徴量としてデータ化したものである場合、照合部１７０７は以下のような方法で照合してよい。先ず、照合部１７０７は、双方の個体識別子から特徴量の差が最小となる特徴点をペアとして求める。次に照合部１７０７は、求めたペア群から、他の特徴点との相対的な位置関係が矛盾しないペア群のみを抽出する。次に照合部１７０７は、両個体識別子から求めた特徴点の数の合計をＮ、幾何的な配置が正しい特徴点ペアの数をｎとし、Ｎに対するｎの割合ｓを両個体識別子の照合スコアとして計算する。最後に照合部１７０７は、照合スコアｓが所定の閾値より高ければ、両個体識別子は同一であると決定し、そうでなければ両個体識別子は相違すると決定する。

また照合部１７０７は、照合結果を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信するように構成されている。例えば照合部１７０７は、上記照合で合致した個体識別子に関連付けて記憶されている表面性状をデータベース１６０７から読み出し、この読み出した表面性状を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信するように構成されている。

次に、表面性状推定システム１００の動作を説明する。表面性状推定システム１００の動作は、学習動作と登録動作と照合動作とに大別される。学習動作では、トレーニングデータ１６０２を作成し、その作成したトレーニングデータ１６０２を使用して推定モデル１６０３を学習する。登録動作では、登録対象となる物体の画像を撮影し、その撮影画像から推定モデル１６０３を使用して表面性状を推定し、また、その撮影画像から個体識別子を抽出し、上記推定した表面性状と上記抽出した個体識別子とを関連付けてデータベース１６０７に登録する。照合動作では、照合対象とする物体の画像を撮影し、その撮影画像から個体識別子を抽出し、抽出した個体識別子とデータベースに登録されている個体識別子とを照合し、その照合結果を出力する。以下、これらの動作の詳細を説明する。

＜学習動作＞
図２は学習動作の一例を示すフローチャートである。図２を参照すると、トレーニングデータ作成部１７０１は、ステップＳ２～Ｓ４を規定回数繰り返す（ステップＳ１、Ｓ５）。規定回数は、必要な量のトレーニングデータが作成される回数以上であれば任意である。例えば、学習用の物体が複数存在する場合、表面性状推定システム１００は、ステップＳ２～Ｓ４を学習用の物体毎に１回以上繰り返す。ステップＳ２では、トレーニングデータ作成部１７０１は、学習用の物体の表面上の所定領域をカメラ１１０によって撮影する。ステップＳ３では、トレーニングデータ作成部１７０１は、上記所定領域の表面性状を計測センサ１２０によって計測する。ステップＳ４では、トレーニングデータ作成部１７０１は、ステップＳ２で取得した画像とステップＳ３で取得した表面性状とを対応付けて１つのトレーニングデータを作成し、記憶部１６０に記憶する。

図３は、トレーニングデータ作成部１７０１の動作を説明する模式図である。図３において、１８１は学習用の物体、１８２は物体１８１の表面に設定された検査領域である。検査領域１８２の形状、サイズ、物体表面上の配置場所は事前に固定されている。以下、物体１８１の表面はほぼ平面であり、検査領域１８２は矩形とする。また、座標系として、検査領域１８２の左下端点を原点とし、長軸方向に平行にＸ軸、短軸方向に平行にＹ軸、ＸＹ平面に垂直にＺ軸をとった直交座標系を定める。但し、検査領域１８２の形状は矩形に限定されず、任意の形状であってよい。また座標系も上述した直交座標系に限定されず、極座標系などであってもよい。

また図３において、１８３はカメラ１１０によって撮影した検査領域１８２のグレースケール画像である。画像１８３はｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図３において、１８４は計測センサ１２０によって計測した検査領域１８２の３次元点群データである。３次元点群データ１８４はｎ×ｍ個の点データＤｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。個々の点データＤｉｊは、物体表面上の点の直交座標系における３次元位置（ｘ，ｙ，ｚ）を表す。個々の点データＤｉｊは、画像１８３の画素Ｇｉｊに１対１に対応している。即ち、点データＤｉｊと画素ＧｉｊのＸ座標値およびＹ座標値は同じである。一方、点データＤｉｊのＺ座標値は、Ｘ座標値およびＹ座標値で特定される検査領域１８２上の点の高さを表している。

図３に示す例では、表面性状として、画像１８３の画素に対応する点の集まりである３次元点群データを使用した。しかし、表面性状は３次元点群データに限定されない。表面性状は、３次元点群データから統計的に導出できる表面粗さなどであってもよい。表面粗さの例としては、算術平均粗さ（Ｒａ）、最大高さ（Ｒｚ）などの表面粗さパラメータがある。あるいは表面性状は、画像１８３の画素に対応する表面形状の法線ベクトルであってもよい。

再び図２を参照すると、学習部１７０２は、トレーニングデータ作成部１７０１によって作成されたトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶する（ステップＳ６）。

＜登録動作＞
図４は登録動作の一例を示すフローチャートである。図４を参照すると、画像取得部１７０３は、登録対象の物体の表面における検査領域をカメラ１１０によって撮影し、その得られた画像１６０４を記憶部１６０に記憶する（ステップＳ１１）。次に推定部１７０４は、画像取得部１７０３によって取得された画像１６０４を学習済みの推定モデル１６０３に入力し、推定モデル１６０３から出力される表面性状１６０５を記憶部１６０に記憶する（ステップＳ１２）。次に抽出部１７０５は、画像取得部１７０３によって取得された画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶する（ステップＳ１３）。次に登録部１７０６は、推定部１７０４によって推定された表面性状１６０５と抽出部１７０５によって抽出された個体識別子１６０６とを関連付けてデータベース１６０７に記憶する（ステップＳ１４）。登録対象の物体が複数存在する場合、表面性状推定システム１００は、以上説明した動作と同じ動作を登録対象の物体の数だけ繰り返す。

図５は、登録動作を説明する模式図である。図５において、１８５は登録対象の物体、１８６は物体１８５の表面に設定された検査領域である。検査領域１８６の形状、サイズ、物体表面上の配置場所は学習時と同じである。また図５において、１８７はカメラ１１０によって撮影した検査領域１８６のグレースケール画像である。画像１８７は学習時と同じｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図５において、１８８は推定モデル１６０３を使用して画像１８６から推定した検査領域１８６の表面性状である。表面性状１８８は学習時と同じｎ×ｍ個の点データＤｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。また図５において、１８９は抽出部１７０５によって画像１８７から抽出された個体識別子である。この個体識別子１８９と表面性状１８８は、図５に示すように対応付けてデータベース１６０７に登録される。

＜照合動作＞
図６は照合動作の一例を示すフローチャートである。図６を参照すると、画像取得部１７０３は、照合対象の物体の表面における検査領域をカメラ１１０によって撮影し、その得られた画像１６０４を記憶部１６０に記憶する（ステップＳ２１）。次に抽出部１７０５は、画像取得部１７０３によって取得された画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶する（ステップＳ２２）。次に照合部１７０７は、抽出部１７０５によって抽出された個体識別子１６０６とデータベース１６０７に記憶されている個体識別子とを照合する（ステップＳ２３）。次に照合部１７０７は、照合結果を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信する（ステップＳ２４）。

図７は、照合動作を説明する模式図である。図７において、１９０は照合対象の物体、１９１は物体１９０の表面に設定された検査領域である。検査領域１９１の形状、サイズ、物体表面上の配置場所は学習時および登録時と同じである。また図７において、１９２はカメラ１１０によって撮影した検査領域１９１のグレースケール画像である。画像１９２は学習時および登録時と同じｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図７において、１９３は抽出部１７０５によって画像１９２から抽出された個体識別子である。この個体識別子１９３がデータベース１６０７に記憶されている全ての個体識別子と照合される。その照合の結果、例えば個体識別子１９３がデータベース１６０７に記憶されている個体識別子１８９と合致した場合、物体１９０は正規に登録されている物体である旨の照合結果が出力される。その際、個体識別子１８９に対応付けて記憶されている表面性状１８８がデータベース１６０７から読み出され、照合結果と共に出力される。一方、個体識別子１９３がデータベース１６０７に記憶されている何れの個体識別子にも合致しない場合、物体１９０は偽造品である旨の照合結果が出力される。

このように本実施形態に係る表面性状推定システム１００によれば、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。その理由は、物体の表面の画像１６０４を取得する画像取得部１７０３と、学習済みの推定モデル１６０３を用いて画像１６０４から表面性状１６０５を推定する推定部１７０４と、画像１６０４からその画像に固有の特徴量である個体識別子１６０６を抽出する抽出部１７０５と、推定された表面性状１６０５と抽出された個体識別子１６０６とを関連付けてデータベース１６０７に記憶する登録部１７０６とを備えているためである。

また本実施形態によれば、個体識別子を用いた照合時、正規に登録されている物体であれば、登録時に関連付けてデータベース１６０７に記憶された表面性状を取り出して出力することができる。これによって、正規品の照合時に登録時の表面性状を画像として簡便に確認することができる。

［第２の実施形態］
次に本発明の第２の実施形態に係る表面性状推定システム２００について説明する。表面性状推定システム２００は、図１を参照して説明した表面性状推定システム１００と比較して、トレーニングデータ作成部１７０１の構成が相違し、それ以外は表面性状推定システム１００と同じである。

図８は、表面性状推定システム２００におけるトレーニングデータ作成部１７０１のブロック図である。図８を参照すると、トレーニングデータ作成部１７０１は、計測部１７０１１と対応表１７０１２と撮影条件取得部１７０１３と撮影部１７０１４と生成部１７０１５とを備えている。

計測部１７０１１は、物体表面の所定領域の表面性状を計測センサ１２０によって計測するように構成されている。本例では、表面性状は３次元点群データである。

対応表１７０１２は、物体の表面性状と撮影条件とを関連付けて記録するデータベースである。図９は対応表１７０１２の内容の一例を示す。この例では、対応表１７０１２は複数のエントリから構成され、各エントリは表面性状欄と撮影条件欄とを有する。表面性状がｍ種類存在する場合、撮影条件データベース１１５３はｍエントリから構成され、各エントリは物品の表面性状の種類に１対１に対応する。本例では、各エントリに記憶される表面性状は３次元点群データである。

また対応表１７０１２の撮影条件欄には、表面性状で特定される物体表面の３次元形状をコントラスト良く撮影するのに適した撮影条件を特定する撮影条件Ｐ１などが記録される。撮影条件としては、例えば、照明角度がある。照明角度は、照明光が物体の表面に入射する角度である。また撮影条件の他の例として、画像解像度がある。画像解像度は、例えばＤＰＩ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）で表される。また画像解像度と撮影倍率とには一定の因果関係があるため、画像解像度の代わりに撮影倍率を使用してもよい。但し、撮影条件は上記の例に限定されない。物体とカメラとの距離、照明光の強度、照明光の波長、照明の大きさなどが、撮影条件の他の例である。撮影条件Ｐ１などで特定する撮影条件は、上記例示した撮影条件のうちの何れか１つ、或いは複数を特定するものであってよい。撮影条件は、表面性状の種類ごとに事前に学習しておくことが望ましい。

撮影条件取得部１７０１３は、計測部１７０１１によって計測された物体の表面性状に基づいて、その物体の撮影条件を対応表１７０１２から取得するように構成されている。具体的には、撮影条件取得部１７０１３は、計測された物体の表面性状と対応表１７０１２の各エントリに記録されている表面性状との近似度を算出する。表面性状間の近似度を計算する方法は、情報間の近似度を定量的に比較し得るものであれば如何なるものであってもよい。次に撮影条件取得部１７０１３は、計測された表面性状との間の近似度が最も大きい（最も近似している）表面性状に対応して記録されている撮影条件を対応表１７０１２から取得する。次に撮影条件取得部１７０１３は、取得した撮影条件を画面表示部１５０に表示してオペレータに提示する。これによって撮影を行うオペレータは、物体表面を撮影するための撮影条件を容易に認識することができるようになる。この例では、撮影条件取得部１７０１３は、取得した撮影条件を画面表示部１５０の表示画面に表示するように構成されている。しかし、撮影条件取得部１７０１３は、取得した撮影条件に合致する撮影環境を自動的に設定するように構成されていてもよい。

撮影部１７０１４は、上記撮影条件の下で、物体表面の所定領域をカメラ１１０によって撮影するように構成されている。

生成部１７０１５は、撮影部１７０１４によって撮影された物体表面の所定領域の画像と計測部１７０１１によって計測された物体表面の所定領域の表面性状とからトレーニングデータ１６０２を作成し、記憶部１６０に記憶するように構成されている。

次に、表面性状推定システム２００の動作を説明する。表面性状推定システム２００の動作は、学習動作と登録動作と照合動作とに大別される。そのうち、登録動作と照合動作は、第１の実施形態に係る表面性状推定システム１００と同じである。以下、学習動作の詳細を説明する。

＜学習動作＞
図１０は表面性状推定システム２００の学習動作の一例を示すフローチャートである。図１０を参照すると、トレーニングデータ作成部１７０１は、ステップＳ３２～Ｓ３５を規定回数繰り返す（ステップＳ３１、Ｓ３６）。規定回数は、必要な量のトレーニングデータが作成される回数以上であれば任意である。例えば、学習用の物体が複数存在する場合、表面性状推定システム２００は、ステップＳ３２～Ｓ３５を学習用の物体毎に１回以上繰り返す。ステップＳ３２では、トレーニングデータ作成部１７０１は、学習用の物体の表面上の所定領域の表面性状を計測センサ１２０によって計測する。ステップＳ３３では、トレーニングデータ作成部１７０１は、ステップＳ３２で計測された表面性状に近似する表面性状に対応付けて記憶されている撮影条件を対応表１７０１２から取得する。ステップＳ３４では、トレーニングデータ作成部１７０１は、上記取得した撮影条件で決定される撮影環境の下で、学習用の物体の表面上の所定領域をカメラ１１０によって撮影する。ステップＳ３５では、トレーニングデータ作成部１７０１は、ステップＳ３４で取得した画像とステップＳ３２で取得した表面性状とを対応付けて１つのトレーニングデータを作成し、記憶部１６０に記憶する。

その後、第１の実施形態と同様に、学習部１７０２は、トレーニングデータ作成部１７０１によって作成されたトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶する（ステップＳ３７）。

このように本実施形態によれば、学習用の物体の表面の３次元形状をコントラスト良く撮影することができる。その理由は、トレーニングデータ作成部１７０１は、計測センサ１２０を用いて物体の表面の表面性状を計測し、この計測された表面性状に近似する表面性状に対応付けて記録されている撮影条件を対応表１７０１２から取得し、その取得した撮影条件の下で物体の表面の画像を撮影するためである。

このように本実施形態によれば、学習用の物体の表面の３次元形状をコントラスト良く撮影できるため、その撮影された物体表面の画像と計測された表面性状とから構成されるトレーニングデータの質が向上し、延いては推定モデル１６０３の推定精度が向上する。

以上の説明では、対応表１７０１２の各エントリの物体の表面性状欄には、物体表面の３次元点群データを記憶した。しかし、対応表１７０１２の各エントリの表面性状欄には、３次元点群データでなく、３次元点群データから統計的に算出できる表面粗さのパラメータ（例えばＲａ）を記録するようにしてもよい。対応表１７０１２に表面粗さのパラメータと撮影条件との対応が記録されている場合、撮影条件取得部１７０１３は、計測部１７０１１によって計測された学習用物体の３次元点群データから表面粗さのパラメータを算出し、その算出した表面粗さのパラメータに近似する表面粗さのパラメータに対応する撮影条件を対応表１７０１２から取得するように構成してよい。なお、計測部１７０１１によって計測される学習用物体の表面性状がそもそも表面粗さのパラメータであれば、上述したような算出は不要である。

また対応表１７０１２の各エントリの表面性状欄には、表面性状以外の、他の物体表面を特徴付ける情報を記録するようにしてもよい。他の物体の表面を特徴付ける情報の例は、物体表面の素材を表現する情報である。例えば、金属、セラミック、樹脂、炭素繊維、ガラス、紙、木材、鉄鋼などが素材を表現する情報の例である。物体の表面を特徴付ける情報の更に他の1つの例は、撮影画像中の物体（個体識別対象）の形状である。形状の例には、平面（矩形）、多角形、円、リング（ドーナツ形状）などがある。形状は、撮影対象の面の２次元的な形であるとも言える。また、形状は、特徴量を抽出する物体表面の画像領域の形状であるとも言える。他の物体の表面を特徴付けるデータの他の例は、物体の表面の反射率、透過率、光物性、梨地加工・旋盤加工などの加工方法などがある。このように他の物体の表面を特徴付ける情報が対応表に存在する場合、撮影条件取得部１７０１３は、操作入力部１４０を通じてオペレータから入力した学習用物体に係る当該他の物体の表面を特徴付ける情報をも考慮して、対応表から撮影条件を取得するようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について図１１を参照して説明する。図１１は、本実施形態に係る表面性状推定システム３００のブロック図である。

図１１に示すように、本実施形態に係る表面性状推定システム３００は、画像取得部３０１と推定部３０２と抽出部３０３と登録部３０４とを含んで構成されている。

画像取得部３０１は、物体の表面の画像を取得するように構成されている。画像取得部３０１は、例えば図１の画像取得部１７０３と同様に構成することができるが、それに限定されない。

推定部３０２は、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定するように構成されている。推定部３０２は、例えば図１の推定部１７０４と同様に構成することができるが、それに限定されない。

抽出部３０３は、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出するように構成されている。抽出部３０３は、例えば図１の抽出部１７０５と同様に構成することができるが、それに限定されない。

登録部３０４は、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶するように構成されている。登録部３０４は、例えば図１の登録部１７０６と同様に構成することができるが、それに限定されない。

このように構成された表面性状推定システム３００は、以下のように動作する。即ち、画像取得部３０１は、物体の表面の画像を取得する。次に推定部３０２は、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定する。次に抽出部３０３は、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出する。次に登録部３０４は、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶する。

このように本実施形態によれば、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。その理由は、物体の表面の画像を取得する画像取得部３０１と、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定する推定部３０２と、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出する抽出部３０３と、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶する登録部３０４とを備えているためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば以下のような構成も本発明に含まれる。

本発明は、工業製品などの物体の表面性状を計測して物体識別子と対応付けて記録するシステム全般に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
物体の表面の画像を取得する画像取得手段と、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
を備える表面性状推定システム。
［付記２］
トレーニングデータ生成手段を、さらに備え、
前記トレーニングデータ生成手段は、
計測センサを用いて物体の表面性状を計測する計測手段と、
表面性状と撮影条件とを関連付ける対応表と、
前記計測された表面性状と前記対応表に記録されている表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得する撮影条件取得手段と、
前記取得された撮影条件の下で物体の表面の画像を撮影する撮影手段と、
前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する生成手段と、を備える、
付記１に記載の表面性状推定システム。
［付記３］
前記抽出された特徴量と前記記憶手段に記憶された特徴量とを照合し、前記抽出された特徴量に合致する特徴量に関連付けて前記記憶手段に記憶されている表面性状を出力する照合手段を、さらに備える、
付記１または２に記載の表面性状推定システム。
［付記４］
前記表面性状は、３次元点群データである、
付記１乃至３の何れかに記載の表面性状推定システム。
［付記５］
前記表面性状は、表面粗さのパラメータである、
付記１乃至３の何れかに記載の表面性状推定システム。
［付記６］
物体の表面の画像を取得し、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
前記取得された画像から前記画像に固有の特徴量を抽出し、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
表面性状推定方法。
［付記７］
前記トレーニングデータの生成では、
計測センサを用いて物体の表面性状を計測し、
表面性状と撮影条件とを関連付ける対応表に記録されている表面性状と前記計測された表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得し、
前記取得された撮影条件の下で物体の表面の画像を撮影し、
前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する、
付記６に記載の表面性状推定方法。
［付記８］
コンピュータに、
物体の表面の画像を取得する処理と、
物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００…表面性状推定システム
１１０…カメラ
１２０…計測センサ
１３０…通信Ｉ／Ｆ部
１４０…操作入力部
１５０…画面表示部
１６０…記憶部
１６０１…プログラム
１６０２…トレーニングデータ
１６０３…推定モデル
１６０４…画像
１６０５…表面性状
１６０６…個体識別子
１６０７…データベース
１７０…演算処理部
１７０１…トレーニングデータ作成部
１７０１１…計測部
１７０１２…対応表
１７０１３…撮影条件取得部
１７０１４…撮影部
１７０１５…生成部
１７０２…学習部
１７０３…画像取得部
１７０４…推定部
１７０５…抽出部
１７０６…登録部
１７０７…照合部
１８１…物体
１８２…検査領域
１８３…画像
１８４…表面性状
１８５…物体
１８６…検査領域
１８７…画像
１８８…表面性状
１８９…個体識別子
１９０…物体
１９１…検査領域
１９２…画像
１９３…個体識別子
２００…表面性状推定システム
３００…表面性状推定システム
３０１…画像取得部
３０２…推定部
３０３…抽出部
３０４…登録部

Claims (8)

1. 物体の表面の画像を取得する画像取得手段と、
   物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
   前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
   前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
   を備える表面性状推定システム。
2. トレーニングデータ生成手段を、さらに備え、
   前記トレーニングデータ生成手段は、
   計測センサを用いて物体の表面性状を計測する計測手段と、
   表面性状と撮影条件とを関連付ける対応表と、
   前記計測された表面性状と前記対応表に記録されている表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得する撮影条件取得手段と、
   前記取得された撮影条件の下で物体の表面の画像を撮影する撮影手段と、
   前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する生成手段と、を備える、
   請求項１に記載の表面性状推定システム。
3. 前記抽出された特徴量と前記記憶手段に記憶された特徴量とを照合し、前記抽出された特徴量に合致する特徴量に関連付けて前記記憶手段に記憶されている表面性状を出力する照合手段を、さらに備える、
   請求項１または２に記載の表面性状推定システム。
4. 前記表面性状は、３次元点群データである、
   請求項１乃至３の何れかに記載の表面性状推定システム。
5. 前記表面性状は、表面粗さのパラメータである、
   請求項１乃至３の何れかに記載の表面性状推定システム。
6. 物体の表面の画像を取得し、
   物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
   前記取得された画像から前記画像に固有の特徴量を抽出し、
   前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
   表面性状推定方法。
7. 前記トレーニングデータの生成では、
   計測センサを用いて物体の表面性状を計測し、
   表面性状と撮影条件とを関連付ける対応表に記録されている表面性状と前記計測された表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得し、
   前記取得された撮影条件の下で物体の表面の画像を撮影し、
   前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する、
   請求項６に記載の表面性状推定方法。
8. コンピュータに、
   物体の表面の画像を取得する処理と、
   物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
   前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
   前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
   を行わせるためのプログラム。

Images