JP2024035922A - 表面検査装置 - Google Patents

Abstract

【課題】被検体の表面状態の定量評価を、検査員による結果のばらつきなく安定して行うことができる表面検査装置を提供する。
【解決手段】被検体の表面の凹凸の分布状態を定量評価する表面検査装置は、被検体の表面の画像を取得する画像取得部と、取得した画像を複数の小領域に分割する領域分割部と、小領域における凹凸状態の凸部らしさおよび凹部らしさを学習した学習モデルに基づいて、小領域の各画素の画素値を、当該画素の凸部らしさまたは凹部らしさを示す数値データに変換する数値化処理部と、を備える。
【選択図】図５

Description

本発明は、例えばきさげ加工等の加工が施された被検体の表面状態の定量評価を行う表面検査装置に関する。

工作機械の摺動面には、平面度の確保、油溜まりの確保を目的としてきさげ加工が施される。きさげ加工とは、スクレーパー等の工具を用いて、鋳物等の表面を平らに仕上げる金属加工法である。きさげ加工によって形成された面はきさげ面と呼ばれる。きさげ面は、平面度、当たり面の割合、単位面積毎の当たりの数が主な評価基準となっている。このうち、当たり面の割合と単位面積毎の当たりの数は、検査員の目視検査で判断されており、属人性が高くなっている。

このような問題を解決するために、例えば、画像分析を用いて、きさげ面を当たり部と非当たり部とに識別した２値画像を生成することによって、きさげ面の品質を定量評価する方法が提案されている（例えば非特許文献１）。

堤博貴、山形敬登、磯部浩巳、福田勝巳："きさげ面の坪当たり計測のための簡易型画像計測システムの開発"、２０１３年度精密工学会春季大会学術講演会講演論文集、ｐｐ．４９－５０、２０１３

非特許文献１のシステムでは、当たり部と非当たり部とを識別した２値画像を生成する際のしきい値の設定が難しく、より安定して定量評価が可能なシステムの実現が求められていた。

本発明は上記に鑑みてなされたものであって、被検体の表面状態の定量評価を、検査員による結果のばらつきなく安定して行うことができる表面検査装置を提供することを目的とする。

上記した課題を解決し、目的を達成するために、本発明に係る表面検査装置は、被検体の表面の凹凸の分布状態を定量評価する表面検査装置であって、前記被検体の表面の画像を取得する画像取得部と、取得した前記画像を複数の小領域に分割する領域分割部と、前記小領域における凹凸状態の凸部らしさおよび凹部らしさを学習した学習モデルに基づいて、前記小領域の各画素の画素値を、当該画素の凸部らしさまたは凹部らしさを示す数値データに変換する数値化処理部と、を備えることを特徴とする。

本発明に係る表面検査装置は、被検体の表面検査を、検査員による結果のばらつきなく安定して行うことができるという効果を奏する。

図１は、実施形態の表面検査装置の概略構成を示す模式図である。 図２は、実施形態の表面検査装置が備える携帯端末のハードウエア構成の一例を示すハードウエアブロック図である。 図３は、表面検査装置が行う画像処理の内容を説明する図である。 図４は、表面検査装置が有する学習モデルの一例を示す図である。 図５は、実施形態の表面検査装置の機能構成の一例を示す機能ブロック図である。 図６は、実施形態の表面検査装置が行う処理の流れの一例を示すフローチャートである。

以下に、本開示に係る表面検査装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能、且つ、容易に想到できるもの、或いは実質的に同一のものが含まれる。

（実施の形態）
本開示の実施の形態は、例えば、きさげ面のように、作業員の手作業で加工された被検体１２の表面状態を定量的の評価する表面検査装置１０の例である。

（表面検査装置の概略構成）
図１を用いて、表面検査装置１０の概略構成を説明する。図１は、実施形態の表面検査装置の概略構成を示す模式図である。

本実施の形態に係る表面検査装置１０は、携帯端末１８に内蔵されて、カメラ２０が撮影した被検体１２の表面の画像を画像分析することによって、被検体１２の表面状態を定量評価する。

表面検査装置１０が内蔵された携帯端末１８は、例えばタブレット端末である。携帯端末１８は、カメラ２０と表示デバイス３４とを備える。カメラ２０は、携帯端末１８の表示デバイス３４の裏面側に設置されて、検査員２２の操作指示を受けて画像を撮影する。

表示デバイス３４は、カメラ２０が撮影した画像や、表面検査装置１０による評価結果等を表示する。表示デバイス３４は、例えば液晶ディスプレイや有機ＥＬディスプレイである。

被検体１２は、照明１６で照明された状態で、カメラ２０で撮影される。照明１６は、例えば白熱電球やＬＥＤ等であるが、例えば直流点灯が可能で、フリッカー（ちらつき）のない状態で連続点灯できるものが望ましい。なお、点灯した際にフリッカーが生じる場合は、カメラ２０が、フリッカーを低減した状態で画像入力する機能を有するのが望ましい。

被検体１２の近傍には、タグ１４が貼付されており、カメラ２０は、被検体１２とタグ１４とが同じ画像に写るように撮影を行う。

タグ１４は２次元コードやバーコード等であるが、これらに限定されるものではない。タグ１４は、予め決められた形状と大きさを有する。タグ１４には、被検体１２を一意に特定する識別情報と、検査員２２を一意に特定する識別情報とが登録されている。なお、タグ１４は、本開示におけるマーカの一例である。

（表面検査装置のハードウエア構成）
図２を用いて、表面検査装置１０のハードウエア構成を説明する。図２は、実施形態の表面検査装置が備える携帯端末のハードウエア構成の一例を示すハードウエアブロック図である。

表面検査装置１０（携帯端末１８）は、各部を制御するための制御部３１を備える。制御部３１は、ＣＰＵ（Central Processing Unit）３１ａと、ＲＯＭ（Read Only Memory）３１ｂと、ＲＡＭ（Random Access Memory）３１ｃとを備える。ＣＰＵ３１ａは、アドレスバス、データバス等の内部バス３３を介して、ＲＯＭ３１ｂと、ＲＡＭ３１ｃと接続する。ＣＰＵ３１ａは、ＲＯＭ３１ｂや記憶部３２に記憶された各種プログラムや各種データを、ＲＡＭ３１ｃに展開する。ＣＰＵ３１ａは、ＲＡＭ３１ｃに展開された各種プログラムに従って動作することで、表面検査装置１０の各部を制御する。即ち、制御部３１は、一般的なコンピュータの構成を有する。

制御部３１は、内部バス３３を介して、記憶部３２と、表示デバイス３４と、操作デバイス３５と、カメラコントローラ３６と、通信コントローラ３７と接続する。

記憶部３２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。また、記憶部３２は、電源を切っても記憶情報が保持されるフラッシュメモリ等の不揮発性メモリであってもよい。記憶部３２は、制御プログラム３２ａと、学習データ３２ｂと、評価データ３２ｃとを記憶する。また、記憶部３２は、カメラ２０が撮影した入力画像Ｉ（ｘ，ｙ）（図３参照）や分割画像Ｊ（ｘ，ｙ）（図３参照）等の処理中の画像データを記憶する。

制御プログラム３２ａは、表面検査装置１０の全体の動作を制御するプログラムである。

学習データ３２ｂは、複数の被検体１２に対して、当該被検体１２の表面を撮影した画像と、被検体１２の凸部らしさ、または凹部らしさとの関係を学習した学習モデルを有する。学習モデルは、例えばニューラルネットワークで記述される。詳しくは後述する（図４参照）。

評価データ３２ｃは、被検体１２の表面を撮影した画像に対して、学習データ３２ｂを作用させることによって、被検体１２の単位面積当たりの凸部の割合や凸部の数を定量化した結果を示すデータである。なお、評価データ３２ｃは、被検体１２の単位面積当たりの凹部の割合や凹部の数を定量化したものであってもよい。また、評価データ３２ｃは、タグ１４に登録された情報や、いずれも後述する入力画像Ｉ（ｘ，ｙ）や、評価結果を示す評価画像Ｋ（ｘ，ｙ）や２値画像Ｌ（ｘ，ｙ）を含んでもよい。

表示デバイス３４は、制御部３１の指示によって生成された各種画面を表示する。表示デバイス３４は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）等のデバイスで構成される。

操作デバイス３５は、操作者の入力操作を取得して制御部３１に送信する。操作デバイス３５は、例えばタッチパネル等のデバイスで構成される。

カメラコントローラ３６は、制御部３１からの指令に応じて、カメラ２０の動作を制御するコントローラである。

通信コントローラ３７は、制御部３１からの指令によって、表面検査装置１０（携帯端末１８）と非図示のサーバ装置等との通信を制御するコントローラである。表面検査装置１０（携帯端末１８）は、所定のタイミングで、自身が取得した被検体１２の評価結果等の情報を、サーバ装置に送信する。サーバ装置は、複数の表面検査装置１０から送信された被検体１２の評価結果を集約して管理する。

（表面検査装置が行う画像処理）
図３を用いて、表面検査装置１０が行う画像処理の内容を説明する。図３は、表面検査装置が行う画像処理の内容を説明する図である。

図３に示す入力画像Ｉ（ｘ，ｙ）は、カメラ２０が撮影した画像の一例である。入力画像Ｉ（ｘ，ｙ）には、被検体１２とタグ１４とが写っている。なお、被検体１２とタグ１４とは、予め同じ向きを向くように貼付されているものとする。

表面検査装置１０は、検査員２２が、画像を撮影する指示を与えたことを検知した際に、カメラ２０で入力画像I（ｘ，ｙ）を撮影するが、このとき、タグ１４が水平に写っていることを条件として撮影を行う。なお、このとき、更にカメラ２０と被検体１２との距離を測定して、タグ１４が水平に写って、尚且つカメラ２０と被検体１２との距離が所定の範囲である場合にのみ、入力画像I（ｘ，ｙ）を取得するようにしてもよい。カメラ２０と被検体１２との距離が所定の範囲であるかは、例えば、入力画像I（ｘ，ｙ）に写るタグ１４の大きさによって判断することができる。

このように、入力画像Ｉ（ｘ，ｙ）における被検体１２の向きを規定するのは、入力画像Ｉ（ｘ，ｙ）に写る被検体１２の向きが常に同じになるようにして、被検体１２の向きの違いによる評価結果のばらつきを防止するためである。

表面検査装置１０は、撮影した入力画像Ｉ（ｘ，ｙ）に写った被検体１２の表面状態を評価するために、まず、入力画像Ｉ（ｘ，ｙ）を、所定のサイズに領域分割する。具体的には、表面検査装置１０は、入力画像Ｉ（ｘ，ｙ）の中から被検体１２の領域のみを抽出して、抽出された被検体１２の領域を、タグ１４と同じサイズに、縦横に分割する。例えば、きさげ面の評価を、縦横１インチの領域を基準に行う場合は、縦横１インチのサイズのタグ１４を、被検体の近傍に貼付しておく。なお、入力画像Ｉ（ｘ，ｙ）の中から、被検体１２の領域のみを抽出する処理は、例えば、被検体１２を載置する台の色や明るさを被検体１２とは異なる色や明るさにしておくことによって、入力画像Ｉ（ｘ，ｙ）の色や明るさを分析することによって行うことができる。また、入力画像Ｉ（ｘ，ｙ）の中から、タグ１４の領域を抽出する処理は、例えば、一般に広く利用されている２次元コードの読み取りアプリケーションが、２次元コードを読み取る前に、タグ１４の領域を特定する処理として行われる。

被検体１２の領域をタグ１４のサイズに分割することによって、図３に示す分割画像Ｊ（ｘ，ｙ）が得られる。分割画像Ｊ（ｘ，ｙ）は、例えば、縦１２８画素、横１２８画素に標本化されて、各画素８ビット（即ち、画素値は０から２５５のいずれかの値をとる）に量子化された画像である。なお、分割画像Ｊ（ｘ，ｙ）のサイズは一例であって、縦１２８画素、横１２８画素に限定されるものではない。

表面検査装置１０は、分割画像Ｊ（ｘ，ｙ）の注目する画素毎に、当該画素の周辺の複数の画素の画素値の分布状態に基づいて、予め決められた規則に基づいて、後述する特徴マップＭ（図４参照）を生成する。表面検査装置１０は、特徴マップＭが有する複数の特徴値を、後述するネットワークＮ（図４参照）に入力する。ネットワークＮは、与えられた複数の分割画像Ｊ（ｘ，ｙ）によって、着目する画素の凸部らしさ（当たり部らしさ）、または凹部らしさ（非当たり部らしさ）に対応する数値を出力するように学習されたネットワークである。なお、ネットワークＮの構造について、詳しくは後述する。

分割画像Ｊ（ｘ，ｙ）の各画素に対してネットワークＮを作用させることによって、例えば、図３に示す評価画像Ｋ（ｘ，ｙ）が得られる。評価画像Ｋ（ｘ，ｙ）は、分割画像Ｊ（ｘ，ｙ）と同じサイズの画像であり、ネットワークＮが出力した凸部らしさに対応する画素値を有する。ここでは、一例として、凸部らしさは、０．０（最も凸部らしくない）から１．０（最も凸部らしい）の間の値をとるものとする。なお、評価画像Ｋ（ｘ，ｙ）は、凹部らしさに対応する画素値を格納する画像であってもよい。その場合、評価画像Ｋ（ｘ，ｙ）には、０．０（最も凹部らしくない）から１．０（最も凹部らしい）の間の値が格納される。

表面検査装置１０は、評価画像Ｋ（ｘ，ｙ）を、所定の閾値で２値化することによって、例えば、凸部、即ち当たり部を黒（画素値０）、凹部、即ち非当たり部を白（画素値２５５）とする２値画像Ｌ（ｘ，ｙ）を生成する。２値化の閾値は任意に設定してよいが、例えば０．５（凸部らしさ、即ち当たり部らしさが５０％）に設定される。なお、画素値に０．０から１．０の値が格納されている評価画像Ｋ（ｘ，ｙ）を、そのまま２値化してもよいし、評価画像Ｋ（ｘ，ｙ）の画素値を０から２５５の間の値に変換した後で２値化してもよい。また、表面検査装置１０は、凸部、即ち当たり部が白（画素値２５５）、凹部、即ち非当たり部が黒（画素値０）の２値画像Ｌ（ｘ，ｙ）を生成してもよい。

このようにして生成された２値画像Ｌ（ｘ，ｙ）における、凸部を構成する画素の総画素数を算出することによって、表面検査装置１０は、分割画像Ｊ（ｘ，ｙ）における凸部（当たり部）の面積割合を算出する。また、表面検査装置１０は、凸部の数を算出する。凸部の数は、被検体１２の単位面積当たりの当たりの数を表す。そして、表面検査装置１０は、被検体１２における分割画像Ｊ（ｘ，ｙ）の位置を特定する情報（例えば、左からＡ番目、上からＢ番目等の位置を特定する情報）と、算出された２値画像Ｌ（ｘ，ｙ）と、凸部の面積割合と、凸部の数と、読み取ったタグ１４の情報とを関連付けて、評価データ３２ｃ（図２参照）に記憶する。なお、評価データ３２ｃは、検査員２２の指示を受けて、複数の被検体１２の評価結果を管理するサーバ装置に送信される。

表面検査装置１０は、全ての分割画像Ｊ（ｘ，ｙ）に対して、同様の処理を行う。

（学習モデルの構造）
図４を用いて、表面検査装置１０が、分割画像Ｊ（ｘ，ｙ）の着目する画素の凸部らしさ、または凹部らしさを算出する学習モデルの構造を説明する。図４は、表面検査装置が有する学習モデルの一例を示す図である。

学習モデルは、ネットワークＮによって記述される。ネットワークＮは、いわゆるＣＮＮ（Convolutional Neural Network）を形成する。ネットワークＮは、入力層Ｌ１と中間層Ｌ２と出力層Ｌ３の３層構造のニューラルネットワークを形成する。入力層Ｌ１には、分割画像Ｊ（ｘ，ｙ）が有する画素値に係る情報が入力される。中間層Ｌ２は、入力層Ｌ１の複数の出力の積和演算（畳み込み）を行うことによって、入力層Ｌ１に入力された値の特徴をより明確にする。出力層Ｌ３は、中間層Ｌ２の複数の出力に対して、情報圧縮の操作であるプーリング処理（Pooling）を行うことによって、被検体１２の凸部らしさ（当たり部らしさ）を表す数値（例えば０から１の間の数値、１が最も凸部らしい）と、凹部らしさ（非当たり部らしさ）を表す数値（例えば０から１の間の数値、１が最も凹部らしい）とを出力する。

ネットワークＮの入力層Ｌ１と中間層Ｌ２とを接続する複数のリンク、および中間層Ｌ２と出力層Ｌ３とを接続する複数のリンクには、それぞれ異なる重み係数が付与される。重み係数の値は、ネットワークＮの学習を繰り返すことによって決定される。学習は、複数の被検体１２から取得した分割画像Ｊ（ｘ，ｙ）をネットワークＮに入力した際に得られる凸部らしさ、凹部らしさについて、学習を行うオペレータが正解を指示することによって行う。このような学習を繰り返し実行することによって、与えられた正解に近い値を出力するように、各リンクに付与される重み係数の値が調整される。このような学習を行うことによって、ネットワークＮは、被検体１２の表面の明るさの分布を、凸部の領域と凹部の領域とに識別する規則を学習する。そして、ネットワークＮ（学習モデル）は、被検体１２の表面の分割画像Ｊ（ｘ，ｙ）と、当該分割画像Ｊ（ｘ，ｙ）における凸部と凹部とを識別した結果と、を関連付けることができる。

入力層Ｌ１は、複数のノード（ノード６０ａ、ノード６０ｂ、…ノード６０ｎ）を有する。各ノードには、分割画像Ｊ（ｘ，ｙ）の着目している画素およびその近傍の画素の画素値に係る値が入力される。

本実施形態では、分割画像Ｊ（ｘ，ｙ）の着目している画素Ｐ（ａ，ｂ）の画素値と、画素Ｐ（ａ，ｂ）の近傍の画素値とから算出した複数の特徴量が、入力層Ｌ１に入力されるものとする。より具体的には、図４に示すように、分割画像Ｊ（ｘ，ｙ）の画素Ｐ（ａ，ｂ）の画素値と、画素Ｐ（ａ，ｂ）の近傍の画素の画素値とから算出された複数の特徴量が、入力層Ｌ１の各ノード（ノード６０ａ、ノード６０ｂ、…ノード６０ｎ）に入力される。複数の特徴量とは、例えば、分割画像Ｊ（ｘ，ｙ）を平滑化した値、分割画像Ｊ（ｘ，ｙ）に所定のサイズのカーネルを作用させて、近傍画素の最大値または最小値を算出した結果、分割画像Ｊ（ｘ，ｙ）に所定のサイズのカーネルを作用させて算出したエッジ強度等の、画像の局所特徴量である。どのような局所特徴量を用いるかは、被検体１２の種類やきさげの特徴等に基づいて、適宜決定すればよい。算出された複数の局所特徴量は、図４に示す特徴マップＭを形成する。そして、特徴マップＭに格納された、画素Ｐ（ａ，ｂ）における画像の局所特徴量が、それぞれ、ノード６０ａ、ノード６０ｂ、…ノード６０ｎに入力される。

中間層Ｌ２は、複数のノード（ノード７０ａ、ノード７０ｂ、…ノード７０ｍ）を有する。中間層Ｌ２が有するノードは、いずれも、入力層Ｌ１の全てのノードと接続される。

出力層Ｌ３は、複数のノード（ノード８０ａ、ノード８０ｂ）を有する。出力層Ｌ３が有するノードは、いずれも、中間層Ｌ２の全てのノードと接続される。ノード８０ａは、被検体１２の凸部らしさを表す数値を出力する。ノード８０ｂは、被検体１２の凹部らしさを表す数値を出力する。

なお、図４において、分割画像Ｊ（ｘ，ｙ）の画素Ｐ（ａ，ｂ）の画素値と、画素Ｐ（ａ，ｂ）の近傍の画素の画素値とを、直接ノード６０ａ、ノード６０ｂ、…ノード６０ｎに入力してもよい。即ち、特徴マップＭを生成しなくてもよい。

また、図４において、中間層Ｌ２を、更に複数の層に分割して、積和演算を複数回繰り返してもよい。

（表面検査装置の機能構成）
図５を用いて、表面検査装置１０の機能構成を説明する。図５は、実施形態の表面検査装置の機能構成の一例を示す機能ブロック図である。

表面検査装置１０の制御部３１は、制御プログラム３２ａをＲＡＭ３１ｃに展開して動作させることによって、図５に示す画像取得部５１と、マーカ抽出部５２と、領域分割部５３と、数値化処理部５４と、２値化処理部５５と、評価結果出力部５６と、表示制御部５７と、操作制御部５８と、通信制御部５９とを機能部として実現する。なお、これらの機能の一部または全ては、専用ハードウエアによって実現されてもよい。

画像取得部５１は、被検体１２の表面の画像（図３の入力画像Ｉ（ｘ，ｙ））を取得する。また、画像取得部５１は、被検体１２の近傍に貼付されたタグ１４が所定の向きに写っていることを条件として、被検体１２の表面の画像を取得する。

マーカ抽出部５２は、入力画像Ｉ（ｘ，ｙ）の中から、被検体１２の近傍に貼付されたタグ１４を抽出する。また、マーカ抽出部５２は、抽出されたタグ１４に登録されている各種情報を読み取る。更に、マーカ抽出部５２は、抽出されたタグ１４の向きが正しいか、即ち、タグ１４が水平に写っているかを判定する。

領域分割部５３は、取得した入力画像Ｉ（ｘ，ｙ）を複数の小領域に分割する。なお、領域分割部５３は、入力画像Ｉ（ｘ，ｙ）を、当該入力画像Ｉ（ｘ，ｙ）から抽出されたタグ１４と同じ大きさの複数の小領域に分割する。また、領域分割部５３は、分割された複数の小領域を、それぞれ１２８×１２８画素等の予め設定された所定のサイズにスケーリング（リサイズ）することによって、分割画像Ｊ（ｘ，ｙ）を生成する。

数値化処理部５４は、入力画像Ｉ（ｘ，ｙ）を分割した小領域における凹凸状態の凸部らしさおよび凹部らしさを学習したネットワークＮ（学習モデル）に基づいて、小領域の各画素の画素値を、当該画素の凸部らしさまたは凹部らしさを示す数値データに変換する。これによって、評価画像Ｋ（ｘ，ｙ）が得られる。

２値化処理部５５は、数値化処理部５４によって変換された数値データを、所定の凸部らしさまたは凹部らしさを表す数値で２値化することによって、凸部および凹部の位置を特定する。また、２値化処理部５５は、２値化処理の結果に基づいて、凸部の割合、凸部の数等を算出する。

評価結果出力部５６は、数値化処理部５４によって生成された評価画像Ｋ（ｘ，ｙ）や、２値化処理部５５によって生成された２値画像Ｌ（ｘ，ｙ）や、凸部の割合、凸部の数等を表示デバイス３４に出力する。また、評価結果出力部５６は、これらの画像や数値を、評価データ３２ｃとして記憶部３２に記憶する。

表示制御部５７は、制御部３１に対して、表面検査装置１０（携帯端末１８）が備える表示デバイス３４に出力する各種表示情報を生成させる。

操作制御部５８は、表面検査装置１０（携帯端末１８）が備える操作デバイス３５の操作情報を取得する。また、操作制御部５８は、制御部３１に対して、操作デバイス３５の操作情報に対応する制御を行わせる。

通信制御部５９は、表面検査装置１０（携帯端末１８）とサーバ装置との間の通信を制御する。

（表面検査装置が行う処理の流れ）
図６を用いて、表面検査装置１０が行う処理の流れを説明する。図６は、実施形態の表面検査装置が行う処理の流れの一例を示すフローチャートである。

画像取得部５１は、被検体１２の画像を撮影する（ステップＳ１１）。

マーカ抽出部５２は、撮影された入力画像Ｉ（ｘ，ｙ）の中からタグ１４を抽出する（ステップＳ１２）。なお、このとき、マーカ抽出部５２は、タグ１４に登録されている情報を読み取る。

マーカ抽出部５２は、抽出されたタグ１４の向きが正しいか、即ち、タグ１４が水平に写っているかを判定する（ステップＳ１３）。抽出されたタグ１４の向きが正しいと判定される（ステップＳ１３：Ｙｅｓ）とステップＳ１４に進む。一方、抽出されたタグ１４の向きが正しいと判定されない（ステップＳ１３：Ｎｏ）とステップＳ１１に戻って、再度被検体１２の撮影を行う。

ステップＳ１３において、抽出されたタグ１４の向きが正しいと判定されると、画像取得部５１は、撮影した入力画像Ｉ（ｘ，ｙ）を、例えば記憶部３２に記憶する（ステップＳ１４）。

領域分割部５３は、入力画像Ｉ（ｘ，ｙ）を、当該入力画像Ｉ（ｘ，ｙ）から抽出されたタグ１４と同じ大きさの複数の小領域に分割する（ステップＳ１５）。

更に、領域分割部５３は、ステップＳ１５で分割された小領域に対して、所定のスケーリングを行う（ステップＳ１６）。スケーリングによって、例えば１２８×１２８画素等の予め設定されたサイズの分割画像Ｊ（ｘ，ｙ）が得られる。

数値化処理部５４は、分割画像J（ｘ，ｙ）の各画素に対して、凸部らしさまたは凹部らしさを算出する（ステップＳ１７）。ステップＳ１７の処理によって、分割画像Ｊ（ｘ，ｙ）から評価画像Ｋ（ｘ，ｙ）が生成される。

２値化処理部５５は、数値化処理部５４が生成した評価画像Ｋ（ｘ，ｙ）から、例えば凸部を黒、凹部を白とする２値画像Ｌ（ｘ，ｙ）を生成する（ステップＳ１８）。

評価結果出力部５６は、例えば、ステップＳ１８で生成された２値画像Ｌ（ｘ，ｙ）と、当該２値画像Ｌ（ｘ，ｙ）における凸部の割合、凸部の数等を表示デバイス３４に出力する（ステップＳ１９）。なお、フローチャートには記載しないが、出力された情報は、適宜、評価データ３２ｃに記憶される。

評価結果出力部５６は、全ての分割画像Ｊ（ｘ，ｙ）を処理したかを判定する（ステップＳ２０）。全ての分割画像Ｊ（ｘ，ｙ）を処理したと判定される（ステップＳ２０：Ｙｅｓ）と、表面検査装置１０は、図６の処理を終了する。一方、全ての分割画像Ｊ（ｘ，ｙ）を処理したと判定されない（ステップＳ２０：Ｎｏ）と、ステップＳ１６に戻って、次の分割画像Ｊ（ｘ，ｙ）の処理を行う。

（実施の形態の変形例）
前述した実施の形態にあっては、画像取得部５１が取得した被検体１２の画像に写っているタグ１４の向きが正しい（水平に写っている）場合にのみ、図６に示すステップＳ１４以降の処理を実行する形態とした。

この部分は、タグ１４の向きが水平でない場合に、取得した入力画像Ｉ（ｘ，ｙ）を回転させて、タグ１４が水平に写るように補正した後で、向きを補正した画像に対して、図６に示すステップＳ１４以降の処理を行うようにしてもよい。これによって、表面検査装置１０（携帯端末１８）の向きを変えて、被検体１２の画像を何度も撮影する手間を省くことができる。
（本実施形態の作用効果）

以上説明したように、本実施形態の表面検査装置１０は、被検体１２の表面の凹凸の分布状態を定量評価するものであって、被検体１２の表面の画像を取得する画像取得部５１と、取得した画像を複数の小領域に分割する領域分割部５３と、小領域における凹凸状態の凸部らしさおよび凹部らしさを学習したネットワークＮ（学習モデル）に基づいて、小領域の各画素の画素値を、当該画素の凸部らしさまたは凹部らしさを示す数値データに変換する数値化処理部５４と、を備える。したがって、被検体１２の表面状態の定量評価を、検査員による結果のばらつきなく行うことができる。

また、本実施形態の表面検査装置１０は、数値化処理部５４によって変換された数値データを、所定の凸部らしさまたは凹部らしさを表す数値で２値化することによって、凸部および凹部の位置を特定する２値化処理部５５を更に備える。したがって、検査員による、評価結果の妥当性の目視確認がしやすい情報を得ることができる。

また、本実施形態の表面検査装置１０において、画像取得部５１は、被検体１２の近傍に貼付されたタグ１４（マーカ）が所定の向きに写っていることを条件として、被検体１２の表面の画像を取得する。したがって、被検体１２を常に同じ向きで画像化することができるため、被検体１２の表面状態の評価を同一条件で行うことができる。

また、本実施形態の表面検査装置１０において、領域分割部５３は、画像を、タグ１４の大きさの小領域に分割する。したがって、異なる被検体１２に対して、分割画像のサイズを常に一定に揃えることができる。

また、本実施形態の本実施形態の表面検査装置１０において、ネットワークＮ（学習モデル）は、被検体１２の表面の画像と、当該画像における凸部と凹部とを識別した結果と、を関連付けることによって、被検体１２の表面の明るさの分布を、凸部の領域と凹部の領域とに識別する規則を学習したモデルである。したがって、検査員による評価結果の変動を防止することができる。

また、本実施形態の表面検査装置１０において、ネットワークＮ（学習モデル）はニューラルネットワークで記述される。したがって、事前に学習を行うことによって、高い信頼性で被検体１２の表面状態を評価することができる。

また、本実施形態の表面検査装置１０において、被検体１２は、表面にきさげ加工が施されている。したがって、表面検査装置１０は、被検体１２の表面のきさげ加工の品質を定量評価することができる。

なお、本実施形態では、表面検査装置１０が、きさげ加工が施された被検体１２の表面状態を評価する例を説明した。しかし、表面検査装置１０の適用範囲はこれに限定されない。即ち、本実施形態の表面検査装置１０は、きさげ加工以外の加工が施された被検体１２の表面状態の評価にも適用することができる。

また、本実施形態では、ネットワークＮによって、被検体１２の凸部らしさと、凹部らしさとを評価したが、ネットワークＮによって、被検体１２の凸部らしさと、凹部らしさと、被検体１２以外の領域らしさとを評価してもよい。これによって、被検体１２の領域のみを抽出する処理を省略することができる。

具体的には、図４で説明したネットワークＮを、出力層Ｌ３が３つのノードを有するように修正する。そして、出力層Ｌ３は、凸部らしさ（１，０，０）、凹部らしさ（０，１，０）、被検体１２以外の領域（０，０，１）の３種類の情報を出力するものとする。これによって、修正されたネットワークＮは、被検体１２以外の領域であることを認識できるため、被検体１２以外の領域を評価結果から除外することができる。

以上、本発明の実施形態について説明したが、上述した実施形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 表面検査装置
１２ 被検体
１４ タグ（マーカ）
１６ 照明
１８ 携帯端末
２０ カメラ
２２ 検査員
３２ｂ 学習データ
３２ｃ 評価データ
５１ 画像取得部
５２ マーカ抽出部
５３ 領域分割部
５４ 数値化処理部
５５ ２値化処理部
５６ 評価結果出力部
Ｉ（ｘ，ｙ） 入力画像（画像）
Ｊ（ｘ，ｙ） 分割画像
Ｋ（ｘ，ｙ） 評価画像
Ｌ（ｘ，ｙ） ２値画像
Ｍ 特徴マップ
Ｎ ネットワーク（学習モデル）

Claims (7)

1. 被検体の表面の凹凸の分布状態を定量評価する表面検査装置であって、
   前記被検体の表面の画像を取得する画像取得部と、
   取得した前記画像を複数の小領域に分割する領域分割部と、
   前記小領域における凹凸状態の凸部らしさおよび凹部らしさを学習した学習モデルに基づいて、前記小領域の各画素の画素値を、当該画素の凸部らしさまたは凹部らしさを示す数値データに変換する数値化処理部と、
   を備える表面検査装置。
2. 前記数値化処理部によって変換された前記数値データを、所定の凸部らしさまたは凹部らしさを表す数値で２値化することによって、凸部および凹部の位置を特定する２値化処理部を更に備える、
   請求項１に記載の表面検査装置。
3. 前記画像取得部は、前記被検体の近傍に貼付されたマーカが所定の向きに写っていることを条件として、当該被検体の表面の画像を取得する、
   請求項１または２に記載の表面検査装置。
4. 前記領域分割部は、前記画像を、前記マーカの大きさの小領域に分割する、
   請求項３に記載の表面検査装置。
5. 前記学習モデルは、
   前記被検体の表面の画像と、当該画像における凸部と凹部とを識別した結果と、を関連付けることによって、前記被検体の表面の明るさの分布を、凸部の領域と凹部の領域とに識別する規則を学習したモデルである、
   請求項１または請求項２に記載の表面検査装置。
6. 前記学習モデルはニューラルネットワークで記述される、
   請求項５に記載の表面検査装置。
7. 前記被検体は、表面にきさげ加工が施されている、
   請求項１または請求項２に記載の表面検査装置。

Images