JPWO2020121594A1 - 表面特性検査装置及び表面特性検査用の機械学習装置 - Google Patents

Abstract

本発明は、被検物の表面特性を精度良く検出するものであり、被検物Ｗに光を照射する光照射部２と、被検物Ｗからの反射光を撮像する撮像部３と、撮像部３の撮像画像を非線形変換して変換画像を生成する画像処理部４と、変換画像を用いて被検物の表面特性を算出する表面特性算出部５とを備える。

Description

本発明は、被検物からの反射光を検出して当該被検物の表面特性を算出する表面特性検査装置及びこの表面特性検査に用いられる機械学習装置に関するものである。

従来、特許文献１に示すように、被検物に光を照射して当該被検物からの反射光を撮像して得られた撮像画像から、表面の材質又は表面の凹凸の有無を識別する表面種別識別装置が考えられている。

この表面種別識別装置は、撮像画像の画素値における空間方向の変化の度合いを定量化した特徴量を算出し、予め登録された辞書データと照合することにより、表面の材質又は表面の凹凸の有無を識別するものである。ここで、前記特徴量としては、正反射方向をゼロとする相対的な角度（相対角度）ψに対する画素値の分布状態などである。

しかしながら、上記の表面種別識別装置は、表面特性に方向性を有さない被検物を想定した測定方法であり、相対角度の算出方法に方向性の考慮が全くなされていないため、例えば筋状の凹凸等の方向性のある表面特性を精度良く測定することが難しい。

特開２００２−１７４５９５号公報

そこで本発明は上記問題点を解決すべくなされたものであり、被検物の表面特性を精度良く検出することをその主たる課題とするものである。

すなわち本発明に係る表面特性検査装置は、被検物に光を照射する光照射部と、前記被検物からの反射光を撮像する撮像部と、前記撮像部の撮像画像を非線形変換して変換画像を生成する画像処理部と、前記変換画像を用いて前記被検物の表面特性を算出する表面特性算出部とを備えることを特徴とする。ここで、非線形変換には、対数変換、指数変換、ガンマ変換などが考えられる。

このようなものであれば、反射光を撮像した撮像画像を非線形変換し、これによって得られた変換画像を用いて被検物の表面特性を算出しているので、反射光の輝度分布の変化を捉えやすくなり、被検物の表面特性を精度良く検出することができる。

変換画像の全部のデータを用いた場合には、データ量が大きいため、処理時間がかかってしまう恐れがある。このため、前記表面特性算出部は、前記変換画像における所定方向に沿った輝度分布を用いて前記被検物の表面特性を算出するものであることが望ましい。この構成であれば、変換画像の一部のデータを用いて処理しているので、処理時間を短縮することができる。

変換画像の一部のデータを用いる場合には、変換画像における正反射成分と拡散反射成分との境界領域が大きく表れている部分を用いることが望ましい。このため、前記表面特性算出部は、前記変換画像における輝度が延びる方向に沿った輝度分布を用いて前記被検物の表面特性を算出するものであることが望ましい。

表面特性検査装置が自動的に精度良く表面特性を判定できるようにするためには、前記撮像部の撮像画像を非線形変換して得られた変換画像及び当該変換画像に対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する機械学習部をさらに備え、前記表面特性算出部は、前記学習モデルに基づいて前記被検物の表面特性を算出することが望ましい。

また、本発明に係る表面特性検査用の機械学習装置は、被検物に光を照射し、前記被検物からの反射光を撮像して得られた撮像画像を取得する撮像画像取得部と、取得された撮像画像を非線形変換して変換画像を生成する変換画像生成部と、前記変換画像及び前記変換画像に対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する機械学習部とを備えることを特徴とする。

このようなものであれば、反射光を撮像した撮像画像を非線形変換し、これによって得られた変換画像を用いて機械学習しているので、反射光の輝度分布の変化を捉えた学習モデルを生成することができ、被検物の表面特性を精度良く検出することができるようになる。

機械学習の処理時間を短縮するためには、前記機械学習部は、前記学習データセットの前記変換画像として、前記変換画像における所定方向に沿った輝度分布を用いることが望ましい。

変換画像における反射光の輝度分布の変化が大きく表れている情報を用いて機械学習するためには、前記機械学習部は、前記学習データセットの前記変換画像として、前記変換画像における輝度が延びる方向に沿った輝度分布を用いることが望ましい。

以上に述べた本発明によれば、被検物の表面特性を精度良く検出することができる。

本発明の一実施形態に係る表面特性検査装置の全体模式図である。 同実施形態の（ａ）撮像画像、（ｂ）相対輝度分布を示す図である。 同実施形態の（ａ）変換画像、（ｂ）相対輝度分布を示す図、（ｃ）変換画像における対称軸を示す図である。 同実施形態の撮像画像及び変換画像における対称軸に沿った方向の輝度分布を示す図である。 同実施形態の学習データセットを示す模式図である。

１００・・・表面特性検査装置
Ｗ ・・・被検物
２ ・・・光照射部
３ ・・・撮像部
４２ ・・・画像処理部
４３ ・・・表面特性算出部
４４ ・・・機械学習部

以下、本発明の一実施形態に係る表面特性検査装置について、図面を参照しながら説明する。

＜全体構成＞
本実施形態の表面特性検査装置１００は、非接触で被検物Ｗの表面特性を検査するものである。ここで、表面特性とは、被検物Ｗの外観や表面状態の指標となるものであり、例えば表面の反射率や輝度分布などの光学特性、あるいは、表面粗さ、うねりなどの機械的な加工状態の良し悪しを表す尺度、ヘアライン加工のような特殊な加工状態の良否判定を行うための指標を含む。

具体的に表面特性検査装置１００は、図１に示すように、被検物Ｗに光を照射する光照射部２と、被検物Ｗにより反射した反射光を検出して被検物Ｗの表面を撮像する撮像部３と、撮像部３により撮像された撮像画像を処理して表面特性を算出する演算装置４とを備えている。

光照射部２は、例えば赤外光を射出するものであり、撮像部３の撮像範囲に向けて光を射出する。光照射部２は、撮像部３が撮影する範囲について、光量が一様になるように構成することが望ましい。また、外乱光等の影響を排除するために、光照射部２および撮像部３を含めて被検物Ｗを覆う囲い等を設けると良い。

撮像部３は、被検物Ｗにより反射した少なくとも正反射光（本実施形態では正反射光及び拡散反射光）を撮像するものであり、二次元状に配列された複数の画素を有する撮像素子３１と、当該撮像素子３１における各画素の蓄積電荷量に基づいて、被検物Ｗの輝度画像である撮像画像５０を生成する撮像画像生成部３２とを有している。なお、撮像部３は、少なくとも正反射光及びその周囲、具体的には、少なくとも正反射光及びその周囲の拡散反射光の一部を撮像するものであっても良い。図２（ａ）は筋状の凹凸を有する平板状の被検物Ｗを撮影した撮影画像５０の一例を示すものである。また図２（ｂ）は、撮像素子３１の二次元状配列をｘ軸、ｙ軸とし、撮影画像５０における各画素の輝度を高さとして３次元的に表示した相対輝度分布図である。ｘｙ平面の中央部には鋭いピーク状の正反射成分５１が観察できる。この正反射成分５１の輝度値を基準として（例えば１００％として）、他の画素の輝度値を相対的に表示する。正反射成分５１の周囲には、拡散反射成分５２が存在するが、輝度値が３桁以上小さいので高さはゼロとみなせる。また、正反射成分５１と拡散反射成分５２の境界領域５３も、輝度値が正反射成分５１に比べて１桁以上小さい。このため、正反射成分５１から拡散反射成分５２へと遷移する境界領域５３の変化が目立たない。

演算装置４は、撮像部３からの撮像画像５０を処理して、被検物Ｗの表面特性を算出するものである。具体的に演算装置４は、構造としては、ＣＰＵ、メモリ、入出力インターフェース、ＡＤ変換器、ディスプレイ、入力手段などを有するコンピュータであり、メモリに格納された表面特性検査プログラムに基づいて、ＣＰＵ及びその周辺機器が作動することにより、図１に示すように、受付部４１、画像処理部４２、表面特性算出部４３、機械学習部４４、データ格納部４５等としての機能を少なくとも発揮する。

受付部４１は、撮像部３の撮像画像生成部３２から撮像画像５０の各画素の輝度値を示す撮像画像データを受け付けるものである。

画像処理部４２は、受付部４１が受け付けた各画素の撮像画像データを非線形変換した変換画像５４を示す変換画像データを生成する。ここで、非線形変換としては、ウェーバー・フェヒナーの法則（Ｗｅｂｅｒ−Ｆｅｃｈｎｅｒ ｌａｗ）により人間の明るさに対する感覚量は明るさの対数に比例することから、対数変換を用いている。なお、その他の非線形変換として、指数変換やガンマ変換等を用いても良い。図３（ａ）は撮影画像５０を非線形変換した変換画像５４である。変換画像５４は、撮影画像データの変換結果である変換画像データの値を画素値とした画像である。また図３（ｂ）は、変換画像データの値を高さとして３次元的に表示した相対輝度分布図である。正反射成分５１の非線形変換結果を基準として（例えば１００％として）、他の変換画像データの値を相対的に表示する。変換前の輝度値が３ケタ以上小さい拡散反射成分５２の高さは、非線形変換を行っても相変わらずゼロとみなせる（非常に小さい）。しかしながら境界領域５３は、正反射成分５１と比べても遜色ない値（小さいが無視できない程度の値、例えば半分程度の値）に非線形変換される。このため正反射成分５１から拡散反射成分５２へと遷移する境界領域５３の変化を明瞭に観察でき、境界領域の特性を正確に捉えることができる。

このように画像処理部４２により撮像画像５０の撮影画像データが対数変換されることから、撮像部３の撮像画像生成部３２により生成される撮像画像５０は対数変換に耐えられるダイナミックレンジを有する画像であることが必要である。具体的には、撮像画像生成部３２がＨＤＲ（ハイダイナミックレンジ）合成により撮像画像５０を生成することが望ましい。すなわち、露光時間を変えて取得した複数の撮影画像を、露光時間を考慮して合成する等の手法を用いる。例えば、比較的長時間露光（たとえば１秒間露光）させて第１の撮影画像を取得した後、露光時間を１／１００に減じて第２の撮影画像を取得し、第１および第２の撮影画像を合成すれば、２桁広いダイナミックレンジを有する画像が得られる。この際、反射光の正反射成分などを検出する画素は、長時間露光時には所謂「白とび」状態（撮像素子３１の蓄積電荷量が飽和した状態）となるので、短時間露光である第２の撮影画像を利用する。また拡散反射成分を検出する画素は、短時間撮影時にはノイズ成分に埋もれる（撮像素子３１の蓄積電荷量が不足した状態となる）ので、長時間露光である第１の撮影画像を利用する。そして、第１の撮影画像は露光時間が１００倍長いので、第１の撮影画像の画素については、輝度値を１００倍して合成する。こうして第１および第２の撮影画像から画素ごとに適切な輝度値を選択したものを、改めて撮影画像５０とすればよい。

このようにして得た撮影画像５０を非線形変換した変換画像５４を見ると、図３（ｂ）に示すように斜め方向に延びる白色輝線が明瞭に観察できる。変換画像５４の画素値が最大となる正反射成分５１の頂点を通り、白色輝線が伸びる方向となる直線を考えると、変換画像５４の画素値が概ね線対称に分布していることがわかる。これは、筋状の凹凸を有する被検物Ｗで顕著な変換結果である。

表面に凹凸がある被検物Ｗに光照射部２から光が照射されると、表面の巨視的な法線方向に反射する正反射成分５１に加えて、凹凸による微細形状に応じた微視的な傾きに応じた方向へと反射する成分が存在する。その程度は凹凸の大小によって増減し、凹凸の全く無い鏡面では、正反射成分５１だけが残ることになる。

さらに筋状の凹凸を有する被検物Ｗでは、凹凸の方向が筋目の方向に揃っているので、筋目の方向の微視的な傾きが小さく、筋目と直交する方向の傾きが大きい。このため図３（ｂ）に示すように、凹凸の筋目の方向と略直交した方向に白色輝線が直線状に延びる。

すなわち、図３（ｃ）に示すような対称軸５５の方向に白色輝線が伸びる。そして、対称軸５５に沿った方向の変換画像５４の輝度分布は、被検物Ｗの凹凸の程度や傾きの揃い具合を顕著に表している。

そこで画像処理部４２は、変換画像データが示す変換画像５４において（対称軸５５を検出し、当該対称軸５５に沿った方向の１次元の輝度分布データを抽出する。この１次元の輝度分布を図４に示す。

ここで画像処理部４２は、一般の画像処理技術として公知のハフ変換（Ｈｏｕｇｈ変換）等のエッジ検出技術を変換画像５４に適用して対称軸５５を検出する。

また図３（ｂ）の輝度分布を見るとわかるように、筋状の凹凸を有する被検物Ｗでは対称軸５５に加えて、図３（ｃ）に示す対称軸５６の方向にも線対称となる。このような場合には変換画像５４の白色輝線の長さから対称軸５５を主方向、対称軸５６を副方向と決定して、それぞれの方向の１次元輝度分布データを抽出しても良い。なお、変換画像５４の輝度分布が点対称に近い場合には、正反射成分５１の頂点を通る任意の方向に対称軸５５を定めた後、当該対称軸５５に直交する方向の対称軸５６と、対称軸５５、５６から４５度傾いた方向の軸５７を定めて、３方向についての輝度分布データを抽出しても良い。

表面特性算出部４３は、画像処理部４２により変換された変換画像５４を用いて被検物Ｗの表面特性を算出するものである。

具体的に表面特性算出部４３は、画像処理部４２により抽出された変換画像５４における輝度である変換画像データを用いて、被検物Ｗの表面特性を算出する。本実施形態では、画像処理部４２により得られた変換画像５４における対称軸５５に沿った方向の１次元の輝度分布データを用いて被検物Ｗの表面特性を算出する。

しかして本実施形態の表面特性検査装置１００は、表面特性検出用の学習モデルを生成する機械学習部４４をさらに備えている。

この機械学習部４４は、撮像部３の撮像画像５０を非線形変換（ここでは対数変換）して得られた変換画像データ及び当該変換画像５４に対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する。

具体的に機械学習部４４は、変換画像５４における対称軸５５に沿った方向の１次元の輝度分布データと、当該輝度分布データに対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する。なお、生成された学習モデルは、データ格納部４５に格納される。

ここで、機械学習部４４による機械学習アルゴリズムとしては、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、ランダムフォレスト、ｋ平均法クラスタリング、自己組織化マップ、遺伝的アルゴリズム、ベイジアンネットワーク、ディープラーニング手法などから選択される１つ又は複数の組み合わせを用いることができる。

そして、表面特性算出部４３は、機械学習部４４により生成された学習モデルを用いて、被検物Ｗを撮像して得られた撮影画像データ（を非線形変換した変換画像データ）から被検物Ｗの表面特性を算出する。

なお、上記の受付部４１が受け付けた撮像画像５０、画像処理部４２により得られた変換画像５４及びそれから得られる各種データ（例えば輝度分布データ）、表面特性算出部４３により得られた表面特性は、ディスプレイ上に表示する等、出力することができる。

＜機械学習手順＞
次に、機械学習におけるデータの処理手順について簡単に説明する。

表面特性が既知の被検物Ｗ（被検面）を撮像部３により撮像する。このとき、オペレータは、図示しない入力手段によって撮像した被検物Ｗの表面特性ラベルを入力する。なお、表面特性ラベルの入力は、予め準備されたデータベースから選択するように構成しても良い。既知の表面特性としては、例えば、金属表面に種々のヘアライン加工を施したものや、金属表面に種々のスピン加工を施したものなどが種々の表面加工が施されたものが考えられる。

画像処理部４２は、撮像部３により得られた撮像画像５０を非線形変換（ここでは対数変換）して変換画像５４を生成する。また、画像処理部４２は、変換画像５４から輝度分布の対称軸５５に沿った方向の輝度分布データを生成する。

このようにして生成された輝度分布データと、当該輝度分布データに対応する表面特性ラベルとからなる学習データセット（図５参照）が機械学習部４４に入力される。なお、図５では、１つの表面特性ラベルＡ〜Ｄに対して、複数の輝度分布データを用いた例を示している。この学習データセットは、表面特性検査装置１００の演算装置４（具体的には画像処理部４２）において生成するものであったが、予め準備された学習データセットを表面特性検査装置１００の演算装置４に入力することによって、機械学習部４４に入力するように構成しても良い。また、過去の表面特性検査データを学習データセットとしてデータ格納部４５に格納しておき、このデータを用いて機械学習しても良い。

＜本実施形態の効果＞
本実施形態の表面特性検査装置１００によれば、反射光を撮像した撮像画像を非線形変換し、これによって得られた変換画像を用いて被検物Ｗの表面特性を算出しているので、変換画像において正反射成分と拡散反射成分との境界領域の変化を相対的に大きくすることができ、被検物Ｗの表面特性を精度良く検出することができる。
例えば、筋状の凹凸を有する金属表面を撮像した場合、撮像画像では正反射成分である白色輝点しか確認できないが、非線形変換した変換画像では、正反射成分から直線的に延びる白色輝線、すなわち正反射成分と拡散反射成分との境界領域が容易に確認できる。

＜その他の変形実施形態＞
なお、本発明は前記実施形態に限られるものではない。

例えば、前記実施形態では機械学習機能を有する表面特性検査装置について説明したが、表面特性検査装置に入力される学習モデルを生成する表面特性検査用の機械学習装置についても、上記と同様に機械学習する。

また、対称軸５５の検出方法も、ハフ変換（Ｈｏｕｇｈ変換）等のエッジ検出技術に限られるものではなく、以下のような方法を用いても良い。
すなわち変換画像５４において、変換画像データが最大となる（輝度が最大となる）点を検出する。この点は正反射成分５１の中心になる点である。この点を中点とし任意の方向を向いた所定長さの線分を考え、線分上の変換画像データを積分する（所定画素間隔単位で変換画像データの累計値を求める）。線分の方向を変えながら繰り返し計算し、積分値（累計値）が最大となる方向が対称軸５５の方向であると判定すれば良く、山登り法など周知の極値探索アルゴリズムを用いれば良い。なお線分の長さは、変換画像５４の縦横方向のサイズと同程度であることが望ましい。また、単純な積分ではなく、線分の中点からの距離に比例した重みづけを行っても良い。さらに距離の２乗を重みとして処理すれば、線分上の１次元ガウス分布を仮定した分散を求めることと等しくなる。すなわち、分散が最も大きくなる方向を探索することになり、対称軸５５の方向を精度よく検出できる。

この考え方を２次元に拡張して、２次元ガウス分布に最小二乗法を用いてフィッティングしても良い。すなわち変換画像５４において、変換画像データの分布状態は、撮像素子３１平面上のｘ軸、ｙ軸に対する２次元の分布関数、例えば２次元ガウス分布関数で近似できると仮定する。この時、２次元ガウス分布関数の等高線（関数値が同じ値の所をつないだ線）は、対称軸５５の方向を長軸、対称軸５６を短軸とする楕円形となる。この楕円形の長軸・短軸方向は、２次元ガウス分布関数の係数から計算できる。そこで変換画像５４において、ｘ軸、ｙ軸座標値と、変換画像データの組を選択して、最小二乗法により２次元ガウス分布関数の係数を決定すればよい。ここで、最小二乗法に用いるデータの組は、変換画像データが所定の閾値より大きい画素だけを選択すると良い。閾値より小さい値を有する画素は、ノイズとして作用するため楕円の検出精度を劣化させるからである。また、２次元の分布関数は２次元ガウス分布関数に限られるものではなく、変換画像データの分布状態を精度よく近似できる関数を用いれば良い。

その他、本発明の趣旨に反しない限りにおいて様々な実施形態の変形や組み合わせを行っても構わない。

本発明によれば、被検物の表面特性を精度良く検出することができる。

Claims (7)

1. 被検物に光を照射する光照射部と、
   前記被検物からの反射光を撮像する撮像部と、
   前記撮像部の撮像画像を非線形変換して変換画像を生成する画像処理部と、
   前記変換画像を用いて前記被検物の表面特性を算出する表面特性算出部とを備える、表面特性検査装置。
2. 前記表面特性算出部は、前記変換画像における所定方向の輝度分布を用いて前記被検物の表面特性を算出するものである、請求項１記載の表面特性検査装置。
3. 前記表面特性算出部は、前記変換画像における輝度が延びる方向の輝度分布を用いて前記被検物の表面特性を算出するものである、請求項１又は２記載の表面特性検査装置。
4. 前記撮像部の撮像画像を非線形変換して得られた変換画像及び当該変換画像に対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する機械学習部をさらに備え、
   前記表面特性算出部は、前記学習モデルに基づいて前記被検物の表面特性を算出する、請求項１乃至３の何れか一項に記載の表面特性検査装置。
5. 被検物に光を照射し、前記被検物からの反射光を撮像して得られた撮像画像を取得する撮像画像取得部と、
   取得された撮像画像を非線形変換して変換画像を生成する変換画像生成部と、
   前記変換画像及び前記変換画像に対応する表面特性ラベルからなる学習データセットを用いた機械学習により学習モデルを生成する機械学習部とを備える、表面特性検査用の機械学習装置。
6. 前記機械学習部は、前記学習データセットの前記変換画像として、前記変換画像における所定方向の輝度分布を用いる、請求項５記載の表面特性検査用の機械学習装置。
7. 前記機械学習部は、前記学習データセットの前記変換画像として、前記変換画像における輝度が延びる方向の輝度分布を用いる、請求項５又は６記載の表面特性検査用の機械学習装置。

Images