JP4725298B2

JP4725298B2 - 画像による外観検査方法

Info

Publication number: JP4725298B2
Application number: JP2005327962A
Authority: JP
Inventors: オスカルバネガス; 良介三高
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2005-11-11
Filing date: 2005-11-11
Publication date: 2011-07-13
Anticipated expiration: 2025-11-11
Also published as: JP2007130329A

Description

本発明は、被検査物の濃淡画像を用いて明度変化の大きい領域だけではなく明度変化の少ない領域からも被検査物の外観上の特徴部分を抽出できるようにし、人の皮膚、合成樹脂成形品、金属製品表面などに生じるシミや色ムラなどの検査を行う画像による外観検査方法に関するものである。

従来から、被検査物を撮像して得られる濃淡画像を用いて被検査物の外観上の特徴部分の候補を抽出し評価する外観検査装置が提供されている。検査対象である被検査物は、工業製品であることが多いが、最近では化粧品や美容施術などの効果を定量的に確認したり評価したりするために、人の皮膚を被検査物とする場合でも画像による外観検査の技術が採用されるようになってきている。

すなわち、従来では皮膚の状態を確認する方法として、本人に対する問診や専門家による目視や触診が一般的であって、定性的な評価が行われていた。また、皮膚のかさつきの程度などは計測する機器も提供されているが、シミ、シワ、毛穴の黒ずみ、色ムラのような皮膚の外観上の特徴部分（以下、「肌トラブル」という）については、主として目視に頼っているのが現状である。

上述した肌トラブル、すなわちシミ、シワ、毛穴の黒ずみ、色ムラについては、モノクロの濃淡画像では周囲よりも明度が低くなるから、工業用の外観検査装置と同様に、濃淡画像に対して照明ムラを除去する処理（以下、「シェーディング除去処理」という）を施した後に、濃淡画像を明度について２値化することが考えられている（たとえば、特許文献１参照）。この２値画像において特徴部分の候補となる画素の連結成分を抽出し、当該連結成分について各種の特徴量（面積、慣性主軸方向の長さ寸法、円形度、平均明度など）を評価することにより、肌トラブルか否かを判断するのである。また肌トラブルであれば種別を分類するとともに、各分類項目ごとに個数や面積のような発生量を定量的に求め、肌トラブルの領域の濃淡画像の明度を用いて肌トラブルの程度を定量的に求める。

ここに、２値画像は明度に対する適宜のしきい値を用いて生成し、明度がしきい値よりも低い（つまり、暗い）部分の画素値を「１」、残りの画素値を「０」とした画像である。この２値画像において、特徴部分の候補となる画素の連結成分は、画素値が「１」である画素が８近傍に存在する画素を追跡することにより形成される。
特開平７−１９８３９号公報

上述のように、濃淡画像にシェーディング除去処理を施した後に２値化した２値画像を用いて肌トラブルを抽出する場合には、２値画像を用いて連結成分を抽出しているから、２値化の際のしきい値の大きさに応じて連結成分の大きさが変化する。つまり、肌トラブルの範囲が、目視では１つの領域とみなせるにもかかわらず複数個の連結成分に分割されることがあり、逆に目視では複数の領域として認識されるにもかかわらず全体で１つの連結成分しか抽出されない場合が生じる。

とくに、人の皮膚におけるシミやシワなどは周辺との明度差が小さい上に、明度がなだらかに変化していることが多く、２値化に用いるしきい値を設定できる範囲が狭いから、上述した問題が生じやすくなる。たとえば、目視では明度にムラのある１個の大きなシミがあると認識される場合に、しきい値の大きさによってはシミの内部で明度の低い複数の領域が抽出され、複数個の小さいシミがあるというように目視結果とは異なる判定結果が生じることになる。

上述の問題を解決するには、２値化の際のしきい値を変更して画素値が「１」になる領域を増やすことが考えられるが、この場合、目視では近くに隣接している複数個の小さいシミと認識されるにもかかわらず、判定結果では大きい１個のシミとみなされる可能性が生じる。

要するに、顔面における肌トラブルのように人に見られる特徴部分は、人の視認する感覚と一致するような判定結果を得ることが要求されるが、濃淡画素を明度に対する一定のしきい値で２値化するだけの単純な方法では、しきい値の選択が難しい上に、しきい値の設定可能な範囲が狭いから、しきい値の設定自体が難しく、人の視認する感覚と判定結果とを一致させることが困難であるという問題を有している。

本発明は上記事由に鑑みて為されたものであり、その目的は、特徴部分の内部での明度の変化がなだらかであり、また特徴部分の内部の明度の分布にむらがあるような被検査物であっても、特徴部分を人の視認する感覚に一致するように抽出することができる画像による外観検査方法を提供することにある。

請求項１の発明は、被検査物を撮影して得られたシングルチャンネル画像について、隣接する画素間の画素値の差が第１の規定値以下になる画素からなる連結領域を生成した後、特徴部分の候補となる連結領域の内外の画素値の分布を用いて連結領域を統合することにより特徴判定領域を生成し、特徴判定領域から得られる特徴量について分類することにより特徴部分を複数の種別に分類することを特徴とする。

この方法によれば、従来のように濃淡画像を２値化した２値画像により生成した連結成分を用いて判定するのではなく、画素値の差が第１の規定値以下になる画素からなる連結領域を生成しているので、明度差が小さい場合や明度がなだらかに変化するような場合であっても連結領域を設定することができる。しかも、その連結領域について画素値の内外の分布を用いて統合することにより特徴判定領域を生成するから、特徴部分の範囲を正確に抽出することができる。言い換えると、連結領域は画素値の類似度によって生成し、一方、連結領域を統合して特徴判定領域を生成する際には画素値の相違を利用するから、特徴部分について、周辺との明度差が小さい場合や明度がなだらかに変化する場合でも適正な範囲を特徴判定領域として抽出することができる。このように特徴判定領域を適正に抽出することができ、しかも定量的に判断されるから、判定結果の再現性を高めることができる。さらに、特徴量の分類方法を適正に与えておけば、人間が視認した感覚に一致する判定結果を得ることが可能になるから、専門家の判断と同程度の判断が誰にでも行えるようになる。

請求項２の発明は、被検査物である人体の皮膚を撮影して得られたシングルチャンネル画像について、隣接する画素間の画素値の差が第１の規定値以下になる画素からなる連結領域を生成した後、連結領域の内外の画素値の分布を用いて正常な肌である背景部分から肌トラブルの候補である特徴部分を分離するとともに特徴部分となる連結領域を統合した特徴判定領域を生成し、特徴判定領域から得られる特徴量について分類することにより肌トラブルを複数の種別に分類することを特徴とする。

この方法によれば、請求項１と同様の作用が期待できる。とくに、人体の皮膚におけるシミ、シワ、毛穴の黒ずみ、色ムラのように、正常な皮膚との明度差が少ない部位や明度の変化が緩やかである肌トラブルについても、画素値の差が第１の規定値以下である画素群からなる連結領域を生成し、各連結領域について正常な皮膚の部分との画素値の差を評価して統合して特徴判定領域を生成することによって確実に抽出することができる。つまり、従来は人間の視認した感覚に一致する判定結果を得ることが困難であった肌トラブルに関して人間の視認した感覚に一致する判定結果を得ることが可能になる。しかも、肌トラブルについて定量的に判定されるから再現性のよい判定結果が得られる。

請求項３の発明は、請求項１または請求項２の発明において、前記被検査物を撮影した画像はカラー画像であって、当該カラー画像にシェーディング除去処理を施した後、明度と色との少なくとも一方について設定した暫定的なしきい値を用いてカラー画像を２値化することにより暫定特徴部分と暫定背景部分とに分離し、暫定特徴部分と暫定背景部分と各画素集団を通るように色空間内で設定した色分離軸にカラー画像の各画素を投影することによって色分離軸上の位置を画素値に持つ画像を生成し、この画像を前記シングルチャンネル画像に用いることを特徴とする。

この方法によれば、特徴部分と背景部分との画素値の差が大きくなるシングルチャンネル画像を生成することができる。すなわち、暫定特徴部分と暫定背景部分とを通るように色分離軸を設定し、この色分離軸に画素を投影して色分離軸上の位置を画素値とすることにより、特徴部分と背景部分との画素値の差が大きくなるシングルチャンネル画像を生成することができ、このシングルチャンネル画像を用いて連結領域および特徴判定領域を生成することにより、特徴部分と背景部分との色差が少ない場合でも分離しやすくなる。また、色分離軸を設定することは背景部分の地色に関するキャリブレーションを行ったことに相当するから、背景部分の地色にかかわらず特徴部分を抽出するのが容易になる。

請求項４の発明は、請求項１ないし請求項３のいずれかの発明において、前記連結領域を統合することにより前記特徴判定領域を生成するにあたって、統合する候補の連結領域ごとに当該連結領域の内部の画素値の平均値と当該連結領域の周辺の背景部分の画素値の平均値との差を求め、この差が第２の規定値よりも大きいときに当該連結領域を特徴部分とし、この差が第２の規定値よりも小さいときに当該連結領域を背景部分として、特徴部分となる連結領域の集合を特徴判定領域として統合することを特徴とする。

この方法によれば、連結領域を特徴判定領域に統合する際に、画素値の平均値の差を用いるから、簡単かつ適正に連結領域を特徴部分と背景部分とに振り分けることができる。

請求項５の発明は、請求項４の発明において、前記特徴判定領域についてスケルトンを求め、互いに異なる２個の特徴判定領域のスケルトンの端点間を結ぶ線分の長さが第３の規定値以上であるときに、両特徴判定領域のスケルトン上の各画素と前記線分との距離の平均値に対する前記線分の長さの比が第４の規定値以上であり、かつ両特徴判定領域の色差が第５の規定値以下のときに両特徴判定領域を１個の特徴判定領域に統合することを特徴とする。

この方法によれば、１個の特徴判定領域に統合されるべき部分が複数個の特徴判定領域に分断されている場合に、統合の可否を判定し可能なかぎり統合することができる。

請求項６の発明は、請求項１ないし請求項５のいずれかの発明において、前記特徴判定領域から得られる複数種類の特徴量を入力とするニューラルネットワークにより複数の種別に分類するにあたり、特徴量を分類する基準値と当該基準値による分類結果と分類の修正結果とを対話的に入力した教示データが蓄積され、蓄積された教示データを用いてニューラルネットワークが教示されていることを特徴とする。

この方法では、ニューラルネットワークを用いて特徴部分の分類を行うから、複数の特徴量から適正な分類結果を得ることができる。しかも、ニューラルネットワークの教示データを対話的に入力することによって、目視による判断と特徴判定領域から抽出した特徴量を用いた判定結果とを一致させるように基準値を収束させることができ、調整の難しい基準値を比較的簡単に設定することができることになる。

本発明の方法によれば、連結領域を画素値の類似度によって生成し、連結領域を統合して特徴判定領域を生成する際には画素値の相違を利用するから、特徴部分について、周辺との明度差が小さい場合や明度がなだらかに変化する場合でも適正な範囲を特徴判定領域として抽出することができ、この特徴判定領域の特徴量を用いて分類結果を得るから、判定結果の再現性を高めることができるという利点がある。また、特徴量の分類方法を適正に与えておけば、専門家の判断と同程度の判断が誰にでも行えるようになるという利点もある。

以下では、従来構成の説明に用いた人の顔面の皮膚を被検査物とし、肌トラブルであるシミ、シワ、毛穴の黒ずみ、色ムラを特徴部分として抽出し評価する場合を例として説明するが、銅貼り積層基板におけるシミの有無や、合成樹脂成形品におけるシミ、シワ、色ムラなどの検出にも本発明の技術思想を適用することが可能である。

本実施形態では、図３に示すように、被検査物である人Ｈの顔を撮影するＴＶカメラからなる撮像装置１１を備え、顔全体を均一に照明するために、いわゆるリングライトを照明装置１６に用いている。この照明装置１６は発光面が円環状に形成され、発光面に囲まれた中央孔を通して撮像装置１１による撮影を行う。したがって、照明装置１６は、撮像装置１１の光軸をを中心とする全方位から被検査物に光を照射することにより、被検査物に影が生じないように無影照明を行う。本実施形態の照明装置１６は、光源１６ａとして円環状に形成され高周波点灯する蛍光ランプを用い、光源１６ａの前方に被検査物よりも大きい拡散板１６ｂを配置したものを用いている。また、発光輝度は、人Ｈが極端にまぶしさを感じることがなく、しかも皮脂によるテカリが生じない程度に設定してある。

撮像装置１１はデジタル信号の濃淡画像を出力するように構成され、撮像装置１１で被検査物を撮影することにより得られた濃淡画像は、フレームメモリからなる記憶装置１２に格納される。本実施形態では、撮像装置１１としてカラーＴＶカメラを想定しており、照明装置１６の光源には演色性のよいものを用いる。記憶装置１２にはハードディスク装置のような大容量記憶装置を併用してもよい。

被検査物の特徴部分は、記憶装置１２に格納された濃淡画像を用いて画像処理装置１３において抽出される。画像処理装置１３の処理内容については後述する。画像処理装置１３には画像や解析結果を表示するための出力装置１４と、画像処理装置１３に指示を与えるための入力装置１５が接続される。本実施形態では、出力装置１４にはカラーモニタを用い、入力装置１５にはマウスおよびキーボードを用いている。図３に記載した各装置のうち撮像装置１１を除く部分はパーソナルコンピュータを用いるとともに、後述する機能を有するプログラムを実行することで実現する。

以下、画像処理装置１３の動作を説明するにあたって、撮像装置１１により得られた図４に示す濃淡画像が得られた場合を想定する。図４に示す例では、加齢による皮膚の弛みによるシワ４Ａ、色素の沈着によるシミ４Ｂ、毛穴に詰まった皮脂汚れによる黒ずみ４Ｃ、点状に色素が沈着した色ムラ４Ｄが生じているものとする。

撮像装置１１によって図４に示す濃淡画像を得るには、照明装置１６を点灯し、撮像装置１１により人Ｈの顔面を撮影する。撮像装置１１で得られた濃淡画像は記憶装置１２に転送される（図１のＳ１）。上述のように撮像装置１１はカラーＴＶカメラであるから、濃淡画像はカラー画像であって、ここではＲＧＢ表色系に相当する画像信号が出力されるものを用いている（つまり、一般的な構成のカラーＴＶカメラを用いる）。

ＲＧＢ表色系のカラー画像は３枚のモノクロ画像により構成された３チャンネル画像であるが、本実施形態では、３チャンネル画像をシングルチャンネル画像に変換する処理を行う（図１のＳ２）。以下に説明する方法で生成したシングルチャンネル画像の画素値は明度を表していないが、各画素の色を色空間における一つの直線に投影したときの直線上での位置に相当する画素値を有している。濃淡画像は色空間において各画素の色を明度軸に投影したときの明度軸上での位置に相当する画素値を有しているものであり、以下に説明するシングルチャンネル画像の一例として扱うことができる。逆に言えば、以下に説明するシングルチャンネル画像も広義には濃淡画像であると言える。なお、本実施形態では、人の顔面を被検査物としており、検査項目は肌トラブルであって、目や鼻などは検査対象ではないので、図４に示すように適宜形状（図示例では多角形）のマスク４Ｐを用いて適用し、マスク４Ｐの内部の画像のみを検査対象とする。

３チャンネル画像からシングルチャンネル画像を生成する方法としては、カラー画像の各チャンネルの重み付き平均値を用いたり、ＲＧＢ画像をＬ^＊ａ^＊ｂ^＊表色系のカラー画像に変換し明度を表すＬ^＊チャンネル成分を用いたりすることができる。しかしながら、これらの方法では、肌トラブルによる明度の低下は捉えることができるとしても、色の変化をシングルチャンネル画像に十分に反映させることができない。とくに、Ｌ^＊ａ^＊ｂ^＊表色系のカラー画像のＬ^＊チャンネルは色相および彩度の情報を持たないから、この方法で生成したシングルチャンネル画像では色の変化を検出することができない。

そこで、本実施形態では、被検査物である皮膚のうち特徴部分を除いた正常と考えられる部分（以下では、「背景部分」と呼ぶ）と、肌トラブルが発生していると考えられる特徴部分とを分離しやすくするように、色空間において背景部分と特徴部分とを通る直線を求める。以下では、この直線を「色分離軸」と呼ぶ。すなわち、背景部分と特徴部分との色空間内における画素値が少数の潜在変数の線形結合で表されると仮定し、潜在変数で表される直線を色分離軸として求めるのである。色分離軸は、因子分析モデルにおける基本式に相当する。

図１のステップＳ２において、ＲＧＢ表色系のカラー画像をシングルチャンネル画像に変換する手順は、具体的には図２のようになる。すなわち、記憶装置１２に格納されたＲＧＢ表色系のカラー画像を、まずＬ^＊ａ^＊ｂ^＊表色系のカラー画像に変換する（Ｓ１１）。ところで、被検査物である顔面には凹凸があるから、無影で照明する照明装置１６を用いても、カラー画像内には顔面の凹凸に応じて緩やかに明度の差が生じる（図４の斜線は明度が低い部位を表している）。

そこで、明度を表すＬ^＊チャンネルに対しシェーディング除去処理を施して明度の変化を除去する（Ｓ１２）。ここでのシェーディング除去処理には、低域成分を除去する空間周波数フィルタを用いる。この種の空間周波数フィルタとしては、たとえば、ラプラシアンガウシアンフィルタを用いる。図４のカラー画像に対して、ステップＳ１２によってＬ^＊チャンネルの画像から低域成分を除去した画像を図５に示す。

上述した色分離軸を求めるには、まず図５に示す画像を用いて背景部分と特徴部分とを暫定的に分離する。つまり、Ｌ^＊チャンネルの画像にシェーディング除去処理を施した後に、暫定的にしきい値を設定して２値化を行う（Ｓ１３）。この２値化では、明度の情報だけを用いているから、背景部分と特徴部分とを正確に分離できるわけではないが、図６のように、暫定的に背景部分（白色部分）の候補（「暫定背景部分」と呼ぶ）４１と特徴部分（黒色部分）の候補（「暫定特徴部分」と呼ぶ）４２とに分離することができる。なお、明度ではなく色の情報を用いて２値化したり、明度と色との両情報を用いて２値化することも可能である。

このようにして得られた暫定背景部分４１と暫定特徴部分４２とに属する各画素について、シェーディング除去処理後のＬ^＊チャンネルの画素値と、ａ^＊チャンネルおよびｂ^＊チャンネルの画素値とで表される色を、Ｌ^＊ａ^＊ｂ^＊表色系の色空間にプロットする（Ｓ１４）。Ｌ^＊ａ^＊ｂ^＊表色系の色空間にプロットされた画素は、背景部分および特徴部分の候補の色を有しているから、これらの色を用いれば色分離軸を求めることができる。

いま、ステップＳ１４の処理により、Ｌ^＊ａ^＊ｂ^＊表色系の色空間において、図７に示すように画素がプロットされたとする。上述のようにして色空間にプロットされた画素は、背景部分の画素同士が色空間内で近接し、また特徴部分の画素同士が色空間内で近接すると考えられる。つまり、背景部分の画素集団５１と特徴部分の画素集団５２とを形成すると考えられる。そこで、色分離軸を設定するために、背景部分の画素集団５１と特徴部分の画素集団５２とについてそれぞれ色の平均値ｅ５１，ｅ５２を求める（Ｓ１５）。色空間内において平均値ｅ５１，ｅ５２を通る直線を色分離軸５３とすれば（Ｓ１６）、各画素の色を色分離軸５３に投影したときに、色分離軸５３の上では背景部分の画素群と特徴部分の画素群とに分離されることになる。

そこで、色分離軸５３を求めた後、ステップＳ１２でシェーディング除去処理を施した画素をあらためて色分離軸５３に投影し、色分離軸５３の上に適宜に設定した基準点からの距離を画素値としてシングルチャンネル画像を生成する（Ｓ１７）。すなわち、３チャンネル画像であるカラー画像からシングルチャンネル画像を生成することができる。このシングルチャンネル画像では、背景部分と特徴部分との画素値の差が大きくなるから、背景部分と特徴部分との分離が容易になる。ここに、色分離軸５３の正方向は明度が増加する方向に設定しておく。

以下の処理は、上述の方法で求めたシングルチャンネル画像を用いて行う。シングルチャンネル画像を用いて特徴部分を抽出する過程は、色調の類似する画素をグループ化する処理する過程と、グループ化した領域の特徴量を評価する過程と、特徴量の評価結果から肌トラブルの種別を分類する過程とからなり、画素のグループ化の過程は、比較的少数の画素の集合である連結領域を生成する過程と、連結領域同士の統合の可否を判断して連結領域よりも大きい集合である特徴判定領域を生成する過程とからなり、特徴量を評価する過程では特徴判定領域について特徴量を評価する。肌トラブルを分類するにあたっては、本実施形態ではニューラルネットワーク（ニューロコンピュータ）を用いる。

連結領域を生成する過程（図１のＳ３）では、上述した方法で生成したシングルチャンネル画像について、画素値を２値化せずに画素値をそのまま用いてグループ化する。つまり、従来技術では、濃淡画像に対して明度に関する適宜のしきい値を適用して２値化した２値画像を用い、この２値画像から連結成分を抽出し、連結成分について特徴量を評価していたが、本実施形態では、図８に示すように、着目する画素Ｐｉに対して８近傍の画素との画素値の差分を求め、８近傍の画素について画素値の差分が規定値以下である場合には当該画素を着目する画素Ｐｉと同じ連結領域の画素としてグループ化する。ここに、画素値の差分と比較する規定値は、撮像装置１１の解像度と特徴部分の大きさとの関係に依存するが、本実施形態において特徴部分として抽出しようとしている肌トラブルのうち最小サイズであるのは毛穴であって、毛穴について評価しようとすれば画像内において１０画素程度の領域が必要であるから、本実施形態では、特徴部分の候補について、１つの連結領域のサイズが１０画素程度になるように設定している。つまり、色分離軸５３に特徴部分を投影したときに、色分離軸５３の上で１０画素ずつ程度に分離できるようにグループ化の規定値を設定する。図８は、特徴部分の候補から４個の連結領域Ａ１〜Ａ４が得られた例を示している。

連結領域が生成されると、連結領域をさらに統合可能か否かが評価され、統合可能な連結領域をグループ化することにより特徴判定領域を生成する（Ｓ４〜Ｓ６）。図９は特徴判定領域Ｂ６１〜Ｂ６１０が生成された状態を示している。図９において特徴判定領域Ｂ６１〜Ｂ６１０の内部の線は、連結領域の境界線を表している。図９のうち、特徴判定領域Ｂ６３は、目視でシミに相当する部位であり、この部位には図１０のように５個の連結領域Ａ６３１〜Ａ６３５が含まれているものとする。つまり、面積の大きいシミには色ムラがあるので、目視で１個のシミとみなせる範囲であっても、複数個の連結領域Ａ６３１〜Ａ６３５に分割されるのである。ただし、目視では１個のシミとみなせるので、目視による結果と一致させるために、複数個の連結領域Ａ６３１〜Ａ６３５が統合可能か否かを評価する。

連結領域を生成する際には互いの画素値の類似の程度を評価したが、特徴判定領域を生成する際には各連結領域と背景との相違の程度を評価する。つまり、図１０の例では、各連結領域Ａ６３１〜Ａ６３５の内部の画素値と、統合するか否かを評価する連結領域Ａ６３１〜Ａ６３５の周辺における背景の画素値との差を評価する。

具体的には、まず各連結領域Ａ６３１〜Ａ６３５について、それぞれ内部の画素の画素値の平均値（以下、「内部平均値」と呼ぶ）ＩｎＡ６３１〜ＩｎＡ６３５を求める。さらに、各連結領域Ａ６３１〜Ａ６３５ごとに、重心Ｇ１の位置を中心とする規定の半径ｒの円内に存在し、かついずれの連結領域Ａ６３１〜Ａ６３５にも属さない画素の画素値の平均画素（以下、「外部平均値」と呼ぶ）ＯｕｔＡ６３１〜ＯｕｔＡ６３５を求める。次に、各連結領域Ａ６３１〜Ａ６３５ごとに、内部平均値ＩｎＡ６３１〜ＩｎＡ６３５と外部平均値０ｕｔＡ６３１〜ＯｕｔＡ６３５との差（コントラスト値）ＣＡ６３ｎ（＝ＩｎＡ６３ｎ−ＯｕｔＡ６３ｎ）（ｎ＝１〜５）を求め、このコントラスト値ＣＡ６３ｎを規定値Ｔと比較する。一般に、特徴部分は背景部分よりも暗いので、上述の演算式で求めたコントラスト値ＣＡ６３ｎに対する規定値Ｔの符号は負になる。半径ｒは、統合の可否を判定しようとする連結領域Ａ６３１〜Ａ６５３の全体が円の中に含まれるように設定し、通常は、連結領域Ａ６３１〜Ａ６３５の重心Ｇ１から輪郭線までの最大距離の３〜５倍に設定する。

コントラスト値ＣＡ６３ｎの絶対値が規定値Ｔの絶対値よりも大きいという条件を満たせば、特徴部分は背景部分と相違すると判断することができるから、このような条件を満たす連結領域Ａ６３１〜Ａ６３５を一つの特徴判定領域に統合する（図１のＳ４，Ｓ５）。つまり、図１０の例において規定値Ｔ＝−１５に設定し、各連結領域Ａ６３１〜Ａ６３５について求めたコントラスト値ＣＡ６３１〜ＣＡ６３５がそれぞれ−１７、−８、−２４、−２０、−１３であるとすれば、連結領域Ａ６３１、Ａ６３３、Ａ６３４が条件を満たしていることになる。つまり、互いに境界を接する連結領域Ａ６３１、Ａ６３３、Ａ６３４を統合することにより特徴判定領域Ｂ６３を生成する（図１のＳ６）。

上述した処理では、境界を接している連結領域を統合することによって特徴判定領域を生成しているが、境界を接していない連結領域についても統合することが可能な場合がある。たとえば、肌トラブルのうちシワについては、分断されていることがあり、抽出された連結領域の境界が離れている場合がある。図１１の例で示すと、特徴判定領域Ｂ６２，Ｂ６９は目視ではシワに相当する領域であり、特徴判定領域Ｂ６２については連結領域が境界を接しているから上述した処理によって１個の特徴判定領域に統合されるが、特徴判定領域Ｂ６９については１個の特徴判定領域に統合したいにもかかわらず、上述の処理では複数個（図示例では３個）の特徴判定領域Ｂ６９１〜Ｂ６９３が生成されることになる。

そこで、以下では細長い特徴判定領域を１個に統合する処理について説明する。まず、上述した手順で連結領域を統合することにより得られた特徴判定領域Ｂ６１〜Ｂ６８，Ｂ６９１〜Ｂ６９３，Ｂ６１０について、それぞれスケルトン（骨格線ないし芯線）ＳＫを抽出する。スケルトンＳＫは、特徴判定領域Ｂ６１〜Ｂ６８，Ｂ６９１〜Ｂ６９３，Ｂ６１０が円形に近い形状である場合よりも、シワに対応する領域のように細長い形状である場合のほうが長くなる。そこで、特徴判定領域Ｂ６１〜Ｂ６８，Ｂ６９１〜Ｂ６９３，Ｂ６１０の形状を評価することにより、特徴判定領域Ｂ６１〜Ｂ６８，Ｂ６９１〜Ｂ６９３，Ｂ６１０をさらに統合することができるか否かを判断する。

まず、スケルトンＳＫの両端点を結ぶ線分ｐｓ１−ｐｅ１を設定し、この線分ｐｓ１−ｐｅ１の長さＬａを規定値ＴＬ１と比較する。長さＬａが規定値ＴＬ１以上であれば特徴判定領域Ｂ６１〜Ｂ６８，Ｂ６９１〜Ｂ６９３，Ｂ６１０が細長い形状であると判断する。図示例では、特徴判定領域Ｂ６２がこの条件を満たしているから、この特徴判定領域Ｂ６２について、スケルトンＳＫ上の各点と線分ｐｓ１−ｐｅ１との距離の平均値Ｌｂを求める。ここで、特徴判定領域Ｂ６２の直線性を評価するために平均値Ｌｂに対する長さＬａの比（＝Ｌａ／Ｌｂ）を求め、Ｌａ／Ｌｂを規定値ＴＬ２と比較する。Ｌａ／Ｌｂが規定値ＴＬ２以上であれば、この特徴判定領域Ｂ６２をシワの候補とみなすことができる。

また、上述の手順ではシワの候補とみなされない場合であっても、図１２に示すように、互いに異なる２個の特徴判定領域Ｂ６９１〜Ｂ６９３の端点同士を結ぶ線分ｐｓ２−ｐｅ２を設定し（無駄な判定を行わないためには、線分の長さに測定結果に基づく上限を設けておくのが望ましい）、この線分ｐｓ２−ｐｅ２の長さＬｃを規定値ＴＬ１と比較する。長さＬｃが規定値ＴＬ１以上になる場合には、両特徴判定領域Ｂ６９１〜Ｂ６９３のスケルトンＳＫ上の各点と線分ｐｓ２−ｐｅ２との距離の平均値Ｌｄを求める。平均値Ｌｄに対する長さＬｃの比（＝Ｌｃ／Ｌｄ）を求め、Ｌｃ／Ｌｄが規定値ＴＬ２以上になるときには、１本のシワが２個の特徴判定領域Ｂ６９１〜Ｂ６９３に分断された可能性があるので、両特徴判定領域Ｂ６９１〜Ｂ６９３の色差を求める。つまり、シングルチャンネル画像において、両特徴判定領域Ｂ６９１〜Ｂ６９３の画素値の平均値をそれぞれ求め、画素値の平均値の差が規定値以内であれば両特徴判定領域Ｂ６９１〜Ｂ６９３を１個の特徴判定領域として統合する。

上述の処理は、線分ｐｓ２−ｐｅ２の長さＬｃが最小である２個の特徴判定領域Ｂ６９１〜Ｂ６９３から始めて、順に線分ｐｓ２−ｐｅ２の長さＬｃが長くなる特徴判定領域Ｂ６９１〜Ｂ６９３の評価を行い、条件を満たす最大長さの線分ｐｓ２−ｐｅ２が得られるまで処理を繰り返す。この手順により、近い特徴判定領域Ｂ６９１〜Ｂ６９３から順に統合し、統合可能な範囲で最大になる特徴判定領域Ｂ６９を得ることができる。図１２では、上述した処理によって、３個の特徴判定領域Ｂ６９１〜Ｂ６９３を１個の特徴判定領域Ｂ６９に統合した例を示している。

画素のグループ化によって特徴判定領域Ｂ６１〜Ｂ６１０が得られると、各特徴判定領域Ｂ６１〜Ｂ６１０について特徴量の評価が行われ肌トラブルの種別が分類される（図１のＳ７）。肌トラブルの分類に際しては、同じ検査項目（シワ、シミ、毛穴の黒ずみ、色ムラ）について程度（大きさや濃さ）についても併せて分類してもよい（図１のＳ８）。たとえば、シワであれば、深さや大きさについて分類してもよい。

肌トラブルの分類に際しては、まず特徴判定領域Ｂ６１〜Ｂ６１０について、形状と画素値の分布とに関する特徴量を求める。特徴判定領域Ｂ６１〜Ｂ６１０の形状の特徴量としては、たとえば、図１３に示すように、重心Ｇ（画像内での座標位置（ｘ，ｙ））、面積Ａ、周囲長Ｐ、慣性主軸方向Ｄ、慣性主軸方向Ｄに直交する方向の最大幅Ｗ、慣性主軸方向Ｄの最大長さＬ、円形度Ｒ＝４πＡ／Ｐ^２（または、偏平度（＝１−Ｒ））を用いる。また、画素値の分布の特徴量としては、画素値の平均値、標準偏差を用いる。また、平均色からの色差を用いてもよい。

特徴判定領域Ｂ６１〜Ｂ６１０を肌トラブルの種別および程度について分類するには、表１のような基準を定め、特徴判定領域Ｂ６１〜Ｂ６１０について求めた特徴量が、表１の基準に合致する場合に、表１の左端に記載した種別に分類することができる。ここに、１つの項目でも基準を満たさないものがあれば、肌トラブルの種別は「不明」として処理される。

一例として、特徴判定領域Ｂ６１〜Ｂ６１０について求めた特徴量と、当該特徴量を表１の基準に適用して求めた肌トラブルの種別とを表２にまとめて示す。

なお、表１、表２において、面積の単位は［ｍｍ^２］、周囲長、長さ、幅の単位はいずれも［ｍｍ］、方向の単位は［°］である。

ところで、表１のような基準値があらかじめ設定されていれば、表２のように肌トラブルの種別を分類することは容易であるが、人の視覚的な印象と判定結果とを一致させるように基準値を定めることは容易ではなく、適切な基準値を定めるには相当数の測定結果の統計作業が必要である。

そこで、この分類にはニューラルネットワーク（ニューロコンピュータ）２５を用いるのが望ましい。本実施形態で用いるニューラルネットワークは、図１４に示すように、入力層Ｌｙ１と中間層Ｌｙ２と出力層Ｌｙ３とからなる３層のニューラルネットワークであって、入力層Ｌｙ１は上述した特徴量の個数のノードを有し、中間層Ｌｙ２のノード数は入力層Ｌｙ１よりも多く、出力層Ｌｙ３のノード数は肌トラブルの種別の分類数になっている。なお、肌トラブルの種別を分類する際には、シワ、シミ、毛穴の黒ずみ、色ムラに分類できない場合もあるから、出力層Ｌｙ３のノードには「不明」も含まれる。つまり、本実施形態で分類する肌トラブルの種別は４種類であるが出力層Ｌｙ３のノード数は５になる。

このニューラルネットワークに特徴量を入力して肌トラブルの種別を分類するには、ニューラルネットワークに学習させる必要がある。ニューラルネットワークの学習にあたっては、図１５に示す画面（ダイアログボックスの形で表示される）を出力装置１４であるカラーモニタに表示し、入力装置１５であるマウスおよびキーボードを用いて、必要事項を入力する。図１５に示すように、画面は肌トラブルの種別ごとに表示される（図示例では肌トラブルがシワである場合を示している）。上述した各特徴量については、上限値と下限値とを入力するためのフィールド９２，９３がそれぞれ設けられる。また、その肌トラブルを検出するのに必要な特徴量を選択するために、各特徴量ごとにチェックボックス９１が設けられ、チェックボックス９１にチェックを入れている特徴量のみが当該肌トラブルの検出に用いられる。画面の下部には、「テスト」釦９４、「教示データ登録」釦９５、「ニューロ教示」釦９６が表示される。

次に、ニューロコンピュータ２５を学習させる操作について説明する。オペレータは、肌トラブルの種別ごとに、図１５に示すような画面上で、分類に用いる特徴量を選択し選択した特徴量に対応するチェックボックス９１にチェックを入れる（チェックボックス９１のマウスクリックによりチェックは入切される）。また、特徴量の上限値と下限値とを入力するフィールド９２，９３に適宜の値を入力し、「テスト」釦９４のマウスクリックを行う。このような操作によって、設定された特徴量の上限値と下限値を用いて、目視による肌トラブルの判定結果と特徴量の上限値および下限値とを用いた判定結果とが一致するように上限値および下限値を調整する。

各肌トラブルの分類に用いる特徴量の種類が決まり、上限値および下限値の調整が終了すると、撮像装置１１により撮影され出力装置１４の画面に表示されている濃淡画像の中で判定結果が誤っていた箇所についてマウスクリックを行う。このマウスクリックによって、画面上には肌トラブルの種別が並んだプルダウンメニューが表示される。プルダウンメニューの中から正しい種別を選択すると、設定した各特徴量の上限値および下限値が肌トラブルの種別に対応付けられる。上述した作業の終了後に、「教示データ登録」釦９５のマウスクリックを行うと、各特徴判定領域から得られた特徴量と判定結果の組のデータが保存される。この作業を多数人に行うことによって教示データが蓄積された後、「ニューロ教示」釦９６のマウスクリックを行い、教示データを用いてニューラルネットワークの各ノードの重み付け計算を実行する。

上述したように、出力装置１４の画面上で適宜の上限値および下限値を入力することによって、特徴量を用いた判定結果が目視による結果に合致するように上限値および下限値を調整した後、調整した上限値および下限値が正しい結果になるように判定結果を調節して教示データを蓄積し、さらに、多数の教示データを用いてニューラルネットワークの重み係数を設定することで、ニューラルネットワークを肌トラブルの種別の分類に用いることができるようになる。つまり、ニューラルネットワークは入力層Ｌｙ１に入力される特徴判定領域の特徴量に対して、教示された判定結果に近い結果を出力層Ｌｙ３に出力するように学習されるから、以後は上限値および下限値を手動で設定することなく、人間の視観判定に近い判定結果が得られることになるのである。

なお、撮像装置１１にはカラーＴＶカメラ以外に、デジタルカメラやモノクロＴＶカメラを用いることも可能であり、さらには、紫外線のような不可視光を撮影する特殊カメラを用いることも可能である。また、正弦波縞（強度分布が正弦波状に変化する縞状の光パターン）を被検査物（顔面）に投影し、被検査物の表面の凹凸による正弦波縞の変形状態から被検査物までの距離情報を求める位相シフト三次元計測装置などを用いることにより、画素値が高さ情報となるようなシングルチャンネル画像を取得するようにしてもよい。照明装置１６は、撮像装置１１が紫外線カメラである場合には紫外線光源を用い、撮像装置１１が三次元計測装置である場合には信号源を備えるから必要ない。また、モノクロＴＶカメラ、紫外線カメラ、三次元計測装置を用いる場合には、もともとがシングルチャンネル画像であるから、図１のステップＳ２（つまり、図２のステップＳ１１〜Ｓ１７）におけるシングルチャンネル画像に変換する処理は不要である。肌トラブルのうちシワは三次元情報を持つから三次元計測装置はシワの検出の際にとくに有効である。

シングルチャンネル画像を生成する方法として、上述した方法に代えて、Ｌ^＊ａ^＊ｂ^＊表色系の色空間において、ａ^＊ｂ^＊面での背景部分の平均色を求めておき、各画素に関する色（ａ^＊，ｂ^＊）と平均色との差（つまり、ａ^＊ｂ^＊面上の距離）を画素値に持つシングルチャンネル画像を生成してもよい。とくに、明度の変化があまりない色ムラを抽出するには、色分離軸を用いる方法を採用するよりも、この方法を採用するほうがよい。したがって、シミ、シワ、毛穴の黒ずみのように明度と色との両方の変化を伴う肌トラブルについては色分離軸を用いた処理によって判別し、明度の変動をあまり伴わない色ムラを抽出するには色分離軸を用いない処理によって判別するように、両者を併用してもよい。

上述した実施形態において、連結領域をグループ化して特徴判定領域を生成する際に、内部平均値と外部平均値との差であるコントラスト値によって特徴判定領域とするか否かを判断しているが、撮像装置１１で得られる濃淡画像の解像度が十分に高く、連結領域の画素数を統計的に意味を持つ程度に多くとることができる場合には、連結領域の内外における統計的な有意差の有無について母平均差の検定を行うようにしてもよい。また、同様に、分断された特徴判定領域を統合するか否かの判定の際に色差を用いているが、この場合も母平均差の検定を行うようにしてもよい。

本発明の実施形態を示す動作説明図である。同上においてシングルチャンネル画像の生成過程を示す動作説明図である。同上の概略構成図である。同上における濃淡画像の例を示す図である。同上におけるシェーディング除去処理後の画像の例を示す図である。同上における暫定しきい値による２値画像の例を示す図である。同上において色分離軸の設定概念を示す図である。同上における連結領域の概念を示す図である。同上における特徴判定領域の概念を示す図である。同上における特徴判定領域の生成例を示す図である。同上における特徴判定領域の他の生成例を示す図である。同上における特徴判定領域のさらに他の生成例を示す図である。同上において特徴判定領域から求める形状の特徴量を示す図である。同上に用いるニューラルネットワークの一例を示す図である。同上に用いるニューラルネットワークの教示に用いる画面例を示す図である。

符号の説明

１１撮像装置
１２記憶装置
１３画像処理装置
１４出力装置
１５入力装置
１６照明装置
５１，５２画素集団
５３色分離軸
Ａ１〜Ａ４連結領域
Ｂ６１〜Ｂ６１０特徴判定領域
ＣＡ６３１〜ＣＡ６３５コントラスト値
Ｈ人体
ＳＫスケルトン

Claims

被検査物を撮影して得られたシングルチャンネル画像について、隣接する画素間の画素値の差が第１の規定値以下になる画素からなる連結領域を生成した後、特徴部分の候補となる連結領域の内外の画素値の分布を用いて連結領域を統合することにより特徴判定領域を生成し、特徴判定領域から得られる特徴量について分類することにより特徴部分を複数の種別に分類することを特徴とする画像による外観検査方法。
被検査物である人体の皮膚を撮影して得られたシングルチャンネル画像について、隣接する画素間の画素値の差が第１の規定値以下になる画素からなる連結領域を生成した後、連結領域の内外の画素値の分布を用いて正常な肌である背景部分から肌トラブルの候補である特徴部分を分離するとともに特徴部分となる連結領域を統合した特徴判定領域を生成し、特徴判定領域から得られる特徴量について分類することにより肌トラブルを複数の種別に分類することを特徴とする画像による外観検査方法。
前記被検査物を撮影した画像はカラー画像であって、当該カラー画像にシェーディング除去処理を施した後、明度と色との少なくとも一方について設定した暫定的なしきい値を用いてカラー画像を２値化することにより暫定特徴部分と暫定背景部分とに分離し、暫定特徴部分と暫定背景部分と各画素集団を通るように色空間内で設定した色分離軸にカラー画像の各画素を投影することによって色分離軸上の位置を画素値に持つ画像を生成し、この画像を前記シングルチャンネル画像に用いることを特徴とする請求項１または請求項２記載の画像による外観検査方法。
前記連結領域を統合することにより前記特徴判定領域を生成するにあたって、統合する候補の連結領域ごとに当該連結領域の内部の画素値の平均値と当該連結領域の周辺の背景部分の画素値の平均値との差を求め、この差が第２の規定値よりも大きいときに当該連結領域を特徴部分とし、この差が第２の規定値よりも小さいときに当該連結領域を背景部分として、特徴部分となる連結領域の集合を特徴判定領域として統合することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像による外観検査方法。
前記特徴判定領域についてスケルトンを求め、互いに異なる２個の特徴判定領域のスケルトンの端点間を結ぶ線分の長さが第３の規定値以上であるときに、両特徴判定領域のスケルトン上の各画素と前記線分との距離の平均値に対する前記線分の長さの比が第４の規定値以上であり、かつ両特徴判定領域の色差が第５の規定値以下のときに両特徴判定領域を１個の特徴判定領域に統合することを特徴とする請求項４記載の画像による外観検査方法。
前記特徴判定領域から得られる複数種類の特徴量を入力とするニューラルネットワークにより複数の種別に分類するにあたり、特徴量を分類する基準値と当該基準値による分類結果と分類の修正結果とを対話的に入力した教示データが蓄積され、蓄積された教示データを用いてニューラルネットワークが教示されていることを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像による外観検査方法。