JPH06235625A

JPH06235625A - 傷検査装置

Info

Publication number: JPH06235625A
Application number: JP2121793A
Authority: JP
Inventors: Ryuichi Inoue; 竜一井上; Akira Kobayashi; 彰小林
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-02-09
Filing date: 1993-02-09
Publication date: 1994-08-23

Abstract

(57)【要約】【目的】面積が小さい傷を正確に判断する傷検査装置
を提供することを課題としている。【構成】撮像手段５と、Ａ／Ｄ変換手段９と、濃淡画
像データの記憶手段１１と、２値化処理手段１２と、ラ
ベリング処理手段１３と、ラベリングされた２値化連続
画像領域毎に、記憶手段１１に記憶された濃淡画像デー
タと２値化処理手段１２による２値化画像データとに基
づいて、複数の特徴量を求める複数特徴量算出手段１４
と、前記複数特徴量について予想される多数の組合せの
夫々を入力とした場合の傷判断結果出力を予め学習し、
前記各２値化連続画像領域毎に、複数特徴量算出手段１
４が求めた複数の特徴量の各組合せを入力として、傷判
断結果を出力するニューラルネットワーク手段１５とを
有することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理を用いて、精
密部品の傷の検査を行う傷検査装置に関するものであ
る。

【０００２】

【従来の技術】近年、シリンダ等の精密部品の外観検査
を自動的に実施する傷検査装置が広く使用されている。

【０００３】この傷検査装置の従来例を図５、図６に基
づいて説明する。

【０００４】図５において、位置決めテーブル１上に載
置された検査対象物２の上側方に照明手段３が設置さ
れ、検査対象物２を上側から撮像するテレビカメラ５が
テレビカメラ可動支持部４に支持されている。操作盤及
び主コントローラからの指令を判定制御手段６を介して
受け、テレビカメラ５を制御するテレビカメラ制御手段
７が、テレビカメラ５に接続されている。窓枠制御手段
８は、検査対象物２に応じて処理範囲を任意に設定する
窓枠を出力する。Ａ／Ｄ変換手段９は、テレビカメラ５
から入力された映像信号をＡ／Ｄ変換して濃淡画像デー
タとする。点線で囲まれた部分の傷判断部１０は、任意
の２値化レベルを閾値として、濃淡画像データを２値化
画像データに変換する２値化処理手段３０と、前記２値
化画像データにおける２値化連続画像領域毎に番号を付
けるラベリング処理手段３１と、ラベリング処理手段３
１により番号付けされた前記２値化連続画像領域毎に面
積を算出する面積算出手段３２と、各２値化連続画像領
域毎に算出された面積を閾値処理して傷検出を行い、閾
値以上の面積を有する２値化連続画像領域を傷と判断
し、閾値未満の面積を有する２値化連続画像領域は傷で
はないと判断し、その結果を主コントローラに送出する
傷検出手段３３とを有する。

【０００５】図６は、従来例の動作を示すフローチャー
トである。

【０００６】ステップ＃１１において、傷判断部１０の
２値化処理手段３０が、窓枠制御手段８が出力した窓枠
に基づいて、Ａ／Ｄ変換手段９からの濃淡画像データを
２値化処理して、２値化画像データに変換し、ステップ
＃１２に進む。

【０００７】ステップ＃１２において、傷判断部１０の
ラベリング処理手段３１が、前記２値化画像データにお
ける２値化連続画像領域毎に番号を付け、ステップ＃１
３に進む。

【０００８】ステップ＃１３において、傷判断部１０の
面積算出手段３２が、番号付けされた前記２値化連続画
像領域毎に面積を算出し、ステップ＃１４に進む。

【０００９】ステップ＃１４において、傷検出手段３３
が、ステップ＃１３で算出された２値化連続画像領域の
面積を閾値と比較し、その面積が閾値以上であれば傷と
判断して、ステップ＃１５に進み、その面積が閾値未満
であれば傷ではないと判断して終了する。

【００１０】ステップ＃１５において、傷検出手段３３
が傷との判断結果を出力する。

【００１１】

【発明が解決しようとする課題】しかし、上記の従来例
では、面積を判断基準とし、閾値以上の面積があるもの
を傷と判断しているので、細長く鋭くて深い傷のよう
に、実害が大きいが面積が小さい傷を見落とすという問
題点を有する。

【００１２】本発明は、上記の問題点を解決し、面積が
小さい傷を正確に判断する傷検査装置を提供することを
課題としている。

【００１３】

【課題を解決するための手段】本発明の傷検査装置は、
上記の課題を解決するために、撮像手段により撮像され
た被検査物の映像信号をＡ／Ｄ変換して濃淡画像データ
とするＡ／Ｄ変換手段と、濃淡画像データを記憶する記
憶手段と、前記濃淡画像データを２値化画像データに変
換する２値化処理手段と、前記２値化画像データを２値
化連続画像領域毎に番号付けをするラベリング処理手段
と、前記２値化連続画像領域毎に、前記記憶手段に記憶
された濃淡画像データと前記２値化処理手段による２値
化画像データとに基づいて、複数の特徴量を求める複数
特徴量算出手段と、前記複数特徴量について予想される
多数の組合せの夫々を入力とした場合の傷判断結果出力
を予め学習し、前記各２値化連続画像領域毎に、前記複
数特徴量算出手段が求めた複数の特徴量の各組合せを入
力として、傷判断結果を出力するニューラルネットワー
ク手段とを有することを特徴とする。

【００１４】又、本発明の傷検査装置は、複数特徴量算
出手段は、ラベリング手段により番号付けされた２値化
連続画像領域毎に、ＸＹ座標系の２次モーメントを算出
するＸＹ２次モーメント算出回路と、ＸＹ座標系を、ラ
ベリング手段により番号付けされた２値化連続画像領域
の共分散が０となるＵＶ座標系に変換する座標変換回路
と、前記ラベリング手段により番号付けされた２値化連
続画像領域毎に、ＵＶ座標系の２次モーメントを算出
し、前記２値化連続画像領域毎の幅、長さ、方向性を求
めるＵＶ２次モーメント算出回路とを有することが好適
である。

【００１５】

【作用】本発明で使用するニューラルネットワークと
は、神経作用に類似した作用を有するネットワークで、
人間の運動神経のように、学習によって、要因間に関連
性がある複数の要因に対して、それらの要因の多数の組
合せに正確に対応できるもので、本発明におけるニュー
ラルネットワークの作用は次のとおりである。

【００１６】先ず、従来例のように面積のみを特徴量と
すると、細長く鋭くて深い傷の場合、その画像の面積が
小さいので、傷として検出できない場合がある。又、同
一要因で飛び飛びに付いた傷は、一つ一つの傷が小さい
ので、傷として検出できない場合がある。

【００１７】しかし、傷の画像の幅、長さ、方向性、平
均濃度等には、ノイズや影等とは異なる傷独特の傾向が
あるので、傷独特の傾向を有する特徴量を組み合わせる
と、より正確な傷の判断が可能になる。即ち、傷の画像
は、一般に、平均濃度が高い、幅が狭く長さが長い、同
一要因で付いた飛び飛びの傷は方向性が揃っている等の
傾向があり、且つ、これに面積を加えた複数の特徴量に
おいて、傷の要因によって、特有の相関性がある。従っ
て、部品の加工工程において、発生する可能性がある各
種の傷要因を分類し、各要因毎に、傷の複数の特徴量の
傾向を把握すれば、各要因について、傷の画像の面積、
幅、長さ、方向性、平均濃度等の特徴量の個々の傾向
と、特徴量間の関連性とを求めることができる。

【００１８】本発明の傷検査装置は、濃淡画像データと
２値化画像データとから、２値化連続画像領域毎の複数
の特徴量を求め、各２値化連続画像領域の複数の特徴量
を、前記複数の特徴量について予想される多数の組合せ
の夫々を入力とした場合の傷判断結果出力を、上記の傾
向把握に基づいて予め学習したニューラルネットワーク
に入力するので、幅、長さ、方向性、平均濃度の条件か
ら、小さな面積の傷でも、正確に傷であると判断でき
る。

【００１９】

【実施例】本発明の傷検査装置の一実施例を図１〜図３
に基づいて説明する。

【００２０】図１において、位置決めテーブル１上に載
置された検査対象物２の上側方に照明手段３が設置さ
れ、検査対象物２を上側から撮像するテレビカメラ５が
テレビカメラ可動支持部４に支持されている。操作盤及
び主コントローラからの指令を判定制御手段６を介して
受け、テレビカメラ５を制御するテレビカメラ制御手段
７が、テレビカメラ５に接続されている。窓枠制御手段
８は、検査対象物２に応じて処理範囲を任意に設定する
窓枠を出力する。Ａ／Ｄ変換手段９は、テレビカメラ５
から入力された映像信号をＡ／Ｄ変換して濃淡画像デー
タとする。点線で囲まれた部分の傷判断部１０は、濃淡
画像データを記憶する記憶手段１１と、任意の２値化レ
ベルを閾値として、濃淡画像データを２値化画像データ
に変換する２値化処理手段１２と、前記２値化画像デー
タにおける２値化連続画像領域毎に番号を付けるラベリ
ング処理手段１３と、前記２値化連続画像領域毎に、前
記記憶手段１１に記憶された濃淡画像データと前記２値
化処理手段１２による２値化画像データとに基づいて、
複数の特徴量を求める複数特徴量算出手段１４と、前記
複数特徴量について予想される多数の組合せの夫々を入
力とした場合の傷判断結果出力を予め学習し、前記各２
値化連続画像領域毎に、前記複数特徴量算出手段１４が
求めた複数の特徴量の各組合せを入力として、傷判断結
果を出力するニューラルネットワーク手段１５とを有す
る。

【００２１】次に、ニューラルネットワーク手段１５を
図２に基づいて説明する。

【００２２】図２は、多層パーセプトロン型構造１７を
したニューラルネットワーク手段１５の構成を示す。ニ
ューラルネットワークとは、神経作用に類似した作用を
有するネットワークで、人間の神経が訓練によって複雑
な要因に正確に対応できるように、学習によって、要因
間に関連性がある複数の要因に対して、それらの要因の
多数の組合せに正確に対応できるものである。本実施例
では、複数の特徴量を、傷の画像の面積、幅、長さ、方
向性、平均濃度の５個としているので、５入力１出力型
である。このニューラルネットワーク手段１５には、バ
ックプロパゲーション学習によって、５個の特徴量の各
種の組合せサンプルに対する一つの出力を学習させる。
この学習は下記のように行われる。

【００２３】先ず、一番下のパーセプトロン型構造と下
から２つ目のパーセプトロン型構造間の学習において、
傷の画像の５個の特徴量、画像の面積、幅、長さ、方向
性、平均濃度について、これらの組合せの多数のサンプ
ルを用意し、各サンプルの５個の特徴量間の関連性をテ
ィーチングする。例えば、図２のパーセプトロン型構造
への複数特徴量の入力１６の左から、面積、幅、長さ、
方向性、平均濃度を入力し、面積についての学習は、下
から２つ目のパーセプトロン型構造の面積の位置に、一
番下のパーセプトロン型構造に入力した面積のデータを
伝えると共に、幅、長さ、方向性、平均濃度のデータの
大きさによる面積への影響分のデータをティーチング
し、一番下のパーセプトロン型構造の幅、長さ、方向
性、平均濃度の位置から、前記のティーチングした影響
分のデータを伝えるようにティーチングする。幅、長
さ、方向性、平均濃度についても、面積の場合と同様の
ことをティーチングする。この結果、下から２つ目のパ
ーセプトロン型構造には、前記の５個の特徴量、画像の
面積、幅、長さ、方向性、平均濃度について、相互の関
連性を考慮して修正したデータが入力されている。

【００２４】次に、下から２つ目のパーセプトロン型構
造と一番上のパーセプトロン型構造間の学習において、
前記の場合と同様のことをティーチングする。この結
果、一番上のパーセプトロン型構造には、前記の５個の
特徴量、画像の面積、幅、長さ、方向性、平均濃度につ
いて、相互の関連性を２度考慮して修正したデータが入
力されている。

【００２５】最後に、一番上のパーセプトロン型構造に
入力されている前記の５個の特徴量、画像の面積、幅、
長さ、方向性、平均濃度のデータによって、傷であると
の判断「１」を出力するようにティーチングする。

【００２６】又、傷では無い画像の５個の特徴量、画像
の面積、幅、長さ、方向性、平均濃度について、これら
の組合せの多数のサンプルを用意し、各サンプルの５個
の特徴量間の関連性を、上記の傷の場合と同様にしてテ
ィーチングし、一番上のパーセプトロン型構造に入力さ
れている前記の５個の特徴量、画像の面積、幅、長さ、
方向性、平均濃度のデータによって、傷では無いとの判
断「０」を出力するようにティーチングする。

【００２７】実際の検査において、画像の５個の特徴
量、画像の面積、幅、長さ、方向性、平均濃度が、ニュ
ーラルネットワーク手段１５に入力されると、これらの
入力が、先にティーチングした傷のサンプルの入力と同
一かこれに近い場合には、出力は、「１」又は、「１」
に近い値になり、先にティーチングした傷では無いサン
プルの入力と同一かこれに近い場合には、出力は、
「０」又は、「０」に近い値になる。即ち、出力が
「１」又は、「１」に近い値であれば、傷と判断するこ
とができ、出力が「０」又は、「０」に近い値であれ
ば、傷では無いと判断することができ、出力が「０．
５」に近い場合には、どちらとも判断できないというこ
とになる。従って、１≧閾値＞０．５間の閾値を設ける
と、ティーチングしたニューラルネットワーク手段１５
によって、傷の判断ができる。

【００２８】次に、本実施例の動作を図３のフローチャ
ートに基づいて説明する。

【００２９】ステップ＃１において、テレビカメラ５か
らの映像信号がＡ／Ｄ変換手段９によって濃淡画像デー
タにＡ／Ｄ変換され、２値化処理手段１１が、前記濃淡
画像データを２値化して２値化画像データにして、ステ
ップ＃２に進む。この際、前記濃淡画像データは記憶手
段１１に記憶されている。

【００３０】ステップ＃２において、ラベリング処理手
段１３が、前記２値化画像データを２値化連続画像領域
毎に番号付けして、ステップ＃３に進む。

【００３１】ステップ＃３において、番号付けされた２
値化連続画像領域毎に、複数特徴量算出手段１４が、前
記２値化画像データから面積を計算し、記憶手段１１の
前記濃淡画像データから平均濃度を計算し、複数特徴量
算出手段１４にあるＸＹ２次モーメント算出回路とＵＶ
２次モーメント算出回路とが、前記２値化画像データか
ら前記２値化連続画像領域毎に画像の幅、長さ、方向性
を計算し、ステップ＃４に進む。これらの計算は次のよ
うに行う。

【００３２】面積は、ラベリング処理されて番号が付け
られた前記２値化連続画像領域毎の画素数で、数式で表
すと、数式（１）となる。

【００３３】

【数１】

【００３４】平均濃度は、ラベリング処理されて番号が
付けられた前記２値化連続画像領域毎の濃度の総和を画
素数で割ったもので、数式で表すと、数式（２）とな
る。

【００３５】

【数２】

【００３６】但し、Ｓは面積、Ｄは平均濃度、ｐは画像
濃度を表す。

【００３７】幅、長さ、方向性の計算の説明は、図４に
基づいて行う。方向性はラベリング処理されて番号が付
けられた２値化連続画像領域の傾き角度を表し、幅及び
長さはラベリング処理されて番号が付けられた２値化連
続画像領域の傾き角度方向の直角座標軸を考えたときの
夫々の軸方向における領域の画素幅を表す。これらの
幅、長さ、方向性の計算は、図４に示すように、ＸＹ座
標軸系では、角度θの２値化連続画像領域１９の角度が
０になるようなＵＶ座標軸系に、ＸＹ座標軸系を変換す
ることによって行う。

【００３８】ＸＹ座標系での２次モーメントＶｘ、Ｖ
ｙ、Ｃｘｙは夫々、

【００３９】

【数３】

【００４０】

【数４】

【００４１】

【数５】

【００４２】となる。これをＵＶ座標系に変換する式
は、

【００４３】

【数６】

【００４４】

【数７】

【００４５】であり、ＵＶ座標系での２次モーメントＶ
ｕ、Ｖｖ、Ｃｕｖは夫々、

【００４６】

【数８】

【００４７】

【数９】

【００４８】

【数１０】

【００４９】となる。ここで、図４のように、ＸＹ座標
系からＵＶ座標系への変換条件は、ＵＶ座標系の共分散
が０になるときである。又、Ｖｕ、Ｖｖ、Ｃｕｖは、数
式（３）、数式（４）、数式（５）、数式（６）、数式
（７）を用いて表すと、

【００５０】

【数１１】

【００５１】

【数１２】

【００５２】

【数１３】

【００５３】となる。ここで、条件式、

【００５４】

【数１４】

【００５５】を代入して解くと、角度θは、

【００５６】

【数１５】

【００５７】と求められる。このようにして求められた
角度θを方向性の特徴量とする。そして、ＵＶ座標系に
おいて、ラベリング処理されて番号が付けられた２値化
連続画像領域のＵ、Ｖ夫々の座標軸方向の画素幅を、
幅、長さの特徴量とする。但し、画素幅の大きい方を長
さ、小さい方を幅とする。

【００５８】ステップ＃４において、前記のようにティ
ーチングされたニューラルネットワーク手段１５に、ス
テップ＃３において求められた、数式（１）の面積、数
式（２）の平均濃度、数式（１５）の方向性、２値化連
続画像領域のＵＶ座標系の座標軸方向の画素幅である幅
と長さの５個の特徴量が入力され、ティーチングに基づ
いて、出力が得られ、ステップ＃５に進む。

【００５９】ステップ＃５、＃６において、ニューラル
ネットワーク手段１５がの出力に基づいて、傷か否かの
判断を行うが、出力が１に近い場合は傷であり、出力が
０に近い場合は傷では無く、出力が０，５に近い場合は
傷か傷でないか判断できないということなので、０．５
を越える閾値を設定し、閾値以上の場合は、傷と判断す
る。本発明の傷検査装置は、上記の実施例に限らず種々
の態様が可能である。

【００６０】例えば、特徴量は実施例の５個に限らず、
何個でも良い。出力も一つに限らず複数にすることもで
きる。

【００６１】

【発明の効果】本発明の傷検査装置は、２値化連続画像
領域について、２値化画像データと濃淡画像データとか
ら複数の特徴量を求め、これらの複数の特徴量を、ニュ
ーラルネットワーク手段を使用して処理するので、従来
技術では傷と判断できない小さな傷についても、正確に
傷として判断できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の傷検査装置の一実施例の構成を示すブ
ロック図である。

【図２】ニューラルネットワーク手段の構成と動作を示
す模式図である。

【図３】図１の動作を示すフローチャートである。

【図４】画像の幅、長さ、方向性の特徴量を求めるため
の座標系の変換を示す説明図である。

【図５】従来例の傷検査装置の構成を示すブロック図で
ある。

【図６】図５の動作を示すフローチャートである。

【符号の説明】５テレビカメラ９Ａ／Ｄ変換手段１１記憶手段１２２値化処理手段１３ラベリング処理手段１４複数特徴量算出手段１５ニューラルネットワーク手段１６複数特徴量の入力１７多層パーセプトロン型構造１８出力１９２値化連続画像領域

Claims

【特許請求の範囲】

【請求項１】撮像手段により撮像された被検査物の映
像信号をＡ／Ｄ変換して濃淡画像データとするＡ／Ｄ変
換手段と、濃淡画像データを記憶する記憶手段と、前記
濃淡画像データを２値化画像データに変換する２値化処
理手段と、前記２値化画像データを２値化連続画像領域
毎に番号付けをするラベリング処理手段と、前記２値化
連続画像領域毎に、前記記憶手段に記憶された濃淡画像
データと前記２値化処理手段による２値化画像データと
に基づいて、複数の特徴量を求める複数特徴量算出手段
と、前記複数特徴量について予想される多数の組合せの
夫々を入力とした場合の傷判断結果出力を予め学習し、
前記各２値化連続画像領域毎に、前記複数特徴量算出手
段が求めた複数の特徴量の各組合せを入力として、傷判
断結果を出力するニューラルネットワーク手段とを有す
ることを特徴とする傷検査装置。
【請求項２】複数特徴量算出手段は、ラベリング手段
により番号付けされた２値化連続画像領域毎に、ＸＹ座
標系の２次モーメントを算出するＸＹ２次モーメント算
出回路と、ＸＹ座標系を、ラベリング手段により番号付
けされた２値化連続画像領域の共分散が０となるＵＶ座
標系に変換する座標変換回路と、前記ラベリング手段に
より番号付けされた２値化連続画像領域毎に、ＵＶ座標
系の２次モーメントを算出し、前記２値化連続画像領域
毎の幅、長さ、方向性を求めるＵＶ２次モーメント算出
回路とを有する請求項１に記載の傷検査装置。