JPH03242773A - 画像検査装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、製品等の仕上がりの良否を判定する画像検査
装置に係わり、特にニューラルネットワークを応用した
画像検査装置に関する。

〔従来の技術〕

従来の、製品などの仕上がりの良否を画像処理により自
動的に検査する装置は、検査対象ごとに検査アルゴリズ
ムの開発を行う必要がある。例えばプリンタの検査では
、印字された文字の品質（汚れ、かすれ等の異常の有無
）を評価して、製品の仕上がり度をチエツクしており、
プリンタの種類ごとにこれらを行う検査アルゴリズムを
用意していた。これには次の理由がある。即ち、画像処
理手法を用いる従来技術では、コンボリューション等の
画像前処理により、汚れ、かすれ等の候補を強調させ、
そのあとで面積、周囲長等の特徴量を抽出し、それらの
値により上記異常を判定していた。一方、インクジェッ
トプリンタ、レーザビームプリンタ等では、それぞれの
機種ごとに文字フォントが異なり、印字された文字に違
いが生じる。そのために、上記の特徴量による異常の判
定手法では、文字ごとに異常を判定する特徴量の種類、
大きさが異なるために、各機種共通に同一の手法を適用
できない。そのために機種ごとに専用に、汚れ、かすれ
等の異常の検出を行う印字品質の検査アルゴリズムを設
ける必要があった。

またパターンマツチング手法を用いて簡易的に文字の品
質検査を行う手法が特開昭６３−３０４３８１号の「画
像パターン検査装置」に示されている。これは、文字フ
ォントの違いに対応がとれるために、機種ごとに検査ア
ルゴリズムを開発する必要がないという利点があるが、
機種ごとに異なる文字フォントを、パターンマツチング
の辞書パターンとして全て用意する必要があった。

〔発明が解決しようとする課題〕

上記従来技術は、検査対象が異なれば、それに応じて個
々に検査アルゴリズムを開発する必要があり、この開発
に多大の労力を要するという問題があった。

本発明の目的は、検査対象が異なっても共通に同一の手
法で検査の実行を可能とし、検査アルゴリズムの開発に
多大の労力を必要としない画像検査装置を提供するにあ
る。

〔課題を解決するための手段〕

上記の目的を達成するために、本発明では、階層型ニュ
ーラルネットワークを物体の異常の検出に用いるように
したものである。これを実現するために、ＩＴＶ等の物
体を画像として捉える画像入力部と１画゛倣入力部で得
られた画像から文字等の検査対象を画像データとして抽
出する画像処理部と、画像処理部で得られた画像データ
をニューラルネットワークの学習データとして入力しネ
ットワークの結合（荷重係数）を学習により決定するニ
ューロ学習部と、ニューロ学習部で決定された荷重係数
に基づいてニューラルネットワークを構築し、これに検
査対象の画像データを入力して想起を実行するニューロ
想起部と、ニューロ想起部で得られた想起結果に基づい
て検査対象の良否の判定を行う判定部とを設けた。

〔作　用〕

上記ニューロ学習部では、良品の画像情報だけを学習デ
ータとして用いてニューラルネットワークを学習させる
。これにより構築されたニューラルネットワークは、良
品の画像情報が与えられたとき最大に反応する。そして
上記ニューロ想起部ではこのニューラルネットワークを
内部に再現し、検査対象の画像情報を入力して想起を実
行する。

このとき学習データとして用いた良品の画像情報に近け
れば、ニューラルネットワークの出力は最大に近づくた
め、上記判定部では、全入力された画像情報が傷、汚れ
、かすれ等の影響により学習データとして用いた良品の
画像情報と許容範囲以上に異なっていれば、先のニュー
ラルネットワーりの出力は低い値となる。そのときは、
判定部では異常あり、即ち不良品であると判断できる。

以上のニューラルネットワークの動作により、物体の（
製品等の）良否の判定が可能となる。また検査対象が異
なっても、上記ニューロ学習部のニューラルネットワー
クに対して、新しい良品の画像情報を学習データとして
与えて学習させるだけでよいために、新たに検査アルゴ
リズムを開発するという労力を省くことができる。

〔実施例〕

以下、本発明の詳細な説明する。以下の実施例は、印字
された数字ｒＯＪ〜「９」の汚れ、かすれなどの有無を
検出して、良否の判定を行う文字品質検査装置で、その
実施例を第１図に示す。

同図において、ＩＴＶｌｏｏは検査対象を画像として捉
える画像入力装置であり１画像処理部２００は、ＩＴＶ
ｌｏｏで入力された画像に対してコンボリューション、
画像間の加算、差分等の演算、二値化処理等の各種画像
前処理を行って、検査対象の文字を切りだす。ニューロ
学習部３００は、画像処理部２００で切りだされた文字
を学習データとして用い、内蔵されている階層型ニュー
ラルネットワークの結合の強さ（荷重）を決定するため
の学習を行う。

ここで１階層型ニューラルネットワークを第２図を用い
て説明する。階層型ニューラルネットワークは、図に示
すように入力層３１０、中間層３２０、出力層３３０の
３層の構成となっており、入力層から出力層に向かって
一方向でのみ結合しているネットワークである。各層は
、ニューロン（例えば中間層３２０内のニューロンｉ）
と呼ばれる単機能の演算素子から構成されている。次に
このニューロンについて第３図を用いて説明する。図は
、ニューロンｉを詳細に示したものである。図に示すよ
うに、多入力単一出力の素子であり、その処理内容は各
人力ｘｊとそれに対応する荷重ｗｉコとの積和を求め、
これが関数ｆｉにより変換されて出力ｙｉを得るという
ものである（図中に式を示す）。

ｆｌの関数型は第４図に示すように、　Ｓｉｇｍｏｉｄ
関数と呼ばれる非線形関数とする。このときのニューロ
ンの出力値域はＯから１で、六方値が大きくなるにつれ
て１に、小さくなるにつれて０に近づく。

第１図に戻って、ニューロ学習部３００では、上記ニュ
ーロンの荷重ｗｉｊを学習により決定する。

学習方法としては、パックプロパゲーション法（文献：
　Ｒｕｍｅｌｈａｒｔ、Ｄ、Ｅ、、　Ｈｉｎｔｏｎ、Ｇ
、Ｅ、　ａｎｄ　１１ｉ１１ｉａ＊ｓ＊Ｒ，Ｊ、、”Ｌ
ｅａｒｎｉｎｇ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂ
ｙ　Ｂａｃｋ−ＰｒｏｐａｇａｔｉｏｎＥｒｒｏｒｓ”
、　Ｎａｔｕｒｅ、　Ｖｏｌ、３２３．　ｐｐ５３３−
５３６．　（１９８６，１０）　：日経エレクトロニク
ス、ａニューラルネットワークをパターン認識、信号処
理、知識処理に使う”Ｎｎ４７２（１９８７，８）を参
照）にもとづいて実行する。

コンソール４００は、ニューロ学習部３００において学
習を実行する際、学習データが具体的に何であるかを教
示するのに用いる。例えば数字の「４」の学習データが
与えられたとき、それが「４」であることを人間がコン
ソールがら教師データとして入力する。

ニューロ想起部５００は、画像処理部２００で切りださ
れた文字を想起データとして用い、内蔵されている前記
階層型ニューラルネットワークで想起を行う、ここでの
階層型ニューラルネットワークは、ニューロ学習部３０
０と同一構成であり、荷重ｗｉｊはニューロ学習部３０
０により決定されたものが転送されてくる。これにより
、最終のネットワークが構築される１判定部６００は、
ニューロ想起部５００の想起結果（階層型ニューラルネ
ットワークの出力層の出力ニューロンの値）に基づいて
検査対象である文字の印刷の良否を判定する。

以上に示した文字品質検査装置の動作は、（ａ）学習処
理と、（ｂ）想起処理とからなる。以下にこれらについ
て説明する。

（ａ）学習処理：ニューロ学習部３００における階層型
ニューラルネットワークの学習処理を実行するものであ
る。ここでは、主にＩＴＶｌｏｏ、画像処理部２００、
ニューロ学習部３００、コンソール４００が動作する。

まずニューロ学習部３００には学習データと教師データ
が入力されるが、このうちの学習データは、検査対象の
良品の文字だけを画像データとして表したものである。

即ちＩＴＶｌｏｏから入力された良品文字の画像を画像
処理部２００にて前処理し、検査対象の数字を抽出した
もので１本実施例では第５図（ａ）、　（ｂ）　（（ａ
）は良品の数字のｒｏ」、（ｂ）は良品の数字の「８」
の例である）に示すように、横５画素、縦７画素の白、
黒の画像データで表されるとする。一方、教師データは
。

上記抽出された文字の学習データに対して、コンソール
４００から人間が入力する。

画像処理部２００に内蔵されている階層型ニューラルネ
ットワークは、第２図で示した構成となっているが、入
力層３１０のニューロン数は、学習データの画素数５×
７画素に対応して３５個、中間層３２０のニューロン数
は１８個、出力層３３０のニューロン数は、検査対象数
字（「Ｏ」から「９」）の個数に対応して１０個とする
。ここで中間層３２０のニューロン数は特に規定されな
いが、入力層の半分程度が経験的に良い結果となってい
る。先の教師データは、「Ｏ」から「９」に対応付けら
れた出力層３３０の各ニューロンに対して、目的の数字
に対応するニューロンに１を、それ以外のニューロンに
対してはＯを与えるものである。画像処理部２００では
、上述の階層型ニューラルネットワークの入力層ニュー
ロンに上記学習データを入力し。

さらに上記教師データを誤差演算に用いて、前記パック
プロパゲーションによる学習を実行する。

学習は、全種類の数字（良品）の学習データに対して、
ネットワークが収束するまで繰り返す。そして収束後に
決定された各層のニューロンの荷重ｗｉｊをニューロ想
起部５００に転送する。ニューロ想起部５００では、全
転送された荷重ｗｉｊにより階層型ニューラルネットワ
ークを内部に構築する。

（ｂ）想起処理二ニューロ想起部５００における階層型
ニューラルネットワークの想起処理を実行し、実際の検
査対象の文字の良否を判定する処理である。ここで、主
にＩＴＶｌｏｏ、画像処理部２００、ニューロ想起部５
００、判定部６００が動作する。まずニューロ想起部５
００に想起用の想起データが入力される。この想起デー
タは、実際の検査対象の文字を、上記学習処理における
学習データと同じ方法で抽出したものであり、学習デー
タと同様に横５画素、縦７画素の白、黒の画像データで
ある。この想起データに対する階層型ニューラルネット
ワークの想起結果は１本ネットワークにおける出力層３
３０の１０個のニューロンの出力値の集合である。

例えば、想起データが学習データとよく似たパターン（
即ち良品に属する）であれば、出力層の１０個のニュー
ロンのうち、対応するｌ個のニューロンの出力値はｌに
近づき、残り９個のニューロンの出力値はＯに近づく。

また、想起データが、学習データと多少異なったパター
ン（即ち汚れ、かすれ等の異常がある不良品に属する）
であれば。

良品のときに比べて対応する１個のニューロンの出力値
は低くなり、残り９個のニューロンのうち少なくとも１
個のニューロンの出力値は大きくなる。例えば、第５図
（ｂ）の数字「８」の良品の学習データに対して、かす
れにより画素Ｘが欠けた同（ｃ）図の「８」の想起デー
タの場合には、「８」に対応するニューロンの出力値は
０．８（良品時は０．９９程度）に低下、そして少なく
ともｒＯＪに対応するニューロンの出力値が０．３（良
品時は０．０１程度）に上昇する。これはがすれの影響
により「８」のパターン（第５図（ｂ））が、多少「Ｏ
」のパターン（第５図（ａ））と似通ってしまうからで
ある。これに乗じて残りのニューロンの出力値も多少上
昇する。

判定部６００では、上記想起結果に基づいて文字の印字
の良否を判定する。この良否の判定方法を第６図を用い
て以下に説明する。まず、上記想起結果である１０個の
ニューロン（出力層）の出力値の集合から最大値Ｏｗａ
ｘを検出する（ステップ６１０）。

次に検出した最大値Ｏｍａスと域値ＴＨＩとで大小の比
較判定を行う（ステップ６２０）。域値ＴＨＩは予め本
装置にセットしておくものであり、具体的な値は装置の
目標精度等に依存し、経験的には０．９程度である。ス
テップ６２０にて最大値Ｏｍａスが域値ＴＨＩ未満であ
れば、現検査対象の印字文字に対する想起データは無条
件に不良であると判断し、本判定部６００ではｒ不良」
という判定結果を出力する（ステップ６７０）、一方、
最大値０ｖａａｘが域値ＴＨＩ以上であれば、現検査対
象の印字文字に対する想起データは良品の候補であると
判定し。

１０個の出力層ニューロンの出力値の集合から、最大値
Ｏｗａｘに続く第２位の値０ｓｅｃを検出する（ステッ
プ６３０）。そして○ｍａＸと０ｓｅｅとの比Ｒを求め
る（ステップ６４０）。次に予め本装置にセットされた
域値ＴＨ２（具体的な値は経験的に１００程度）と比Ｒ
とを比較しくステップ６５０）、比Ｒが域値ＴＨ２以上
であれば現検査対象の印字文字に対する想起データは良
品であると判断し１本判定部６００では「良品」という
判定結果を出力する（ステップ６６０）。また、比較の
結果、比Ｒが域値ＴＨ２未満であれば現検査対象の印字
文字に対する想起データは不良であると判断し、本判定
部では「不良」という判定結果を出力する（ステップ６
６０）。全検査対象に対して以上の判定処理が行われる
。

以上が本発明実施例の文字品質検査装置の動作である。

なお、上記の文字品質検査装置の構成において、ニュー
ロ学習部３００とニューロ想起部５００を共通化（実際
にはニューロ想起部を取りのぞいて、ニューロ学習部で
想起処理を代用）可能である。

本実施例の文字品質検査装置には以下の効果がある。

（１）検査対象の文字フォントが異なっても、階層型ニ
ューラルネットワークに対して新規に学習処理を実行し
、同ネットワークの結合状態（荷重）を変えるだけで対
応できるから、新たに検査アルゴリズムを開発するため
の労力が省ける。

（２）学習処理によるネットワーク構築において、種々
の異なる不良品パターンを学習データとして必要とせず
、良品パターンのみを学習データとして使用しているた
めに、学習データの数を低減できる。その結果、学習処
理に要する処理時間も低減することができる。

（３）ニューラルネットワークの想起結果に基づいて良
否の判定をするとき、ニューロン出力の最大値だけでな
く、２番目の大きさの出力値をも用いるようにしたこと
により、検査精度を向上できる。

（４）ニューラルネットワークの動作部を機能に応じて
第１図のようにニューロ学習部（学習処理を専門に実行
）とニューロ想起部（想起処理を専門に実行〉に分割す
れば１文字品質検査時（オンライン）には、ニューロ学
習部を切りはなし、ニューロ想起部のみで検査を行える
から、オンライン検査時の装置規模を小形化できる。

〔発明の効果〕 本発明によれば、検査対象が異なっても、ニューラルネ
ットワークに対して、新規に検査対象に対する学習処理
を実行して、ニューラルネットワークの結合状態（荷重
）を変えるだけで対応できるために、新たに検査アルゴ
リズムを開発する労力が省けるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例を示す文字品質検査装置のブ
ロック構成図、第２．３．４図はニューラルネットワー
クの説明図、第５，６図は本発明の詳細な説明図である
。 １００・・・ＩＴＶ、２００・・・画像処理部、３００
・・・ニューロ学習部、４００・・・コンソール、５０
０・・・ニューロ想起部、６００・・・判定部。

Claims (1)

1. 【特許請求の範囲】 １、物体を画像として捉える画像入力部と、該画像入力
   部で得られた画像から文字等の検査対象を画像データと
   して抽出する画像処理部と、該画像処理部で抽出された
   画像データをニューラルネットワークの学習データとし
   て入力し当該ネットワークの荷重係数を学習により決定
   するニューロ学習部と、該ニューロ学習部で決定された
   荷重係数にもとずいてニューラルネットワークを構築し
   、入力された画像データに対して想起を実行するニュー
   ロ想起部と、該ニューロ想起部で得られた想起結果に基
   づいて検査対象の良否の判定を行う判定部とから構成し
   たことを特徴とする画像検査装置。 ２、画像情報を用いて対象物の良品、不良品を判定する
   画像検査装置において、良品の画像情報だけを学習デー
   タとして階層型ニューラルネットワークに与えて学習を
   実行し、これにより構築された階層型ニューラルネット
   ワークに検査対象の画像情報を入力して想起を実行し、
   そのときの想起結果である出力ニューロンの値の大小に
   応じて、検査対象の良否を判定するようにしたことを特
   徴とする画像検査装置。 ３、請求項１記載の画像検査装置において、ニューラル
   ネットワークの出力層の出力ニューロンの個数を検査対
   象のカテゴリ数と同じ数だけ用意し、このネットワーク
   により検査対象の画像情報を想起し、前記判定部は、出
   力ニューロンの値の最大値が予め定められた第１の域値
   より大きく、かつ上記出力ニューロンの値の第２の大き
   さをもつ値の上記最大値に対する比が予め定められた第
   ２の域値より大きいときのみ良品と判定することを特徴
   とする画像検査装置。 ４、請求項２記載の画像検査装置において、前記対象物
   はプリンタであり、検査される画像情報は、当該プリン
   タから出力された文字を撮像手段により撮像したもので
   あることを特徴とする画像検査装置。 ５、請求項２記載の画像検査装置において、前記対象物
   は製品、部品、または材料であり、検査される画像情報
   は、当該製品、部品、または材料の外観を撮像手段によ
   り撮像したものであることを特徴とする画像検査装置。