JPH07333170A - 欠陥パターン種別判定方法およびその装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明の目的は、検出された欠陥の種別を判定
できるとともに、判定する欠陥の種別の登録および変更
を専門化によらずとも容易に行える欠陥パターン種別判
定方法およびその装置を得ることにある。 【構成】撮像対象を照明した光から検出された撮像画像
を予め記憶された標準画像と比較し、両画像間の相違を
検出して得る前記撮像画像の欠陥について、その特徴値
を算出する特徴値抽出回路31と、欠陥の種別毎の特徴を
言語で欠陥記述として指示する入力装置12と、この指示
された欠陥記述及び前記回路31で抽出された特徴値をメ
ンバーシップ関数でファジー処理するファジー回路32
と、この回路32を入力層とし、かつ、前記欠陥記述に対
応する中間層41及び前記欠陥の種別に対応する出力を出
す出力層42を有して形成される三層の階層形ニューラル
ネットワーク33とを具備した欠陥パターン種別判定装
置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像対象、例えば印刷
媒体に印刷された模様や文字・記号等を撮像して、それ
を処理して評価し、印刷漏れや異物付着、きずなどの欠
陥を検出して得られる欠陥パターンについて、その欠陥
の種別判定を自動的にする欠陥パターン種別判定方法お
よびその装置に関する。

【０００２】

【従来の技術】例えば印刷物の欠陥パターン検出におい
ては、連続して印刷または個別に印刷された同じ印刷パ
ターンを一定の周期で読取り、読取った印刷パターンの
入力画像を、事前に準備された標準パターンまたは直前
（例えば１周期前）に読取った印刷パターン（標準パタ
ーン）の画像と重ね合わせ比較して、両画像間の相違部
を抽出する方式が採用されている。

【０００３】

【発明が解決しようとする課題】ところで、印刷物等の
欠陥の原因には、インクの粘度、虫または埃等異物の有
無、物体の接触等各種の理由があり、その欠陥パターン
の種別により対応する欠陥原因も異なることが知られて
いる。そのため、印刷物等の生産ライン上での品質を確
保するためには、欠陥パターンの種別を判定することに
より発生原因を突止め、いち早くラインにフィードバッ
クすることが有効である。それにより、不良品の大幅な
発生を防止できる。

【０００４】しかし、既述のような相違部の抽出方法
は、比較した両画像間の相違が分かるのみであって、そ
れによって、欠陥の種別を判定することができないとい
う問題がある。

【０００５】それにより現状では、前記相違部の抽出の
たびに、人手により、相違部の画像から得られる面積、
輪郭の長さ、大きさ、直線性などの図形的特徴を数値的
に表現し、それに基づき特徴値判定法による欠陥の種類
を判定する手法が採用されている。

【０００６】この人手による種別判定における判定基準
の設定などの各種パタメータの決定には、画像処理の専
門家によって試行錯誤的に決定する必要を余儀なくされ
ており、その決定に長時間を要しているとともに、それ
故、生産ラインへフィードバックする即応性にも欠けて
いる。

【０００７】本発明の目的は、検出された欠陥の種別を
判定できるとともに、判定する欠陥の種類の登録および
変更を専門家によらずとも容易に行える欠陥パターン種
別判定方法およびその装置を得ることにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、請求項１に係る本発明の欠陥パターン種別判定方法
は、撮像対象を照明した光から前記撮像対象の画像を検
出し、この撮像画像を予め記憶された標準画像と比較
し、これら両画像間の相違を検出して得た前記撮像画像
の欠陥についての種別を判定するものであって、欠陥の
種別ごとの特徴を言語または図形記号のようなメディア
を用いて欠陥記述として指示し、この指示された欠陥記
述をメンバシップ関数でファジー処理し、このファジー
処理を行うファジー推論部の出力を、前記ファジー推論
部を入力層とする階層形ニューラルネットワークに入力
して、このネットワークにより前記検出により得た欠陥
の種別を判定することを特徴としている。

【０００９】また、同様の目的を達成するために、請求
項２に係る本発明の欠陥パターン種別判定方法は、請求
項１において、欠陥の特徴値ごとにそれらを実際の欠陥
から判断される概略値で複数の段階に分け、各段階ごと
に前記欠陥記述で指示して、それを前記ファジー推論部
のメンバーシップ関数に割当てて、各段階の特徴値と前
記各段階ごとの欠陥記述との対応付けをしたことを特徴
としている。

【００１０】また、同様の目的を達成するために、請求
項３に係る本発明の欠陥パターン種別判定装置は、撮像
対象を照明した光から前記撮像対象の画像を検出し、こ
の撮像画像を予め記憶された標準画像と比較し、これら
両画像間の相違を検出して得た前記撮像画像の欠陥につ
いて、その特徴値を算出する特徴値抽出回路と、欠陥の
種別ごとの特徴を言語または図形記号のようなメディア
を用いて欠陥記述として指示する入力手段と、この指示
された欠陥記述および前記特徴値抽出回路で抽出された
特徴値が入力され、それをメンバーシップ関数でファジ
ー処理するファジー推論部と、このファジー推論部を入
力層とし、かつ、前記欠陥記述に対応する中間層および
前記欠陥の種別に対応する出力を出す出力層を有して形
成される階層形ニューラルネットワークとを具備したも
のである。

【００１１】

【作用】このような本発明の構成においては、欠陥の記
述を普通の言語に近い形或いはそれを抽象化した図形記
号のようなメディアを入力することで行える。そして、
ファジー推論部をニューラルネットワークの入力層とす
ることで、欠陥の記述に用いられる欠陥の特徴の種類や
例えば「大きい」、「中程度」等の指示内容は、ニュー
ラルネットワークの学習機能により調整できる。それに
より、本発明方法および装置のシステム設計者にとって
は、多大な試行錯誤を繰り返してしきい値などを設定す
る必要がなくなり、簡単な解析程度で得られる適当な仮
の値を設定しておけばよく、システム開発期間を短縮で
きる。

【００１２】そして、ファジー推論部を入力層としたニ
ューラルネットワークを用いたから、欠陥記述と実際の
欠陥画像とを対応させながら、ニューラルネットワーク
の自己組織化（学習）機能を用いて、印刷物等の検査な
いしは検査を伴う製造ラインのオペレータにおいても、
新たな欠陥を容易に登録することができる。

【００１３】さらに、入力層と中間層のユニットの組合
わせが、欠陥画像の特徴値ごとに分類して結線され、そ
の特徴値としてファジー推論部のメンバーシップ関数の
出力値を用いるので、前記のような曖昧なメディアの形
で入力される欠陥記述を元にするにも拘らず、学習によ
り的確に対応付けることができる。

【００１４】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本発明を適用した印刷欠陥パターン検出
判定装置の構成を概略的に示す図である。同図中１はロ
ーラホルダで、互いに平行な供給側ローラ２と巻取側ロ
ーラ３とが、相離間して互いに回転自在に取付けられて
いる。巻取側ローラ３は巻取駆動部４に連結されてい
る。

【００１５】供給側ローラ２にはロール状に巻回された
印刷物５がセットされる。この印刷物５は両ローラ２、
３に渡って張架されて、巻取側ローラ３に巻取られるよ
うになっている。印刷物５は、検査対象となる同一の印
刷パターンが複数個、印刷物５の長手方向（流れ方向）
に沿って一定の間隔で整列配置されて印刷されている。
或いは、印刷部５は、複数枚の同一印刷パターンがシー
ト上に一定間隔で整列配置されて構成されている。

【００１６】供給側ローラ２と巻取側ローラ３との間に
張架された印刷物５の例えば上方には、撮像手段として
のラインセンサ６が設置されているとともに、このセン
サ６の視野からの反射光（検査光）がラインセンサ６に
入射されるように照明部７が設置されている。照明部７
は、照明駆動部８により電力が供給されて、印刷物５の
表面を照射する。なお、照明部７は印刷物５の下方に設
置して、印刷物５を下方より照明し、その透過光（検査
光）をラインセンサ６に入射させるようにしてもよい。

【００１７】ラインセンサ６は、複数の光電変換素子、
例えばＣＣＤ（charge coupled device ）素子を１列
（ライン状）に整列して構成され、その並び方向を印刷
物５の幅方向に一致させて設けられている。

【００１８】図１中９で示す処理部は、ラインセンサ６
から出力される信号（撮像信号）を処理して印刷物５の
各印刷パターンに含まれる欠陥を抽出するとともに、そ
の処理結果に基づいて抽出された欠陥を処理部９に接続
された画像として表示器１０に表示させる。また、図１
中１１は処理部９に接続された判定部で、処理部９での
処理結果を元に欠陥の種別を判定する。この判定部１１
には入力手段としてＣＲＴディスプレイ１２ａ付きの入
力装置１２が接続され、この入力装置１２を介して判定
部１１に対する初期教示操作等各種の操作が行われるよ
うになっている。入力装置１２はキーボードを備えてい
る。

【００１９】図３に示されるように処理部９は、Ａ／Ｄ
（analogue/digital）変換器２１と、１周期分画像メモ
リ２２と、比較回路２３と、相違部検出回路４４とを備
えている。前記ラインセンサ６から出力される撮像信号
はＡ／Ｄ変換器２１に入力され、この変換器２１により
ラインセンサ６の各画素毎の（多値の）ディジタルデー
タに変換される。このデータは１周期分画像メモリ２２
と比較回路２３とに夫々出力される。

【００２０】１周期分画像メモリ２２は、前記印刷パタ
ーンの１周期分に相当するラインセンサ６からの出力デ
ータ（画像データ）を記憶する。このメモリ２２に記憶
された画像は基準画像Ａ（図２参照）である。この基準
画像Ａには、予め準備され登録された欠陥がない印刷パ
ターンについての正常な画像、或いは同一印刷パターン
が続く場合に、その印刷パターンについての画像が用い
られる。

【００２１】比較回路２３は、これにリアルの撮像画像
Ｂ（図２参照）として入力されるラインセンサ６からの
画像データに対応するアドレスの画像データを、１周期
分画像メモリ２２に記憶された１周期前の基準画像Ａの
データの中から読み出して重ね合わせて比較するもので
あり、相違部検出回路２４は比較回路２３からの出力を
受けて基準画像Ａと撮像画像Ｂとの間の相違部を検出
し、その相違部を解析するようになっている。

【００２２】したがって、図２に示されるように処理部
９は、予め登録された正常な画像または同一パターンが
続く場合に１周期分画像メモリ２２から読み出される基
準画像Ａと、Ａ／Ｄ変換器２１で撮像信号を変換して得
た撮像画像Ｂとを比較回路２３で重ね合わせて比較し、
相違部検出回路２４により両画像Ａ、Ｂ間の相違部を抽
出する。こうして検出された相違部のうち欠陥について
の画像部分のみが、表示器１０に送られて表示されると
ともに、判定部１１に出力される。

【００２３】図４に示されるように判定部１１は、特徴
値抽出回路３１と、複数のファジー回路３２と、ニュー
ラルネットワーク３３と、初期設定回路３４と、教示用
ファイル３５とを備えている。

【００２４】特徴値抽出回路３１は、処理部９で抽出さ
れて特徴値抽出回路３１に入力される欠陥画像を２値画
像化して、この欠陥画像を数値的に評価するための特徴
値を計算により求める。欠陥の特徴値としては、その面
積（大きさ）、円形度、直線度、矩形度、明るさ、コン
トラスト、エッジ強度等である。大きさ特徴値は、欠陥
の総画素数により求め、円形度特徴値は、前記面積と欠
陥の周囲長との比により求め、直線度特徴値は欠陥の長
軸長と短軸長との比により求め、矩形度特徴値は、欠陥
の長軸長と短軸長の積であらわされる欠陥に外接するボ
ックス面積と前記欠陥の面積との比により求める。ま
た、明るさ特徴値は欠陥の重心位置の明るさを求め、コ
ントラスト特徴値およびエッジ強度特徴値は、いずれも
周囲との関係を認識するために求められる。

【００２５】特徴値抽出回路３１は、特徴値の種類に応
じた数の出力端を有し、これら出力端には夫々別々にフ
ァジー回路３２が接続されている。これらファジー回路
３２は、ニューラルネットワーク３３の入力層をなし、
内部関数としてファジー推論のメンバーシップ関数を持
つとともに、特徴値が入力されると、それに対応するク
ラス値（所属度値）を出力する。例えば、欠陥の面積特
徴値で代表して（以下同じ）説明すれば、面積は「大き
い」、「やや大きい」、「中くらい」、「やや小さ
い」、「小さい」等の５段階のクラス（クラス１〜クラ
ス３、…クラスｎ）の所属度に分けられ、特徴値抽出回
路３１から入力された面積特徴値が前記５段階のどのク
ラスにあたるのかを判定し、それをニューラルネットワ
ーク３３に出力する。

【００２６】図５に示されるように各ファジー回路３２
は、前記各クラス数に対応した数だけのメンバーシップ
回路３２a1、３２a2、３２a3…と、これらに夫々別々に
直列接続された選択スイッチ３２b1、３２b2、３２b3…
とを備えている。互いに直列接続されたメンバーシップ
回路と選択スイッチとの各直列回路は互いに並列に設け
られて、これらには夫々同じ特徴値が特徴値抽出回路３
１から入力される。そして、各選択スイッチ３２b1、３
２b2、３２b3…は、後述する対話形式でのクラス数の指
定にしたがって、必要な数だけの直列回路のみを、選択
して、有効とする。

【００２７】各ファジー回路３２の動作は図６に示す通
りである。例えば、図５のメンバーシップ回路３２a1で
は図６中ａの線で示す動作をする。すなわち、与えられ
た特徴値を０〜 1.0の所属度の値に変換する。ここに所
属度 1.0とは、確定的にそのクラスに属することであ
り、図６の例ではメンバーシップ回路３２a1がクラス１
に、メンバーシップ回路３２a2がクラス２に、メンバー
シップ回路３２a3がクラス３に夫々対応している（以下
同様に他の図示しないメンバーシップ回路は他のクラス
に対応している。）から、面積特徴値がｘである場合を
例にすると、その特徴値ｘの各クラスへの所属度は、ク
ラス１への所属度が 0.7、クラス２への所属度が 0.3で
あると評価される。

【００２８】特徴値の最小の範囲のクラスでの所属度
は、図６中ａの線で示すように特徴値の最左端まで所属
度値が 1.0を保ち、この所属度値から大きさが減少し、
やがて所属値が０に落ちる形を形成する。特徴値の中間
のクラスでの所属度は、図６中ｂ、ｃに夫々示すように
特徴値が増えるに従い山形を形成する。また、特徴値の
最大のクラスでの所属度は、図６中ｄの線に示すように
特徴値がある値以上で所属度値が 1.0を保つ。

【００２９】このようなメンバーシップ関数を持つメン
バーシップ回路３２a1、３２a2、３２a3…により、変数
として様々な値をとる特徴値を、最終的に所属度０〜
1.0の範囲に正規化できる働きを期待できる。

【００３０】以上のように構成されたファジー推論部と
しての前記構成のファジー回路３２の出力（つまり前記
クラス毎の所属度値）が入力されるニューラルネットワ
ーク３３は、図７に示されるように特徴値の種別毎に対
応して設けられ、その特徴値のクラスの所属度値が夫々
別々に入力されて、入力されたデータの荷重和を取り欠
陥記述に対する特徴値の範囲を調整する複数のネットワ
ーク前段回路４１と、これら各回路４１の出力のすべて
を取込んで、その入力データが持つ特徴を総合判定して
欠陥の種別を出力するネットワーク後段回路４２とを備
えている。

【００３１】したがって、判定部６は、ファジー推論部
とニューラルネットワークとを組合わせてなるファジー
ニューラルネットワークであり、このネットワークは三
層の階層形ニューラルネットワークとなっている。この
階層形ニューラルネットワークにおいて、その入力層は
ファジィ推論部としての各ファジー回路３２で形成さ
れ、中間層は欠陥の欠陥記述に対応する各ネットワーク
前段回路４１で形成され、出力層は欠陥の種別に対応し
た出力をするネットワーク後段回路４２で形成されてい
る。

【００３２】前記特徴値の種類毎のクラスの所属度値が
入力される各ネットワーク前段回路４１は、図８に示さ
れるように入力される特徴値のクラス数（例えばクラス
１〜３）に対応した数の複数組のウェイト付け回路４３
ａ〜４３ｃと、各組のウェイト付け回路４３ａ〜４３ｃ
に夫々対応する複数の変換回路４４ａ〜４４ｃとを備え
ている。クラス１の特徴値は各組の第１のウェイト付け
回路４３ａに夫々入力され、クラス２の特徴値は各組の
第２のウェイト付け回路４３ｂに夫々入力され、同じく
クラス３の特徴値は各組の第３のウェイト付け回路４３
ｃに夫々入力される。また、各組の第１〜第３のウェイ
ト付け回路４３ａ〜４３ｃの出力は夫々各クラス１〜３
に対応して設けられた変換回路４４ａ〜４４ｃに入力さ
れる。

【００３３】このような構成の各ネットワーク前段回路
４１は、ある特徴値のクラスの所属度値が入力される
と、それに対してウェイト付け回路４３ａ〜４３ｃによ
り適当な値を掛け合わせて、それを変換回路４４ａ〜４
４ｃで非線形変換するものであって、それにより、補正
されたクラス１ａ、２ａ、３ａ出力を得るようになって
いる。

【００３４】この前段回路４１での変換回路４４ａ〜４
４ｃの働きは（１）式により算出される。

【００３５】

【数１】 この式において、Ｗj ×Ｉj は各ウェイト付け回路４３
ａ〜４３ｃでの動作をあらわし、Ｗj はウェイト値、Ｉ
j は入力されたクラスの所属度値、θはしきい値、Ｆ
（ｘ）は非線形関数である。したがって、各ウェイト付
け回路４３ａ〜４３ｃは、その回路毎に規定された適当
なウェイト値Ｗj を入力されたクラスの所属度値Ｉj に
掛け合わせる処理を実行し、各変換回路４４ａ〜４４ｃ
ではある特徴値のクラスに対応するウェイト付け後の出
力の総和を取り、それから適当なしきい値θを引いた
後、適当な非線形関数Ｆ（ｘ）で処理するようになって
いる。なお、非線形関数Ｆ（ｘ）には０〜１までの値に
変換するジグモイド関数などが用いられる。

【００３６】次に、ネットワーク前段回路４１での働き
の実際を図１１により説明する。例えば、クラス２の所
属度値について補正を行う変換回路へのクラス１、クラ
ス２、クラス３の入力に、夫々ウェイト「 0.0」、「
1.0」、「 0.0」が割り振られているとすると、その荷
重和は太い点線で示すような関数となるから、クラス２
のみの所属度値がそのまま変換回路で処理されて補正出
力となる。この場合、前記（１）式でのしきい値θが
0.7であるとすると、図１１（Ａ）においてしきい値θ
の線を上側に越える特徴値範囲ａで変換回路は反応し、
このａの範囲で「１」の値の出力を出す。

【００３７】そして、後述する学習などの過程を通じ
て、前記変換回路に入力されるクラス１の所属度値に対
するウェイトが例えば「 0.5」に変更され、それ以外の
クラス２、３の所属度値に対するウェイトは「 1.0」、
「 0.0」と変化がないとすると、これらのウェイトを掛
け合わせた後の総和値は、図１１（Ｂ）中太い点線で示
す値を所属値として持つ関数となる。この時、しきい値
θが 0.7に固定されたままであるとすれば、前記変換回
路の反応する特徴値範囲はｂの範囲に広がり、この範囲
ｂで「１」の値を出力することになる。

【００３８】したがって、以上のようにして特徴値の各
クラスへの所属度値の調整が自動的になされるため、前
記メンバーシップ回路３２a1、３２a2、３２a3…での調
整の誤りは、このネットワーク前段回路４１にて補正で
きる。

【００３９】また、ネットワーク後段回路４２の構成は
基本的にはネットワーク後段回路４２と同様な構成であ
り、図９に示されるように入力される特徴値のクラス１
ａ、２ａ、３ａの数に対応した数の複数組のウェイト付
け回路４５ａ〜４５ｃと、各組のウェイト付け回路４５
ａ〜４５ｃに夫々対応する複数の変換回路４６ａ〜４６
ｃとを備えている。クラス１ａの特徴値は各組の第１の
ウェイト付け回路４５ａに夫々入力され、クラス２ａの
特徴値は各組の第２のウェイト付け回路４５ｂに夫々入
力され、同じくクラス３ａの特徴値は各組の第３のウェ
イト付け回路４５ｃに夫々入力される。また、各組の第
１〜第３のウェイト付け回路４５ａ〜４５ｃの出力は夫
々入力される各クラス１ａ、２ａ、３ａに対応して設け
られた変換回路４６ａ〜４６ｃに入力される。

【００４０】このような構成のネットワーク後段回路４
２は、各ネットワーク前段回路４１のすべての出力を入
力とし、ネットワーク前段回路４１での処理と同様に前
記式（１）に示す動作により適当なウェイトを掛けてそ
の総和を取り、次に非線形関数で処理するようになって
いる。そして、この処理により各欠陥種別への分類をす
る。

【００４１】すなわち、ネットワーク後段回路４２は前
記欠陥の特徴値に夫々対応した数の出力端４２ａ、４２
ｂ、４２ｃ…４２ｎを有しており、これらから各欠陥に
ついてのクラスの所属度を表す数値が出力される。こう
して各出力端は４２ａ、４２ｂ、４２ｃ…４２ｎから出
力される数値は０〜 1.0であるから、その出力値が 1.0
に近い程、実際にその欠陥種別である可能性が高いもの
と判断できる。そして、例えば出力端４２ａはインク跳
ねによる欠陥に、出力端４２ｂはドクター傷による欠陥
に、出力端４２ｃは掠れによる欠陥に、出力端４２ｄは
虫の混入による欠陥に、出力端４２ｅは虫以外のごみの
混入による欠陥に、出力端４２ｆは汚れによる欠陥等に
夫々振当てられている。

【００４２】また、前記ファジーニューラルネットワー
クの構築およびこのネットワークの各層間の結合のウェ
イト値の設定は、オペレータとの対話と欠陥画像を用い
て実施される。

【００４３】詳しくは、ネットワークの構築は、図１２
（Ａ）に示されるシステム設計用画面を入力装置１２の
ＣＲＴディスプレイ１２ａに表示し、この表示に基づく
キー入力操作により初期設定回路３４及び教示用ファイ
ル３５を介して行われる。まず、システムでの欠陥判定
に用いることができるの特徴の一覧をディスプレイ１２
ａに表示して、その内のどれを用いるかを入力装置１２
でのキー入力操作で選択する。この後、前記特徴ごとに
分類クラスを設定する。選択した特徴について、ディス
プレイ１２ａでの指示とそれに応答する入力装置１２で
のキー入力操作とにより、順次対話形式で実行される。

【００４４】例えば、特徴値の選択が面積であった場合
については、図１２（Ａ）に示されるように、まず、ク
ラスを何段階に分けるかについての質問がされ、それに
「５段階に分ける」とキー入力したとすると、次に５段
階のクラス毎についての分類名称の質問がなされるの
で、それについてクラス名（０）が「小さい」、クラス
名（１）が「やや小さい」……等をキー入力操作で答
え、そして最後にクラス間の境界値についての質問がな
されるので、それに対して各クラス間の特徴値の境界値
をキー入力操作で設定する。それにより、システム構築
のための設定操作が終了する。

【００４５】前記境界値の設定においては、図１１を参
照して既に説明したように後のニューラルネットワーク
３３での学習過程を通じて、正確な境界値が実際の画面
から決定されるので、ここで設定する境界値はそれほど
厳密である必要はなく、簡単な事前検討で得られる概略
値を設定しておけばよい。したがって、システム構築の
ための設定操作を容易に実施できる。

【００４６】以上のような図１２（Ａ）に代表される設
定操作に伴い、使用する特徴が設定されることにより、
図５に示される選択スイッチ３２b1、３２b2、３２b3…
…のうち必要なものだけが閉じられて、図４に示される
ファジー回路３２のうち指定された特徴数に対応する数
だけが使用されるようにシステムが構築される。また、
各特徴毎のクラスの数が設定されることにより、図７〜
図９に示される各回路の数が決められる。つまり、図７
のネットワーク前段回路４１の数は指定された特徴の数
と同じであり、各前段回路４１への入力数はその特徴に
ついてのクラス数と同じであるので、それに基づき図８
に示す変換回路の数やウェイト付け回路の接続等が決定
され、同様に図９に示すネットワーク後段回路４２での
変換回路の数やウェイト付け回路の接続等も決定され
る。

【００４７】このようにして、欠陥判定に使用する特徴
の種類とそのクラス分けとをもとに判定部１１の各回路
の基本構成が構築された後に、欠陥の種別をシステムに
設定する。ここで設定する欠陥の種別は、印刷ラインの
変更等によって変更することがあり、事前に決定できな
いので、図１２（Ｂ）に示されるようなオペレータ用画
面により対話形式で登録をする。

【００４８】詳しくは、印刷欠陥には主として、「イン
ク跳ね欠陥」、「ドクター傷欠陥」、「掠れ欠陥」、
「汚れ欠陥」、「ごみ混入欠陥」、「虫の混入欠陥」が
あることが知られている。ここに、「インク跳ね欠陥」
は「小さい、インクの色、丸い、はっきりしている」等
の特徴を有し、「ドクター傷欠陥」は「直線的、はっき
りしている、インクの色」等の特徴を有し、「掠れ欠
陥」は「大きい、シート（地）の色、周囲がはっきりし
ない」等の特徴を有していることが知られている。同様
に、「汚れ欠陥」は「大きい、インク・シートの色以
外、色が薄い、周囲がはっきりしない」等の特徴を有
し、「ごみ混入欠陥」は「小さい、丸い、はっきりして
いる、インク・シートの色以外」等の特徴を有し、「虫
の混入欠陥」は、「やや小さい、形が複雑、インク・シ
ートの色以外、はっきりしている」等の特徴を有してい
ることが知られている。

【００４９】そこで、前記登録は、以上のような各欠陥
についての特徴を言語（メディア）で記述することで実
施される。ここでは、この記述操作を欠陥記述と称す
る。この欠陥記述は勿論キー入力操作で行われるもので
あり、例えばインク跳ね欠陥を、判定する欠陥として登
録した場合には、「面積が小さく、色はインクの色であ
り、丸みがかっていて、境界がはっきりしている」等と
記述される。これらの欠陥記述は図１２（Ａ）で設定さ
れた特徴とそのクラスの名前に対応している。そのた
め、これを事前に設定するように図１２（Ｂ）に代表さ
れるオペレータ画面を用いて対話による登録操作が勧め
られる。

【００５０】この対話形式による欠陥の種類の登録で
は、まず、欠陥を何種類登録するのかということと、登
録する欠陥の種類に名前を付けることがオペレータ画面
で質問され、それにキー入力操作で設定した後に、各欠
陥の種別ごとの特徴についての設問があり、それについ
ては各特徴ごとに図１２（Ａ）で既に設定したクラスの
名称を用いてキー入力操作で設定する。それにより、欠
陥の種類が登録される。以上のように名欠陥についてそ
の特徴を対話形式で記述することにより、システムに対
する欠陥の種別教示がなされる。

【００５１】したがって、このように設定においては、
システムの内容をよく知らない印刷現場のオペレータに
おいても、欠陥についての種別教示を、欠陥に対するオ
ペレータの感性的な言語による記述で可能とすることが
でき、したがって、画像処理の専門家でなくても容易に
設定をすることができる。また、同様の理由から、欠陥
の種類を変更する場合も容易に実施できる。

【００５２】前記の設定操作より、システムに教示され
る特徴の数は、ファジー回路３２の数やニューラルネッ
トワーク３３のネットワーク前段回路４１の数（言い換
えれば、前記ネットワーク３３の中間層のユニットの数
に相当する。）を決定し、また、クラスの数は、メンバ
ーシップ回路の数（言い換えれば、前記ネットワーク３
３の入力層のユニットの数に相当する。）やネットワー
ク前段回路およびネットワーク後段回路のウェイト付け
回路の数（言い換えれば、前記ネットワーク３３の出力
層のユニットの数に相当する。）や結線を決定する。そ
して、これらは対応関係にあるために、どのファジー回
路３２やネットワーク回路がどの特徴を表し、どのメン
バーシップ回路やウェイト付け回路が、その中のどのク
ラスに相当するのかを決定できる。すなわち、以上のよ
うな対応付けにより前記判定部１１の構成が決定され
る。

【００５３】以上のように判定部１１のスシテム構成が
構築されても、ネットワーク前段回路、後段回路の各ウ
ェイト付け回路のウェイト値は未定のままである。しか
し、これらのウェイト値の決定は、ニューラルネットワ
ーク３３が備える学習機能により行われる。

【００５４】ところで、記述のように選択された特徴の
種別やそのクラスの数は、判定部１１の構成に対応付け
られているが、このことは学習前にはニューラルネット
ワーク３３の各層間の結合のウェイト値に反映されてい
ないので、学習によりこの対応付けを行う必要がある。
そこで、本システムにおけるニューラルネットワーク３
３の学習は、図２に示されるように初期教示と、ニュー
ラルネットワークにて通常行われているバックプロパゲ
ーション法（誤差逆伝播法）の２段階に分けて実行され
るが、前記「対応付け」は初期教示の過程で行われる。

【００５５】初期教示においては、対応する特徴のみに
反応するように中間層のユニットに対し、欠陥について
の欠陥記述を教示し、同時に中間沿うに教師信号通りの
出力を設定して、出力層のユニットに対して判定結果を
教示する。なお、この教示における結合のウェイトの修
正量ΔＷは（２）式に従う。

【００５６】

【数２】 この式において、ｔは学習回数、ｄｊは着目しているユ
ニットｊの出力と教師信号との誤差を示す値、ｏｉは前
層のユニットｌの出力、αは安定化定数である。

【００５７】次に、ファジーニュラルネットワークの内
部の各ユニットの働きを規定する初期教示の方法を以下
説明する。図１２（ａ）に代表されるシステム構築用画
面を利用した対話形式でのシステム構築により、ファジ
ー回路３２とそのメンバーシップ回路３２a1、３２a2、
３２a3…、ニューラルネットワーク３３のネットワーク
前段回路４１とウェイト付け回路４３ａ〜４３ｃの特徴
値とそのクラスに対する対応関係が決定され、同様に、
同ネットワーク後段回路４２とウェイト付け回路４５ａ
〜４５ｃの特徴値とそのクラスに対する対応関係が決定
されている。そのため、図１２（ｂ）に代表されるオペ
レータ用画面を利用した対話形式での欠陥の種別の記述
に伴い、各欠陥の種別を判定するための特徴値とそのク
ラスが規定されると、その欠陥画像に与えられたときに
反応しなければならないネットワーク前段回路４１が、
各特徴値ごとに一意に決定される。したがって、このと
き、反応する変換回路は「 1.0」の値を出力すべきであ
り、また、反応しない変換回路は「０」の値を出力すべ
きである。

【００５８】一般にニューラルネットワークでは、この
前段の変換回路を中間層のニューロンと称しているが、
本発明においては、この中間層の各ニューロンに対して
も、図１２（ｂ）の欠陥記述により「 1.0」または
「０」の値の期待値（つまり教師信号）を与えることが
でき、この点で一般的な従来のニューラルネットワーク
とは異なっている。

【００５９】そして、期待値に対する実際の出力値の差
を誤差量として、実際の出力値が期待値に近付くように
ネットワーク前段回路４１でのウェイト値の修正が行わ
れる。なお、この修正の方法は、バックプロパゲーショ
ン法の終段で用いられる手法と同様である。また、ネッ
トワーク前段回路４１での期待値が与えられるならば、
実際の出力をありうべき期待値に置き換えてニューラル
ネットワーク後段回路４２での学習が進められる。

【００６０】以上の初期教示の実際の一例を図１０を参
照して説明する。図１０の例では入力として「インク跳
ね欠陥」のデータが与えられているので、中間層におい
て「面積」では「やや小さい」のユニットαが、「円形
度」では「かなり丸い」のユニットβの出力値が「１」
であることが期待され、出力層においては「インク跳ね
欠陥」のユニットγの出力値が「１」であることが期待
される。

【００６１】この期待値を達成するための初期教示によ
り学習においては、まず、「やや小さい」と「かなり丸
い」のユニットβが出力「１」を出力するとともに、他
のユニットが出力「０」を出力するように入力層と中間
層の間のウェイトを強制的に調整する。次に、中間層か
ら期待値通りの出力があると仮定して、「インク跳ね欠
陥」のユニットγが「１」を出力し、他のユニットが
「０」を出力するように中間層と出力層との間の結合の
ウェイト値を調整する。

【００６２】このようにファジーニューラルネットワー
クの中間層であるネットワーク前段回路４１について、
変換回路に規定値を設定して初期教示を行うことによっ
て、ネットワークのウェイト付けを最初に図１２（ａ）
に代表されるシステム構築用画面を利用した対話形式で
のシステム構築により、対応付けた特性を付与すること
ができる。

【００６３】そして、以上のような作業を各欠陥につい
て夫々数百回程度行い、各欠陥の特徴をニューラルネッ
トワーク３２の内部の構成に反映させ、各ユニットの動
作を規定することができ、それにより初期教示が終了す
る。なお、この初期教示は図４に示す教示用ファイル３
５に蓄えられた欠陥画像を用いて行われる。

【００６４】また、前記初期教示によりネットワークが
決定された後に、通常の中間層に期待値を設定しないバ
ックプロパゲーション法による後期学習を実施する。こ
のバックプロパゲーション法は、ニューラルネットワー
クへの入力と判定結果のみを利用する教示であり、それ
により、出力層をなすネットワーク後段回路４２のユニ
ット（つまり変換回路４６ａ、４６ｂ、４６ｃ）が入力
データに正しく反応するように全体の微調整が行われ
る。したがって、以上により回路の特性を指定しなが
ら、学習によってパラメータ決定を自動的に設定できる
から、欠陥種別判定回路つまり判定部１１を構築でき
る。

【００６５】前記構成の欠陥パターン種別判定方法およ
び装置は、ファジー回路３２と、これらを入力層とした
三階層形ニューラルネットワーク３３とを組合わせてな
るファジーニューラルネットワークであるから、欠陥の
種別の登録や変更を、画像処理の専門化ではない通常の
オペレータの感性的な欠陥既述（図１２ｂに代表される
オペレータ用画面を用いた入力の手法。）によって可能
にできる。そして、ユニットと呼ばれる被線形素子を相
互に重み付け（ウェイト付け）して組合わせて構成さ
れ、ユニット間の結合の重みを自ら調節して、指定され
た判定結果を出力するような学習機能を有したニューラ
ルネットワーク３３において、前記感性的な欠陥記述に
よる入力に基づく学習をさせるから、従来画像専門家で
も多大な工数を要した判定しきい値などのパラメータの
決定を大幅に簡略化できる。以上、要すれば、前記欠陥
パターン種別判定方法および装置においては、システム
構築工数を低減できるとともに、欠陥種別の登録作業を
非専門家においても容易かつ長時間を要することなく実
施できるものである。

【００６６】また、欠陥パターン種別判定において、欠
陥の特徴についてクラスを指定するので、そのクラスを
指定するのに、その指定されるクラスを、それ毎に図形
化・記号化することが容易である。そして、このような
図形表示をする場合には前記実施例に示した言語による
欠陥記述に代えて、グラフックなメディアとして欠陥記
述することができるので、そのようにする場合には、欠
陥の種別の登録や変更をより容易にできる。

【００６７】さらに、前記実施例の欠陥パターン種別判
定方法および装置は、欠陥の種別ごとの形状や大きさな
どの特徴値ごとにそれらを実際の欠陥から判断される概
略値でいくつかの段階に分け、各段階ごとにそれを表す
言語や図形・記号などのようなメディアを用いて記述
し、それをファジー関数のメンバーシップ関数に割り振
りすることで、特徴値とメディアトの対応付けを行っ
て、欠陥の特徴から欠陥種別の判定を可能としている。
したがって、特徴値の種別毎にファジー回路３２とネー
ラルネットワーク３３のネットワーク前段回路４１の結
合を制限するので、一般的に行われている入力層と中間
層のニューロン相互間の全数結合に比較して、回路を大
幅に単純化できる。また、本方式をコンピュータ等でシ
ュミレーションする場合には、大幅な時間短縮ができ
る。

【００６８】また、前記実施例の欠陥パターン種別判定
方法および装置によれば、欠陥種別ごとの特徴について
のクラス記述が直接ニューラルネットワーク３３の構成
に反映（言い換えれば、ウェイト付け回路の設定ウェイ
ト値となってあらわれる。）するので、前記ウェイト値
を解析することにより、どの特徴をどのように重視した
かを知ることができる。そのため、欠陥の種別に十分な
判定精度が得られないときの対策が容易である。すなわ
ち、判定部１１が所期の性能を実現できない場合に、そ
の失敗する欠陥画像とそれに対応する設定特徴のクラス
を比較・検討することで、問題点を解析し、それに基づ
き修正を加えることができる。

【００６９】また、前記実施例の欠陥パターン種別判定
方法および装置は、欠陥の種別ごとの形状や大きさなど
の特徴を言語や図形・記号のようなメディアを用いて記
述し、その記述内容に基づいてニューロネットワークの
中間層の期待値を欠陥ごとに決定し、実際に与えられる
欠陥画像からの出力がその値となるようにメンバーシッ
プ関数と中間層ニューロン間のウェイトを調整し、ま
た、ニューロネットワークの中間層と出力層間のウェイ
トを調整することで、バックプロパゲーション法による
学習などに先立ちニューロン間のウェイト初期値を決定
することを可能にしている。したがって、初期教示を行
って、ニューラルネットワークの中間層の構成を強制的
に規定するの学習が局所的最適解（ローカルミニマム）
に陥って、学習が停止することがないから十分に高い認
識精度を得ることができる。なお、従来のニューラルネ
ットワークでは、各ユニットが等価な働きを担っている
ため、ウェイト付けがどのように進のか、そして、最終
的にどのような動作ユニットができるのかという内部の
動作が明確でないとともに、学習が局所的最適解に陥り
易く、それにより実用に耐えるような十分な認識精度を
得られない。

【００７０】また、前記実施例の欠陥パターン種別判定
装置による実験の結果を次に示す。この実験は、ドクタ
ー筋欠陥のデータ数が１１個、ゴム混入欠陥のデータ数
が９個、インク跳ね欠陥のデータ数が１３個、掠れ欠陥
のデータ数が９個、虫混入欠陥のデータ数が１２個、汚
れ欠陥のデータ数が９個の全体で、６種別６３個のデー
タを用いて行った実験である。そして、データの内半数
を教示用に使用し、データ全数を用いて認識率を調べ
た。また、教示回数は、６種別１個づつのデータを一組
とし、それを初期教示で 200回、バックプパゲーション
で2000回までを上限として実施した。その結果は次表に
示される通りであった。

【００７１】

【表１】 この表に示されるように２段階の教示法を行って構築さ
れたファジーニューラルネットワークによる欠陥種別判
定での誤認識は６３例中１例であり、全体として98.4％
の高い認識率を得た。なお、初期教示をすることなく通
常のバックプロパゲーション法のみで教示を行って構築
されたファジーニューラルネットワークによる欠陥種別
判定では、その誤認識が６３例中２例であり、全体とし
て96.8％とかなり高い認識率を得ることができたが、教
示時間が多くかかることが分かった。

【００７２】なお、本発明による方法および装置は、印
刷の欠陥パターンの種別判定だけではなく、外観検査一
般に欠陥についての種別判定にも広く適用できるもので
ある。

【００７３】

【発明の効果】以上詳記したように本発明によれば、検
出された欠陥の種別を判定できるとともに、判定する欠
陥の種別の登録および変更を専門化によらずとも容易に
行える欠陥パターン種別判定方法およびその装置を提供
できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る印刷欠陥パターン種別
判定装置の構成を概略的に示す図。

【図２】同実施例に係る印刷欠陥パターン種別判定装置
の動作の流れを示す図。

【図３】同実施例に係る印刷欠陥パターン種別判定装置
が備える処理部の回路構成を示すブロック図。

【図４】同実施例に係る印刷欠陥パターン種別判定装置
が備える判定部の回路構成を示すブロック図。

【図５】同実施例に係る処理部が備えるファジー回路の
回路構成を示すブロック図。

【図６】同実施例に係る処理部が備えるファジー回路の
メンバーシップ関数を示す図。

【図７】同実施例に係る判定部のニューラルネットワー
クの回路構成を示すブロック図。

【図８】同実施例に係るニューラルネットワークのネッ
トワーク前段回路の回路構成を示すブロック図。

【図９】同実施例に係るニューラルネットワークのネッ
トワーク後段回路の回路構成を示すブロック図。

【図１０】同実施例に係るファジーニューラルネットワ
ークの初期教示を示す図。

【図１１】（Ａ）同実施例に係るファジーニューラルネ
ットワークの中間層ユニットの学習前の結合の重み示す
図。 （Ｂ）同実施例に係るファジーニューラルネットワーク
の中間層ユニットの学習後の結合の重み示す図。

【図１２】（Ａ）同実施例に係るファジーニューラルネ
ットワークのシステムを構築する際に使用されるシステ
ム設計者用の入力画面を例示する図。 （Ｂ）同実施例に係るファジーニューラルネットワーク
のシステムを構築する際に使用されるオペレータ用の入
力画面を例示する図。

【符号の説明】

９…処理部、 １１…判定部、 １２…キー入力装置（入力手段）、 ３１…特徴値抽出回路、 ３２…ファジー回路（ファジー推論部）、 ３２a1、３２a2、３２a3…メンバーシップ回路 ３３…ニューラルネットワーク、 ３４…初期設定回路、 ３５…教示ようファイル、 ４１…ネットワーク前段回路（中間層）、 ４２…ネットワーク後段回路（出力層）。

Claims (3)

【特許請求の範囲】
1. 【請求項１】撮像対象を照明した光から前記撮像対象の
   画像を検出し、この撮像画像を予め記憶された標準画像
   と比較し、これら両画像間の相違を検出して得た前記撮
   像画像の欠陥についての種別を判定するものであって、
   欠陥の種別ごとの特徴を言語または図形記号のようなメ
   ディアを用いて欠陥記述として指示し、この指示された
   欠陥記述をメンバーシップ関数でファジー処理し、この
   ファジー処理を行うファジー推論部の出力を、前記ファ
   ジー推論部を入力層とする階層形ニューラルネットワー
   クに入力して、このネットワークにより前記検出により
   得た欠陥の種別を判定することを特徴とする欠陥パター
   ン種別判定方法。
2. 【請求項２】請求項１において、欠陥の特徴値ごとにそ
   れらを実際の欠陥から判断される概略値で複数の段階に
   分け、各段階ごとに前記欠陥記述で指示して、それを前
   記ファジー推論部のメンバーシップ関数に割当てて、各
   段階の特徴値と前記各段階ごとの欠陥記述との対応付け
   をしたことを特徴とする欠陥パターン種別判定方法。
3. 【請求項３】撮像対象を照明した光から前記撮像対象の
   画像を検出し、この撮像画像を予め記憶された標準画像
   と比較し、これら両画像間の相違を検出して得た前記撮
   像画像の欠陥について、その特徴値を算出する特徴値抽
   出回路と、欠陥の種別ごとの特徴を言語または図形記号
   のようなメディアを用いて欠陥記述として指示する入力
   手段と、この指示された欠陥記述および前記特徴値抽出
   回路で抽出された特徴値が入力され、それをメンバーシ
   ップ関数でファジー処理するファジー推論部と、このフ
   ァジー推論部を入力層とし、かつ、前記欠陥記述に対応
   する中間層および前記欠陥の種別に対応する出力を出す
   出力層を有して形成される階層形ニューラルネットワー
   クとを具備した欠陥パターン種別判定装置。