JP3982646B2 - 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 - Google Patents
画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体Info
- Publication number
- JP3982646B2 JP3982646B2 JP11153397A JP11153397A JP3982646B2 JP 3982646 B2 JP3982646 B2 JP 3982646B2 JP 11153397 A JP11153397 A JP 11153397A JP 11153397 A JP11153397 A JP 11153397A JP 3982646 B2 JP3982646 B2 JP 3982646B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- identification
- unit
- defect
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、種々の画像を識別する画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
布や紙などの各種製造工程、あるいは印刷工程などにおいては、品質を保持するために異物付着やきずや印刷漏れなどの欠点の有無について検査を行っている。従来、この検査では、被対象物の反射光や透過光などにより得られた画像情報を予め用意した標準画像と比較するなどして欠点の有無を検出し、検査の省力化および自動化が図られていた。
【０００３】
また、欠点の有無を検出するのみでなく、欠点の種類をも識別することにより、それを直ちに製造工程などにフィードバックし、その欠点の発生原因に応じた対応を取ることができるようにした画像識別手段も提案されている。例えば、標準画像と比較して得た欠点画像から特徴量を抽出し、その特徴量に基づいてファジィ推論およびニーラルネットワークを用い欠点の種類を識別するようにしたものである（特開平７−３３３１７０参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、この画像識別手段では欠点画像から抽出した特徴量に基づいてファジィ推論を行うので、“大きい”“細い”などの言語表現をもって作業者が設定を行う必要があり、作業が煩雑であるという問題があった。また、ファジィ推論とニーラルネットワークのみで欠点の種類を識別しているので、データベースに無い欠点が入力された場合や欠点を誤検出した場合に登録済みの欠点の種類のうちの１つとして出力してしまう可能性が高いという問題もあった。
【０００５】
また、他の画像識別手段としては、画像の輝度情報に関する平均を算出し、ファジィ推論とハイブリット・ニューラルネットワーク（すなわち階層型ネットワークと対向伝搬ネットワークとを組み合わせたもの）を用いて牛肉の肉色と脂肪色とを識別するものが提案されている（特開平６−３１８２４４参照）。しかし、この画像識別手段は、構造が複雑であり簡単に識別することができないという問題があった。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、簡単に高精度の識別をすることができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００７】
第２の目的は、容易に効率良く識別することができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００８】
第３の目的は、画像の識別に必要なデータの設定などを容易に行うことができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１記載の画像識別装置は、画像を取り込む画像取り込み手段と、この画像取り込み手段により取り込んだ画像について欠点の特徴量を抽出し特徴量信号として出力する特徴量抽出手段と、前記画像取り込み手段により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出し出力する例外検出手段と、前記特徴量抽出手段から出力された特徴量信号と、前記例外検出手段から出力された例外処理信号とに基づき画像中の欠点を識別する判断処理手段とを備えるようにしたものである。
かつ、判断処理手段が、特徴量抽出手段から出力された特徴量信号に基づき欠点を識別する識別手段と、この識別手段により識別した結果と例外検出手段から出力された例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手段とを有するようにしたものである。
【００１０】
この画像識別装置では、画像取り込み手段により画像を取り込み、その画像について特徴量抽出手段により欠点の特徴量を抽出し、例外検出手段により例外処理信号を検出する。この特徴量と例外処理信号とに基づき判断処理手段により画像中の欠点を識別する。すなわち、例外処理信号により欠点の識別を補助する。
より詳しくは、特徴量信号に基づいて識別手段により画像中の欠点を識別し、判定手段によりこの識別結果と例外処理信号とに基づいて、少なくとも欠点の有無を判定する。すなわち、判定手段により識別手段の識別を補助する。よって、識別手段において扱う情報を削減することができる。
【００１１】
この画像識別装置は、また、前記特徴量抽出手段が識別対象画像に基づいて特徴量を抽出する画像内特徴量抽出手段を有するようにしてもよい。更に、識別対象画像と背景画像とを含む画像に基づいて特徴量を抽出する背景含有画像特徴量抽出手段を更に有するようにすれば、より多くの異なった性質の情報を抽出することができるので好ましい。
【００１２】
請求項４記載の画像識別装置は、請求項１に記載のものにおいて、例外検出手段が、取り込んだ画像について白黒判定を行い前記例外処理信号の１つとして白黒信号を出力する白黒判定部と、取り込んだ画像中の欠点の有無を検出して欠点が無い場合に例外処理信号の１つとして無欠点信号を出力する無欠点判定部と、取り込んだ画像中の欠点の個数を計測して例外処理信号の１つとして欠点の個数の割合を示す密集信号を出力する個数計測部とを有するようにしたものである。
【００１４】
請求項５記載の画像識別装置は、請求項３記載のものにおいて、前記判断処理手段が、総合判定手段をさらに有すると共に、識別手段が、１次識別手段と２次識別手段とを有するようにしたものである。そして、前記１次識別手段が、前記画像内特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、前記判定手段が、この１次識別手段により識別した結果を前記例外検出手段から出力された例外処理信号に基づき判定し、前記２次識別手段が、この判定手段の判定結果に応じて、前記背景含有画像特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、前記総合判定手段が、前記判定手段の判定と前記２次識別手段による識別結果とに基づいて総合的な判定を行い、少なくとも欠点の有無および欠点の種別を出力するようにしたものである。
【００１５】
この画像識別装置では、１次識別手段により画像を識別し、判定手段によりこの識別結果を判定する。また、その判定結果に応じて、２次識別手段により画像を識別する。すなわち、判定手段および必要に応じて２次識別手段により１次識別手段の識別を補助する。よって、１次識別手段において扱う情報が少なくても高精度の識別を行うことができる。
【００１６】
この画像識別装置は、また、前記判断処理手段が、前記１次識別手段としての機能と前記２次識別手段としての機能とを共用する１つの識別手段を備えると共に、前記１つの識別手段について１次識別手段としての機能と２次識別手段としての機能との切り替えを行う識別切り替え手段を備えるようにしてもよい。
【００１７】
この画像識別装置では、１次識別手段としての識別手段により画像を識別し、判定手段によりこの識別結果を判定する。また、その判定結果に応じて、切り替え手段により識別手段の機能を２次識別手段に切り替え、２次識別手段としての識別手段により画像を識別する。
【００１８】
請求項７記載の画像識別装置は、請求項１乃至６のいずれか１に記載のものにおいて、更に、画像の識別において基準となるデータを保持するデータ保持手段を備えており、前記判断処理手段は特徴量信号と例外処理信号と前記データ保持手段に保持されたデータとに基づいて画像を判断するようにしたものである。
【００１９】
この画像識別装置では、データ保持手段により画像の識別において基準となるデータを保持する。判断処理手段では、特徴量信号と例外処理信号とデータ保持手段に保持されたデータとに基づいて画像を判断する。
【００２０】
請求項８記載の画像識別装置は、請求項７記載のものにおいて、更に、画像の識別において基準となるデータを学習して前記データ保持手段に保持させる学習手段を備えるようにしたものである。
【００２１】
この画像識別装置では、学習手段により画像の識別において基準となるデータを学習してデータ保持手段に保持させることができる。
【００２４】
本発明の画像識別方法は、画像を取り込む画像取り込み工程と、この画像取り込み工程により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出工程と、前記画像取り込み工程により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出工程と、前記特徴量抽出工程により抽出した特徴量と、前記例外処理信号検出工程により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理工程とを含むようにしたものである。
かつ、前記判断処理工程が、前記特徴量抽出工程により抽出した特徴量に基づき欠点を識別する識別工程と、この識別工程により識別した結果と前記例外処理信号検出工程により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定工程とを含むようにしたものである。
【００２５】
この画像識別方法では、画像取り込み工程により画像を取り込んだのち、特徴量抽出工程により画像について欠点の特徴量を抽出すると共に、例外処理信号検出工程により画像について例外処理信号を検出する。そののち、この特徴量と例外処理信号とに基づき判断処理工程により画像中の欠点を識別する。
【００２６】
本発明の画像検出識別装置は、撮像画像から特定の画像を検出し識別する画像検出識別装置であって、本発明の画像識別装置を備えるようにしたものである。
【００２７】
この画像検出識別装置では、撮像画像から特定の画像が検出され、これを本発明に係る画像識別装置により識別する。
【００２８】
本発明の記載の画像識別用プログラムを記録した媒体は、コンピュータによって画像中の欠点を識別するためのものであって、画像識別用プログラムが、コンピュータに画像を取り込む画像取り込み手順と、この画像取り込み手順により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出手順と、前記画像取り込み手順により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出手順と、前記特徴量抽出手順により抽出した特徴量と、前記例外処理信号検出手順により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理手順とを含むようにしたものである。
かつ、前記判断処理手順が、前記特徴量抽出手順により抽出した特徴量に基づき欠点を識別する識別手順と、この識別手順により識別した結果と前記例外処理信号検出手順により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手順とを含むようにしたものである。
【００２９】
この画像識別用プログラムを記録した媒体では、この媒体に記録された画像識別用プログラムにより実行される画像取り込み手順によってコンピュータに画像が取り込まれ、媒体に記録された画像識別用プログラムにより実行される特徴量抽出手順によって欠点の特徴量が抽出され、媒体に記録された画像識別用プログラムにより実行される例外処理信号検出手順によって例外処理信号が検出される。また、媒体に記録された画像識別用プログラムにより実行される判断処理手順によって抽出された特徴量と検出された例外処理信号とに基づき画像中の欠点が識別される。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３１】
図１は、本発明の第１の実施の形態に係る画像識別装置の概略構成を表すものである。この画像識別装置は各種画像の識別に用いられるものであるが、ここでは、紙や布などの製造工程において被対象物に虫などの異物付着や穴や油じみなどの欠点が有るか否かを検査する際に、被対象物の撮像画像から検出した欠点画像を識別する場合について説明する。なお、この欠点画像は撮像画像から欠点があると思われる部分を抽出したものであり、階調を持つ濃淡画像で、識別対象画像である欠点部分と共にその背景も有するものである。
【００３２】
この画像識別装置は、欠点画像などの画像を取り込む画像取り込み部１０と、この画像取り込み部１０により取り込んだ欠点画像などの画像を処理する画像処理部２０と、この画像処理部２０により処理した結果に基づき欠点画像を識別する判断処理部３０とを備えている。この判断処理部３０には、メモリ素子などの適宜な記憶媒体よりなるデータ保持部４０が接続されている。このデータ保持部４０には、識別において基準となるデータが保持されており、識別に際し参照されるようになっている。
【００３３】
なお、判断処理部３０は、欠点画像を識別する判断処理手段としての機能に加えて、識別において基準となるデータを学習してデータ保持部４０に保持させる学習手段としての機能も有している。判断処理部３０が学習手段として機能する場合には、予め判明している欠点を撮像した画像（基準画像）を画像取り込み部１０により取り込み、それを画像処理部２０により処理して、その結果に基づき判断処理部３０により学習を行うようになっている。また、画像取り込み部１０，画像処理部２０および判断処理部３０は、マウスやキーボードなどの適宜な入力部６１およびモニタなどの表示部６２を備えたマンマシンインターフェース部６０にそれぞれ接続されている。
【００３４】
図２は、画像処理部２０の構成を表すものである。画像処理部２０は、画像取り込み部１０から入力された画像について適宜な前処理を行う画像前処理部２１と、画像の識別を補助するための例外処理信号を検出し出力する例外検出部２２と、画像を識別するための特徴量を抽出し特徴量信号として出力する特徴量抽出部２３とにより構成されている。
【００３５】
画像前処理部２１は、濃度ヒストグラム作成部２１１と平均濃度算出部２１２とにより構成されており、濃度ヒストグラム作成部２１１により画像の濃度ヒストグラムを作成すると共に、平均濃度算出部２１２により濃度ヒストグラムにおける平均濃度を算出するようになっている。
【００３６】
例外検出部２２は、画像について白黒判定を行い例外処理信号として白黒信号ｉ２２１を出力する白黒判定部２２１と、画像中に含まれる欠点を検出し検出できない場合に例外処理信号として無欠点信号ｉ２２２を出力する無欠点判定部２２２と、画像から欠点部分のみを表す欠点内画像を作成する欠点内画像作成部２２３と、画像中に含まれる欠点の個数を計測し欠点の個数が２個以上の場合には例外処理信号として密集信号ｉ２２３を出力する個数計測部２２４とにより構成されている。この例外検出部２２から出力される例外処理信号は、特徴量抽出部２３により抽出された特徴量に基づき識別された欠点画像の識別結果を判定するために用いられるものである。
【００３７】
白黒判定部２２１は、濃度ヒストグラム作成部２１１により作成された濃度ヒストグラムの黒側平均値（重心値）および白側平均値（重心値）を平均濃度算出部２１２により算出された平均濃度値とそれぞれ比較し、どちらの方が平均濃度値との濃度差（すなわち距離）が大きいかに基づいて白黒判定を行うものである。具体的には、黒側平均値の方が平均濃度値との濃度差が大きい場合には平均濃度値よりも濃度が高いと判断し黒欠点信号を白黒信号ｉ２２１として判断処理部３０に出力し、白側平均値の方が大きい場合には平均濃度値よりも濃度が低いと判断し白欠点信号を白黒信号ｉ２２１として判断処理部３０に出力するようになっている。
【００３８】
無欠点判定部２２２は、画像取り込み部１０により取り込んだ画像を２値化して２値画像を作成すると共に、この２値画像について孤立点を除去したのち欠点に接して囲み込む矩形状の外接ウインドウを設定して、外接ウインドウが正しく設定できない場合には欠点が無いと判断し、設定できた場合には欠点が有ると判断するものである。
【００３９】
欠点内画像作成部２２３は、無欠点判定部２２２により外接ウインドウが正しく設定された場合に、欠点部分を黒で表した外接ウインドウと同じ大きさの欠点内白黒画像と、欠点部分を濃淡で表した外接ウインドウと同じ大きさの欠点内濃淡画像とを欠点内画像として作成するものである。例えば、図３に示したような虫が付着した欠点画像Ｘａが取り込まれた場合には、欠点内画像として、図４に示したような欠点内白黒画像Ｘｂと図５に示したような欠点内濃淡画像Ｘｃを作成するようになっている。すなわち、欠点画像Ｘａは欠点部分の画像と背景画像とを有するものであるのに対し、欠点内白黒画像Ｘｂおよび欠点内濃淡画像Ｘｃは欠点部分のみの画像である。
【００４０】
個数計測部２２４は、欠点内画像作成部２２３により作成された欠点内白黒画像Ｘｂに基いて欠点の個数を計測し、それに応じて密集信号ｉ２２３を出力するものである。なお、この密集信号ｉ２２３は、欠点が複数ある場合の判断処理部３０における処理順序を設定する際に用いるようにしてもよい。
【００４１】
特徴量抽出部２３は、欠点内画像作成部２２３により作成された欠点内白黒画像Ｘｂに基づいて欠点の幾何形状に関する特徴量を抽出する幾何形状特徴量抽出部２３１と、欠点内濃淡画像Ｘｃに基づいて欠点部分の濃度パターンヒストグラムを作成する欠点内濃度パターンヒストグラム作成部２３２と、作成した欠点内濃度パターンヒストグラムから欠点部分の濃度パターンに関する特徴量を抽出する欠点内濃度パターン特徴量抽出部２３３とにより構成されている。すなわち、この特徴量抽出部２３は、欠点内画像に基づいて（識別対象画像である欠点部分の画像に基づいて）特徴量を抽出する画像内特徴量抽出手段により構成されている。
【００４２】
幾何形状特徴量抽出部２３１は、欠点内白黒画像Ｘｂから欠点の幾何形状を特定するための項目を抽出し、それに基づいて欠点の幾何形状特徴量を算出して、それを特徴量信号の幾何形状信号ｉ２３１として出力するようになっている。抽出する項目は、例えば表１に示したように、面積Ｓ，周囲長Ｌ，外接長方形（Ｏｘ，Ｏｙ），図形重心位置（Ｇｘ，Ｇｙ），最大径ＭＡＸＰである。なお、外接長方形（Ｏｘ，Ｏｙ）というのは、図５に示したように、欠点に各辺が接して囲み込む長方形のＸ軸方向の長さとＹ軸方向の長さである。図形重心位置（Ｇｘ，Ｇｙ）というのは、図５に示したように、欠点の重心位置をＸＹ座標で表したものである。最大径ＭＡＸＰというのは、図５に示したように、欠点に接する最大円の直径である。
【００４３】
【表１】
【００４４】
また、幾何形状特徴量は、例えば表２に示したように、面積Ｓ，面積比ＳＲ，円形度ＣＲ，フェレ比ＦＲ，丸さ度合ｒｏｕｇｈ＿Ｒ，伸長度ｌｅｎｇｔｈである。これらの各幾何形状特徴量は、表２に示した計算式によりそれぞれ算出される。なお、伸長度ｌｅｎｇｔｈは、適宜設定される。
【００４５】
【表２】
【００４６】
欠点内濃度パターンヒストグラム作成部２３２により作成する欠点内濃度パターンヒストグラムというのは、例えば図６に示したように、欠点部分の濃度頻度をグラフ化したものである。欠点内濃度パターン特徴量抽出部２３３により抽出する欠点内濃度パターン特徴量は、例えば表３に示したように、白／黒の別（Ｗ／Ｂ），濃度（Ｉ），濃度分散（σ），濃度パターン（Ｐ）である。これらの各欠点内濃度パターン特徴量は、表３に示した計算式によりそれぞれ算出される。なお、ｈmax は最大濃度頻度値であり、Ｉwidth は濃度値の広がり幅であり、ｇmax は複数濃度パターン間のギャップの幅である。欠点内濃度パターン特徴量抽出部２３３は、これらの欠点内濃度パターン特徴量を特徴量信号の欠点内濃度パターン信号ｉ２３３として出力するようになっている。
【００４７】
【表３】
【００４８】
図７は判断処理部３０の構成を表すものである。判断処理部３０は、特徴量抽出部２３から出力された特徴量信号ｉ２３１，ｉ２３３に基づき欠点を識別する識別部３１と、この識別部３１により識別した結果が正しいか否かを判定する判定部３２とにより構成されている。なお、識別部３１は、欠点を識別する識別手段としての機能に加えて、学習手段としての機能も有している。
【００４９】
識別部３１は、特徴量信号ｉ２３１，ｉ２３３をデータ保持部４０に予め学習により記憶させておいた識別用データ４１と単純に比較する比較回路や、ファジィ回路などの計算回路により構成される。ファジィ回路としては、例えば、ニューラルネットワークによる入力の重みとしきい値を用いた回路や、ニューラルネット・プロセッサ（ＮＮＰ）素子とメモリとにより重みと履歴値とを用い重み付けを経験に応じて変化させることができる回路など、種々の回路を用いることができる。識別部３１に入力される特徴量信号ｉ２３１，ｉ２３３の信号形式は、識別部３１の構成に応じて適宜に選択され、アナログ信号でもデジタル信号でもよい。
【００５０】
また、識別用データ４１というのは、例えば表４に示したように、識別のための重みとしきい値，欠点名と出力番号および特徴量名と入力番号がそれぞれ関連づけられたものである。すなわち、識別部３１は、識別手段として機能する場合には、識別用データ４１の特徴量名と入力番号およびそれに対応した重みとしきい値とを参照して欠点を識別し、その結果を欠点名がそれぞれ対応されたいずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎとして出力するようになっている。この識別信号ｉ３１１〜ｉ３１ｎは、出力番号により欠点名を表し、信号の大きさにより可能性の度合いを表している。よって、１つの欠点名に特定できた場合には、対応する出力番号の出力端子から１つの識別信号ｉ３１１を出力し、１つに特定できず２以上の欠点名を選択した場合には、対応する各出力番号の各出力端子から各々任意の大きさの識別信号ｉ３１１〜ｉ３１ｎを出力するようになっている。
【００５１】
【表４】
【００５２】
識別部３１は、また、学習手段として機能する場合には、特徴量抽出部２３から出力された特徴量信号ｉ２３１，ｉ２３３に基づき所定の学習動作を行っていずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎを出力するようになっている。この出力端子の出力番号は、入力部６１から入力される欠点名や、その他必要なデータと共にデータ保持部４０に記憶され、識別用データ４１を構成する。なお、識別用データ４１は、その一部もしくは全部をデータ保持部４０にではなく識別部３１内に必要に応じて保持させるようにしてもよい。
【００５３】
判定部３２は、識別部３１から出力された各識別信号ｉ３１１〜ｉ３１ｎの入力先をそれぞれ切り替える切り替え部３２１と、各識別信号ｉ３１１〜ｉ３１ｎの入力に応じて識別結果の確信度を計算する確信度計算部３２２と、確信度計算部３２２からの出力に基づき識別部３１で識別した結果を判定する判定結果出力部３２３とにより構成されている。
【００５４】
切り替え部３２１は、識別部３１の出力端子の数に対応した複数のスイッチ回路３２１１〜３２１ｎと、各スイッチ回路３２１１〜３２１ｎの切り替え動作をそれぞれ制御する切り替え制御部３２１Ａとを有している。切り替え制御部３２１Ａは、マンマシンインターフェース部６０からの指示に応じて、識別部３１が識別手段として機能する時と学習手段として機能する時とで異なった制御をするようになっている。
【００５５】
すなわち、識別部３１が識別手段として機能する時には、画像処理部２０から出力された例外処理信号である白黒信号ｉ２２１，無欠点信号ｉ２２２および密集信号ｉ２２３と、データ保持部４０に予め学習により記憶させておいた例外制御用データ４２とに基づき各スイッチ回路３２１１〜３２１ｎをそれぞれ制御するようになっている。一方、識別部３１が学習手段として機能する時には、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、必要に応じて例外処理信号を例外制御用データ４２としてデータ保持部４０に記憶させるようになっている。なお、例外制御用データ４２というのは、表５に示したように、全欠点の白黒信号値である。
【００５６】
【表５】
【００５７】
また、識別部３１が識別手段として機能する時の各スイッチ回路３２１１〜３２１ｎの制御条件は、例えば表６に示したように設定されている。すなわち、無欠点信号ｉ２２２が入力された（例えば“１”が入力された）場合には、欠点画像にはもともと欠点が含まれていなかった誤検出として、各スイッチ回路３２１１〜３２１ｎを接点ａにも接点ｂにも接続せず“ｏｐｅｎ”の状態とするように設定されている。また、無欠点信号ｉ２２２が入力されない（例えば“０”が入力された）場合には、例外処理信号の白黒信号ｉ２２１と例外制御用データ４２の白黒信号値が共に“白”の時に接点ａを閉じ、共に“黒”の時に接点ｂを閉じ、それ以外の時（すなわち一致しない時）に“ｏｐｅｎ”の状態とするように設定されている。なお、密集信号ｉ２２３が入力された場合には、欠点が複数あるとして判定動作を繰り返し行うか、判定不能として処理するか、あるいは密集欠点として処理するように制御されている。
【００５８】
【表６】
【００５９】
確信度計算部３２２は、各スイッチ回路３２１１〜３２１ｎの接点ａにそれぞれ接続された白欠点確信度計算部３２２１と、接点ｂにそれぞれ接続された黒欠点確信度計算部３２２２とにより構成されている。すなわち、確信度計算部３２２では、各スイッチ回路３２１１〜３２１ｎの動作に応じて各識別信号ｉ３１１〜ｉ３１ｎが白欠点確信度計算部３２２１にそれぞれ入力されるか、黒欠点確信度計算部３２２２にそれぞれ入力されるか、またはどちらにも入力されないようになっている。また、白欠点確信度計算部３２２１および黒欠点確信度計算部３２２２は、入力された識別信号ｉ３１１〜ｉ３１ｎに基づいて適宜の計算を行い、識別部３１による識別結果の確からしさを表す確信度を算出するものである。この確信度は、例えば、識別部３１からの出力全体に対する１つの出力（すなわち１つの欠点名に関する出力）の割合で表される。
【００６０】
判定結果出力部３２３における判定の条件は、白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２により計算された各欠点名の確信度と、それらを評価するための２つの基準（評価値１，評価値２）との関係に応じて、例えば表７に示したように設定されている。すなわち、１つの欠点名の確信度１のみが高い場合（パターンＡ）は“欠点有り”と判定し、高い確信度のものがなくやや高いものが複数ある場合、あるいは高い確信度のものが複数ある場合（パターンＢ）は“未確定”と判定し、その他の場合（パターンＣ）は“未登録”と判定するように設定されている。判定結果出力部３２３は、判定が“欠点有り”の場合にはその確信度が高かった欠点名およびその他必要な情報を出力し、“未確定”および“未登録”の場合には識別不能として出力するようになっている。
【００６１】
【表７】
【００６２】
また、図１に示したこのマンマシンインターフェース部６０は、データ設定機能と動作設定・結果表示機能とを有している。データ設定機能としては、表８に示したように、（イ）予め学習によりデータ保持部４０に識別用データ４１を記憶させるに際し欠点名などを手動で設定する機能、（ロ）画像処理部２０で画像を処理する際などの各種パラメータを変更調整する機能、（ハ）統計処理などにおける評価表示のためのデータシートを作成する機能がある。なお、これらのデータ設定は、モニタ６２の画面を見ながら入力手段６１によって行うことができるようになっている。
【００６３】
【表８】
【００６４】
動作設定・結果表示機能としては、表９に示したように、（イ）学習・識別などのモード切り替えおよびスタートの設定機能、（ロ）判断処理部３０において判定した結果とその関連データを表示する機能がある。例えば、この学習・識別切り替えにより学習モードに設定すれば、判断処理部３０（すなわち識別部３１および判定部３２）における動作結果および関連の情報がデータ保持部４０に記憶され、識別モードに設定すれば、判定結果などが表示され必要な情報が記録されるようになっている。
【００６５】
【表９】
【００６６】
このような構成を有する画像識別装置は、次のようにして動作する。なお、本発明の画像識別方法は、この画像識別装置が動作することにより実行される。よって、ここでは、画像識別装置の動作を説明することにより本発明の画像識別方法の説明に代える。
【００６７】
図８はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法における各工程）を表す概略流れ図である。この画像識別装置および方法においては、まず、学習・識別切り替えにより学習モード（学習ステップＡ）あるいは識別モード（識別ステップＢ）のどちらかが選択される（ステップＳ１０１）。ここでは、欠点画像の識別動作に先立ち、欠点を識別する際に識別の基準となるデータをデータ保持部４０に記憶させる必要があるので、まずは、マンマシンインターフェース部６０を介して手動により学習モードを選択する。
【００６８】
（学習モード）
学習モードに切り替えられたのち、画像取り込み部１０により、基準画像（予め判明している欠点を例えばＣＣＤカメラなどで撮像した画像；例えば図３に示したような虫が付着した画像）を取り込む（ステップＳ１０２Ａ）。次いで、この基準画像について画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。すなわち、濃度ヒストグラム作成部２１１により濃度ヒストグラムを作成し、平均濃度算出部２１２により平均濃度を算出する。
【００６９】
続いて、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）。図９に例外検出部２２における動作の流れ図を示す。例外検出部２２では、まず、白黒判定部２２１において濃度ヒストグラム作成部２１１により作成した濃度ヒストグラムの黒側平均値および白側平均値を平均濃度算出部２１２により算出した平均濃度とそれぞれ比較して、黒側平均値の方が白側平均値よりも平均濃度値との差が大きい場合には黒と判定し、白側平均値の方が差が大きい場合には白と判断する（ステップＳ１０４１Ａ）。これにより、黒と判断した場合には例外処理信号の白黒信号ｉ２２１として黒欠点信号を切り替え部３２１に出力し、白と判断した場合には例外処理信号の白黒信号ｉ２２１として白欠点信号を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。
【００７０】
次いで、無欠点判定部２２２において画像取り込み部１０により取り込んだ基準画像の２値化を行い２値画像を作成する（ステップＳ１０４３Ａ）。続いて、この２値画像について孤立点の除去を行い（ステップＳ１０４４Ａ）、欠点を囲む外接ウインドウを設定する（ステップＳ１０４５Ａ）。ここで、外接ウインドウを正しく設定できなかった場合には（ステップＳ１０４６Ａ；Ｎ）、例外処理信号として無欠点信号ｉ２２２を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。一方、外接ウインドウを正しく設定できた場合には（ステップＳ１０４６Ａ；Ｙ）、欠点内画像作成部２２３において欠点内白黒画像Ｘｂ（図４参照）と欠点内濃淡画像Ｘｃ（図５参照）を作成する（ステップＳ１０４７Ａ）。
【００７１】
そののち、個数計測部２２４においてこの欠点内白黒画像Ｘｂに基づき欠点の個数を計測する（ステップＳ１０４８Ａ）。欠点の個数が２個以上であった場合には（ステップＳ１０４９Ａ；Ｙ）、例外処理信号として密集信号ｉ２２３を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。一方、欠点の個数が１個であった場合には（ステップＳ１０４９Ａ；Ｎ）、例外検出部２２における動作を終了する。
【００７２】
このように例外検出部２２により欠点内画像の作成がされたのち、この欠点内画像に基づいて特徴量抽出部２３により欠点の特徴量を抽出する（ステップＳ１０５Ａ）。すなわち、幾何形状特徴量抽出部２３１により表１に示した項目を抽出し、それに基づき表２に示した幾何形状特徴量を算出する。また、欠点内濃度パターンヒストグラム作成部２３２により欠点内濃度パターンヒストグラム（図６参照）を作成し、これに基づき欠点内濃度パターン特徴量抽出部２３３により表３に示した欠点内濃度パターン特徴量を抽出する。そののち、これら抽出した幾何形状特徴量および欠点内濃度パターン特徴量を、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する。
【００７３】
識別部３１では、特徴量信号が入力されると、この特徴量に基づいて適宜の学習動作を行い、いずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎを出力する。この出力端子の出力番号は、基準画像の欠点名（例えば虫）を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ１０６Ａ）。なお、特徴量の選択や欠点名の設定などは入力手段６１を介して手動により行う。
【００７４】
一方、切り替え部３２１では、切り替え制御部３２１Ａにより各スイッチ回路３２１１〜３２１ｎを制御して動作させずに“ｏｐｅｎ”の状態とする。また、識別部３１における動作と並行してまたはそれと前後して、入力された例外処理信号（ここでは白黒信号ｉ２２１）を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【００７５】
以上の動作を繰り返すことにより、種々の基準画像に関するデータをデータ保持部４０に記憶させる。このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【００７６】
（識別モード）
識別モードに切り替えられたのち、画像取り込み部１０により識別対象を含む欠点画像（例えば図３に示したような虫が付着した画像）を取り込む（ステップＳ１０２Ｂ；画像取り込み工程）。次いで、学習モードと同様にして、この欠点画像について画像前処理部２１により前処理（濃度ヒストグラムの作成，平均濃度の算出）を行う（ステップＳ１０３Ｂ）。
【００７７】
続いて、学習モードと同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ｂ（図９参照）；例外処理信号検出工程）。すなわち、白・黒欠点判断を行い白黒信号ｉ２２１を出力すると共に、欠点画像の２値化を行い孤立点を除去したのち、外接ウインドウの設定を行う。この外接ウインドウが正しく設定できた場合には欠点内画像（欠点内白黒画像Ｘｂ（図４参照），欠点内濃淡画像Ｘｃ（図５参照））を作成し、設定できなかった場合には無欠点信号ｉ２２２を出力する。そののち、欠点内画像に基づいて欠点の個数を計測し、欠点の個数が２個以上であった場合には密集信号ｉ２２３を出力する。
【００７８】
例外検出部２２により欠点内画像の作成がされたのち、学習モードと同様にして、この欠点内画像に基づいて特徴量抽出部２３により欠点の特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出する（ステップＳ１０５Ｂ；特徴量抽出工程）。そののち、抽出した特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）として識別部３１に出力する。
【００７９】
識別部３１では、特徴量信号が入力されると、この特徴量に基づいて識別用データ４１を参照し欠点の識別を行う（ステップＳ１０６Ｂ；識別工程）。すなわち、特徴量と識別用データ４１とを単純に比較し、あるいは適宜な計算処理をして、欠点画像の欠点が識別用データ４１に記憶されているいずれかの欠点（例えば虫）あるいはそれに類似した欠点であると識別する。この識別結果は、識別信号ｉ３１１〜ｉ３１ｎとして欠点名が対応された１つあるいは複数の出力端子から切り替え部３２１に出力される。
【００８０】
一方、切り替え部３２１では、識別部３１における動作と並行してまたはそれと前後して、入力された例外処理信号に基づいて例外制御用データ４２を参照し、表６に示したように各スイッチ回路３２１１〜３２１ｎの設定を行う（ステップＳ１０７Ｂ）。すなわち、無欠点信号ｉ２２２が入力された場合には“ｏｐｅｎ”の状態とし、入力されない場合には例外処理信号の白黒信号ｉ２２１と例外制御用データ４２の白黒信号値が共に“白”の時に接点ａを閉じ、共に“黒”の時に接点ｂを閉じる。ここで、切り替え部３２１が“ｏｐｅｎ”の状態である場合には、判定不能の信号を確信度計算部３２２を介して判定結果出力部３２３に出力する。接点ａまたは接点ｂが閉じられた場合には、識別信号ｉ３１１〜ｉ３１ｎを白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２のいずれかに出力する。また、密集信号ｉ２２３が入力された場合には、判定動作を繰り返し行うか判定不能の信号あるいは密集欠点の信号を判定結果出力部３２３に出力する。
【００８１】
識別信号ｉ３１１〜ｉ３１ｎが確信度計算部３２２に入力された場合には（ステップＳ１０７Ｂ；接続）、白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２のいずれかにより確信度を算出し判定結果出力部３２３に出力する（ステップＳ１０８Ｂ）。そののち、判定結果出力部３２３により確信度を所定の評価値と比較して表７に示したように判断を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。
【００８２】
ここで、“欠点有り”と判定した場合には（ステップＳ１０９Ｂ；有）、識別信号ｉ３１１〜ｉ３１ｎが出力された出力端子の出力番号に対応する欠点名（例えば虫）をその他必要な情報と共に出力する（ステップＳ１１０Ｂ）。一方、“未登録”または“未確定”と判定した場合には（ステップＳ１０９Ｂ；未）、識別不能として出力する（ステップＳ１１０Ｂ）。また、切り替え部３２１より判定不能の信号が入力された場合には識別不能と出力し、密集欠点の信号が入力された場合には欠点名と共に密集欠点であることを出力する（ステップＳ１１０Ｂ）。この出力結果はモニタ６２により表示されると共に、必要に応じて記録される。これにより、欠点画像の識別が終了する。
【００８３】
このように本実施の形態に係る識別装置および方法によれば、画像処理部２０において特徴量としての幾何形状特徴量および欠点内濃度パターン特徴量を抽出するに加え、例外処理信号（白黒信号ｉ２２１，無欠点信号ｉ２２２，密集信号ｉ２２３）を検出するようにしたので、例外処理信号により識別を補助することができる。よって、特徴量に基づいて行った識別が誤っていても例外処理信号によりそれを検出することができ、識別精度を向上させることができる。
【００８４】
また、識別部３１により特徴量に基づいて画像の識別を行うと共に、判定部３２により例外処理信号に基づいて識別部３１による識別結果の判定を行うようにしたので、判定部３２による判定により識別を補助することができる。よって、例えば画像の白黒判定が容易となり、識別部３１において扱う特徴量および識別部３１の処理内容を削減することができる。すなわち、識別を容易に効率よく行うことができる。
【００８５】
更に、識別に必要なデータの設定などを手動により行うためのマンマシンインターフェース部６０を備えるようにしたので、学習モードにおける各種設定を容易に行うことができる。
【００８６】
（第２の実施の形態）
図１０は、本発明の第２の実施の形態に係る画像識別装置における識別部１０３１の構成を表すものである。この画像識別装置は、識別部１０３１および識別用データ１０４１の構成が異なっていることを除き、他は第１の実施の形態に係る画像識別装置と同一の構成を有している。よって、ここでは、第１の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【００８７】
識別部１０３１は、入力層１０３１１と中間層１０３１２と出力層１０３１３の３層構造よりなるニューラルネットワークにより構成されている。入力層１０３１１，中間層１０３１２および出力層１０３１３の各層内部における各ニューロン間の結合は無く、下位層の各ニューロンは上位層の全てのニューロンと結合している。各ニューロンの出力値Ｏｉは数１に示した式で表される。
【００８８】
【数１】
Ｏｉ＝ｆ（ΣＷij×Ｉij−θ）
Ｗij ； 下位層のｊ番目のニューロンとの結合重み
Ｉij ； ｊ番目のニューロンからの入力値
θ ； しきい値
ｆ ； 非線形関数（いわゆるシグモイド関数）
【００８９】
このニューラルネットワークの学習則は、教師有りのバックプロパゲーション学習則となっている。バックプロパゲーション学習というのは、誤差逆伝搬法とも呼ばれ、各教師信号値とそれに対応する出力ニューロンの出力値の誤差の総和が最小となるように各ニューロンの重みとしきい値を繰り返し演算により決定するものである。学習した重みおよびしきい値は、データ保持部１０４０に識別用データ１０４１として記憶される。この識別用データ１０４１は、表１０に示したように、ニューロンの重みとしきい値，欠点名と出力番号および特徴量名と入力番号がそれぞれ関連づけられたものである。
【００９０】
【表１０】
【００９１】
すなわち、この識別部１０３１は、特徴量抽出部２３から入力層１０３１１に特徴量信号が入力されると、各ニューロンにおいて式１に示した計算を行い、出力層１０３１３の１つあるいは複数のニューロンから識別結果としての識別信号ｉ３１１〜ｉ３１ｎを判定部３２に出力するようになっている。この識別信号ｉ３１１〜ｉ３１ｎは、出力番号（すなわち出力したニューロンの番号）により欠点名を表し、信号の大きさにより可能性の度合いを表している。
【００９２】
このような構成を有する画像識別装置は、識別部１０３１における具体的な識別動作が異なることを除き、第１の実施の形態と同様にして動作する。
【００９３】
このように本実施の形態に係る画像識別装置および方法によれば、識別部１０３１をニューラルネットワークにより構成しニューラルネットワークを用いて識別を行うようにしたので、多くの入力ポートによって多くの特徴量を容易に扱うことができる。また、重みとしきい値を学習により最適化することができる。よって、精度良い識別を容易に行うことができる。
【００９４】
（第３の実施の形態）
図１１は、本発明の第３の実施の形態に係る画像識別装置における画像処理部２０２０の構成を表すものである。この画像識別装置は、第１の実施の形態に加えて例外検出部２０２２が背景含有画像作成部２２５を備えると共に、特徴量抽出部２０２３が背景含有濃度パターンヒストグラム作成部２３４および背景含有濃度パターン特徴量抽出部２３５を備えたことを除き、他は第１の実施の形態に係る画像識別装置と同一の構成を有している。すなわち、この画像識別装置は、第１の実施の形態に加えて、背景含有画像に基づく特徴量を抽出し用いるようにしたものである。よって、ここでは、第１の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【００９５】
例外検出部２０２２は、白黒判定部２２１，無欠点判定部２２２，欠点内画像作成部２２３および個数計測部２２４に加えて、欠点部分の画像と背景画像とを含む背景含有画像を作成する背景含有画像作成部２２５を備えている。この背景含有画像作成部２２５は、無欠点判定部２２２により外接ウインドウが正しく設定された場合に、欠点部分および背景を濃淡で表した外接ウインドウと同じ大きさの背景含有濃淡画像を作成するものである。例えば、図３に示したような虫が付着した欠点画像Ｘａが取り込まれた場合には、図１２に示したような背景含有濃淡画像Ｘｄを作成するようになっている。すなわち、背景含有濃淡画像Ｘｄは欠点部分と外接ウインドウで囲まれた部分の背景とを有する画像である。
【００９６】
特徴量抽出部２０２３は、幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２および欠点内濃度パターン特徴量抽出部２３３に加えて、背景含有濃淡画像Ｘｄに基づいて背景も含めた欠点に関する濃度パターンヒストグラムを作成する背景含有濃度パターンヒストグラム作成部２３４と、作成した背景含有濃度パターンヒストグラムから濃度パターンに関する特徴量を抽出する背景含有濃度パターン特徴量抽出部２３５とを備えている。
【００９７】
すなわち、この特徴量抽出部２０２３は、幾何形状特徴量抽出部２３１と欠点内濃度パターンヒストグラム作成部２３２と欠点内濃度パターン特徴量抽出部２３３とからなり欠点内画像（識別対象画像である欠点部分の画像）に基づいて特徴量を抽出する画像内特徴量抽出部２０２３Ａと、背景含有濃度パターンヒストグラム作成部２３４と背景含有濃度パターン特徴量抽出部２３５とからなり背景含有画像（識別対象である欠点部分の画像と背景画像とを含む画像）に基づいて特徴量を抽出する背景含有特徴量抽出部２０２３Ｂとにより構成されている。
【００９８】
背景含有濃度パターンヒストグラム作成部２３４により作成する背景含有濃度パターンヒストグラムというのは、例えば図１３に示したように、欠点部分と外接ウインドウで囲まれた背景部分における濃度と頻度とをグラフ化したものである。この背景含有濃度パターンヒストグラムは背景部分の情報を含んでいるので、欠点内濃度パターンヒストグラム（図６参照）とは異なった形状となる。
【００９９】
背景含有濃度パターン特徴量抽出部２３５により抽出する背景含有濃度パターン特徴量は、欠点内濃度パターン特徴量と同じように、白／黒の別（Ｗ／Ｂ），濃度（Ｉ），濃度分散（σ），濃度パターン（Ｐ）である（表３参照）。但し、欠点内濃度パターン特徴量とは異なった値が抽出される。背景含有濃度パターン特徴量抽出部２３５は、この背景含有濃度パターン特徴量を特徴量信号の背景含有濃度パターン信号ｉ２２５として識別部３１に出力するようになっている。すなわち、本実施の形態に係る画像識別装置は、識別に関する情報を第１の実施の形態に係る画像識別装置よりも多く識別部３１に与え、性質の異なった特徴量としての情報に基づき識別を行うようになっている。
【０１００】
このような構成を有する画像識別装置は、次のようにして動作する。
【０１０１】
図１４はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法の各工程）を表す概略流れ図である。ここでは、まず、マンマシンインターフェース部６０を介して手動により学習モード（学習ステップＡ）に切り替える（ステップＳ１０１）。
【０１０２】
（学習モード）
学習モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により基準画像を取り込み（ステップＳ１０２Ａ）、画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）。但し、無欠点判定部２２２において外接ウインドウを設定できた場合には、欠点内画像の作成と並行してあるいはそれと前後して、背景含有画像作成部２２５により背景含有画像Ｘｄも作成する（ステップＳ２０１Ａ）。
【０１０３】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ入力する（ステップＳ１０５Ａ）。
【０１０４】
また、欠点内画像に基づく特徴量の抽出と並行してあるいはそれと前後して、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により、背景含有画像に基づく特徴量を抽出する（ステップＳ２０２Ａ）。すなわち、背景含有濃度パターンヒストグラム作成部２３４により背景含有濃度パターンヒストグラム（図１３参照）を作成し、これに基づき背景含有濃度パターン特徴量抽出部２３５により表３に示した背景含有濃度パターン特徴量を抽出する。そののち、この背景含有濃度パターン特徴量を特徴量信号の背景含有濃度パターン信号ｉ２３５として識別部３１に出力する。
【０１０５】
識別部３１では、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３，背景含有濃度パターン信号ｉ２３５）が入力されると、第１の実施の形態と同様にこの特徴量に基づいて適宜の学習動作を行い、その結果を１つの出力端もしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして出力する。その出力端子の出力番号は欠点名を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ２０３Ａ）。
【０１０６】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、入力された例外処理信号を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【０１０７】
このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【０１０８】
（識別モード）
識別モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により識別対象を含む欠点画像（例えば図３参照）を取り込み（ステップＳ１０２Ｂ；画像取り込み工程）、画像前処理部２１により前処理を行う（ステップＳ１０３Ｂ）。次いで、第１の実施の形態と同様にして例外検出部２２により例外処理信号の検出と欠点内画像の作成を行うと共に（ステップＳ１０４Ｂ；例外処理信号検出工程）、学習モードと同様にして背景含有画像Ｘｄを作成する（ステップＳ２０１Ｂ）。
【０１０９】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）として識別部３１に出力する（ステップＳ１０５Ｂ；画像内特徴量抽出工程）。また、学習モードと同様にして、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により背景含有画像に基づく特徴量を抽出し、特徴量信号の背景含有濃度パターン信号ｉ２３５として識別部３１に出力する（ステップＳ２０２Ｂ；背景含有画像特徴量抽出工程）。
【０１１０】
識別部３１では、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３，背景含有濃度パターン信号ｉ２３５）が入力されると、この特徴量に基づいて識別用データ４１を参照し欠点の識別を行う（ステップＳ２０３Ｂ；識別工程）。この識別結果は、１つもしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして切り替え部３２１に出力される。
【０１１１】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎの設定をする（ステップＳ１０７Ｂ）。これにより、スイッチ回路３２１１〜３２１ｎが動作し、確信度計算部３２２に識別信号ｉ３１１〜ｉ３１ｎが入力された場合には（ステップＳ１０７Ｂ；接続）、第１の実施の形態と同様にして、確信度計算部３２２により確信度を算出し（ステップＳ１０８Ｂ）、判定結果出力部３２３により比較判定を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。判定結果出力部３２３は、その判定結果および切り替え部３２１からの出力に基づいて所定の出力を行う（ステップＳ１１０Ｂ）。これにより、欠点画像の識別が終了する。
【０１１２】
このように本実施の形態に係る画像識別装置および方法によれば、幾何形状特徴量および欠点内濃度パターン特徴量に加えてそれらとは性質の異なった背景含有濃度パターン特徴量を抽出し、それらに基づき識別を行うようにしたので、多くの情報に基づいて識別をすることができ、識別精度を向上させることができる。
【０１１３】
なお、第３の実施の形態においては、第１の実施の形態と同様に、識別部３１の構成を特に限定しないで説明したが、第２の実施の形態のようにニューラルネットワークにより構成するようにしてもよい。このように、識別部３１をニューラルネットワークにより構成するようにすれば、多くの入力ポートを持つことができ、多くの特徴量信号を容易に扱うことができる。よって、第１の実施の形態に比べて特徴量信号が多くても、容易に識別処理をすることができる。すなわち、精度良い識別を容易に行うことができる。
【０１１４】
（第４の実施の形態）
図１５は本発明の第４の実施の形態に係る画像識別装置における判断処理部３０３０の構成を表すものである。図１６は判断処理部３０３０の２次識別部３３の構成を表すものである。この画像識別装置は、第３の実施の形態に加えて、判断処理部３０３０が２次識別部３３および総合判定出力部３４を備え、データ保持部３０４０が２次識別用データ４３を備えたことを除き、他は第３の実施の形態に係る画像識別装置と同一の構成を有している。なお、第３の実施の形態は、第１の実施の形態に加えて、背景含有画像に基づく特徴量を抽出するようにしたものである（図１１参照）。よって、ここでは、第１および第３の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【０１１５】
判断処理部３０３０は、１次識別部としての識別部３１，切り替え部３２１，確信度計算部３２２および判定結果出力部３２３に加えて、特徴量信号の背景含有濃度パターン信号ｉ２３５に基づき欠点を識別する２次識別部３３と、判定結果出力部３２３からの出力および２次識別部３３からの出力に基づいて識別結果を総合的に判定する総合判定出力部３４とを備えている。
【０１１６】
なお、識別部３１には、第３の実施の形態とは異なり、特徴量信号のうち欠点内画像に基づく幾何形状信号ｉ２３１と欠点内濃度パターン信号ｉ２３３のみが入力され、背景含有画像に基づく背景含有濃度パターン信号ｉ２３５は入力されないようになっている。判定結果出力部３２３は、“欠点有り”および“未登録”と判定した場合には識別結果などを総合判定出力部３４に出力し、“未確定”と判定した場合には２次識別部３３に識別を行うように指示を与えると共に、無欠点信号ｉ２２２の入力による判定不能の信号あるいは密集信号ｉ２２３の入力による判定不能および密集欠点の信号が入力された場合にはその旨を総合判定出力部３４に出力するようになっている。
【０１１７】
２次識別部３３は、入力層３３１と出力層３３２の２層構造よりなるニューラルネットワークにより構成されている。入力層３３１には、背景含有濃度パターンヒストグラムの各濃度値における頻度値が背景含有濃度パターン信号ｉ２３５として各ニューロンに入力されるようになっている。また、出力層３３２には、識別部３１による識別で確信度が比較的高かった複数の欠点が１つのニューロンに対して１つづつ割り当てられる。出力層３３２の各ニューロンの重みには、対応する欠点の濃度パターンヒストグラムにおける各頻度値が用いられる。なお、この重みは、表１１に示したように、予め学習によりデータ保持部４０に２次識別用データ４３として欠点名と関連づけて記憶されている。
【０１１８】
【表１１】
【０１１９】
また、出力層３３２の各ニューロンの出力値Ｔｏは数２に示した式で表される。すなわち、この２次識別部３３は、入力された背景含有濃度パターンヒストグラムと２次識別用データ４３の重み（すなわち学習しておいた濃度パターンヒストグラム）との相関度を調べ、相関度が最も高い（すなわち出力値Ｔｏが最小の）ニューロンの欠点名を出力するようになっている。
【０１２０】
【数２】
【０１２１】
総合判定出力部３４における判定の条件は、表１２に示したように設定されている。すなわち、判定結果出力部３２３から欠点名が入力された場合には確実な欠点種別と判定してその旨と欠点名を出力し、識別不能の入力がされた場合には学習されていない欠点種別と判定してその旨出力し、無欠点信号ｉ２２２の入力が有った旨の入力がされた場合には欠点無しと判定してその旨出力し、密集信号ｉ２２３の入力が有った旨の入力がされた場合には密集欠点と判定してその旨出力し、２次識別部３３から欠点名が入力された場合にはやや確信度が下がる欠点種別と判定してその旨と欠点名を出力するようになっている。
【０１２２】
【表１２】
【０１２３】
このような構成を有する画像識別装置は、次のようにして動作する。
【０１２４】
図１７はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法の各工程）を表す概略流れ図である。ここでは、まず、マンマシンインターフェース部６０を介して手動により学習モード（学習ステップＡ）に切り替える（ステップＳ１０１）。
【０１２５】
（学習モード）
学習モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により基準画像を取り込み（ステップＳ１０２Ａ）、画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）と共に、第３の実施の形態と同様に用いて、背景含有画像Ｘｄの作成を行う（ステップＳ２０１Ａ）。
【０１２６】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する（ステップＳ１０５Ａ）。
【０１２７】
識別部３１では、欠点内画像に基づく特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）が入力されると、第１の実施の形態と同様にして、この特徴量に基づいて適宜の学習動作を行い、その結果を１つの出力端もしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして出力する。その出力端子の出力番号は欠点名を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ１０６Ａ）。
【０１２８】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、入力された例外処理信号を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【０１２９】
２次識別部３３では、背景含有画像に基づく特徴量信号（背景含有濃度パターン信号ｉ２３５）が入力されると、その背景含有濃度パターンヒストグラムの各濃度値に対する頻度値を出力層３３２の１つのニューロンの重みとして欠点名と共に設定する。そののち、設定した欠点名と出力ニューロンの重みを関連づけて２次識別用データ４３としてデータ保持部４０に登録し記憶させる（ステップＳ３０１Ａ）。
【０１３０】
このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【０１３１】
（識別モード）
識別モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により識別対象を含む欠点画像を取り込み（ステップＳ１０２Ｂ；画像取り込み工程）、画像前処理部２１により前処理を行う（ステップＳ１０３Ｂ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ｂ；例外処理信号検出工程）と共に、第３の実施の形態と同様にして、背景含有画像Ｘｄを作成する（ステップＳ２０１Ｂ）。
【０１３２】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する（ステップＳ１０５Ｂ；画像内特徴量抽出工程）。
【０１３３】
識別部３１では、欠点内画像に基づく特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）が入力されると、第１の実施の形態と同様にして欠点の識別を行い、識別結果を切り替え部３２１に出力する（ステップＳ１０６Ｂ；１次識別工程）。
【０１３４】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎの設定をする（ステップＳ１０７Ｂ）。これにより、スイッチ回路３２１１〜３２１ｎが動作し、確信度計算部３２２に識別信号ｉ３１１〜ｉ３１ｎが入力された場合には（ステップＳ１０７Ｂ；接続）、第１の実施の形態と同様にして、確信度計算部３２２により確信度を算出し（ステップＳ１０８Ｂ）、判定結果出力部３２３により比較判定を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。
【０１３５】
ここで、“欠点有り”と判定した場合には（ステップＳ１０９Ｂ；有）、総合判定出力部３４に欠点名などを出力する。“未登録”と判定した場合には（ステップＳ１０９Ｂ；未登）、総合判定出力部３４に識別不能と出力する。“未確定”と判定した場合には（ステップＳ１０９Ｂ；未確）、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により背景含有画像に基づく特徴量を抽出し、背景含有濃度パターン信号ｉ２３５を２次識別部３３に出力する（ステップＳ２０２Ｂ；背景含有特徴量抽出工程）。
【０１３６】
２次識別部３３では、背景含有画像に基づく特徴量信号（背景含有濃度パターン信号ｉ２３５）が入力されると、その背景含有濃度パターンヒストグラムの各濃度値に対する頻度値を入力層３３１の入力とし、２次識別用データ４３を参照して所定の計算を行い、相関度が最も高い欠点名を総合判定出力部３４に出力する（ステップＳ３０１Ｂ；２次識別工程）。
【０１３７】
総合判定出力部３４では、判定結果出力部３２３，切り替え部３２１および２次識別部３３からの出力に基づき判定を行い（表１２参照）、所定の出力を行う（ステップＳ３０２Ａ）。これにより、欠点画像の識別が終了する。
【０１３８】
このように本実施の形態に係る画像識別装置および方法によれば、欠点内画像に基づく特徴量により識別を行う１次識別部３１と、背景含有画像に基づく特徴量により識別を行う２次識別部３３とを備えると共に、１次識別部３１による識別結果を確定することができない場合に２次識別部３３による識別を行うようにしたので、２次識別部３３により１次識別を補助することができる。よって、１次識別部３１において用いる特徴量が少なくても精度良く識別することができる。すなわち、識別の時間を短縮することができ、迅速に効率良く識別することができる。
【０１３９】
なお、第４の実施の形態においては、第１の実施の形態と同様に、識別部３１の構成を特に限定しないで説明したが、第２の実施の形態のようにニューラルネットワークにより構成するようにしてもよい。
【０１４０】
また、この画像識別装置の効果を確認するために、この画像識別装置により数種類の欠点画像について識別実験を行った。ちなみに、識別部３１には、第２の実施の形態において説明したニューラルネットワークよりなる識別部１０３１を用いた。また、識別に先立ち、同一の欠点画像を用いて学習を行った。
【０１４１】
その結果を図１８に示す。このように、１次識別部３１のみによる識別では虫の識別精度が低いのに対し、１次識別部３１と２次識別部３３による識別では改善されている。すなわち、虫のように複雑な欠点については、１次識別部３１のみの識別では十分な識別精度を得ることができず、２次識別部３３により改善できることが分かる。
【０１４２】
（第５の実施の形態）
図１９は本発明の第５の実施の形態に係る画像識別装置における判断処理部４０３０の構成を表すものである。この画像識別装置は、第４の実施の形態に加えて、判断処理部３０３０が識別切り替え部３５を備え、識別部３１が１次識別部としての機能と２次識別部としての機能とを有するようにしたことを除き、他は第４の実施の形態に係る画像識別装置と同一の構成を有している。よって、ここでは、第４の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【０１４３】
判断処理部４０３０は、１次識別部および２次識別部としての識別部３１，切り替え部３２１，確信度計算部３２２，判定結果出力部３２３および総合判定出力部３４に加えて、識別部３１について１次識別部としての機能と２次識別部としての機能との切り替えを行う識別切り替え部３５を備えている。
【０１４４】
識別切り替え部３５は、特徴量抽出部２３と識別部３１との接続を切り替える特徴量切り替え部３５１と、データ保持部３０４０と識別部３１との接続を切り替えるデータ切り替え部３５２とを有している。特徴量切り替え部３５１は、特徴量抽出部２３の幾何形状特徴量抽出部２３１，欠点内濃度パターン特徴量抽出部２３３および背景含有濃度パターン特徴量抽出部２３５を識別部３１にそれぞれ接続するものである。また、データ切り替え部３５２は、１次識別用データとしての識別用データ４１と２次識別用データ４３を識別部３１にそれぞれ接続するものである。
【０１４５】
特徴量切り替え部３５１とデータ切り替え部３５２は、判定結果出力部３２３からの指示により連動して制御されている。判定結果出力部３２３から切り替えの指示が入力されない時は、特徴量切り替え部３５１により欠点内画像に基づく特徴量を抽出する幾何形状特徴量抽出部２３１と欠点内濃度パターン特徴量抽出部２３３とを識別部３１に接続し、データ切り替え部３５２により識別用データ４１を識別部３１に接続して、識別部３１を１次識別部として機能させるようになっている。一方、判定結果出力部３２３から切り替えの指示が入力された時は、特徴量切り替え部３５１により背景含有画像に基づく特徴量を抽出する背景含有濃度パターン特徴量抽出部２３５を識別部３１に接続し、データ切り替え部３５２により２次識別用データ４３を識別部３１に接続して、識別部３１を２次識別部として機能させるようになっている。
【０１４６】
このような構成を有する画像識別装置は、判定結果出力部３２３からの指示により識別切り替え部３５が切り替わり、識別部３１の機能が１次識別部と２次識別部とで切り替わることを除き、第４の実施の形態と同様にして動作する。
【０１４７】
このように本実施の形態に係る画像識別装置によれば、識別切り替え部３５により識別部３１を１次識別部と２次識別部とで共用するようにしたので、装置を小型化および簡素化することができる。
【０１４８】
（第６の実施の形態）
図２０は本発明の第６の実施の形態に係る画像検出識別装置の構成を表すものである。この画像検出識別装置は、例えば、布や紙の製造工程などにおいて被対象物に虫などの異物付着や穴や油じみなどの欠点があるかを検査する際に、被対象物を撮像した画像からそれらの欠点画像を検出しその識別を行うものであって、欠点画像を識別する画像識別装置１を備えている。この画像識別装置１には、第１乃至第５の実施の形態において説明した画像識別装置を適用することができる。
【０１４９】
この画像検出識別装置は、また、被対処物を撮像するＣＣＤビデオカメラやラインセンサなどからなる撮像装置２と、この撮像装置２により撮像した撮像画像から異物付着や穴などの欠点画像を検出する画像検出装置３とを備えている。この画像検出装置３は、例えば、撮像装置２により撮像された撮像画像を欠点の無い標準画像と比較することにより標準画像に無い画像を欠点画像として検出するようになっている。撮像装置２と画像検出装置３および画像検出装置３と画像識別装置１の画像取り込み部１０とはそれぞれオンラインで接続されている。この画像検出識別装置は、更に、画像検出装置３および画像識別装置１の画像取り込み部１０にそれぞれ接続されており、画像検出装置３により検出された欠点画像および画像識別装置１により識別された欠点画像を画像格納ディスクなどの記録装置５に記録させる画像記録システム装置４を備えている。
【０１５０】
この画像検出識別装置では、撮像装置２により被対象物を撮像し、撮像画像を画像検出装置３に出力する。画像検出装置３は、この撮像画像について欠点画像を検出し、画像識別装置１に出力する。画像識別装置１は、画像取り込み部１０を介してこの欠点画像を取り込み、識別を行って、欠点であると識別された欠点画像など特定の欠点画像とその識別結果を画像取り込み部１０を介して画像録画システム装置４に出力する。画像録画システム装置４は、画像識別装置１から出力された欠点画像を識別結果などと共に記録装置５に記録させる。
【０１５１】
この画像検出識別装置では、また、画像検出装置３によって検出した欠点画像を画像識別装置１によってリアルタイムで識別処理できない場合、欠点画像を画像検出装置３から画像録画システム装置４に出力する。画像録画システム装置４は、画像検出装置３から出力された欠点画像を記録装置５に記録させる。一方、画像識別装置１は、画像記録システム装置４を介して記録装置５から欠点画像を読み出し、識別を行って、特定の欠点画像とその識別結果を画像録画システム装置４に出力する。画像録画システム装置４は、それらを記録装置５に記録させる。
【０１５２】
このように本実施の形態に係る画像検出識別装置によれば、本発明に係る画像識別装置１を備えるようにしたので、迅速に高精度の識別をすることができ、識別した特定の欠点画像のみを必要に応じて記録させることができる。よって、リアルタイム処理する場合など特に画像の記録量を削減することができ、データ管理が容易となる。すなわち、この画像検出識別装置を用いた生産工程の生産管理を容易とすることができる。
【０１５３】
（第７の実施の形態）
上記画像識別装置は、具体的にはコンピュータにより実現することができる。図２１はその構成を表すものである。すなわち、このコンピュータは、ＣＰＵ（中央処理装置）７１と、キーボードやマウスなどの入力装置とＣＲＴ（陰極線管）やプリンタなどの出力装置からなる入出力装置７２と、記憶装置７３と、これらが接続されたバス７４とを備えている。記憶装置７３は、例えば、プログラムを記録する媒体７３ａであるハードディスクや、プログラムを記録する媒体７３ｂであるＣＤ（コンパクトディスク）−ＲＯＭ，フロッピィディスク，光磁気ディスク，相変化型光ディスクなどとそれらを駆動するディスクドライブとにより構成される。この記憶装置７３には、本発明に係る画像識別装置および方法を実現するための手順を含む画像識別用プログラムが格納されている。
【０１５４】
このコンピュータでは、入出力装置７２からの指示により、記憶装置７３から画像識別用プログラムが読み出され、この画像識別用プログラムに従ってＣＰＵ７１により前述のような画像の識別動作が実行される。
【０１５５】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記各実施の形態では、画像識別装置を、紙や布などの製造工程において被対象物に虫などの異物付着や穴や油じみなどの欠点が有るか否かを検査する際に用いて、被対象物の撮像画像から検出した欠点画像を識別する場合について説明したが、その他の種々の画像を識別する場合についても同様にして用いることができる。
【０１５６】
また、上記各実施の形態では、被対象物の撮像画像から抽出された欠点が含まれると思われる欠点画像について識別を行う場合について説明したが、撮像画像について識別を行うようにしてもよい。更に、本発明に係る画像識別装置は、オンラインにより画像を取り込むようにしてもよく、記録装置に録画された画像を取り込むようにしてもよい。
【０１５７】
加えて、本発明に係る画像識別装置は、生産工程において発生する欠点の判別をオフラインでシミュレートし、その判別能力を予め確認し検証するシミューレーション装置の一部としても用いることができる。
【０１５８】
更にまた、上記各実施の形態では、判断処理部３０，３０３０が学習手段としての機能を有し、識別用データ４１，１０４１などを学習によりデータ保持部４０，１０４０，３０４０に記憶させる場合について説明したが、本発明に係る画像識別装置は、学習手段を備えないものも含んでいる。この場合、例えば、シミュレーション装置などにより検証して得られた識別用データ４１，１０４１などをＲＯＭなどの記録媒体に記憶させ、それをデータ保持部４０，１０４０，３０４０として利用したり、その記録媒体からデータ保持部４０，１０４０，３０４０にデータ取り込み手段によりデータを取り込んだりすればよい。
【０１５９】
加えてまた、上記各実施の形態では、判断処理部３０，３０３０が判断処理手段としての機能に加えて学習手段としての機能も有する場合について説明したが、本発明に係る画像識別装置は、判断処理部３０，３０３０とは別に学習手段を備えるようにしてもよい。
【０１６０】
【発明の効果】
以上説明したように本発明の画像識別装置、画像識別方法または画像識別用プログラムを記録した媒体によれば、画像について欠点の特徴量を抽出すると共に例外処理信号検出するようにしたので、例外処理信号により欠点の識別を補助することができる。よって、特徴量に基づいて行った識別が誤っていても例外処理信号によりそれを検出することができ、識別精度を向上させることができるという効果を奏する。
また、特徴量に基づいて画像中の欠点の識別を行うと共に、例外処理信号に基づいてその識別結果の判定を行うようにしたので、判定により識別を補助することができ、識別において用いる特徴量および識別における処理内容を削減することができる。すなわち、識別を容易に効率よく行うことができるという効果を奏する。
【０１６２】
特に、請求項５に記載の画像識別装置，請求項１３に記載の画像識別方法または請求項１９に記載の画像識別用プログラムを記録した媒体によれば、１次識別の結果を判定すると共に、この判定結果に応じて２次識別を行うようにしたので、判定および必要に応じて２次識別により１次識別を補助することができる。よって、１次識別において用いる特徴量が少なくても精度良く識別することができる。すなわち、識別の時間を短縮することができ、迅速に効率良く識別することができるという効果を奏する。
【０１６４】
更にまた、本発明の画像検出識別装置によれば、本発明に係る画像識別装置を備えるようにしたので、迅速に高精度の識別をすることができ、識別した特定の欠点画像のみを必要に応じて記録させることができる。よって、リアルタイム処理する場合など特に画像の記録量を削減することができ、データ管理を容易とすることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像識別装置を表す概略構成図である。
【図２】図１に示した画像識別装置における画像処理部の構成図である。
【図３】画像識別装置により識別する欠点画像の一例を表す図である。
【図４】図３に示した欠点画像に関する欠点内白黒画像を表す図である。
【図５】図３に示した欠点画像に関する欠点内濃淡画像を表す図である。
【図６】図５に示した欠点内濃淡画像に関する欠点内濃度パターンヒストグラムを表す図である。
【図７】図１に示した画像識別装置における判断処理部の構成図である。
【図８】図１に示した画像識別装置の全体動作を表す流れ図である。
【図９】図１に示した画像識別装置における例外検出部の動作を表す流れ図である。
【図１０】本発明の第２の実施の形態に係る画像識別装置における識別部の構成図である。
【図１１】本発明の第３の実施の形態に係る画像識別装置における画像処理部の構成図である。
【図１２】図３に示した欠点画像に関する背景含有濃淡画像を表す図である。
【図１３】図１２に示した背景含有濃淡画像に関する背景含有濃度パターンヒストグラムを表す図である。
【図１４】図１１に示した画像識別装置の全体動作を表す流れ図である。
【図１５】本発明の第４の実施の形態に係る画像識別装置における判断処理部の構成図である。
【図１６】図１５に示した画像識別装置における２次識別部の構成図である。
【図１７】図１５に示した画像識別装置の全体動作を表す流れ図である。
【図１８】図１５に示した画像識別装置による識別実験結果を表す図である。
【図１９】本発明の第５の実施の形態に係る画像識別装置における判断処理部の構成図である。
【図２０】本発明の第６の実施の形態に係る画像検出識別装置の構成図である。
【図２１】本発明の第７の実施の形態に係る画像識別用プログラムを記録した媒体を用いて画像の識別を実行するコンピュータの構成図である。
【符号の説明】
１ 画像識別装置
１０ 画像取り込み部
２０，２０２０ 画像処理部
２１ 画像前処理部
２１１ 濃度ヒストグラム作成部
２１２ 平均濃度算出部
２２，２０２２ 例外検出部
２２１ 白黒判定部
２２２ 無欠点判定部
２２３ 欠点内画像作成部
２２４ 個数計測部
２２５ 背景含有画像作成部
２３，２０２３ 特徴量抽出部
２０２３Ａ 画像内特徴量抽出部
２０２３Ｂ 背景含有特徴量抽出部
２３１ 幾何形状特徴量抽出部
２３２ 欠点内濃度パターンヒストグラム作成部
２３３ 欠点内濃度パターン特徴量抽出部
２３４ 背景含有濃度パターンヒストグラム作成部
２３５ 背景含有濃度パターン特徴量抽出部
３０，３０３０ 判断処理部
３１，１０３１ 識別部（１次識別部）
３２ 判定部
３２１ 切り替え部
３２１Ａ 切り替え制御部
３２１１〜３２１ｎ スイッチ回路
３２２ 確信度計算部
３２２１ 白欠点確信度計算部
３２２２ 黒欠点確信度計算部
３２３ 判定結果出力部
３３ ２次識別部
３４ 総合判定出力部
３５ 識別切り替え部
３５１ 特徴量切り替え部
３５２ データ切り替え部
４０，１０４０，３０４０ データ保持部
４１，１０４１ 識別用データ
４２ 例外制御用データ
４３ ２次識別用データ
６０ マンマシンインターフェース部
６１ 入力部
６２ 表示部
７１ ＣＰＵ
７２ 入出力装置
７３ 記憶装置
【発明の属する技術分野】
本発明は、種々の画像を識別する画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
布や紙などの各種製造工程、あるいは印刷工程などにおいては、品質を保持するために異物付着やきずや印刷漏れなどの欠点の有無について検査を行っている。従来、この検査では、被対象物の反射光や透過光などにより得られた画像情報を予め用意した標準画像と比較するなどして欠点の有無を検出し、検査の省力化および自動化が図られていた。
【０００３】
また、欠点の有無を検出するのみでなく、欠点の種類をも識別することにより、それを直ちに製造工程などにフィードバックし、その欠点の発生原因に応じた対応を取ることができるようにした画像識別手段も提案されている。例えば、標準画像と比較して得た欠点画像から特徴量を抽出し、その特徴量に基づいてファジィ推論およびニーラルネットワークを用い欠点の種類を識別するようにしたものである（特開平７−３３３１７０参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、この画像識別手段では欠点画像から抽出した特徴量に基づいてファジィ推論を行うので、“大きい”“細い”などの言語表現をもって作業者が設定を行う必要があり、作業が煩雑であるという問題があった。また、ファジィ推論とニーラルネットワークのみで欠点の種類を識別しているので、データベースに無い欠点が入力された場合や欠点を誤検出した場合に登録済みの欠点の種類のうちの１つとして出力してしまう可能性が高いという問題もあった。
【０００５】
また、他の画像識別手段としては、画像の輝度情報に関する平均を算出し、ファジィ推論とハイブリット・ニューラルネットワーク（すなわち階層型ネットワークと対向伝搬ネットワークとを組み合わせたもの）を用いて牛肉の肉色と脂肪色とを識別するものが提案されている（特開平６−３１８２４４参照）。しかし、この画像識別手段は、構造が複雑であり簡単に識別することができないという問題があった。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、簡単に高精度の識別をすることができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００７】
第２の目的は、容易に効率良く識別することができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００８】
第３の目的は、画像の識別に必要なデータの設定などを容易に行うことができる画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１記載の画像識別装置は、画像を取り込む画像取り込み手段と、この画像取り込み手段により取り込んだ画像について欠点の特徴量を抽出し特徴量信号として出力する特徴量抽出手段と、前記画像取り込み手段により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出し出力する例外検出手段と、前記特徴量抽出手段から出力された特徴量信号と、前記例外検出手段から出力された例外処理信号とに基づき画像中の欠点を識別する判断処理手段とを備えるようにしたものである。
かつ、判断処理手段が、特徴量抽出手段から出力された特徴量信号に基づき欠点を識別する識別手段と、この識別手段により識別した結果と例外検出手段から出力された例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手段とを有するようにしたものである。
【００１０】
この画像識別装置では、画像取り込み手段により画像を取り込み、その画像について特徴量抽出手段により欠点の特徴量を抽出し、例外検出手段により例外処理信号を検出する。この特徴量と例外処理信号とに基づき判断処理手段により画像中の欠点を識別する。すなわち、例外処理信号により欠点の識別を補助する。
より詳しくは、特徴量信号に基づいて識別手段により画像中の欠点を識別し、判定手段によりこの識別結果と例外処理信号とに基づいて、少なくとも欠点の有無を判定する。すなわち、判定手段により識別手段の識別を補助する。よって、識別手段において扱う情報を削減することができる。
【００１１】
この画像識別装置は、また、前記特徴量抽出手段が識別対象画像に基づいて特徴量を抽出する画像内特徴量抽出手段を有するようにしてもよい。更に、識別対象画像と背景画像とを含む画像に基づいて特徴量を抽出する背景含有画像特徴量抽出手段を更に有するようにすれば、より多くの異なった性質の情報を抽出することができるので好ましい。
【００１２】
請求項４記載の画像識別装置は、請求項１に記載のものにおいて、例外検出手段が、取り込んだ画像について白黒判定を行い前記例外処理信号の１つとして白黒信号を出力する白黒判定部と、取り込んだ画像中の欠点の有無を検出して欠点が無い場合に例外処理信号の１つとして無欠点信号を出力する無欠点判定部と、取り込んだ画像中の欠点の個数を計測して例外処理信号の１つとして欠点の個数の割合を示す密集信号を出力する個数計測部とを有するようにしたものである。
【００１４】
請求項５記載の画像識別装置は、請求項３記載のものにおいて、前記判断処理手段が、総合判定手段をさらに有すると共に、識別手段が、１次識別手段と２次識別手段とを有するようにしたものである。そして、前記１次識別手段が、前記画像内特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、前記判定手段が、この１次識別手段により識別した結果を前記例外検出手段から出力された例外処理信号に基づき判定し、前記２次識別手段が、この判定手段の判定結果に応じて、前記背景含有画像特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、前記総合判定手段が、前記判定手段の判定と前記２次識別手段による識別結果とに基づいて総合的な判定を行い、少なくとも欠点の有無および欠点の種別を出力するようにしたものである。
【００１５】
この画像識別装置では、１次識別手段により画像を識別し、判定手段によりこの識別結果を判定する。また、その判定結果に応じて、２次識別手段により画像を識別する。すなわち、判定手段および必要に応じて２次識別手段により１次識別手段の識別を補助する。よって、１次識別手段において扱う情報が少なくても高精度の識別を行うことができる。
【００１６】
この画像識別装置は、また、前記判断処理手段が、前記１次識別手段としての機能と前記２次識別手段としての機能とを共用する１つの識別手段を備えると共に、前記１つの識別手段について１次識別手段としての機能と２次識別手段としての機能との切り替えを行う識別切り替え手段を備えるようにしてもよい。
【００１７】
この画像識別装置では、１次識別手段としての識別手段により画像を識別し、判定手段によりこの識別結果を判定する。また、その判定結果に応じて、切り替え手段により識別手段の機能を２次識別手段に切り替え、２次識別手段としての識別手段により画像を識別する。
【００１８】
請求項７記載の画像識別装置は、請求項１乃至６のいずれか１に記載のものにおいて、更に、画像の識別において基準となるデータを保持するデータ保持手段を備えており、前記判断処理手段は特徴量信号と例外処理信号と前記データ保持手段に保持されたデータとに基づいて画像を判断するようにしたものである。
【００１９】
この画像識別装置では、データ保持手段により画像の識別において基準となるデータを保持する。判断処理手段では、特徴量信号と例外処理信号とデータ保持手段に保持されたデータとに基づいて画像を判断する。
【００２０】
請求項８記載の画像識別装置は、請求項７記載のものにおいて、更に、画像の識別において基準となるデータを学習して前記データ保持手段に保持させる学習手段を備えるようにしたものである。
【００２１】
この画像識別装置では、学習手段により画像の識別において基準となるデータを学習してデータ保持手段に保持させることができる。
【００２４】
本発明の画像識別方法は、画像を取り込む画像取り込み工程と、この画像取り込み工程により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出工程と、前記画像取り込み工程により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出工程と、前記特徴量抽出工程により抽出した特徴量と、前記例外処理信号検出工程により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理工程とを含むようにしたものである。
かつ、前記判断処理工程が、前記特徴量抽出工程により抽出した特徴量に基づき欠点を識別する識別工程と、この識別工程により識別した結果と前記例外処理信号検出工程により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定工程とを含むようにしたものである。
【００２５】
この画像識別方法では、画像取り込み工程により画像を取り込んだのち、特徴量抽出工程により画像について欠点の特徴量を抽出すると共に、例外処理信号検出工程により画像について例外処理信号を検出する。そののち、この特徴量と例外処理信号とに基づき判断処理工程により画像中の欠点を識別する。
【００２６】
本発明の画像検出識別装置は、撮像画像から特定の画像を検出し識別する画像検出識別装置であって、本発明の画像識別装置を備えるようにしたものである。
【００２７】
この画像検出識別装置では、撮像画像から特定の画像が検出され、これを本発明に係る画像識別装置により識別する。
【００２８】
本発明の記載の画像識別用プログラムを記録した媒体は、コンピュータによって画像中の欠点を識別するためのものであって、画像識別用プログラムが、コンピュータに画像を取り込む画像取り込み手順と、この画像取り込み手順により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出手順と、前記画像取り込み手順により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出手順と、前記特徴量抽出手順により抽出した特徴量と、前記例外処理信号検出手順により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理手順とを含むようにしたものである。
かつ、前記判断処理手順が、前記特徴量抽出手順により抽出した特徴量に基づき欠点を識別する識別手順と、この識別手順により識別した結果と前記例外処理信号検出手順により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手順とを含むようにしたものである。
【００２９】
この画像識別用プログラムを記録した媒体では、この媒体に記録された画像識別用プログラムにより実行される画像取り込み手順によってコンピュータに画像が取り込まれ、媒体に記録された画像識別用プログラムにより実行される特徴量抽出手順によって欠点の特徴量が抽出され、媒体に記録された画像識別用プログラムにより実行される例外処理信号検出手順によって例外処理信号が検出される。また、媒体に記録された画像識別用プログラムにより実行される判断処理手順によって抽出された特徴量と検出された例外処理信号とに基づき画像中の欠点が識別される。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３１】
図１は、本発明の第１の実施の形態に係る画像識別装置の概略構成を表すものである。この画像識別装置は各種画像の識別に用いられるものであるが、ここでは、紙や布などの製造工程において被対象物に虫などの異物付着や穴や油じみなどの欠点が有るか否かを検査する際に、被対象物の撮像画像から検出した欠点画像を識別する場合について説明する。なお、この欠点画像は撮像画像から欠点があると思われる部分を抽出したものであり、階調を持つ濃淡画像で、識別対象画像である欠点部分と共にその背景も有するものである。
【００３２】
この画像識別装置は、欠点画像などの画像を取り込む画像取り込み部１０と、この画像取り込み部１０により取り込んだ欠点画像などの画像を処理する画像処理部２０と、この画像処理部２０により処理した結果に基づき欠点画像を識別する判断処理部３０とを備えている。この判断処理部３０には、メモリ素子などの適宜な記憶媒体よりなるデータ保持部４０が接続されている。このデータ保持部４０には、識別において基準となるデータが保持されており、識別に際し参照されるようになっている。
【００３３】
なお、判断処理部３０は、欠点画像を識別する判断処理手段としての機能に加えて、識別において基準となるデータを学習してデータ保持部４０に保持させる学習手段としての機能も有している。判断処理部３０が学習手段として機能する場合には、予め判明している欠点を撮像した画像（基準画像）を画像取り込み部１０により取り込み、それを画像処理部２０により処理して、その結果に基づき判断処理部３０により学習を行うようになっている。また、画像取り込み部１０，画像処理部２０および判断処理部３０は、マウスやキーボードなどの適宜な入力部６１およびモニタなどの表示部６２を備えたマンマシンインターフェース部６０にそれぞれ接続されている。
【００３４】
図２は、画像処理部２０の構成を表すものである。画像処理部２０は、画像取り込み部１０から入力された画像について適宜な前処理を行う画像前処理部２１と、画像の識別を補助するための例外処理信号を検出し出力する例外検出部２２と、画像を識別するための特徴量を抽出し特徴量信号として出力する特徴量抽出部２３とにより構成されている。
【００３５】
画像前処理部２１は、濃度ヒストグラム作成部２１１と平均濃度算出部２１２とにより構成されており、濃度ヒストグラム作成部２１１により画像の濃度ヒストグラムを作成すると共に、平均濃度算出部２１２により濃度ヒストグラムにおける平均濃度を算出するようになっている。
【００３６】
例外検出部２２は、画像について白黒判定を行い例外処理信号として白黒信号ｉ２２１を出力する白黒判定部２２１と、画像中に含まれる欠点を検出し検出できない場合に例外処理信号として無欠点信号ｉ２２２を出力する無欠点判定部２２２と、画像から欠点部分のみを表す欠点内画像を作成する欠点内画像作成部２２３と、画像中に含まれる欠点の個数を計測し欠点の個数が２個以上の場合には例外処理信号として密集信号ｉ２２３を出力する個数計測部２２４とにより構成されている。この例外検出部２２から出力される例外処理信号は、特徴量抽出部２３により抽出された特徴量に基づき識別された欠点画像の識別結果を判定するために用いられるものである。
【００３７】
白黒判定部２２１は、濃度ヒストグラム作成部２１１により作成された濃度ヒストグラムの黒側平均値（重心値）および白側平均値（重心値）を平均濃度算出部２１２により算出された平均濃度値とそれぞれ比較し、どちらの方が平均濃度値との濃度差（すなわち距離）が大きいかに基づいて白黒判定を行うものである。具体的には、黒側平均値の方が平均濃度値との濃度差が大きい場合には平均濃度値よりも濃度が高いと判断し黒欠点信号を白黒信号ｉ２２１として判断処理部３０に出力し、白側平均値の方が大きい場合には平均濃度値よりも濃度が低いと判断し白欠点信号を白黒信号ｉ２２１として判断処理部３０に出力するようになっている。
【００３８】
無欠点判定部２２２は、画像取り込み部１０により取り込んだ画像を２値化して２値画像を作成すると共に、この２値画像について孤立点を除去したのち欠点に接して囲み込む矩形状の外接ウインドウを設定して、外接ウインドウが正しく設定できない場合には欠点が無いと判断し、設定できた場合には欠点が有ると判断するものである。
【００３９】
欠点内画像作成部２２３は、無欠点判定部２２２により外接ウインドウが正しく設定された場合に、欠点部分を黒で表した外接ウインドウと同じ大きさの欠点内白黒画像と、欠点部分を濃淡で表した外接ウインドウと同じ大きさの欠点内濃淡画像とを欠点内画像として作成するものである。例えば、図３に示したような虫が付着した欠点画像Ｘａが取り込まれた場合には、欠点内画像として、図４に示したような欠点内白黒画像Ｘｂと図５に示したような欠点内濃淡画像Ｘｃを作成するようになっている。すなわち、欠点画像Ｘａは欠点部分の画像と背景画像とを有するものであるのに対し、欠点内白黒画像Ｘｂおよび欠点内濃淡画像Ｘｃは欠点部分のみの画像である。
【００４０】
個数計測部２２４は、欠点内画像作成部２２３により作成された欠点内白黒画像Ｘｂに基いて欠点の個数を計測し、それに応じて密集信号ｉ２２３を出力するものである。なお、この密集信号ｉ２２３は、欠点が複数ある場合の判断処理部３０における処理順序を設定する際に用いるようにしてもよい。
【００４１】
特徴量抽出部２３は、欠点内画像作成部２２３により作成された欠点内白黒画像Ｘｂに基づいて欠点の幾何形状に関する特徴量を抽出する幾何形状特徴量抽出部２３１と、欠点内濃淡画像Ｘｃに基づいて欠点部分の濃度パターンヒストグラムを作成する欠点内濃度パターンヒストグラム作成部２３２と、作成した欠点内濃度パターンヒストグラムから欠点部分の濃度パターンに関する特徴量を抽出する欠点内濃度パターン特徴量抽出部２３３とにより構成されている。すなわち、この特徴量抽出部２３は、欠点内画像に基づいて（識別対象画像である欠点部分の画像に基づいて）特徴量を抽出する画像内特徴量抽出手段により構成されている。
【００４２】
幾何形状特徴量抽出部２３１は、欠点内白黒画像Ｘｂから欠点の幾何形状を特定するための項目を抽出し、それに基づいて欠点の幾何形状特徴量を算出して、それを特徴量信号の幾何形状信号ｉ２３１として出力するようになっている。抽出する項目は、例えば表１に示したように、面積Ｓ，周囲長Ｌ，外接長方形（Ｏｘ，Ｏｙ），図形重心位置（Ｇｘ，Ｇｙ），最大径ＭＡＸＰである。なお、外接長方形（Ｏｘ，Ｏｙ）というのは、図５に示したように、欠点に各辺が接して囲み込む長方形のＸ軸方向の長さとＹ軸方向の長さである。図形重心位置（Ｇｘ，Ｇｙ）というのは、図５に示したように、欠点の重心位置をＸＹ座標で表したものである。最大径ＭＡＸＰというのは、図５に示したように、欠点に接する最大円の直径である。
【００４３】
【表１】
また、幾何形状特徴量は、例えば表２に示したように、面積Ｓ，面積比ＳＲ，円形度ＣＲ，フェレ比ＦＲ，丸さ度合ｒｏｕｇｈ＿Ｒ，伸長度ｌｅｎｇｔｈである。これらの各幾何形状特徴量は、表２に示した計算式によりそれぞれ算出される。なお、伸長度ｌｅｎｇｔｈは、適宜設定される。
【００４５】
【表２】
欠点内濃度パターンヒストグラム作成部２３２により作成する欠点内濃度パターンヒストグラムというのは、例えば図６に示したように、欠点部分の濃度頻度をグラフ化したものである。欠点内濃度パターン特徴量抽出部２３３により抽出する欠点内濃度パターン特徴量は、例えば表３に示したように、白／黒の別（Ｗ／Ｂ），濃度（Ｉ），濃度分散（σ），濃度パターン（Ｐ）である。これらの各欠点内濃度パターン特徴量は、表３に示した計算式によりそれぞれ算出される。なお、ｈmax は最大濃度頻度値であり、Ｉwidth は濃度値の広がり幅であり、ｇmax は複数濃度パターン間のギャップの幅である。欠点内濃度パターン特徴量抽出部２３３は、これらの欠点内濃度パターン特徴量を特徴量信号の欠点内濃度パターン信号ｉ２３３として出力するようになっている。
【００４７】
【表３】
図７は判断処理部３０の構成を表すものである。判断処理部３０は、特徴量抽出部２３から出力された特徴量信号ｉ２３１，ｉ２３３に基づき欠点を識別する識別部３１と、この識別部３１により識別した結果が正しいか否かを判定する判定部３２とにより構成されている。なお、識別部３１は、欠点を識別する識別手段としての機能に加えて、学習手段としての機能も有している。
【００４９】
識別部３１は、特徴量信号ｉ２３１，ｉ２３３をデータ保持部４０に予め学習により記憶させておいた識別用データ４１と単純に比較する比較回路や、ファジィ回路などの計算回路により構成される。ファジィ回路としては、例えば、ニューラルネットワークによる入力の重みとしきい値を用いた回路や、ニューラルネット・プロセッサ（ＮＮＰ）素子とメモリとにより重みと履歴値とを用い重み付けを経験に応じて変化させることができる回路など、種々の回路を用いることができる。識別部３１に入力される特徴量信号ｉ２３１，ｉ２３３の信号形式は、識別部３１の構成に応じて適宜に選択され、アナログ信号でもデジタル信号でもよい。
【００５０】
また、識別用データ４１というのは、例えば表４に示したように、識別のための重みとしきい値，欠点名と出力番号および特徴量名と入力番号がそれぞれ関連づけられたものである。すなわち、識別部３１は、識別手段として機能する場合には、識別用データ４１の特徴量名と入力番号およびそれに対応した重みとしきい値とを参照して欠点を識別し、その結果を欠点名がそれぞれ対応されたいずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎとして出力するようになっている。この識別信号ｉ３１１〜ｉ３１ｎは、出力番号により欠点名を表し、信号の大きさにより可能性の度合いを表している。よって、１つの欠点名に特定できた場合には、対応する出力番号の出力端子から１つの識別信号ｉ３１１を出力し、１つに特定できず２以上の欠点名を選択した場合には、対応する各出力番号の各出力端子から各々任意の大きさの識別信号ｉ３１１〜ｉ３１ｎを出力するようになっている。
【００５１】
【表４】
識別部３１は、また、学習手段として機能する場合には、特徴量抽出部２３から出力された特徴量信号ｉ２３１，ｉ２３３に基づき所定の学習動作を行っていずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎを出力するようになっている。この出力端子の出力番号は、入力部６１から入力される欠点名や、その他必要なデータと共にデータ保持部４０に記憶され、識別用データ４１を構成する。なお、識別用データ４１は、その一部もしくは全部をデータ保持部４０にではなく識別部３１内に必要に応じて保持させるようにしてもよい。
【００５３】
判定部３２は、識別部３１から出力された各識別信号ｉ３１１〜ｉ３１ｎの入力先をそれぞれ切り替える切り替え部３２１と、各識別信号ｉ３１１〜ｉ３１ｎの入力に応じて識別結果の確信度を計算する確信度計算部３２２と、確信度計算部３２２からの出力に基づき識別部３１で識別した結果を判定する判定結果出力部３２３とにより構成されている。
【００５４】
切り替え部３２１は、識別部３１の出力端子の数に対応した複数のスイッチ回路３２１１〜３２１ｎと、各スイッチ回路３２１１〜３２１ｎの切り替え動作をそれぞれ制御する切り替え制御部３２１Ａとを有している。切り替え制御部３２１Ａは、マンマシンインターフェース部６０からの指示に応じて、識別部３１が識別手段として機能する時と学習手段として機能する時とで異なった制御をするようになっている。
【００５５】
すなわち、識別部３１が識別手段として機能する時には、画像処理部２０から出力された例外処理信号である白黒信号ｉ２２１，無欠点信号ｉ２２２および密集信号ｉ２２３と、データ保持部４０に予め学習により記憶させておいた例外制御用データ４２とに基づき各スイッチ回路３２１１〜３２１ｎをそれぞれ制御するようになっている。一方、識別部３１が学習手段として機能する時には、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、必要に応じて例外処理信号を例外制御用データ４２としてデータ保持部４０に記憶させるようになっている。なお、例外制御用データ４２というのは、表５に示したように、全欠点の白黒信号値である。
【００５６】
【表５】
また、識別部３１が識別手段として機能する時の各スイッチ回路３２１１〜３２１ｎの制御条件は、例えば表６に示したように設定されている。すなわち、無欠点信号ｉ２２２が入力された（例えば“１”が入力された）場合には、欠点画像にはもともと欠点が含まれていなかった誤検出として、各スイッチ回路３２１１〜３２１ｎを接点ａにも接点ｂにも接続せず“ｏｐｅｎ”の状態とするように設定されている。また、無欠点信号ｉ２２２が入力されない（例えば“０”が入力された）場合には、例外処理信号の白黒信号ｉ２２１と例外制御用データ４２の白黒信号値が共に“白”の時に接点ａを閉じ、共に“黒”の時に接点ｂを閉じ、それ以外の時（すなわち一致しない時）に“ｏｐｅｎ”の状態とするように設定されている。なお、密集信号ｉ２２３が入力された場合には、欠点が複数あるとして判定動作を繰り返し行うか、判定不能として処理するか、あるいは密集欠点として処理するように制御されている。
【００５８】
【表６】
確信度計算部３２２は、各スイッチ回路３２１１〜３２１ｎの接点ａにそれぞれ接続された白欠点確信度計算部３２２１と、接点ｂにそれぞれ接続された黒欠点確信度計算部３２２２とにより構成されている。すなわち、確信度計算部３２２では、各スイッチ回路３２１１〜３２１ｎの動作に応じて各識別信号ｉ３１１〜ｉ３１ｎが白欠点確信度計算部３２２１にそれぞれ入力されるか、黒欠点確信度計算部３２２２にそれぞれ入力されるか、またはどちらにも入力されないようになっている。また、白欠点確信度計算部３２２１および黒欠点確信度計算部３２２２は、入力された識別信号ｉ３１１〜ｉ３１ｎに基づいて適宜の計算を行い、識別部３１による識別結果の確からしさを表す確信度を算出するものである。この確信度は、例えば、識別部３１からの出力全体に対する１つの出力（すなわち１つの欠点名に関する出力）の割合で表される。
【００６０】
判定結果出力部３２３における判定の条件は、白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２により計算された各欠点名の確信度と、それらを評価するための２つの基準（評価値１，評価値２）との関係に応じて、例えば表７に示したように設定されている。すなわち、１つの欠点名の確信度１のみが高い場合（パターンＡ）は“欠点有り”と判定し、高い確信度のものがなくやや高いものが複数ある場合、あるいは高い確信度のものが複数ある場合（パターンＢ）は“未確定”と判定し、その他の場合（パターンＣ）は“未登録”と判定するように設定されている。判定結果出力部３２３は、判定が“欠点有り”の場合にはその確信度が高かった欠点名およびその他必要な情報を出力し、“未確定”および“未登録”の場合には識別不能として出力するようになっている。
【００６１】
【表７】
また、図１に示したこのマンマシンインターフェース部６０は、データ設定機能と動作設定・結果表示機能とを有している。データ設定機能としては、表８に示したように、（イ）予め学習によりデータ保持部４０に識別用データ４１を記憶させるに際し欠点名などを手動で設定する機能、（ロ）画像処理部２０で画像を処理する際などの各種パラメータを変更調整する機能、（ハ）統計処理などにおける評価表示のためのデータシートを作成する機能がある。なお、これらのデータ設定は、モニタ６２の画面を見ながら入力手段６１によって行うことができるようになっている。
【００６３】
【表８】
動作設定・結果表示機能としては、表９に示したように、（イ）学習・識別などのモード切り替えおよびスタートの設定機能、（ロ）判断処理部３０において判定した結果とその関連データを表示する機能がある。例えば、この学習・識別切り替えにより学習モードに設定すれば、判断処理部３０（すなわち識別部３１および判定部３２）における動作結果および関連の情報がデータ保持部４０に記憶され、識別モードに設定すれば、判定結果などが表示され必要な情報が記録されるようになっている。
【００６５】
【表９】
このような構成を有する画像識別装置は、次のようにして動作する。なお、本発明の画像識別方法は、この画像識別装置が動作することにより実行される。よって、ここでは、画像識別装置の動作を説明することにより本発明の画像識別方法の説明に代える。
【００６７】
図８はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法における各工程）を表す概略流れ図である。この画像識別装置および方法においては、まず、学習・識別切り替えにより学習モード（学習ステップＡ）あるいは識別モード（識別ステップＢ）のどちらかが選択される（ステップＳ１０１）。ここでは、欠点画像の識別動作に先立ち、欠点を識別する際に識別の基準となるデータをデータ保持部４０に記憶させる必要があるので、まずは、マンマシンインターフェース部６０を介して手動により学習モードを選択する。
【００６８】
（学習モード）
学習モードに切り替えられたのち、画像取り込み部１０により、基準画像（予め判明している欠点を例えばＣＣＤカメラなどで撮像した画像；例えば図３に示したような虫が付着した画像）を取り込む（ステップＳ１０２Ａ）。次いで、この基準画像について画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。すなわち、濃度ヒストグラム作成部２１１により濃度ヒストグラムを作成し、平均濃度算出部２１２により平均濃度を算出する。
【００６９】
続いて、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）。図９に例外検出部２２における動作の流れ図を示す。例外検出部２２では、まず、白黒判定部２２１において濃度ヒストグラム作成部２１１により作成した濃度ヒストグラムの黒側平均値および白側平均値を平均濃度算出部２１２により算出した平均濃度とそれぞれ比較して、黒側平均値の方が白側平均値よりも平均濃度値との差が大きい場合には黒と判定し、白側平均値の方が差が大きい場合には白と判断する（ステップＳ１０４１Ａ）。これにより、黒と判断した場合には例外処理信号の白黒信号ｉ２２１として黒欠点信号を切り替え部３２１に出力し、白と判断した場合には例外処理信号の白黒信号ｉ２２１として白欠点信号を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。
【００７０】
次いで、無欠点判定部２２２において画像取り込み部１０により取り込んだ基準画像の２値化を行い２値画像を作成する（ステップＳ１０４３Ａ）。続いて、この２値画像について孤立点の除去を行い（ステップＳ１０４４Ａ）、欠点を囲む外接ウインドウを設定する（ステップＳ１０４５Ａ）。ここで、外接ウインドウを正しく設定できなかった場合には（ステップＳ１０４６Ａ；Ｎ）、例外処理信号として無欠点信号ｉ２２２を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。一方、外接ウインドウを正しく設定できた場合には（ステップＳ１０４６Ａ；Ｙ）、欠点内画像作成部２２３において欠点内白黒画像Ｘｂ（図４参照）と欠点内濃淡画像Ｘｃ（図５参照）を作成する（ステップＳ１０４７Ａ）。
【００７１】
そののち、個数計測部２２４においてこの欠点内白黒画像Ｘｂに基づき欠点の個数を計測する（ステップＳ１０４８Ａ）。欠点の個数が２個以上であった場合には（ステップＳ１０４９Ａ；Ｙ）、例外処理信号として密集信号ｉ２２３を切り替え部３２１に出力する（ステップＳ１０４２Ａ）。一方、欠点の個数が１個であった場合には（ステップＳ１０４９Ａ；Ｎ）、例外検出部２２における動作を終了する。
【００７２】
このように例外検出部２２により欠点内画像の作成がされたのち、この欠点内画像に基づいて特徴量抽出部２３により欠点の特徴量を抽出する（ステップＳ１０５Ａ）。すなわち、幾何形状特徴量抽出部２３１により表１に示した項目を抽出し、それに基づき表２に示した幾何形状特徴量を算出する。また、欠点内濃度パターンヒストグラム作成部２３２により欠点内濃度パターンヒストグラム（図６参照）を作成し、これに基づき欠点内濃度パターン特徴量抽出部２３３により表３に示した欠点内濃度パターン特徴量を抽出する。そののち、これら抽出した幾何形状特徴量および欠点内濃度パターン特徴量を、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する。
【００７３】
識別部３１では、特徴量信号が入力されると、この特徴量に基づいて適宜の学習動作を行い、いずれかの出力端子から識別信号ｉ３１１〜ｉ３１ｎを出力する。この出力端子の出力番号は、基準画像の欠点名（例えば虫）を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ１０６Ａ）。なお、特徴量の選択や欠点名の設定などは入力手段６１を介して手動により行う。
【００７４】
一方、切り替え部３２１では、切り替え制御部３２１Ａにより各スイッチ回路３２１１〜３２１ｎを制御して動作させずに“ｏｐｅｎ”の状態とする。また、識別部３１における動作と並行してまたはそれと前後して、入力された例外処理信号（ここでは白黒信号ｉ２２１）を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【００７５】
以上の動作を繰り返すことにより、種々の基準画像に関するデータをデータ保持部４０に記憶させる。このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【００７６】
（識別モード）
識別モードに切り替えられたのち、画像取り込み部１０により識別対象を含む欠点画像（例えば図３に示したような虫が付着した画像）を取り込む（ステップＳ１０２Ｂ；画像取り込み工程）。次いで、学習モードと同様にして、この欠点画像について画像前処理部２１により前処理（濃度ヒストグラムの作成，平均濃度の算出）を行う（ステップＳ１０３Ｂ）。
【００７７】
続いて、学習モードと同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ｂ（図９参照）；例外処理信号検出工程）。すなわち、白・黒欠点判断を行い白黒信号ｉ２２１を出力すると共に、欠点画像の２値化を行い孤立点を除去したのち、外接ウインドウの設定を行う。この外接ウインドウが正しく設定できた場合には欠点内画像（欠点内白黒画像Ｘｂ（図４参照），欠点内濃淡画像Ｘｃ（図５参照））を作成し、設定できなかった場合には無欠点信号ｉ２２２を出力する。そののち、欠点内画像に基づいて欠点の個数を計測し、欠点の個数が２個以上であった場合には密集信号ｉ２２３を出力する。
【００７８】
例外検出部２２により欠点内画像の作成がされたのち、学習モードと同様にして、この欠点内画像に基づいて特徴量抽出部２３により欠点の特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出する（ステップＳ１０５Ｂ；特徴量抽出工程）。そののち、抽出した特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）として識別部３１に出力する。
【００７９】
識別部３１では、特徴量信号が入力されると、この特徴量に基づいて識別用データ４１を参照し欠点の識別を行う（ステップＳ１０６Ｂ；識別工程）。すなわち、特徴量と識別用データ４１とを単純に比較し、あるいは適宜な計算処理をして、欠点画像の欠点が識別用データ４１に記憶されているいずれかの欠点（例えば虫）あるいはそれに類似した欠点であると識別する。この識別結果は、識別信号ｉ３１１〜ｉ３１ｎとして欠点名が対応された１つあるいは複数の出力端子から切り替え部３２１に出力される。
【００８０】
一方、切り替え部３２１では、識別部３１における動作と並行してまたはそれと前後して、入力された例外処理信号に基づいて例外制御用データ４２を参照し、表６に示したように各スイッチ回路３２１１〜３２１ｎの設定を行う（ステップＳ１０７Ｂ）。すなわち、無欠点信号ｉ２２２が入力された場合には“ｏｐｅｎ”の状態とし、入力されない場合には例外処理信号の白黒信号ｉ２２１と例外制御用データ４２の白黒信号値が共に“白”の時に接点ａを閉じ、共に“黒”の時に接点ｂを閉じる。ここで、切り替え部３２１が“ｏｐｅｎ”の状態である場合には、判定不能の信号を確信度計算部３２２を介して判定結果出力部３２３に出力する。接点ａまたは接点ｂが閉じられた場合には、識別信号ｉ３１１〜ｉ３１ｎを白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２のいずれかに出力する。また、密集信号ｉ２２３が入力された場合には、判定動作を繰り返し行うか判定不能の信号あるいは密集欠点の信号を判定結果出力部３２３に出力する。
【００８１】
識別信号ｉ３１１〜ｉ３１ｎが確信度計算部３２２に入力された場合には（ステップＳ１０７Ｂ；接続）、白欠点確信度計算部３２２１または黒欠点確信度計算部３２２２のいずれかにより確信度を算出し判定結果出力部３２３に出力する（ステップＳ１０８Ｂ）。そののち、判定結果出力部３２３により確信度を所定の評価値と比較して表７に示したように判断を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。
【００８２】
ここで、“欠点有り”と判定した場合には（ステップＳ１０９Ｂ；有）、識別信号ｉ３１１〜ｉ３１ｎが出力された出力端子の出力番号に対応する欠点名（例えば虫）をその他必要な情報と共に出力する（ステップＳ１１０Ｂ）。一方、“未登録”または“未確定”と判定した場合には（ステップＳ１０９Ｂ；未）、識別不能として出力する（ステップＳ１１０Ｂ）。また、切り替え部３２１より判定不能の信号が入力された場合には識別不能と出力し、密集欠点の信号が入力された場合には欠点名と共に密集欠点であることを出力する（ステップＳ１１０Ｂ）。この出力結果はモニタ６２により表示されると共に、必要に応じて記録される。これにより、欠点画像の識別が終了する。
【００８３】
このように本実施の形態に係る識別装置および方法によれば、画像処理部２０において特徴量としての幾何形状特徴量および欠点内濃度パターン特徴量を抽出するに加え、例外処理信号（白黒信号ｉ２２１，無欠点信号ｉ２２２，密集信号ｉ２２３）を検出するようにしたので、例外処理信号により識別を補助することができる。よって、特徴量に基づいて行った識別が誤っていても例外処理信号によりそれを検出することができ、識別精度を向上させることができる。
【００８４】
また、識別部３１により特徴量に基づいて画像の識別を行うと共に、判定部３２により例外処理信号に基づいて識別部３１による識別結果の判定を行うようにしたので、判定部３２による判定により識別を補助することができる。よって、例えば画像の白黒判定が容易となり、識別部３１において扱う特徴量および識別部３１の処理内容を削減することができる。すなわち、識別を容易に効率よく行うことができる。
【００８５】
更に、識別に必要なデータの設定などを手動により行うためのマンマシンインターフェース部６０を備えるようにしたので、学習モードにおける各種設定を容易に行うことができる。
【００８６】
（第２の実施の形態）
図１０は、本発明の第２の実施の形態に係る画像識別装置における識別部１０３１の構成を表すものである。この画像識別装置は、識別部１０３１および識別用データ１０４１の構成が異なっていることを除き、他は第１の実施の形態に係る画像識別装置と同一の構成を有している。よって、ここでは、第１の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【００８７】
識別部１０３１は、入力層１０３１１と中間層１０３１２と出力層１０３１３の３層構造よりなるニューラルネットワークにより構成されている。入力層１０３１１，中間層１０３１２および出力層１０３１３の各層内部における各ニューロン間の結合は無く、下位層の各ニューロンは上位層の全てのニューロンと結合している。各ニューロンの出力値Ｏｉは数１に示した式で表される。
【００８８】
【数１】
Ｏｉ＝ｆ（ΣＷij×Ｉij−θ）
Ｗij ； 下位層のｊ番目のニューロンとの結合重み
Ｉij ； ｊ番目のニューロンからの入力値
θ ； しきい値
ｆ ； 非線形関数（いわゆるシグモイド関数）
【００８９】
このニューラルネットワークの学習則は、教師有りのバックプロパゲーション学習則となっている。バックプロパゲーション学習というのは、誤差逆伝搬法とも呼ばれ、各教師信号値とそれに対応する出力ニューロンの出力値の誤差の総和が最小となるように各ニューロンの重みとしきい値を繰り返し演算により決定するものである。学習した重みおよびしきい値は、データ保持部１０４０に識別用データ１０４１として記憶される。この識別用データ１０４１は、表１０に示したように、ニューロンの重みとしきい値，欠点名と出力番号および特徴量名と入力番号がそれぞれ関連づけられたものである。
【００９０】
【表１０】
すなわち、この識別部１０３１は、特徴量抽出部２３から入力層１０３１１に特徴量信号が入力されると、各ニューロンにおいて式１に示した計算を行い、出力層１０３１３の１つあるいは複数のニューロンから識別結果としての識別信号ｉ３１１〜ｉ３１ｎを判定部３２に出力するようになっている。この識別信号ｉ３１１〜ｉ３１ｎは、出力番号（すなわち出力したニューロンの番号）により欠点名を表し、信号の大きさにより可能性の度合いを表している。
【００９２】
このような構成を有する画像識別装置は、識別部１０３１における具体的な識別動作が異なることを除き、第１の実施の形態と同様にして動作する。
【００９３】
このように本実施の形態に係る画像識別装置および方法によれば、識別部１０３１をニューラルネットワークにより構成しニューラルネットワークを用いて識別を行うようにしたので、多くの入力ポートによって多くの特徴量を容易に扱うことができる。また、重みとしきい値を学習により最適化することができる。よって、精度良い識別を容易に行うことができる。
【００９４】
（第３の実施の形態）
図１１は、本発明の第３の実施の形態に係る画像識別装置における画像処理部２０２０の構成を表すものである。この画像識別装置は、第１の実施の形態に加えて例外検出部２０２２が背景含有画像作成部２２５を備えると共に、特徴量抽出部２０２３が背景含有濃度パターンヒストグラム作成部２３４および背景含有濃度パターン特徴量抽出部２３５を備えたことを除き、他は第１の実施の形態に係る画像識別装置と同一の構成を有している。すなわち、この画像識別装置は、第１の実施の形態に加えて、背景含有画像に基づく特徴量を抽出し用いるようにしたものである。よって、ここでは、第１の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【００９５】
例外検出部２０２２は、白黒判定部２２１，無欠点判定部２２２，欠点内画像作成部２２３および個数計測部２２４に加えて、欠点部分の画像と背景画像とを含む背景含有画像を作成する背景含有画像作成部２２５を備えている。この背景含有画像作成部２２５は、無欠点判定部２２２により外接ウインドウが正しく設定された場合に、欠点部分および背景を濃淡で表した外接ウインドウと同じ大きさの背景含有濃淡画像を作成するものである。例えば、図３に示したような虫が付着した欠点画像Ｘａが取り込まれた場合には、図１２に示したような背景含有濃淡画像Ｘｄを作成するようになっている。すなわち、背景含有濃淡画像Ｘｄは欠点部分と外接ウインドウで囲まれた部分の背景とを有する画像である。
【００９６】
特徴量抽出部２０２３は、幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２および欠点内濃度パターン特徴量抽出部２３３に加えて、背景含有濃淡画像Ｘｄに基づいて背景も含めた欠点に関する濃度パターンヒストグラムを作成する背景含有濃度パターンヒストグラム作成部２３４と、作成した背景含有濃度パターンヒストグラムから濃度パターンに関する特徴量を抽出する背景含有濃度パターン特徴量抽出部２３５とを備えている。
【００９７】
すなわち、この特徴量抽出部２０２３は、幾何形状特徴量抽出部２３１と欠点内濃度パターンヒストグラム作成部２３２と欠点内濃度パターン特徴量抽出部２３３とからなり欠点内画像（識別対象画像である欠点部分の画像）に基づいて特徴量を抽出する画像内特徴量抽出部２０２３Ａと、背景含有濃度パターンヒストグラム作成部２３４と背景含有濃度パターン特徴量抽出部２３５とからなり背景含有画像（識別対象である欠点部分の画像と背景画像とを含む画像）に基づいて特徴量を抽出する背景含有特徴量抽出部２０２３Ｂとにより構成されている。
【００９８】
背景含有濃度パターンヒストグラム作成部２３４により作成する背景含有濃度パターンヒストグラムというのは、例えば図１３に示したように、欠点部分と外接ウインドウで囲まれた背景部分における濃度と頻度とをグラフ化したものである。この背景含有濃度パターンヒストグラムは背景部分の情報を含んでいるので、欠点内濃度パターンヒストグラム（図６参照）とは異なった形状となる。
【００９９】
背景含有濃度パターン特徴量抽出部２３５により抽出する背景含有濃度パターン特徴量は、欠点内濃度パターン特徴量と同じように、白／黒の別（Ｗ／Ｂ），濃度（Ｉ），濃度分散（σ），濃度パターン（Ｐ）である（表３参照）。但し、欠点内濃度パターン特徴量とは異なった値が抽出される。背景含有濃度パターン特徴量抽出部２３５は、この背景含有濃度パターン特徴量を特徴量信号の背景含有濃度パターン信号ｉ２２５として識別部３１に出力するようになっている。すなわち、本実施の形態に係る画像識別装置は、識別に関する情報を第１の実施の形態に係る画像識別装置よりも多く識別部３１に与え、性質の異なった特徴量としての情報に基づき識別を行うようになっている。
【０１００】
このような構成を有する画像識別装置は、次のようにして動作する。
【０１０１】
図１４はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法の各工程）を表す概略流れ図である。ここでは、まず、マンマシンインターフェース部６０を介して手動により学習モード（学習ステップＡ）に切り替える（ステップＳ１０１）。
【０１０２】
（学習モード）
学習モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により基準画像を取り込み（ステップＳ１０２Ａ）、画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）。但し、無欠点判定部２２２において外接ウインドウを設定できた場合には、欠点内画像の作成と並行してあるいはそれと前後して、背景含有画像作成部２２５により背景含有画像Ｘｄも作成する（ステップＳ２０１Ａ）。
【０１０３】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ入力する（ステップＳ１０５Ａ）。
【０１０４】
また、欠点内画像に基づく特徴量の抽出と並行してあるいはそれと前後して、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により、背景含有画像に基づく特徴量を抽出する（ステップＳ２０２Ａ）。すなわち、背景含有濃度パターンヒストグラム作成部２３４により背景含有濃度パターンヒストグラム（図１３参照）を作成し、これに基づき背景含有濃度パターン特徴量抽出部２３５により表３に示した背景含有濃度パターン特徴量を抽出する。そののち、この背景含有濃度パターン特徴量を特徴量信号の背景含有濃度パターン信号ｉ２３５として識別部３１に出力する。
【０１０５】
識別部３１では、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３，背景含有濃度パターン信号ｉ２３５）が入力されると、第１の実施の形態と同様にこの特徴量に基づいて適宜の学習動作を行い、その結果を１つの出力端もしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして出力する。その出力端子の出力番号は欠点名を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ２０３Ａ）。
【０１０６】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、入力された例外処理信号を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【０１０７】
このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【０１０８】
（識別モード）
識別モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により識別対象を含む欠点画像（例えば図３参照）を取り込み（ステップＳ１０２Ｂ；画像取り込み工程）、画像前処理部２１により前処理を行う（ステップＳ１０３Ｂ）。次いで、第１の実施の形態と同様にして例外検出部２２により例外処理信号の検出と欠点内画像の作成を行うと共に（ステップＳ１０４Ｂ；例外処理信号検出工程）、学習モードと同様にして背景含有画像Ｘｄを作成する（ステップＳ２０１Ｂ）。
【０１０９】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）として識別部３１に出力する（ステップＳ１０５Ｂ；画像内特徴量抽出工程）。また、学習モードと同様にして、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により背景含有画像に基づく特徴量を抽出し、特徴量信号の背景含有濃度パターン信号ｉ２３５として識別部３１に出力する（ステップＳ２０２Ｂ；背景含有画像特徴量抽出工程）。
【０１１０】
識別部３１では、特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３，背景含有濃度パターン信号ｉ２３５）が入力されると、この特徴量に基づいて識別用データ４１を参照し欠点の識別を行う（ステップＳ２０３Ｂ；識別工程）。この識別結果は、１つもしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして切り替え部３２１に出力される。
【０１１１】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎの設定をする（ステップＳ１０７Ｂ）。これにより、スイッチ回路３２１１〜３２１ｎが動作し、確信度計算部３２２に識別信号ｉ３１１〜ｉ３１ｎが入力された場合には（ステップＳ１０７Ｂ；接続）、第１の実施の形態と同様にして、確信度計算部３２２により確信度を算出し（ステップＳ１０８Ｂ）、判定結果出力部３２３により比較判定を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。判定結果出力部３２３は、その判定結果および切り替え部３２１からの出力に基づいて所定の出力を行う（ステップＳ１１０Ｂ）。これにより、欠点画像の識別が終了する。
【０１１２】
このように本実施の形態に係る画像識別装置および方法によれば、幾何形状特徴量および欠点内濃度パターン特徴量に加えてそれらとは性質の異なった背景含有濃度パターン特徴量を抽出し、それらに基づき識別を行うようにしたので、多くの情報に基づいて識別をすることができ、識別精度を向上させることができる。
【０１１３】
なお、第３の実施の形態においては、第１の実施の形態と同様に、識別部３１の構成を特に限定しないで説明したが、第２の実施の形態のようにニューラルネットワークにより構成するようにしてもよい。このように、識別部３１をニューラルネットワークにより構成するようにすれば、多くの入力ポートを持つことができ、多くの特徴量信号を容易に扱うことができる。よって、第１の実施の形態に比べて特徴量信号が多くても、容易に識別処理をすることができる。すなわち、精度良い識別を容易に行うことができる。
【０１１４】
（第４の実施の形態）
図１５は本発明の第４の実施の形態に係る画像識別装置における判断処理部３０３０の構成を表すものである。図１６は判断処理部３０３０の２次識別部３３の構成を表すものである。この画像識別装置は、第３の実施の形態に加えて、判断処理部３０３０が２次識別部３３および総合判定出力部３４を備え、データ保持部３０４０が２次識別用データ４３を備えたことを除き、他は第３の実施の形態に係る画像識別装置と同一の構成を有している。なお、第３の実施の形態は、第１の実施の形態に加えて、背景含有画像に基づく特徴量を抽出するようにしたものである（図１１参照）。よって、ここでは、第１および第３の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【０１１５】
判断処理部３０３０は、１次識別部としての識別部３１，切り替え部３２１，確信度計算部３２２および判定結果出力部３２３に加えて、特徴量信号の背景含有濃度パターン信号ｉ２３５に基づき欠点を識別する２次識別部３３と、判定結果出力部３２３からの出力および２次識別部３３からの出力に基づいて識別結果を総合的に判定する総合判定出力部３４とを備えている。
【０１１６】
なお、識別部３１には、第３の実施の形態とは異なり、特徴量信号のうち欠点内画像に基づく幾何形状信号ｉ２３１と欠点内濃度パターン信号ｉ２３３のみが入力され、背景含有画像に基づく背景含有濃度パターン信号ｉ２３５は入力されないようになっている。判定結果出力部３２３は、“欠点有り”および“未登録”と判定した場合には識別結果などを総合判定出力部３４に出力し、“未確定”と判定した場合には２次識別部３３に識別を行うように指示を与えると共に、無欠点信号ｉ２２２の入力による判定不能の信号あるいは密集信号ｉ２２３の入力による判定不能および密集欠点の信号が入力された場合にはその旨を総合判定出力部３４に出力するようになっている。
【０１１７】
２次識別部３３は、入力層３３１と出力層３３２の２層構造よりなるニューラルネットワークにより構成されている。入力層３３１には、背景含有濃度パターンヒストグラムの各濃度値における頻度値が背景含有濃度パターン信号ｉ２３５として各ニューロンに入力されるようになっている。また、出力層３３２には、識別部３１による識別で確信度が比較的高かった複数の欠点が１つのニューロンに対して１つづつ割り当てられる。出力層３３２の各ニューロンの重みには、対応する欠点の濃度パターンヒストグラムにおける各頻度値が用いられる。なお、この重みは、表１１に示したように、予め学習によりデータ保持部４０に２次識別用データ４３として欠点名と関連づけて記憶されている。
【０１１８】
【表１１】
また、出力層３３２の各ニューロンの出力値Ｔｏは数２に示した式で表される。すなわち、この２次識別部３３は、入力された背景含有濃度パターンヒストグラムと２次識別用データ４３の重み（すなわち学習しておいた濃度パターンヒストグラム）との相関度を調べ、相関度が最も高い（すなわち出力値Ｔｏが最小の）ニューロンの欠点名を出力するようになっている。
【０１２０】
【数２】
総合判定出力部３４における判定の条件は、表１２に示したように設定されている。すなわち、判定結果出力部３２３から欠点名が入力された場合には確実な欠点種別と判定してその旨と欠点名を出力し、識別不能の入力がされた場合には学習されていない欠点種別と判定してその旨出力し、無欠点信号ｉ２２２の入力が有った旨の入力がされた場合には欠点無しと判定してその旨出力し、密集信号ｉ２２３の入力が有った旨の入力がされた場合には密集欠点と判定してその旨出力し、２次識別部３３から欠点名が入力された場合にはやや確信度が下がる欠点種別と判定してその旨と欠点名を出力するようになっている。
【０１２２】
【表１２】
このような構成を有する画像識別装置は、次のようにして動作する。
【０１２４】
図１７はこの画像識別装置の全体動作（すなわち本実施の形態に係る画像識別方法の各工程）を表す概略流れ図である。ここでは、まず、マンマシンインターフェース部６０を介して手動により学習モード（学習ステップＡ）に切り替える（ステップＳ１０１）。
【０１２５】
（学習モード）
学習モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により基準画像を取り込み（ステップＳ１０２Ａ）、画像前処理部２１により前処理を行う（ステップＳ１０３Ａ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ａ）と共に、第３の実施の形態と同様に用いて、背景含有画像Ｘｄの作成を行う（ステップＳ２０１Ａ）。
【０１２６】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する（ステップＳ１０５Ａ）。
【０１２７】
識別部３１では、欠点内画像に基づく特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）が入力されると、第１の実施の形態と同様にして、この特徴量に基づいて適宜の学習動作を行い、その結果を１つの出力端もしくは複数の出力端から識別信号ｉ３１１〜ｉ３１ｎとして出力する。その出力端子の出力番号は欠点名を対応させてデータ保持部４０に識別用データ４１として登録し記憶させる（ステップＳ１０６Ａ）。
【０１２８】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎを動作させずに“ｏｐｅｎ”の状態とすると共に、入力された例外処理信号を必要に応じてデータ保持部４０に例外制御用データ４２として登録し記憶させる（ステップＳ１０７Ａ）。
【０１２９】
２次識別部３３では、背景含有画像に基づく特徴量信号（背景含有濃度パターン信号ｉ２３５）が入力されると、その背景含有濃度パターンヒストグラムの各濃度値に対する頻度値を出力層３３２の１つのニューロンの重みとして欠点名と共に設定する。そののち、設定した欠点名と出力ニューロンの重みを関連づけて２次識別用データ４３としてデータ保持部４０に登録し記憶させる（ステップＳ３０１Ａ）。
【０１３０】
このようにして学習モードが終了したら、マンマシンインターフェース部６０を介して手動により識別モード（識別ステップＢ）に切り替える（ステップＳ１０１）。
【０１３１】
（識別モード）
識別モードに切り替えられたのち、第１の実施の形態と同様にして、画像取り込み部１０により識別対象を含む欠点画像を取り込み（ステップＳ１０２Ｂ；画像取り込み工程）、画像前処理部２１により前処理を行う（ステップＳ１０３Ｂ）。次いで、第１の実施の形態と同様にして、例外検出部２２により例外処理信号の検出と欠点内画像の作成を行う（ステップＳ１０４Ｂ；例外処理信号検出工程）と共に、第３の実施の形態と同様にして、背景含有画像Ｘｄを作成する（ステップＳ２０１Ｂ）。
【０１３２】
続いて、第１の実施の形態と同様にして、特徴量抽出部２３（幾何形状特徴量抽出部２３１，欠点内濃度パターンヒストグラム作成部２３２，欠点内濃度パターン特徴量抽出部２３３）により欠点内画像に基づく特徴量（幾何形状特徴量，欠点内濃度パターン特徴量）を抽出し、特徴量信号の幾何形状信号ｉ２３１および欠点内濃度パターン信号ｉ２３３として識別部３１にそれぞれ出力する（ステップＳ１０５Ｂ；画像内特徴量抽出工程）。
【０１３３】
識別部３１では、欠点内画像に基づく特徴量信号（幾何形状信号ｉ２３１，欠点内濃度パターン信号ｉ２３３）が入力されると、第１の実施の形態と同様にして欠点の識別を行い、識別結果を切り替え部３２１に出力する（ステップＳ１０６Ｂ；１次識別工程）。
【０１３４】
一方、切り替え部３２１では、第１の実施の形態と同様にして、各スイッチ回路３２１１〜３２１ｎの設定をする（ステップＳ１０７Ｂ）。これにより、スイッチ回路３２１１〜３２１ｎが動作し、確信度計算部３２２に識別信号ｉ３１１〜ｉ３１ｎが入力された場合には（ステップＳ１０７Ｂ；接続）、第１の実施の形態と同様にして、確信度計算部３２２により確信度を算出し（ステップＳ１０８Ｂ）、判定結果出力部３２３により比較判定を行う（ステップＳ１０９Ｂ；Ｓ１０７Ｂから以上判定工程）。
【０１３５】
ここで、“欠点有り”と判定した場合には（ステップＳ１０９Ｂ；有）、総合判定出力部３４に欠点名などを出力する。“未登録”と判定した場合には（ステップＳ１０９Ｂ；未登）、総合判定出力部３４に識別不能と出力する。“未確定”と判定した場合には（ステップＳ１０９Ｂ；未確）、特徴量抽出部２３（背景含有濃度パターンヒストグラム作成部２３４，背景含有濃度パターン特徴量抽出部２３５）により背景含有画像に基づく特徴量を抽出し、背景含有濃度パターン信号ｉ２３５を２次識別部３３に出力する（ステップＳ２０２Ｂ；背景含有特徴量抽出工程）。
【０１３６】
２次識別部３３では、背景含有画像に基づく特徴量信号（背景含有濃度パターン信号ｉ２３５）が入力されると、その背景含有濃度パターンヒストグラムの各濃度値に対する頻度値を入力層３３１の入力とし、２次識別用データ４３を参照して所定の計算を行い、相関度が最も高い欠点名を総合判定出力部３４に出力する（ステップＳ３０１Ｂ；２次識別工程）。
【０１３７】
総合判定出力部３４では、判定結果出力部３２３，切り替え部３２１および２次識別部３３からの出力に基づき判定を行い（表１２参照）、所定の出力を行う（ステップＳ３０２Ａ）。これにより、欠点画像の識別が終了する。
【０１３８】
このように本実施の形態に係る画像識別装置および方法によれば、欠点内画像に基づく特徴量により識別を行う１次識別部３１と、背景含有画像に基づく特徴量により識別を行う２次識別部３３とを備えると共に、１次識別部３１による識別結果を確定することができない場合に２次識別部３３による識別を行うようにしたので、２次識別部３３により１次識別を補助することができる。よって、１次識別部３１において用いる特徴量が少なくても精度良く識別することができる。すなわち、識別の時間を短縮することができ、迅速に効率良く識別することができる。
【０１３９】
なお、第４の実施の形態においては、第１の実施の形態と同様に、識別部３１の構成を特に限定しないで説明したが、第２の実施の形態のようにニューラルネットワークにより構成するようにしてもよい。
【０１４０】
また、この画像識別装置の効果を確認するために、この画像識別装置により数種類の欠点画像について識別実験を行った。ちなみに、識別部３１には、第２の実施の形態において説明したニューラルネットワークよりなる識別部１０３１を用いた。また、識別に先立ち、同一の欠点画像を用いて学習を行った。
【０１４１】
その結果を図１８に示す。このように、１次識別部３１のみによる識別では虫の識別精度が低いのに対し、１次識別部３１と２次識別部３３による識別では改善されている。すなわち、虫のように複雑な欠点については、１次識別部３１のみの識別では十分な識別精度を得ることができず、２次識別部３３により改善できることが分かる。
【０１４２】
（第５の実施の形態）
図１９は本発明の第５の実施の形態に係る画像識別装置における判断処理部４０３０の構成を表すものである。この画像識別装置は、第４の実施の形態に加えて、判断処理部３０３０が識別切り替え部３５を備え、識別部３１が１次識別部としての機能と２次識別部としての機能とを有するようにしたことを除き、他は第４の実施の形態に係る画像識別装置と同一の構成を有している。よって、ここでは、第４の実施の形態と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
【０１４３】
判断処理部４０３０は、１次識別部および２次識別部としての識別部３１，切り替え部３２１，確信度計算部３２２，判定結果出力部３２３および総合判定出力部３４に加えて、識別部３１について１次識別部としての機能と２次識別部としての機能との切り替えを行う識別切り替え部３５を備えている。
【０１４４】
識別切り替え部３５は、特徴量抽出部２３と識別部３１との接続を切り替える特徴量切り替え部３５１と、データ保持部３０４０と識別部３１との接続を切り替えるデータ切り替え部３５２とを有している。特徴量切り替え部３５１は、特徴量抽出部２３の幾何形状特徴量抽出部２３１，欠点内濃度パターン特徴量抽出部２３３および背景含有濃度パターン特徴量抽出部２３５を識別部３１にそれぞれ接続するものである。また、データ切り替え部３５２は、１次識別用データとしての識別用データ４１と２次識別用データ４３を識別部３１にそれぞれ接続するものである。
【０１４５】
特徴量切り替え部３５１とデータ切り替え部３５２は、判定結果出力部３２３からの指示により連動して制御されている。判定結果出力部３２３から切り替えの指示が入力されない時は、特徴量切り替え部３５１により欠点内画像に基づく特徴量を抽出する幾何形状特徴量抽出部２３１と欠点内濃度パターン特徴量抽出部２３３とを識別部３１に接続し、データ切り替え部３５２により識別用データ４１を識別部３１に接続して、識別部３１を１次識別部として機能させるようになっている。一方、判定結果出力部３２３から切り替えの指示が入力された時は、特徴量切り替え部３５１により背景含有画像に基づく特徴量を抽出する背景含有濃度パターン特徴量抽出部２３５を識別部３１に接続し、データ切り替え部３５２により２次識別用データ４３を識別部３１に接続して、識別部３１を２次識別部として機能させるようになっている。
【０１４６】
このような構成を有する画像識別装置は、判定結果出力部３２３からの指示により識別切り替え部３５が切り替わり、識別部３１の機能が１次識別部と２次識別部とで切り替わることを除き、第４の実施の形態と同様にして動作する。
【０１４７】
このように本実施の形態に係る画像識別装置によれば、識別切り替え部３５により識別部３１を１次識別部と２次識別部とで共用するようにしたので、装置を小型化および簡素化することができる。
【０１４８】
（第６の実施の形態）
図２０は本発明の第６の実施の形態に係る画像検出識別装置の構成を表すものである。この画像検出識別装置は、例えば、布や紙の製造工程などにおいて被対象物に虫などの異物付着や穴や油じみなどの欠点があるかを検査する際に、被対象物を撮像した画像からそれらの欠点画像を検出しその識別を行うものであって、欠点画像を識別する画像識別装置１を備えている。この画像識別装置１には、第１乃至第５の実施の形態において説明した画像識別装置を適用することができる。
【０１４９】
この画像検出識別装置は、また、被対処物を撮像するＣＣＤビデオカメラやラインセンサなどからなる撮像装置２と、この撮像装置２により撮像した撮像画像から異物付着や穴などの欠点画像を検出する画像検出装置３とを備えている。この画像検出装置３は、例えば、撮像装置２により撮像された撮像画像を欠点の無い標準画像と比較することにより標準画像に無い画像を欠点画像として検出するようになっている。撮像装置２と画像検出装置３および画像検出装置３と画像識別装置１の画像取り込み部１０とはそれぞれオンラインで接続されている。この画像検出識別装置は、更に、画像検出装置３および画像識別装置１の画像取り込み部１０にそれぞれ接続されており、画像検出装置３により検出された欠点画像および画像識別装置１により識別された欠点画像を画像格納ディスクなどの記録装置５に記録させる画像記録システム装置４を備えている。
【０１５０】
この画像検出識別装置では、撮像装置２により被対象物を撮像し、撮像画像を画像検出装置３に出力する。画像検出装置３は、この撮像画像について欠点画像を検出し、画像識別装置１に出力する。画像識別装置１は、画像取り込み部１０を介してこの欠点画像を取り込み、識別を行って、欠点であると識別された欠点画像など特定の欠点画像とその識別結果を画像取り込み部１０を介して画像録画システム装置４に出力する。画像録画システム装置４は、画像識別装置１から出力された欠点画像を識別結果などと共に記録装置５に記録させる。
【０１５１】
この画像検出識別装置では、また、画像検出装置３によって検出した欠点画像を画像識別装置１によってリアルタイムで識別処理できない場合、欠点画像を画像検出装置３から画像録画システム装置４に出力する。画像録画システム装置４は、画像検出装置３から出力された欠点画像を記録装置５に記録させる。一方、画像識別装置１は、画像記録システム装置４を介して記録装置５から欠点画像を読み出し、識別を行って、特定の欠点画像とその識別結果を画像録画システム装置４に出力する。画像録画システム装置４は、それらを記録装置５に記録させる。
【０１５２】
このように本実施の形態に係る画像検出識別装置によれば、本発明に係る画像識別装置１を備えるようにしたので、迅速に高精度の識別をすることができ、識別した特定の欠点画像のみを必要に応じて記録させることができる。よって、リアルタイム処理する場合など特に画像の記録量を削減することができ、データ管理が容易となる。すなわち、この画像検出識別装置を用いた生産工程の生産管理を容易とすることができる。
【０１５３】
（第７の実施の形態）
上記画像識別装置は、具体的にはコンピュータにより実現することができる。図２１はその構成を表すものである。すなわち、このコンピュータは、ＣＰＵ（中央処理装置）７１と、キーボードやマウスなどの入力装置とＣＲＴ（陰極線管）やプリンタなどの出力装置からなる入出力装置７２と、記憶装置７３と、これらが接続されたバス７４とを備えている。記憶装置７３は、例えば、プログラムを記録する媒体７３ａであるハードディスクや、プログラムを記録する媒体７３ｂであるＣＤ（コンパクトディスク）−ＲＯＭ，フロッピィディスク，光磁気ディスク，相変化型光ディスクなどとそれらを駆動するディスクドライブとにより構成される。この記憶装置７３には、本発明に係る画像識別装置および方法を実現するための手順を含む画像識別用プログラムが格納されている。
【０１５４】
このコンピュータでは、入出力装置７２からの指示により、記憶装置７３から画像識別用プログラムが読み出され、この画像識別用プログラムに従ってＣＰＵ７１により前述のような画像の識別動作が実行される。
【０１５５】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記各実施の形態では、画像識別装置を、紙や布などの製造工程において被対象物に虫などの異物付着や穴や油じみなどの欠点が有るか否かを検査する際に用いて、被対象物の撮像画像から検出した欠点画像を識別する場合について説明したが、その他の種々の画像を識別する場合についても同様にして用いることができる。
【０１５６】
また、上記各実施の形態では、被対象物の撮像画像から抽出された欠点が含まれると思われる欠点画像について識別を行う場合について説明したが、撮像画像について識別を行うようにしてもよい。更に、本発明に係る画像識別装置は、オンラインにより画像を取り込むようにしてもよく、記録装置に録画された画像を取り込むようにしてもよい。
【０１５７】
加えて、本発明に係る画像識別装置は、生産工程において発生する欠点の判別をオフラインでシミュレートし、その判別能力を予め確認し検証するシミューレーション装置の一部としても用いることができる。
【０１５８】
更にまた、上記各実施の形態では、判断処理部３０，３０３０が学習手段としての機能を有し、識別用データ４１，１０４１などを学習によりデータ保持部４０，１０４０，３０４０に記憶させる場合について説明したが、本発明に係る画像識別装置は、学習手段を備えないものも含んでいる。この場合、例えば、シミュレーション装置などにより検証して得られた識別用データ４１，１０４１などをＲＯＭなどの記録媒体に記憶させ、それをデータ保持部４０，１０４０，３０４０として利用したり、その記録媒体からデータ保持部４０，１０４０，３０４０にデータ取り込み手段によりデータを取り込んだりすればよい。
【０１５９】
加えてまた、上記各実施の形態では、判断処理部３０，３０３０が判断処理手段としての機能に加えて学習手段としての機能も有する場合について説明したが、本発明に係る画像識別装置は、判断処理部３０，３０３０とは別に学習手段を備えるようにしてもよい。
【０１６０】
【発明の効果】
以上説明したように本発明の画像識別装置、画像識別方法または画像識別用プログラムを記録した媒体によれば、画像について欠点の特徴量を抽出すると共に例外処理信号検出するようにしたので、例外処理信号により欠点の識別を補助することができる。よって、特徴量に基づいて行った識別が誤っていても例外処理信号によりそれを検出することができ、識別精度を向上させることができるという効果を奏する。
また、特徴量に基づいて画像中の欠点の識別を行うと共に、例外処理信号に基づいてその識別結果の判定を行うようにしたので、判定により識別を補助することができ、識別において用いる特徴量および識別における処理内容を削減することができる。すなわち、識別を容易に効率よく行うことができるという効果を奏する。
【０１６２】
特に、請求項５に記載の画像識別装置，請求項１３に記載の画像識別方法または請求項１９に記載の画像識別用プログラムを記録した媒体によれば、１次識別の結果を判定すると共に、この判定結果に応じて２次識別を行うようにしたので、判定および必要に応じて２次識別により１次識別を補助することができる。よって、１次識別において用いる特徴量が少なくても精度良く識別することができる。すなわち、識別の時間を短縮することができ、迅速に効率良く識別することができるという効果を奏する。
【０１６４】
更にまた、本発明の画像検出識別装置によれば、本発明に係る画像識別装置を備えるようにしたので、迅速に高精度の識別をすることができ、識別した特定の欠点画像のみを必要に応じて記録させることができる。よって、リアルタイム処理する場合など特に画像の記録量を削減することができ、データ管理を容易とすることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像識別装置を表す概略構成図である。
【図２】図１に示した画像識別装置における画像処理部の構成図である。
【図３】画像識別装置により識別する欠点画像の一例を表す図である。
【図４】図３に示した欠点画像に関する欠点内白黒画像を表す図である。
【図５】図３に示した欠点画像に関する欠点内濃淡画像を表す図である。
【図６】図５に示した欠点内濃淡画像に関する欠点内濃度パターンヒストグラムを表す図である。
【図７】図１に示した画像識別装置における判断処理部の構成図である。
【図８】図１に示した画像識別装置の全体動作を表す流れ図である。
【図９】図１に示した画像識別装置における例外検出部の動作を表す流れ図である。
【図１０】本発明の第２の実施の形態に係る画像識別装置における識別部の構成図である。
【図１１】本発明の第３の実施の形態に係る画像識別装置における画像処理部の構成図である。
【図１２】図３に示した欠点画像に関する背景含有濃淡画像を表す図である。
【図１３】図１２に示した背景含有濃淡画像に関する背景含有濃度パターンヒストグラムを表す図である。
【図１４】図１１に示した画像識別装置の全体動作を表す流れ図である。
【図１５】本発明の第４の実施の形態に係る画像識別装置における判断処理部の構成図である。
【図１６】図１５に示した画像識別装置における２次識別部の構成図である。
【図１７】図１５に示した画像識別装置の全体動作を表す流れ図である。
【図１８】図１５に示した画像識別装置による識別実験結果を表す図である。
【図１９】本発明の第５の実施の形態に係る画像識別装置における判断処理部の構成図である。
【図２０】本発明の第６の実施の形態に係る画像検出識別装置の構成図である。
【図２１】本発明の第７の実施の形態に係る画像識別用プログラムを記録した媒体を用いて画像の識別を実行するコンピュータの構成図である。
【符号の説明】
１ 画像識別装置
１０ 画像取り込み部
２０，２０２０ 画像処理部
２１ 画像前処理部
２１１ 濃度ヒストグラム作成部
２１２ 平均濃度算出部
２２，２０２２ 例外検出部
２２１ 白黒判定部
２２２ 無欠点判定部
２２３ 欠点内画像作成部
２２４ 個数計測部
２２５ 背景含有画像作成部
２３，２０２３ 特徴量抽出部
２０２３Ａ 画像内特徴量抽出部
２０２３Ｂ 背景含有特徴量抽出部
２３１ 幾何形状特徴量抽出部
２３２ 欠点内濃度パターンヒストグラム作成部
２３３ 欠点内濃度パターン特徴量抽出部
２３４ 背景含有濃度パターンヒストグラム作成部
２３５ 背景含有濃度パターン特徴量抽出部
３０，３０３０ 判断処理部
３１，１０３１ 識別部（１次識別部）
３２ 判定部
３２１ 切り替え部
３２１Ａ 切り替え制御部
３２１１〜３２１ｎ スイッチ回路
３２２ 確信度計算部
３２２１ 白欠点確信度計算部
３２２２ 黒欠点確信度計算部
３２３ 判定結果出力部
３３ ２次識別部
３４ 総合判定出力部
３５ 識別切り替え部
３５１ 特徴量切り替え部
３５２ データ切り替え部
４０，１０４０，３０４０ データ保持部
４１，１０４１ 識別用データ
４２ 例外制御用データ
４３ ２次識別用データ
６０ マンマシンインターフェース部
６１ 入力部
６２ 表示部
７１ ＣＰＵ
７２ 入出力装置
７３ 記憶装置
Claims (19)
- 取り込んだ画像中の欠点を識別する画像識別装置であって、
画像を取り込む画像取り込み手段と、
この画像取り込み手段により取り込んだ画像について欠点の特徴量を抽出し特徴量信号として出力する特徴量抽出手段と、
前記画像取り込み手段により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出し出力する例外検出手段と、
前記特徴量抽出手段から出力された特徴量信号と、前記例外検出手段から出力された例外処理信号とに基づき画像中の欠点を識別する判断処理手段と
を備え、
前記判断処理手段は、
前記特徴量抽出手段から出力された特徴量信号に基づき欠点を識別する識別手段と、
この識別手段により識別した結果と前記例外検出手段から出力された例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手段と
を有することを特徴とする画像識別装置。 - 前記特徴量抽出手段は、識別対象画像に基づいて特徴量を抽出する画像内特徴量抽出手段を有していることを特徴とする請求項１記載の画像識別装置。
- 前記特徴量抽出手段は、更に、識別対象画像と背景画像と含む画像に基づいて特徴量を抽出する背景含有画像特徴量抽出手段を有していることを特徴とする請求項２記載の画像識別装置。
- 前記例外検出手段は、
取り込んだ画像について白黒判定を行い前記例外処理信号の１つとして白黒信号を出力する白黒判定部と、
取り込んだ画像中の欠点の有無を検出して欠点が無い場合に前記例外処理信号の１つとして無欠点信号を出力する無欠点判定部と、
取り込んだ画像中の欠点の個数を計測して前記例外処理信号の１つとして欠点の個数の割合を示す密集信号を出力する個数計測部とを有する
ことを特徴とする請求項１記載の画像識別装置。 - 前記判断処理手段が、総合判定手段をさらに有すると共に、前記識別手段が、１次識別手段と２次識別手段とを有し、
前記１次識別手段は、前記画像内特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、
前記判定手段は、この１次識別手段により識別した結果を前記例外検出手段から出力された例外処理信号に基づき判定し、
前記２次識別手段は、この判定手段の判定結果に応じて、前記背景含有画像特徴量抽出手段から出力された特徴量信号に基づき画像の欠点を識別し、
前記総合判定手段は、前記判定手段の判定と前記２次識別手段による識別結果とに基づいて総合的な判定を行い、少なくとも欠点の有無および欠点の種別を出力する
ようにしたことを特徴とする請求項３記載の画像識別装置。 - 前記判断処理手段は、前記１次識別手段としての機能と前記２次識別手段としての機能とを共用する１つの識別手段を備えると共に、更に、前記１つの識別手段について１次識別手段としての機能と２次識別手段としての機能との切り替えを行う識別切り替え手段を備えたことを特徴とする請求項５記載の画像識別装置。
- 更に、画像の識別において基準となるデータを保持するデータ保持手段を備えており、前記判断処理手段は特徴量信号と例外処理信号と前記データ保持手段に保持されたデータとに基づいて画像を判断することを特徴とする請求項１乃至６のいずれか１に記載の画像識別装置。
- 更に、画像の識別において基準となるデータを学習して前記データ保持手段に保持させる学習手段を備えたことを特徴とする請求項７記載の画像識別装置。
- 取り込んだ画像中の欠点を識別する画像識別方法であって、
画像を取り込む画像取り込み工程と、
この画像取り込み工程により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出工程と、
前記画像取り込み工程により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出工程と、
前記特徴量抽出工程により抽出した特徴量と、前記例外処理信号検出工程により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理工程と
を含み、
前記判断処理工程は、
前記特徴量抽出工程により抽出した特徴量に基づき欠点を識別する識別工程と、
この識別工程により識別した結果と前記例外処理信号検出工程により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定工程と
を含むことを特徴とする画像識別方法。 - 前記特徴量抽出工程は、識別対象画像に基づいて特徴量を抽出する画像内特徴量抽出工程を含むことを特徴とする請求項９記載の画像識別方法。
- 前記特徴量抽出工程は、更に、識別対象画像と背景画像とを含む画像に基づいて特徴量を抽出する背景含有画像特徴量抽出工程を含むことを特徴とする請求項１０記載の画像識別方法。
- 前記例外処理信号検出工程は、
取り込んだ画像について白黒判定を行い前記例外処理信号の１つとして白黒信号を出力する白黒判定工程と、
取り込んだ画像中の欠点の有無を検出して欠点が無い場合に前記例外処理信号の１つとして無欠点信号を出力する無欠点判定工程と、
取り込んだ画像中の欠点の個数を計測して前記例外処理信号の１つとして欠点の個数の割合を示す密集信号を出力する個数計測工程と
を含むことを特徴とする請求項９記載の画像識別方法。 - 前記判断処理工程として、総合判定工程をさらに含むと共に、前記識別工程として１次識別工程と２次識別工程とを含み、
前記１次識別工程は、前記画像内特徴量抽出工程により抽出した特徴量に基づき画像の欠点を識別し、
前記判定工程は、前記１次識別工程により識別した結果を前記例外処理信号検出工程により検出した例外処理信号に基づき判定し、
前記２次識別工程は、前記判定工程の判定結果に応じて、前記背景含有画像特徴量抽出工程により抽出した特徴量に基づき画像の欠点を識別し、
前記総合判定工程は、前記判定工程の判定と前記２次識別工程による識別結果とに基づいて総合的な判定を行い、少なくとも欠点の有無および欠点の種別を判定する
ことを特徴とする請求項１１記載の画像識別方法。 - 撮像画像から特定の画像を検出し識別する画像検出識別装置であって、
請求項１乃至８のいずれか１に記載の画像識別装置を備えたことを特徴とする画像検出識別装置。 - コンピュータによって画像中の欠点を識別するための画像識別用プログラムを記録した媒体であって、
画像識別用プログラムは、コンピュータに画像を取り込む画像取り込み手順と、この画像取り込み手順により取り込んだ画像について欠点の特徴量を抽出する特徴量抽出手順と、前記画像取り込み手順により取り込んだ画像について欠点の識別を補助するための例外処理信号を検出する例外処理信号検出手順と、前記特徴量抽出手順により抽出した特徴量と、前記例外処理信号検出手順により検出した例外処理信号とに基づき画像中の欠点を識別する判断処理手順とを含み、
前記判断処理手順は、
前記特徴量抽出手順により抽出した特徴量に基づき欠点を識別する識別手順と、
この識別手順により識別した結果と前記例外処理信号検出手順により検出した例外処理信号とに基づいて、少なくとも欠点の有無を判定する判定手順と
を含むことを特徴とする画像識別用プログラムを記録した媒体。 - 前記特徴量抽出手順は、識別対象画像に基づいて特徴量を抽出する画像内特徴量抽出手順を含むことを特徴とする請求項１５記載の画像識別用プログラムを記録した媒体。
- 前記特徴量抽出手順は、更に、識別対象画像と背景画像とを含む画像に基づいて特徴量を抽出する背景含有画像特徴量抽出手順を含むことを特徴とする請求項１６記載の画像識別用プログラムを記録した媒体。
- 前記例外処理信号検出手順は、
取り込んだ画像について白黒判定を行い前記例外処理信号の１つとして白黒信号を出力する白黒判定手順と、
取り込んだ画像中の欠点の有無を検出して欠点が無い場合に前記例外処理信号の１つとして無欠点信号を出力する無欠点判定手順と、
取り込んだ画像中の欠点の個数を計測して前記例外処理信号の１つとして欠点の個数の割合を示す密集信号を出力する個数計測手順と
を含むことを特徴とする請求項１５記載の画像識別用プログラムを記録した媒体。 - 前記判断処理手順として、総合判定手順をさらに含むと共に、前記識別手順として１次識別手順と２次識別手順とを含み、
前記１次識別手順は、前記画像内特徴量抽出手順により抽出した特徴量に基づき画像の欠点を識別し、
前記判定手順は、前記１次識別手順手順により識別した結果を前記例外処理信号検出手順により検出した例外処理信号に基づき判定し、
前記２次識別手順は、前記判定手順の判定結果に応じて、前記背景含有画像特徴量抽出手順により抽出した特徴量に基づき画像の欠点を識別し、
前記総合判定手順は、前記判定手順の判定と前記２次識別手順による識別結果とに基づいて総合的な判定を行い、少なくとも欠点の有無および欠点の種別を判定する
ことを特徴とする請求項１７記載の画像識別用プログラムを記録した媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11153397A JP3982646B2 (ja) | 1997-04-28 | 1997-04-28 | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11153397A JP3982646B2 (ja) | 1997-04-28 | 1997-04-28 | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10302049A JPH10302049A (ja) | 1998-11-13 |
| JP3982646B2 true JP3982646B2 (ja) | 2007-09-26 |
Family
ID=14563767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11153397A Expired - Lifetime JP3982646B2 (ja) | 1997-04-28 | 1997-04-28 | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3982646B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4473479B2 (ja) * | 2001-09-21 | 2010-06-02 | パナソニック電工株式会社 | 画像処理装置および画像処理システム |
| JP4711015B2 (ja) * | 2010-01-13 | 2011-06-29 | パナソニック電工株式会社 | 画像処理装置および画像処理システム |
| JP6781950B2 (ja) * | 2016-10-12 | 2020-11-11 | オムロン株式会社 | 識別情報付与システム、識別情報付与方法、及びそのプログラム |
| AU2022342915A1 (en) * | 2021-09-07 | 2024-02-29 | Maintech Co., Ltd. | Defect classification system |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0621769B2 (ja) * | 1985-12-13 | 1994-03-23 | 大日本スクリ−ン製造株式会社 | パタ−ン欠陥検出方法およびその装置 |
| JPH0814548B2 (ja) * | 1987-09-30 | 1996-02-14 | 株式会社東芝 | 表面検査装置 |
| JPH02287241A (ja) * | 1989-04-28 | 1990-11-27 | Hitachi Ltd | 外観検査方法及びその装置並びに製品の製造工程中における異常原因除去方法 |
| JPH0438454A (ja) * | 1990-06-01 | 1992-02-07 | Sekisui Chem Co Ltd | 表面状態検査装置 |
| JP2758260B2 (ja) * | 1990-10-04 | 1998-05-28 | 株式会社東芝 | 欠陥検査装置 |
| JPH07117388B2 (ja) * | 1990-11-29 | 1995-12-18 | 松下電器産業株式会社 | 外観検査方法 |
| JP3015485B2 (ja) * | 1991-03-15 | 2000-03-06 | 株式会社東芝 | 印刷物の検査装置 |
| JPH05264240A (ja) * | 1992-03-19 | 1993-10-12 | Fujitsu Ltd | 外観検査装置 |
| JPH05280960A (ja) * | 1992-03-30 | 1993-10-29 | Fuji Photo Film Co Ltd | 欠陥検査装置 |
| JP3002325B2 (ja) * | 1992-04-27 | 2000-01-24 | 株式会社東芝 | 表面検査装置 |
| JPH05340888A (ja) * | 1992-06-04 | 1993-12-24 | Matsushita Electric Ind Co Ltd | 欠陥検出方法 |
| JP3179874B2 (ja) * | 1992-07-23 | 2001-06-25 | 松下電器産業株式会社 | 画像検査装置のティーチング方法とティーチング装置 |
| JPH06162191A (ja) * | 1992-11-18 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 図形判別方法 |
| JP3333568B2 (ja) * | 1993-01-12 | 2002-10-15 | 株式会社リコー | 表面欠陥検査装置 |
| JPH06229941A (ja) * | 1993-01-29 | 1994-08-19 | Ricoh Co Ltd | 画像検査装置 |
| JP3099311B2 (ja) * | 1993-04-21 | 2000-10-16 | 株式会社東芝 | 表面検査装置 |
| JP3052110B2 (ja) * | 1993-12-24 | 2000-06-12 | ワイケイケイ株式会社 | 製品の形状不良検出方法 |
| JP3414844B2 (ja) * | 1994-06-08 | 2003-06-09 | 株式会社ヒューテック | 欠陥パターン種別判定方法およびその装置 |
| JP3346679B2 (ja) * | 1994-06-14 | 2002-11-18 | 日本電信電話株式会社 | 画像検査／認識方法、これに用いる参照データ作成方法およびこれらの装置 |
| JPH0843050A (ja) * | 1994-07-26 | 1996-02-16 | Nikon Corp | パターン検査方法 |
| JP3466286B2 (ja) * | 1994-08-09 | 2003-11-10 | 富士通株式会社 | パターン検査方法及びパターン検査装置 |
| JP3255562B2 (ja) * | 1994-08-12 | 2002-02-12 | 株式会社東芝 | 表面検査装置 |
| JP2968442B2 (ja) * | 1994-09-26 | 1999-10-25 | 川崎重工業株式会社 | 溶接欠陥の評価システム |
| JPH08110966A (ja) * | 1994-10-11 | 1996-04-30 | Toshiba Corp | 汚れ具合識別装置 |
| JPH08189904A (ja) * | 1995-01-06 | 1996-07-23 | Kawasaki Steel Corp | 表面欠陥検出装置 |
| JPH08313453A (ja) * | 1995-05-16 | 1996-11-29 | Toshiba Corp | 印刷物の汚れ識別装置 |
-
1997
- 1997-04-28 JP JP11153397A patent/JP3982646B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10302049A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110274908B (zh) | 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 | |
| JP5546317B2 (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| JP6869490B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| JP4710495B2 (ja) | 故障診断システム、画像形成装置及び故障診断方法 | |
| JP2019124591A (ja) | 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体 | |
| JPH11344450A (ja) | 教示用データ作成方法並びに欠陥分類方法およびその装置 | |
| JP2000057349A (ja) | 欠陥の分類方法およびその装置並びに教示用データ作成方法 | |
| KR102297232B1 (ko) | 형태학적 영상처리를 활용한 이상 탐지 방법 | |
| JP7298176B2 (ja) | 欠点検査装置および学習済みモデル | |
| JP3982646B2 (ja) | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 | |
| CN115552462A (zh) | 显微镜中的图像分析方法 | |
| TWI822968B (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
| JP3414844B2 (ja) | 欠陥パターン種別判定方法およびその装置 | |
| JP2019158684A (ja) | 検査システム、識別システム、及び識別器評価装置 | |
| US20230281797A1 (en) | Defect discrimination apparatus for printed images and defect discrimination method | |
| CN114782431B (zh) | 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法 | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
| WO2022019110A1 (ja) | プログラム、情報処理装置、情報処理方法及びモデル生成方法 | |
| WO2001014928A2 (en) | Print inspection system | |
| WO2022190636A1 (ja) | 支援装置および方法 | |
| CN117593301B (zh) | 基于机器视觉的内存条损伤快速检测方法及系统 | |
| Hernandez et al. | Automated defect detection in aluminium castings and welds using neuro-fuzzy classifiers | |
| Huxohl et al. | Region Detection Rate: An Applied Measure for Surface Defect Localization | |
| JPH0676069A (ja) | 表面欠陥検出装置 | |
| Kirthiga et al. | A survey on crack detection in concrete surface using image processing and machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070628 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |