JP3533722B2 - 不良検査方法およびその装置 - Google Patents
不良検査方法およびその装置Info
- Publication number
- JP3533722B2 JP3533722B2 JP26169794A JP26169794A JP3533722B2 JP 3533722 B2 JP3533722 B2 JP 3533722B2 JP 26169794 A JP26169794 A JP 26169794A JP 26169794 A JP26169794 A JP 26169794A JP 3533722 B2 JP3533722 B2 JP 3533722B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- model image
- density
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
- Inking, Control Or Cleaning Of Printing Machines (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、対象物を撮像して得
られた画像を用いて対象物の不良を判別、検査するため
の不良検査方法、およびその不良検査方法が用いられる
不良検査装置に関する。
られた画像を用いて対象物の不良を判別、検査するため
の不良検査方法、およびその不良検査方法が用いられる
不良検査装置に関する。
【０００２】
【従来の技術】近年、印刷された文字や図形などを検査
する際に、画像処理機能を有する検査装置を用いて自動
的に検査を行う方法が普及している。この検査装置は、
テレビカメラ，画像処理部，モニタなどを有するもの
で、テレビカメラにより撮像した検査対象物の画像を画
像処理部に取り込み、あらかじめ登録されていた良品の
モデル画像と比較することにより対象物の良否を判別し
ている。
する際に、画像処理機能を有する検査装置を用いて自動
的に検査を行う方法が普及している。この検査装置は、
テレビカメラ，画像処理部，モニタなどを有するもの
で、テレビカメラにより撮像した検査対象物の画像を画
像処理部に取り込み、あらかじめ登録されていた良品の
モデル画像と比較することにより対象物の良否を判別し
ている。
【０００３】上記の検査の対象物の画像（以下「入力画
像」という）とモデル画像との比較は、それぞれの画像
を２値化して得られる画像データを用いてのパターンマ
ッチング、または両画像間の濃度データの相関演算を実
行することにより行われる。
像」という）とモデル画像との比較は、それぞれの画像
を２値化して得られる画像データを用いてのパターンマ
ッチング、または両画像間の濃度データの相関演算を実
行することにより行われる。
【０００４】図１１は、上記のパターンマッチングによ
り不良を判別する方法を示す。図中３０は２値化された
モデル画像を、３１はこのモデル画像３０について抽出
された登録パターンを、それぞれ示す。この登録パター
ン３１は、前記モデル画像３０中、文字の画像３２を含
むように設定された領域３３内の画像データであって、
前記画像処理部のメモリ内に記憶される。
り不良を判別する方法を示す。図中３０は２値化された
モデル画像を、３１はこのモデル画像３０について抽出
された登録パターンを、それぞれ示す。この登録パター
ン３１は、前記モデル画像３０中、文字の画像３２を含
むように設定された領域３３内の画像データであって、
前記画像処理部のメモリ内に記憶される。
【０００５】検査時に画像処理部は、検査の対象物を撮
像して得られた濃淡の入力画像を入力して２値化処理し
た後、この２値の入力画像３５について、前記登録パタ
ーンに対応する検査対象領域として検査対象となる文字
の画像３７を含む領域３６を抽出する。さらに画像処理
部は、この領域３６内の画像パターンを前記登録パター
ン３１と比較し、その比較結果により検査対象の文字の
良否を判別する。
像して得られた濃淡の入力画像を入力して２値化処理し
た後、この２値の入力画像３５について、前記登録パタ
ーンに対応する検査対象領域として検査対象となる文字
の画像３７を含む領域３６を抽出する。さらに画像処理
部は、この領域３６内の画像パターンを前記登録パター
ン３１と比較し、その比較結果により検査対象の文字の
良否を判別する。
【０００６】図示例では、入力画像の文字の画像３７に
欠けが存在しているため、前記の画像パターン３８は登
録パターン３１と一致しなくなり、画像処理部はこの対
象物の文字を不良と判別する。
欠けが存在しているため、前記の画像パターン３８は登
録パターン３１と一致しなくなり、画像処理部はこの対
象物の文字を不良と判別する。
【０００７】図１２は、濃淡相関値を用いた比較方法を
示す。この場合、濃淡のモデル画像４０について文字の
画像４２を含むように設定された領域４３内の画像が登
録パターン４１として登録された後、濃淡の入力画像４
５について前記登録パターン４１に対応する領域４６の
画像パターン４７が抽出され、この領域４６および登録
パターン４１内の各画素の濃度値を用いた相関演算が実
行される。図示例では、入力画像の文字の画像４７に欠
けが存在しているため、領域４６内の画像パターンと登
録パターン４１との相関値は低い値となり、対象物の文
字は不良であると判別される。
示す。この場合、濃淡のモデル画像４０について文字の
画像４２を含むように設定された領域４３内の画像が登
録パターン４１として登録された後、濃淡の入力画像４
５について前記登録パターン４１に対応する領域４６の
画像パターン４７が抽出され、この領域４６および登録
パターン４１内の各画素の濃度値を用いた相関演算が実
行される。図示例では、入力画像の文字の画像４７に欠
けが存在しているため、領域４６内の画像パターンと登
録パターン４１との相関値は低い値となり、対象物の文
字は不良であると判別される。
【０００８】
【発明が解決しようとする課題】上記の方法のうち２値
画像のパターンマッチングによる方法では入力画像を２
値化するためのしきい値は前記のモデル画像の２値化の
条件を基準に設定されており、検査対象の文字の濃度が
変動したり一部がかすれて薄くなるなどすると、２値化
処理後の画像は本来の濃淡画像の特徴を正確に反映しな
くなり、文字の形状が良好であっても不良と判別されて
しまう。
画像のパターンマッチングによる方法では入力画像を２
値化するためのしきい値は前記のモデル画像の２値化の
条件を基準に設定されており、検査対象の文字の濃度が
変動したり一部がかすれて薄くなるなどすると、２値化
処理後の画像は本来の濃淡画像の特徴を正確に反映しな
くなり、文字の形状が良好であっても不良と判別されて
しまう。
【０００９】また両画像間の濃度データの相関値を算出
して比較する方法の場合、入力画像の特徴は前記画像パ
ターンの登録パターンとの相関値の形で表されるのみで
あるので、検査対象の文字の形状に応じた判別結果を得
ることは不可能である。
して比較する方法の場合、入力画像の特徴は前記画像パ
ターンの登録パターンとの相関値の形で表されるのみで
あるので、検査対象の文字の形状に応じた判別結果を得
ることは不可能である。
【００１０】図１３は、上記の問題点を例示するための
もので、文字が太くなった画像パターン４７ａと文字の
一部がにじんでいる画像パターン４７ｂとを判別した
り、対象物の文字が細くなった画像パターン４７ｃ、文
字の一部がかすれた画像パターン４７ｄ、文字の一部が
欠けた画像パターン４７ｅのそれぞれを判別することが
困難であることを示している。このような場合、画像処
理部は、算出された相関値が所定のしきい値以下であれ
ば、無条件に対象物を不良と判定するため、作業員の目
から見て良品と判断できる対象物でも不良品として処理
されてしまう。
もので、文字が太くなった画像パターン４７ａと文字の
一部がにじんでいる画像パターン４７ｂとを判別した
り、対象物の文字が細くなった画像パターン４７ｃ、文
字の一部がかすれた画像パターン４７ｄ、文字の一部が
欠けた画像パターン４７ｅのそれぞれを判別することが
困難であることを示している。このような場合、画像処
理部は、算出された相関値が所定のしきい値以下であれ
ば、無条件に対象物を不良と判定するため、作業員の目
から見て良品と判断できる対象物でも不良品として処理
されてしまう。
【００１１】この発明は、上記問題に着目してなされた
もので、対象物の特徴を正確に把握し、不良検査の精度
を大幅に向上できる不良検査方法および装置を提供する
ことを目的とする。
もので、対象物の特徴を正確に把握し、不良検査の精度
を大幅に向上できる不良検査方法および装置を提供する
ことを目的とする。
【００１２】
【課題を解決するための手段】請求項１の不良検査方法
は、対象物のモデル画像上に複数の領域を互いに重複す
るように設定し、各領域内の画像のうち、濃度分散値が
あらかじめ設定された基準レベル以上となる画像を部分
モデル画像として登録しておき、検査すべき対象物を撮
像して得られた画像に前記モデル画像と同様の条件で複
数の領域を設定し、対応する部分モデル画像が登録され
ている領域については、その領域内の画像と対応する部
分モデル画像との間での濃度相関値を所定のしきい値と
比較し、対応する部分モデル画像が登録されていない領
域については、その領域内の画像の濃度分散値を所定の
しきい値と比較することにより、前記対象物に不良があ
るか否かを判別することを特徴としている。
は、対象物のモデル画像上に複数の領域を互いに重複す
るように設定し、各領域内の画像のうち、濃度分散値が
あらかじめ設定された基準レベル以上となる画像を部分
モデル画像として登録しておき、検査すべき対象物を撮
像して得られた画像に前記モデル画像と同様の条件で複
数の領域を設定し、対応する部分モデル画像が登録され
ている領域については、その領域内の画像と対応する部
分モデル画像との間での濃度相関値を所定のしきい値と
比較し、対応する部分モデル画像が登録されていない領
域については、その領域内の画像の濃度分散値を所定の
しきい値と比較することにより、前記対象物に不良があ
るか否かを判別することを特徴としている。
【００１３】請求項２の不良検査方法では、前記領域の
設定において、２つ以上の領域を対象物のモデル画像上
に隣合うように設定すると共に、隣合う各領域上に他の
領域を重複して設定するようにしている。
設定において、２つ以上の領域を対象物のモデル画像上
に隣合うように設定すると共に、隣合う各領域上に他の
領域を重複して設定するようにしている。
【００１４】請求項３，４の発明は 対象物の不良を判
別して検査する不良検査装置に関する。請求項３の不良
検査装置は、対象物を撮像して対象物のモデル画像およ
び検査すべき対象物の画像を生成する撮像手段と、前記
撮像手段により得られた対象物のモデル画像上に複数の
領域を互いに重複するように設定する領域設定手段と、
前記各領域内の画像についてそれぞれ濃度分散値を算出
し、この濃度分散値があらかじめ設定された基準レベル
以上になる画像を部分モデル画像としてメモリに登録す
る登録手段と、前記撮像手段により得られた検査すべき
対象物の画像上に前記対象物のモデル画像と同様の条件
で複数の領域を設定し、これらの領域のうち、前記登録
手段に対応する部分モデル画像が登録されている領域に
ついては、領域内の画像と対応する部分モデル画像との
濃度相関値を算出し、前記登録手段に対応する部分モデ
ル画像が登録されていない領域については、領域内の画
像の濃度分散値を算出する演算手段と、前記演算手段に
より得られた各濃度相関値を所定のしきい値と、前記濃
度分散値を前記基準レベルと、それぞれ比較することに
より、前記対象物に不良があるか否かを判別する判別手
段とを備えている。
別して検査する不良検査装置に関する。請求項３の不良
検査装置は、対象物を撮像して対象物のモデル画像およ
び検査すべき対象物の画像を生成する撮像手段と、前記
撮像手段により得られた対象物のモデル画像上に複数の
領域を互いに重複するように設定する領域設定手段と、
前記各領域内の画像についてそれぞれ濃度分散値を算出
し、この濃度分散値があらかじめ設定された基準レベル
以上になる画像を部分モデル画像としてメモリに登録す
る登録手段と、前記撮像手段により得られた検査すべき
対象物の画像上に前記対象物のモデル画像と同様の条件
で複数の領域を設定し、これらの領域のうち、前記登録
手段に対応する部分モデル画像が登録されている領域に
ついては、領域内の画像と対応する部分モデル画像との
濃度相関値を算出し、前記登録手段に対応する部分モデ
ル画像が登録されていない領域については、領域内の画
像の濃度分散値を算出する演算手段と、前記演算手段に
より得られた各濃度相関値を所定のしきい値と、前記濃
度分散値を前記基準レベルと、それぞれ比較することに
より、前記対象物に不良があるか否かを判別する判別手
段とを備えている。
【００１５】請求項４の不良検査装置では、前記領域設
定手段は、２つ以上の領域を対象物のモデル画像上に隣
合うように設定すると共に、隣合う各領域上に他の領域
を重複して設定するようにしている。
定手段は、２つ以上の領域を対象物のモデル画像上に隣
合うように設定すると共に、隣合う各領域上に他の領域
を重複して設定するようにしている。
【００１６】
【作用】請求項１，３の発明では、モデル画像上で設定
した複数の領域内の画像のうち、濃度分散値が基準値以
上となる画像を部分モデル画像として登録しておく。検
査時には、入力画像にモデル画像と同様の条件で領域を
設定し、対応する部分モデル画像が登録されている領域
については、その領域の画像と前記部分モデル画像との
濃度相関値を、対応する部分モデル画像が登録されてい
ない領域については、その領域の画像の濃度分散値を、
それぞれ算出する。そしていずれかの領域の濃度相関値
が所定のしきい値を下回る場合、またはいずれかの領域
の濃度分散値が所定の基準レベル以上になる場合に、対
象物に不良があると判断する。
した複数の領域内の画像のうち、濃度分散値が基準値以
上となる画像を部分モデル画像として登録しておく。検
査時には、入力画像にモデル画像と同様の条件で領域を
設定し、対応する部分モデル画像が登録されている領域
については、その領域の画像と前記部分モデル画像との
濃度相関値を、対応する部分モデル画像が登録されてい
ない領域については、その領域の画像の濃度分散値を、
それぞれ算出する。そしていずれかの領域の濃度相関値
が所定のしきい値を下回る場合、またはいずれかの領域
の濃度分散値が所定の基準レベル以上になる場合に、対
象物に不良があると判断する。
【００１７】請求項２，４の発明では、隣合う領域間に
またがって不良が発生したとき、これらの領域上に重複
設定された領域の画像によって、前記不良を検出するこ
とが可能となる。
またがって不良が発生したとき、これらの領域上に重複
設定された領域の画像によって、前記不良を検出するこ
とが可能となる。
【００１８】
【実施例】図１は、この発明の一実施例にかかる検査装
置の全体構成を示す。この検査装置は、パッケージなど
の上に印刷された文字の良否を判別するためのものであ
るが、文字に限らず、図形など任意のパターンについて
も同様の検査を行うことができる。
置の全体構成を示す。この検査装置は、パッケージなど
の上に印刷された文字の良否を判別するためのものであ
るが、文字に限らず、図形など任意のパターンについて
も同様の検査を行うことができる。
【００１９】この検査装置は、テレビカメラ１，画像処
理部２，モニタ３などから構成されており、画像処理部
２は、Ａ／Ｄ変換部４，画像メモリ５，特徴量算出部
６，モデルメモリ７，表示データメモリ８，ＣＰＵ９，
ＲＯＭ１０，ＲＡＭ１１，画像合成部１２，Ｄ／Ａ変換
部１３，外部インターフェース部１４などを含んでい
る。
理部２，モニタ３などから構成されており、画像処理部
２は、Ａ／Ｄ変換部４，画像メモリ５，特徴量算出部
６，モデルメモリ７，表示データメモリ８，ＣＰＵ９，
ＲＯＭ１０，ＲＡＭ１１，画像合成部１２，Ｄ／Ａ変換
部１３，外部インターフェース部１４などを含んでい
る。
【００２０】テレビカメラ１からのアナログ量の画像信
号は、Ａ／Ｄ変換部４によりディジタル変換され、１フ
レーム分のディジタル量の画像データが画像メモリ５に
格納される。モデルメモリ７は検査に用いる登録データ
として後述する各小領域の設定条件や各小領域内の画像
データ（以下「部分モデル画像」という）などを記憶
し、表示データメモリ８は、前記モニタ３に表示するた
めの表示データとして前記各小領域を表す画像や文字デ
ータなどを記憶する。この表示データはＣＰＵ９により
与えられるもので、適宜画像合成部１２へと出力され
る。
号は、Ａ／Ｄ変換部４によりディジタル変換され、１フ
レーム分のディジタル量の画像データが画像メモリ５に
格納される。モデルメモリ７は検査に用いる登録データ
として後述する各小領域の設定条件や各小領域内の画像
データ（以下「部分モデル画像」という）などを記憶
し、表示データメモリ８は、前記モニタ３に表示するた
めの表示データとして前記各小領域を表す画像や文字デ
ータなどを記憶する。この表示データはＣＰＵ９により
与えられるもので、適宜画像合成部１２へと出力され
る。
【００２１】画像合成部１２は、Ａ／Ｄ変換部４からの
入力画像データと前記表示データメモリ８から出力され
る表示データとを合成して画像データをＤ／Ａ変換部１
３に出力し、Ｄ／Ａ変換部１３は受け取ったディジタル
量のデータをアナログ量の画像信号に変換した後、モニ
タ３に出力する。
入力画像データと前記表示データメモリ８から出力され
る表示データとを合成して画像データをＤ／Ａ変換部１
３に出力し、Ｄ／Ａ変換部１３は受け取ったディジタル
量のデータをアナログ量の画像信号に変換した後、モニ
タ３に出力する。
【００２２】外部インターフェイス部１４には、図示し
ない照明装置，データ入力用のキーボード，検査位置に
対象物を搬出入するための駆動機構などの周辺装置が接
続される。なおＲＯＭ１０には検査装置全体の動作を制
御するためのプログラムや固定データが記憶されてお
り、ＲＡＭ１１は装置動作中の作業エリアとして機能す
る。
ない照明装置，データ入力用のキーボード，検査位置に
対象物を搬出入するための駆動機構などの周辺装置が接
続される。なおＲＯＭ１０には検査装置全体の動作を制
御するためのプログラムや固定データが記憶されてお
り、ＲＡＭ１１は装置動作中の作業エリアとして機能す
る。
【００２３】検査に先立ち良品のモデルの撮像が行われ
ると、得られたモデル画像の画像データは画像メモリ５
内に格納されると同時に前記モニタ３に表示される。オ
ペレータは、このモデル画像から文字のパターンを含む
所定の領域を検査対象領域と定めた後、さらにこの検査
対象領域に複数の小領域を設定する。これら検査領域お
よび各小領域の設定条件はＣＰＵ９により把握され、各
小領域内の画像データが前記部分モデル画像としてモデ
ルメモリ７内に格納される。また同時に、前記各領域の
設定条件も登録データとしてモデルメモリ７内に格納さ
れており、検査時には、登録された設定条件に基づき入
力画像上に検査対象領域や小領域が設定される。
ると、得られたモデル画像の画像データは画像メモリ５
内に格納されると同時に前記モニタ３に表示される。オ
ペレータは、このモデル画像から文字のパターンを含む
所定の領域を検査対象領域と定めた後、さらにこの検査
対象領域に複数の小領域を設定する。これら検査領域お
よび各小領域の設定条件はＣＰＵ９により把握され、各
小領域内の画像データが前記部分モデル画像としてモデ
ルメモリ７内に格納される。また同時に、前記各領域の
設定条件も登録データとしてモデルメモリ７内に格納さ
れており、検査時には、登録された設定条件に基づき入
力画像上に検査対象領域や小領域が設定される。
【００２４】特徴量算出部６は、前記部分モデル画像、
および入力画像上に設定された小領域内の画像（以下
「部分画像」という）について、平均濃度や濃度分散値
などの特徴量を抽出するほか、後述するように、各部分
画像について対応する部分モデル画像との濃度データの
相関値を算出する。
および入力画像上に設定された小領域内の画像（以下
「部分画像」という）について、平均濃度や濃度分散値
などの特徴量を抽出するほか、後述するように、各部分
画像について対応する部分モデル画像との濃度データの
相関値を算出する。
【００２５】ＣＰＵ９は、各部分画像について算出され
た特徴量や部分モデル画像との相関値から対象物の良否
を判定する。この判定結果はモニタ３に表示されるほ
か、外部インターフェイス部１４を介して駆動機構など
に出力され、良品と不良品との分別処理などが行われ
る。
た特徴量や部分モデル画像との相関値から対象物の良否
を判定する。この判定結果はモニタ３に表示されるほ
か、外部インターフェイス部１４を介して駆動機構など
に出力され、良品と不良品との分別処理などが行われ
る。
【００２６】図２は、モデル画像における登録データの
設定例を示す。図中１５は文字「１」の画像１７を含む
モデル画像を、１６はこのモデル画像１５上に設定され
た検査対象領域を、それぞれ示す。この例では、検査対
象領域１６がＹ軸方向に２分割されて小領域Ａ，Ｃが設
定されており、さらに検査対象領域１６の中央部に小領
域Ｂが領域Ａ，Ｃ間に重複するように設定されている。
各小領域Ａ，Ｂ，Ｃ内の画像は、いずれも文字「１」の
画像１７の一部を含んでおり、それぞれ部分モデル画像
１５Ａ，１５Ｂ，１５Ｃとしてモデルメモリ７内に格納
される。
設定例を示す。図中１５は文字「１」の画像１７を含む
モデル画像を、１６はこのモデル画像１５上に設定され
た検査対象領域を、それぞれ示す。この例では、検査対
象領域１６がＹ軸方向に２分割されて小領域Ａ，Ｃが設
定されており、さらに検査対象領域１６の中央部に小領
域Ｂが領域Ａ，Ｃ間に重複するように設定されている。
各小領域Ａ，Ｂ，Ｃ内の画像は、いずれも文字「１」の
画像１７の一部を含んでおり、それぞれ部分モデル画像
１５Ａ，１５Ｂ，１５Ｃとしてモデルメモリ７内に格納
される。
【００２７】検査時には入力画像上にモデルメモリ７に
記憶された設定条件に基づく検査対象領域および小領域
が設定され、３つの部分画像が抽出される。この実施例
では、抽出された各部分画像と対応する部分モデル画像
との間で濃度データの相関値（以下「濃度相関値」とい
う）を算出している。この濃度相関値は、部分画像、部
分モデル画像それぞれを構成する各画素の濃度値を用い
た相関演算により求められるもので、各濃度相関値のう
ちのうちの最小値が所定のしきい値ｔｈを下回っている
とき、対象物の文字を不良と判定するようにしている。
記憶された設定条件に基づく検査対象領域および小領域
が設定され、３つの部分画像が抽出される。この実施例
では、抽出された各部分画像と対応する部分モデル画像
との間で濃度データの相関値（以下「濃度相関値」とい
う）を算出している。この濃度相関値は、部分画像、部
分モデル画像それぞれを構成する各画素の濃度値を用い
た相関演算により求められるもので、各濃度相関値のう
ちのうちの最小値が所定のしきい値ｔｈを下回っている
とき、対象物の文字を不良と判定するようにしている。
【００２８】図３および図４は、文字がかすれている対
象物と文字に欠けがある対象物それぞれについて、各領
域毎に濃度相関値を算出した例を示す。なお両図とも
に、（１）（２）はそれぞれモデル画像、入力画像にお
ける前記検査対象領域内の画像を、（３）は前記小領域
Ａ，Ｂ，Ｃ毎に各画像間の濃度相関値を算出した結果を
示す。
象物と文字に欠けがある対象物それぞれについて、各領
域毎に濃度相関値を算出した例を示す。なお両図とも
に、（１）（２）はそれぞれモデル画像、入力画像にお
ける前記検査対象領域内の画像を、（３）は前記小領域
Ａ，Ｂ，Ｃ毎に各画像間の濃度相関値を算出した結果を
示す。
【００２９】図３は、対象物の文字「１」が中央から下
部にかけてしだいにかすれている例であって、図３
（３）に示すごとく、各相関値は、文字のかすれ状態を
反映して小領域Ａ，Ｂ，Ｃの順に小さくなっている。し
かしながら最小の値をとる領域Ｃの相関値は前記しきい
値ｔｈを下回っておらず、この場合対象物は良品と判定
される。
部にかけてしだいにかすれている例であって、図３
（３）に示すごとく、各相関値は、文字のかすれ状態を
反映して小領域Ａ，Ｂ，Ｃの順に小さくなっている。し
かしながら最小の値をとる領域Ｃの相関値は前記しきい
値ｔｈを下回っておらず、この場合対象物は良品と判定
される。
【００３０】図４は、対象物の文字「１」の下部に欠け
が生じている例である。この場合、図４（３）に示すご
とく、小領域Ｃにおける相関値が前記しきい値ｔｈを下
回り、対象物は不良と判定される。
が生じている例である。この場合、図４（３）に示すご
とく、小領域Ｃにおける相関値が前記しきい値ｔｈを下
回り、対象物は不良と判定される。
【００３１】図５〜図７は、それぞれ文字の各部に欠け
が生じている場合の検査結果を示す。各図示例から明ら
かなように、この領域毎の濃度相関値を算出する方法に
よれば、発生した不良を反映する算出結果が得られ、印
刷文字のどの部分に不良が生じているのかが明らかにな
る。なお上記の各例のうち、特に対象物の中央に不良が
存在する図６の例の場合、小領域Ａ，Ｃのみの設定では
抽出され得なかった不良が、両者間に小領域Ｂを重複設
定したことにより抽出されている。
が生じている場合の検査結果を示す。各図示例から明ら
かなように、この領域毎の濃度相関値を算出する方法に
よれば、発生した不良を反映する算出結果が得られ、印
刷文字のどの部分に不良が生じているのかが明らかにな
る。なお上記の各例のうち、特に対象物の中央に不良が
存在する図６の例の場合、小領域Ａ，Ｃのみの設定では
抽出され得なかった不良が、両者間に小領域Ｂを重複設
定したことにより抽出されている。
【００３２】なおこの実施例では、部分画像と部分モデ
ル画像との濃度データの相関値により不良を判別するよ
うにしているが、これに限らず、例えば各画像毎に濃度
平均値を算出し、各部分画像についての濃度平均値を対
応する部分モデル画像の濃度平均値と比較して不良の有
無を判別するようにしても良い。
ル画像との濃度データの相関値により不良を判別するよ
うにしているが、これに限らず、例えば各画像毎に濃度
平均値を算出し、各部分画像についての濃度平均値を対
応する部分モデル画像の濃度平均値と比較して不良の有
無を判別するようにしても良い。
【００３３】またこの実施例では、設定された小領域
Ａ，Ｂ，Ｃ内の各画像がいずれも文字の画像の一部を含
んでいるため、すべてモデルメモリ７内に登録している
が、設定された小領域内の各画素の濃度値が殆ど変わら
ない場合は、この小領域を登録データから除外したり、
他の方法による検査を実施するようにしても良い。
Ａ，Ｂ，Ｃ内の各画像がいずれも文字の画像の一部を含
んでいるため、すべてモデルメモリ７内に登録している
が、設定された小領域内の各画素の濃度値が殆ど変わら
ない場合は、この小領域を登録データから除外したり、
他の方法による検査を実施するようにしても良い。
【００３４】図８は、上記の検査方法が適用される対象
物の一例を示す。図示例は、漢数字の「二」の画像を含
むモデル画像２０について部分モデル画像の登録を行う
例であって、モデル画像２０上に検査対象領域２１が設
定され、さらにこの検査対象領域２１内に第１の実施例
と同様の方法で３つの小領域ａ，ｂ，ｃが設定されてい
る。
物の一例を示す。図示例は、漢数字の「二」の画像を含
むモデル画像２０について部分モデル画像の登録を行う
例であって、モデル画像２０上に検査対象領域２１が設
定され、さらにこの検査対象領域２１内に第１の実施例
と同様の方法で３つの小領域ａ，ｂ，ｃが設定されてい
る。
【００３５】検査対象領域２１を２分割して得られる領
域ａ，ｃ内の画像は、共に文字の画像の一部を含んでお
り、これらの画像は、部分モデル画像２２ａ，２２ｃと
してモデルメモリ７内に登録される。
域ａ，ｃ内の画像は、共に文字の画像の一部を含んでお
り、これらの画像は、部分モデル画像２２ａ，２２ｃと
してモデルメモリ７内に登録される。
【００３６】一方、中央の領域ｂ内には文字の部分は含
まれておらず、領域内の各画素の濃度値は殆ど一定であ
る。このためこの小領域ｂ内の画像は登録データから除
外される。ただし、各小領域ａ，ｂ，ｃの設定条件は、
第１の実施例と同様、登録データとしてモデルメモリ７
内に記憶されており、検査時にこの領域ｂに相当する部
位に印刷むらや汚れなどの不良が存在する可能性がある
場合は、入力画像に設定された領域ｂ内の画像につい
て、濃度分散値や濃度平均値などの特徴量を求め、この
特徴量により不良の有無をチェックする。
まれておらず、領域内の各画素の濃度値は殆ど一定であ
る。このためこの小領域ｂ内の画像は登録データから除
外される。ただし、各小領域ａ，ｂ，ｃの設定条件は、
第１の実施例と同様、登録データとしてモデルメモリ７
内に記憶されており、検査時にこの領域ｂに相当する部
位に印刷むらや汚れなどの不良が存在する可能性がある
場合は、入力画像に設定された領域ｂ内の画像につい
て、濃度分散値や濃度平均値などの特徴量を求め、この
特徴量により不良の有無をチェックする。
【００３７】上記図２および図８に示した２つの小領域
設定例は、いずれも各小領域をＹ軸方向に沿って順次設
定するものであるが、これに限らず、Ｘ軸方向に沿って
設定したり、文字の画像上の任意の位置に設定するな
ど、検査対象の特徴や検査条件に応じた領域設定を行う
ことができる。
設定例は、いずれも各小領域をＹ軸方向に沿って順次設
定するものであるが、これに限らず、Ｘ軸方向に沿って
設定したり、文字の画像上の任意の位置に設定するな
ど、検査対象の特徴や検査条件に応じた領域設定を行う
ことができる。
【００３８】図９は、分割モデル画像の登録時の画像処
理部の動作手順を示す。ステップ１（図中「ＳＴ１」で
示す）で、テレビカメラ１からモデル画像が入力される
と、この画像はＡ／Ｄ変換部４によりディジタル変換さ
れた後、画像メモリ５およびモニタ３へと出力される。
理部の動作手順を示す。ステップ１（図中「ＳＴ１」で
示す）で、テレビカメラ１からモデル画像が入力される
と、この画像はＡ／Ｄ変換部４によりディジタル変換さ
れた後、画像メモリ５およびモニタ３へと出力される。
【００３９】オペレータがモニタ３の表示画面を見てモ
デル画像上の所定の領域を検査対象領域として設定する
と、ＣＰＵ９は設定された検査対象領域の設定条件、す
なわち領域の位置や大きさなどのデータを抽出し、登録
データとして前記モデルメモリ７に格納する（ステップ
２）。
デル画像上の所定の領域を検査対象領域として設定する
と、ＣＰＵ９は設定された検査対象領域の設定条件、す
なわち領域の位置や大きさなどのデータを抽出し、登録
データとして前記モデルメモリ７に格納する（ステップ
２）。
【００４０】つぎのステップ３で、オペレータは表示画
面を参照して、想定される不良を考慮しながら前記検査
領域に複数の小領域を設定する。ＣＰＵ９はこれら小領
域についても前記と同様に設定条件を抽出し、登録デー
タとして前記モデルメモリ７に格納する。
面を参照して、想定される不良を考慮しながら前記検査
領域に複数の小領域を設定する。ＣＰＵ９はこれら小領
域についても前記と同様に設定条件を抽出し、登録デー
タとして前記モデルメモリ７に格納する。
【００４１】つぎのステップ４，５では、前記図８の実
施例のような対象物に対応するために、設定された各小
領域について領域内の濃度分散値を算出し、この濃度分
散値があらかじめ設定された基準レベル以上であるか否
かをチェックするようにしている。ステップ５の判定が
「ＹＥＳ」のとき、ＣＰＵ９は、つぎのステップ６でこ
の小領域内の画像を部分モデル画像としてモデルメモリ
７内に格納する。
施例のような対象物に対応するために、設定された各小
領域について領域内の濃度分散値を算出し、この濃度分
散値があらかじめ設定された基準レベル以上であるか否
かをチェックするようにしている。ステップ５の判定が
「ＹＥＳ」のとき、ＣＰＵ９は、つぎのステップ６でこ
の小領域内の画像を部分モデル画像としてモデルメモリ
７内に格納する。
【００４２】一方、濃度分散値が基準レベルを満たさな
い場合は、ステップ６の処理はスキップされ、つぎの小
領域の処理へと移行する。すべての小領域について上記
の処理が終了するとステップ７が「ＹＥＳ」となり、登
録処理が終了する。
い場合は、ステップ６の処理はスキップされ、つぎの小
領域の処理へと移行する。すべての小領域について上記
の処理が終了するとステップ７が「ＹＥＳ」となり、登
録処理が終了する。
【００４３】図１０は、検査時の画像処理部の動作手順
を示す。ステップ１で対象物の画像が入力されると、Ｃ
ＰＵ９は、この入力画像上にモデルメモリ７に登録され
た設定条件に基づき検査対象領域および各小領域を設定
する（ステップ２，３）。
を示す。ステップ１で対象物の画像が入力されると、Ｃ
ＰＵ９は、この入力画像上にモデルメモリ７に登録され
た設定条件に基づき検査対象領域および各小領域を設定
する（ステップ２，３）。
【００４４】つぎにＣＰＵ９は、第１の小領域につい
て、モデルメモリ７内にこの小領域についての部分モデ
ル画像が登録されているか否かをチェックする（ステッ
プ４）。この判定が「ＹＥＳ」のとき、特徴量算出部６
は、モデルメモリ７より該当する部分モデル画像を読み
出して、前記した濃度相関値を算出する（ステップ
５）。
て、モデルメモリ７内にこの小領域についての部分モデ
ル画像が登録されているか否かをチェックする（ステッ
プ４）。この判定が「ＹＥＳ」のとき、特徴量算出部６
は、モデルメモリ７より該当する部分モデル画像を読み
出して、前記した濃度相関値を算出する（ステップ
５）。
【００４５】一方、対応する部分モデル画像が登録され
ていない場合はステップ４の判定は「ＮＯ」となり、特
徴量算出部６はこの小領域について濃度分散値を算出す
る（ステップ６）。ＣＰＵ９は算出された濃度分散値を
前記の部分モデル画像の登録判定に用いた基準レベルと
比較し（ステップ７）、分散値がこの基準レベル以上で
あるとき、対象物のこの小領域に対応する箇所に不良が
あるものと判定する（ステップ１１）。
ていない場合はステップ４の判定は「ＮＯ」となり、特
徴量算出部６はこの小領域について濃度分散値を算出す
る（ステップ６）。ＣＰＵ９は算出された濃度分散値を
前記の部分モデル画像の登録判定に用いた基準レベルと
比較し（ステップ７）、分散値がこの基準レベル以上で
あるとき、対象物のこの小領域に対応する箇所に不良が
あるものと判定する（ステップ１１）。
【００４６】前記分散値が基準レベルに満たない場合
は、ステップ７の判定は「ＮＯ」となり、つぎの小領域
について、同様の処理が行われる。
は、ステップ７の判定は「ＮＯ」となり、つぎの小領域
について、同様の処理が行われる。
【００４７】設定されたすべての小領域について、上記
の処理が行われるとステップ８が「ＹＥＳ」となってス
テップ９へと移行し、ＣＰＵ９は算出された各相関値の
中から最小の値をとるものを抽出し、この最小値が前記
しきい値ｔｈ以上であるか否かをチェックし、さらにこ
の判定結果により対象物の良否を判定する（ステップ１
０，１１）。
の処理が行われるとステップ８が「ＹＥＳ」となってス
テップ９へと移行し、ＣＰＵ９は算出された各相関値の
中から最小の値をとるものを抽出し、この最小値が前記
しきい値ｔｈ以上であるか否かをチェックし、さらにこ
の判定結果により対象物の良否を判定する（ステップ１
０，１１）。
【００４８】なお、前記ステップ６，７の処理は、対応
する部分モデル画像が登録されていない領域を検査する
必要がある場合に行われるものであって、検査が特に必
要がない場合は、これらの処理は省かれる。
する部分モデル画像が登録されていない領域を検査する
必要がある場合に行われるものであって、検査が特に必
要がない場合は、これらの処理は省かれる。
【００４９】また、上記図９，図１０の手順では、登録
処理時の部分モデル画像の登録の可否判定や、検査時に
おいて対応する部分モデル画像が存在しない小領域につ
いての良否判定を、小領域内の濃度分散値を用いて行っ
ているが、これに代えて小領域内の濃度平均値を用いて
判定を行うようにしても良い。
処理時の部分モデル画像の登録の可否判定や、検査時に
おいて対応する部分モデル画像が存在しない小領域につ
いての良否判定を、小領域内の濃度分散値を用いて行っ
ているが、これに代えて小領域内の濃度平均値を用いて
判定を行うようにしても良い。
【００５０】
【発明の効果】この発明では、モデル画像上に複数の領
域を設定し、これらの領域内の画像のうち、濃度分散値
が基準レベル以上となる画像を部分モデル画像として登
録しておき、検査時には、対応する部分モデル画像が登
録されている領域については、その領域内の画像と前記
部分モデル画像との濃度相関値を所定のしきい値と比較
する一方、対応する部分モデル画像が登録されていない
領域については、その領域内の濃度分散値を前記基準レ
ベルと比較するようにした。よって、部分モデル画像が
登録された領域については、各領域毎に、対象物の画像
と部分モデル画像との類似度合いを正確に把握できる。
また、濃度差が殆どないはずの部位に不良が発生してい
る場合にも、的確に不良を判別することができ、対象物
の特徴や不良の発生部位を反映した判定を行うことがで
きる。また、複数の領域を互いに重複するように設定し
ているので、不良箇所の検出精度が大幅に向上する。
域を設定し、これらの領域内の画像のうち、濃度分散値
が基準レベル以上となる画像を部分モデル画像として登
録しておき、検査時には、対応する部分モデル画像が登
録されている領域については、その領域内の画像と前記
部分モデル画像との濃度相関値を所定のしきい値と比較
する一方、対応する部分モデル画像が登録されていない
領域については、その領域内の濃度分散値を前記基準レ
ベルと比較するようにした。よって、部分モデル画像が
登録された領域については、各領域毎に、対象物の画像
と部分モデル画像との類似度合いを正確に把握できる。
また、濃度差が殆どないはずの部位に不良が発生してい
る場合にも、的確に不良を判別することができ、対象物
の特徴や不良の発生部位を反映した判定を行うことがで
きる。また、複数の領域を互いに重複するように設定し
ているので、不良箇所の検出精度が大幅に向上する。
【図１】この発明にかかる検査装置の全体構成を示すブ
ロック図である。
ロック図である。
【図２】部分モデル画像の登録方法を示す説明図であ
る。
る。
【図３】濃度相関値の算出結果の一例を示す説明図であ
る。
る。
【図４】濃度相関値の算出結果の一例を示す説明図であ
る。
る。
【図５】濃度相関値の算出結果の一例を示す説明図であ
る。
る。
【図６】濃度相関値の算出結果の一例を示す説明図であ
る。
る。
【図７】濃度相関値の算出結果の一例を示す説明図であ
る。
る。
【図８】部分モデル画像の他の登録例を示す説明図であ
る。
る。
【図９】登録処理時の画像処理部の動作を示すフローチ
ャートである。
ャートである。
【図１０】検査時の画像処理部の動作を示すフローチャ
ートである。
ートである。
【図１１】従来のパターンマッチングによる不良検査方
法を示す説明図である。
法を示す説明図である。
【図１２】従来の濃度相関値による不良検査方法を示す
説明図である。
説明図である。
【図１３】図１２の不良検査方法の問題点を示す説明図
である。
である。
１ テレビカメラ
２ 画像処理部
６ 特徴量算出部
７ モデルメモリ
９ ＣＰＵ
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ０６Ｔ 1/00 ３１０ Ｂ４１Ｆ 33/14 Ｇ
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06K 9/00
B41F 33/14
G01N 21/88
G06T 1/00
Claims (4)
- 【請求項１】 対象物の不良を判別して検査する方法で
あって、 対象物のモデル画像上に複数の領域を互いに重複するよ
うに設定し、各領域内の画像のうち、濃度分散値があら
かじめ設定された基準レベル以上となる画像を部分モデ
ル画像として登録しておき、 検査すべき対象物を撮像して得られた画像に前記モデル
画像と同様の条件で複数の領域を設定し、対応する部分
モデル画像が登録されている領域については、その領域
内の画像と対応する部分モデル画像との間での濃度相関
値を所定のしきい値と比較し、対応する部分モデル画像
が登録されていない領域については、その領域内の画像
の濃度分散値を前記基準レベルと比較することにより、
前記対象物に不良があるか否かを判別することを特徴と
する不良検査方法。 - 【請求項２】 請求項１に記載された不良検査方法であ
って、 前記領域の設定において、２つ以上の領域を対象物のモ
デル画像上に隣合うように設定すると共に、隣合う各領
域上に他の領域を重複して設定するようにした不良検査
方法。 - 【請求項３】 対象物の不良を判別して検査する装置で
あって、 対象物を撮像して対象物のモデル画像および検査すべき
対象物の画像を生成する撮像手段と、 前記撮像手段により得られた対象物のモデル画像上に複
数の領域を互いに重複するように設定する領域設定手段
と、 前記各領域内の画像についてそれぞれ濃度分散値を算出
し、この濃度分散値があらかじめ設定された基準レベル
以上になる画像を部分モデル画像として前記メモリに登
録する登録手段と、 前記撮像手段により得られた検査すべき対象物の画像上
に前記対象物のモデル画像と同様の条件で複数の領域を
設定し、これらの領域のうち、前記登録手段に対応する
部分モデル画像が登録されている領域については、領域
内の画像と対応する部分モデル画像との濃度相関値を算
出し、前記登録手段に対応する部分モデル画像が登録さ
れていない領域については、領域内の画像の濃度分散値
を算出する演算手段と、 前記演算手段により得られた各濃度相関値を所定のしき
い値と、前記濃度分散値を前記基準レベルと、それぞれ
比較することにより、前記対象物に不良があるか否かを
判別する判別手段とを備えて成る不良検査装置。 - 【請求項４】 前記領域設定手段は、２つ以上の領域を
対象物のモデル画像上に隣合うように設定すると共に、
隣合う各領域上に他の領域を重複して設定する請求項３
に記載された不良検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26169794A JP3533722B2 (ja) | 1994-09-30 | 1994-09-30 | 不良検査方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26169794A JP3533722B2 (ja) | 1994-09-30 | 1994-09-30 | 不良検査方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08101915A JPH08101915A (ja) | 1996-04-16 |
| JP3533722B2 true JP3533722B2 (ja) | 2004-05-31 |
Family
ID=17365462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26169794A Expired - Lifetime JP3533722B2 (ja) | 1994-09-30 | 1994-09-30 | 不良検査方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3533722B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4441332B2 (ja) * | 2004-06-01 | 2010-03-31 | シャープ株式会社 | 画面判定装置および画面判定方法 |
| JP4882414B2 (ja) * | 2006-02-24 | 2012-02-22 | 東レ株式会社 | 中空糸膜モジュールの検査方法および検査装置 |
| JP4137969B2 (ja) | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4845698B2 (ja) | 2006-12-06 | 2011-12-28 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4895797B2 (ja) | 2006-12-26 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
| JP4309926B2 (ja) | 2007-03-13 | 2009-08-05 | アイシン精機株式会社 | 顔特徴点検出装置、顔特徴点検出方法及びプログラム |
| JP4307496B2 (ja) | 2007-03-19 | 2009-08-05 | 株式会社豊田中央研究所 | 顔部位検出装置及びプログラム |
| JP5257224B2 (ja) * | 2009-04-27 | 2013-08-07 | 澁谷工業株式会社 | 物品検査方法 |
| EP2534613B1 (en) * | 2010-02-10 | 2019-03-27 | Mako Surgical Corp. | Image analysis |
| US9530077B2 (en) | 2010-02-10 | 2016-12-27 | Imorphics Limited | Image analysis |
| JP5234136B2 (ja) * | 2010-11-19 | 2013-07-10 | パルステック工業株式会社 | 太陽電池検査装置 |
| JP5494458B2 (ja) * | 2010-12-14 | 2014-05-14 | パルステック工業株式会社 | 太陽電池セル検査装置 |
| JP6217225B2 (ja) * | 2013-08-08 | 2017-10-25 | カシオ計算機株式会社 | 画像照合装置、画像照合方法及びプログラム |
| KR101910069B1 (ko) * | 2014-05-09 | 2018-10-22 | 한화에어로스페이스 주식회사 | 영상 분석 기반의 결함 검사 시스템 및 방법 |
| MX2017015182A (es) * | 2015-06-01 | 2018-04-20 | Nippon Steel & Sumitomo Metal Corp | Metodo y dispositivo para inspeccionar cigüeñal. |
-
1994
- 1994-09-30 JP JP26169794A patent/JP3533722B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08101915A (ja) | 1996-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3533722B2 (ja) | 不良検査方法およびその装置 | |
| JP4172761B2 (ja) | 欠陥検査装置、欠陥検査方法およびプログラム | |
| JP4206723B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4243454B2 (ja) | 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体 | |
| JP2001184510A (ja) | 欠陥検出方法 | |
| JP2004212311A (ja) | ムラ欠陥の検出方法及び装置 | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| JP2000163579A (ja) | 外観検査方法およびその装置 | |
| JP3536884B2 (ja) | 半導体ウエハの欠陥分類方法及びその装置 | |
| JP3788586B2 (ja) | パターン検査装置および方法 | |
| JP2541735B2 (ja) | 塗膜劣化診断方法及び装置 | |
| JP2001028059A (ja) | 色ムラ検査方法及び装置 | |
| JP4247993B2 (ja) | 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体 | |
| JP2006035505A (ja) | 印刷物の検査方法及び装置 | |
| JP2000329699A (ja) | 欠陥検査方法及びその装置 | |
| JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
| JP2004286708A (ja) | 欠陥検出装置、方法及びプログラム | |
| JP2000329594A (ja) | データ収集処理装置およびデータ収集処理用プログラムが記録された記録媒体 | |
| JP3941403B2 (ja) | 画像濃淡ムラ検出方法及びこの検査装置 | |
| JP2002140695A (ja) | 検査方法およびその装置 | |
| JPH09288037A (ja) | Ｌｃｄパネルの検査方法 | |
| JP7300155B2 (ja) | 固形製剤外観検査における教示装置、及び固形製剤外観検査における教示方法 | |
| JP3190173B2 (ja) | 半導体装置の外観検査方法および外観検査装置 | |
| JPH064674A (ja) | 領域分割における不要境界画素除去方法および装置 | |
| JP4121628B2 (ja) | 画面検査方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040301 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |