JP3189440B2 - Teaching method of mounted component inspection device - Google Patents

Teaching method of mounted component inspection device

Info

Publication number
JP3189440B2
JP3189440B2 JP33097792A JP33097792A JP3189440B2 JP 3189440 B2 JP3189440 B2 JP 3189440B2 JP 33097792 A JP33097792 A JP 33097792A JP 33097792 A JP33097792 A JP 33097792A JP 3189440 B2 JP3189440 B2 JP 3189440B2
Authority
JP
Japan
Prior art keywords
inspection
teaching
visual field
circumscribed rectangle
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33097792A
Other languages
Japanese (ja)
Other versions
JPH06160042A (en
Inventor
正人 石羽
則仁 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP33097792A priority Critical patent/JP3189440B2/en
Publication of JPH06160042A publication Critical patent/JPH06160042A/en
Application granted granted Critical
Publication of JP3189440B2 publication Critical patent/JP3189440B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は、例えばプリント配線
基板(以下単に「基板」という)に実装された電子部品
につき、はんだ付け前は電子部品の有無や姿勢などを、
はんだ付け後ははんだ付けの良否などを、それぞれ検査
するのに用いられる実装部品検査装置に関連し、殊にこ
の発明は、基板上に実装された複数の部品につき、それ
ぞれの実装状態の良否(以下「実装品質」という)を検
査するのに必要な情報を実装部品検査装置に教示するた
めの教示方法に関する。
The present invention relates to an electronic component mounted on, for example, a printed circuit board (hereinafter simply referred to as a "substrate").
The present invention relates to a mounted component inspection apparatus used for inspecting the quality of soldering after soldering, and more particularly, the present invention relates to a plurality of components mounted on a board, and (Hereinafter referred to as “mounting quality”).

【0002】[0002]

【従来の技術】従来、被検査基板上の実装部品(はんだ
付け前のものとはんだ付け後のものとを総称して「実
装」という)について実装品質を検査するのに、目視に
よる検査が行われている。ところがこの種目視検査で
は、検査ミスの発生が避けられず、検査結果も検査する
者によりまちまちであり、また検査処理能力にも限界が
ある。
2. Description of the Related Art Conventionally, visual inspection has been performed to inspect the mounting quality of mounted components on a substrate to be inspected (the components before soldering and those after soldering are collectively referred to as “mounting”). Have been done. However, in this kind of visual inspection, occurrence of an inspection error is unavoidable, the inspection result varies depending on the inspected person, and the inspection processing capacity is limited.

【0003】そこで近年、多数の部品が実装された基板
につき、実装品質を画像処理技術を用いて自動的に検査
する実装部品検査装置が実用化された。この実装部品検
査装置を使用する場合、検査に先立ち、被検査基板上の
どの位置に、どのような部品が、どのように実装される
かなどにつき、基板の種別毎に実装部品検査装置に教示
する必要がある。この教示作業は一般に「ティーチン
グ」と呼ばれる。
[0003] In recent years, a mounted component inspection apparatus has been put to practical use for automatically inspecting the mounting quality of a board on which a large number of components are mounted using image processing technology. When using this mounting component inspection device, prior to inspection, teach the mounting component inspection device for each type of board, such as what position on the board to be inspected, what components are mounted, and how. There is a need to. This teaching operation is generally called "teaching".

【0004】部品の実装品質の検査に関わる情報(以下
「検査用データ」という)には、各部品がはんだ付けさ
れる基板上のランドに関する情報(形状,長さ,幅な
ど)、検査領域として設定されるウィンドウに関する情
報(形状,大きさなど)、ランド上のはんだ付け状態な
どを表す特徴パラメータに関する情報(色相,明度な
ど)、特徴パラメータなどの良否を判定するための判定
基準の他、検査対象領域に対して検査視野をどのように
割り付けるかという検査視野の位置に関する情報や検査
対象領域内の各部品をどの順番で検査するかという検査
順序に関する情報も含まれる。
[0004] Information relating to inspection of component mounting quality (hereinafter referred to as "inspection data") includes information (such as shape, length, and width) on lands on a board to which each component is to be soldered, and an inspection area. In addition to information on the window to be set (shape, size, etc.), information on feature parameters (hue, brightness, etc.) indicating the soldering state on the land, etc., judgment criteria for judging pass / fail of the feature parameters, etc. Information on the position of the inspection visual field, such as how to allocate the inspection visual field to the target area, and information on the inspection order, in which order each component in the inspection target area is inspected, are also included.

【0005】図11は、前記検査視野の位置や検査順序
に関する情報を教示するための従来方法を示す。同図
中、35は教示用の基準基板上の検査対象領域であり、
この領域内に多数の部品31が存在している。
FIG. 11 shows a conventional method for teaching information on the position of the inspection visual field and the inspection order. In the figure, reference numeral 35 denotes an inspection target area on a reference board for teaching,
Many parts 31 exist in this area.

【0006】まず撮像装置による検査視野30が左下の
原点位置(図中、点線で示す)にくるよう基準基板に対
する撮像装置の相対位置を定めた後、基準基板に対して
撮像装置を所望の方向へ相対移動させて検査視野を走査
する。なお基準基板に対する撮像装置の相対位置は撮像
装置をX軸方向へ移動させるX軸テーブル部と基準基板
をY軸方向へ移動させるY軸テーブル部とを適宜駆動さ
せることにより自在に設定できる。
First, the relative position of the image pickup device with respect to the reference substrate is determined so that the inspection visual field 30 by the image pickup device is located at the lower left origin position (indicated by a dotted line in the figure). Scan relative to the inspection field of view. The relative position of the imaging device with respect to the reference substrate can be freely set by appropriately driving the X-axis table for moving the imaging device in the X-axis direction and the Y-axis table for moving the reference substrate in the Y-axis direction.

【0007】この検査視野30内の画像はモニタに表示
され、オペレータはこのモニタ画像を見ながら検査視野
30内に目標とする部品31が入るまで検査視野30を
走査する。検査視野30内に部品31が入ると、オペレ
ータはその検査視野30内にできるだけ多数の部品31
が含まれるように検査視野の位置を微調整する。その
後、オペレータにより設定操作が行われると、検査視野
の位置、すなわち前記X軸テーブル部およびY軸テーブ
ル部の位置データと検査順序(この場合、検査順序は
「1」)とが実装部品検査装置に教示される。
The image in the inspection visual field 30 is displayed on a monitor, and the operator scans the inspection visual field 30 while watching the monitor image until the target component 31 enters the inspection visual field 30. When the parts 31 enter the inspection field of view 30, the operator can as many parts 31 as possible within the inspection field of view 30.
Finely adjust the position of the inspection visual field so that is included. Thereafter, when a setting operation is performed by the operator, the position of the inspection visual field, that is, the position data of the X-axis table unit and the Y-axis table unit and the inspection order (in this case, the inspection order is “1”) are displayed on the mounting component inspection apparatus. Taught.

【0008】つぎにオペレータはモニタ画像上で最も近
い位置の部品31を探し出し、その部品31が検査視野
30内に入るまで検査視野30を走査し、同様の手順を
実行する。このようにして全ての部品を検査するための
検査視野を割り付け、各部品について検査順序を決定す
る。
Next, the operator searches for the nearest component 31 on the monitor image, scans the inspection field 30 until the component 31 enters the inspection field 30, and executes the same procedure. In this way, an inspection field of view for inspecting all components is allocated, and an inspection order is determined for each component.

【0009】[0009]

【発明が解決しようとする課題】しかしながらこのよう
な教示方法では、オペレータは検査視野の移動距離が長
くならないよう、また検査視野内に効率よく多数の部品
が含まれるよう検査視野の設定位置および検査順序を自
ら工夫して決定する必要があるため、教示作業に熟練を
要するばかりでなく、教示作業の効率が悪く、オペレー
タの作業負担は著しく大きなものとなる。
However, in such a teaching method, the operator sets the inspection field of view and the inspection position so that the moving distance of the inspection field does not become long and that the inspection field contains a large number of components efficiently. Since it is necessary to determine the order by itself, not only skill is required for the teaching operation, but also the efficiency of the teaching operation is low, and the work load on the operator becomes extremely large.

【0010】この発明は、上記問題に着目してなされた
もので、熟練者でなくても、検査視野の位置や検査順序
についての教示作業を効率良く行うことができる実装部
品検査装置の教示方法を提供し、もってこの種の教示作
業に伴うオペレータの作業負担を大幅に軽減することを
目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problem, and a teaching method of a mounted component inspection apparatus capable of efficiently performing a teaching operation on a position of an inspection field of view and an inspection order without a skilled person. Therefore, it is an object of the present invention to significantly reduce an operator's work load associated with this kind of teaching work.

【0011】[0011]

【課題を解決するための手段】この発明は、基板上の検
査対象領域内のすべての部品について、検査視野の位置
および検査順序を実装部品検査装置へ教示する教示方法
であって、前記検査対象領域内のすべての部品を含む外
接矩形を求め、その外接矩形のいずれかの隅点から前記
外接矩形の一辺に沿う方向へ前記検査視野を走査して部
品を探索し、いずれかの部品が探索されたとき、その部
品とその周辺の部品とを含む検査視野を定めてその位置
および検査順序を教示し、以下同様の教示手順を実行し
つつ同方向の走査が完了したとき、前記教示済の部品を
除くすべての部品を含む外接矩形を新たに求め、前記走
査の完了位置に近いつぎの外接矩形の隅点からその外接
矩形の一辺に沿う走査を継続するようにしたものであ
る。
According to the present invention, there is provided a teaching method for instructing a mounted component inspection apparatus on a position of an inspection visual field and an inspection order for all components in an inspection target area on a substrate. A circumscribed rectangle including all the components in the area is obtained, and the inspection visual field is scanned from any corner point of the circumscribed rectangle in a direction along one side of the circumscribed rectangle to search for a component. When the inspection is performed, the inspection field including the part and its peripheral parts is determined and the position and the inspection order are taught. A circumscribed rectangle including all parts except for the part is newly obtained, and scanning along one side of the circumscribed rectangle is continued from a corner point of the next circumscribed rectangle close to the scan completion position.

【0012】[0012]

【作用】教示済の部品を除くすべての部品を含む外接矩
形を求め、その外接矩形に従って検査視野を走査しつつ
検査視野の位置や検査順序を教示するので、熟練者でな
くても、この種の教示作業を効率良く行うことができ
る。
The circumscribed rectangle including all the parts except for the already-taught parts is obtained, and the position of the inspection visual field and the inspection order are taught while scanning the inspection visual field in accordance with the circumscribed rectangle. Can be efficiently performed.

【0013】[0013]

【実施例】図1は、実装部品検査装置の全体構成を示
す。この実装部品検査装置は、実装品質の良好な基準基
板1Sを撮像して得られた前記基準基板1S上にある各
部品2Sの検査領域の特徴パラメータと、被検査基板1
Tを撮像して得られた前記被検査基板1T上にある各部
品2Tの検査領域の特徴パラメータとを比較して、各部
品2Tの実装品質を検査するためのもので、X軸テーブ
ル部3,Y軸テーブル部4,投光部5,撮像部6,制御
処理部7などをその構成として含んでいる。
FIG. 1 shows the overall configuration of a mounted component inspection apparatus. This mounted component inspection apparatus includes a feature parameter of an inspection area of each component 2S on the reference board 1S obtained by imaging the reference board 1S having good mounting quality,
The X-axis table unit 3 is used to inspect the mounting quality of each component 2T by comparing the characteristic parameter of the inspection area of each component 2T on the substrate 1T to be inspected obtained by imaging the T. , A Y-axis table unit 4, a light projecting unit 5, an imaging unit 6, a control processing unit 7, and the like.

【0014】前記X軸テーブル部3およびY軸テーブル
部4は、それぞれ制御処理部7からの制御信号に基づい
て動作するモータ(図示せず)を備えており、これらモ
ータの駆動によりX軸テーブル部3が撮像部6をX軸方
向へ移動させ、またY軸テーブル部4が基板1S,1T
を支持するコンベヤ8をY軸方向へ移動させる。
Each of the X-axis table section 3 and the Y-axis table section 4 includes a motor (not shown) that operates based on a control signal from a control processing section 7, and the X-axis table section is driven by driving these motors. The unit 3 moves the imaging unit 6 in the X-axis direction, and the Y-axis table unit 4 controls the substrates 1S and 1T.
Is moved in the Y-axis direction.

【0015】前記投光部5は、異なる径を有しかつ制御
処理部7からの制御信号に基づき赤色光,緑色光,青色
光を同時に照射する3個の円環状光源9,10,11に
より構成されており、各光源9,10,11を観測位置
の真上位置に中心を合わせかつ観測位置から見て異なる
仰角に対応する方向に位置させている。
The light projecting unit 5 includes three annular light sources 9, 10, and 11 having different diameters and simultaneously irradiating red light, green light and blue light based on a control signal from the control processing unit 7. The light sources 9, 10, 11 are centered on the position directly above the observation position and are positioned in directions corresponding to different elevation angles as viewed from the observation position.

【0016】この実施例では、各光源9,10,11と
して白色光源に赤色,緑色,青色の各着色透明板を被せ
た構造のものが用いてあるが、これに代えて、赤色光,
緑色光,青色光をそれぞれ発生する3本の円環状のカラ
ー蛍光灯やネオン管を用いてもよい。
In this embodiment, each of the light sources 9, 10, and 11 has a structure in which a red, green, and blue colored transparent plate is covered with a white light source.
Three annular color fluorescent lamps or neon tubes that respectively generate green light and blue light may be used.

【0017】前記撮像部6はカラーテレビカメラであっ
て、観測位置の真上位置に下方に向けて位置決めしてあ
る。これにより観測対象である基板1S,1Tの表面の
反射光が撮像部6により撮像され、三原色のカラー信号
R,G,Bに変換されて制御処理部7へ供給される。
The image pickup section 6 is a color television camera, and is positioned downward just above the observation position. As a result, the reflected light from the surfaces of the substrates 1S and 1T to be observed is imaged by the imaging unit 6, converted into three primary color signals R, G, and B and supplied to the control processing unit 7.

【0018】前記制御処理部7は、A/D変換部12,
メモリ13,ティーチングテーブル14,画像処理部1
5,判定部16,XYテーブルコントローラ17,撮像
コントローラ18,制御部19,表示部20,プリンタ
21,キーボード22,フロッピディスク装置23など
で構成されるもので、ティーチングモードのとき、基準
基板1Sについてのカラー信号R,G,Bを処理し、実
装状態が良好な各部品2Sの検査領域について色相、明
度などの特徴パラメータを検出して判定データファイル
を作成する。
The control processing unit 7 includes an A / D conversion unit 12,
Memory 13, teaching table 14, image processing unit 1
5, a determination unit 16, an XY table controller 17, an imaging controller 18, a control unit 19, a display unit 20, a printer 21, a keyboard 22, a floppy disk device 23, and the like. , And detects characteristic parameters such as hue and lightness in the inspection area of each component 2S in a good mounting state to create a judgment data file.

【0019】また制御処理部7は検査モードのとき、被
検査基板1Tについてのカラー信号R,G,Bを処理
し、被検査基板1T上の各部品2Tの検査領域につき
赤,緑,青の各色相パターンを検出して特徴パラメータ
を生成し、被検査データファイルを作成する。そしてこ
の被検査データファイルと前記判定データファイルとを
比較して、この比較結果から被検査基板1T上の各部品
2Tにつきはんだ付けの良否などの実装品質を自動的に
判定する。
In the inspection mode, the control processing unit 7 processes the color signals R, G, and B for the substrate 1T to be inspected, and outputs red, green, and blue for the inspection area of each component 2T on the substrate 1T to be inspected. Each hue pattern is detected, feature parameters are generated, and an inspection data file is created. Then, the inspection data file is compared with the determination data file, and from the comparison result, the mounting quality such as the quality of soldering of each component 2T on the inspection substrate 1T is automatically determined.

【0020】図2は、はんだ付けが良好であるとき、部
品が欠落しているとき、はんだ不足の状態にあるときの
はんだ25の断面形態と、各場合の撮像部6による撮像
パターン,赤色パターン,緑色パターン,青色パターン
との関係を一覧表で例示したもので、いずれかの色相パ
ターン間には明確な差異が現れるため、部品の有無やは
んだ付けの良否を判定することが可能となる。
FIG. 2 shows the cross-sectional form of the solder 25 when the soldering is good, when the component is missing, and when the solder is insufficient, the imaging pattern by the imaging unit 6 and the red pattern in each case. , A green pattern, and a blue pattern in a list, and a clear difference appears between any of the hue patterns, so that it is possible to determine the presence or absence of components and the quality of soldering.

【0021】図1に戻って、A/D変換部12は前記撮
像部6からのカラー信号R,G,Bをディジタル信号に
変換して制御部19へ出力する。メモリ13はRAMな
どを備え、制御部19の作業エリアとして使用される。
画像処理部15は制御部19を介して供給された画像デ
ータを画像処理して前記被検査データファイルや判定デ
ータファイルを作成し、これらを制御部19や判定部1
6へ供給する。
Returning to FIG. 1, the A / D converter 12 converts the color signals R, G, B from the imaging unit 6 into digital signals and outputs them to the control unit 19. The memory 13 includes a RAM and the like, and is used as a work area of the control unit 19.
The image processing unit 15 performs image processing on the image data supplied via the control unit 19 to create the inspection data file and the determination data file.
Supply to 6.

【0022】ティーチングテーブル14はティーチング
時に制御部19から判定データファイルが供給されたと
き、これを記憶し、また検査時に制御部19が転送要求
を出力したとき、この要求に応じて判定データファイル
を読み出してこれを制御部19や判定部16などへ供給
する。
The teaching table 14 stores the judgment data file supplied from the control unit 19 during teaching, and stores the judgment data file in response to the request when the control unit 19 outputs a transfer request during inspection. This is read and supplied to the control unit 19, the determination unit 16, and the like.

【0023】判定部16は、検査時に制御部19から供
給された判定データファイルと、前記画像処理部15か
ら転送された被検査データファイルとを比較して、被検
査基板1Tの各部品2Tにつきはんだ付け状態の良否な
どを判定し、その判定結果を制御部19へ出力する。
The judging section 16 compares the judgment data file supplied from the control section 19 at the time of inspection with the data file to be inspected transferred from the image processing section 15, and determines each part 2T of the substrate 1T to be inspected. The quality of the soldering state is determined, and the determination result is output to the control unit 19.

【0024】撮像コントローラ18は、制御部19と投
光部5および撮像部6とを接続するインターフェイスな
どを備え、制御部19の出力に基づき投光部5の各光源
9〜11の光量を調整したり、撮像部6の各色相光出力
の相互バランスを保つなどの制御を行う。
The image pickup controller 18 has an interface for connecting the control section 19 to the light projecting section 5 and the image pickup section 6, and adjusts the light amounts of the light sources 9 to 11 of the light projecting section 5 based on the output of the control section 19. And controls to maintain the mutual balance of each hue light output of the imaging unit 6.

【0025】XYテーブルコントローラ17は制御部1
9と前記X軸テーブル部3およびY軸テーブル部4とを
接続するインターフェイスなどを備え、制御部19の出
力に基づきX軸テーブル部3およびY軸テーブル部4の
駆動を制御する。
The XY table controller 17 controls the controller 1
An interface for connecting the X-axis table unit 9 to the X-axis table unit 3 and the Y-axis table unit 4 is provided, and the driving of the X-axis table unit 3 and the Y-axis table unit 4 is controlled based on the output of the control unit 19.

【0026】表示部20は、制御部19から画像デー
タ、検査結果、キー入力データなどが供給されたとき、
これを表示画面上に表示し、またプリンタ21は、制御
部19から検査結果などが供給されたとき、これを予め
決められた書式でプリントアウトする。
When image data, inspection results, key input data, and the like are supplied from the control unit 19, the display unit 20
This is displayed on the display screen, and when the inspection result or the like is supplied from the control unit 19, the printer 21 prints this out in a predetermined format.

【0027】キーボード22は、操作情報や基準基板1
Sや被検査基板1Tに関するデータなどを入力するのに
必要な各種キーを備えており、キー入力データは前記制
御部19へ供給される。制御部19は、マイクロプロセ
ッサなどを備えており、後述する図3〜図5および図1
0に示す制御手順に従って、ティーチングおよび検査に
おける実装部品検査装置の動作を制御する。
The keyboard 22 is used for operating information and the reference board 1.
There are provided various keys necessary for inputting data relating to S and the substrate 1T to be inspected, and key input data is supplied to the control unit 19. The control unit 19 includes a microprocessor and the like, and is described later with reference to FIGS.
The operation of the mounted component inspection apparatus in teaching and inspection is controlled according to the control procedure shown in FIG.

【0028】図3は、前記検査用データのうち、観測視
野の位置や検査順序に関する情報以外の情報を教示する
ための制御部19による制御手順をステップ1(図中
「ST1」で示す)〜ST7で示す。まず同図のステッ
プ1において、オペレータはキーボード22を操作して
教示対象とする基板名の登録を行い、また基板サイズを
キー入力した後、つぎのステップ2で、各部品の実装品
質が良好な基準基板1SをY軸テーブル部4上にセット
してスタートキーを押操作する。
FIG. 3 shows a control procedure by the control unit 19 for teaching information other than the information on the position of the observation field of view and the inspection order in the inspection data from step 1 (indicated by "ST1" in the figure) to Indicated by ST7. First, in step 1 of the figure, the operator operates the keyboard 22 to register the name of the board to be taught, and inputs the board size by key, and then in step 2 the mounting quality of each component is good. The reference substrate 1S is set on the Y-axis table 4 and the start key is pressed.

【0029】つぎにステップ3で基準基板1Sの原点と
右上および左下の各角部を撮像部6にて撮像させて各点
の位置により実際の基準基板1Sのサイズを入力する
と、制御部19は入力データに基づきX軸テーブル部3
およびY軸テーブル部4を制御して基準基板1Sを初期
位置に位置出しする。
Next, in Step 3, the origin and the upper right and lower left corners of the reference substrate 1S are imaged by the imaging unit 6 and the actual size of the reference substrate 1S is input according to the position of each point. X-axis table unit 3 based on input data
Then, the reference substrate 1S is positioned at the initial position by controlling the Y-axis table unit 4.

【0030】基準基板1Sが初期位置に位置決めされる
と、つぎのステップ4で撮像部6が基準基板1S上の領
域を撮像して最初の部品2Sの実装位置を教示し、続く
ステップ5で前記部品2Sの画像から検査用データを生
成し教示する。なおこの検査用データは、予め部品種毎
のテーブルに記憶させておき、教示に際して、そのテー
ブルより該当する部品の検査用データを読み出して用い
ることもできる。
When the reference board 1S is positioned at the initial position, the imaging unit 6 takes an image of the area on the reference board 1S in the next step 4 and teaches the mounting position of the first component 2S. Inspection data is generated from the image of the component 2S and taught. Note that the inspection data may be stored in advance in a table for each component type, and at the time of teaching, the inspection data of the corresponding component may be read from the table and used.

【0031】同様の手順が基準基板1S上のすべての部
品について繰り返し実行されると、ステップ6の判定が
「YES」となってステップ7へ移行し、ステップ4,
5で作成した教示データより被検査基板1Tを検査する
のに必要な判定データファイルを作成し、これをティー
チングテーブル14に記憶させる。
When the same procedure is repeatedly executed for all the components on the reference board 1S, the determination in step 6 becomes "YES" and the process proceeds to step 7, and
A judgment data file necessary for inspecting the substrate to be inspected 1T is created from the teaching data created in step 5 and stored in the teaching table 14.

【0032】上記の教示手順が完了した後、つぎに検査
視野の位置および検査順序に関する情報を実装部品検査
装置に教示するための教示作業に移行する。図4はこの
教示作業における制御部19の制御手順の概略を、また
図5は図4のステップ3の詳細を、それぞれ示してい
る。
After the above teaching procedure is completed, the process proceeds to a teaching operation for teaching information on the position of the inspection visual field and the inspection order to the mounted component inspection apparatus. FIG. 4 shows an outline of a control procedure of the control unit 19 in the teaching operation, and FIG. 5 shows details of step 3 in FIG.

【0033】まず図4のステップ1,2で教示の対象と
なる基板名の入力、基準基板1SのY軸テーブル部4上
への搬入が行われると、つぎのステップ3で撮像装置に
よる検査視野の位置および検査順序に関する情報の教示
が行われる。この教示データはティーチングテーブル1
4に記憶される。基準基板1S上のすべての部品につい
て検査視野の割り付けが完了すると、ステップ4の判定
が「YES」となり、基準基板1SがY軸テーブル部4
より搬出されてティーチングが終了する(ステップ
5)。
First, in steps 1 and 2 in FIG. 4, the name of the board to be taught is input and the reference board 1S is loaded onto the Y-axis table section 4. In step 3, the inspection field of view by the imaging device is performed. Of the position and the inspection order are taught. This teaching data is stored in the teaching table 1
4 is stored. When the assignment of the inspection visual fields has been completed for all components on the reference substrate 1S, the determination in step 4 becomes "YES", and the reference substrate 1S is
Then, the teaching is completed (step 5).

【0034】前記図4のステップ3において、まず図5
のステップ3−1において、制御部19は、図6(1)
に示すように、基準基板1S上の検査対象領域35内の
すべての部品37を含む外接矩形36を設定した後、つ
ぎのステップ3−2でこの外接矩形36の左下の隅点位
置を走査開始点として検査視野30を設定する。
In step 3 of FIG. 4, first, in FIG.
In step 3-1 of FIG. 6, the control unit 19
After setting a circumscribed rectangle 36 including all the components 37 in the inspection target area 35 on the reference board 1S as shown in (3), scanning of the lower left corner of the circumscribed rectangle 36 is started in the next step 3-2. An inspection field 30 is set as a point.

【0035】つぎにX軸テーブル部3を駆動して撮像部
6をX軸方向の正方向へ移動させ、これにより検査視野
30を外接矩形36の下辺に沿って図6(1)の右方向
へ走査して、いずれか部品37を探索する(ステップ3
−3,3−4)。検査視野30内に、図6(2)に示す
ように、部品37が入ると、ステップ3−4の判定が
「YES」となり、制御部19はつぎのステップ3−5
でX軸テーブル部3およびY軸テーブル部4を駆動して
検査視野30の位置を微調整する。
Next, the X-axis table unit 3 is driven to move the imaging unit 6 in the positive direction of the X-axis, thereby moving the inspection visual field 30 along the lower side of the circumscribed rectangle 36 in the rightward direction in FIG. To search for any part 37 (step 3
-3, 3-4). When the part 37 enters the inspection visual field 30 as shown in FIG. 6 (2), the determination in step 3-4 becomes "YES", and the control unit 19 proceeds to the next step 3-5.
Then, the X-axis table unit 3 and the Y-axis table unit 4 are driven to finely adjust the position of the inspection visual field 30.

【0036】図6(3)は、制御部19による前記微調
整の具体的な方法を示す。まず前記部品37が検査視野
30内に入ると(図6(3)a)、この部品37が検査
視野30内の左端に位置するよう検査視野30を右方向
へ移動させる。この検査視野30の移動によって、図6
(3)bに示すように、近傍の部品38の全体と他の近
傍の部品39の一部分とが検査視野30内に入ると、つ
ぎに前記部品39が検査視野30内に完全に入るよう検
査視野30を上方向へ移動させる(図6(3)c)。
FIG. 6C shows a specific method of the fine adjustment by the control unit 19. First, when the part 37 enters the inspection visual field 30 (FIG. 6 (3) a), the inspection visual field 30 is moved rightward so that the part 37 is located at the left end in the inspection visual field 30. By moving the inspection visual field 30, FIG.
(3) As shown in (b), when the whole of the nearby component 38 and a part of the other nearby component 39 enter the inspection visual field 30, the inspection is performed so that the component 39 is completely in the inspection visual field 30. The visual field 30 is moved upward (FIG. 6C).

【0037】このようにして検査視野30の位置が決ま
ると、この3個の部品37,38,39についての検査
視野30の位置および検査順序が教示された後、これら
部品37,38,39は教示済として以後の教示対象か
ら除外する(ステップ3−6,3−7)。図7(1)は
この教示直後の状態を示しており、教示対象から除外さ
れた前記部品は、検査対象領域35内に存在しないもの
として図から削除してある。
When the position of the inspection field 30 is determined in this way, the position of the inspection field 30 and the inspection order for the three parts 37, 38, and 39 are taught, and then these parts 37, 38, and 39 are set. It is excluded from the subsequent teaching targets as being taught (steps 3-6, 3-7). FIG. 7A shows a state immediately after the teaching, and the parts excluded from the teaching target are deleted from the drawing as not existing in the inspection target area 35.

【0038】つぎのステップ3─8では、検査視野30
の右方向の走査が前記外接矩形36の右辺に達していな
いかを判定しており、その判定が「YES」であれば、
ステップ3−3に戻ってさらに走査が継続される。検査
視野30の位置が図7(2)で示す位置に達すると、検
査視野30内に新たな部品40が入ることになり、ステ
ップ3─4が「YES」となり、図7(3)に例示する
ような方法で検査視野30の位置が微調整される。
In the next step 3-8, the inspection visual field 30
Has been determined whether the rightward scanning of the right has not reached the right side of the circumscribed rectangle 36, and if the determination is "YES",
Returning to step 3-3, the scanning is further continued. When the position of the inspection visual field 30 reaches the position shown in FIG. 7 (2), a new part 40 enters the inspection visual field 30, and step 3─4 becomes “YES”, and is exemplified in FIG. 7 (3). The position of the inspection visual field 30 is finely adjusted in such a manner as to perform the above.

【0039】まず前記部品40が検査視野30内に入る
と(図7(3)a)、この部品40が検査視野30内の
左端に位置するよう検査視野30を右方向へ移動させ
る。この検査視野30の移動によって、図7(3)bに
示すように近傍の部品41の一部分が検査視野30内に
入ると、つぎに前記部品40が検査視野30の左下にく
るまで検査視野30を上方向へ移動させ、前記部品41
を検査視野30内に完全に取り込む(図7(3)c)。
つぎに検査視野30内に両部品40,41がバランス良
く収まるよう検査視野30を下方向へわずかに移動させ
る(図7(4)d)。
First, when the component 40 enters the inspection visual field 30 (FIG. 7 (3) a), the inspection visual field 30 is moved rightward so that the component 40 is located at the left end of the inspection visual field 30. As a result of the movement of the inspection field 30, as shown in FIG. 7 (3) b, when a part of the nearby component 41 enters the inspection field 30, the inspection field 30 is then moved to the lower left of the inspection field 30. Is moved upward, and the part 41 is moved upward.
Is completely taken into the inspection visual field 30 (FIG. 7C).
Next, the inspection visual field 30 is slightly moved downward so that the two components 40 and 41 are well-balanced in the inspection visual field 30 (FIG. 7D).

【0040】このようにして検査視野30のつぎの設定
位置が確定すると、この2個の部品40,41について
の検査視野30の位置および検査順序が教示された後、
これら部品40,41は教示済として以後の教示対象か
ら除外する(ステップ3−6,3−7)。
When the next set position of the inspection visual field 30 is determined in this way, the position of the inspection visual field 30 and the inspection order for the two components 40 and 41 are taught, and then,
These parts 40 and 41 are excluded from the subsequent teaching targets as being taught (steps 3-6 and 3-7).

【0041】以下、同様の手順が繰り返し実行された結
果、検査視野30の走査が外接矩形36の右辺に達する
と、ステップ3─8が「NO」となり、制御部19はつ
ぎのステップ3─9で検査対象領域35内に未教示の部
品が残っているか否かを判断する。この判定が「YE
S」であれば、ステップ3−10へ進み、制御部19
は、図8に示すように、教示済の部品を除くすべての部
品を含む外接矩形36を新たに設定した後、つぎのステ
ップ3−11でこの外接矩形36の右下の隅点を走査の
継続開始点として検査視野30を設定する。
Thereafter, as a result of the same procedure being repeatedly executed, when the scanning of the inspection visual field 30 reaches the right side of the circumscribed rectangle 36, step 3-8 becomes "NO", and the control unit 19 proceeds to the next step 3-9. It is determined whether or not an untaught component remains in the inspection target area 35. This judgment is "YE
If "S", the process proceeds to step 3-10, where the control unit 19
As shown in FIG. 8, after newly setting a circumscribed rectangle 36 including all the parts except for the taught parts, the lower right corner point of the circumscribed rectangle 36 is scanned in the next step 3-11. The inspection visual field 30 is set as a continuation start point.

【0042】つぎにX軸テーブル部3を駆動して撮像部
6をX軸方向の負方向へ移動させ、これにより検査視野
30を新たな外接矩形36の下辺に沿って図8の左方向
へ走査して、いずれか部品を探索する(ステップ3−1
2,3−13)。検査視野30内に、いずれか部品が入
ると、ステップ3−13の判定が「YES」となり、制
御部19はつぎのステップ3−14でX軸テーブル部3
およびY軸テーブル部4を駆動して、前記と同様の方法
で検査視野30の位置を微調整する。
Next, the X-axis table unit 3 is driven to move the imaging unit 6 in the negative direction of the X-axis direction, thereby moving the inspection visual field 30 to the left in FIG. 8 along the lower side of the new circumscribed rectangle 36. Scan to search for any part (step 3-1)
2, 3-13). If any part enters the inspection visual field 30, the determination in step 3-13 becomes "YES", and the control unit 19 determines in step 3-14 that the X-axis table unit 3
Then, the Y-axis table unit 4 is driven to finely adjust the position of the inspection visual field 30 in the same manner as described above.

【0043】この微調整により検査視野30の設定位置
が定まると、検査視野30内の部品についての検査視野
30の位置および検査順序が教示された後、その部品を
教示済として教示対象から除外する(ステップ3−1
5,3−16)。
When the set position of the inspection visual field 30 is determined by the fine adjustment, the position of the inspection visual field 30 and the inspection order for the components in the inspection visual field 30 are taught, and the part is excluded from the teaching target as being taught. (Step 3-1
5, 3-16).

【0044】つぎのステップ3─17では、検査視野3
0の左方向の走査位置が前記外接矩形36の左辺に達し
ていないかを判定しており、その判定が「YES」であ
れば、ステップ3−12に戻ってさらに走査が継続され
る。
In the next step 3-17, the inspection visual field 3
It is determined whether the left scanning position of 0 has not reached the left side of the circumscribed rectangle 36. If the determination is "YES", the process returns to step 3-12 to continue the scanning.

【0045】以下、同様の手順が繰り返し実行された結
果、検査視野30の走査が外接矩形36の左辺に達する
と、ステップ3─17が「NO」となり、制御部19は
つぎのステップ3─18で検査対象領域35内に未教示
の部品が残っているか否かを判断する。この判定が「Y
ES」であれば、ステップ3−19へ進み、制御部19
は、教示済の部品を除くすべての部品を含む外接矩形3
6を新たに設定した後、前記のステップ3−2へ戻り、
前記外接矩形36の左下の隅点から外接矩形36の下辺
に沿う走査を継続開始する。
Thereafter, as a result of the similar procedure being repeatedly executed, when the scanning of the inspection visual field 30 reaches the left side of the circumscribed rectangle 36, step 3-17 becomes "NO", and the control section 19 proceeds to the next step 3-18. It is determined whether or not an untaught component remains in the inspection target area 35. This judgment is "Y
If "ES", the process proceeds to step 3-19, where the control unit 19
Is the circumscribed rectangle 3 including all parts except the taught parts.
After newly setting 6, the process returns to the step 3-2, and
The scanning along the lower side of the circumscribed rectangle 36 is continuously started from the lower left corner point of the circumscribed rectangle 36.

【0046】以下同様の手順が繰り返し実行された結
果、ステップ3─9またはステップ3─18が「NO」
になると、検査視野30の位置および検査順序に関する
情報の教示作業を完了する。図9は、上記の教示手順を
実行して得られたすべての部品について割り付けられた
検査視野30の設定位置を示している。
Thereafter, the same procedure is repeatedly executed. As a result, step 3 # 9 or step 3 # 18 returns “NO”.
Then, the teaching operation of the information on the position of the inspection visual field 30 and the inspection order is completed. FIG. 9 shows the set positions of the inspection visual field 30 assigned to all the parts obtained by executing the above teaching procedure.

【0047】なおこの実施例では、検査視野30をまず
X軸方向の正方向へ、ついでX軸方向の負方向へと走査
を継続しているが、これに限らず、まずY軸方向の正方
向へ、ついでY軸方向の負方向へと走査を継続するよう
にしてもよい。さらに検査視野30をまずX軸方向の正
方向へ、ついでY軸方向の正方向へ、ついでX軸方向の
負方向へ、ついでY軸方向の負方向へと走査を継続する
こともできる。
In this embodiment, the scanning of the inspection visual field 30 is first continued in the positive direction of the X-axis direction, and then in the negative direction of the X-axis direction. However, the present invention is not limited to this. The scanning may be continued in the negative direction of the Y-axis direction. Further, the scanning of the inspection visual field 30 can be continued in the positive direction of the X-axis direction, then in the positive direction of the Y-axis direction, then in the negative direction of the X-axis direction, and then in the negative direction of the Y-axis direction.

【0048】図10は、制御部19による自動検査の制
御手順を示す。同図のステップ1,2で検査すべき基板
名を選択して基板検査の開始操作を行い、つぎのステッ
プ3で実装部品検査装置への被検査基板1Tの供給をチ
ェックする。その判定が「YES」であれば、コンベヤ
8が作動して、Y軸テーブル部4に被検査基板1Tを搬
入し、自動検査を開始する(ステップ4,5)。
FIG. 10 shows a control procedure of the automatic inspection by the control unit 19. In steps 1 and 2 of the drawing, a board name to be inspected is selected and a board inspection start operation is performed. In the next step 3, the supply of the board to be inspected 1T to the mounted component inspection apparatus is checked. If the determination is "YES", the conveyor 8 is operated, the substrate 1T to be inspected is carried into the Y-axis table 4, and automatic inspection is started (steps 4 and 5).

【0049】ステップ5において、制御部19はX軸テ
ーブル部3およびY軸テーブル部4を制御して、被検査
基板1T上の1番目の部品2Tに対し撮像部6の視野を
位置決めして撮像を行わせ、検査領域内の各ランド領域
を自動抽出すると共に、各ランド領域の特徴パラメータ
を算出して、被検査データファイルを作成する。ついで
制御部19は、この被検査データファイルと判定データ
ファイルとを比較して、1番目の部品2Tにつきハンダ
付けの良否などの実装品質を判定させる。
In step 5, the control unit 19 controls the X-axis table unit 3 and the Y-axis table unit 4 to position the field of view of the imaging unit 6 with respect to the first component 2T on the board 1T to be inspected, and perform imaging. Is performed, and each land area in the inspection area is automatically extracted, and a characteristic parameter of each land area is calculated to create an inspection data file. Next, the control unit 19 compares the inspected data file with the determination data file to determine the mounting quality of the first component 2T, such as the quality of soldering.

【0050】このような検査が被検査基板1T上の全て
の部品2Tにつき繰り返し実行され、その結果、はんだ
付け不良などがあるとステップ6の判定が「YES」と
なり、その不良部品と不良内容とが表示部20に表示さ
れ或いはプリンタ21に印字された後、被検査基板1T
はY軸テーブル部4より搬出される(ステップ7,
8)。かくして同様の検査手順が全ての被検査基板1T
につき実行されると、ステップ9の判定が「YES」と
なって検査が完了する。
Such an inspection is repeatedly executed for all the components 2T on the substrate 1T to be inspected. As a result, if there is a soldering failure or the like, the determination in step 6 becomes “YES”, and the defective component and the content of the failure are determined. Is displayed on the display unit 20 or printed on the printer 21, and then the substrate 1T
Is carried out from the Y-axis table unit 4 (step 7,
8). Thus, the same inspection procedure is performed for all the inspected substrates 1T.
Is executed, the determination in step 9 becomes “YES”, and the inspection is completed.

【0051】[0051]

【発明の効果】この発明は上記の如く、教示済の部品を
除くすべての部品を含む外接矩形を求め、その外接矩形
に従って検査視野を走査しつつ検査視野の設定位置や検
査順序を教示するようにしたから、熟練者でなくても、
その種の教示作業を効率良く行うことが可能となり、オ
ペレータの作業負担を大幅に軽減できるという効果があ
る。
As described above, according to the present invention, a circumscribed rectangle including all parts except for the taught parts is obtained, and the set position of the inspection visual field and the inspection order are taught while scanning the inspection visual field according to the circumscribed rectangle. Even if you are not an expert,
This type of teaching work can be performed efficiently, and there is an effect that the work load on the operator can be greatly reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実装部品検査装置の全体構成を示す説明図であ
る。
FIG. 1 is an explanatory diagram showing an overall configuration of a mounted component inspection device.

【図2】はんだ付け状態の良否とパターンとの関係を示
す説明図である。
FIG. 2 is an explanatory diagram showing the relationship between the quality of a soldering state and a pattern.

【図3】検査視野の位置および検査順序に関する情報以
外の情報の教示手順を示すフローチャートである。
FIG. 3 is a flowchart showing a procedure for teaching information other than information relating to the position of the inspection visual field and the inspection order.

【図4】検査視野の位置および検査順序に関する情報の
教示手順を示すフローチャートである。
FIG. 4 is a flowchart showing a teaching procedure of information on a position of an inspection field and an inspection order.

【図5】図4のステップ3の詳細な手順を示すフローチ
ャートである。
FIG. 5 is a flowchart showing a detailed procedure of step 3 in FIG. 4;

【図6】図5の教示手順を段階的に説明するための説明
図である。
FIG. 6 is an explanatory diagram for explaining the teaching procedure of FIG. 5 step by step;

【図7】図5の教示手順を段階的に説明するための説明
図である。
FIG. 7 is an explanatory diagram for explaining the teaching procedure of FIG. 5 step by step;

【図8】図5の教示手順を説明するための説明図であ
る。
FIG. 8 is an explanatory diagram for explaining the teaching procedure of FIG. 5;

【図9】検査視野の設定結果を示す説明図である。FIG. 9 is an explanatory diagram showing a setting result of an inspection visual field.

【図10】検査手順を示すフローチャートである。FIG. 10 is a flowchart showing an inspection procedure.

【図11】従来の検査視野の位置および検査順序の教示
方法を示す説明図である。
FIG. 11 is an explanatory view showing a conventional method of teaching the position of the inspection field and the inspection order.

【符号の説明】[Explanation of symbols]

1S 基準基板 3 撮像部 7 制御処理部 14 ティーチングテーブル 19 制御部 30 検査視野 35 検査対象領域 36 外接矩形 1S reference board 3 imaging unit 7 control processing unit 14 teaching table 19 control unit 30 inspection field of view 35 inspection target area 36 circumscribed rectangle

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−210411(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 102 G01N 21/84 - 21/958 H01L 21/64 - 21/66 H05K 3/32 - 3/34 512 H05K 13/08 ────────────────────────────────────────────────── (5) References JP-A-3-210411 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01B 11/00-11/30 102 G01N 21 / 84-21/958 H01L 21/64-21/66 H05K 3/32-3/34 512 H05K 13/08

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 基板上の検査対象領域内のすべての部品
について、検査視野の位置および検査順序を実装部品検
査装置へ教示する教示方法であって、 前記検査対象領域内のすべての部品を含む外接矩形を求
め、その外接矩形のいずれかの隅点から前記外接矩形の
一辺に沿う方向へ前記検査視野を走査して部品を探索
し、いずれかの部品が探索されたとき、その部品とその
周辺の部品とを含む検査視野を定めてその位置および検
査順序を教示し、以下同様の教示手順を実行しつつ同方
向の走査が完了したとき、前記教示済の部品を除くすべ
ての部品を含む外接矩形を新たに求め、前記走査の完了
位置に近いつぎの外接矩形の隅点からその外接矩形の一
辺に沿う走査を継続することを特徴とする実装部品検査
装置の教示方法。
1. A teaching method for instructing a mounted component inspection apparatus on a position of an inspection field and an inspection order for all components in an inspection target area on a substrate, the method including all components in the inspection target area. Obtain a circumscribed rectangle, scan the inspection field of view from any corner of the circumscribed rectangle in a direction along one side of the circumscribed rectangle, search for a part, and when any part is searched, the part and its When the inspection field including the peripheral components is determined, the position and the inspection order are taught, and when scanning in the same direction is completed while performing the same teaching procedure, all components except the taught components are included. A method for teaching a mounted component inspection apparatus, wherein a circumscribed rectangle is newly obtained, and scanning along one side of the circumscribed rectangle is continued from a corner point of the next circumscribed rectangle close to the scan completion position.
JP33097792A 1992-11-16 1992-11-16 Teaching method of mounted component inspection device Expired - Lifetime JP3189440B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33097792A JP3189440B2 (en) 1992-11-16 1992-11-16 Teaching method of mounted component inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33097792A JP3189440B2 (en) 1992-11-16 1992-11-16 Teaching method of mounted component inspection device

Publications (2)

Publication Number Publication Date
JPH06160042A JPH06160042A (en) 1994-06-07
JP3189440B2 true JP3189440B2 (en) 2001-07-16

Family

ID=18238465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33097792A Expired - Lifetime JP3189440B2 (en) 1992-11-16 1992-11-16 Teaching method of mounted component inspection device

Country Status (1)

Country Link
JP (1) JP3189440B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772287B2 (en) * 2004-02-24 2011-09-14 名古屋電機工業株式会社 Appearance inspection apparatus, appearance inspection method, and appearance inspection program

Also Published As

Publication number Publication date
JPH06160042A (en) 1994-06-07

Similar Documents

Publication Publication Date Title
JP2570239B2 (en) Mounting component inspection data generation method and mounting component inspection apparatus used for implementing the method
JP3189440B2 (en) Teaching method of mounted component inspection device
JP2782759B2 (en) Solder appearance inspection device
JP3173050B2 (en) Teaching data creation method and teaching data creation device using the method
JP3289070B2 (en) Mounted parts inspection device
JP3250309B2 (en) Teaching method of mounted part inspection data
JP2000004079A (en) Solder inspection equipment
JPH06258047A (en) Teaching method of bump data inspection data
JP3146644B2 (en) Teaching method of mounted part inspection data
JP3264020B2 (en) Inspection data creation method and mounted component inspection device
JP3189441B2 (en) Teaching data correction method for mounted component inspection equipment
JP3035574B2 (en) Teaching method of mounted component inspection device
JPH0526815A (en) Method for teaching mounted parts inspection data
JP3273378B2 (en) Characteristic parameter determination device in substrate inspection device
JP3185430B2 (en) Substrate inspection method and apparatus
JPH09145334A (en) Method and equipment for inspecting mounted device
JPH11258176A (en) Apparatus and method for inspection
JPH06174446A (en) Inspection device for mounted component
JP2790557B2 (en) Inspection data teaching method and mounting board inspection apparatus using this method
JPH09127007A (en) Mounted substrate inspection device
JPH06201340A (en) Mounted part inspection device
JP3250335B2 (en) Mounted parts inspection device
JPS63148152A (en) Substrate inspection device
JPH11298189A (en) Preparatory plan changing method and equipment
JPS6390707A (en) Inspection device for mounted substrate

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090518

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 12