JPH0765967B2 - Mounted board visual inspection device - Google Patents
Mounted board visual inspection deviceInfo
- Publication number
- JPH0765967B2 JPH0765967B2 JP2202116A JP20211690A JPH0765967B2 JP H0765967 B2 JPH0765967 B2 JP H0765967B2 JP 2202116 A JP2202116 A JP 2202116A JP 20211690 A JP20211690 A JP 20211690A JP H0765967 B2 JPH0765967 B2 JP H0765967B2
- Authority
- JP
- Japan
- Prior art keywords
- printed circuit
- circuit board
- scanning
- mounting
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Electric Connection Of Electric Components To Printed Circuits (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、プリント基板上に実装された部品の形状や実
装位置等を検出して実装不良の検査を行う実装基板外観
検査装置に関する。Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mounting board appearance inspection device that detects a mounting defect by detecting the shape, mounting position, etc. of a component mounted on a printed board.
従来の技術 従来より、プリント基板上に実装された部品の実装不良
を検査する装置は、ライン上における実装不良の基板の
好適な検出手段として広く用いられている。2. Description of the Related Art Conventionally, a device for inspecting a mounting failure of a component mounted on a printed circuit board has been widely used as a suitable detection means for a mounting failure board on a line.
第6図は従来の実装基板外観検査装置の構成を示す説明
図、第7図は、従来の実装基板外観検査装置における走
査領域とプリント基板との位置関係を示す説明図であ
る。同図において、11はプリント基板、12はプリント基
板11上に実装された部品、703は、部品12が実装された
状態のプリント基板11の実装面の高さ分布を測定する三
次元座標計測部である。FIG. 6 is an explanatory view showing the configuration of a conventional mounting board appearance inspection apparatus, and FIG. 7 is an explanatory view showing the positional relationship between a scanning area and a printed board in the conventional mounting board appearance inspection apparatus. In the figure, 11 is a printed circuit board, 12 is a component mounted on the printed circuit board 11, and 703 is a three-dimensional coordinate measuring unit that measures the height distribution of the mounting surface of the printed circuit board 11 with the component 12 mounted thereon. Is.
この3次元座標計測部703は、例えばレーザと受光素子
とを用い三角測量法の原理によって距離を測定する距離
センサ704と、この距離センサ704により得られた距離デ
ータに基づいて、部品12が実装されたプリント基板11の
実装面の高さ分布を算出する高さ分布計算回路705とか
ら概略構成されている。The three-dimensional coordinate measuring unit 703 mounts the component 12 on the basis of a distance sensor 704 that measures a distance according to the principle of triangulation using a laser and a light receiving element, and the distance data obtained by the distance sensor 704. And a height distribution calculation circuit 705 for calculating the height distribution of the mounting surface of the printed circuit board 11 thus formed.
706は、部品12が正確に実装された状態における、プリ
ント基板11の実装面に関する高さ分布のデータが格納さ
れている基準高さ分布テータ格納メモリ、707は、三次
元座標計測部703により検出されたプリント基板11の実
装面の高さ分布データと、基準高さデータ格納メモリ70
6に格納されている基準高さ分布データとの二乗誤差を
算出する二乗誤差計算回路であり、減算回路708及び二
乗計算回路709とから概略構成されている。Reference numeral 706 denotes a reference height distribution data storage memory in which data of height distribution regarding the mounting surface of the printed circuit board 11 in a state where the component 12 is accurately mounted is stored, and 707 is detected by the three-dimensional coordinate measuring unit 703. The height distribution data of the mounted surface of the printed circuit board 11 and the reference height data storage memory 70
A square error calculation circuit that calculates a squared error from the reference height distribution data stored in 6, and is roughly configured by a subtraction circuit 708 and a square calculation circuit 709.
710は、プリント基板11と同じ大きさのマスク領域内
の、プリント基板11上に実装される各部品12に対応する
位置に、複数の走査領域715、716、717、718が設定され
たマスクデータを格納しているマスクデータ格納メモリ
である。710 is mask data in which a plurality of scanning areas 715, 716, 717, 718 are set at positions corresponding to respective components 12 mounted on the printed board 11 in a mask area having the same size as the printed board 11. Is a mask data storage memory that stores
この走査領域715、716、717、718は、その外辺が各部品
12の標準実装位置の外枠から位置ずれ許容範囲寸法分だ
け内方にずれて位置するように設定されており、許容寸
法を越える部品12の位置ずれを検出するためのものであ
る。The scanning areas 715, 716, 717, and 718 have the outer edges of the respective parts.
It is set so as to be displaced inward from the outer frame of the standard mounting position of 12 by the displacement allowable range dimension, and is for detecting the displacement of the component 12 exceeding the allowable dimension.
711は、二乗誤差計算回路707により算出された二乗誤差
に、マスクデータ格納メモリ710に格納されたマスクデ
ータによるマスクをかけて、各走査領域715、716、71
7、718毎の二乗誤差を抽出すると共に、抽出された二乗
誤差を各走査領域715、716、717、718毎に累積加算する
累積加算回路である。711, the squared error calculated by the squared error calculation circuit 707 is masked by the mask data stored in the mask data storage memory 710, and each scanning area 715, 716, 71
This is a cumulative addition circuit that extracts a squared error for each 7 and 718 and cumulatively adds the extracted squared error for each of the scanning regions 715, 716, 717, and 718.
712は、累積加算回路711により各走査領域715、716、71
7、718毎に累積加算された累積加算値を明晰加算数で割
り算し、各走査領域715、716、717、718毎の平均二乗誤
差を算出する平均二乗誤差計算回路である。712 is a cumulative addition circuit 711 for each scanning area 715, 716, 71
This is a mean square error calculation circuit that calculates the mean square error for each scanning area 715, 716, 717, 718 by dividing the cumulative addition value cumulatively added for each 7, 718 by the number of clear additions.
713は、各走査領域715、716、717、718毎の平均二乗誤
差に対する基準しきい値が格納されている基準しきい値
格納メモリ、714は、上記平均二乗誤差と基準しきい値
とを比較してプリント基板11に対する部品12の実装状態
の良否を判定する比較判定回路である。Reference numeral 713 is a reference threshold value storage memory that stores reference threshold values for the mean square error for each scanning area 715, 716, 717, 718, and 714 is a comparison between the mean square error and the reference threshold value. A comparison / determination circuit that determines the quality of the mounting state of the component 12 on the printed circuit board 11.
次に、上記従来例の動作について説明する。Next, the operation of the above conventional example will be described.
まず、部品12が実装されたプリント基板11の実装面に関
する高さ分布を、三次元座標計測部703で計測する。First, the three-dimensional coordinate measuring unit 703 measures the height distribution of the mounting surface of the printed circuit board 11 on which the component 12 is mounted.
この三次元座標計測部703による計測を具体的に説明す
ると、距離センサ704からプリント基板11の実装面まで
の距離、即ち、距離センサ704からプリント基板11まで
の距離あるいは、距離センサ704から部品12までの距離
を距離センサ704から放射されるレーザにより測定し、
この測定データに基づいて高さ計算回路705がプリント
基板11の実装面に関する高さ分布データを算出する。The measurement by the three-dimensional coordinate measuring unit 703 will be specifically described. The distance from the distance sensor 704 to the mounting surface of the printed circuit board 11, that is, the distance from the distance sensor 704 to the printed circuit board 11, or the distance sensor 704 to the component 12. The distance to is measured by the laser emitted from the distance sensor 704,
Based on this measurement data, the height calculation circuit 705 calculates height distribution data regarding the mounting surface of the printed board 11.
三次元座標計測部703にて算出されたプリント基板11の
実装面に関する高さ分布のデータは、二乗誤差計算回路
707に送られ、ここで、基準高さデータ格納メモリ706に
格納されている基準高さ分布データとの二乗誤差が算出
される。The height distribution data regarding the mounting surface of the printed circuit board 11 calculated by the three-dimensional coordinate measuring unit 703 is a square error calculation circuit.
It is sent to 707, and the squared error with the reference height distribution data stored in the reference height data storage memory 706 is calculated here.
この二乗誤差計算回路707による二乗誤差の算出を具体
的に説明すると、三次元座標計測部703にて算出された
プリント基板11の実装面に関する高さ分布データと、基
準高さデータ格納メモリ706に格納されている基準高さ
分布データとの数値差が、減算回路708により算出さ
れ、この減算回路708により算出された値が二乗計算回
路709にて二乗されて二乗誤差が算出される。The calculation of the squared error by the squared error calculation circuit 707 will be specifically described. The height distribution data regarding the mounting surface of the printed circuit board 11 calculated by the three-dimensional coordinate measuring unit 703 and the reference height data storage memory 706 are stored. A numerical difference from the stored reference height distribution data is calculated by the subtraction circuit 708, and the square calculation circuit 709 squares the value calculated by the subtraction circuit 708 to calculate a squared error.
二乗誤差計算回路707にて算出された二乗誤差には、マ
スクデータ格納メモリ710に格納されたマスクデータに
よるマスクがかけられ、これによって、走査領域715、7
16、717、718における二乗誤差のみが抽出される。The squared error calculated by the squared error calculation circuit 707 is masked by the mask data stored in the mask data storage memory 710, whereby the scanning areas 715, 7
Only the squared error at 16,717,718 is extracted.
抽出された二乗誤差は、各走査領域715、716、717、718
毎に分けて、累積加算回路711により各々累積加算さ
れ、この累積加算値はさらに、平均二乗誤差計算回路71
2により累積加算数で割り算されて、各走査領域715、71
6、717、718毎の平均二乗誤差が算出される。The extracted squared error is in each scanning area 715, 716, 717, 718.
Each of them is cumulatively added by the cumulative addition circuit 711, and the cumulative addition value is further added to the mean square error calculation circuit 71.
Divided by the cumulative addition number by 2 to obtain each scan area 715, 71
The mean square error for every 6, 717, 718 is calculated.
さらに、各走査領域715、716、717、718毎の平均二乗誤
差は、比較判定回路714において、標準しきい値格納メ
モリ713に格納されたしきい値と比較され、これによっ
て、プリント基板11に対する部品12の実装状態の良否が
判定される。Further, the mean square error for each of the scanning areas 715, 716, 717, 718 is compared with the threshold value stored in the standard threshold value storage memory 713 in the comparison and determination circuit 714, whereby the printed circuit board 11 is processed. The quality of the mounting state of the component 12 is determined.
発明が解決しようとする課題 しかしながら、上記従来の実装基板外装検査装置では、
基準高さ分布データ格納メモリ706に格納されている基
準高さデータと、三次元座標計測部703により得た高さ
分布データとを比較する際、例えばプリント基板11が反
っていると、この反りによる高さ分布データの変動を補
正することができず、検査精度を向上させることができ
ないという問題点があった。DISCLOSURE OF THE INVENTION Problems to be Solved by the Invention However, in the conventional mounting board exterior inspection device,
When comparing the reference height data stored in the reference height distribution data storage memory 706 with the height distribution data obtained by the three-dimensional coordinate measuring unit 703, for example, if the printed circuit board 11 is warped, this warpage There is a problem in that it is not possible to correct the variation of the height distribution data due to, and it is not possible to improve the inspection accuracy.
また、上記従来の実装基板外装検査装置では、部品12の
面上にのみ走査領域715、716、717、718を設定するの
で、第7図に示すように、本来プリント基板11の同図中
破線で示される基準実装位置719に実装されるべき部品1
2が、同図中実線で示すような回転ずれを起こした位置7
20に実装された場合、各走査領域715、716、717、718が
全て部品12の実装位置720上に臨むので、実装不良を検
出することができないという問題点があった。Further, in the conventional mounting board exterior inspection apparatus described above, since the scanning areas 715, 716, 717, 718 are set only on the surface of the component 12, as shown in FIG. Parts to be mounted at the standard mounting position 719 indicated by
2 is the position where the rotation shift occurs as shown by the solid line in the figure 7
When mounted on 20, the scanning areas 715, 716, 717, 718 all face the mounting position 720 of the component 12, so that there is a problem that a mounting failure cannot be detected.
さらに、三次元座標計測部703により得た高さ分布デー
タにノイズが含まれていた場合、第8図(a)のような
実装状態の部品12及びプリント基板11の高さ分布データ
が第8図(b)のようになり、よって、平均二乗誤差計
算回路712により算出される平均二乗誤差が大きくな
り、本来実装状態が良と判定されるべきものが不良と判
定されることがあるという問題点があった。Furthermore, when the height distribution data obtained by the three-dimensional coordinate measuring unit 703 contains noise, the height distribution data of the mounted component 12 and the printed circuit board 11 as shown in FIG. As shown in FIG. 6B, the mean squared error calculated by the mean squared error calculation circuit 712 becomes large, and there may be cases where the originally mounted state should be determined to be good. There was a point.
本発明は上記問題点を解決するものであり、高さ分布デ
ータのノイズによる検査精度の劣化がなくプリント基板
の反りによる良否判定のミスがない、プリント基板に対
する部品の実装状態の良否を正確に判定することができ
る実装基板外観検査装置を提供することを目的とする。The present invention is to solve the above problems, there is no deterioration in inspection accuracy due to noise in the height distribution data, there is no mistake in the quality judgment due to the warp of the printed circuit board, and the quality of the mounted state of the component on the printed circuit board can be accurately determined. An object of the present invention is to provide a mounted board appearance inspection device capable of making a determination.
課題を解決するための手段 本発明は上記目的を達成するために、部品が実装された
プリント基板を移動させる移動手段と、レーザ光源と、
このレーザ光源からのレーザ光をプリント基板の実装面
上に走査させるレーザ光走査手段と、レーザ光の走査に
よりプリント基板の実装面から反射して得られる散乱光
の光軸を変化させる散乱光反射手段と、この散乱光反射
手段からの散乱光に基づいてプリント基板の実装面に関
する位置信号を出力する位置検出手段と、この位置信号
によりプリント基板の実装面に関する高さ分布データを
演算する画像演算処理手段と、プリント基板の部品実装
位置に対応して設定される複数の走査範囲の位置データ
を格納する走査範囲位置データ格納手段と、この各走査
範囲内を移動する移動走査領域のデータを格納する移動
走査領域データ格納手段と、各移動走査領域の移動位置
に対応する高さ分布データに基づいてプリント基板の実
装面に対する部品の実装状態の良否を判定する判定処理
手段とを備える構成とした。Means for Solving the Problems In order to achieve the above object, the present invention has a moving means for moving a printed circuit board on which components are mounted, a laser light source,
Laser light scanning means for scanning the laser light from the laser light source onto the mounting surface of the printed circuit board, and scattered light reflection for changing the optical axis of the scattered light reflected from the mounting surface of the printed circuit board by scanning the laser light. Means, position detecting means for outputting a position signal regarding the mounting surface of the printed circuit board based on the scattered light from the scattered light reflecting means, and image calculation for calculating height distribution data regarding the mounting surface of the printed circuit board by the position signal. Processing means, scanning range position data storage means for storing position data of a plurality of scanning ranges set corresponding to component mounting positions on the printed circuit board, and data for a moving scanning area that moves within each scanning range. Moving scanning area data storage means and parts for the mounting surface of the printed circuit board based on the height distribution data corresponding to the moving position of each moving scanning area The quality of mounted state has a configuration and a determination processing section.
作用 本発明は上記構成により、高さ分布データのノイズによ
る検査精度の劣化がなくプリント基板の反りによる良否
判定のミスがない、プリント基板に対する部品の実装状
態の良否を正確に判定することができる。Effect With the above-described configuration, the present invention can accurately determine the quality of the mounting state of the component on the printed circuit board without the deterioration of the inspection accuracy due to the noise of the height distribution data and the error of the quality determination due to the warp of the printed circuit board. .
実施例 以下、本発明の実施例を図面に基づいて説明する。第1
図は、本発明の一実施例による実装基板外観検査装置の
概略斜視図である。Embodiment An embodiment of the present invention will be described below with reference to the drawings. First
FIG. 1 is a schematic perspective view of a mounting board appearance inspection device according to an embodiment of the present invention.
第1図において、11はプリント基板、12はプリント基板
11上に実装された部品、13はプリント基板11を図中の矢
印14方向に移動させる搬送手段、15はレーザ光源、16は
レーザ光源15からのレーザ光である。In FIG. 1, 11 is a printed circuit board and 12 is a printed circuit board.
Reference numeral 13 is a component mounted on the substrate, 13 is a conveying means for moving the printed circuit board 11 in the direction of an arrow 14 in the figure, 15 is a laser light source, and 16 is a laser light from the laser light source 15.
17はポリゴンミラー、18はレーザ光16をポリゴンミラー
17に導くための反射鏡、19はfθレンズ、20は反射ミラ
ーであり、上記ポリゴンミラー17、反射鏡18、及びfθ
レンズ19により、レーザ光源15からのレーザ光16をプリ
ント基板11上に照射させてその実装面を走査させるレー
ザ光走査手段Pを構成している。17 is a polygon mirror, 18 is a laser beam 16 polygon mirror
A reflecting mirror for guiding to 17, a f.theta. Lens 19 and a reflecting mirror 20. The polygon mirror 17, the reflecting mirror 18, and f.theta.
The lens 19 constitutes laser light scanning means P for irradiating the laser light 16 from the laser light source 15 onto the printed board 11 to scan the mounting surface thereof.
また、上記ポリゴンミラー17、fθレンズ19、及び反射
ミラー20により、プリント基板11の実装面に照射されて
反射したレーザ光16の散乱光の光軸を変化させる散乱光
反射手段Rを構成している。Further, the polygon mirror 17, the fθ lens 19, and the reflection mirror 20 constitute a scattered light reflection means R for changing the optical axis of the scattered light of the laser light 16 which is irradiated and reflected on the mounting surface of the printed circuit board 11. There is.
21は、散乱光反射手段Rにより光軸方向が変えられた散
乱光を集光する集光レンズ、22は、集光レンズ21により
集光された散乱光が入射され、これに基づいて位置信号
23を出力する位置検出素子であり、これら集光レンズ21
と位置検出素子22とにより位置検出手段Tを構成してい
る。Reference numeral 21 is a condenser lens for condensing the scattered light whose optical axis direction has been changed by the scattered light reflecting means R, and reference numeral 22 is the position where the scattered light condensed by the condenser lens 21 is incident.
These are the position detection elements that output 23, and these condenser lenses 21
And the position detecting element 22 constitute a position detecting means T.
30は、位置信号23から部品12の高さ分布データを演算す
るための画像演算処理手段、40は、プリント基板11上の
部品12の実装状態の良否を判定する判定処理手段であ
る。Reference numeral 30 is an image calculation processing means for calculating the height distribution data of the component 12 from the position signal 23, and 40 is a determination processing means for determining the quality of the mounting state of the component 12 on the printed circuit board 11.
また、50は第3図(a)、(b)に示すように、プリン
ト基板11上の部品12の実装位置にあらかじめ設定された
走査範囲301、302、303の位置データを格納する走査範
囲位置データ格納手段、60は、上記走査範囲301、302、
303の範囲内で各々移動可能に設定される移動走査領域3
07、308、309の大きさに関するデータを格納する移動走
査領域データ格納手段である。Further, as shown in FIGS. 3 (a) and 3 (b), reference numeral 50 denotes a scanning range position for storing position data of scanning ranges 301, 302, 303 preset at the mounting position of the component 12 on the printed circuit board 11. The data storage means 60 is the scanning range 301, 302,
Moving scan area 3 set to be movable within the range of 303
It is a moving scanning area data storage means for storing data regarding the sizes of 07, 308 and 309.
上記画像演算処理手段30は第2図に示すように、位置検
出素子22から同期信号のタイミングで出力される位置信
号23をアナログ/デジタル変換するアナログ/デジタル
コンバータ31(以下、A/Dコンバータと記す)と、デジ
タル信号に変換された位置信号23に基づいてプリント基
板11の実装面に関する高さ分布データを演算する位置演
算回路32と、この高さ分布データを格納して判定処理手
段40に出力する高さ分布データ格納メモリ33とから構成
されている。As shown in FIG. 2, the image calculation processing means 30 includes an analog / digital converter 31 (hereinafter, referred to as an A / D converter) for analog / digital converting the position signal 23 output from the position detection element 22 at the timing of the synchronization signal. The position calculation circuit 32 calculates the height distribution data regarding the mounting surface of the printed circuit board 11 based on the position signal 23 converted into a digital signal, and the height distribution data is stored in the determination processing means 40. It is composed of an output height distribution data storage memory 33.
また、上記判定処理手段40は第2図に示すように、移動
走査領域307、308、309を走査範囲301、302、303の範囲
内で各々移動させる移動走査領域位置決定手段41と、移
動走査領域307、308、309の移動範囲における高さ分布
データを、高さ分布データ格納メモリ33から入力される
データの中から取り出して加算する加算回路42とを有し
ている。As shown in FIG. 2, the determination processing means 40 includes moving scanning area position determining means 41 for moving the moving scanning areas 307, 308, 309 within the scanning ranges 301, 302, 303, and moving scanning. The height distribution data in the moving ranges of the areas 307, 308, and 309 are added from the data input from the height distribution data storage memory 33 and the addition circuit 42 is added.
さらに上記判定処理手段40は、加算回路42の加算結果に
基づいて移動走査領域307、308、309の移動範囲におけ
る、高さ分布データが最大となる位置を検出する最大位
置検出回路43と、最大位置検出回路43の検出結果に基づ
いて実装状態の良否を判定する判定回路44と、この判定
回路44による判定の基準となるしきい値を記憶するしき
い値記憶手段45とを有している。Further, the determination processing means 40, the maximum position detection circuit 43 for detecting the position where the height distribution data is maximum in the movement range of the movement scanning regions 307, 308, 309 based on the addition result of the addition circuit 42, It has a judgment circuit 44 for judging the quality of the mounting state based on the detection result of the position detection circuit 43, and a threshold value storage means 45 for storing a threshold value as a reference for judgment by the judgment circuit 44. .
次に、上記実施例の動作について説明する。部品12が実
装されたプリント基板11を、搬送手段13の上に固定して
矢印14方向に移動させる。そして、レーザ光源15からの
レーザ光16を、3つの反射鏡を介して回転しているポリ
ゴンミラー17に導き、さらに、ポリゴンミラー17とfθ
レンズ19とによりプリント基板11上に照射させる。これ
により、プリント基板11は、レーザ光16により上下方向
に二次元的に全面走査される。Next, the operation of the above embodiment will be described. The printed circuit board 11 on which the component 12 is mounted is fixed on the transfer means 13 and moved in the direction of arrow 14. Then, the laser light 16 from the laser light source 15 is guided to the rotating polygon mirror 17 via the three reflecting mirrors, and further the polygon mirror 17 and fθ are guided.
The printed circuit board 11 is illuminated by the lens 19. As a result, the printed circuit board 11 is two-dimensionally scanned in the vertical direction by the laser beam 16.
レーザ光16の上下方向の走査によりプリント基板11上か
ら反射されてくる散乱光を、プリント基板11とfθレン
ズ19との間に設けた反射ミラー20により反射させ、fθ
レンズ19とポリゴンミラー17とを介して、さらに集光レ
ンズ21を通して位置検出素子22上に集光する。位置検出
素子22から出力された位置信号23は、画像演算処理手段
30に入力される。Scattered light reflected from the printed circuit board 11 by scanning the laser beam 16 in the vertical direction is reflected by the reflection mirror 20 provided between the printed circuit board 11 and the fθ lens 19, and fθ
The light is condensed on the position detection element 22 through the lens 19 and the polygon mirror 17 and further through the condenser lens 21. The position signal 23 output from the position detection element 22 is an image calculation processing means.
Entered in 30.
画像演算処理手段30では、同期信号のタイミングで入力
された位置信号23をプリント基板11及びプリント基板11
上に実装された部品12の高さ分布データに変換する演算
を行い、実測高さ分布データを判定処理手段40に出力
し、このような動作をプリント基板11上の全面について
行う。In the image calculation processing means 30, the position signal 23 input at the timing of the synchronizing signal is used for the printed circuit board 11 and the printed circuit board 11.
A calculation for converting the height distribution data of the component 12 mounted on the printed circuit board is performed, the measured height distribution data is output to the determination processing unit 40, and such an operation is performed on the entire surface of the printed board 11.
次に、画像演算処理手段30と判定処理手段40との動作に
ついて、第2図を用いて詳説する。Next, the operations of the image calculation processing means 30 and the determination processing means 40 will be described in detail with reference to FIG.
画像演算処理手段30は、位置検出素子22からの位置信号
23をA/Dコンバータ31でデジタル信号に変換し、このデ
ジタル信号を位置演算回路32に入力する。The image calculation processing means 30 uses the position signal from the position detection element 22.
The A / D converter 31 converts 23 into a digital signal, and the digital signal is input to the position calculation circuit 32.
本実施例では、位置検出素子22としてPSD(Position-Se
nsitive Detectors;半導体位置検出素子)を用いてお
り、PSDに入射する反射光の入射位置は、PSDの両端電極
に流れる電流が各電極間との距離に反比例するものを用
いている。In this embodiment, a PSD (Position-Se
Semiconductor position detectors) are used, and the incident position of the reflected light incident on the PSD is such that the current flowing through the electrodes at both ends of the PSD is inversely proportional to the distance between the electrodes.
位置演算回路32では、デジタル信号に変換されたPSDの
両電極からの電流I1及びI2を次式(I)を用いて演算
し、高さデータを求める。In the position calculation circuit 32, the currents I 1 and I 2 from both electrodes of the PSD, which are converted into digital signals, are calculated using the following formula (I) to obtain height data.
高さデータ=K・(I1−I2)/(I1+I2) (但し、Kは正規化するための係数)…(I) このようにして得られた高さ分布データは、一旦測定高
さデータ格納メモリ33に格納され、判定処理手段40に出
力される。Height data = K · (I 1 −I 2 ) / (I 1 + I 2 ) (where K is a coefficient for normalization) (I) The height distribution data thus obtained is once It is stored in the measurement height data storage memory 33 and output to the determination processing means 40.
判定処理手段40では、走査範囲位置データ格納手段50に
格納された走査範囲301、302、303内において、移動走
査領域データ格納手段60に格納された移動走査領域30
7、308、309を、移動走査領域位置決定手段41で決定さ
れた位置で移動させる。In the determination processing means 40, within the scanning ranges 301, 302, 303 stored in the scanning range position data storage means 50, the moving scanning area 30 stored in the moving scanning area data storing means 60
The 7, 308 and 309 are moved to the positions determined by the moving scanning area position determining means 41.
すると、加算回路42が上記移動位置に対応する位置の高
さ分布データを、測定データ格納メモリ33からの入力さ
れるデータの中から取り出し、各位置毎の高さ分布デー
タの和を求め、その結果を高さ分布情報信号として最大
位置検出回路43に出力する。Then, the adder circuit 42 takes out the height distribution data of the position corresponding to the moving position from the data input from the measurement data storage memory 33, obtains the sum of the height distribution data for each position, and The result is output to the maximum position detection circuit 43 as a height distribution information signal.
これに伴って、最大位置検出回路43では、加算回路42か
らの高さ分布情報信号に基づいて高さ分布データの和が
最大となる位置を検出して位置情報信号を判定回路44に
出力し、判定回路44では、最大位置検出回路43からの位
置情報信号としきい値記憶手段45に記憶してあるしきい
値とを比較して、入力された位置情報信号がしきい値の
範囲内にあるかどうかを判定して、部品12のプリント基
板11に対する実装状態を判定する。Along with this, the maximum position detection circuit 43 detects the position where the sum of the height distribution data is maximum based on the height distribution information signal from the addition circuit 42 and outputs the position information signal to the determination circuit 44. In the determination circuit 44, the position information signal from the maximum position detection circuit 43 is compared with the threshold value stored in the threshold value storage means 45, and the input position information signal is within the threshold value range. It is determined whether or not there is, and the mounting state of the component 12 on the printed board 11 is determined.
ここで、走査範囲301、302、303の位置と部品12との関
係を、第3図(a)、(b)に具体的に示す。第3図
(a)は良い実装状態、第3図(b)は不良実装状態を
示したものである。Here, the relationship between the positions of the scanning ranges 301, 302, 303 and the component 12 is specifically shown in FIGS. 3 (a) and 3 (b). FIG. 3A shows a good mounting state, and FIG. 3B shows a defective mounting state.
第3図(a)、(a)において304は、プリント基板11
を平面的に見た際の、部品12の正規の実装位置を示して
おり、このプリント基板11に対しては図中縦方向に1本
の走査範囲301が、また、図中横方向に2本の走査範囲3
02、303が、部品12の実装位置ずれを考慮して、それぞ
れ部品12の正規の実装位置304の縦幅、横幅より長めに
設定されている。In FIGS. 3A and 3A, 304 is the printed circuit board 11.
2 shows a regular mounting position of the component 12 when seen in a plan view. For this printed circuit board 11, one scanning range 301 in the vertical direction in the drawing and 2 in the horizontal direction in the drawing are shown. Book scanning range 3
02 and 303 are set to be longer than the vertical width and the horizontal width of the regular mounting position 304 of the component 12, respectively, in consideration of the mounting position deviation of the component 12.
さらに、第3図(a)、(b)における305、306は、そ
れぞれ実際にプリント基板11上に実装された部品12の位
置を示しており、実装位置305は図中左上に実装位置が
ずれた状態を、実装位置306は回転ずれを起こした状態
を各々示している。Further, 305 and 306 in FIGS. 3A and 3B respectively indicate the positions of the components 12 actually mounted on the printed circuit board 11, and the mounting position 305 is displaced to the upper left in the drawing. And the mounting position 306 shows a state in which a rotation deviation occurs.
本実施例における走査範囲位置データ格納手段50では、
各走査範囲301、302、303の固有値をA1、A2、A3とし、
各固有値A1、A2、A3に各々の走査範囲301、302、303
の、第3図(a)、(b)中左上と右下とのコーナーの
XY座標を対応させた走査範囲位置データを格納してい
る。In the scanning range position data storage means 50 in this embodiment,
The eigenvalues of each scanning range 301, 302, 303 are A1, A2, A3,
Scanning range 301, 302, 303 for each eigenvalue A1, A2, A3
Of the upper left and lower right corners in FIGS. 3 (a) and 3 (b).
The scanning range position data corresponding to the XY coordinates is stored.
一方、本実施例における移動走査領域データ格納手段60
では、移動走査領域307、308、309の大きさ、即ち、移
動走査領域307については図中Y方向の長さ、移動走査
領域308、309については図中X方向の長さが、それぞれ
格納されている。On the other hand, the moving scanning area data storage means 60 in this embodiment
Then, the sizes of the moving scanning regions 307, 308, 309, that is, the length in the Y direction in the drawing for the moving scanning region 307 and the length in the X direction for the moving scanning regions 308, 309 are stored. ing.
上記設定による移動走査領域307、308、309を、走査範
囲301、302、303の範囲内で移動させた場合、加算回路4
2では、測定高さ分布データ格納メモリ33から入力され
た高さ分布データの中から、対応する位置の高さ分布デ
ータを取り出して加算する。When the moving scanning areas 307, 308, 309 having the above settings are moved within the scanning ranges 301, 302, 303, the adding circuit 4
In 2, the height distribution data at the corresponding position is extracted from the height distribution data input from the measured height distribution data storage memory 33 and added.
例えば、走査範囲302内を、第3図(a)、(b)中右
から左に向けて移動走査領域308を移動させ、これに伴
って加算回路42で算出された値をグラフに示すと、第4
図のようになる。For example, when the moving scanning region 308 is moved from the right to the left in FIGS. 3A and 3B within the scanning range 302, the values calculated by the adding circuit 42 are shown in the graph. , 4th
It becomes like the figure.
即ち、移動走査領域308が部品12から外れた位置にある
場合、加算回路42で加算されるデータの和はプリント基
板11の高さの和となり、移動走査領域308が移動して部
品12に臨むと加算回路42で加算されるデータの和が増加
する。That is, when the moving scanning area 308 is located outside the component 12, the sum of the data added by the adding circuit 42 becomes the sum of the heights of the printed circuit boards 11, and the moving scanning area 308 moves to face the component 12. And the sum of the data added by the adder circuit 42 increases.
例えば移動走査領域308の大きさを、第3図(a)中の
部品12の横幅と同一とすると、移動走査領域308が部品1
2の直上に臨んだときに、加算回路42で加算されるデー
タの和が最大となり、この位置を最大位置検出回路43が
検出する。For example, assuming that the size of the moving scanning area 308 is the same as the width of the component 12 in FIG.
When the position immediately above 2 is reached, the sum of the data added by the adder circuit 42 becomes maximum, and the maximum position detection circuit 43 detects this position.
このため第4図に示すように、部品12が正規の実装位置
304に実装されている場合の、加算回路42で加算される
データの和が最大となる位置はB1、第3図(a)に示す
実際の実装位置305に部品12が実装されている場合はB
2、第3図(b)に示す実際の実装位置306に部品12が実
装されている場合はB3として検出される。しきい値記憶
手段45には、第4図のK1、K2で示す部品12の実装位置ず
れの許容範囲の値を示すしきい値が記憶されており、こ
れに基づいて判定手段44が、上述の如く検出された位置
B1、B2、B3がK1とK2との範囲内に納まっているか否かを
判定する。Therefore, as shown in FIG. 4, the component 12 is mounted at the proper mounting position.
When mounted on 304, the position where the sum of the data added by the adder circuit 42 is maximum is B1, and when the component 12 is mounted on the actual mounting position 305 shown in FIG. B
2. If the component 12 is mounted at the actual mounting position 306 shown in FIG. 3 (b), it is detected as B3. The threshold value storage means 45 stores a threshold value indicating an allowable range of the mounting position deviation of the component 12 shown by K1 and K2 in FIG. Position detected as
It is determined whether B1, B2 and B3 are within the range between K1 and K2.
これと同様の動作を走査範囲301、303についても行うこ
とにより、部品12の位置ずれ、回転ずれを検出すること
ができる。この場合、仮に前記位置信号23にノイズが含
まれていたり、プリント基板11に反りがある場合にも、
加算回路42で加算されるデータの和が最大となる位置に
影響が出ることはなく、よって、部品12の実装位置の検
出、及び、実装状態の良否の検出を正確に行うことがで
きる。By performing the same operation as above for the scanning ranges 301 and 303, it is possible to detect the positional deviation and the rotational deviation of the component 12. In this case, even if the position signal 23 contains noise or the printed circuit board 11 is warped,
There is no influence on the position where the sum of the data added by the adder circuit 42 is the maximum, and therefore, the mounting position of the component 12 and the quality of the mounting state can be accurately detected.
尚、上記実施例においては個々の走査範囲301、302、30
3毎に部品12の実装状態の良否の判定を行ったが、例え
ば、第5図に示すように回転ずれを起こして実装された
部品12に対する、図中横方向の走査範囲302、303をグル
ープ化すれば、正規の実装位置304に対する実際の実装
位置の回転角θ1を求めることができる。In the above embodiment, the individual scanning ranges 301, 302, 30
Whether the mounting state of the component 12 is good or bad is determined for every 3 units. For example, as shown in FIG. 5, the component 12 mounted with a rotation deviation is grouped by the horizontal scanning ranges 302 and 303 in the figure. If converted, the rotation angle θ 1 of the actual mounting position with respect to the regular mounting position 304 can be obtained.
この場合は、上記実施例で示した動作で求めた、各走査
範囲302、303内における部品12の図中横方向の位置を示
すX座標値X1、x2と、走査範囲302、303相互間の距離y
とから次式により求めることができ、 tanθ1=(x1−x2)/y 求めた回転角θ1の大きさによって、実装された部品12
の位置ずれの度合を求め、これを基に部品12の実装状態
の良否を判定することができる。In this case, the X coordinate values X 1 and x 2 indicating the position of the component 12 in the lateral direction in the drawing within the respective scanning ranges 302 and 303, which are obtained by the operation shown in the above embodiment, and the scanning ranges 302 and 303 Distance y
Can be obtained by the following formulas and, tanθ 1 = (x 1 -x 2) / y by the rotation angle theta 1 of a magnitude determined, component 12 mounted
It is possible to determine the quality of the mounting state of the component 12 based on the degree of positional deviation of the component 12 obtained.
また、上記実施例では走査範囲301、302、303の範囲内
で移動走査領域307、308、309を移動させ、移動位置に
おける高さ分布データの和が最大となる位置としきい値
とを比較して判定を行ったが、第4図中に示すように、
各走査範囲301、302、303内の高さ分布データの和に関
する最大値S1と最小値S2との差を求め、これにより、部
品12の2枚重ねや欠品を検出するようにしてもよい。In the above embodiment, the moving scanning areas 307, 308, 309 are moved within the scanning ranges 301, 302, 303, and the position where the sum of the height distribution data at the moving position becomes maximum is compared with the threshold value. Although the judgment was made by using, as shown in FIG.
The difference between the maximum value S 1 and the minimum value S 2 related to the sum of the height distribution data in each scanning range 301, 302, 303 is calculated, and by doing so, it is possible to detect the double stacking of the component 12 and the missing component. Good.
この場合、部品12の2枚重ねが生じているときには最大
値S1と最小値S2との差が大きくなり、部品12の欠品が生
じているときには最大値S1と最小値S2との差が小さくな
る。In this case, the difference between the maximum values S 1 and the minimum value S 2 is increased when the 2-ply part 12 has occurred, the maximum values S 1 and the minimum value S 2 when the shortage of the component 12 occurs The difference between
発明の効果 上述の如く本発明によれば、部品が実装されたプリント
基板を移動させる移動手段と、レーザ光源と、このレー
ザ光源からのレーザ光をプリント基板の実装面上に走査
させるレーザ光走査手段と、レーザ光の走査によりプリ
ント基板の実装面から反射して得られる散乱光の光軸を
変化させる散乱光反射手段と、この散乱光反射手段から
の散乱光に基づいてプリント基板の実装面に関する位置
信号を出力する位置検出手段と、この位置信号によりプ
リント基板の実装面に関する高さ分布データを演算する
画像演算処理手段と、プリント基板の部品実装位置に対
応して設定される複数の走査範囲の位置データを格納す
る走査範囲位置データ格納手段と、この各走査範囲内を
移動する移動走査領域のデータを格納する移動走査領域
データ格納手段と、各移動走査領域の移動位置に対応す
る高さ分布データに基づいてプリント基板の実装面に対
する部品の実装状態の良否を判定する判定処理手段とを
備える構成とした。EFFECTS OF THE INVENTION As described above, according to the present invention, moving means for moving a printed circuit board on which components are mounted, a laser light source, and laser light scanning for scanning the laser light from the laser light source on the mounting surface of the printed circuit board. Means, a scattered light reflecting means for changing the optical axis of scattered light obtained by reflecting from the mounting surface of the printed circuit board by scanning laser light, and a mounting surface of the printed circuit board based on the scattered light from this scattered light reflecting means. Position detecting means for outputting a position signal relating to the mounting surface of the printed circuit board, image processing means for calculating height distribution data regarding the mounting surface of the printed circuit board based on the position signal, and a plurality of scans set corresponding to the component mounting positions of the printed circuit board Scanning range position data storage means for storing the position data of the range, and moving scanning region data for storing the data of the moving scanning region that moves within each scanning range. The storage means and the determination processing means for determining the quality of the mounting state of the component on the mounting surface of the printed circuit board based on the height distribution data corresponding to the movement position of each movement scanning area are provided.
このため、高さ分布データのノイズによる検査精度の劣
化がなくプリント基板の反りにる良否判定のミスがな
い、プリント基板に対する部品の実装状態の良否を正確
に判定することができる。Therefore, it is possible to accurately determine the quality of the mounting state of the component on the printed circuit board without the deterioration of the inspection accuracy due to the noise of the height distribution data and the error of the quality determination caused by the warp of the printed circuit board.
第1図は、本発明の一実施例による実装基板外観検査装
置の概略斜視図、第2図は、第1図の要部詳細ブロック
図、第3図(a)、(b)は、第1図の実装基板外観検
査装置における走査範囲と部品実装位置との関係を示す
説明図、第4図は、移動走査領域を移動させた場合の高
さ分布データの和の変化を示す説明図、第5図は、本発
明の他の実施例における位置ずれ検出動作を説明する説
明図、第6図は、従来の実装基板外観検査装置の概略斜
視図、第7図は、第6図の実装基板外観検査装置におけ
るマスク領域及び走査領域と部品実装位置との関係を示
す説明図、第8図(a)はプリント基板に実装された部
品の実装状態を示す説明図、第8図(b)は、第8図
(a)に示すプリント基板の実装面を走査して得られ
る、ノイズを含んだ高さ分布データを示す説明図であ
る。 11……プリント基板、12……部品、13……搬送手段、15
……レーザ光源、16……レーザ光、23……位置信号、30
……画像演算処理手段、40……判定処理手段、50……走
査範囲位置データ格納手段、60……移動走査領域データ
格納手段、301、302、303……走査範囲、307、308、309
……移動走査領域、P……レーザ光走査手段、R……散
乱光反射手段、T……位置検出手段。FIG. 1 is a schematic perspective view of a mounting board appearance inspection apparatus according to an embodiment of the present invention, FIG. 2 is a detailed block diagram of a main part of FIG. 1, and FIGS. 3 (a) and 3 (b) are 1 is an explanatory view showing a relationship between a scanning range and a component mounting position in the mounting board appearance inspection device of FIG. 1, and FIG. 4 is an explanatory view showing a change of a sum of height distribution data when a moving scanning region is moved, FIG. 5 is an explanatory view for explaining a positional deviation detecting operation in another embodiment of the present invention, FIG. 6 is a schematic perspective view of a conventional mounting board appearance inspection device, and FIG. 7 is a mounting of FIG. Explanatory drawing which shows the relationship between the mask area | region and scanning area | region in a board | substrate visual inspection apparatus, and component mounting position, FIG. 8 (a) is explanatory drawing which shows the mounting state of the component mounted on the printed circuit board, FIG. 8 (b). Is a high level including noise, which is obtained by scanning the mounting surface of the printed circuit board shown in FIG. Is an explanatory view showing the distribution data. 11 …… Printed circuit board, 12 …… Parts, 13 …… Transportation means, 15
...... Laser light source, 16 …… Laser light, 23 …… Position signal, 30
... image calculation processing means, 40 ... determination processing means, 50 ... scanning range position data storage means, 60 ... moving scanning area data storage means, 301, 302, 303 ... scanning range, 307, 308, 309
...... Movement scanning area, P ...... Laser light scanning means, R ...... scattered light reflecting means, T ...... position detecting means.
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−10252(JP,A) 特開 平2−114156(JP,A) 特開 昭49−83470(JP,A) 特開 平3−261850(JP,A) 特開 平2−82367(JP,A) ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-2-10252 (JP, A) JP-A-2-114156 (JP, A) JP-A-49-83470 (JP, A) JP-A-3- 261850 (JP, A) JP-A-2-82367 (JP, A)
Claims (1)
る移動手段と、レーザ光源と、このレーザ光源からのレ
ーザ光をプリント基板の実装面上に走査させるレーザ光
走査手段と、レーザ光の走査によりプリント基板の実装
面から反射して得られる散乱光の光軸を変化させる散乱
光反射手段と、この散乱光反射手段からの散乱光に基づ
いてプリント基板の実装面に関する位置信号を出力する
位置検出手段と、この位置信号によりプリント基板の実
装面に関する高さ分布データを演算する画像演算処理手
段と、プリント基板の部品実装位置に対応して設定され
る複数の走査範囲の位置データを格納する走査範囲位置
データ格納手段と、この各走査範囲内を移動する移動走
査領域のデータを格納する移動走査領域データ格納手段
と、各移動走査領域の移動位置に対応する高さ分布デー
タに基づいてプリント基板の実装面に対する部品の実装
状態の良否を判定する判定処理手段とを備えた実装基板
外観検査装置。1. A moving means for moving a printed circuit board on which components are mounted, a laser light source, a laser light scanning means for scanning a laser light from the laser light source on a mounting surface of the printed circuit board, and a laser light scanning. The scattered light reflecting means for changing the optical axis of the scattered light obtained by being reflected from the mounting surface of the printed circuit board, and the position for outputting the position signal related to the mounting surface of the printed circuit board based on the scattered light from the scattered light reflecting means. Detecting means, image calculation processing means for calculating height distribution data on the mounting surface of the printed circuit board based on this position signal, and position data of a plurality of scanning ranges set corresponding to component mounting positions of the printed circuit board are stored. Scanning range position data storage means, moving scanning area data storage means for storing data of a moving scanning area that moves within each scanning range, and each moving scanning area. Mounting board inspection system that includes a determination processing means the quality of mounting state of the component with respect to the mounting surface of the printed circuit board based on the height distribution data corresponding to the moving position of the.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2202116A JPH0765967B2 (en) | 1990-07-30 | 1990-07-30 | Mounted board visual inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2202116A JPH0765967B2 (en) | 1990-07-30 | 1990-07-30 | Mounted board visual inspection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0486548A JPH0486548A (en) | 1992-03-19 |
JPH0765967B2 true JPH0765967B2 (en) | 1995-07-19 |
Family
ID=16452228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2202116A Expired - Fee Related JPH0765967B2 (en) | 1990-07-30 | 1990-07-30 | Mounted board visual inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0765967B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05327300A (en) * | 1992-05-26 | 1993-12-10 | Matsushita Electric Ind Co Ltd | Mounting board external appearance inspecting apparatus |
JP2862833B2 (en) * | 1996-04-22 | 1999-03-03 | 株式会社シム | Solder appearance inspection device |
JP6349734B2 (en) * | 2014-01-14 | 2018-07-04 | オムロン株式会社 | Quality control device, quality control method, and program |
CN114705129B (en) * | 2022-05-06 | 2024-01-26 | 沛顿科技(深圳)有限公司 | Packaging substrate deformation measuring equipment and method thereof |
-
1990
- 1990-07-30 JP JP2202116A patent/JPH0765967B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0486548A (en) | 1992-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3197529B2 (en) | Non-contact measurement method of wheel alignment characteristics and its measurement device | |
JP2890578B2 (en) | IC lead inspection device and IC lead inspection method | |
JPS5999304A (en) | Method and apparatus for comparing and measuring length by using laser light of microscope system | |
US20230296373A1 (en) | Three-dimensional measurement device | |
KR20120087680A (en) | The measurement method of PCB bump height by using three dimensional shape detector using optical triangulation method | |
JPH02114156A (en) | Inspection device of mounted substrate | |
JP4275661B2 (en) | Displacement measuring device | |
JPH0765967B2 (en) | Mounted board visual inspection device | |
JPH02278103A (en) | Method and device for three-dimensionally inspecting printed circuit substrate | |
JP3823488B2 (en) | IC lead float inspection device and inspection method | |
JPH09203624A (en) | Calibration unit for outline of semiconductor package | |
JP2743663B2 (en) | Mounting board appearance inspection device | |
JP2743617B2 (en) | Mounting board appearance inspection device | |
JP2525261B2 (en) | Mounted board visual inspection device | |
JP2705458B2 (en) | Mounting board appearance inspection device | |
JPH11173840A (en) | Device and method for measuring distance | |
JP2008032669A (en) | Optical scanning type planal visual inspecting apparatus | |
JPH06185994A (en) | Inspecting device for mounted substrate | |
JPH0399207A (en) | Inspection apparatus for mounting board | |
JPH0399209A (en) | Inspection apparatus for mounting board | |
JPS60138921A (en) | Inspecting device of pattern shape | |
JP4995041B2 (en) | Printed solder inspection method and printed solder inspection apparatus | |
JPS62272107A (en) | Inspecting method for packaging component | |
JP2929828B2 (en) | IC lead inspection method and device | |
JPH05327300A (en) | Mounting board external appearance inspecting apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070719 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |