JPH11251797A - Method and apparatus for component recognizing - Google Patents

Method and apparatus for component recognizing

Info

Publication number
JPH11251797A
JPH11251797A JP10047849A JP4784998A JPH11251797A JP H11251797 A JPH11251797 A JP H11251797A JP 10047849 A JP10047849 A JP 10047849A JP 4784998 A JP4784998 A JP 4784998A JP H11251797 A JPH11251797 A JP H11251797A
Authority
JP
Japan
Prior art keywords
height
electronic component
component
joint
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10047849A
Other languages
Japanese (ja)
Other versions
JP3883279B2 (en
Inventor
Masamichi Morimoto
正通 森本
Eiichi Hachitani
栄一 蜂谷
Atsushi Tanabe
敦 田邉
Akira Noudo
章 納土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP04784998A priority Critical patent/JP3883279B2/en
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to SG200005491A priority patent/SG91884A1/en
Priority to EP00126696A priority patent/EP1089608B1/en
Priority to SG200005492A priority patent/SG108814A1/en
Priority to DE69934116T priority patent/DE69934116T2/en
Priority to DE69933870T priority patent/DE69933870T2/en
Priority to CNB998032751A priority patent/CN1205847C/en
Priority to EP00126692A priority patent/EP1089607B1/en
Priority to PCT/JP1999/000874 priority patent/WO1999044408A1/en
Priority to DE69934103T priority patent/DE69934103T2/en
Priority to EP99909178A priority patent/EP1062853B1/en
Priority to US09/623,085 priority patent/US6606788B1/en
Publication of JPH11251797A publication Critical patent/JPH11251797A/en
Application granted granted Critical
Publication of JP3883279B2 publication Critical patent/JP3883279B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To obtain the positional information at a joint of an electronic component accurately while ensuring mounting thereof by deviating a noise object existing closely to the joint of a lead or an electrode on the electronic component mounting surface from the measuring region of reflected light detected at a height detecting section. SOLUTION: An electronic component having the joint of a lead, or the like, is sucked to a heat section 7 and moved onto a height sensor 8 provided with two systems of semiconductor position detecting elements PSD 17a, 17b. Light from a laser 10 is condensed and focused through a lens 11, deflected by a polygon mirror 12, and projected to the component 2 by converting the optical path through an F-θlens 15. Reflected light is passed through lenses 16a, 16b to be focused on PSDs 17a, 17b and output signal 18a, 18b for measuring the height of laser reflecting surface are generated therefrom. Since a height region is preset in a height measurable region and the height is detected only in that range, a noise object is deviated therefrom and not detected.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、電子部品をプリン
ト基板又は液晶やプラズマディスプレイパネル基板など
に自動的に実装する電子部品実装において実装すべき電
子部品の装着面に存在するリードや電極などの接合部の
位置検出を行う部品認識方法及び装置、並びに、上記部
品認識方法により検出された、上記電子部品の装着面に
存在するリードや電極などの接合部の位置情報に基づ
き、上記電子部品を基板上に実装するようにした電子部
品実装方法、及び上記部品認識装置により検出された、
上記電子部品の装着面に存在するリードや電極などの接
合部の位置情報に基づき、上記電子部品を基板上に実装
するようにした電子部品実装装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for automatically mounting an electronic component on a printed circuit board, a liquid crystal display, a plasma display panel substrate, or the like. A component recognition method and device for detecting the position of a joint, and the electronic component based on positional information of a joint such as a lead or an electrode present on the mounting surface of the electronic component, detected by the component recognition method. Electronic component mounting method to be mounted on a substrate, and detected by the component recognition device,
The present invention relates to an electronic component mounting apparatus that mounts the electronic component on a substrate based on positional information of a joint such as a lead or an electrode present on a mounting surface of the electronic component.

【0002】[0002]

【従来の技術】従来、この種の部品認識方法としては種
々の構造のものが知られている。例えば、電子部品に対
して可視光を照射し、対象物で反射した反射光をCCD
カメラで受けて、電子部品の装着面に存在するリードや
電極などの接合部の位置検出を行うようにしたものが考
えられている。
2. Description of the Related Art Conventionally, various types of component recognition methods have been known. For example, an electronic component is irradiated with visible light, and the reflected light reflected from the
There has been proposed a device that detects a position of a joint, such as a lead or an electrode, existing on a mounting surface of an electronic component by receiving the image with a camera.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記構
造のものでは、電子部品の装着面に存在するリードや電
極等の付近に突起などが存在して可視光を該突起で反射
されると、リードや電極等からの反射光のほかに突起等
からの反射光もCCDカメラに入り、突起などがリード
や電極等の認識すべき接合部に対してノイズとなり、突
起が誤ってリード又は電極として認識されてしまうとい
った問題があった。従って、本発明の目的は、上記問題
を解決することにあって、電子部品の装着面に存在する
リードや電極等の接合部の付近の突起などを誤って接合
部として認識することなく、上記電子部品の接合部の位
置情報を正確に得ることができる部品認識方法及び装
置、並びに、正確に得られた上記接合部の位置情報に基
づき上記電子部品をより正確に実装することができる電
子部品実装方法及び装置を提供することにある。
However, in the above-described structure, when visible light is reflected by the projections near the leads or electrodes existing on the mounting surface of the electronic component, the leads are not provided. In addition to the reflected light from the electrodes and the electrodes, the reflected light from the projections etc. also enters the CCD camera, and the projections and the like become noise at the joints to be recognized such as the leads and electrodes, and the projections are erroneously recognized as the leads or electrodes There was a problem that would be done. Therefore, an object of the present invention is to solve the above-described problems, and it is not necessary to erroneously recognize a protrusion or the like near a joint such as a lead or an electrode present on a mounting surface of an electronic component as the joint without mistakenly. A component recognition method and apparatus that can accurately obtain positional information of a joint of an electronic component, and an electronic component that can more accurately mount the electronic component based on the accurately obtained position information of the joint It is to provide a mounting method and an apparatus.

【0004】[0004]

【課題を解決するための手段】上記目的を達成するため
に、本発明は以下のように構成する。本発明の第1態様
によれば、電子部品の装着面に存在するリードや電極な
どの接合部に光を照射し、上記接合部からの反射光を基
に高さ検出部で上記接合部の位置検出を行う部品認識方
法であって、上記接合部の背後あるいは近接位置に存在
しかつ上記光を反射するノイズ物体が上記高さ検出部で
検出する反射光の高さ計測領域外となるように上記高さ
検出部の高さ計測領域を限定して、上記ノイズ物体を除
去するようにしたことを特徴とする部品認識方法を提供
する。本発明の第2態様によれば、上記高さ検出部は、
高さ検出センサーとして半導体位置検出素子により上記
接合部の高さを検出する第1態様に記載の部品認識方法
を提供する。本発明の第3態様によれば、上記ノイズ除
去は、高さ計測可能領域内において高さ計測基準面を中
心に上記接合部の高さ位置を検出しうる上記高さ計測領
域を予め設定しておき、この高さ計測領域の範囲内での
み上記接合部の高さ検出を行うようにした第1又は2態
様に記載の部品認識方法を提供する。本発明の第4態様
によれば、上記ノイズ除去は、上記計測可能領域内にお
いて高さ計測基準面を中心に上記接合部の高さ位置を検
出しうる上記高さ計測領域を高さ変換テーブルをとして
予め設定しておき、上記高さ変換テーブルにより、上記
接合部の高さデータのうち上記高さ計測領域外にある高
さデータを無効な高さデータとして取り扱い、上記高さ
計測領域の範囲内にある高さデータを有効な高さデータ
として取り扱い、上記有効な高さデータを基に上記接合
部の高さ検出を行うようにした第1〜3態様のいずれか
に記載の部品認識方法を提供する。本発明の第5態様に
よれば、高さ計測領域の範囲内でのみ検出された上記電
子部品の画像に対して上記電子部品の大きさから処理エ
リアを決定し、上記電子部品の画像において上記決定さ
れた処理エリアのウィンドウ内をサンプリングして上記
電子部品の中心及び傾きを大まかに検出し、上記部品の
大きさと上記電子部品の大まかな位置とを基に、上記電
子部品の画像において全ての上記接合部の位置を検出
し、全ての上記接合部の位置から上記電子部品の画像に
おける上記電子部品の正確な位置を検出するようにした
第1〜4態様のいずれかに記載の部品認識方法を提供す
る。本発明の第6態様によれば、第1〜5態様のいずれ
かに記載の部品認識方法により検出された、上記電子部
品の上記接合部の位置情報に基づき、上記電子部品を基
板上に実装するようにした電子部品実装方法を提供す
る。本発明の第7態様によれば、ヘッド部の部品保持部
材で上記電子部品を保持し、上記高さ計測領域の調整が
必要か否かを判断し、上記高さ計測領域の調節が必要な
場合には上記高さ計測領域の調整を行い、上記高さ計測
領域に基づき上記部品保持部材の高さを調整し、上記部
品の高さデータを取り込み、上記高さ検出部により上記
電子部品の位置を検出し、上記高さ検出部により認識さ
れた高さ位置情報に基づき、上記ヘッド部を駆動して上
記部品保持部材により上記電子部品を上記基板の所定の
位置に装着するようにした第6態様に記載の電子部品実
装方法を提供する。本発明の第8態様によれば、電子部
品の装着面に存在するリードや電極などの接合部に光を
照射する照射装置と、上記照射装置から照射された光が
上記接合部で反射した反射光を基に上記接合部の位置検
出をする高さ検出部と、上記接合部の背後あるいは近接
位置に存在しかつ上記光を反射するノイズ物体が上記高
さ検出部で検出する反射光の計測領域外となるように上
記高さ検出部の計測領域を限定して、上記ノイズ物体を
除去するノイズ除去部とを備えるようにしたことを特徴
とする部品認識装置を提供する。本発明の第9態様によ
れば、上記高さ検出部は、高さ検出センサーとして半導
体位置検出素子により上記接合部の位置を検出する第8
態様に記載の部品認識装置を提供する。本発明の第10
態様によれば、上記ノイズ除去部は、高さ計測可能領域
内において高さ計測基準面を中心に上記接合部の高さ位
置を検出しうる高さ計測領域を予め設定しておき、この
高さ計測領域の範囲内でのみ上記接合部の高さ検出を行
うようにした第8又は9態様に記載の部品認識装置を提
供する。本発明の第11態様によれば、上記ノイズ除去
部は、上記計測可能領域内において高さ計測基準面を中
心に上記接合部の高さ位置を検出しうる上記高さ計測領
域を高さ変換テーブルをとして予め設定しておき、上記
高さ変換テーブルにより、上記接合部の高さデータのう
ち上記高さ計測領域外にある高さデータを無効な高さデ
ータとして取り扱い、上記高さ計測領域の範囲内にある
高さデータを有効な高さデータとして取り扱い、上記有
効な高さデータを基に上記接合部の高さ検出を行うよう
にした第8〜10態様のいずれかに記載の部品認識装置
を提供する。本発明の第12態様によれば、高さ計測領
域の範囲内でのみ検出された上記電子部品の画像に対し
て上記電子部品の大きさから処理エリアを決定する処理
エリア決定手段と、上記電子部品の画像において上記決
定された処理エリアのウィンドウ内をサンプリングして
上記電子部品の中心及び傾きを大まかに検出する重心及
び傾き検出手段と、上記部品の大きさと上記電子部品の
大まかな位置とを基に、上記電子部品の画像において全
ての上記接合部の位置を検出する接合部位置検出手段
と、全ての上記接合部の位置から上記電子部品の画像に
おける上記電子部品の正確な位置を検出する接合部中心
及び傾き検出手段とを備えるようにした第8〜11態様
のいずれかに記載の部品認識装置を提供する。本発明の
第13態様によれば、第8〜12態様のいずれかに記載
の部品認識装置により検出された、上記電子部品の上記
接合部の位置情報に基づき、上記電子部品を基板上に実
装するようにした電子部品実装装置を提供する。本発明
の第14態様によれば、部品保持部材で上記電子部品を
保持するとともに、上記高さ計測領域に基づき上記部品
保持部材の高さを調整するヘッド部と、上記高さ検出部
により認識された高さ位置情報に基づき、上記ヘッド部
を駆動して上記部品保持部材により上記電子部品を上記
基板の所定の位置に装着する制御部とを備えるようにし
た第13態様に記載の電子部品実装装置を提供する。
In order to achieve the above object, the present invention is configured as follows. According to the first aspect of the present invention, light is emitted to a joint such as a lead or an electrode present on a mounting surface of an electronic component, and a height detector detects the joint of the joint based on light reflected from the joint. A component recognition method for performing position detection, wherein a noise object that exists behind or near the joint and reflects the light is outside the height measurement area of the reflected light detected by the height detector. In addition, the present invention provides a component recognition method characterized in that the height measurement area of the height detection unit is limited to remove the noise object. According to a second aspect of the present invention, the height detecting section includes:
The component recognition method according to the first aspect, wherein a height of the joint is detected by a semiconductor position detection element as a height detection sensor. According to the third aspect of the present invention, in the noise removal, the height measurement area in which the height position of the joint portion can be detected around the height measurement reference plane in the height measurable area is set in advance. In addition, there is provided the component recognition method according to the first or second aspect, wherein the height of the joint is detected only within the range of the height measurement region. According to a fourth aspect of the present invention, the noise elimination is performed by converting the height measurement area capable of detecting the height position of the joint portion around a height measurement reference plane in the measurable area to a height conversion table. Is set in advance, and the height conversion table treats, as invalid height data, height data outside the height measurement area among the height data of the joints, and Component recognition according to any one of the first to third aspects, wherein the height data within the range is treated as valid height data, and the height of the joint is detected based on the valid height data. Provide a way. According to the fifth aspect of the present invention, the processing area is determined from the size of the electronic component with respect to the image of the electronic component detected only within the range of the height measurement area, and the processing area is determined in the image of the electronic component. Sampling the window of the determined processing area and roughly detecting the center and inclination of the electronic component, and based on the size of the component and the approximate position of the electronic component, all the images in the electronic component are displayed. The component recognition method according to any one of the first to fourth aspects, wherein a position of the joint is detected, and an accurate position of the electronic component in an image of the electronic component is detected from all positions of the joint. I will provide a. According to a sixth aspect of the present invention, the electronic component is mounted on a substrate based on positional information of the joint of the electronic component detected by the component recognition method according to any one of the first to fifth aspects. An electronic component mounting method is provided. According to the seventh aspect of the present invention, the electronic component is held by the component holding member of the head unit, it is determined whether or not the height measurement area needs to be adjusted, and the height measurement area needs to be adjusted. In this case, the height measurement area is adjusted, the height of the component holding member is adjusted based on the height measurement area, the height data of the component is fetched, and the height detection unit detects the electronic component. Detecting a position, based on the height position information recognized by the height detection unit, driving the head unit and mounting the electronic component at a predetermined position on the board by the component holding member; An electronic component mounting method according to a sixth aspect is provided. According to the eighth aspect of the present invention, an irradiation device for irradiating light to a joint such as a lead or an electrode present on a mounting surface of an electronic component, and a reflection of light emitted from the irradiation device reflected at the joint A height detector for detecting the position of the joint based on light, and measurement of reflected light that is detected by the height detector when a noise object that exists behind or near the joint and reflects the light is detected by the height detector; Provided is a component recognition device, characterized in that a measurement region of the height detection unit is limited to be outside the region, and a noise removal unit that removes the noise object is provided. According to a ninth aspect of the present invention, the height detecting section detects a position of the joint section by a semiconductor position detecting element as a height detecting sensor.
A component recognition device according to an aspect is provided. Tenth aspect of the present invention
According to the aspect, the noise elimination unit sets in advance a height measurement area in which the height position of the joint can be detected around the height measurement reference plane in the height measurable area, The component recognition device according to the eighth or ninth aspect, wherein the height of the joint is detected only within the range of the measurement area. According to an eleventh aspect of the present invention, the noise elimination unit converts the height measurement area capable of detecting the height position of the joint portion around a height measurement reference plane in the measurable area into a height. The table is set in advance, and the height conversion table treats the height data outside the height measurement area among the height data of the joints as invalid height data, and the height measurement area The component according to any one of the eighth to tenth aspects, wherein the height data within the range is treated as effective height data, and the height of the joint is detected based on the effective height data. A recognition device is provided. According to a twelfth aspect of the present invention, a processing area determining means for determining a processing area from the size of the electronic component with respect to the image of the electronic component detected only within the range of the height measurement area, A center of gravity and inclination detecting means for roughly detecting the center and inclination of the electronic component by sampling the window of the determined processing area in the image of the component, and determining the size of the component and the approximate position of the electronic component. A joint position detecting means for detecting the positions of all the joints in the image of the electronic component, and detecting an accurate position of the electronic component in the image of the electronic component from the positions of all the joints The component recognition device according to any one of the eighth to eleventh aspects, wherein the component recognition device includes a joint center and inclination detecting unit. According to a thirteenth aspect of the present invention, the electronic component is mounted on a board based on positional information of the joint of the electronic component detected by the component recognition device according to any one of the eighth to twelfth aspects. An electronic component mounting apparatus is provided. According to the fourteenth aspect of the present invention, the electronic component is held by the component holding member, and the height of the component holding member is adjusted based on the height measurement area, and the head is recognized by the height detection unit. The electronic component according to a thirteenth aspect, further comprising: a control unit that drives the head unit based on the height position information and mounts the electronic component at a predetermined position on the substrate by the component holding member. Provide a mounting device.

【0005】[0005]

【発明の実施の形態】以下に、本発明にかかる実施の形
態を図面に基づいて詳細に説明する。本発明にかかる第
1実施形態の部品認識方法は、電子部品の装着面に存在
するリードや電極などの接合部の位置情報を正確に得る
ために、高さ検出センサーで検出できる高さ計測領域を
上記接合部のみ検出し、他のノイズ物体は検出しないよ
うに限定するものである。すなわち、第1実施形態とし
ては、上記接合部に対して高さ検出したい計測領域が予
めわかっている場合に、高さデータ入力時に、計測領域
外にある高さデータを、高さ変換テーブルで、正常な高
さデータとして認識されない特定の値に変換するように
している。具体的には、例として、8ビットで表す高さ
計測領域内にノイズとなる物体が含まれている場合に適
用する。なお、事前に高さ位置関係を算出して、高さ計
測領域を限定しておくのが好ましい。
Embodiments of the present invention will be described below in detail with reference to the drawings. The component recognition method according to the first embodiment of the present invention provides a height measurement area that can be detected by a height detection sensor in order to accurately obtain positional information of a joint such as a lead or an electrode on a mounting surface of an electronic component. Is limited so that only the above-mentioned joints are detected and other noise objects are not detected. That is, according to the first embodiment, when a measurement area to be height-detected with respect to the joint is known in advance, when inputting height data, height data outside the measurement area is converted into a height conversion table. Is converted to a specific value that is not recognized as normal height data. Specifically, as an example, the present invention is applied to a case where a noise measurement object is included in the height measurement area represented by 8 bits. It is preferable to calculate the height positional relationship in advance and limit the height measurement area.

【0006】図1は本発明の第1実施形態にかかる部品
認識方法を実施することができる部品認識装置を備えた
電子部品実装装置の全体概略図であり、対象物の一例と
して電子部品2をノズル7aで吸着したヘッド部7が、
電子部品2の装着面に存在するリード2aや電極等の接
合部の高さを検出する高さ検出部602の高さ検出セン
サー8上をX軸方向に等速で移動することにより電子部
品2の高さデータを得る状態を示している。すなわち、
図1,14において、1は電子部品実装装置の実装装置
本体、2は本装置で実装される電子部品(以下、部品と
略記する)、3は部品2が載っているトレー、4はトレ
ー3に載った部品2を自動供給する部品供給部としての
トレー供給部、7は実装時に部品2をノズル7aで吸着
したのちノズル7aを支持するノズル高さ軸をノズル高
さ軸上下用サーボモーター7mにより駆動して上下動さ
せて上記吸着した部品2を基板に装着するヘッド部、5
はヘッド部7をx軸方向に移動させるものであって、X
Yロボット600の一部を構成するx軸側のロボット
(以下、x軸ロボットと略記する)、6a及び6bはヘ
ッド部7をx軸ロボット5とともにy軸方向に移動させ
るXYロボット600の一部を構成するy軸側のロボッ
ト(以下、y軸ロボットと略記する)、8は図14の高
さ検出部602の高さ検出センサーの一例としての3次
元(以下、3Dと略記する)センサーであり、部品2の
高さ画像を撮像する。9は部品2が実装されるプリント
基板である。
FIG. 1 is an overall schematic view of an electronic component mounting apparatus provided with a component recognition device capable of implementing a component recognition method according to a first embodiment of the present invention. The head 7 sucked by the nozzle 7a
The electronic component 2 is moved at a constant speed in the X-axis direction on the height detection sensor 8 of the height detection unit 602 for detecting the height of the joints such as the leads 2 a and the electrodes existing on the mounting surface of the electronic component 2. 3 shows a state in which height data is obtained. That is,
1 and 14, reference numeral 1 denotes a mounting device main body of an electronic component mounting device, 2 denotes an electronic component (hereinafter abbreviated as a component) mounted by the present device, 3 denotes a tray on which the component 2 is placed, and 4 denotes a tray 3. A tray supply unit as a component supply unit for automatically supplying the component 2 placed on the unit 7 is a servo motor 7m for vertically moving the nozzle height axis supporting the nozzle 7a after sucking the component 2 with the nozzle 7a during mounting. A head unit for mounting the sucked component 2 on a substrate by driving the
Is for moving the head unit 7 in the x-axis direction.
A robot on the x-axis (hereinafter abbreviated as x-axis robot) which constitutes a part of the Y robot 600, 6a and 6b are parts of the XY robot 600 for moving the head unit 7 in the y-axis direction together with the x-axis robot 5. The robot 8 on the y-axis side (hereinafter abbreviated as the y-axis robot), 8 is a three-dimensional (hereinafter abbreviated as 3D) sensor as an example of a height detection sensor of the height detection unit 602 in FIG. Yes, a height image of the component 2 is captured. 9 is a printed circuit board on which the component 2 is mounted.

【0007】トレー3に載っている部品2がヘッド部7
で吸着され3Dセンサー8上をx軸ロボット5に沿って
移動するときに、3Dセンサー8によって部品2の3D
(高さ)画像が取り込まれる。3Dセンサー8によって
得られた(高さ)画像をソフトウェア処理して、部品2
のリード等の高さ(位置)検査を行い、位置決め情報に
従って、部品2がプリント基板9上の所定の位置に装着
される。
[0007] The component 2 placed on the tray 3 is
When moving along the x-axis robot 5 on the 3D sensor 8 sucked by the 3D sensor 8, the 3D sensor 8
The (height) image is captured. The (height) image obtained by the 3D sensor 8 is software-processed to
The height (position) of the lead or the like is inspected, and the component 2 is mounted at a predetermined position on the printed circuit board 9 according to the positioning information.

【0008】次に、上記3Dセンサー8の構成と働きに
ついて、以下に詳細に説明する。図2は3Dセンサー8
の検出素子として半導体位置検出素子(Position Sens
itive Detector)(以下、PSDと略記する)17
a,17bが2系統設置されていることを示すものであ
って、3Dセンサー8をx軸方向に見た構成図(断面
図)であり、図3はレーザー光を反射するポリゴンミラ
ー12の反射面が変わる毎に受光素子19にレーザー光
が入射してポリゴン面原点信号20を発生させる状態を
示すものであって、3Dセンサー8をy軸方向に見た構
成図(断面図)である。図2および図3において、5は
x軸ロボット、7はヘッド部、2は吸着された部品、1
0はレーザー光を発光する半導体レーザー、11はこの
レーザー光を集光整形する集光整形レンズ、12はミラ
ー面に当たったレーザー光を機械的回転によって走査さ
せるポリゴンミラー、13はレーザー光の一部を通過さ
せ一部を反射させるハーフミラー、14は光を反射させ
るミラーである。
Next, the configuration and operation of the 3D sensor 8 will be described in detail below. FIG. 2 shows the 3D sensor 8
Semiconductor position detection element (Position Sens
negative Detector) (hereinafter abbreviated as PSD) 17
FIGS. 3A and 3B show that the 3D sensor 8 is installed in two systems, and is a configuration diagram (cross-sectional view) of the 3D sensor 8 viewed in the x-axis direction. FIG. 3 shows the reflection of the polygon mirror 12 that reflects laser light. FIG. 7 is a configuration diagram (cross-sectional view) of the 3D sensor 8 viewed in the y-axis direction, showing a state in which a laser beam is incident on the light receiving element 19 every time the surface changes and a polygon surface origin signal 20 is generated. 2 and 3, 5 is an x-axis robot, 7 is a head unit, 2 is a sucked component, 1
Reference numeral 0 denotes a semiconductor laser that emits laser light, 11 denotes a condensing / shaping lens that condenses / shapes the laser light, 12 denotes a polygon mirror that scans the laser light hitting a mirror surface by mechanical rotation, and 13 denotes a laser light. A half mirror 14 that passes through the part and partially reflects the light, and 14 is a mirror that reflects light.

【0009】また、15はポリゴンミラー12で機械的
に振られたレーザー光を被写体である部品2に垂直に投
射させるように光路変換させるF−θレンズ、16a,
16bは部品2に当たったレーザー光の反射(散乱光)
を結像させる結像レンズ、17a,17bは部品2に当
たったレーザー光の反射光が結像レンズ16a、16b
を通して結像される位置検出素子としてのPSDであ
り、結像した光の位置と相関のある電気信号を発生する
機能を有する。18a,18bはPSD17a,17b
の出力信号である。
Reference numeral 15 denotes an F-.theta. Lens for converting the optical path so that the laser light mechanically shaken by the polygon mirror 12 is projected perpendicularly onto the component 2, which is a subject.
16b is the reflection (scattered light) of the laser light hitting the part 2
The imaging lenses 17a and 17b reflect reflected light of the laser light hitting the component 2 into the imaging lenses 16a and 16b.
Is a PSD as a position detecting element that is imaged through the device, and has a function of generating an electric signal correlated with the position of the imaged light. 18a and 18b are PSDs 17a and 17b
Is the output signal.

【0010】ここで、半導体レーザー10で発光された
レーザー光は、集光整形レンズ11でビーム形状を集光
整形された後、ハーフミラー13を通過し、ミラー14
を反射して、ポリゴンミラー12に当たる。ポリゴンミ
ラー12は定速回転運動をしており、ミラー面に当たっ
たレーザー光は振られることとなる。更に、F−θレン
ズ15で光路変換されたレーザー光は部品2に垂直に当
てられ、この反射光が結像レンズ16a,16bを介し
てPSD17a,17bに結像され、PSD17a,1
7bが部品2のレーザー反射面の高さを計測し得る出力
信号18a,18bを発生する。
Here, the laser light emitted by the semiconductor laser 10 is condensed and shaped by a condensing and shaping lens 11, passes through a half mirror 13,
And strikes the polygon mirror 12. The polygon mirror 12 is rotating at a constant speed, and the laser light hitting the mirror surface is swung. Further, the laser light whose optical path has been converted by the F-θ lens 15 is applied to the component 2 vertically, and the reflected light is imaged on the PSDs 17a and 17b via the imaging lenses 16a and 16b to form an image.
7b generates output signals 18a and 18b which can measure the height of the laser reflecting surface of the component 2.

【0011】また、19は光が入力されたことを感知す
る受光素子(光センサー)、20は光センサー19に光
が入力されたことを外部に知らせる信号であり、この信
号はポリゴンミラー12の各ミラー面が所定の角度に来
たとき変化するもので、いわば、ポリゴンミラー12の
各面の原点信号(面原点)にあたる。更に、例えば18
面のポリゴンミラー12であれば一回転に18回の信号
が、各々等間隔(18面であれば20度毎)の角度だけ
回転したとき出力されることとなる。これをポリゴンミ
ラー12の回転量信号と呼ぶ。
Reference numeral 19 denotes a light-receiving element (optical sensor) for detecting that light has been input, and reference numeral 20 denotes a signal for notifying that light has been input to the optical sensor 19 to the outside. It changes when each mirror surface comes to a predetermined angle, so to say, it corresponds to the origin signal (surface origin) of each surface of the polygon mirror 12. Further, for example, 18
In the case of the surface polygon mirror 12, signals are output 18 times per rotation when they are rotated by an angle of equal intervals (every 20 degrees for 18 surfaces). This is called a rotation amount signal of the polygon mirror 12.

【0012】上記第1実施形態における3Dセンサー8
は、2系統のPSD回路を有しているが、これは1系統
ではレーザー光が部品に当たったときに、角度的にPS
Dに反射光が帰ってこない場合があるため、これを補う
のが主な目的で設けている。3系統以上設けるほうが有
効な場合もあるが、技術的には同じことであり、ここで
は2系統で説明する。ここで、前記の半導体位置検出素
子(PSD)17a,17bによる計測対象物である部
品2上の高さの測定方法の一例を、半導体位置検出素子
17aの場合について代表して、図5に基づいて説明す
る。図5において、F−θレンズ15から紙面に垂直方
向に走査して部品2上に投射されるレーザビームは、部
品2から乱反射する。この場合、投射された点が、部品
2の底面上の高さ0のA1点と前記底面から高さHのB1
点とであるとすると、乱反射したレーザビームは結像レ
ンズ16aによって集光され、それぞれが半導体位置検
出素子17a上のA2点とB2点とに結像する。その結
果、A2点とB2点とに起電力が発生し、それぞれC点か
ら電流I1,I2、D点から電流I3,I4が取り出され
る。電流I1,I3は、A2点とC点との間の距離xAとA
2点とD点との間の距離に比例する抵抗成分によって決
まり、電流I2,I4は、B2点とC点との間の距離xB
2点とD点との間の距離とに比例する抵抗成分によっ
て決まるので、半導体位置検出素子17aの長さをLと
すると、図5のxA,xBは次式のようにして決まる。 xA=LI3/(I1+I3) xB=LI4/(I2+I4) 従って、図5の半導体位置検出素子17a上でのA2
とB2点との間の距離H’は次式で決まる。 H’=xA−xB このようにして求められたPSD上の高さH’に基づい
て前記高さHが決定される。
3D sensor 8 in the first embodiment
Has two systems of PSD circuits, but one system has a structure in which when a laser beam hits a component, the angle of the PS circuit is increased.
Since the reflected light may not return to D in some cases, the main purpose is to compensate for this. In some cases, it is more effective to provide three or more systems, but it is technically the same, and here, two systems will be described. Here, an example of a method of measuring the height on the component 2 which is the measurement target by the semiconductor position detecting elements (PSDs) 17a and 17b will be described with reference to FIG. Will be explained. In FIG. 5, a laser beam that is scanned from the F-θ lens 15 in the direction perpendicular to the paper and projected onto the component 2 is irregularly reflected from the component 2. In this case, the projected points are a point A 1 at a height 0 on the bottom surface of the component 2 and a point B 1 at a height H from the bottom surface.
When it is a point, the laser beam irregularly reflected is condensed by the imaging lens 16a, each of which forms an image on the two-point and B 2 points A on the semiconductor position sensitive device 17a. As a result, electromotive force is generated at points A 2 and B 2, and currents I 1 and I 2 are extracted from point C, and currents I 3 and I 4 are extracted from point D, respectively. The currents I 1 and I 3 are determined by the distances x A and A between the points A 2 and C, respectively.
The current I 2 , I 4 is determined by the resistance component proportional to the distance between the two points and the point D, and the current I 2 , I 4 is the distance x B between the points B 2 and C and the distance between the points B 2 and D. since determined by resistance components in proportion to the distance, and the length of the semiconductor position sensitive device 17a and L, x a in FIG. 5, x B is determined as follows. x A = LI 3 / (I 1 + I 3) x B = LI 4 / (I 2 + I 4) Therefore, the distance H between the two points and the B 2 points A on the semiconductor position sensitive device 17a of Fig. 5 'Is determined by the following equation. H ′ = x A −x B The height H is determined based on the height H ′ on the PSD thus obtained.

【0013】次に、上記第1実施形態の電子部品認識装
置における3D画像を撮像する仕組みについて、図4を
用いて説明する。図4は上記第1実施形態の電子部品認
識装置の3Dセンサー8からの出力信号の説明図であ
る。図4において、2は部品、5はx軸ロボット、7は
ヘッド部、8は3Dセンサー、18a,18bはPSD
出力、20はポリゴン面原点信号(回転量信号)、21
は画像処理制御部、22はx軸ロボット5上で3D画像
の撮像のための基準位置を画像処理制御部21に知らせ
る基準位置センサー、23はヘッド部7がこの基準位置
センサー22を通過したときに、これを画像処理制御部
21に知らせる基準位置信号、24はx軸ロボット5を
移動させるサーボモーター、24aはサーボモーター2
4のエンコーダー、601はサーボモーター24を制御
するサーボコントローラー、25はエンコーダー24a
の出力するエンコーダー信号である。又、図14におい
て、200は電子部品認識装置の主制御部である。な
お、y軸ロボット6a,6bもそれぞれ基本的にはx軸
ロボット5と同様な構造となっており、y軸ロボット駆
動用のサーボモーターを駆動してヘッド部7の代わりに
x軸ロボット5を移動させ、このサーボモーターはサー
ボコントローラー601で動作制御される。また、公知
のように、ヘッド部7のノズル7aをその中心軸回りに
θ方向に回転させるときも、サーボコントローラー60
1でθ方向回転用サーボモーターを動作制御する。ま
た、公知のように、ヘッド部7のノズル7aの高さ調整
のためノズル7aを支持するノズル高さ軸を上下動させ
るときも、サーボコントローラー601で上下動用のサ
ーボモーター7mを動作制御する。
Next, a mechanism for capturing a 3D image in the electronic component recognition device of the first embodiment will be described with reference to FIG. FIG. 4 is an explanatory diagram of an output signal from the 3D sensor 8 of the electronic component recognition device of the first embodiment. In FIG. 4, 2 is a component, 5 is an x-axis robot, 7 is a head, 8 is a 3D sensor, and 18a and 18b are PSDs.
Output, 20 is polygon surface origin signal (rotation amount signal), 21
Denotes a reference position sensor for notifying the image processing control unit 21 of a reference position for capturing a 3D image on the x-axis robot 5, and 23 denotes a position when the head unit 7 passes through the reference position sensor 22. A reference position signal for notifying the image processing controller 21 of this, a servo motor 24 for moving the x-axis robot 5, and a servo motor 24a
4 is an encoder, 601 is a servo controller for controlling the servo motor 24, 25 is an encoder 24a
Is the encoder signal that is output. In FIG. 14, reference numeral 200 denotes a main control unit of the electronic component recognition device. The y-axis robots 6a and 6b have basically the same structure as the x-axis robot 5, respectively, and drive the servo motor for driving the y-axis robot to drive the x-axis robot 5 instead of the head unit 7. The servo motor is moved and its operation is controlled by a servo controller 601. As is well known, the servo controller 60 also rotates the nozzle 7a of the head unit 7 in the θ direction around its central axis.
In step 1, the operation of the θ-direction rotation servomotor is controlled. Also, as is well known, when the nozzle height axis supporting the nozzle 7a is moved up and down to adjust the height of the nozzle 7a of the head unit 7, the servo controller 601 controls the operation of the servomotor 7m for up and down movement.

【0014】トレー3からピックアップされた部品2が
x軸ロボット5上を移動するとき、エンコーダー24a
は常にエンコーダー信号(AB相、Z相またはこれと等
価な信号)25を画像処理制御部21に与えており、基
準位置センサー22を部品2が通過するとき、基準位置
信号23が画像処理制御部21に与えられることから、
この両方の信号で部品2のx軸ロボット5上の基準位置
からの相対位置を画像処理制御部21が算出できる。
When the component 2 picked up from the tray 3 moves on the x-axis robot 5, the encoder 24a
Always supplies an encoder signal (AB-phase, Z-phase or a signal equivalent thereto) 25 to the image processing controller 21. When the component 2 passes through the reference position sensor 22, the reference position signal 23 is 21
The image processing control unit 21 can calculate the relative position of the component 2 from the reference position on the x-axis robot 5 using these two signals.

【0015】一方、3Dセンサー8内にあるポリゴンミ
ラー12の回転量は、これが回転している間、ポリゴン
面原点信号(回転量信号)20として常に画像処理制御
部21に与えられており、これと基準位置信号23とか
らポリゴンミラー12の基準位置通過後の回転量を算出
することができる。
On the other hand, the rotation amount of the polygon mirror 12 in the 3D sensor 8 is always given to the image processing controller 21 as a polygon surface origin signal (rotation amount signal) 20 while the polygon mirror 12 is rotating. The rotation amount of the polygon mirror 12 after passing the reference position can be calculated from the reference position signal 23 and the reference position signal 23.

【0016】ここで、ポリゴンミラー12の回転量はそ
の速度に比例して増加し、x軸ロボット5の移動量も同
様のことが言える。一方、上記第1実施形態における3
Dセンサー8では、ポリゴンミラー12と3D画像撮像
時のx軸ロボット5は各々等速に回転・直進することを
前提としている。もしも、この条件が乱れる場合には、
撮像される3D画像の水平・垂直方向の一画素当たりの
分解能(画素サイズ)が速度ムラに応じてバラつくこと
となる。これは、計測精度上の誤差要因である。そこで
上記第1実施形態の電子部品認識装置では、上記構成の
3Dセンサー8で3D画像を画像処理制御部21内にあ
る画像メモリ(図14参照)に取り込むとともに、基本
的に等速回転運動しているポリゴンミラー12と、サー
ボモーター24等のモーターで駆動されているヘッド部
7の間の動作の整合性を監視・制御するために、ポリゴ
ンミラー12のポリゴン面原点信号(回転量信号)20
とモーターのエンコーダー信号25とを用いるものであ
る。
Here, the amount of rotation of the polygon mirror 12 increases in proportion to its speed, and the same applies to the amount of movement of the x-axis robot 5. On the other hand, 3 in the first embodiment.
The D sensor 8 is based on the premise that the polygon mirror 12 and the x-axis robot 5 at the time of capturing a 3D image rotate and move straight at a constant speed. If this condition is disturbed,
The resolution (pixel size) per pixel in the horizontal and vertical directions of the captured 3D image varies depending on the speed unevenness. This is an error factor in measurement accuracy. Therefore, in the electronic component recognition device of the first embodiment, the 3D sensor 8 having the above configuration takes in the 3D image into the image memory (see FIG. 14) in the image processing control section 21 and basically rotates at a constant speed. In order to monitor and control the consistency of operation between the polygon mirror 12 and the head unit 7 driven by a motor such as a servo motor 24, a polygon surface origin signal (rotation amount signal) 20 of the polygon mirror 12 is used.
And the encoder signal 25 of the motor.

【0017】図6は、上記第1実施形態である電子部品
認識方法において3次元センサー8を使用して位置検出
することが有効な電子部品の斜視図である。この電子部
品2は、ボディ2pから横方向に突出して下方に屈曲し
て延びる左右4本ずつのリード2aを備え、平面的に見
れば、右側の4本のリード2aのうち手前から1本目と
2本目のリード2aの間及び2本目と3本目のリード2
aにそれぞれ突起2cが横方向に突出しており、かつ、
後端のリード2aの上方に上下方向に重なるように大き
な突起2bが横方向に突出しているものである。このよ
うな電子部品2は、通常の電子部品の組立では、ごくま
れにしか装着しない特殊な部品と考えることができる。
しかし、問題は、このような電子部品2を装着しなけれ
ばならなくなったとき、どれくらい短時間で実現可能に
するかということである。例えば、携帯電話やパーソナ
ルコンピュータに代表されるように3カ月〜6カ月程度
の短い寿命の商品に使用する基板では、通常は、特殊な
部品対応のために、新たに画像処理プログラムを作成し
て使用するといった1週間以上の時間を要するような対
応は許されないものである。よって、このような図6に
示すような部品2でもそのリード2aの位置を正確に検
出することが要求されるようになってきている。
FIG. 6 is a perspective view of an electronic component in which position detection using the three-dimensional sensor 8 is effective in the electronic component recognition method according to the first embodiment. The electronic component 2 includes four left and right leads 2a projecting laterally from the body 2p and bending downward and extending downward. Between the second lead 2a and the second and third leads 2
a, each of the projections 2c projects laterally, and
A large projection 2b projects laterally above the rear end lead 2a so as to vertically overlap. Such an electronic component 2 can be considered as a special component that is mounted very rarely in a normal assembly of electronic components.
However, the problem is how quickly it can be implemented when such electronic components 2 have to be mounted. For example, in the case of a board used for a product having a short life of about 3 to 6 months as typified by a mobile phone or a personal computer, usually, a new image processing program is created for special parts. It is not permissible to use the device that requires more than one week to use it. Therefore, it has been required to accurately detect the position of the lead 2a even in such a component 2 as shown in FIG.

【0018】図7は、図6の電子部品2のリード2a及
びノイズとなる突起2b,2cの位置と上記第1実施形
態である電子部品認識方法における高さ計測領域との関
係を説明するための図である。この上記第1実施形態で
は、8ビット画像処理を採用しているため、高さデータ
としては0〜255までの256通りの数値を扱うこと
ができる。上記第1実施形態では、便宜上、レーザー光
のビーム径が最小となる位置である高さ計測の基準面を
128の数値の位置とし、この128の数値を基準にし
て、高さの座標軸を上下方向において電子部品2から3
Dセンサー8の方向に取り、上端の0から高さ計測の基
準面を128の数値を通過して下端の255までの数値
を与えて、高さ計測可能領域を0から255までの25
6通りの数値の位置として表し、高さ計測中心位置を1
28で表すようにする。また、高さデータとして0や2
55などの値は、「高さデータが正しく得られなかっ
た」などのエラーを表現するために使用している。尚、
3Dセンサーの高さ計測可能領域及びその中心位置は、
3Dセンサーの光学系設計によって物理的に決まる。通
常、電子部品を認識させるときには、電子部品の装着面
が、3Dセンサーの高さ計測中心位置になるように、高
さ方向の位置決めをして、電子部品の高さ画像を取り込
むようにしている。本実施形態では、高さ方向の分解能
を10μmにとるようにすれば、高さ計測可能領域は約
±1.2mmとなる。従って、電子部品のノイズリード
がこの領域外にある場合には、高さ計測領域の範囲を調
整する必要はない。一方、後記するように高さ計測領域
の範囲を調整する必要があるのは、ノイズ物体がこの約
±1.2mm内に入り込んでしまい、接合部と異なる高
さを持つときである。
FIG. 7 is a view for explaining the relationship between the positions of the leads 2a and the projections 2b and 2c which become noise of the electronic component 2 of FIG. 6 and the height measurement area in the electronic component recognition method according to the first embodiment. FIG. In the first embodiment, since 8-bit image processing is employed, 256 numerical values from 0 to 255 can be handled as height data. In the first embodiment, for the sake of convenience, the reference plane for height measurement, which is the position where the beam diameter of the laser beam is minimized, is set to the position of the numerical value of 128, and the coordinate axis of the height is moved up and down with reference to the numerical value of 128. Electronic components 2 to 3 in the direction
Take the direction of the D sensor 8 and pass the numerical value of 128 through the reference plane of height measurement from 0 at the upper end to 255 at the lower end to give a height measurable area of 25 from 0 to 255.
Expressed as six numerical positions, the height measurement center position is 1
28. In addition, 0 or 2 as height data
A value such as 55 is used to express an error such as "height data could not be obtained correctly". still,
The height measurable area of the 3D sensor and its center position are
It is physically determined by the optical system design of the 3D sensor. Normally, when recognizing an electronic component, the electronic component is positioned in the height direction such that the mounting surface of the electronic component is located at the height measurement center position of the 3D sensor, and a height image of the electronic component is captured. . In this embodiment, if the resolution in the height direction is set to 10 μm, the height measurable area is about ± 1.2 mm. Therefore, when the noise lead of the electronic component is outside this area, it is not necessary to adjust the range of the height measurement area. On the other hand, it is necessary to adjust the range of the height measurement area as described later when the noise object enters within about ± 1.2 mm and has a height different from the joint.

【0019】図9は、上記第1実施形態にかかる電子部
品認識方法を使用して電子部品を装着する手順を示すフ
ローチャートである。まず、ステップS1において、主
制御部200の制御の下にヘッド部7のノズル7aでト
レー3から電子部品2を吸着する。次いで、ステップS
2において、高さ計測領域の調整が必要か否かを作業者
が部品形状などを見て判断する。高さ検出したい高さ計
測領域が予めわかっており、高さ計測領域の調節が必要
な場合には、ステップS3に進む。高さ計測領域の調整
が不要ならばステップS4に進む。 ステップS3にお
いては、高さ検出したい高さ計測領域が予めわかってい
る場合のみ実施し、高さ計測領域の調整を行う。この高
さ計測領域の調整は、例えば、作業者が電子部品2のリ
ード2aとノイズ物体となり得る突起2b,2cとの距
離を見て、リード2aの高さ計測領域内に突起2b,2
cが入り込むとステップS2で判断した場合に、突起2
b,2cがリード2aの高さ計測領域外となるように高
さ計測領域を狭くすることにより行う。
FIG. 9 is a flowchart showing a procedure for mounting an electronic component using the electronic component recognition method according to the first embodiment. First, in step S1, the electronic component 2 is sucked from the tray 3 by the nozzle 7a of the head unit 7 under the control of the main control unit 200. Then, step S
In 2, the operator determines whether or not the height measurement area needs to be adjusted by looking at the part shape and the like. If the height measurement area to be detected is known in advance and the height measurement area needs to be adjusted, the process proceeds to step S3. If the adjustment of the height measurement area is unnecessary, the process proceeds to step S4. Step S3 is performed only when the height measurement area to be detected is known in advance, and the height measurement area is adjusted. The adjustment of the height measurement area is performed, for example, by checking the distance between the lead 2a of the electronic component 2 and the projections 2b and 2c that can be a noise object, and checking the distance between the projections 2b and 2c within the height measurement area of the lead 2a.
If it is determined in step S2 that c has entered, the protrusion 2
This is performed by narrowing the height measurement area so that b and 2c are outside the height measurement area of the lead 2a.

【0020】次いで、ステップS4においては、高さ計
測領域に基づき、主制御部200によりサーボコントロ
ーラ601を制御してノズル7aの高さを調整する。ノ
ズル7aの高さをどの程度の高さに調整するかは、電子
部品2の形状から作業者が判断して、主制御部200の
部品形状情報記憶部620内に格納されかつ実装プログ
ラムに必要な実装情報の中の部品形状情報内に事前に組
み込んでおけばよい(なお、部品形状情報については、
図14の説明を参照。)。通常の部品2の場合には、調
整量ゼロ、つまり高さ計測領域の高さ計測基準面と電子
部品2の実装面とが一致するように、主制御部200を
介してサーボコントローラー601の制御によりノズル
高さ軸上下用サーボモーター7mを駆動してノズル7a
を支持するノズル高さ軸を、上下動させてノズル7aの
下端の高さを調整して部品装着面を高さ計測領域の高さ
計測基準面に位置決めし、高さ計測を行うことが好まし
い。一般には、高さ調整が必要な部品は、図6に示され
るような特殊な部品のみであると考えられる。次いで、
ステップS5において、主制御部200の制御の下に、
実装プログラムに必要な実装情報の部品形状情報中から
部品2の高さデータを図14に示す画像メモリ305に
取り込む。この画像メモリ305には、8ビットの高さ
データが格納されるようになっており、X軸側のとY軸
側のアドレスを別々に指定することにより、特定の位置
の高さデータを画像メモリ305から読み出すことがで
きるようになっている。
Next, in step S4, the main controller 200 controls the servo controller 601 to adjust the height of the nozzle 7a based on the height measurement area. The height of the nozzle 7a to be adjusted is determined by the operator based on the shape of the electronic component 2 and is stored in the component shape information storage unit 620 of the main control unit 200 and is necessary for the mounting program. Should be incorporated in advance in the component shape information in the detailed mounting information.
See the description of FIG. ). In the case of the normal component 2, the control of the servo controller 601 via the main control unit 200 is performed such that the adjustment amount is zero, that is, the height measurement reference plane of the height measurement area matches the mounting surface of the electronic component 2. Drives the nozzle height axis servo motor 7m by means of the nozzle 7a.
The height measurement is preferably performed by moving the nozzle height axis supporting the vertical direction to adjust the height of the lower end of the nozzle 7a to position the component mounting surface on the height measurement reference plane of the height measurement area. . In general, it is considered that the height adjustment is required only for special components as shown in FIG. Then
In step S5, under the control of the main control unit 200,
The height data of the component 2 is taken into the image memory 305 shown in FIG. 14 from the component shape information of the mounting information necessary for the mounting program. The image memory 305 stores 8-bit height data. By separately specifying addresses on the X-axis side and the Y-axis side, the height data at a specific position is stored in the image memory 305. The data can be read from the memory 305.

【0021】次いで、ステップS6において、3Dセン
サー8により部品2の位置を検出する。詳しくは、下記
する図10のステップS6AからステップS6Eに示
す。次いで、ステップS7において、主制御部200の
制御の下に、3Dセンサー8により認識された高さ位置
情報に基づき、部品2をプリント基板9の所定の位置に
装着する。
Next, in step S6, the position of the component 2 is detected by the 3D sensor 8. The details are shown in steps S6A to S6E in FIG. 10 described below. Next, in step S7, under the control of the main controller 200, the component 2 is mounted at a predetermined position on the printed circuit board 9 based on the height position information recognized by the 3D sensor 8.

【0022】図10は図9のステップS6において、高
さデータからの部品2の位置検出手順を詳細に示すもの
である。まず、ステップS6Aでは、部品形状情報の中
に格納されている部品2の大きさから処理エリアを決定
する。たとえば、処理エリアのX及びY方向のサイズ
を、画面上での部品2の大きさの2倍に設定する。図1
1(A)に、一例として、部品2の大きさから決定され
た処理エリアを矩形のウィンドウ500で示す。図11
(A)によれば、処理エリアである矩形のウィンドウ5
00が、部品2の画像202に対してその大きさの大略
2倍に設定することにより、部品2のリード2aの画像
202aがウィンドウ500内に余裕を持って入ること
を示している。
FIG. 10 shows in detail the procedure for detecting the position of the component 2 from the height data in step S6 of FIG. First, in step S6A, a processing area is determined from the size of the component 2 stored in the component shape information. For example, the size of the processing area in the X and Y directions is set to twice the size of the component 2 on the screen. FIG.
1A, a processing area determined from the size of the component 2 is shown by a rectangular window 500 as an example. FIG.
According to (A), a rectangular window 5 which is a processing area
00 indicates that the image 202a of the lead 2a of the component 2 can be sufficiently inserted into the window 500 by setting the size of the image 202 of the component 2 to approximately twice the size of the image 202.

【0023】次いで、ステップS6Bにおいて、図17
に示すような処理エリア内をサンプリングして各位置で
の高さデータを示す輝度を基に図18に示すように輝度
ヒストグラムを作成したのち、この輝度ヒストグラムに
おいて、高さ検出すべき対象物である接合部例えばリー
ド2aの高さデータとノイズ物体の高さデータとを分離
させるためにしきい値をヒストグラム法を用いて算出し
て設定する。ここで、ヒストグラムのしきい値より左側
の棒グラフ部分としきい値より右側の棒グラフ部分の面
積の割合は、図17の処理エリアの背景領域の面積と対
象物の面積の割合に等しくなる。よって、ヒストグラム
法によるしきい値の算出は以下のように行っている。ま
ず、画像メモリ内で、対象物が含まれる領域を定める。
次に、X方向、Y方向、それぞれ等間隔にサンプリング
して、画像データを読み出し、画像データのヒストグラ
ムを作成する。対象物の接合部のように、相対的に高い
値を持つ画像データの出現率は、予め定めたサンプリン
グ領域(ここでは、この面積を面積Aとする。)に占め
る接合部(ここでは、この面積を面積Bとする。)の、
面積の割合(S%=100*B/A)に等しい。従っ
て、輝度ヒストグラムを右端の頻度から順に加算し、ヒ
ストグラムの面積のS%になるところまでがリードに相
当する画像データを表している。従って、S%を示す画
像データの値をしきい値とする。
Next, in step S6B, FIG.
18 is sampled in the processing area as shown in FIG. 18 and a luminance histogram is created as shown in FIG. 18 on the basis of the luminance indicating the height data at each position. In order to separate the height data of a certain joint, for example, the lead 2a from the height data of the noise object, a threshold value is calculated and set using the histogram method. Here, the ratio of the area of the bar graph portion on the left side of the threshold value of the histogram and the area ratio of the bar graph portion on the right side of the threshold value is equal to the ratio of the area of the background area of the processing area to the area of the object in FIG. Therefore, the calculation of the threshold value by the histogram method is performed as follows. First, an area including an object is determined in the image memory.
Next, image data is read out by sampling at equal intervals in the X direction and the Y direction, respectively, and a histogram of the image data is created. The appearance rate of the image data having a relatively high value, such as the joint of the object, is determined by the joint (here, this area is assumed to be area A) in the predetermined sampling region (here, this area is the area A). The area is defined as area B.)
It is equal to the area ratio (S% = 100 * B / A). Therefore, the brightness histogram is added in order from the rightmost frequency, and the image data corresponding to the lead is represented by the area up to S% of the area of the histogram. Therefore, the value of the image data indicating S% is set as the threshold.

【0024】次いで、ステップS6Cにおいて、処理エ
リアのウィンドウ500内をサンプリングして、上記し
きい値を使用して高さ計測領域内で検出される有効な高
さデータを基に部品2の中心及び傾き(処理エリア内の
ウィンドウの横軸のX軸と縦軸のY軸に対する傾斜角
度)を大まかに検出する。たとえば、以下の(数1)及
び(数2)の算出式に従うことで部品2の中心及び傾き
を求めることができる。図11(B)は上記処理エリア
500内をサンプリングして部品2の大まかな中心と傾
きが求めることを示す図である。サンプリングの例とし
ては、X軸方向に1画素おきに高さデータをサンプリン
グしてX軸方向の最後の画素の高さデータまで取り込む
と、次にY軸方向に1画素を飛ばして2画素目まで進
み、先ほどと同様にX軸方向に1画素おきに高さデータ
をサンプリングしてX軸方向の最後の画素の高さデータ
まで取り込むことをウィンドウ500内の全てのエリア
に対して行う。
Next, in step S6C, the inside of the window 500 of the processing area is sampled, and the center of the component 2 and the center of the part 2 are determined based on the valid height data detected in the height measurement area using the above threshold value. The tilt (the tilt angle of the horizontal axis of the window in the processing area with respect to the X axis and the vertical axis of the window) is roughly detected. For example, the center and the inclination of the component 2 can be obtained by following the calculation formulas of (Equation 1) and (Equation 2) below. FIG. 11B is a diagram illustrating that the processing area 500 is sampled and the approximate center and inclination of the component 2 are obtained. As an example of sampling, if height data is sampled every other pixel in the X-axis direction and taken in to the height data of the last pixel in the X-axis direction, then one pixel is skipped in the Y-axis direction and the second pixel is skipped. Then, the height data is sampled at every other pixel in the X-axis direction and the height data of the last pixel in the X-axis direction is taken in all areas in the window 500 in the same manner as described above.

【0025】ここでは、まず、部品2の中心を大まかに
求めるためには、処理エリア500内をサンプリングし
て高さデータH(x,y)を画像メモリ305から読み
出す。前述したように、画像メモリ305には、8ビッ
トの高さデータが格納されており、X,Yアドレスを別
々に指定することにより、特定の位置の高さデータを画
像メモリ305から読み出すことができる。そして、次
の(数1)によって中心位置(Xc,Yc)を算出す
る。
Here, first, in order to roughly determine the center of the component 2, the processing area 500 is sampled and the height data H (x, y) is read from the image memory 305. As described above, 8-bit height data is stored in the image memory 305, and the height data at a specific position can be read from the image memory 305 by separately specifying the X and Y addresses. it can. Then, the center position (Xc, Yc) is calculated by the following (Equation 1).

【数1】 ただし、H(x,y)>THLのとき、ρ(x,y)=
1とする。また、H(x,y)≦THLのとき、ρ
(x,y)=0とする。ここで、THLは、各位置での
高さデータを示す輝度を基に、図15のプログラムメモ
リ301に格納されているしきい値算出手段408によ
り輝度ヒストグラムを作成したのち、この輝度ヒストグ
ラムにおいて高さ検出すべき接合部例えばリード2aと
ノイズ物体とを分離させるためにしきい値算出手段40
8内に設定するしきい値であり、処理エリアであるウィ
ンドウ500内をサンプリングして、認識対象物と思わ
れるリード2aの高さを推定し、それよりも若干低い値
に設定する。あるいは、固定値を設定しても良い。例え
ば、上記第1実施形態では、高さ計測の基準面の128
の数値が部品2の装着面に相当するので、しきい値TH
Lは80の数値(装着面から0.48mm上の位置)と
する。
(Equation 1) However, when H (x, y)> THL, ρ (x, y) =
Let it be 1. When H (x, y) ≦ THL, ρ
(X, y) = 0. Here, THL is obtained by creating a luminance histogram by the threshold value calculation means 408 stored in the program memory 301 in FIG. 15 based on the luminance indicating the height data at each position, and then calculating the high Threshold value calculating means 40 for separating a joint to be detected, for example, the lead 2a from a noise object.
The threshold value is set in 8 and the sampling is performed within the window 500, which is the processing area, to estimate the height of the lead 2a considered to be a recognition target, and set it to a value slightly lower than that. Alternatively, a fixed value may be set. For example, in the first embodiment, the height measurement reference plane 128
Corresponds to the mounting surface of the component 2, the threshold value TH
L is a numerical value of 80 (a position 0.48 mm above the mounting surface).

【0026】また、傾きθ1の検出は以下の(数式2)に
より求める。
The detection of the inclination θ 1 is obtained by the following (Equation 2).

【数2】 ただし、H(x,y)>THLのとき、ρ(x,y)=
1とする。また、H(x,y)≦THLのとき、ρ
(x,y)=0とする。
(Equation 2) However, when H (x, y)> THL, ρ (x, y) =
Let it be 1. When H (x, y) ≦ THL, ρ
(X, y) = 0.

【0027】次いで、ステップS6Dにおいて、部品形
状情報と部品2の大まかな位置とを基にリード2aの位
置を検出する。すなわち、図12(A)に示すように、
ステップS6Cで求めた上記部品2の大まかな中心及び
傾きと、メインコントローラ200から送られてきた部
品形状情報のうちのボディ2pの幅と奥行きとを使用し
て、個々のリード2aが存在する位置を推定し、各リー
ド2aを包含する小さな小ウィンドウ501を設定す
る。この小ウィンドウ501は、例えば、リード2aの
画像202aに対してその大きさの大略2倍に設定す
る。この小ウィンドウ501内をサンプリングして、各
リード2aの中心位置502を検出する。サンプリング
の例としては、X軸方向に1画素おきに高さデータをサ
ンプリングしてX軸方向の最後の画素の高さデータまで
取り込むと、次にY軸方向に1画素を飛ばして2画素目
まで進み、先ほどと同様にX軸方向に1画素おきに高さ
データをサンプリングしてX軸方向の最後の画素の高さ
データまで取り込むことを小ウィンドウ501内の全て
のエリアに対して行う。上記部品形状情報には、部品2
の2pの大きさ(ボディ高さ、ボディ幅、ボディ奥行
き)、リード本数、リード長さ、リード幅、リードピッ
チなど、個々のリード2aが存在する位置を計算するの
に必要な情報を予め格納しておく。
Next, in step S6D, the position of the lead 2a is detected based on the component shape information and the approximate position of the component 2. That is, as shown in FIG.
Using the rough center and inclination of the component 2 obtained in step S6C and the width and depth of the body 2p in the component shape information sent from the main controller 200, the position where each lead 2a exists. Is estimated, and a small small window 501 including each lead 2a is set. This small window 501 is set to, for example, approximately twice the size of the image 202a of the lead 2a. The inside of the small window 501 is sampled to detect the center position 502 of each lead 2a. As an example of sampling, if height data is sampled every other pixel in the X-axis direction and taken in to the height data of the last pixel in the X-axis direction, then one pixel is skipped in the Y-axis direction and the second pixel is skipped. Then, the height data is sampled every other pixel in the X-axis direction and the height data of the last pixel in the X-axis direction is taken in all areas in the small window 501 in the same manner as described above. The part shape information includes a part 2
The information necessary for calculating the position where each lead 2a exists, such as the 2p size (body height, body width, body depth), the number of leads, the lead length, the lead width, and the lead pitch, is stored in advance. Keep it.

【0028】次いで、ステップS6Eにおいて、全ての
リード位置(リード中心位置の座標)から部品2の正確
な位置を検出する。図12(B)は全てのリード位置か
ら部品2の正確な中心と傾きを算出する状態を説明する
ための図である。例えば、中心位置は、全てのリード位
置の加算平均で求め、傾きは、ボディ2pを挟んで向か
い合うリード2aの各リード中心位置間の中点を算出
し、4つの中点を近似する十字の直線503で表すこと
ができる。図13は、このようにして求めた部品2の正
確な中心と傾きの算出結果の例を示す。図13におい
て、直線504は部品2の傾きを示し、直線504と直
交する4本の直線505と左右4個ずつのリード2aの
画像202aの中心線との交点506がリード2aの中
心位置座標となる。
Next, in step S6E, the correct position of the component 2 is detected from all the lead positions (coordinates of the lead center position). FIG. 12B is a diagram for explaining a state in which the accurate center and inclination of the component 2 are calculated from all the lead positions. For example, the center position is obtained by the averaging of all the lead positions, the slope is calculated by calculating the midpoint between the respective lead center positions of the leads 2a facing each other across the body 2p, and a cross straight line approximating the four midpoints 503. FIG. 13 shows an example of a calculation result of the accurate center and inclination of the component 2 obtained in this manner. In FIG. 13, a straight line 504 indicates the inclination of the component 2, and an intersection 506 between four straight lines 505 orthogonal to the straight line 504 and the center line of the image 202 a of each of the four left and right leads 2 a corresponds to the center position coordinates of the lead 2 a. Become.

【0029】ここで、上記第1実施形態と従来技術との
比較のため、図6の電子部品2を従来技術であるCCD
カメラで撮影したときの画像102を図8(A)に模式
的に示す。突起2cに対応するノイズ102cが2本の
リード2aの画像102aの間に存在するため、リード
2aの画像102aを検出するときに、ノイズ102c
の影響を受けないようにノイズ102cを除去する「ノ
イズリード除去処理」を施す必要がある。また、最後端
のリード2aの画像102aが突起2bに対応するノイ
ズ102bに完全に包含されるため、最後端のリード2
aの位置検出を行うためには「低コントラストリード検
出処理」(画像強調処理)が必要になる。また、「ノイ
ズリード除去処理」や「低コントラストリード検出処
理」の能力によっては、認識位置ずれや認識不可などの
事態も予想され、信頼性も低下するといった問題があ
る。ただし、ここでは、ノイズ102cもノイズ102
bもリード2aの画像102aと同じくらい明るい物体
であると想定している。
Here, for comparison between the first embodiment and the prior art, the electronic component 2 shown in FIG.
FIG. 8A schematically shows an image 102 captured by a camera. Since the noise 102c corresponding to the protrusion 2c exists between the images 102a of the two leads 2a, the noise 102c is detected when the image 102a of the lead 2a is detected.
It is necessary to perform a "noise lead removal process" for removing the noise 102c so as not to be affected by the noise. Further, since the image 102a of the rearmost lead 2a is completely included in the noise 102b corresponding to the protrusion 2b,
In order to detect the position a, "low contrast read detection processing" (image enhancement processing) is required. Also, depending on the capabilities of the "noise lead removal processing" and the "low contrast lead detection processing", a situation such as a recognition position shift or a recognition failure is expected, and there is a problem that reliability is reduced. However, here, the noise 102c is also the noise 102c.
b is assumed to be an object as bright as the image 102a of the lead 2a.

【0030】これに対して、上記第1実施形態では、高
さ計測可能領域内において高さ計測基準面である128
の数値を中心にリード2aの高さ位置を検出しうる高さ
計測領域を予め設定しておき、この高さ計測領域の範囲
内でのみ高さ検出を行うようにするので、高さ計測領域
内に位置するリード2aの高さのみ検出することがで
き、高さ計測領域外の突起2b,2cの高さを検出しな
いため、図8(B)に示すように、リード2aの画像2
02aのみを持つ電子部品2の画像202を取り込むこ
とができる。すなわち、従来技術で検出されてしまった
ノイズ102cとノイズ102bが、上記第1実施形態
の部品認識方法では3Dセンサー8の高さ計測領域外に
あるため、3Dセンサー8では、ノイズ102cとノイ
ズ102bが全く検出されない。つまり、従来技術で必
要だった、「ノイズリード除去処理」や、「低コントラ
ストリード検出処理」は全く必要はない。したがって、
従来の方法に比べて、上記第1実施形態によれば、画像
処理時間を短縮できるだけでなく、認識の信頼性も大幅
に向上するという効果がある。
On the other hand, in the first embodiment, the height measurement reference plane 128 in the height measurable area is used.
Since a height measurement area in which the height position of the lead 2a can be detected is set in advance around the numerical value of, and the height is detected only within the range of the height measurement area, the height measurement area is set. Since only the height of the lead 2a located inside the lead 2a can be detected and the height of the protrusions 2b and 2c outside the height measurement area is not detected, as shown in FIG.
An image 202 of the electronic component 2 having only 02a can be captured. In other words, the noise 102c and the noise 102b detected by the conventional technique are outside the height measurement area of the 3D sensor 8 in the component recognition method of the first embodiment, and thus the noise 102c and the noise 102b are detected by the 3D sensor 8. Is not detected at all. In other words, there is no need for the "noise lead removal processing" or the "low contrast lead detection processing" required in the prior art. Therefore,
Compared with the conventional method, according to the first embodiment, not only the image processing time can be reduced, but also the reliability of recognition is greatly improved.

【0031】従って、上記第1実施形態にかかる部品認
識方法によれば、高さ計測可能領域内において高さ計測
基準面を中心にリード2aの高さ位置を検出しうる高さ
計測領域を予め設定しておき、この高さ計測領域の範囲
内でのみ高さ検出を行うようにしたので、高さ計測領域
内に位置するリード2aの高さのみ検出することがで
き、高さ計測領域外の突起2b,2cの高さを検出する
ことがない。よって、電子部品2の装着面に存在するリ
ード2aや電極等の付近にノイズとなる突起2b,2c
などが存在しても、突起2b,2cなどを誤ってリード
2aや電極等として認識することなく正確に認識するこ
とができて、上記電子部品2の装着面に存在するリード
2aや電極などの接合部の位置情報を正確に得ることが
できる。よって、この正確に得られた上記接合部の位置
情報に基づき上記電子部品2の実装を行えば、電子部品
2をより一層正確に実装することができる。
Therefore, according to the component recognition method according to the first embodiment, the height measurement area in which the height position of the lead 2a can be detected around the height measurement reference plane in the height measurement possible area is set in advance. Since the height is set and the height is detected only within the range of the height measurement area, only the height of the lead 2a located within the height measurement area can be detected, and the height outside the height measurement area can be detected. The heights of the projections 2b and 2c are not detected. Therefore, the protrusions 2b and 2c that become noise near the leads 2a and electrodes existing on the mounting surface of the electronic component 2
Even when the electronic component 2 exists, the protrusions 2b and 2c can be accurately recognized without being erroneously recognized as the lead 2a or the electrode. The position information of the joint can be obtained accurately. Therefore, if the mounting of the electronic component 2 is performed based on the position information of the bonding portion obtained accurately, the electronic component 2 can be mounted more accurately.

【0032】図14は上記上記第1実施形態の部品認識
方法を実施するための部品認識装置の詳細なブロック図
である。図14において、主制御部200は、図1に示
される電子部品実装装置全体の動作を制御する。たとえ
ば、サーボコントローラー601を介して電子部品実装
装置のヘッド部7の位置を制御し、電子部品2の吸着、
移動、プリント基板9への装着を行う。また、装着を行
う電子部品2の部品形状情報(部品ボディ2pの大きさ
(ボディ高さ、ボディ幅、ボディ奥行き)、リード本
数、リード長さ、リード幅、リードピッチなど)を主制
御部200の部品形状情報記憶部620からシステムバ
ス201及び2ポートメモリ306を介して部品認識装
置のワークメモリ302に転送し、電子部品2の高さ画
像入力、電子部品2の位置検出を行わせる。また、電子
部品2の位置検出結果は、画像処理制御部21からその
2ポートメモリ306を介して主制御部200に入力
し、主制御部200により電子部品実装装置全体の動作
を制御して、電子部品2をプリント基板9に装着する際
のX,Y,θ方向の位置補正計算に用いる。そして、位
置(X,Y,θ)補正計算結果に基づいて、主制御部2
00により、ノズル7aをθ方向に回転させて電子部品
2の回転位置を補正するとともに、XY方向については
電子部品2の装着位置に補正計算結果を加味して、ヘッ
ド部7をXY方向に移動させ、電子部品2をプリント基
板9の所定位置に装着する。
FIG. 14 is a detailed block diagram of a component recognition apparatus for implementing the component recognition method of the first embodiment. 14, a main control unit 200 controls the operation of the entire electronic component mounting apparatus shown in FIG. For example, the position of the head unit 7 of the electronic component mounting apparatus is controlled via the servo controller 601, and the suction of the electronic component 2
Movement and mounting on the printed circuit board 9 are performed. The main control unit 200 also stores the component shape information (the size (body height, body width, body depth) of the component body 2p, the number of leads, the lead length, the lead width, the lead pitch, etc.) of the electronic component 2 to be mounted. From the component shape information storage unit 620 via the system bus 201 and the two-port memory 306 to the work memory 302 of the component recognition device, and the height image of the electronic component 2 is input and the position of the electronic component 2 is detected. The position detection result of the electronic component 2 is input from the image processing control unit 21 to the main control unit 200 via the two-port memory 306, and the main control unit 200 controls the operation of the entire electronic component mounting apparatus. It is used for the position correction calculation in the X, Y, and θ directions when the electronic component 2 is mounted on the printed circuit board 9. Then, based on the position (X, Y, θ) correction calculation result, the main control unit 2
00, the nozzle 7a is rotated in the θ direction to correct the rotational position of the electronic component 2, and in the XY direction, the head unit 7 is moved in the XY direction by adding the correction calculation result to the mounting position of the electronic component 2. Then, the electronic component 2 is mounted at a predetermined position on the printed circuit board 9.

【0033】一方、上記したように、上記x軸ロボット
5では、電子部品2を吸着したヘッド部7は、サーボモ
ーター24の回転によりX軸5上を移動する。電子部品
2の高さデータ入力は、電子部品2を吸着したヘッド部
7が、基準位置センサー22の左側から右側に向かっ
て、3Dセンサー8上を等速で移動することでなされ
る。ヘッド部7が基準位置センサー22を通過すると基
準位置信号23が出力されて、画像処理制御部21に通
知される。 このx軸ロボット5を含むXYロボット6
00では、サーボコントローラ601が、X軸・Y軸・
θ軸・ノズル高さ軸の位置制御を行う。特に、X軸のモ
ータエンコーダ信号は、ヘッド部7のX軸上での位置を
教えるため、また、X軸からの基準位置信号は、ヘッド
部7が高さ計測開始位置に来たことを教えるため、それ
ぞれ、画像処理制御部21のタイミング制御部307に
入力され、タイミング制御部307において高さデータ
を画像メモリ305に取り込むスタートタイミングを測
るのに用いられる。
On the other hand, as described above, in the x-axis robot 5, the head 7 that has sucked the electronic component 2 moves on the X-axis 5 by the rotation of the servomotor 24. The input of the height data of the electronic component 2 is performed by moving the head unit 7 sucking the electronic component 2 from the left side to the right side of the reference position sensor 22 on the 3D sensor 8 at a constant speed. When the head section 7 passes through the reference position sensor 22, a reference position signal 23 is output and notified to the image processing control section 21. XY robot 6 including this x-axis robot 5
In 00, the servo controller 601 controls the X axis, the Y axis,
Controls the position of the θ axis and the nozzle height axis. In particular, the motor encoder signal of the X axis indicates the position of the head unit 7 on the X axis, and the reference position signal from the X axis indicates that the head unit 7 has reached the height measurement start position. Therefore, each is input to the timing control unit 307 of the image processing control unit 21, and is used by the timing control unit 307 to measure the start timing of loading the height data into the image memory 305.

【0034】上記したように、上記高さ検出部602の
高さ検出センサー8では、対象物から反射してきたレー
ザー光を計測する受光系は、レーザー光の反射ばらつき
を考慮して2系統(チャネルAとチャネルB)設け、信
頼性を確保している。各受光系では、PSD17a,1
7bで検出した微弱な信号を、プリアンプ310a,3
10bで増幅し、ADコンバーター(アナログ?デジタ
ルコンバーター)311a,311bで12ビットのデ
ジタルデータに変換し(高さ演算の精度を確保するた
め、ここでは12ビットのデジタルデータに変換してい
る)、画像処理制御部21の高さ演算部312a,31
2bへ入力している。また、ポリゴンミラー12は常時
回転しており、図5で示される機構によって、ポリゴン
面原点信号をクロック発生部309に入力している。ク
ロック発生部309では、高さデータをメモリに書き込
む際に必要になる基準クロック(CLK)を発生させる
と共に、ポリゴン面原点信号20を基にして、高さデー
タ取り込みに必要な水平同期信号(HCLR)を発生さ
せ、それぞれ画像処理制御部21のタイミング制御部3
07に入力している。
As described above, in the height detection sensor 8 of the height detection unit 602, the light receiving system that measures the laser light reflected from the object has two systems (channels) in consideration of the reflection variation of the laser light. A and channel B) are provided to ensure reliability. In each light receiving system, the PSD 17a, 1
The weak signal detected by the preamplifier 310a, 3a
The signal is amplified by 10b and converted into 12-bit digital data by AD converters (analog to digital converter) 311a and 311b (in order to secure the accuracy of height calculation, converted to 12-bit digital data). Height calculation units 312a and 31 of image processing control unit 21
2b. Further, the polygon mirror 12 is constantly rotating, and a polygon surface origin signal is input to the clock generator 309 by the mechanism shown in FIG. The clock generator 309 generates a reference clock (CLK) required when writing height data to the memory, and generates a horizontal synchronization signal (HCLR) necessary for capturing height data based on the polygon surface origin signal 20. ), And the timing control unit 3 of the image processing control unit 21
07.

【0035】高さ検出部602の3Dセンサー8からプ
リアンプ310a,310b及びADコンバーター31
1a,311bによりデジタル化されたPSD信号は、
高さ演算部312a,312bで8ビットの高さデータ
に変換される。チャネル選択部303は、2系統(チャ
ネルAとチャネルB)ある高さデータをリアルタイムで
比較し、それぞれのタイミングで確からしい方の高さデ
ータを選択している。たとえば、チャネルAの高さ計算
時にゼロによる割り算が発生すれば、チャネルAの高さ
データには異常を表す255が与えられるので、このよ
うな場合には、チャネルBの値を選択する。もし両チャ
ネルが255の異常値を示せば、高さデータとして25
5が出力される。また、両チャネルの高さデータが正常
値であれば、両チャネルの高さデータの加算平均値が出
力される。チャネル選択部303から出力された高さデ
ータは、高さ変換部304で高さ計測領域外にある高さ
データを無効値(例えばゼロ)に変換して画像メモリ3
05に格納される。高さデータの画像メモリ305への
格納は、タイミング制御部307によって制御されてお
り、タイミング制御部307では、XYロボット600
から基準位置信号を受けた後、予め定めておいたヘッド
部移動距離としてエンコーダ信号25をカウントしたの
ち垂直同期信号(VCLR)を生成し、高さデータ取り
込み開始信号として画像メモリ305へ入力している。
垂直同期信号(VCLR)を生成するのに、基準位置信
号を受けた後、予め定めておいたヘッド部移動距離をエ
ンコーダ信号でカウントするのは、通常基準位置センサ
ー22を高さデータ取り込み開始位置に正確に取り付け
るのは不可能なためである。画像メモリ305に格納さ
れた高さデータは、プログラムに従って動作するCPU
300によって画像処理され、認識対象物である電子部
品2の位置検出などが行われる。プログラムは、プログ
ラムメモリ301に格納されている。電子部品2の幾何
特徴を格納している部品形状情報記憶部620の部品形
状情報(部品のボディの大きさ(ボディ高さ、ボディ
幅、ボディ奥行き)、リード本数、リード長さ、リード
幅など)は、高さ画像入力に先立ち、2ポートメモリ3
06を介して主制御部200側から事前に送られてく
る。認識対象物の位置検出は、上記したように、この部
品形状情報を基に行われる。尚、ワークメモリ302
は、認識対象物の位置検出を行う上で、中間結果を格納
する場所として使用される。このように、ノイズ除去部
の例としての高さ変換部304において高さ変換テーブ
ルを使用した場合、変換速度が速く、部品認識速度を向
上させることができる。
From the 3D sensor 8 of the height detecting section 602, the preamplifiers 310a and 310b and the AD converter 31
The PSD signals digitized by 1a and 311b are:
The data is converted into 8-bit height data by the height calculation units 312a and 312b. The channel selector 303 compares height data of two systems (channel A and channel B) in real time, and selects the more likely height data at each timing. For example, if a division by zero occurs during the calculation of the height of channel A, 255 indicating an abnormality is given to the height data of channel A. In such a case, the value of channel B is selected. If both channels show an outlier of 255, 25 as height data
5 is output. If the height data of both channels is a normal value, an average value of the height data of both channels is output. The height data output from the channel selection unit 303 is converted into an invalid value (for example, zero) by the height conversion unit 304 from the height data outside the height measurement area, and the image memory 3
05 is stored. The storage of the height data in the image memory 305 is controlled by the timing control unit 307.
After receiving the reference position signal from the controller, the encoder signal 25 is counted as a predetermined head moving distance, a vertical synchronization signal (VCLR) is generated, and the vertical synchronization signal (VCLR) is input to the image memory 305 as a height data capture start signal. I have.
In order to generate the vertical synchronization signal (VCLR), after receiving the reference position signal, the predetermined moving distance of the head unit is counted by the encoder signal. This is because it is impossible to attach it accurately. The height data stored in the image memory 305 is stored in a CPU that operates according to a program.
Image processing is performed by 300, and the position detection and the like of the electronic component 2 that is the recognition target are performed. The program is stored in the program memory 301. Component shape information (body size (body height, body width, body depth) of the component, number of leads, lead length, lead width, etc.) in the component shape information storage unit 620 storing the geometric features of the electronic component 2 ) Is a 2-port memory 3 prior to height image input.
It is sent in advance from the main control unit 200 side via 06. The position detection of the recognition target is performed based on the component shape information as described above. The work memory 302
Is used as a location for storing an intermediate result in detecting the position of the recognition target. As described above, when the height conversion table is used in the height conversion unit 304 as an example of the noise removal unit, the conversion speed is high, and the component recognition speed can be improved.

【0036】図15は図14のプログラムメモリ301
に含まれる機能的な手段を示しており、処理エリア決定
手段401と、重心検出手段402と、傾き検出手段4
03と、接合部位置検出手段として機能するリード位置
検出手段404と、接合部中心及び傾き検出手段として
機能する対象物中心・傾き検出手段405と、高さデー
タクリップ手段406と、高さ変換テーブル設定手段4
07と、しきい値算出手段408とを備えている。これ
らは、通常はソフトウェアでそれぞれ構成される。処理
エリア決定手段401は、図10のステップS6Aの動
作を行うものであって、部品2の大きさから画像メモリ
305中の処理エリアを決定する。重心検出手段402
は、図10のステップS6Cの中心算出を行う。傾き検
出手段403は、図10のステップS6Cの傾き算出式
を行う。リード位置検出手段404は、図10のステッ
プS6Dの動作を行うものであって、与えられた中心及
び傾きと対象物の部品形状情報からからリード2aの存
在する位置を計算し、リード2aの中心位置を検出す
る。
FIG. 15 shows the program memory 301 of FIG.
The processing means includes a processing area determining means 401, a center of gravity detecting means 402, and a tilt detecting means 4.
03, lead position detecting means 404 functioning as joint position detecting means, object center / tilt detecting means 405 functioning as joint center and tilt detecting means, height data clipping means 406, height conversion table Setting means 4
07 and a threshold value calculation means 408. These are usually each constituted by software. The processing area determining means 401 performs the operation of step S6A in FIG. 10, and determines the processing area in the image memory 305 from the size of the component 2. Center of gravity detection means 402
Performs the center calculation of step S6C in FIG. The inclination detection means 403 performs the inclination calculation formula in step S6C in FIG. The lead position detecting means 404 performs the operation of step S6D in FIG. 10, and calculates the position where the lead 2a exists from the given center and inclination and the component shape information of the object, and calculates the center of the lead 2a. Detect the position.

【0037】対象物中心・傾き検出手段405は、図1
0のステップS6Eの動作を行うものであって、全ての
リード位置から、正確な対象物の中心・傾きを算出す
る。高さデータクリップ手段406は、ある領域をサー
チしてクリップする高さレベルを算出する手段である。
例えば、図12(A)に示されるリード2aを含む小ウ
ィンドウ501内で、リード2aを検出する前に、高さ
データクリップ手段406によりクリップ値を求めてお
く。そうすると、このクリップ値を用いてノイズ高さを
除去することで、リード位置を正確に検出することがで
きる。ここで、クリップする高さレベル算出はリード毎
に行うので、クリップレベルはリード毎で異なる値を持
つ。したがって、各リード2aに応じた最適なノイズ高
さ除去を行うことができる。高さ変換テーブル設定手段
407は、作業者からの指示に基づき、高さ変換部30
4内の高さ変換テーブルを書き換えるものである。しき
い値算出手段408は、上記したように、各位置での高
さデータを示す輝度を基に輝度ヒストグラムを作成した
のち、この輝度ヒストグラムにおいて高さ検出すべき接
合部例えばリード2aとノイズ物体とを分離させるため
にしきい値を設定する。
The object center / inclination detecting means 405 is provided in FIG.
In step S6E of step S6E, the center / inclination of the target object is accurately calculated from all the lead positions. The height data clipping unit 406 is a unit that calculates a height level at which a certain area is searched and clipped.
For example, in the small window 501 including the lead 2a shown in FIG. 12A, a clip value is obtained by the height data clipping unit 406 before the lead 2a is detected. Then, the lead position can be accurately detected by removing the noise height using the clip value. Here, since the calculation of the clipping height level is performed for each lead, the clip level has a different value for each lead. Therefore, it is possible to perform optimal noise height removal according to each lead 2a. The height conversion table setting means 407 receives the height conversion unit 30 based on an instruction from an operator.
4 is to rewrite the height conversion table. As described above, the threshold value calculating unit 408 creates a luminance histogram based on the luminance indicating the height data at each position, and then, in the luminance histogram, determines a joint to be detected in height, for example, the lead 2a and the noise object. Set a threshold to separate.

【0038】図16は、図14の高さ変換部304の検
出範囲の設定例を示す高さ変換テーブルである。ここ
で、部品形状情報には、高さ検出領域の調整に関した検
出高さデータが格納されている。CPU300は、この
情報に基づいて高さ変換テーブルを書き換えることがで
きるCPU300からみれば、高さ変換テーブルはメモ
リと同じようにみるとができ、CPU300がアドレス
を指定しながら8ビットのデータを書き込むことによ
り、高さ変換テーブルを設定することができる。よっ
て、高さ変換部304は、高さ計測可能領域内において
高さ計測基準面を中心にリード2aの高さ位置を検出し
うる高さ計測領域を予め設定しておくことができ、この
高さ計測領域の範囲内を通過する高さデータのみを後続
の処理に出力するようにして、高さ計測領域の範囲内の
みでの高さ検出を行うようにするものである。ここで
は、8ビット画像処理なので、高さデータとしては0〜
255までの256通りの数値を扱うことができる。上
記第1実施形態では便宜上、高さ計測の基準面の数値を
128として高さ座標軸を対象物から3Dセンサー方向
に取っており、高さ方向の分解能を10μmとすると、
計測可能な領域は約±1.2mmとなる。図16では、
この条件で高さ計測領域を例えば±0.5mmに限定す
る高さ変換部304の設定を表している。すなわち、図
16においては、高さデータとしての78から178の
間の数値(デジタル値)が高さ変換部304に入力され
ると、入力値と同じ値に変換されて78から178の間
の数値(デジタル値)がそれぞれ出力される。しかしな
がら、高さデータとしての0以上78未満の数値(デジ
タル値)及び178を超えて255以下の数値(デジタ
ル値)が高さ変換部304にそれぞれ入力されると、変
換されて0の数値がそれぞれ出力されることを示してい
る。よって、図9のステップS3において、高さ検出し
たい高さ計測領域が予めわかっている場合に高さ計測領
域の調整を行うときには、この高さ変換テーブルを変更
すればよい。具体的には、例えば、図9のステップS2
で高さ計測領域内にノイズ物体が入り込むと作業者が判
断した場合に、ステップS3でノイズ物体が高さ計測領
域外から外れるように高さ計測領域を狭くするように調
整することが必要になる。このため、高さ計測領域を狭
くするように作業者が、高さ変換部304内の高さ変換
テーブルの入力値に対する出力値を変更する指示を操作
盤650から部品形状情報記憶部620内に格納してお
き、主制御部200及び2ポートメモリ306を介し
て、図15のプログラムメモリ301内の高さ変換テー
ブル設定手段407が部品形状情報記憶部620内の上
記調整指示に基づき、高さ変換部304内の高さ変換テ
ーブルを書き換えるようにすればよい。
FIG. 16 is a height conversion table showing an example of setting the detection range of the height conversion unit 304 in FIG. Here, in the component shape information, detected height data relating to the adjustment of the height detection area is stored. From the viewpoint of the CPU 300 that can rewrite the height conversion table based on this information, the CPU 300 can view the height conversion table in the same way as a memory, and the CPU 300 writes 8-bit data while specifying an address. Thus, a height conversion table can be set. Therefore, the height conversion unit 304 can set in advance a height measurement area in which the height position of the lead 2a can be detected around the height measurement reference plane in the height measurable area. Only the height data that passes through the range of the height measurement area is output to the subsequent processing, and the height is detected only within the range of the height measurement area. Here, since 8-bit image processing is performed, the height data is 0 to 0.
256 numerical values up to 255 can be handled. In the first embodiment, for convenience, the numerical value of the reference plane for height measurement is 128 and the height coordinate axis is taken from the object in the direction of the 3D sensor, and the resolution in the height direction is 10 μm.
The measurable area is about ± 1.2 mm. In FIG.
The setting of the height conversion unit 304 that limits the height measurement area to, for example, ± 0.5 mm under this condition is shown. That is, in FIG. 16, when a numerical value (digital value) between 78 and 178 as height data is input to the height conversion unit 304, it is converted into the same value as the input value and Numerical values (digital values) are output. However, when a numerical value (digital value) of 0 or more and less than 78 and a numerical value (digital value) of more than 178 and 255 or less as height data are input to the height conversion unit 304, the value is converted to a numerical value of 0. This indicates that each is output. Therefore, in step S3 in FIG. 9, when the height measurement area to be detected is known in advance and the height measurement area is adjusted, the height conversion table may be changed. Specifically, for example, step S2 in FIG.
When the operator determines that the noise object enters the height measurement area in step S3, it is necessary to adjust the height measurement area so as to narrow the height measurement area so that the noise object moves out of the height measurement area in step S3. Become. Therefore, the operator issues an instruction to change the output value corresponding to the input value of the height conversion table in the height conversion unit 304 from the operation panel 650 to the component shape information storage unit 620 so as to narrow the height measurement area. The height conversion table setting means 407 in the program memory 301 shown in FIG. 15 is stored on the basis of the adjustment instruction in the part shape information storage unit 620 via the main control unit 200 and the two-port memory 306. What is necessary is just to rewrite the height conversion table in the conversion part 304.

【0039】従って、上記第1実施形態にかかる部品認
識装置によれば、高さ変換部304により、高さ計測可
能領域内において高さ計測基準面を中心にリード2aの
高さ位置を検出しうる高さ計測領域を予め設定してお
き、この高さ計測領域の範囲内でのみ高さ検出を行うよ
うにしたので、高さ計測領域内に位置するリード2aの
高さのみ検出することができ、高さ計測領域外の突起2
b,2cの高さを検出することがない。よって、電子部
品2の装着面に存在するリード2aや電極等の付近にノ
イズとなる突起2b,2cなどが存在しても、突起2
b,2cなどを誤ってリード2aや電極等として認識す
ることなく正確に認識することができて、上記電子部品
2の装着面に存在するリード2aや電極などの接合部の
位置情報を正確に得ることができる。よって、この正確
に得られた上記接合部の位置情報に基づき上記電子部品
2の実装を行えば、電子部品2をより一層正確に実装す
ることができる。
Therefore, according to the component recognition apparatus of the first embodiment, the height conversion unit 304 detects the height position of the lead 2a around the height measurement reference plane in the height measurement possible area. Since the height measurement area is set in advance and the height is detected only within the height measurement area, it is possible to detect only the height of the lead 2a located in the height measurement area. Protrusion 2 outside the height measurement area
The heights of b and 2c are not detected. Therefore, even if there are protrusions 2b and 2c which become noise near the lead 2a, the electrode and the like existing on the mounting surface of the electronic component 2, the protrusion 2
b, 2c, etc., can be accurately recognized without being erroneously recognized as the leads 2a, electrodes, etc., and the positional information of the joints, such as the leads 2a and electrodes, existing on the mounting surface of the electronic component 2 can be accurately obtained. Obtainable. Therefore, if the mounting of the electronic component 2 is performed based on the position information of the bonding portion obtained accurately, the electronic component 2 can be mounted more accurately.

【0040】なお、本発明は上記実施形態に限定される
ものではなく、その他種々の態様で実施できる。例え
ば、第1実施形態において、高さ変換部304をソフト
ウェアで実施するのではなく、高さ変換部を回路的な構
成、例えば、2種類の比較器で構成するようにしてもよ
い。この場合、2種類の比較器のうちの一方の比較器で
はリード2aとノイズ物体とを分離するためのしきい値
よりノイズ物体側の高さデータはすべて無効とする一
方、他方の比較器では上記しきい値以下のリード側の高
さデータはすべて有効として取り扱うことにより同様な
機能を発揮するようにしてもよい。また、第1実施形態
の代わりに、本発明の第2実施形態として、高さ検出し
たい計測領域を予め決めておくことができない場合に
は、高さデータを一旦、画像メモリに格納した後、高さ
データを解析して高さ計測領域を設定し、計測領域外に
ある高さデータを特定の値に置き換える方法がある。具
体的には、例として、8ビットで表す高さ計測領域内に
ノイズとなる物体が含まれているが、ノイズの高さが安
定しないために、第1実施形態が採用されない場合に適
用する。 又、本発明の第3実施形態として、高さ変換
部304を備える代わりに、計測可能な範囲内にノイズ
となる物体が入らないようにPSD17a,17bに結
像させる受光系のレンズ16a,16bの倍率を変更し
て高さ計測領域の幅を狭くして、リード2aからの反射
光のみを結像させ、ノイズとなる突起2b,2cからの
反射光は結像させないようにする。ただし、この第3実
施形態では、対象物に合わせてフレキシブルに高さ計測
領域を設定するためには、特別な調整機構が必要とな
る。
The present invention is not limited to the above embodiment, but can be implemented in other various modes. For example, in the first embodiment, instead of implementing the height conversion unit 304 with software, the height conversion unit may be configured with a circuit configuration, for example, with two types of comparators. In this case, one of the two types of comparators invalidates all the height data on the noise object side from the threshold value for separating the lead 2a and the noise object, while the other comparator does not. The same function may be exhibited by treating all the height data on the lead side below the threshold value as valid. Also, instead of the first embodiment, as a second embodiment of the present invention, when it is not possible to determine in advance a measurement area to be detected, height data is temporarily stored in an image memory, There is a method of analyzing height data, setting a height measurement area, and replacing the height data outside the measurement area with a specific value. Specifically, as an example, an object that becomes noise is included in the height measurement area represented by 8 bits, but this is applied to the case where the first embodiment is not adopted because the height of the noise is not stable. . Also, as a third embodiment of the present invention, instead of including the height conversion unit 304, the light receiving system lenses 16a, 16b that form images on the PSDs 17a, 17b so that no noise-causing object enters the measurable range. Is changed so as to narrow the width of the height measurement area so that only the reflected light from the lead 2a is formed into an image, and the reflected light from the projections 2b and 2c, which is noise, is not formed. However, in the third embodiment, a special adjustment mechanism is required to flexibly set the height measurement area according to the target object.

【0041】[0041]

【発明の効果】本発明の部品認識方法によれば、高さ計
測可能領域内において高さ計測基準面を中心に接合部の
高さ位置を検出しうる高さ計測領域を予め設定してお
き、この高さ計測領域の範囲内でのみ接合部の高さ検出
を行うようにしたので、高さ計測領域内に位置する接合
部の高さのみ検出することができ、高さ計測領域外の突
起等のノイズ物体の高さを検出することがない。よっ
て、電子部品の装着面に存在するリードや電極等の接合
部の付近にノイズ物体となる突起などが存在しても、突
起などを誤って接合部として認識することなく接合部を
正確に認識することができて、上記電子部品の装着面の
接合部の位置情報を正確に得ることができる。よって、
この正確に得られた上記接合部の位置情報に基づき上記
電子部品の実装を行えば、電子部品をより一層正確に実
装することができる。また、本発明の部品認識装置によ
れば、ノイズ除去部により、高さ計測可能領域内におい
て高さ計測基準面を中心に接合部の高さ位置を検出しう
る高さ計測領域を予め設定しておき、この高さ計測領域
の範囲内でのみ接合部の高さ検出を行うようにしたの
で、高さ計測領域内に位置する接合部の高さのみ検出す
ることができ、高さ計測領域外の突起などのノイズ物体
の高さを検出することがない。よって、電子部品の装着
面に存在するリードや電極等の接合部の付近にノイズ物
体などが存在しても、ノイズ物体などを誤って接合部と
して認識することなく正確に認識することができて、上
記電子部品の装着面に存在するリードや電極などの接合
部の位置情報を正確に得ることができる。よって、この
正確に得られた上記接合部の位置情報に基づき上記電子
部品の実装を行えば、電子部品をより一層正確に実装す
ることができる。
According to the component recognition method of the present invention, a height measurement area in which the height position of the joint can be detected centering on the height measurement reference plane in the height measurement possible area is set in advance. Since the height of the joint is detected only within the height measurement area, only the height of the joint located within the height measurement area can be detected. The height of a noise object such as a projection is not detected. Therefore, even if there is a projection or the like that is a noise object near a joint such as a lead or an electrode on the mounting surface of the electronic component, the joint can be accurately recognized without erroneously recognizing the projection as a joint. This makes it possible to accurately obtain positional information of the joint on the mounting surface of the electronic component. Therefore,
If the electronic component is mounted on the basis of the position information of the joint obtained accurately, the electronic component can be mounted more accurately. Further, according to the component recognition device of the present invention, the noise measurement unit sets in advance a height measurement area in which the height position of the joint can be detected around the height measurement reference plane in the height measurement possible area. In addition, since the height of the joint is detected only in the range of the height measurement area, only the height of the joint located in the height measurement area can be detected. It does not detect the height of noise objects such as external projections. Therefore, even if there is a noise object or the like near a joint such as a lead or an electrode on the mounting surface of the electronic component, the noise object can be accurately recognized without being erroneously recognized as the joint. In addition, it is possible to accurately obtain positional information of a joint such as a lead or an electrode existing on a mounting surface of the electronic component. Therefore, if the electronic component is mounted on the basis of the position information of the joint obtained accurately, the electronic component can be mounted more accurately.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の上記第1実施形態である電子部品認
識方法を実施することができる電子部品実装機の外観図
である。
FIG. 1 is an external view of an electronic component mounter that can execute an electronic component recognition method according to the first embodiment of the present invention.

【図2】 上記第1実施形態の電子部品認識方法に使用
する高さ検出センサーのY軸方向に見た側面図である。
FIG. 2 is a side view of a height detection sensor used in the electronic component recognition method according to the first embodiment as viewed in a Y-axis direction.

【図3】 図2の高さ検出センサーのX軸方向に見た側
面図である。
FIG. 3 is a side view of the height detection sensor of FIG. 2 as viewed in the X-axis direction.

【図4】 上記第1実施形態における3Dセンサーから
の出力信号の説明図である。
FIG. 4 is an explanatory diagram of an output signal from a 3D sensor according to the first embodiment.

【図5】 上記第1実施形態における高さ測定方法の例
を示す説明図である。
FIG. 5 is an explanatory diagram showing an example of a height measuring method in the first embodiment.

【図6】 上記第1実施形態である電子部品認識方法に
おいて3次元センサーを使用して位置検出することが有
効な電子部品の斜視図である。
FIG. 6 is a perspective view of an electronic component in which position detection using a three-dimensional sensor is effective in the electronic component recognition method according to the first embodiment.

【図7】 図6の電子部品のリードの位置及びノイズと
なる突起の位置と上記第1実施形態である電子部品認識
方法における高さ計測領域との関係を説明するための図
である。
FIG. 7 is a diagram for explaining the relationship between the position of a lead and the position of a projection serving as noise of the electronic component of FIG. 6 and a height measurement area in the electronic component recognition method according to the first embodiment.

【図8】 (A),(B)は、それぞれ、図6の電子部
品を従来技術であるCCDカメラで撮影したときの画像
の模式的な説明図及び上記第1実施形態による電子部品
認識方法で認識したときの電子部品の画像の模式的な説
明図である。
FIGS. 8A and 8B are schematic explanatory views of an image obtained by photographing the electronic component of FIG. 6 with a conventional CCD camera, and an electronic component recognition method according to the first embodiment. FIG. 4 is a schematic explanatory diagram of an image of an electronic component when recognized by the method of FIG.

【図9】 上記第1実施形態にかかる電子部品認識方法
を使用して電子部品を装着する手順を示すフローチャー
トである。
FIG. 9 is a flowchart showing a procedure for mounting an electronic component using the electronic component recognition method according to the first embodiment.

【図10】 図9のステップS6において、高さデータ
からの部品の位置検出手順を詳細に示すフローチャート
である。
FIG. 10 is a flowchart showing details of a procedure for detecting the position of a component from height data in step S6 of FIG. 9;

【図11】 (A),(B)は、それぞれ、図10の位
置検出手順において部品の大きさから決定された処理エ
リアをウィンドウで示す模式的な説明図及び上記処理エ
リア内をサンプリングして部品の大まかな中心と傾きを
求めることを示す模式的な説明図である。
11A and 11B are a schematic explanatory view showing a processing area determined from the size of a component in a window in the position detection procedure of FIG. 10 and a sampling of the processing area. FIG. 9 is a schematic explanatory view showing that a rough center and a tilt of a part are obtained.

【図12】 (A),(B)は、それぞれ、図10の位
置検出手順において、上記部品の大まかな中心及び傾き
とメインコントローラから送られてきた部品形状情報を
使って、個々のリードが存在する位置を推定し、リード
を包含する小さなウィンドウを設定し、このウィンドウ
内をサンプリングして、リードの中心位置を検出する状
態を示す模式的な説明図及び全てのリード位置から部品
の正確な中心と傾きを算出する状態を示す模式的な説明
図である。
FIGS. 12A and 12B respectively show the case where individual leads are used in the position detection procedure of FIG. 10 by using the approximate center and inclination of the component and the component shape information sent from the main controller. Estimate the existing position, set a small window containing the lead, sample the window, and detect the center position of the lead. FIG. 4 is a schematic explanatory view showing a state in which a center and a tilt are calculated.

【図13】 図10の位置検出手順において部品の正確
な中心と傾きの算出結果の例を示す模式的な説明図であ
る。
13 is a schematic explanatory view showing an example of a calculation result of an accurate center and a tilt of a component in the position detection procedure of FIG. 10;

【図14】 上記第1実施形態の部品認識方法を実施す
るための部品認識装置のブロック図である。
FIG. 14 is a block diagram of a component recognition device for performing the component recognition method of the first embodiment.

【図15】 図14の部品認識装置のプログラムメモリ
に含まれるソフトウェアの機能的な手段のブロック図で
ある。
15 is a block diagram of functional means of software included in a program memory of the component recognition device of FIG. 14;

【図16】 図15の高さ変換部の検出範囲の設定例を
示すテーブルの図である。
FIG. 16 is a table showing an example of setting a detection range of the height conversion unit in FIG. 15;

【図17】 輝度ヒストグラムを作成する対象となる処
理エリアを示す図である。
FIG. 17 is a diagram showing a processing area for which a luminance histogram is created.

【図18】 図17の処理エリアの輝度ヒストグラムの
図である。
18 is a diagram of a luminance histogram of the processing area in FIG.

【符号の説明】[Explanation of symbols]

1…電子部品実装装置の実装装置本体、2…電子部品、
2a…リード、2b…突起、2c…突起、3…トレー、
4…トレー供給部、5…x軸側のロボット、6a,6b
…y軸側のロボット、7…ヘッド部、7a…ノズル、7
m…ノズル高さ軸上下用サーボモーター、8…3次元
(3D)センサー、9…プリント基板、10…半導体レ
ーザー、11…集光整形レンズ、12…ポリゴンミラ
ー、13…ハーフミラー、14…ミラー、15…F−θ
レンズ、16a,16b…結像レンズ、17a,17b
…半導体位置検出素子(PSD)、18a,18b…P
SD17a,17bの出力信号、19…受光素子(光セ
ンサー)、20…ポリゴン面原点信号、21…電子部品
認識装置の画像処理制御部、22…基準位置センサー、
23…基準位置信号、24…サーボモータ、24a…エ
ンコーダー、25…エンコーダー信号、102,202
…部品の画像、102a,202a…リード部分の画
像、102b,102c…ノイズとなる突起の画像、1
28…高さ計測の基準面、200…主制御部、201…
システムバス、300…CPU、301…プログラムメ
モリ、302…ワークメモリ、303…チャンネル選択
部、304…高さ変換部、305…画像メモリ、306
…2ポートメモリ、307…タイミング制御部、309
…クロック発生部、310a,310b…プリアンプ、
311a,311b…ADコンバーター、312a,3
12b…高さ演算部、401…処理エリア決定手段、4
02…重心検出手段、403…傾き検出手段、404…
リード位置検出手段、405…対象物中心・傾き検出手
段、406…高さデータクリップ手段、407…高さ変
換テーブル設定手段、408…しきい値算出手段、50
0…処理エリアのウィンドウ、501…小ウィンドウ、
502…中心位置、503,504,505…直線、5
06…交点、600…XYロボット、601…サーボコ
ントローラー、602…高さ検出部、620…部品形状
情報記憶部。
1. Mounting device body of electronic component mounting device 2. Electronic components,
2a: lead, 2b: protrusion, 2c: protrusion, 3: tray,
4: tray supply unit, 5: robot on x-axis side, 6a, 6b
... Y-axis side robot, 7 ... Head part, 7a ... Nozzle, 7
m: Servo motor for vertical movement of nozzle height axis, 8: Three-dimensional (3D) sensor, 9: Printed circuit board, 10: Semiconductor laser, 11: Condensing and shaping lens, 12: Polygon mirror, 13: Half mirror, 14: Mirror , 15 ... F-θ
Lens, 16a, 16b ... imaging lens, 17a, 17b
... Semiconductor position detection element (PSD), 18a, 18b ... P
Output signals of SDs 17a and 17b, 19: light receiving element (optical sensor), 20: polygon surface origin signal, 21: image processing control unit of electronic component recognition device, 22: reference position sensor,
23: Reference position signal, 24: Servo motor, 24a: Encoder, 25: Encoder signal, 102, 202
... images of parts, 102a, 202a ... images of lead portions, 102b, 102c ... images of projections that become noise, 1
28: height measurement reference plane, 200: main control unit, 201:
System bus, 300 CPU, 301 program memory, 302 work memory, 303 channel selection unit, 304 height conversion unit, 305 image memory, 306
... two-port memory, 307 ... timing control unit, 309
... Clock generator, 310a, 310b ... Preamplifier,
311a, 311b ... AD converter, 312a, 3
12b: height calculation unit, 401: processing area determination means, 4
02: center of gravity detection means, 403: inclination detection means, 404 ...
Lead position detecting means, 405: Object center / inclination detecting means, 406: Height data clipping means, 407: Height conversion table setting means, 408: Threshold value calculating means, 50
0: processing area window, 501: small window,
502: center position, 503, 504, 505: straight line, 5
06: intersection, 600: XY robot, 601: servo controller, 602: height detector, 620: component shape information storage unit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 納土 章 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Akira Nato 1006 Kazuma Kadoma, Osaka Pref. Matsushita Electric Industrial Co., Ltd.

Claims (14)

【特許請求の範囲】[Claims] 【請求項1】 電子部品(2)の装着面に存在するリー
ド(2a)や電極などの接合部に光を照射し、上記接合
部からの反射光を基に高さ検出部(8)で上記接合部の
位置検出を行う部品認識方法であって、 上記接合部の背後あるいは近接位置に存在しかつ上記光
を反射するノイズ物体(2b,2c)が上記高さ検出部
で検出する反射光の高さ計測領域外となるように上記高
さ検出部の高さ計測領域を限定して、上記ノイズ物体を
除去するようにしたことを特徴とする部品認識方法。
1. A light is irradiated to a joint such as a lead (2a) or an electrode present on a mounting surface of an electronic component (2), and a height detector (8) detects the reflected light from the joint. A component recognition method for detecting the position of the joint, wherein a reflected light detected by the height detector is a noise object (2b, 2c) located behind or near the joint and reflecting the light. A height measurement area of the height detection unit is limited so as to be outside of the height measurement area of the above, and the noise object is removed.
【請求項2】 上記高さ検出部は、高さ検出センサー
(8)として半導体位置検出素子により上記接合部の高
さを検出する請求項1に記載の部品認識方法。
2. The component recognizing method according to claim 1, wherein the height detecting section detects the height of the joint by a semiconductor position detecting element as a height detecting sensor.
【請求項3】 上記ノイズ除去は、高さ計測可能領域内
において高さ計測基準面を中心に上記接合部の高さ位置
を検出しうる上記高さ計測領域を予め設定しておき、こ
の高さ計測領域の範囲内でのみ上記接合部の高さ検出を
行うようにした請求項1又は2に記載の部品認識方法。
3. The method according to claim 1, wherein the noise measurement is performed in advance by setting the height measurement area in which the height position of the joint can be detected around a height measurement reference plane in the height measurement possible area. The component recognition method according to claim 1, wherein the height of the joint is detected only within a range of the measurement area.
【請求項4】 上記ノイズ除去は、上記計測可能領域内
において高さ計測基準面を中心に上記接合部の高さ位置
を検出しうる上記高さ計測領域を高さ変換テーブルをと
して予め設定しておき、上記高さ変換テーブルにより、
上記接合部の高さデータのうち上記高さ計測領域外にあ
る高さデータを無効な高さデータとして取り扱い、上記
高さ計測領域の範囲内にある高さデータを有効な高さデ
ータとして取り扱い、上記有効な高さデータを基に上記
接合部の高さ検出を行うようにした請求項1〜3のいず
れかに記載の部品認識方法。
4. The method according to claim 1, wherein the height measurement area in which the height position of the joint is detected around a height measurement reference plane in the measurable area is set in advance as a height conversion table. In advance, according to the height conversion table,
Among the height data of the joint, the height data outside the height measurement area is treated as invalid height data, and the height data within the range of the height measurement area is treated as valid height data. The component recognition method according to any one of claims 1 to 3, wherein the height of the joint is detected based on the effective height data.
【請求項5】 高さ計測領域の範囲内でのみ検出された
上記電子部品の画像に対して上記電子部品の大きさから
処理エリアを決定し(S6A)、 上記電子部品の画像において上記決定された処理エリア
のウィンドウ(500)内をサンプリングして上記電子
部品の中心及び傾きを大まかに検出し(S6B,S6
C)、 上記部品の大きさと上記電子部品の大まかな位置とを基
に、上記電子部品の画像において全ての上記接合部の位
置を検出し(S6D)、 全ての上記接合部の位置から上記電子部品の画像におけ
る上記電子部品の正確な位置を検出する(S6E)よう
にした請求項1〜4のいずれかに記載の部品認識方法。
5. A processing area is determined from the size of the electronic component for the image of the electronic component detected only within the range of the height measurement area (S6A), and the processing area is determined in the image of the electronic component. The center and the inclination of the electronic component are roughly detected by sampling the window (500) of the processed area (S6B, S6).
C) detecting the positions of all the joints in the image of the electronic component based on the size of the component and the approximate position of the electronic component (S6D); The component recognition method according to any one of claims 1 to 4, wherein an accurate position of the electronic component in a component image is detected (S6E).
【請求項6】 請求項1〜5のいずれかに記載の部品認
識方法により検出された、上記電子部品の上記接合部の
位置情報に基づき、上記電子部品を基板上に実装するよ
うにした電子部品実装方法。
6. An electronic device, comprising: mounting an electronic component on a substrate based on positional information of the joint of the electronic component detected by the component recognition method according to claim 1. Component mounting method.
【請求項7】 ヘッド部(7)の部品保持部材(7a)
で上記電子部品を保持し(S1)、 上記高さ計測領域の調整が必要か否かを判断し、上記高
さ計測領域の調節が必要な場合には上記高さ計測領域の
調整を行い(S2,S3)、 上記高さ計測領域に基づき上記部品保持部材の高さを調
整し(S4)、 上記部品の高さデータを取り込み(S5)、 上記高さ検出部により上記電子部品の位置を検出し(S
6)、 上記高さ検出部により認識された高さ位置情報に基づ
き、上記ヘッド部を駆動して上記部品保持部材により上
記電子部品を上記基板の所定の位置に装着する(S7)
ようにした請求項6に記載の電子部品実装方法。
7. A component holding member (7a) for a head part (7).
The electronic component is held at (S1), and it is determined whether or not the height measurement area needs to be adjusted. If the height measurement area needs to be adjusted, the height measurement area is adjusted ( S2, S3), adjusting the height of the component holding member based on the height measurement area (S4), capturing the height data of the component (S5), and determining the position of the electronic component by the height detection unit. Detect (S
6) Based on the height position information recognized by the height detection unit, the head unit is driven to mount the electronic component at a predetermined position on the board by the component holding member (S7).
7. The electronic component mounting method according to claim 6, wherein:
【請求項8】 電子部品(2)の装着面に存在するリー
ドや電極などの接合部(2a)に光を照射する照射装置
(10)と、 上記照射装置から照射された光が上記接合部で反射した
反射光を基に上記接合部の位置検出をする高さ検出部
(602)と、 上記接合部の背後あるいは近接位置に存在しかつ上記光
を反射するノイズ物体(2b,2c)が上記高さ検出部
で検出する反射光の計測領域外となるように上記高さ検
出部の計測領域を限定して、上記ノイズ物体を除去する
ノイズ除去部(304)とを備えるようにしたことを特
徴とする部品認識装置。
8. An irradiation device (10) for irradiating light to a joint (2a) such as a lead or an electrode present on a mounting surface of an electronic component (2), and light emitted from the irradiation device is applied to the joint. A height detector (602) for detecting the position of the joint based on the reflected light reflected by the light source; and a noise object (2b, 2c) located behind or near the joint and reflecting the light. A noise elimination unit (304) for limiting the measurement area of the height detection unit so as to be outside the measurement area of the reflected light detected by the height detection unit and removing the noise object; A component recognition device characterized by the following.
【請求項9】 上記高さ検出部は、高さ検出センサー
(8)として半導体位置検出素子により上記接合部の位
置を検出する請求項8に記載の部品認識装置。
9. The component recognition device according to claim 8, wherein the height detecting section detects the position of the joint by a semiconductor position detecting element as a height detecting sensor.
【請求項10】 上記ノイズ除去部は、高さ計測可能領
域内において高さ計測基準面を中心に上記接合部の高さ
位置を検出しうる高さ計測領域を予め設定しておき、こ
の高さ計測領域の範囲内でのみ上記接合部の高さ検出を
行うようにした請求項8又は9に記載の部品認識装置。
10. The noise elimination unit sets a height measurement area in which a height position of the joint can be detected around a height measurement reference plane in a height measurable area in advance. The component recognition device according to claim 8, wherein the height of the joint is detected only within a range of the height measurement area.
【請求項11】 上記ノイズ除去部は、上記計測可能領
域内において高さ計測基準面を中心に上記接合部の高さ
位置を検出しうる上記高さ計測領域を高さ変換テーブル
をとして予め設定しておき、上記高さ変換テーブルによ
り、上記接合部の高さデータのうち上記高さ計測領域外
にある高さデータを無効な高さデータとして取り扱い、
上記高さ計測領域の範囲内にある高さデータを有効な高
さデータとして取り扱い、上記有効な高さデータを基に
上記接合部の高さ検出を行うようにした請求項8〜10
のいずれかに記載の部品認識装置。
11. The height measurement area in which the height position of the joint can be detected around a height measurement reference plane in the measurable area as a height conversion table. In addition, the height conversion table treats height data outside the height measurement area as invalid height data among the height data of the joints,
The height data within the range of the height measurement area is treated as valid height data, and the height of the joint is detected based on the valid height data.
The component recognition device according to any one of the above.
【請求項12】 高さ計測領域の範囲内でのみ検出され
た上記電子部品の画像に対して上記電子部品の大きさか
ら処理エリアを決定する処理エリア決定手段(401)
と、 上記電子部品の画像において上記決定された処理エリア
のウィンドウ(500)内をサンプリングして上記電子
部品の中心及び傾きを大まかに検出する重心及び傾き検
出手段(402,403)と、 上記部品の大きさと上記電子部品の大まかな位置とを基
に、上記電子部品の画像において全ての上記接合部の位
置を検出する接合部位置検出手段(404)と、 全ての上記接合部の位置から上記電子部品の画像におけ
る上記電子部品の正確な位置を検出する接合部中心及び
傾き検出手段(405)とを備えるようにした請求項8
〜11のいずれかに記載の部品認識装置。
12. A processing area determining means (401) for determining a processing area based on the size of the electronic component with respect to the image of the electronic component detected only within the height measurement area.
A center of gravity and inclination detecting means (402, 403) for sampling the determined processing area window (500) in the image of the electronic component to roughly detect the center and inclination of the electronic component; Joint position detecting means (404) for detecting the positions of all the joints in the image of the electronic component based on the size of the electronic component and the approximate position of the electronic component; 9. A joint center and inclination detecting means (405) for detecting an accurate position of the electronic component in an image of the electronic component.
12. The component recognition device according to any one of claims 11 to 11.
【請求項13】 請求項8〜12のいずれかに記載の部
品認識装置により検出された、上記電子部品の上記接合
部の位置情報に基づき、上記電子部品を基板上に実装す
るようにした電子部品実装装置。
13. An electronic component mounted on a board based on positional information of the joint of the electronic component detected by the component recognition device according to claim 8. Component mounting equipment.
【請求項14】 部品保持部材(7a)で上記電子部品
を保持するとともに、上記高さ計測領域に基づき上記部
品保持部材の高さを調整するヘッド部(7)と、 上記高さ検出部により認識された高さ位置情報に基づ
き、上記ヘッド部を駆動して上記部品保持部材により上
記電子部品を上記基板の所定の位置に装着する制御部
(200)とを備えるようにした請求項13に記載の電
子部品実装装置。
14. A head unit (7) for holding the electronic component with a component holding member (7a) and adjusting the height of the component holding member based on the height measurement area, and the height detecting unit. 14. A control unit (200) for driving the head unit based on the recognized height position information and mounting the electronic component at a predetermined position on the substrate by the component holding member. Electronic component mounting apparatus according to the above.
JP04784998A 1998-02-27 1998-02-27 Electronic component mounting method and apparatus Expired - Fee Related JP3883279B2 (en)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP04784998A JP3883279B2 (en) 1998-02-27 1998-02-27 Electronic component mounting method and apparatus
PCT/JP1999/000874 WO1999044408A1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
SG200005492A SG108814A1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
DE69934116T DE69934116T2 (en) 1998-02-27 1999-02-25 Component recognition method and apparatus
DE69933870T DE69933870T2 (en) 1998-02-27 1999-02-25 Component recognition method and apparatus
CNB998032751A CN1205847C (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
SG200005491A SG91884A1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
EP00126696A EP1089608B1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
DE69934103T DE69934103T2 (en) 1998-02-27 1999-02-25 Component recognition method and apparatus
EP99909178A EP1062853B1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
US09/623,085 US6606788B1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus
EP00126692A EP1089607B1 (en) 1998-02-27 1999-02-25 Component recognizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04784998A JP3883279B2 (en) 1998-02-27 1998-02-27 Electronic component mounting method and apparatus

Publications (2)

Publication Number Publication Date
JPH11251797A true JPH11251797A (en) 1999-09-17
JP3883279B2 JP3883279B2 (en) 2007-02-21

Family

ID=12786825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04784998A Expired - Fee Related JP3883279B2 (en) 1998-02-27 1998-02-27 Electronic component mounting method and apparatus

Country Status (1)

Country Link
JP (1) JP3883279B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100378488B1 (en) * 2000-12-22 2003-03-29 삼성테크윈 주식회사 Apparatus for aligning component for chip mounter using mirror
US6639239B2 (en) 1998-10-30 2003-10-28 Cyberoptics Corporation Angle rejection filter
US6762847B2 (en) 2001-01-22 2004-07-13 Cyberoptics Corporation Laser align sensor with sequencing light sources
US6909515B2 (en) 2001-01-22 2005-06-21 Cyberoptics Corporation Multiple source alignment sensor with improved optics
JP2011228583A (en) * 2010-04-22 2011-11-10 Fuji Mach Mfg Co Ltd Imaging determining method for electronic component and component mounter

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639239B2 (en) 1998-10-30 2003-10-28 Cyberoptics Corporation Angle rejection filter
KR100378488B1 (en) * 2000-12-22 2003-03-29 삼성테크윈 주식회사 Apparatus for aligning component for chip mounter using mirror
US6762847B2 (en) 2001-01-22 2004-07-13 Cyberoptics Corporation Laser align sensor with sequencing light sources
US6909515B2 (en) 2001-01-22 2005-06-21 Cyberoptics Corporation Multiple source alignment sensor with improved optics
JP2011228583A (en) * 2010-04-22 2011-11-10 Fuji Mach Mfg Co Ltd Imaging determining method for electronic component and component mounter

Also Published As

Publication number Publication date
JP3883279B2 (en) 2007-02-21

Similar Documents

Publication Publication Date Title
EP1062853B1 (en) Component recognizing method and apparatus
KR100318875B1 (en) Electronic component mounting apparatus
JP3143038B2 (en) Automatic focusing method and apparatus, and three-dimensional shape detection method and apparatus
JP4315536B2 (en) Electronic component mounting method and apparatus
JPH04105341A (en) Method and equipment for detecting bending and floating of lead of semiconductor device
JP4701037B2 (en) Image acquisition method and apparatus for electronic components
JP3883279B2 (en) Electronic component mounting method and apparatus
JP3578588B2 (en) Electronic component mounting equipment
JP3926347B2 (en) Electronic component mounting equipment
JP4546635B2 (en) Electronic component mounting method and apparatus
JP3949257B2 (en) Component recognition method, component inspection, and mounting method
JP5100484B2 (en) Automatic focus adjustment method
JP3554264B2 (en) Three-dimensional image generation apparatus and method
JP3296705B2 (en) Generating device for standard data for component recognition
JP3923168B2 (en) Component recognition method and component mounting method
JPH08181493A (en) Parts mounting method and apparatus
JP2000294996A (en) Component-loading device and method
JP3039645B1 (en) Electronic component position recognition method and device
JP4008722B2 (en) Method and apparatus for detecting floating electrode of electronic component
JP3399468B2 (en) Inspection device for mounted printed circuit boards
JP3055864B2 (en) Electronic component mounting method and device
JP3247925B2 (en) Electronic component mounting method
JP3311787B2 (en) Three-dimensional shape measuring device with a function to put out the tip of the workpiece
JP3247920B2 (en) Control method of electronic component mounting device
JP3018887B2 (en) 3D shape measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061114

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees