KR980013390A - Calibration method of electronic component mounting apparatus - Google Patents
Calibration method of electronic component mounting apparatus Download PDFInfo
- Publication number
- KR980013390A KR980013390A KR1019960030447A KR19960030447A KR980013390A KR 980013390 A KR980013390 A KR 980013390A KR 1019960030447 A KR1019960030447 A KR 1019960030447A KR 19960030447 A KR19960030447 A KR 19960030447A KR 980013390 A KR980013390 A KR 980013390A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- jig
- center
- imaging
- mirror
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/04—Mounting of components, e.g. of leadless components
Abstract
본 발명에 따르면, 흡착 노즐(43)에 흡착된 원형 지그(21)가 흡착 노즐(43) 하부의 미러(44) 중심부에서 반사되도록 미러 위치(44a)를 설정하고 원형 지그(21) 저면을 헤드 카메라(43)로 촬상하는 제 1 촬상 단계 제 1 촬상 단계의 미러 위치(44a)로부터 소정 거리로 미러(44)를 이동시킨 위치(44b)에서 원형 지그(21) 저면을 촬상하는 제 2 촬상 단계, 제 2 촬상 단계의 미러 위치(44b)로부터 소정 거리로 미러(44)를 이동시킨 위치(44c)에서 원형 지그(21) 저면을 촬상하는 제 3 촬상 단계 및, 제 1 내지 제 3 촬상 단계로부터 구한 데이타를 이용하여 헤드 카메라(43)의 수직 방향에 대한 기울기를 검출하는 기울기 검출 단계를 구비하는 것을 특징으로 하는 전자 부품 실장 장치의 캘리브레이션 방법이 제공된다. 본 발명에서는 헤드 카메라 자체의 수직 방향 기울기를 보정하는 단계를 포함하므로 차후의 캘리브레이션에서 오차가 포함되는 것을 방지할 수 있다.According to the present invention, the mirror position 44a is set so that the circular jig 21 adsorbed on the suction nozzle 43 is reflected by the center of the mirror 44 under the suction nozzle 43, First imaging step for imaging with the camera 43 second imaging step for imaging the bottom surface of the circular jig 21 at the position 44b at which the mirror 44 has been moved a predetermined distance from the mirror position 44a of the first imaging step A third imaging step of imaging the bottom surface of the circular jig 21 at a position 44c at which the mirror 44 has been moved a predetermined distance from the mirror position 44b of the second imaging step, And a tilt detecting step of detecting the tilt of the head camera (43) with respect to the vertical direction using the obtained data. The present invention includes a step of correcting the vertical tilt of the head camera itself, so that the error can be prevented from being included in the subsequent calibration.
Description
본 발명은 전자 부품 실장 장치의 캘리브레이션 방법에 관한 것이며, 보다 상세하게는 카메라의 기울기를 보정할 수 있고 카메라의 화상 좌표계에 대한 실제 거리의 스케일 팩터를 구하는 전자 부품 실장 장치의 캘리브레이션 방법에 관한 것이다.The present invention relates to a calibration method of an electronic component mounting apparatus, and more particularly, to a calibration method of an electronic component mounting apparatus that can correct a tilt of a camera and obtain a scale factor of an actual distance to an image coordinate system of a camera.
전자 부품 실장 장치는 인쇄 회로 기판 위에 반도체 칩과 같은 전자 부품을 장착하는 장치로서, 전자 부품을 흡착할 수 있는 노즐을 구비한 로보트를 이용하여 전자 부품을 인쇄 회로 기판에 장착한다. 전자 부품 실장 기술에서는 인쇄 회로 기판과 흡착 노즐의 상대적인 위치에서 발생할 수 있는 오차를 보정할 수 있도록 여러 가지 장치 및 방법이 강구된다. 이는 흡착 노즐로 전자 부품을 들어올려 인쇄 회로 기판에 실장하는 작용이 고속으로 반복 수행되는 실장 장치에서 작업 위치의 오차가 발생할 경우, 전체적인 작업에 무리가 오며 불량품이 발생할 가능성이 높아지기 때문이다. 캘리브레이션(calibration)은 인쇄 회로 기판을 작업 위치에 배치하여 실장 작업을 수행할 때 각각의 설정 위치에서 발생되는 오차를 측정함으로써, 실제의 실장 작업에 있어서는 그 오차를 반영하여 보정이 이루어지도록 하는 것이다. 캘리브레이션이 행해지려면 기판의 실제 위치와 실장기 로보트의 작업 위치 상호간의 거리 및 비틀림 정도를 측정하여야 한다. 현재까지 소개된 캘리브레이션 방법은 육안에 의한 목시 검사와, 카메라를 이용하는 경우 등을 예로 들 수 있다.An electronic component mounting apparatus is an apparatus for mounting an electronic component such as a semiconductor chip on a printed circuit board. The electronic component is mounted on a printed circuit board using a robot having a nozzle capable of picking up the electronic component. In the electronic component mounting technique, various devices and methods are proposed to correct errors that may occur at the relative positions of the printed circuit board and the suction nozzle. This is because, when an operation position error occurs in a mounting apparatus in which an electronic component is lifted up with a suction nozzle and mounted on a printed circuit board at high speed, the whole operation becomes difficult and the possibility of defective products increases. The calibration is performed by arranging the printed circuit board at the working position and measuring the error generated at each setting position when performing the mounting operation so that the correction is performed in the actual mounting work by reflecting the error. In order to perform the calibration, the distance between the actual position of the substrate and the working position of the robot should be measured. Calibration methods that have been introduced to date include, for example, visual inspection by naked eyes and use of a camera.
도 1에는 종래 기술에 따른 전자 부품 실장 장치가 개략적인 사시도로서 도시되어 있다. 도 1을 참조하면, 전자 부품 실장 장치(10)는 직교 로보트(11)에 설치되어 평면 상의 운동이 가능한 헤드 유니트(15)를 구비한다. 헤드 유니트(15)에는 하나의 헤드 카메라(12)와 2 개의 흡착 노즐(13, 13 ')이 설치되어 있다. 흡착 노즐(13, 13 ')은 수직 방향으로 승강 가능하며, 헤드 카메라(12)의 촬상 방향은 흡착 노즐의 승강 방향과 평행하다. 실장 작업이 수행되는 중에 흡착 노즐(13, 13 ')의 단부에는 전자 부품이 흡착되며, 헤드 카메라(12)는 이러한 전자 부품의 흡착 상태 또는 인쇄 회로 기판위에 장착된 전자 부품을 촬상하게 된다. 헤드 카메라(12)의 촬상 방향과 흡착 노즐의 승강 방향이 평행하기 때문에 흡착 노즐에 흡착된 전자 부품에 대한 직접적인 촬상은 불가능하며, 헤드 유니트(15)에 부착된 미러(14, 14 ', 15)를 통한 간접적인 촬상이 이루어진다. 미러(14, 14 ')의 반사면은 수평면에 대하여 45도의 각도로 경사져 있으며, 도시되지 아니한 이동 수단에 의하여 헤드 유니트(15)상에서 직선 이동할 수 있다. 따라서 흡착 노즐(13, 13 ')이 부품을 흡착할때 미러(14, 14 ')가 흡착 노즐(13, 13 ')의 승강 운동을 방해하지 아니한다. 중간 미러(18)의 반사면은 양단의 미러(14, 14 ')들로부터 반사된 화상을 헤드 카메라(12)가 촬상할 수 있도록 다시 반사시킨다.1 is a schematic perspective view of an electronic component mounting apparatus according to the prior art. 1, the electronic component mounting apparatus 10 includes a head unit 15 mounted on the orthogonal robot 11 and capable of performing planar motion. The head unit 15 is provided with one head camera 12 and two suction nozzles 13 and 13 '. The suction nozzles 13 and 13 'are vertically movable, and the imaging direction of the head camera 12 is parallel to the direction in which the suction nozzles are lifted and lowered. During the mounting operation, the electronic parts are sucked to the end portions of the suction nozzles 13, 13 ', and the head camera 12 picks up the electronic parts mounted on the printed circuit board or the suction state of these electronic parts. The image pickup direction of the head camera 12 is parallel to the up / down direction of the suction nozzle, so that it is impossible to directly capture an electronic component adsorbed to the suction nozzle, and the mirrors 14, 14 ', 15 attached to the head unit 15, An indirect image pickup is carried out. The reflecting surfaces of the mirrors 14 and 14 'are inclined at an angle of 45 degrees with respect to the horizontal plane, and can be linearly moved on the head unit 15 by a moving means not shown. Therefore, when the adsorption nozzles 13, 13 'adsorb the components, the mirrors 14, 14' do not interfere with the lifting movement of the adsorption nozzles 13, 13 '. The reflective surface of the intermediate mirror 18 reflects again the image reflected from the mirrors 14 and 14 'at both ends so that the head camera 12 can pick up the image.
고정 카메라(17)는 실장 장치의 일측에 설치되며, 실장 장치의 기계 원점 캘리브레이션 등에 사용될 수 있다. 고정 카메라(17)에는 통상적으로 카메라 렌즈의 주위에 다수의 발광 다이오드(16)를 부착하여 조명 수단으로서 사용한다. 이러한 조명, 수단은 헤드 카메라(12)에 대해서도 설치될 수 있다. 도면에서는 고정 카메라의 촬상 방향이 수직 상방인 것으로 도시되었으나, 다른 실시예에서는 고정 카메라의 촬상 방향을 수평면에 평행하게 설치하고 별도의 미러를 통하여 촬상이 수행될 수도 있다. 제어기 및 컴퓨터(19)를 통해서 도시된 장치의 작동에 대한 데이터를 입출력시키고 소정의 제어를 가할 수 있다. 도면에는 도시되지 않았으나 전자 부품 실장 장치에는 인쇄 회로 기판을 이송시키는 이송 장치등이 포함되며, 그 외에도 통상적인 부대 장치가 구비될 수 있다.The fixed camera 17 is installed on one side of the mounting apparatus, and can be used for the machine origin calibration of the mounting apparatus and the like. A plurality of light emitting diodes 16 are usually attached to the fixed camera 17 around the camera lens and used as an illumination means. Such illumination and means may also be provided for the head camera 12. Although the imaging direction of the fixed camera is shown as being vertically upward in the drawing, in another embodiment, the imaging direction of the fixed camera may be parallel to the horizontal plane and imaging may be performed through a separate mirror. It is possible to input and output data about the operation of the apparatus shown through the controller and the computer 19 and to perform predetermined control. Although not shown in the figure, the electronic component mounting apparatus includes a transfer device for transferring a printed circuit board, and the like, and a conventional auxiliary device may be provided.
도 2에 도시된 지그(jig)는 캘리브레이션에 이용되는 것으로서, 저면이 원형인 원형 지그(21)와, 저면이 사각형인 사각형 지그(22)로 구분된다. 실장 장치의 캘리브레이션을 수행할 때 각각의 지그들은 흡착 노즐에 흡착된 상태 또는 인쇄 회로 기판 위에 배치된 상태에서 카메라에 촬상된다. 캘리브레이션 작업 시에 지그를 이용하는 이유는 실제의 전자 부품보다 촬상이 용이하고 중심점의 위치 설정 및 회전 각도 측정에 지그가 용이하기 때문이다. 지그는 촬상 목적에 따라 원형 또는 사각형의 지그를 선택하여 촬상할 수 있다.The jig shown in Fig. 2 is used for calibration, and is divided into a circular jig 21 having a circular bottom face and a rectangular jig 22 having a square bottom. When performing the calibration of the mounting apparatus, they are picked up by the camera in a state of being adsorbed on the suction nozzle or placed on the printed circuit board. The reason for using the jig in the calibration work is that it is easier to capture the image than the actual electronic component, and the jig is easy to set the position of the center point and to measure the rotation angle. The jig can pick up a circular or rectangular jig according to the purpose of imaging.
위와 같은 기본적인 구성을 지닌 전자 부품 실장 장치에서 캘리브레이션이 수행되는 방법을 도 3a 내지 도 3c를 참조하여 간단하게 설명하기로 한다.A method of performing calibration in an electronic component mounting apparatus having the above basic configuration will be briefly described with reference to FIGS. 3A to 3C.
도 3a 내지 도 3b에 도시된 것은 도 1의 장치에서 하나의 흡착 노즐(13)과, 2 개의 미러(14,18)와, 헤드 유니트에 부착된 헤드 카메라(12)와, 촬상 방향이 수평 방향인 고정 카메라(17)를 포함한 전자 부품 실장 장치이며, 도면 번호 19 로 표시된 컴퓨터의 모니터 화면에는 각각의 카메라(12 또는 17)가 촬상한 지그(21,22)의 형상이 도시되어 있다. 도 1의 장치와는 달리, 도 3a 내지 도 3b에서는 고정 카메라(17)의 촬상 방향이 흡착 노즐의 승강 방향과 직각을 이루며, 따라서 촬상을 위해서 미러(25)가 더 구비된다. 도 3a를 참조하면, 헤드 카메라(12)에 대한 직교 좌표계의 캘리브레이션은 흡착 노즐(13)에 원형 지그(21)를 흡착한 상태에서 수행될 수 있다. 헤드 카메라(12)를 기계 좌표계의 원점으로 복귀시킨 후에, 원형 지그(21)의 저면이 헤드 카메라(12)에 촬상될 수 있도록 헤드 카메라를 광축선상으로 수직 이동시킨다. 이때 흡착 노즐(13)에 근접 설치된 미러(14)는 촬상이 이루어질 수 있도록 이동한다. 원형 지그(21)의 저면 중심을 헤드 카메라(12)로 촬상하여 헤드 카메라 좌표계에서의 좌표값을 구한다. 헤드 카메라(12)와 흡착 노즐(13)사이의 평면상 거리는 헤드 유니트(15)에 소정의 설계치에 따라 고정되어 있으므로, 헤드 카메라의 촬상으로부터 구한 좌표값과 소정 설계치를 비교하면 헤드 카메라(12)의 평면 좌표계에서의 틀어짐을 구할 수 있다.3A and FIG. 3B are diagrams showing an example in which the apparatus of FIG. 1 has one suction nozzle 13, two mirrors 14 and 18, a head camera 12 attached to the head unit, And the shape of the jigs 21 and 22 taken by the camera 12 or 17 is shown on the monitor screen of the computer shown by the reference numeral 19 in the electronic parts mounting apparatus. 3A and 3B, the imaging direction of the fixed camera 17 is at right angles to the elevation direction of the suction nozzle, and therefore, the mirror 25 is further provided for imaging. 3A, the calibration of the orthogonal coordinate system with respect to the head camera 12 can be performed with the circular jig 21 adsorbed on the adsorption nozzle 13. [ The head camera 12 is vertically moved on the optical axis so that the bottom surface of the circular jig 21 can be picked up by the head camera 12 after returning the head camera 12 to the origin of the machine coordinate system. At this time, the mirror 14 installed close to the suction nozzle 13 moves so that imaging can be performed. The center of the bottom surface of the circular jig 21 is imaged by the head camera 12 to obtain coordinate values in the head camera coordinate system. Since the distance in the plane between the head camera 12 and the suction nozzle 13 is fixed to the head unit 15 in accordance with a predetermined design value, if the coordinate value obtained from the image pickup of the head camera is compared with a predetermined design value, The deviation in the plane coordinate system can be obtained.
다음에 도 3b를 참조하면, 흡착 노즐(13)에 사각 지그(22)로 갈아끼우고, 로보트(11)를 작동하여 헤드 유니트(15)에 고정된 흡착 노즐을 기계 좌표상의 원점으로 복귀시킨 후에, 다시 고정 카메라(17)의 설치 중심으로 이동시킨다. 미러(25)는 고정 카메라(17)가 흡착 노즐을 촬상할 수 있도록 경사지게 설치되며, 기계 좌표계에서 고정 카메라(17)의설치 중심의 좌표는 미러(25)에 반사되는 고정 카메라의 설치 중심이다. 흡착 노즐은 고정 카메라의 설치 중심에 대한 좌표값을 제어기에 입력함으로써 고정 카메라(17)의 설치 중심의 좌표로 이동한다. 이때 고정 카메라(17)의 설치 중심 좌표에 따른 흡착 노즐의 이동은 에러를 포함하므로 실제의 설치 중심과 일치하지 않는다. 고정 카메라(17)로 사각 지그(22)를 촬상함으로써 그 중심점을 구하면, 입력된 좌표 중심과 실제 중심과의 차이가 촬상된 사각 지그의 중심과 고정 카메라의 좌표 중심과의 차이로서 나타난다. 이를 보정함으로써 고정 카메라에 대한 기계 좌표계에서의 컬리브레이션이 완료된다. 또한 사각 지그를 흡착한 노즐을 소정의 입력 회전 좌표값으로 회전시킨 후에, 그 회전 각도를 고정 카메라의 회전 좌표계의 측정값에 비교함으로써 회전 각도의 캘리브레이션이 이루어질 수 있다.Next, referring to FIG. 3B, the suction nozzle 13 is worn by the rectangular jig 22, and the robot 11 is operated to return the suction nozzle fixed to the head unit 15 to the origin on the machine coordinate system And moves to the installation center of the fixed camera 17 again. The mirror 25 is installed to be inclined so that the fixed camera 17 can pick up the suction nozzle and the coordinate of the installation center of the fixed camera 17 in the machine coordinate system is the installation center of the fixed camera reflected on the mirror 25. The suction nozzle moves the coordinates of the installation center of the fixed camera 17 by inputting the coordinate values of the installation center of the fixed camera to the controller. At this time, the movement of the suction nozzle according to the installation center coordinates of the fixed camera 17 does not coincide with the actual installation center because it includes an error. When the center point of the rectangular jig 22 is obtained by capturing the rectangular camera 22 with the fixed camera 17, the difference between the inputted center of gravity and the actual center appears as the difference between the center of the captured rectangular jig and the center of the fixed camera. Calibration of the fixed camera in the machine coordinate system is completed by correcting it. In addition, the rotation angle can be calibrated by rotating the nozzle having the rectangular jig to a predetermined input rotation coordinate value, and then comparing the rotation angle with the measured value of the rotation coordinate system of the fixed camera.
고정 카메라에 대한 캘리브레이션이 완료되면 다시 헤드 카메라(12)에 대한 회전 좌표 캘리브레이션이 수행되어야 하며, 이는 도 3c에 도시된 바와 같이 사각 지그(22)를 헤드 카메라(21)로 촬상함으로써 이루어질 수 있다. 고정 카메라(17)에 대한 회전 좌표계 캘리브레이션이 이루어진 사각 지그(22)를 헤드 카메라(21)에서 촬상함으로써, 헤드 카메라(21)의 회전 좌표계에서의 캘리브레이션이 이루어진다.When the calibration for the fixed camera is completed, the rotation coordinate calibration for the head camera 12 must be performed again, which can be done by imaging the rectangular jig 22 with the head camera 21 as shown in Fig. 3C. The head camera 21 carries out the calibration in the rotational coordinate system of the head camera 21 by capturing the rectangular jig 22 subjected to the calibration of the rotary coordinate system for the fixed camera 17 with the head camera 21.
위에 설명된 종래 기술의 캘리브레이션의 방법에는 몇 가지의 문제점이 있다. 우선 헤드 카메라(12)는 헤드 유니트(15)에 수직 방향으로 설치되어 있는데, 만일 헤드 카메라의 설치 방향이 정확하게 수직을 유지하지 못하다면 모든 캘리브레이션은 그에 대한 오차를 포함할 수 밖에 없다는 점이다. 종래 기술에서는 평면 직교 좌표계 또는 회전 좌표계에서만 캘리브레이션이 수행되었을 뿐, 평면 좌표계에 대하여 수직 방향으로 설치되는 헤드 카메라의 수직 방향 기울기에 대한 캘리브레이션은 수행되지 않았다. 따라서 평면 좌표계 및 회전 좌표계의 캘리브레이션은 헤드 카메라의 수직 방향 기울기 오차를 포함하게 되는 것이다. 이러한 오차는 카메라 좌표계상의 거리에 대한 실제 거리의 비를 나타내는 스케일 팩터(scale factor)의 산출에도 영향을 미칠 수 있으므로, 종래에는 스케일 팩터의 정확성도 신뢰성에 있어서 다소 문제가 있는 것이었다.There are several problems with the method of calibration of the prior art described above. First, the head camera 12 is installed in a vertical direction to the head unit 15, and if the installation direction of the head camera does not maintain an accurate vertical, all the calibrations must include an error therefor. In the prior art, calibration was performed only in a plane orthogonal coordinate system or a rotational coordinate system, but no calibration was performed on a vertical slope of a head camera installed in a vertical direction with respect to a plane coordinate system. Therefore, the calibration of the plane coordinate system and the rotation coordinate system includes the vertical tilt error of the head camera. Such an error may also affect the calculation of a scale factor indicating the ratio of the actual distance to the distance on the camera coordinate system. Thus, in the past, the accuracy of the scale factor has been somewhat problematic in terms of reliability.
본 발명은 위와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 실장 작업이 보다 정확하게 수행될 수 있는 전자 부품 실장 장치의 캘리브레이션 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of calibrating an electronic component mounting apparatus which can more accurately perform a mounting operation.
본 발명의 다른 목적은 전자 부품 실장 장치의 헤드 유니트에 부착된 헤드 카메라의 기울기를 보정할 수 있는 전자 부품 실장 장치의 캘리브레이션 방법을 제공하는 것이다.Another object of the present invention is to provide a calibration method of an electronic component mounting apparatus capable of correcting a tilt of a head camera attached to a head unit of an electronic component mounting apparatus.
본 발명의 다른 목적은 카메라 좌표계 상의 거리에 대한 실제 거리의 비인 스케일 팩터를 구할 수 있는 전자 부품 실장 장치의 캘리브레이션 방법을 제공하는 것이다.Another object of the present invention is to provide a calibration method of an electronic component mounting apparatus capable of obtaining a scale factor which is a ratio of an actual distance to a distance on a camera coordinate system.
도 1은 종래 기술에 따른 전자 부품 실장 장치의 개략적인 사시도.1 is a schematic perspective view of an electronic component mounting apparatus according to the prior art;
도 2는 캘리브레이션용 원형 지그 및 사각 지그에 대한 사시도.2 is a perspective view of a circular jig and a square jig for calibration;
도 3a 내지 도 3c는 종래 기술에 따른 캘리브레이션 작업에 대한 상태도.Figures 3A-3C are state diagrams for a calibration operation according to the prior art;
도 4a 내지 도 4d는 본 발명에 따른 캘리브레이션 작업에 대한 상태도.Figures 4A-4D are state diagrams for a calibration operation in accordance with the present invention;
도 5는 본 발명에 따라서 스케일 팩터를 구하는 방법에 대한 상태도.5 is a state diagram for a method for obtaining a scale factor in accordance with the present invention.
*도면의 주요 부호에 대한 간단한 설명 * Brief description of the key code of the Drawings
11 : 로보트, 15 : 헤드 유니트, 21,22 : 지그, 43 : 흡착 노즐, 44,48,45 : 미러, 42 : 헤드 카메라, 47 : 고정 카메라, 39 : 컴퓨터The present invention relates to an image forming apparatus and a method of manufacturing the same.
상기 목적을 달성하기 위하여, 본 발명에 따르면, 직교 좌표 로보트와 : 상기 직교 좌표 로보트에 의해 평면 운동하는 헤드 유니트와 : 상기 헤드 유니트에 부착되며 수직 방향으로 승강 가능한 하나 이상의 흡차 노즐과 , 상기 흡착 노즐의 승강 방향과 평행한 촬상 방향을 지니도록 상기 헤드 유니트에 고정되는 하나 이상의 헤드 카메라와: 상기 흡착 노즐의 저면을 촬상할 수 있도록 상기 헤드 유니트에서 이동 가능하게 설치된 미러와 : 일측에 고정된 고정 카메라와 : 상기 고정 카메라의 촬상이 가능하도록 일측에 고정된 미러와 : 컴퓨터 및 제어기를 구비한 전자 부품 실장 장치에서, 저면이 원형인 지그와 사각형인 지그를 이용하여 상기 헤드 카메라 및 고정 카메라의 좌표계를 캘리브레이션 하는 방법에 있어서, 상기 흡착 노즐에 고정된 상기 원형 지그가 상기 흡착 노즐의 하부로 이동한 상기 미러의 중심부에서 반사되도록 상기 미러의 위치를 설정하고 상기 원형 지그의 저면을 상기 헤드 카메라로 촬상하는 제 1 촬상 단계, 상기 제 1 촬상 단계의 상기 원형 지그가 상기 미러의 상부에서 반사되도록, 상기 제 1 촬상 단계의 미러 위치로부터 소정 거리로 상기 미러를 이동시킨 위치에서 상기 원형 지그의 저면을 상기 헤드 카메라로 촬상하는 제 2 촬상 단계, 상기 제 2 촬상 단계의 상기 원형 지그가 상기 미러의 하부에서 반사되도록, 상기 제 2 촬상 단계의 미러 위치로부터 소정 거리로 상기 미러를 이동시킨 위치에서 상기 원형 지그의 저면을 헤드 카메라로 촬상하는 제 3 촬상 단계 및, 상기 제 1 내지 제 3 촬상 단계로부터 구한 좌표를 이용하여 헤드 카메라의 수직 방향에 대한 기울기를 검출하는 기울기 검출 단계를 구비하는 것을 특징으로 하는 전자 부품 실장 장치의 캘리브레이션 방법이 제공된다. 본 발명의 다른 특징에 따르면, 상기 제 1 내지 제 3 촬상 단계에서 원형 지그 저면의 중심점에 대한 카메라 좌표를 구하게 된다.In order to achieve the above object, according to the present invention, there is provided a robot comprising: a rectangular coordinate robot; a head unit that moves in a plane by the rectangular coordinate robot; at least one suction nozzle attached to the head unit and vertically movable; At least one head camera fixed to the head unit so as to have an imaging direction parallel to an elevation direction of the suction nozzle; a mirror movably provided in the head unit so as to capture the bottom surface of the suction nozzle; A mirror fixed to one side so as to enable imaging of the fixed camera; and an electronic component mounting apparatus having a computer and a controller, wherein a coordinate system of the head camera and the fixed camera is formed using a jig having a circular bottom face and a rectangular shape, A method of calibrating, the method comprising: A first imaging step of setting the position of the mirror so that the jig is reflected at the center of the mirror moved to below the suction nozzle and imaging the bottom surface of the circular jig with the head camera; A second imaging step of imaging the bottom surface of the circular jig with the head camera at a position where the mirror is moved a predetermined distance from the mirror position of the first imaging step so as to be reflected from the upper part of the mirror, A third imaging step of imaging the bottom surface of the circular jig with a head camera at a position where the mirror is moved a predetermined distance from the mirror position of the second imaging step so that the circular jig of the circular jig is reflected from the lower part of the mirror; The tilt of the head camera with respect to the vertical direction is detected using the coordinates obtained from the first to third imaging steps The calibration method for an electronic component mounting apparatus comprising a slope detection step is provided. According to another aspect of the present invention, the camera coordinates of the center point of the circular jig bottom surface are obtained in the first to third imaging steps.
본 발명의 다른 특징에 따르면, 상기 기울기 검출 단계는 제 1 내지 제 3 촬상 단계에서 구한 원형 지그의 중심 좌표를 연장한 선이 헤드 카메라의 좌표계에서 허용 범위내의 기울기를 지니는지의 여부와, 카메라 좌표계에서 픽셀의 차이로 구한 중심 좌표간 거리가 허용 범위내에 있는지의 여부를 판단하는 것으로써 수행된다.According to another aspect of the present invention, the inclination detecting step may include detecting whether or not the line extending from the center coordinates of the circular jig obtained in the first to third imaging steps has a slope in an allowable range in the coordinate system of the head camera, Is determined by determining whether or not the distance between the center coordinates obtained by the pixel difference is within the allowable range.
본 발명의 다른 특징에 따르면, 상기 흡착 노즐에 상기 사각 지그를 흡착하고 상기 헤드 카메라로 그 저면을 촬상하는 사각 지그 촬상 단계, 상기 사각 지그 저면의 중심 및 꼭지점의 카메라 좌표값을 구하는 제 1 좌표 산출 단계 및 상기 제 1 좌표 산출 단계에서 구한 좌표값을 이용하여 사각 지그 저면의 4 변 중심의 좌표를 구하는 제 2 좌표 산출 단계 및, 상기 제 2 좌표 산출 단계에서 구한 상기 사각 지그의 4 변 중심간의 카메라 좌표계상 거리 및, 실제의 거리를 이용하여 헤드 카메라의 직교 좌표계상의 스케일 팩터(scale factor)를 구하는 단계를 더 구비한다.According to another aspect of the present invention, there is provided a method of manufacturing a camera, comprising: a rectangular-shaped jig imaging step of picking up the rectangular jig to the suction nozzle and imaging the bottom surface thereof with the head camera; A second coordinate calculation step of calculating the coordinates of the center of four sides of the square jig bottom using the coordinate values obtained in the first coordinate calculation step and a second coordinate calculation step of calculating the coordinates of the center of four sides of the square jig, Obtaining a scale factor on the Cartesian coordinate system of the head camera using the distance on the coordinate system and the actual distance.
본 발명의 다른 특징에 따르면, X 방향 스케일 팩터를 Xs, Y 방향 스케일 팩터를 Ys, 사각 지그의 일변의 중심으로부터 대변의 중심까지의 실제 거리를 Ll, 사각 지그를 헤드 카메라로 촬상한 일변의 중심으로부터 대변의 중심가지의 카메라 좌표 거리를 L2, 일변에 직교하는 다른 변의 중심으로부터 그 대변의 중심까지의 실제 거리를 L3, 일변에 직교하는 다른 변을 헤드 카메라로 촬상한 중심으로부터 그 대변의 중심까지의 카메라 좌표 거리를 L4 라고 할 때,In accordance with another feature of the invention, X direction scale factor for X s, Y direction Ll the actual distance to the center of the representative of the scale factor Y s, the center of a rectangular jig univariate, univariate imaging a rectangular jig to the head camera L3 is the actual distance from the center of the other side orthogonal to the one side to the center of the opposite side, and L3 is the distance from the center of the femur When the camera coordinate distance to the center is L4,
Xs= L1/L2 이고, Ys= L3/L4 이다.X s = L 1 / L 2, and Y s = L 3 / L 4.
이하 본 발명을 첨부된 도면에 도시된 일실시예를 참고로 보다 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below with reference to an embodiment shown in the accompanying drawings.
도 4a 내지 도 4d 는 도 1 과, 도 3a 내지 도 3c에 도시되었던 것과 유사한 전자 부품 실장 장치를 개략적으로 도시한 것이다. 전자 부품 실장 장치는 하나 이상의 흡착 노즐(43)과, 헤드 유니트에 부착된 하나 이상의 헤드 카메라(42)와, 헤드 카메라(42)의 촬상이 이루어질 수 있게 하는 하나 이상의 미러(44, 48)와, 평면 방향의 촬상 방향을 지닌 고정 카메라(47)와, 고정 카메라(47)의 촬상을 가능하게 하는 미러(45)와, 컴퓨터(39)를 구비한다. 선택적으로는 고정 카메라(47)의 촬상 방향이 수직 상방이 될 수 있으며, 이 경우에는 미러(45)의 사용이 배제된다. 흡착 노즐(43)은 도시되지 아니한 로보트에 의해서 평면 좌표계 상에서 이동 가능하며, 수직 방향으로의 승강 이동이 가능하다 미러(44)는 흡착 노즐(43)의 승강 이동을 방해하지 않도록 평면상에서 이동할 수 있다.4A to 4D schematically show an electronic component mounting apparatus similar to that shown in Fig. 1 and Figs. 3A to 3C. The electronic component mounting apparatus includes at least one suction nozzle 43, at least one head camera 42 attached to the head unit, at least one mirror 44, 48 for allowing imaging of the head camera 42, A fixed camera 47 having an imaging direction in the planar direction, a mirror 45 for enabling imaging of the fixed camera 47, and a computer 39. [ Alternatively, the imaging direction of the fixed camera 47 may be vertically upward. In this case, the use of the mirror 45 is excluded. The suction nozzle 43 is movable on a plane coordinate system by a robot (not shown), and can be moved up and down in the vertical direction. The mirror 44 can move on the plane so as not to interfere with the lifting movement of the suction nozzle 43 .
도 4a를 참조하면, 흡착 노즐(43)에 원형 지그(21)를 흡착하고 헤드 카메라(42)로 원형 지그(21)의 저면을 촬상하는 것이 도시되어 있다. 원형 지그(21)의 저면은 2개의 미러(44, 48)를 통해서 헤드 카메라(42)에 촬상될 수 있으며, 이는 컴퓨터(39)의 모니터 화면에 나타날 수 있다.Referring to Fig. 4A, it is shown that the circular jig 21 is sucked to the suction nozzle 43 and the bottom camera 21 captures the bottom surface of the circular jig 21 by the head camera 42. Fig. The bottom surface of the circular jig 21 can be picked up by the head camera 42 through the two mirrors 44 and 48 and can be displayed on the monitor screen of the computer 39. [
본 발명의 특징에 따르면, 헤드 유니트에 설치된 헤드 카메라(42)가 수직선에 대하여 기울어진 상태를 측정하기 위한 방법이 제공된다.According to a feature of the present invention, there is provided a method for measuring a state in which a head camera 42 installed on a head unit is tilted with respect to a vertical line.
도 4b를 참조하면, 헤드 카메라(42)의 기울기를 측정하기 위하여 헤드 카메라(42)의 하부에 설치된 미러(44)를 3개의 위치로 이동시키게 되며, 그 각각의 위치에 대한 미러는 도면 번호 44a, 44b 및 44c 로 지시되어 있다.4B, in order to measure the inclination of the head camera 42, the mirror 44 provided at the lower part of the head camera 42 is moved to three positions, and the mirror for each position is indicated by reference numeral 44a , 44b and 44c.
미러(44a)는 원형 지그(21)가 미러의 중심부에 반사되도록 이동시킨 것이다. 미러(44a)에 반사된 원형 지그(21)를 촬상하고 카메라 좌표계 상의 지그의 중심값을 기록한다. 컴퓨터(39)의 모니터 화면에서 원형 지그(21)의 저면은 중앙부에 위치하며, 도면 번호 47a 로 지시된다.The mirror 44a is moved so that the circular jig 21 is reflected at the center of the mirror. The circular jig 21 reflected by the mirror 44a is picked up and the center value of the jig on the camera coordinate system is recorded. The bottom surface of the circular jig 21 on the monitor screen of the computer 39 is located at the center and is indicated by reference numeral 47a.
다음에는 미러(44)의 상단 부위에 원형 지그(21)의 중심부가 반사되도록 미러(44)를 소정 거리로 이동시킨다. 이것은 도면 번호 44b 로 표시되어 있으며, 컴퓨터(39)의 모니터 화면에서 좌측 부분에 위치한 도면 번호 47b 의 화상이다. 이때의 원형 지그(21)의 중심을 카메라 좌표계에서 계산하여 기록한다. 다음에는 미러(44)의 하단 부위에 원형 지그(21)의 중심부가 반사되도록 미러(44)를 소정 거리로 이동시킨다. 도면 번호 44c 로 표시된 것은 미러(44)의 하단부에 원형 지그(21)의 중심부가 촬상되도록 이동된 것이며, 원형 지그(21)의 저면은 컴퓨터(39)의 모니터 화면에서 우측 부분에 위치한 도면 번호 47c 의 화상이다. 이때도 원형 지그(21)의 중심을 카메라 좌표계에서 계산하여 기록한다.Next, the mirror 44 is moved by a predetermined distance so that the center portion of the circular jig 21 is reflected to the upper end portion of the mirror 44. This is the image of the drawing numeral 47b located at the left part of the monitor screen of the computer 39, which is indicated by 44b. At this time, the center of the circular jig 21 is calculated and recorded in the camera coordinate system. Next, the mirror 44 is moved by a predetermined distance so that the center portion of the circular jig 21 is reflected to the lower end portion of the mirror 44. The bottom surface of the circular jig 21 is moved to a position where the center of the circular jig 21 is located at the lower end of the mirror 44. The bottom surface of the circular jig 21 is located at the right side in the monitor screen of the computer 39, . At this time as well, the center of the circular jig 21 is calculated and recorded in the camera coordinate system.
위에 설명된 바와 같이 미러(44)를 이동시키면서 계산된 원형 지그(21)의 중심에 대한 카메라 좌표계의 좌표값을 이용하여 헤드 카메라(43)의 기울기를 계산할 수 있다. 만일 헤드 카메라(43)가 수직 방향에 대하여 기울어져 있다면 도 4(나)에 도시된 바와 같이 각각의 원형 지그 화상(47a, 47b, 47c)의 중심을 연장한 선은 헤드 카메라의 좌표계 상에서 소정의 기울기률 지니는 직선으로 나타날 것이다. 카메라 좌표계의 좌표값 및 그 기울기는 중심부 화상(47a)을 기준으로 하여 카메라의 픽셀로서 계산될 수 있을 것이다. 카메라의 기울기가 소정의 범위 내에 들어오지 않는다면 헤드 카메라를 보정하여야 한다. 이러한 보정 작업 및 캘리브레이션 작업은 카메라의 기울기가 소정의 범위 내에 들어올 때까지 반복된다.The inclination of the head camera 43 can be calculated using the coordinates of the camera coordinate system with respect to the center of the circular jig 21 calculated while moving the mirror 44 as described above. If the head camera 43 is tilted with respect to the vertical direction, the line extending from the center of each circular jig image 47a, 47b, 47c as shown in Fig. 4 (B) The slope factor will appear as a straight line. The coordinate value of the camera coordinate system and its slope may be calculated as the pixel of the camera with reference to the central image 47a. If the tilt of the camera is not within the predetermined range, the head camera should be calibrated. Such correction and calibration operations are repeated until the inclination of the camera falls within a predetermined range.
다음에 도 4c에 도시된 바와 같이, 흡착 노즐(43)에 사각 지그(22)를 흡착시키고 흡착 노즐(43)을 하강시킨다. 미러(45)는 흡착 노즐(43)의 하강을 방해하지 않도록 이동된다. 미러(45)에 의해 반사되는 사각 지그(22)의 저면 화상을 고정 카메라(47)로 촬상하면서 고정 카메라(47)의 캘리브레이션이 수행된다. 고정 카메라의 캘리브래이션은 종래 기술과 동일하게 수행될 수 있다.Next, as shown in FIG. 4C, the rectangular jig 22 is adsorbed to the adsorption nozzle 43 and the adsorption nozzle 43 is lowered. The mirror 45 is moved so as not to interfere with the descent of the suction nozzle 43. The calibration of the fixed camera 47 is performed while the image of the bottom surface of the rectangular jig 22 reflected by the mirror 45 is captured by the fixed camera 47. [ The calibration of the fixed camera can be performed in the same manner as in the prior art.
다음에 도 4d에 도시된 바와 같이, 사각 지그(22)를 흡착한 흡착 노즐(43)이 상승되며, 미러(44)가 다시 흡착 노즐(43)의 하부로 이동하여 헤드 카메라(42)에 사각 지그(22)의 화상이 촬상될 수 있다. 헤드 카메라(42)는 사각 지그(22)의 저면을 촬상함으로써 원점 및 회전 각도에 대한 캘리브레이션을 수행할 수 있으며, 이는 종래 기술과 동일하게 수행될 수 있다.4D, the suction nozzle 43 adsorbing the rectangular jig 22 is lifted and the mirror 44 is again moved to the lower portion of the suction nozzle 43, An image of the jig 22 can be picked up. The head camera 42 can perform calibration for the origin and the rotation angle by sensing the bottom surface of the rectangular jig 22, which can be performed in the same manner as in the prior art.
고정 카메라 및 헤드 카메라에 대한 캘리브레이션이 종료된 이후에는 스케일 팩터(scale factor)를 구할 수 있다. 스케일 팩터는 화상 좌표계 상의 거리에 대한 실제 거리의 비율을 나타낸다. 도 5를 참조하면, 컴퓨터(39)의 모니터 화면상에 나타난 사각 지그(22)의 화상에서 4개의 꼭지점 및, 꼭지점을 연결하는 교차점에 위치한 중심점(51)에 대한 카메라의 좌표는 용이하게 구할 수 있다. 이러한 꼭지점 및 중심점(51)에 대한 좌표 정보를 기초로 4개의 변의 중심점(52, 53, 54, 55)의 좌표를 구할 수 있다. 헤드 카메라의 스케일 팩터는 4변의 중심점(52, 53, 54, 55)을 상호 연결하는 선의 카메라 좌표계상 거리 및 실제 거리를 이용하여 다음과 같은 식으로 구해질 수 있다. 즉, X 방향 스케일 팩터를 XS, Y 방향 스케일 팩터를 YS, 점 53에서 점 55까지의 실제 거리를 L1, 점 53에서 점 55까지의 카메라 좌표 거리를 L2, 점 54에서 점 52까지의 실제 거리를 L3, 점 54에서 점 52까지의 카메라 좌표 거리를 L4 라고 할때, XS= L1/L2 이고, YS= L3/L4 로 표시할 수 있다. 이러한 스케일 팩터는 헤드 카메라의 기울기가 캘리브레이션된 상태에서 구한 값이기 때문에 신뢰성이 보장되는 것이다.After the calibration for the fixed camera and the head camera is completed, a scale factor can be obtained. The scale factor represents the ratio of the actual distance to the distance on the image coordinate system. 5, coordinates of a camera with respect to a center point 51 located at an intersection connecting four vertexes and vertexes in the image of the rectangular jig 22 appearing on the monitor screen of the computer 39 can be easily obtained have. The coordinates of the center points 52, 53, 54, and 55 of the four sides can be obtained based on the vertex and the coordinate information of the center point 51. The scale factor of the head camera can be obtained by the following equation using the distance and the actual distance on the camera coordinate system of the line connecting the center points (52, 53, 54, 55) of the four sides. That is, to the point 52 at the camera coordinate distance to the point 55 the actual distance to the point 55 in L1, point 53 the X direction scale factor X S, a Y direction scale factor in the Y S, point 53 in the L2, points 54 the actual distance L3, and L4 to as the camera coordinate distance to the point 52 at point 54, X S = L1 / L2 , may be represented by Y S = L3 / L4. Such a scale factor is a value obtained in a state in which the inclination of the head camera is calibrated, so reliability is guaranteed.
본 발명에 따른 전자 부품 장치의 캘리브레이션 방법은 헤드 카메라 자체의 수직 방향 기울기를 보정하는 단계를 포함하므로 차후의 캘리브레이션에서 오차가 포함되는 것을 방지할 수 있다. 따라서 신뢰성 있는 스케일 팩터를 구할 수 있으며, 전자 부품의 실제 실장 작업에서도 정확하고 신속한 실장 작업을 수행할 수 있다.The calibration method of the electronic component device according to the present invention includes a step of correcting the vertical tilt of the head camera itself so that the error in the subsequent calibration can be prevented from being included. Therefore, a reliable scale factor can be obtained, and an accurate and quick mounting operation can be performed even in an actual mounting operation of an electronic part.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 지닌 자라면 이로부터 다양한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구 범위에 의해서만 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes may be made. Accordingly, the true scope of the present invention should be determined only by the appended claims.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960030447A KR100213051B1 (en) | 1996-07-25 | 1996-07-25 | Calibration method of an electronic part mounting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960030447A KR100213051B1 (en) | 1996-07-25 | 1996-07-25 | Calibration method of an electronic part mounting apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR980013390A true KR980013390A (en) | 1998-04-30 |
| KR100213051B1 KR100213051B1 (en) | 1999-08-02 |
Family
ID=19467539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019960030447A KR100213051B1 (en) | 1996-07-25 | 1996-07-25 | Calibration method of an electronic part mounting apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100213051B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100487581B1 (en) * | 2002-09-30 | 2005-05-03 | 에스이디스플레이 주식회사 | Bonding device of surface mounting equipment |
| WO2016195176A1 (en) * | 2015-06-04 | 2016-12-08 | 한화테크윈 주식회사 | Delta robot calibration method and delta robot calibration apparatus |
-
1996
- 1996-07-25 KR KR1019960030447A patent/KR100213051B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100487581B1 (en) * | 2002-09-30 | 2005-05-03 | 에스이디스플레이 주식회사 | Bonding device of surface mounting equipment |
| WO2016195176A1 (en) * | 2015-06-04 | 2016-12-08 | 한화테크윈 주식회사 | Delta robot calibration method and delta robot calibration apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100213051B1 (en) | 1999-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR0185689B1 (en) | A high precision component alignment sensor system | |
| US6606788B1 (en) | Component recognizing method and apparatus | |
| KR100283834B1 (en) | Bonding method of semiconductor chip and its device | |
| US20010055069A1 (en) | One camera system for component to substrate registration | |
| JPH04233245A (en) | System and method for inspection and alignment at semiconductor chip and conductor lead frame | |
| US6538750B1 (en) | Rotary sensor system with a single detector | |
| CN113496523A (en) | System and method for three-dimensional calibration of visual system | |
| KR20210016612A (en) | 3D measuring device | |
| US7355386B2 (en) | Method of automatically carrying IC-chips, on a planar array of vacuum nozzles, to a variable target in a chip tester | |
| JP5095164B2 (en) | Optical axis deviation detection method, component position correction method, and component position correction device for imaging apparatus | |
| JP4191295B2 (en) | Semiconductor package inspection equipment | |
| JP2008294065A (en) | Mounting method and mounting device for electronic component | |
| KR980013390A (en) | Calibration method of electronic component mounting apparatus | |
| WO1997037378A1 (en) | Visual inspection device for wafer bump and height measuring device | |
| JP3286105B2 (en) | Mounting position correction method for mounting machine | |
| JP2930746B2 (en) | Parts inspection equipment | |
| JP2000013097A (en) | Part mounting system | |
| KR0151085B1 (en) | Calibration method for chip mounter | |
| JP3949257B2 (en) | Component recognition method, component inspection, and mounting method | |
| JPH116711A (en) | Method for measuring calibration value of image pickup unit for measurement | |
| JPH11186796A (en) | Part fixer | |
| US6400459B1 (en) | Methods and apparatus for using optical sensors in component replacement heads | |
| JP3679460B2 (en) | Mobile device and control method thereof | |
| JP3923168B2 (en) | Component recognition method and component mounting method | |
| JPH11132735A (en) | Ic lead floating inspection device and inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20070427 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |