KR20190096755A - Mass component recognition method - Google Patents
Mass component recognition method Download PDFInfo
- Publication number
- KR20190096755A KR20190096755A KR1020180016563A KR20180016563A KR20190096755A KR 20190096755 A KR20190096755 A KR 20190096755A KR 1020180016563 A KR1020180016563 A KR 1020180016563A KR 20180016563 A KR20180016563 A KR 20180016563A KR 20190096755 A KR20190096755 A KR 20190096755A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- center
- camera
- information
- rotation angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
- H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/20—
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
- H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명의 실시예는 대형 부품 인식 방법 및 장치에 관한 것이다.Embodiments of the present invention relate to a large part recognition method and apparatus.
일반적으로 전자 부품을 인쇄회로기판상에 실장 하기 위해서는, 해당 부품들의 정보의 입력이 필수적으로 이루어진다. 이를 위해 계측기를 이용해 등록하고자 하는 부품의 두께를 측정하고, 소정 거치대 등에 측정된 부품을 올려놓은 후, 대상 부품의 인식 면을 카메라에 의해 촬영한다.In general, in order to mount an electronic component on a printed circuit board, input of information of the corresponding components is essential. To this end, the thickness of the part to be registered is measured by using a measuring instrument, the measured part is placed on a predetermined holder, and then the recognition surface of the target part is photographed by a camera.
본 발명의 실시예는 카메라의 시야각을 벗어나는 대형 부품을 인식할 수 있는 방법 및 장치를 제공함을 목적으로 한다. An embodiment of the present invention is to provide a method and apparatus capable of recognizing a large component outside the viewing angle of the camera.
본 발명의 일 실시예에 따른 대형 부품 인식 방법은, 카메라의 시야각을 벗어나는 크기의 부품을 상기 카메라가 분할 촬영한 복수의 분할 영상들을 상기 카메라로부터 획득하는 단계; 상기 분할 영상들 중 적어도 하나의 분할 영상과 등록된 부품 영상들의 패턴 매칭을 이용하여 상기 부품을 식별하는 단계; 등록된 부품 정보들 중 상기 식별된 부품에 대응하는 부품 정보를 자동 획득하는 단계; 및 상기 부품 정보를 이용하여 상기 부품의 중심 및 회전각도를 결정하는 단계;를 포함한다. In accordance with another aspect of the present invention, there is provided a method for recognizing a large component, the method comprising: obtaining, from the camera, a plurality of divided images obtained by dividing an image having a size out of a viewing angle of the camera by the camera; Identifying the part using pattern matching between at least one segmented image among the divided images and registered part images; Automatically obtaining part information corresponding to the identified part among registered part information; And determining the center and rotation angle of the part using the part information.
일 실시예에서, 상기 부품의 크기에 따라 상기 카메라의 분할 촬영을 위한 카메라의 방향 및 위치가 결정될 수 있다. In one embodiment, the direction and position of the camera for the segmental shooting of the camera may be determined according to the size of the component.
상기 중심 및 회전각도 추정 단계는, 상기 부품의 분할 영상들마다 상기 부품 정보를 이용하여 상기 부품의 중심 및 회전각도를 추정하는 단계; 및 각 분할 영상으로부터 추정된 부품의 중심 및 회전각도를 기초로 상기 부품의 최종 중심 및 회전각도를 결정하는 단계;를 포함할 수 있다.The estimating of the center and rotation angle may include estimating the center and rotation angle of the part using the part information for each of the divided images of the part; And determining the final center and the rotation angle of the part based on the center and the rotation angle of the part estimated from each of the divided images.
본 발명의 실시예는 대형 부품을 분할 인식한 후 등록된 부품 영상과의 패턴 매칭을 통해 식별함으로써 등록된 부품 정보를 자동 획득할 수 있다. According to an exemplary embodiment of the present invention, registered parts information may be automatically obtained by segmentally recognizing a large part and then identifying the pattern through matching with a registered part image.
도 1은 본 발명의 일 실시예에 따른 부품 인식 시스템을 나타낸 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 부품 인식 장치를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 부품(40)에 대해 획득된 분할 영상의 예를 나타낸 도면이다.
도 5는 리드 그룹을 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 부품 인식 방법을 설명하는 흐름도이다. 1 is a view showing a part recognition system according to an embodiment of the present invention.
2 and 3 are schematic diagrams illustrating a component recognition apparatus according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of a divided image acquired for the
5 is a diagram for describing a lead group.
6 to 8 are flowcharts illustrating a component recognition method according to an embodiment of the present invention.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다. The following merely illustrates the principles of the invention. Therefore, those skilled in the art, although not explicitly described or illustrated herein, can embody the principles of the present invention and invent various devices that fall within the spirit and scope of the present invention. Furthermore, all conditional terms and embodiments listed herein are in principle clearly intended for the purpose of understanding the concept of the invention and are not to be limited to the specifically listed embodiments and states. Should be. In addition, it is to be understood that all detailed descriptions, including the principles, aspects, and embodiments of the present invention, as well as listing specific embodiments, are intended to include structural and functional equivalents of these matters. In addition, these equivalents should be understood to include not only equivalents now known, but also equivalents to be developed in the future, that is, all devices invented to perform the same function regardless of structure.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다. The functionality of the various elements shown in the figures, including functional blocks represented by a processor or similar concept, can be provided by the use of dedicated hardware as well as hardware capable of executing software in association with appropriate software. When provided by a processor, the functionality may be provided by a single dedicated processor, by a single shared processor, or by a plurality of individual processors, some of which may be shared. In addition, the use of terms presented in terms of processor, control, or similar concept should not be interpreted exclusively as a citation of hardware capable of executing software, and without limitation, ROM for storing digital signal processor (DSP) hardware, software. (ROM), RAM, and non-volatile memory are to be understood to implicitly include. Other well known hardware may also be included.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다. The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. In the following description of the present invention, when it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted or briefly described.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.On the other hand, when a part is said to "include" a certain component, this means that it may further include other components, without excluding the other components unless otherwise stated.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 부품 인식 시스템을 나타낸 도면이다.1 is a view showing a part recognition system according to an embodiment of the present invention.
도 1을 참조하면, 일 실시예에 따른 부품 인식 시스템(1)은 부품 인식 장치(10) 및 카메라(20)를 포함할 수 있다. Referring to FIG. 1, a
카메라(20)는 이송 트레이(30) 상의 부품(40)을 촬영할 수 있다. 카메라(20)는 X축 및 Y축 방향의 선형 운동 및 Z축 방향(하중 방향)의 선형 이동 및 회전이 가능한 로봇의 일 측(헤드, 핸드 등)에 부착될 수 있다. 카메라(20)는 일정속도로 이동하는 이송 트레이(30)의 일 면에 로딩된 부품(40)을 촬영할 수 있다. The
부품 인식 장치(1)는 부품(40)을 촬영한 부품 영상과 부품 데이터베이스의 부품 대표 영상들의 패턴 매칭을 이용하여 부품(40)을 식별할 수 있다. 부품 인식 장치(1)는 식별된 부품(40)의 부품 정보를 부품 데이터베이스로부터 획득하고, 부품 정보를 이용하여 부품(40)의 중심 및 회전각도를 추정할 수 있다. The
인쇄 회로 기판(PCB)에 부품을 실장하기 위해서는 부품 정보를 파악해야 한다. 부품 정보는 부품의 크기, 부품의 중심, 리드 정보 등을 포함할 수 있다. 부품의 정보를 파악하기 위해 카메라로 부품의 영상을 촬영하게 되는데, 부품의 크기가 카메라의 유효 시야각(FOV; Field of View)을 벗어나는 경우, 부품 정보 파악이 힘들어진다. In order to mount a component on a printed circuit board (PCB), the component information must be obtained. The part information may include the size of the part, the center of the part, the lead information, and the like. In order to grasp the information of the part, an image of the part is taken by a camera. When the size of the part is outside the effective field of view (FOV) of the camera, it is difficult to grasp the part information.
부품의 크기가 카메라의 유효 FOV를 벗어나는 경우 카메라를 이동해가며 영상을 분할 촬영하고, 분할 영상들을 합성한 합성 영상을 기초로 부품의 중심과 회전 각도, 리드 정보 등을 인식하여 부품을 식별하는 방법을 사용할 수 있다. 이 경우 영상 합성 오차에 의해 인식 정도가 떨어지는 단점이 있다. When the size of the part is out of the effective FOV of the camera, the moving part of the camera is divided into images, and the part, the rotation angle, and the lead information of the part are recognized based on the composite image of the synthesized images. Can be used. In this case, there is a disadvantage in that the degree of recognition decreases due to an image synthesis error.
본 발명의 실시예는 하나의 카메라를 이동해가며 부품의 부분을 촬영한 분할 영상들을 이용하여 부품을 식별하고, 식별된 부품에 대해 등록된 부품 정보를 자동으로 획득할 수 있다. 즉, 분할 영상들을 합성한 합성 영상을 분석하여 부품을 식별할 필요가 없어 신속하고 정확하게 부품을 식별할 수 있다. 이때 분할 영상들이 적어도 일부 오버랩되도록 부품을 분할 촬영함으로써 부품의 모든 부분이 적어도 하나의 분할 영상에 존재하도록 할 수 있다. 이에 따라 본원발명의 실시예는 부품의 일부 영상(예를 들어, 가장자리 두 부분 또는 네 부분만을 촬영한 부분 영상)으로 부품의 중심과 회전 각도, 리드 정보 등의 부품 정보를 인식하는 방법에 비해 부품 인식 및 식별이 향상될 수 있다.According to an exemplary embodiment of the present invention, a part may be identified using divided images obtained by photographing a part of a part while moving one camera, and the part information registered for the identified part may be automatically obtained. In other words, it is not necessary to identify parts by analyzing the synthesized image obtained by synthesizing the split images. In this case, by dividing the component so that the divided images overlap at least a part, all parts of the component may be present in the at least one divided image. Accordingly, an embodiment of the present invention is a part image (for example, a partial image of only two or four edges of the part) compared to a method of recognizing part information such as the center, rotation angle, and lead information of the part. Recognition and identification can be improved.
본 발명의 실시예는 식별된 부품에 대해 획득한 부품 정보를 이용하여 분할 영상마다 부품의 중심과 회전 각도를 추정하고, 이들을 기초로 최종적으로 부품의 중심과 회전 각도를 결정할 수 있다. 또한, 본 발명의 실시예는 식별된 부품에 대해 사전에 자동 획득한 부품 정보를 이용하여 부품의 분할 영상들의 분석을 통해 획득한 부품 정보를 검증할 수 있다. According to an embodiment of the present invention, the center and rotation angle of a part may be estimated for each divided image by using the part information acquired for the identified parts, and finally, the center and rotation angle of the part may be determined based on these parts. In addition, the embodiment of the present invention may verify the part information obtained through the analysis of the divided images of the part using the part information automatically obtained in advance for the identified part.
도 2 및 도 3은 본 발명의 일 실시예에 따른 부품 인식 장치를 개략적으로 나타낸 도면이다. 2 and 3 are schematic diagrams illustrating a component recognition apparatus according to an exemplary embodiment of the present invention.
도 2를 참조하면, 부품 인식 장치(10)는 모드 결정부(101), 부품 식별부(103), 부품 분석부(105) 및 부품 데이터베이스(107)를 포함할 수 있다. Referring to FIG. 2, the
모드 결정부(101)는 부품(40)이 카메라(20)의 시야각(FOV)을 벗어나는 크기를 갖는 대형 부품인 경우, 카메라(20)가 부품(40)을 분할하여 촬영하도록 카메라(20)의 촬영 모드를 분할 모드로 전환시킬 수 있다. When the
모드 결정부(101)는 부품(40)의 크기에 따라 분할 영상의 크기, 개수, 오버랩 정도를 결정할 수 있다. 모드 결정부(101)는 분할 영상에 대응하는 카메라(20)의 방향 및 위치를 결정하는 값을 카메라(20)로 전송할 수 있다. The
카메라(20)는 모드 결정부(101)로부터 촬영 모드를 수신하고, 분할 모드로 전환할 수 있다. 카메라(20)는 모드 결정부(101)로부터 분할 영상에 대응하는 방향 위치에 대한 값을 수신하고, 이에 대응하여 위치를 변경하며 부품(40)의 분할 영상을 획득할 수 있다. The
도 4는 본 발명의 일 실시예에 따른 부품(40)에 대해 획득된 분할 영상의 예를 나타낸 도면이다. 도 4를 참조하면, 일 실시예에서 카메라(20)는 부품(40)을 4 분할한 4개의 분할 영상들(Id1 내지 Id4)을 획득할 수 있다. 분할 영상들(Id1 내지 Id4) 각각은 인접한 분할 영상과 부품(40)의 적어도 일부가 오버랩할 수 있다. 4 is a diagram illustrating an example of a divided image acquired for the
부품 식별부(103)는 카메라(20)로부터 부품(40)의 분할 영상들을 수신할 수 있다. 부품 식별부(103)는 적어도 하나의 분할 영상을 기초로 촬영된 부품이 어떤 부품인지를 식별할 수 있다. The
부품 식별부(103)는 부품 데이터베이스(107)에 등록된 부품 영상들과 카메라(20)로부터 수신한 부품(40)의 분할 영상을 비교할 수 있다. 부품 데이터베이스(107)에 등록된 부품 영상은 부품의 전체 영상 및/또는 부분 영상일 수 있다. 부품 식별부(103)는 등록된 부품 영상과 분할 영상 간의 패턴 매칭을 이용하여 부품(40)이 어떤 부품인지 식별할 수 있다. The
부품 식별부(103)는 부품(40)을 칩 부품, 리드 부품, BGA(Ball Grid Array) 부품, 이형 부품 등과 같이 기 설정된 종류 카테고리로 분류할 수 있다. 부품 식별부(103)는 카테고리 분류된 부품(40)의 부품명, 부품 번호 등을 식별할 수 있다. The
부품 식별부(103)는 부품 데이터베이스(107)에 등록된 부품 정보 중 식별된 부품(40)에 대응하는 부품 정보를 부품 데이터베이스(107)로부터 획득할 수 있다. 부품 식별부(103)는 식별된 부품(40)에 대응하는 부품 정보를 부품 데이터베이스(107)로부터 자동 획득할 수 있다. 따라서, 본 발명의 실시예에 따르면 실장할 부품의 중심 및 회전 각도를 결정하기 위해 사용자가 실장할 부품의 종류 및 부품 파라미터를 개별적으로 확인한 후 부품 인식 시스템에 수동으로 입력할 필요가 없다. The
도 3을 함께 참조하면, 부품 데이터베이스(107)는 부품 영상 데이터베이스(117) 및 부품 정보 데이터베이스(137)를 포함할 수 있다. Referring to FIG. 3, the
부품 영상 데이터베이스(117)에는 복수의 부품들 각각의 학습을 통해 사전에 획득된 각 부품에 대한 부품 영상이 등록될 수 있다. 부품 영상은 부품의 부분 영상 및/또는 전체 영상을 포함할 수 있다. 부품 영상 데이터베이스(117)에 등록된 부품 영상은 카메라와 부품 간의 거리, 카메라 방향, 조명, 분할 개수 등을 달리하며 부품에 대해 획득된 기준 영상일 수 있다. The
부품 정보 데이터베이스(137)에는 각 부품의 부품 정보가 등록될 수 있다. 부품 정보는 부품의 전체 폭(width) 및 길이(length), 부품의 중심, 리드 그룹(lead group) 개수, 리드 그룹별 리드 개수, 리드 폭 및 길이 등을 포함할 수 있다. 리드 그룹은 부품의 소정 영역 내에 인접하게 구비된 리드들의 그룹일 수 있다. 리드 그룹은 부품 중심으로부터의 방향으로 구분될 수 있다. 예를 들어, 부품 정보는 부품의 크기(폭 및 길이), 부품 중심, 부품 중심으로부터 상하좌우 방향의 리드 그룹들의 정보, 각 리드 그룹의 리드 개수, 각 리드의 폭 및 길이 등의 정보를 포함할 수 있다.Part information of each part may be registered in the
도 5는 리드 그룹을 설명하기 위한 도면이다. 도 5에 도시된 부품은 2개의 리드 그룹, 즉 상 방향의 리드 그룹1 및 하 방향의 리드 그룹2를 포함하고, 각 리드 그룹은 6개의 리드를 포함한다. 5 is a diagram for describing a lead group. The part shown in FIG. 5 includes two lead groups, namely lead
부품 식별부(103)는 부품 식별에 따라 부품 데이터베이스(107)로부터 자동 수신한 부품 정보를 부품 분석부(105)로 전달할 수 있다. The
부품 분석부(105)는 식별된 부품(40)의 중심과 회전 각도를 결정할 수 있다. The
부품 분석부(105)는 부품(40)의 각 분할 영상에서 부품의 중심 및 회전 각도를 추정할 수 있다. 부품 분석부(105)는 분할 영상마다 추정된 복수의 부품의 중심 및 회전 각도 후보들을 기초로 최종적으로 부품(40)의 중심 및 회전 각도를 결정할 수 있다. The
전자 회로 부품을 인쇄 회로 기판 상의 정확한 위치로 실장하기 위해서는, 우선, 흡착 노즐을 이용하여 전자 회로 부품의 정확한 중심에 위치하여 부품을 흡착하는 것이 필요하다. 흡착 노즐이 전자 회로 부품의 정확한 중심에 정확히 정렬하는 것이 어려울 수 있기 때문에, 흡착 후에 어느 정도로 중심이 틀어졌는지를 판별하여 이를 보상하여 부품을 회로 기판상에 실장할 필요가 있다. 따라서, 사전에 부품의 중심을 특정하기 위한 부품 정보를 부품 데이터 베이스에 저장된 부품 정보를 참조하여 결정한다. In order to mount an electronic circuit component in the correct position on a printed circuit board, it is first necessary to adsorb | suck a component in the exact center of an electronic circuit component using a suction nozzle. Since the adsorption nozzles can be difficult to align precisely with the exact center of the electronic circuit component, it is necessary to determine how much the center is displaced after the adsorption and compensate for this to mount the component on the circuit board. Therefore, the part information for specifying the center of the part in advance is determined with reference to the part information stored in the parts database.
부품 분석부(105)는 분할 영상마다 리드를 검출하고, 분할 영상의 리드 검출 결과로부터 부품의 중심 및 회전 각도를 추정할 수 있다. The
부품 분석부(105)는 부품 정보 데이터베이스(137)로부터 획득한 부품 정보 중 리드 정보를 이용하여 분할 영상에서 리드가 위치할 리드 영역을 설정하고, 리드 영역에서 리드를 검출할 수 있다. 리드 정보는 리드 그룹, 리드 그룹의 방향, 리드 그룹의 리드 개수, 리드 폭 및 길이 등을 포함할 수 있다. The
부품 분석부(105)는 기 획득한 리드 그룹과 리드 그룹의 방향 정보를 기초로, 분할 영상에서 대응하는 리드 영역을 설정할 수 있다. 부품 분석부(105)는 리드 영역에 대한 엣지 영상을 생성하고 엣지를 검출할 수 있다. 부품 분석부(105)는 리드 폭 정보를 기초로 검출된 엣지들로부터 리드에 해당하는 부분을 판단함으로써 리드를 검출할 수 있다. 검출된 리드로부터 부품의 중심 및 회전 각도를 추정하는 방법은 공지의 다양한 방법이 이용될 수 있으며, 이에 대해 상세한 설명은 생략한다. The
부품 분석부(105)는 부품 정보 데이터베이스(137)로부터 획득한 리드 정보와 분할 영상의 분석을 통해 검출된 리드 정보를 비교하여 리드 검출 결과를 검증할 수 있다. 부품 분석부(105)는 리드 검출 검증 결과 오차가 큰 경우 알람을 사용자에게 발생시킬 수 있다. 부품 분석부(105)는 알람이 발생한 부품을 결함 부품으로 분류할 수 있다.The
부품 분석부(105)는 분할 영상마다 추정된 중심 및 회전 각도를 이용하여 최종적으로 부품의 중심 및 회전 각도를 결정할 수 있다. The
일 실시예에서, 부품 분석부(105)는 분할 영상들 중 적어도 하나의 분할 영상에서 추정된 부품의 중심 및 회전 각도를 최종 부품의 중심 및 회전 각도로 결정할 수 있다. 예를 들어, 제1 내지 제3 분할 영상에서 추정된 부품의 중심 및 회전 각도가 동일하고, 제4 분할 영상에서 추정된 부품의 중심 및 회전 각도는 상이한 경우, 부품 분석부(105)는 세 개의 분할 영상에서 동일하게 추정된 부품의 중심 및 회전 각도를 최종 부품의 중심 및 회전 각도로 결정할 수 있다. In one embodiment, the
다른 실시예에서, 부품 분석부(105)는 분할 영상마다 추정된 중심 및 회전 각도들의 평균을 최종 부품의 중심 및 회전 각도로 결정할 수 있다. In another embodiment, the
부품 분석부(105)는 분할 영상마다 추정된 중심 및 회전 각도를 상호 비교하고, 비교 결과 그 차이가 임계치 이상인 경우 알람을 발생시킬 수 있다. 알람은 음성 또는 텍스트 메시지일 수 있다. 부품 분석부(105)는 알람 발생 원인(예를 들어, 분할 영상들의 추정된 중심 및 회전 각도의 오차 등)을 알람과 함께 사용자에게 제공할 수 있다. The
부품 분석부(105)는 부품 정보 데이터베이스(137)로부터 획득한 부품 중심과 분할 영상의 분석을 통해 획득한 부품 중심을 비교하여 부품 분석 결과를 검증할 수 있다. 부품 분석부(105)는 부품 중심 검증 결과 오차가 큰 경우 알람을 사용자에게 발생시킬 수 있다. 부품 분석부(105)는 알람이 발생한 부품을 결함 부품으로 분류할 수 있다.The
본 발명의 실시예에서는 부품의 분할 영상으로부터 부품을 식별하여 부품 정보를 미리 자동으로 획득하고, 부품의 분할 영상 분석 시에 사전에 획득한 부품 정보를 기초로 부품을 인식함으로써 실장될 부품의 결함 여부를 신속하게 확인할 수 있다. In an embodiment of the present invention, whether a part is to be mounted by identifying a part from a split image of the part and automatically obtaining the part information, and recognizing the part based on the previously obtained part information when analyzing the split image of the part. You can check quickly.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 부품 인식 방법을 설명하는 흐름도이다. 도 6 내지 도 8에 도시된 부품 인식 방법은 도 1 내지 도 5를 참조하여 설명한 부품 인식 장치에 의해 수행될 수 있다. 이하에서는 전술된 내용과 중복하는 내용의 상세한 설명은 생략한다. 6 to 8 are flowcharts illustrating a component recognition method according to an embodiment of the present invention. The component recognition method illustrated in FIGS. 6 to 8 may be performed by the component recognition apparatus described with reference to FIGS. 1 to 5. In the following, detailed descriptions of contents overlapping with the above description will be omitted.
도 6을 참조하면, 부품 인식 장치(10)는 카메라(20)로부터 부품의 분할 영상들을 획득할 수 있다(S61). 부품 인식 장치(10)는 부품이 카메라(20)의 시야각을 벗어나는 대형 부품인 경우, 카메라(20)가 부품을 분할 촬영하도록 카메라(20)의 촬영 모드를 제어할 수 있다. 부품 인식 장치(10)는 분할 영상에 대응하는 카메라(20)의 방향 및 위치를 카메라(20)로 전송할 수 있다. 부품 인식 장치(10)는 카메라(20)로부터 부품을 분할 촬영한 복수의 분할 영상들을 수신할 수 있다. Referring to FIG. 6, the
부품 인식 장치(10)는 부품의 분할 영상들 중 적어도 하나와 부품 데이터베이스에 등록된 부품 영상들 간의 패턴 매칭을 이용하여 부품을 식별할 수 있다(S63). 등록된 부품 영상은 부품별 전체 영상 및/또는 부분 영상일 수 있다. 부품 인식 장치(10)는 패턴 매칭을 이용하여 부품의 종류 및 부품명 등을 식별할 수 있다. The
부품 인식 장치(10)는 부품 데이터베이스에 등록된 부품 정보 중에서 식별된 부품에 대응하는 부품 정보를 자동으로 획득할 수 있다(S65).The
부품 인식 장치(10)는 자동 획득한 부품 정보를 이용하여 식별된 부품의 중심 및 회전각도를 결정할 수 있다(S67). 도 7은 본 발명의 일 실시예에 따른 부품의 중심 및 회전각도를 결정하는 방법을 개략적으로 도시한 흐름도이다. The
도 7을 함께 참조하면, 부품 인식 장치(10)는 분할 영상마다 부품의 중심 및 회전 각도를 추정할 수 있다(S671). 부품 인식 장치(10)는 분할 영상마다 리드를 검출하고, 검출된 리드를 이용하여 부품의 중심 및 회전 각도를 추정할 수 있다. 도 8은 본 발명의 일 실시예에 따른 부품 인식 장치(10)의 리드 검출 방법을 개략적으로 도시한 흐름도이다. Referring to FIG. 7 together, the
도 8을 함께 참조하면, 부품 인식 장치(10)는 부품 데이터베이스로부터 등록된 부품 정보를 획득할 수 있다(S81). Referring to FIG. 8 together, the
부품 인식 장치(10)는 획득한 부품 정보 중 리드 정보를 이용하여 분할 영상에서 리드가 위치할 리드 영역을 설정하고, 리드 영역에서 리드를 검출할 수 있다(S83). 리드 정보는 리드 그룹, 리드 그룹의 방향, 리드 그룹의 리드 개수, 리드 폭 및 길이 등을 포함할 수 있다. 부품 인식 장치(10)는 리드 그룹의 방향 정보를 기초로 분할 영상에서 대응하는 리드 영역을 설정하고, 리드 영역에 대한 엣지 영상을 생성하고 엣지를 검출할 수 있다. 부품 인식 장치(10)는 리드 폭 정보를 기초로 검출된 엣지들로부터 리드에 해당하는 부분을 판단함으로써 리드를 검출할 수 있다. The
부품 인식 장치(10)는 리드 검출 결과를 저장할 수 있다(S85). 부품 인식 장치(10)는 리드 검출 결과에 따라 획득한 리드 정보와 부품 데이터베이스로부터 획득한 리드 정보를 비교하여 리드 검출을 검증할 수 있다. 부품 인식 장치(10)는 리드 검출 결과 오차가 큰 경우 알람을 사용자에게 발생시킬 수 있다. 부품 인식 장치(10)는 알람이 발생한 부품을 결함 부품으로 처리할 수 있다.The
부품 인식 장치(10)는 분할 영상마다 추정된 부품의 중심 및 회전각도를 기초로 최종적으로 부품의 중심 및 회전 각도를 결정할 수 있다(S673). The
부품 인식 장치(10)는 부품 데이터베이스로부터 획득한 부품 정보를 이용하여 분할 영상 분석을 통해 결정된 부품의 최종 중심을 검증할 수 있다(S675). 부품 인식 장치(10)는 부품 데이터베이스로부터 획득한 부품 중심과 분할 영상으로부터 획득한 부품 중심을 비교하여, 분할 영상으로부터 획득한 부품 중심을 검증할 수 있다.The
본 발명에 따른 부품 인식 시스템의 대형 부품 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The large part recognition method of the part recognition system according to the present invention can be embodied as computer readable codes on a computer readable recording medium. Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the accompanying drawings, it is merely an example, and those skilled in the art may realize various modifications and equivalent other embodiments therefrom. I can understand. Accordingly, the true scope of protection of the invention should be defined only by the appended claims.
Claims (3)
상기 분할 영상들 중 적어도 하나의 분할 영상과 등록된 부품 영상들의 패턴 매칭을 이용하여 상기 부품을 식별하는 단계;
등록된 부품 정보들 중 상기 식별된 부품에 대응하는 부품 정보를 자동 획득하는 단계; 및
상기 부품 정보를 이용하여 상기 부품의 중심 및 회전각도를 결정하는 단계;를 포함하는 대형 부품 인식 방법.Acquiring, from the camera, a plurality of divided images obtained by the camera dividing a part having a size outside the viewing angle of the camera;
Identifying the part using pattern matching between at least one segmented image among the divided images and registered part images;
Automatically obtaining part information corresponding to the identified part among registered part information; And
And determining the center and rotation angle of the part using the part information.
상기 부품의 크기에 따라 상기 카메라의 분할 촬영을 위한 카메라의 방향 및 위치가 결정되는, 대형 부품 인식 방법.The method of claim 1,
The direction and position of the camera for the divided shooting of the camera according to the size of the component, large part recognition method.
상기 부품의 분할 영상들마다 상기 부품 정보를 이용하여 상기 부품의 중심 및 회전각도를 추정하는 단계; 및
각 분할 영상으로부터 추정된 부품의 중심 및 회전각도를 기초로 상기 부품의 최종 중심 및 회전각도를 결정하는 단계;를 포함하는 대형 부품 인식 방법.The method of claim 1, wherein the center and rotation angle estimating step,
Estimating the center and rotation angle of the part using the part information for each of the divided images of the part; And
And determining the final center and rotation angle of the part based on the center and rotation angle of the part estimated from each of the divided images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180016563A KR102484353B1 (en) | 2018-02-09 | 2018-02-09 | Mass component recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180016563A KR102484353B1 (en) | 2018-02-09 | 2018-02-09 | Mass component recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190096755A true KR20190096755A (en) | 2019-08-20 |
KR102484353B1 KR102484353B1 (en) | 2023-01-04 |
Family
ID=67807705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180016563A KR102484353B1 (en) | 2018-02-09 | 2018-02-09 | Mass component recognition method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102484353B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63123167A (en) * | 1986-11-12 | 1988-05-26 | Matsushita Electric Ind Co Ltd | Part recognition method |
JPH0537195A (en) * | 1991-07-30 | 1993-02-12 | Sony Corp | Mounting position deciding system |
JPH05187826A (en) * | 1992-01-14 | 1993-07-27 | Matsushita Electric Ind Co Ltd | Detecting method of position |
KR0135466B1 (en) * | 1994-12-14 | 1998-04-23 | 김광호 | Component Recognition Method of Electronic Component Mounter |
JP2002280800A (en) * | 2001-03-15 | 2002-09-27 | Omron Corp | Creation method of conversion table |
JP6143111B2 (en) * | 2012-08-23 | 2017-06-07 | 日本電気株式会社 | Object identification device, object identification method, and program |
JP7007446B2 (en) * | 2020-11-04 | 2022-02-10 | 日東電工株式会社 | Adhesive sheet |
-
2018
- 2018-02-09 KR KR1020180016563A patent/KR102484353B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63123167A (en) * | 1986-11-12 | 1988-05-26 | Matsushita Electric Ind Co Ltd | Part recognition method |
JPH0537195A (en) * | 1991-07-30 | 1993-02-12 | Sony Corp | Mounting position deciding system |
JPH05187826A (en) * | 1992-01-14 | 1993-07-27 | Matsushita Electric Ind Co Ltd | Detecting method of position |
KR0135466B1 (en) * | 1994-12-14 | 1998-04-23 | 김광호 | Component Recognition Method of Electronic Component Mounter |
JP2002280800A (en) * | 2001-03-15 | 2002-09-27 | Omron Corp | Creation method of conversion table |
JP6143111B2 (en) * | 2012-08-23 | 2017-06-07 | 日本電気株式会社 | Object identification device, object identification method, and program |
JP7007446B2 (en) * | 2020-11-04 | 2022-02-10 | 日東電工株式会社 | Adhesive sheet |
Also Published As
Publication number | Publication date |
---|---|
KR102484353B1 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10937183B2 (en) | Object dimensioning system and method | |
CN106778737B (en) | A kind of license plate antidote, device and a kind of video acquisition device | |
US10515459B2 (en) | Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor | |
JP6780767B2 (en) | Inspection support device, inspection support method and program | |
CN111565293A (en) | Device, method, and program for analyzing state of manual work by operator | |
CN109934851A (en) | A kind of mask method, device and machine readable storage medium | |
CN115112296A (en) | Stability precision testing method, system, medium, equipment and terminal | |
JP2008209354A (en) | Calibration method and device, and automatic detection device | |
US10043276B2 (en) | Image processing method, image processing apparatus, robot apparatus, program, and recording medium | |
CN113092079A (en) | Definition detection target plate and method and system, electronic equipment and detection platform | |
CN112565615B (en) | Method and device for determining trigger point of flying shooting | |
CN110070566A (en) | Information detecting method, device, computer equipment and readable storage medium storing program for executing | |
Springer et al. | Evaluation of Orientation Ambiguity and Detection Rate in April Tag and WhyCode | |
US11682211B2 (en) | Computer-implemented method | |
JP6431271B2 (en) | Vehicle detection and vehicle number recognition device | |
KR100624469B1 (en) | Checker board having asymmetrical pattern, method and apparatus for calibrating images obtained from image acquisition apparatus using the same | |
KR102484353B1 (en) | Mass component recognition method | |
JP2007528065A (en) | Method and apparatus for determining angular posture of object | |
KR100241088B1 (en) | Signal processing method | |
CN110647826B (en) | Method and device for acquiring commodity training picture, computer equipment and storage medium | |
CN111238829A (en) | Method and device for determining moving state, computer equipment and storage medium | |
JP2020102245A (en) | Abnormal work detection system and abnormal work detection method | |
CN113496142A (en) | Method and device for measuring volume of logistics piece | |
TWI731565B (en) | Rapid defect detection integration system for flake materials | |
CN111753625B (en) | Pedestrian detection method, device, equipment and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |