KR102471124B1 - System and method for detecting fiducial mark on the pcb - Google Patents
System and method for detecting fiducial mark on the pcb Download PDFInfo
- Publication number
- KR102471124B1 KR102471124B1 KR1020200119450A KR20200119450A KR102471124B1 KR 102471124 B1 KR102471124 B1 KR 102471124B1 KR 1020200119450 A KR1020200119450 A KR 1020200119450A KR 20200119450 A KR20200119450 A KR 20200119450A KR 102471124 B1 KR102471124 B1 KR 102471124B1
- Authority
- KR
- South Korea
- Prior art keywords
- recognition mark
- image
- pcb
- region
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000013136 deep learning model Methods 0.000 claims abstract description 23
- 238000010845 search algorithm Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 PCB(Printed Circuit Board) 인식마크(Fiducial Mark) 검출 장치는 카메라가 촬영한 PCB 영상을 입력받는 영상 입력부와, PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하고, 미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하는 관심영역 추출부와, 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출하는 룰기반 검출부를 포함하여 PCB 영상에서 인식마크를 검출한다.PCB (Printed Circuit Board) fiducial mark detection device of the present invention detects a recognition mark through an image input unit that receives a PCB image taken by a camera and a deep learning model trained to detect a recognition mark in the PCB image. a region of interest extractor for extracting a region of interest (ROI) image including a recognition mark by adding a preset margin, and a rule-based detection unit for detecting a location of a recognition mark by applying a rule-based search algorithm to the region of interest image Including detecting the recognition mark in the PCB image.
Description
인공신경망을 통해 인쇄회로기판 상의 인식마크를 검출하는 기술에 관한 것으로, 보다 상세하게는 딥러닝 모델을 통해 1차적으로 인식마크를 검출하여 검출 대상 영역을 줄인 후 최종적으로 룰기반으로 인식마크의 위치를 재탐색하여 인식마크를 검출하는 기술에 관한 것이다.It relates to a technology for detecting a recognition mark on a printed circuit board through an artificial neural network, and more specifically, detects the recognition mark primarily through a deep learning model, reduces the detection target area, and finally places the recognition mark based on a rule It relates to a technique of re-searching for and detecting a recognition mark.
일반적으로, 인쇄회로기판(Printed Circuit Board, 이하 'PCB'라 함)에 칩(Chip) 등의 부품을 실장하거나 PCB를 검사하는 경우, 기준점을 찾기 위하여 인식마크(Fiducial Mark)를 사용한다.In general, when mounting components such as chips on a printed circuit board (hereinafter referred to as 'PCB') or inspecting a PCB, a fiducial mark is used to find a reference point.
그리고, 최근 영상을 통해 객체를 인식하는 딥러닝 기술의 발전으로 PCB 상의 인식마크를 검출하는 기술로 딥러닝 기술이 활용되고 있다. 하지만, 딥러닝을 사용하여 인식마크 등의 객체를 검출하는 기술은 많은 연산을 필요로 한다. 따라서, 빠른 속도와 정확도가 요구되는 PCB 조립 장치 또는 PCB 검사 장치에 적용하기 위하여는 딥러닝 모델이 실행되는 검출 장치의 하드웨어가 높은 사양을 갖추어야 하는 문제가 있다.In addition, with the recent development of deep learning technology for recognizing objects through images, deep learning technology is being used as a technology for detecting recognition marks on PCBs. However, a technique for detecting an object such as a recognition mark using deep learning requires a lot of computation. Therefore, in order to be applied to a PCB assembly device or a PCB inspection device requiring high speed and accuracy, there is a problem in that the hardware of the detection device in which the deep learning model is executed must have high specifications.
본 발명은 낮은 하드웨어 스펙의 검출 장치에서도 정확하고 빠르게 딥러닝 모델을 이용하여 인식마크를 검출하는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a device and method for accurately and quickly detecting a recognition mark using a deep learning model even in a detection device with low hardware specifications.
본 발명의 일 양상에 따르면, PCB(Printed Circuit Board) 인식마크(Fiducial Mark) 검출 장치는 영상 입력부와, 관심영역 추출부와, 룰기반 검출부를 포함하여 PCB 영상에서 인식마크를 검출한다.According to one aspect of the present invention, a printed circuit board (PCB) fiducial mark detection device includes an image input unit, a region of interest extraction unit, and a rule-based detection unit to detect a fiducial mark in a PCB image.
영상 입력부는 카메라가 촬영한 PCB 영상을 입력받고, 관심영역 추출부는 PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하고, 미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하고, 룰기반 검출부는 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출한다.The image input unit receives the PCB image captured by the camera, and the ROI extraction unit detects the recognition mark through a deep learning model trained to detect the recognition mark in the PCB image, and adds a preset margin to obtain an interest including the recognition mark. After extracting the region (ROI) image, the rule-based detection unit detects the position of the recognition mark by applying a rule-based search algorithm to the region-of-interest image.
본 발명의 추가적 양상에 따르면, PCB 인식마크 검출 장치는 미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시키는 영상 축소부를 더 포함할 수 있고, 이때 관심영역 추출부는 축소된 PCB 영상으로부터 인식마크를 포함하는 관심영역을 추출한다.According to an additional aspect of the present invention, the PCB recognition mark detection device may further include an image reduction unit for reducing the size of the input PCB image at a preset ratio, wherein the ROI extraction unit includes the recognition mark from the reduced PCB image. to extract a region of interest.
본 발명의 추가적 양상에 따르면, PCB 인식마크 검출 장치는 관심영역 추출부가 검출한 인식마크를 포함하는 관심영역의 위치정보와 룰기반 검출부가 검출한 인식마크 위치정보를 기반으로 PCB 영상 내에서 인식마크의 위치를 산출하는 위치 결정부를 더 포함할 수 있다.According to an additional aspect of the present invention, the device for detecting a PCB recognition mark detects a recognition mark in a PCB image based on location information of a region of interest including a recognition mark detected by a region of interest extractor and location information of a recognition mark detected by a rule-based detection unit. It may further include a location determiner for calculating the location of.
본 발명의 일 실시 예에 따르면, PCB 인식마크 검출 장치가 인식마크를 검출하는 방법은 카메라가 촬영한 PCB 영상을 입력받는 영상입력 단계와, PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하는 제1 인식마크 검출 단계와, 미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하는 관심영역 추출 단계와, 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출하는 제2 인식마크 검출 단계를 포함한다.According to an embodiment of the present invention, a method for detecting a recognition mark by a PCB recognition mark detection device includes an image input step of receiving a PCB image captured by a camera and a deep learning model learned to detect a recognition mark from the PCB image. A first recognition mark detection step of detecting a recognition mark through a first recognition mark detection step, a region of interest extraction step of extracting a region of interest (ROI) image including a recognition mark by adding a preset margin, and a rule-based search algorithm for the region of interest image and a second recognition mark detection step of detecting the position of the recognition mark by applying the recognition mark.
본 발명의 또 다른 실시 예에 따르면, PCB 인식마크 검출 장치가 인식마크를 검출하는 방법은 제1 인식마크 검출 단계 수행 전, 미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시키는 영상 축소 단계를 더 포함할 수 있다. 이때, 제1 인식마크 검출 단계 및 관심영역 추출 단계는 축소된 PCB 영상을 대상으로 수행된다.According to another embodiment of the present invention, the method of detecting the recognition mark by the PCB recognition mark detection device further includes an image reduction step of reducing the size of the input PCB image at a preset ratio before performing the first recognition mark detection step. can include At this time, the step of detecting the first recognition mark and the step of extracting the region of interest are performed on the reduced PCB image.
본 발명의 또 다른 실시 예에 따르면, PCB 인식마크 검출 장치가 인식마크를 검출하는 방법은 관심영역 추출 단계에서 추출한 관심영역의 위치정보와 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보를 기반으로 PCB 영상 내에서 인식마크의 위치를 산출하는 위치 결정 단계를 더 포함할 수 있다.According to another embodiment of the present invention, a method for detecting a recognition mark by a PCB recognition mark detection apparatus is based on the location information of the region of interest extracted in the ROI extraction step and the recognition mark location information detected in the second recognition mark detection step. A location determination step of calculating the position of the recognition mark within the PCB image may be further included.
본 발명에 의하면 본 발명은 낮은 하드웨어 스펙의 검출 장치에서도 정확하고 빠르게 딥러닝 모델을 이용하여 인식마크를 검출할 수 있다.According to the present invention, a recognition mark can be accurately and quickly detected using a deep learning model even in a detection device with low hardware specifications.
도 1은 PCB 인식마크 검출 장치의 구성을 도시한 블록도이다.
도 2는 인식마크를 포함하는 ROI의 예를 도시하고 있다.
도 3은 PCB 인식마크 검출 장치가 인식마크를 검출하는 방법의 절차를 도시한 절차도이다.1 is a block diagram showing the configuration of a PCB recognition mark detection device.
2 shows an example of an ROI including a recognition mark.
3 is a flowchart illustrating a procedure of a method in which the PCB identification mark detection device detects an identification mark.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.The foregoing and additional aspects are embodied through embodiments described with reference to the accompanying drawings. It is understood that the components of each embodiment are possible in various combinations within an embodiment unless otherwise stated or contradictory to each other. Each block in the block diagram may represent a physical component in one case, but in another case, it may be a logical representation of a function of a portion of a function of one physical component or a function across multiple physical components. Sometimes the substance of a block or part thereof may be a set of program instructions. All or part of these blocks may be implemented by hardware, software, or a combination thereof.
도 1은 PCB 인식마크 검출 장치의 구성을 도시한 블록도이다. 발명의 일 양상에 따르면, PCB 인식마크 검출 장치(100)는 영상 입력부(110)와, 관심영역 추출부(130)와, 룰기반 검출부(140)를 포함하여 PCB 영상에서 인식마크를 검출한다.1 is a block diagram showing the configuration of a PCB recognition mark detection device. According to one aspect of the invention, the PCB recognition
PCB 인식마크 검출 장치(100)는 PCB 검사 장비의 일부 구성으로 포함되거나 단독으로 사용되는 장치일 수 있다, PCB 인식마크 검출 장치(100)는 프로세서, 메모리, 입출력 장치, 네트워크 장치 등을 포함하는 컴퓨팅 장치로 구성될 수 있으며, PCB 영상을 촬영하는 카메라를 직접 포함하거나 외부의 카메라와 인터페이스되어 PCB 촬영 영상을 획득할 수 있다.The PCB recognition
영상 입력부(110)는 카메라가 촬영한 PCB 영상을 입력받는다. 이때, 영상 입력부(110)가 카메라를 포함할 수 있고, 장치 외부의 카메라로부터 촬영된 PCB 영상을 획득할 수 있다. 카메라의 종류는 제한이 없으며, 촬영된 PCB 영상은 전체 PCB 영상이거나 PCB의 특정 영역에 대하여 촬영된 영상일 수 있다.The
관심영역 추출부(130)는 영상에서 물체를 검출하는 기능과, 입력된 영상에서 검출된 물체를 포함하는 관심영역을 추출하는 기능을 포함한다. The region of
영상에서 물체를 검출하는 기능은 PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 구현된다. 물체를 검출하는 딥러닝 모델의 검출 알고리즘은 제한이 없다. 일 예로, 검출 알고리즘은 YOLO(You Only Look Once) 알고리즘일 수 있다. YOLO는 개념적으로 이미지를 동일한 크기의 그리드로 분할하고, 그리드 내 객체 인식 시 정확성을 반영하는 신뢰도를 계산하고, 신뢰도에 기반하여 객체를 인식하는 알고리즘으로 각 그리드의 신뢰도에 따라 주변의 그리드와 합치거나 불필요한 그리드는 제거하는 방법을 통해 객체를 빠르게 인식할 수 있다. 또 다른 예로, 검출 알고리즘은 SSD(Single Shot Detector) 알고리즘 일 수 있다. SSD는 입력 이미지에 대하여 한번 CNN을 실행하여 형상 맵(feature map)을 계산한다. SSD는 경계 상자 및 객체 분류 확률을 예측하기 위해 CNN을 실행하며, CNN 후 경계 상자를 예측한다. 검출 알고리즘은 간단히 설명한 YOLO, SSD 이외에도 RCNN 등 다양한 알고리즘이 적용될 수 있다.The function of detecting an object in an image is implemented through a deep learning model trained to detect a recognition mark in a PCB image. The detection algorithm of the deep learning model for detecting objects is not limited. For example, the detection algorithm may be a You Only Look Once (YOLO) algorithm. Conceptually, YOLO is an algorithm that divides an image into grids of the same size, calculates the confidence level that reflects accuracy when recognizing objects within the grid, and recognizes objects based on the confidence level. Objects can be quickly recognized by removing unnecessary grids. As another example, the detection algorithm may be a single shot detector (SSD) algorithm. The SSD calculates a feature map by executing CNN once on the input image. The SSD runs a CNN to predict the bounding box and object classification probabilities, and predicts the bounding box after the CNN. As the detection algorithm, various algorithms such as RCNN can be applied in addition to YOLO and SSD, which have been briefly described.
도 2는 인식마크를 포함하는 ROI의 예를 도시하고 있다. 도 2의 (a)는 딥러닝 모델이 인식마크를 검출한 예를 도시하고 있고, (b)는 관심영역 추출부의 관심영역 추출 기능이 딥러닝 모델이 검출한 인식마크에 미리 설정된 마진을 추가하여 추출한 관심영역(ROI) 이미지를 도시하고 있다. 딥러닝 모델을 사용하여 인식마크를 검출하더라도, 검출된 위치는 2-3 픽셀 크기의 오차가 발생할 수 있다. 위치 오차로 인해 ROI 이미지에서 인식마크의 일부분이 잘리는 것을 방지하기 위하여 발생할 수 있는 오차보다 크게 마진을 설정하여 검출된 인식마크 주변으로 이 설정된 마진을 추가하여 영상을 추출한다.2 shows an example of an ROI including a recognition mark. 2 (a) shows an example in which the deep learning model detects a recognition mark, and (b) shows an example in which the region of interest extraction function of the region of interest extractor adds a preset margin to the recognition mark detected by the deep learning model. The extracted region of interest (ROI) image is shown. Even if a recognition mark is detected using a deep learning model, an error of 2-3 pixels may occur in the detected position. In order to prevent part of the recognition mark from being cut off in the ROI image due to a positional error, a margin larger than a possible error is set, and an image is extracted by adding the set margin around the detected recognition mark.
다시 도 1을 참조하면, 룰기반(Rule based) 검출부는 추출된 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출한다. 일 예로 사용되는 룰기반 탐색 알고리즘은 엣지(Edge) 검출 알고리즘으로 Canny 알고리즘일 수 있다. 다른 예로, HOG(Histogram of Oriented Gradients) 알고리즘 또는 Harris Corner Detection 알고리즘 또는 템플릿 매칭(Template matching) 알고리즘이 사용될 수 있다.Referring back to FIG. 1 , the rule-based detection unit detects the position of the recognition mark by applying a rule-based search algorithm to the extracted ROI image. The rule-based search algorithm used as an example may be a Canny algorithm as an edge detection algorithm. As another example, a Histogram of Oriented Gradients (HOG) algorithm, a Harris Corner Detection algorithm, or a template matching algorithm may be used.
인식마크(Fiducial Mark)는 PCB 검사를 위하여 사용되는 마크로 PCB 검사 장비는 이 마크를 인식하여 PCB 검사 위치를 자동으로 보정한다. 일반적으로, 인식마크로 허용되는 모양은 원형, 사각형을 사용하며, 위치는 각 모서리 대각선 방향에 위치하게 된다.Fiducial Mark is a mark used for PCB inspection, and PCB inspection equipment recognizes this mark and automatically corrects the PCB inspection position. In general, a circle or a rectangle is used as a shape allowed as a recognition mark, and the position is located in the diagonal direction of each corner.
본 발명의 추가적 양상에 따르면, PCB 인식마크 검출 장치(100)는 영상 축소부(120)를 더 포함할 수 있다. 다시 도 1을 참조하면, 영상 축소부(120)는 미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시킨다. 영상 축소부(120)가 영상을 축소하는 목적은 딥러닝 모델의 연산량을 줄이는 데 있다. 영상 축소부(120)가 축소한 PCB 영상이 딥러닝 모델의 입력 데이터가 된다. 따라서, 관심영역 추출부(130)는 축소된 PCB 영상으로부터 인식마크를 검출하고, 인식마크를 포함하는 관심영역을 추출한다.According to an additional aspect of the present invention, the PCB recognition
본 발명의 추가적 양상에 따르면, PCB 인식마크 검출 장치(100)는 위치 결정부(150)를 더 포함할 수 있다. 위치 결정부(150)는 관심영역 추출부(130)가 검출한 인식마크를 포함하는 관심영역의 위치정보와 룰기반 검출부(140)가 검출한 인식마크 위치정보를 기반으로 PCB 영상 내에서 인식마크의 위치를 정확하게 산출한다. 이때 위치 결정부(150)는 축소된 PCB 영상이 아닌 원본 PCB 영상에 대하여 인식마크의 위치를 산출한다. According to an additional aspect of the present invention, the PCB identification
관심영역의 위치정보와, 룰기반 검출부(140)가 검출한 인식마크 위치정보는 대각선 상의 두 꼭지점의 좌표일 수 있다. 위치 결정부(150)는 원본 영상에 대한 인식마크 위치를 산출하므로 관심영역의 위치정보와 룰기반 검출부(140)가 검출한 인식마크 위치정보를 각각 축소된 배율을 고려하여 보정한 후 원본 PCB 영상에서의 위치를 계산할 수 있고, 또 다른 방식으로 관심영역의 위치정보와 룰기반 검출부(140)가 검출한 인식마크 위치정보로부터 축소된 영상에서의 인식마크 위치를 산출한 후 축소된 배율을 고려하여 원본 PCB 영상에서의 위치를 계산할 수 있다.The location information of the region of interest and the recognition mark location information detected by the rule-based
도 3은 PCB 인식마크 검출 장치가 인식마크를 검출하는 방법의 절차를 도시한 절차도이다. 본 발명의 일 실시 예에 따르면, PCB 인식마크 검출 장치(100)가 인식마크를 검출하는 방법은 영상입력 단계와, 제1 인식마크 검출 단계와, 관심영역 추출 단계와, 제2 인식마크 검출 단계를 포함한다.3 is a flowchart illustrating a procedure of a method in which the PCB identification mark detection device detects an identification mark. According to an embodiment of the present invention, a method of detecting a recognition mark by the PCB recognition
PCB 인식마크 검출 장치(100)는 PCB 검사 장비의 일부 구성으로 포함되거나 단독으로 사용되는 장치일 수 있다, PCB 인식마크 검출 장치(100)는 프로세서, 메모리, 입출력 장치, 네트워크 장치 등을 포함하는 컴퓨팅 장치로 구성될 수 있으며, PCB 영상을 촬영하는 카메라를 직접 포함하거나 외부의 카메라와 인터페이스되어 PCB 촬영 영상을 획득할 수 있다. 컴퓨팅 장치로 구성된 PCB 인식마크 검출 장치(100)에서 수행되는 각 단계들은 기능의 적어도 일부가 프로세서에서 실행되는 프로그램 명령어 세트로 구성될 수 있다.The PCB recognition
영상입력 단계는 카메라가 촬영한 PCB 영상을 입력받는 단계이다(S1000). 이때 촬영된 PCB 영상은 전체 PCB 영상이거나 PCB의 특정 영역에 대하여 촬영된 영상일 수 있다.The image input step is a step of receiving a PCB image captured by a camera (S1000). At this time, the captured PCB image may be an entire PCB image or an image captured for a specific region of the PCB.
제1 인식마크 검출 단계는 PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하는 단계이다(S1040). 영상에서 물체를 검출하도록 학습된 딥러닝 모델을 통해 PCB 영상에서 인식마크를 검출한다. 이때 사용되는 물체를 검출하는 딥러닝 모델의 검출 알고리즘은 제한이 없다. 일 예로, 검출 알고리즘은 YOLO(You Only Look Once) 알고리즘일 수 있다. YOLO는 개념적으로 이미지를 동일한 크기의 그리드로 분할하고, 그리드 내 객체 인식 시 정확성을 반영하는 신뢰도를 계산하고, 신뢰도에 기반하여 객체를 인식하는 알고리즘으로 각 그리드의 신뢰도에 따라 주변의 그리드와 합치거나 불필요한 그리드는 제거하는 방법을 통해 객체를 빠르게 인식할 수 있다. 또 다른 예로, 검출 알고리즘은 SSD(Single Shot Detector) 알고리즘 일 수 있다. SSD는 입력 이미지에 대하여 한번 CNN을 실행하여 형상 맵(feature map)을 계산한다. SSD는 경계 상자 및 객체 분류 확률을 예측하기 위해 CNN을 실행하며, CNN 후 경계 상자를 예측한다. 검출 알고리즘은 간단히 설명한 YOLO, SSD 이외에도 RCNN 등 다양한 알고리즘이 적용될 수 있다.The first recognition mark detection step is a step of detecting a recognition mark through a deep learning model trained to detect a recognition mark in a PCB image (S1040). Recognition marks are detected in PCB images through a deep learning model trained to detect objects in images. The detection algorithm of the deep learning model for detecting the object used at this time is not limited. For example, the detection algorithm may be a You Only Look Once (YOLO) algorithm. Conceptually, YOLO is an algorithm that divides an image into grids of the same size, calculates the confidence level that reflects accuracy when recognizing objects within the grid, and recognizes objects based on the confidence level. Objects can be quickly recognized by removing unnecessary grids. As another example, the detection algorithm may be a single shot detector (SSD) algorithm. The SSD calculates a feature map by executing CNN once on the input image. The SSD runs a CNN to predict the bounding box and object classification probabilities, and predicts the bounding box after the CNN. As the detection algorithm, various algorithms such as RCNN can be applied in addition to YOLO and SSD, which have been briefly described.
관심영역 추출 단계는 딥러닝 모델이 검출한 인식마크를 포함하는 경계 상자에 미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하는 단계이다(S1060). 딥러닝 모델을 사용하여 인식마크를 검출하더라도, 검출된 위치는 2-3 픽셀 크기의 오차가 발생할 수 있다. 위치 오차로 인해 ROI 이미지에서 인식마크의 일부분이 잘리는 것을 방지하기 위하여 발생할 수 있는 오차보다 크게 마진을 설정하여 검출된 인식마크 주변으로 이 설정된 마진을 추가하여 영상을 추출한다.The step of extracting the region of interest is a step of extracting a region of interest (ROI) image including the recognition mark by adding a preset margin to the bounding box including the recognition mark detected by the deep learning model (S1060). Even if a recognition mark is detected using a deep learning model, an error of 2-3 pixels may occur in the detected position. In order to prevent part of the recognition mark from being cut off in the ROI image due to a positional error, a margin larger than a possible error is set, and an image is extracted by adding the set margin around the detected recognition mark.
제2 인식마크 검출 단계는 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출하는 단계이다(S1080). 제2 인식마크 검출 단계는 추출된 관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출한다. 일 예로 사용되는 룰기반 탐색 알고리즘은 엣지(Edge) 검출 알고리즘으로 Canny 알고리즘일 수 있다. 다른 예로, HOG(Histogram of Oriented Gradients) 알고리즘 또는 Harris Corner Detection 알고리즘 또는 템플릿 매칭(Template matching) 알고리즘이 사용될 수 있다.The second recognition mark detection step is a step of detecting the position of the recognition mark by applying a rule-based search algorithm to the ROI image (S1080). In the second recognition mark detection step, a location of the recognition mark is detected by applying a rule-based search algorithm to the extracted ROI image. The rule-based search algorithm used as an example may be a Canny algorithm as an edge detection algorithm. As another example, a Histogram of Oriented Gradients (HOG) algorithm, a Harris Corner Detection algorithm, or a template matching algorithm may be used.
본 발명의 또 다른 실시 예에 따르면, PCB 인식마크 검출 장치(100)가 인식마크를 검출하는 방법은 영상 축소 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method of detecting the recognition mark by the PCB recognition
영상 축소 단계는 제1 인식마크 검출 단계 수행 전에 수행되며, 미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시킬 수 있다(S1020). 영상 축소 단계에서 영상을 축소하는 목적은 딥러닝 모델의 연산량을 줄이는 데 있다. 영상 축소 단계에서 축소한 PCB 영상이 딥러닝 모델의 입력 데이터가 된다. 따라서, 제1 인식마크 검출 단계 및 관심영역 추출 단계는 축소된 PCB 영상으로부터 인식마크를 검출하고, 인식마크를 포함하는 관심영역을 추출한다.The image reduction step is performed before the first identification mark detection step is performed, and the size of the input PCB image may be reduced at a preset ratio (S1020). The purpose of reducing the image in the image reduction step is to reduce the amount of computation of the deep learning model. The reduced PCB image in the image reduction step becomes the input data of the deep learning model. Therefore, in the first recognition mark detection step and the ROI extraction step, the recognition mark is detected from the reduced PCB image and the ROI including the recognition mark is extracted.
본 발명의 또 다른 실시 예에 따르면, PCB 인식마크 검출 장치(100)가 인식마크를 검출하는 방법은 위치 결정 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method of detecting the identification mark by the PCB identification
위치 결정 단계는 관심영역 추출 단계에서 추출한 관심영역의 위치정보와 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보를 기반으로 PCB 영상 내에서 인식마크의 위치를 산출하는 단계이다(S1100). 이때 위치 결정 단계에서는 축소된 PCB 영상이 아닌 원본 PCB 영상에 대하여 인식마크의 위치를 산출한다. The location determination step is a step of calculating the position of the recognition mark in the PCB image based on the location information of the region of interest extracted in the ROI extraction step and the recognition mark location information detected in the second recognition mark detection step (S1100). At this time, in the positioning step, the position of the recognition mark is calculated with respect to the original PCB image, not the reduced PCB image.
관심영역의 위치정보와, 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보는 대각선 상의 두 꼭지점의 좌표일 수 있다. 위치 결정 단계는 원본 영상에 대한 인식마크 위치를 산출하므로 관심영역의 위치정보와 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보를 각각 축소된 배율을 고려하여 보정한 후 원본 PCB 영상에서의 위치를 계산할 수 있고, 또 다른 방식으로 관심영역의 위치정보와 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보로부터 축소된 영상에서의 인식마크 위치를 산출한 후 축소된 배율을 고려하여 원본 PCB 영상에서의 위치를 계산할 수 있다.The location information of the region of interest and the recognition mark location information detected in the second recognition mark detection step may be coordinates of two vertexes on a diagonal line. Since the positioning step calculates the location of the recognition mark on the original image, the location information of the region of interest and the location information of the recognition mark detected in the second recognition mark detection step are corrected in consideration of the reduced magnification, respectively, and then the position in the original PCB image. In another way, after calculating the location information of the region of interest and the recognition mark location information detected in the second recognition mark detection step, the location of the recognition mark in the reduced image is calculated, and then the original PCB image is taken into account with the reduced magnification. position can be calculated.
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.In the above, the present invention has been described through embodiments with reference to the accompanying drawings, but is not limited thereto, and should be interpreted to cover various modifications that can be obviously derived by those skilled in the art. The claims are intended to cover such variations.
100 : PCB 인식마크 검출 장치
110 : 영상 입력부
120 : 영상 축소부
130 : 관심영역 추출부
140 : 룰기반 검출부
150 : 위치 결정부100: PCB recognition mark detection device
110: video input unit
120: image reduction unit
130: region of interest extraction unit
140: rule-based detection unit
150: positioning unit
Claims (6)
카메라가 촬영한 PCB 영상을 입력받는 영상 입력부;
미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시키는 영상 축소부;
축소된 PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하고, 미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하는 관심영역 추출부;
관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출하는 룰기반 검출부; 및
관심영역 추출부가 검출한 인식마크를 포함하는 관심영역의 위치정보와 룰기반 검출부가 검출한 인식마크 위치정보를 기반으로 원본 PCB 영상 내에서 인식마크의 위치를 산출하는 위치 결정부;
를 포함하는 PCB 인식마크 검출 장치.
In the device for detecting a fiducial mark on a printed circuit board (PCB),
An image input unit for receiving a PCB image captured by a camera;
An image reduction unit for reducing the size of the input PCB image at a preset ratio;
a region of interest extractor for detecting a recognition mark through a deep learning model trained to detect a recognition mark in a reduced PCB image and extracting a region of interest (ROI) image including the recognition mark by adding a preset margin;
a rule-based detection unit for detecting a location of a recognition mark by applying a rule-based search algorithm to an image of a region of interest; and
a location determination unit that calculates a position of a recognition mark within an original PCB image based on location information of the region of interest including the recognition mark detected by the region of interest extractor and location information of the recognition mark detected by the rule-based detection unit;
PCB identification mark detection device comprising a.
카메라가 촬영한 PCB 영상을 입력받는 영상입력 단계;
미리 설정된 비율로 입력된 PCB 영상의 크기를 축소시키는 영상 축소 단계;
축소된 PCB 영상에서 인식마크를 검출하도록 학습된 딥러닝 모델을 통해 인식마크를 검출하는 제1 인식마크 검출 단계;
미리 설정된 마진을 추가하여 인식마크를 포함하는 관심영역(ROI) 이미지를 추출하는 관심영역 추출 단계;
관심영역 이미지에 대하여 룰기반 탐색 알고리즘을 적용하여 인식마크 위치를 검출하는 제2 인식마크 검출 단계; 및
관심영역 추출 단계에서 추출한 관심영역의 위치정보와 제2 인식마크 검출 단계에서 검출한 인식마크 위치정보를 기반으로 원본 PCB 영상 내에서 인식마크의 위치를 산출하는 위치 결정 단계;
를 포함하는 PCB 인식마크 검출 방법.A method for detecting a recognition mark by a PCB recognition mark detection device,
An image input step of receiving a PCB image captured by a camera;
An image reduction step of reducing the size of the input PCB image at a preset ratio;
A first recognition mark detection step of detecting a recognition mark through a deep learning model learned to detect a recognition mark in a reduced PCB image;
a region of interest extraction step of extracting a region of interest (ROI) image including a recognition mark by adding a preset margin;
a second recognition mark detection step of detecting a location of a recognition mark by applying a rule-based search algorithm to the image of the region of interest; and
a location determination step of calculating a location of a recognition mark within the original PCB image based on the location information of the region of interest extracted in the ROI extraction step and the recognition mark location information detected in the second recognition mark detection step;
PCB identification mark detection method comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200119450A KR102471124B1 (en) | 2020-09-16 | 2020-09-16 | System and method for detecting fiducial mark on the pcb |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200119450A KR102471124B1 (en) | 2020-09-16 | 2020-09-16 | System and method for detecting fiducial mark on the pcb |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220036803A KR20220036803A (en) | 2022-03-23 |
| KR102471124B1 true KR102471124B1 (en) | 2022-11-25 |
Family
ID=80963767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200119450A KR102471124B1 (en) | 2020-09-16 | 2020-09-16 | System and method for detecting fiducial mark on the pcb |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102471124B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935076A (en) * | 2022-03-31 | 2023-10-24 | 上海微电子装备（集团）股份有限公司 | Detection positioning method and system for silicon wafer alignment mark, electronic equipment and medium |
| KR102560241B1 (en) * | 2022-11-14 | 2023-07-28 | (주)오로스테크놀로지 | System for centering position of overlay key based on deep learning and method thereof |
| KR102541500B1 (en) * | 2022-11-14 | 2023-06-13 | (주)오로스테크놀로지 | System for centering position of overlay key based on correlation and method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5637910B2 (en) * | 2011-03-14 | 2014-12-10 | 富士機械製造株式会社 | Electronic component mounting machine |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2985045B2 (en) * | 1994-11-30 | 1999-11-29 | セイコープレシジョン株式会社 | Drilling method and X-ray drilling device using X-ray |
| KR102177329B1 (en) | 2015-05-22 | 2020-11-10 | 한화정밀기계 주식회사 | Method for sensing of fiducial Mark |
| KR20170050448A (en) * | 2015-10-30 | 2017-05-11 | 삼성에스디에스 주식회사 | Method and apparatus for detecting object on image |
| KR102483642B1 (en) * | 2016-08-23 | 2023-01-02 | 삼성전자주식회사 | Method and apparatus for liveness test |
-
2020
- 2020-09-16 KR KR1020200119450A patent/KR102471124B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5637910B2 (en) * | 2011-03-14 | 2014-12-10 | 富士機械製造株式会社 | Electronic component mounting machine |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220036803A (en) | 2022-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102471124B1 (en) | System and method for detecting fiducial mark on the pcb | |
| US8781221B2 (en) | Hand gesture recognition system | |
| US20200074646A1 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
| US9076056B2 (en) | Text detection in natural images | |
| CN109784250B (en) | Positioning method and device of automatic guide trolley | |
| CN109740633B (en) | Image similarity calculation method and device and storage medium | |
| CN109919002B (en) | Yellow stop line identification method and device, computer equipment and storage medium | |
| US20060245650A1 (en) | Precise grayscale character segmentation apparatus and method | |
| US8285056B2 (en) | Method and apparatus for computing degree of matching | |
| CN108369739B (en) | Object detection device and object detection method | |
| US11244194B2 (en) | System and method for object recognition using local binarization | |
| CN110288040B (en) | Image similarity judging method and device based on topology verification | |
| CN115375917A (en) | Target edge feature extraction method, device, terminal and storage medium | |
| CN116542998B (en) | Contour detection method, device, equipment and medium for photoetching film inductance | |
| CN117314861A (en) | Method for detecting, identifying and aligning silicon wafer overlay pattern | |
| CN109785367B (en) | Method and device for filtering foreign points in three-dimensional model tracking | |
| JP2010091525A (en) | Pattern matching method of electronic component | |
| US20210182588A1 (en) | Object detection method for static scene and associated electronic device | |
| KR102239564B1 (en) | System and method for object recognition different by administrative area | |
| CN117197422B (en) | Identification code positioning method, electronic equipment and storage medium | |
| KR102186751B1 (en) | Apparatus and method for improving multiple recognition and recognition rate of classification using object detection | |
| KR101437286B1 (en) | Method and apparatus for identifying digital contents | |
| KR20200023712A (en) | Apparatus and Method for Classifying Electronic Components | |
| JP7382479B1 (en) | Image processing device, program, and image processing method | |
| KR102480973B1 (en) | Method, apparauts and system for determining existence of object and computer program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |