KR101750883B1

KR101750883B1 - Method for 3D Shape Measuring OF Vision Inspection System

Info

Publication number: KR101750883B1
Application number: KR1020160073755A
Authority: KR
Inventors: 김성현
Original assignee: 주식회사 이오비스
Priority date: 2016-06-14
Filing date: 2016-06-14
Publication date: 2017-06-27

Abstract

본 발명은 비전 검사 시스템의 3차원 형상 측정 방법에 관한 것으로서, 적어도 하나 이상의 프로젝터에서 측정 대상물에 패턴 조명을 조사한 후 반사되는 패턴 이미지를 이용하여 상기 측정 대상물의 3차원 형상을 측정하는 비전 검사 시스템에 의해 수행되는 형상 측정 방법에 있어서, 상기 패턴 조명이 서로 다른 파장의 패턴을 사용하는 경우에, 제1 파장의 위상 정보를 이용하여 제2 파장의 위상에 대한 모아레 차수를 결정하고, 상기 측정 대상물에 실장된 각 부품에 대한 모아레 차수를 결정하는 단계; 상기 측정 대상물에 대한 모아레 차수가 결정된 이후에, 상기 제2 파장의 조명 패턴을 사용하여 상기 측정 대상물에 대한 복수의 패턴 이미지를 획득하는 단계; 및 상기 복수의 패턴 이미지를 이용하여 측정 대상물의 실측 데이터를 산출하고, 상기 실측 데이터에 상기 모아레 차수를 반영하여 실제 측정 대상물의 높이 데이터를 산출하는 단계를 포함한다. 따라서, 본 발명은 측정 대상물에 대한 모아레 차수를 미리 결정한 후 3차원 형상 측정시 작은 파장의 패턴 조명만을 이용하여 부품의 높이 데이터를 측정한 후 측정된 높이 데이터에 모아레 차수를 반영하여 측정 대상물의 실제 높이 데이터를 산출하기 때문에 2π 모호성을 해결하면서 기존의 3차원 형상 측정 방식에 비해 절반 정도로 측정 이미지의 수를 감소시킬 수 있으며, 그만큼 검사 시간도 감축될 수 있다. The present invention relates to a vision inspection system for measuring a three-dimensional shape of a measurement object using a pattern image reflected after irradiating pattern light on a measurement object in at least one projector, Wherein a moire degree for a phase of a second wavelength is determined using phase information of a first wavelength when the pattern illumination uses a pattern of a different wavelength, Determining a moire degree for each mounted component; Obtaining a plurality of pattern images for the measurement object using the illumination pattern of the second wavelength after the moire degree for the measurement object is determined; And calculating the actual data of the measurement object using the plurality of pattern images and calculating the height data of the actual measurement object by reflecting the moire degree to the actual data. Therefore, according to the present invention, after determining the moire degree for the measurement object, the height data of the part is measured using only the pattern illumination of a small wavelength in the three-dimensional shape measurement, and then the moiré degree is reflected in the measured height data, Since the height data is calculated, the number of measurement images can be reduced to about half that of the conventional three-dimensional shape measuring method while solving the ambiguity of 2?, And the inspection time can be reduced accordingly.

Description

TECHNICAL FIELD [0001] The present invention relates to a method of measuring a three-dimensional shape of a vision inspection system,

본 발명은 비전 검사 시스템의 3차원 형상 측정 방법에 관한 것으로, 보다 상세하게는 측정 대상물의 3차원 형상 측정에 필요한 측정 이미지의 수를 감소시켜 검사 시간을 감소시킬 수 있는 비전 검사 시스템의 3차원 형상 측정 방법에 관한 것이다.The present invention relates to a three-dimensional shape measurement method of a vision inspection system, and more particularly, to a three-dimensional shape measurement method of a vision inspection system capable of reducing the number of measurement images required for measuring a three- And a measurement method.

통상적인 부품의 검사를 위한 3차원 비전 검사 기술은 컨베이어를 통해 측정 대상물이 수평 이송되면 위치조절장치에서 초기 위치를 조절하고, 조절이 완료된 후 격자무늬 구조를 갖는 조명이 측정 대상물을 조사하면 카메라가 조사된 격자무늬 광의 형태를 촬영하여 높이를 검사한다. The 3D vision inspection technology for the inspection of a typical part adjusts the initial position in the position adjusting device when the measurement object is horizontally conveyed through the conveyor. When the illumination with the grid pattern structure is checked after the adjustment is completed, The shape of the irradiated grating light is photographed to check the height.

이러한 3차원 비전 검사 기술은 레이저를 이용한 광삼각법, 스테레오를 이용하는 측정 방법, 모아레 원리를 이용하는 측정 방법 등이 개발 사용되고 있다. 이러한 측정 방법은 광학을 이용하기 때문에 빠르고 정확한 3차원 형상을 얻어낼 수 있다. These three-dimensional vision inspection techniques are developed and used by laser triangulation, stereo measurement, and moiré principle. Since this measurement method uses optical, it is possible to obtain a fast and accurate three-dimensional shape.

3차원 비전 검사 기술은 모두 2차원적 형상을 측정하여 삼각함수를 이용함으로써 3차원적 높이를 계산하거나 위상천이(Phase-shifting)를 통해 계산하는 방식이 적용된다.All three-dimensional vision inspection techniques use a trigonometric function to calculate a three-dimensional height or phase-shifting by measuring a two-dimensional shape.

위상 천이 방법을 이용한 비전 검사 기술은 인접한 두 측정점의 높이차가 광원 등가파장의 정수배 정도 이상일 경우에 측정 오차가 발생하는 2π 모호성이라는 문제가 발생하고, 격자의 줄무늬 피치에 따라 검사대상물의 측정범위가 제한되는 문제점이 있다.In the vision inspection technique using the phase shift method, there arises a problem of 2? Ambiguity in which a measurement error occurs when the height difference between two adjacent measurement points is equal to or greater than an integral multiple of the equivalent wavelength of the light source, and the measurement range of the object to be inspected is limited according to the stripe pitch .

종래에는 측정하고자 하는 지점의 위상변위가 주변 지점에 비해 2π 이상으로 차이가 나는 경우, 측정지점의 높이값에 2π를 보정하고서 이를 결과값에 반영하는 방식으로 2π 모호성의 문제점을 해결하고자 하였다. In the past, when the phase shift of the point to be measured deviates by more than 2? From the surrounding point, the problem of 2? Ambiguity is solved by correcting 2? To the height value of the measuring point and reflecting it to the resultant value.

하지만, 종래기술에 따른 위상 천이 방법을 이용하는 3차원 형상 측정방법은 2개의 측정 대상물들이 2π 이상으로 상호 떨어져 위치하는 경우, 그 측정 결과값이 2π 모호성에 의한 결과인지 아니면 2π 이상의 깊이를 갖는 측정 대상물인지를 구분하기가 어려워서, 부정확한 결과가 발생될 수 있는 문제점이 여전히 존재하였다. 즉, 2π 모호성을 가지고 있어 상대적인 3차원 정보를 얻을 수는 있지만, 정확한 3차원 정보를 얻는다는 것은 불가능하였다. However, in the three-dimensional shape measuring method using the phase shift method according to the related art, when two measurement objects are located apart from each other by 2? Or more, whether the measurement result is a result of 2? Ambiguity or a measurement object having a depth of 2? It is difficult to distinguish the recognition, and there still exists a problem that an inaccurate result may occur. That is, 2π ambiguity can be obtained to obtain relative three-dimensional information, but it is impossible to obtain accurate three-dimensional information.

이에, 2π 모호성을 해결하기 위한 다중파장을 이용한 3차원형상 측정장치 및 측정방법은 1/4 주기씩 격자를 위상 이동하면서 측정 대상물의 형상을 측정하기 때문에 1주기 동안 4회의 이미지를 촬영한다. 이때, 서로 다른 파장의 패턴 조명을 사용하기 때문에 큰 파장의 패턴 조명에서 4회의 이미지 촬영을 수행하고, 작은 파장의 패턴 조명에서 4회의 이미지를 촬영해야 하므로 일반적으로 8회의 이미지(최소 6장의 이미지)를 촬영해야 한다.Accordingly, in order to solve the ambiguity of 2?, The apparatus and method for measuring three-dimensional shape using multiple wavelengths take four images in one cycle because the shape of the measurement object is measured while shifting the phase of the grating every 1/4 cycle. In this case, since the pattern illumination of different wavelengths is used, four images are taken in pattern light of a large wavelength and four images are taken in a pattern light of a small wavelength, so that eight images (at least six images) .

종래의 다중 파장을 이용한 3차원 형상 측정 기술은 3차원 형상을 측정하기 위한 측정 이미지의 촬영횟수가 증가할수록 검사 시간도 길어질 수 밖에 없는 문제점이 있다. Conventionally, in the 3D shape measurement technique using multiple wavelengths, there is a problem that the inspection time becomes longer as the number of times of taking a measurement image for measuring a three-dimensional shape increases.

한국등록특허 제10-1190122호 " 다중파장을 이용한 3차원형상 측정장치 및 측정방법 "Korean Patent No. 10-1190122 entitled " Apparatus and method for measuring three-dimensional shape using multi-wavelength "

본 발명은 다중 파장을 갖는 패턴 조명을 이용하여 측정 대상물에 대한 3차원 형상을 측정할 때, 측정 대상물의 각 부품에 대한 모아레 차수를 미리 설정한 후 작은 파장의 패턴 조명만을 이용하여 3차원 형상 측정을 수행할 수 있기 때문에 기존의 3차원 형상 측정 방식에 비해 절반 정도로 측정 이미지의 수가 감소되고, 그만큼 검사 시간도 감축될 수 있는 비전 검사 시스템의 3차원 형상 측정 방법을 제공한다. The present invention is characterized in that when measuring a three-dimensional shape of a measurement object using pattern lights having multiple wavelengths, a moire degree for each component of the measurement object is set in advance, and then, It is possible to reduce the number of measurement images by about half compared with the conventional three-dimensional shape measurement method and to reduce the inspection time accordingly.

실시예들 중에서, 비전 검사 시스템의 3차원 형상 측정 방법은, 적어도 하나 이상의 프로젝터에서 측정 대상물에 패턴 조명을 조사한 후 반사되는 패턴 이미지를 이용하여 상기 측정 대상물의 3차원 형상을 측정하는 비전 검사 시스템에 의해 수행되는 형상 측정 방법에 있어서, 상기 패턴 조명이 서로 다른 파장의 패턴을 사용하는 경우에, 제1 파장의 위상 정보를 이용하여 제2 파장의 위상에 대한 모아레 차수를 결정하고, 상기 측정 대상물에 실장된 각 부품에 대한 모아레 차수를 결정하는 단계; 상기 측정 대상물에 대한 모아레 차수가 결정된 이후에, 상기 제2 파장의 조명 패턴을 사용하여 상기 측정 대상물에 대한 복수의 패턴 이미지를 획득하는 단계; 및 상기 복수의 패턴 이미지를 이용하여 측정 대상물의 실측 데이터를 산출하고, 상기 실측 데이터에 상기 모아레 차수를 반영하여 실제 측정 대상물의 높이 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.Among the embodiments, a method of measuring a three-dimensional shape of a vision inspection system is a vision inspection system for measuring a three-dimensional shape of the measurement object using a pattern image reflected after irradiating a pattern illumination on an object to be measured by at least one projector Wherein a moire degree for a phase of a second wavelength is determined using phase information of a first wavelength when the pattern illumination uses a pattern of a different wavelength, Determining a moire degree for each mounted component; Obtaining a plurality of pattern images for the measurement object using the illumination pattern of the second wavelength after the moire degree for the measurement object is determined; And calculating actual data of the measurement object using the plurality of pattern images and calculating height data of the actual measurement object by reflecting the moire degree to the actual data.

상기 패턴 조명이 서로 다른 파장의 패턴을 사용하는 경우에, 제1 파장의 위상 정보를 이용하여 제2 파장의 위상에 대한 모아레 차수를 결정하고, 상기 측정 대상물에 실장된 각 부품에 대한 모아레 차수를 결정하는 단계는, 상기 측정 대상물에 대한 3차원 형상을 측정하기 이전에, 상기 측정 대상물에 대한 캐드 데이터에서 높이 데이터를 추출하여 부품별로 모아레 차수를 결정하는 것을 특징으로 한다. Wherein when the pattern illumination uses a pattern of a different wavelength, a moire degree with respect to a phase of the second wavelength is determined using phase information of the first wavelength, and a moire degree with respect to each component mounted on the measurement object is The determining step may include the step of extracting height data from the CAD data for the measurement object and determining a moire degree for each part before measuring the three-dimensional shape of the measurement object.

상기 패턴 조명이 서로 다른 파장의 패턴을 사용하는 경우에, 제1 파장의 위상 정보를 이용하여 제2 파장의 위상에 대한 모아레 차수를 결정하고, 상기 측정 대상물에 실장된 각 부품에 대한 모아레 차수를 결정하는 단계는, 상기 패턴 조명이 제1 파장(λ1)과 제2 파장(λ2, λ2 < λ1)의 패턴을 사용하는 경우에, 상기 제1 파장의 조명 패턴과 제2 파장의 조명 패턴을 상기 측정 대상물에 각각 조사한 후 반사되는 제1 패턴 이미지와 제2 패턴 이미지를 각각 획득하고, 상기 획득한 제1 패턴 이미지와 제2 패턴 이미지에서 제1 위상 정보와 제2 위상 정보를 각각 산출하며, 상기 제1 위상 정보를 이용하여 제2 위상 정보에 대한 모아레 차수를 결정하는 것을 특징으로 한다. Wherein when the pattern illumination uses a pattern of a different wavelength, a moire degree with respect to a phase of the second wavelength is determined using phase information of the first wavelength, and a moire degree with respect to each component mounted on the measurement object is Wherein the step of determining the illumination pattern of the first wavelength and the illumination pattern of the second wavelength is performed by using the pattern of the first wavelength lambda 1 and the pattern of the second wavelength lambda 2, Acquiring a first pattern image and a second pattern image to be reflected after irradiating the measurement object, calculating the first phase information and the second phase information in the acquired first pattern image and the second pattern image, respectively, And the moire degree for the second phase information is determined using the first phase information.

상기 복수의 패턴 이미지에서 각 부품에 대한 그림자 영역을 추출하여 그림자 크기를 산출하고, 상기 산출된 그림자 크기를 이용하여 해당 부품의 모아레 차수를 추정한 후 상기 추정된 모아레 차수와 부품에 적용된 모아레 차수의 일치 여부를 확인함으로써 부품의 측정 오류를 판단하는 단계를 더 포함하는 것을 특징으로 한다. Calculating a shadow size by extracting a shadow region for each component in the plurality of pattern images, estimating a moire degree of the corresponding component using the calculated shadow size, calculating a moire degree of the component based on the estimated moire degree, And judging the measurement error of the part by confirming whether it is matched.

상기 복수의 패턴 이미지를 이용하여 측정 대상물의 실측 데이터를 산출하고, 상기 실측 데이터에 상기 모아레 차수를 반영하여 실제 측정 대상물의 높이 데이터를 산출하는 단계는, 상기 실측 데이터가 파이(π) 이상인 경우에, 상기 실측 데이터에 상기 모아레 차수(N=n, n≥0)를 이용한 기준 데이터(2π×n)를 합산하여 실제 측정 대상물의 높이 데이터를 산출하고, 상기 실측 데이터가 파이 미만인 경우에, 상기 실측 데이터에 모아레 차수(N=n+1)를 이용한 기준 데이터(2π×(n+1))를 합산하여 실제 측정 대상물의 높이 데이터를 산출하는 것을 특징으로 한다. Calculating the actual data of the measurement object using the plurality of pattern images and calculating the height data of the actual measurement object by reflecting the moire degree to the actual data, when the actual data is pi (pi) or more (N = n, 0) to the measured data to calculate height data of the actual measured object, and when the measured data is less than pi, the measured data And the height data of the actual measurement object is calculated by adding the reference data (2 pi x (n + 1)) using the moire degree (N = n + 1) to the data.

본 발명의 비전 검사 시스템의 3차원 형상 측정 방법은, 측정 대상물에 대한 모아레 차수를 미리 결정한 후 3차원 형상 측정시 작은 파장의 패턴 조명만을 이용하여 부품의 높이 데이터를 측정한 후 측정된 높이 데이터에 모아레 차수를 반영하여 측정 대상물의 실제 높이 데이터를 산출하기 때문에 2π 모호성을 해결하면서 기존의 3차원 형상 측정 방식에 비해 절반 정도로 측정 이미지의 수를 감소시킬 수 있으며, 그만큼 검사 시간도 감축될 수 있는 효과가 있다. A three-dimensional shape measuring method of the vision inspection system of the present invention is characterized in that after determining the moire degree for the measurement object, the height data of the part is measured using only the pattern illumination of a small wavelength in the three- Since the actual height data of the measurement object is calculated by reflecting the moire degree, the number of measurement images can be reduced to about half of the conventional three-dimensional shape measurement method while resolving the 2? Ambiguity, and the inspection time can be reduced .

도 1은 본 발명의 일 실시예에 따른 비전 검사 시스템의 구성을 설명하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비전 검사 시스템의 3차원 형상 측정 방법을 설명하는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 그림자 영역 측정 과정을 설명하는 도면이다.1 is a block diagram illustrating a configuration of a vision inspection system according to an embodiment of the present invention.
2 is a flowchart illustrating a method of measuring a three-dimensional shape of a vision inspection system according to an exemplary embodiment of the present invention.
FIG. 3 is a diagram illustrating a shadow region measuring process according to an embodiment of the present invention. Referring to FIG.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present invention should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the singular " include "or" have "are to be construed as including a stated feature, number, step, operation, component, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present invention.

도 1은 본 발명의 일 실시예에 따른 비전 검사 시스템의 구성을 설명하는 블록도이다.1 is a block diagram illustrating a configuration of a vision inspection system according to an embodiment of the present invention.

도 1을 참고하면, 비전 검사 시스템(100)은, 스테이지(110), 복수의 조명(도시되지 않음), 조명 구동부(120), 수직 카메라(130), 복수의 프로젝터(140), 프로젝터 구동부(145), 그래버(150), 영상 처리부(160) 및 인터페이스부(170)를 포함한다.1, the vision inspection system 100 includes a stage 110, a plurality of lights (not shown), an illumination driving unit 120, a vertical camera 130, a plurality of projectors 140, a projector driving unit 145, a grabber 150, an image processing unit 160, and an interface unit 170.

스테이지(110)는 측정 대상물을 지지하고, 영상 처리부(160)의 제어에 따라 이동하면서 측정 대상물을 측정 위치로 이송시킨다. The stage 110 supports the object to be measured, and moves the object to be measured to the measurement position while moving under the control of the image processor 160.

조명은 측정 대상물에 컬러조명 또는 백색 조명을 위한 것으로서, LED 또는 SLM(Spatial Light Modulator) 등의 다양한 개수와 형태의 조명을 포함할 수 있다. The illumination may include various numbers and types of illumination, such as an LED or a spatial light modulator (SLM), for color illumination or white illumination of a measurement object.

조명 구동부(120)는 조명 제어 신호에 따라 조명 또는 복수의 프로젝터(140)의 조명을 일정 시간 점등시키거나, 인터페이스부(170)를 통해 영상 처리부(160)에서 제공되는 각 조명의 점등 밝기 값에 따라 각 조명의 점등 밝기를 조절한다. The illumination driving unit 120 may control the illumination of the plurality of projectors 140 or the illumination of the plurality of projectors 140 for a predetermined period of time according to the illumination control signal or may change the illumination brightness value of each illumination provided from the image processing unit 160 through the interface unit 170 Adjust the brightness of each lighting accordingly.

수직 카메라(130)는 스테이지(110)의 상부에 설치되어 측정 대상물의 이미지를 촬영하여 영상 신호를 출력한다. 이러한 수직 카메라(130)는 컬러 조명을 점등한 상태에서의 2차원 이미지를 획득하기 위한 카메라이며, 촬영된 컬러 이미지를 이용하여 2차원 검사를 수행한다. 여기서, 컬러 이미지는 3차원 데이터에 대한 텍스쳐링을 통해 3차원 이미지를 형상화하는데 사용된다. The vertical camera 130 is installed on the stage 110 to capture an image of the measurement object and output a video signal. The vertical camera 130 is a camera for acquiring a two-dimensional image in a state in which the color illumination is on, and performs a two-dimensional inspection using the captured color image. Here, a color image is used to shape a three-dimensional image through texturing of three-dimensional data.

또한, 수직 카메라(130)는 프로젝터(140)에 의해 수직 패턴 또는 수평 패턴의 패턴 조명이 조사되는 상태에서 패턴 이미지를 획득하고, 획득한 패턴 이미지를 이용하여 측정 대상물의 3차원 형상을 산출하는 3차원 검사를 수행한다. The vertical camera 130 acquires a pattern image in a state in which a pattern illumination of a vertical pattern or a horizontal pattern is irradiated by the projector 140, and calculates a three-dimensional shape of the measurement object using the acquired pattern image 3 Perform dimension checking.

프로젝터(140)는 디지털 방식으로 비전 검사의 목적에 맞는 패턴 조명에 대한 조명 패턴 데이터를 로딩하여 측정 대상물에 특정한 패턴 조명을 투사할 수 있고, 영상 처리부(160)를 통해 소프트웨어적으로 패턴 주기 및 방향을 설정할 수 있다. 프로젝터(140)는 수직 패턴 또는 수평 패턴을 측정 대상물의 표면에 조사하는 3D 광학계로서 패턴의 주기는 영상 처리부(160)에서 제공받은 패턴 데이터에 따라 결정될 수 있다. The projector 140 can project pattern-specific illumination to the measurement object by loading the illumination pattern data for the pattern illumination in accordance with the purpose of the digital vision inspection. The projector 140 can project the pattern illumination to the measurement object through the image processing unit 160, Can be set. The projector 140 may be a 3D optical system for irradiating a vertical pattern or a horizontal pattern to the surface of the object to be measured. The period of the pattern may be determined according to the pattern data provided by the image processing unit 160.

이러한 프로젝터(140)는 수직 카메라(130)의 주위에 상호 대향되게 복수 개가 배치된다. 예를 들어, 도 3에 도시된 바와 같이, 제1 프로젝터(141) 및 제3 프로젝터(133)는 수직카메라(130)의 좌우측에 서로 대향되도록 설치되고, 제2 프로젝터(142) 및 제4 프로젝터(144)는 수직 카메라(130)의 상하측에 서로 대향되도록 설치된다. 제1 내지 제4 프로젝터(141, 142, 143, 144)는 수직 카메라(130)를 중심으로 동일한 동심원 상에 배치될 수 있다.A plurality of such projectors 140 are disposed around the vertical camera 130 so as to face each other. 3, the first projector 141 and the third projector 133 are provided so as to oppose each other on the right and left sides of the vertical camera 130, and the second projector 142 and the fourth projector 133, And the vertical camera 130 are installed so as to face each other on the upper and lower sides of the vertical camera 130. The first to fourth projectors 141, 142, 143, and 144 may be disposed on the same concentric circle around the vertical camera 130.

프로젝터 구동부(145)는 영상 처리부(160)의 트리거 신호가 전송되면 조명 제어 신호에 따라 프로젝터(140)를 동작시키고, 조명 제어 신호와 동기화하여 수직 카메라(130)가 이미지를 촬상하기 위한 이미지 획득 신호를 발생하여 그래버(150)에 전송한다. 또한, 프로젝터 구동부(145)는 디지털 방식으로 비전 검사의 목적에 맞는 패턴에 대한 패턴 데이터를 로딩하여 저장하고 있다.The projector driving unit 145 operates the projector 140 in accordance with the illumination control signal when the trigger signal of the image processing unit 160 is transmitted and outputs the image acquisition signal And transmits it to the grabber 150. In addition, the projector driving unit 145 loads and stores pattern data for a pattern that meets the purpose of the vision inspection in a digital manner.

그래버(150)는 이미지 획득 신호에 따라 수직 카메라(130)의 촬영을 지시하고, 수직 카메라(130)의 연결 라인을 통해 전송되는 패턴 이미지에 대한 영상 신호를 디지털 신호로 변환하여 디지털 영상 신호를 영상 처리부(160)로 전송한다.The grabber 150 instructs the photographing of the vertical camera 130 according to the image acquisition signal and converts the image signal of the pattern image transmitted through the connection line of the vertical camera 130 into a digital signal, To the processing unit 160.

영상 처리부(160)는 그래버(150)에서 전송되는 디지털 영상 신호를 영상 처리하여 출력한다. 또한, 영상 처리부(160)는 스테이지(110), 조명, 조명 구동부(120), 수직 카메라(130), 프로젝터(140) 및 그래버(150)의 동작을 전체적으로 제어한다. The image processor 160 processes the digital image signal transmitted from the grabber 150 and outputs the digital image signal. The image processing unit 160 controls the operation of the stage 110, the illumination, the illumination driving unit 120, the vertical camera 130, the projector 140, and the grabber 150 as a whole.

그리고, 영상 처리부(160)는 수직 카메라(130)에서 촬영된 영상 신호들을 이용하여 측정 대상물의 측정 이미지 또는 측정 결과 데이터를 디스플레이 수단(도시되지 않음)으로 출력할 수 있고, 디스플레이 수단에 출력된 측정 이미지 또는 측정 결과 데이터를 통해 측정 대상물의 형상을 확인하거나 불량 여부를 판단할 수 있다. The image processing unit 160 may output the measurement image or the measurement result data of the measurement object to the display unit (not shown) using the image signals captured by the vertical camera 130, It is possible to check the shape of the object to be measured or judge whether or not the object is defective through the image or the measurement result data.

여기서, 영상 처리부(160)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 PC 등의 네트워크 접속이 가능한 통신 기기일 수 있으며, 3차원 형상 측정 장치에 관련한 알고리즘을 내장하여 영상 처리 및 비전 검사 등을 수행할 수 있는 단말로서, 그 종류에 제한이 없다. Here, the image processing unit 160 may be a communication device capable of connecting to the network such as a desktop computer, a laptop computer, a smart phone, a tablet PC, and the like. The image processing unit 160 may include image processing and vision inspection There is no limit to the type of terminal that can be used.

인터페이스부(170)는 영상 처리부(160)에서 발생되는 트리거 신호를 전송받아 프로젝터 구동부(145)에 전송한다. The interface unit 170 receives the trigger signal generated by the image processor 160 and transmits the trigger signal to the projector driver 145.

도 2는 본 발명의 일 실시예에 따른 비전 검사 시스템의 3차원 형상 측정 방법을 설명하는 순서도이고, 도 3은 본 발명의 일 실시예에 따른 그림자 영역 측정 과정을 설명하는 도면이다.FIG. 2 is a flowchart illustrating a method of measuring a three-dimensional shape of a vision inspection system according to an exemplary embodiment of the present invention. FIG. 3 is a diagram illustrating a shadow area measurement process according to an exemplary embodiment of the present invention.

도 2 및 도 3을 참고하면, 비전 검사 시스템의 3차원 형상 측정 방법은, 조명 패턴이 다중 파장을 사용하는 경우에 제1 파장의 위상 정보를 이용하여 제2 파장의 위상에 대한 모아레 차수를 결정하고, 측정 대상물에 실장된 각 부품에 대한 모아레 차수를 결정한다.(S1) 이때, 조명 패턴은 큰 파장(λ1)과 작은 파장(λ2)의 패턴을 사용할 수 있고, 근소한 등가 파장(λ11, λ12)을 갖는 복수의 패턴을 사용할 수도 있다.Referring to FIGS. 2 and 3, when the illumination pattern uses multiple wavelengths, the 3D shape measurement method of the vision inspection system determines the moire degree with respect to the phase of the second wavelength using the phase information of the first wavelength (S1) At this time, the illumination pattern can use a pattern of a large wavelength lambda 1 and a small wavelength lambda 2, and can obtain a pattern having a small equivalent wavelength lambda 11, lambda 12 ) May be used.

비전 검사 시스템은 초기 티칭 과정에서 캐드 데이터를 이용하여 측정 대상물에 대한 부품의 높이 데이터를 추출하여 부품별로 모아레 차수를 결정할 수 있다. The vision inspection system can determine the degree of moiré for each part by extracting the height data of the part for the measurement object using the CAD data in the initial teaching process.

만일, 캐드 데이터가 없는 경우에, 비전 시스템은 조명 패턴이 제1 파장(λ1)과 제2 파장(λ2)의 패턴을 사용한다면 제1 파장의 조명 패턴과 제2 파장의 조명 패턴을 측정 대상물에 조사한 후 반사되는 제1 패턴 이미지와 제2 패턴 이미지를 각각 획득하고, 제1 패턴 이미지와 제2 패턴 이미지에서 제1 위상 정보와 제2 위상 정보를 각각 산출하며, 제1 위상 정보를 이용하여 제2 위상 정보에 대한 모아레 차수를 결정한다. If there is no CAD data, the vision system uses the illumination pattern of the first wavelength and the illumination pattern of the second wavelength, if the illumination pattern uses the pattern of the first wavelength lambda 1 and the second wavelength lambda 2, A first pattern image and a second pattern image that are reflected after irradiation are obtained, respectively, and first phase information and second phase information are calculated in a first pattern image and a second pattern image, respectively, Determine the moire degree for 2-phase information.

비전 시스템은 조명 패턴이 근소한 등가 파장(λ11, λ12)을 갖는 복수의 패턴을 사용하는 경우에, 제1 등가파장(λ11)과 제2 등가파장(λ12, λ12 > λ11)에 의한 맥놀이 현상에 따라 맥놀이된 등가파장(λ13, λ13 > λ12)이 발생하므로 맥놀이된 등가파장(λ13)에 대한 제3 위상 정보를 산출하며, 제3 위상 정보를 이용하여 제1 등가파장(λ11)에 대한 제1 위상 정보의 모아레 차수를 결정한다. The vision system uses the first equivalent wavelength lambda 11 and the second equivalent wavelength lambda 12 and lambda 12 > lambda 11 in a case where the illumination pattern uses a plurality of patterns having the slightly equivalent wavelength lambda 11 and lambda 12 The third phase information on the beatted equivalent wavelength lambda 13 is calculated because the beatted equivalent wavelength (lambda 13, lambda 13 > lambda 12) is generated, and the third phase information on the first phase lambda 11 Determines the moire degree of information.

측정 대상물이 기판 위에 다수의 부품이 실장된 PCB인 경우에, 부품의 종류에 따라 사이즈와 높이가 서로 상이하므로 부품의 종류에 따라 부품에 적용되는 모아레 차수도 달라지게 된다. In the case where the object to be measured is a PCB on which a plurality of parts are mounted on a substrate, since the size and height are different according to the types of parts, the number of moiré motors applied to the parts depends on the type of parts.

이와 같이 측정 대상물에 대한 모아레 차수가 결정된 이후에, 비전 검사 시스템은 3차원 형상 측정시 작은 파장(λ2 또는 λ11)의 패턴 조명만을 이용하여 측정 대상물에 대한 4장의 패턴 이미지를 획득한다.(S2) 비전 검사 시스템은 4장의 패턴 이미지에서 측정 대상물에 대한 위상 정보를 산출하며, 산출된 위상 정보를 이용하여 위상-높이 연산식에 의해 각 부품에 대한 실측 데이터를 산출한다.(S3 ~ S4)After the moire degree for the measurement object is determined in this way, the vision inspection system acquires four pattern images for the measurement object using only the pattern illumination of the small wavelength (? 2 or? 11) The vision inspection system calculates the phase information for the measurement object in the four pattern images and calculates the actual measurement data for each part by using the phase-height calculation formula using the calculated phase information (S3 to S4)

비전 검사 시스템은 실측 데이터에 모아레 차수(N)를 반영하여 실제 측정 대상물에 대한 높이 데이터를 산출한다.(S5) 이때, 실제 측정 대상물에 대한 높이 데이터는 실측 데이터에 모아레 차수를 이용한 기준 데이터(2π×N)를 합산한 값이 된다. The vision inspection system calculates the height data for the actual measurement object by reflecting the Moire degree (N) to the actual measurement data. (S5) At this time, the height data for the actual measurement object is the reference data 2π × N).

측정 대상물에 실장된 부품 중 부품의 실제 높이 데이터가 모드값의 정수배에 해당하는 경우에 비전 검사 시스템은 부품 1의 실측 데이터가 파이(π) 이상인지를 확인하여 부품 1에 적용할 모아레 차수를 결정한다. When the actual height data of the part mounted on the measurement object corresponds to an integer multiple of the mode value, the vision inspection system determines whether the measured data of the part 1 is equal to or larger than pi (pi) and determines the moire degree to be applied to the part 1 do.

즉, 비전 검사 시스템은 부품 1의 실측 데이터가 파이(π) 이상인 경우에, 실측 데이터에 모아레 차수(N=n, n≥0)를 이용한 기준 데이터(2π×n)를 합산하여 실제 측정 대상물의 높이 데이터를 산출하고, 실측 데이터가 파이 미만인 경우에 실측 데이터에 모아레 차수(N=n+1)를 이용한 기준 데이터(2π×(n+1))을 합산하여 실제 측정 대상물의 높이 데이터를 산출한다. That is, the vision inspection system adds the reference data (2? N) using the moire degree (N = n, n? 0) to the actual data when the actual data of the component 1 is pi Height data is calculated and the height data of the actually measured object is calculated by adding the reference data (2 pi x (n + 1)) using the moire degree (N = n + 1) to the measured data when the measured data is less than pi .

일례로 부품 1의 높이 데이터가 4π에 해당하고, 모아레 차수(N)는 n=1일 경우에, 작은 파장(λ2 또는 λ11)의 패턴 조명을 이용하여 측정한 측정 대상물의 실측 데이터가 2π이면 실측 데이터가 π보다 크므로 실제 측정 대상물의 높이 데이터는 2π + 2π×1=4π가 된다.For example, in the case where the height data of the part 1 corresponds to 4π and the moire degree N is n = 1, if the measured data of the measurement object measured using the pattern illumination of the small wavelength λ2 or λ11 is 2π Since the data is larger than π, the height data of the actual measured object becomes 2π + 2π × 1 = 4π.

그런데, 작은 파장(λ2 또는 λ11)의 패턴 조명을 이용하여 측정한 측정 대상물의 실측 데이터가 0이면 실측 데이터가 π보다 작으므로 모아레 차수(N)는 n+1, 즉 2가 되고, 실제 측정 대상물의 높이 데이터는 0 + 2π×2=4π가 된다. If the actual data of the measurement object measured using the pattern illumination of the small wavelength lambda 2 or lambda 11 is 0, the measured data is smaller than? So that the moire degree N becomes n + 1, that is, 2, Is 0 + 2 pi x 2 = 4 pi.

한편, 비전 검사 시스템은 패턴 이미지에서 해당 부품의 그림자 영역을 추출하고, 추출된 그림자 영역의 크기를 수학식 1에 의해 산출한다. 즉, 도 3에 도시된 바와 같이, 그림자 크기(S)는 직각 삼각형의 변의 길이를 구하는 공식을 이용한 수학식 1을 통해 구할 수 있다. On the other hand, the vision inspection system extracts the shadow region of the corresponding component in the pattern image, and calculates the size of the extracted shadow region by using Equation (1). That is, as shown in FIG. 3, the shadow size S can be obtained from Equation (1) using a formula for determining the length of a side of a right triangle.

수학식 1에서, h는 측정 대상물의 높이이고, θ는 수직선과 이루는 프로젝터의 각도를 의미한다. In Equation (1), h is the height of the measurement object, and? Is the angle of the projector with the vertical line.

비전 검사 시스템은 그림자 크기를 이용하여 측정 대상물의 실제 높이값을 산출하고, 실제 높이값을 이용하여 해당 부품의 모아레 차수를 추정할 수 있다. 이렇게 추정된 모아레 차수가 해당 부품에 적용된 모아레 차수와 다를 경우에, 해당 부품은 큰 파장의 조명 패턴에 의한 측정 범위를 벗어난 부품이거나 측정 오류 상태라고 판단할 수 있다. The vision inspection system can calculate the actual height value of the measurement object using the shadow size, and estimate the moire degree of the corresponding component using the actual height value. When the estimated moire degree differs from the moire degree applied to the part, the part can be judged to be a part out of the measurement range by the illumination pattern of a large wavelength or a measurement error state.

기존에는 측정 대상물의 3차원 형상 측정을 수행하기 위해 큰 파장의 패턴 조명에서 4회 영상 촬영을 수행하고, 작은 파장의 패턴 조명에서 4회 영상을 촬영하여 총 8회의 영상을 촬영해야 한다. 그러나, 본 발명에서는 3차원 형상 측정 이전에 모아레 차수를 미리 결정하여 사용하기 때문에 작은 주기의 패턴 조명에서만 4회 영상 촬영하여 3차원 형상을 측정할 수 있다. 따라서, 본 발명은 기존의 3차원 형상 측정 방식에 비해 측정 이미지 촬영 횟수가 감소되고, 이미지 촬영 횟수가 감소된 만큼 3차원 검사 시간도 단축될 수 있다. Conventionally, in order to measure a three-dimensional shape of a measurement object, four times image capturing is performed in a pattern light of a large wavelength, and four times in a pattern light of a small wavelength, so that a total of eight images must be captured. However, in the present invention, since the moire degree is determined and used before the three-dimensional shape measurement, the three-dimensional shape can be measured by imaging four times only in a pattern illumination of a small cycle. Therefore, according to the present invention, as compared with the conventional three-dimensional shape measuring method, the number of times of taking a measurement image is reduced and the number of image taking times is reduced, so that a three-dimensional inspection time can be shortened.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

110 : 스테이지 120 : 조명 구동부
130 : 수직 카메라 140 : 복수의 프로젝터
145 : 프로젝터 구동부 150 : 그래버
160 : 영상 처리부 170 : 인터페이스부110: stage 120:
130: vertical camera 140: plural projectors
145: Projector driving part 150: Grabber
160: image processor 170:

Claims

A shape measuring method performed by a vision inspection system for measuring a three-dimensional shape of a measurement object using a pattern image reflected after irradiating a pattern illumination on a measurement object in at least one projector,
Wherein when the pattern illumination uses a pattern of a different wavelength, a moire degree with respect to a phase of the second wavelength is determined using phase information of the first wavelength, and a moire degree with respect to each component mounted on the measurement object is Determining;
Obtaining a plurality of pattern images for the measurement object using the illumination pattern of the second wavelength after the moire degree for the measurement object is determined; And
Calculating actual data of the measurement object using the plurality of pattern images, and calculating height data of the actual measurement object by reflecting the moire degree to the measured data. Shape measuring method.

The method of claim 1, wherein
Wherein when the pattern illumination uses a pattern of a different wavelength, a moire degree with respect to a phase of the second wavelength is determined using phase information of the first wavelength, and a moire degree with respect to each component mounted on the measurement object is The step of determining,
Wherein the height data is extracted from the CAD data of the measurement object before the measurement of the three-dimensional shape with respect to the measurement object to determine a moire degree for each part.

The method according to claim 1,
Wherein when the pattern illumination uses a pattern of a different wavelength, a moire degree with respect to a phase of the second wavelength is determined using phase information of the first wavelength, and a moire degree with respect to each component mounted on the measurement object is The step of determining,
Wherein when the pattern illumination uses a pattern of the first wavelength? 1 and the second wavelength? 2,? 2 <? 1, the illumination pattern of the first wavelength and the illumination pattern of the second wavelength are respectively irradiated to the measurement object And the first phase information and the second phase information are respectively obtained from the acquired first pattern image and the second pattern image, and the first phase information and the second phase information are calculated, Wherein the moire degree for the second phase information is determined using the second phase information.

The method according to claim 1,
Calculating a shadow size by extracting a shadow region for each component in the plurality of pattern images, estimating a moire degree of the corresponding component using the calculated shadow size, comparing the estimated moire degree with a moire degree And determining a measurement error of the component by confirming whether or not the component is misaligned.

The method according to claim 1,
Calculating the actual data of the measurement object using the plurality of pattern images, and calculating the height data of the actual measurement object by reflecting the moire degree to the actual data,
(N = 0, n? 0) is added to the actual data to calculate height data of an actually measured object when the actual data is equal to or larger than pi (pi)
(N + 1)) using the moire degree (N = n + 1) is added to the actual data in the case where the actual data is less than pi, thereby calculating the height data of the actually measured object A method for measuring a three dimensional shape of a vision inspection system.