KR102320174B1 - Surface Inspecting System Using Fringe Metric Method - Google Patents

Surface Inspecting System Using Fringe Metric Method Download PDF

Info

Publication number
KR102320174B1
KR102320174B1 KR1020210035281A KR20210035281A KR102320174B1 KR 102320174 B1 KR102320174 B1 KR 102320174B1 KR 1020210035281 A KR1020210035281 A KR 1020210035281A KR 20210035281 A KR20210035281 A KR 20210035281A KR 102320174 B1 KR102320174 B1 KR 102320174B1
Authority
KR
South Korea
Prior art keywords
fringe
image
lights
phase signal
turned
Prior art date
Application number
KR1020210035281A
Other languages
Korean (ko)
Inventor
권인수
윤여학
전웅준
Original Assignee
주식회사 하이브비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이브비젼 filed Critical 주식회사 하이브비젼
Priority to KR1020210035281A priority Critical patent/KR102320174B1/en
Application granted granted Critical
Publication of KR102320174B1 publication Critical patent/KR102320174B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/896Optical defects in or on transparent materials, e.g. distortion, surface flaws in conveyed flat sheet or rod
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to a surface inspection system using a fringe metric method, which can extend the lifespan of lighting, comprising: a fringe lighting unit for irradiating light to an inspected object; a camera unit for acquiring a fringe image; and a control unit for generating a synthesized image.

Description

프린지 메트릭 방법을 이용한 표면 검사 시스템{Surface Inspecting System Using Fringe Metric Method}Surface Inspecting System Using Fringe Metric Method

본 발명은 프린지 메트릭 방법을 이용하여 제품의 표면의 형태를 분석하는 기술에 속한다.The present invention belongs to a technique for analyzing the shape of the surface of a product using a fringe metric method.

스마트폰의 종류가 많아지고, 스마트폰의 사용 주기가 짧아 짐에 따라, 다양하고 많은 스마트폰을 신속하고 정확하게 검사하는 시스템에 대한 산업이 성장하고 있다. 이에 따라, 스마트폰 커버 글라스의 결함의 검출 시스템에 대한 시장 또한 점차 커지고 있다.As the types of smartphones increase and the usage cycle of the smartphone shortens, the industry for a system that quickly and accurately inspects various and many smartphones is growing. Accordingly, the market for the detection system for defects in the smartphone cover glass is also gradually increasing.

현재, 물체의 표면의 형태를 표현하는 기술은 대표적으로 필름 프린지 방식과 패턴투영방식이 있다.Currently, technologies for expressing the shape of the surface of an object include a film fringe method and a pattern projection method.

먼저, 필름 프린지 방식은 조명 앞에 줄(Stripe) 무늬의 필름(Film)을 이용해 프린지(Fringe)무늬를 만들고, 피에조를 이용해 필름을 적정위치로 이동시켜 프린지(Fringe)를 옮겨 위상천이를 시키는 방식이 있다. 이 방식은 필름으로 인해 조명의 밝기를 크게 저하시켜, 일반적으로 높은 휘도의 조명을 써야 한다. 그리고 측정높이의 해상도를 변경시키기 위해 프린지의 간격을 변화시키려면 필름을 교환해야 하고, 교환 후에는 복잡한 캘리브레이션 과정을 거쳐야 하는 문제를 가진다. 또한, 이러한 방식은 다른 조명의 수명에 비해 수명이 짧은 Metal Halide 조명을 사용해, 조명의 교체 주기가 짧다는 문제를 가지고 있다.First, in the film fringe method, a fringe pattern is made by using a film with a stripe pattern in front of the lighting, and the film is moved to an appropriate position using a piezo to move the fringe to make a phase shift. have. This method greatly reduces the brightness of the light due to the film, and generally requires the use of a high-brightness light. And to change the fringe spacing in order to change the resolution of the measurement height, the film must be exchanged, and after the exchange, a complicated calibration process must be performed. In addition, this method has a problem in that the replacement cycle of the light is short because it uses a metal halide light with a shorter lifespan compared to other lights.

다음으로, 패턴투영방식은 다양한 간격의 패턴을 투영해 대상물체를 3차원으로 측정하는 방식이다. 그러나 이 방식은 패턴을 기계적으로 이동시켜야 하며 이때 기계에서 발생하는 기계적 진동이 정밀도에 영향을 받는 문제가 있다. 그리고 패턴의 산란광을 이용하므로 투명물체에 대해서는 측정이 어려운 단점이 있다.Next, the pattern projection method is a method of measuring the target object in three dimensions by projecting patterns at various intervals. However, in this method, the pattern must be moved mechanically, and there is a problem in that the mechanical vibration generated by the machine is affected by the precision. And since the scattered light of the pattern is used, there is a disadvantage in that it is difficult to measure a transparent object.

대한민국 등록특허 제10-0824808호 (공고일자: 2008.04.24)Republic of Korea Patent Registration No. 10-0824808 (Announcement date: 2008.04.24)

본 발명은 검사체의 표면을 검사하기 위해 프린지 무늬의 패턴을 사용으로 발생되는 문제, 고휘도의 조명을 써야하는 문제, 패턴의 이동 시 발생되는 문제를 해결하고자 한다. 또한 기존의 기술에서는 측정높이 해상도를 변경하기 위해서는 필름을 교환해야 하는 어려움이 있다.An object of the present invention is to solve a problem caused by using a fringe pattern to inspect the surface of a test object, a problem that requires high-brightness lighting, and a problem that occurs when the pattern is moved. In addition, in the existing technology, there is a difficulty in that the film needs to be exchanged in order to change the measurement height resolution.

본 발명을 이러한 문제를 해결하기위해, 다양한 간격의 Fringe Pattern을 조명을 제어하는 FPGA등의 프로그램에 파라메터의 변경만으로 간단히 변환이 가능하도록 구성하여, 측정대상의 높이 분해능을 실시간으로 변경가능한 도록 하여 이러한 문제를 해결하고자 한다.In order to solve this problem, the present invention is configured so that the fringe pattern of various intervals can be converted simply by changing a parameter in a program such as an FPGA that controls lighting, so that the height resolution of the measurement object can be changed in real time. We want to solve the problem.

본 발명의 기술적 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템은 회전 가능한 프레임모듈과, 프레임모듈의 내부에 일직선 상에 순차적으로 배치된 제1조명 내지 제8조명이 설치된 조명모듈을 포함하여 검사체에 빛을 조사하는 프린지조명부, 검사체를 촬영하여 프린지이미지를 획득하는 카메라부, 설정된 주기에 설정된 위상 차 간격으로 복수 개의 조명을 Nano second 단위로 제어하고, 복수 개의 조명 가운데 최 일측에 위치한 조명을 설정 시간 온(On) 시킨 후, 턴-오프(Turn-Off) 시키는 제1위상신호, 제1위상신호에 의해 턴-온 된 조명의 타측에 위치하며 제1위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프 되어 있는 조명을 턴-온 시키는 제2위상신호를 출력하여 조명모듈에 인가하는 제어기부를 포함한다. 여기서, 제어기부는 적어도 두 개의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시키며, 제1위상신호를 출력할 때 마다 카메라부에서 획득한 복수 개의 제1프린지이미지를 시간 순서에 따라 일렬 종대로 정렬하고, 제2위상신호를 출력할 때 마다 카메라부에서 획득한 복수 개의 제2프린지이미지를 시간 순서에 따라 일렬 종대로 정렬하는 프린지이미지수신모듈과, 순차적으로 수신된 복수 개의 제1프린지이미지를 일렬 종대로 배치시켜 하나의 제1정렬이미지를 생성하고, 복수 개의 제2프린지이미지를 일렬 종대로 배치시켜 하나의 제2정렬이미지를 생성하는 얼라인모듈과, 제1정렬이미지 내지 제2정렬이미지를 기 설정된 산식으로 연산한 후 합성하여 합성이미지를 생성하는 합성이미지생성모듈을 포함한다.The surface inspection system using the fringe metric method of the present invention for achieving the above technical problem includes a rotatable frame module, and a lighting module in which the first to eighth lights sequentially arranged on a straight line inside the frame module are installed. The fringe lighting unit that irradiates light to the test object, the camera unit that acquires a fringe image by photographing the object, and controls a plurality of lights at the set phase difference interval at a set period in nanosecond units, and one side of the plurality of lights After turning on the positioned lighting for a set time, it is located on the other side of the first phase signal, which turns off the first phase signal, and is turned on by the first phase signal, and is turned on by the first phase signal. and a controller for outputting a second phase signal for turning on the turned-off lights by the same number as the number of turned-on lights and applying the second phase signal to the lighting module. Here, after simultaneously turning on and off at least two lights, the controller turns on at least two lights that are turned off at the other side of the turned off lights at the same time, and outputs a first phase signal. Each time, the plurality of first fringe images acquired by the camera unit are arranged in a row according to the time sequence, and the plurality of second fringe images acquired by the camera unit are arranged in chronological order whenever the second phase signal is output. A fringe image receiving module arranged in a column, and a plurality of sequentially received first fringe images are arranged in a row to generate one first aligned image, and a plurality of second fringe images are arranged in a row to form one It includes an alignment module for generating a second aligned image, and a composite image generating module for generating a composite image by synthesizing the first aligned image to the second aligned image by calculating a preset equation.

제어기부는 제2위상작동 시 턴-온 된 조명의 타측에 위치해 오프 되어 있는 조명을 턴-온 시키며 제3위상작동 시키는 제3위상신호, 제3위상작동 시 턴-온 된 조명의 타측에 위치해 오프 되어 있는 조명을 턴-온 시키며 제4위상작동 시키는 제4위상신호를 순차적으로 반복하여 출력할 수 있다.The controller unit is located on the other side of the turned-on light during the second phase operation and turns on the off light and turns on the third phase signal, which operates the third phase, and is located on the other side of the turned-on light during the third phase operation It is possible to sequentially and repeatedly output the fourth phase signal that turns on the light and operates the fourth phase.

제어기부는 제3위상작동 될 때 마다 제3프린지이미지를 획득하고 제4위상작동 될 때 마다 제4프린지이미지를 획득하며 복수 개의 제1프린지이미지 내지 복수 개의 제4프린지이미지를 획득하고, 복수 개의 제1프린지이미지를 일렬 종대로 배치시켜 하나의 제1정렬이미지를 생성하고, 복수 개의 제2프린지이미지를 일렬 종대로 배치시켜 하나의 제2정렬이미지를 생성하고, 복수 개의 제3프린지이미지를 일렬 종대로 배치시켜 하나의 제3정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하여, 제1프린지이미지 내지 제4프린지이미지를 합성해 표면의 높이 차를 나타내는 합성이미지를 생성할 수 있다.The controller unit acquires a third fringe image every time the third phase is activated, obtains a fourth fringe image every time the fourth phase is activated, obtains a plurality of first fringe images to a plurality of fourth fringe images, One fringe image is arranged in a row to generate one first aligned image, a plurality of second fringe images are arranged in a row to create one second aligned image, and a plurality of third fringe images are arranged in a row to create one third aligned image, and arranging a plurality of fourth fringe images in a row to create a fourth aligned image, synthesizing the first to fourth fringe images to create a surface height A composite image representing a car can be created.

프린지이미지수신모듈은 카메라부에서 촬영된 복수 개의 제1프린지이미지 내지 복수 개의 제4프린지이미지를 순차적으로 수신하고, 얼라인모듈은 순차적으로 수신된 복수 개의 제3프린지이미지를 일렬 종대로 배치시켜 하나의 제3정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하고, 복수 개의 제4프린지이미지를 일렬 종대로 배치시켜 하나의 제4정렬이미지를 생성하고, 합성이미지생성모듈은 제3정렬이미지 내지 제4정렬이미지를 기 설정된 산식으로 연산한 후 합성하여 합성이미지를 생성할 수 있다.The fringe image receiving module sequentially receives a plurality of first fringe images to a plurality of fourth fringe images photographed by the camera unit, and the alignment module arranges a plurality of sequentially received third fringe images in a row to form one Create a third aligned image of , arrange a plurality of fourth fringe images in a row to create a fourth aligned image, and arrange a plurality of fourth fringe images in a row to form a single fourth aligned image generated, and the composite image generating module may generate a composite image by synthesizing the third aligned image to the fourth aligned image using a preset formula.

삭제delete

본 발명은 일정 시간으로 촬영된 프린지 이미지를 동일한 위상의 프린지 이미지로 정렬한 후, 정렬된 이미지를 합성하여 검사체의 높이 차가 있는 합성이미지를 생성한다. 이러한 합성이미지를 통해 생산 공정에서 검출하기 어려웠던, Dimple, 스크래치, Edge 부분 크랙 등에 대해 높은 검출력을 나타낼 수 있다.In the present invention, after aligning fringe images taken for a predetermined time into fringe images of the same phase, the aligned images are synthesized to generate a composite image having a height difference of a test object. Through these composite images, high detection power can be exhibited for dimples, scratches, and cracks in the edge part, which were difficult to detect in the production process.

아울러, 본 발명은 고휘도의 조명대신 LED이 조명을 사용하여, 조명의 수명을 연장시킬 수 있는 장점을 가진다. 또한 조명과 카메라의 위치를 자유롭게 하며, 라인스캔으로의 시스템구성을 통해 고속 측정이 가능하도록 하며 프린지이미지를 생성하도록 한다.In addition, the present invention has the advantage of extending the life of the lighting by using the LED lighting instead of the high-brightness lighting. In addition, the position of the lighting and the camera is free, and the high-speed measurement is possible through the system configuration of the line scan, and a fringe image is generated.

도 1은 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템의 사용 상태도이다.
도 2는 본 발명의 제1실시예에 따른 프린지조명부를 나타낸 도면이다.
도 3은 본 발명의 제2실시예에 따른 프린지조명부를 나타낸 도면이다.
도 4는 본 발명의 제3실시예에 따른 프린지조명부를 나타낸 도면이다.
도 5는 본 발명의 제어기부의 구성요소를 나타낸 블록도이다.
도 6은 도 3의 제2실시예에 따른 프린지조명부의 작동 상태를 나타낸 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템을 통해 프린지 이미지를 획득하고, 획득한 프린지 이미지를 변환 및 합성한 이미지이다.
도 10 내지 도 12는 서로 다른 주기에 맞춰 작동하는 제3실시예의 프린지조명부에 포함된 조명모듈의 작동 상태를 나타낸 도면이다.
도 13은 복수 개의 조명모듈이 하나의 조명모듈그룹으로 형성되어 작동되는 상태를 나타낸 도면이다.
1 is a state diagram of a surface inspection system using a fringe metric method according to an embodiment of the present invention.
2 is a view showing a fringe lighting unit according to a first embodiment of the present invention.
3 is a view showing a fringe lighting unit according to a second embodiment of the present invention.
4 is a view showing a fringe lighting unit according to a third embodiment of the present invention.
5 is a block diagram showing the components of the controller of the present invention.
6 is a view showing an operating state of the fringe lighting unit according to the second embodiment of FIG.
7 to 9 are images obtained by obtaining a fringe image through a surface inspection system using a fringe metric method according to an embodiment of the present invention, converting and synthesizing the obtained fringe image.
10 to 12 are views showing the operating state of the lighting module included in the fringe lighting unit of the third embodiment that operates according to different cycles.
13 is a view showing a state in which a plurality of lighting modules are formed and operated as one lighting module group.

본 명세서 상에 도시된 도면 및 도면에 기초한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 이해할 수 있도록 하는 하나의 예시이다.The drawings shown in the present specification and the description based on the drawings are one example that allows those of ordinary skill in the art to easily understand the present invention.

따라서, 본 발명의 도면 및 발명을 실시하기 위한 구체적인 설명이 본 발명의 청구 범위를 한정하는 것은 아니다. 본 발명의 청구 범위는 오로지 청구항에 의해서만 정의될 수 있다.Accordingly, the drawings of the present invention and the detailed description for carrying out the invention do not limit the scope of the claims of the present invention. The claims of the present invention may be defined solely by the claims.

이하, 본 발명의 하기의 실시예의 도면을 참조하여 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템에 대해 설명한다. 다만, 본 발명에 대한 설명이 명확하고 간결해질 수 있도록, 먼저 도 1 내지 도 5를 참조하여 프린지 메트릭 방법을 이용한 표면 검사 시스템에 대해 개괄적으로 설명한다. 이후, 도 6 내지 도 13을 참조하여 프린지 메트릭 방법을 이용한 표면 검사 시스템을 구성하는 구성요소에 대해 설명한다.Hereinafter, a surface inspection system using the fringe metric method of the present invention will be described with reference to the drawings of the following examples of the present invention. However, in order to make the description of the present invention clear and concise, first, a surface inspection system using the fringe metric method will be generally described with reference to FIGS. 1 to 5 . Hereinafter, components constituting the surface inspection system using the fringe metric method will be described with reference to FIGS. 6 to 13 .

도 1은 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템의 사용 상태도이고, 도 2는 본 발명의 제1실시예에 따른 프린지조명부를 나타낸 도면이고, 도 3은 본 발명의 제2실시예에 따른 프린지조명부를 나타낸 도면이고, 도 4는 본 발명의 제3실시예에 따른 프린지조명부를 나타낸 도면이다. 그리고 도 5는 본 발명의 제어기부의 구성요소를 나타낸 블록도이다.1 is a state diagram of a surface inspection system using a fringe metric method according to an embodiment of the present invention, FIG. 2 is a view showing a fringe lighting unit according to a first embodiment of the present invention, and FIG. 3 is a first embodiment of the present invention. It is a view showing a fringe lighting unit according to a second embodiment, and FIG. 4 is a view showing a fringe lighting unit according to a third embodiment of the present invention. And Figure 5 is a block diagram showing the components of the controller unit of the present invention.

본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 이동하는 검사체(B)에 대해서도 검사 가능하도록 한 라인씩 이미지를 얻고 각 개별 라인에 대해 조명 밝기, 위상 및 주기를 제어하여 1회 스캔에 위상 차가 있는 이미지들을 동시에 획득할 수 있다. 이와 같은 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 일정 시간으로 촬영된 프린지 이미지를 동일한 위상의 프린지 이미지로 정렬한 후, 정렬된 이미지를 합성하여 검사체의 높이 차가 있는 합성이미지를 생성한다. 이를 통해, 본 발명은 생산 공정에서 검출하기 어려웠던, Dimple, 스크래치, Edge 부분 크랙 등에 대해 높은 검출력을 나타낼 수 있다.The surface inspection system 1 using the fringe metric method of the present invention obtains an image line by line so as to be able to inspect the moving object B, and controls the brightness, phase and period of illumination for each individual line to scan once. It is possible to simultaneously acquire images with a phase difference in . As described above, the surface inspection system 1 using the fringe metric method of the present invention aligns the fringe images taken for a certain time with the fringe images of the same phase, and then synthesizes the aligned images to obtain a composite image with a difference in height of the inspected object. create Through this, the present invention can exhibit high detection power for dimples, scratches, edge cracks, etc., which were difficult to detect in the production process.

아울러, 본 발명은 고휘도의 조명대신 LED이 조명을 사용하여, 조명의 수명을 연장시킬 수 있는 장점을 가진다. 이러한 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템(1)은 TDM(Time Division Multiplexing) 적용한 조명 교차 제어 1회 스캔으로 여러 위상의 Fringe 이미지 획득하는 1단계 그리고 FPGA or GPU 이용한 복수의 위상 차 이미지 합성 Differential Fringe로 이미지 변환, 합성 및 전 처리 진행하는 2단계 그리고 FFT, AI 적용 이미지 트레이닝 불량 검출 및 미검 및 과검 획기적으로 향상되는 3단계로 진행되며 전술한 특징을 나타낼 수 있다.In addition, the present invention has the advantage of extending the life of the lighting by using the LED lighting instead of the high-brightness lighting. The surface inspection system 1 using the fringe metric method of the present invention is a first step of acquiring multiple phase fringe images with one scan of illumination cross control applied with TDM (Time Division Multiplexing), and synthesizing a plurality of phase difference images using FPGA or GPU Image conversion, synthesis, and pre-processing with Differential Fringe are performed in two stages, and FFT and AI applied image training defect detection and unchecked and over-tested are performed in three stages, which are dramatically improved.

본 발명은 전술 한 특징을 나타낼 수 있도록 프린지조명부(10), 카메라부(20) 및 제어기부(30)를 구성요소로 포함한다.The present invention includes the fringe lighting unit 10, the camera unit 20 and the controller unit 30 as components so as to exhibit the above-described characteristics.

이하, 본 발명을 포함되는 구성요소에 대해 구체적으로 설명한다. 프린지조명부(10)는 카메라부(20)가 검사체(B)를 촬영할 수 있도록 검사체(B)에 다양한 각도로 빛을 조사할 수 있는 장치가 된다. 이러한 프린지조명부(10)는 프레임모듈(11)과 조명모듈(12)을 포함한다. 여기서, 프레임모듈(11)은 하단면이 개구 된 직육면체의 형상으로 형성된 프레임이 된다. 그리고 조명모듈(12)은 프레임모듈(11)의 내부에 길이 방향을 따라 각각 제어되는 복수 개의 조명을 포함하여 검사체(B)에 빛을 조사하는 장치가 된다. 프린지조명부(10)는 프레임모듈(11)이 외부의 고정모듈(미도시)에 설치되어 바닥면(A)에 직선 방향 내지 사선 방향으로 회전하며 검사체(B)에 빛을 조사할 수 있다.Hereinafter, components included in the present invention will be described in detail. The fringe lighting unit 10 becomes a device capable of irradiating light at various angles to the inspection object B so that the camera unit 20 can photograph the inspection object B. The fringe lighting unit 10 includes a frame module 11 and a lighting module 12 . Here, the frame module 11 is a frame formed in the shape of a rectangular parallelepiped with an open bottom surface. And the lighting module 12 is a device for irradiating light to the test object (B) including a plurality of lights each controlled along the longitudinal direction inside the frame module (11). In the fringe lighting unit 10 , the frame module 11 is installed in an external fixed module (not shown), rotates on the floor A in a linear or oblique direction, and irradiates light to the test object B.

이와 같은 프린지조명부(10)의 조명모듈(12-1)은 도 2에 도시된 바와 같이 제1조명(01) 내지 제8조명(08)을 포함하는 프린지조명부(10-1)로 형성될 수 있다. 또는, 프린지조명부(10-1)는 도 2에 도시된 바와 같은 형성으로 한정되지 않고, 필요에 따라 도 3에 도시된 바와 같이 제1조명(01) 내지 제16조명(16)을 포함하는 조명모듈(12-2)을 포함하는 프린지조명부(10-2)로 변형되어 형성될 수 있다. 아니면 도 4에 도시된 바와 같이 도 3에 도시된 조명모듈(12-2)이 일직선 상으로 3개가 배열된 조명모듈(12-3)로 형성될 수 있다.As shown in FIG. 2, the lighting module 12-1 of the fringe lighting unit 10 may be formed of a fringe lighting unit 10-1 including the first lighting units 01 to the eighth lighting units 08. have. Alternatively, the fringe lighting unit 10-1 is not limited to the formation as shown in FIG. 2, and if necessary, lighting including the first illumination 01 to the 16th illumination 16 as shown in FIG. It may be formed by being transformed into the fringe lighting unit 10-2 including the module 12-2. Alternatively, as shown in FIG. 4 , the lighting module 12-2 shown in FIG. 3 may be formed of three lighting modules 12-3 arranged in a straight line.

이와 같이, 프린지조명부는 복수 개의 조명을 포함하여 다양하게 변형되어 형성될 수 있다. 여기서, 조명모듈(12-1~12-3)은 LED로 형성되어 고휘도의 할로겐 조명 보다 장시간 일정한 빛을 출력할 수 있다.In this way, the fringe lighting unit may be formed by being variously deformed including a plurality of lights. Here, the lighting modules 12-1 to 12-3 are formed of LEDs to output constant light for a longer period of time than high-brightness halogen lighting.

프린지조명부(10)는 복수 개의 조명을 순서대로 이동시켜가며 점등 및 소등하여 특정 조명에서 빛이 출력될 수 있도록 한다. 프린지조명부(10)가 빛을 출력할 때, 카메라부(20)는 검사체(B)를 촬영하여 프린지조명부(10)의 작동에 따라 프린지를 갖는 프린지이미지를 획득한다. 이와 같은 작동하는 카메라부(20)는 제어기부(30)에서 출력되는 제어신호에 의해 작동될 수 있다. 보다 구체적으로, 카메라부(20)는 조명모듈(12-1~12-3)의 복수 개의 조명이 이동하며 점등 및 소등되는 작동과 동기화 되어 작동하며 조명모듈(12-1~12-3)이 턴-온 될 때만 작동하며 검사체(B)를 촬영할 수 있다.The fringe lighting unit 10 turns on and off while moving a plurality of lights in order so that light can be output from a specific light. When the fringe lighting unit 10 outputs light, the camera unit 20 acquires a fringe image having a fringe according to the operation of the fringe lighting unit 10 by photographing the test object (B). The operating camera unit 20 may be operated by a control signal output from the controller unit 30 . More specifically, the camera unit 20 operates in synchronization with the operation in which a plurality of lights of the lighting modules 12-1 to 12-3 move and turn on and off, and the lighting modules 12-1 to 12-3 It works only when it is turned on and can take a test object (B).

제어기부(30)는 제어신호를 발생시키며 데이터를 수신해 처리한다. 제어기부(30)는 데이터를 수신 및 처리하는 컴퓨터가 된다. 이러한 제어기부(30)는 Line Scan 이용한 교차조명 제어 시 조명시간, 지연시간을 nano second 단위로 제어할 수 있도록 구성하였다. 이를 통해, 제어기부(30)는 측정대상의 높이 분해능을 실시간으로 변경가능한 도록 한다.The controller 30 generates a control signal and receives and processes data. The controller unit 30 becomes a computer that receives and processes data. The controller 30 is configured to control the illumination time and the delay time in nanosecond units when controlling the cross illumination using the line scan. Through this, the controller 30 allows the height resolution of the measurement object to be changed in real time.

이와 같은 제어기부(30)는 기존의 Microcontroller CPU를 이용한 컨트롤로 제어보드의 한계로 FPGA칩을 탑재한 별도의 제어 보드를 포함한다. 또한, 제어기부(30)는 프린지이미지수신모듈(310), 얼라인모듈(320) 및 합성이미지생성모듈(330)을 포함할 수 있다. 여기서, 프린지이미지수신모듈(310)은 카메라부(20)에서 촬영된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 순차적으로 수신할 수 있다. 그리고 얼라인모듈(320)은 순차적으로 수신된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4) 중 복수 개의 제2프린지이미지(C2)를 일렬 종대로 배치시켜 하나의 제2정렬이미지(D2)를 생성하고, 복수 개의 제1프린지이미지(C1)를 일렬 종대로 배치시켜 하나의 제1정렬이미지(D1)를 생성할 수 있다. 그리고 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성할 수 있다.Such a controller 30 includes a separate control board on which the FPGA chip is mounted as a limitation of the control board using the existing microcontroller CPU. In addition, the controller 30 may include a fringe image receiving module 310 , an alignment module 320 , and a composite image generating module 330 . Here, the fringe image receiving module 310 may sequentially receive a plurality of first fringe images C1 to a plurality of fourth fringe images C4 photographed by the camera unit 20 . And the alignment module 320 arranges a plurality of second fringe images C2 among a plurality of sequentially received first fringe images C1 to a plurality of fourth fringe images C4 in a row to form one second image. A second aligned image D2 may be generated, and one first aligned image D1 may be generated by arranging a plurality of first fringe images C1 in a row. In addition, one fourth aligned image D4 may be generated by arranging the plurality of fourth fringe images C4 in a row.

그리고 합성이미지생성모듈(330)은 제1정렬이미지(D1) 내지 제4정렬이미지(D4)를 기 설정된 과정 및 기 설정된 산식으로 연산한 후 합성하여 2.5D 또는 3D의 입체 이미지로 합성이미지(E)를 생성할 수 있다. 여기서, 2.5D로 합성이미지(E)가 생성될 때는 아래와 같은 산식에 기초하여 진행될 수 있다.In addition, the composite image generation module 330 calculates the first aligned image D1 to the fourth aligned image D4 using a preset process and a preset formula, and then synthesizes the composite image E into a 2.5D or 3D stereoscopic image. ) can be created. Here, when the composite image E is generated in 2.5D, it may proceed based on the following equation.

Figure 112021031937516-pat00001
Figure 112021031937516-pat00002
Figure 112021031937516-pat00001
Figure 112021031937516-pat00002

Figure 112021031937516-pat00003
Figure 112021031937516-pat00004
Figure 112021031937516-pat00003
Figure 112021031937516-pat00004

그리고 2.5D로 합성이미지(E)가 생성될 때는 Image를 Segmentation하여 불필요한 영역 제거하고 관심영역 추출하는 (A)단계, 관심영역에 대해서 X 방향으로 주위 픽셀과의 Phase의 차 계산하는 (B)단계, Phase의 차가

Figure 112021031937516-pat00005
보다 작으면 차가
Figure 112021031937516-pat00006
보다 클 때까지
Figure 112021031937516-pat00007
를 더 하는 (C)단계, Phase의 차가
Figure 112021031937516-pat00008
보다 크면
Figure 112021031937516-pat00009
보다 작을 때까지
Figure 112021031937516-pat00010
를 빼는 (D)단계, 관심영역에 대해서 Y 방향으로 주위 픽셀과의 Phase의 차를 계산하는 (E)단계, Phase의 차가
Figure 112021031937516-pat00011
보다 작으면 차가
Figure 112021031937516-pat00012
보다 클 때까지
Figure 112021031937516-pat00013
를 더 하는 (F)단계 및 Phase의 차가
Figure 112021031937516-pat00014
보다 크면
Figure 112021031937516-pat00015
보다 작을 때까지
Figure 112021031937516-pat00016
를 빼는 (G)단계로 진행될 수 있다. And when a composite image (E) is created in 2.5D, the image is segmented to remove unnecessary regions and extract the region of interest (A), and the phase difference with the surrounding pixels in the X direction is calculated for the region of interest (B) , the difference of the phase
Figure 112021031937516-pat00005
If less than the car
Figure 112021031937516-pat00006
until bigger
Figure 112021031937516-pat00007
(C) step of adding , the difference of the phase
Figure 112021031937516-pat00008
greater than
Figure 112021031937516-pat00009
until less than
Figure 112021031937516-pat00010
(D) step of subtracting , (E) step of calculating the difference of the phase with the surrounding pixels in the Y direction for the region of interest, the phase difference
Figure 112021031937516-pat00011
If less than the car
Figure 112021031937516-pat00012
until bigger
Figure 112021031937516-pat00013
The difference between the (F) step and the phase of adding
Figure 112021031937516-pat00014
greater than
Figure 112021031937516-pat00015
until less than
Figure 112021031937516-pat00016
It may proceed to step (G) of subtracting .

여기서, 3D로 합성이미지(E)가 생성될 때는 아래와 같은 산식에 기초하여 진행될 수 있다.Here, when the composite image E is generated in 3D, it may proceed based on the following equation.

Figure 112021031937516-pat00017
Figure 112021031937516-pat00017

여기서, 밝는 부분에서 어두운 부분의 간격을 I주기로 정의하고 대상물의 위치(x,y)에서의 밝기 값 I(x,y)라 하고,

Figure 112021031937516-pat00018
는 Phase이고, n개의 위상으로 이동하여
Figure 112021031937516-pat00019
번째 프린지 패턴이 된다.Here, the interval between the bright part and the dark part is defined as I period, and the brightness value I(x,y) at the position (x,y) of the object is
Figure 112021031937516-pat00018
is a Phase, and by moving to n phases,
Figure 112021031937516-pat00019
It becomes the second fringe pattern.

아래의 표는 pixel (x,y)의 신뢰도 R을 계산하기 위한 Pixel (x,y)주변의 Pixel은 다음과 같다.In the table below, the pixels around the pixel (x,y) for calculating the reliability R of the pixel (x,y) are as follows.

Figure 112021031937516-pat00020
Figure 112021031937516-pat00020
Figure 112021031937516-pat00021
Figure 112021031937516-pat00021
Figure 112021031937516-pat00022
Figure 112021031937516-pat00022
Figure 112021031937516-pat00023
Figure 112021031937516-pat00023
Figure 112021031937516-pat00024
Figure 112021031937516-pat00024
Figure 112021031937516-pat00025
Figure 112021031937516-pat00025
Figure 112021031937516-pat00026
Figure 112021031937516-pat00026
Figure 112021031937516-pat00027
Figure 112021031937516-pat00027
Figure 112021031937516-pat00028
Figure 112021031937516-pat00028

본 위상 펼침 알고리즘은 이웃한 픽셀들과 이차미분의 합S의 역수를 계산하여 각 픽셀의 신뢰도 R을 계산한다.This phase spreading algorithm calculates the reliability R of each pixel by calculating the reciprocal of the sum S of the neighboring pixels and the second derivative.

Figure 112021031937516-pat00029
Figure 112021031937516-pat00029

Figure 112021031937516-pat00030
Figure 112021031937516-pat00030

Figure 112021031937516-pat00031
Figure 112021031937516-pat00031

Figure 112021031937516-pat00032
Figure 112021031937516-pat00032

Figure 112021031937516-pat00033
Figure 112021031937516-pat00033

여기서, H는 수평방향, V는 수직방향, D는 대각선 방향의 미분값이 된다.

Figure 112021031937516-pat00034
는 각 픽셀의 위상 값이고,
Figure 112021031937516-pat00035
은 연속한 픽셀의 위상 값 간의 위상 불연속성을 제거하는 위상 펼침 계산을 나타낸다.Here, H is the horizontal direction, V is the vertical direction, and D is the differential value in the diagonal direction.
Figure 112021031937516-pat00034
is the phase value of each pixel,
Figure 112021031937516-pat00035
denotes a phase spread calculation that removes the phase discontinuity between phase values of successive pixels.

위와 같은 계산을 각 픽셀에 대해서 수행하고,

Figure 112021031937516-pat00036
의 역수로 각 픽셀의 신뢰도를 계산한다.The above calculation is performed for each pixel,
Figure 112021031937516-pat00036
Calculate the reliability of each pixel as the reciprocal of .

Figure 112021031937516-pat00037
Figure 112021031937516-pat00037

위상 펼침 경로를 결정하기 위해서 우선 가로 세로 방향으로 이웃한 픽셀들의 신뢰도의 합을 계산하고 신뢰도의 합이 가장 큰 경계면에서부터 위상 펼침을 위상 펼침을 수행한다. To determine the phase unfolding path, first, the sum of the reliability of neighboring pixels in the horizontal and vertical directions is calculated, and the phase unfolding is performed from the interface with the largest sum of reliability.

그리고 3D로 합성이미지(E)가 생성될 때는 전 픽셀에 대해서 신뢰도 R 계산(테두리 제외)하는 (A)단계, 경계에 대한 신뢰도만 수집하는 (B)단계, 경계에 대해 신뢰도 값을 내림차순으로 정렬하는 (C)단계, (C)단계 이후 경계에 대한 신뢰도만 수집하여 작은 영역에 속한 픽셀은 위상 펼침을 한 뒤, 두 영역을 병합하는 (D-1)단계, 양 픽셀 모두 영역에 속하지 않는 경우 양 픽셀용 위상 펼침하여 새로운 영역을 형성하는 (D-2)단계 또는 한 픽셀만 영역에 속한 경우 영역에 속하지 않는 픽셀을 위상 펼쳐 영역에 포함시키는 (D-3) 단계 중 어느 하나의 단계로 진행될 수 있다. 이후, 모든 경계에 대해서 수행하고 테두리는 마지막으로 수행하는 (E)단계로 진행될 수 있다.And when a composite image (E) is created in 3D, the reliability R is calculated for all pixels (excluding the border) in (A) step, (B) only the reliability is collected for the boundary (B), and the reliability value is arranged in descending order for the boundary After step (C) and step (C), only the reliability of the boundary is collected and the pixels belonging to a small area are phase-expanded, and then the two areas are merged (D-1), when both pixels do not belong to the area Either step (D-2) of forming a new area by phase-extending for both pixels or step (D-3) of including pixels not belonging to the area in the area when only one pixel belongs to the area can After that, it may proceed to step (E) in which all borders are performed and borders are performed last.

전술 한 산식 및 과정을 통해 합성이미지를 생성하는 제어기부(30)는 검사 대상에 따라 조명 순서, 주파수 분주, 노이즈 제거 등 현장에서 문제되는 상황을 실시간으로 반영하며 합성이미지(E)를 생성할 수 있다.The controller unit 30, which generates a composite image through the above-mentioned formula and process, can generate a composite image (E) by reflecting the problematic situation in the field in real time, such as lighting sequence, frequency division, noise removal, etc. depending on the inspection target. have.

이하, 도 6 내지 도 13을 참조하여 본 발명의 프린지 메트릭 방법을 이용한 표면 검사 시스템의 작동에 대해 구체적으로 설명한다.Hereinafter, the operation of the surface inspection system using the fringe metric method of the present invention will be described in detail with reference to FIGS. 6 to 13 .

다만, 본 발명의 프린지 메트릭 방법에 대한 설명이 간결하고 명확해질 수 있도록, 제1실시예, 제2실시예와 제3실시예의 프린지조명부 가운데 제2실시예의 프린지조명부를 기준으로 하여, 본 발명의 작동에 대해 구체적으로 설명한다.However, in order for the description of the fringe metric method of the present invention to be concise and clear, based on the fringe lighting part of the second embodiment among the fringe lighting parts of the first, second and third embodiments, the present invention The operation will be described in detail.

도 6은 도 3의 제2실시예에 따른 프린지조명부의 작동 상태를 나타낸 도면이고, 도 7 내지 도 9는 본 발명의 일 실시예에 따른 프린지 메트릭 방법을 이용한 표면 검사 시스템을 통해 프린지 이미지를 획득하고, 획득한 프린지 이미지를 변환 및 합성한 이미지이고, 도 10 내지 도 12는 서로 다른 주기에 맞춰 작동하는 제3실시예의 프린지조명부에 포함된 조명모듈의 작동 상태를 나타낸 도면이다. 그리고 도 13은 복수 개의 조명모듈이 하나의 조명모듈그룹으로 형성되어 작동되는 상태를 나타낸 도면이다.6 is a view showing an operating state of the fringe lighting unit according to the second embodiment of FIG. 3, and FIGS. 7 to 9 are a fringe image obtained through a surface inspection system using a fringe metric method according to an embodiment of the present invention. And, it is an image obtained by converting and synthesizing the fringe image, and FIGS. 10 to 12 are views showing the operating state of the lighting module included in the fringe lighting unit of the third embodiment that operates according to different cycles. And FIG. 13 is a view showing a state in which a plurality of lighting modules are formed and operated as one lighting module group.

프린지조명부(10)는 전술한 바와 같이 제1조명(01) 내지 제16조명(16)을 포함한다. 이러한 프린지조명부(10)는 제어기부(30)에서 출력되는 제1위상신호 내지 제4위상신호에 따라 작동될 수 있다.The fringe lighting unit 10 includes the first illumination 01 to the 16th illumination 16 as described above. The fringe lighting unit 10 may be operated according to the first to fourth phase signals output from the controller unit 30 .

제어기부(30)는 프린지조명부(10)에 위상신호를 인가하여, 복수 개의 조명 중 일부 조명을 설정 시간 온 시킨 후, 턴-오프 시켜가면서 작동시킨다. 여기서, 제어기부(30)는 4개의 조명을 위상 이동의 한 주기로 하여 90도의 위상차를 갖도록 이동시키며 프린지조명부(10)가 90도의 위상차에서 조명이 턴-온 되도록 한 예이다. 구체적으로는, 제어기부(30)는 제1위상신호를 통해 0도의 위상각에서 제1조명, 제5조명, 제9조명 및 제13조명을 턴-온 시키고, 제2위상신호를 통해 90도의 위상각에서 제2조명, 제6조명, 제10조명 및 제14조명을 턴-온 시키고, 제3위상신호를 통해 180도의 위상각에서 제3조명, 제7조명, 제11조명 및 제15조명을 턴-온 시키고, 제4위상신호를 통해 270도의 위상각에서 제4조명, 제8조명, 제12조명 및 제16조명을 턴-온 시킨다. 이러한 제어기부(30)의 구성은 그림에서 보여준 4개의 조명 이외에도 3개의 조명, 5개의 조명등 여러가지 구성으로 위상 변화를 가질 수 있으며, 위상간격이 90도 이외에도 360도/n의 각도로도 구성이 가능하다.The controller 30 applies a phase signal to the fringe lighting unit 10, turns on some of the plurality of lights for a set time, and then turns them off while operating. Here, the controller unit 30 moves the four lights to have a phase difference of 90 degrees as one cycle of phase shift, and the fringe lighting unit 10 turns on the lights at a phase difference of 90 degrees. Specifically, the controller 30 turns on the first illumination, the fifth illumination, the ninth illumination, and the thirteenth illumination at a phase angle of 0 degrees through the first phase signal, and the Turn on the 2nd illumination, 6th illumination, 10th illumination, and 14th illumination at phase angle, and 3rd illumination, 7th illumination, 11th illumination, and 15th illumination at a phase angle of 180 degrees through a 3rd phase signal turns on, and turns on the 4th illumination, the 8th illumination, the 12th illumination, and the 16th illumination at a phase angle of 270 degrees through the 4th phase signal. The configuration of the controller 30 can have a phase change in various configurations such as three lights and five lights in addition to the four lights shown in the figure, and the phase interval can be configured at an angle of 360 degrees/n in addition to 90 degrees. do.

즉, 제어기부(30)는 프린지조명부(10)가 제1위상신호를 수신하였을 때 도 6의 (a)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제2위상신호를 수신하였을 때 도 6의 (b)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제3위상신호를 수신하였을 때 도 6의 (c)에 도시된 바와 같이 복수 개의 조명을 턴-온 시키고, 제4위상신호를 수신하였을 때 도 6의 (d)에 도시된 바와 같이 복수 개의 조명을 턴-온 시킨다.That is, when the fringe lighting unit 10 receives the first phase signal, the controller 30 turns on the plurality of lights as shown in (a) of FIG. 6 and receives the second phase signal. As shown in (b) of FIG. 6, the plurality of lights is turned on, and when the third phase signal is received, the plurality of lights is turned on as shown in (c) of FIG. 6, and the fourth When a phase signal is received, a plurality of lights is turned on as shown in (d) of FIG. 6 .

제어기부(30)는 프린지조명부(10)가 전술한 바와 같이 작동되도록 하며, 도 7의 좌측에 도시된 바와 같이, C1, C2, C3, C4, C1, C2, C3, C4, C1, C2, C3, C4 … C1, C2, C3, C4 순서로 90도의 위상차를 갖는 4개의 이미지를 연속해서 획득한다. 여기서, 제1프린지이미지(C1)는 프린지조명부(10)가 제1위상작동 될 때, 즉, 제1조명(01), 제5조명(05), 제9조명(09), 제13조명(13)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다. 그리고 제2프린지이미지(C2)는 프린지조명부(10)가 제2위상작동 될 때, 즉, 제2조명(02), 제6조명(06), 제10조명(10), 제14조명(14)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다. 그리고 제3프린지이미지(C3)는 프린지조명부(10)가 제3위상작동 될 때, 즉, 제3조명(03), 제7조명(07), 제11조명(11), 제15조명(15)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지(C3)가 된다. 그리고 제4프린지이미지(C4)는 프린지조명부(10)가 제4위상작동 될 때, 즉, 제4조명(04), 제8조명(08), 제12조명(12), 제16조명(16)이 턴-온 되었을 때, 카메라부(20)에서 획득한 프린지이미지가 된다.The controller 30 causes the fringe lighting unit 10 to operate as described above, and as shown on the left side of FIG. 7 , C1, C2, C3, C4, C1, C2, C3, C4, C1, C2, C3, C4 … Four images with a phase difference of 90 degrees are successively acquired in the order of C1, C2, C3, and C4. Here, the first fringe image C1 is generated when the fringe lighting unit 10 is operated in the first phase, that is, the first illumination 01, the fifth illumination 05, the ninth illumination 09, and the thirteenth illumination ( 13) is turned on, it becomes a fringe image acquired by the camera unit 20 . And the second fringe image C2 is generated when the fringe lighting unit 10 is operated in the second phase, that is, the second lighting 02, the sixth lighting 06, the tenth lighting 10, and the 14th lighting 14 ) is turned on, it becomes a fringe image acquired by the camera unit 20 . And the third fringe image C3 is generated when the fringe lighting unit 10 is operated in the third phase, that is, the third illumination 03, the 7th illumination 07, the 11th illumination 11, and the 15th illumination 15 ) is turned on, it becomes the fringe image C3 acquired by the camera unit 20 . And the fourth fringe image C4 is generated when the fringe lighting unit 10 is operated in the fourth phase, that is, the fourth illumination 04, the 8th illumination 08, the 12th illumination 12, and the 16th illumination 16 ) is turned on, it becomes a fringe image acquired by the camera unit 20 .

그리고 제어기부(30)는 복수 개의 제1프린지이미지(C1)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (a) 및 도 8의 (a)에 도시된 바와 같은 제1정렬이미지(D1)를 생성한다. 그리고 복수 개의 제2프린지이미지(C2)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (b) 및 도 8의 (b)에 도시된 바와 같은 제2정렬이미지(D2)를 생성한다. 그리고 생성한 제1정렬이미지(D1)와 제2정렬이미지(D2)를 합성하여 합성이미지(E)를 생성한다.In addition, the controller 30 aligns the plurality of first fringe images C1 in a row according to the time order, and arranges the first aligned images D1 as shown in FIGS. 7 (a) and 8 (a). ) is created. Then, the plurality of second fringe images C2 are arranged in a row according to time order to generate a second aligned image D2 as shown in FIGS. 7 (b) and 8 (b). Then, the synthesized image E is generated by synthesizing the generated first aligned image D1 and the second aligned image D2.

또한, 제어기부(30)는 복수 개의 제3프린지이미지(C3)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (c) 및 도 8의 (c)에 도시된 바와 같은 제3정렬이미지(D3)를 생성한다. 그리고 복수 개의 제4프린지이미지(C4)를 시간 순서에 따라 일렬 종대로 정렬하여 도 7의 (d) 및 도 8의 (d)에 도시된 바와 같은 제4정렬이미지(D4)를 생성한다.In addition, the controller 30 aligns the plurality of third fringe images C3 in a row in a chronological order, and as shown in FIGS. 7 (c) and 8 (c), the third aligned image ( D3) is created. Then, the plurality of fourth fringe images C4 are arranged in a row according to the time order to generate a fourth aligned image D4 as shown in FIGS. 7(d) and 8(d).

아울러 제어기부(30)는 전술한 제1정렬이미지(D1), 제2정렬이미지(D2), 제3정렬이미지(D3) 그리고 제4정렬이미지(D4)를 생성하였을 때, 생성한 정렬이미지 모두를 합성하여 도 9에 도시된 바와 같은 합성이미지(E)를 생성한다.In addition, when the controller 30 generates the above-described first aligned image D1, second aligned image D2, third aligned image D3, and fourth aligned image D4, all of the generated aligned images by synthesizing to generate a composite image E as shown in FIG. 9 .

제어기부(30)는 총 4개의 정렬이미지 즉, 제1정렬이미지(D1) 내지 제4정렬이미지(D4)를 합성하여, 각 정렬이미지에 존재하는 손상부분의 높이차를 파악할 수 있도록 한다.The controller 30 synthesizes a total of four aligned images, that is, the first aligned image D1 to the fourth aligned image D4, so that the height difference of the damaged portion existing in each aligned image can be grasped.

이때, 제어기부(30)는 도 8의 각 정렬이미지의 빨간색 네모로 표시된 구겨진 부분을 도 9의 합성이미지에 빨간색 네모로 표시된 바와 같이 구겨짐이 높이치가 명확하게 나타나도록 할 수 있다. At this time, the controller 30 may make the crumpled portion marked with a red square of each alignment image of FIG. 8 clearly appear as a red square on the composite image of FIG. 9 .

이와 같은 제어기부(30)는 제1위상신호 내지 제4위상신호 간 위상차를 변경하고, 변경된 위상을 한 주기로 하여 복수 개의 조명을 턴-온 및 턴-오프 하며 전술한 특징을 보다 명확히 나타낼 수 있도록 한다.Such a controller 30 changes the phase difference between the first phase signal to the fourth phase signal, turns on and off a plurality of lights by using the changed phase as one cycle, so that the above-described characteristics can be more clearly expressed. do.

일례로, 제어기부(30)는 한 주기를 도 10에 도시된 바와 같이 λ 또는 도 11에 도시된 바와 같이 λ/2 또는 도 12에 도시된 바와 같이 λ/4 중 어느 하나를 한 주기로 설정할 수 있다. 제어기기부(30)는 설정된 각 주기에 대응해 조명을 동시에 켤 수 있다. 그리고 제어기부(30)는 설정된 각 주기에 설정된 위상 차 일례로, λ, λ/2 및 λ/4의 주기에서π/16 간격 내지 π/4 간격으로 복수 개의 조명을 켤 수 있다.As an example, the controller 30 may set one cycle to either λ as shown in FIG. 10 or λ/2 as shown in FIG. 11 or λ/4 as shown in FIG. 12 as one cycle. have. The control unit 30 may turn on the lighting at the same time in response to each set cycle. In addition, the controller 30 may turn on a plurality of lights at intervals of π/16 to π/4 in cycles of λ, λ/2 and λ/4 as an example of a phase difference set in each set period.

아울러, 제어기부(30)는 조명모듈그룹에 속해 있는 적어도 두 개 이상의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시킬 수 있다. 일례로, 제어기부(30)는 도 13의 (a)에 도시된 바와 같이 제1조명(01)과 제2조명(02) 그리고 제5조명(05)과 제6조명(06) 그리고 제9조명(09)과 제10조명(10) 그리고 제13조명(13)과 제14조명(14)이 λ/4의 주기 내에서 동시에 턴-온 및 턴-오프 될 수 있다. 제어기부(30)는 도 13의 (b)에 도시된 바와 같이, 제1조명(01), 제2조명(02), 제3조명(03) 그리고 제7조명(07), 제8조명(08), 제9조명(09) 그리고 제13조명(13), 제14조명(14), 제15조명(15)이 λ/3의 주기 내에서 동시에 턴-온 및 턴-오프 될 수 있다.In addition, the controller 30 simultaneously turns on and turns off at least two lights belonging to the lighting module group, and then simultaneously turns off at least two lights that are located on the other side of the turned-off lights - It can be turned on. As an example, the controller 30 includes a first illumination 01 and a second illumination 02, a fifth illumination 05, a sixth illumination 06, and a ninth illumination, as shown in FIG. 13(a). The illumination 09 and the tenth illumination 10 and the thirteenth illumination 13 and the 14th illumination 14 may be simultaneously turned on and off within a period of λ/4. As shown in (b) of FIG. 13 , the controller unit 30 includes a first illumination 01 , a second illumination 02 , a third illumination 03 , and a 7th illumination 07 and an 8th illumination ( 08), the ninth illumination 09, and the 13th illumination 13, the 14th illumination 14, and the 15th illumination 15 may be simultaneously turned on and off within a period of λ/3.

본 발명은 이동하는 검사체에 대하여도 라인씩 이미지 즉, 프린지이미지를 얻고 각 개별 라인에 대해 조명 밝기, 위상 및 주기를 제어하여 위상 차가 있는 이미지들을 동시에 획득한다. 그리고 획득한 이미지를 합성하여 검사체의 불량을 정확하게 검출할 수 있다.According to the present invention, images with a phase difference are obtained at the same time by obtaining an image line by line, that is, a fringe image, and controlling the brightness, phase, and period of illumination for each individual line even for a moving test object. And by synthesizing the acquired images, it is possible to accurately detect a defect in the test object.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 기술이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시 적인 것이며 한정적이 아닌 것으로 이해해야 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technology or essential features. will be able Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

1: 프린지 메트릭 방법을 이용한 표면 검사 시스템
10, 10-1, 10-2: 프린지조명부
11: 프레임모듈 12, 12-1, 12-2: 조명모듈
20: 카메라부 30: 제어기부
A: 바닥면 B: 검사체
C1: 제1프린지이미지 C2: 제2프린지이미지
C3: 제3프린지이미지 C4: 제4프린지이미지
D1: 제1정렬이미지 D2: 제2정렬이미지
D3: 제3정렬이미지 D4: 제4정렬이미지
E: 합성이미지
1: Surface inspection system using fringe metric method
10, 10-1, 10-2: fringe lighting unit
11: Frame module 12, 12-1, 12-2: Light module
20: camera unit 30: control unit
A: Bottom surface B: Inspection object
C1: 1st fringe image C2: 2nd fringe image
C3: 3rd fringe image C4: 4th fringe image
D1: first alignment image D2: second alignment image
D3: 3rd alignment image D4: 4th alignment image
E: Composite image

Claims (5)

회전 가능한 프레임모듈(11)과, 프레임모듈(11)의 내부에 일직선 상에 순차적으로 배치된 제1조명(01) 내지 제8조명(08)이 설치된 조명모듈(12)을 포함하여 검사체(B)에 빛을 조사하는 프린지조명부(10);
검사체(B)를 촬영하여 프린지이미지를 획득하는 카메라부(20);
설정된 주기에 설정된 위상 차 간격으로 복수 개의 조명을 Nano second 단위로 제어하고,
복수 개의 조명 가운데 최 일측에 위치한 조명을 설정 시간 온(On) 시킨 후, 턴-오프(Turn-Off) 시키는 제1위상신호,
제1위상신호에 의해 턴-온 된 조명의 타측에 위치하며 제1위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프 되어 있는 조명을 턴-온 시키는 제2위상신호를 출력하여 조명모듈(12)에 인가하는 제어기부(30)를 포함하고,
제어기부(30)는,
적어도 두 개의 조명을 동시에 턴-온 그리고 턴-오프 시킨 후, 턴-오프 된 조명의 타측에 위치하여 오프 된 적어도 두 개의 조명을 동시에 턴-온 시키며,
제1위상신호를 출력할 때 마다 카메라부(20)에서 획득한 복수 개의 제1프린지이미지(C1)를 시간 순서에 따라 일렬 종대로 정렬하고, 제2위상신호를 출력할 때 마다 카메라부(20)에서 획득한 복수 개의 제2프린지이미지(C2)를 시간 순서에 따라 일렬 종대로 정렬하는 프린지이미지수신모듈(310)과,
순차적으로 수신된 복수 개의 제1프린지이미지(C1)를 일렬 종대로 배치시켜 하나의 제1정렬이미지(D1)를 생성하고, 복수 개의 제2프린지이미지(C2)를 일렬 종대로 배치시켜 하나의 제2정렬이미지(D2)를 생성하는 얼라인모듈(320)과,
제1정렬이미지(D1) 내지 제2정렬이미지(D2)를 기 설정된 산식으로 연산한 후 합성하여 합성이미지(E)를 생성하는 합성이미지생성모듈(330)을 포함하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
A test object ( B) a fringe lighting unit 10 for irradiating light;
a camera unit 20 for obtaining a fringe image by photographing the test object (B);
Controls a plurality of lights in nanosecond units at a set phase difference interval at a set period,
A first phase signal that turns on and then turns off the light located on the one side of the plurality of lights for a set time,
It is located on the other side of the lights turned on by the first phase signal and outputs a second phase signal that turns on the lights that are turned on by the same number as the number of lights turned on by the first phase signal and a controller unit 30 applied to the lighting module 12,
The control unit 30,
At least two lights are turned on and off at the same time, and then located on the other side of the turned-off lights to turn on at least two lights that are turned off at the same time,
Each time the first phase signal is output, the plurality of first fringe images C1 acquired by the camera unit 20 are arranged in a row according to the time sequence, and whenever the second phase signal is outputted, the camera unit 20 ) and a fringe image receiving module 310 for arranging a plurality of second fringe images C2 obtained in a row and column according to the time sequence;
A plurality of sequentially received first fringe images (C1) are arranged in a row to generate one first aligned image (D1), and a plurality of second fringe images (C2) are arranged in a row to form one second image (C2). 2 an alignment module 320 for generating an alignment image D2;
Surface using a fringe metric method, comprising a composite image generation module 330 that generates a composite image E by synthesizing the first aligned image D1 to the second aligned image D2 with a preset formula inspection system.
제1항에 있어서, 제어기부(30)는,
제2위상신호에 의해 턴-온 된 조명의 타측에 위치해 제2위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프되어 있는 조명을 턴-온 시키는 제3위상신호,
제3위상신호에 의해 턴-온 된 조명의 타측에 위치해 제3위상신호에 의해 턴-온 된 조명의 개수와 동일한 개수만큼 턴-오프되어 있는 조명을 턴-온 시키는 제4위상신호를 순차적으로 반복하여 출력하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
The method of claim 1, wherein the controller 30,
A third phase signal that is located on the other side of the lights turned on by the second phase signal and turns on the lights that are turned off by the same number as the number of lights turned on by the second phase signal;
The fourth phase signal is located on the other side of the lights turned on by the third phase signal and sequentially turns on the lights that are turned off by the same number as the number of lights turned on by the third phase signal. A surface inspection system using a fringe metric method that repeatedly outputs.
제2항에 있어서, 제어기부(30)는,
제3위상신호가 출력할 때 마다 제3프린지이미지(C3)를 획득하고 제4위상신호가 출력될 때 마다 제4프린지이미지(C4)를 획득하며 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 획득하고,
복수 개의 제3프린지이미지(C3)를 일렬 종대로 배치시켜 하나의 제3정렬이미지(D3)를 생성하고,
복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하여,
제1프린지이미지(C1) 내지 제4프린지이미지(C4)를 합성해 표면의 높이 차를 나타내는 합성이미지(E)를 생성하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
The method of claim 2, wherein the controller 30,
Each time the third phase signal is output, a third fringe image C3 is obtained, each time the fourth phase signal is output, a fourth fringe image C4 is obtained, and a plurality of first fringe images C1 to a plurality of fringe images C1 are obtained. Obtaining the fourth fringe image (C4),
A plurality of third fringe images (C3) are arranged in a row to generate one third aligned image (D3),
By arranging a plurality of fourth fringe images (C4) in a row, one fourth aligned image (D4) is generated,
A surface inspection system using a fringe metric method for synthesizing the first fringe image (C1) to the fourth fringe image (C4) to generate a composite image (E) representing the height difference of the surface.
제3항에 있어서,
프린지이미지수신모듈(310)은,
카메라부(20)에서 촬영된 복수 개의 제1프린지이미지(C1) 내지 복수 개의 제4프린지이미지(C4)를 순차적으로 수신하고,
얼라인모듈(320)은,
순차적으로 수신된 복수 개의 제3프린지이미지(C3)를 일렬 종대로 배치시켜 하나의 제3정렬이미지(D3)를 생성하고, 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하고, 복수 개의 제4프린지이미지(C4)를 일렬 종대로 배치시켜 하나의 제4정렬이미지(D4)를 생성하고,
합성이미지생성모듈(330)은,
제3정렬이미지(D3) 내지 제4정렬이미지(D4)를 기 설정된 산식으로 연산한 후 합성하여 합성이미지(E)를 생성하는, 프린지 메트릭 방법을 이용한 표면 검사 시스템.
4. The method of claim 3,
The fringe image receiving module 310,
Sequentially receiving a plurality of first fringe images (C1) to a plurality of fourth fringe images (C4) photographed by the camera unit 20,
The alignment module 320 is
A plurality of sequentially received third fringe images (C3) are arranged in a row to generate one third aligned image (D3), and a plurality of fourth fringe images (C4) are arranged in a row to form one second image (C4). A fourth aligned image (D4) is generated, and a plurality of fourth fringe images (C4) are arranged in a row to generate one fourth aligned image (D4),
Composite image generation module 330,
A surface inspection system using a fringe metric method for generating a composite image (E) by synthesizing the third aligned image (D3) to the fourth aligned image (D4) using a preset formula.
삭제delete
KR1020210035281A 2021-03-18 2021-03-18 Surface Inspecting System Using Fringe Metric Method KR102320174B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210035281A KR102320174B1 (en) 2021-03-18 2021-03-18 Surface Inspecting System Using Fringe Metric Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210035281A KR102320174B1 (en) 2021-03-18 2021-03-18 Surface Inspecting System Using Fringe Metric Method

Publications (1)

Publication Number Publication Date
KR102320174B1 true KR102320174B1 (en) 2021-11-02

Family

ID=78476363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035281A KR102320174B1 (en) 2021-03-18 2021-03-18 Surface Inspecting System Using Fringe Metric Method

Country Status (1)

Country Link
KR (1) KR102320174B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257528A (en) * 2001-03-02 2002-09-11 Ricoh Co Ltd Three-dimensional shape measuring device by phase shift method
KR100824808B1 (en) 2006-08-25 2008-04-24 주식회사 엘티케이 Automated optical inspective apparatus for electrode tab of secondary battery
KR101473569B1 (en) * 2013-07-03 2014-12-26 주식회사 앤비젼 Apparatus of defect detection using line scan camera and method thereof
JP2018205004A (en) * 2017-05-31 2018-12-27 株式会社キーエンス Image inspection device
JP2018205005A (en) * 2017-05-31 2018-12-27 株式会社キーエンス Image inspection device
KR20200021473A (en) * 2018-01-08 2020-02-28 일루미나, 인코포레이티드 Multiplexing of Active Sensor Detectors Using Structured Lighting
KR20200021472A (en) * 2018-01-24 2020-02-28 일루미나, 인코포레이티드 Structured Illumina Microscopy with Line Scanning
KR102179236B1 (en) * 2019-07-22 2020-11-16 주식회사 에스에프에이 Inspection system using multifaceted optical system and image synthesis and its inspection method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257528A (en) * 2001-03-02 2002-09-11 Ricoh Co Ltd Three-dimensional shape measuring device by phase shift method
KR100824808B1 (en) 2006-08-25 2008-04-24 주식회사 엘티케이 Automated optical inspective apparatus for electrode tab of secondary battery
KR101473569B1 (en) * 2013-07-03 2014-12-26 주식회사 앤비젼 Apparatus of defect detection using line scan camera and method thereof
JP2018205004A (en) * 2017-05-31 2018-12-27 株式会社キーエンス Image inspection device
JP2018205005A (en) * 2017-05-31 2018-12-27 株式会社キーエンス Image inspection device
KR20200021473A (en) * 2018-01-08 2020-02-28 일루미나, 인코포레이티드 Multiplexing of Active Sensor Detectors Using Structured Lighting
KR20200021472A (en) * 2018-01-24 2020-02-28 일루미나, 인코포레이티드 Structured Illumina Microscopy with Line Scanning
KR102179236B1 (en) * 2019-07-22 2020-11-16 주식회사 에스에프에이 Inspection system using multifaceted optical system and image synthesis and its inspection method

Similar Documents

Publication Publication Date Title
CN103245671B (en) Stamping parts surface defect detection apparatus and method
CN104335030B (en) The foreign matter detecting method of substrate
JP6330574B2 (en) Teaching apparatus and teaching method for substrate inspection apparatus
KR101583659B1 (en) Apparatus for measuring three dimension shape
JP6256249B2 (en) Measuring device, substrate inspection device, and control method thereof
US10430940B2 (en) Inspection system and inspection method
KR101410220B1 (en) Method for measuring height of measuring target in three dimensional shape measuring apparatus
JP5432864B2 (en) Inspection apparatus and inspection method
KR101659302B1 (en) Three-dimensional shape measurement apparatus
KR101628158B1 (en) Apparatus for measuring three dimension shape
JP2014508938A (en) Vision inspection equipment using multiple grid patterns
JP5612969B2 (en) Appearance inspection apparatus and appearance inspection method
JP2011095226A (en) Inspection device of material to be inspected, and position correction device of electronic substrate
KR20110089486A (en) Mounting boards inspection apparatus and method thereof
KR101766468B1 (en) Method for 3D shape measuring using of Triple Frequency Pattern
US7039228B1 (en) System and method for three-dimensional surface inspection
JP2014517914A (en) Inspection device
KR100863341B1 (en) Particle inspection system of fpd and wafer using of repetition image
KR101757240B1 (en) Method for generating reference pattern of 3D shape measuring device
KR102216999B1 (en) Non-Lambertian Surface Inspecting System For Line Scan
KR102320174B1 (en) Surface Inspecting System Using Fringe Metric Method
JP6677060B2 (en) Inspection device, storage medium, and program
KR20200077159A (en) Scan device
KR101405427B1 (en) Multi moire vision inspection apparatus using one period grid
JP2010175283A (en) Device for producing plane image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant