KR101700729B1 - 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템 - Google Patents

단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템 Download PDF

Info

Publication number
KR101700729B1
KR101700729B1 KR1020150121656A KR20150121656A KR101700729B1 KR 101700729 B1 KR101700729 B1 KR 101700729B1 KR 1020150121656 A KR1020150121656 A KR 1020150121656A KR 20150121656 A KR20150121656 A KR 20150121656A KR 101700729 B1 KR101700729 B1 KR 101700729B1
Authority
KR
South Korea
Prior art keywords
image
target image
dimensional shape
module
restoring
Prior art date
Application number
KR1020150121656A
Other languages
English (en)
Inventor
송승호
김영일
양재식
Original Assignee
티클로버(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티클로버(주) filed Critical 티클로버(주)
Priority to KR1020150121656A priority Critical patent/KR101700729B1/ko
Application granted granted Critical
Publication of KR101700729B1 publication Critical patent/KR101700729B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object

Abstract

본 발명은 단일 프레임의 기준 이미지 및 대상 이미지에 대한 영상 처리 과정을 거쳐 연산에 필요한 이미지를 최소화하면서도 검사 속도가 빠른 3차원 형상 복원 장치 및 시스템에 관한 것이다.

Description

단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템{AN APPARATUS AND A SYSTEM FOR RESTORING THREE DIMENSIONAL FORM BY A SINGLE FRAME}
본 발명은 단일 프레임에 의하여 3차원 형상을 복원하기 위한 기법에 관한 것으로, 더 구체적으로는 단일 프레임의 기준 이미지 및 대상 이미지에 대한 영상 처리 과정을 거쳐 연산에 필요한 이미지를 최소화하면서도 검사 속도가 빠른 3차원 형상 복원 장치 및 시스템에 관련된다.
영상 처리 기술의 발달에 따라, 객체의 영상으로부터 3차원 형상을 획득하는 3차원 스캐너가 개발되고 있으며, 이는 3차원 프린터에도 적용 여지가 있다는 점에서 향후 더욱 활발한 연구개발이 진행될 것으로 전망되고 있다. 이러한 3차원 형상을 획득하고 복원하기 위한 시스템에 대해 광학적인 측정 기법이 적용될 수 있고, 이러한 광학적 측정은 컴퓨터 비젼 기술과 결합되어, 자동화 제조 설비에 적용될 수 있다.
이러한 3차원 형상을 측정하기 위한 기법은 프로브(Probe)가 측정하고자 하는 객체에 접촉하는지의 여부에 따라 접촉식과 비접촉식으로 구분되는데, 접촉식은 작은 크기의 면적을 이동하면서 물체의 높이를 측정하게 되어, 통상 SEM(Scanning Electron Microscope), TEM(Transmission Electron Microscope) 등의 유형이 있다. 한편, 비접촉식은 대상 객체가 센서와 접촉되지 않고 형상을 측정하는 것으로, 모아레(Moire) 또는 프린지(fringe) 방식, 전파 시간(Time of flight) 방식, 액티브 비전(active vision) 방식, 라인 스캔(line scan) 방식 등의 유형이 있다. 이러한 3차원 형상 측정기법에 있어, 접촉식은 정확도 면에서, 비접촉식은 속도 면에서 우위에 있는 것으로 알려져 있다.
특히, 모아레 또는 프린지 방식은 외부 광원을 사용하여, 선이나 점의 집합체 개념인 프린지 패턴(fringe pattern)의 높이 변화로부터 물체의 높이 측정하게 되어, 개별 라인을 따라 스캐닝하는 라인 스캔 방식보다 빠르고 정확한 3차원 형상의 측정이 가능하다는 장점이 있다.
그러나 기존의 모아레 또는 프린지 방식에서는, 동일한 대상 객체에 대하여 서로 다른 위상차를 갖는 4장의 영상을 촬영하여 기준 데이터(reference data)와 비교함으로써 물체의 위상 정보를 추출하여 3차원 물체로 복원하는 방식을 사용하고 있다. 이 경우, 광원에 격자를 적용하여 프린지 패턴을 만들고, 이에 따라 획득된 영상을 기준 데이터와 비교하게 되는데, 각도에 따른 그림자 영역이 발생될 여지가 있고 물체의 특성 등으로부터 기인하여 빛의 반사율이 다른 영역에 비해 상대적으로 높아지는 포화 영역이 형성됨으로써 특정 영역의 데이터 손실이 있을 수 있다. 이러한 이유로 단일 대상 객체에 대해 촬영 위치가 상이한 4개의 채널에서, 서로 다른 위상 차를 갖는 4장의 영상을 촬영함으로써, 단일 대상 객체에서 동일한 영역의 3차원 형상 측정 내지 복원을 가정하더라도 최소한 16장의 샘플링 이미지가 필요하다.
본 특허출원의 발명자는, 기존 무아레 또는 프린지 방식에서 단일 대상 객체에 대해, 16장의 샘플링 이미지에 의하지 않고 단일 이미지에 의하여 3차원 형상을 측정하거나 복원할 수 있는 기법을 착안하기 위하여 본 발명을 창출하기에 이르렀다.
전술한 문제점을 해결하기 위한 본 발명은, 단일 프레임의 기준 이미지 및 대상 이미지에 대한 영상 처리 과정을 거쳐 연산에 필요한 이미지를 최소화하면서도 검사 속도가 빠른 3차원 형상 복원 장치 및 시스템을 제공하기 위함이다.
궁극적으로 본 발명은, 기존의 3차원 측정 및 복원 기법에 비하여 촬영 속도와 검사 속도를 개선하면서, 전체 장치 및 시스템 사양을 간소화할 수 있는 장치 및 시스템을 제공하는 것을 그 목적으로 한다.
본 발명의 과제는 이상에서 언급한 과제들로 제한되지 아니하며, 언급되지 아니한 또 다른 해결과제가 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 일 실시예로, 3차원 형상을 복원하기 위한 시스템이 개시된다. 상기 시스템은, 3차원 형상의 복원 대상 객체에 관한 기준 이미지 및 대상 이미지로부터, RGB(Red-Green-Blue) 각각의 인자에 관한 성분을 분리하고, 상기 RGB 인자로 인한 중첩 영역 데이터를 프로세싱함으로써, 1차 기준 이미지 및 예비 대상 이미지를 생성하는 RGB 처리 모듈; 상기 예비 대상 이미지로부터 유효값을 구분하기 위한 Flag Data를 생성하여 1차 대상 이미지를 생성하는 대상 유효 판별 모듈; 상기 1차 기준 이미지 및 상기 1차 대상 이미지에 대하여 선형 근사화함으로써 2차 기준 이미지 및 2차 대상 이미지를 산출하는 선형 피팅 모듈; 상기 2차 대상 이미지에 대하여 근사화로 인한 노이즈를 제거하여 3차 대상 이미지를 생성하는 노이즈 제거 모듈; 및 상기 3차 대상 이미지 및 상기 2차 기준 이미지 간의 비교를 통해 높이 값에 대한 연산을 처리하는 높이 데이터 연산 모듈을 포함한다.
한편, 상기 대상 객체에 대한 기준 이미지 및 대상 이미지는 단일 프레임인 것을 특징으로 한다.
그리고 상기 시스템에서 RGB 처리 모듈은, 상기 3차원 형상의 복원 대상 객체에 관한 대상 이미지로부터 그림자 영역을 검출하며, 상기 그림자 영역의 검출과 병렬적으로 1차 경계 검출(first edge detection)이 가능할 수 있다.
또한, 본 발명의 제1 양상에 의한 3차원 형상을 복원하기 위한 시스템은, 상기 높이 값에 대한 연산 처리 결과로부터 측정 레인지를 적용하고, 위상 주기에 관한 데이터를 추출하며, 모듈레이션을 적용하기 위한 후처리모듈을 더 포함하는데, 후처리모듈은 상기 높이 값에 대한 연산 처리 결과에 대하여 2차 경계 검출을 추가로 수행할 수 있다.
뿐만 아니라, 본 발명의 제1 양상에 의한 3차원 형상을 복원하기 위한 시스템은 FWHM(Full width at half maximum) 모듈부를 더 포함할 수 있고, 상기 FWHM 모듈부는 상기 2차 경계 검출된 데이터와 상기 모듈레이션이 적용된 데이터에 기반하여 FWHM 알고리즘을 적용함으로써 위상 노이즈를 제거한다.
본 발명에 따른 일 실시예로, 3차원 형상을 복원하기 위한 장치가 개시된다. 상기 장치는, 대상 객체에 대해 광원을 조사하기 위한 광조사부; 상기 대상 객체로부터 영상을 촬영하기 위한 카메라부; 및 상기 카메라부에서 촬영된 영상으로부터 기준 이미지 및 대상 이미지를 추출하여, 3차원 형상을 복원하기 위한 영상 처리부를 포함한다.
상기 광조사부는 레이저, SLM(Spatial Light Modulators), 또는 DLP(Digital Light Processing)일 수 있다.
한편, 상기 광조사부는, 서로 다른 파장의 레이저를 조사하는 하나 이상의 레이저 광원 모듈; 상기 하나 이상의 레이저 광원 모듈에서 레이저가 조사되는 영역에 부착되는 다수의 렌즈; 상기 렌즈를 투과한 레이저 광원이 반사되기 위한 하나 이상의 반사경; 및 상기 다수의 렌즈 및 상기 하나 이상의 반사경을 통해 전파된 광원으로부터 간섭 패턴을 형성하는 마이켈슨 간섭계로 구성될 수 있다.
한편, 카메라부는 상기 대상 객체에 대하여 서로 다른 위치에서 촬영이 이루어지는 2채널, 4채널 또는 8채널일 수 있다.
또한, 상기 영상처리부는, 상기 기준 이미지 및 상기 대상 이미지로부터 RGB(Red-Green-Blue) 각각의 인자에 관한 성분을 분리하고, 상기 RGB 인자로 인한 중첩 영역 데이터를 프로세싱함으로써, 1차 기준 이미지 및 예비 대상 이미지를 생성하는 RGB 처리 모듈; 상기 예비 대상 이미지로부터 유효값을 구분하기 위한 Flag Data를 생성하여 1차 대상 이미지를 생성하는 대상 유효 판별 모듈; 상기 1차 기준 이미지 및 상기 1차 대상 이미지에 대하여 선형 근사화함으로써 2차 기준 이미지 및 2차 대상 이미지를 산출하는 선형 피팅 모듈; 상기 2차 대상 이미지에 대하여 근사화로 인한 노이즈를 제거하여 3차 대상 이미지를 생성하는 노이즈 제거 모듈; 상기 3차 대상 이미지 및 상기 2차 기준 이미지 간의 비교를 통해 높이 값에 대한 연산을 처리하는 높이 데이터 연산 모듈; 상기 높이 값에 대한 연산 처리 결과로부터 측정 레인지를 적용하고, 위상 주기에 관한 데이터를 추출하며, 모듈레이션을 적용하기 위한 후처리모듈; 및 상기 2차 경계 검출된 데이터와 상기 모듈레이션이 적용된 데이터에 기반하여 FWHM 알고리즘을 적용함으로써 위상 노이즈를 제거하기 위한 FWHM 모듈부를 포함한다.
본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에 의하면, 기준 이미지와 대상 이미지 각각에 대해 단일한 프레임으로 3차원 형상 데이터에 대한 복원이 가능하기 때문에 기존 방식에 비하여 촬영시간이 25% 수준으로 단축될 수 있고 이미지 프로세싱에 요구되는 메모리도 적은 용량만이 요구될 수 있다.
또한, 기존의 프린지 패턴의 위상을 변경하기 위하여 PZT와 이에 대한 제어기가 별도로 필요하였으나, 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에 의하면, 위상 시프팅 과정이 필수적이지 않기 때문에 시스템을 구성하는 모듈의 구성을 간소화할 수 있다.
이와 같이, 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에서 필수적으로 요구되는 사항은 감소하면서도 기존의 3차원 측정 및 복원 방식에 비하여 빠른 촬영 속도와 검사 속도를 갖는 시스템의 구현이 가능하다는 궁극적인 효과가 도출된다.
도 1은 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템의 기능적 구성도이다.
도 2는 본 발명의 일 실시예인 3차원 형상을 복원하는 방법에 대한 전반적인 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 일시예인 도 2 의 흐름도를 보다 구체화한다.
도 4 및 도 5는 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템 중 광조사부 및 카메라부를 달리한 다양한 실시예를 도시한다.
도 6a 및 도 6b는 본 발명에 따른 3차원 형상을 복원하기 위한 시스템에 의해, 기준 이미지 및 대상 이미지에 대하여 위상 연산을 처리한 2차원 이미지를 예시적으로 도시한다.
도 7은 도 6a 및 도 6b의 연산 결과로부터 3차원 형상으로 복원된 이미지를 도시한다.
도 8a 및 도 8b는 앞서, 도 6a 및 도 6b와는 상이한 대상 객체를 대상으로 한 기준 이미지 및 대상 이미지에 위상 연산을 한 2차원 이미지를 예시적으로 도시한다.
도 9는 도 8a 및 도 8b의 연산 결과로부터 3차원 형상으로 복원된 이미지를 도시한다.
본 발명의 특징과 이를 달성하기 위한 방법은, 첨부된 도면과 함께 상세히 후술될 실시예를 참고로 명확하게 이해될 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되지 아니하고 다양한 형태로 구현될 수 있고, 기술된 실시예는 본 발명에 대한 이해를 돕고 완전한 개시의 목적으로 기술되어, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 전달하기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.
제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 아니하며, 이러한 용어는 단지 일 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수 있음은 물론이다.
또한, 본 명세서에서 단수인 것으로 명확히 특정되지 아니한다면, 복수의 기재 형태까지도 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서 용어 '예시적인'은 '예, 보기, 또는 예시로서 기능하는' 것을 의미하도록 사용될 뿐, '예시적인' 것으로서 본 명세서에서 기재된 임의의 실시예 또는 양상이 반드시 다른 실시예 또는 양상에 비하여 바람직하거나 유리한 것으로 해석되어서는 아니된다. 본 명세서에서 '포함하다' 또는 '구성되다'라는 용어는 해당 특징, 속성, 구성, 컴포넌트가 존재하는 것을 의미하나, 이들 특징, 속성, 구성, 컴포넌트만을 포함하는 것이 아니라 하나 이상의 다른 특징, 속성, 구성, 컴포넌트 및 이들의 조합의 존재가능성이나 추가될 수 있는 여지를 배제하지 않는 것으로 이해되어야만 한다.
이하, 첨부된 도면을 참고로 본 발명의 다양한 실시예에 대해 설명한다.
도 1은 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템의 기능적 구성도이다. 본 발명에 의한 장치 및 시스템은 크게, 광 조사부(100), 카메라부(200), 영상 처리부(300)로 구성된다.
광 조사부(100)는 3차원 형상으로 복원하고자 하는 대상 객체에 대하여 광원을 조사하기 위한 것으로, 레이저 광원 모듈(110), 렌즈(120), 반사경(130), 및 마이켈슨 간섭계(140)를 포함한다.
카메라부(200)는 대상 객체에 대한 샘플 이미지를 획득하여 이를 대상 이미지로 획득가능하도록 촬영 기능이 가능한 것으로, 이미지 센서를 사용하여 빛의 강도를 전기적 신호로 변환하여 디지털 이미지 표현이 가능한 칼라 촬영 카메라일 수 있다. 이러한 카메라부(200)는 복원하고자 하는 대상 객체에 대하여 촬영의 초평면과 수직에 위치하여 광 조사부(100)에 따른 각도에 의하여 2채널, 4채널, 또는 8채널 등으로 구성될 수 있다.
레이저 광원 모듈(110)은 파장이 상이한 서로 다른 레이저 소자, SLM(Spatial Light Modulators), DLP(Digital Light Processing) 중 임의의 하나로 구현될 수 있다. 레이저 광원 모듈(110)이 서로 다른 파장을 갖는 레이저 소자로 구현되는 경우는 도 4의 예시적인 실시예를 참고한다.
도 4에서 3개의 광원이 각각 Laser Source #1, #2, #3로 표기되는데, 예를 들어 3개의 광원 각각은 R, G, B에 따른 파장 범위를 각각 다르게 갖도록 파장을 달리할 수 있다. 레이저 광원 모듈로부터의 광원은 분리계(splitter), 렌즈, 반사경, 마이켈슨 간섭계 등을 거쳐, 대상 객체에 입사되며, 이에 대한 영상이 카메라부(200)에서 촬영될 수 있다.
비록 도 4는 광조사부(100)와 카메라부(200)가 별도의 구성으로 도시되었으나, 분리계, 렌즈, 반사경, 간섭계의 구성과 배치에 따라, 광 조사부(100)와 카메라부(200)는 통합되어 실시될 수 있음에 유의한다.
한편, 레이저 광원 모듈(110)이 SLM 또는 DLP인 경우는 도 5에 도시된 또다른 실시예를 참조로 이해될 수 있다.
SLM 프로젝터는 광원의 투과율 및 편광각을 이용하여 광원의 색, 측정 레인지를 조절가능하다. 한편, DLP 프로젝터는 하나의 단일 광원으로부터 R, G, B 각각의 빛을 분리하여 소자별로 빛을 제공하는 방식을 취하며, 스위칭 속도는 매초 수십만회 이상이며, 디지털 신호로 제어되는데, 광원으로부터 조사된 광을 디지털 거울에 의하여 광 경로를 조절하여 스크린으로 반사시킨다고 할 수 있다.
도 5에 도시된 실시예에서 광 조사부(100)가 SLM 또는 DLP인 경우를 총괄하여 프로젝터로 도시되는데, 프로젝터에서 대상 객체를 향해 빛이 조사되고, 대상 객체에 대한 대상 (샘플) 이미지를 카메라부(200)가 획득하는 양상은 도 4와 마찬가지로 이해될 수 있다.
이렇게 카메라부(200)를 통해 대상 객체의 영상이 촬영되며, 이에 대한 대상 (샘플) 이미지와 기준 이미지(reference image)에 의하여 영상 처리부(300)에서 3차원 형상의 영상 이미지를 복원한다.
RGB 처리 모듈(310)은 기준 이미지 및 대상 이미지로부터 RGB 각각의 인자에 관한 성분을 분리하여 이미지 픽셀 값으로 추출할 수 있고, 또한 RGB 인자로 인하여 발생될 수 있는 중첩 영역에 대한 데이터를 프로세싱하여, 1차 기준 이미지 및 예비 대상 이미지를 생성한다. 즉, 1차 기준 이미지는 기준 이미지로부터 RGB 인자로 인한 중복 데이터가 처리된 후의 이미지를 지칭하고, 예비 대상 이미지는 대상 (샘플) 이미지로부터 RGB 인자로 인한 중복 데이터가 처리된 후의 이미지를 지칭한다.
대상 유효 판별 모듈(320)은, 상기 예비 대상 이미지로부터 유효값을 구분하기 위한 플래그 데이터(Flag Data)를 생성하여 1차 대상 이미지를 생성한다. 선형 피팅 모듈(330)은, 1차 기준 이미지 및 1차 대상 이미지에 대하여 선형 근사화(linear fitting)함으로써 2차 기준 이미지 및 2차 대상 이미지를 산출한다. 이러한 대상 유효 판별 모듈(320)과 선형 피팅 모듈(330)에 의해, 선형 함수를 이용하여 높이 축에 대한 분해능을 높이게 되는데, 플래그 데이터를 이용하여 선형 함수로 근사화함으로써, 높이 데이터에 대한 분해능을 높일 수 있다.
노이즈 제거 모듈(340)은 2차 대상 이미지에 대하여 근사화로 인한 노이즈를 제거하여 3차 대상 이미지를 생성한다. 높이 데이터 연산 모듈(350)은 3차 대상 이미지 및 2차 기준 이미지 간의 비교를 통해 높이 값에 대한 연산을 처리한다.
이러한 영상 처리부(300)의 처리 과정에서 프로세싱 절차를 기준 이미지와 대상 이미지에 대해 살펴보면 다음과 같이 정리될 수 있다.
기준 이미지는 중복 데이터가 처리되어 1차 기준 이미지로 변환되고, 이에 대한 선형 근사화가 이루어져 2차 기준 이미지로 변환된다. 한편, 대상 이미지는 중복 데이터가 처리되어 예비 대상 이미지로 변환되어, 이에 대한 플래그 데이터가 생성되어 1차 대상 이미지로 변환되고, 선형 근사화를 거쳐 2차 대상 이미지로 변환된 후, 노이즈가 제거됨으로써 3차 대상 이미지로 변환되는 것이다.
이러한 이미지 프로세싱 과정을 거쳐, 높이 데이터를 산출하기 위하여서는 2차 기준 이미지와 3차 대상 이미지 간의 연산 과정에 의한다고 할 수 있다.
도 2는 본 발명의 일 실시예인 3차원 형상을 복원하는 방법에 대한 전반적인 흐름도이다. 먼저, 3차원 형상의 복원 대상 객체에 관한 대상(샘플) 이미지가 카메라부에서 촬영되어, 대상 이미지 및 기준 이미지가 프로세싱된다(단계 10). 다음으로, 프로세싱된 기준 이미지 및 대상 이미지 간의 비교를 통해 높이 값을 연산한다(단계 20). 그리고 연산된 높이 값에 대해 FWHM 알고리즘을 이용하여 위상 노이즈를 제거하여(단계30), 3차원 복원 데이터를 도출하게 된다(단계 40).
이러한 도 2의 실시예에서 FWHM 알고리즘은 임의의 함수에 대하여 최대값의 절반이 되는 독립변수 간의 차이로 정의되므로, 단계 20에서 프로세싱된 기준 이미지와 프로세싱된 대상 이미지 간의 차에 의해 높이 값이 계산되고 이에 대해 독립변수 간의 차에 의해 위상노이즈를 제거하는 것이다.
도 3a 및 도 3b는 본 발명의 일 일시예인 도 2 의 흐름도를 보다 구체적으로 기술하는데, 도 3a는 도 2의 실시예에서 기준 이미지 및 대상 이미지를 프로세싱하는 과정인 단계 10을 상세히 기술하며, 도 3b는 도 2의 실시예에서 단계 20 및 단계 30을 구체화한다.
먼저, 도 3a에서 R11 단계부터 R13 단계까지는 기준 이미지와 연관된 프로세싱 과정이고, S11 단계부터 S15 단계까지는 대상 (샘플) 이미지와 연관된 프로세싱 과정이다.
기준 이미지로부터 RGB 개별 인자에 따른 성분을 분리하고(R11 단계), 대상 (샘플) 이미지로부터 RGB 개별 인자에 따른 성분을 분리한다(S11 단계). 각각의 단계를 거친 후, RGB 인자로 인한 중첩영역 데이터를 프로세싱하여 각각 1차 기준 이미지 및 예비 대상 이미지가 생성된다(R12 및 S12 단계). 이러한 RGB 요소와 관련된 과정은 RGB 처리 모듈(310)에 의해 수행될 수 있다.
이후, 예비 대상 이미지에 대해서만, 대상 유효 판별 모듈(320)에 의해 유효값을 구분하기 위하여 플래그 데이터를 생성하여 1차 대상 이미지를 생성하는데(S13 단계), 기준 이미지는 3차원 형상을 복원하기 위한 객체에 대한 비교 대상의 기반이 되는 이미지이므로, 유효값을 구분하기 위한 본 과정이 생략된다.
그리고 1차 기준 이미지 및 1차 대상 이미지에 대하여, 선형 피팅 모듈(330)에 의해, 선형 근사화를 통해 2차 기준 이미지 및 2차 대상 이미지가 산출된다(R13 및 S14 단계).
선형 근사화된 2차 대상 이미지는, 노이즈 제거 모듈(340)에 의해 근사화 노이즈를 제거하여 3차 대상 이미지를 생성한다(S15 단계). 이 단계도 앞서 S13 단계와 마찬가지로, 2차 기준 이미지는 비교 대상의 기반이 되는 이미지이므로, 기준 이미지와 연관된 별도의 노이즈 제거 과정은 불필요하다.
다음으로, A에 의해 연계된 도 3b를 참조한다. 높이 데이터 연산 모듈(350)은 2차 기준 이미지와 3차 대상 이미지 간의 비교를 통해 높이 값(Height Value)을 연산하며(20 단계), 높이 연산 결과에 대해 측정레인지를 적용하고, 위상 주기 정보를 추출하여 모듈레이션을 적용한다(21 단계). 이와 병렬적으로 높이 값이 연산된 데이터에 대해 에지 검출(Edge Detection)을 통하여 경계값에 대한 검출을 처리할 수 있다(22 단계). 이러한 21 단계 및 22 단계의 과정은 영상처리부(300)의 후처리모듈에 의해 수행될 수 있다(도 1에서 후처리모듈은 도시되지 않음).
모듈레이션이 적용된 데이터와 에지 검출에 의해 경계 처리가 된 데이터에 대하여 FWHM를 이용하여 위상 노이즈를 제거함으로써(30 단계), 3차원 형상의 이미지가 최종 복원된다(도 2의 40 단계). 이러한 30 단계는 영상처리부(300)의 FWHM 모듈부에 의해 수행될 수 있다(도 1에서 FWHM 모듈부는 도시되지 않음).
이상에서 상술된 도 2, 도 3a, 도 3b에 따른 3차원 형상을 복원하기 위한 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
도 6a 및 도 6b는 본 발명에 따른 3차원 형상을 복원하기 위한 시스템에 의해, 기준 이미지 및 대상 이미지에 대하여 위상 연산을 처리한 2차원 이미지를 예시적으로 도시하며, 이러한 도 6a 및 도 6b의 연산 결과로부터 3차원 형상으로 복원된 이미지가 도 7에 도시된다. 도 6a와 도 6b를 비교하여 알 수 있듯이, 정육면체 형상임을 알 수 있으며, 도 6a와 도 6b의 데이터 간 비교에 의해 최종 복원된 3차원 이미지는 도 7과 같이, 정육면체 윗면의 모서리 일 단이 다른 부분보다 돌출되어 있음을 확인할 수 있다.
도 8a 및 도 8b는 앞서, 도 6a 및 도 6b와는 상이한 대상 객체를 대상으로 한 기준 이미지 및 대상 이미지에 위상 연산을 한 2차원 이미지를 예시적으로 도시하며, 이에 대한 연산 결과로부터 3차원 형상으로 복원된 이미지가 도 9에 도시된다. 도 8a 및 도 8b를 비교하여 짐작되는 바와 같이, 본 예시에서 대상 객체는 한글 자음 'ㅈ' 형상임을 알 수 있고, 이는 도 9의 3차원 복원 데이터에 의해 확인할 수 있다.
이러한 도 6a 내지 도 9의 예시적인 실험예와 같이, 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에서는, 광조사부에서 마이켈슨 간섭계에 의해 간섭 패턴을 생성하고 이에 기반하여 기준 이미지와 대상 이미지를 프로세싱함으로써, 3차원 형상 데이터를 복원함을 알 수 있다.
이상에서 설명된 본 발명에 따른 3차원 형상을 복원하기 위한 장치, 방법 및 시스템은 기존의 기법과 다음과 같이 비교될 수 있다.
기존의 기법 본 발명
기준 이미지 4 프레임 1 프레임
대상 이미지 4 프레임 1 프레임
광원 빔 프로젝터 레이저
카메라 흑백 카메라 칼라 카메라
프로세스 위상 천이 선형 근사화
측정레인지 격자에 따른 고정형 가변형
정리하여, 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에 의하면, 기준 이미지와 대상 이미지 각각에 대해 단일한 프레임으로 3차원 형상 데이터에 대한 복원이 가능하기 때문에 기존 방식에 비하여 촬영시간이 25% 수준으로 단축될 수 있고 이미지 프로세싱에 요구되는 메모리도 적은 용량만이 요구될 수 있다.
또한, 기존의 프린지 패턴의 위상을 변경하기 위하여 PZT와 이에 대한 제어기가 별도로 필요하였으나, 본 발명에 따른 3차원 형상을 복원하기 위한 장치 및 시스템에 의하면, 위상 시프팅 과정이 필수적이지 않기 때문에 시스템을 구성하는 모듈의 구성을 간소화할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다.
따라서, 본 발명의 기술적 범주는 설명된 실시예에 국한되지 아니하며, 후술하는 청구범위뿐 아니라 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 광조사부
110: 레이저 광원 모듈
120: 렌즈
130: 반사경
140: 마이켈슨 간섭계
200: 카메라부
300: 영상처리부
310: RGB 처리 모듈
320: 대상 유효 판별 모듈
330: 선형 피팅 모듈
340: 노이즈 제거 모듈
350: 높이 데이터 연산 모듈

Claims (10)

  1. 3차원 형상의 복원 대상 객체에 관한 기준 이미지 및 대상 이미지로부터, RGB(Red-Green-Blue) 각각의 인자에 관한 성분을 분리하고, 상기 RGB 인자로 인한 중첩 영역 데이터를 프로세싱함으로써, 1차 기준 이미지 및 예비 대상 이미지를 생성하는 RGB 처리 모듈;
    상기 예비 대상 이미지로부터 유효값을 구분하기 위한 Flag Data를 생성하여 1차 대상 이미지를 생성하는 대상 유효 판별 모듈;
    상기 1차 기준 이미지 및 상기 1차 대상 이미지에 대하여 선형 근사화함으로써 2차 기준 이미지 및 2차 대상 이미지를 산출하는 선형 피팅 모듈;
    상기 2차 대상 이미지에 대하여 근사화로 인한 노이즈를 제거하여 3차 대상 이미지를 생성하는 노이즈 제거 모듈; 및
    상기 3차 대상 이미지 및 상기 2차 기준 이미지 간의 비교를 통해 높이 값에 대한 연산을 처리하는 높이 데이터 연산 모듈;
    을 포함하는, 3차원 형상을 복원하기 위한 시스템.
  2. 제1항에 있어서,
    상기 기준 이미지 및 상기 대상 이미지는 단일 프레임인 것을 특징으로 하는, 3차원 형상을 복원하기 위한 시스템.
  3. 제2항에 있어서,
    상기 RGB 처리 모듈은, 상기 3차원 형상의 복원 대상 객체에 관한 대상 이미지로부터 그림자 영역을 검출하며, 상기 그림자 영역의 검출과 병렬적으로 1차 경계 검출(first edge detection)이 가능한 것을 특징으로 하는,
    3차원 형상을 복원하기 위한 시스템.
  4. 제3항에 있어서,
    상기 높이 값에 대한 연산 처리 결과로부터 측정 레인지를 적용하고, 위상 주기에 관한 데이터를 추출하며, 모듈레이션을 적용하는 후처리모듈;
    을 더 포함하는,
    3차원 형상을 복원하기 위한 시스템.
  5. 제4항에 있어서,
    상기 후처리 모듈은, 상기 높이 값에 대한 연산 처리 결과에 대하여 2차 경계 검출을 추가로 수행하는 것을 특징으로 하는,
    3차원 형상을 복원하기 위한 시스템.
  6. 제5항에 있어서,
    상기 2차 경계 검출된 데이터와 상기 모듈레이션이 적용된 데이터에 기반하여 FWHM(Full width at half maximum) 알고리즘을 적용함으로써 위상 노이즈를 제거하기 위한 FWHM 모듈부를 더 포함하는,
    3차원 형상을 복원하기 위한 시스템.
  7. 대상 객체에 대해 광원을 조사하기 위한 광조사부;
    상기 대상 객체로부터 영상을 촬영하기 위한 카메라부; 및
    상기 카메라부에서 촬영된 영상으로부터 기준 이미지 및 대상 이미지를 추출하여, 3차원 형상을 복원하기 위한 영상 처리부
    를 포함하며,
    상기 영상처리부는,
    상기 기준 이미지 및 상기 대상 이미지로부터 RGB(Red-Green-Blue) 각각의 인자에 관한 성분을 분리하고, 상기 RGB 인자로 인한 중첩 영역 데이터를 프로세싱함으로써, 1차 기준 이미지 및 예비 대상 이미지를 생성하는 RGB 처리 모듈;
    상기 예비 대상 이미지로부터 유효값을 구분하기 위한 Flag Data를 생성하여 1차 대상 이미지를 생성하는 대상 유효 판별 모듈;
    상기 1차 기준 이미지 및 상기 1차 대상 이미지에 대하여 선형 근사화함으로써 2차 기준 이미지 및 2차 대상 이미지를 산출하는 선형 피팅 모듈;
    상기 2차 대상 이미지에 대하여 근사화로 인한 노이즈를 제거하여 3차 대상 이미지를 생성하는 노이즈 제거 모듈; 및
    상기 3차 대상 이미지 및 상기 2차 기준 이미지 간의 비교를 통해 높이 값에 대한 연산을 처리하는 높이 데이터 연산 모듈을 포함하는,
    3차원 형상을 복원하기 위한 장치.
  8. 제7항에 있어서,
    상기 카메라부는 상기 대상 객체에 대하여 서로 다른 위치에서 촬영이 이루어지도록 2채널, 4채널 또는 8채널인 것을 특징으로 하는,
    3차원 형상을 복원하기 위한 장치.
  9. 제8항에 있어서,
    상기 광조사부는 레이저, SLM(Spatial Light Modulators), 또는 DLP(Digital Light Processing)인 것을 특징으로 하는,
    3차원 형상을 복원하기 위한 장치.
  10. 제8항에 있어서,
    상기 광조사부는,
    서로 다른 파장의 레이저를 조사하는 하나 이상의 레이저 광원 모듈;
    상기 하나 이상의 레이저 광원 모듈에서 레이저가 조사되는 영역에 부착되는 다수의 렌즈;
    상기 렌즈를 투과한 레이저 광원이 반사되기 위한 하나 이상의 반사경; 및
    상기 다수의 렌즈 및 상기 하나 이상의 반사경을 통해 전파된 광원으로부터 간섭 패턴을 형성하는 마이켈슨 간섭계로 구성되는 것을 특징으로 하는,
    3차원 형상을 복원하기 위한 장치.
KR1020150121656A 2015-08-28 2015-08-28 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템 KR101700729B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150121656A KR101700729B1 (ko) 2015-08-28 2015-08-28 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150121656A KR101700729B1 (ko) 2015-08-28 2015-08-28 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR101700729B1 true KR101700729B1 (ko) 2017-02-14

Family

ID=58121094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121656A KR101700729B1 (ko) 2015-08-28 2015-08-28 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101700729B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4871352B2 (ja) * 2005-03-11 2012-02-08 クリアフォーム インク． ３次元スキャンの自動参照システム及び装置
KR101126626B1 (ko) 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
US8224064B1 (en) 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
JP5342036B2 (ja) * 2011-05-09 2013-11-13 株式会社東芝 ３ｄ表面形状をキャプチャーするための方法
US20140294286A1 (en) 2011-12-22 2014-10-02 Canon Kabushiki Kaisha Three dimension measurement method, three dimension measurement program and robot device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224064B1 (en) 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
JP4871352B2 (ja) * 2005-03-11 2012-02-08 クリアフォーム インク． ３次元スキャンの自動参照システム及び装置
KR101126626B1 (ko) 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
JP5342036B2 (ja) * 2011-05-09 2013-11-13 株式会社東芝 ３ｄ表面形状をキャプチャーするための方法
US20140294286A1 (en) 2011-12-22 2014-10-02 Canon Kabushiki Kaisha Three dimension measurement method, three dimension measurement program and robot device

Similar Documents

Publication Publication Date Title
KR102048793B1 (ko) 표면 컬러를 이용한 표면 토포그래피 간섭측정계
US10782126B2 (en) Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
JP6580673B2 (ja) 画像を記録するための装置および方法
KR102083875B1 (ko) 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
JP6446297B2 (ja) 検査装置
KR20140016313A (ko) 다중 분광 촬상 시스템 및 그것에 의한 표면 검사 방법
KR102036640B1 (ko) 광학 수차의 고속 보정이 가능한 광학 이미징 방법
US10105906B2 (en) Structured light generating device and measuring system and method
US8237933B2 (en) Method for image calibration and apparatus for image acquiring
US10006860B2 (en) Digital holography recording device, digital holography playback device, digital holography recording method, and digital holography playback method
CN115775303B (zh) 一种基于深度学习与光照模型的高反光物体三维重建方法
KR101824328B1 (ko) 색수차를 이용한 3차원 스캐너 및 스캐닝 방법
CN116559179B (zh) 一种反光表面形貌与缺陷检测方法及其系统
US10908072B2 (en) Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
KR101700729B1 (ko) 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템
KR101706934B1 (ko) 디지털 홀로그램 데이터를 이용한 마이크로 광학 소자의 3차원 측정방법 및 이를 통해 운용되는 측정장치
JP2014238299A (ja) 被検物の計測装置、算出装置、計測方法および物品の製造方法
JP2538435B2 (ja) 縞位相分布解析方法および縞位相分布解析装置
WO2019238583A1 (en) Deflectometric techniques
Qiao et al. Snapshot interferometric 3D imaging by compressive sensing and deep learning
JP2015163915A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR101186103B1 (ko) 측정 대상물의 3ｄ 높이 정보를 측정하는 측정 방법 및 장치
JP2022536887A (ja) ステレオカメラシステム
KR20130064564A (ko) 역구배를 가지는 대상물체의 입체형상 측정 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant