KR102564448B1 - 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법 - Google Patents

구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법 Download PDF

Info

Publication number
KR102564448B1
KR102564448B1 KR1020210069371A KR20210069371A KR102564448B1 KR 102564448 B1 KR102564448 B1 KR 102564448B1 KR 1020210069371 A KR1020210069371 A KR 1020210069371A KR 20210069371 A KR20210069371 A KR 20210069371A KR 102564448 B1 KR102564448 B1 KR 102564448B1
Authority
KR
South Korea
Prior art keywords
structured light
depth
pattern
hologram
phase
Prior art date
Application number
KR1020210069371A
Other languages
English (en)
Other versions
KR20220161014A (ko
Inventor
민성욱
김영록
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210069371A priority Critical patent/KR102564448B1/ko
Publication of KR20220161014A publication Critical patent/KR20220161014A/ko
Application granted granted Critical
Publication of KR102564448B1 publication Critical patent/KR102564448B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G01B9/02047—Interferometers characterised by particular imaging or detection techniques using digital holographic imaging, e.g. lensless phase imaging without hologram in the reference path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/021—Interferometers using holographic techniques
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0402—Recording geometries or arrangements
    • G03H2001/0436—Holographic camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/10—Modulation characteristics, e.g. amplitude, phase, polarisation

Abstract

구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 깊이 측정 장치는 설정된 패턴의 구조광을 대상물에 출력하도록 구성되는 구조광 출력부; 및 상기 대상물에서 반사된 구조광에 대해 홀로그래픽 이미지를 생성하고, 상기 구조광의 패턴에 따라 생성되는 간섭 무늬를 기반으로 위상 정보를 획득하고, 상기 위상 정보를 기반으로 상기 대상물의 표면에 관한 깊이 정보를 획득하도록 구성되는 홀로그래픽 카메라;를 포함한다.

Description

구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법{APPARATUS AND METHOD FOR DETPH ESTIMATION USING STRUCTURED LIGHT AND HOLOGRAPHIC CAMERA}
본 발명은 구조광과 홀로그래픽 카메라를 이용하여 대상물의 표면 깊이(굴곡, 단차 등)를 측정하는 깊이 측정 장치 및 방법에 관한 것이다.
물체의 깊이 정보를 획득하는 방식은 스테레오스코픽(stereoscopic) 카메라 방식, 구조광(structured light) 방식, ToF(time-of-flight) 카메라 방식 등이 있다.
스테레오스코픽 카메라 방식은 양안 시차를 이용하여 두 대의 카메라를 통해 얻은 이미지의 시차를 비교하여 삼각법을 통해 깊이를 측정한다. 이는 간단하게 깊이 정보를 추출하는 것이 가능한 장점이 있지만, 다중 시차를 이용하는 방식이기 때문에 정확도가 떨어지는 단점이 있다.
ToF 카메라 방식은 적외선을 방출하여 물체에 반사되어 되돌아오는 시간을 측정하기 때문에 근거리에서 정확한 깊이 정보를 얻을 수 있는 장점이 있지만, 센서 제작이 까다롭고 촬영 범위나 영역에 제한이 있다.
구조광 방식은 특수한 패턴을 가진 광원을 물체에 조사하고, 물체의 요철에 따라 구조광 패턴의 변화를 계산하여 깊이 정보를 추정하는 방식으로, 단거리 물체의 깊이 추정이 가능하다는 장점이 있지만, 정밀한 깊이 추정은 어렵다는 단점이 있다. 또한, 물체의 표면 깊이 측정을 위해 레이저광과 같은 간섭광을 구조광으로 활용해야 하는 제약이 있다.
본 발명은 구조광과 홀로그래픽 카메라를 이용하여 대상물의 미세 표면 깊이를 정밀하게 측정할 수 있으며, 비간섭광을 구조광으로 활용하여 대상물의 표면 깊이 정보를 획득할 수 있는 깊이 측정 장치 및 방법을 제공하기 위한 것이다.
본 발명의 실시예에 따른 깊이 측정 장치는: 설정된 패턴의 구조광을 대상물에 출력하도록 구성되는 구조광 출력부; 및 상기 대상물에서 반사된 구조광에 대해 홀로그래픽 이미지를 생성하고, 상기 구조광의 패턴에 따라 생성되는 간섭 무늬를 기반으로 위상 정보를 획득하고, 상기 위상 정보를 기반으로 상기 대상물의 표면에 관한 깊이 정보를 획득하도록 구성되는 홀로그래픽 카메라;를 포함한다.
상기 홀로그래픽 카메라는: 상기 대상물에서 반사된 구조광을 편광시키는 편광기; 상기 편광기를 통과한 구조광의 파면을 분리하고 위상을 변조하는 기하학적 위상 렌즈; 및 상기 기하학적 위상 렌즈를 통과한 구조광으로부터 홀로그램 패턴을 측정하는 편광 이미지 센서;를 포함할 수 있다.
상기 홀로그래픽 카메라는: 상기 홀로그램 패턴의 자동 초점 정렬을 통해 상기 대상물의 표면 깊이를 검출하도록 구성되는 깊이 검출부;를 더 포함할 수 있다.
상기 깊이 검출부는: 초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가하고; 상기 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 찾아 상기 대상물의 표면 깊이를 측정하도록 구성될 수 있다.
상기 구조광은 일정한 주기를 가지는 바이너리(binary) 줄무늬 패턴을 가지는 비간섭광(incoherent light)을 포함할 수 있다.
본 발명의 실시예에 따른 깊이 측정 방법은: 홀로그래픽 카메라에 의해, 대상물에서 반사된 구조광에 대해 홀로그램 패턴을 생성하는 단계; 및 상기 홀로그래픽 카메라에 의해, 상기 홀로그램 패턴의 간섭 무늬를 기반으로 위상 정보를 획득하고, 상기 위상 정보를 기반으로 상기 대상물의 표면에 관한 깊이 정보를 획득하는 단계;를 포함한다.
상기 홀로그램 패턴을 생성하는 단계는: 편광기에 의해, 상기 대상물에서 반사된 구조광을 편광시키는 단계; 기하학적 위상 렌즈에 의해, 상기 편광기를 통과한 구조광의 파면을 분리하고 위상을 변조하는 단계; 및 편광 이미지 센서에 의해, 상기 기하학적 위상 렌즈를 통과한 구조광으로부터 홀로그램 패턴을 측정하는 단계;를 포함할 수 있다.
상기 깊이 정보를 획득하는 단계는: 상기 홀로그램 패턴의 자동 초점 정렬을 통해 상기 대상물의 표면 깊이를 검출하는 단계;를 포함할 수 있다.
상기 표면 깊이를 검출하는 단계는: 초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가하는 단계; 및 상기 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 찾아 상기 대상물의 표면 깊이를 측정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 깊이 측정 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 실시예에 의하면, 간섭 무늬를 측정하는 홀로그래피의 특성을 이용하여 실물체 크기의 대상에 대한 정밀 깊이 측정이 가능하며 증폭된 깊이 정보를 획득할 수 있어 정확도 및 해상도를 향상시킬 수 있으며, 비간섭광을 구조광으로 활용하여 대상물의 표면 깊이 정보를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 깊이 측정 장치의 개념도이다.
도 2는 본 발명의 실시예에 따른 깊이 측정 장치를 개략적으로 나타낸 측면도이다.
도 3은 본 발명의 실시예에 따른 깊이 측정 방법의 순서도이다.
도 4는 도 3의 단계 S120을 보다 구체적으로 나타낸 순서도이다.
도 5는 도 3의 단계 S130을 보다 구체적으로 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따라 구조광 홀로그램의 위치에 따른 초점 추출 결과를 확인하기 위한 실험 사진이다.
도 7은 본 발명의 실시예에 따라 구조광 홀로그램의 위치에 따른 초점 추출 결과를 보여주는 도면이다.
도 8은 단일 바이너리 줄무늬 패턴에 대한 복원 결과와 이를 테넨그라드 알고리즘을 사용하여 패턴 부분의 깊이를 추정한 결과를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명은 구조광과 홀로그래픽 카메라를 사용하여 구조광 패턴의 거리에 따른 왜곡뿐만 아니라, 구조광 패턴의 간섭 무늬를 통한 위상 정보를 획득하고, 이를 해석하여 높은 해상도와 정확도의 미세 깊이 정보를 제공하는 깊이 측정 장치 및 방법을 제시한다. 도 1은 본 발명의 실시예에 따른 깊이 측정 장치의 개념도이다. 도 2는 본 발명의 실시예에 따른 깊이 측정 장치를 개략적으로 나타낸 측면도이다. 도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 깊이 측정 장치(100)는 구조광 출력부(110)와, 홀로그래픽 카메라(holographic camera)(120)를 포함한다.
구조광 출력부(110)는 설정된 패턴의 구조광(structured light)(112)을 대상물(10)에 출력하도록 구성된다. 구조광(112)은 특수 패턴을 가진 광원으로 구성될 수 있으며, 일 예로 흰색과 검은색의 평행한 직선이 일정한 주기로 배열된 바이너리 줄무늬 패턴(binary stripe pattern)을 가지도록 설정될 수 있다. 본 발명의 실시예에서는 홀로그램 패턴의 간섭 무늬 위상 정보를 이용하여 구조광의 왜곡 및 초점을 측정하므로, 레이저광이 아닌 일반 광원을 구조광으로 사용하더라도 대상물의 미세 표면 깊이 정보를 획득할 수 있다.
홀로그래픽 카메라(120)는 대상물(10)에서 반사된 구조광(114)에 대해 홀로그래픽 이미지(홀로그램 패턴)를 생성하고, 구조광의 패턴에 따라 생성되는 홀로그램 패턴의 간섭 무늬를 기반으로 위상 정보를 획득하고, 획득된 위상 정보를 분석하여 대상물(10)의 표면(12)에 관한 깊이 정보(표면 단차 정보)를 측정할 수 있다. 홀로그래픽 카메라(120)는 실제 깊이 정보 대비 증폭된 깊이 정보를 획득할 수 있는 광학계를 포함할 수 있다.
홀로그래픽 카메라(120)는 집광 렌즈(122)와, 편광기(124), 기하학적 위상 렌즈(126), 편광 이미지 센서(128), 및 깊이 검출부(130)를 포함할 수 있다. 집광 렌즈(122)는 대상물에서 반사된 구조광(114)을 집광한다. 집광 렌즈(122)는 볼록 렌즈(convex lens)로 구성될 수 있다. 편광기(polarizer)(124)는 대상물에서 반사된 구조광(114)을 편광시킨다.
기하학적 위상 렌즈(geometric phase lens)(126)는 편광기(124)를 통과한 구조광(114)의 파면을 분리하고 위상을 변조한다. 기하학적 위상 렌즈(126)는 파면의 분리와 변조를 동시에 진행하는 수동액정소자로 구현될 수 있다. 기하학적 위상 렌즈에서 액정의 복굴절 특성에 따른 빛의 편광상태 변화로 위상 변화가 일어나며, 이에 따라 입사광의 파면이 변조된다. 기하학적 위상 렌즈는 홀로그램 촬영 기법을 이용하여 제작되며, 기록하고자 하는 렌즈면의 쌍영상(twin-image)이 함께 기록되어 음과 양의 초점거리를 모두 가지는 렌즈 특성을 보인다. 편광 이미지 센서(polarized image sensor)(128)는 기하학적 위상 렌즈(126)를 통과한 구조광(114)으로부터 홀로그램 패턴을 측정한다.
이와 같은 광학계를 활용하면, 자연광을 기반으로 위상 정보를 획득할 수 있고 비간섭성(incoherent) 광원에서도 홀로그램 패턴 측정이 가능하여 일반적인 프로젝터를 구조광 출력부(110)로 적용한 환경에서도 사용할 수 있다. 또한, 특수 패턴을 조사하는 구조광 시스템을 결합하면 물체 표면에 반사된 구조광 패턴의 홀로그램 계측과 수치적 복원을 통해 복원 길이에 따른 홀로그램 패턴의 선명도를 평가하여 물체의 표면 깊이 추정이 가능하다.
깊이 검출부(130)는 홀로그램 패턴의 자동 초점 정렬(Autofocusing)을 통해 구조광 패턴의 위상 정보를 분석하여 대상물(10)의 표면 깊이를 검출할 수 있다. 깊이 검출부(130)는 초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가하여, 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 대상물(10)의 표면 깊이를 측정할 수 있다. 깊이 검출부(130)는 각 스펙트럼 방법(ASM; angular spectrum method), 프레넬 전파(Fresnel propagation) 등과 같은 기법을 사용하여, 홀로그램 패턴에 대한 수치적 복원을 통해 홀로그램의 선명도가 가장 높은 복원 위치를 찾아 물체의 (x, y, z) 위치를 측정할 수 있다.
바이너리 줄무늬 패턴의 구조광을 이용하는 경우를 예로 들면, 바이너리 줄무늬 패턴의 구조광을 대상물(10)의 표면(12)에 조사하여, 구조광의 흰색 패턴이 물체에 반사되어 관측되는 홀로그램을 측정하고, 측정된 직선 패턴의 수치적 복원에 따른 선명도를 분석하여 초점이 맞는 전파 길이를 통한 깊이 정보를 측정할 수 있다. 이때, 구조광의 패턴 주기에 따라 총 노출 횟수가 정해지며, 구조광 패턴의 정밀도 등이 패턴의 주기성을 결정하는 요소가 된다.
홀로그램 패턴에 대한 자동 초점 정렬 알고리즘의 결과로, 거리에 따른 자동 초점 정렬 행렬의 최댓값과 최솟값이 정해진다. 이러한 자동 초점 정렬 행렬을 찾기 위한 방법으로, 이미지의 그레이 레벨(gray level)의 전체적인 분포를 통한 방법, 상관관계(correlation)를 이용하는 방법, 차분(differentiation)을 이용하는 방법, 코사인 유사도(cosine similarity)를 활용한 방법 등이 응용될 수 있다.
본 발명의 실시예에 따른 깊이 측정 장치의 경우, 레이저 광원을 사용하지 않기 때문에, 스페클 노이즈(speckle noise)가 없고, 대신 기하학적 렌즈의 수차 및 광학적 특성, 외부 침투광에 의해 가우시안 노이즈(gaussian noise)와 같은 특수한 노이즈가 발생할 수 있으므로, 노이즈에 강한 자동 초점 정렬(autofocusing) 알고리즘의 사용이 유효하다.
이를 위해, 테넨그라드(Tenengrad) 알고리즘의 사용이 바람직하다. 테넨그라드 알고리즘은 이미지의 로컬 그레디언트(local gradient)를 이용하는 1차 미분 기법의 변형으로, 로컬 그레디언트를 구하기 전에 노이즈 저감을 위한 평활화(smoothing)를 선행하는 방법이다. 테넨그라드 알고리즘을 응용하여 구조광의 바이너리 줄무늬의 형태에 따라 다른 소벨(Sobel) 연산자를 사용할 수 있다. 가로 방향 소벨 연산자(OSobel_horizontal)와, 세로 방향 소벨 연산자(OSobel_vertical), 가로/세로 방향 소벨 연산자(OSobel)를 이용한 테넨그라드 방식의 초점 산출 과정은 다음 식과 같다.
(M, N: 홀로그램의 픽셀 개수)
소벨 연산자는 수직/수평 방향 중 한 방향의 그레디언트만 확인하므로, 구조광의 패턴 방향과 동일한 소벨 연산자를 사용하여 초점을 계산할 수 있다. 이때, 특정 임계값 이상을 가지는 초점 행렬(focus matrix) 만을 사용하면 물체가 없는 부분에서 선명도가 검출되는 문제를 방지할 수 있다. If(x, y)는 수치적 복원으로 f 위치에서 복원된 홀로그램의 세기(intensity)를 의미하며, 이는 각 스펙트럼 방법(angular spectrum method)를 통해 하기 수식으로부터 얻을 수 있다.
여기서, E0(x0,y0)는 z=0 일때의 물체(object)의 광학장(optical field), F는 푸리에 각 스펙트럼 변환 함수, λ는 구조광의 파장, fx/fy는 각각 x축/y축 푸리에 주파수, y축 푸리에 주파수(fourier frequency), z는 대상물과의 거리이다. 이때, 하나의 홀로그램 이미지를 더 작은 크기의 여러 개의 서브 이미지의 블록들로 나눌 수 있다. 여러 개의 구조광 패턴을 사용하여, 각 패턴에 따른 깊이 정보(F1, F2, F3, F4)를 구할 수 있으며, 각 서브 이미지에서의 깊이 정보(Fsubm,n)를 합하여 다음과 같은 수식에 의해 각 패턴에 따른 깊이 정보(Fk)를 획득할 수 있다.
도 3은 본 발명의 실시예에 따른 깊이 측정 방법의 순서도이다. 도 1 내지 도 3을 참조하면, 구조광 출력부(110)는 설정된 패턴의 구조광(112)을 대상물(10)에 출력할 수 있다(S110). 구조광(112)은 특수 패턴을 가진 광원, 예를 들어 바이너리 줄무늬 패턴(binary stripe pattern)을 가지는 광원으로 설정될 수 있다. 홀로그래픽 카메라(120)는 대상물(10)에서 반사된 구조광(114)에 대해 홀로그래픽 이미지(홀로그램 패턴)를 생성할 수 있다(S120).
도 4는 도 3의 단계 S120을 보다 구체적으로 나타낸 순서도이다. 도 1 내지 도 4를 참조하면, 대상물에서 반사된 구조광(114)을 집광 렌즈(122)에 의해 집광한후 대상물에서 반사된 구조광(114)을 편광기(124)에 의해 편광시킬 수 있다(S122). 기하학적 위상 렌즈(126)는 편광기(124)를 통과한 구조광(114)의 파면을 분리하고 위상을 변조할 수 있다(S124). 편광 이미지 센서(128)는 기하학적 위상 렌즈(126)를 통과한 구조광(114)으로부터 홀로그램 패턴을 측정할 수 있다(S126).
이와 같은 과정을 통해, 자연광을 기반으로 위상 정보를 획득할 수 있고 비간섭성(incoherent) 광원에서도 홀로그램 패턴 측정이 가능하여 일반적인 프로젝터를 구조광 출력부(110)로 적용한 환경에서도 사용할 수 있다. 또한, 특수 패턴을 조사하는 구조광 시스템을 결합하여 물체 표면에 반사된 구조광 패턴의 홀로그램 계측과 수치적 복원을 통해 복원 길이에 따른 홀로그램 패턴의 선명도를 평가하여 물체의 표면 깊이 추정이 가능하다.
홀로그래픽 카메라(120)는 구조광의 패턴에 따라 생성되는 홀로그램 패턴의 간섭 무늬를 기반으로 위상 정보를 획득하고, 획득된 위상 정보를 분석하여 대상물(10)의 표면(12)에 관한 깊이 정보를 측정할 수 있다(S130). 깊이 검출부(130)는 홀로그램 패턴의 자동 초점 정렬(Autofocusing)을 통해 구조광 패턴의 위상 정보를 분석하여 대상물(10)의 표면 깊이를 검출할 수 있다.
도 5는 도 3의 단계 S130을 보다 구체적으로 나타낸 순서도이다. 도 1 내지 도 3, 도 5를 참조하면, 깊이 검출부(130)는 초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가한 후(S132), 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 대상물(10)의 표면 깊이를 측정할 수 있다(S134). 깊이 검출부(130)는 각 스펙트럼 방법(ASM; angular spectrum method), 프레넬 전파(Fresnel propagation) 등과 같은 기법을 사용하여, 홀로그램 패턴에 대한 수치적 복원을 통해 홀로그램의 선명도가 가장 높은 복원 위치를 찾아 물체의 (x, y, z) 위치를 측정할 수 있다. 일 실시예에서, 대상물의 표면에 대한 깊이 복원 좌표 는 아래의 수식에 따라 산출될 수 있다.
위의 수식에서, x1, y1은 편광 이미지 센서에 의해 획득된 복원 전 좌표, d1, z1은 기하학적 위상 렌즈와 대상물 간의 복원 전 깊이(거리)에 따른 계수, d2, A, B는 구조광의 파장 및 홀로그래픽 카메라와 관련된 계수, λ는 구조광의 파장(중심 파장), fgp는 기하학적 위상 렌즈의 초점거리이다. 바이너리 줄무늬 패턴의 구조광을 이용하는 경우를 예로 들면, 바이너리 줄무늬 패턴의 구조광을 대상물(10)의 표면(12)에 조사하여, 구조광의 흰색 패턴이 물체에 반사되어 관측되는 홀로그램을 측정하고, 측정된 직선 패턴의 수치적 복원에 따른 선명도를 분석하여 초점이 맞는 전파 길이를 통한 깊이 정보를 측정할 수 있다. 자동 초점 정렬 행렬을 찾기 위한 방법으로, 이미지의 그레이 레벨(gray level)의 전체적인 분포를 통한 방법, 상관관계(correlation)를 이용하는 방법, 차분(differentiation)을 이용하는 방법, 코사인 유사도(cosine similarity)를 활용한 방법 등이 응용될 수 있다.
도 6은 본 발명의 실시예에 따라 구조광 홀로그램의 위치에 따른 초점 추출 결과를 확인하기 위한 실험 사진이다. 도 7은 본 발명의 실시예에 따라 구조광 홀로그램의 위치에 따른 초점 추출 결과를 보여주는 도면이다. 단일 라인(line) 이미지를 통해서 얻은 홀로그램의 포커스 매트릭스(focus matrix)를 소벨 연산자(sobel operator)를 이용하여 분석하였다. 도 7의 (a)에 나타낸 깊이에 따른 수치적 복원에 의해 도 7의 (b)에 나타낸 바와 같은 포커스 매트릭스가 도출되었으며, 수치적 복원 깊이에 따라 포커스 매트릭스에서 각기 다른 위치에 초점이 맺히며, 물체가 없는 위치는 일정 수준 이상의 포커스 매트릭스 값을 가지지 않는 것을 확인할 수 있다.
본 발명의 실시예에 따른 깊이 측정 장치 및 방법의 성능을 검증하기 위한 실험을 수행하였다. all-in-focus 기능이 있는 레이저 프로젝터를 사용하여 물체에 구조광 패턴을 조사하였다. 이때, 측정에 영향을 주는 요소로는 백색(white) 패턴과 흑색(black) 패턴의 상대적인 비율이다. 홀로그래픽 카메라는 백색 패턴이 물체 표면에 반사되는 것을 읽기 때문에, 간섭 무늬가 충분히 기록될 수 있는 밝기를 가지도록 하는 백색 패턴의 너비를 가지는 것이 중요하다. 또한, 흑색 패턴의 너비로 정해지는 백색 패턴과 흑색 패턴간 비율은 백색 패턴의 너비에 따라 각각의 패턴이 간섭되지 않고 따로따로 분리되어 관찰될 수 있도록 하는 역할을 한다.
실험에 사용된 백색 패턴과 흑색 패턴의 비율은 1:4의 비율이며, 모든 영역에 대한 구조광 패턴을 얻을 수 있도록 4 단계의 노출을 통해 표면을 읽어냈다. 본 실험에서는 광원 및 쌍영상 정보를 제거하기 위해, 변조된 파면의 위상을 편광 변화를 통해 감지하는 위상 변이 기법을 사용하였다. 각 단계마다 빛의 세기 정보를 측정한 뒤, 이를 연산하면 광원 및 쌍영상 정보가 제거된 복소 홀로그램을 얻을 수 있다.
실험에 사용한 기하학적 위상 렌즈의 초점거리는 532 nm 파장을 기준으로 371 mm 이며, 기하학적 위상 렌즈와 편광 이미지 센서 사이의 거리는 약 7.5 mm 이다. 물체와 기하학적 위상 렌즈 사이 거리는 약 100 mm 이며, 기록의 용이를 위해 50 mm 볼록 렌즈를 선행 광학계로 사용하였다. 홀로그램 취득에 사용된 편광 이미지 센서는 2448 × 2048의 해상도를 가진 Lucid vision 사의 컬러 편광 이미지 센서를 사용하였으며, 홀로그램의 수치적 복원에 사용된 파장은 532 nm의 녹색(green) 파장을 사용하였다.
도 8은 단일 바이너리 줄무늬 패턴에 대한 복원 결과(20a, 20b, 20c, 20d)와 이를 테넨그라드 알고리즘을 사용하여 패턴 부분의 깊이를 추정한 결과(30a, 30b, 30c, 30d)를 나타낸 것이다. 각 바이너리 줄무늬 패턴에서 얻은 깊이 결과를 하나로 합쳐 얻은 깊이 맵(depth map)(40)을 통해 모형의 굴곡을 측정할 수 있음을 확인할 수 있다. 실험에서 탐색한 깊이 탐색 범위는 330 mm 에서 380 mm 사이의 범위를 복원시켜가며 sharpness를 측정했으며, 의미 있는 깊이 값을 보이는 영역은 330 mm 에서 350 mm 사이 범위로 측정되었다.
상술한 바와 같은 본 발명의 실시예에 따른 깊이 측정 장치 및 방법에 의하면, 간섭 무늬를 측정하는 홀로그래피의 특성을 이용하여 실물체 크기의 대상에 대한 정밀 깊이 측정이 가능하며 증폭된 깊이 정보를 획득할 수 있다. 또한, 본 발명의 실시예에 의하면, 종래 깊이 정보 획득 시스템을 통해 획득한 깊이 정보 대비 정확도 및 해상도를 향상시킬 수 있다. 또한, 특정 파장의 빛을 구조광 소스로 사용하는 경우, 특정 파장에만 반응하는 물체에 대한 깊이를 측정하는 등의 용도로도 사용될 수 있다.
본 발명의 실시예에 따른 깊이 측정 장치 및 방법은 종래 표면 검사 장비 대비 간단한 구성을 통해 외부에서도 장비를 자유롭게 사용할 수 있으며, 산업 분야의 정밀 표면 계측 작업이나 제품 생산 검사 장비, 사용자 시점 추적 및 얼굴 인식 등의 다양한 분야에 활용될 수 있다. 특히 일반적인 검사 장비를 활용한 제품 검사가 불가능한 대형 제품이나 높은 정밀도를 요구하는 소자의 생산 등의 검사 장비에 적용될 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
10: 대상물
12: 표면
100: 깊이 측정 장치
110: 구조광 출력부
112, 114: 구조광
120: 홀로그래픽 카메라
122: 집광 렌즈
124: 편광기
126: 기하학적 위상 렌즈
128: 편광 이미지 센서
130: 깊이 검출부

Claims (11)

  1. 설정된 패턴의 구조광을 대상물에 출력하도록 구성되는 구조광 출력부; 및
    상기 대상물에서 반사된 구조광에 대해 홀로그래픽 이미지를 생성하고, 상기 구조광의 패턴에 따라 생성되는 간섭 무늬를 기반으로 위상 정보를 획득하고, 상기 위상 정보를 기반으로 상기 대상물의 표면에 관한 깊이 정보를 획득하도록 구성되는 홀로그래픽 카메라;를 포함하고,
    상기 홀로그래픽 카메라는:
    상기 대상물에서 반사된 구조광을 편광시키는 편광기;
    상기 편광기를 통과한 구조광의 파면을 분리하고 위상을 변조하는 기하학적 위상 렌즈;
    상기 기하학적 위상 렌즈를 통과한 구조광으로부터 홀로그램 패턴을 측정하는 편광 이미지 센서; 및
    상기 홀로그램 패턴의 자동 초점 정렬을 통해 상기 대상물의 표면 깊이를 검출하도록 구성되는 깊이 검출부;를 포함하는 깊이 측정 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 깊이 검출부는:
    초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가하고;
    상기 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 찾아 상기 대상물의 표면 깊이를 측정하도록 구성되는 깊이 측정 장치.
  5. 제1항 또는 제4항에 있어서,
    상기 구조광은 일정한 주기를 가지는 바이너리(binary) 줄무늬 패턴을 가지는 비간섭광을 포함하는 깊이 측정 장치.
  6. 홀로그래픽 카메라에 의해, 대상물에서 반사된 구조광에 대해 홀로그램 패턴을 생성하는 단계; 및
    상기 홀로그래픽 카메라에 의해, 상기 홀로그램 패턴의 간섭 무늬를 기반으로 위상 정보를 획득하고, 상기 위상 정보를 기반으로 상기 대상물의 표면에 관한 깊이 정보를 획득하는 단계;를 포함하고,
    상기 홀로그램 패턴을 생성하는 단계는:
    편광기에 의해, 상기 대상물에서 반사된 구조광을 편광시키는 단계;
    기하학적 위상 렌즈에 의해, 상기 편광기를 통과한 구조광의 파면을 분리하고 위상을 변조하는 단계; 및
    편광 이미지 센서에 의해, 상기 기하학적 위상 렌즈를 통과한 구조광으로부터 홀로그램 패턴을 측정하는 단계;를 포함하고,
    상기 깊이 정보를 획득하는 단계는:
    상기 홀로그램 패턴의 자동 초점 정렬을 통해 상기 대상물의 표면 깊이를 검출하는 단계;를 포함하는 깊이 측정 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 표면 깊이를 검출하는 단계는:
    초점이 맞는 전파 길이를 찾기 위하여 수치적 복원을 통해 다양한 수치적 복원 깊이에 따른 홀로그램의 선명도를 평가하는 단계; 및
    상기 홀로그램의 선명도가 가장 높은 수치적 복원 깊이를 찾아 상기 대상물의 표면 깊이를 측정하는 단계;를 포함하는 깊이 측정 방법.
  10. 제6항에 있어서,
    상기 구조광은 일정한 주기를 가지는 줄무늬 패턴을 가지도록 설정되는 깊이 측정 방법.
  11. 제6항의 깊이 측정 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램.
KR1020210069371A 2021-05-28 2021-05-28 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법 KR102564448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210069371A KR102564448B1 (ko) 2021-05-28 2021-05-28 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069371A KR102564448B1 (ko) 2021-05-28 2021-05-28 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220161014A KR20220161014A (ko) 2022-12-06
KR102564448B1 true KR102564448B1 (ko) 2023-08-04

Family

ID=84407438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069371A KR102564448B1 (ko) 2021-05-28 2021-05-28 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102564448B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505984A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールＣｓｉｒ ホログラム処理方法およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101986687B1 (ko) * 2017-11-07 2019-06-10 (주)더나기술 3차원 스캐닝 방식을 포함한 홀로그램 박스를 이용하는 홀로그램 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505984A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールＣｓｉｒ ホログラム処理方法およびシステム

Also Published As

Publication number Publication date
KR20220161014A (ko) 2022-12-06

Similar Documents

Publication Publication Date Title
US10209505B2 (en) Optical device for measuring the position of an object
TW201712435A (zh) 用於疊對測量之形貌相位控制
US10648789B2 (en) Method for monitoring linear dimensions of three-dimensional objects
US10105906B2 (en) Structured light generating device and measuring system and method
US8237933B2 (en) Method for image calibration and apparatus for image acquiring
US20140063192A1 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
NO20200134A1 (en) Motion compensation in phase-shifted structured light illumination for measuring dimensions of freely moving objects
US8456619B2 (en) Image processing apparatus and method
KR102287795B1 (ko) 웨이퍼의 3차원 맵핑
Khan et al. High-density single shot 3D sensing using adaptable speckle projection system with varying preprocessing
Altamar-Mercado et al. Robust 3D surface recovery by applying a focus criterion in white light scanning interference microscopy
KR102564448B1 (ko) 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법
WO2009077779A2 (en) Method and apparatus for providing image data
KR101706934B1 (ko) 디지털 홀로그램 데이터를 이용한 마이크로 광학 소자의 3차원 측정방법 및 이를 통해 운용되는 측정장치
TWI357973B (en) Apparatus and method for simulataneous confocal fu
US20190073784A1 (en) Image processing apparatus and non-transitory computer-readable storage medium
Di Martino et al. One-shot 3D gradient field scanning
Gendre et al. Interest of polarimetric refocused images calibrated in depth for control by vision
JP5003970B2 (ja) 接触面積測定装置および接触面積測定方法
Babicz et al. Phase object observation system based on diffraction phase microscopy
KR102057153B1 (ko) 렌즈의 양면 곡률 형상과 굴절률 분포의 동시 측정방법 및 측정장치
US10379449B2 (en) Identifying process variations during product manufacture
小林富美男 et al. 3D surface measurement using uni-axis image fiber system (2nd report)
KR101700729B1 (ko) 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템
Carnicer González et al. Mueller matrix polarimetry with 3D integral imaging

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant