KR102499494B1 - 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 - Google Patents

서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 Download PDF

Info

Publication number
KR102499494B1
KR102499494B1 KR1020210127399A KR20210127399A KR102499494B1 KR 102499494 B1 KR102499494 B1 KR 102499494B1 KR 1020210127399 A KR1020210127399 A KR 1020210127399A KR 20210127399 A KR20210127399 A KR 20210127399A KR 102499494 B1 KR102499494 B1 KR 102499494B1
Authority
KR
South Korea
Prior art keywords
laser light
wavelength
light source
diffraction grating
image
Prior art date
Application number
KR1020210127399A
Other languages
English (en)
Inventor
유훈
장재영
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020210127399A priority Critical patent/KR102499494B1/ko
Priority to PCT/KR2021/017642 priority patent/WO2023048338A1/ko
Application granted granted Critical
Publication of KR102499494B1 publication Critical patent/KR102499494B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/44—Grating systems; Zone plate systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명의 회절 격자 이미징 시스템은 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성함으로써, 개선된 컬러 영상 화질을 제공한다.

Description

서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템{A diffraction grating imaging system for reconstructing a 3D image using laser light sources having different wavelengths}
본 발명은 회절 격자를 이용하여 3차원 영상을 재구성하는 회절 격자 이미징 시스템에 관한 것이다.
3차원 이미징은 3차원 정보 처리를 필요로 하는 3D 기술에서 핵심적인 역할을 한다. 3D 기술의 응용 분야는 증강 현실, 자율 주행, 엔터테인먼트, 국방, 생물 의학 등을 포함한 매우 광범위하다.
3차원 영상 시스템에 의해 수행되는 프로세스는 크게 3차원 영상 취득 (3D image acquisition) 단계, 3D 영상 처리 단계 및 3D 정보의 시각화 (3D visualization) 단계를 포함한다.
집적 영상(integral imaging) 기술은 홀로그램 기술과 더불어 3차원 영상 시스템을 구축하는 방법으로 차세대 기술로서 각광받고 있는 기술 중 하나이다.
집적 영상 기반 3D 시스템에서, 3D 영상 취득은 첫 번째 단계로 필수적이고 매우 중요한 부분이다. 3D 영상 취득은 3D 영상 픽업 장치에 의해 수행된다. 3D 영상 픽업 장치로서, 카메라 배열, 렌즈 배열, 또는 움직이는 카메라가 많이 활용한다. 이러한 3D 영상 픽업 장치를 통해서 얻은 3차원 물체의 시차 영상 배열(Parallax Image Array, PIA)은 3차원 영상 처리 및 시각화에서 매우 효과적인 3차원 영상 데이터 형식 중 하나다.
최근에, 회절 격자(a diffraction grating)를 이용한 3차원 영상 취득 기술이 소개된 바 있다. 회절 격자 이미징 시스템의 광학적 구성은 투과 필름 형태의 진폭 회절 격자, 카메라, 그리고 레이저 광원으로 이루어진다.
회절 격자 이미징의 광학 구조는 회절 격자와 하나의 카메라를 사용함으로써, 카메라 배열 시스템에 비해 저렴하고 간단하다. 또한, 회절 격자 이미징의 광학 구조는 렌즈 배열 시스템에 비해 두께가 얇고, 가볍고 저렴하며, 렌즈 배열에서 발생하는 광학 수차가 없다. 따라서 회절 격자 이미징 시스템은 3차원 물체 인식이나 깊이 정보 추출 등의 분야를 포함한 3차원 정보처리 시스템에서 유망한 기술 중 하나가 될 수 있다.
그러나 회절 격자 영상은 단파장의 레이저를 사용함으로써 컬러 영상 재현에 문제가 있고, 레이저 광원의 speckle 잡음에 기인한 화질 열화가 존재한다. 또한, 회절 격자 영상은 제한적인 회절 차수(diffraction order) 사용에 의한 시차 영상(parallax image)의 개수에 제약을 받는 등의 단점이 있다. 따라서, 회절 격자 영상에서 이러한 단점들을 극복하고 개선된 화질을 얻기 위한 연구는 지속적으로 필요하다.
상술한 문제점을 해결하기 위한 본 발명의 목적은, 영상의 화질 개선을 위해, 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성하는 회절 격자 이미징 시스템을 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 회절 격자 이미징 시스템에 의해 수행되는 3차원 영상을 재구성 방법은, 회절 격자가, 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 단계; 카메라 장치가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계; 프로세서가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하는 단계; 및 상기 프로세서가, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 회절 격자 이미징 시스템은, 서로 다른 파장의 레이저 광원들을 물체에 조사하는 레이저 광원 유닛; 상기 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 회절 격자; 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 카메라 장치; 및 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하고, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 컴퓨팅 장치를 포함한다.
본 발명에 따르면, 서로 다른 파장을 갖는 다수의 레이저 광원을 이용하여 3차원 영상을 재구성함으로써, 개선된 컬러 영상 화질을 제공할 수 있다.
도 1 내지 6은 본 발명에 적용되는 회절 격자 이미징 기술을 설명하기 위한 도면들이다.
도 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템의 하드웨어 구성을 보여주는 블록도이다.
도 8는 도 7에 도시한 회절 격자 이미징 시스템에서 수행되는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 설명하기 위한 도면이다.
도9는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서 활용된 파장별 깊이 해상도 대비 시차 영상 배열의 공간 주기와의 관계를 보여주는 그래프이다.
도 10은 본 발명의 실시 예에 따른 재구성 프로세스를 설명하기 위한 도면이다.
도11은 깊이 104 mm의 물체에 대해서 재구성된 영상들과 노란색 사각형으로 표시된 영역을 확대한 영상들을 보여준다.
도 12는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템을 이용하여 3차원 영상을 재구성하는 방법을 나타내는 흐름도이다.
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
이하, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 대해 상세히 설명하기로 하며, 그에 앞서, 도 1 내지 7을 참조하여, 본 발명에 적용될 수 있는 회절 격자 이미징 기술에 대해 설명한 후, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 대해 상세히 설명하기로 한다.
도 1 내지 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에 적용되는 기술을 설명하기 위한 도면들이다.
도 1은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템(diffraction grating imaging system)에서 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process) 간의 관계(relationship)의 개략도이다.
도 1에서, 'PI'는 시차 이미지(Parallax Image)를 나타내고, 'VP'는 가상 핀홀(Virtual Pinhole)를 나타내고, 'EOA'는 유효 객체 영역(Effective Object Area)을 나타낸다. 그리고 'MIA'는 최소 이미지 영역(Minimum Image Area)을 나타낸다.
도 1을 참조하면, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템은 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process)를 수행한다.
회절 격자 이미징 시스템은은 픽업 프로세스를 수행하기 위한 회절 격자(41)와 이미징 렌즈(43, imaging lens)를 포함하고, 회절 격자(41)와 이미징 렌즈(43)를 통해 픽업 평면에 픽업된 시차 이미지들과 상기 픽업된 시차 이미지들을 재구성하기 위한 컴퓨팅 연산을 수행하는 컴퓨팅 장치를 더 포함하도록 구성된다.
컴퓨팅 장치는, 프로세서, 메모리, 저장 매체, 통신부 및 이들을 연결하는 시스템 버스를 포함하도록 구성될 수 있으며, 이들 중에서 픽업 프로세스와 재구성 프로세스와 관련된 알고리즘을 실행하고, 실행된 알고리즘에 따라 다양한 연산을 수행하는 주체는 프로세서일 수 있다.
프로세서는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 그래픽 프로세서들(GPUs) 또는 이들의 임의의 결합에 의해서 구현될 수 있다.
저장 매체는 프로세서에 의해 실행되는 알고리즘 및 이러한 알고리즘의 실행에 따라 수행된 다양한 연산과정으로부터 획득된 중간데이터(중간값) 및/또는 결과 데이터(결과값) 등을 일시적 또는 영구적으로 저장하거나, 픽업 프로세스와 재구성 프로세스를 수행하기 위한 공지의 다양한 알고리즘을 저장하거나, 알고리즘의 실행 공간을 제공하는 것일 수 있다.
저장 매체는, 컴퓨터-판독가능 매체로 지칭될 수도 있으며, 컴퓨터-판독가능 매체는 SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-onlymemory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 하드 디스크 등을 포함할 수 있다.
회절 격자(diffraction grating)를 이용한 3-D 객체들(3-D objects)에 대한 상기 픽업 프로세서(pickup process)의 분석(analysis)에서는, 광원(light source)의 파장(wavelength), 회절 격자(41)의 공간 분해능(spatial resolution), 및 회절격자(41) 및 이미징 렌즈(43)의 위치(positions)와 같은 시스템 파라미터(system parameters)가 정의한다.
재구성 프로세스는 역-투영(back-projection)에 기반한다. 여기서, 시차 이미지들(parallax images)을 3-D 재구성 공간(3-D reconstruction space)으로 투영하기 위해 가상 핀홀들(VPs: Virtual Pinholes)이 정의된다. 가상 핀홀(VP)은 가상의 카메라를 표현한 것이다.
본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서는 픽업된 이미지에서 3D 객체가 서로 겹치지 않고 존재할 수 있는 최대 영역(maximum area)을 유효 객체 영역(EOA)으로 정의되고, 획득된 이미지들에서 유효 객체 영역(EOA)를 검출(detecting)하는 것은 회절 격자 이미징에서 재구성에 필수적이다.
또한 재구성 프로세스에서는, 각 가상 핀홀의 최소 시야각(minimum field of view) 인 최소 이미지 영역 (MIA, minimum image area)이 정의된다.
또한, 재구성(computational reconstruction)을 위해, 유효 객체 영역(EOA)과 최소 이미지 영역(MIA) 간의 매핑(mapping)이 필요하고, 이와 관련된 수학식이 아래에서 설명된다.
회절 격자 이미징에서 3D 객체들의 픽업 프로세스
회절 격자(41)는 3-D 객체로부터 발산하는(emanating) 광선을 회절 시킨다. 이미징 렌즈(43)로 회절 격자(41)를 통해 객체를 관찰하는 것(observing)은 회절 격자 이미징에서 픽업 프로세스의 기본 개념이다.
회절 격자(41)에 의해 회절된 광선(diffracted light rays)은 상기 3-D 객체의 투시 이미지들(perspective images)로서 관찰된다. 회절 격자(41)를 통해 객체 공간(object space)을 관찰하면, 회절 격자(41)의 후면 상에 객체의 가상 이미지들(virtual images)이 생성되는 것으로 보인다.
가상 이미지들은 3-D 객체에 대한 시차들(parallaxes)을 가지며, 이미징 렌즈(43)와 같은 캡처 장치(capturing device)에 의해 시차 이미지 어레이 (PIA)로서 저장된다. 여기서, 가상 객체의 이미징 깊이(imaging depth)와 크기(size)는 원래의 3-D 객체(original 3-D object)와 동일하다.
도 2는 본 발명의 실시 예에 따른 포인트 객체, 시차 이미지 평면(parallax image plane: PI plane) 상에서 포인트 객체의 시차 이미지들 및 이미징 렌즈에 의한 캡처된 시차 이미지들 간의 2 차원 기하학적 관계(two-dimensional(2-D) geometric relationships)를 보여주는 도면이다.
도 2를 참조하면, 회절 격자(41)가 x-y 평면에서 이미징 렌즈(43)로부터 거리 d에 있고, 포인트 객체(P1)는 (xO, yO, zO)로 가정한다. 여기서, 포인트 객체는 시차 이미지에 포함된 객체를 포인트로 표현한 것이고, 모든 시차 이미지의 z 좌표(the z-coordinates)는 회절 격자 이미징(diffraction grating imaging)에 따라 zO로서 동일하고, zO는 이미징 렌즈(43)로부터 시차 이미지 평면(PI plane)까지의 거리로 해석될 수도 있다.
도 2에 도시 된 바와 같이, -1차 시차 이미지(PI(x-1st, yO, zO)) 및 +1차 시차 이미지(PI(x1st, yO, zO))는 회절 격자(41)에 의해 포인트 객체의 ± 1 차(± 1st order) 회절(diffraction)에 의해 생성된다. (xO, yO, zO)에서의 포인트 객체는 0 차 시차 이미지로 사용된다.
1차 시차 이미지(PI(x1st, yO, zO))와 0차 시차 이미지(PI(xO, yO, zO))들 사이의 회절각(
Figure 112021110787304-pat00001
)은
Figure 112021110787304-pat00002
= sin-1(m
Figure 112021110787304-pat00003
/a)로 계산되며, 여기서
Figure 112021110787304-pat00004
는 광원(light source)의 파장(wavelength)이고, a는 회절 격자의 개구폭(aperture width)이다.
회절 차수(diffraction order)와 포인트 객체(point object)의 위치를 고려하면, 시차 이미지(parallax images)의 x 좌표는 아래의 수학식 1과 같다.
Figure 112021110787304-pat00005
여기서, m은 -1, 0 및 1이다. 시차 이미지(parallax image)의 y 좌표(yO)는 수학식 1에서 xO를 yO로 대체하여 획득된다. 픽업 평면(16, pickup plane)상의 이미징 포인트(imaging point) I(xmth, ynth, zO)는 아래의 수학식 2와 같다.
Figure 112021110787304-pat00006
여기서 m과 n은 -1, 0, 1이며 zI는 픽업 평면의 z 좌표를 나타낸다.
회절 격자(41)는 객체의 z-좌표와 시차 이미지가 동일한 공간에서 시차 이미지를 생성한다(a diffraction grating generates parallax images in the space where the z-coordinate of the object and parallax images are the same).
픽업 평면에서 I(x1th, yO, zO)에 도달하는 광선이 PI (x1th, yO, zO)에서 나온 것처럼 보이지만, 포인트 객체에서 발산하는(emanating) 광선만이 실제이다(the ray reaching I(x1th, yO, zO) in the pick-up plane seems to come from PI(x1th, yO, zO), only the rays emanating from the point object are real).
따라서, 각 시차 이미지(each parallax image)의 시점(viewpoint)은 이미징 렌즈(43)의 광학 중심(20, optical center)을 통과하는(passing through) 가상 포인트 객체들(P2, P3)로부터의 가상 광선들(21, 22)과 포인트 객체(P1)로부터의 실제 광선(23)과의 관계(relationship)에 의해 설명될 수 있다.
도 3은 본 발명의 실시 예에 따른 포인트 객체로부터 나오는(coming from) 주요 광선(chief ray)의 경로와 가상 포인트 객체로부터 나오는(coming from) 가상 광선들(virtual rays)의 경로 사이의 기하학적 관계(geometric relationship)를 나타내는 도면이다.
도 3을 참조하면, ±1 차 시차 이미지(±1st order parallax images)에서 이미징 렌즈(43)의 광학 중심(20)으로의 가상 광선들(21, 22)은 위치 함수(position function) G(xmth, ynth, zO)에 의해 정의되는 지점에서 회절 격자(41)를 만난다.
포인트 G(xmth, ynth, zO)에서, 회절 격자(41)는 포인트 객체(P1)로부터 이미징 렌즈(43)의 광학 중심(20)으로의 실제 광선(23)의 경로를 변화시킨다. 점 G(xmth, ynth, zO)는 아래의 수학식 3과 같다.
Figure 112021110787304-pat00007
이하, 재구성 프로세스의 중요한 부분(crucial part)에 해당하는 회절 격자 이미징에서 역-투영(back-projection)을 위한 가상 핀홀(virtual pinholes)에 대해 설명하기로 한다.
시차 이미지의 가상 핀홀(virtual pinholes) 및 매핑 위치
가상 핀홀(virtual pinholes)은 카메라 어레이(camera array)로 간주될 수 있다. 본 발명은, 3차원 이미지 재구성 방법을 구현하기 위해, 시차 이미지들에 대응하는 가상 핀홀의 위치(position of the virtual pinholes)에 대한 공식과 시차 이미지들(parallax images)과 가상 핀홀들(virtual pinholes: VPs) 사이의 매핑(mapping)을 위한 공식이 제공된다.
도 3에 도시 된 바와 같이, Ψ의 각도에서 포인트 객체(P2)로부터 방출하는(radiating) 광선은 (x1st, yO, zO)에 위치한 1 차 시차 이미지(PI(x1st, yO, zO))로부터의 광선으로 결정된다. PI(x1st, yO, zO)에서 이미징 렌즈(43)를 통해 이미징 포인트 I(x1st, yO, zO)로 입사하는 광선은 Ψ의 각도와 동일하다.
이미징 포인트 I(x1st, yO, zO)는 포인트 객체(P1)로부터 방출되는 광선에 대해 각도 Ψ의 시차 이미지로 간주된다. 픽업 평면 상에서 zI 깊이의 다른 포인트를 가정하면, 이미지 I(x1st, yO, zO)와 동일한 시차를 가지며 포인트 객체를 통과하는 선(line)과 포인트 G(x1st, yO, zO)는 픽업 평면과 만난다.
도 4는 본 발명의 실시 예에서 포인트 객체, 가상 핀홀(Virtual Pinhole, VP), 가상 이미지(virtual image) 평면(VI plane) 및 I(x1st, yO, zO) 간의 기하학적 관계(Geometrical relationship)를 나타내는 도면이다.
도 4에 도시된 바와 같이, x 축의 한 지점에 위치한 가상 핀홀(51)의 광학 중심을 위치 함수(position function) VP (xmth, ynth, z0)로 가정할 때, 수학식 1과 3을 이용하면, VP(xmth, ynth, zO)는 아래의 수학식 4와 같이 계산된다.
Figure 112021110787304-pat00008
여기서 m과 n은 -1, 0, 1이다.
상기 수학식 4는 대응하는 시차 이미지의 차수(order)가 동일하면, 각 가상 핀홀의 위치는 객체의 위치에 관계없이 고유한 값(unique value)임을 의미한다.
그러나 수학식 4는 객체의 깊이(the depth of the object)가 증가함에 따라 각 가상 핀홀의 위치가 x 및 y 방향으로 증가함을 의미하고, 이미징 렌즈(43)는 제 0 가상 핀홀(the 0th virtual pinhole)로 간주될 수 있다.
이하, 가상 이미지가 존재하는 가상 이미지 평면(VI plane)에 대한 설명한다.
가상 이미지들은 픽업 평면(PI pickup plane)의 이미지 I(xmth, ynth, zO)를 가상 이미지 평면(VI plane)에 재배치한 이미지들이다. 가상 이미지의 위치 함수는 VI(xmth, ynth, zO) = (x, y, zI)로 주어진다. 여기서 m과 n은 -1, 0 및 1이다.
가상 이미지의 x 좌표는 아래의 수학식 5와 같다.
Figure 112021110787304-pat00009
수학식 5에서 xO와 xmth를 yO와 ymth로 대체하면, 가상 이미지의 y 좌표 yO가 된다.
가상 이미지(VI(xmth, ynth, zO))는 본 발명에 따른 재구성 방법(computation reconstruction)에 이용된다.
이들 이미지들은 매핑 팩터(Δxmapping)를 갖는 픽업된 시차 이미지 I(xmth, ynth, zO)의 이동 버전(shift version)이다.
수학식 2와 5를 이용하면 시차 이미지I(xmth, ynth, zO)와 가상 이미지(VI(xmth, ynth, zO)) 사이의 이동량을 나타내는 매핑 팩터(Δxmapping)는 아래의 수학식 6으로 계산될 수 있다.
Figure 112021110787304-pat00010
시차 이미지 분할 및 재구성 방법
시차 이미지(parallax image)를 분할(segment)하기 위해, 이미지 영역(image area)을 사용하여 각 가상 핀홀의 시야각(field of view)을 결정한다.
회절 격자(41)에 의해 캡처 된 원시 이미지(raw image)로부터 개별 시차 이미지(individual parallax images)를 분할(segmenting)하는 것은 렌즈 어레이 또는 카메라 어레이에 의해 픽업된 원시 이미지와는 다르게 투명 회절 격자(transparent diffraction grating)로 인해 어렵다.
더욱이, 회절 격자 이미징(diffraction grating imaging)은 객체의 크기(size)가 특정 한계(specific limit)를 초과할 때 시차 이미지가 서로 중첩되기도 한다.
시차 이미지들의 중첩 문제(The overlapping problem of parallax images)는 객체의 크기 및 객체와 회절 격자 사이의 거리에 의해 설명될 수 있다.
중첩 문제를 피하기 위해, 객체의 최대 크기(the maximum size)인 유효 객체 영역(Effective Object Area: EOA)이 정의될 필요가 있다.
편의상 유효 객체 영역(Effective Object Area: EOA)의 중심은 이미징 렌즈(43)의 광축(optical axis)에 정렬된다고 가정한다.
도 5a는 본 발명의 실시 예에서 유효 객체 영역(EOA), 시차 이미지 영역, 픽업된 PI 영역(picked up PI regions), 가상 핀홀(virtual pinholes) 및 최소 이미지 영역(the Minimum Image Area: MIA)의 절반(half) 간의 기하학적 관계(geometrical relationship)를 보여주는 도면이고, 도 6b는 본 발명의 실시 예에서 실제 3 차원 공간에서 원 객체의 시차 이미지가 재구성을 위해 시차 이미지 어레이로 어떻게 변환되는지 보여주기 위한 도면이다.
먼저, 도 5a를 참조하면, 유효 객체 영역(EOA)을 정의하면, 시차 이미지의 영역이 정의된다.
도 5a에서 유효 객체 영역(EOA)의 1차 PI 영역(1st order PI region)과 -1차 PI 영역(-1st order PI region)은 각각 적색 및 녹색으로 표기되어 있다.
픽업된 PI 영역들(picked-up PI regions) 사이의 경계(boundary)는 수학식 2를 사용하여 결정된다. 따라서, 픽업된 평면(picked-up plane)에서 시차 이미지의 분할(segmentation of the parallax images)이 가능하다.
상기 수학식 6을 이용해서 픽업 평면 상의 픽업된 시차 이미지의 영역을 가상 이미지 평면(VI plane)의 최소 이미지 영역(MIA)으로 매핑한 후, 최소 이미지 영역(MIA)의 반경(Half of MIA)은 가상 핀홀의 광축(60)으로부터 가상 이미지 평면(VI plane)으로 매핑된 상기 픽업된 시차 이미지 영역(PI region)의 가장자리까지의 거리로부터 획득된다.
유효 객체 영역(EOA)의 크기는 포인트 객체가 광축에 놓일 때 ±1st PI 영역의 크기와 같다. 크기 Δx는 광축상의 포인트 xOC에 의존한다. Δx를 변경하면 1 차 PI(1st order PI)의 중심(xOC1st)를 기준으로 1 차 PI 영역(1st order PI region)의 크기가 변경된다.
최대 Δx, 즉 유효 객체 영역(EOA)은 아래의 수학식 7과 같다.
Figure 112021110787304-pat00011
여기서 λ는 광원의 파장이고, a는 회절 격자의 개구 폭(aperture width)이다. 유효 객체 영역(EOA)(또는 EOA의 크기)은 객체와 회절 격자 사이의 거리(|z0 - d|)에 비례함을 상기 수학식 7로부터 알 수 있다. 최소 이미지 영역 (MIA)의 절반,
Figure 112021110787304-pat00012
r은 식 (4), 식 (5) 및 식 (7)를 통해 아래의 수학식 8에 의해 계산된다.
Figure 112021110787304-pat00013
도 5b에서는 실제 3차원 공간(3-D space)에서 원형 객체(circle object)의 시차 이미지가 재구성(computational reconstruction)을 위해 시차 이미지 어레이(parallax image array)로 어떻게 변환되는지를 보여준다.
도 5b의 왼쪽에 있는 원형 객체(circle object)에 대해 유효 객체 영역(EOA)이 전술한 수학식 7에 의해 얻어지면, 도 5b의 중간에 보이듯이, 이미징 렌즈(43)에 의해 픽업된 원시 시차 이미지(raw parallax images)의 영역을 결정할 수 있다.
도 5b의 오른쪽에 도시 된 바와 같이, 가상 핀홀 및 최소 이미지 영역 (MIA)에 기초한 제안된 맵핑 방법을 통해서 3차원 재구성을 위해 가상 평면에서 시차 이미지 어레이(PIA)가 생성된다.
도 6은 시차 이미지 어레이(PIA)를 이용하여 재구성 평면(reconstruction plane)으로 역-투영(back-projection)하는 과정을 보여주는 도면이다.
도 6을 참조하면, 각각의 시차 이미지가 있는 각각의 MIA는 가상 핀홀을 통과하는 3D 공간에서 역 투영된다. 역 투영되는 과정은 각각의 시차 이미지의 이동된 버전이 재구성 평면에서 겹쳐지는 과정으로 설명할 수 있다. 여기서 각 시차 이미지를 정확하게 찾는 것은 전술한 수학식 6에 의해 얻을 수 있다.
또한 최소 이미지 영역 (MIA)은 도 6에서 파란색과 주황색으로 강조된 것처럼 서로 겹칠 수 있다. 모든 최소 이미지 영역(MIA)의 역 투영은 재구성 평면에서 오브젝트 이미지에 초점을 정확히 맞추는 깊이 정보를 제공할 수 있다. 여기서 재구성 평면의 깊이는 오브젝트의 위치와 동일하다. 따라서, 회절 격자 이미징을 통한 본 발명의 재구성 방법은 최소 이미지 영역(MIA)을 결정하고, 최소 이미지 영역(MIA)에서 캡처된 시차 이미지를 찾고, 최소 이미지 영역(MIA)를 역 투영하는 것으로 구성된다.
이상 설명한 방법에 따라 생성된 PIA는 가상 핀홀의 위치 및 각각의 요소 영상의 위치 정보 및 크기 정보가 잘 정의되어 있기 때문에 기존에 알려져 있는 CIIR 방법으로 3차원 영상 재구성(복원)이 가능하다.
이하, 도 1 내지 6을 참조하여 설명한 회절 격자 이미징 기법을 기반으로 본 발명의 실시 예에 따른 회절 격자 이미징 시스템 및 이를 이용하여 3차원 영상 재구성 방법에 대해 상세히 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 회절 격자 이미징 시스템의 하드웨어 구성을 보여주는 블록도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 회절 격자 이미징(diffraction grating imaging, DGI) 시스템은 레이저 광원 유닛(110), 회절 격자 유닛(120), 카메라 장치(130) 및 컴퓨팅 장치(140)를 포함한다.
레이저 광원 유닛(110)은 서로 다른 파장을 갖는 다수의 레이저 광원들을 3차원 물체에 조사하는 장치로서, 복수의 레이저 다이오드(laser diodes)을 포함하도록 구성될 수 있다. 레이저 광원은, 예를 들면, 평면 조명(plane illumination) 레이저 광원일 수 있다.
회절 격자(diffraction grating)(120)는 3차원 물체에 반사된(산란된) 레이저 광선들을 회절시키는 유닛이다.
카메라 장치(130)는 회절 격자(120)에 의해 회절된 레이저 광선들을 픽업(pickup)(또는 캡쳐(capturing))하여, 시차 영상 배열들(parallax image arrays, PIAs)을 획득하는 장치일 수 있다.
컴퓨팅 장치(200)는 카메라 장치(130)에 의해 픽업된 시차 영상 배열들(PIAs)로부터 3차원 정보를 추출하고, 추출된 3차원 정보를 기반으로 시차 영상 배열들(PIAs)을 재구성(복원)하기 위한 컴퓨팅 연산을 수행하는 장치일 수 있다.
컴퓨팅 장치(200)는 프로세서(210), 메모리(220), 디스플레이(230), 입력 장치(240) 및 이들을 연결하는 시스템 버스(250)를 포함한다.
프로세서(210)는 후술하는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 관련된 알고리즘을 실행하고, 실행된 알고리즘에 따라 다양한 연산을 수행하는 장치로서, 예를 들면, 적어도 하나의 프로세서로 구현될 수 있다. 프로세서는, 예를 들면, 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 적어도 하나의 그래픽 프로세서들(GPUs) 또는 이들의 임의의 결합일 수 있다.
메모리(143)는 프로세서에 의해 실행되는 알고리즘들 및 이러한 알고리즘의 실행에 따라 수행된 다양한 연산과정으로부터 획득된 중간데이터(중간값) 및/또는 결과 데이터(결과값) 등을 일시적 또는 영구적으로 저장한다.
메모리(143)는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 공지의 알고리즘들의 실행 공간을 제공하는 것일 수 있다. 메모리(143)는, 예를 들면, SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-onlymemory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리 등일 수 있다.
디스플레이 장치(145)는 재구성(복원) 프로세스에 의해 재구성된 영상들을 표시하는 장치일 수 있다.
입력 장치(145)는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 수행하기 위한 다양한 사용자 입력을 생성하는 장치 일 수 있다. 예를 들면, 입력 장치(145)는 키보드일 수 있다.
도 8은 도 7에 도시한 DGI 시스템에 의해 수행되는 픽업 프로세스(pickup process)와 재구성(복원) 프로세스(reconstruction process)를 설명하기 위한 도면이다.
도 8을 참조하면, DGI 시스템(또는 컴퓨팅 장치(140)의 프로세서(141))는 회절 격자(120)를 이용하여 시차 영상 배열들(PIAs)을 픽업하는 픽업 프로세스(pickup process)와 픽업된 시차 영상 배열들(PIAs)에서 3차원 정보를 추출하는 재구성(복원) 프로세스(reconstruction process)를 수행한다.
픽업 프로세스(pickup process)에서는, 평면 레이저 광원(110)이 3차원 물체(3D Object)(50)에 조사되고, 상기 3차원 물체(50)에서 반사되어 나오는 레이저 광선들 중에서 회절 격자(120)에 입사하는 레이저 광선들은 회절 격자(120)에 의해 회절 된다. 상기 회절된 레이저 광선들이 카메라(130)에 의해 픽업되면, 3차원 물체(50)에 대한 시차 영상 배열들(PIAs)이 캡쳐된다.
재구성(복원) 프로세스(reconstruction process)에서는, 역-투영(Back-projection) 방법을 기반으로 픽업된 시차 영상 배열들(PIAs)에서 공지의 역-투영(Back-projection) 방법을 이용하여 3차원 정보를 추출하는 디지털 영상 처리가 수행된다.
공지의 역-투영(Back-projection) 방법을 이용하여 시차 영상 배열들(PIAs)에서 3차원 정보를 추출하는 경우, 픽업된 시차 영상 배열들을 구분할 수 있는 패턴 정보가 없기 때문에, 이러한 점을 고려하여, 3차원 이미지의 재구성 프로세스가 수행된다.
무엇보다도, 본 발명의 실시 예에 따른 회절 격자 이미징에서는, 레이저 광원을 이용하는 점을 주목해야 한다. 회절 격자(120)를 통해 3차원 물체(50)의 표면에서 산란된(반사된) 레이저 광선들을 관측하면, 상기 산란된(반사된) 레이저 광선들이 공간상에서 주기적으로 결상됨을 확인할 수 있다.
본 명세서에서는, 상기 산란된 레이저 광선들이 공간상에서 결상되는 주기를 '공간 주기(Spatial period)'로 칭하며, 이러한 공간 주기는 시차 영상 배열들 사이의 거리로 정의할 수 있으며, 이는 물체(50)와 회절 격자(120) 사이의 거리와 비례한다. 즉, 공간 주기는 회절 각도와 직접적인 관계가 있다.
잘 알려진 회절 격자 방정식(diffraction grating equation)은 회절 각도와 레이저 광선의 파장 사이의 관계를 잘 표현하는 방정식이다. 회절 격자(120)를 통해서 관측된 물체(50) 영상의 공간 주기는 물체의 깊이가 클수록 그리고 파장이 클수록 커진다. 여기서, 물체의 깊이는 물체의 위치이다.
또한 레이저의 파장에 따라 얻어진 시차 영상 배열들은 사용된 레이저의 파장에 따라 영상의 특성이 다르다. 이는 레이저의 파장이 영상 화질에 영향을 끼침을 의미한다. 이처럼 레이저 광원에 기반한 회절 격자 이미징 시스템에 대한 연구는 진행할 가치가 있다.
본 발명에서는 기존의 회절 격자 이미징 시스템의 문제점을 줄이고 영상의 화질을 개선하기 위해서 다-파장의 레이저 광원을 이용한다. 도 8에 도시된 바와 같이, 시차 영상 배열들(PIAs)의 획득 과정(pickup process)에서, 서로 다른 파장을 갖는 레이저 광원들이 3차원 물체(50)에 순차적으로 조사된다.
본 실시 예에서는, 제1 파장(635nm)을 갖는 레드 색상(Red, R)의 레이저 광원, 제2 파장(532nm)을 갖는 그린 색상(Green, G)의 레이저 광원 및 제3 파장을 갖는 블루 색상(Blue, B)의 레이저 광원이 이용된다.
사용된 광원들의 파장에 기인한 물리적 특성은 영상 취득 과정에서 반영되어 각 광원의 파장에 따라 특성을 갖는 시차 영상 배열이 얻어진다.
파장 별로 재구성된 영상들은 깊이 해상도가 서로 다르기 때문에 단순한 영상 합성을 통하여 본 발명에서 제안하는 결과 영상을 구현할 수 없다. 따라서 본 발명에서 제안하는 방법을 구현하기 위하여 각 파장에 따른 시차 영상 배열의 공간 주기, 시스템의 깊이 해상도, 시차각을 이론적으로 분석하여 일반화된 수식을 유도하고, 시차 영상 배열들이 하나로 합성되는 재구성 프로세스가 제안된다.
본 발명에서는 서로 다른 파장을 갖는 다수의 레이저 광원들을 이용한 회절 격자 이미징 시스템을 제안하기 때문에 파장에 따른 회절 격자 이미징에 대해서 분석이 필요하다.
회절 격자 이미징에서 광원의 파장은 공간 주기에 영향을 주고, 물체의 깊이 정보(또는 물체의 위치 정보)가 공간 주기에 따라 결정되기 때문에, 공간 주기는 물체의 깊이 정보(또는 물체의 위치 정보)와 사용된 조명(예, 레이저 광원)의 파장 함수로 생각할 수 있다.
재구성 프로세스에서 공간 주기는 핵심적인 매개변수이기 때문에 하나의 깊이 정보에서 파장에 따른 공간 주기를 산출하고 파장별로 얻어진 시차 영상 배열들에서 얻어진 3차원 영상들을 합성하는 과정이 필요하다.
이를 위해, 본 발명은 광원의 파장, 공간 주기 및 깊이 해상도에 관한 분석을 제공한다.
먼저, 깊이 해상도Δz는 회절 격자 이미징 시스템에서 물체의 깊이를 인지할 수 있는 최소 거리로 정의한다. 여기서, 물체의 깊이는 물체의 위치이다. 따라서, 깊이 해상도 Δz는 두 물체들이 서로 다른 위치에 있다고 인지할 수 있는 두 물체들 사이의　최소거리로 정의할 수 있다.
회절 격자(120)에 의한 시차 영상 배열들(PIAs) 간의 거리를 공간 주기 X로 정의하면, 공간 주기 X는 아래의 수학식 9로 나타낼 수 있다.
Figure 112021110787304-pat00014
여기서 z0는 카메라(130)의 픽업 렌즈(예, 도 2의 이미징 렌즈(43))를 기준으로 하는 물체(50)의 위치 또는 픽업 렌즈(예, 도 2의 이미징 렌즈(43))로부터 시차 이미지 평면(PI plane)까지의 거리로 정의한다. d는 회절 격자(120)와 카메라(130)에 포함된 픽업 렌즈(또는 이미징 렌즈) 사이의 거리이다(도 2의 'd'를 참조). λk는 레이저 광원의 파장이다. p는 회절 격자의 피치(pitch)이다.
회절된 레이저 광선들은 계속 직진하기 때문에, 회절 각도는 z축 방향으로 이동 거리 대비 x 축 방향으로 이동 거리로서, 도 2에 도시된 바와 같이 1차 시차 이미지(PI(x1st, yO, zO))와 0차 시차 이미지(PI(xO, yO, zO))들 사이의 각도이고, tan(θ)=Δx/Δz로 표현할 수 있다. 여기서, Δx는 공간주기의 해상도로 정의하며, 이 경우, 공간주기의 해상도 Δx는 두 물체의 깊이 정보를 인지할 수 있는　깊이 해상도를　x-축　공간 주기에서 나타낸 최소 단위이다. 따라서, 깊이 해상도 Δz는 공간 주기의 해상도 Δx를 포함하는 아래의 수학식 10으로 나타낼 수 있다.
Figure 112021110787304-pat00015
여기서, 공간 주기의 해상도 Δx를 디지털 영상에서 픽셀 크기로 설정하면, 공간 주기는 디지털 영상의 픽셀 단위로 정의할 수 있다.
도9는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서 활용된 파장별 깊이 해상도 대비 시차 영상 배열의 공간 주기와의 관계를 보여주는 그래프이다.
도 9를 참조하면, 사용된 레이저 광원의 파장 λk는 각각 635 nm (Red), 532 nm (Green), 450 nm (Blue)이다.
도 9의 (a)는 세 개의 광원을 사용하여 획득한 원 물체에 대한 시차 영상 배열을 보여준다. 여기서 원 물체는 회절 격자(120)로부터 100 mm 떨어진 곳에 위치한다.
도 9의 (b)는 (a)에서 노란색으로 표시한 사각형 부분을 확대한 사진이다. (b)에서 볼 수 있듯이, 주어진 물체의 깊이에 대한 각 시차 영상 어레이의 공간 주기는 레드, 그린, 블루 파장의 광원에서 각각 661pixel, 553pixel, 463pixel로 측정됐다. (b)에서 볼 수 있듯이 광원의 파장이 클수록 공간 주기가 역시 커지는 것을 확인할 수 있다. 이는 수학식 (9)가 말하는 바와 잘 맞는다.
도 9의 (c)는 물체(도 2의 50)의 깊이에 대응하는 공간 주기에 대한 그래프이다. (c)에서 각 파장별 그래프는 모두 선형임을 알 수 있다. 다만 기울기는 파장이 클수록 커진다. 이는 깊이 해상도의 정밀도는 광원의 파장 클수록 높아짐을 의미한다.
또한 그래프의 기울기는 공간 주기 대비 깊이 해상도를 의미하고 일정한 값을 갖는 것은 깊이 해상도가 물체의 깊이와 무관하다는 특징을 의미한다. 이것은 통상 카메라 배열을 통해서 깊이 정보의 해상도가 거리가 멀수록 악화되는 것과 비교하면 상당히 중요한 장점이라고 할 수 있다.
이런 결과는 3차원 영상 시스템을 이용한 깊이 정보 추출할 때, 회절 격자 이미징 시스템의 설계에서 중요한 요소로 활용될 수 있다.
또한, (c)에서 제공하는 그래프는 재구성 프로세스에서 매우 중요한 정보로 사용된다. 즉 목표 위치에서 3차원 영상을 재구성할 때 각 파장별로 얻어진 시차 영상 배열에서 적용할 공간 주기를 계산해주어야 한다. 예를 들면, 도 9의 예시처럼 위치 100에서 복원할 3차원 평면 영상은 레드-파장 시차 영상 배열에서는 공간 주기를 661픽셀, 그린에서는 553픽셀, 그리고 블루에서는 463픽셀로 설정해야 한다. 따라서 광학 장치가 설계된 후에 앞 문단에서 논의한 것과 같이 (c)의 그래프가 확정되면, 재구성 프로세스에서 필요로 하는 모든 위치에서 파장별 공간 주기들을 제공할 수 있다.
회절 격자 이미징의 시차 영상 배열(PIAs)은 렌즈 어레이나 카메라 어레이와 다른 형태를 가지므로 회절 격자 이미징에서 시차 영상 배열로부터 3차원 볼륨을 생성하기 위해서는 재구성 방법이 필요하다.
도 10은 본 발명의 실시 예에 따른 재구성 프로세스를 설명하기 위한 도면이다.
도 10을 참조하면, 다중 파장 레이저에 의해 순차적으로 조명된 물체의 시차 영상 배열들(PIAs)은 3차원 볼륨을 재구성하기 위한 입력 데이터로 사용된다.
3차원 볼륨의 재구성은 시차 영상 배열들(PIAs)을 입력 데이터로 이용하는 가상 핀홀 어레이를 기반으로 하는 역-투영 방법(back-projection)이 이용된다. 시차 영상 배열들(PIAs)을 3-D 재구성 공간(3-D reconstruction space)으로 투영하기 위해 가상 핀홀들(VPs: Virtual Pinholes)이 정의된다. 전술한 바와 같이, 가상 핀홀(VP)은 가상의 카메라를 표현한 것이다.
가상 핀홀(virtual pinhole) 어레이를 기반으로 하는 역-투영 방법(back-projection)은 각 파장에 대해 주어진 깊이 z에서 재구성 평면 이미지를 제공한다. 여기서 사용하는 레이저 광원의 파장 λk는 635nm(적색), 532nm(녹색), 450nm(청색)이므로, 이 경우 3개의 재구성 영상(11. 12, 13)이 생성된다.
다중 파장에 따라서 개별적으로 재구성 영상(11. 12, 13)은 동일한 깊이에 있어야 하는데 이때 필요한 중요한 정보가 공간 주기(Spatial periods)를 활용하는 것이고, 도 9의 (c)에 도시한 그래프에 기반 공간 주기 계산 방법에 의해 얻어낸다.
그런 다음, 단일 파장에 해당하는 재구성된 이미지를 스펙트럼 선택 방법에 적용한다. 따라서 주어진 깊이 z에서 최종 재구성된 영상(14)이 얻어진다. 모든 깊이에 대해 이 과정을 반복하면 회절 격자 이미징에서 3D 볼륨이 제공된다.
도11은 깊이 104 mm의 물체에 대해서 재구성된 영상들과 노란색 사각형으로 표시된 영역을 확대한 영상들을 보여준다.
도 11의 (a)~(g)는 재구성 영상에 따라 사람 물체의 표면에 대한 선명도 비교 평가를 보여준다. (b)와 (c)에서 라인 형태의 두꺼운 노이즈가 발생됨을 확인할 수 있다. 이 노이즈는 시차 영상 배열들 사이에 발생한 간섭으로 1차 회절 시차 영상이 0차 회절 시차 영상과의 간섭에서 발생한다.
회절 격자 영상의 시차 영상들은 회절의 고유 특성상 간섭이 발생할 수 있다. 이러한 간섭은 공간 주기가 짧을수록 조명의 강도가 강할수록 잘 발생한다. 이번 광학 실험에서는 녹색과 블루 레이저에서 발생하고 레드 레이저의 경우 시차 영상 간에 공간 주기가 충분해서 오버랩되는 영역이 발생하지 않았음을 (a)에서 보여준다.
(d)~(g)에서 확인할 수 있듯이 간섭 노이즈는 다-파장을 사용하여 재구성한 영상에서 상당 부분 제거된다. 또한 다 파장 재구성 결과는 재구성 과정에 더 많은 시차영상이 참여할수록 파장 선택에 따라서 재구성 영상에서 노이즈 제거 효과가 뛰어나다는 것을 보여준다. 특히, 화살표로 지시한 부분을 관찰하면, 단파장 복원 결과에서 레드 파장보다는 블루 파장이 보다 선명한 영상을 제공한다.
반면에 스펙클 잡음은 블루 파장에서 보다 더 강하게 남은 것으로 보인다. 다 파장 복원의 경우 해상도가 증가함과 동시에 시차 영상 간 간섭, 스펙클 잡음 등은 현저히 감쇠하는 것으로 관찰된다.
도 12는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템을 이용하여 3차원 영상을 재구성하는 방법을 나타내는 흐름도이다.
도 12를 참조하면, 먼저, 단계 S110에서, 회절 격자(120)가, 서로 다른 파장의 레이저 광원들을 물체(50)에 조사하여, 상기 물체(50)에 반사된 제1 내지 제3 레이저 광선을 회절시키는 단계를 수행한다.
이어, 단계 S120에서, 카메라 장치(130)가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계를 수행한다.
이어, 단계 S130에서, 컴퓨팅 장치(140)의 프로세서(141)가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상(11, 12, 13)을 획득하는 단계를 수행한다.
이어, 단계 S140에서, 상기 프로세서(141)가, 상기 제1 내지 제3 재구성 영상을 합성(Merge & combination)하여, 상기 물체(50)의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계를 수행한다.
실시 예에서, 상기 제1 내지 제3 레이저 광선을 회절시키는 단계(S110)는, 레이저 광원(110)이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체(50)에 순차적으로 조사하는 단계와 상기 회절 격자(120)가, 상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 단계를 포함할 수 있다.
실시 예에서, 레이저 광원(110)이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체(50)에 순차적으로 조사하는 단계는, 제1 파장의 적색 레이저 광원, 제2 파장의 녹색 레이저 광원 및 제3 파장의 청색 레이저 광원을 상기 물체에 순차적으로 조사하는 단계일 수 있다.
실시 예에서, 상기 제1 내지 제3 재구성 영상을 획득하는 단계(S130)는, 서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하는 단계와 상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 공간 주기를 계산하는 단계는, 상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우, 상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하는 단계, 상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하는 단계 및 상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 단계를 포함할 수 있다.
실시 예에서, 상기 회절 격자로부터 상기 물체까지의 거리(z)는 수학식 9에 포함된
Figure 112021110787304-pat00016
또는 도 2에 도시된
Figure 112021110787304-pat00017
일 수 있다.
실시 예에서, 상기 공간 주기의 해상도(Δx)를 계산하는 단계는,
Figure 112021110787304-pat00018
을 이용하여 계산하는 단계이고, 여기서, 상기 Δz는 물체의 깊이를 인지할 수 있는 최소 거리로 정의되는 깊이 해상도 또는 상기 회절 격자로부터 상기 물체까지의 거리(z)이고, λk는 레이저 광원의 파장이고, p는 회절 격자의 피치(pitch)이다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 회절 격자가, 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사된 제1 내지 제3 레이저 광선을 회절시키는 단계;
    카메라 장치가, 상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 단계;
    프로세서가, 가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하는 단계; 및
    상기 프로세서가, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 단계;를 포함하고,
    상기 제1 내지 제3 재구성 영상을 획득하는 단계는,
    서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하는 단계; 및
    상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 획득하는 단계를 포함하는 3차원 영상을 재구성하는 방법.
  2. 제1항에서,
    상기 제1 내지 제3 레이저 광선을 회절시키는 단계는,
    레이저 광원이, 제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체에 순차적으로 조사하는 단계;
    상기 회절 격자가, 상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 단계
    를 포함하는 3차원 영상을 재구성하는 방법.
  3. 제2항에서,
    상기 물체에 순차적으로 조사하는 단계는,
    제1 파장의 적색 레이저 광원, 제2 파장의 녹색 레이저 광원 및 제3 파장의 청색 레이저 광원을 상기 물체에 순차적으로 조사하는 단계인 것인 3차원 영상을 재구성하는 방법.
  4. 삭제
  5. 제1항에서,
    상기 공간 주기를 계산하는 단계는,
    상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우,
    상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하는 단계;
    상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하는 단계; 및
    상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 단계
    를 포함하는 3차원 영상을 재구성하는 방법.
  6. 제1항에서,
    상기 공간 주기의 해상도(Δx)를 계산하는 단계는,
    Figure 112022115771213-pat00019
    을 이용하여 계산하는 단계이고,
    여기서, 상기 Δz는 물체의 깊이를 인지할 수 있는 최소 거리로 정의되는 깊이 해상도 또는 상기 회절 격자로부터 상기 물체까지의 거리(z)이고, λk는 레이저 광원의 파장이고, p는 회절 격자의 피치(pitch)인 것인 3차원 영상을 재구성하는 방법.
  7. 서로 다른 파장의 레이저 광원들을 물체에 조사하는 레이저 광원 유닛;
    상기 서로 다른 파장의 레이저 광원들을 물체에 조사하여, 상기 물체에 반사되어 나오는 제1 내지 제3 레이저 광선을 회절시키는 회절 격자;
    상기 회절된 제1 내지 제3 레이저 광선을 픽업하여, 상기 회절된 제1 내지 제3 레이저 광선에 각각 대응하는 제1 내지 제3 시차 영상 배열을 획득하는 카메라 장치; 및
    가상 핀홀 어레이를 기반으로 하는 역-투영(back-projection) 방법을 기반으로, 상기 제1 내지 제3 시차 영상 배열에 각각 대응하는 제1 내지 제3 재구성 영상을 획득하고, 상기 제1 내지 제3 재구성 영상을 합성하여, 상기 물체의 3차원 볼륨 정보를 갖는 3차원 영상을 재구성하는 컴퓨팅 장치를 포함하고,
    상기 컴퓨팅 장치는,
    서로 다른 파장 별로 획득한 상기 제1 내지 제3 시차 영상 배열에 각각 적용할 공간 주기(spatial periods)의 해상도(Δx)를 계산하고, 상기 계산된 공간 주기의 해상도(Δx)를 반영하여, 상기 제1 내지 제3 재구성 영상을 생성하는 것인 회절 격자 이미징 시스템.
  8. 제7항에서,
    상기 레이저 광원은,
    제1 파장의 레이저 광원, 제2 파장의 레이저 광원 및 제3 파장의 레이저 광원을 상기 물체에 순차적으로 조사하는 것인 회절 격자 이미징 시스템.
  9. 제8항에서,
    상기 회절 격자는,
    상기 제1 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제1 레이저 광선, 상기 제2 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제2 레이저 광선 및 상기 제3 파장의 레이저 광원을 상기 물체에 조사하여 반사된 상기 제3 레이저 광선을 순차적으로 회절시키는 것인 회절 격자 이미징 시스템.
  10. 삭제
  11. 제7항에서,
    상기 컴퓨팅 장치는,
    상기 서로 다른 파장의 레이저 광원들이 제1 파장값(λ1)을 갖는 레이저 광원, 제2 파장값(λ2)을 갖는 레이저 광원 및 제3 파장값(λ3)을 갖는 레이저 광원을 포함하는 경우, 상기 제1 파장값(λ1)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제1 시차 영상 배열에 적용할 공간 주기의 해상도(Δx1)를 계산하고, 상기 제2 파장값(λ2)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제2 시차 영상 배열에 적용할 공간 주기의 해상도(Δx2)를 계산하고, 상기 제3 파장값(λ3)과 상기 회절 격자로부터 상기 물체까지의 거리(z)를 이용하여 상기 제3 시차 영상 배열에 적용할 공간 주기의 해상도(Δx3)를 계산하는 것인 회절 격자 이미징 시스템.
KR1020210127399A 2021-09-27 2021-09-27 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템 KR102499494B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210127399A KR102499494B1 (ko) 2021-09-27 2021-09-27 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
PCT/KR2021/017642 WO2023048338A1 (ko) 2021-09-27 2021-11-26 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210127399A KR102499494B1 (ko) 2021-09-27 2021-09-27 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템

Publications (1)

Publication Number Publication Date
KR102499494B1 true KR102499494B1 (ko) 2023-02-13

Family

ID=85202773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210127399A KR102499494B1 (ko) 2021-09-27 2021-09-27 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템

Country Status (2)

Country Link
KR (1) KR102499494B1 (ko)
WO (1) WO2023048338A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4721685B2 (ja) * 2004-10-07 2011-07-13 パナソニック株式会社 形状測定方法及び形状測定装置
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jae-Young Jang ET AL:"Image Enhancement of Computational Reconstruction in Diffraction Grating Imaging Using Multiple Parallax Image Arrays", Sensors 2020, 20(18), 5137, 9 Sept. 2020(2020.09.09.) 1부.* *

Also Published As

Publication number Publication date
WO2023048338A1 (ko) 2023-03-30

Similar Documents

Publication Publication Date Title
Ma et al. Numerical reconstruction of digital holograms for three-dimensional shape measurement
JP5001286B2 (ja) 対象物再構成方法およびシステム
JP6375619B2 (ja) オクルージョンを意識した明視野像からの３次元シーンの再構成
JP5592070B2 (ja) 三次元検知のために深度変化させる光照射野
US20180025529A1 (en) Apparatus and method of texture mapping for dental 3d scanner
US8129703B2 (en) Intraoral imaging system and method based on conoscopic holography
US10684589B2 (en) Apparatus and method for in-line holographic imaging
KR20160019308A (ko) 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
CN112219104A (zh) 用于确定介质中的三维颗粒分布的方法
JP2017533450A (ja) 被写体の３次元画像を生成する装置と方法
KR20200040209A (ko) 측정 대상 물체의 3차원 형상 정보 생성 장치
KR20150081010A (ko) 홀로그램 재현 영상의 시야각 측정 평가 장치 및 방법
KR102317836B1 (ko) 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
JP2022524923A (ja) 散乱媒質を介したイメージングシステム及び方法
KR102478970B1 (ko) 노이즈 레벨을 차감한 주파수 성분을 기초로 측정 대상 물체의 3차원 형상 정보를 생성하는 방법
KR102499494B1 (ko) 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
US11480917B2 (en) Method and apparatus for reconstructing three-dimensional image by using diffraction grating
CN118369036A (zh) 口内扫描仪、口内扫描系统、用于执行口内扫描的方法和计算机程序产品
KR102055307B1 (ko) 측정 대상 물체의 3차원 형상 정보 생성 장치
KR102093885B1 (ko) 측정 대상 물체의 3차원 형상 정보 생성 장치
KR102483184B1 (ko) 측정 대상 물체의 3차원 형상 정보를 생성하는 방법
KR102089089B1 (ko) 측정 대상 물체의 3차원 형상 정보를 생성하는 방법
Yoo et al. Computational three-dimensional reconstruction in diffraction grating imaging by convolution with periodic δ-function array
KR102092276B1 (ko) 측정 대상 물체의 주파수 성분에 포함된 노이즈를 제거하여 3차원 형상 정보를 생성하는 방법
JP3932776B2 (ja) ３次元画像生成装置および３次元画像生成方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant