KR102317836B1 - 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치 - Google Patents

Abstract

본 발명의 회절 격자를 이용한 3차원 이미지 재구성 방법은, 회절 격자를 이용하여 촬영한 객체에 대한 원시 이미지로부터 시차 이미지(parallax images)를 추출하는 단계; 및 가상 핀홀(virtual pinholes) 모델을 이용하여 상기 추출된 시차 이미지 어레이로부터 3차원 이미지를 재구성하는 단계를 포함한다.

Description

회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치{METHOD AND APPARATUS FOR RECONSTRUCTING THREE-DIMENSIONAL IMAGE VIA A DIFFRACTION GRATING}

본 발명은 3차원 이미지 재구성 방법(또는 3차원 이미지 복원 방법)에 관한 것으로, 특히 회절 격자(diffraction grating)를 이용한 3차원 이미지 재구성 방법에 관한 것이다.

실제 3 차원 (real three-dimensional, 3-D 객체(objects)를 위한 시차 이미지 어레이(Parallax Image Array, PIA)는 3-D 객체에 대한 많은 다시점 정보(perspective information)가 포함되어 있기 때문에, 3D 이미징(3-D imaging), 처리(processing) 및 디스플레이(display)에 가장 효과적인 형태 중하나이다.

캡처 된(captured) 시차 이미지 어레이 (PIA)는 렌즈 어레이(lens array)를 사용하여 실제 3D 공간을 표시하는 데 사용되며 재구성 프로세스(a computational reconstruction process)를 사용하여 일련의 깊이 분할 이미지(depth-sliced images)로 변환된다. 따라서, 시차 이미지 어레이(PIA)의 획득은 3-D 이미징 분야(3-D imaging of the field)의 필수 부분(an essential part)이다.

일반적으로(Usually), 카메라 어레이(camera array) 또는 렌즈 어레이(lens array)을 사용하는 것(using)은 3-D 장면(3-D scene)에 대한 PIA를 선택(pick up)하기 위한 방법 중 하나이다.

또한, 이러한 광학적 방법을 통해(through those optical methods) 시차 이미지 어레이(Parallax Image Array, PIA)를 캡쳐(capturing)하는 것은 집적 영상(integral imaging) 및 라이트 필드 분석(light field analysis) 분야에서 활발히 논의되고 있는 주제(active topic)이다.

카메라 어레이(camera array)를 사용하여 캡쳐한(capturing) 시차 이미지 어레이(Parallax Image Array, PIA)는, 렌즈 어레이(lens array)를 사용하여 캡쳐한 시차 이미지 어레이(Parallax Image Array, PIA)와 비교할 때, 고해상도 시차 이미지들(high-resolution parallax images)의 이점을 제공한다.

고해상도 이미지들(higher resolution images)은 계산적 및 광학적 재구성 방법(computational and optical reconstruction methods)으로부터 재구성된다.

고해상도 시차 이미지들(high-resolution parallax images)은 높은 깊이 해상도와 같은 특정 기능에서 중요한 부분으로 역할을 한다(the high-resolution parallax images play a crucial part in a specific function such as high depth resolution.).

그러나(However), 카메라 어레이(camera array)는, 카메라가 장착된 렌즈 어레이(lens array with a camera) 또는 전기 기계 제어 시스템이 장착된 이동 카메라(moving camera with an electro-mechanical control system)와 같은 다른 시스템과 비교할 때, 고비용 및 복잡한 이미징 시스템(a high-cost and complicated imaging system)이다.

또한 시차 이미지 어레이 (PIA)를 픽업하기 전후에 카메라 보정(camera calibration) 및 사후 처리(post-processing)가 필요한 경우도 있다(Also, it sometimes requires the camera calibration and post-processing before and after picking up a PIA.).

이동 카메라(moving camera)는 카메라 어레이의 대안이 될 수 있지만 고정 3D 장면(stationary 3-D scene)에 사용하도록 제한된다.

렌즈 어레이는 비교적 저렴한 광학 시스템이만, 많은 수의 단일 렌즈로 구성되어 있기 때문에 광학 수차(optical aberrations) 및 배럴 왜곡(barrel distortion)과 같은 문제가 있다.

따라서, 3D 이미징 산업을 위한 저비용 및 고해상도의 이점을 갖는 PIA를 픽업하는 이미징 시스템을 개발할 필요가 있다(Therefore, it deserves to develop an imaging system of picking up a PIA having advantages of low-cost and high-resolution for the 3-D imaging industry).

최근에, 회절 격자(a diffraction grating)를 통한 새로운 방법이 시차 이미지 어레이(PIA)를 획득하기 위해 제안된 바 있다. 이 방법은 회절 격자 플레이트(a diffraction grating plate)와 카메라로 구성된다.

상기 방법에 따른 회절 격자와 카메라를 이용한 PIA-획득 시스템(PIA-acquiring system)의 구조는 카메라를 갖는 렌즈 어레이를 이용한 시스템의 구조와 유사하다(The structure of the PIA-acquiring system using a diffraction grating with a camera is similar to that of a system using a lens array with a camera.).

또한, 상기 회절 격자를 이용한 상기 PIA-획득 시스템의 광학 구조(optical structure)는 렌즈 어레이 기반 시스템(the lens array-based system)보다 저렴하고 덜 복잡하다.

무엇보다도, 얇은 회절 격자(a thin diffraction grating)는 상기 렌즈 어레이 기반 시스템에서의 문제를 야기하지 않는다(Moreover, a thin diffraction grating does not suffer from the problems in a lens array-based system.).

또한, 회절 격자를 통한 시차 이미지(parallax images)는 고해상도(high-resolution)이다. 그러므로, 회절 격자 기반 이미징 시스템(a diffraction grating-based imaging system)은 3-D 이미징(3-D imaging)에서 유망한 기술 중 하나 일 수 있다.

그러나, 회절 격자를 통한 3-D 이미징에 관한 연구는 광학적으로 PIA를 획득하는 데 집중되어왔고, 회절 격자를 이용한 재구성(computational reconstruction)에 관한 연구는 아직 논의되고 있지 않다.

상기한 바와 같은 문제점을 해결하기 위한 본 발명은 회절 격자를 이용한 3-D 영상 재구성 방법 및 장치를 제공하는 데 그 목적이 있다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

상술한 목적을 달성하기 위한 본 발명의 회절 격자를 이용한 3차원 이미지 재구성 방법은, 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 방법으로서, 회절 격자에 의해 회절된 시차 이미지들을 이미징 렌즈를 이용하여 캡쳐하는 단계, 상기 이미징 렌즈에 의해 캡쳐된 시차 이미지들을 픽업 평면 상에 픽업하는 단계, 상기 픽업 평면 상에 픽업한 시차 이미지들을 가상 이미지 평면에 재배치하는 단계 및 상기 가상 이미지 평면에 재배한 시차 이미지들을 재구성 평면(Reconstruction plane)에 역-투영(back-projection)하여, 상기 실제 객체에 대한 3차원 이미지가 제구성하는 단계를 포함한다.

본 발명에 의하면, 회절 격자를 통해 시차 이미지 어레이를 획득함으로써, 카메라 어레이 또는 렌즈 어레이를 사용하는 방식과 비교할 때, 저렴하고 덜 복잡한 시차 이미지 어레이 획득 시스템의 개발이 가능하다.

또한, 본 발명에 따라 생성된 시차 이미지 어레이는 가상 핀홀의 위치 및 각각의 요소 영상의 위치 정보 및 크기 정보가 잘 정의되어 있기 때문에 기존에 알려져 있는 CIIR 방법으로 3차원 이미지 재구성이 가능하다.

또한, 유효 객체 영역 (EOA), 픽업된 PI 영역, 가상 핀홀 및 최소 이미지 영역 (MIA) 간의 기하학적 관계를 정의함으로써, 기존에 논의되고 있지 않은 회절 격자를 이용한 3차원 이미지 재구성 방법을 최초로 제안한 점에서 그 기술적 의의가 있다.

.도 1a는 본 발명과 관련된 카메라 어레이(camera array)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면.
도 1b는 본 발명과 관련된 렌즈 어레이(lens array)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면.
도 1c는 본 발명에 적용될 수 있는 회절 격자(diffraction grating)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서 수행되는 픽업 프로세스(pickup process)와 재구성 프로세스 간의 관계의 개략도.
도 3은 본 발명의 실시 예에 따른 포인트 객체, 시차 이미지 평면(parallax image plane: PI plane) 상에서 포인트 객체의 시차 이미지들 및 이미징 렌즈에 의한 캡처된 시차 이미지들 간의 2 차원 기하학적 관계(two-dimensional(2-D) geometric relationships)를 보여주는 도면.
도 4는 본 발명의 실시 예에 따른 포인트 객체로부터 나오는(coming from) 주요 광선(chief ray)의 경로와 시차 이미지로부터 나오는(coming from) 가상 광선들(virtual rays)의 경로 사이의 기하학적 관계(geometric relationship)를 보여주는 도면.
도 5는 본 발명의 실시 예에서 포인트 객체, 가상 핀홀(Virtual Pinhole, VP), 가상 이미지(virtual image) 평면(VI plane) 및 I(x_1st, y_O, z_O) 간의 기하학적 관계(Geometrical relationship)를 나타내는 도면.
도 6a는 본 발명의 실시 예에서 유효 객체 영역(EOA), 시차 이미지 영역, 픽업된 PI 영역(picked up PI regions), 가상 핀홀(virtual pinholes) 및 최소 이미지 영역(half of the minimum image area: MIA) 간의 기하학적 관계(geometrical relationship)를 보여주는 도면.
도 6b는 본 발명의 실시 예에서 실제 3 차원 공간에서 원 객체의 시차 이미지가 재구성을 위해 시차 이미지 어레이로 어떻게 변환되는지 보여주기 위한 도면.
도 7은 본 발명의 실시 예에 따른 시차 이미지 어레이(PIA)를 이용하여 재구성 평면으로 역-투영(back-projection)하는 과정을 보여주는 도면.
도 8은 본 발명의 실시 예에 따른 회절 격자를 이용한 3차원 이미지 재구성 방법을 나타내는 흐름도.

본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.

본 발명에서는 회절 격자 영상에서 바로 얻어진 원시 이미지(a raw image)를 이용한 재구성 방법(computational reconstruction method)을 제공한다.

본 발명에 따른 재구성 방법은 원시 이미지(raw image)에서 각 시차 이미지(each parallax image)를 지역화(localize)하는 광학 분석(optical analysis)과 추출된 시차 이미지에서 볼륨(volume)을 재구성하는 역 투영 방법(back-projection method)으로 구성될 수 있다.

도 1a는 본 발명과 관련된 카메라 어레이(camera array)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면이고, 도 1b는 본 발명과 관련된 렌즈 어레이(lens array)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면이다. 그리고, 도 1c는 본 발명에 적용될 수 있는 회절 격자(diffraction grating)를 이용한 PIA 캡쳐 시스템(PIA capturing)의 광학 구조를 나타내는 도면이다.

본 발명에 따른 회절 격자를 이용한 광학 구조(optical structure of diffraction grating imaging)는, 도 1a 내지 1c에 도시된 바와 같이, 카메라 어레이(camera array) 또는 렌즈 어레이(lens array) 기반의 광학 구조와 상이하다.

도 1a에 도시된 바와 같이, 카메라 어레이(11, camera array)를 이용한 광학 구조에서는 카메라들의 분리 가능한 구조(separable structure)로 인해 픽업 평면(12, pickup plane)에 픽업된 시차 이미지들(parallax images)의 추출(extracting)이 불필요하다.

도 1b에 도시된 바와 같이, 렌즈 어레이(13, lens array)를 이용한 광학 구조에서는, 픽업 평면(14, pickup plane)에 픽업된 시차 이미지들(parallax image)의 분할(segmentation)을 위해 렌즈 패턴(lens pattern)의 검출 기술(detection technique)이 요구되며, 이는 공지된 문헌에서 많이 논의된 바 있다.

도 1c에 도시된 바와 같이, 회절 격자(15)를 이용한 광학 구조에서는, 회절 격자(15)가 투명하고 검출할 패턴이 없기 때문에, 회절 격자(15)에 의해 픽업 평면(16, pickup plane)에 픽업된 시차 이미지들(parallax images)의 지역화(localization)가 쉽지 않다. 여기서, 시차 이미지들의 지역화는 시차 이미지들의 분할(segmentation)을 의미한다.

이 문제를 극복하기 위해, 본 발명은 회절 격자 이미징(diffraction grating imaging)에서 시차 이미지들(parallax images)의 기하학적 정보(geometrical information)의 이론적 분석(theoretical analysis)에 기반한 3 차원 재구성(3-D computational reconstruction) 방법을 제안한다.

도 2는 본 발명의 실시 예에 따른 회절 격자 이미징 시스템(diffraction grating imaging system)에서 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process) 간의 관계(relationship)의 개략도이다.

도 2에서, 'PI'는 시차 이미지(Parallax Image)를 나타내고, 'VP'는 가상 핀홀(Virtual Pinhole)를 나타내고, 'EOA'는 유효 객체 영역(Effective Object Area)을 나타낸다. 그리고 'MIA'는 최소 이미지 영역(Minimum Image Area)을 나타낸다.

도 2를 참조하면, 본 발명의 실시 예에 따른 회절 격자 이미징 시스템은 픽업 프로세스(pickup process)와 재구성 프로세스(reconstruction process)를 수행한다.

회절 격자 이미징 시스템은은 픽업 프로세스를 수행하기 위한 회절 격자(41)와 이미징 렌즈(43, imaging lens)를 포함하고, 회절 격자(41)와 이미징 렌즈(43)를 통해 픽업 평면에 픽업된 시차 이미지들과 상기 픽업된 시차 이미지들을 재구성하기 위한 컴퓨팅 연산을 수행하는 컴퓨팅 장치를 더 포함하도록 구성된다.

컴퓨팅 장치는, 프로세서, 메모리, 저장 매체, 통신부 및 이들을 연결하는 시스템 버스를 포함하도록 구성될 수 있으며, 이들 중에서 픽업 프로세스와 재구성 프로세스와 관련된 알고리즘을 실행하고, 실행된 알고리즘에 따라 다양한 연산을 수행하는 주체는 프로세서일 수 있다.

프로세서는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 그래픽 프로세서들(GPUs) 또는 이들의 임의의 결합에 의해서 구현될 수 있다.

저장 매체는 프로세서에 의해 실행되는 알고리즘 및 이러한 알고리즘의 실행에 따라 수행된 다양한 연산과정으로부터 획득된 중간데이터(중간값) 및/또는 결과 데이터(결과값) 등을 일시적 또는 영구적으로 저장하거나, 픽업 프로세스와 재구성 프로세스를 수행하기 위한 공지의 다양한 알고리즘을 저장하거나, 알고리즘의 실행 공간을 제공하는 것일 수 있다.

저장 매체는, 컴퓨터-판독가능 매체로 지칭될 수도 있으며, 컴퓨터-판독가능 매체는 SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-onlymemory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 하드 디스크 등을 포함할 수 있다.

회절 격자(diffraction grating)를 이용한 3-D 객체들(3-D objects)에 대한 상기 픽업 프로세서(pickup process)의 분석(analysis)에서는, 광원(light source)의 파장(wavelength), 회절 격자(41)의 공간 분해능(spatial resolution), 및 회절격자(41) 및 이미징 렌즈(43)의 위치(positions)와 같은 시스템 파라미터(system parameters)가 정의한다.

재구성 프로세스는 역-투영(back-projection)에 기반한다. 여기서, 시차 이미지들(parallax images)을 3-D 재구성 공간(3-D reconstruction space)으로 투영하기 위해 가상 핀홀들(VPs: Virtual Pinholes)이 정의된다. 가상 핀홀(VP)은 가상의 카메라를 표현한 것이다.

본 발명의 실시 예에 따른 회절 격자 이미징 시스템에서는 픽업된 이미지에서 3D 객체가 서로 겹치지 않고 존재할 수 있는 최대 영역(maximum area)을 유효 객체 영역(EOA)으로 정의되고, 획득된 이미지들에서 유효 객체 영역(EOA)를 검출(detecting)하는 것은 회절 격자 이미징에서 재구성에 필수적이다.

또한 재구성 프로세스에서는, 각 가상 핀홀의 최소 시야각(minimum field of view) 인 최소 이미지 영역 (MIA, minimum image area)이 정의된다.

또한, 재구성(computational reconstruction)을 위해, 유효 객체 영역(EOA)과 최소 이미지 영역(MIA) 간의 매핑(mapping)이 필요하고, 이와 관련된 수학식이 아래에서 설명된다.

회절 격자 이미징에서 3D 객체들의 픽업 프로세스

회절 격자(41)는 3-D 객체로부터 발산하는(emanating) 광선을 회절 시킨다. 이미징 렌즈(43)로 회절 격자(41)를 통해 객체를 관찰하는 것(observing)은 회절 격자 이미징에서 픽업 프로세스의 기본 개념이다.

회절 격자(41)에 의해 회절된 광선(diffracted light rays)은 상기 3-D 객체의 투시 이미지들(perspective images)로서 관찰된다. 회절 격자(41)를 통해 객체 공간(object space)을 관찰하면, 회절 격자(41)의 후면 상에 객체의 가상 이미지들(virtual images)이 생성되는 것으로 보인다.

가상 이미지들은 3-D 객체에 대한 시차들(parallaxes)을 가지며, 이미징 렌즈(43)와 같은 캡처 장치(capturing device)에 의해 시차 이미지 어레이 (PIA)로서 저장된다. 여기서, 가상 객체의 이미징 깊이(imaging depth)와 크기(size)는 원래의 3-D 객체(original 3-D object)와 동일하다.

도 3은 본 발명의 실시 예에 따른 포인트 객체, 시차 이미지 평면(parallax image plane: PI plane) 상에서 포인트 객체의 시차 이미지들 및 이미징 렌즈에 의한 캡처된 시차 이미지들 간의 2 차원 기하학적 관계(two-dimensional(2-D) geometric relationships)를 보여주는 도면이다.

도 3을 참조하면, 회절 격자(41)가 x-y 평면에서 이미징 렌즈(43)로부터 거리 d에 있고, 포인트 객체(P1)는 (x_O, y_O, z_O)로 가정한다. 여기서, 포인트 객체는 시차 이미지에 포함된 객체를 포인트로 표현한 것이고, 모든 시차 이미지의 z 좌표(the z-coordinates)는 회절 격자 이미징(diffraction grating imaging)에 따라 z_O로서 동일하고, z_O는 이미징 렌즈(43)로부터 시차 이미지 평면(PI plane)까지의 거리로 해석될 수도 있다.

도 3에 도시 된 바와 같이, -1차 시차 이미지(PI(x_-1st, y_O, z_O)) 및 +1차 시차 이미지(PI(x_1st, y_O, z_O))는 회절 격자(41)에 의해 포인트 객체의 ± 1 차(± 1^st order) 회절(diffraction)에 의해 생성된다. (x_O, y_O, z_O)에서의 포인트 객체는 0 차 시차 이미지로 사용된다.

1차 시차 이미지(PI(x_1st, y_O, z_O))와 0차 시차 이미지(PI(x_O, y_O, z_O))들 사이의 회절각(θ)은 θ= sin^-1(λ/a)로 계산되며, 여기서 λ는 광원(light source)의 파장(wavelength)이고, a는 회절 격자의 개구폭(aperture width)이다.

회절 차수(diffraction order)와 포인트 객체(point object)의 위치를 고려하면, 시차 이미지(parallax images)의 x 좌표는 아래의 수학식 1과 같다.

여기서, m은 -1, 0 및 1이다. 시차 이미지(parallax image)의 y 좌표(y_O)는 수학식 1에서 x_O를 y_O로 대체하여 획득된다. 픽업 평면(16, pickup plane)상의 이미징 포인트(imaging point) I(x_mth, y_nth, z_O)는 아래의 수학식 2와 같다.

여기 m과 n은 -1, 0, 1이며 z_I는 픽업 평면의 z 좌표를 나타낸다.

회절 격자(41)는 객체의 z-좌표와 시차 이미지가 동일한 공간에서 시차 이미지를 생성한다(a diffraction grating generates parallax images in the space where the z-coordinate of the object and parallax images are the same).

픽업 평면에서 I(x_1th, y_O, z_O)에 도달하는 광선이 PI (x_1th, y_O, z_O)에서 나온 것처럼 보이지만, 포인트 객체에서 발산하는(emanating) 광선만이 실제이다(the ray reaching I(x_1th, y_O, z_O) in the pick-up plane seems to come from PI(x_1th, y_O, z_O), only the rays emanating from the point object are real).

따라서, 각 시차 이미지(each parallax image)의 시점(viewpoint)은 이미징 렌즈(43)의 광학 중심(20, optical center)을 통과하는(passing through) 가상 포인트 객체들(P2, P3)로부터의 가상 광선들(21, 22)과 포인트 객체(P1)로부터의 실제 광선(23)과의 관계(relationship)에 의해 설명될 수 있다.

도 4는 본 발명의 실시 예에 따른 포인트 객체로부터 나오는(coming from) 주요 광선(chief ray)의 경로와 가상 포인트 객체로부터 나오는(coming from) 가상 광선들(virtual rays)의 경로 사이의 기하학적 관계(geometric relationship)를 나타내는 도면이다.

도 4를 참조하면, ±1 차 시차 이미지(±1^st order parallax images)에서 이미징 렌즈(43)의 광학 중심(20)으로의 가상 광선들(21, 22)은 위치 함수(position function) G(x_mth, y_nth, z_O)에 의해 정의되는 지점에서 회절 격자(41)를 만난다.

포인트 G(x_mth, y_nth, z_O)에서, 회절 격자(41)는 포인트 객체(P1)로부터 이미징 렌즈(43)의 광학 중심(20)으로의 실제 광선(23)의 경로를 변화시킨다. 점 G(x_mth, y_nth, z_O)는 아래의 수학식 3과 같다.

여기서 m 및 n은 -1, 0 및 1이다.

이하, 본 발명의 실시 예에 따른 재구성 프로세스의 중요한 부분(crucial part)에 해당하는 회절 격자 이미징에서 역-투영(back-projection)을 위한 가상 핀홀(virtual pinholes)에 대해 설명하기로 한다.

시차 이미지의 가상 핀홀(virtual pinholes) 및 매핑 위치

가상 핀홀(virtual pinholes)은 카메라 어레이(camera array)로 간주될 수 있다. 본 발명은, 3차원 이미지 재구성 방법을 구현하기 위해, 시차 이미지들에 대응하는 가상 핀홀의 위치(position of the virtual pinholes)에 대한 공식과 시차 이미지들(parallax images)과 가상 핀홀들(virtual pinholes: VPs) 사이의 매핑(mapping)을 위한 공식이 제공된다.

도 4에 도시 된 바와 같이, Ψ의 각도에서 포인트 객체(P2)로부터 방출하는(radiating) 광선은 (x_1st, y_O, z_O)에 위치한 1 차 시차 이미지(PI(x_1st, y_O, z_O))로부터의 광선으로 결정된다. PI(x_1st, y_O, z_O)에서 이미징 렌즈(43)를 통해 이미징 포인트 I(x_1st, y_O, z_O)로 입사하는 광선은 Ψ의 각도와 동일하다.

이미징 포인트 I(x_1st, y_O, z_O)는 포인트 객체(P1)로부터 방출되는 광선에 대해 각도 Ψ의 시차 이미지로 간주된다. 픽업 평면 상에서 z_I 깊이의 다른 포인트를 가정하면, 이미지 I(x_1st, y_O, z_O)와 동일한 시차를 가지며 포인트 객체를 통과하는 선(line)과 포인트 G(x_1st, y_O, z_O)는 픽업 평면과 만난다.

도 5는 본 발명의 실시 예에서 포인트 객체, 가상 핀홀(Virtual Pinhole, VP), 가상 이미지(virtual image) 평면(VI plane) 및 I(x_1st, y_O, z_O) 간의 기하학적 관계(Geometrical relationship)를 나타내는 도면이다.

도 5에 도시된 바와 같이, x 축의 한 지점에 위치한 가상 핀홀(51)의 광학 중심을 위치 함수(position function) VP (x_mth, y_nth, z₀)로 가정할 때, 수학식 1과 3을 이용하면, VP(x_mth, y_nth, z_O)는 아래의 수학식 4와 같이 계산된다.

여기서 m과 n은 -1, 0, 1이다.

상기 수학식 4는 대응하는 시차 이미지의 차수(order)가 동일하면, 각 가상 핀홀의 위치는 객체의 위치에 관계없이 고유한 값(unique value)임을 의미한다.

그러나 수학식 4는 객체의 깊이(the depth of the object)가 증가함에 따라 각 가상 핀홀의 위치가 x 및 y 방향으로 증가함을 의미하고, 이미징 렌즈(43)는 제 0 가상 핀홀(the 0^th virtual pinhole)로 간주될 수 있다.

이하, 가상 이미지가 존재하는 가상 이미지 평면(VI plane)에 대한 설명한다.

가상 이미지들은 픽업 평면(PI pickup plane)의 이미지 I(x_mth, y_nth, z_O)를 가상 이미지 평면(VI plane)에 재배치한 이미지들이다. 가상 이미지의 위치 함수는 VI(x_mth, y_nth, z_O) = (x, y, z_I)로 주어진다. 여기서 m과 n은 -1, 0 및 1이다.

가상 이미지의 x 좌표는 아래의 수학식 5와 같다.

수학식 5에서 x_O와 x_mth를 y_O와 y_mth로 대체하면, 가상 이미지의 y 좌표 y_O가 된다.

가상 이미지(VI(x_mth, y_nth, z_O))는 본 발명에 따른 재구성 방법(computation reconstruction)에 이용된다.

이들 이미지들은 매핑 팩터(Δx_mapping)를 갖는 픽업된 시차 이미지 I(x_mth, y_nth, z_O)의 이동 버전(shift version)이다.

수학식 2와 5를 이용하면 시차 이미지I(x_mth, y_nth, z_O)와 가상 이미지(VI(x_mth, y_nth, z_O)) 사이의 이동량을 나타내는 매핑 팩터(Δx_mapping)는 아래의 수학식 6으로 계산될 수 있다.

시차 이미지 분할 및 재구성 방법

시차 이미지(parallax image)를 분할(segment)하기 위해, 이미지 영역(image area)을 사용하여 각 가상 핀홀의 시야각(field of view)을 결정한다.

회절 격자(41)에 의해 캡처 된 원시 이미지(raw image)로부터 개별 시차 이미지(individual parallax images)를 분할(segmenting)하는 것은 렌즈 어레이 또는 카메라 어레이에 의해 픽업된 원시 이미지와는 다르게 투명 회절 격자(transparent diffraction grating)로 인해 어렵다.

더욱이, 회절 격자 이미징(diffraction grating imaging)은 객체의 크기(size)가 특정 한계(specific limit)를 초과할 때 시차 이미지가 서로 중첩되기도 한다.

시차 이미지들의 중첩 문제(The overlapping problem of parallax images)는 객체의 크기 및 객체와 회절 격자 사이의 거리에 의해 설명될 수 있다.

중첩 문제를 피하기 위해, 객체의 최대 크기(the maximum size)인 유효 객체 영역(Effective Object Area: EOA)이 정의될 필요가 있다.

편의상 유효 객체 영역(Effective Object Area: EOA)의 중심은 이미징 렌즈(43)의 광축(optical axis)에 정렬된다고 가정한다.

도 6a는 본 발명의 실시 예에서 유효 객체 영역(EOA), 시차 이미지 영역, 픽업된 PI 영역(picked up PI regions), 가상 핀홀(virtual pinholes) 및 최소 이미지 영역(the Minimum Image Area: MIA)의 절반(half) 간의 기하학적 관계(geometrical relationship)를 보여주는 도면이고, 도 6b는 본 발명의 실시 예에서 실제 3 차원 공간에서 원 객체의 시차 이미지가 재구성을 위해 시차 이미지 어레이로 어떻게 변환되는지 보여주기 위한 도면이다.

먼저, 도 6a를 참조하면, 유효 객체 영역(EOA)을 정의하면, 시차 이미지의 영역이 정의된다.

도 6a에서 유효 객체 영역(EOA)의 1차 PI 영역(1st order PI region)과 -1차 PI 영역(-1st order PI region)은 각각 적색 및 녹색으로 표기되어 있다.

픽업된 PI 영역들(picked-up PI regions) 사이의 경계(boundary)는 수학식 2를 사용하여 결정된다. 따라서, 픽업된 평면(picked-up plane)에서 시차 이미지의 분할(segmentation of the parallax images)이 가능하다.

상기 수학식 6을 이용해서 픽업 평면 상의 픽업된 시차 이미지의 영역을 가상 이미지 평면(VI plane)의 최소 이미지 영역(MIA)으로 매핑한 후, 최소 이미지 영역(MIA)의 반경(Half of MIA)은 가상 핀홀(VP)의 광축(60)으로부터 가상 이미지 평면(VI plane)으로 매핑된 상기 픽업된 시차 이미지 영역(PI region)의 가장자리까지의 거리로부터 획득된다.

유효 객체 영역(EOA)의 크기는 포인트 객체가 광축에 놓일 때 ±1st PI 영역의 크기와 같다. 크기 Δx는 광축상의 포인트 x_OC에 의존한다. Δx를 변경하면 1 차 PI(1^st order PI)의 중심(x_OC1st)dmf 기준으로 1차 PI 영역(1^st order PI region)의 크기가 변경된다.최대 Δx, 즉 유효 객체 영역(EOA)은 아래의 수학식 7과 같다.

여기서 λ는 광원의 파장이고, a는 회절 격자의 개구 폭(aperture width)이다.

유효 객체 영역(EOA)(또는 EOA의 크기)은 객체와 회절 격자 사이의 거리(|z₀ - d|)에 비례함을 상기 수학식 7로부터 알 수 있다. 최소 이미지 영역 (MIA)의 절반, Δr은 식 (4), 식 (5) 및 식 (7)를 통해 아래의 수학식 8에 의해 계산된다.

도 6b에서는 실제 3차원 공간(3-D space)에서 원형 객체(circle object)의 시차 이미지가 재구성(computational reconstruction)을 위해 시차 이미지 어레이(parallax image array)로 어떻게 변환되는지를 보여준다.

도 6b의 왼쪽에 있는 원형 객체(circle object)에 대해 유효 객체 영역(EOA)이 전술한 수학식 7에 의해 얻어지면, 도 6b의 중간에 보이듯이, 이미징 렌즈(43)에 의해 픽업된 원시 시차 이미지(raw parallax images)의 영역을 결정할 수 있다.

도 6b의 오른쪽에 도시 된 바와 같이, 가상 핀홀 및 최소 이미지 영역 (MIA)에 기초한 제안된 맵핑 방법을 통해서 3차원 재구성을 위해 가상 평면에서 시차 이미지 어레이(PIA)가 생성된다.

도 7은 본 발명의 실시 예에 따른 시차 이미지 어레이(PIA)를 이용하여 재구성 평면(reconstruction plane)으로 역-투영(back-projection)하는 과정을 보여주는 도면이다.

도 7을 참조하면, 각각의 시차 이미지가 있는 각각의 MIA는 가상 핀홀을 통과하는 3D 공간에서 역 투영된다. 역 투영되는 과정은 각각의 시차 이미지의 이동된 버전이 재구성 평면에서 겹쳐지는 과정으로 설명할 수 있다. 여기서 각 시차 이미지를 정확하게 찾는 것은 전술한 수학식 6에 의해 얻을 수 있다.

또한 최소 이미지 영역 (MIA)은 도 7에서 파란색과 주황색으로 강조된 것처럼 서로 겹칠 수 있다. 모든 최소 이미지 영역(MIA)의 역 투영은 재구성 평면에서 오브젝트 이미지에 초점을 정확히 맞추는 깊이 정보를 제공할 수 있다. 여기서 재구성 평면의 깊이는 오브젝트의 위치와 동일하다. 따라서, 회절 격자 이미징을 통한 본 발명의 재구성 방법은 최소 이미지 영역(MIA)을 결정하고, 최소 이미지 영역(MIA)에서 캡처된 시차 이미지를 찾고, 최소 이미지 영역(MIA)를 역 투영하는 것으로 구성된다.

본 발명에 따른 방법으로 생성된 PIA는 가상 핀홀의 위치 및 각각의 요소 영상의 위치 정보 및 크기 정보가 잘 정의되어 있기 때문에 기존에 알려져 있는 CIIR 방법으로 3차원 영상 재구성(복원)이 가능하다.

도 8은 본 발명의 실시 예에 따른 회절 격자를 이용한 3차원 이미지 재구성 방법을 나타내는 흐름도로서, 아래의 각 단계의 수행 주체는 컴퓨팅 장치 내의 프로세서일 수 있다.

도 8을 참조하면, 먼저, S610에서, 회절 격자에 의해 회절된 시차 이미지들이 이미징 렌즈를 에 의해 캡쳐되어, 시차 이미지 어레이로서 컴퓨팅 장치 내의 메모리에 저장되는 과정이 수행된다.

여기서, 상기 회절된 시차 이미지들은, 실제 객체(P1)를 포함하는 제1 시차 이미지(PI(x₀, y₀, z₀))와 상기 실제 객체의 가상 객체(P2, P3)를 포함하는 제2 시차 이미지(PI(x_1st, y₀, z₀), PI(x_-1st, y₀, z₀))를 포함하고, 상기 제2 시차 이미지는 상기 제1 시차 이미지에 대해 상기 실제 객체로부터 발산되는 광선의 파장과 상기 회절 격자의 개구폭에 의해 결정된 회절각으로 회절된 것일 수 있다.

이어, S620에서, 상기 이미징 렌즈에 의해 캡쳐된 시차 이미지들이 픽업 평면 상에 픽업되는 과정이 수행된다.

이어, S630에서, 상기 픽업 평면 상에 픽업된 시차 이미지들이 가상 이미지 평면에 재배치되는(매핑되는) 과정이 수행된다.

여기서, 상기 단계 S630은, 상기 이미징 렌즈와 동일 평면 상에 정의된 가상 핀홀과 상기 가상 이미지 평면과의 기하학적 관계를 기반으로, 상기 픽업 평면 상에 픽업한 시차 이미지들을 분할한 후, 상기 분할된 시차 이미지들을 매핑 팩터(

x_mapping)에 따라 상기 가상 이미지 평면(VI plane)에 매핑하는 것일 수 있다.

상기 매핑 팩터는, 상기 회절된 시차 이미지들은 실제 객체를 포함하는 제1 시차 이미지와 상기 실제 객체의 가상 객체를 포함하는 제2 시차 이미지를 포함하고, xyz 축으로 표현가능한 3차원 공간에서 상기 이미징 렌즈가 z 좌표를 0으로 하는 xy평면에 위치하고, 상기 픽업 평면이 z 좌표를 z_I로 하는 xy평면에 위치할 때, 상기 제2 시차 이미지를 상기 픽업 평면 상에서 이미징 포인트로 표현할 때, 상기 가상 이미지 평면 상에서 상기 이미징 포인트가 x축 방향으로 이동한 이동량일 수 있다.

상기 매핑 팩터는 전술한 수학식 6에 의해 계산될 수 있고, 상기 수학식 6에서, x₀는 상기 이미징 렌즈의 x 좌표이고, x_mth는 회절된 시차 이미지의 x 좌표이고, z_o는 상기 실제 객체의 z 좌표이고, d는 상기 이미징 렌즈로부터 상기 회절 격자까지의 거리이다.

또한, 상기 단계 S630은, 상기 픽업한 시차 이미지들을 상기 가상 이미지 평면에 정의한 최소 이미지 영역들에 각각 매핑하는 단계이고, 상기 최소 이미지 영역들 각각은, 상기 이미징 렌즈와 동일 평면 상에 정의된 가상 핀홀들 각각의 시야각에 의해 결정되는 것일 수 있다. 이때, 상기 픽업한 시차 이미지들은 상기 최소 이미지 영역들 내에서 가장 자리에 매핑될 수 있다.

이어, S640에서, 상기 가상 이미지 평면에 재배치된 시차 이미지들이 재구성 평면(Reconstruction plane)에 역-투영(back-projection)되어, 상기 실제 객체에 대한 3차원 이미지가 재구성되는 과정이 수행된다.

이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

1. 프로세서에 의해 수행되는 3차원 이미지를 재구성하는 방법에서,
   회절 격자에 의해 회절된 시차 이미지들을 이미징 렌즈를 이용하여 캡쳐하는 단계;
   상기 이미징 렌즈에 의해 캡쳐된 시차 이미지들을 픽업 평면 상에 픽업하는 단계;
   상기 픽업 평면 상에 픽업한 시차 이미지들을 가상 이미지 평면에 재배치하는 단계; 및
   상기 가상 이미지 평면에 재배치한 시차 이미지들을 재구성 평면(Reconstruction plane)에 역-투영(back-projection)하여, 실제 객체에 대한 3차원 이미지가 재구성하는 단계를 포함하고,
   상기 픽업 평면 상에 픽업한 시차 이미지들을 가상 이미지 평면에 재배치하는 단계는,
   상기 이미징 렌즈와 동일 평면 상에 정의된 가상 핀홀과 상기 가상 이미지 평면과의 기하학적 관계를 기반으로, 상기 픽업 평면 상에 픽업한 시차 이미지들을 분할한 후, 상기 분할된 시차 이미지들을 매핑 팩터(Δx_mapping)에 따라 상기 가상 이미지 평면(VI plane)에 매핑하는 단계이고,
   상기 가상 핀홀은 상기 이미징 렌즈와 동일 평면 상에 정의된 가상의 카메라인 것인 3차원 이미지 재구성 방법.
2. 제1항에서,
   상기 회절된 시차 이미지들은,
   실제 객체를 포함하는 제1 시차 이미지와 상기 실제 객체의 가상 객체를 포함하는 제2 시차 이미지를 포함하고,
   상기 제2 시차 이미지는 상기 제1 시차 이미지에 대해 상기 실제 객체로부터 발산되는 광선의 파장과 상기 회절 격자의 개구폭에 의해 결정된 회절각으로 회절된 것인 3차원 이미지 재구성 방법.
3. 삭제
4. 제1항에서,
   상기 회절된 시차 이미지들은 실제 객체를 포함하는 제1 시차 이미지와 상기 실제 객체의 가상 객체를 포함하는 제2 시차 이미지를 포함하고, xyz 축으로 표현가능한 3차원 공간에서 상기 이미징 렌즈가 z 좌표를 0으로 하는 xy평면에 위치하고, 상기 픽업 평면이 z 좌표를 z_I로 하는 xy평면에 위치할 때,
   상기 매핑 팩터(Δx_mapping)는,
   상기 제2 시차 이미지를 상기 픽업 평면 상에서 이미징 포인트로 표현할 때, 상기 가상 이미지 평면 상에서 상기 이미징 포인트가 x축 방향으로 이동한 이동량인 것인 3차원 이미지 재구성 방법.
5. 제1항에서,
   상기 회절된 시차 이미지들은 실제 객체를 포함하는 제1 시차 이미지와 상기 실제 객체의 가상 객체를 포함하는 제2 시차 이미지를 포함하고, xyz축으로 표현가능한 3차원 공간에서 상기 이미징 렌즈가 z 좌표를 0으로 하는 xy평면에 위치하고, 상기 픽업 평면이 z 좌표를 z_I로 하는 xy평면에 위치할 때,
   상기 매핑 팩터(Δx_mapping)는,
   

   

   에 의해 계산되고,
   여기서, x₀는 상기 이미징 렌즈의 x 좌표이고, x_mth는 회절된 시차 이미지의 x 좌표이고, z_o는 상기 실제 객체의 z 좌표이고, d는 상기 이미징 렌즈로부터 상기 회절 격자까지의 거리인 것인 3차원 이미지 재구성 방법.
6. 제1항에서,
   상기 픽업 평면 상에 픽업한 시차 이미지들을 가상 이미지 평면에 재배치하는 단계는,
   상기 픽업한 시차 이미지들을 상기 가상 이미지 평면에 정의한 최소 이미지 영역들에 각각 매핑하는 단계이고,
   상기 최소 이미지 영역들 각각은,
   상기 이미징 렌즈와 동일 평면 상에 정의된 가상 핀홀들 각각의 시야각에 의해 결정되고,
   상기 가상 핀홀들은 가상의 카메라들인 것인 3차원 이미지 재구성 방법.
7. 제6항에서,
   상기 픽업한 시차 이미지들은 상기 최소 이미지 영역들 내에서 가장 자리에 매핑되는 것인 3차원 이미지 재구성 방법.

Images