KR101445489B1 - 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템 - Google Patents

Abstract

본 발명은 3차원 집적 영상 디스플레이 시스템에 관한 것으로서, 더욱 상세하게는 3차원 물체들에 대한 각각의 요소영상을 획득하는 픽업부와; 상기 픽업부에서 획득된 각각의 요소영상에 대해서 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 초점영상생성부와; 관측자의 지시를 인식하여 초점 조절 영상의 위치를 알아내는 관측자인식부와; 초점조절된 요소영상을 광학적으로 렌즈 배열을 통해 표시하는 광학표시부;로 구성하여, 관측자의 지시 깊이 영역에 대한 초점 영상과 비지시 영역의 비초점 영상을 동시에 광학적으로 표시하여 원하는 영상을 초점화시키고, 다른 영상들은 흐리게 만듦으로써 3차원 영상을 제공하는 것이 특징인 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템에 관한 것이다.
상술한 바와 같이 본 발명은 3차원 집적 영상 디스플레이 시스템에서 관측자와의 인터렉션 기능을 부가하여 초점 조절 기능을 수행하고, 초점 영상과 비초점 영상의 혼합 영상을 표현함으로써 효과적인 3차원 영상을 디스플레이할 수 있는 등의 현저한 효과가 있다.

Description

초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템{Three dimensional interal imaging display system with function of focusing control}

본 발명은 3차원 집적 영상 디스플레이 시스템에 관한 것으로서, 더욱 상세하게는 관측자의 지시 깊이 영역에 대한 초점 영상과 비지시 영역의 비초점 영상을 동시에 광학적으로 표시하여 3차원 영상을 제공하는 것이 특징인 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템에 관한 것이다.

최근에 3차원 디스플레이 영상 기술에 대한 관심이 크다.

그 중에서도 공간상에 3차원 영상을 표현할 수 있는 렌즈 배열 기반의 집적 영상 (Integral Photography 또는 Integral Imaging) 방식이 많이 연구되고 있다.

이 기술은 1908년 리프만(Lippmann)에 의해 처음 제안되었으며, 이후 촬영 소자나 표시 소자 기술의 급격한 발전과 더불어 다시 활발히 최근에 연구되고 있다.

이 집적 영상 디스플레이 기술은 크게 픽업부 및 표시부로 구성된다.

픽업부는 렌즈 배열을 구성하는 기초 렌즈들에 의해 생성되는 3차원 물체의 여러 방향에서의 기초 영상을 촬영(촬상) 소자에 저장한다.

표시부는 촬영부의 역 과정으로서, 상기 저장된 기초 영상들을 표시하고, 다시 이 기초 영상들이 렌즈 배열을 통과하면서 합쳐져서 원래 3차원 물체가 있었던 위치에서 입체 영상으로 재생하게 된다.

최근 3차원 장면에 대해서 영상의 칼라 정보와 깊이 정보를 동시에 취득함으로써 컴퓨터 환경에서 초점을 다양하게 조절하여 새로운 영상을 생성하는 방법들이 제안되었다.

원하는 영상을 초점화시키고, 다른 영상들은 흐리게 만듦으로써 보다 효과적인 3차원 영상 표현이 가능한 방법이다.

또한, 장애물이 존재하는 3차원 물체를 효과적으로 3차원 영상을 표시할 수 있는 방법으로도 사용되어 질 수 있다.

집적 영상 기술에서도 이러한 초점조절 기능을 이용하여 컴퓨터로 3차원 영상을 복원하는 기술이 연구되고 있고, 부분적으로 가려진 3차원 영상 복원에 사용되고 있다.

이러한 3차원 집적 영상표시방법의 종래문헌으로는 등록특허 제0891160호에 요소 영상 압축 장치가 영역 분할 기법을 적용하여 요소 영상을 압축하는 방법에 있어서, (a) 3차원 객체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 단계; (b) 상기 획득된 요소 영상을 유사 상관도에 따라 복수의 유사한 영상을 가진 유사 영역으로 분할하는 단계; (c) 상기 각각의 유사 영역에 포함된 영상을 1차원 요소 영상 배열로 재배열하는 단계; 및 (d) 상기 재배열되어 생성된 1차원 요소 영상 배열을 압축하는 단계를 포함하는 영역 분할 기법을 이용한 요소 영상 압축 방법이 기재되어 있다.

또 다른 종래문헌의 실시 예로는 등록특허 제0942271호에 렌즈 어레이를 통해 픽업한 요소 영상을 이용하여 집적 영상을 복원하는 방법에 있어서, 상기 요소 영상을 미리 지정된 크기로 확대하고, 상기 확대된 각 요소 영상의 동일 좌표에 위치하는 픽셀을 합하여 복원 영상을 생성하는 단계; 상기 각 복원 영상의 블러 메트릭 값을 측정하는 단계; 초점 거리에 따른 상기 블러 메트릭 값의 변곡점에 상응하는 복원 영상을 포커스 영상으로 선정하는 단계; 상기 포커스 영상의 각 픽셀값에서 상응하는 침식 마스크의 각 픽셀값을 빼는 침식 연산을 통해 침식 영상을 생성하는 단계; 및 상기 복원 영상에 상기 침식 영상을 매핑하는 단계를 포함하는 집적 영상 복원 방법이 기재되어 있다.

그러나, 상술한 종래기술 건들은 광학적으로 초점조절이 가능한 3차원 디스플레이가 기재되어 있지 않으며 현재까지 연구된 적은 없다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 3차원 집적 영상 디스플레이 시스템에서 관측자와의 인터렉션 기능을 부가하여 원하는 깊이에 초점 조절 기능을 수행하여, 효과적인 3차원 영상을 디스플레이하는 것을 목적으로 한다.

본 발명 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템의 해결수단으로는 3차원 물체들에 대한 각각의 요소영상을 획득하는 픽업부와; 상기 픽업부에서 획득된 각각의 요소영상에 대해서 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 초점영상생성부와; 관측자의 지시를 인식하여 초점 조절 영상의 위치를 알아내는 관측자인식부와; 초점조절된 요소영상을 광학적으로 렌즈 배열을 통해 표시하는 광학표시부;로 구성하여, 관측자의 지시 깊이 영역에 대한 초점 영상과 비지시 영역의 비초점 영상을 동시에 광학적으로 표시하여 원하는 영상을 초점화시키고, 다른 영상들은 흐리게 만듦으로써 3차원 영상을 제공하는 것이 특징이다.

상술한 바와 같이 본 발명은 3차원 집적 영상 디스플레이 시스템에서 관측자와의 인터렉션 기능을 부가하여 초점 조절 기능을 수행하고, 초점 영상과 비초점 영상의 혼합 영상을 표현함으로써 효과적인 3차원 영상을 디스플레이할 수 있는 등의 현저한 효과가 있다.

도 1은 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템의 개념도.
도 2는 픽업부에서 (a) 렌즈배열을 이용한 요소영상획득의 원리 (b) 카메라배열을 이용한 요소영상획득 (c) 카메라 움직임을 이용한 요소영상획득
도 3은 획득된 요소영상 간의 관계도.
도 4는 서로 다른 두 종류의 주기적 델타 함수 배열의 콘볼루션 연산을 적용하여 생성한 초점조절된 요소영상생성의 예시도.
도 5는 초점조절된 요소영상을 이용하는 광학표시부의 개념도.
도 6은 서로 다른 두 초점에서 초점조절된 3차원 영상의 재생 실험의 예시도.
도 7은 델타 함수 배열의 예를 나타낸 개요도

본 발명은 3차원 물체들에 대한 각각의 요소영상을 획득하는 픽업부(10)와; 상기 픽업부(10)에서 획득된 각각의 요소영상에 대해서

로 표현되는 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 초점영상생성부(20)와; 관측자의 지시를 인식하여 초점조절된 요소영상의 위치를 알아내는 관측자인식부(40)와; 초점조절된 요소영상을 광학적으로 렌즈 배열을 통해 표시하는 광학표시부(30);로 구성하여, 공간상에 생성된 3D영상에 대하여 관측자의 손동작에 의해 지시되는 3D영상 부분인 관측자의 지시 깊이 영역을 깊이카메라 또는 스테레오 카메라로 인식하여 공간 좌표화하고, 선택된 좌표점에 대하여 초점영상생성부(20)에서 델타 함수 배열의 콘볼루션 연산을 사용하여 요소영상을 새로이 생성함으로써 공간 상에는 관측자의 손동작에 의해 지시되는 부분인 관측자의 지시 깊이 영역의 영상은 선택적으로 선명하게 표시되고, 관측자의 지시 깊이 영역 이외 영역의 영상들은 흐리게 만듦으로써 3차원 영상을 제공하는 것이 특징이다.

상기 초점영상생성부(20)는 상기 픽업부(10)에서 획득된 각각의 요소영상에 대해서 세기가 비균일한 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 하는 것이 특징이다.

상기 초점영상생성부(20)는 상기 픽업부(10)에서 획득된 각각의 요소영상에 대해서 제한된 영역을 가지는 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 것이 특징이다.

이하, 본 발명 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.

도 1은 본 발명의 실시예에 따른 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템의 개념도이다.

본 발명의 실시예는 픽업부(10), 초점영상생성부(20), 광학표시부, 관측자인식부(40)로 구성된다.

픽업부(10)에서는 도 2에서와 같이 설명된다.

3차원 물체(50)의 공간정보와 형태 정보는 도 2와 같이 렌즈배열(Lens array), 카메라배열(Camera array), 또는 무빙 카메라(Moving camera) 등을 통하여 획득 가능하다.

요소렌즈(elemental lens)는 도 2(a)에서 렌즈 배열을 구성하는 한 개의 렌즈를 말한다.

이 요소렌즈의 크기에 대응하는 결상면(imaging plane)위 결상영역(image formation region)을 요소영상(elemental image)이라 한다.

또한, 이 요소영상들의 집합을 요소영상배열(elemental image array)라 한다.

물체, 렌즈배열, 요소영상 사이의 기하광학적 관계를 살펴보면 다음과 같다.

계산의 편의성을 위하여 물체와 결상점 사이의 관계는 2차원 좌표계를 이용하여 설명할 것이며, 이는 간단히 3차원 좌표계로 확장 가능하다.

도 2(a)와 같이 렌즈배열을 통하여 3차원 물체에 대한 공간 및 형태 정보를 획득할 경우 물체의 한 점에 대응하는 기본영상배열 위의 결상점들은(imaging points) 다음과 같은 수식으로 표현된다.

(1)

도 2(a)와 수식 (1)에서 좌표의 원점은 렌즈배열에서 가장 아래쪽에 위치한 요소렌즈의 가장자리이다.

물체점 (z_on, x_o)는 x, z 평면상에 놓여 있다.

P는 이웃한 두 기본렌즈의 광학적 중심점 사이의 거리이다.

f는 기본렌즈의 초점거리이다.

x_Ek 는 k번째 기본렌즈를 통하여 결상된 영상의 위치이다.

결상거리, z_E는 좌표의 원점에서부터 측정되며 다음과 같다.

(2)

도 2와 같이 픽업시스템(pickup system)을 구성하는 요소장치(elemental device)들이 공간상에 주기적으로 배열되었을 경우, 이 픽업시스템에 의해 획득된 요소영상배열(elemental image array)은 주기적인 특성을 갖는다.

또한, 요소영상배열의 주기는 획득시 3차원 물체의 깊이, 즉 물체의 z축 좌표에 대하여 고유한 공간주기를 갖는 특성을 보인다.

도 2(a)와 같이 픽업시스템이 렌즈배열일 경우에 대하여 물체의 깊이에 대응하는 요소영상의 공간주기를 기하학적 관계를 통하여 살펴보면 다음과 같다.

(3)

그러나, 픽업장치의 해상도가 제한적이므로 이를 고려하여 수식 (3)은 다음과 같이 수정된다.

(4)

수식 (4)에서 N, P, k_max 는 각각 요소영상배열의 해상도, 요소영상의 직경, 요소렌즈의 직경이다.

도 3은 렌즈배열을 이용하여 획득한 요소영상배열이며, 각 물체의 깊이에 대응하는 공간주기를 요소영상배열위에 표시하였다.

초점영상생성부에서는 픽업부에서 획득된 요소영상 배열에 대해서 주기적인 델타 배열의 콘볼루션 연산을 이용하여 초점조절된 요소영상을 생성한다.

즉, 원하는 영상을 초점화시키고, 다른 영상들은 흐리게 만듦으로써 보다 효과적인 3차원 영상 표현하는 것이다.

기본적으로 요소영상배열은 물체들 또는 공간상에 연속적으로 분포한 물체의 깊이에 댕응하는 주기를 갖는 델타함수배열(delta function array)들의 합으로 이루어져 있고, 이러한 요소영사으로부터 원하는(특정) 깊이에 대응하는 요소영상만 도출하기 위해서는 특정깊이에 대응하는 주기를 갖는 델타함수배열과 요소영상배열 사이의 콘볼루션 연산을 이용하여야 한다.

요소영상은 델타 함수 배열(delta function array)의 합으로 이루어져 있고, 이러한 요소영상을 원하는 주기로 도출해내려 하면 델타배열의 콘볼루션 연산을 이용하여야 한다.

초점영상 생성 과정의 원리는 다음과 같다.

전통적인 2차원 결상에서 영상의 강도(image intensity)는 g(x_E)=f(x_E)＊h(x_E)로 표현되며, ＊는 콘볼루션(Convolution) 연산을 의미한다.

콘볼루션(Convolution)은 수학의 연산자로 앞과 뒤의 수식을 연산하는 것으로 일반적인 사칙이 아닌 연산자로서, 두 신호를 합쳐서 새로운 신호결과를 만드는 이미지처리연산에서 사용되는 수학적 방법이지만, 광학적으로도 의미가 있기 때문에 신호처리가 아닌 파동광학적 관점에서 콘볼루션을 사용하였다.

x_E는 기본영상면 위의 x좌표를 의미하며, f(x_E)는 물체의 강도(intensity)가 광학계에 의해 배율이 조정된 함수이고, h(x_E)는 임펄스 응답(impulse response)이다.

그러나, 3차원 물체에 대한 결상표현은 물체의 깊이정보 z_On에 의존적이므로 g(x_E)|Z_on=f(x_E) |Z_on ＊h(x_E)|Z_on 로 표현되어야 하며, 제안된 기술에서 g(x_E)|Z_on 는 z=z_on평면에 위치한 물체에 의해 결상된 요소영상배열을 의미한다.

또한, 다수의 요소렌즈로 구성된 픽업시스템에서 기하광학적 조건(λ→0)을 가정할 경우, 임펄스응답은

(5)

와 같이 델타(δ)-함수 배열로 표현된다.

임펄스응답은 물체의 깊이, 즉 물체와 렌즈배열 사이의 거리에 따라 고유한 주기를 갖는 델타-함수 배열로 표현되며 식 (2)를 이용하여 주기적인 형태로 표현하면 다음과 같다.

(6)

그러므로 집적 영상에서 렌즈배열에 의해 획득, 저장된 기본영상배열에 대한 1차원 표현은 다음과 같다.

(7)

물체들이 z축 방향으로 연속 또는 불연속적으로 놓여 있을 경우 기본영상배열은 깊이에 대응하는 기본영상배열들의 합으로 표현되어 다음과 같이 표현된다.

. (8)

기본영상배열 G(x_E)는 물체 또는 물체들의 공간정보를 담고 있으며 기본영상배열 G(x_E)로부터 특정 집속면(focusing plane)에 대응하는 영상정보출력은 기본영상배열과 목표하는 깊이 즉 집속면에 대응하는 주기를 갖는 델타-함수 배열사이의 콘볼루션 연산으로 가능하고 다음과 같이 표현된다.

(9)

식 (9)에서 G(x _E )가 한 개의 얇은 평면 물체에 대한 정보만 담고 있을 때,

은 집속면의 위치에 대응하는 델타함수배열이 평면물체의 깊이에 대응하는 공간주기와 같을 때에만 물체에 대한 포커싱 영상정보를 나타낸다.

또한, 물체의 공간주기와 집속면에 대응하는

가 서로 다를 경우,

는 해당 집속면에 대응하는 물체의 디포커싱 영상정보를 나타내며, 이는 기본영상배열 G(x_E)에 물체의 형태정보뿐 아니라 공간정보 역시 저장하고 있기 때문 나타나는 특성이다.

도 4는 도 3의 요소영상배열에 주기적인 델타 배열의 콘볼루션 연산을 적용한 결과이다.

도 4에서와 같이 서로 다른 주기의 델타 배열을 이용하면 초점 조절이 가능함을 알 수 있다.

광학표시부(30)는 픽업부(10)의 역과정으로 이루어진다.

도 5는 광학표시부의 구조를 보여준다.

초점조절된 요소영상을 영상 표시 소자에 디스플레이를 하면 렌즈배열을 통하여 3차원 영상이 재생되게 된다.

이때 초점 조절된 요소영상에 따라서 관측자에게 보여지는 3차원 영상(60) 또한 초점 조절된 영상이 얻어지게 된다.

도 5의 CPPF image는 Convolution Property between Periodic Function의 약자이다.

이렇게 얻어지는 초점 조절된 영상의 실험 결과를 도 6에 나타내었다.

도 6에서 관찰할 수 있듯이 비지시영역은 상이 흐리게 나타난다.

관측자인식부에서는 관측자가 3차원 영상에 대해서 초점 조절을 원하는 영역을 선택하는 것을 인식해야 한다.

이를 위해서 관측자의 손동작을 인식하여 3차원 영상(60)의 선택 영역을 결정한다.

이때 결정되는 거리에 대해서 초점조절 요소영상을 생성하여 디스플레이한다.

관측자의 손동작 인식을 위해서는 깊이 카메라나 스테레오 카메라를 사용하는 것이 가능하다.

도 7은 델타 함수 배열의 예를 나타낸 개요도이다.

도 7에서처럼 델타 함수 배열은 다른 형태로도 사용가능하며, 화살표는 2차원 결상에서 영상의 강도 즉, 세기를 나타낸 것이다.

첫째, 세기(intensity)가 비균일(non-uniform)한 델타 함수 배열을 사용하는 경우

여기서, α는 위치에 대응하는 세기값으로, 상술한 수식은 세기가 일정하게 변해가는 델타함수배열을 의미한다.

결과영상(초점조절된 영상)의 세기가 비균일한 경우 세기가 약해 어두워지는 부분에 가중치를 둠으로써 모든 세기를 동일하게 하도록 한다.

즉, 일반적으로 주기적인 함수 사이의 콘볼루션 결과는 결과영상의 가운데가 가장 밝으며 가장자리로 갈수록 어두워진다.

본 발명에서도 이러한 문제점을 안고 있으나 요소영상과 세기가 일정하게 변해가는 델타함수의 콘볼루션을 이용하면 이를 해결할 수 있다.

둘째, 제한된 영역의 델타 함수 배열을 사용하는 경우

여기서, rect는 제한영역을 나타내는 윈도우이며, 윈도우의 직경은 2d이다.

결국, 상기 수식에 의해 요소영상을 윈도우 상에서 100×100 또는 10×10의 사이즈 등으로 조절이 가능하게 된다.

즉, 전체 요소영상배열 중에서 일정부분만 델타함수배열과 콘볼루션하기 위하여 델타함수배열의 사이즈를 컨트롤하자는 의미이다.

이를 더욱 상세히 설명하면, 100×100의 사이즈를 갖는 요소영상배열을 10×10씩 나누면 100개의 요소영상으로 나누어지며, 이 경우 나누어진 각각의 요소영상배열에 델타함수배열을 콘볼루션하기 위해서는 원래 델타함수배열보다 작아진 델타함수배열이 필요하게 된다.

rect(제한영역을 나타내는 윈도우)는 이 크기를 맞추기 위해서 있는 것이다.

상술한 바와 같이 본 발명은 3차원 집적 영상 디스플레이 시스템에서 초점 조절 기능을 수행하여 관측자와의 인터렉션 기능을 부가하고, 초점 영상과 비초점영상의 혼합 영상을 표현함으로써 효과적인 3차원 영상을 표현할 수 있다.

10. 픽업부 20. 초점영상생성부 30. 광학표시부
40. 관측자인식부 50. 3차원 물체 60. 3차원 이미지

Claims (3)

1. 3차원 집적 영상 디스플레이 시스템에 있어서,
   3차원 물체들에 대한 각각의 요소영상을 획득하는 픽업부(10)와;
   상기 픽업부(10)에서 획득된 각각의 요소영상에 대해서

   

   로 표현되는 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 초점영상생성부(20)와;
   관측자의 지시를 인식하여 초점조절된 요소영상의 위치를 알아내는 관 측자인식부(40)와;
   초점조절된 요소영상을 광학적으로 렌즈 배열을 통해 표시하는 광학표시부(30);
   로 구성하여, 공간상에 생성된 3D영상에 대하여 관측자의 손동작에 의해 지시되는 3D영상 부분인 관측자의 지시 깊이 영역을 깊이카메라 또는 스테레오 카메라로 인식하여 공간 좌표화하고, 선택된 좌표점에 대하여 초점영상생성부(20)에서 델타 함수 배열의 콘볼루션 연산을 사용하여 요소영상을 새로이 생성함으로써 공간 상에는 관측자의 손동작에 의해 지시되는 부분인 관측자의 지시 깊이 영역의 영상은 선택적으로 선명하게 표 시되고, 관측자의 지시 깊이 영역 이외 영역의 영상들은 흐리게 만듦으로써 3차원 영상을 제공하는 것이 특 징인 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템.
   
2. 제 1항에 있어서,
   상기 초점영상생성부(20)는 상기 픽업부(10)에서 획득된 각각의 요소영상에대해서 세기가 비균일한 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 것이 특징인 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템.
   
3. 제 1항에 있어서,
   상기 초점영상생성부(20)는 상기 픽업부(10)에서 획득된 각각의 요소영상에 대해서 제한된 영역을 가지는 주기적인 델타 함수 배열의 콘볼루션 연산을 사용하여 초점조절된 요소영상을 새로이 생성하는 것이 특징인 초점 조절 기능을 가지는 3차원 집적 영상 디스플레이 시스템.
   

Images