KR20180069272A - 집적영상 디스플레이 장치 및 방법 - Google Patents

Abstract

본 발명은 RGBD영상에서 복수의 요소영상들을 생성하는 요소영상 생성부와, 상기 요소영상 사이에 가상의 요소영상인 적어도 하나의 중간영상을 생성하는 중간영상 생성부와, 상기 요소영상과 상기 중간영상을 재구성하여 어느 하나의 시점영상을 실시간으로 생성하는 영상 재구성부, 및 상기 중간영상을 병렬처리 방식으로 생성하고, 사용자가 지정한 시점을 판단하며, 해당 시점의 시차영상을 실시간으로 생성하도록, 상기 요소영상 생성부, 상기 중간영상 생성부, 및 상기 영상 재구성부를 제어하는 제어부를 포함하는 집적영상 디스플레이 장치 및 방법을 제공한다.

Description

집적영상 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR INTEGRAL IMAGING DISPLAY}

본 발명은 집적영상 디스플레이 장치 및 방법에 관한 것으로, 더욱 상세하게는 RGBD 영상에서 고해상도의 시차영상을 생성할 수 있는 집적영상 디스플레이 장치 및 방법에 관한 것이다.

집적영상 기술은 곤충의 눈과 같이 여러 개의 요소렌즈가 배열된 렌즈 어레이(Lens Array)를 사용해 디스플레이 대상인 3차원 물체를 렌즈 어레이의 요소렌즈 마다 촬영된 요소영상(Elemental Images)을 생성하고, 생성된 요소영상들을 렌즈 어레이를 통해 원래의 3차원 물체로 집적하여 디스플레이 하거나 요소영상 재배열에 의해 시점을 가진 2차원 영상으로 변환이 가능하다.

이러한 집적영상은, 요소영상이 이웃한 여러 개의 요소렌즈를 사용함으로써, 3차원 물체에 대해 여러 시야정보를 가지고 있는 특성이 있기 때문에, 하나의 영상에 대해서 일정한 시야각 내에서 연속적인 시점을 제공할 수 있다. 이를 이용하여 집적영상으로부터 3D 시차영상(3D viewing images)의 재생이 용이한 장점을 가지고 있다.

종래의 집적영상 디스플레이 방식은 집적영상 기술을 이용한 것으로써, 영상 획득 단계(픽업(pick up))와 영상 재생 단계로 구분된다.

상기 영상 획득 단계(픽업)는 이미지 센서와 같은 2차원 감지기와 제1 렌즈 어레이로 구성된다.

상기 3차원 물체, 제1 렌즈 어레이, 및 2차원 감지기 순으로 위치되어 상기 3차원 물체의 다양한 영상정보들은 상기 제1 렌즈 어레이를 통과한 후 상기 2차원 감지기에 저장된다. 이때 저장된 영상은 요소영상으로서 3차원 재생을 위해 이용된다.

그리고 상기 영상 재생 단계는 상기 영상 획득 단계(픽업)의 역과정으로, 액정 표시 시스템과 같은 영상 재생장치 및 제2 렌즈 어레이 순으로 위치되어, 상기 영상 획득 단계(픽업)에서 획득된 요소영상이 상기 영상 재생장치에 디스플레이되고, 상기 요소영상의 영상정보는 상기 제2 렌즈 어레이를 통과하여 공간상에 3차원 영상으로 재생된다.

그러나 종래의 집적영상 디스플레이 장치는 여러 개의 요소렌즈를 통해 획득한 영상인 요소영상이 여러 개의 시점을 제공하는 반면 제공되는 시점의 개수만큼 렌즈 어레이 개수가 늘어나기 때문에 영상의 해상도가 떨어지는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 요소영상의 개수를 증가시켜 RGBD 영상에서 고해상도의 시차영상을 생성할 수 있는 집적영상 디스플레이 장치 및 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 집적영상 디스플레이 장치는 RGBD영상에서 복수의 요소영상들을 생성하는 요소영상 생성부와, 상기 요소영상 사이에 가상의 요소영상인 적어도 하나의 중간영상을 생성하는 중간영상 생성부와, 상기 요소영상과 상기 중간영상을 재구성하여 어느 하나의 시점영상을 실시간으로 생성하는 영상 재구성부, 및 상기 중간영상을 병렬처리 방식으로 생성하고, 사용자가 지정한 시점을 판단하며, 해당 시점의 시차영상을 실시간으로 생성하도록, 상기 요소영상 생성부, 상기 중간영상 생성부, 및 상기 영상 재구성부를 제어하는 제어부를 포함한다.

또한, 상기 중간영상 생성부는 이웃하는 상기 요소영상 정보를 보간해서 상기 중간영상을 생성할 수 있다.

또한, 상기 중간영상 생성부는 상기 요소영상 및 상기 중간영상의 개수만큼 그래픽처리장치(GPU: graphics processing unit)의 쓰레드(Thread)를 생성하고, 요소영상 정보와 쓰레드를 매핑할 수 있다.

또한, 상기 영상 재구성부는 상기 요소영상들 각각의 같은 위치에 있는 화소정보를 동시에 수집하여 시차영상을 생성할 수 있다.

그리고 본 발명의 집적영상 디스플레이 방법은 요소영상 생성부에서 RGBD영상에서 복수의 요소영상들을 생성하는 단계와, 중간영상 생성부에서 상기 요소영상 사이에 적어도 하나의 중간영상을 생성하는 단계와, 영상 재구성부에서 상기 요소영상과 상기 중간영상을 재구성하여 어느 하나의 시점영상을 실시간으로 생성하는 단계, 및 제어부에서 시점 변경 여부를 판단하여, 시점이 변경될 경우 상기 영상 재구성부에서 상기 변경된 시점의 시차영상을 실시간으로 생성하도록 상기 제어부의 제어를 받아 상기 요소영상과 상기 중간영상을 재구성하여 상기 변경된 시점의 시점영상을 실시간으로 생성하는 단계를 포함한다.

상기와 같은 본 발명에 따른 집적영상 디스플레이 장치 및 방법은 요소영상 사이에 가상의 요소영상인 중간영상을 생성함으로써, 중간영상 생성에 의해 요소영상의 개수가 증가되기 때문에, RGBD 영상에서 고해상도의 시차영상을 생성할 수 있어 보다 용이하게 집적영상을 구현할 수 있는 효과를 갖는다.

또한, 본 발명에 따른 집적영상 디스플레이 장치 및 방법은 중간영상 및 시차영상을 병렬처리 하여 고속으로 생성함으로써, 실시간으로 고해상도의 시점영상을 고속으로 생성할 수 있는 효과를 갖는다.

도 1은 실시예에 따른 집적영상 디스플레이 장치를 나타낸 블록도이다.
도 2는 도 1의 중간영상 생성부에서 형성된 중간영상을 나타낸 개략도이다.
도 3은 도 1의 중간영상 생성부에서 보간법 기반으로 형성된 중간영상을 나타낸 개략도이다.
도 4는 도 1의 영상 재구성부에서 병렬처리된 하나의 중간영상을 나타낸 개략도이다.
도 5는 도 1의 영상 재구성부에서 병렬처리된 일렬의 중간영상들을 나타낸 개략도이다.
도 6은 실시예에 따른 집적영상 디스플레이 방법을 나타낸 순서도이다.
도 7은 도 6의 사용자가 지정한 시점의 시차영상을 생성하는 단계를 나타낸 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 실시예에 따른 집적영상 디스플레이 장치를 나타낸 블록도이다. 도 1에 도시된 바와 같이, 실시예에 따른 집적영상 디스플레이 장치는 요소영상 생성부(10), 중간영상 생성부(30), 영상 재구성부(50), 및 제어부(70)를 포함한다.

요소영상 생성부(10)는 제어부(70)의 제어를 받아 컬러정보와 깊이정보를 함께 가진 RGBD영상에서 복수의 요소영상들을 생성한다. 실시예로, 요소영상 생성부(10)는 깊이 카메라를 이용하여 RGBD영상 즉 컬러영상과 깊이영상을 획득하고, 획득한 깊이영상의 각 화소의 깊이정보를 이용하며 요소렌즈를 거쳐 디스플레이 패널 지점에 컬러정보를 저장하여 전체 요소영상을 생성할 수 있다.

도 2는 도 1의 중간영상 생성부에서 형성된 중간영상을 나타낸 개략도이다.

중간영상 생성부(30)는 제어부(70)의 제어를 받아 시차영상의 해상도를 높이기 위해 요소영상들 사이에 가상의 요소영상인 적어도 하나의 중간영상을 병렬처리 방식으로 생성한다.

시차영상의 해상도는 요소영상의 개수와 동일하기 때문에, 높은 해상도의 시차영상을 생성하기 위해서 요소영상의 개수를 늘려야 한다. 요소영상을 늘리기 위해서는 요소영상들 사이에 중간영상을 생성하여 한다.

여기서, 중간영상 생성부(30)는 도 2에 도시된 바와 같이, 요소영상(11,13) 사이에 중간영상(31)을 생성할 수 있고 또한, 요소영상(13,15) 사이에 중간영상(33)을 생성할 수 있다.

도 3은 도 1의 중간영상 생성부에서 보간법 기반으로 형성된 중간영상을 나타낸 개략도이다.

또한, 중간영상 생성부(30)는 보간법 기반의 중간영상 생성기법을 통해 요소영상들 사이에 중간영상을 생성할 수 있다. 즉, 중간영상은 이웃하는 4개의 요소영상 정보를 보간해서 생성된다.

예를 들어 도 3에 도시된 바와 같이, 중간영상인 MT_EI와 MB_EI 각각은 다음 식을 사용하여 생성된다.

MT_EI_(x,y) = (1-α) × LT_EI_(x,y) + α × RT_EI_(x,y), (0≤α≤1)

MB_EI_(x,y) = (1-α) × LB_EI_(x,y) + α × RB_EI_(x,y), (0≤α≤1)

그리고 중간영상인 G_EI는 다음 식을 사용하여 생성된다.

G_EI_(x,y) = (1-β) × MT_EI_(x,y) + β × MB_EI_(x,y), (0≤β≤1)

도 4는 도 1의 영상 재구성부에서 병렬처리된 하나의 중간영상을 나타낸 개략도이다.

또한, 중간영상 생성부(30)는 도 4에 도시된 바와 같이, 상술한 바와 같은 방법 등으로 생성된 중간영상의 생성 속도를 높이기 위해 그래픽 카드의 핵심 모듈인 그래픽처리장치(GPU: graphics processing unit) 기반의 병렬처리 방법을 사용할 수 있다.

즉, GPU의 그리드(Grid)를 렌즈 어레이(A) 사이즈로 지정하여 요소영상(E)들 사이에 중간영상(M) 생성과정을 GPU로 병렬처리 한다. 병렬처리 방법은 각 요소영상(E) 및 중간영상(M)의 개수만큼 GPU의 쓰레드(Thread)를 생성하고, 요소영상 정보와 쓰레드를 매핑하여 고속처리를 수행한다.

영상 재구성부(50)는 제어부(70)의 제어를 받아 요소영상들과 중간영상들을 재구성하여 어느 하나의 시점의 시차영상을 실시간으로 빠르게 생성한다. 즉, 영상 재구성부(50)는 요소영상에 저장되어 있는 여러 시차정보를 기준으로 요소영상을 재정렬하여 해당 시점에서 보여지는 2D기반 영상을 생성하는 과정을 거쳐 사용자가 지정한 시점에 적합한 시차영상을 생성한다.

도 5는 도 1의 영상 재구성부에서 병렬처리된 일렬의 중간영상들을 나타낸 개략도이다.

또한, 영상 재구성부(50)는 사용자가 지정한 시점에 해당되는 시차영상의 생성 속도를 높이기 위해 GPU기반의 병렬처리 방법을 사용하여 실시간으로 빠르게 해당 시점의 시차영상을 생성할 수 있다.

예를 들어, 요소영상의 개수가 N x N이라 가정할 때의 요소영상(E), 렌즈 어레이(A), 및 시차영상(D)을 나타낸 도 5에 도시된 바와 같이, 렌즈 어레이(A)를 통해 구성된 요소영상(E)들 각각의 같은 위치에 있는 화소정보는 동일한 시점의 시차정보를 가지게 되므로 예를 들어 각 요소영상(E)에서 (1,2) 위치에 있는 화소들은 시차영상(D) 생성시 모두 동일한 시점을 가지게 되므로, 같은 위치에 있는 요소영상(E)의 화소정보를 수집하면 디스플레이 대상인 3차원 물체에 대한 시차영상(D)이 생성된다.

영상 재구성부(50)는 사용자가 지정한 시점에 대한 시차영상을 생성하기 위해 사용자가 지정한 시점 V _x ,V _y 정보를 계산한다. V _x 와 V _y 는 아래 수학식 1로 계산된다.

여기서, MP는 마우스 위치이고, EEI는 중간영상 생성에 의해 개수가 증가된 요소영상이며, EL은 요소렌즈의 해상도이다.

영상 재구성부(50)는 GPU의 그리드를 렌즈 어레이(A) 사이즈로 지정하여 상기 계산된 사용자가 지정한 시점에 대한 시차영상(D) 생성과정을 GPU로 병렬처리 한다. 병렬처리 방법은 요소영상(E)들 각각의 같은 위치에 있는 화소정보를 동시에 수집하여 고속처리를 수행한다.

상기와 같이, 영상 재구성부(50)는 사용자가 지정한 마우스 위치와 중간영상 생성에 의해 개수가 증가된 요소영상 정보에 의해 사용자가 지정한 시점을 자동으로 계산하고, 해당 시점의 시차영상(D)을 병렬처리로 실시간 빠르게 생성함으로써 RGBD 영상에서 사용자가 지정한 시점의 시차영상을 고속으로 생성할 수 있다.

제어부(70)는 중간영상을 병렬처리 방식으로 생성하고, 사용자가 지정한 시점을 판단하며, 해당 시점의 시차영상을 실시간으로 생성하도록, 요소영상 생성부(10), 중간영상 생성부(30), 및 영상 재구성부(50)를 제어한다.

또한, 제어부(70)는 GPU 현재의 커널프로그램이 다른 커널프로그램의 결과를 기다림으로써 대기시간이 발생됨에 따라 병렬처리 효율이 떨어지는 것을 방지하여 GPU기반의 병렬처리 효율을 극대화하기 위해서 GPU의 커널(kernel)의 양을 제어할 수 있다.

이러한 구성을 가진 실시예에 따른 집적영상 디스플레이 장치의 동작에 관하여 설명하면 다음과 같다.

도 6은 실시예에 따른 집적영상 디스플레이 방법을 나타낸 순서도이다. 도 6에 도시된 바와 같이, 실시예에 따른 집적영상 디스플레이 방법은, 우선 디스플레이 대상인 3차원 물체에 대해 RGBD영상 즉 컬러영상과 깊이영상을 획득한다(S101).

이후, 요소영상 생성부(10)에서 컬러정보와 깊이정보를 함께 가진 RGBD영상에서 복수의 요소영상들을 생성한다(S103).

그 다음, 중간영상 생성부(30)에서 요소영상 사이의 중간영상을 병렬처리 방식으로 생성한다(S105).

그 후, 중간영상 생성에 의해 개수가 증가된 요소영상들을 렌즈 어레이를 통해 원래의 3차원 물체로 집적하여 시차영상을 구성하거나 요소영상 재배열에 의해 시점을 가진 2차원 영상으로 변환하여 시차영상을 구성(S107)하여 시점영상을 생성한다(S109)

계속해서, 제어부(70)에서 시점 변경 여부를 판단한다(S111). 사용자에 의해 시점이 변경된 것으로 판단될 경우, 영상 재구성부(50)에서 제어부(70)의 제어를 받아 요소영상들과 중간영상들을 영상재구성 병렬화하여 사용자가 지정한 시점의 시차영상을 실시간으로 빠르게 생성한다(S111).

도 7은 도 6의 사용자가 지정한 시점의 시차영상을 생성하는 단계를 나타낸 순서도이다.

즉, 도 7에 도시된 바와 같이, 사용자에 의해 시점이 변경된 경우, 영상 재구성부(50)에서 상기 변경된 시점을 계산하고, 계산된 사용자가 지정한 시점 즉 (Vx, Vy)에 해당되는 화소의 정보를 추출(S1131)하고, 요소영상(E)들 각각의 같은 위치에 있는 화소정보를 동시에 수집(픽업)(S1133)하며, 동시에 수집된 화소들을 배정하여 사용자가 지정한 시점에 대한 시차영상을 생성함에 따라 시점영상을 재생할 수 있다.

그리고 제어부(70)에서 시점이 변경되지 않는 것으로 판단될 경우, 시점영상을 디스플레이 한다.

상술한 바와 같이, 실시예에 따른 집적영상 디스플레이 장치 및 방법은 요소영상 사이에 가상의 요소영상인 중간영상을 생성함으로써, 중간영상 생성에 의해 요소영상의 개수가 증가되기 때문에, RGBD 영상에서 고해상도의 시차영상을 생성할 수 있다.

또한, 실시예에 따른 집적영상 디스플레이 장치 및 방법은 중간영상을 GPU 기반의 병렬처리 방법을 사용하여 고속으로 생성함으로써, 반복 촬영 없이 요소영상의 개수를 늘일 수 있어 해상도 증강 수준을 자유롭게 조정할 수 있고 또한, 실시간으로 고해상도의 시점영상을 고속으로 생성할 수 있다.

또한, 실시예에 따른 집적영상 디스플레이 장치 및 방법은 요소영상들 각각의 같은 위치에 있는 화소정보를 동시에 수집하여 고속처리를 수행하는 방법인 GPU 기반의 병렬처리 방법을 사용하여 시차영상을 고속으로 생성함으로써, 시차영상 생성과정이 화소단위의 처리를 수행하여 많은 소요시간을 필요로 하는 종래기술보다 실시간으로 고해상도의 시점영상을 고속으로 생성할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 요소영상 생성부 11, 13, 15 : 요소영상
30 : 중간영상 생성부 31, 33 : 중간영상
50 : 영상 재구성부 70 : 제어부

Claims (1)

1. RGBD영상에서 복수의 요소영상들을 생성하는 요소영상 생성부;
   상기 요소영상 사이에 가상의 요소영상인 적어도 하나의 중간영상을 생성하는 중간영상 생성부;
   상기 요소영상과 상기 중간영상을 재구성하여 어느 하나의 시점영상을 실시간으로 생성하는 영상 재구성부; 및
   상기 중간영상을 병렬처리 방식으로 생성하고, 사용자가 지정한 시점을 판단하며, 해당 시점의 시차영상을 실시간으로 생성하도록, 상기 요소영상 생성부, 상기 중간영상 생성부, 및 상기 영상 재구성부를 제어하는 제어부;
   를 포함하는 집적영상 디스플레이 장치.

Images