KR20160009487A

KR20160009487A - 3d 영상 디스플레이 장치 및 방법

Info

Publication number: KR20160009487A
Application number: KR1020150061078A
Authority: KR
Inventors: 지아오 샤오후이; 조우 밍차이; 홍 타오; 리 웨이밍; 왕 하이타오; 남동경; 왕 씨잉
Original assignee: 삼성전자주식회사
Priority date: 2014-07-16
Filing date: 2015-04-30
Publication date: 2016-01-26
Also published as: US10666933B2; CN105323573A; CN105323573B; KR102325296B1; US20170208323A1

Abstract

3D 영상 디스플레이 장치 및 방법을 제공한다. 3D 영상 디스플레이 장치는 제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하고, 분할된 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하고, 해당 불규칙 픽셀을 사용하여 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하고, 이들을 합성함으로써 고해상도의 최종 3D 영상을 제공한다.

Description

3D 영상 디스플레이 장치 및 방법{Device and Method of 3D Image Display}

3D 영상 디스플레이 장치 및 방법에 연관되며, 더욱 구체적으로는 불규칙 픽셀을 사용하여 3D 영상 표시하는 3D 영상 디스플레이 장치 및 방법에 연관된다.

Naked eye 3D 디스플레이 시스템은 고해상도의 2D 인터레이스 영상(interlaced imge)을 표시하는 디스플레이 패널과 인터레이스 영상을 서로 다른 방향으로 굴절시키는 광선 방향 변조소자(예, MLA(micro-lens array))를 구비하여, 사용자가 특수 안경을 착용하지 않고 맨눈으로 시청할 수 있는 3D 영상을 제공한다. 다시점(multi-view) 영상 정보를 포함하는 인터레이스 영상에서, 인접한 픽셀은 서로 다른 각도의 영상 정보를 표시하기 때문에 렌즈의 굴절을 통해 각 영상을 분리시켜야 선명한 3D 영상을 시청할 수 있다. 그러나 인접된 픽셀들 사이에서는 광선이 서로 간섭되는 이른바, 크로스토크(crosstalk) 현상이 발생하고 이로 인하여 3D 영상이 중첩되어 해상도가 낮아진다. 한편, 렌즈의 굴절을 통해 다시점 영상이 완전히 분리되는 이상적 상황이라도 픽셀로부터 발산된 광선이 전파되는 과정에서 확산될 수 있으며 빔(beam) 넓이가 변함으로써 인접된 픽셀이 간섭되어 역시 해상도 품질을 떨어뜨릴 수 있다.

따라서, Naked eye 3D 디스플레이 시스템에서는 물리적인 광선의 전파 특성으로 인해 3D 영상의 DOF(Depth of Field)가 제한되고, 깊이 평면에 따라 각기 다른 해상도를 가지는 문제점이 있다.

일측에 따르면, 3D 영상 디스플레이 장치를 제공한다. 상기 장치는, 제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하는 깊이 층 분할부; 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 픽셀 확정부; 상기 설정된 불규칙 픽셀을 사용하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상을 생성하는 3D 영상 생성부; 및 상기 제2 3D 영상들을 합성하는 3D 영상 합성부를 포함한다.

상기 깊이 층 분할부는, 깊이 필링(depth peeling) 알고리즘을 이용하여 상기 제1 3D 영상을 복수의 깊이 층으로 분할할 수 있다.

상기 픽셀 확정부는, 마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면을 설정하고, 상기 깊이 층들이 각각 소속된 깊이 평면에 따라 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

상기 3D 영상 디스플레이 장치는 상기 제1 3D 영상으로부터 윤곽 세부(detail)특징을 추출하고 상기 윤곽 세부특징의 주파수 방향 및 주파수 크기를 확정하는 윤곽 세부특징 추출부를 더 포함할 수 있다. 상기 픽셀 확정부는, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 방향, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 상기 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

상기 3D 영상 생성부는, 다시점(multi-view) 영상 정보에 기초하여, 상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성할 수 있다. 상기 다시점 영상 정보는, 시점의 위치 정보 및 시선의 시야각(field angle) 정보 중 적어도 하나를 포함할 수 있다.

상기 3D 영상 합성부는, 상기 3D 영상 생성부에 의하여 생성된 상기 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 가장 깊은 층부터 순서대로 상기 복수의 3D 영상들을 합성할 수 있다.

상기 픽셀 확정부는, 미리 설정된 복수의 불규칙 픽셀들 중에서 각 깊이 층을 위해 적어도 하나의 불규칙 픽셀을 선택할 수 있으며, 상기 불규칙 픽셀은 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록(pixel block)이 될 수 있고, 상기 규칙 픽셀과 다른 형상 및 크기를 구비할 수 있다.

다른 일측에 따르면, 3D 영상 디스플레이 방법이 제공된다. 상기 방법은, 제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하는 단계; 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 단계; 상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 사용하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하는 단계; 및 상기 생성된 제2 3D 영상들을 합성하는 단계를 포함한다.

상기 깊이 층 분할하는 단계는, 깊이 필링(depth peeling) 알고리즘을 이용하여 상기 제1 3D 영상을 복수의 깊이 층으로 분할할 수 있다.

상기 불규칙 픽셀을 확정하는 단계는, 마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면을 설정하고, 상기 깊이 층들이 각각 소속된 깊이 평면에 따라 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

상기 방법은 상기 제1 3D 영상으로부터 윤곽 세부(detail)특징을 추출하고 상기 윤곽 세부특징의 주파수 방향 및 주파수 크기를 확정하는 단계를 더 포함할 수 있다. 상기 불규칙 픽셀을 확정하는 단계는, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 방향, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 상기 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

상기 제2 3D 영상들을 생성하는 단계는, 다시점(multi-view) 영상 정보에 기초하여, 상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성할 수 있다. 상기 다시점 영상 정보는, 시점의 위치 정보 및 시선의 시야각(field angle) 정보 중 적어도 하나를 포함할 수 있다.

상기 제2 3D 영상들을 합성하는 단계는, 상기 제2 3D 영상들을 생성하는 단계에서 생성된 상기 복수의 깊이 층들에 각각 대응하는 복수의 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 깊은 층부터 순서대로 상기 복수의 3D 영상들을 합성하여 최종 3D 영상을 형성할 수 있다.

상기 불규칙 픽셀을 확정하는 단계는, 미리 설정된 복수의 불규칙 픽셀들 중에서 각 깊이 층을 위해 적어도 하나의 불규칙 픽셀을 선택할 수 있으며, 상기 불규칙 픽셀은, 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록(pixel block)이 될 수 있고, 상기 규칙 픽셀과 다른 형상 및 크기를 구비할 수 있다.

도 1은 디스플레이 해상도를 추정하는 MTF의 예시를 도시한 것이다.
도 2는 일실시예에 따른3D 영상 디스플레이 장치를 도시한 블록도이다.
도 3은 일실시예에 따른 깊이 필링(depth peeling)의 예시적 결과를 도시한 것이다.
도 4는 일실시예에 따른 불규칙 픽셀의 예시를 도시한 것이다.
도 5는 기존의 3D 영상을 일실시예에 따른 3D 영상 디스플레이 장치에 의하여 생성된 3D 영상과 비교하는 예시를 도시한 것이다.
도 6은 일실시예에 따라 불규칙 픽셀을 사용하여 3D 영상을 디스플레이 함으로써 크로스토크 감소하는 원리를 도시한 것이다.
도 7은 일실시예에 따른 3D 영상 디스플레이 방법을 도시한 흐름도이다.
도 8은 일실시예에 따른 3D 영상 디스플레이 장치에서 서로 다른 불규칙 픽셀을 이용하여 디스플레이 테스트를 통해 획득된 MTF값을 도시한 그래프이다.
도 9는 규칙 픽셀을 사용하여 디스플레이 테스트를 통해 획득된 MTF값을 불규칙 픽셀을 사용하여 디스플레이 테스트를 통해 획득된 MTF값과 비교하는 분석 결과를 도시한 것이다.

이하에서, 일부 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적으로 보편적인 것으로 선택되었으나, 기술의 달말 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적인 용어로 이해되어야 한다.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.

도 1은 디스플레이 해상도를 추정하는 MTF의 예시를 도시한 것이다. 3D 영상의 디스플레이 해상도 및 DOF(Depth of Field)를 이용하여 Naked eye 3D 디스플레이 시스템의 성능을 측정할 수 있다. 예를 들어, MTF(Modulation Transfer Function)를 이용하여 3D 영상의 디스플레이 해상도를 양자화할 수 있다. MTF는 1mm 범위 내에서 나타낼 수 있는 선의 개수에 따라 해상도를 측정하는 것이다. MTF 값=(조명도의 최댓값-조명도의 최솟값)/(조명도의 최댓값+조명도의 최솟값)으로 정의할 수 있다. MTF 값은 0 과 1 사이의 값이 되고, MTF 값이 클수록 현재 표시된 3D 영상의 해상도가 높은 것을 의미하고, 반대의 경우 해상도가 낮은 것을 의미한다.

도 1은 사인파 격자(sinusoidal grating)를 이용하여 표시한 3D 영상에 대해서 MTF를 나타낸 그래프이다. 그래프의 X축 방향은 3D 영상의 깊이 값을 나타내고, Y축 방향을 주파수를 나타내며 Z축 방향은 MTF 값을 나타낸다. 사인파 격자는 서로 다른 주파수 및 서로 다른 깊이 평면을 구비한다. 도 1에서 CDP (Central Depth Plane)를 기준으로 해상도를 판단할 수 있다. CDP 상에서 최고의 해상도를 가지고 CDP 에서 멀어질수록 해상도가 떨어지고 크로스토크 오류 및 모호 현상이 나타난다. 다시 말해서 Naked eye 3D 디스플레이 시스템은 물리적인 광선의 전파 특성으로 인하여 표시되는 3D 영상의 DOF가 제한된다.

따라서, Naked eye 3D 디스플레이 장치에서 높은 해상도의 3D 영상을 제공하기 위해서는 크로스토크 등의 물리적인 광학적 전파 특징을 해결해야 할 것이다.

도 2는 일실시예에 따른3D 영상 디스플레이 장치(100)을 도시한 블록도이다. 도 2에 도시된 바와 같이, 일실시예에 따른3D 영상 디스플레이 장치(100)은 깊이 층 분할부(110), 픽셀 확정부(120), 3D 영상 생성부(130) 및 3D 영상 합성부(140)을 포함한다.

깊이 층 분할부(110)은 표시하고자 하는 제1 3D 영상을 복수의 깊이 층으로 분할할 수 있다. 일실시예에서 깊이 층 분할부(110)은 깊이 필링(depth peeling) 알고리즘을 이용하여 제1 3D 영상을 일정한 수량의 깊이 층으로 분할할 수 있다.

구체적으로, 깊이 층 분할부(110)은 제1 3D 영상에 포함된 각 픽셀을 조각(fragment)으로 전환하고, 즉, 수평 방향의 좌표 값x 및 수직 방향의 좌표 값y를 구비하는 픽셀을 수평 방향의 좌표 값x, 수직 방향의 좌표 값y 및 깊이 방향의 좌표 값z를 구비하는 픽셀(즉, 조각)으로 전환한다. 조각의 깊이 방향의 좌표 값z는 상기 조각에 대응하는 픽셀의 깊이 값(이하, 조각의 깊이 값)을 의미한다. 이어서 깊이 층 분할부(110)은 각 조각의 깊이 값에 기초하여 조각을 깊이 방향으로 배열하고, 깊이 배열의 결과 및 미리 설정된 깊이 층의 개수에 따라 복수의 깊이 층을 생성 및 출력한다. 예를 들어, 4개의 깊이 층으로 분할해야 할 경우, 이때 3D 영상의 최대 깊이 값은 4이고 최소 깊이 값은 -4이면 깊이 값이 2-4인 조각을 제1 깊이 층으로 분할하고, 깊이 값이0-2인 조각을 제2 깊이 층으로 분할하고, 깊이 값이-2-0인 조각을 제3 깊이 층으로 분할하고, 깊이 값이-4--2인 조각을 제4깊이 층으로 분할하여, 복수의 깊이 층으로 분할 및 출력한다. 여기서, 깊이 층의 개수 및 각 깊이 층의 DOF는 상기의 예시에 제한되지 않고 필요에 따라 설정할 수 있다. 예를 들어, 깊이 값이 3-4인 조각을 제1 깊이 층으로 분할하고, 깊이 값이 0-3인 조각을 제2 깊이 층으로 분할하고, 깊이 값이 -3-0인 조각을 제3 깊이 층으로 분할하고, 깊이 값이 -4--3인 조각을 제4 깊이 층으로 분할할 수 있다.

도 3은 일실시예에 따른 깊이 필링(depth peeling)의 예시적 결과를 도시한 것이다. 도3에 도시된 바와 같이, 깊이 층 분할부(110)을 사용하여 도3(a)에 도시된 3D 영상을 깊이 필링한 후, 도3(b)에 도시된 복수의 깊이 층을 형성하면, 각 깊이 층에서는 3D 영상에 해당하는 일부분을 나타날 수 있다.

상기와 같이, 깊이 층 분할부(110)은 깊이 필링 알고리즘을 사용하여 표시될 3D 영상을 복수의 깊이 층으로 분할했으나, 다양한 실시예들은 이에 제한되지 않고 다른 방법으로 깊이 층 분할할 수 있다. 예를 들어, salience map 방법을 사용하여 깊이 층 분할할 수 있다.

다시 도 2를 참조하면, 픽셀 확정부(120)은 깊이 층 분할부(110)에 의하여 분할된 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다. 예시로, 일실시예에서 3D 영상 디스플레이 장치(100)의 광선 방향 변조소자 즉, 3D 영상 디스플레이 장치가 구비한 마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면(즉, 복수의 DOF)을 설정할 수 있다. 예를 들어, 도1에 도시된 CDP를 제1 깊이 평면으로 설정하고, 3D 영상 디스플레이 장치(100)의 디스플레이 DOF 내에서 CDP에 대응하는 깊이 이외의 깊이가 위치된 평면을 제2 깊이 평면으로 설정하고, 3D 영상 디스플레이 장치(100)의 디스플레이 DOF 이외의 깊이가 위치된 평면을 제3 깊이 평면으로 설정한다. 픽셀 확정부(120)은 각 깊이 층의 DOF에 기초하여 소속된 깊이 평면을 확정하고, 각 깊이 층이 소속된 깊이 평면에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

구체적으로, 분할된 복수의 깊이 층에 포함된 임의의 깊이 층 L에 대해 설명하도록 한다. 깊이 층 L이 상기 제1 깊이 평면(즉, CDP)에 소속되면, 이 디스플레이 평면에 표시된 영상이 최고의 해상도를 구비함으로써 기존의 규칙 픽셀을 이용하여 이 깊이 층에 대응하는 3D 영상 부분을 표시할 수 있다. 깊이 층 L이 상기 제2 깊이 평면(즉, 3D 영상 디스플레이 장치(100)의 디스플레이 DOF 내에서 CDP에 대응하는 깊이 이외의 깊이가 위치된 평면)에 소속되거나, 상기 제3 깊이 평면(즉, 3D 영상 디스플레이 장치(100)의 디스플레이 DOF 이외의 깊이가 위치된 평면)에 소속되면, 픽셀 확정부(120)은 깊이 층 L에 대응하는 불규칙 픽셀을 확정할 수 있다.

도 4는 일실시예에 따른 불규칙 픽셀의 예시를 도시한 것이다. 상기 불규칙 픽셀은 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록인 것이고 규칙 픽셀과 다른 형상 및 크기를 구비한다. 예시로, 복수의 불규칙 픽셀을 미리 설정하고, 픽셀 확정부(120)은 미리 설정된 복수의 불규칙 픽셀 중에서 깊이 층 L를 위해 적어도 하나의 불규칙 픽셀을 선택할 수 있다. 픽셀 확정부(120)은 각종 불규칙 픽셀을 사용하여 깊이 층L에 대응하는 3D 영상 부분을 표시할 때 나타난 해상도를 비교하여 어느 불규칙 픽셀을 사용하는지 확정할 수 있다. 선택적으로, 픽셀 확정부(120) 상기 미리 설정된 복수의 불규칙 픽셀 중에서 2 종류 이상의 불규칙 픽셀의 조합을 사용하여 깊이 층L에 대응하는 3D 영상 부분을 표시할 때 나타난 해상도를 비교하여 어느 불규칙 픽셀을 사용하는지 확정할 수 있다. 또한, 픽셀 확정부(120)은 인접된 규칙 픽셀 또는 서브 픽셀을 조합하여 서로 다른 형상 및 크기를 구비하는 복수의 후보 불규칙 픽셀을 형성하여 상기 후보 규칙 픽셀을 사용하여 깊이 층L에 대응하는 3D 영상 부분을 표시할 때 나타난 해상도를 확정하고, 최고 해상도 나타날 때 사용된 후보 불규칙 픽셀을 깊이 층L에 대응하는 최종 사용된 불규칙 픽셀로 확정할 수 있다.

상기와 같이, 깊이 적용 방법으로 불규칙 픽셀(즉, 각 깊이 층이 소속된 깊이 평면에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀)을 확정하는 예시를 설명했으나, 다양한 실시예들은 이에 제한되지 않는다.

한편, 일실시예에서 주파수 적용 방법을 이용하여 각 깊이 층의 불규칙 픽셀을 확정할 수 있다. 즉, 표시될 3D 영상의 주파수 특징(주파수의 방향 및 크기)에 따라 각 깊이 층의 불규칙 픽셀을 확정할 수 있다. 예시로, 상기 3D 영상 디스플레이 장치(100)은 윤곽 세부특징 추출부(미 도시)를 더 포함하고, 제1 3D 영상으로부터 윤곽 세부특징을 추출하고, 상기 윤곽 세부특징의 방향(즉, 주파수 방향) 및 주파수 크기를 확정한다. 이어서, 픽셀 확정부(120)은 깊이 층들에 각각 대응하는 윤곽 세부특징(즉, 깊이 층에 대응하는 픽셀이 나타난 윤곽 세부특징)의 방향 및 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기 중 적어도 하나에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하고, 이를 서로 다른 주파수 방향에서 서로 다른 너비를 구비하도록 한다(예, 픽셀 너비를 주파수 크기와 반비례한다).

여기서, 이 분야에서 통상의 지식을 가진 자라면 기존의 다양한 방법(예, Multi-scale Gabor Filtering)을 사용하여 3D 영상에 포함된 윤곽 세부특징을 추출할 수 있다. 이에 대하여 상세한 설명을 생략한다.

일실시예에 따른 픽셀 확정부(120)은 상기 깊이 적용 방법 및 주파수 적용 방법을 모두 사용하여 깊이 층들에 대응하는 불규칙 픽셀을 확정할 수 있다. 다시 말하면, 픽셀 확정부(120)은 깊이 층들에 각각 대응하는 윤곽 세부특징의 방향, 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

또한, 상기와 같이, 분할된 깊이 층 및 설정된 깊이 평면의 DOF가 서로 다르지만, 다른 일실시예에서 깊이 층 분할부(110)은 깊이 층 분할 시, 분할된 깊이 층 및 설정된 깊이 평면의 DOF를 일치하도록 할 수 있다.

다시 도 1을 참조하면, 3D 영상 생성부(130)은 픽셀 확정부(120)에 의하여 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 사용하여 깊이 층들에 각각 대응하는 제2 3D 영상을 생성할 수 있다.

구체적으로, 상기 3D 영상 생성부(130)은 3D 영상 디스플레이 장치(100)의 다시점 영상 정보(시점의 위치 정보 및 시야각(field angle) 정보 중 적어도 하나를 포함하고, 3D 영상 디스플레이 장치(100)의 하드웨어 성능 파라미터 설정에 해당하는 값)를 기초하여, 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들(다시점 영상은 각각 하나의 시점 및 시각 위치에 대응됨)을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하여 깊이 층에 대응하는 제2 3D 영상을 생성할 수 있다.

상기 다시점 영상들을 렌더링하고, 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하는 방법은 이 분야의 일반적으로 사용된 방법으로써 이에 대하여 상세한 설명을 생략한다.

이어서 3D 영상 합성부(140)은, 3D 영상 생성부(130)에 의하여 생성된 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들을 합성하여 최종의 3D 영상을 형성할 수 있다.

구체적으로, 상기 3D 영상 합성부(140)은, 3D 영상 생성부(130)에 의하여 생성된 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 가장 깊은 층부터(즉, 뒤에서 앞으로 덮은) 순서대로 상기 복수의 제2 3D 영상들을 합성하여 최종의 3D 영상을 형성할 수 있다. 다시 말하면, 제2 3D 영상들을 합성할 때, 깊이가 가장 큰 깊이 층의 3D 영상에서부터 합성하고, 최종 합성된 3D 영상에 포함된 각 위치의 영상은, 상기 최종의 3D 영상을 합성하기 위해 사용된 복수의 제2 3D 영상들 중에서의 최소 깊이를 구비하는 제2 3D 영상의 해당 위치에 따라 결정될 수 있다.

도 5는 기존의 3D 영상을 일실시예에 따른 3D 영상 디스플레이 장치(100)에 의하여 생성된 3D 영상과 비교하는 예시를 도시한 것이다. 도 5(a)은 기존 기술의 규칙 픽셀을 사용하여 깊이를 구비하는 3D 영상을 나타나는 화면을 도시한 것이고, 도 5(b)는 일실시예에 따른 3D 영상 디스플레이 장치(100)을 사용하여 같은 3D 영상을 나타나는 화면을 도시한 것이다. 도 5에 도시된 바와 같이, 기존의 규칙 픽셀을 사용하여 3D 영상을 나타나는 결과와 비교하면 일실시예에 따른 3D 영상 디스플레이 장치(100)을 사용하여 생성된 3D 영상은 더욱 높은 해상도를 구비하고, 디스플레이 DOF가 향상되었다.

도 6은 일실시예에 따라 불규칙 픽셀을 사용하여 3D 영상을 디스플레이 함으로써 크로스토크 감소하는 원리를 도시한 것이다. 도 6의 좌측은 규칙 픽셀을 사용하여 3D 영상을 나타나는 화면이다. 기존의 규칙 픽셀을 사용하여 3D 영상을 나타나는 디스플레이 장치는, 하드웨어의 설계가 제한됨으로, 시청자의 눈으로 인접된 2개의 픽셀 광도를 관찰하게 되고 상기 2개의 픽셀은 각각 서로 다른 시각의 영상을 나타날 수 있기 때문에 크로스토크 현상이 일어난다. 반면에 도 6의 우측은 일실시예에 따른 불규칙 픽셀을 사용하여 3D 영상을 나타나는 예시이다. 도 6의 우측에 사용된 불규칙 픽셀의 사이즈가 규칙 픽셀보다 크기 때문에, 도6의 좌측 화면과 같은 위치에서 시청자의 눈으로 하나의 픽셀 광도만 관찰하게 됨으로 크로스토크 현상이 일어나지 않는다. 따라서 3D 영상 디스플레이 과정에서 발생된 크로스토크 현상을 감소할 수 있다.

도 7은 본 발명의 실시예에 따른 3D 영상 디스플레이 방법을 도시한 흐름도이다. 도 7에 도시된 바와 같이, 복수의 깊이 층으로 분할하는 단계(710)에서는 일실시예에 따른 3D 영상 디스플레이 장치(100)에 포함된 깊이 층 분할부(110)에 의하여, 표시하고자 하는 제1 3D 영상을 복수의 깊이 층으로 분할한다. 일실시예에서, 깊이 층으로 분할하는 단계는 깊이 필링 알고리즘을 사용하여 3D 영상을 복수의 깊이 층으로 분할할 수 있다. 구체적으로, 제1 3D 영상에 포함된 각 픽셀을 조각(fragment)으로 전환하고, 즉, 수평 방향의 좌표 값x 및 수직 방향의 좌표 값y를 구비하는 픽셀을 수평 방향의 좌표 값x, 수직 방향의 좌표 값y 및 깊이 방향의 좌표 값z(즉, 상기 픽셀의 깊이 값)을 구비하는 픽셀(즉, 조각)으로 전환할 수 있다. 이어서 각 조각의 깊이 값에 기초하여 조각을 깊이 방향으로 배열하고 깊이 배열의 결과 및 미리 설정된 깊이 층의 개수에 따라 복수의 깊이 층을 생성 및 출력한다.

이어서 불규칙 픽셀을 확정하는 단계(730)에서는, 일실시예에 따른 3D 영상 디스플레이 장치(100)에 포함된 픽셀 확정부(120)가 깊이 층 분할부(110)에 의하여 분할된 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다. 상기 불규칙 픽셀은 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록(pixel block)인 것이고 규칙 픽셀과 다른 형상 및 크기를 구비할 수 있다. 불규칙 픽셀을 확정하는 단계는, 미리 설정된 복수의 불규칙 픽셀들 중에서 각 깊이 층을 위해 적어도 하나의 불규칙 픽셀을 선택할 수 있다.

예시로, 일실시예에서 3D 영상 디스플레이 장치(100)의 광선 방향 변조소자 즉, 마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면을 설정할 수 있다. 불규칙 픽셀을 확정하는 단계는, 각 깊이 층이 소속된 깊이 평면에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다. 깊이 평면에 대한 설정 및 깊이 층이 소속된 깊이 평면에 따라 불규칙 픽셀을 확정하는 방법은 상술한 도 2와 같고, 여기서 중복되는 상세한 설명은 생략한다.

불규칙 픽셀을 확정하는 단계(730)는 제1 3D 영상의 주파수 특징(주파수의 방향 및 크기)에 따라 각 깊이 층의 불규칙 픽셀을 확정할 수 있다. 구체적으로, 불규칙 픽셀을 확정하는 단계(730)는 상기 제1 3D 영상으로부터 윤곽 세부(detail)특징을 추출하고 상기 윤곽 세부특징의 주파수 방향 및 주파수 크기를 확정하는 단계를 더 포함할 수 있다. 이때 불규칙 픽셀을 확정하는 단계(730)는, 깊이 층들에 각각 대응하는 윤곽 세부특징의 방향, 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정할 수 있다.

깊이 층들에 각각 대응하는 불규칙 픽셀을 확정한 후, 제2 3D 영상들을 생성하는 단계(750)에서는, 3D 영상 디스플레이 장치(100)에 포함된 3D 영상 생성부(130)가 불규칙 픽셀을 확정하는 단계(730)에서 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 깊이 층들에 각각 대응하는 제2 3D 영상을 생성할 수 있다.

구체적으로, 3D 영상 디스플레이 장치(100)의 다시점 영상 정보에 기초하여 불규칙 픽셀을 확정하는 단계(730)에서 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하여 상기 깊이 층들에 각각 대응하는 3D 영상들을 생성할 수 있다. 일실시예에서 상기 다시점 영상 정보는, 시점의 위치 정보 및 시선의 시야각(field angle) 정보 중 적어도 하나를 포함한다.

마지막으로, 최종 3D 영상을 형성하는 단계(770)에서는 상기 3D 영상 디스플레이 장치(100)에 포함된 3D 영상 합성부(140)가 생성된 제2 3D 영상들을 합성하여 최종의 3D 영상을 형성할 수 있다. 구체적으로, 제2 3D 영상들을 생성하는 단계(750)에 생성된 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 깊은 층부터 뒤에서 앞으로 덮은 순서대로 상기 복수의 제2 3D 영상들을 합성하여 최종의 3D 영상을 형성할 수 있다.

도 8은 본 발명의 실시예에 따른 3D 영상 디스플레이 장치에서 서로 다른 불규칙 픽셀을 이용하여 디스플레이 테스트를 통해 획득된 MTF값을 도시한 그래프이다. 도8에 도시된 바와 같이, 부호"

"로 나타난 그래프는 규칙 픽셀을 사용하여 디스플레이를 통해 획득된 MTF값인 것이고, 기타 부호로 나타난 그래프는 불규칙 픽셀을 사용하여 디스플레이를 통해 획득된 MTF값 인 것이다.

도 8에 도시된 바와 같이, 서로 다른 형상의 불규칙 픽셀을 이용한 것은 서로 다른 MTF값을 나타난다. 그러나 대부분 불규칙 픽셀은 CDP(즉, 도8에서 최고 MTF값의 깊이에 대응하는 깊이 평면)을 제외한 일부의 깊이 평면에 대한 해상도를 향상시킨 것을 알 수 있다.

도 9는 규칙 픽셀을 사용하여 디스플레이 테스트를 통해 획득된 MTF값을 불규칙 픽셀을 사용하여 디스플레이 테스트를 통해 획득된 MTF값과 비교하는 분석 결과를 도시한 것이다. 도 9에서 테스트 주파수는 0.097주기/ mm 이다. 도9에 도시된 바와 같이, CDP에 멀어질수록(깊이는 10mm), 일실시예에 따른 불규칙 픽셀을 사용하면 해상도가 더욱 향상되는 것을 확인할 수 있다.

따라서 일실시예에 따른3D 영상 디스플레이 장치 및 방법은 크로스토크 오류를 해결할 수 있고 3D 디스플레이의 해상도를 향상 시키며 표시될 3D 영상의 DOF를 증가하여 3D 영상의 처리를 가속화할 수 있다. 아울러 3D 영상 디스플레이 장치의 제조 원가를 낮출 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 3D 디스플레이 장치
110: 깊이 층 분할부
120: 픽셀 확정부
130: 3D 영상 생성부
140: 3D 영상 합성부

Claims

제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하는 깊이 층 분할부;
상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 픽셀 확정부;
상기 설정된 불규칙 픽셀을 사용하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상을 생성하는 3D 영상 생성부; 및
상기 제2 3D 영상들을 합성하는 3D 영상 합성부
를 포함하는 3D 영상 디스플레이 장치.
제1항에 있어서,
상기 깊이 층 분할부는,
깊이 필링(depth peeling) 알고리즘을 이용하여 상기 제1 3D 영상을 복수의 깊이 층으로 분할하는 3D 영상 디스플레이 장치.
제1항에 있어서,
상기 픽셀 확정부는,
마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면을 설정하고, 상기 깊이 층들이 각각 소속된 깊이 평면에 따라 상기 깊이 층들에 대응하는 불규칙 픽셀을 확정하는 3D 영상 디스플레이 장치.
제3항에 있어서,
상기 제1 3D 영상으로부터 윤곽 세부(detail)특징을 추출하고 상기 윤곽 세부특징의 주파수 방향 및 주파수 크기를 분석하는 윤곽 세부특징 추출부
를 더 포함하고,
상기 픽셀 확정부는,
상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 방향, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 상기 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 3D 영상 디스플레이 장치.
제1항에 있어서,
상기 3D 영상 생성부는,
다시점(multi-view) 영상 정보에 기초하여, 상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀을 재배열하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하는 3D 영상 디스플레이 장치.
제5항에 있어서,
상기 다시점 영상 정보는,
시점의 위치 정보 및 시선의 시야각(field angle) 정보 중 적어도 하나를 포함하는 3D 영상 디스플레이 장치.
제1항에 있어서,
상기 3D 영상 합성부는,
상기 3D 영상 생성부에 의하여 생성된 상기 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 가장 깊은 층부터 순서대로 상기 복수의 제2 3D 영상들을 합성하는 3D 영상 디스플레이 장치.
제1항에 있어서,
상기 픽셀 확정부는,
미리 설정된 복수의 불규칙 픽셀들 중에서 각 깊이 층을 위해 적어도 하나의 불규칙 픽셀을 선택하는 3D 영상 디스플레이 장치.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 불규칙 픽셀은, 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록(pixel block)인 3D 영상 디스플레이 장치.
제9항에 있어서
상기 불규칙 픽셀은, 상기 규칙 픽셀과 다른 형상 및 크기를 구비하는 3D 영상 디스플레이 장치.
제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하는 단계;
상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 단계;
상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 사용하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하는 단계; 및
상기 생성된 제2 3D 영상들을 합성하는 단계
를 포함하는 3D 영상 디스플레이 방법.
제11항에 있어서,
상기 깊이 층으로 분할하는 단계는,
깊이 필링(depth peeling) 알고리즘을 이용하여 상기 제1 3D 영상을 복수의 깊이 층으로 분할하는 3D 영상 디스플레이 방법.
제11항에 있어서,
상기 불규칙 픽셀을 확정하는 단계는,
마이크로 렌즈 어레이의 광학적 특징에 기초하여 복수의 깊이 평면을 설정하고, 상기 깊이 층들이 각각 소속된 깊이 평면에 따라 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 3D 영상 디스플레이 방법.
제13항에 있어서,
상기 제1 3D 영상으로부터 윤곽 세부(detail)특징을 추출하고 상기 윤곽 세부특징의 주파수 방향 및 주파수 크기를 확정하는 단계를 더 포함하고,
상기 불규칙 픽셀을 확정하는 단계는,
상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 방향, 상기 깊이 층들에 각각 대응하는 윤곽 세부특징의 주파수 크기, 및 상기 깊이 층들이 각각 소속된 깊이 평면 중 적어도 하나에 기초하여 상기 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하는 3D 영상 디스플레이 방법.
제11항에 있어서,
상기 제2 3D 영상들을 생성하는 단계는,
다시점(multi-view) 영상 정보에 기초하여, 상기 확정된 깊이 층들에 각각 대응하는 불규칙 픽셀을 이용하여 복수의 다시점 영상들을 렌더링하고, 상기 렌더링된 복수의 다시점 영상들에 대해 픽셀 재배열하여 상기 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하는 3D 영상 디스플레이 방법.
제15항에 있어서,
상기 다시점 영상 정보는,
시점의 위치 정보 및 시선의 시야각(field angle) 정보 중 적어도 하나를 포함하는 3D 영상 디스플레이 방법.
제11항에 있어서,
상기 제2 3D 영상들을 합성하는 단계는,
상기 제2 3D 영상들을 생성하는 단계에서 생성된 상기 복수의 깊이 층들에 각각 대응하는 복수의 제2 3D 영상들 중 서로 다른 부분에 대하여 깊이 방향에서의 전후 위치 관계를 확정하고, 상기 확정된 전후 위치 관계에 따라 깊이가 깊은 층부터 순서대로 상기 복수의 제2 3D 영상들을 합성하여 최종 3D 영상을 형성하는 3D 영상 디스플레이 방법.
제11항에 있어서,
상기 불규칙 픽셀을 확정하는 단계는,
미리 설정된 복수의 불규칙 픽셀들 중에서 각 깊이 층을 위해 적어도 하나의 불규칙 픽셀을 선택하는 3D 영상 디스플레이 방법.
제11항 내지 제18항 중 어느 한 항에 있어서,
상기 불규칙 픽셀은, 복수의 인접된 규칙 픽셀 또는 서브 픽셀로 구성된 픽셀 블록(pixel block)인 3D 영상 디스플레이 방법.
제19항에 있어서
상기 불규칙 픽셀은, 상기 규칙 픽셀과 다른 형상 및 크기를 구비하는 3D 영상 디스플레이 방법.