KR102476852B1

KR102476852B1 - 영상 생성 방법 및 영상 생성 장치

Info

Publication number: KR102476852B1
Application number: KR1020160004117A
Authority: KR
Inventors: 장현성; 정영주; 황효석
Original assignee: 삼성전자주식회사
Priority date: 2015-09-07
Filing date: 2016-01-13
Publication date: 2022-12-09
Also published as: KR20170029364A

Abstract

영상 생성 방법 및 영상 생성 장치가 개시된다. 일 실시예에 따른 영상 생성 방법은 패널 영상의 시역과 관련된 제1 함수 및 패널 영상의 확산과 관련된 제2 함수에 기초하여 패널 영상의 3차원 영상을 모델링하는 단계들을 포함한다. 3차원 영상은 패널 영상의 원시 영상과 3차원 영상 사이의 차이에 관한 비용 함수에 기초하여 모델링될 수 있다.

Description

영상 생성 방법 및 영상 생성 장치{METHOD FOR GENERATING IMAGE AND APPARATUS THEREOF}

아래 실시예들은 영상 생성 방법 및 영상 생성 장치에 관한 것이다.

사용자가 입체 영상을 인지하기 위해서는 사용자의 양 눈에 보여지는 영상이 달라야 한다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 통하여 원하는 영상을 필터링하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional Back Light Unit) 등 3차원 변환 장치를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다.

일 측에 따른 영상 생성 방법은, 패널 영상의 시역(visual field)과 관련된 제1 함수를 결정하는 단계; 상기 패널 영상의 확산과 관련된 제2 함수를 결정하는 단계; 및 상기 제1 함수 및 상기 제2 함수에 기초하여 상기 패널 영상의 3차원 영상을 모델링하는 단계를 포함한다.

상기 3차원 영상을 모델링하는 단계는, 상기 패널 영상의 원시 영상과 상기 3차원 영상 사이의 차이에 관한 비용 함수에 기초하여 상기 패널 영상을 조절하는 단계를 포함할 수 있다. 상기 3차원 영상을 모델링하는 단계는, 상기 제1 함수 및 상기 제2 함수에 기초하여 합성 커널(convolution kernel)을 결정하는 단계; 상기 패널 영상과 상기 합성 커널에 기초하여 상기 3차원 영상을 예측하는 단계; 및 상기 3차원 영상과 상기 패널 영상의 원시 영상 사이의 차이가 최소화되도록, 상기 패널 영상을 조절하는 단계를 포함할 수 있다. 상기 패널 영상의 초기 값은 상기 원시 영상에 단편 뷰 트릭(fractional view trick) 기법을 적용함으로써 결정될 수 있다.

상기 제1 함수는 뷰 프로파일 함수(view profile function)를 포함할 수 있고, 상기 제2 함수는 점 확산 함수(point spread function)를 포함할 수 있다.

일 측에 따른 영상 생성 방법은, 패널 영상의 원시 영상과 상기 패널 영상의 3차원 영상 사이의 차이에 관한 제1 비용 함수를 획득하는 단계; 및 상기 제1 비용 함수에 기초하여 상기 패널 영상을 조절하는 단계를 포함한다.

상기 패널 영상을 조절하는 단계는, 상기 제1 비용 함수가 최소가 되도록 상기 패널 영상에 포함된 픽셀 값들을 조절하는 단계를 포함할 수 있다. 상기 제1 비용 함수는 상기 원시 영상과 상기 3차원 영상의 최소 자승 오차를 포함할 수 있다. 상기 제1 비용 함수는 상기 3차원 영상에 발생되는 아티팩트(artifact)와 관련된 제2 비용 함수를 포함할 수 있다. 상기 제2 비용 함수는 상기 3차원 영상에 포함된 픽셀 값들의 변량에 기초하여 결정될 수 있다.

상기 원시 영상은 시청 위치에 따른 복수의 시역들(visual fields)에 관한 영상들을 포함할 수 있다. 상기 영상 생성 방법은, 상기 원시 영상을 시역(visual field) 별로 샘플링함으로써 상기 패널 영상의 초기 값을 결정하는 단계를 더 포함할 수 있다. 상기 원시 영상과 상기 3차원 영상은 라이트 필드(light field) 영상일 수 있다.

상기 영상 생성 방법은, 상기 패널 영상의 시역(visual field)과 관련된 제1 함수 및 상기 패널 영상의 확산과 관련된 제2 함수에 기초하여 상기 3차원 영상을 예측하는 단계를 더 포함할 수 있다. 상기 3차원 영상을 예측하는 단계는, 상기 패널 영상, 상기 제1 함수 및 상기 제2 함수 사이의 연산을 통해 상기 3차원 영상을 예측하는 단계를 포함할 수 있다.

일 측에 따른 영상 생성 방법은, 원시 영상을 수신하는 단계; 상기 원시 영상에 기초하여 패널 영상을 결정하는 단계; 및 3차원 디스플레이 장치에 대응하는 합성 커널에 기초하여 상기 패널 영상으로부터 예측된 3차원 영상과 상기 원시 영상에 기초하여, 상기 패널 영상을 반복적으로(iteratively) 조절하는 단계를 포함할 수 있다.

상기 원시 영상은 복수의 시역들에 관한 3차원 영상일 수 있다. 상기 합성 커널은, 상기 패널 영상의 시역(visual field)과 관련된 제1 함수 및 상기 패널 영상의 확산과 관련된 제2 함수에 기초하여 결정될 수 있다.

상기 패널 영상을 반복적으로 조절하는 단계는, 상기 합성 커널에 기초하여, 상기 3차원 영상을 예측하는 단계; 및 상기 원시 영상과 상기 3차원 영상의 차이가 감소되도록, 상기 패널 영상을 조절하는 단계를 포함할 수 있다.

상기 원시 영상에 기초하여 패널 영상을 결정하는 단계는 상기 원시 영상에 단편 뷰 트릭(fractional view trick) 기법을 적용함으로써, 상기 패널 영상의 초기 값을 결정하는 단계를 포함할 수 있다.

상기 패널 영상을 반복적으로 조절하는 단계는, 상기 원시 영상과 상기 3차원 영상의 차이에 관한 비용 함수가 최소화되도록, 상기 패널 영상을 조절하는 단계를 포함할 수 있다. 상기 비용 함수는, 상기 원시 영상과 상기 3차원 영상의 최소 자승 오차에 관한 제1 원소; 및 상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소 중 적어도 하나를 포함할 수 있다.

상기 영상 생성 방법은, 사용자의 시청 거리를 추정하는 단계; 및 상기 시청 거리에 기초하여 상기 합성 커널을 결정하는 단계를 더 포함할 수 있다.

일 측에 따른 영상 생성 장치는, 패널 영상을 저장하는 메모리; 및 상기 패널 영상의 원시 영상과 상기 패널 영상의 3차원 영상 사이의 차이에 관한 제1 비용 함수를 결정하고, 상기 비용 함수에 기초하여 상기 패널 영상을 조절하는 프로세서를 포함한다.

상기 프로세서는, 상기 비용 함수가 최소가 되도록 상기 패널 영상에 포함된 픽셀 값들을 조절할 수 있다. 상기 비용 함수는, 상기 원시 영상과 상기 3차원 영상의 최소 자승 오차와 관련된 제1 원소; 및 상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소 중 적어도 하나를 포함할 수 있다. 상기 제2 원소는, 상기 3차원 영상에 포함된 픽셀 값들의 변량에 기초하여 결정될 수 있다.

상기 원시 영상은, 시청 위치에 따른 복수의 시역들(visual fields)에 관한 영상들을 포함할 수 있다. 상기 프로세서는, 상기 원시 영상을 시역(visual field) 별로 샘플링함으로써 상기 패널 영상의 초기 값을 결정할 수 있다.

상기 프로세서는, 상기 패널 영상의 시역(visual field)과 관련된 제1 함수 및 상기 패널 영상의 확산과 관련된 제2 함수에 기초하여 상기 3차원 영상을 예측할 수 있다. 상기 프로세서는, 상기 패널 영상, 상기 제1 함수 및 상기 제2 함수 사이의 연산을 통해 상기 3차원 영상을 예측할 수 있다. 상기 제1 함수는 뷰 프로파일 함수(view profile function)를 포함하고, 상기 제2 함수는 점 확산 함수(point spread function)를 포함할 수 있다.

일 측에 따른 영상 생성 장치는, 원시 영상을 수신하는 통신 모듈; 및 상기 원시 영상에 기초하여 패널 영상을 결정하고, 3차원 디스플레이 장치에 대응하는 합성 커널에 기초하여 상기 패널 영상으로부터 예측된 3차원 영상과 상기 원시 영상에 기초하여 상기 패널 영상을 반복적으로(iteratively) 조절하는 프로세서를 포함한다.

상기 합성 커널은, 상기 패널 영상의 시역(visual field)과 관련된 제1 함수 및 상기 패널 영상의 확산과 관련된 제2 함수에 기초하여 결정될 수 있다. 상기 프로세서는, 상기 합성 커널에 기초하여, 상기 3차원 영상을 예측하고, 상기 원시 영상과 상기 3차원 영상의 차이가 감소되도록, 상기 패널 영상을 조절할 수 있다. 상기 프로세서는, 상기 원시 영상과 상기 3차원 영상의 차이에 관한 비용 함수가 최소화되도록, 상기 패널 영상을 조절할 수 있다. 상기 비용 함수는, 상기 원시 영상과 상기 3차원 영상의 최소 자승 오차에 관한 제1 원소; 및 상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소 중 적어도 하나를 포함할 수 있다.

상기 프로세서는, 사용자의 시청 거리를 추정하고, 상기 시청 거리에 기초하여 상기 합성 커널을 결정할 수 있다.

실시예들은 무안경 방식으로 입체 영상을 재생하므로, 안경 방식에 비하여 안경 착용의 불편을 감소시킬 수 있다. 실시예들에 따르면, 디스플레이 패널에 출력되는 패널 영상에는 복수의 시점이 할당된다. 실시예들은 일반적인 무안경식 방식의 입체 영상 재생 기법들에 비하여, 패널 영상의 시점 별 분할에 따른 개별 시점의 해상도 열화, 시점 별 픽셀 사이 공간에 발생되는 블랙 매트릭스(black matrix) 현상, 시점간 크로스 톡(cross-talk)으로 인한 3차원 영상의 품질 열화, 3차원 영상이 갖는 시점 수의 제한 등을 억제, 완화하거나 방지하는 기술을 제공할 수 있다.

도 1은 일 실시예에 따른 영상 생성 장치 및 3차원 디스플레이 장치를 나타내는 블록도.
도 2a 및 2b는 일 실시예에 따른 3차원 영상의 변환 과정을 설명하기 위한 도면.
도 3a 내지 도 3c는 일 실시예에 따른 시점의 할당을 설명하기 위한 도면.
도 4는 일 실시예에 따른 3차원 영상의 예측 과정을 설명하기 위한 도면.
도 5a 내지 도 5d는 일 실시예에 따른 합성 커널을 설명하기 위한 도면.
도 6은 일 실시예에 따른 비용 함수의 최소화 과정을 설명하기 위한 도면.
도 7은 일 실시예에 따른 오프라인 상에서 결정된 비용 함수를 통한 3차원 영상의 렌더링 과정을 나타낸 플로우 차트.
도 8은 일 실시예에 따른 영상 생성 장치를 나타낸 블록도.
도 9는 일 실시예에 따른 시청 거리를 고려하여 3차원 영상의 렌더링 과정을 나타낸 플로우 차트.
도 10은 일 실시예에 따른 시청 거리에 의한 시역의 변화를 설명하기 위한 도면.
도 11은 일 실시예에 따른 빛의 확산을 설명하기 위한 도면.
도 12는 일 실시예에 따른 3차원 영상의 모델링 방법을 나타내는 플로우 차트.
도 13은 일 실시예에 따른 패널 영상의 조절 과정을 나타내는 플로우 차트.
도 14는 실시예에 따른 패널 영상의 조절 과정을 나타내는 플로우 차트.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 3차원 영상의 모델링에 적용될 수 있다. 예를 들어, 하기에서 설명될 실시예들은 3차원 영상의 품질 향상에 이용될 수 있다.

도 1은 일 실시예에 따른 영상 생성 장치 및 3차원 디스플레이 장치를 나타내는 블록도이다. 도 1을 참조하면, 영상 생성 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 3차원 디스플레이 장치(200)는 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)를 포함한다. 영상 생성 장치(100)는 3차원 디스플레이 장치(200)로 패널 영상을 전송할 수 있다. 3차원 디스플레이 장치(200)는 패널 영상에 기초하여 3차원 영상을 출력할 수 있다. 패널 영상은 디스플레이 패널(210)에 출력되는 평면 영상을 의미한다. 또한, 3차원 영상은 패널 영상이 3차원 영상 변환 장치(220)를 통해 변환된 입체 영상을 의미한다. 디스플레이 패널(210)을 위한 패널 영상을 생성하는 동작은 렌더링 동작이라고 지칭될 수 있으며, 이러한 측면에서 영상 생성 장치(100)는 렌더링 장치라고 지칭될 수 있다.

도 1에서 영상 생성 장치(100)는 3차원 디스플레이 장치(200)와 독립적으로 구성되는 것으로 도시되었으나, 실시예에 따라 영상 생성 장치(100)는 3차원 디스플레이 장치(200)에 포함되도록 구성될 수 있다. 예를 들어, 3차원 디스플레이 장치(200)는 프로세서와 메모리를 포함할 수 있고, 이 경우 3차원 디스플레이 장치(200)에 포함된 프로세서와 메모리는 영상 생성 장치로 이해될 수 있다.

프로세서(120)는 3차원 영상의 품질을 향상시키기 위해 패널 영상을 조절할 수 있다. 프로세서(120)는 단일 프로세서, 멀티 프로세서, 하드웨어 가속기(hardware accelerator, HWA), 또는 이들의 조합 등으로 다양하게 구성될 수 있다. 아래에서 상세히 설명되겠으나, 프로세서(120)는 합성 커널(convolution kernel)에 기초하여 사용자에 의해 시청되는 3차원 영상을 예측할 수 있다. 또한, 프로세서(120)는 패널 영상의 원시 영상과 예측된 3차원 영상의 차이가 감소되도록 패널 영상을 조절할 수 있다. 보다 구체적인 동작은 후술하도록 한다.

메모리(110)는 패널 영상, 패널 영상의 원시 영상 및 예측된 3차원 영상을 저장할 수 있다. 프로세서(120)는 메모리(110)로부터 패널 영상, 패널 영상의 원시 영상 및 예측된 3차원 영상을 획득(obtain)할 수 있다. 메모리(110)는 프로세서(120)의 동작을 위한 각종 함수, 수학식 및 연산 결과 등과 같은 데이터를 저장하고, 프로세서(120)는 메모리(110)에 저장된 데이터를 이용할 수 있다.

3차원 영상 변환 장치(220)는 패널 영상을 3차원 영상으로 변환한다. 3차원 영상 변환 장치(220)는 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등을 포함할 수 있다. 3차원 영상 변환 장치(220)는 디스플레이 패널(210)을 통하여 출력되는 빛이 전파되는 방향을 제어할 수 있다. 예컨대, 3차원 영상 변환 장치(220)는 패널 영상을 복수의 시역들(visual fields)로 출력할 수 있다. 3차원 영상 변환 장치(220)를 통하여 복수의 시점들(views) 또는 라이트 필드(light field)가 생성될 수 있다. 3차원 영상의 변환 과정에 대해서는 도 2a 및 도 2b를 참조하여 설명한다.

도 2a 및 2b는 일 실시예에 따른 3차원 영상의 변환 과정을 설명하기 위한 도면이다. 도 2a를 참조하면, 3차원 영상 변환 장치(220)는 디스플레이 패널(210)에 출력된 패널 영상을 3차원 영상(30)으로 변환한다. 3차원 영상(30)은 복수의 시점들에 대응하는 영상들을 포함할 수 있다. 예컨대, 제1 영상(31)은 제1 시점에 대응하는 영상이고, 제2 영상(32)는 제2 시점에 대응하는 영상이다. 각각의 시점에 대응하는 영상이 시청될 수 있는 영역은 시역으로 지칭될 수 있다. 예컨대, 제1 시점에 대응하는 영상이 시청될 수 있는 영역은 제1 시역으로 지칭될 수 있고, 제2 시점에 대응하는 영상이 시청될 수 있는 영역은 제2 시역으로 지칭될 수 있다.

다 시점 디스플레이 방식에 의하면, 사용자의 양 눈으로 서로 다른 시점의 영상이 조사됨으로써 사용자는 입체감을 느낄 수 있다. 예컨대, 사용자는 왼쪽 눈으로 제1 영상(31)을 시청하고, 오른쪽 눈으로 제2 영상(32)을 시청함으로써 3차원 영상(30)으로부터 입체감을 느낄 수 있다. 여기서, 입체감은 양안 시차(binocular parallax)에 따른 입체감을 포함할 수 있다. 3차원 영상(30)의 생성을 위해, 디스플레이 패널(210)에 출력되는 패널 영상에 포함된 픽셀들의 값들은 복수의 시점들의 영상들에 기초하여 결정될 수 있다.

도 2b를 참조하면, 3차원 영상 변환 장치(220)는 디스플레이 패널(210)의 각 픽셀들을 통하여 출력된 광선이 3차원 공간 상에 균일하게 퍼지도록 조사한다. 이와 같이, 패널 영상에 의한 모든 광선이 균일하게 퍼지도록 설계된 방식은 라이트 필드 디스플레이 방식이라 지칭될 수 있다. 3차원 영상 변환 장치(220)에 포함된 패럴렉스 배리어 또는 렌티큘러 렌즈는 디스플레이 패널(210)에 포함된 픽셀 어레이와 비스듬히 교차하도록 설계될 수 있다.

전술한 바와 같이 패널 영상에는 복수의 시점이 할당된다. 시점의 할당 방식은 3차원 영상의 품질과 밀접한 관련이 있을 수 있다. 예컨대, 패널 영상에 포함된 시점의 수 및 패널 영상에 대한 시점의 할당 패턴은 3차원 영상의 품질에 영향을 미칠 수 있다. 시점의 할당에 관해서는 도 3a 내지 도 3c를 참조하여 설명한다.

도 3a 내지 도 3c는 일 실시예에 따른 시점의 할당을 설명하기 위한 도면이다. 도 3a 내지 도 3c를 참조하면, 패널 영상의 일부가 도시되어 있다. 패널 영상에 포함된 픽셀들은 복수의 시점들에 할당될 수 있다. 예컨대, 도 3a 및 도 3b에서 픽셀들은 제1 시점 내지 제9 시점에 할당되어 있다. 또한, 도 3c에서 픽셀들은 제1 시점 내지 제32 시점에 할당되어 있다. 할당된 시점이 증가할수록 양안 시차에 의한 3차원 공간감이 커질 수 있다.

3차원 영상 변환 장치는 패널 영상을 복수의 시역들로 출력할 수 있다. 예컨대, 3차원 영상 변환 장치는 패널 영상을 패럴렉스 배리어, 렌티큘러 렌즈, 또는 방향성 백라이트 유닛을 통해 복수의 시역들로 출력할 수 있다. 도 3a 내지 도 3c에서 영역(251, 252, 253)은 제1 시점에 대응되는 픽셀들을 포함한다. 3차원 영상 변환 장치는 영역(251, 252, 253)의 픽셀들을 제1 시역으로 출력할 수 있다. 이와 같이, 영상 변환 장치는 각각의 시점의 픽셀들을 대응되는 시역으로 출력할 수 있다.

패널 영상들에 포함된 픽셀들에는 다양한 패턴으로 시점이 할당될 수 있다. 또한, 해당 픽셀들은 다양한 패턴에 따라 해당 시역으로 출력될 수 있다. 예컨대, 도 3b 및 도 3c를 참조하면, 시점들은 대각 방향으로 슬릿이 배치되도록 설계된 패럴렉스 배리어 또는 대각 방향으로 렌즈의 중심선이 배치되도록 설계된 렌티큘러 렌즈에 맞게 할당될 수 있다. 이 경우, 해상도 저하가 모두 가로 방향에서 발생하는 것이 방지되고, 각 시역 간에 블랙 매트릭스(black matrix)가 보이는 것을 감소될 수 있다. 또한, 시역에 따른 휘도 불균일성이 감소할 수 있다. 또한, 특정 시역의 픽셀뿐만 아니라 주변 시역 픽셀이 함께 관측되어 해상도를 증가시키는 효과가 나타날 수 있다.

앞서 설명된 것처럼, 패널 영상에 할당된 시점이 증가할수록 3차원 영상의 입체감은 향상될 수 있다. 다만, 패널 영상에 할당된 시점이 증가할수록 각각의 시점에 대응하는 영상들의 해상도는 감소하므로, 3차원 영상의 해상도는 감소될 수 있다. 이와 같은 해상도의 열화 현상은 패널 영상이 더 많은 시점들로 분화될수록 심화될 수 있다. 이 때, 패널 영상을 적절하게 조절함으로써 3차원 영상의 열화 현상을 억제할 수 있다. 이를 위해, 실시예들은 패널 영상에 기초하여 사용자에 의해 시청되는 3차원 영상을 예측하고, 패널 영상의 원시 영상과 3차원 영상의 차이가 감소되도록 패널 영상을 조절할 수 있다. 3차원 영상의 예측 과정에 관해서는 도 4를 참조하여 설명한다.

도 4는 일 실시예에 따른 3차원 영상의 예측 과정을 설명하기 위한 도면이다. 도 4를 참조하면, 원시 영상과 3차원 영상은 라이트 필드(light field) 영상일 수 있다. 라이트 필드 영상은 복수의 시점에 대응되는 영상들을 포함하는 영상을 의미한다. 예컨대, 라이트 필드 영상은 미리 정해진 수의 시점들에 대응하는 영상들을 포함할 수 있다. 도 4에 도시된 좌표 축에서 k-축은 시점을 나타낸다. 또한, x-축과 y-축은 픽셀의 좌표를 나타낸다. 예컨대, k=1인 xy-평면에 포함된 영상은 제1 시점에 대응하는 영상을 나타내고, k=2인 xy-평면에 포함된 영상은 제2 시점에 대응하는 영상을 나타낸다. 따라서, 라이트 필드 영상인 원시 영상은 복수의 시점에 대응되는 2차원 영상들을 포함할 수 있다. 예컨대, 원시 영상은 제1 시점에 대응되는 제1 원시 영상 내지 제k 시점에 대응되는 제k 원시 영상을 포함할 수 있다. 라이트 필드를 통해 3차원 영상을 생성 및 보정하는데 편의성 및 정확성이 향상될 수 있다.

3차원 영상은 패널 영상에 기초하여 예측될 수 있다. 예컨대, 3차원 영상은 패널 영상과 합성 커널 사이의 연산에 기초하여 예측될 수 있다. 합성 커널은 패널 영상의 시역과 관련된 제1 함수 및 패널 영상의 확산과 관련된 제2 함수를 포함할 수 있다. 일 측에 따르면, 제1 함수는 뷰 프로파일 함수(view profile function)를 포함할 수 있고, 제2 함수는 점 확산 함수(point spread function)를 포함할 수 있다. 패널 영상과 합성 커널 사이의 연산은 합성(convolution) 연산일 수 있다. 제1 함수 및 제2 함수를 이용한 합성 커널에 대해서는 도 5a 내지 도 5d를 참조하여 설명한다.

패널 영상에 기초하여 예측된 3차원 영상은 원시 영상과 비교되고, 그 차이가 최소화되는 방향으로 패널 영상이 조절됨으로써 최적의 패널 영상이 결정될 수 있다. 다시 말해, 원시 영상과 3차원 영상이 최대한 유사해지도록, 패널 영상이 결정될 수 있다. 최적의 패널 영상을 결정하기 위하여, 3차원 영상의 예측 동작 및 패널 영상의 조절 동작이 반복적으로 수행될 수 있다. 아래에서 상세히 설명하겠으나, 3차원 영상과 원시 영상의 비교를 위하여 비용함수가 이용될 수 있다. 이 경우, 최적의 패널 영상은 비용함수가 최소화된 패널 영상일 수 있다.

3차원 영상을 예측하기 위해서는 패널 영상이 필요하므로, 최초 패널 영상이 다양한 방식으로 결정될 수 있다. 예컨대, 최초 패널 영상은 원시 영상에 기초하여 결정될 수 있다. 보다 구체적으로, 최초 패널 영상은 원시 영상의 시역 별 샘플링 값에 기초하여 결정될 수 있다. 이 경우, 최초 패널 영상은 제1 원시 영상에서 샘플링되어 제1 시점에 할당된 픽셀들 내지 제k 원시 영상에서 샘플링되어 제k 시점에 할당된 픽셀들을 포함할 수 있다. 최초 패널 영상은 초기 패널 영상, 또는 패널 영상의 초기 값 등으로 지칭될 수 있다.

도 5a 내지 도 5d는 일 실시예에 따른 합성 커널을 설명하기 위한 도면이다.

도 5a를 참조하면, 패널 영상의 시역과 관련된 제1 함수가 도시되어 있다. 제1 함수는 뷰 프로파일 함수를 포함할 수 있다. 특정 시역의 영상은 다른 인접 시역의 영상과 함께 시청될 수 있다. 뷰 프로파일 함수는 특정 시역에 위치한 시청자에 의해 관측되는 인접 시역들의 상대 밝기를 나타낸다. 예컨대, 시청자가 위치한 시역을 "k"로 가정할 경우, 뷰 프로파일 함수는 시역 "k"의 픽셀들의 밝기를 기준으로 다른 시역들의 픽셀들이 얼마만큼의 밝기 비율로 관측되는가를 나타낼 수 있다. 3차원 영상에 포함된 총 시역의 수가 N인 경우, 뷰 프로파일 함수는 시역 "(k + n) % N"에 할당된 픽셀들의 상대 밝기를 나타낼 수 있다. 여기서, %는 모듈로(modulo) 연산자이고, n은 0 이상 N 이하의 정수이다. 도 5a의 x축은 시역 k를 기준(예를 들어, 0)으로 하는 상대 시역을 나타내며, y축은 시역 k의 밝기를 기준으로 하는 상대 밝기를 나타낸다.

보다 구체적으로, 도 5b를 참조하면, 3차원 영상에 포함된 총 시역의 수가 9개인 경우에, 복수의 시역들(510) 및 제1 함수(520)가 도시되어 있다. 시역들(510)은 제1 시역 내지 제9 시역을 포함한다. 시청자는 눈의 위치에 따라 시역들(510) 중 특정 시역의 영상을 시청할 수 있다. 특정 시역의 영상은 다른 인접 시역의 영상과 함께 시청될 수 있다. 예컨대, 시청자가 제1 시역을 관측하는 경우, 제2 시역 내지 제4시역 및 제7 시역 내지 제9 시역이 함께 관측될 수 있다. 3차원 영상에 포함된 시점의 수가 증가될수록 시청자에 의해 관측되는 인접 시역의 수는 증가될 수 있다.

3차원 영상은 3차원 변환 장치를 통해 출력된 영상의 이러한 특성을 고려하여 결정될 수 있다. 일 실시예에 따르면, 뷰 프로파일 함수는 제1 함수(520)와 같이 정규분포와 유사한 형태를 나타내도록 설계될 수 있다. 예컨대, 3차원 영상에 포함된 총 시역의 수, 디스플레이 패널의 각 픽셀에 할당되는 시점 등을 조절함으로써, 뷰 프로파일 함수가 정규분포와 유사한 형태를 나타내도록 설계될 수 있다.

또한, 도 5c를 참조하면, 패널 영상의 확산과 관련된 제2 함수가 도시되어 있다. 제2 함수는 점 확산 함수를 포함할 수 있다. 도 5c에서 xy-평면은 픽셀의 상대 위치를 나타내고, z-축은 상대 밝기를 나타낸다. 도 5c에 나타난 것과 같이 특정한 점 광원(point light source)에서 출력된 빛은 주변 영역으로 퍼지게 된다. 3차원 영상은 차원 변환 장치를 통해 출력된 영상의 이러한 특성을 고려하여 결정될 수 있다.

앞서 설명된 합성 커널을 통해 패널 영상에 대응되는 3차원 영상이 예측될 수 있다. 또한, 예측된 3차원 영상에 기초하여 실제 출력되는 3차원 영상의 품질을 향상시킬 수 있다.

도 5d를 참조하면, 3차원 영상(l)은 패널 영상(p)과 합성 커널(g) 사이의 합성 연산에 의해 예측될 수 있다. 합성 커널(g)은 제1 함수(g1)와 제2 함수(g2) 사이의 합성 연산에 의해 결정될 수 있고, 패널 영상(p)는 초기 패널 영상, 또는 이전 이터레이션에서 결정된 패널 영상일 수 있다.

최적의 패널 영상(p*)은 패널 영상(p)을 적절히 조절함으로써 결정될 수 있다. 예컨대, 최적의 패널 영상(p*)은 원시 영상(l₀)과 3차원 영상(l)의 차이가 최소화되도록 패널 영상(p)를 반복적으로 조절함으로써 결정될 수 있다. 구체적으로, 초기 패널 영상(p')에 기초하여 3차원 영상(l')이 예측되고, 예측된 3차원 영상(l')과 원시 영상(l₀) 사이의 차이가 최소화되도록 초기 패널 영상(p')이 조절될 수 있다. 조절된 패널 영상(p'')에 기초하여 다시 3차원 영상(l'')이 예측되고, 해당 3차원 영상(l'')과 원시 영상(l₀) 사이의 차이가 최소화되도록 패널 영상(p'')이 재 조절될 수 있다. 전술한 동작이 반복적으로 수행됨으로써, 최적의 패널 영상(p*)이 도출될 수 있다.

원시 영상(l₀)과 3차원 영상(l)의 차이는 다양한 방법으로 결정될 수 있다. 예컨대, 실시예들은 원시 영상과 3차원 영상의 차이를 결정하는 비용 함수를 정의하고, 비용 함수를 이용하여 원시 영상(l₀)과 3차원 영상(l)의 차이가 감소되도록 패널 영상(p)을 조절할 수 있다. 비용 함수의 최소화 과정에 관해서는 도 6을 참조하여 설명한다.

도 6은 일 실시예에 따른 비용 함수의 최소화 과정을 설명하기 위한 도면이다. 도 6을 참조하면, 패널 영상에 대한 비용 함수의 예시가 도시되어 있다. 일측에 따르면, 비용 함수는 수학식 1로 정의될 수 있다.

수학식 1에서 E는 비용함수를 나타내고, l은 예측된 3차원 영상을 나타내고, l₀는 원시 영상을 나타낸다. 비용함수는 원시 영상과 3차원 영상의 최소 자승 오차를 포함할 수 있다.

최적의 패널 영상은 비용 함수를 최소화시키는 영상으로 결정될 수 있다. 예컨대, 패널 영상에 포함된 픽셀 값들은 최소 밝기와 최대 밝기 사이의 유효 범위 이내에서 비용함수를 최소화시키는 값들로 조절될 수 있다.

비용 함수의 최소화를 위해 다양한 최적화 방법이 이용될 수 있다. 예컨대, 비용 함수의 최소화를 위해 최급 강하법(steepest descent)이 이용될 수 있다. 앞서 언급된 것처럼, 예측된 3차원 영상은 패널 영상과 합성 커널의 합성 연산 결과일 수 있다. 다시 말해, l = p g일 수 있다. 이를 이용하여 수학식 1을 p에 대해 미분할 경우 수학식 2를 얻을 수 있다.

수학식 2에서 g†는 g를 x-축, y-축 및 z-축에 대하여 대칭 변환한 커널(kernel)이다. 패널 영상 p는 초기 값으로 설정될 수 있고, 최급 강화법에 따라 패널 영상 p를 초기 값에서 매회

만큼씩 뺄 수 있다. 여기서 μ는 소정의 양의 상수를 의미한다. 비용함수와 제한조건 모두 볼록(convex)인 형태이므로, 제한 조건 내에서 패널 영상 p를 클리핑(clipping)하는 과정을 반복(iterate)할 경우, 비용함수를 최소화하는 최적의 패널 영상 p*가 얻어질 수 있다.

도 6에서 p0는 패널 영상의 초기 값을 나타내고, p1은 패널 영상의 중간 값을 나타내고, p*는 패널 영상의 최종 값을 나타낸다. 일 측에 따르면, 패널 영상의 초기 값은 원시 영상의 시역 별 샘플링 값에 기초하여 결정될 수 있다. 예컨대, 패널 영상의 초기 값은 원시 영상에 단편 뷰 트릭(fractional view trick) 기법을 적용함으로써 결정될 수 있다. 앞선 설명에 따르면, p1과 p0의 관계는 수학식 3과 같이 나타낼 수 있다.

수학식 3을 반복적으로(iteratively) 적용함으로써 패널 영상의 최종 값을 얻을 수 있다. 패널 영상의 최종 값은 비용 함수를 최소화 시키는 값을 의미할 수 있다. 최급 강하법은 하나의 예시에 불과하므로, 비용 함수를 최소화하는 패널 영상을 구할 수 있는 다양한 방법이 이용될 수 있다. 시간 영역(time domain)에서 합성 연산은 주파수 영역(frequency domain)에서 곱셈 연산으로 변환되므로, 이를 이용하면 비용 함수의 최소화 과정이 더욱 효율적으로 수행될 수 있다.

다른 일측에 따르면, 비용 함수는 예측된 3차원 영상에 발생할 수 있는 아티팩트(artifact)를 고려하여 결정될 수 있다. 예컨대, 비용 함수는 수학식 4로 정의될 수 있다.

수학식 4에서 f(l)은 예측된 3차원 영상에 발생하는 물결 무늬와 같은 아티팩트에 관한 비용함수이다. f(l)은 아티팩트가 증가함에 따라 f(l)의 출력 값이 증가하도록 정의될 수 있다. λ는 정규화 계수(regularization coefficient)이며 양 비용 사이의 가중치를 조절하기 위한 것이다.

일 측에 따르면, f(l)은 예측된 3차원 영상에 포함된 픽셀 값들의 총 변량(total variation)에 기초하여 정의될 수 있다. 총 변량은 특정 영상에 포함된 픽셀 별 변화도(gradient)의 합을 의미한다. 총 변량을 고려하여 수학식 4를 p에 대해 미분할 경우 수학식 5를 얻을 수 있다.

수학식 5에서 g†는 g를 x-축, y-축 및 z-축에 대하여 대칭 변환한 커널(kernel)이다. 패널 영상 p는 초기 값으로 설정될 수 있고, 최급 강화법에 따라 패널 영상 p를 초기 값에서 매회

만큼씩 뺄 수 있다. 여기서 μ는 소정의 양의 상수를 의미한다. 비용함수와 제한조건 모두 볼록인 형태이므로, 제한 조건 내에서 패널 영상 p를 클리핑하는 과정을 반복할 경우, 비용함수를 최소화하는 최적의 패널 영상 p*가 얻어질 수 있다. 수학식 4 및 수학식 5를 통해 3차원 영상의 에지 성분 근처의 물결 무늬 등의 아티팩트가 감소될 수 있다.

도 7은 일 실시예에 따른 오프라인 상에서 결정된 비용 함수를 통한 3차원 영상의 렌더링 과정을 나타낸 플로우 차트이다. 도 7을 참조하면, 단계(411)에서, 제1 함수가 결정된다. 제1 함수는 패널 영상의 시역과 관련된 함수일 수 있다. 단계(412)에서, 제2 함수가 결정된다. 제2 함수는 패널 영상의 확산과 관련된 함수일 수 있다. 단계(411) 및 단계(412)는 순차적으로 수행되거나, 병렬적으로 수행될 수 있다. 아래에서 설명될 것처럼 제1 함수 및 제2 함수는 사용자의 시청 거리에 따라 변동될 수 있다. 단계(411, 412)에서 제1함수 및 제2 함수는 미리 정해진 기준 시청 거리에 기초하여 결정될 수 있다. 단계(413)에서, 합성 커널이 결정된다. 합성 커널은 제1 함수와 제2 함수의 합성 연산에 의해 결정될 수 있다. 단계(414)에서, 비용 함수가 결정된다. 비용 함수는 앞서 설명된 수학식 1 또는 4에 기초하여 결정될 수 있다.

단계(411) 내지 단계(414)는 오프라인에서 수행될 수 있다. 오프라인은 영상 생성 장치나 3차원 디스플레이 장치의 생산 공정 단계를 의미한다. 또한, 단계(411) 내지 단계(414)는 앞서 설명된 도 1의 프로세서(120) 및 추후 설명될 도 8의 프로세서(330)에 의해 수행될 수 있다.

단계(431)에서, 원시 영상이 수신된다. 원시 영상은 카메라 또는 메모리로부터 수신될 수 있다. 또한, 원시 영상은 통신 모듈을 통해 외부 장치로부터 수신될 수 있다. 단계(432)에서, 패널 영상의 초기 값이 결정된다. 예컨대, 패널 영상의 초기 값은 원시 영상에 단편 뷰 트릭 기법을 적용함으로써 결정될 수 있다. 단계(433)에서, 패널 영상의 초기 값을 이용하여 3차원 영상이 예측된다. 3차원 영상은 단계(413)에서 결정된 합성 커널에 기초하여 예측될 수 있다. 단계(434)에서, 비용 함수가 최소화되는 패널 영상이 결정된다. 비용 함수는 앞서 설명된 수학식 2, 3 및 5 중 적어도 하나에 기초하여 최소화될 수 있다. 단계(434)의 일 예로, 단계(433)에서 예측된 3차원 영상(l')에 기초하여 비용 함수가 작아지도록 패널 영상이 조절되고, 조절된 패널 영상을 기초로 3차원 영상(l'')이 예측되며, 예측된 3차원 영상(l'')에 기초하여 비용 함수가 작아지도록 패널 영상이 더 조절되는 동작이 반복적으로 수행될 수 있다.

단계(435)에서, 비용 함수가 최소화된 패널 영상을 이용하여 3차원 영상이 렌더링된다. 렌더링은 디스플레이 패널에 포함된 픽셀 또는 서브픽셀의 값들을 결정하는 동작 및 디스플레이 패널에 표시될 영상을 생성하는 동작 등을 포함할 수 있다. 3차원 영상은 앞서 설명된 다 시점 디스플레이 방식 또는 라이트 필드 디스플레이 방식에 따라 렌더링될 수 있다.

단계(431) 내지 단계(435)는 온라인에서 수행될 수 있다. 온라인은 영상 생성 장치나 3차원 디스플레이 장치의 동작 단계를 의미한다. 단계(431) 내지 단계(435)는 앞서 설명된 도 1의 프로세서(120) 및 추후 설명될 도 8의 프로세서(330)에 의해 수행될 수 있다.

도 8은 일 실시예에 따른 영상 생성 장치를 나타낸 블록도이다. 도 8을 참조하면, 영상 생성 장치(300)는 메모리(320), 프로세서(330), 디스플레이 패널(340) 및 통신 모듈(350)을 포함한다. 일 측에 따르면, 영상 생성 장치(300)는 IP TV(Internet Protocol Television)의 일부로 구현될 수 있다. 메모리(320), 프로세서(330), 디스플레이 패널(340) 및 통신 모듈(350)은 버스(310)를 통하여 서로 통신할 수 있다.

통신 모듈(350)은 다양한 통신 프로토콜을 사용하여 외부 장치로부터 데이터를 수신할 수 있다. 예컨대, 통신 모듈(350)은 외부 장치로부터 원시 영상을 수신할 수 있다. 외부 장치는 영상 제공 서버와, 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터 및 랩톱 컴퓨터 등의 모바일 장치와, 퍼스널 컴퓨터, 태블릿 컴퓨터 및 넷북 등의 컴퓨팅 장치와, 텔레비전 및 스마트 텔레비전 등의 영상 출력 장치와, 카메라 및 캠코더 등의 영상 캡춰 장치 등을 포함할 수 있다.

프로세서(330)는 앞서 설명된 도 1 내지 도 7의 동작 및 추후 설명될 도 9 내지 도 14의 동작을 수행할 수 있다. 예를 들어, 프로세서(330)는 도 7에서 설명된 각 단계들을 수행할 수 있다. 프로세서(330)는 프로그램을 실행하고, 영상 생성 장치(300)를 제어할 수 있다. 프로세서(330)에 의하여 실행되는 프로그램 코드는 메모리(320)에 저장될 수 있다. 전자 시스템은 입출력 장치(도면 미 표시)를 통하여 외부 장치에 연결되고, 데이터를 교환할 수 있다.

메모리(320)는 패널 영상, 원시 영상, 예측된 3차원 영상, 프로세서(330)의 동작을 위한 각종 함수, 수학식 및 연산 결과 등과 같은 데이터를 저장할 수 있다. 또한, 메모리(320)는 패널 영상, 패널 영상의 원시 영상 및 예측된 3차원 영상을 프로세서(330)로 전송하거나, 그 밖에 메모리(320)에 저장된 데이터를 프로세서(330)에 전송할 수 있다. 메모리(320)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

디스플레이 패널(340)은 비용 함수가 최소화된 패널 영상을 출력할 수 있다. 프로세서(330)에 의해 결정된 패널 영상은 디스플레이 패널(340)에 의해 출력되고 3차원 영상 변환 장치에 의해 3차원 영상으로 변환될 수 있다.

도 9는 일 실시예에 따른 시청 거리를 고려하여 3차원 영상의 렌더링 과정을 나타낸 플로우 차트이다. 도 9를 참조하면, 단계(451)에서, 비용 함수가 결정된다. 단계(451)은 오프라인에서 수행될 수 있다. 단계(451)은 앞서 설명된 도 1의 프로세서(120) 및 도 8의 프로세서(330)에 의해 수행될 수 있다.

단계(471)에서, 원시 영상이 수신된다. 단계(472)에서, 패널 영상의 초기 값이 결정된다. 단계(473)에서, 패널 영상의 초기 값을 이용하여 3차원 영상이 예측된다. 3차원 영상은 단계(479)에서 결정된 합성 커널에 기초하여 예측될 수 있다. 단계(474)에서, 비용 함수가 최소화되는 패널 영상이 결정된다. 단계(475)에서, 비용 함수가 최소화된 패널 영상을 이용하여 3차원 영상이 렌더링된다. 단계(471) 내지 단계(475)에는 도 7에서 설명된 내용이 적용될 수 있다.

단계(476)에서, 시청 거리가 추정된다. 일 측에 따르면, 시청 거리는 카메라에 의해 식별된 사용자의 눈의 위치에 기초하여 추정될 수 있다. 카메라는 비전 센서, 적외선 센서 등 다양한 유형의 센서를 포함할 수 있다. 제1 함수 및 제2 함수는 사용자의 시청 거리에 따라 변동될 수 있다. 사용자의 시청 거리에 따라 합성 함수를 조정하는 것이 3차원 영상의 품질을 향상시킬 수 있다. 시청 거리를 고려한 합성 커널의 결정 관련하여, 도 10 및 도 11을 참조하여 설명한다.

도 10은 일 실시예에 따른 시청 거리에 의한 시역의 변화를 설명하기 위한 도면이다. 도 10을 참조하면, 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)에 의해 제1 광선(91), 제2 광선(92) 및 제3 광선(93)이 출력된다.

제1 광선(91), 제2 광선(92) 및 제3 광선(93)은 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)에 의해 출력되는 3차원 영상의 일부를 구성할 수 있다. 앞서 설명된 것처럼, 특정 시점에 대응되는 시역에서 다른 시점의 영상이 시청될 수 있다. 예컨대, 제1 시역에서 제1 시점에 인접한 인접 시점들의 영상이 시청될 수 있다. 시청 거리에 따라 시청되는 인접 시점이 달라질 수 있다. 예컨대, 위치(94)의 제1 시역에서 시청되는 인접 시점의 영상과, 위치(95)의 제1 시역에서 시청되는 인접 시점의 영상이 상이할 수 있다.

패널 영상의 시역과 관련된 제1 함수는 시청 거리를 고려하여 결정될 수 있다. 예컨대, 도 5a에 도시된 그래프가 위치(94)에 대한 것이라면, 위치(95)에 대한 제1 함수의 그래프는 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)의 설계에 따라 도 5a에 도시된 그래프에 비해 넓거나 좁은 형태를 가질 수 있다.

제2 함수의 결정 관련하여 시청 거리가 고려될 수 있다. 시청 거리에 따른 제2 함수의 결정과 관련하여, 빛의 확산에 관해 도 11을 참조하여 설명한다.

도 11은 일 실시예에 따른 빛의 확산을 설명하기 위한 도면이다. 도 11을 참조하면, 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)에 의해 제1 광선(70)이 출력된다. 제1 광선(70)은 디스플레이 패널(210) 및 3차원 영상 변환 장치(220)에 의해 출력되는 3차원 영상의 일부를 구성할 수 있다.

제1 광선(70)은 디스플레이 패널(210)의 픽셀들 중 어느 하나의 픽셀로부터 출력될 수 있다. 제1 광선(70)은 3차원 영상 변환 장치(220)로부터 멀어질수록 확산될 수 있다. 예컨대, 위치(71)에서의 확산 정도에 비해 위치(72)에서의 확산 정도가 커질 수 있다. 따라서, 패널 영상의 확산과 관련된 제2 함수는 시청 거리를 고려하여 결정될 수 있다. 예컨대, 도 5b에 도시된 그래프가 위치(71)에 대한 것이라면, 위치(72) 에 대한 제2 함수의 그래프는 도 5b에 도시된 그래프에 비해 z 값이 작아질수록 퍼진 형태를 가질 수 있다.

다시 도 9를 참조하면, 단계(477)에서, 제1 함수가 결정된다. 단계(478)에서, 제2 함수가 결정된다. 단계(477, 478)에서 제1 함수 및 제2 함수는 단계(476)에서 추정된 시청 거리에 기초하여 결정될 수 있다. 단계(477) 및 단계(478)는 순차적으로 수행되거나, 병렬적으로 수행될 수 있다. 단계(479)에서, 합성 커널이 결정된다. 합성 커널은 제1 함수와 제2 함수의 합성 연산에 의해 결정될 수 있다.

단계(471) 내지 단계(475)는 온라인에서 수행될 수 있다. 단계(471) 내지 단계(475)는 앞서 설명된 도 1의 프로세서(120) 및 도 8의 프로세서(330)에 의해 수행될 수 있다.

도 12는 일 실시예에 따른 3차원 영상의 모델링 방법을 나타내는 플로우 차트이다. 도 12를 참조하면, 단계(510)에서, 패널 영상의 시역과 관련된 제1 함수 및 패널 영상의 확산과 관련된 제2 함수가 결정된다. 단계(520)에서, 제1 함수 및 제2 함수에 기초하여 패널 영상의 3차원 영상이 모델링된다. 여기서, 모델링이란 앞서 설명된 3차원 영상의 예측 및 3차원 영상의 품질 향상을 위한 동작들을 의미할 수 있다. 예컨대, 모델링은 원시 영상의 결정, 패널 영상의 결정, 3차원 영상의 예측 및 비용 함수에 기초한 패널 영상의 조절 등을 포함할 수 있다. 단계(510) 및 단계(520)은 도 1의 프로세서(120) 및 도 8의 프로세서(330)에 의해 수행될 수 있다. 또한, 도 1의 프로세서(120) 및 도 8의 프로세서(330)는 앞서 설명된 내용 중에 단계(510) 및 단계(520)과 관련된 동작을 수행할 수 있다.

도 13은 일 실시예에 따른 패널 영상의 조절 과정을 나타내는 플로우 차트이다. 도 13을 참조하면, 단계(610)에서, 패널 영상의 원시 영상과 상기 패널 영상의 3차원 영상 사이의 차이에 관한 제1 비용 함수가 결정된다. 단계(620)에서, 제1 비용 함수에 기초하여 패널 영상이 조절된다. 단계(610) 및 단계(620)은 도 1의 프로세서(120) 및 도 8의 프로세서(330)에 의해 수행될 수 있다. 또한, 도 1의 프로세서(120) 및 도 8의 프로세서(330)는 앞서 설명된 내용 중에 단계(610) 및 단계(620)과 관련된 동작을 수행할 수 있다.

도 14는 실시예에 따른 패널 영상의 조절 과정을 나타내는 플로우 차트이다. 도 14를 참조하면, 단계(710)에서, 3차원 영상을 위한 원시 영상이 수신된다. 원시 영상은 도 8의 통신 모듈(350)에 의해 수신될 수 있다. 또한, 원시 영상은 도 8의 메모리(320) 또는 도 8의 통신 모듈(350)로부터 도 8의 버스(310)를 통해 도 8의 프로세서(330)에 의해 수신될 수 있다. 단계(720)에서, 원시 영상에 기초하여 패널 영상의 초기 값이 결정된다. 단계(730)에서, 3차원 디스플레이 장치에 대응하는 합성 커널에 기초하여 예측된 패널 영상의 3차원 영상과 원시 영상에 기초하여, 패널 영상을 반복적으로 조절한다. 단계(720) 및 단계(730)은 도 1의 프로세서(120) 및 도 8의 프로세서(330)에 의해 수행될 수 있다. 또한, 도 1의 프로세서(120) 및 도 8의 프로세서(330)는 앞서 설명된 내용 중에 단계(710) 내지 단계(730)과 관련된 동작을 수행할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

패널 영상의 복수의 시역(visual field)의 밝기의 분포와 관련된 제1 함수를 결정하는 단계;
상기 패널 영상의 복수의 패널 영상 픽셀로부터의 거리에 따른 상기 복수의 패널 영상 픽셀의 빛의 확산과 관련된 제2 함수를 결정하는 단계; 및
상기 제1 함수 및 상기 제2 함수에 기초하여 상기 패널 영상의 3차원 영상을 예측하는 단계
를 포함하고,
상기 3차원 영상을 예측하는 단계는
상기 제1 함수와 상기 제2 함수를 합성하여 합성 커널을 결정하는 단계;
상기 패널 영상으로부터 상기 복수의 시역의 시역 별로 픽셀들을 샘플링하여 복수의 3차원 샘플을 결정하는 단계; 및
상기 복수의 3차원 샘플과 상기 합성 커널 간의 합성 연산에 기초하여 상기 3차원 영상을 예측하는 단계
를 포함하는, 영상 생성 방법.
제1항에 있어서,
상기 3차원 영상을 모델링하는 단계는,
상기 패널 영상의 원시 영상과 상기 3차원 영상 사이의 차이에 관한 비용 함수에 기초하여 상기 패널 영상을 조절하는 단계를 포함하는,
영상 생성 방법.
제1항에 있어서,
상기 3차원 영상을 모델링하는 단계는,
상기 3차원 영상과 상기 패널 영상의 원시 영상 사이의 차이가 최소화되도록, 상기 패널 영상을 조절하는 단계
를 포함하는, 영상 생성 방법.
제1항에 있어서,
상기 제1 함수는 뷰 프로파일 함수(view profile function)를 포함하는,
영상 생성 방법.
제1항에 있어서,
상기 제2 함수는 점 확산 함수(point spread function)를 포함하는,
영상 생성 방법.
패널 영상의 원시 영상과 상기 패널 영상의 3차원 영상 사이의 차이에 관한 제1 비용 함수를 획득하는 단계; 및
상기 제1 비용 함수에 기초하여 상기 패널 영상을 조절하는 단계
를 포함하고,
상기 3차원 영상은 상기 패널 영상으로부터 상기 패널 영상의 복수의 시역 별로 픽셀들을 샘플링하여 결정된 복수의 3차원 샘플과 합성 커널 간의 합성 연산에 기초하여 예측되고,
상기 합성 커널은 상기 패널 영상의 복수의 시역(visual field)의 밝기의 분포와 관련된 제1 함수와 상기 패널 영상의 복수의 패널 영상 픽셀로부터의 거리에 따른 상기 복수의 패널 영상 픽셀의 빛의 확산과 관련된 제2 함수를 합성하여 결정되는,
영상 생성 방법.
제6항에 있어서,
상기 패널 영상을 조절하는 단계는,
상기 제1 비용 함수가 최소가 되도록 상기 패널 영상에 포함된 픽셀 값들을 조절하는 단계를 포함하는,
영상 생성 방법.
제6항에 있어서,
상기 제1 비용 함수는 상기 원시 영상과 상기 3차원 영상의 최소 자승 오차를 포함하는,
영상 생성 방법.
제6항에 있어서,
상기 제1 비용 함수는 상기 3차원 영상에 발생되는 아티팩트(artifact)와 관련된 제2 비용 함수를 포함하는,
영상 생성 방법.
제9항에 있어서,
상기 제2 비용 함수는 상기 3차원 영상에 포함된 픽셀 값들의 변량에 기초하여 결정되는,
영상 생성 방법.
삭제
삭제
삭제
삭제
제6항에 있어서,
상기 제1 함수는 뷰 프로파일 함수(view profile function)를 포함하는,
영상 생성 방법.
제6항에 있어서,
상기 제2 함수는 점 확산 함수(point spread function)를 포함하는,
영상 생성 방법.
3차원 영상을 위한 원시 영상을 수신하는 단계;
상기 원시 영상에 기초하여 패널 영상을 결정하는 단계; 및
3차원 디스플레이 장치에 대응하는 합성 커널에 기초하여 예측된 상기 패널 영상의 3차원 영상과 상기 원시 영상에 기초하여, 상기 패널 영상을 반복적으로(iteratively) 조절하는 단계
를 포함하고,
상기 3차원 영상은 상기 패널 영상으로부터 상기 패널 영상의 복수의 시역 별로 픽셀들을 샘플링하여 결정된 복수의 3차원 샘플과 상기 합성 커널 간의 합성 연산에 기초하여 예측되고,
상기 합성 커널은 상기 패널 영상의 복수의 시역(visual field)의 밝기의 분포와 관련된 제1 함수와 상기 패널 영상의 복수의 패널 영상 픽셀로부터의 거리에 따른 상기 복수의 패널 영상 픽셀의 빛의 확산과 관련된 제2 함수를 합성하여 결정되는,
영상 생성 방법.
삭제
제17항에 있어서,
상기 패널 영상을 반복적으로 조절하는 단계는,
상기 원시 영상과 상기 3차원 영상의 차이가 감소되도록, 상기 패널 영상을 조절하는 단계
를 포함하는, 영상 생성 방법.
제17항에 있어서,
상기 원시 영상에 기초하여 패널 영상을 결정하는 단계는
상기 원시 영상에 단편 뷰 트릭(fractional view trick) 기법을 적용함으로써, 상기 패널 영상의 초기 값을 결정하는 단계
를 포함하는, 영상 생성 방법.
제17항에 있어서,
상기 패널 영상을 반복적으로 조절하는 단계는,
상기 원시 영상과 상기 3차원 영상의 차이에 관한 비용 함수가 최소화되도록, 상기 패널 영상을 조절하는 단계
를 포함하는, 영상 생성 방법.
제21항에 있어서,
상기 비용 함수는,
상기 원시 영상과 상기 3차원 영상의 최소 자승 오차에 관한 제1 원소; 및
상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소
중 적어도 하나를 포함하는, 영상 생성 방법.
제17항에 있어서,
사용자의 시청 거리를 추정하는 단계; 및
상기 시청 거리에 기초하여 상기 합성 커널을 결정하는 단계
를 더 포함하는, 영상 생성 방법.
패널 영상을 저장하는 메모리; 및
상기 패널 영상의 원시 영상과 상기 패널 영상의 3차원 영상 사이의 차이에 관한 제1 비용 함수를 결정하고, 상기 비용 함수에 기초하여 상기 패널 영상을 조절하는 프로세서
를 포함하고,
상기 3차원 영상은 상기 패널 영상으로부터 상기 패널 영상의 복수의 시역 별로 픽셀들을 샘플링하여 결정된 복수의 3차원 샘플과 합성 커널 간의 합성 연산에 기초하여 예측되고,
상기 합성 커널은 상기 패널 영상의 복수의 시역(visual field)의 밝기의 분포와 관련된 제1 함수와 상기 패널 영상의 복수의 패널 영상 픽셀로부터의 거리에 따른 상기 복수의 패널 영상 픽셀의 빛의 확산과 관련된 제2 함수를 합성하여 결정되는,
영상 생성 장치.
제24항에 있어서,
상기 프로세서는,
상기 비용 함수가 최소가 되도록 상기 패널 영상에 포함된 픽셀 값들을 조절하는,
영상 생성 장치.
제24항에 있어서,
상기 비용 함수는,
상기 원시 영상과 상기 3차원 영상의 최소 자승 오차와 관련된 제1 원소; 및
상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소
중 적어도 하나를 포함하는,
영상 생성 장치.
제26항에 있어서,
상기 제2 원소는,
상기 3차원 영상에 포함된 픽셀 값들의 변량에 기초하여 결정되는,
영상 생성 장치.
제24항에 있어서,
상기 원시 영상은,
시청 위치에 따른 복수의 시역들(visual fields)에 관한 영상들을 포함하는,
영상 생성 장치.
제24항에 있어서,
상기 프로세서는,
상기 원시 영상을 시역(visual field) 별로 샘플링함으로써 상기 패널 영상의 초기 값을 결정하는,
영상 생성 장치.
삭제
삭제
제24항에 있어서,
상기 제1 함수는 뷰 프로파일 함수(view profile function)를 포함하고,
상기 제2 함수는 점 확산 함수(point spread function)를 포함하는,
영상 생성 장치.
3차원 영상을 위한 원시 영상을 수신하는 통신 모듈; 및
상기 원시 영상에 기초하여 패널 영상을 결정하고, 3차원 디스플레이 장치에 대응하는 합성 커널에 기초하여 예측된 상기 패널 영상의 3차원 영상과 상기 원시 영상에 기초하여, 상기 패널 영상을 반복적으로(iteratively) 조절하는 프로세서
를 포함하고,
상기 3차원 영상은 상기 패널 영상으로부터 상기 패널 영상의 복수의 시역 별로 픽셀들을 샘플링하여 결정된 복수의 3차원 샘플과 합성 커널 간의 합성 연산에 기초하여 예측되고,
상기 합성 커널은 상기 패널 영상의 복수의 시역(visual field)의 밝기의 분포와 관련된 제1 함수와 상기 패널 영상의 복수의 패널 영상 픽셀로부터의 거리에 따른 상기 복수의 패널 영상 픽셀의 빛의 확산과 관련된 제2 함수를 합성하여 결정되는,
영상 생성 장치.
삭제
제33항에 있어서,
상기 프로세서는,
상기 합성 커널에 기초하여, 상기 3차원 영상을 예측하고, 상기 원시 영상과 상기 3차원 영상의 차이가 감소되도록, 상기 패널 영상을 조절하는,
영상 생성 장치.
제33항에 있어서,
상기 프로세서는,
상기 원시 영상과 상기 3차원 영상의 차이에 관한 비용 함수가 최소화되도록, 상기 패널 영상을 조절하는,
영상 생성 장치.
제36항에 있어서,
상기 비용 함수는,
상기 원시 영상과 상기 3차원 영상의 최소 자승 오차에 관한 제1 원소; 및
상기 3차원 영상에 발생되는 아티팩트와 관련된 제2 원소
중 적어도 하나를 포함하는, 영상 생성 장치.
제33항에 있어서,
상기 프로세서는,
사용자의 시청 거리를 추정하고, 상기 시청 거리에 기초하여 상기 합성 커널을 결정하는,
영상 생성 장치.