KR101724309B1 - 유도된 ３ｄ 디스플레이 적응 - Google Patents

Abstract

3D 디스플레이는 뷰잉 경험 품질(QVE) 매핑에 의해 특징지워지고, 상기 뷰잉 경험 품질(QVE) 매핑은 입력 깊이 값들과 출력 QVE 값들 사이의 디스플레이-특정 입력-출력 관계를 표현한다. "뷰잉 블러(viewing blur)"의 메트릭에 기초한 QVE 매핑들의 예들이 제공된다. 기준 디스플레이에 대해 생성된 기준 깊이 데이터 및 원래 입력 깊이 데이터와 기준 디스플레이에 대한 QVE 매핑을 이용하여 생성된 QVE 데이터 사이의 입력-출력 관계를 표현하는 예술가의 매핑 함수의 표현을 고려할 때, 디코더는 기준 깊이 데이터를 재구성할 수 있고 타겟 디스플레이에 대해 최적화된 출력 깊이 데이터를 생성하기 위해 역 QVE 매핑을 타겟 디스플레이에 적용할 수 있다.

Description

유도된 ３Ｄ 디스플레이 적응{GUIDED 3D DISPLAY ADAPTATION}

본 출원은, 전체적으로 참조로서 본 명세서에 통합된 2013년 4월 2일에 출원된 미국 가 출원 번호 제 61/807,672 호의 우선권을 주장한다.

본 발명은 일반적으로 입체영상(stereoscopic) 이미지들 및 디스플레이들에 관한 것이다. 특히, 본 발명의 일 실시예는 입체영상 또는 무안경 입체영상 디스플레이들 상의 입체영상 이미지들의 유도된 렌더링(guided rendering)에 관한 것이다.

3D 비디오 시스템들은 극장에서든지 또는 집에서든지 소비자의 경험을 증진하기 위해 큰 관심을 얻는다. 이들 시스템들은 표현의 입체영상 또는 무안경 입체영상 방법들을 이용하고, 상기 입체영상 또는 무안경 입체영상 방법들은:

(i) 애너글리프(anaglyph) - 공통적으로, 하나의 눈에 대해 적색, 및 다른 눈에 대해 청록색인, 2개의 컬러 필터를 통해 광을 필터링함으로써 좌측/우측 눈 분리를 제공한다.

(ii) 선형 편광 - 수직으로 (공통적으로) 지향된 선형 편광자를 통해 좌측 눈을 필터링하고, 수평으로 지향된 선형 편광자를 통해 우측 눈 이미지를 필터링함으로써 프로젝터에서 분리를 제공한다.

(iii) 원형 편광 - (공통적으로) 좌선회(left handed) 원형 편광자를 통해 좌측 눈 이미지를 필터링하고, 우선회 원형 편광자를 통해 우측 눈 이미지를 필터링함으로써 프로젝터에서 분리를 제공한다.

(iv) 셔터 안경 - 좌측 및 우측 이미지들을 시간 단위로 멀티플렉싱(multiplexing)함으로써 분리를 제공한다.

(v) 스펙트럼 분리 - 좌측 및 우측 눈을 공간적으로 필터링함으로써 프로젝터에서 분리를 제공하고, 여기서 좌측 및 우측 눈 각각은 적색, 녹색, 및 청색 스펙트럼들의 상보적 부분을 수신한다.

오늘날 시장에서 이용가능한 대부분의 3D 디스플레이들은 입체영상 TV들이고, 이들은 3D 효과를 경험하기 위해 이용자에 특수 3D 안경을 착용할 것을 요구한다. 이들 디스플레이들에 대한 3D 콘텐트의 전달은 단지 2개의 분리된 뷰들: 좌측 뷰 및 우측 뷰를 전달할 것을 요구한다. 무안경 입체영상(안경 없는) 또는 다중-뷰 디스플레이들이 유명해지고 있다. 이들 디스플레이들은 일부 양의 이동 시차를 제공한다: 뷰어는, 그들이 더 많이 이동할 때 상이한 각도들로부터 오브젝트(object)들을 뷰잉하고 있는 것처럼 자신의 머리를 더 이동할 수 있다.

전통적인 입체영상 디스플레이들은 단일 3D 뷰를 제공한다: 그러나, 무안경 입체영상 디스플레이들은 디스플레이의 설계에 기초하여 5개의 뷰들, 9개의 뷰들, 28개의 뷰들, 등과 같은 다수의 뷰들을 제공하도록 요구된다. 규칙적인 입체영상 콘텐트가 무안경 입체영상 디스플레이들에 제공될 때, 디스플레이들은 깊이 맵들을 추출하고 이들 깊이 맵들에 기초하여 다수의 뷰들을 생성하거나 렌더링한다. 본 명세서에서 이용된 바와 같이, 용어 "깊이 맵"은 방향으로부터 장면 오브젝트들의 표면들의 거리에 관련된 정보를 포함하는 이미지 또는 다른 비트-스트림을 나타낸다. 깊이 맵은 변위 맵(disparity map)으로 용이하게 변환될 수 있고 그 역도 마찬가지이며, 이 문서의 맥락에서, 용어들 깊이 맵 및 변위 맵은 같고 상호호환가능하다.

특정 타겟 디스플레이(예로서, 영화관의 스크린)에 대해 최적화된 3D 콘텐트는 집에서의 입체영상 또는 다중-뷰 HDTV 상에 상이하게 나타날 수 있다. 3D 뷰잉 경험은 또한, 디스플레이의 스크린 크기, 다중-뷰 기술, 및 다른 파라미터들에 의존하여 상이할 수 있다. 본 명세서에서의 발명자들에 의해 이해된 바와 같이, 원래 창작자의(예로서, 감독의) 예술적 의도를 보존하면서 3D 디스플레이들 상에 입체영상 콘텐트를 렌더링하기 위한 개선된 기술들을 개발하는 것이 바람직하다.

본 섹션에서 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 고안되었거나 추구된 접근법들은 아니다. 따라서, 다르게 나타내지 않으면, 본 섹션에서 설명된 접근법들 중 임의의 접근법이 본 섹션에서의 그들의 포함으로 인해 단지 종래 기술로서 자격을 얻는다고 가정되어서는 안된다. 유사하게, 하나 이상의 접근법들에 대해 식별된 문제들은, 다르게 나타내지 않으면 본 섹션에 기초하여 임의의 종래 기술에서 인식된 것으로 가정되지 않아야 한다.

본 발명의 일 실시예는 첨부된 도면들의 피겨(figure)들로, 제한하는 방식이 아닌 예로서 도시되고, 상기 첨부된 도면들에서 유사한 참조 부호들은 유사한 요소들을 언급한다.

도 1a 및 도 1b는 일 실시예에 따라 3개의 무안경 입체영상 디스플레이들에 대한 뷰잉 경험 품질(quality of viewing experience; QVE) 매핑들의 예들을 도시한 도면들.
도 2는 일 실시예에 따라 타겟 디스플레이의 QVE 매핑을 결정하기 위한 일 예시적인 처리를 도시한 도면.
도 3은 일 실시예에 따라 타겟 디스플레이의 QVE 매핑을 결정하기 위한 예시적인 타겟 테스트 이미지들을 도시한 도면.
도 4a 및 도 4b는 실시예들에 따라 유도된 3D 디스플레이 적응을 위한 예시적인 처리들을 도시한 도면들.
도 5는 일 실시예에 따라 3D 디스플레이 에뮬레이션(emulation)을 위한 일 예시적인 처리를 도시한 도면.

입체영상 및 다중-뷰 디스플레이들 상에 입체영상 이미지들을 디스플레이하기 위한 유도된 3D 디스플레이 적응 기술들이 본 명세서에서 설명된다. 디스플레이는 뷰잉 경험 품질(QVE) 매핑(예로서, 매핑 함수 또는 입력-출력 곡선)을 이용하여 특징지워지고, 이는 특정한 3D 디스플레이에 대한 뷰잉 경험 메트릭을 입력 변위 또는 깊이 데이터의 함수로서 표현한다. 기준 3D 디스플레이로부터 임의의 3D 디스플레이로의 깊이 데이터의 매핑은 깊이 범위 변환 함수 및 기준 디스플레이와 감독의 원래 예술적 의도의 QVE 매핑에 응답하여 생성된 메타데이터를 이용하여 표현될 수 있다. 다음 설명에서, 설명의 목적들을 위해, 많은 특정 상세들이 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명이 이들 특정 상세들 없이 실행될 수 있음이 명백할 것이다. 다른 인스턴스(instance)들에서, 잘 공지된 구조들 및 디바이스들은 본 발명을 불필요하게 모호하게 하는 것을 회피하기 위해 철저한 상세로 설명되지 않는다.

개요

본 명세서에서 설명된 예시적인 실시예들은 입체영상 및 다중-뷰 디스플레이들 상에 입체영상 이미지들을 디스플레이하기 위한 유도된 3D 디스플레이 적응 기술들에 관한 것이다. 3D 디스플레이들은 뷰잉 경험 품질(QVE) 매핑에 의해 특징지워지고, 상기 뷰잉 경험 품질(QVE) 매핑은 특정한 3D 디스플레이에 대한 뷰잉 경험 메트릭을 입력 변위 또는 깊이 데이터의 함수로서 표현한다. "뷰잉 블러(viewing blur)"의 메트릭에 기초한 QVE 매핑 함수의 예들이 제공된다. 기준 디스플레이에 대한 입력 깊이 데이터로부터 생성된 기준 깊이 데이터, 및 입력 깊이 데이터와 기준 디스플레이 QVE 매핑을 이용하여 생성된 QVE 데이터 사이의 입력-출력 관계를 표현하는 예술가의 매핑 함수의 표현을 고려할 때, 디코더는 기준 깊이 데이터를 재구성할 수 있고 원래 예술가의 의도를 또한 보전하는 타겟 디스플레이에 대한 출력 깊이 데이터를 생성하기 위해 역 QVE 매핑을 타겟 디스플레이에 적용할 수 있다.

또 다른 실시예에서, 3D 디스플레이 QVE 매핑 함수는 공지된 깊이 또는 변위에서 스테레오 이미지를 디스플레이하고, 2D 카메라로 디스플레이된 이미지를 캡처(capture)하고, 대응하는 QVE 값을 생성하기 위해 캡처된 2D 이미지를 분석함으로써 생성된다. 일 실시예에서, 대응하는 QVE 값은 입력으로서 테스트 이미지를 고려할 때, 주어진 기준에 따라 캡처된 2D 이미지에 가장 가까운 출력을 생성하는 가우시안 블러 필터의 표준 편차의 함수이다.

또 다른 실시예에서, 입체영상 이미지에 대한 원래 입력 깊이 데이터가 수신된다. 원래 입력 깊이 데이터에 응답하여, 기준 디스플레이를 이용하여, 기준 깊이 맵 데이터가 생성되고 있다. 깊이 범위 변환 함수는 입력 깊이 데이터와 기준 출력 깊이 데이터 사이의 입력-출력 관계를 표현할 수 있다. 기준 깊이 맵 데이터 및 기준 디스플레이 QVE 매핑에 응답하여, 뷰잉 경험 품질(QVE) 데이터가 생성된다. 입력 깊이 데이터와 QVE 데이터 사이의 입력-출력 관계를 표현하는 예술가의 매핑 함수가 생성되고 메타데이터로서 기준 깊이 맵 데이터 또는 원래 입력 깊이 데이터와 함께 수신기로 송신된다.

또 다른 실시예에서, 3D 디스플레이 에뮬레이션 시스템은 입체영상 이미지에 대한 원래 입력 깊이 데이터에 액세스한다. 원래 입력 깊이 데이터에 응답하여, 기준 디스플레이를 이용하여, 기준 깊이 맵 데이터가 생성되고 있다. 기준 깊이 맵 데이터 및 기준 디스플레이 QVE 매핑에 응답하여, 뷰잉 경험 품질(QVE) 데이터가 생성된다. 에뮬레이팅될 타겟 디스플레이는 상이한 모델들의 타겟 디스플레이들 중에서 선택되고 QVE 데이터는 에뮬레이팅된 타겟 디스플레이에 대한 타겟 깊이 데이터를 생성하기 위해 에뮬레이팅된 타겟 디스플레이에 대한 역 QVE 매핑에 적용되고, 에뮬레이팅된 타겟 디스플레이에 대한 역 QVE 매핑은 에뮬레이팅된 타겟 디스플레이에 대해 결정된 바와 같이 입력 QVE 값들과 출력 깊이 값들 사이의 입력-출력 관계를 표현한다.

예시적인 뷰잉 경험 품질 매핑

입체영상 콘텐트 생성 및 디스플레이에서, 원래 릴리스(release)는 전형적으로, 특정 타겟 디스플레이 크기 및 뷰잉 거리에 대해 최적화되고 그 다음, 그것은 이미지 데이터 및 깊이 또는 변위 데이터를 포함하는 비트스트림을 이용하여 전달된다. 예를 들면, 라이브 스포츠 방송은 홈 3D HDTV들로의 전달을 위해 최적화될 수 있는 반면에, 극장용 릴리스들은 3D 영화관 프로젝터들을 위해 최적화될 수 있다. 본 명세서에서 이용된 바와 같이, 용어 '변위'는 입체영상 이미지의 좌측 뷰와 우측 뷰에서의 오브젝트의 위치 사이의 거리의 차를 나타낸다. 스테레오 비디오 이미징에서, 변위는 전형적으로, 다른 뷰(예로서, 우측 이미지)에서 뷰잉될 때 하나의 뷰(예로서, 좌측 이미지)에서의 이미지 피쳐의 수평 시프트(예로서, 좌측으로 또는 우측으로)를 표현한다. 예를 들면, 좌측 이미지에서 수평 위치들(h_L) 및 우측 이미지에서 수평 위치들(h_R)에 위치된 지점은 h_L-h_R 픽셀들의 변위를 가지는 것으로서 표시될 수 있다.

변위 데이터는 또한, 대안적인 표현들이 가능할지라도, 깊이 또는 "입력 Z" 데이터로서, 전형적으로 8-비트에 대해 [0, 255] 범위의 그레이스케일(grayscale) 데이터로서 표현될 수 있다. 일 실시예에서, 입력 변위(D), 및 아래에 정의될 바와 같이 변위 제한 값들(d_min 및 d_max)을 고려할 때, 범위[0, 255]에서의 깊이 변환(Z)에 대한 변위는 다음과 같이 정의될 수 있다:

(1)

수학식(1)에서, d_min은 디코딩된 깊이 값(Z=0)에 대응하는 텍스처(texture)의 휘도 픽셀들에서의 입력 변위 값을 나타낸다. d_min의 음의 값들은 스크린 평면 앞의 가상 위치에 관한 것이다. 유사하게, d_max는 디코딩된 깊이 값(Z=255)과 대응하는 텍스처 뷰의 휘도 픽셀들에서의 입력 변위 값을 정의한다. d_max의 값은 d_min보다 커야 한다. d_min 및 d_max는 함께 디코딩된 깊이 값들이 균일하게 매핑되어야 하는 입력 변위 범위를 정의한다. Z, d_min, 및 d_max 값들을 고려할 때, 역 Z 대 D 매핑은 또한, 다음과 같이 수학식(1)로부터 얻어질 수 있다.

(2)

d_min 및 d_max 값들이 프레임 당 단위, 관심 있는 영역 당 단위, 장면 당 단위, 또는 다른 적합한 단위로 달라질 수 있음에 주의한다. 예를 들면, 제 1 장면에서, 변위 범위는 범위[-10, 30]일 수 있는 반면에, 제 2 장면에서 변위는 범위[-50, 200]일 수 있다. 이들 d_min 및 d_max 값들은 메타데이터 또는 보조 비트스트림 데이터를 이용하여 다운스트림 처리기들 또는 (셋-톱 박스와 같은) 타겟 수신기로 전달될 수 있다.

전(full) 해상도 비디오 및 양호한 품질 깊이/변위 맵 데이터를 전달하는 것은 입체영상 및 무안경 입체영상 디스플레이들에 대해 필수적이다. 양호한 품질 변위 맵들은 3D 콘텐트 생성 처리 동안 수동적이거나 자동으로 생성될 수 있다. 이들 변위 맵들은 전형적으로, 특정 디스플레이 유형(예로서, 3D 영화 프로젝터)에 대해 생성되고 다른 3D 디스플레이들(예로서, 3D 디스플레이를 갖는 휴대용 게이밍 디바이스 또는 태블릿 또는 홈 3D HDTV)을 위해 적합하지 않을 수 있으며 따라서, 수정될 필요가 있다. 예를 들면, 변위 맵이 안경-기반 영화 프로젝터 또는 안경-기반 스테레오 TV에 대해 생성되면, 변위 범위는 전형적인 안경 없는 무안경 입체영상(AS3D) 디스플레이에 의해 핸들링될 수 있는 것 이상일 수 있다. 예를 들면, 이들 변위 맵들은 최적의 방식으로 AS3D 디스플레이의 제한된 능력들을 이용할 수 없다. 또한, AS3D 디스플레이들은 상이한 제조자에 의해 만들어지고 서로 상이한 특성들을 갖는다. 따라서, 기준 입체영상 이미지를 고려해볼 때, 원래 감독의 의도를 또한 보전하면서 상이한 유형들의 3D 디스플레이들에 걸쳐 보편적으로 이용될 수 있는 변위 맵들을 생성할 필요가 존재한다.

일 실시예에 따라, 이 문제점에 대한 해결책을 향한 제 1 단계는 특정한 디스플레이에 대한 뷰잉 경험 품질(QVE)을 입력 데이터의 변위 또는 깊이의 함수로서 고유하게 특징짓는 매핑 또는 함수를 정의하는 것이다. 일 실시예에서, 일반성의 손실 없이, 뷰잉 경험 품질을 표현하기 위해 고려된 주요 파라미터는 "뷰잉 블러"이지만; 그것은 이미지 고스팅(ghosting) 또는 크로스토크(crosstalk), 또는 다중-뷰 AS3D 디스플레이의 원뿔 경계(cone boundary)들에서의 이미지 플리핑(flipping)(즉, 와이핑 효과)과 같은, 다른 뷰잉 인자들을 포함하도록 확대될 수 있다.

도 1a에서, 100은 일 예시적인 실시예에 따른 3개의 상이한 무안경 입체영상 디스플레이들에 대한 QVE 매핑들(110, 120, 130)의 예들을 묘사한다. 대각선으로 측정된, 100은 11인치 디스플레이(110), 23인치 디스플레이(120), 및 56인치 디스플레이(130)에 대한 QVE 매핑들을 묘사한다. 이후에 더 상세하게 설명될 바와 같이, 이 실시예에서, 100의 y축은 0과 255 사이의 범위에 있는 깊이 값들을 입력 이미지들에 대해 계산된 바와 같은 출력 블러의 측정치에 제공한다.

도 2는 일 실시예에 따라 특정 디스플레이에 대한 QVE 매핑(예로서, 110, 120, 또는 130)을 얻기 위한 일 예시적인 처리를 묘사한다. 도 2에 묘사된 바와 같이, 단계(205)에서, 처리는 고려 중인 디스플레이 및 디스플레이 상에 투사된 테스트 이미지들을 캡처하기 위한 카메라를 셋-업함으로써 시작한다. 셋-업은 디스플레이에 눈금을 매기고 카메라를 타겟 디스플레이에 대한 전형적인 뷰잉 거리(예로서, 11인치 디스플레이에 대해 1.5피트)에 위치시키는 단계를 포함한다. 무안경 입체영상 디스플레이들에 대해, 카메라는 또한, 디스플레이의 뷰잉 원뿔의 중심에 위치된다. 타겟 깊이 범위(예로서, 0 내지 255)를 고려할 때, 테스트 이미지들(225)의 세트가 테스트 중인 각각의 깊이 값에 대해 준비된다. 변위-관련 파라미터들(예로서, d_min 및 d_max)이 각각의 디스플레이에 대해 변할 수 있음에 주의한다. 일 실시예에서, 테스트 이미지들(225) 각각은 가변 폭을 갖는 일련의 수직 라인들을 포함할 수 있다. 예를 들면, 수직 라인들은 다양한 주파수들로 표시된 공간 2-D 사인파(sinusoid wave)를 표현할 수 있다. 이러한 테스트 패턴들의 예들은 도 3에 묘사된다.

처리 루프(250)는 고려 중인 각각의 깊이 값에 대해 반복되고 다음 단계들을 포함한다: (a) 단계(210)에서, 타겟 테스트 이미지가 디스플레이된다. (b) 단계(215)에서, 디스플레이된 이미지는 2D 이미지로서 카메라에 의해 캡처된다. 테스트 이미지에서의 임베딩(embedding)된 변위 때문에, 카메라에 의한 캡처된 이미지가 원래 테스트 이미지보다 불량한 시각 품질(예로서, 더 블러한)을 가질 것임이 예상된다. 마지막으로, (c) 단계(220)에서, 캡처된 이미지는 분석되고 QVE 메트릭을 할당받는다. QVE 메트릭은 주관적이거나 객관적일 수 있고, 일부 미리 결정된 기준에 따라 수치 값을 할당받는다. 하나의 실시예(100)에서, 0과 4 사이의 객관적인 QVE 메트릭은 입력 변위와 같은 블러의 출력을 야기하는 가우시안 블러 필터의 표준 편차(σ)를 표현한다. 이러한 메트릭을 계산하는 일례는 다음에 논의된다.

"시각적 블러"가 시각적 경험 인자의 주요 파라미터로 고려됨이 고려될 때, 각각의 테스트 이미지(225)는 한 세트의 가우시안 블러 필터들 또는 임의의 다른 유형의 저역 통과 또는 블러 필터들과 같은, 다양한 블러 필터들(230)을 이용하여 블러링(blurring)될 수 있다. 일 실시예에서, 이들 가우시안 블러 필터들 각각은 동일한 크기 커널 그러나 상이한 표준 편차(σ)(예로서, 0.3과 4 사이의 σ) 파라미터를 가질 수 있다. 그 다음, 단계(220)에서, 각각의 캡처된 이미지(215)는 공통적으로 이용된 신호-대-잡음 비(SNR) 및 피크-SNR 기준들과 같은, 에러 기준에 따라 모든 블러링된 이미지들(230)의 세트에 대해 비교된다. 그 다음, 주어진 깊이에 대해, 출력 QVE 메트릭(예로서, QVE=3.0)은 블러 필터의 표준 편차로서 정의될 수 있고, 블러 필터에 대해, 그것의 출력은 주어진 기준에 따라 캡처된 테스트 이미지에 최상으로 매칭(matching)한다.

이후에 더 논의될 바와 같이, QVE 매핑(예로서, f_TQ(Z)(110))을 고려할 때, 일부 실시예들에서, 그것의 역(

)을 적용하여, 주어진 QVE 값(예로서, Q)에 대해, 대응하는 깊이(Z=f_Z(Q))를 결정할 수 있게 하는 것이 바람직하다. 그러나, 도 1a에 묘사된 바와 같이, QVE 매핑들의 표현은 역을 정의하기 위해 적합하지 않는데, 이는 단일 QVE 값이 2개의 상이한 깊이 값들에 매핑되기 때문이다. 도 1a에 묘사된 바와 같이, QVE 매핑(f_TQ(Z))을 고려할 때, 일부 실시예들에서, 변환가능한 f_Q(Z) 매핑 함수는 다음으로서 얻어질 수 있다:

(3)

여기서, 주어진 깊이 Z, d_min 및 d_max에 대해, 변위(D)는 수학식(2)를 이용하여 계산될 수 있다. 도 1a에 묘사된 f_TQ(Z) 매핑들의 패밀리(family)에 대해, 도 1b는 예시적인 대응하는 f_Q(Z) 매핑들을 묘사한다.

유도된 디스플레이 적응에 대한 적용들

도 4a는 일 실시예에 따른 3D 디스플레이들에 대한 일 예시적인 유도된 디스플레이 적응 처리를 묘사한다. 원래 콘텐트(405)는 원래 타겟 디스플레이(예로서, 영화 프로젝터)에 타겟하는 원래 릴리스에 대해 생성된 이미지 및 깊이 또는 변위 데이터를 포함한다. 관심 있는 많은 경우들에서, 이 콘텐트는 상이한 유형들의 디스플레이들에 타겟하는 또 다른 릴리스를 생성하기 위해 재처리될 필요가 있다.

단계(410)는 입력 깊이 데이터(407)(예로서, Z_I(n)로 표시된)가 사후-생성(post-production) 처리 동안 이용된 기준 디스플레이에 대한 기준 깊이 데이터(414)(예로서, Z_R(n)로 표시된)로 변환된다. 이 처리는 전형적으로, 감독의 의도를 보전하기 위해 원래 예술가들(감독, 영화 촬영 감독, 등)로부터의 일부 입력(406)으로 반자동화된다. 이 처리는 또한, 컬러 그레이딩(color grading), 또는 증진되거나 고 동적 범위로부터 더 낮은 동적 범위로의 컬러 매핑과 같은, 부가적인 처리 단계들(도시되지 않음)을 포함할 수 있다. 3D 콘텐트 사후-생성 및 분배의 하나의 실시예에서(400A), 단계(410)의 출력은 깊이-범위 변환 함수(예로서, 출력(

)이 되도록 f_CR(Z)로 표시된)를 이용하여 생성된 출력 기준 깊이 데이터(414)(예로서, Z_R(n))를 포함할 수 있다. 일 실시예에서, 처리(410)의 출력은 또한, 기준 깊이 맵 데이터(414)를 생성하기 위해 이용된 기준 디스플레이에 대한 디스플레이 QVE 매핑(412)(예로서, f_QR(Z)로서 표시된)의 표현을 포함할 수 있다. 기준 디스플레이 QVE 매핑(412)은 다른 메타데이터와 함께 메타데이터와 같이 깊이 데이터(414)와 함께 송신될 수 있다. 기준 디스플레이 QVE 매핑(412)은 룩-업 테이블(look-up table), 파라메트릭(parametric) 선형, 구분적(piece-wise) 선형의 파라미터들, 또는 비-선형 함수, 등과 같은 본 분야에 공지된 다양한 방식들로 송신될 수 있어서, 그것이 깊이 변환기(420)와 같은, 다운스트림 처리 단계에 의해 재구성될 수 있게 한다.

기준 디스플레이 QVE 매핑(412)(예로서, f_QR(Z)) 및 기준 깊이 데이터(414)(예로서, Z_R(n))를 고려할 때, 깊이 변환기(420)는 QVE 매핑(412)(예로서, Q_R(n)=f_QR(Z_R(n)))에 따라 깊이 데이터(414)를 QVE 값들(424)(예로서, Q_R(n)으로 표시된)로 변환할 수 있다. 일부 실시예들에서, 단계(420)는 QVE 값들(424)을 셋-톱 박스 수신기 또는 3D TV와 같은, 적합한 수신기로 방송하는 인코더 또는 송신기의 일부일 수 있다. 이러한 시나리오에서, 비트스트림(424)은 이미, 기준 디스플레이 QVE 매핑에 관련된 정보를 통합시키고 어떠한 다른 정보도 송신될 필요가 없다. 일부 다른 실시예들에서, 단계(420)는 셋-톱 박스 수신기 또는 3D TV와 같은, 디코더의 일부일 수 있다. 이러한 시나리오에서, 인코더는 기준 깊이 데이터(414) 및 기준 디스플레이 QVE 매핑(412) 둘 모두를 송신할 필요가 있다. 레거시(Legacy) 수신기들은 기준 디스플레이 매핑(412)을 무시할 수 있고 깊이 데이터를 그들의 능력의 최상으로 단순하게 처리할 수 있지만; 다음에 설명될 바와 같이, 유도 QVE 매핑 메타데이터를 정확하게 해석하도록 인에이블링(enabling)되는 더 새로운 디코더들은 타겟 디스플레이(440) 상의 이미지 데이터(412)의 디스플레이를 더 개선시키기 위해 그들을 이용할 수 있다.

f_QT(Z)를 타겟 디스플레이(440)에 대한 QVE 매핑 함수(428)를 나타내도록 두자. 더 이전에 언급한 바와 같이, f_QT(Z)(예로서, 110B)를 고려할 때, 디스플레이 처리기는, 입력 VQE 값에 대해, 대응하는 Z 값을 출력하는 그것의 역 f_QT ^{- 1}(Q)를 용이하게 구성할 수 있다. 단계(430)에서, 수신기에서, 입력 QVE 값들(424)(예로서, Q_R(n))의 세트를 고려할 때, 최종 타겟 디스플레이 깊이 데이터(432)(예로서, Z_T(n)로 표시된)는 다음으로서 생성될 수 있다.

(4)

도 4b는 유도된 디스플레이 적응에 대한 일 대안적인 실시예를 묘사한다. 처리(400A)와 유사하게, 400B에서의 단계(410)는 한 부류의 디스플레이들에 타겟하는 깊이 데이터를 생성하지만; 출력 깊이 데이터 그 자체(예로서, Z_R(n)(414)) 및 기준 디스플레이 QVE 매핑(412)을 출력하는 대신에, 단계(410)는, Z_R(n)=f_CR(Z_I(n))이 되도록 원래 깊이 데이터(407)(예로서, Z_I(n)) 및 깊이-범위 변환 함수(f_CR(Z))의 표현을 출력한다.

Z_I(n)(407), f_CR(Z), 및 기준 디스플레이 QVE 매핑(412)(f_QR(Z))을 고려할 때, 단계(420)는, Q_R(n)(424)이

로서 표현될 수 있게 하도록 예술가의 의도를 표현하는 매핑 함수(422)(f_{QR _A}(Z))를 생성할 수 있다. 일 실시예에서, 매핑 함수(422)(f_{QR _A}(Z))의 표현은 깊이 데이터(407)와 함께 메타데이터를 이용하여 송신기 또는 인코더로부터 다운스트림 디코더로 시그널링(signalling)될 수 있다. 매핑 함수(422)는 룩-업 테이블, 파라메트릭 선형, 구분적 선형의 파라미터들, 또는 비-선형 함수, 등과 같은 본 분야에 공지된 다양한 방식들로 송신될 수 있어서, 그것이 깊이 변환기(430)에 대한 QVE 데이터와 같은, 다운스트림 처리 단계에 의해 재구성될 수 있게 한다.

더 이전에 언급한 바와 같이, Z_I(n)(407), f_{QR _A}(Z)(422), 및 타겟 디스플레이 QVE 매핑(428)(f_QT(Z))을 고려할 때, 처리(430)는 다음과 같이 최종 Z_T(n) 깊이 데이터(432)를 생성할 수 있다:

.

일부 실시예들에서, 단계(410)에서 생성된 깊이 데이터 변환 함수(416)(f_CR(Z))는 또한, f_{QR _A}(Z) 함수(422)에 더하여 수신기로 송신될 수 있다. 이것은 QVE 매핑의 어떠한 개념도 갖지 않은 레거시 디코더들이 Z_T(n)를

로서 재구성할 수 있도록 허용할 것이다.

일부 실시예들에서, 대역폭을 보전하고 송신된 데이터 레이트를 최소화하기 위해, 송신기는 예술가의 매핑 함수(f_{QR _A}(Z)) 기능의 단지 부분적 표현을 송신할 수 있다. 그 다음, 디코더는 f_{QR _A}(Z)의 가까운 근사를 재구성할 수 있다. 이 문서의 맥락에서, f_{QR _A}(Z)의 정확하거나 근사 버전의 이용은 같고 상호호환가능하다.

디스플레이 에뮬레이션

일부 실시예들에서, 콘텐트 생성 단계(410) 동안, QVE 매핑 함수들(408)의 패밀리는 단일 기준 디스플레이(540)를 이용하여 상이한 타겟 디스플레이들에 관한 뷰잉 조건들을 에뮬레이팅하기 위해 이용될 수 있다. 일 실시예에서, 도 5는 3D 디스플레이 에뮬레이션을 위한 일 예시적인 처리를 묘사한다. 처리(500)는, 처리 단계들(420 및 430)이 이제 디스플레이 에뮬레이션(520)의 단일 단계로 통합될 수 있다는 것을 제외하고 처리(400A)와 유사하다.

사후-생성(500) 동안, 예술가(406)는 기준 깊이 데이터(414)를 생성하기 위해 디스플레이(540)를 기준 디스플레이로서 이용할 수 있다. 이 처리 단계 동안, 디스플레이 에뮬레이션 처리(520)는 건너뛸 수 있고 디스플레이(540)는 기준 깊이 데이터(414)에 직접적으로 기초하여 컬러 그레이딩(grading)된 이미지 콘텐트(512)를 디스플레이할 수 있다. 예술가가, 출력(414)이 (미래지향 디스플레이의 공지되거나 미래 QVE 매핑 기능을 갖는) 또 다른 디스플레이에서 뷰잉될 방법을 에뮬레이팅하기를 원하는 경우, 디스플레이(540)는 디스플레이 에뮬레이션(520)에 의해 생성된 바와 같은 깊이 데이터를 제공받을 수 있고, 이는 처리(400A)의 부분으로서 더 이전에 설명된 단계들(420 및 430)을 단순하게 조합한다. 디스플레이 에뮬레이션 모드 하에서, QVE 매핑 함수(428)는 타겟 에뮬레이팅된 디스플레이에 대한 QVE 매핑을 표현한다.

표 1은 본 명세서에서 이용된 핵심 부호들 및 명명법을 요약한다.

[표 1] 핵심 부호들 및 명명법

예시적인 컴퓨터 시스템 구현

본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 구성요소들로 구성된 시스템들, 마이크로제어기와 같은 집적 회로(IC) 디바이스, 필드 프로그래밍가능한 게이트 어레이(FPGA), 또는 또 다른 구성가능하거나 프로그래밍가능한 로직 디바이스(PLD), 이산 시간 또는 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 및/또는 이러한 시스템들, 디바이스들 또는 구성요소들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 것들과 같은, 유도된 3D 디스플레이 적응에 관련되는 지시들을 수행하거나, 제어하거나 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 바와 같은 유도된 3D 디스플레이 적응에 관한 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 유도된 3D 디스플레이 적응 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그의 다양한 조합들로 구현될 수 있다.

본 발명의 특정 구현들은 처리기들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 지시들을 실행하는 컴퓨터 처리기들을 포함한다. 예를 들면, 디스플레이, 인코더, 셋 톱 박스, 트랜스코더 등에서의 하나 이상의 처리기들은 처리기들에 액세스가능한 프로그램 메모리에서 소프트웨어 지시들을 실행함으로써 상기 설명된 바와 같은 유도된 3D 디스플레이 적응을 위한 방법들을 구현할 수 있다. 본 발명은 또한, 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은 데이터 처리기에 의해 실행될 때, 데이터 처리기로 하여금 본 발명의 방법을 실행하도록 하는 지시들을 포함하는 컴퓨터-판독가능한 신호들의 세트를 운반하는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 광범위한 형태들 중 임의의 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들, 등과 같은 물리 매체들을 포함할 수 있다. 프로그램 제품 상의 컴퓨터-판독가능한 신호들은 선택적으로 압축되거나 암호화될 수 있다.

구성요소(예로서, 소프트웨어 모듈, 처리기, 어셈블리, 디바이스, 회로, 등)가 상기 언급되는 경우, 다르게 나타내지 않으면, ("수단"에 대한 언급을 포함하는) 그 구성요소에 대한 언급은 그 구성요소의 등가물들, 즉 본 발명의 도시된 예시적인 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 같지 않은 구성요소들을 포함하는, (예로서, 기능적으로 같은) 설명된 구성요소의 기능을 수행하는 임의의 구성요소를 포함하는 것으로서 해석되어야 한다.

등가물들, 확장들, 대안들 및 기타

유도된 3D 디스플레이 적응에 관한 예시적인 실시예들이 따라서 설명된다. 상기 명세서에서, 본 발명의 실시예들은 구현 마다 달라질 수 있는 많은 특정 상세들을 참조하여 설명되었다. 따라서, 본 발명이 무엇인지에 대한 유일하고 독점적인 표시자, 및 본 발명이 되도록 출원인들에 의해 의도된 것은 청구항들이 공표하는 특정 형태로, 본 출원으로부터 공표하는 이러한 청구항들에 인용된 바와 같은 설정이고, 이는 임의의 후속 정정을 포함한다. 이러한 청구항들에 포함된 용어들에 대해 본 명세서에서 분명하게 제시된 임의의 정의들은 청구항들에서 이용된 바와 같은 이러한 용어들의 의미를 통제할 것이다. 따라서, 청구항에서 분명하게 인용되지 않은 어떠한 제한, 요소, 속성, 특징, 장점 또는 특성도 임의의 방식으로 이러한 청구항의 범위를 제한해서는 안된다. 명세서 및 도면들은 따라서, 제한적인 의미보다 예시적인 의미로 간주되어야 한다.

215: 캡처된 이미지 225: 테스트 이미지
230: 블러 필터들 420: 깊이 변환기
424: 비트스트림 440: 타겟 디스플레이
540: 디스플레이

Claims (23)

1. 뷰잉 경험 품질(quality of viewing experience; QVE) 매핑을 이용하여 3D 디스플레이를 특징짓기 위한 방법에 있어서:
   깊이 범위의 입력 깊이 값들의 각각의 값에 대해 또는 상기 3D 디스플레이 상에 디스플레이될 스테레오 이미지들에 대한 변위(disparity) 범위로부터의 입력 변위 값들의 각각의 값에 대해, 상기 3D 디스플레이에 대한 대응하는 출력 QVE 디스플레이 값을 생성하는 단계를 포함하고,
   상기 QVE 디스플레이 값을 생성하는 단계는:
   상기 3D 디스플레이 상에 상기 입력 깊이 또는 변위를 갖는 테스트 스테레오 이미지를 디스플레이하는 단계(210);
   2D 캡처(capture)된 이미지를 생성하기 위해 카메라로 상기 디스플레이된 이미지를 캡처하는 단계(215); 및
   상기 입력 깊이 또는 변위에 대응하는 출력 QVE 값을 생성하기 위해 상기 2D 캡처된 이미지를 분석하는 단계를 포함하고,
   상기 2D 캡처 이미지를 분석하는 단계는:
   상기 테스트 스테레오 이미지의 뷰에 응답하여 블러 필터로 블러링된 이미지들의 세트를 생성하는 단계로서, 상기 블러링된 이미지의 세트에서의 각각의 블러링된 이미지는 상이한 블러 파라미터를 이용하여 생성되는, 상기 블러링된 이미지들의 세트를 생성하는 단계;
   이미지 비교 기준에 따라 하나 이상의 차 메트릭(metric)들을 결정하기 위해 상기 2D 캡처된 이미지를 상기 블러링된 이미지들의 세트에서의 상기 블러링된 이미지들 중 하나 이상과 비교하는 단계; 및
   상기 하나 이상의 결정된 차 메트릭들에 응답하여 상기 출력 QVE 값을 생성하는 단계를 포함하는, 3D 디스플레이를 특징짓기 위한 방법.
2. 제 1 항에 있어서,
   상기 입력 깊이 값들 또는 입력 변위 값들과 상기 생성된 출력 QVE 디스플레이 값들 사이의 뷰잉 경험 품질(QVE) 매핑을 생성하는 단계를 포함하는, 3D 디스플레이를 특징짓기 위한 방법.
3. 제 2 항에 있어서,
   깊이 범위의 입력 깊이 값들의 각각의 값에 대해 또는 기준 3D 디스플레이 상에 디스플레이될 스테레오 이미지들에 대한 변위 범위로부터의 입력 변위 값들의 각각의 값에 대해, 상기 기준 3D 디스플레이에 대한 대응하는 출력 QVE 기준 디스플레이 값을 생성하는 단계; 및
   상기 입력 깊이 값들 또는 입력 변위 값들과 상기 생성된 출력 QVE 디스플레이 값들 사이의 기준 QVE 매핑을 생성하는 단계를 추가로 포함하는, 3D 디스플레이를 특징짓기 위한 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 뷰잉 경험 품질은 시각적 블러(blur)의 측정치를 포함하고,
   상기 테스트 스테레오 이미지의 뷰는 사인(sinusoid) 함수의 하나 이상의 2D 표현들을 선택적으로 포함하는, 3D 디스플레이를 특징짓기 위한 방법.
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 블러 필터는 가우시안 필터(Gaussian filter)이고, 상기 블러 파라미터는 상기 가우시안 필터의 표준 편차이고, 상기 출력 QVE 값은 상기 가우시안 필터의 표준 편차의 함수이며, 상기 가우시안 필터의 표준 편차의 함수에 대해, 상기 가우시안 필터의 출력과 상기 2D 캡처된 이미지 사이의 차 메트릭은 가장 작은, 3D 디스플레이를 특징짓기 위한 방법.
6. 유도된 3D 디스플레이 적응을 위한 방법에 있어서:
   입체영상(stereoscopic) 이미지에 대해 원래 입력 깊이 데이터(407)를 수신하는 단계;
   기준 깊이 맵 데이터(414)를 생성하는 단계로서, 상기 기준 깊이 맵 데이터는 상기 원래 입력 깊이 데이터(407) 및 상기 원래 입력 깊이 데이터에 적용될 깊이 범위 변환 함수(416)에 기초하고, 기준 깊이 맵은 예술가로부터의 수동 입력의 수신을 포함하여 생성되는, 상기 기준 깊이 맵 데이터(414)를 생성하는 단계; 및
   상기 기준 깊이 맵 데이터(414) 및 기준 디스플레이 QVE 매핑(412)에 응답하여 뷰잉 경험 품질(QVE) 데이터(424)를 생성하는 단계를 포함하고,
   상기 기준 디스플레이 QVE 매핑은 상기 기준 디스플레이에 대해 결정된 바와 같이 입력 깊이 또는 변위 값들과 출력 QVE 값들 사이의 입력-출력 관계를 표현하는, 유도된 3D 디스플레이 적응을 위한 방법.
7. 제 6 항에 있어서,
   상기 기준 디스플레이 QVE 매핑(412)은 제 2 항 또는 제 3 항에 따라 생성되는, 유도된 3D 디스플레이 적응을 위한 방법.
8. 제 6 항에 있어서,
   예술가의 매핑 함수(422)를 생성하는 단계로서, 상기 예술가의 매핑 함수는 상기 원래 입력 깊이 데이터와 상기 QVE 데이터(424) 사이의 입력-출력 관계를 표현하는, 상기 예술가의 매핑 함수(422)를 생성하는 단계; 및
   상기 예술가의 매핑 함수(422)와 상기 원래 입력 깊이 데이터(407)를 수신기로 송신하는 단계를 더 포함하는, 유도된 3D 디스플레이 적응을 위한 방법.
9. 디코더에서 유도된 3D 디스플레이 적응을 위한 방법에 있어서:
   상기 디코더에서, 원래 입력 깊이 데이터(407) 및 예술가의 매핑 함수(422)의 표현을 수신하는 단계로서, 상기 예술가의 매핑 함수는 상기 원래 입력 깊이 데이터와 기준 디스플레이에 대한 인코더에 의해 생성된 QVE 데이터(424) 사이의 입력-출력 관계를 표현하는, 상기 수신하는 단계;
   디코딩된 QVE 데이터를 생성하기 위해 상기 예술가의 매핑 함수를 상기 원래 입력 깊이 데이터에 적용하는 단계; 및
   타겟 디스플레이(432)에 대한 타겟 깊이 데이터를 생성하기 위해 타겟 디스플레이(428)에 대한 역 QVE 매핑을 상기 디코딩된 QVE 데이터에 적용하는 단계를 포함하고,
   상기 타겟 디스플레이에 대한 상기 역 QVE 매핑은 상기 타겟 디스플레이에 대해 결정된 바와 같이 입력 QVE 값들과 출력 깊이 값들 사이의 입력-출력 관계를 표현하는, 디코더에서 유도된 3D 디스플레이 적응을 위한 방법.
10. 처리기를 포함하고 제 1 항 내지 제 3 항 중 어느 한 항에 따라 인용된 방법을 수행하도록 구성된, 장치.
11. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터-실행가능한 지시들이 저장된, 비-일시적 컴퓨터-판독가능한 저장 매체.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제

Images