KR20170075656A

KR20170075656A - 조정가능한 디스패리티 방향을 갖는 3차원 렌더링

Info

Publication number: KR20170075656A
Application number: KR1020160175863A
Authority: KR
Inventors: 실방 띠보; 디디에 도옌; 필립프 로베르
Original assignee: 톰슨 라이센싱
Priority date: 2015-12-23
Filing date: 2016-12-21
Publication date: 2017-07-03
Also published as: US10354435B2; JP2017163528A; US20170186220A1; CN107038720A; EP3185551A1; EP3185550A1

Abstract

본 개시는 시청자에게 의도된 렌더링된 3차원 콘텐트를 결정하는 방법(1)에 관한 것으로, 이 방법은:
적어도 레퍼런스 뷰(8)를 포함하는 레퍼런스 콘텐트 Ref_C를 입력하는 단계(2),
디스플레이 디바이스의 기준 축 X에 대한 시청자의 눈 배향 θ에 관련된 적어도 하나의 정보를 입력하는 단계(4),
레퍼런스 뷰(8), 및 디스플레이 디바이스의 기준 축 X에 대한 시청자의 눈 배향 θ에 관련된 정보의 함수로서 렌더링된 뷰(6)를 결정하는 단계(5)를 포함한다.

Description

조정가능한 디스패리티 방향을 갖는 3차원 렌더링{TRIDIMENSIONAL RENDERING WITH ADJUSTABLE DISPARITY DIRECTION}

본 개시의 분야는 3차원 렌더링(3D rendering)에 관한 것이다.

더 구체적으로, 본 개시는 렌더링된 뷰를 3D 디스플레이 디바이스에 대한 사용자의 머리의 배향에 관한 정보의 함수로서 적합화하기 위한 방법에 관한 것이다.

본 절은, 이하에서 설명 및/또는 청구되는 본 개시의 다양한 양태들에 관련될 수 있는 기술의 다양한 양태들을 독자에게 소개하기 위함이다. 본 논의는, 본 개시의 다양한 양태들의 더 나은 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는 데 도움이 될 것으로 믿어진다. 따라서, 이들 설명은 이러한 점에 비추어 읽혀져야 하고, 종래 기술로서의 인정으로서 받아들여져서는 안 된다.

최근 본 기술 분야에서 수 많은 개선이 이루어졌음에도 불구하고, 3D 렌더링은 집중적인 연구 대상으로 남아 있으며, 여전히 많은 문제가 해결되지 않았다. 배경 기술의 취득 시스템은 일반적으로 카메라들이 수평으로 정렬된(또는 거울들의 구현을 통한 균등물로서 간주되는) 3D 카메라 장비들로 구성된다. 결과적으로, 3D 뷰들 사이의 수평 디스패리티(horizontal disparity)만 평가될 수 있다.

일부 뷰 보간 알고리즘들이, 특히 3D의 레벨을 조정하기 위해 개발되었다. 이 보간은, 도 1에 나타낸 바와 같이, 수평 방향으로만 수행된다. 이 작업을 수행하는 데 요구되는 입력 포맷은 뷰의 수평 디스패리티(또는 깊이)를 포함해야 한다. 이 포맷은 예를 들어 멀티뷰 + 깊이 : 좌측 및 우측 3D 뷰들, 및 이러한 뷰들 사이의 픽셀당 디스패리티를 코딩하는 디스패리티 맵에 대한 것일 수 있다.

Philips/Dimenco는 "Layered Depth video(층진 깊이 비디오) - LDV"라는 포맷을 제안했다(도 2 참조). 이 포맷은, 중앙 카메라에 대응하는 비디오 뷰, 이 뷰와 연관된 깊이 맵, 폐색층(occlusion layer) 및 그 깊이 맵을 포함한다. 이 포맷은 Dimenco 멀티-뷰 모니터들의 입력 포맷 중 하나이다. 이 정보로 덕분에, 모니터는 중앙 뷰 주변의 주변 뷰(peripheral view)를 보간할 수 있다. 이러한 주변 뷰는, 수평 이동된, 주변 카메라들(도 2의 점선 카메라들)에 의해 취득된 뷰들에 대응한다.

전경 물체 뒤쪽의 일부 영역들은 중앙 뷰에서 폐색되어 있다. 이들 영역들은 주변 뷰 보간에 의해 폐색해제(disocclude)될 것이다. 이들 배경 영역들은 폐색층 및 그 깊이 맵 덕분에 재구성된다. 예를 들어, 가상 좌측 점선 카메라에 대응하는 뷰는 말(horse)의 좌측에 있는 배경 정보에 의해 재구성된다(도 3).

(중앙 카메라로부터의 가상 카메라의 거리에 대응하는) 보간된 뷰의 위치 범위는 폐색층 내의 정보량에 의존한다. 전경 물체 뒤쪽의 이용가능한 정보가 많을수록, 중앙 뷰로부터 더 많은 보간 뷰가 존재할 수 있다.

이 종래 기술의 예에서, 수평 정보만이 이용가능하기 때문에, 수평 뷰 보간만이 수행될 수 있다. 따라서, 3D 효과는 눈 축(eyes axis)이 수평인 경우에만 만족스럽게 렌더링될 수 있다.

따라서 배경 기술에 비해 개선을 보이는 3D 렌더링을 위한 방법을 제공하는 것이 바람직할 것이다.

본 명세서에서 "한 실시예", "실시예", "예시적 실시예" 등의 언급은, 설명되는 실시예가 특정한 피쳐, 구조, 또는 특징을 포함할 수 있지만, 모든 실시예가 반드시 그 특정한 피쳐, 구조, 또는 특징을 포함하는 것은 아니다. 게다가, 이와 같은 문구는 반드시 동일한 실시예를 가리키는 것은 아니다. 또한, 특정한 피쳐, 구조, 또는 특징이 실시예와 연계하여 설명될 때, 명시적으로 설명된 것이건 아니건 다른 실시예들과 관련하여 이러한 피쳐, 구조, 또는 특징에 영향을 미치는 것은 본 기술분야의 통상의 기술자의 지식의 범위 내에 있다고 말할 수 있다.

이 기술의 한 특정한 실시예에서, 시청자에게 의도된 렌더링된 3차원 콘텐트를 결정하기 위한 방법이 개시되며, 상기 방법은 하기 단계들을 포함한다:

레퍼런스 뷰를 포함하는 레퍼런스 콘텐트를 입력하는 단계,

디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 적어도 하나의 정보를 입력하는 단계,

레퍼런스 뷰 및 디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 정보의 함수로서 렌더링된 뷰를 결정하는 단계.

이하의 설명에서, 용어 "레퍼런스 뷰"란 고정된 뷰를 말하며, 이것은 "렌더링된 뷰"를 결정하기 위한 기준으로 이용된다. 이러한 "렌더링된 뷰"는, 계산 프로세스 또는 선택 프로세스에 의해 결정될 수 있다. 따라서, 용어 "렌더링된 뷰"란 이 결정 단계로부터 나오는 뷰를 말한다. "렌더링된 3차원 콘텐트"는, 입체시(stereoscopy)에 의해 시청자에게 관찰된 장면의 3차원 뷰를 제공하는 렌더링된 뷰와 레퍼런스 뷰의 조합이다. 본 개시의 한 실시예에서, 레퍼런스 뷰는 시청자의 좌안으로부터의 뷰(좌측 뷰라고도 함)에 대응하는 반면, 결정될 렌더링된 뷰는 시청자의 우안으로부터의 뷰("우측 뷰"라고도 함)에 대응한다. 본 기술분야의 통상의 기술자라면, 다른 실시예에서는, 그러한 대응관계가 뒤바뀌어, 시청자의 우안이 레퍼런스 뷰를 볼 수도 있다는 것을 이해할 것이다. 또 다른 실시예에서, 이러한 뷰들은, 임의의 물체, 예를 들어, 무인 차량에 탑재되고 인터페이스 유닛을 통해 오퍼레이터와 원격 접속된 센서에 할당될 수도 있다.

본 개시에 따른 방법은, 디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 따라 이 장면의 3차원 렌더링된 영상을 적합화함으로써 관찰된 장면을 고려하는 상이한 접근법에 의존한다. 이러한 방식으로, 시청자가 그의 머리를 기울이면, 본 방법의 구현은 장면을 3차원으로 관찰하는 착시를 생성하기 위하여 시청자의 눈으로 향할 적합화된 렌더링된 콘텐트를 결정하는 것을 허용한다. 고려되는 시청자의 눈 축의 방향은 사실상 디스플레이 디바이스의 기준 축과 비교되는 디스플레이 스크린 상으로의 이 축의 투영이다.

한 실시예에서, 이 방법은 디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 정보의 함수로서 디스패리티 방향(disparity direction)을 결정하는 단계, 및 렌더링된 뷰도 역시 디스패리티 방향의 함수라고 결정하는 단계를 포함한다.

한 실시예에서, 레퍼런스 콘텐트는, 레퍼런스 뷰 내의 깊이를 묘사하는 깊이 맵, 또는 적어도 하나의 주어진 뷰와 레퍼런스 뷰 사이의 디스패리티에 관한 정보, 또는 적어도 하나의 주어진 뷰를 포함하고, 렌더링된 뷰를 결정하는 단계도 역시, 깊이 맵 또는 디스패리티에 관한 정보, 또는 적어도 하나의 주어진 뷰의 함수이다.

용어 "깊이 맵"이란, 소정 시점(본 사례의 경우, 레퍼런스 뷰 또는 렌더링된 뷰)으로부터의 관찰된 장면의 거리에 관한 정보를 포함하는 영상을 말한다. 용어 "디스패리티(disparity)" 또는 "시차(parallax)"란, 디스플레이 디바이스(또는 포토 센서) 상에서의 2개의 서로 다른 뷰 상의 대응하는 픽셀들 사이의 이동을 말한다. 종래 기술로부터 알려진 바와 같이, 디스패리티 맵과 깊이 맵 사이에서 전환하는 것이 가능하며, 이들 2개 맵은 스테레오 영상에서 깊이 인지를 허용한다. 용어 "주어진 뷰"란 레퍼런스 뷰와 동일한 장면의 물체를 묘사하는 뷰를 말하지만, 또 다른 관점으로부터의 뷰이다.

"레퍼런스 뷰 [...], 깊이 맵 [...], 디스패리티에 관한 정보[...]"라는 표현을 접할 때, 본 기술분야의 통상의 기술자라면, 이들 상이한 데이터들은, 입력된 레퍼런스 콘텐트의 부분들, 또는 본 기술분야의 통상이 기술자의 일반적인 지식 및/또는 배경 기술로부터 공지된 방법에 기초하여 레퍼런스 콘텐트로부터 명백히 추론 또는 추출가능한 정보라는 것을 이해할 것이다. 동일한 표현에서, 용어 "포함하는"은, "내포하는, 또는 이로부터 후속 데이터가 추출될 수 있는"이라는 표현으로 대체될 수 있다. 예를 들어, 본 기술분야의 통상의 기술자라면, 복수의 뷰를 포함하는 레퍼런스 콘텐트로부터, 이들 뷰들 중 적어도 2개 사이의 디스패리티에 관한 정보를 명백히 추출할 수 있을 것이다.

이러한 방법은, 깊이 맵 또는 디스패리티에 대한 정보 또는 적어도 하나의 주어진 뷰를 이용하여 만족스러운 렌더링된 콘텐트 품질을 유지하면서 입력 데이터의 크기를 제한함으로써, 컴퓨팅 복잡성이 낮은 것을 특징으로 한다.

한 실시예에서, 레퍼런스 콘텐트는, 디스플레이 디바이스의 기준 축과 소정 각도를 형성하는 기울어진 축을 따른 레퍼런스 뷰의 은닉된 부분에 관한 폐색 정보를 포함하고, 렌더링된 뷰를 결정하는 단계도 역시 폐색 정보의 함수이다.

용어 "폐색 정보"란, 소정 시점으로부터, 예를 들어, 레퍼런스 뷰에서, 은닉되거나 폐색되어 있지만, 하나의 또는 다른 방향으로 이 물체를 따라 움직일 때 드러날 수 있는 장면의 소정 부분에 관한 정보를 말한다. 따라서, 이러한 방법은, 디스플레이 디바이스의 기준 축 이외의 또 다른 방향을 따른 정보를 고려하고, 시청자의 눈 배향에 관한 정보와 조합하여 이들을 활용하여 적절한 렌더링된 3차원 콘텐트를 결정함으로써, 배경 기술과는 상이하다. 또한, 이러한 방법은 폐색 정보의 이용 덕분에, 만족스러운 렌더링된 콘텐트 품질을 유지하면서 입력 데이터의 크기를 제한함으로써, 계산 복잡성이 낮은 것을 특징으로 한다.

한 실시예에서, 폐색 정보는, 디스플레이 디바이스의 기준 축과 소정 각도를 형성하는 적어도 2개의 기울어진 축을 따른 레퍼런스 뷰의 은닉된 부분에 관련된다.

인지된 3D 효과의 품질은 일반적으로 고려된 방향들의 개수에 따라 증가한다. 따라서, 폐색 정보에 의해 고려되는 방향의 추가는 결정될 렌더링된 뷰의 품질을 개선하는 것을 허용한다.

한 실시예에서, 결정은, 레퍼런스 뷰, 깊이 맵 또는 디스패리티에 관한 정보, 폐색 정보, 및 디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 정보의 함수로서 보간하는 것에 있다.

종래 기술의 교시와는 대조적으로, 본 개시의 실시예에 따른 방법은, 입력된 레퍼런스 콘텐트의 크기 감소를 허용하고, 방법의 복잡성을 감소시키면서 더 양호한 보간 품질을 특징으로 하는 단일 레퍼런스 뷰만을 요구한다.

한 실시예에서, 보간은 하기 단계들을 포함한다:

레퍼런스 뷰 깊이 맵으로부터 렌더링된 뷰의 깊이 또는 디스패리티 맵을 결정하는 단계,

폐색 정보에 기초하여 렌더링된 뷰의 은닉된 부분을 결정하는 단계.

이러한 방법은, 폐색 정보의 이용 덕분에 만족스러운 렌더링된 콘텐트 품질의 유지를 허용한다.

다른 실시예에서, 렌더링된 뷰의 은닉된 부분을 결정하는 것은, 인-페인팅(in-painting) 기술 덕분에 레퍼런스 뷰의 폐색된 영역을 보간하는 것에 있다. 따라서 폐색 정보는 이러한 방법을 실행할 것이 요구되지 않는다.

한 실시예에서, 보간은 레퍼런스 뷰 내의 대응하는 픽셀의 색상에 기초하여 렌더링된 뷰의 각각의 픽셀의 색상을 결정하는 단계를 더 포함한다.

한 실시예에서, 레퍼런스 뷰는 시청자의 좌안 또는 우안으로부터의 뷰에 대응하고, 결정될 렌더링된 뷰는 시청자의 반대편 눈으로부터의 뷰에 대응하며, 레퍼런스 뷰에서의 위치(u_L, v_L)에 위치된 물체의 렌더링된 뷰에서의 위치(u_R, v_R)는 다음과 같이 주어진다:

여기서,

및

는 베이스라인 벡터의 수평 및 수직 성분들로서,

는 Ｂ*cosθ와 같고

는 Ｂ*sinθ와 같으며, 여기서, Ｂ는 시청자의 눈들 사이의 거리이고, θ는 시청자의 눈 배향이며,

은 위치

에서의 깊이 값에 대응하고,

및

는 각각 시청자의 눈의 배향을 감지하도록 구성된 센서 상의 수평 및 수직 밀도와 초점 길이의 곱들이다.

한 실시예에서, 레퍼런스 콘텐트는 명-필드 데이터(light-field data)를 포함한다.

이러한 명-필드 데이터는 레퍼런스 뷰의 추출을 포함하거나 허용하고, 연관된 깊이 맵의 추출 또는 결정을 허용하며, 수 개의 방향에서 전경 물체의 은닉된 부분을 묘사하는 폐색 맵 및/또는 상이한 방향들로부터의 수 개의 뷰를 포함할 수 있다. 또 다른 실시예에서, 레퍼런스 뷰에 연관된 폐색된 데이터는 상이한 디스패리티 방향들을 갖는 복수의 주어진 뷰로부터 추출될 수 있다. 따라서, 인지된 3D 효과의 품질이 상당히 개선된다.

한 실시예에서, 레퍼런스 콘텐트는 복수의 주어진 뷰를 포함하고, 결정은, 주어진 뷰들 중에서 렌더링된 뷰를, 레퍼런스 콘텐트 및 디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 정보로서의 함수로서 결정하는 것을 포함한다.

용어 "복수의 주어진 뷰"란 레퍼런스 뷰에 비해 상이한 디스패리티 방향들을 갖는 잠재적 렌더링된 뷰들을 말한다. 본 개시의 방법을 구현할 때, 주어진 뷰들 중 하나는, 한편으로는 수평축과 디스패리티 방향에 의해 형성된 각도와, 다른 한편으로는 3D 디스플레이 디바이스의 기준 축과 눈 축에 의해 형성된 각도 사이의 차이를 최소화하도록 선택된다. 이러한 선택 프로세스는 계산하기 용이하지만, 잠재적으로는 시청자의 눈 배향에 덜 적합화된 결과적 렌더링된 뷰로 이어질 수 있다.

본 개시는 또한, 시청자에게 의도된 렌더링된 3차원 콘텐트를 결정하기 위한 장치에 관한 것으로, 다음과 같은 것들의 함수로서 렌더링된 뷰를 결정하기 위한 모듈을 포함한다:

적어도 레퍼런스 뷰를 포함하는 레퍼런스 콘텐트,

디스플레이 디바이스의 기준 축에 대한 시청자의 눈 배향에 관련된 적어도 하나의 정보.

본 기술분야의 통상의 기술자라면, 전술된 방법에 관해 구현된 유익한 기술적 피쳐들 각각은 이 장치 상에서 구현될 수 있고, 그에 따라 연관된 기술적 이점들을 부여한다는 것을 이해할 것이다.

한 실시예에서, 이 장치는 디스플레이 디바이스의 기준 축에 대해 시청자의 눈 배향을 결정하도록 구성된 적어도 하나의 센서를 포함한다.

이러한 센서란, 특정한 마커, 자이로스코프, 시청자의 얼굴 뿐만 아니라 그 배향을 검출하는 카메라-기반 시스템, 또는 본 기술분야에 공지된 기타 임의의 기술을 탑재한 전용 안경을 말할 수 있다.

한 실시예에서, 이 장치는 레퍼런스 뷰 및/또는 렌더링된 뷰를 디스플레이하는 입체(stereoscopic) 또는 무안경식 입체(auto-stereoscopic) 디스플레이 디바이스를 포함한다.

따라서, 이 실시예에 따른 장치는 다음과 같은 형태일 수 있다:

헤드-장착형 디스플레이, 가상 망막 디스플레이,

능동 3D 시청자, 예를 들어, 셔터 시스템, 또는 수동 3D 시청자, 예를 들어, 편광 시스템, 간섭 필터 시스템 또는 컬러 애널리프 시스템(colour anaglyph system)과 연관하여, 렌더링된 콘텐트가 적합화된 디스플레이 디바이스, 예를 들어, 모니터 텔레비전 또는 모바일 디스플레이를 구현하는 시스템,

렌티큘러 렌즈, 시차 장벽 또는 마이크로렌즈 어레이를 구현하는 고정된 또는 모바일 무인경식 입체 디스플레이.

상기 목록은 예시로서 주어지며 본 개시의 범위를 제한하지 않는 것으로 이해되어야 한다.

본 개시는 또한, 다음과 같은 것들의 함수로서 렌더링된 뷰를 결정하기 위한 모듈을 포함하는, 렌더링된 3차원 콘텐트를 결정하기 위한 장치를 포함하는 명-필드 캡처 디바이스에 관한 것이다:

적어도 레퍼런스 뷰를 포함하는 레퍼런스 콘텐트,

본 개시는 또한, 렌더링된 3차원 콘텐트를 결정하기 위한 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 통신 네트워크로부터 다운로드가능하고/하거나 컴퓨터에 의해 판독가능한 매체 상에 기록되고/되거나 프로세서에 의해 실행가능한 컴퓨터 프로그램 제품에 관한 것이다.

또한, 본 개시는 렌더링된 3차원 콘텐트를 결정하기 위한 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 프로세서에 의해 실행될 수 있는 기록되어 있는 컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터-판독가능한 캐리어 매체에 관한 것이다.

명시적으로 설명되지는 않았지만, 본 실시예는 임의의 조합 또는 하위-조합으로 채용될 수도 있다.

본 발명은, 예로서 주어지고 보호 범위를 제한하지 않는 이하의 설명과 도면을 참조하면 더 잘 이해될 수 있으며, 여기서:
도 1 및 도 2는 본 기술분야에 공지된, 수평 눈에 대한 뷰 합성(view synthesis)을 나타내는 도면,
도 3은 본 기술 분야에서 공지된, LDV 포맷으로부터의 뷰 재구성을 나타내는 도면,
도 4는 본 개시의 한 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 방법을 수행할 때 구현되는 연속적인 단계들의 흐름도,
도 5는 스테레오 쌍의 시청자의 좌안 영상과 우안 영상 사이의 시차(parallax)와 인지된 깊이 사이의 관계를 나타내는 도면,
도 6은 시청자의 눈의 축 방향에 의존하는 한 세트의 좌측 및 우측 뷰들을 나타내는 도면,
도 7은 눈 축과 수평축 사이의 각도 θ가 범위 [-90°, +90°]에 있는 3개의 상이한 경우를 나타내는 도면,
도 8은 본 개시의 제1 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 방법을 수행할 때 구현되는 연속적인 단계들의 흐름도,
도 9는 본 개시의 제2 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 방법을 수행할 때 구현되는 연속적인 단계들의 흐름도,
도 10은 디스패리티 방향과 수평축 사이의 각도가 범위 [-90°, +90°]에 있는 한 세트의 주어진 뷰들과 좌측 뷰를 나타내는 도면,
도 11은 본 개시의 한 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 장치의 예를 나타내는 개략적 블록도.
도면들 내의 컴포넌트들은 반드시 축척비율대로 그려진 것은 아니고, 본 개시의 원리를 예시하기 위해 강조가 이루어진 것도 있다.

본 개시는 시청자의 눈 배향 θ의 함수로서 렌더링된 3차원 콘텐트를 결정하기 위한 방법 1에 관한 것이다. 이러한 실시예들의 철저한 이해를 제공하기 위해 하기의 설명 및 도 1 내지 도 9에서 본 개시의 소정 실시예들의 많은 특정한 상세사항이 제시된다. 본 개시는 추가의 실시예들을 가질 수도 있고, 이하의 설명에서 기술되는 몇 가지 상세사항없이도 실시될 수 있다는 것을 이해해야 한다.

도 4에 나타낸 바와 같이, 이러한 방법 1은 하기 단계들을 포함한다:

적어도 레퍼런스 뷰(8)를 포함하는 레퍼런스 콘텐트(Ref_C)를 입력하는 단계 2,

디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 배향 θ에 관련된 적어도 하나의 정보를 입력하는 단계 4,

레퍼런스 뷰(8), 및 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 배향 θ에 관련된 정보의 함수로서 렌더링된 뷰(6)를 결정하는 단계 5.

이하의 설명에서, 레퍼런스 뷰(8)는, "좌측 뷰"라고도 하는 시청자의 좌안으로부터의 뷰에 대응하는 반면, 결정될 렌더링된 뷰(6)는, "우측 뷰"라고도 하는 시청자의 우안으로부터의 뷰에 대응한다. 또 다른 실시예에서는, 그러한 대응관계가 뒤바뀌어, 시청자의 우안이 레퍼런스 뷰를 볼 수도 있다. 또 다른 실시예에서, 이러한 뷰들은, 임의의 물체, 예를 들어, 무인 차량에 탑재되고 인터페이스 유닛을 통해 오퍼레이터와 원격 접속된 센서에 할당될 수도 있다.

도 5는 시청자의 좌안 및 우안 영상들 사이의 시차 P와 인지된 깊이 Z_p 사이의 관계를 도시하며, 여기서 Z_p는 인지된 깊이이고, t_e는 눈-사이의 거리이며, Z_S는 시청자로부터 스크린까지의 거리이다. 이러한 방식으로, 인지된 깊이 Z_p, 시차 P 및 스크린까지의 거리 Z_S 사이의 관계는 다음과 같이 표현된다 :

여기서, d는 전송된 디스패리티 정보이고, W_S는 스크린의 폭이며, N_col은 스크린의 픽셀 열들의 개수이다.

예시와 관련하여, 본 개시의 3개의 특정한 실시예들이 설명되며, 이들 각각은 보간 프로세스 또는 선택 프로세스에 의해 렌더링된 뷰(6)를 결정하기 위한 단계 5의 대안적인 실시예를 기술한다.

5.1. 본 개시의 제1 실시예

본 개시의 제1 실시예에서, 좌측 뷰(8) 및 우측 뷰(6) 양쪽 모두를 포함하는 렌더링된 3차원 콘텐트를 결정하기 위한 방법 1의 렌더링된 뷰(6)를 결정하는 단계 5는 보간 단계에 있다.

도 6은 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈의 축 방향의 배향에 의존하는 한 세트의 좌측 및 우측 뷰(8, 6)를 나타낸다. 전경 물체는 사각형으로 상징화되어 있다. 이 실시예에서, 우측 뷰(6)는 보간되고 좌측 뷰(8)는 고정된 기준으로서 간주된다.

단계 2에서 입력된 레퍼런스 콘텐트(Ref_C)는, 좌측 뷰(8), 대응하는 깊이 맵(Z_L) 및 좌측 뷰에서는 마스킹되었지만 우측 뷰(6)를 재구성하는 데 필요한 정보를 포함하는 폐색 맵(V_O)으로 구성된다.

보간 단계(5.1)는 눈 축의 배향(θ)에 의존하기 때문에, 폐색 맵(V_O)은, 오직 하나의 기울어진 축을 따라서가 아니라, 모든 방향에서의 폐색 정보를 우선적으로 포함한다. 한 실시예에서, 단계 2에서 입력된 레퍼런스 콘텐트(Ref_C)는, 명-필드 데이터, 예를 들어 디멀티플렉싱된 명-필드 영상이며, 이것은, 좌측 뷰(8), 대응하는 깊이 맵(Z_L), 및 모든 방향에서의 전경 물체의 은닉된 부분들을 묘사하는 폐색 맵(V_O)을 포함한다. 다른 실시예에서, 폐색 정보는 감소된 개수의 방향들로 제한되어, 한편으로는 레퍼런스 콘텐트의 크기를 감소시키면서 다른 한편으로는 보간된 렌더링된 뷰(6)의 품질에 영향을 준다. 대안으로서, 레퍼런스 뷰(8)에서 폐색된 데이터는 폐색 맵(Z₀)에서 제공되는 것이 아니라 상이한 디스패리티 방향들을 갖는 복수의 주어진 뷰(9)로부터 추출될 수 있다. 이 경우, 단계 2에서 입력된 레퍼런스 콘텐트(Ref_C)는 폐색 맵(Z₀)을 명시적으로 포함하지는 않지만, 이 폐색 맵 또는 균등물은 복수의 주어진 뷰(9)로부터 추출된다. 좌측 뷰(8)의 소정 위치 (u_L, v_L)에 있는 전경 물체의 우측 뷰(6)에서의 위치 (u_R, v_R)는 다음의 수학식 (1)로 주어진다:

여기서,

및

는 베이스라인 벡터의 수평 및 수직 성분들로서,

는 Ｂ*cosθ와 같고

는 Ｂ*sinθ와 같으며, 여기서, Ｂ는 시청자의 눈들 사이의 거리이고,

은 위치

에서의 깊이 값에 대응하고,

및

도 7에 나타낸 바와 같이, 벡터

는 디스플레이 디바이스의 기준 축(X)에 대한 눈 축의 배향으로부터 계산된다. 도 6은 눈 축과 기준 축(X) 사이의 각도 θ가 범위 [-90°, +90°]에 있는 4개의 상이한 경우를 나타낸다. 디스플레이 디바이스 또는 임의의 다른 디바이스 상에 장착된 센서는 각도 θ 또는 이 각도 θ의 추론을 허용하는 기타 임의의 정보를 측정하도록 구성될 수 있다. 예를 들어, 특정한 마커, 자이로스코프 또는 시청자의 얼굴 뿐만 아니라 그 배향을 검출하는 카메라-기반 시스템이 장착된 전용 안경은 눈 배향 센서로 이용될 수 있다. 일단 측정되고 나면, 방법 1을 구현하는 장치(7)에서 단계 4에서 각도 θ가 입력된다.

도 8에 나타낸 바와 같이, 및 보간 단계 5를 실행하기 위하여, 장치(7)는 먼저, 단계 5.1에서 레퍼런스 뷰 깊이 맵(Z_L)으로부터, 또는 레퍼런스 뷰(8)와 적어도 주어진 뷰(9) 사이에서 계산된 디스패리티 맵으로부터, 렌더링된 뷰(6)의 깊이 맵(Z_R)을 결정한다. 이러한 방식으로, 좌측 뷰(8)의 각각의 픽셀에 대해, 대응하는 지점의 2차원(2D) 위치가 수학식 (1)에 기초하여 결정된다. 그 다음, 이 깊이 값은, 다음과 같은 수학식으로 표현되는 바와 같이, 깊이 값이 2개의 대응 지점들 사이에서 변하지 않는다는 가정에 기초하여 우측 뷰의 가장 근접한 픽셀에 할당된다 :

그 다음, 우측 뷰(6)의 각각의 픽셀에 대해, 장치(7)는 다음과 같은 수학식을 통해 좌측 뷰(8)에서 대응하는 지점의 2D 위치를 결정한다 :

그 다음, 장치(7)는 단계 5.2에서 좌측 뷰(8)의 대응하는 지점의 색상으로부터 우측 뷰(6)의 각각의 픽셀의 색상을 결정한다.

색상 결정 단계 5.2에 후속하여, 위치 결정 단계의 끝에서 깊이 값을 얻지 못한 픽셀은 좌측 뷰에서 은닉된 폐색해제된 영역(3)에 대응한다. 그 다음, 누락된 깊이 데이터가, 단계 5.3에서, 위치 결정 단계 출력으로부터의 이웃하는 이용가능한 깊이 데이터로부터 보간된다. 폐색 맵(V_O) 내의 대응하는 픽셀들이, 단계 5.4에서 이용되어, 보간된 우측 뷰(6)의 이들 폐색해제된 영역(3)을 채운다. 대안으로서, 레퍼런스 콘텐트(Ref_C)가 폐색 맵(V_O)을 포함하지 않을 때, 단계 5.4에서, 보간된 우측 뷰(6)의 폐색해제된 영역(3)을 채우는 것은 이웃하는 이용가능한 픽셀들의 보간에 의해 수행된다.

그 다음, 좌측 뷰(8)와 우측 뷰(6)의 조합은 시청자의 눈 배향 θ에 적합화된 렌더링된 3차원 콘텐트를 형성한다.

본 실시예에 따르면, 레퍼런스 콘텐트(Ref_C) 내에 디스패리티 맵이 제공된다. 그러나, 또 다른 실시예에서, 이러한 디스패리티 맵은 레퍼런스 뷰(8) 및 적어도 하나의 주어진 뷰(9)에 기초하여 입력 단계 2 이후에 계산될 수 있다. 이 경우, 디스패리티 맵은 레퍼런스 콘텐트(Ref_C)에서 강제사항은 아니다.

5.2. 본 개시의 제2 실시예

본 개시의 제2 실시예에서, 도 9에 나타낸 바와 같이, 렌더링된 뷰(6)를 결정하는 단계(5)는, 복수의 주어진 뷰(9) 중에서 렌더링된 우측 뷰(6)를, 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈의 배향 θ의 함수로서 선택하는 단계를 포함한다. 이 실시예에서, 주어진 뷰(9)는, 도 9에 나타낸 바와 같이, 좌측 뷰(8)에 비해 상이한 디스패리티 방향들을 갖는 한 세트의 잠재적 우측 뷰로 구성된다. 이들 디스패리티 방향들 각각은 디스플레이 디바이스의 기준 축(X)과 각도 θ'를 형성한다.

단계 4에서 시청자의 눈의 배향 θ의 입력에 후속하여, 장치(7)는, 기준 축(X)과, 디스패리티 방향 및 눈 축 사이에 각각 형성된 각도들(θ 및 θ') 사이의 차이를 최소화하도록 주어진 뷰(9) 중 하나를 선택한다.

5.3. 본 개시의 제3 실시예

본 개시의 제3 실시예에서, 단계 2에서 입력된 콘텐트는 레퍼런스 뷰(8) 및 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 축 배향 θ로 구성된다. 시청자 눈의 배향 θ는 결정할 렌더링된 뷰(6)의 디스패리티 방향에 대응한다.

이 실시예에 따르면, 2011 ICIP 회의: "VISUAL PERTINENT 2D-TO-3D VIDEO CONVERSION BY MULTI-CUE FUSION", by Z.Zhang에서 기술된 바와 같이, 먼저, 레퍼런스 뷰(8) 및 시청자의 눈 축 배향 θ의 함수로서 깊이 맵(Z_L)이 추정된다.

렌더링된 뷰(6)는 본 개시의 제1 실시예의 설명(5.1절 참조)에서 기술된 바와 같이, 레퍼런스 뷰(8) 및 깊이 맵(Z_L)의 함수로서 보간된다.

5.4 본 개시의 한 실시예에 따른 장치

도 10은 본 개시의 한 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 장치의 예를 나타내는 개략적 블록도이다.

도 10에 나타낸 장치(7)는, 버스(14)에 의해 접속된, 프로세서(10), 저장 유닛(11), 인터페이스 유닛(12) 및 센서(13)를 포함한다. 물론, 컴퓨터 장치(7)의 구성 요소들은, 버스(14)를 이용한 버스 접속 이외의 접속에 의해 접속될 수도 있다.

프로세서(10)는 장치(7)의 동작을 제어한다. 저장 유닛(11)은, 프로세서(10)에 의해 실행되는 적어도 하나의 프로그램, 및 레퍼런스 콘텐트(Ref_C)에 포함되는 데이터, 프로세서(10)에 의해 수행되는 계산에 의해 이용되는 파라미터들, 프로세서(10)에 의해 수행되는 계산의 중간 데이터 등을 포함한 다양한 데이터를 저장한다. 또한, 저장 유닛(11)은, 특히, 레퍼런스 콘텐트(Ref_C)의 성분들 및 시청자 눈 축 배향 θ을 저장할 수 있다. 프로세서(10)는, 임의의 공지되고 적절한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 형성될 수 있다. 예를 들어, 프로세서(10)는, 처리 회로 등의 전용 하드웨어에 의해, 또는 그 메모리에 저장된 프로그램을 실행하는 CPU(Central Processing Unit) 등의 프로그램가능한 처리 유닛에 의해 형성될 수도 있다.

저장 유닛(11)은, 프로그램, 데이터 등을 컴퓨터 판독가능한 방식으로 저장할 수 있는 임의의 적절한 저장장치 또는 수단에 의해 형성될 수 있다. 저장 유닛(11)의 예로는, 반도체 메모리 디바이스, 및 판독 및 기입 유닛에 로딩되는 자기, 광학, 또는 광자기 기록 매체 등의 비일시적 컴퓨터-판독가능한 저장 매체를 포함한다. 프로그램은, 프로세서(10)로 하여금, 도 4를 참조하여 전술된 본 개시의 실시예에 따른 렌더링된 3차원 콘텐트를 결정하기 위한 프로세스를 수행하게 한다.

인터페이스 유닛(12)은 장치(7)와 외부 장치 사이에 인터페이스를 제공한다. 인터페이스 유닛(12)은 케이블 또는 무선 통신을 통해 외부 장치와 통신할 수 있다. 이 실시예에서, 외부 장치는 명-필드 캡처 디바이스(15)일 수 있다. 이 경우, 명-필드 데이터는 명-필드 캡처 디바이스(15)로부터 인터페이스 유닛(12)을 통해 장치(7)에 입력된 다음 저장 유닛(11)에 저장될 수 있다.

장치(7)와 명-필드 캡처 디바이스(15)는 케이블 또는 무선 통신을 통해 서로 통신할 수 있다.

비록 하나의 프로세서(10)만이 도 10에 도시되었지만, 통상의 기술자라면, 이러한 프로세서는, 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 배향(θ)의 함수로서 렌더링된 뷰(6)를 결정(5)하기 위하여 레퍼런스 콘텐트의 상이한 성분들 및 시청자의 눈 배향 (θ)를 처리하는, 모듈(16) 등의, 본 개시의 실시예들에 따른 장치(7)에 의해 수행되는 기능을 구현하는 상이한 모듈들 및 유닛들을 포함할 수도 있다는 것을 이해할 것이다. 이 모듈은, 서로 통신하고 협력하는 수 개의 프로세서(10)로 구현될 수도 있다.

본 기술분야의 통상의 기술자라면 이해할 수 있는 바와 같이, 본 원리의 양태들은, 시스템, 방법 또는 컴퓨터 판독가능한 매체로서 구현될 수 있다. 따라서, 본 원리의 양태들은, 전적으로 하드웨어 실시예, (펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함한) 전적으로 소프트웨어 실시예, 또는 소프트웨어 및 하드웨어 양태들을 결합한 실시예의 형태를 취할 수 있다.

본 원리가 하나 이상의 하드웨어 컴포넌트에 의해 구현될 때, 하드웨어 컴포넌트는, 중앙 처리 장치, 및/또는 마이크로프로세서, 및/또는 주문형 집적 회로(ASIC), 및/또는 ASIP(Application-specific integrated circuit), 및/또는 그래픽 처리 유닛(GPU), 및/또는 물리 처리 유닛(PPU), 및/또는 디지털 신호 프로세서(DSP), 및/또는 이미지 프로세서, 및/또는 코프로세서, 및/또는 부동 소수점 유닛, 및/또는 네트워크 프로세서, 및/또는 오디오 프로세서, 및/또는 멀티-코어 프로세서 등의 집적 회로에 해당하는 프로세서를 포함한다. 게다가, 하드웨어 컴포넌트는 또한, 무선 신호를 수신 또는 전송하는 (예를 들어, 메모리 유닛 및 펌웨어 포함하는) 기저대역 프로세서 및/또는 (안테나를 포함할 수 있는) 무선 전자 회로를 포함할 수 있다. 한 실시예에서, 하드웨어 컴포넌트는, ISO/IEC 18092/ECMA-340, ISO/IEC 21481/ECMA-352, GSMA, StoLPaN, ETSI/SCP(Smart Card Platform), GlobalPlatform(즉, 보안 요소) 등의 하나 이상의 표준과 호환된다. 변형 예에서, 하드웨어 컴포넌트는 무선 주파수 식별(RFID) 태그이다. 한 실시예에서, 하드웨어 컴포넌트는, 블루투스 통신 및/또는 Wi-fi 통신, 및/또는 Zigbee 통신, 및/또는 USB 통신 및/또는 Firewire 통신 및/또는 NFC(Near Field) 통신을 가능하게 하는 회로를 포함한다.

또한, 본 원리의 양태들은 컴퓨터 판독가능한 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능한 저장 매체(들)의 임의의 조합이 이용될 수도 있다.

따라서, 예를 들어, 임의의 플로차트, 흐름도, 상태 천이도, 의사 코드 등은, 실질적으로 컴퓨터 판독가능한 저장 매체로 표현되고 명시적으로 도시되었든 아니든 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 것을 이해할 것이다.

본 개시가 하나 이상의 예를 참조하여 설명되었지만, 통상의 기술자라면, 본 개시 및/또는 첨부된 청구항들의 범위로부터 벗어나지 않고 형태와 상세사항에 있어서 변경이 이루어질 수 있다는 것을 인식할 것이다.

Claims

시청자에게 의도된 렌더링된 3차원 콘텐트를 결정하기 위한 방법(1)으로서,
적어도 레퍼런스 뷰(8)를 포함하는 레퍼런스 콘텐트(Ref_C)를 입력하는 단계(2),
디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 배향(θ)에 관련된 적어도 하나의 정보를 입력하는 단계(4),
상기 레퍼런스 뷰(8), 및 상기 디스플레이 디바이스의 기준 축(X)에 대한 시청자의 눈 배향(θ)에 관련된 정보의 함수로서 렌더링된 뷰(6)를 결정하는 단계(5), 및
상기 레퍼런스 뷰와 상기 렌더링된 뷰를 결합함으로써 상기 렌더링된 3차원 콘텐트를 생성하는 단계
를 포함하는 방법(1).
제1항에 있어서,
상기 레퍼런스 콘텐트(Ref_C)는, 상기 레퍼런스 뷰(8)에서 깊이를 묘사하는 깊이 맵(Z_L), 또는 적어도 하나의 주어진 뷰(9)와 상기 레퍼런스 뷰(8) 사이의 디스패리티에 관한 정보, 또는 상기 적어도 하나의 주어진 뷰(9)를 포함하고,
상기 렌더링된 뷰(6)를 결정하는 단계(5)는 또한, 상기 깊이 맵(Z_L) 또는 상기 디스패리티에 관한 정보, 또는 상기 적어도 하나의 주어진 뷰(9)의 함수인, 방법(1).
제1항 또는 제2항에 있어서,
상기 레퍼런스 콘텐트(Ref_C)는, 상기 디스플레이 디바이스의 기준 축(X)과 각도를 형성하는 적어도 하나의 기울어진 축을 따른 상기 레퍼런스 뷰(8)의 은닉된 부분(3)에 관한 폐색 정보(V_O)를 포함하고,
상기 렌더링된 뷰(6)를 결정하는 단계(5)는 또한, 상기 폐색 정보(V_O)의 함수인, 방법(1).
제3항에 있어서, 상기 폐색 정보(V_O)는, 상기 디스플레이 디바이스의 기준 축(X)과 각도를 형성하는 적어도 2개의 기울어진 축을 따른 상기 레퍼런스 뷰(8)의 은닉된 부분(3)에 관련된, 방법(1).
제3항 또는 제4항에 있어서, 상기 결정하는 단계(5)는, 상기 레퍼런스 뷰(8), 상기 깊이 맵(Z_L) 또는 상기 디스패리티에 관한 정보, 상기 폐색 정보(V_O), 및 상기 디스플레이 디바이스의 상기 기준 축(X)에 대한 상기 시청자의 눈 배향(θ)에 관련된 정보의 함수로서 보간하는 것에 있는, 방법(1).
제5항에 있어서, 상기 보간은,
레퍼런스 뷰 깊이 맵(Z_L)으로부터 상기 렌더링된 뷰(6)의 깊이 맵(Z_R)을 결정하는 단계, 및
상기 폐색 맵 정보(V_O)에 기초하여 상기 레퍼런스 뷰(8)의 은닉된 부분(3)을 결정하는 단계
를 포함하는, 방법(1).
제6항에 있어서, 상기 보간은 상기 레퍼런스 뷰(8) 내의 대응하는 픽셀의 색상에 기초하여 상기 렌더링된 뷰(6)의 각각의 픽셀의 색상을 결정하는 단계를 포함하는, 방법(1).
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 레퍼런스 뷰(8)는, 상기 시청자의 좌안 또는 우안으로부터의 뷰에 대응하고, 결정될 상기 렌더링된 뷰(6)는 상기 시청자의 반대쪽 눈으로부터의 뷰에 대응하며,
상기 레퍼런스 뷰에서의 위치
에 위치된 물체의 상기 렌더링된 뷰(6)에서의 위치
는,

에 의해 주어지고,

및
는 베이스라인 벡터의 수평 및 수직 성분들이고,
는 Ｂ*cosθ와 같고
는 Ｂ*sinθ와 같으며, Ｂ는 시청자의 눈들 사이의 거리이고,

은 위치
에서의 깊이 값에 대응하고,

및
는 각각 상기 시청자의 눈의 배향을 감지하도록 구성된 센서 상의 수평 및 수직 밀도와 초점 길이의 곱들인, 방법(1).
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 레퍼런스 콘텐트(Ref_C)는 명-필드 데이터(light-field data)를 포함하는, 방법(1).
제3항 또는 제4항에 있어서,
상기 레퍼런스 콘텐트(Ref_C)는 복수의 주어진 뷰(9)를 포함하고,
상기 결정하는 단계(5)는, 상기 레퍼런스 콘텐트(Ref_C), 및 상기 디스플레이 디바이스의 기준 축(X)에 대한 상기 시청자의 눈 배향(θ)에 관련된 정보의 함수로서, 상기 주어진 뷰(9) 중에서 상기 렌더링된 뷰(6)를 선택하는 것에 있는, 방법(1).
모듈(16)을 포함하는, 시청자에게 의도된 렌더링된 3차원 콘텐트를 결정하기 위한 장치(7)로서, 상기 모듈(16)은,
적어도 레퍼런스 뷰(8)를 포함하는 레퍼런스 콘텐트(Ref_C),
디스플레이 디바이스의 기준 축(X)에 대한 상기 시청자의 눈 배향(θ)에 관련된 적어도 하나의 정보
의 함수로서 렌더링된 뷰(6)를 결정(5)하기 위한 것인, 장치(7).
제11항에 있어서, 상기 디스플레이 디바이스의 기준 축(X)에 대해 상기 시청자의 눈 배향(θ)을 결정하도록 구성된 적어도 하나의 센서(13)를 포함하는 장치(7).
모듈(16)을 포함하는, 렌더링된 3차원 콘텐트를 결정하기 위한 장치(7)를 포함하는, 명-필드 캡처 디바이스(15)로서, 상기 모듈(16)은,
적어도 레퍼런스 뷰(8)를 포함하는 레퍼런스 콘텐트(Ref_C),
디스플레이 디바이스의 기준 축(X)에 대한 상기 시청자의 눈 배향(θ)에 관련된 적어도 하나의 정보
의 함수로서 렌더링된 뷰(6)를 결정(5)하기 위한 것인, 명-필드 캡처 디바이스(15).
제1항 내지 제10항 중 어느 한 항에 따른 방법(1)을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 통신 네트워크로부터 다운로드가능하고/하거나 컴퓨터에 의해 판독가능한 매체 상에 기록되고/되거나 프로세서(10)에 의해 실행가능한 컴퓨터 프로그램 제품.
제1항 내지 제10항 중 어느 한 항에 따른 방법(1)을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 프로세서(10)에 의해 실행될 수 있는 기록되어 있는 컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터-판독가능한 캐리어 매체.