KR20070062452A - 스테레오스코픽 뷰잉을 관리하는 시스템 및 방법 - Google Patents

Abstract

본 발명은 뷰잉 시스템의 기하 및 컨텐트를 생성하는데 사용된 기하 모두에 기초하여, 스테레오스코픽 컨텐트가 언제 어떻게 보여져야 하는지를 제어하는 것을 돕는 방법들 및 시스템들에 관한 것이다. 일 예시적 실시예는 이미지 컨텐트의 기하를 결정하기 위하여, 이미지 데이터를 캡처하는데 사용되는 시스템의 명세를 활용하고, 이 컨텐트 기하를 저장된 이미지 데이터와 함께 인코딩한다. 그 후, 이 컨텐트 기하 데이터는 뷰잉 시스템에 적절한 기하들을 결정하기 위해 디스플레이 시스템들에 의해 분석된다. 일 실시예에 따라 구성된 데이터는 이미지 또는 장면의 스테레오스코픽 예상 뷰를 표현하는 일련의 디지털로 저장된 비디오 프레임들이다. 이 예상 뷰는 특정한 컨텐트 기하를 사용하여 렌더링되었고, 이 기하는 디지털로 인코딩되어 디지털 이미지 데이터와 함께 저장되거나 디지털 이미지 데이터에 임베딩된다.

스테레오스코픽 뷰잉, 컨텐트 기하, 뷰잉 기하, 이미지 데이터, 예상 뷰

Description

스테레오스코픽 뷰잉을 관리하는 시스템 및 방법{System and method for managing stereoscopic viewing}

본 특허 출원은, 2004년 2월 3일 출원된 발명의 명칭이 "SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING"이고 대리인 문서 번호가 제TGS-HP1호인 공개 특허 출원과, 2005년 2월 2일 출원된 발명의 명칭이 "SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING"이고 대리인 문서 번호가 제054792-P007US호인 미공개 특허 출원에 대한 우선권을 주장한다. 그 개시 내용은 본 명세서에 참조로서 통합된다. 본 출원은, 현재 계류중이고 공동으로 양도된 2003년 11월 18일 출원되고 발명의 명칭이 "OPTICAL ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS"이고 출원 일련 번호가 제10/715,911호; 2003년 11월 18일 출원되고 발명의 명칭이 "MULTIPLE IMAGING ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS"이고 출원 일련 번호가 제10/716,192호; 2004년 9월 22일 출원되고 발명의 명칭이 "SYSTEM AND METHOD FOR PROCESSING VIDEO IMAGES"이고 출원 일련 번호가 제10/946,955호에 관련된다. 이 개시 내용들은 본 명세서에 참조로서 통합된다.

본 발명은, 스테레오스코픽 이미지 컨텐트를 저장하고, 관리하며, 디스플레이하는 방법에 관한 것이며, 특히 이미지 데이터와 이를 생성하는데 사용된 기하를 기술하는 정보와 조합하는 방법에 관한 것이다.

2차원 메커니즘들(스크린과 같이)을 사용하여 디스플레이된 이미지 컨텐트는 인간의 양안 시각(human binocular vision)을 재현하기 위하여 스테레오스코픽(개별적인 좌우 이미지들을 사용한) 방법을 사용하여 3차원으로 제공될 수 있다. 사람들이 주위를 볼 때, 눈들 사이의 공간은 주어진 장면의 약간 상이한 뷰를 제공한다. 왼쪽 눈이 보는 것과 오른쪽 눈이 보는 것 사이의 불일치(disparity)는 대상들의 상대적인 거리를 판단하는데 사용되기 위한 두뇌에 대한 신호이다. 두뇌는 우리가 인식하는 3차원 예상을 생성하기 위해 스테레오스코픽 융합(stereoscopic fusion)을 통해 상이한 이미지들을 병합한다.

대부분의 스테레오스코픽 뷰잉 메커니즘들(stereoscopic viewing mechanisms)은 실제의 세계를 보는 사람의 눈들에 의해 완성되는 스테레오스코픽 융합만을 근사시킬 수 있다. 실제의 세계에서, 관심 있는 대상에게로 초점을 맞추고(조정하고) 수렴될(방향을 맞출) 것이고, 이것은 깊이(depth)를 인식하기 위하여 두뇌에 신호를 보내는 조합이 된다. 그러나, 대부분의 뷰잉 시스템들에서, 초점 길이(스크린에 대한 거리)는 고정된 상태로 남아 있고, 눈들의 수렴만이, 대상이 스크린 앞에 있는지 또는 뒤에 있는지의 인식을 제공하기 위해 변화된다. 이 차이는 뷰잉 시스템에 의해 원하는 스테레오스코픽 융합이 파괴되게 할 수 있다 - 우리의 두뇌들은 수용 및 수렴이 연결되는 실제의 세상을 보는 것에 의해 훈련된다; 그것들이 너무 많이 다를 때, 좌우 이미지들은 단일 대상으로 융합되지 않을 것이고 두겹의 이미지가 스크린에 보일 것이다.

스테레오스코픽 융합은 또한 시야가 통상적인 인간의 시청각 시스템들(human vision systems)보다 더 작은 경우에 파괴될 수 있다. 눈들은 180도 이상의 시야를 제공하여, 주변 시각을 포함해서 매우 광범위한 시야를 제공한다. 대상들의 에지들은 좌우 이미지를 병합하기 위한 매우 중요한 단서들이다 - 예를 들면, TV5와 같은 협소한 시야에서, 대상은 대상의 일부 에지들이 적어도 한쪽 눈에서 사라지기 전에 스테레오스코픽 공간으로 매우 멀리 가져가게 될 수 없다. 이것이 발생했을 때, 눈들은 스크린의 에지를 이미지의 일부로서 해석하고 스테레오 융합은 다시 파괴된다.

그 외에도, 스테레오스코픽 데이터용 특정 뷰잉 시스템의 성질은 알려지지 않거나 변화되는 것으로 알려져 있다. 예를 들면, 영화 컨텐트는 다양하게 상이한 스크린 크기들로 사용자들에게 보일 수 있다. 헤드 장착 디스플레이들(head-mounted-display; HMDs)과 같은 최근 응용들에서, 초점 거리들 및 다른 기하 인자들은 장치 유형들 사이에서 상당히 변화된다. 따라서, 컨텐트는 매우 상이한 기하들을 갖는 상이한 디스플레이 시스템들 상에서 볼 수 있는 방식으로 수집되고 표현되어야 한다. 그러나, 변화하는 기하들을 수용하면서 이루어진 절충안들은 흔히 눈을 피로하고 불편하게 하고, 스테레오스코픽 효과의 극적인 감소들을 유발한다.

본 발명은 뷰잉 시스템의 기하 및 컨텐트를 발생하는데 사용된 기하 모두에 기초하여, 스테레오스코픽 컨텐트(stereoscopic content)가 언제 어떻게 보여져야 하는지를 제어하는 것을 돕는 방법 및 시스템들에 관련된다. 일 예시적 실시예는 이미지 컨텐트의 기하를 결정하기 위하여, 이미지 데이터를 캡처하는데 사용되는 시스템의 명세를 활용하고, 이 컨텐트 기하를 저장된 이미지 데이터와 함께 인코딩한다. 그 후, 이 컨텐트 기하 데이터는 뷰잉 시스템에 대하여 적절한 기하들을 결정하기 위해 디스플레이 시스템들에 의해 분석된다.

본 발명의 하나의 실시예에 따라 구성된 데이터는 이미지 또는 장면의 스테레오스코픽 예상 뷰(stereoscopic prospective view)를 표현하는 일련의 디지털로 저장된 비디오 프레임들이다. 이 예상 뷰는 특정한 컨텐트 기하를 사용하여 렌더링되었고, 이 기하는 디지털로 인코딩되어 디지털 이미지 데이터와 함께 저장되거나 디지털 이미지 데이터에 임베딩된다.

본 발명의 일 실시예에 따라 구성된 예시적 디스플레이 시스템은 디지털 비디오 파일들을 판독할 수 있고, 각각의 프레임의 예상과 연관된 컨텐트 기하를 판독할 수 있다. 이 예시적 디스플레이 메커니즘은 또한, 복수의 상이한 컨텐트 기하들을 수용하기 위하여 자신의 뷰잉 기하를 변경할 수 있다.

대안적인 예시적 시스템들은 표현되지 않은 3차원 정보를 포함하는 이미지 데이터에 사용될 수 있다. 이러한 시스템은 뷰잉 메커니즘의 알려진 뷰잉 기하에 적절한 컨텐트 기하를 사용하여 3차원 이미지 정보의 스테레오스코픽 예상 뷰를 렌더링할 수 있다.

다른 예시적 디스플레이 시스템은 그 자신의 기하를 알고, 무엇을 디스플레이할지를 결정하기 위하여 비디오 시스템에서 인코딩된 기하를 판독한다. 인코딩된 컨텐트 기하가 디스플레이 시스템의 뷰잉 기하에 주어진 스테레오스코픽 디스플레이에 부적절한 경우에, 그 시스템은 스테레오스코픽 효과 없이 컨텐트를 대신 디스플레이한다.

상술한 내용은 다음의 본 발명의 상세한 설명이 더욱 이해될 수 있도록 하기 위하여 본 발명의 특징들 및 기술적 이점들을 광범위하게 개괄한 것이다. 본 발명의 청구항들의 요지를 형성하는 본 발명의 부가의 특징들 및 이점들이 이후에 기술된다. 기술된 개념 및 특정 실시예가 본 발명의 동일한 목적들을 실행하기 위해 수정되거나 또는 다른 구성들을 설계하기 위한 기초로서 쉽게 활용될 수 있음을 당업자는 알 것이다. 또한, 첨부된 청구항들에 기재된 본 발명의 기술 사상 및 범주를 벗어나지 않고 이러한 등가의 구성들이 행해질 수 있음을 당업자는 알 것이다. 본 발명의 특징이 되리라 믿는 새로운 특징들은, 다른 목적들 및 이점들과 함께 그 구성 및 동작 방법 모두에 대해, 첨부 도면들과 함께 고려할 때 다음의 설명을 더욱 이해할 것이다. 그러나, 특징들 각각이 예시 및 설명하기 위한 것으로서 제공되며 본 발명의 제한들의 규정으로서 의도되어서는 안 되는 것임을 명확히 이해해야 한다.

도 1은 본 발명의 일 실시예에서 활용된 기하들을 도시하는 도면.

도 2는 본 발명의 일 실시예에서 이미지의 디스플레이를 도시하는 도면.

도 3은 본 발명의 일 실시예에서 활용된 기하들을 도시하는 도면.

본 발명의 이해를 더 돕기 위해, 첨부 도면들과 함께 취해진 다음의 설명들 에 대한 참조가 이루어졌다.

스테레오스코피(stereoscopy)는 비디오 스크린들과 같은 2차원 디스플레이 메커니즘을 사용하여 뷰어 뷰잉 이미지들에 대한 깊이감을 재생성하는데 이용되는 방법이다. 대상을 볼 때, 뷰어(viewer)는 모노스코픽(monoscopic)(초점 범위 또는 수용, 크기, 원근감, 폐색(occlusion), 명암(shading), 휘도와 같이) 양안 신호들(버전스(vergence) 및 불일치) 모두를 통해 깊이를 인식할 것이다. 버전스는 그 대상에 초점을 맞출 때 눈들이 수렴하거나 또는 발산하는 정도의 척도이다. 불일치는 이미지가 망막 상에 나타날 때, 좌우 시야들 사이의 대상의 이미지의 상대적인 차이다. 대부분의 디스플레이된 이미지들은 모노스코픽 시각 신호들을 재생성할 수 있다. 양안 신호들을 재생성하기 위하여, 스테레오스코픽 방법들은 좌우 눈에 상이한 이미지들을 보여준다. 시차(parallax)는 좌우 눈에 의해 보여지는 초점들(깊이가 보이는 대상) 사이의 수평 거리(2차원 디스플레이 스크린 또는 스크린들의 평면 내)의 척도이다; 시차는 불일치에 직접 상관된다.

도 1은 본 발명의 일 실시예에 따라 스테레오스코픽 이미지들을 보여주는 기하를 도시한다. 도 1에서, 뷰어(101)는 컴퓨터 모니터 스크린(102) 상에 디스플레이되는 이미지들을 보고 있다. 정규의 이미지 디스플레이는 모니터(102) 상에 단일 2차원 이미지를 디스플레이하여, 모노스코픽 신호들에 대한 깊이(Z축을 따라 뷰어로부터의 거리)의 모든 인식을 남겨둔다. 그러나 스테레오스코픽 기술들을 사용하면, 뷰어(101)에게는, 상이한 이미지들이 각각의 눈에 보이는 경우 깊이의 인식을 제공하는 양안 신호들이 주어질 수 있다. 시스템(100)과 같은 디스플레이 시스템들 에서의 종래의 방식들은 이미지들을 선택적으로 통과시키는 유리들(도시되지 않음) 등과 같은 수단을 통해 이를 달성한다. 일반적인 예들은 각각의 눈에 대해 상이한 편광들을 가진 편광 필터들일 수 있거나, 또는 스크린상의 이미지가 왼쪽 눈 또는 오른쪽 눈을 위한 것인지에 기초하여 열리거나 닫히는 셔터 유리들일 수 있다. 헤드 장착 디스플레이들(HMDs)도 마찬가지로 스테레오스코픽 뷰잉에 흔히 이용된다. 일부 HMDs는 단일 스크린을 활용하고, 각각의 눈에 상이한 이미지들을 향하게 하기 위하여 편광, 셔터들, 또는 상이한 광로들을 이용한다. 다른 HMDs는 왼쪽 눈 및 오른쪽 눈을 위한 독립된 디스플레이들을 포함하며, 따라서 각각의 스크린에 대한 적절한 컨텐트를 디코딩하는 데에만 의존하며 스위칭 방법에는 의존하지 않는다. 다른 스테레오스코픽 뷰잉 메커니즘들은 임의 종류의 안경류를 착용할 것을 사용자에게 요구하지 않지만, 렌즈 모양의 렌즈들 또는 다른 방법들을 사용하여 각각의 눈에 상이한 이미지들을 투영하는 것에 의존하는 자동 스테레오스코픽 시스템들을 포함한다. 본 발명의 실시예들은 각각의 눈에 상이한 이미지들을 디스플레이하는 임의의 특정한 방법에 한정되는 것이 아니라, 임의의 적절한 방법을 사용하도록 적응될 수 있다. 부가의 예시적 디스플레이 메커니즘들 및 방법들은 상기 식별된 계류중이고 공동으로 양도된 출원들에서 찾을 수 있고, 그 내용은 참조로서 통합되어 있다.

도 1은 뷰어(101)에 의해 인식된 대상의 3개의 개별적인 깊이들을 도시한다. 제로의 깊이를 가진 대상들은 모니터(102)의 x-y 평면에 있는 것으로 뷰어(101)에 의해 인식되게 된다. 스테레오스코픽 방법들은 왼쪽 눈에 대한 이미지를 오른쪽 눈 에 대한 이미지와 일치시켜 x 및 y축에서 대상 제로에 대한 초점들 사이의 거리를 만듦으로써 이 깊이에 대한 양안 신호들을 제공한다. 라인들(110a, 110b)은 각각의 눈들에 대한 초점의 라인들을 표현하고 그들 각각의 눈의 중심을 그 눈에 대한 초점과 연결시킨다. 이들 라인들은 일치하는 이미지들의 위치를 표현하는 지점(110)에 도달한다. 도 1의 뷰잉 기하에서, 왼쪽 눈에 대한 이미지와 오른쪽 눈에 대한 이미지는 제로 정도의 시차를 가짐을 보여준다.

x-y 평면 앞 또는 뒤에 있는 것으로 뷰어(101)에 의해 인식되는 대상이 도 2에 도시된 이미지들과 같은 이미지들을 사용하여 뷰어(101)에게 보여진다. 왼쪽 이미지(201)는 오른쪽 이미지(202)로부터 약간 옮겨진다. 오른쪽 눈이 오른쪽 이미지(202)를 보게 되고, 왼쪽 눈이 왼쪽 이미지(201)를 보게 되면, 대상은 모니터(102) 뒤에 있는 것으로 나타날 것이다. 오른쪽 눈이 왼쪽 이미지(201)를 보게 되고, 왼쪽 눈이 오른쪽 이미지(202)를 보게 되면, 대상은 모니터(101) 앞에 있는 것으로 나타날 것이다. 도 1을 참조하면, 이들 상이하게 인식된 깊이들에 대한 초점의 라인들을 보게 된다. 모니터(102) 뒤에 있는 것으로 인식되는 대상들은 양의 시차를 가진 이미지들로 주어지고, 이것의 가장 극단적인 경우는 대상이 무한대에 있다. 초점 라인(120a)은 초점 라인(120b)에 왼쪽 눈(103)의 중심을 연결하고, 초점 라인(120c)은 초점 라인(120d)에 오른쪽 눈(104)을 연결한다. 초점 라인들(120a, 120b)은 병렬이고, 뷰어(101)는 모니터(102) 뒤 무한대에서 대상을 인식할 것이다. 스크린(102) 앞의 지점(130e)에서 인식되는 대상은 음의 시차를 가질 것이다. 초점 라인(130a)은 왼쪽 눈(103)의 중심, 초점 라인(130e), 및 초점 라 인(130b)을 연결한다. 초점 라인(130c)은 오른쪽 눈(104)의 중심, 초점 라인(130e), 및 초점 라인(130d)을 연결한다.

이 경우, 이미지들은 눈에서 스크린까지 대략 동일한 거리에 남아 있을 것이고, 그래서 초점의 변화는 없다. 양안 신호들은 눈들(103, 104)에 의해 보인 이미지들 사이의 차들(불일치)과 그들 시차의 총계와 부호(그 이미지들이 플립(flip)되는지 여부)를 통해 뷰어(101)에게 제공된다. 그러나, 상기 주지한 바와 같이, 수용 부족은 버전스의 양(시차의 크기)이 너무 큰 경우 스테레오스코픽 융합을 파괴시킨다. 일반적인 애플리케이션들에 있어서, 제로에 대한 플러스 또는 마이너스 1.5도의 총 시차(라인들(110a, 110b 각각))는 대부분의 뷰어들에게 편안하며 스테레오스코픽 융합의 파괴를 유발하지 않을 것이다. 스크린으로부터 나온 고속으로 움직이는 대상들에 대해, 이러한 관계는 밀어 넣어질 수 있고, 또한 때때로 20cm의 뷰어 내에 대상을 집어넣는다.

본 발명의 실시예들은 일반적인 방법들보다 더욱 완전하게 스테레오스코픽 현상의 성질을 분해하고, 스테레오스코픽 정보가 어떻게 인식되는지에 대한 더욱 완전한 설명들의 이점을 취한다. 일반적으로, 스테레오스코픽 컨텐트는 병렬로, 수렴적으로(약간 안쪽으로 마주봄), 또는 발산적으로(약간 바깥쪽으로 가리킴) 구성된 2 개의 카메라들을 사용하여 생성된다. 병렬 카메라들(parallel cameras)은 카메라들의 렌즈들 사이의 거리와 동일한 불일치에서 원격 대상들을 이미지화할 것이고, 수평에서 보는 실제 세계의 기하를 근사화시키는데 유용하다. 수렴 카메라들(convergent cameras)은 음의 시차(교환된 대상의 좌우 이미지들)로 원격 대상들 을 이미지화한다. 발산 카메라들(divergent cameras)은 렌즈들 사이의 거리보다 더 떨어진 원격 대상들을 이미지화한다. 상이한 카메라 설정들은 컨텐트의 생성자에 의해 만들어진 독창적 선택이고, 장면에서 장면으로 변할 수 있거나 장면 내에서 동적으로 변할 수 있다. 각각은 영역(전경, 스크린 또는 거리)의 스테레오스코픽 효과를 개선시키는 수단을 제공하며, 따라서 컨텐트 생성자에게 관심 있는 영역을 강조한다.

일반적으로, 왼쪽 눈에 의도된 이미지와 오른쪽 눈에 의도된 이미지는 동일한 시야에 미친다. 그러나, 더욱 극단적인 응용들에서, 왼쪽 눈과 오른쪽 눈 사이의 부분적인 오버랩만을 가지는 것이 가능하다. 상이한 시야들은 어떤 대상들을 하나의 눈에서만 보이게 할 수 있다. 흔히, 이것은, 예를 들면 오른쪽 눈이 볼 수 없는 주변 대상들을 왼쪽 눈이 볼 수 있는 큰 시야들에서 실제 세계의 표현이다. 실제 세계를 스테레오스코픽 방법들로 근사화할 때, 상이한 시야들은 전체 경험을 강화할 수 있다 - 예를 들면, 주변 대상들에서의 모노스코픽 깊이 신호들은 모든 깊이 인식에 기여할 수 있다. 그러나, 시야의 에지(예를 들면, 영화 극장 스크린의 에지)가 보통의 인식만큼 넓지 않을 때, 에지를 오버랩하는 대상들은 스크린 뒤에 있는 것으로 나타날 수 있다(이것은 "윈도우 효과(window effect)"로 알려져 있다; 대상의 부분만을 볼 수 있다면 - 그것은 윈도우 바깥쪽에 있다). 이 대상이 스크린의 앞에 있는 것이었다면, 상이한 신호들은 스테레오스코픽 융합을 파괴시킬 것이다.

스테레오스코픽 효과의 주요 양태는, 왼쪽 눈 및 오른쪽 눈에 의도된 이미지 들의 분리이며, 이것은 이미지화된 대상을 스크린으로부터(또는 스크린으로) 나오게 나타나도록 하며, 뷰어가 스크린으로부터 떨어진 거리의 백뷴율이다. 그러나, 뷰어가 카메라들의 초점 길이와 동일한 거리에 있지 않는 경우, 그 사용자에 대한 영향은 컨텐트 생성자에 의해 의도된 것과 상이할 것이다. 이것은 스테레오스코픽 융합을 파괴하게 할 수 있다. 융합 파괴에 대한 영향 및 차들의 크기는, 뷰잉 이미지들의 크기가 원 컨텐트보다 더 작은 도 1의 상이한 기하들과 뷰잉 이미지들의 크기가 원 컨텐트보다 더 큰 도 3의 기하들을 비교하여 평가될 수 있다.

도 1에서, 뷰어(101)의 동공 사이의 거리(IPD; 105)는 6cm이고, 뷰어는 모니터(102)(60cm 넓이임)로부터 거리(106)(60cm)에서 보고 있다. 도 3은 영화 극장에서 뷰잉 스테레오스코픽 이미지들의 기하를 도시한다. 도 3에서, 뷰어(101)는 6cm의 IPD를 가지지만, 뷰잉 거리(306)는 영화 스크린(302)(600cm 넓이임)으로부터 800cm이다.

표 1은 도 1 및 도 3의 기하들에 대한 일반적인 시차값들을 스크린 크기의 백분율로 상세히 기술한다.

대상 거리	총 시차(스크린 폭의 %로서)
	모니터	영화 스크린
	60cm 스크린	614cm 스크린
	60cm에서	800cm에서
A 스크린에서	0.00%	0.00%
B 무한대에서	10.00%	1.00%
C 1도 발산	11.67%	3.33%
D 스크린 내 1.5도	2.6%	3.40%에서 발산
E 청중 내 1.5도	-2.6%	-3.4%
F 얼굴로부터 20cm	-20.00%	-38.0%
G 청중 내 50%	-10.00%	-1.00%

표 1로부터, 대상이 스크린 깊이에 있다면 도 1 및 도 3 모두에서, 규정에 의해 시차는 제로이다. 그러나 대상이 무한대에 있다면(눈들이 앞으로 똑바로 초점을 맞추고 있다면), 도 1의 모니터에 대해, 이미지들은 모니터 폭의 10%인 6cm 떨어져 있는 반면, 동일한 6cm는 영화 스크린의 1%일 뿐이다. 따라서 모니터(102)용으로 생성된 통상적 컨텐트(시차의 10%)가 스크린(302) 상에 보여지도록 되었다면(10%는 동공 사이의 거리보다 훨씬 더 넓음), 뷰어(101)의 눈들은 이미지들을 융합하기 위하여 상당히 발산하도록 되고, 스테레오스코픽 융합의 파괴를 유발하는 것이 거의 확실하다.

컨텐트는 일반적으로 한번만 발생된다. 스테레오스코픽 효과를 최대화하기 위하여, 의도된 뷰잉 환경에 기초한 컨텐트 발생 동안 가정되었다. 영화 극장이 의도되면, 무한대의 대상들은, 스크린 폭의 1% 또는 6cm/600cm의 불일치로 필름화된다(예를 들면, 본 발명의 실시예들은 임의의 특정한 방식의 컨텐트 생성에 한정되지 않는다). 이 컨텐트가 도 1의 모니터(102) 상에서 보여진다면, 무한대의 대상은, 스크린 폭의 1%인 좌우 이미지들의 불일치를 여전히 가질 것이다. 그러나, 스크린(102) 상에서, 이것은 60cm x 0.01 = 0.6cm이다. 좌우 이미지들에서의 0.6cm 분리는 스테레오스코픽 효과를 거의 생성하지 않을 것이며, 컨텐트 생성자의 의도는 상실되었다. 다른 방향에서, 컨텐트가 모니터(102) 상의 뷰잉을 가정하여 생성되었다면, 무한대의 대상은 6cm, 또는 10%의 좌우 이미지들의 분리를 갖는다. 이 컨텐트가 스크린(302) 상에서 대신 보여진다면, 600cm x 0.10 = 60cm 분리가 되어, 우리의 눈들이 넓게 발산되거나 융합을 파괴시킨다.

어떤 애플리케이션들은 1도의 발산까지 사용하도록 시도되어(즉, 눈은 실제 로 서로 떨어져 가리킨다), "무한대 너머(beyond infinity)"에 대상을 위치시킨다. 이러한 모니터(102) 상의 컨텐트는 모니터 폭의 12%까지 허용하지만, 영화 스크린(302)의 3.3%에만 해당된다. 종래의 지식은 발산의 + 또는 -1.5도 내에 남아 있음으로써 광범위한 각양각색의 스크린들 상에서 보여질 컨텐트를 발생하도록 요구한다. 이러한 제한된 윈도우는 흔히 스테레오스코픽 효과들을 시도하는 것을 방해한다. 더욱이 "안전한(safe)" 수들은 융합 파괴로부터의 보호를 여전히 보장하지 않는다. 내가 모니터(102)의 기하에서 보고 있다고 가정하면, 예를 들어, 내가 최대의 "스크린 뒤(behind screen)" 효과를 발생하기 위하여 IPD를 사용할 수 있고, 스크린으로부터 벗어나 최대로 뷰어로부터 20cm를 사용할 수 있다. 도 1의 기하에서, 20cm는 모니터(102)의 20%인 음의 시차(60 cm * 0.2 = 12cm 시차. 왼쪽 이미지는 오른쪽, 오른쪽 이미지는 왼쪽)를 제공한다. 컨텐트 생성자가 도 1 기하에 관심을 가지면, "스크린밖(out of the screen)" 스테레오스코픽 효과의 상당한 양은 도 2의 기하에 희생되어야 하며, 38%의 시차 모두가 20cm 한도에 도달하는 것을 수용할 수 있다. 컨텐트 생성자가 대신 도 3의 기하에 관심 있다면, "스크린내(into the screen)" 스테레오스코픽 효과의 상당한 양은 도 1의 기하에 희생되어야 한다. 두 가지 모두에 대한 컨텐트를 설계하려는 시도는 이용 가능한 스테레오스코픽 효과들을 제한하며, 그것이 너무 엄격하여, 때때로 그들을 쓸모없게 생성하기도 한다.

대부분은, IPD가 고정된 상수이고, 뷰잉 기하가 격렬하게 변할 수 있기 때문에 이들 이슈들이 발생한다. 이것은, 컨텐트 생성자들이 그들 자신을 모든 가능한 뷰잉 환경들에서 볼 수 있는 스테레오스코픽 효과들에 한정시켜야 하기 때문에, 컨텐트 생성자들에 대한 실패의 주원인이 된다. 가능한 환경이 변할수록, 컨텐트가 어디에서든 볼 수 있게 될 경우에, 가능한 스테레오스코픽 효과들을 더 한정한다. 변화하는 뷰잉각들이 고려될 때 문제들이 더 발생한다. 본 명세서에 사용된 모든 예들은 거의 90도의 뷰잉각으로 가정되었다. 실제의 세계에서, 예각으로 대상을 보는 것은 상이한 깊이들에 있는 모든 대상들 사이의 상대각을 변화시킨다. 그러나, 스크린을 볼 때, 시차는 뷰잉각에 상관없이 고정적이다. 따라서 컨텐트 생성자들은 모든 가능한 뷰잉각들로부터 볼 수 있는 것들에 대해서만 스테레오스코픽 효과들을 더 제한시켜야 한다. 흔히, 가능한 뷰잉 환경들은 스테레오스코픽 효과들이 가능하지 않는 변화하는 기하들 중에 있다.

컨텐트 생성자를 안전하게 하기 위하여, 영화와 DVD 해제 모두를 타겟팅하는 것(예를 들면)은 스크린 내에 및 스크린 최대로부터 모두에 대한 안전한 설정즐을 선택해야 한다. 반면, 양호한 장소(venue)에 생성하는 것은 일부 효과들을 다른 기하에 지지할 수 없게 할 수 있다. 예를 들면, 38% 시차를 가진 스크린으로부터 고속으로 움직이는 대상을 가져오는 것은 영화 내에서 작업하겠지만, 모니터에서 뷰어에게 매우 가깝게 움직일 것이므로, 뷰어들이 사시뜨기(cross-eyed)를 하게 할 것이다. 본 발명이 실시예들은 컨텐트 기하과 뷰잉 기하 사이의 차가 스테레오스코픽 효과를 신뢰할 수 있게 하도록 실현한다. 그 차이가 극대화대면, 한 가지 해결책은 스테레오스코픽 효과들을 간단히 턴오프하는 것이 될 수 있다. 대안적으로, 본 발명의 실시예들은 컨텐트 기하의 요건을 충족시키기 위하여, 뷰잉 기하를 변경 할 수 있다(예를 들면 이것은 뷰잉 시력들(optics)을 변경함으로써 헤드 장착 디스플레이(HMD)에서 행해질 수 있다). 기하들 사이의 차를 성공적으로 적응시키기 위하여, 본 발명의 실시예들은 컨텐트를 규정하는 데이터와 컨텐트를 생성하는데 사용된 기하를 조합한다.

이를 위해, 본 발명의 실시예들은 컨텐트를 2개의 일반화된 카테고리들로 더 나눈다: 렌더링된 컨텐트 및 본래의 컨텐트(native content). 렌더링된 컨텐트는 x-y 평면으로 투사된 컨텐트이다. 이것의 통상적인 예들은 텔레비전 프로그래밍, 영화들 또는 MPEG II 인코딩 방식(Motion Pictures Expert Group - version II encoding scheme)이며, 이 방식은 많은 DVD들에 사용된다. 렌더링된 컨텐트에서, 깊이(또는 z-축) 정보는 왼쪽 및 오른쪽 눈 이미지들의 불일치 및 시차에 존재한다. 반대로, 본래의 컨텐트는 이용 가능한 완전한 3차원 정보의 컨텐트이다. 이것의 예들은 MPEG-IV 컨텐트(3차원 기술들이 포함될 수 있는), 또는 게임들과 같은 가상 환경들의 컴퓨터 표현들을 포함한다.

렌더링된 컨텐트에 대해, 본 발명의 실시예들은 이미지들을 기술하는 데이터와 함께 컨텐트 생성자의 의도된 기하를 포함한다. 이러한 정보는 렌더링할 때 캡처되고, 렌더링된 후, 검사(inspection), 소프트웨어, 또는 다른 수단에 의해 결정될 수 있다. 이것은, 컨텐트가 캡처되었을 때(예를 들면, 카메라 기술을 사용하여), 또는 프로젝션이 생성될 때(예를 들면, 3D 모델의 렌더링 동안) 발생할 수 있다. 종래의 카메라 기술을 사용하여 발생된 컨텐트에 대해, 예를 들면, 컨텐트 기하는 좌우 카메라 렌즈들 사이의 거리, 카메라 렌즈들의 수렴(또는 발산)각, 두 카 메라들의 초점 거리, 두 렌즈들의 시야, 시야들의 오버랩을 포함할 수 있다. 캡처된 컨텐트는 종횡비 및 해상도를 독립적으로 포함할 것이다. 가상 카메라들을 사용하여 컴퓨터 랜더링된 컨텐트에 대해 동일한 정보가 저장될 수 있다.

이러한 실시예들은 유사한 것으로 예상되는 뷰잉 기하들이 극적으로 상이한 것으로 판명될 때 매우 유용할 수 있다. 예를 들면, IMAX 스크린들은 50피드미만에서 대각선으로 125피드 이상 충분한 범위가 될 수 있다. 따라서 모든 IMAX 극장들에 대한 스테레오그래픽 필름의 단일 시각을 생성하는 것은 이상적이지 않다. 본 발명의 실시예들에서, 알려진 뷰잉 기하는, 예를 들면, 프로젝터들을 수렴하도록 하여 스크린 상의 유효한 불일치를 변화시키기 위해 프로젝션 기하를 변경함으로써, 각각의 극장에 대해 적절한 컨텐트를 더욱 많이 생성하는데 사용될 수 있다.

그 외에도, 장면에서 장면으로 또는 장면 내에서 매우 극적으로 영화(또는 다른 컨텐트)의 컨텐트 기하를 변화시키는 것이 흔히 바람직하다. 작은 윈도우의 이용 가능한 효과들을 가짐으로써, 흔히 이것을 관리할 수 없게 하지만, 본 발명의 실시예들은 컨텐트 기하과 뷰잉 기하 사이의 연결을 인식하고, 이 동적인 스테레오스코픽 컨텐트의 처리를 더욱 효과적으로 관리할 수 있는 양쪽 지식을 사용한다. 이들을 결정하는데 필요한 정보는 상술된 바와 같이 캡처되고 각각의 장면의 이미지 데이터와 함께 또는 각각의 프레임과 함께 포함된다. 스테레오스코픽 효과들을 동적으로 관리하는 것을 가능하게 한다.

렌더링된 데이터 내에 기하를 저장하는 많은 방법들이 있다. 본 발명의 각각의 실시예들은 임의의 특정한 방법들에 한정되지 않고, 오히려 컨텐트 데이터와 컨 텐트 기하를 성공적으로 통합하는 임의의 방법을 사용할 수 있다. 예를 들면, 종래의 카메라 기술에서, 각각의 카메라간 거리, 왼쪽 카메라의 초점 거리, 오른쪽 카메라의 초점 거리, 시야, 카메라들(평행, 수렴, 발산) 사이의 각, 시야 오버랩, 또는 캡처 환경의 다른 기하 기술들은 디지털 이미지 데이터로 통합되고 다수의 상이한 방법들 및 현재 이용 가능하고 당업자에게 알려진 포맷들 중 임의의 하나로 적응될 수 있는 숫자들을 사용하여 표현될 수 있다. 데이터량이 최소화된다면, 시야에 대한 초점 거리의 비와 같은 더 작은 기술은 정보를 저장하기에 충분할 수 있다. 상관없이, 각각의 숫자는 예를 들면 ("왼쪽 초점 거리(Left focal length)", 300cm)과 같이 기술되는 속성으로 태깅(tag)될 수 있다. 또한, 속성들의 순서 및/또는 측정의 단위가 고정될 수 있게 표준이 확립될 수 있고, 그 경우, 태그 및 기술자들은 요구되지 않을 수 있다. 따라서, 일부 실시예들은 간단한 일련의 숫자들로서 이들 포맷들 중 어떤 것을 저장할 수 있다.

일부 실시예들에서, 본 발명의 많은 양상들은 컨텐트 스트림 내부에 숫자들의 세트를 잘 이해되고 검색 가능한 방식으로 간단히 저장하는 것을 수반한다. 이들의 일부 예들은 다음과 같다:

1. TV 신호들에 대한 블랭킹 간격 내에서 표준 인코딩 기술을 사용함(예를 들면, 자막이 저장되는 경우).

2. 비압축된 비디오용 측대역 정보 내 - 예를 들면, 헤더 또는 트레일러 내. 이 헤더 또는 트레일러는 전체 필름에 대한 것일 수 있거나, 또는 각각의 장면 또는 각각의 비디오 프레임에 대한 헤더 또는 트레일러가 될 수 있다.

3. 압축된 비디오용 헤더 정보 내 - 예를 들면 MPEG 헤더들의 사용자 데이터 섹션들 내.

4. 워터마크들 내 - 즉 비디오 자체의 컨텐트 내. 이것은 압축/압축 해제 사이클들뿐만 아니라 디지털/아날로그/디지털 변환들에 견딜 수 있는 방식으로 행해질 수 있다.

본 발명의 실시예들은 이들 방법들에 한정되지 않으며, 오히려 컨텐트와 뷰잉 기하들 사이의 차를 분석하는데 필요한 정보를 적절히 인코딩하는 임의의 기능 또는 방법들을 사용할 수 있다.

종래의 카메라 기술을 사용하는데 적응된 예시적 실시예에서, 3개의 숫자들(카메라간 거리, 및 초점 거리 및 카메라들 사이의 각)이 비디오의 모든 프레임에 저장된다. 이것은 컨텐트가 보이는 동안 기본 기하가 쉽게 판독되고 변화되도록 허용한다. 또한 이것은 비디오 스트림 전에 정보를 판독할 필요 없이, 그 기하가 비디오의 임의의 지점(예를 들면, 사용자는 영화를 중간에서 시작함)에서 검색되도록 허용한다. 본 실시예에 따라, 3 개의 숫자들은 간단한 워터마크 내에 단일 바이트들로 저장된다. 또한, 워터마크는 데이터를 검색하는데 시간이 소모되지 않도록 비디오의 미리 결정된 영역 내에 위치되었다. 이 경우, 3 바이트들은 비디오의 마지막 8개 라인들의 청색 채널에서의 낮은 주파수 변동들로서 표현된다 - 이것은 데이터가 MPEG 및 다른 인코딩 방식들에 견디도록 허용한다. 그러나, 본 발명은 데이터가 어떻게 저장되는지에 대해서는 한정되지 않는다.

상기 인코딩 기술들 및 예들 모두는 본래의 컨텐트에 대해서도 마찬가지로 활용될 수 있다. 그러나, 본래의 컨텐트는 규정된 월드-뷰의 범위가 컨텐트 내에 이미 임베딩될 것이기 때문에, 시스템에서 유연성의 상당한 증가를 제공할 수 있다. 본래의 컨텐트를 처리할 수 있는 시스템들은 통상적으로 그들 스스로 컨텐트를 렌더링하고, 따라서 컨텐트 기하를 변경할 수 있는 능력을 가질 수 있다. 이 경우, 본 발명의 실시예들은 스테레오스코픽 이미지들이 뷰잉 기하에 따르도록 렌더링할 수 있다. 대안적인 실시예들은 본래의 컨텐트 자체 내에서 창조적 제어를 스테레오스코픽 효과 위에 둘 수 있다. 즉, 가상 카메라 위치들의 등가물은 컨텐트 내에 기록될 수 있고, 이들은 뷰잉 기하에 대한 변환을 위한 참조로서 역할을 할 수 있다. 뷰잉 기하으로 렌더링할 수 있는 본래의 컨텐트는, 컨텐트의 창조적 의도가 PC's에서 TV's로 홈 시어터들로 영화 극장들로의 대형 스크린 포맷으로 많은 뷰잉 시나리오들에 걸쳐 재생될 수 있을 때 본 발명의 많은 양상들의 특정한 이점들을 취할 수 있다. 대안적 실시예들에서, 사용자는 스테레오스코픽 효과의 양에 대한 개인적인 선택들을 행하기 위하여, 컨텐트 기하(예를 들면, 뷰 지점 선택)에 영향을 미칠 수 있다.

본 발명 및 그 이점들이 상세히 기술된 바와 같이, 다양한 변경들, 대체들 및 개조들은 첨부된 청구항들에 의해 규정된 본 발명의 기술적 사상 및 범주를 벗어나지 않고 이루어질 수 있다. 더욱이, 본 출원의 범주는 본 명세서에 기술된 처리, 기계, 제조, 일의 구성, 수단들, 방법들 및 단계들의 특정한 실시예들에 한정되도록 의되지 않는다. 당업자가 본 발명의 개시 내용으로부터 쉽게 알 수 있는 바와 같이, 본 명세서의 기술된 대응하는 실시예들과 실질적으로 동일한 기능들을 실 행하거나 또는 실질적으로 동일한 결과를 달성하도록 현존하거나 나중에 개발될 처리들, 기계들, 제조, 일의 구성들, 수단들, 방법들 또는 단계들은 본 발명에 따라 활용될 수 있다. 따라서, 첨부된 청구항들은 이러한 처리들, 기계들, 제조, 일의 구성들, 수단들, 방법들 또는 단계들과 같은 범위 내에서 포함되도록 의도된다.

Claims (24)

1. 적어도 하나의 이미지를 보존하는 방법에 있어서:

   컴퓨터 판독 가능한 매체에서 상기 이미지를 저장하는 단계;

   상기 저장된 이미지에 대한 컨텐트 기하(content geometry)을 결정하는 단계; 및

   상기 컨텐트 기하를 인코딩하고 이를 상기 이미지와 함께 저장하는 단계를 포함하는, 이미지 보존 방법.
2. 제 1 항에 있어서,

   상기 이미지를 생성하는 시스템의 구성으로부터 상기 컨텐트 기하를 수동으로 캡처링하는 단계를 더 포함하는, 이미지 보존 방법.
3. 제 1 항에 있어서,

   상기 이미지가 생성될 때, 상기 컨텐트 기하를 자동으로 캡처링하는 단계를 더 포함하는, 이미지 보존 방법.
4. 제 1 항에 있어서,

   상기 이미지는 비디오 데이터를 포함하는 일련의 이미지 프레임들인, 이미지 보존 방법.
5. 제 4 항에 있어서,

   상기 컨텐트 기하는 모든 상기 이미지 프레임들에 적용되고, 상기 컨텐트 기하는 하나의 상기 프레임 상에만 저장되는, 이미지 보존 방법.
6. 제 4 항에 있어서,

   각각의 상기 프레임은 고유 컨텐트 기하를 가지고, 각각의 상기 프레임의 컨텐트 기하는 각각의 프레임과 함께 저장되는, 이미지 보존 방법.
7. 제 4 항에 있어서,

   상기 컨텐트 기하를 주기적으로 재결정하는 단계; 및

   상기 컨텐트 기하가 변경될 때 상기 컨텐트 기하만을 저장하는 단계를 더 포함하는, 이미지 보존 방법.
8. 제 1 항에 있어서,

   상기 컨텐트 기하는 워터마크로서 저장되는, 이미지 보존 방법.
9. 제 1 항에 있어서,

   상기 컨텐트 기하는 스크린 크기들, 종횡비(aspect ratio), 뷰잉 거리(viewing distance), 해상도, 좌우 시야 크기, 좌우 시야 오버랩, 카메라 컨버젼 스(camera convergence), 또는 카메라 다이버젼스(camera divergence) 중 적어도 하나를 포함하는, 이미지 보존 방법.
10. 제 1 항에 있어서,

    상기 이미지 데이터는 3차원 이미지 정보를 포함하는 데이터인, 이미지 보존 방법.
11. 제 10 항에 있어서,

    상기 데이터는 적어도 하나의 가상 뷰잉 퍼스펙티브(virtual viewing perspective)을 포함하며, 상기 컨텐트 기하는 상기 적어도 하나의 퍼스펙티브와 연관되는, 이미지 보존 방법.
12. 스테레오스코픽 이미지들을 디스플레이하는 방법에 있어서:

    스테레오스코픽 이미지 데이터를 수신하는 단계로서, 상기 이미지 데이터는 상기 스테레오스코픽 이미지 데이터의 컨텐트 기하를 기술하는 정보를 포함하는, 상기 수신 단계;

    디스플레이 시스템의 뷰잉 기하에 의하여 상기 컨텐트 기하를 분석하는 단계; 및

    상기 데이터가 디스플레이되는 방법을 변경하는 단계를 포함하는, 스테레오스코픽 이미지 디스플레이 방법.
13. 제 12 항에 있어서,

    상기 이미지는 비디오 파일 내의 일련의 프레임들 중 하나인, 스테레오스코픽 이미지 디스플레이 방법.
14. 제 12 항에 있어서,

    상기 이미지의 스테레오스코픽 성질(stereoscopic nature)을 제거하는 단계를 더 포함하는, 스테레오스코픽 이미지 디스플레이 방법.
15. 제 14 항에 있어서,

    상기 제거 단계는 상기 컨텐트 기하 및 상기 뷰잉 기하가 거의 충분히 매칭되지 않기 때문에 수행되는, 스테레오스코픽 이미지 디스플레이 방법.
16. 제 14 항에 있어서,

    상기 디스플레이는 왼쪽 눈 이미지 또는 오른쪽 눈 이미지 중 하나가 모노스코픽 디스플레이(monoscopic display)로서 사용되는 것을 포함하는, 스테레오스코픽 이미지 디스플레이 방법.
17. 제 12 항에 있어서,

    상기 변경은 상기 컨텐트 기하를 수용하기 위하여 상기 뷰잉 기하를 변경하 는 단계를 포함하는, 스테레오스코픽 이미지 디스플레이 방법.
18. 제 12 항에 있어서,

    상기 디스플레이 시스템을 제어하는 단계를 더 포함하는, 스테레오스코픽 이미지 디스플레이 방법.
19. 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 판독 가능한 코드에 있어서:

    이미지를 규정하는 코드; 및

    상기 이미지의 스테레오스코픽 렌더링(stereoscopic rendering)과 연관된 컨텐트 기하를 지정하는 코드를 포함하는, 컴퓨터 판독 가능한 코드.
20. 제 19 항에 있어서,

    복수의 이미지들을 규정하는 코드를 더 포함하며,

    각각의 이미지는 비디오 파일의 일부이며, 상기 컨텐트 기하는 모든 상기 비디오 파일에 응용 가능한, 컴퓨터 판독 가능한 코드.
21. 제 20 항에 있어서,

    각각의 부분은 비디오 프레임을 포함하며,

    각각의 상기 프레임에 고유한 컨텐트 기하를 상술(detail)하는 코드를 더 포함하는, 컴퓨터 판독 가능한 코드.
22. 제 19 항에 있어서,

    상기 컨텐트 기하를 상술하는 상기 코드는 컨텐트 스트림으로 임베딩되는, 컴퓨터 판독 가능한 코드.
23. 제 19 항에 있어서,

    상기 컨텐트 기하를 상술하는 상기 코드는 수직 블랭킹 간격 내에 있는, 컴퓨터 판독 가능한 코드.
24. 제 19 항에 있어서,

    상기 컨텐트 기하를 상술하는 상기 코드는 표준 압축 알고리즘의 제어 정보 내에 임베딩되는, 컴퓨터 판독 가능한 코드.

Images