KR20200128661A - 뷰 이미지를 생성하기 위한 장치 및 방법 - Google Patents

Abstract

장면에 대한 뷰 이미지들을 생성하기 위한 장치는 관찰 지역의 장면을 나타내는 3차원 장면 데이터를 저장하는 저장장치(101)를 포함한다. 3차원 장면 데이터는 예컨대 관찰 지역 내의 캡처 위치들로부터 캡처된 이미지들 및 심도 맵들일 수 있다. 움직임 프로세서(105)는 사용자의 머리 또는 눈 추적 데이터와 같은 모션 데이터를 수신하고, 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정한다. 변화 프로세서(109)는 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하고 어댑터(111)는 배향 변화 측정치에 응답하여 관찰 지역에 대한 관찰자 관찰 위치로부터의 거리를 감소시키도록 배열된다. 이미지 생성기(103)는 장면 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향에 대한 뷰 이미지들을 생성한다.

Description

뷰 이미지를 생성하기 위한 장치 및 방법

본 발명은 장면에 대한 뷰 이미지들을 생성하는 것에 관한 것이고, 특히, 그러나 배타적이지 않게, 가상 또는 증강 현실 애플리케이션을 위한 뷰 이미지들을 생성하는 것에 관한 것이다.

이미지 및 비디오 애플리케이션들의 다양성 및 범위는 최근 몇 년간 실질적으로 증가하였으며, 비디오를 이용하고 소비하는 새로운 서비스들 및 방식들이 계속하여 개발되고 도입되고 있다.

예를 들어, 점점 더 대중화되고 있는 하나의 서비스는 관찰자(viewer)가 렌더링의 파라미터들을 변경하기 위해 시스템과 능동적으로 그리고 동적으로 상호작용할 수 있는 방식으로 이미지 시퀀스들을 제공하는 것이다. 많은 응용에서 매우 매력적인 특징은, 예를 들어 관찰자가 제시되는 장면에서 이동하고 "둘러보는" 것을 허용하는 것과 같은, 관찰자의 효과적인 관찰 위치 및 관찰 방향(관찰 포즈(viewing pose))을 변경하는 능력이다.

그러한 특징은 구체적으로 가상 현실 경험이 사용자에게 제공되는 것을 가능하게 할 수 있다. 이것은 사용자가 가상 환경에서 (비교적) 자유롭게 이동하고 그의 위치 및 그가 보고 있는 곳을 동적으로 변경하는 것을 허용할 수 있다. 전형적으로, 그러한 가상 현실 애플리케이션들은 장면의 3차원 모델에 기초하며, 이 모델은 특정 요청된 뷰(view)를 제공하기 위해 동적으로 평가된다. 이러한 접근법은 예를 들어 1인칭 슈터들의 게임 카테고리에서와 같은 컴퓨터들 및 콘솔들에 대한 게임 애플리케이션들에서 잘 알려져 있다.

특히 가상 또는 증강 현실 애플리케이션들의 경우, 제시되는 이미지가 3차원 이미지인 것이 또한 바람직하다. 실제로, 관찰자의 몰입을 최적화하기 위해, 전형적으로 사용자가 제시된 장면을 3차원 장면으로서 경험하는 것이 바람직하다. 실제로, 가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 그/그녀 자신의 위치, 카메라 관점(viewpoint), 및 시간적 순간을 선택하는 것을 허용해야 한다.

특히 캡처된 장면의 3차원 표현들에 기초하여 다양한 서비스를 지원하는 것의 주요 문제는 다량의 데이터가 요구된다는 것이다. 이것은 큰 저장 리소스들에 대한 필요성과 같은 높은 리소스 요건들을 유발한다.

많은 그러한 새로운 애플리케이션들 및 서비스들을 지원하기 위해, 장면이 정확하게 캡처될 수 있는 것이 바람직하다. 단일 관점에 대하여 단일 표시영역이 전형적으로 충분한 전통적인 애플리케이션들(예컨대, 전통적인 비디오 시퀀스들)과는 대조적으로, 그것은 장면 내의 전체(full) 3D 정보가 정확하게 캡처될 수 있는 경우 바람직하다.

예를 들어, 6 DoF(6 자유도, 관점의 포지션에 대한 3 자유도 및 배향에 대한 3 자유도에 대응함) 가상 현실 카메라 기반 캡처로, 전체 장면에 관한 정확한 그리고 완전한 정보를 캡처하기 위해 장면은 전형적으로, 다수의 방향들에서 다수의 위치들로부터 캡처된다. 그러한 캡처로부터의 6 DoF 콘텐츠의 재생 동안, 관찰자는 많은 애플리케이션들에서 장면 내에서 자유롭게 움직일 수 있고, 이때 뷰들은 관찰자의 현재 가상 포즈에 대응하도록 동적으로 합성된다. 제시된 뷰들은 예컨대 적합한 알고리즘들을 이용하여 거의 원래 캡처된 뷰들로부터 합성된 보간된 뷰들일 수 있다. 이는 무난한 전이들을 가능하게 하고/하거나, 캡처된 광 필드 데이터의 요구되는 양을 감소시킨다. 전형적으로 그러한 뷰 보간을 위해, 심도 정보가 합성에 사용되는데, 이때 심도 정보는 전형적으로, 직접 캡처되거나 스테레오 이미지들로부터 추정된다. 다른 예는 캡처된 뷰들을 사용하여 장면의 3차원 모델을 개발하는 것일 수 있다.

많은 애플리케이션들에서, 핸드헬드 카메라를 이동시킴으로써 정적 장면이 캡처될 수 있다. 캡처 후에는, 캡처된 이미지들에 대한 카메라 포지션들 및 관찰 방향들이 도출되고, 뷰 합성을 위해 또는 장면에 대한 3차원 모델을 생성하기 위한 기초 이미지들로서 사용된다.

그러나, 캡처된 이미지들에 기초한 그러한 표현이 충분히 정확해지도록 하기 위해서는, 충분한 양의 관련 정보가 이미지들에 의해 캡처되는 것이 필요하다. 이는 상대적으로 높은 공간 캡처 빈도/ 밀도를 필요로 하는 경향이 있으며, 이는 다시 높은 리소스 요건으로 이어진다(예컨대 저장 및 통신).

일부 응용예들에서, 이러한 문제들은 장면의 더 제한된 표현을 제공함으로써 적어도 부분적으로 처리될 수 있다. 예를 들어, 많은 가상 현실 애플리케이션들은 사용자에게 오직 제한된 움직임 및 배향 변화만을 허용하고, 장면 내에서 움직이는 완전한 자유를 제공하지 않는 장면의 뷰들을 제공할 수 있다. 예를 들어, 가상 현실 애플리케이션은 상대적으로 정적인(예컨대 스크린 앞과 같은 한정된 영역에서 앉거나 또는 서 있는) 사용자들을 목표로 할 수 있다.

이러한 애플리케이션들의 경우, 장면의 표현은 상대적으로 좁은 지역으로부터의(또는 실제로 단일 관찰 위치로부터의) 캡처들에 기초하여 감소될 수 있다. 예를 들어, 전체 크기가 종종 50cm 미만인 규칙적인 5x5 그리드로 배열된, 말하자면 25개의 위치로부터 장면이 캡처될 수 있다. 이러한 캡처는 캡처 지역 내의 관점들에 대한 장면의 우수한 캡처를 제공할 수 있고, 또한 일부 거리(예컨대 장면의 특성들에 따라 최대 1 미터 또는 그 이하)에 있는 관점들에 대한 뷰들의 생성을 허용한다.

그러나, 생성된 뷰 이미지들의 품질은 캡처 지역으로부터의 거리에 따라 저하되는 경향이 있고, 원하는 관점에서의 탈교합(de-occlusion) 및 심도 결함으로 인한 예컨대 아티팩트, 왜곡, 및 오류가 점점 심각해진다. 문제는 사용자가 다시 '좋은 위치(sweetspot)'에 있도록 어느 방향으로 이동해야 하는지 아는 것이 항상 쉽거나 분명하지 않다는 것이다. 실제로 이는 인지되는 경험의 품질을 떨어뜨리는 경향이 있을 것이며, 이는 가상 관찰자의 움직임이 애플리케이션에 의해 제한되게 할 수 있다.

따라서, 뷰 이미지들을 생성하기 위한 개선된 접근법들이 유리할 것이다. 특히, 개선된 및/또는 실현가능한 동작 또는 구현, 개선된 사용자 유연성 및 자유, 감소된 캡처 요건들, 개선된 화질, 개선된 사용자 경험, 및/또는 개선된 성능을 허용하는 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 양태에 따르면, 장면에 대한 뷰 이미지들을 생성하기 위한 장치가 제공되어 있으며, 장치는: 관찰 지역의 장면을 표현하는 3차원 장면 데이터를 저장하기 위한 저장장치; 사용자에 대한 모션 데이터를 수신하고 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정하기 위한 움직임 프로세서; 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하기 위한 변화 프로세서; 배향 변화 측정치에 응답하여 관찰 지역에 대한 관찰자 관찰 위치로부터의 거리를 감소시키기 위한 어댑터; 및 장면 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향에 대한 뷰 이미지들을 생성하기 위한 이미지 생성기를 포함한다.

본 발명은 많은 실시예들 및 애플리케이션들에서 개선된 동작, 성능, 및/또는 사용자 경험을 제공할 수 있다. 접근법은 많은 애플리케이션들에서 더 적은 용량의 장면 데이터로부터 더 고화질의 개선된 사용자 경험을 제공할 수 있다. 많은 실시예들에서, 오직 관찰 지역 내에서 캡처된 장면 데이터에 기초한 장면에 대하여 3차원 뷰 이미지들(예컨대 우안 및 좌안 이미지들)이 생성될 수 있다. 뷰 이미지들은 사용자 움직임을 추적하고 포즈 변화를 반영하도록 생성될 수 있다. 시스템은 많은 경우들에서 예컨대 장면의 전방향 스테레오(Omni Directional Stereo, ODS) 표현의 형태의 장면 데이터에 기초함에도 불구하고, 입체시(stereopsis) 및 운동 시차(motion parallax) 둘 모두를 제공할 수 있다. 또한, 관찰 지역을 향한 관찰자 관찰 위치의 편향(bias)은 생성된 뷰 이미지들이 통상적으로 오류, 아티팩트 및 왜곡이 적은 더 고화질을 갖는 것을 달성할 수 있다. 편향은 편향의 영향(예컨대 부정확한 운동 시차의 형태)이 사용자에 의해 가장 적게 인지될 수 있는 시간들로 제한될 수 있다.

접근법은 예를 들어 뷰들이 관찰 지역으로 복귀하는 높은 회전 움직임의 시간들 동안을 제외하고 제공된 뷰 이미지들이 올바른 입체시 및 시차를 갖고 사용자를 따르는 가상 또는 증강 현실 경험을 허용할 수 있다(예컨대 사용자가 관찰 지역을 향해 끌리는 "고무줄" 효과를 제공함). 이러한 사용자 경험은 실제로 많은 애플리케이션들에 대해 매우 매력적인 것으로 밝혀졌다.

어댑터는 관찰 지역에 대한 관찰자 관찰 위치 및 적어도 하나의 기준 위치 중 적어도 하나를 변경함으로써 거리를 감소시키도록 배열될 수 있다.

배향 변화 측정치는 회전 모션 측정치일 수 있고, 사용자 움직임의 회전 성분을 나타낼 수 있고, 사용자 움직임의 병진 성분에 독립적일 수 있다. 모션은 가속, 또는 실제로 위치의 임의의 변화 또는 도함수를 포함할 수 있다.

장면 데이터는 구체적으로 캡처된 데이터일 수 있고, 구체적으로 캡처된 이미지들 및 관찰 지역 내의 캡처 위치/ 포즈의 세트로부터의 심도 데이터를 포함할 수 있다.

배향 변화 측정치는 관찰자 관찰 배향의 크기(예컨대 시간 간격 내) 또는 변화율을 나타낼 수 있다.

본 발명의 선택적 특징부에 따르면, 어댑터는 배향 변화 측정치가 임계치를 초과하는 경우에만 거리를 감소시키도록 배열된다.

이는 개선된 동작 및/또는 성능을 제공할 수 있고/있거나 많은 애플리케이션들에서 매력적인 사용자 경험을 제공할 수 있다. 접근법은 사용자 모션과 생성된 뷰 이미지들 사이의 생성된 격차가 사용자/ 관찰자에 의해 덜 눈에 띄는(또는 실제로 눈에 띄지 않는) 때에 적용될 관찰 지역을 향한 편향을 허용할 수 있다.

본 발명의 선택적 특징부에 따르면 어댑터는 점진적으로 거리를 감소시키도록 배열된다. 이 거리는 관찰자가 캡처된 데이터/유효 지역에 대응하는 관찰 원(view circle)에 충분히 가깝도록 소정 값으로 감소될 수 있다. 상기 값은 0일 수 있다.

이것은 많은 시나리오들 및 애플리케이션들에서 개선된 사용자 경험을 제공할 수 있다.

본 발명의 선택적 특징부에 따르면, 거리의 감소율은 배향 변화 측정의 단조 증가 함수이다.

이것은 많은 시나리오들 및 애플리케이션들에서 개선된 사용자 경험을 제공할 수 있다. 많은 실시예들에서 사용자 움직임과 생성된 뷰 이미지들 사이의 생성된 격차의 낮은 인지성을 유지하면서, 관찰 지역으로의 더 강한 편향(예컨대 "고무줄처럼 늘리기")을 허용할 수 있다.

본 발명의 선택적 특징부에 따르면, 어댑터는 감소율에 상한을 부여하도록 배열된다.

이것은 많은 시나리오들에서 개선된 사용자 경험을 제공할 수 있다.

본 발명의 선택적 특징부에 따르면, 모션 데이터는 머리 모션 추적 데이터를 포함한다.

시스템은 머리 움직임에 따라 장면에 대한 뷰 이미지들을 제공하는 애플리케이션들을 위한 매우 매력적인 사용자 경험을 제공할 수 있다. 그것은 예컨대 상대적으로 작은 지역에서 캡처된 장면 데이터에만 기초함에도 불구하고, 매우 현실적으로 느껴질 수 있는 가상 현실 경험을 제공할 수 있다.

본 발명의 선택적 특징부에 따르면, 모션 데이터는 안구-동공 추적 데이터를 포함한다.

시스템은 동공 움직임에 따라 장면에 대한 뷰 이미지들을 제공하는 애플리케이션들을 위한 매우 매력적인 사용자 경험을 제공할 수 있다. 그것은 예컨대 상대적으로 작은 지역에서 캡처된 장면 데이터에만 기초함에도 불구하고, 매우 현실적으로 느껴질 수 있는 가상 현실 경험을 제공할 수 있다.

본 발명의 선택적 특징부에 따르면, 변화 프로세서는 머리 모션 추적 데이터 및 안구-동공 추적 데이터에 의해 나타나는 상대적인 움직임들에 응답하여 배향 변화 측정치를 결정하도록 배열된다.

시스템은 머리 추적 데이터 및 안구-동공 추적 데이터 둘 모두를 고려함으로써 특히 매력적인 사용자 경험을 제공할 수 있다. 예를 들어, 머리 및 안구/동공의 상대적인 움직임들은 함께 고려되어 배향 변화 측정치가 시선에 대한 배향 변화를 반영하는 효과적인 시선 추적을 생성할 수 있다. 이는 머리 움직임과 동공 움직임은 서로 보상하여 시선의 전체적인 변화를 감소시킬 때 (안구/동공 및 머리 움직임들은 반대 방향임) 관찰 위치를 향한 편향을 감소시킬 수 있다. 유사하게, 관찰 위치를 향한 편향은 머리 움직임과 안구/동공 움직임이 더해져서 시선의 전체적인 변화를 증가시킬 때(안구/동공과 머리 움직임들이 동일한 방향임) 증가될 수 있다.

본 발명의 선택적 특징부에 따르면, 어댑터는 3차원 장면 데이터에 대한 좌표를 수정함으로써 거리를 감소시키도록 배열된다.

이는 많은 실시예들에서 동작 및/또는 구현을 용이하게 할 수 있다. 많은 상황들에서 개선된 후방 호환성을 제공하고, 예컨대 모션 데이터로부터 관찰자 관찰 배향 및 관찰자 관찰 위치를 결정하기 위한, 또는 수정 없이 또는 거의 없이 재사용될 뷰 이미지들을 생성하기 위한 기존 알고리즘들을 허용할 수 있다.

본 발명의 선택적 특징부에 따르면, 3차원 장면 데이터는 제1 기준 좌표계에 참조되고 관찰자 관찰 위치는 제2 기준 좌표계에 참조되고, 어댑터는 제1 기준 좌표계으로부터 제2 기준 좌표계으로의 맵핑을 변경함으로써 3차원 장면 데이터에 대한 좌표를 수정하도록 배열된다.

이는 많은 실시예들에서 동작 및/또는 구현을 용이하게 할 수 있다.

본 발명의 선택적 특징부에 따르면, 3차원 장면 데이터는 장면의 심도 표현을 갖는 전방향 스테레오를 포함하고, 어댑터는 관찰자 관찰 위치와 심도 표현을 갖는 전방향 스테레오에 대한 관찰 원의 중심 위치 사이의 거리를 감소시킴으로써 거리를 감소시키도록 배열된다.

이 접근법은 장면의 ODS 및 심도 표현에만 기초하여 장면의 사실적인 인식을 제공할 수 있고 저장 및 캡처 요건들을 실질적으로 감소시킬 수 있다.

본 발명의 선택적 특징부에 따르면, 이미지 생성기는 관찰 원 및 심도 상의 뷰들에 기초하여 관점 시프팅을 수행함으로써 관찰 원 상에 있지 않은 뷰들에 대한 뷰 이미지들을 생성하도록 추가로 배열된다.

이 접근법은 장면의 ODS 및 심도 표현에만 기초하여 장면의 사실적인 인식을 제공할 수 있다. 관찰 원으로부터 벗어나는 움직임들에 대한 입체시 및 운동 시차 둘 모두를 제공하는 뷰 이미지들이 생성되도록 허용할 수 있다.

본 발명의 선택적 특징부에 따르면, 장치는 가상 현실 또는 증강 현실 애플리케이션을 실행하도록 배열되고, 뷰 이미지들은 가상 현실 또는 증강 현실 애플리케이션의 관찰자를 위한 뷰 이미지들이다.

본 발명은 매력적인 가상 현실 또는 증강 현실 애플리케이션들을 지원 또는 가능하게 할 수 있다.

본 발명의 양태에 따르면, 장면에 대한 뷰 이미지들을 생성하는 방법이 제공되고 있으며, 방법은: 관찰 지역의 장면을 표현하는 3차원 장면 데이터를 저장하는 단계; 사용자에 대한 모션 데이터를 수신하고 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정하는 단계; 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하는 단계; 배향 변화 측정치에 응답하여 관찰 지역에 대한 관찰자 관찰 위치로부터의 거리를 감소시키는 단계; 및 장면 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향에 대한 뷰 이미지들을 생성하는 단계를 포함한다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 후술되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.

본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 일부 실시예들에 따른 뷰 이미지 생성 장치의 구성요소들의 예를 도시한다.
도 2는 장면에 대한 캡처 패턴의 예를 도시한다.
도 3은 전방향 스테레오 표현의 예를 도시한다.
도 4는 장면 캡처의 전방향 스테레오 표현을 위한 관찰 원에 대한 뷰 포즈들의 예를 도시한다.
도 5는 장면 캡처의 전방향 스테레오 표현을 위한 관찰 원에 대한 뷰 포즈들의 예를 도시한다.
도 6은 장면 캡처의 전방향 스테레오 표현을 위한 관찰 원에 대한 뷰 포즈들의 예를 도시한다.
도 7은 장면 캡처의 전방향 스테레오 표현을 위한 관찰 원에 대한 뷰 포즈들의 예를 도시한다.

하기의 설명은 가상 또는 증강 현실 애플리케이션을 위한 뷰 이미지들의 생성에 응용가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이러한 애플리케이션으로 제한되는 것이 아니라, 예를 들어 많은 상이한 이미지 처리 및 렌더링 애플리케이션들에 적용될 수 있다는 것을 알 것이다.

도 1은 본 발명의 일부 실시예들에 따른 뷰 이미지 생성 장치의 예를 도시한다. 뷰 이미지 생성 장치는 주어진 관찰자 뷰 포즈에 대한 장면의 뷰들에 대응하는 이미지들을 생성하도록 배열된다. 많은 실시예들에서, 뷰 이미지 생성 장치는 주어진 관찰자 포즈에 대한 스테레오 이미지들을 생성하도록 배열되거나, 또는 동등하게는 2개의 이미지들이 관찰자의 두 눈 사이의 오프셋에 대응하는 약간 상이한 관찰자 포즈들에 대해 생성될 수 있다.

이 분야에서, 배치 및 포즈라는 용어들은 위치 및/또는 방향/배향에 대한 공통 용어로서 사용된다. 예컨대, 객체, 카메라, 또는 뷰의 포지션 및 방향/배향의 조합은 포즈 또는 배치로 지칭될 수 있다. 따라서, 배치 또는 포즈 표시는 6개의 값/성분/자유도를 포함할 수 있고 각각의 값/성분은 전형적으로 대응하는 객체의 위치/위치설정 또는 배향/방향의 개별 특성을 기술한다. 물론, 많은 상황에서, 예를 들어 하나 이상의 성분이 고정되거나 무관한 것으로 고려되는 경우, 배치 또는 포즈가 더 적은 성분으로 표현되거나 더 적은 성분을 갖는 것으로 고려될 수 있다(예를 들어, 모든 객체가 동일한 높이에 있고 수평 배향을 갖는 것으로 고려되는 경우, 4개의 성분이 객체의 포즈에 대한 완전한 표현을 제공할 수 있다). 이하에서, 포즈라는 용어는 1 내지 6개의 값들(최대 가능한 자유도에 대응함)에 의해 표현될 수 있는 위치 및/또는 배향을 지칭하는 데 사용된다. 본 설명은 포즈가 최대 자유도 - 즉, 포지션 및 배향 각각의 3 자유도가 총 6 자유도를 야기함 - 을 갖는 실시예들 및 예들에 초점을 맞출 것이다. 따라서, 포즈는 6 자유도를 표현하는 6개의 값의 벡터 또는 세트에 의해 표현될 수 있고, 따라서 포즈 벡터는 3차원 위치 및/또는 3차원 방향 표시를 제공할 수 있다. 그러나, 다른 실시예들에서, 포즈는 더 적은 값에 의해 표현될 수 있다는 것을 알 것이다.

뷰 이미지 생성 장치는 예를 들어 원격 클라이언트로부터 수신된 모션 데이터에 응답하여 원격 클라이언트에 뷰 이미지들을 제공하는 서버일 수 있다. 그러나, 도 1의 특정 예에서, 뷰 이미지 생성 장치는, 예컨대 로컬 연결 헤드 유닛(예컨대 가상 현실 헤드셋/ 고글)의 로컬 디스플레이 또는 디스플레이들을 통해 가상 경험을 제공하는 개인용 컴퓨터와 같은 로컬 디바이스일 수 있다.

이 예에서, 뷰 이미지 생성 장치는 주어진 관찰 지역의 장면을 나타내는 3차원 장면 데이터에 기초한 뷰 이미지들을 생성하도록 배열된다. 일부 실시예들에서, 뷰 지역은 단일 위치 또는 하나의 선 상에 위치설정된 카메라들로부터의 이미지들의 세트에 대한 위치들과 같은, 일차원적인 위치들의 세트일 수 있다. 다른 실시예들에서, 관찰 지역은 관찰 위치의 그리드로부터의 이미지들과 같은 2차원 영역, 또는 관찰 위치들의 입방체로부터의 이미지들과 같은 3차원 체적일 수 있다.

3차원 장면 데이터는 이미지들이 다른 관점들에 대하여 생성될 수 있는 장면의 표현을 허용하는 임의의 장면 데이터일 수 있음이 이해될 것이다. 예를 들어, 3차원 장면 데이터는 3D 모델 데이터 또는 연관된 텍스처 정보를 구비한 그리드/메시를 포함할 수 있다. 특정 예에서, 3차원 장면 데이터는 관찰 지역 내의 관찰 포즈들의 세트에 대한 이미지들을 포함한다. 또한, 예컨대 구체적으로 연관된 심도(/격차(disparity)) 맵을 갖는 각각의 이미지에 의해, 이미지들에 대한 심도 정보가 포함된다.

3차원 장면 데이터는 예에서 실제 세계 장면에 대하여 구체적으로 캡처된 데이터이다. 장면 데이터는 구체적으로 장면에 대하여 상이한 위치들 및 상이한 방향들로부터 캡처된 이미지들을 포함할 수 있다. 그러나, 많은 위치들 및 방향들에 대한 캡처들을 생성하는 것은 매우 번거롭고 시간 소모적이고 상당한 노력을 필요로 하기 때문에, 장면 데이터는 상대적으로 작을 수 있는 주어진 관찰 지역(또는 캡처된 장면 데이터의 특정 예의 캡처 지역)으로부터의 캡처들만을 포함한다.

실시예의 특정 예로서, 장면의 캡처가 앵커 위치들의 사전-정의된 그리드를 이용하여 수행될 수 있다. 이러한 예에서, 가상 카메라들의 그리드는 지표면 위에 단일 수평 평면을 형성한다. 포즈들의 패턴/그리드가 도 2에 예시되어 있다. 도면에서, 캡처 위치들은 구/원으로 시각화되며, 이때 4개의 화살표들은 각각의 캡처 위치에 대해 캡처되는 4개의 수평 방향들/배향들을 나타낸다. 도시된 바와 같이, 그리드는 각 위치에 대하여 4개의 캡처 배향을 갖는 25개의 캡처 위치로 구성되어, 총 100 캡처 포즈들을 생성할 수 있다. 이 예에서, 그리드는 대략 눈높이(1.7m)에 있는 수평 그리드이다. (도 2의 예는 단일 카메라가 상이한 캡처 위치들로 이동되는 순차적 캡처에 더 적합할 수 있다. 동시에 다수의 카메라들로 도 2의 캡처 패턴을 사용하는 것은 카메라들이 다른 카메라들로부터의 뷰들을 가로막게 할 수 있다. 이러한 상황들에서, 예컨대 패턴의 에지 상의 캡처 위치들에만 대응하는 캡처 패턴은 더 실용적일 수 있다).

이러한 예에서, 높이(예를 들어, y 방향)는 캡처 위치들에 대해 일정한 반면에, 측방향(x) 및 인/아웃(z) 방향 둘 모두는 상이한 앵커 포지션들에 대해 상이하다. 유사하게, 배향들에 대해, y 성분은 고정되는 반면, x 및 z 방향들은 변한다. 실제로, 배향들에 대해, 모든 캡처 방향들은 수평이고, 카메라의 회전은 또한 정적이므로(이미지는 수평임), 배향은 예컨대 구체적으로 x 방향에 대한 각도와 같은 단일 변수에 의해 표현될 수 있다. 따라서, 이러한 예에서, 포즈들은 3개의 성분을 갖는 포즈 벡터에 의해 표현될 수 있다.

하기의 설명은 장면 데이터가 전방향 스테레오(ODS)로 알려진 특정 기존의 3D 이미지 포맷에 따라 표현되는 실시예들에 집중할 것이다. ODS의 경우, 직경이 통상적으로 동공간 거리 예컨대 ~6.3 cm와 동일한 원 상에 원점을 갖도록 좌우안 이미지를 위한 광선들이 생성된다. ODS의 경우, 협각 이미지 섹션들은 관찰 원의 접선에 대응하고 관찰 원 둘레의 규칙적인 각도 거리에서 대립하는 방향에 대하여 캡처된다(도 3 참조).

주어진 배향(시야각)에 대하여, 주어진 배향에 대한 표시영역 내의 관찰 방향들과 매칭되는 방향들에 대하여 협각 이미지 섹션들을 조합함으로써 이미지가 생성될 수 있다. 따라서, 주어진 뷰 이미지는 상이한 방향들의 캡처들에 대응하는 협각 이미지 섹션들을 조합함으로써 형성되지만, 상이한 협각 이미지 섹션들은 원 상의 상이한 위치들과 상이하다. 따라서, 뷰 이미지는 오직 단일 관점으로부터보다는 관찰 원 상의 상이한 위치들로부터의 캡처들로 구성된다. 그러나, ODS 표현의 관찰 원이 충분히 작은 경우(장면의 콘텐츠에 대해), 이것의 영향은 허용가능한 수준으로 감소될 수 있다. 또한, 주어진 방향을 따르는 캡처들이 다수의 상이한 관찰 배향들에 재사용될 수 있기 때문에, 이미지 데이터의 요구 용량의 상당한 감소가 달성된다. 관찰자의 두 눈에 대한 뷰 이미지들은 통상적으로 적절한 접선들에 대한 대립하는 방향들에서의 캡처들에 의해 생성될 것이다.

ODS에 의해 지원될 수 있는 이상적인 머리 회전의 예가 도 4에 도시되어 있다. 이 예에서, 머리는 두 눈이 동공간 거리와 동일한 직경을 갖는 원을 따라 이동하도록 회전한다. 이것이 ODS 관찰 원의 폭에 대응한다고 가정하면, 상이한 배향들에 대한 뷰 이미지들은 단순히 상이한 뷰 배향들에 대응하는 적절한 협각 이미지 섹션들을 선택함으로써 결정될 수 있다.

그러나, 표준 ODS의 경우, 관찰자는 입체시는 인지하지만 운동 시차는 인지하지 못할 것이다. 운동 시차의 부재는 사소한 관찰자 움직임(수 센티미터 수준)에도 불쾌한 경험을 제공하는 경향이 있다. 예를 들어, 도 4에 도시된 바와 같이, 관찰자가 이동하여 눈이 더 이상 ODS 관찰 원 상에 정확하게 맞지 않는 경우, 단순히 적절한 협각 이미지 섹션들을 선택 및 조합하는 것에 기초하여 뷰 이미지들을 생성하는 것은 생성된 뷰 이미지들이 사용자들 눈이 관찰 원 상에 유지되는 것처럼 동일하게 만들 것이며, 그에 따라 사용자가 자신의 머리를 움직임으로서 생성되어야 할 시차가 나타나지 않을 것이고, 이는 실제 세계에 대하여 이동할 수 없다는 인식을 만들 것이다.

이것을 다루기 위하여, 그리고 ODS 데이터에 기초한 운동 시차의 생성을 허용하기 위하여, ODS 포맷은 심도 정보를 포함하도록 확장될 수 있다. 하나의 협각 심도 맵 섹션이 각각의 협각 이미지 섹션에 추가될 수 있다. 이 심도 정보는 관점 시프팅을 수행하는 데 사용되어 생성된 이미지들이 관찰 원의 외측(또는 내측)의 새로운 위치에 대응한다(예컨대 각각의 뷰 이미지 또는 협각 이미지 섹션은 공지의 이미지 및 심도 기반 관점 시프트 알고리즘을 이용하여 처리될 수 있음). 예를 들어, 3D 메시는 각 눈에 대하여 생성될 수 있고, 좌안 및 우안에 대한 메시 및 텍스처에 기초한 ODS 데이터의 렌더링은 운동 시차를 도입하는 데 사용될 수 있다.

그러나, 이러한 뷰 시프팅은 오류, 아티팩트 및/또는 왜곡을 불러일으킬 수 있고, 특히 왜곡/스트레치를 일으키지 않고 렌더링을 달성하기 위하여 관찰자의 눈이 관찰 원 상에 유지되는 것이 요구될 것이다.

관찰자가 단지 약간의 머리 병진 및/또는 회전을 통해 위치를 살짝 변경하면(예컨대 도 5의 예에서와 같이), 이 접근법은 통상적으로 원치 않는 왜곡은 작게 유지되도록 하면서 바람직한 시차를 도입할 수 있다. 그러나, 주위를 둘러보기 시작하는 것과 같이 관찰자가 더 큰 움직임을 만들면, 그의 눈은 원으로부터 멀리 놓인 위치로 변위하여 왜곡 및 탈교합으로 인한 잠재적으로 큰 오류를 초래할 것이다. 이 예는, 상반신 회전 또는 전신 회전이 캡처된 데이터/유효 지역에 대응하는 관찰 원으로부터 멀어지게 관찰자를 이동시킬 수 있는 도 6에 도시되어 있다. 결과는 원래의 광선들(점선 화살표)이 긴 거리에 걸쳐 변위되어야 하기 때문에 허용될 수 없는 왜곡이 일어날 것이라는 것이다.

더 일반적으로, 실제로 많은 카메라들/ 캡처 포즈들을 사용하는 것은 비용이 많이 들고 종종 가능하지 않은 경향이 있기 때문에, 실제 접근법은 종종 유효하게 캡처 및 처리된 3D 장면 데이터가 이용가능한 제한된 공간 3D 지역에 기초한다. 이 캡처 또는 관찰 지역의 외측에 있는 관점들에 대한 이미지들의 렌더링은 통상적으로 장면 데이터에 기초하여, 구체적으로 이미지 및 심도 데이터에 기초하여 여전히 가능하다. 따라서, 관찰 지역 외측에 있는 이미지들을 렌더링하는 것이 여전히 가능하지만, 이러한 관점 시프팅은 예컨대 스트레치 또는 부정확한 탈교합과 같은 오류, 아티팩트, 및 왜곡을 불러일으킬 위험이 있다.

이는 인지되는 품질이 떨어지고/떨어지거나 사용자 자유도가 제한되는 사용자 경험 저하를 초래할 수 있다. 예를 들어, 사용자는 심각한 저하 또는 자연스러운 인지의 상실(구체적으로 자연스러운 시차의 상실)을 회피하기 위하여 매우 좁은 영역 안에 자신의 머리를 유지하도록 제한될 수 있다.

도 1의 뷰 이미지 생성 장치는 많은 실시예들에서 개선된 성능을 제공할 수 있는 접근법을 이용하며, 이는 구체적으로 많은 애플리케이션들의 경우에 화질 및/또는 사용자 유연성 및 자유가 증가된 개선된 사용자 경험을 제공할 수 있다.

뷰 이미지 생성 장치는 저장장치(101)를 포함하며, 이는 관찰 지역의 장면을 나타내는 3차원 장면 데이터를 저장하도록 배열된다. 특정 예에서, 장면 데이터는 심도 표현을 갖는 ODS를 포함한다. 이 ODS 포맷은 연관된 심도 맵을 갖는 좌안 텍스처를 가지며, 우안에도 동일하다. 따라서, 총 4개의 이미지들은, 옵션적으로 같이 패킹되고, 그 중 2개가 심도를 나타낸다. ODS 원 반경은 공칭 6.5 cm로 설정될 수 있지만, 콘텐츠 및 사용 케이스에 따라 더 작거나 또는 더 큰 값들이 선택될 수 있다.

뷰 이미지 생성 장치는 장면 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향에 대한 뷰 이미지들을 생성하는 이미지 생성기(103)를 추가로 포함한다. 따라서, 관찰자 포즈에 기초하여, 이미지 생성기(103)는 우안과 좌안 각각을 위한 뷰 이미지를 생성하도록 진행할 수 있다.

특정 예에서, 이미지 생성기(103)는 먼저 심도 맵을 3D 메시(정점 및 에지들)로 변환하고 이어서 표준 텍스처 맵핑을 이용하여 주어진 새로운 위치에 대한 뷰 이미지를 생성함으로써 주어진 관찰자 포즈에 대한 이미지를 생성하도록 배열된다. 통상의 기술자는 범프 맵핑, 시차 맵핑 등과 같은 이러한 이미지 합성을 위한 다수의 공지된 대안적인 기술들에 대하여 알 것이고, 이는 간결함을 위해 그에 따라 추가로 논의되지 않을 것이다.

뷰 이미지 생성 장치는 사용자에 대한 모션 데이터를 수신하고 이 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정하도록 배열된 움직임 프로세서(105)를 추가로 포함한다.

모션 데이터는 임의의 적합한 소스 및/또는 센서로부터 수신될 수 있고, 임의의 적합한 형태로 모션을 나타낼 수 있다. 특정 예에서, 움직임 프로세서(105)는 사용자에 의해 착용되고, 사용자의 머리의 움직임을 감지하는 자이로스코프 및 가속 센서와 같은 센서들을 포함하는 헤드 유닛(107)에 결합된다.

센서 데이터는 일부 실시예들에서 수신된 센서 데이터에 기초하여 사용자의 움직임을 결정하도록 진행할 수 있는 움직임 프로세서(105)에 직접 제공될 수 있다. 그러나, 많은 실시예들에서, 헤드 유닛(107)은 예컨대 병진, 회전, 가속 등을 나타내는 데이터를 예컨대 직접 제공하도록 센서 데이터를 처리하기 위한 기능을 포함할 수 있다. 실제로, 일부 실시예들에서, 헤드 유닛은 예컨대 3개의 위치 및 3개의 배향 값을 제공하는 6차원 벡터에 의해 표현되는 사용자 포즈를 직접 제공할 수 있다.

따라서, 사용자가 자신의 머리를 움직임에 따라, 헤드 유닛(107)은 움직임을 검출하고, 움직임 프로세서(105)는 대응하는 관찰자 포즈를 결정하고, 이 포즈로부터 장면의 관찰자의 눈에 대한 대응하는 뷰 이미지들을 생성하는 이미지 생성기(103)에 그것을 제공한다. 생성된 뷰 이미지들은, 예컨대 헤드 유닛에 포함된 좌안 디스플레이 및 우안 디스플레이를 통해 사용자에 제시될 수 있다. 따라서, 사용자에게는 사용자의 움직임을 따를 수 있는 장면의 3차원 뷰가 제공될 수 있다.

그러나, 도 1의 뷰 이미지 생성 장치에서, 관찰자 위치는 항상 사용자 움직임을 전적으로 따르지 않는다. 오히려, 뷰 이미지 생성 장치는 사용자 움직임들의 직접적인 1 대 1 맵핑이 아닌 관찰자 포즈를 적응시키기 위한 기능을 포함한다. 오히려, 관찰자 포즈는 사용자 움직임을 자유롭게 따르는 것이 아니라 관찰 지역을 향해 편향될 수 있다.

구체적으로, 뷰 이미지 생성 장치는 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하도록 배열되는 변화 프로세서(109)를 포함한다. 배향 변화 측정치는 모션 데이터에 의해 나타난 바와 같이 사용자 배향의 변화 속도, 변화량, 또는 변화 정도를 구체적으로 나타낼 수 있다. 따라서, 더 크고 더 빠른 배향 변화는 통상적으로 더 높은 배향 변화 측정치를 초래할 것이다.

배향 변화 측정치는 사용자에 대한 위치보다는 배향의 변화를 반영하며, 구체적으로 사용자의 병진보다는 회전을 나타낼 수 있다. 따라서, 배향 변화 측정치는 회전 성분을 나타낼 수 있지만, 사용자 움직임의 병진 성분과는 독립적이다. 예를 들어, 사용자 포즈가 N(예컨대 3)개의 위치 값 및 M(예컨대 3)개의 배향 값에 의해 표현되는 경우, 배향 변화 측정치는 N개의 위치 값에 독립적이고 M개의 배향 값 중 적어도 하나를 반영할 수 있다. 일부 실시예들에서, 배향 변화 측정치는 사용자 움직임의 각회전 성분의 함수로서 결정될 수 있다. 배향 변화 측정치는 회전 모션 측정치일 수 있다.

변화 프로세서(109)는 이 예에서 움직임 프로세서(105)에 결합되고 이것으로부터 모션 데이터를 수신하도록 배열된다. 예를 들어, 변화 프로세서(109)는 사용자 배향 값들(예컨대 방위각(azimuth angle))을 연속적으로 수신하고 이 각도의 크기 및/또는 변화율을 연속적으로 모니터할 수 있다.

변화 프로세서(109)는 이미지 생성기(103)에 추가로 결합되는 어댑터(111)에 추가로 결합된다. 어댑터(111)는 배향 변화 측정치를 수신하고, 이에 응답하여 그것은 관찰자 관찰 위치와 관찰 지역 사이의 거리가 감소되도록 처리를 적용하도록 배열된다. 거리의 감소는 배향 변화 측정치에 따라 달라지며, 예를 들어 적응/감소는 배향 변화 측정치가 주어진 임계치를 초과하는 속도/ 크기(예컨대 사전결정된 시간 간격 내)를 나타낼 때에만 수행된다.

나중에 더 상세하게 설명되는 바와 같이, 상이한 접근법들이 배향 변화 측정치에 기초하여 거리를 감소시키는 데 사용될 수 있다. 일부 실시예들에서, 어댑터(111)는 단순하게 관찰/ 캡처 지역에 더 가까이 이동되도록 관찰자 위치를 수정하도록 배열될 수 있다. 예를 들어, 많은 실시예들에서, 관찰자 관찰 위치는 주어진 원점으로부터의 상대적인 움직임들로서 생성될 수 있고, 배향 변화 측정치가 임계치를 초과하는 경우 어댑터는 관찰 원점에서의 위치에 대응하도록 관찰자 관찰 위치를 변경하도록 배열될 수 있다. 이어서 새로운 기준에 대하여 관찰자 관찰 위치의 후속적인 변경이 이루어진다. 기준 위치의 변경은 관찰 배향을 변경하지 않고 이루어질 수 있다.

특정 예가 도 7에 도시되어 있다. 이 경우에, 사용자는 저장된 ODS 데이터의 관찰 원(701) 상에 눈을 떼지 않으면서 원점에 위치된다. 이미지 생성기(103)는 그에 따라 ODS 관찰 원(701)의 중심에 중심이 맞게 되는 이 제1 뷰 포즈(703)에 대한 뷰 이미지들을 생성한다. 사용자가 후속적으로 이동함에 따라, 포즈는 위치 및 배향 둘 모두의 관점에서 변할 수 있다. 따라서, 움직임 프로세서(105)는 관찰자 관찰 위치 및 관찰자 관찰 배향을 추적하도록 진행하고, 이미지 생성기(103)는 이 포즈들에 대하여 뷰 이미지들을 생성한다. 따라서, 사용자가 주위를 이동함에 따라, 이미지들은 포즈들을 반영하도록 업데이트된다. 움직임들이 ODS 관찰 원(701)에 가까운 한, 생성되는 뷰 이미지들은 상대적으로 정확하고 고품질의 것이다. 그러나, 사용자가 ODS 관찰 원(701)으로부터 멀어지게 추가로 이동함에 따라, 왜곡, 오류 및 아티팩트는 더 심각해질 수 있다.

그러나, 뷰 이미지 생성 장치의 이미지 생성기(103)가 배향 변화 측정치가 임계치를 초과한다고 검출하는 경우, 사용자가 상당한 회전 움직임을 만드는 것에 대응한다고 가정하면, 어댑터(111)는 관찰자 관찰 위치가 ODS 관찰 원(701)을 향해 편향되도록 그것을 조정하는데, 구체적으로 배향 변화 측정치가 충분히 큰 경우, 관찰자 관찰 위치는 ODS 관찰 원(701)의 중심을 향해 이동될 수 있다. 예컨대 도 7의 예에서, 빠른 회전 움직임은 관찰자 뷰 포즈를 시작 뷰 포즈(703)로부터 생성된 뷰 포즈(705)로 이동시킬 수 있다. 그러나, 큰 회전 움직임의 검출로 인해, 어댑터(111)는 관찰자 관찰 위치를 ODS 관찰 원(701)의 중심으로 변경하여 종료 뷰 포즈(707)를 생성한다. 이 관찰자 관찰 위치의 변경은 어떠한 관찰자 관찰 배향의 변경도 없이 수행된다. 이어서 이미지 생성기(103)는 종료 뷰 포즈(707)에 대한 뷰 이미지들을 생성하도록 진행한다.

접근법은 시스템이, 특히 사용자의 움직임을 따를 수 있는 상대적으로 작은 움직임들에 대하여 사용자의 움직임을 따를 수 있는 뷰 시프팅을 구현하도록 허용한다. 이는 자연스러운 경험을 사용자에게 제공하고, 특히 입체시 및, 중요하게는, 운동 시차 둘 모두와 일관되고 매칭되는 3차원 인식을 제공한다. 그러나, 큰 회전 움직임의 경우, 관찰자 뷰 포즈는 뷰 지역으로 다시 이동되고(예컨대 ODS 원으로 "찰칵" 돌아갈 수 있음) 그럼으로써 관찰자 관찰 위치가 장면 데이터가 이용가능한 지역에 가까이 유지되도록 보장한다. 이는 오류, 아티팩트, 및 왜곡이 낮게 유지되도록 한다.

예를 들어, 뷰 이미지 생성 장치는 사용자가 머리, 상반신 또는 전신 회전을 수행하고 있다고 검출할 수 있고, 그 상황에서 회전 행동 동안 관찰자 관찰 위치에 대한 장면의 위치를 수정하여 관찰자가 자신의 머리-회전 행동을 종료할 때 유효 관찰 지역(장면 데이터가 이용가능함)에 공간적으로 더 가까이 머물러 있도록 할 수 있다.

접근법은 관찰자 관찰 위치의 시프팅은 많은 시나리오들 및 애플리케이션들에서 허용가능할뿐만 아니라 또한 이것의 영향 및 인식성은 조정이 수행될 때의 주의깊은 제어에 의해 최소로 유지될 수 있다는 인식에 기초한다. 관찰자 관찰 위치의 변경은 잘못된 또는 심지어 반대 운동 시차 등과 같은 부자연스러운 3D 큐들에 대응함에 따라 사용자에게 매우 당황스러울 수 있다. 그러나, 현재의 접근법은 이와 같은 부자연스러운 행동이 배향/ 회전 움직임의 크고/크거나 빠른 변경과 일치할 때 이와 같은 부자연스러운 행동은 효과적으로 사용자의 인식에서 마스킹되는 인식을 반영한다. 이러한 시나리오에서, 사용자에 대한 시각적 큐들은 빨리 변경되어서 완전히 처리되지 않을 수 있고, 따라서 부자연스러운 큐들의 지각 현저성은 마스킹된다(이러한 빠른 변경 동안 사용자는 시각적 객체들/배경을 추적할 수 없을 것이고, 그럼으로써 편향 또는 시프트는 훨씬 덜 인지될 수 있고, 통상적으로 실질적으로 인지되지 않을 것이다).

따라서 접근법은 장면의 사용자의 뷰는 장면의 특정 관찰 지역을 향해 편향되는(잠재적으로 본질적으로 찰칵 돌아가는) 경험을 제공할 수 있다. 사용자는 자신의 머리를 이리저리 움직일 수 있고 제시되는 뷰 이미지들은 이 움직임을 따를 수 있지만, 뷰 이미지 생성 장치는 적합한 경우에는 언제든지 관찰 위치를 바람직한 관찰 지역으로 이동시킬 수 있다. 이러한 접근법이 사용자는 가상 환경에서 주위를 이동하는 완전한 자유를 갖는 예컨대 가상 현실 애플리케이션들에 적합하지 않을 수 있는 반면, 사용자가 환경 내에서 상대적으로 정적이지만, 여전히 예컨대 자신의 머리를 이 더 정적인 위치 주위로 이동시키는 일부 자유를 갖는 애플리케이션들에 대하여 매우 매력적인 사용자 경험을 제공한다는 것이 밝혀졌다. 특히, 그것은 매우 고품질의 이미지들, 입체시 및 운동 시차 심도 큐들, 및 저용량의 장면 데이터에 기초한 자연스러운 경험 둘 모두를 제공할 수 있다.

위 예에서, 관찰 지역과 구체적으로 ODS 관찰 원(의 중심) 사이의 거리의 감소는 거리를 바로 0으로 감소시킨 계단식 변경에 의해 달성되었다. 그러나, 많은 실시예들에서, 관찰 지역을 향한 더 점진적인 편향이 구현될 것임이 이해될 것이다.

예를 들어, 일부 실시예들에서, 관찰자 관찰 위치는 관찰 지역을 향해 소정 비율로 오프셋될 것이며, 즉 어댑터(111)에 의해 도입되는 오프셋 또는 변경은 점진적으로 증가되거나 또는 관찰자 관찰 위치를 관찰 지역을 향해 점진적으로 이동시키도록 변경된다. 정확한 변화율은 예컨대 사전결정될 수 있고, 어댑터(111)는 배향 변화 측정치가 주어진 임계치를 넘는 회전 움직임을 나타낼 때 관찰 지역을 향해 이 편향을 적용하도록 배열될 수 있다.

일부 실시예들에서, 관찰자 관찰 위치와 관찰 원 사이의 거리가 감소되는 속도는 배향 변화 측정치의 값에 따라 달라진다. 구체적으로, 변화율은 증가하는 배향 변화 측정치에 대하여 증가할 수 있는데, 즉 사용자의 회전 움직임이 빠를수록, 관찰 지역을 향한 시프트 또는 이동이 더 빨라진다.

거리의 감소율은 구체적으로 배향 변화 측정치의 단조 증가 함수일 수 있다. 예를 들어, 관찰자 관찰 위치의 시프트는 배향 변화 측정치의 값에 비례하는 속도에 의할 수 있다. 통상적으로, 임계치는, 배향 변화 측정치가 주어진 레벨을 초과하는 경우에만 시프트가 도입되고, 작은 또는 실질적으로 병진하는 움직임에 대하여 시프트가 도입되지 않도록 추가로 구현될 수 있다.

일부 실시예들에서, 속도는 배향 변화 측정치의 비선형적 함수일 수 있다. 예를 들어, 제1 임계치 미만인 배향 변화 측정치에 대하여 시프트가 도입되지 않을 수 있다. 배향 변화 측정치가 제1 임계치와 제2 임계치 사이에 있는 경우, 예컨대 변화율이 배향 변화 측정치에 비례하는 점진적 의존성이 적용될 수 있다. 배향 변화 측정치의 값들이 제2 임계치를 초과하는 경우, 어댑터(111)는 예컨대 계단식 변경을 적용할 수 있는데, 예를 들어 배향 변화 측정치가 주어진 레벨을 초과하여 증가하는 경우, 관찰자 관찰 위치는 ODS 관찰 원의 중심과 일치하도록 리셋된다.

일부 실시예들에서, 어댑터(111)는 감소율에 상한을 부여하도록 배열될 수 있다. 예를 들어, 변화율은 변화율의 추가적인 증가가 적용되지 않는 주어진 임계치까지 배향 변화 측정치에 비례할 수 있다. 이는 위치의 시프트가 상대적으로 인식되지 않도록 충분히 낮게 유지되는 것을 보장할 수 있다.

많은 실시예들에서, 모션 데이터는, 예컨대 가상 현실 유닛으로부터의 머리 모션 추적 데이터를 포함할 수 있고, 이는 이전에 설명된 바와 같다.

그러나, 일부 실시예들에서, 모션 데이터는 대안적으로, 또는 통상적으로 추가적으로, 안구-동공 추적 데이터를 포함할 수 있다(추적 데이터는 구체적으로 머리에 대한 동공의 움직임을 반영하는 동공 추적 데이터일 수 있음).

예를 들어, 일부 실시예들에서, 모션 데이터는 머리 움직임뿐만 아니라 또한 안구/동공 움직임을 추적할 수 있다. 이러한 경우들에서, 배향 변화 측정치는 머리 움직임 및 안구/동공 움직임 둘 모두를 나타내도록 결정될 수 있다. 예를 들어, 주어진 레벨을 초과하는 머리 움직임 또는 안구/동공 움직임이 검출되는 경우, 관찰자 관찰 위치는 ODS 관찰 원의 중심으로 이동될 수 있다.

그러나, 통상적으로, 머리 움직임과 안구/동공 움직임은 독립적으로 고려되지 않고 오히려 단일 배향 변화 측정치로 조합된다. 배향 변화 측정치는 구체적으로 머리 모션 추적 데이터 및 안구-동공 추적 데이터에 의해 나타나는 상대적인 움직임들에 응답하여 결정될 수 있다. 구체적으로, 머리 움직임과 안구/동공 움직임이 반대 방향에 있음으로써 서로에 대하여 보상하는 것으로 검출될 때보다 머리 움직임과 안구/동공 움직임이 동일한 방향에 있는 것이 검출될 때 더 높은 배향 변화 측정치가 결정될 수 있다(예를 들어 사용자가 자신의 관찰 방향을 유지하면서 자신의 고개를 돌리고 있는, 즉 자신의 눈을 움직여 동일한 물체를 계속 보는 상황에 대응함).

실제로, 많은 실시예들에서, 안구-동공 모션 추적기를 사용함으로써 관찰 지역에 대하여 관찰자 관찰 위치를 수정하는 시기 및 방법에 대한 더 나은 결정을 할 수 있다. 안구/동공 추적은 예를 들어 헤드셋에 대한 안구/동공의 움직임을 검출할 수 있는 가상 현실 적외선 안구 /동공 추적기 센서들을 헤드셋 내부에 포함함으로써 구현될 수 있다.

이러한 실시예들에서, 눈이 예컨대 우측 또는 위로 이동하는지 등이 검출/측정될 수 있고 그와 동시에 머리 움직임이 예컨대 헤드셋의 자이로스코프에 의해 검출될 수 있다. 따라서, 안구/동공의 모션이 헤드셋의 모션과 동일한 방향에 있는지 아니면 예컨대 반대 방향에 있는지(그래서 머리 모션을 '보상'하는지) 검출될 수 있다. 후자의 경우에, 관찰자 관찰 위치의 시프트가 적용되지 않을 수 있는 반면, 전자의 상황에서 더 강한 시프트가 도입될 수 있는데, 그 이유는 사용자가 이러한 시프트를 인지하기에 더 어렵기 때문이다.

많은 실시예들에서, 머리 모션 및 안구-동공 모션의 추적은 조합되어 사용자의 시선을 추적할 수 있고, 배향 변화 측정치는 이 시선 추적으로부터 결정될 수 있다. 예를 들어, 머리 및 안구/동공 모션 데이터는, 예컨대 사용자의 현재 시선의 배향을 반영하는 3개의 성분 벡터로 조합될 수 있다. 이어서 배향 변화 측정치는 이 시선 벡터의 변화를 반영하도록 생성될 수 있다. 따라서, 배향 변화 측정치가 사용자의 시선의 배향은 주어진 임계치를 초과하는 속도로 변경되고 있음을 나타낼 때(에만) 조정이 적용될 수 있다.

일부 실시예들에서, 구별되는 동작은 또한 머리와 눈의 상대적인 모션에 따라 수행될 수 있다. 예를 들어, 머리는 회전하고 있지 않지만 눈은 빠르게 방향을 변경하고 있는 경우 상이한 조치가 취해질 수 있다. 그러한 경우에, 관찰 지역을 향해 작은 편향 또는 시프트가 적용될 수 있다. 머리 회전 및 시선 회전 둘 모두 작다면, 조정이 적용되지 않는다.

이전의 설명은 관찰자 관찰 위치를 변경 또는 오프셋함으로써 조정이 도입된 예들에 초점을 맞췄다. 그러나, 다른 실시예들에서, 관찰자 관찰 위치와 관찰 지역 사이의 거리의 감소는 다른 개체들에 대한 좌표 또는 좌표 기준과 같은 다른 파라미터들을 추가적으로 또는 대안적으로 변경함으로써 달성될 수 있음이 이해될 것이다.

구체적으로, 어댑터(111)는 일부 실시예들에서 3차원 장면 데이터에 대한 좌표를 수정함으로써 거리를 감소시키도록 배열될 수 있다. 따라서, 관찰자 관찰 위치를 변경하기보다는, 다른 장면 구성요소들의 좌표가 변경될 수 있다. 이는 예컨대 모션 추적, 관찰자 관찰 위치 결정, 및 이미지 생성이 적응하기 어려울 수 있는 구축된 알고리즘들에 기초하는 많은 실시예들에서 매력적일 수 있다. 많은 실제 구현예들에서, 더 효율적인 접근법이 실제로 장면 좌표를 적응시킬 수 있다. 구체적으로, 많은 실시예들에서, 장면 데이터는 관찰 위치들의 세트로부터의 하나 이상의 캡처된 이미지들을 포함할 수 있다. 예컨대 ODS 접근법의 경우, 장면 데이터는 ODS 이미지들을 ODS 관찰 원에 대한 좌표 표면과 함께 포함할 수 있다. 많은 실시예들에서, 관찰자 관찰 위치를 수정하기보다는, ODS 관찰 원의 좌표와 같은 장면 데이터의 좌표를 수정함으로써 거리를 감소시키는 것이 계산적으로 더 효율적일 수 있다.

많은 실시예들에서, 시스템은 상이한 양태들/ 개체들/ 파라미터들에 상이한 좌표계들을 사용할 수 있다. 예를 들어, 장면 데이터는 장면 데이터의 생성 시(예컨대 캡처 될 때) 채택된 좌표계에 표현된 좌표로 저장될 수 있다. 이 좌표계는 예컨대 장면 좌표계로 참조될 수 있는 제1 기준 좌표계일 수 있다. 캡처된 이미지들에 대한 관점들의 좌표는 이 장면 좌표계를 참조하여 표현된다.

그러나 모션 데이터는 실제 세계에서의 사용자의 움직임에 관하여 제공될 수 있고, 따라서 초기에 장면 좌표계에 관련되지 않는다. 많은 실시예들에서, 모션 데이터는 제2 기준 좌표계에 관하여 모션 정보 및 관찰 포즈들을 생성하도록 처리되고, 이는 실제 세계 좌표계로 지칭될 수 있다. 많은 실시예들에서, 모션 데이터를 처리하고 이 세계 좌표계에서 관찰자 관찰 위치를 생성하는 것이 실용적일 수 있다.

상이한 파라미터들을 조화시키기 위하여, 두 기준 좌표계는 서로 맵핑될 수 있다. 간단한 예로서, 많은 실시예들에서, 장면 좌표계와 실제 세계 좌표계는 동일한 원점(및 동일한 스케일)을 갖도록 설정될 수 있다.

그러나, 많은 실시예들에서, 관찰 지역에 대한 관찰자 관찰 위치의 적응은 두 기준 좌표계 간의 맵핑을 동적으로 변경함으로써 달성될 수 있다. 구체적으로, 장면과 세계 좌표계 사이의 오프셋은 변경될 수 있다. 이는 예를 들어 실제 세계 좌표계 내의 장면 좌표계의 원점의 좌표를 변경함으로써 변경될 수 있다. 특정 예로서, 배향 변화 측정치가 충분히 높은 경우, 실제 세계 좌표계 내의 장면 좌표계의 원점은 ODS 관찰 원의 중심이 현재 관찰자 관찰 위치와 일치하도록 설정될 것이다.

이하에서, 구현예의 특정 예시가 설명될 것이다. 이 설명을 위하여,

[rad/s]는 헤드 유닛이 주어진 순간에 갖는 각속도의 크기를 나타낸다. 주어진 최소 각속도 크기,

를 초과하면, 배향 변화 측정치는 사용자가 머리-회전 행동을 시작하고 있음을 나타낸다. 더 정교한 메커니즘들은 관찰자가 머리 회전을 시작했는지 인식하기 위하여 헤드 유닛의 포즈의 더 긴 이력을 사용할 수 있다.

일단 머리-회전이 검출되면, 장면 기준 좌표계는 광선 변위를 일정하게 유지되게 하거나 또는 심지어 이를 감소시키기 위하여 관찰자 관찰 위치를 따르도록 변위된다. 사용자가 회전을 멈추면

장면 기준 좌표계는 병진을 멈춘다. 이 순간 후에, 뷰 이미지들은 현재 관찰자 관찰 위치를 반영하도록 동적으로 생성되고, 그럼으로써 운동 시차가 제시된다.

머리-회전 동안의 시간은 관찰자 관찰 위치와 뷰 지역 사이의 차이를 감소시키는 데 사용된다.

은 실제 세계 좌표계 내의 장면 좌표계 원점의 위치를 나타내고, 관찰 지역은 이 원점 상에 중심을 둔다. 통상적으로

은 애플리케이션을 시작할 때 실제 세계 좌표계 원점과 일치할 것이다.

배향 변화 측정치에 의해 표시되는 각속도에 따라, 뷰 이미지 생성 장치는 이제 헤드 유닛의 센서들로부터 관찰자 관찰 위치,

를 결정하는 상태-루프(state-loop)에서 장면을 지속적으로 업데이트한다:

,

여기서

는 장면/ 관찰 지역이 얼마나 강하게 현재 관찰자 관찰 위치로 당겨지는지(즉 구체적으로 관찰 지역과 관찰자 관찰 위치 사이의 거리의 감소가 얼마나 빠른지) 결정하는 '견인 요인'이고,

는 포즈 측정 시스템의 업데이트 빈도 [㎐]이다. 더 높은 업데이트 빈도의 경우, 장면 좌표계는 덜 병진되어야 하거나, 또는 다시 말해서, '견인 요인'

는 포즈 측정 시스템의 업데이트 빈도에 독립적으로 특정될 수 있다. 이는

은, 원칙적으로, 지속적으로 업데이트되는 상기 수학식으로부터 알 수 있다. 그러나, 장면 위치 변경은 오직 머리-각속도가 주어진 임계치를 초과할 때

보다 크다.

'견인 요인'

는 각속도에 따라 그리고 속도차

견인 요인'

를 어떻게 수정하는지 결정하는 이득

에 따라 달라질 수 있다:

이 수학식에서 알 수 있는 바와 같이,

'견인 요인'

이고 결과적으로 장면 위치는 수정되지 않는다. 관찰자는 그 경우에 ODS 관찰 원으로부터 임의대로 멀어지게 이동할 수 있다. 이득

이 커지면,

는 이미 작은 각속도 차이

대하여 1이 된다. 이어서 효과는 관찰 지역이 즉시 관찰자 관찰 위치를 향해 당겨지는 것이고, 생성된 뷰 이미지들의 왜곡 품질은 개선될 것이다. 관찰자가 4 초 내에 90 도 각도 넘게 자신의 머리를 회전시킬 각속도인

에 대한 가능성 값. 이 속도의 4 배라고 가정하면, 거리는 0으로 감소되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분배될 수 있다.

본 발명이 일부 실시예들과 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구항들에 의해서만 제한된다. 또한, 특징이 특정 실시예들과 관련하여 설명되는 것으로 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 특징의 포함은 이러한 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 대로 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이러한 순서로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급들은 복수를 배제하지 않는다. 따라서, 단수형 표현("a", "an"), "제1", "제2" 등에 대한 언급들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (14)

1. 장면에 대한 뷰 이미지들을 생성하기 위한 장치에 있어서,
   관찰 지역의 상기 장면을 표현하는 3차원 장면 데이터를 저장하기 위한 저장장치(101);
   사용자에 대한 모션 데이터를 수신하고 상기 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정하기 위한 움직임 프로세서(105);
   상기 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하기 위한 변화 프로세서(109);
   상기 배향 변화 측정치에 응답하여 상기 관찰 지역에 대한 상기 관찰자 관찰 위치로부터의 거리를 감소시키기 위한 어댑터(111); 및
   상기 장면 데이터로부터 상기 관찰자 관찰 위치 및 상기 관찰자 관찰 배향에 대하여 뷰 이미지들을 생성하기 위한 이미지 생성기(103)를 포함하며, 상기 3차원 장면 데이터는 상기 장면의 심도 표현을 갖는 전방향 스테레오(Omni Directional Stereo)를 포함하고, 상기 어댑터(111)는 상기 관찰자 관찰 위치와 심도 표현을 갖는 상기 전방향 스테레오에 대한 관찰 원의 중심 위치 사이의 상기 거리를 감소시킴으로써 상기 거리를 감소시키도록 배열된, 장치.
2. 제1항에 있어서, 상기 어댑터(111)는 상기 배향 변화 측정치가 임계치를 초과한 경우에만 상기 거리로 감소되도록 배열된, 장치.
3. 제1항 또는 제2항에 있어서, 상기 어댑터(111)는 상기 거리를 점진적으로 감소시키도록 배열된, 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 거리의 감소율은 상기 배향 변화 측정치의 단조 증가 함수인, 장치.
5. 제4항에 있어서, 상기 어댑터(111)는 상기 감소율에 상한을 부여하도록 배열된, 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 모션 데이터는 머리 모션 추적 데이터를 포함하는, 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 모션 데이터는 안구-동공 추적 데이터를 포함하는, 장치.
8. 제6항에 종속되는 제7항에 있어서, 상기 변화 프로세서(109)는 상기 머리 모션 추적 데이터 및 상기 안구-동공 추적 데이터에 의해 표시되는 상기 상대적인 움직임들에 응답하여 상기 배향 변화 측정치를 결정하도록 배열된, 장치.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 어댑터(111)는 상기 3차원 장면 데이터에 대한 좌표를 수정함으로써 상기 거리를 감소시키도록 배열된, 장치.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 3차원 장면 데이터는 제1 기준 좌표계에 참조되고, 상기 관찰자 관찰 위치는 제2 기준 좌표계에 참조되고, 어댑터(111)는 상기 제1 기준 좌표계로부터 상기 제2 기준 좌표계로의 맵핑을 변경함으로써 상기 3차원 장면 데이터에 대한 상기 좌표를 수정하도록 배열된, 장치.
11. 제10항에 있어서, 상기 이미지 생성기(103)는 상기 관찰 원 및 상기 심도 상의 뷰들 에 기초하여 관점 시프팅을 수행함으로써 상기 관찰 원 상에 있지 않은 뷰들에 대한 뷰 이미지들을 생성하도록 추가로 배열된, 장치.
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 가상 현실 또는 증강 현실 애플리케이션을 실행하도록 배열되고, 상기 뷰 이미지들은 상기 가상 현실 또는 증강 현실 애플리케이션의 관찰자를 위한 뷰 이미지들인, 장치.
13. 장면에 대한 뷰 이미지들을 생성하는 방법에 있어서,
    상기 장면의 심도 표현을 갖는 전방향 스테레오를 포함하고 관찰 지역의 상기 장면을 표현하는 3차원 장면 데이터를 저장하는 단계;
    사용자에 대한 모션 데이터를 수신하고 상기 모션 데이터로부터 관찰자 관찰 위치 및 관찰자 관찰 배향을 결정하는 단계;
    상기 관찰자 관찰 배향에 대한 배향 변화 측정치를 결정하는 단계;
    상기 배향 변화 측정치에 응답하여 상기 관찰자 관찰 위치와 심도 표현을 갖는 상기 전방향 스테레오에 대한 관찰 원의 중심 위치 사이의 거리를 감소시키는 단계; 및
    상기 장면 데이터로부터 상기 관찰자 관찰 위치 및 상기 관찰자 관찰 배향에 대한 뷰 이미지들을 생성하는 단계를 포함하는, 방법.
14. 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램이 컴퓨터 상에서 실행될 때 제13항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.

Images