KR20200046048A

KR20200046048A - 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하는 새로운 프레임의 생성

Info

Publication number: KR20200046048A
Application number: KR1020207007380A
Authority: KR
Inventors: 레자 누라이; 로버트 블레이크 테일러; 마이클 해럴드 리베나우
Original assignee: 매직 립, 인코포레이티드
Priority date: 2017-09-01
Filing date: 2018-08-31
Publication date: 2020-05-06
Also published as: JP7201869B1; JP2020532797A; EP3676653A4; JP2022179473A; EP3676653B1; CN111051959A; CA3073618A1; US10846912B2; KR20220041252A; CN114897754A; EP4177667A1; US11288858B2; US20210035353A1; JP7166484B1; IL294397A; CN111051959B; AU2018326807A1; KR102379670B1; IL272651A; US20200051322A1

Abstract

이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 접근법이 개시된다. 제1 관점으로부터의 제1 세트의 객체들의 가시적인 표면들의 포인트들이 렌더링된다. 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두가 저장된다. 제2 관점으로부터의 새로운 프레임은 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 생성된다.

Description

이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하는 새로운 프레임의 생성

[0001] 본 개시내용은 일반적으로, 새로운 관점으로부터 이미지를 재생성하지 않고, 이전의 프레임으로부터의 비-렌더링된 콘텐츠에 대한 이미지 데이터를 사용함으로써 이미지의 새로운 관점을 구성하는 것에 관한 것이다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실(VR)" 또는 "증강 현실(AR)" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. VR 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면에, AR 시나리오는 통상적으로 사용자 주위 실세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.

[0003] VR 및 AR 시스템들은 통상적으로, 사용자의 머리에 적어도 느슨하게 커플링되고 따라서 사용자의 머리가 움직일 때 움직이는 웨어러블 디스플레이 디바이스들(예컨대, 머리-착용 디스플레이들, 헬멧-장착 디스플레이들 또는 스마트 안경)을 사용한다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되는 경우, 디스플레이되는 이미지 데이터는 머리 포즈(즉, 사용자의 머리의 배향(orientation) 및/또는 위치)의 변화를 고려하여 업데이트될 수 있다.

[0004] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 이미지로서 3차원(3D) 객체의 표현을 보고 3D 객체가 나타나는 영역 주변을 걷는 경우, 해당 3D 객체는 각각의 추가적인 시점으로부터 재생성될 수 있어서, 사용자들이 3D 객체 주위를 걷는 것과 같은 지각을 사용자에게 제공한다. 머리-착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내에 다수의 3D 객체들을 포함하는 장면을 제공하는 데 사용되는 경우, 사용자의 동적으로 변하는 머리 위치 및 배향에 매칭하도록 장면을 재생성하고 가상 공간에서의 증가된 몰입감을 제공하기 위해 머리 포즈의 측정들이 사용될 수 있다.

[0005] 전형적으로, 디스플레이는 컬러 정보가 어떻게 제공되는지에 대해 컬러 데이터 충실도 또는 해상도를 부여한다. 해상도 내에서, 얼마나 많은 포토닉 이벤트들이 사용자의 시점 또는 관점으로부터 각도 포지션에 대응할 수 있는지에 관계없이, 픽셀 당 단지 하나의 컬러 값이 존재할 수 있다. 불투명 콘텐츠의 경우에, 가장 가까운 포토닉 이벤트(예컨대, 사용자에 대해 가장 가까운 불투명 객체)의 결과만 유지되어, 가려진 이벤트들(예컨대, 불투명 객체들 및/또는 불투명 객체 뒤의 반투명 객체들)에 관련된 데이터의 총 손실이 발생한다. 반투명 콘텐츠의 경우에, 포토닉 이벤트들(예컨대, 반투명 객체들 및 불투명 객체들 및/또는 반투명 객체 뒤의 반투명 객체들)의 결과들이 블렌딩된다. 어느 경우에도, 픽셀 당 하나의 컬러 값만 존재할 수 있는 경우, 원래의 포토닉 이벤트 데이터(예컨대, 반투명 객체들 및/또는 불투명 객체들)를 재구성하고 분리하기가 어려워지고, 이는, 워핑 동안에 각각의 이벤트가 상이한 위치로 이동되어야 하는 경우, 해당 이벤트들의 포지션들을 정확하게 워핑하는 것을 어렵게 만든다. 예컨대, 포토닉 이벤트들(photonic events)(e0 및 e1)이 픽셀(p0)을 생성하기 위해 블렌딩되면, 워핑 동안에, 해결책은 포토닉 이벤트(e0)를 픽셀(p1)로 이동시키고 포토닉 이벤트(e1)를 픽셀(p2)로 이동시키는 것일 수 있지만, 워핑에 대한 입력이 병합 결과(예컨대, 픽셀(p0))이기 때문에, 병합된 픽셀은 전체적으로 픽셀(p1) 또는 픽셀(p2) 중 어느 하나로 이동되어야 하고, 워핑을 정확하게 수행하고 원하는 대로 포토닉 이벤트(e0)를 픽셀(p1)로 이동시키고 포토닉 이벤트(e1)를 픽셀(p2)로 이동시키기 위해 자신의 원래의 포토닉 이벤트들(e0 및 e1)로 다시 분할될 수 없다.

[0006] 각각의 프레임에 대해, 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터만이 유지되고(즉, 렌더링됨), "렌더링된 콘텐츠"로 지칭되고, 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 폐기되고(즉, 렌더링되지 않음), '비-렌더링된 콘텐츠'로 지칭된다. 그러나, 사용자가 자신들의 머리를 새로운 관점으로 이동시킬 때, 사용자는 이전에는 보이지 않았던 객체의 표면들의 포인트들을 볼 것으로 예상할 수 있다. 아래에 더 상세히 설명되는 바와 같이, 애플리케이션이 이전의 장면으로부터 렌더링된 콘텐츠만을 유지했기 때문에, 사용자가 새로운 관점으로 이동할 때, 비-렌더링된 콘텐츠가 상실된다. 이는, VR 및 AR 시스템들이 상이한 관점들을 디스플레이할 때, 객체들의 표면들의 포인트들에 대한 정확한 위치들 및 배향들로 각각의 장면을 정확하게 보여주기 위해, 각각의 새로운 관점으로부터 각각의 추가적인 장면이 재생성될 필요가 있다는 것을 의미한다.

[0007] "워핑(warping)"은, 객체가 새로운 장면에 제공되는 방식을 변경하도록 적용될 수 있다. 이 접근법은 객체들을 취하고, 상이한 관점으로부터 객체들을 디스플레이하기 위한 시도로 객체들의 표면들의 포인트들이 제공되는 방식을 시프팅한다. 그러나, 일부 객체들이 다른 객체들을 적어도 부분적으로 덮고 있을 때, 비폐색 문제(disocclusion problem)가 발생한다. 일 예에서, 이미지 데이터를 포함하는 프레임은 제1 관점으로부터 렌더링되며, 여기서 렌더링된 프레임은 제1 관점으로부터의 제1 객체 및 제2 객체의 디스플레이 가능한 정보를 포함하고, 제2 관점으로부터의 제1 객체 및 제2 객체의 디스플레이 가능한 정보를 포함하지 않는다. 제1 관점으로부터의 제1 및 제2 객체들에 대한 디스플레이 가능한 정보에 대응하는 렌더링된 콘텐츠가 캡처되고 저장된다. 프레임이 제1 관점으로부터 렌더링될 때, 제2 관점으로부터의 제1 및 제2 객체들에 대한 디스플레이 가능한 정보에 대응하는 비-렌더링된 콘텐츠는 캡처되거나 저장되지 않는다. 이는, 제1 객체 및 제2 객체의 상이한 부분들이 제2 관점으로부터 보일 수 있지만, 워핑된 콘텐츠가 제1 관점으로부터 볼 수 있는 제1 및 제2 객체들의 부분만을 포함하기 때문에, 사용자가 새로운 포지션으로 이동할 때 문제가 된다. 워핑된 콘텐츠는 (얼마나 많은 워핑이 적용되더라도), 제1 관점으로부터는 보이지 않았지만 이제 제2 관점으로부터는 보이는 제1 및 제2 객체들에 대한 콘텐츠를 누락할 것이다. 따라서, 이 접근법은, 상이한 관점들로부터 이미지의 콘텐츠 진실성(veracity)에 영향을 미치는 상당량의 비디오 아티팩트들을 생성한다.

[0008] 따라서, 새로운 관점으로부터 이미지를 재생성하지 않고, 이전에 렌더링된 이미지로부터의 비-렌더링된 콘텐츠에 대한 이미지 데이터를 사용함으로써 이미지의 새로운 관점을 디스플레이하기 위한 접근법에 대한 필요성이 있다.

[0009] 일부 실시예들에 따라, 객체들의 추가적인 관점을 디스플레이하기 위해 객체들을 재-렌더링하는 것 대신에, 추가적인 관점으로부터의 객체들은 이전의 프레임으로부터의 렌더링 콘텐츠 및/또는 비-렌더링된 콘텐츠로부터 구성된다. 이전의 프레임으로부터의 콘텐츠는 다양한 접근법들에 의해 선택되어 저장될 수 있다. 일 실시예에서, 모든 콘텐츠가 저장된다. 일 실시예에서, 표면 포인트들에 대응하는 콘텐츠가 저장된다. 다른 실시예에서, 현실적 범위의 머리 움직임에 대응하는 콘텐츠가 저장된다. 다른 실시예에서, 가장 가까운 가시적인 불투명 포인트들 및 가장 가까운 가시적인 불투명 포인트들 전방의 모든 반투명 포인트들에 대응하는 콘텐츠가 저장된다. 일부 실시예들에서, 콘텐츠는 링크된 리스트, 복셀(voxel), 표면 정의들(surface definitions)(예컨대, 쉘들(shells), 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등으로서 저장된다.

[0010] 일부 실시예들에 따라, 방법, 시스템, 또는 컴퓨터-판독 가능한 매체는 다음의 엘리먼트들: 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하는 것; 제1 관점으로부터 제1 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 것; 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것 ― 렌더링된 콘텐츠는 제1 관점으로부터의 제1 세트의 객체들의 가시적인 표면들의 포인트들에 대응하고, 비-렌더링된 콘텐츠는 제1 관점으로부터의 제1 세트의 객체들의 비-가시적인 부분들에 대응함 ― ; 제2 관점으로부터 새로운 프레임을 디스플레이하기 위한 요청을 수신하는 것; 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 제2 관점으로부터 새로운 프레임을 생성하는 것; 제2 관점으로부터의 새로운 프레임을 디스플레이하는 것; 사용자의 제1 포즈를 캡처함으로써 제1 관점을 식별하는 것 ― 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것은, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 링크된 리스트들, 어레이 구조들, 실제 볼류메트릭 표현들, 복셀들, 표면 정의들, N-차원 데이터 구조들, 및 N-차원 그래프 표현들 중 적어도 하나에 저장하는 것을 포함함 ― ; 제1 관점으로부터의 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두에 대한 상이한 입도들을 결정하는 것; 제2 관점으로부터 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 것; 저장된 렌더링된 콘텐츠 중 적어도 일부를 제1 관점으로부터 제2 관점으로 워핑하는 것 ― 제2 관점으로부터 새로운 프레임을 생성하는 것은 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합하는 것을 포함하고, 새로운 렌더링된 콘텐츠는 제2 관점으로부터의 제2 세트의 객체들의 가시적인 표면들의 포인트들에 대응하고, 워핑된 렌더링된 콘텐츠는 제1 관점으로부터 제2 관점으로 워핑된 저장된 렌더링된 콘텐츠에 대응함 ― ; 제2 관점으로부터 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 것; 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 것; 제2 세트의 객체들을 식별하기 위해, 제2 관점으로부터의 제3 세트의 객체들과 제1 관점으로부터의 저장된 렌더링된 콘텐츠를 비교하는 것 ― 제2 세트의 객체들은 저장된 렌더링된 콘텐츠에 없는 제3 세트의 객체들로부터의 객체들을 포함함 ― ; 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 것; 저장된 콘텐츠 중 적어도 일부를 제1 관점으로부터 제2 관점으로 워핑하는 것; 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 것; 제3 세트의 객체들 및 저장된 렌더링된 콘텐츠 둘 모두에 있는 객체들을 식별하기 위해, 제2 관점으로부터의 제3 세트의 객체들과 제1 관점으로부터의 저장된 렌더링된 콘텐츠를 비교하는 것; 제3 세트의 객체들 및 저장된 렌더링된 콘텐츠 둘 모두에 있는 객체들을 워핑하는 것; 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것; 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 식별하는 것; 콘텐츠가 표면 포인트 및 비-표면 포인트 중 하나에 대응하는지를 결정하기 위해 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 분석하는 것; 비-표면 포인트에 대응하는 콘텐츠를 폐기하는 것; 표면 포인트에 대응하는 콘텐츠를 저장하는 것; 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것; 사용자의 머리 움직임을 예측하는 것; 예측된 방향, 사용자의 움직임의 현재 속도, 및 사용자에 대한 움직임의 예측된 속도 중 하나 이상에 적어도 부분적으로 기반하여 사용자의 예측된 머리 움직임에 대한 바운드들을 계산하는 것 ― 바운드들은 제2 관점에 대한 최대 예측된 머리 움직임에 대응함 ― ; 예측된 머리 움직임에 대한 계산된 바운드들 내의 콘텐츠를 결정하는 것; 계산된 바운드들 내의 콘텐츠를 저장하는 것; 제1 관점으로부터의 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것; 하나 이상의 불투명 객체들의 불투명 포인트들을 결정하는 것; 불투명 포인트들에 대응하는 이미지 데이터를 저장하는 것; 하나 이상의 반투명 객체들의 반투명 포인트들을 결정하는 것; 반투명 포인트들의 이미지 데이터를 저장하는 것 ― 제1 세트의 객체들은 하나 이상의 불투명 객체들 및 하나 이상의 반투명 객체들을 포함함 ― ; 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템; 실행 가능한 컴퓨터 명령들을 저장하는 비일시적인 컴퓨터-판독 가능한 저장 매체; 비-일시적인 컴퓨터-판독 가능한 매체에 포함되는 컴퓨터 프로그램 제품 ― 컴퓨터-판독 가능한 매체는 일련의 명령들을 저장하고, 일련의 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법을 실행하게 함 ― ; 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법; 제1 관점으로부터 하나 이상의 객체들을 렌더링하는 것; 제1 관점으로부터의 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 것 ― 비-렌더링된 콘텐츠는 제1 관점으로부터의 객체의 비-가시적인 부분들에 대응함 ― ; 제2 관점으로부터의 하나 이상의 객체들을 디스플레이하기 위한 요청을 수신하는 것; 제2 관점으로부터 워핑된 콘텐츠를 생성하기 위해 하나 이상의 객체들에 대한 렌더링된 콘텐츠 중 적어도 일부를 워핑하는 것; 제2 관점으로부터 제2 렌더링된 콘텐츠를 생성하기 위해 하나 이상의 객체들에 대한 비-렌더링된 콘텐츠 중 적어도 일부를 렌더링하는 것; 제2 관점으로부터의 워핑된 콘텐츠 및 제2 렌더링된 콘텐츠 둘 모두를 결합함으로써 제2 관점으로부터 하나 이상의 객체들을 구성하는 것; 제2 관점으로부터 하나 이상의 객체들을 디스플레이하는 것 중 임의의 조합을 포함한다.

[0011] 본 개시내용의 부가적인 그리고 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.

[0012] 도면들은 본 개시내용의 바람직한 실시예들의 설계 및 유용성을 예시하며, 도면들에서 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 개시내용의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 개시내용의 보다 구체적 설명이 첨부 도면들에서 예시되는 본 개시내용의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 개시내용의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 개시내용의 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면서, 본 개시내용은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0013] 도 1은 일 실시예에 따른 이미지 생성 시스템의 예시적인 시스템 아키텍처를 도시한다.
[0014] 도 2a-2f는 일 실시예에 따른, 제1 관점으로부터의 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하는 것을 도시한다.
[0015] 도 3은 일 실시예에 따른, 제1 관점으로부터의 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하기 위한 접근법에 대한 흐름도를 도시한다.
[0016] 도 4a-4g는 다른 실시예에 따른, 제1 관점으로부터의 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하는 것을 도시한다.
[0017] 도 5는 일 실시예에 따른, 제2 관점으로부터의 새롭게 렌더링된 콘텐츠 및 제1 관점으로부터의 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하기 위한 접근법에 대한 흐름도를 도시한다.
[0018] 도 6a-6g는 일 실시예에 따른, 제2 관점으로부터의 새롭게 렌더링된 콘텐츠 및 제1 관점으로부터의 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하는 것을 도시한다.
[0019] 도 7은 일 실시예에 따른, 표면 포인트들에 대응하는 이미지 데이터를 선택 및 저장하기 위한 접근법에 대한 흐름도를 도시한다.
[0020] 도 8은 일 실시예에 따른, 공칭 범위의 모션에 대응하는 이미지 데이터를 선택 및 저장하기 위한 접근법에 대한 흐름도를 도시한다.
[0021] 도 9a-9f는 일 실시예에 따른, 불투명 및 반투명 객체들에 대응하는 이미지 데이터를 사용하여 이미지의 제2 관점을 디스플레이하는 것을 도시한다.
[0022] 도 10은 일 실시예에 따른, 불투명 객체들 및 반투명 객체들에 대응하는 이미지 데이터를 선택 및 저장하기 위한 접근법에 대한 흐름도를 도시한다.
[0023] 도 11a-11g는 다른 실시예에 따른, 불투명 및 반투명 포인트들에 대응하는 이미지 데이터를 사용하여 이미지의 제2 관점을 디스플레이하는 것을 도시한다.
[0024] 도 12는 본 개시내용의 실시예가 구현될 수 있는 컴퓨터화된 시스템을 도시한다.

[0025] 본 개시내용은 이전의 프레임으로부터의 비-렌더링된 콘텐츠를 사용함으로써 이미지의 새로운 관점을 구성하기 위한 접근법에 관한 것이다. 새로운 관점으로부터 이미지를 재생성하는 대신, 새로운 관점을 생성하기 위해 이전의 관점으로부터의 비-렌더링된 콘텐츠를 사용하여 이전의 관점으로부터 이미지가 구성된다.

[0026] 본 개시내용은, 본 개시내용의 일부 실시예들이 실시될 수 있는 예시적인 증강 현실(AR) 시스템에 대한 설명 및 다음에 제1 관점으로부터의 비-렌더링된 콘텐츠를 사용하여 이미지의 제2 관점을 디스플레이하기 위한 프로세스 및 메커니즘의 하나 이상의 실시예들에 대한 설명을 제공한다.

예시적인 증강 현실 시스템

[0027] 다음의 설명은, 본 개시내용이 실시될 수 있는 예시적인 AR 시스템에 관련된다. 그러나, 본 개시내용 자체가 또한 다른 타입들의 AR 및 가상 현실(VR) 시스템들의 애플리케이션들에 적합하고, 따라서 본 개시내용이 본원에 개시된 예시적인 시스템에만 제한되지 않는다는 것이 이해되어야 한다.

[0028] 도 1을 참조하면, 본 개시내용에 따라 구성된 AR 시스템(100)의 일 실시예가 설명된다. AR 시스템(100)은 AR 서브시스템과 연동하여 동작되어, 최종 사용자(50)(이후로 "사용자(50)"로 지칭됨)의 시야에 객체들의 이미지들을 제공할 수 있다. 이 접근법은 하나 이상의 적어도 부분적으로 투명한 표면들을 사용하고, 이 투명한 표면들을 통해 주변 환경이 보일 수 있고, 이 투명한 표면들 상에 AR 시스템(100)이 객체들의 이미지들을 생성한다.

[0029] AR 시스템(100)은 사용자(50)가 착용하는 프레임 구조(102), 프레임 구조(102)에 의해 보유되는 디스플레이 시스템(104)을 포함하여, 디스플레이 시스템(104)이 사용자(50)의 눈들의 전방에 위치된다.

[0030] 디스플레이 시스템(104)은, 2차원 및 3차원 콘텐츠 둘 모두를 사용하여 물리적 현실에 대한 증강으로서 편안하게 지각될 수 있는 포토-기반 방사 패턴들(photo-based radiation patterns)을 사용자(50)의 눈들에 제공하도록 설계된다. 디스플레이 시스템(104)은, 단일 코히어런트(coherent) 장면의 지각을 제공하는 프레임들의 시퀀스를 고주파수로 제공한다. 이를 위해, 디스플레이 시스템(104)은 투사 서브시스템(110), 및 투사 서브시스템(110)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 스크린을 포함한다. 디스플레이 스크린은 사용자(50)의 눈들과 주변 환경 사이의 사용자(50)의 시야에 위치된다.

[0031] 일부 실시예들에서, 투사 서브시스템(110)은 스캔-기반 투사 디바이스의 형태를 취하고, 디스플레이 스크린은, 투사 서브시스템(110)으로부터의 스캔된 광이, 예컨대, 무한대보다 더 가까운 단일 광학 뷰잉 거리(예컨대, 팔 길이)에서 이미지들, 다수의 광학 뷰잉 거리 또는 초점 평면들에서 이미지들, 및/또는 볼류메트릭 3D 객체들을 표현하기 위해 다수의 뷰잉 거리들 또는 초점 평면들에서 적층된 이미지 층들을 생성하도록 주입되는 도파관-기반 디스플레이의 형태를 취한다. 광 필드 내의 층들은 인간의 시각 서브시스템에 연속적인 것처럼 보이도록 충분히 밀접하게 함께 적층될 수 있다(예컨대, 하나의 층은 인접한 층의 혼동의 원뿔(cone of confusion) 내에 있음). 추가적으로 또는 대안적으로, 2개 이상의 층들이 더 희소하게(sparsely) 적층되더라도(예컨대, 하나의 층은 인접한 층의 혼동의 원뿔 외부에 있음), 픽처 엘리먼트들은, 광 필드에서 층들 사이의 전환의 지각되는 연속성을 증가시키기 위해 2개 이상의 층들에 걸쳐 블렌딩될 수 있다. 디스플레이 시스템(104)은 단안(monocular) 또는 양안(binocular)일 수 있다. 스캐닝 조립체는 광 빔을 생성(예컨대, 규정된 패턴들로 상이한 컬러들의 광을 방출)하는 하나 이상의 광 소스들을 포함한다. 광 소스들은 매우 다양한 형태들, 예컨대, 픽셀 정보 또는 데이터의 개개의 프레임들에 지정된 규정된 픽셀 패턴들에 따라 적색, 녹색 및 청색 코히어런트 시준된 광을 각각 생성하도록 동작 가능한 한 세트의 RGB 소스들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)을 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고, 매우 에너지 효율적이다. 광학 커플링 서브시스템은, 예컨대, 광을 디스플레이 스크린의 단부에 광학적으로 커플링하기 위한 하나 이상의 반사 표면들, 회절 격자들, 미러들, 이색성 미러들 또는 프리즘들과 같은 광학 도파관 입력 장치를 포함한다. 광학 커플링 서브시스템은 광섬유로부터의 광을 시준하는 시준 엘리먼트를 더 포함한다. 선택적으로, 광학 커플링 서브시스템은, 시준 엘리먼트로부터의 광을 광학 도파관 입력 장치의 중심의 초점을 향해 수렴하도록 구성되어 광학 도파관 입력 장치의 크기가 최소화되게 할 수 있는 광학 변조 장치를 포함한다. 따라서, 디스플레이 시스템(104)은, 하나 이상의 가상 객체들의 왜곡되지 않은 이미지를 사용자에게 제공하는 픽셀 정보의 일련의 합성 이미지 프레임들을 생성한다. 디스플레이 서브시스템을 설명하는 추가의 세부사항들은 명칭이 "Display System and Method"인 2016년 8월 16일에 허여된 미국 특허 번호 제9,417,452호, 및 명칭이 "Planar Waveguide Apparatus with Diffraction Element(s) and Subsystem Employing Same"인 2017년 4월 4일에 허여된 미국 특허 번호 제9,612,403호에 제공된다.

[0032] AR 시스템(100)은, 사용자(50)의 머리의 포지션 및 움직임 및/또는 사용자(50)의 눈 포지션 및 안구간 거리를 검출하기 위한, 프레임 구조(102)에 장착된 하나 이상의 센서들을 더 포함한다. 이러한 센서(들)는 이미지 캡처 디바이스들, 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들을 포함할 수 있다. 예컨대, 일 실시예에서, AR 시스템(100)은, 사용자(50)의 머리의 움직임을 나타내는 관성 측정치들을 포착하기 위한 하나 이상의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 서브시스템을 포함한다. 이러한 디바이스들은 사용자(50)의 머리 움직임들에 대한 정보를 감지, 측정 또는 수집하는 데 사용될 수 있다. 예컨대, 이들 디바이스들은 사용자(50)의 머리의 측정 움직임들, 속도들, 가속도 및/또는 포지션들을 검출하는 데 사용될 수 있다.

[0033] AR 시스템(100)은 사용자 배향 검출 모듈을 더 포함할 수 있다. 사용자 배향 검출 모듈은 사용자(50)의 머리의 순간 포지션을 검출하고, 센서(들)로부터 수신된 포지션 데이터에 기반하여 사용자(50)의 머리의 포지션을 예측할 수 있다. 사용자 배향 검출 모듈은 또한 센서(들)로부터 수신된 추적 데이터에 기반하여, 사용자(50)의 눈들, 특히 사용자(50)가 초점을 맞추는 방향 및/또는 거리를 추적한다.

[0034] 시스템(100)은 또한 워핑 모듈(108)을 포함한다. 워핑 모듈(108)은 제1 관점으로부터 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터를 선택하고, 선택된 이미지 데이터를 3D 데이터베이스(160)에 저장한다. 비-가시적인 표면들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠(112)"로 지칭된다. 워핑 모듈(108)은 또한, 저장된 이미지 데이터를 사용하여 제2 관점으로부터 이미지를 구성할 때, 3D 데이터베이스(160)로부터 이미지 데이터를 리트리브(retrieve)한다.

[0035] AR 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은, 다수의 제어기들, 예컨대, 하나 이상의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면, ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대, FPGA(field PGA)들 및/또는 PLU(programmable logic controller)들을 포함한다. 제어 서브시스템은 DSP(digital signal processor), CPU(central processing unit), GPU(graphics processing unit)(152) 및 하나 이상의 프레임 버퍼들(154)을 포함할 수 있다. CPU는 시스템의 전체 동작을 제어하는 반면에, GPU(152)는 프레임들을 렌더링하고(즉, 3차원 장면을 2차원 이미지로 변환함), 이들 프레임들을 프레임 버퍼(들)(154)에 저장한다. 예시되지 않았지만, 하나 이상의 추가적인 집적 회로들은 프레임 버퍼(들)(154) 내로의 프레임들의 입력 및/또는 이로부터의 프레임들의 판독 및 디스플레이 시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(154) 내로의 입력 및/또는 이로부터의 판독은, 예컨대, 프레임들이 오버-렌더링되는 경우 동적 어드레싱을 이용할 수 있다. AR 시스템(100)은 ROM(read only memory) 및 RAM(random-access memory)을 더 포함한다. AR 시스템(100)은 3D 데이터베이스(160)를 더 포함하고, 이로부터 GPU(152)는 프레임들을 렌더링하기 위한 하나 이상의 장면들의 이미지 데이터뿐만 아니라 3D 장면들 내에 포함된 가상 사운드 소스와 연관된 합성 사운드 데이터에 액세스할 수 있다.

[0036] AR 시스템(100)의 다양한 프로세싱 컴포넌트들은 분산형 서브시스템에 물리적으로 포함될 수 있다. 예컨대, AR 시스템(100)은, 이를테면, 유선 리드 또는 무선 연결에 의해 디스플레이 시스템(104)의 일부에 동작 가능하게 커플링된 로컬 프로세싱 및 데이터 모듈을 포함한다. 로컬 프로세싱 및 데이터 모듈은 다양한 구성들로 장착되는데, 이를테면, 프레임 구조(102)에 고정적으로 부착되거나, 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 사용자(50)의 몸통에 제거 가능하게 부착되거나, 또는 벨트-커플링 스타일 구성으로 사용자(50)의 엉덩이에 제거 가능하게 부착될 수 있다. AR 시스템(100)은, 이를테면, 유선 리드 또는 무선 연결에 의해, 로컬 프로세싱 및 데이터 모듈에 동작 가능하게 커플링되는 원격 프로세싱 모듈 및 원격 데이터 저장소를 더 포함하여, 이들 원격 모듈들이 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈에 대한 자원으로서 이용 가능하다. 로컬 프로세싱 및 데이터 모듈은 전력-효율적 프로세서 또는 제어기뿐만 아니라, 디지털 메모리 이를테면, 플래시 메모리를 포함할 수 있으며, 이들 둘 모두는 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈 및/또는 원격 데이터 저장소를 이용하여 취득 및/또는 프로세싱되는(이는 가능하다면, 이러한 프로세싱 또는 리트리벌(retrieval) 후에 디스플레이 시스템(104)으로의 전달을 위한 것임) 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 원격 프로세싱 모듈은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 비교적 대형-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터가 로컬 프로세싱 및 데이터 모듈에 저장되고 로컬 프로세싱 및 데이터 모듈에서 모든 컴퓨테이션(computation)들이 수행되어, 임의의 원격 모듈들로부터의 완전히 자율적인 사용이 허용된다. 위에서 설명된 다양한 컴포넌트들 사이의 커플링들은 유선 또는 광학 통신들을 제공하기 위한 하나 이상의 유선 인터페이스들 또는 포트들, 또는 이를테면, 라디오 주파수(RF), 마이크로파 및 적외선(IR)을 통해, 무선 통신들을 제공하기 위한 하나 이상의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서, 광섬유(들)을 제외하면, 모든 통신들은 무선일 수 있다.

비- 렌더링된 이미지 데이터로 상이한 관점으로부터 제2 이미지의 구성

[0037] 본 개시내용은 이제, 이전의 프레임으로부터의 비-렌더링된 콘텐츠를 사용함으로써 이미지의 새로운 관점을 구성하는 것을 논의할 것이다. "워핑"은, 이전의 관점으로부터 생성된 이전의 프레임의 객체들이 새로운 관점으로부터 객체들을 재생성하지 않고 새로운 관점으로부터 생성된 새로운 프레임에 제공되는 방식을 변경하도록 적용될 수 있다. 새로운 관점으로부터의 객체들은 이전의 프레임으로부터의 콘텐츠로부터 구성된다.

[0038] 이 시점에서, 이미지들을 워핑하기 위한 대안적인 접근법을 먼저 논의하는 것이 유익하다. 이 대안적인 접근법에서, 각각의 프레임에 대해, 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터만이 유지되고(즉, 렌더링됨), "렌더링된 콘텐츠"로 지칭되고, 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 폐기되고(즉, 렌더링되지 않음), '비-렌더링된 콘텐츠'로 지칭된다. 이로써, 객체들이 사용자의 눈들의 이전의 관점으로부터 렌더링된다는 사실로 인해, 추가적인 재생성 없이 이전의 관점(예컨대, 제1 관점)으로부터의 이전의 프레임을 워핑하는 것만으로, 새로운 관점(예컨대, 제2 관점)으로부터의 새로운 프레임이 정확하게 디스플레이될 수 없고, 여기서 렌더링된 콘텐츠 - 이전의 관점으로부터의 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터 - 만이 유지된다. 도 2a-f는 대안적인 접근법 및 결과적인 문제의 예시를 제공한다.

[0039] 도 2a는 사용자(예컨대, 사용자(50)) 및 제1 객체 및 제2 객체를 포함하는 장면을 도시한다. 사용자는 제1 포지션에 위치된다. 2개의 객체들 각각은 정육면체/큐브로서 형상화되고, 제1 객체의 정면에 문자 "X"가 있고, 제2 객체의 정면에 별표가 있다.

[0040] 사용자의 눈들은 도 2b에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제1 관점으로 지칭될 것이다. 제1 관점에서, 사용자의 눈들은, 제1 객체가 제2 객체를 완전히 차단하도록 하는 각도로부터 제1 및 제2 객체들을 바라보고 있다. GPU(예컨대, GPU(152))는 장면의 이미지를 포함하는 프레임을 제1 관점으로부터 렌더링한다. 제2 객체가 장면에 있을지라도, 제1 관점으로부터, 제1 객체의 정면만이 사용자에게 보이기 때문에, 제1 객체의 어떠한 다른 면들 또는 제2 객체의 어떠한 면들도 렌더링되지 않고, 제1 객체의 정면만을 보여주게 장면의 이미지가 렌더링될 것이다.

[0041] 제1 관점으로부터 장면의 이미지를 포함하는 프레임이 렌더링된다. 프레임은 이미지 데이터를 포함한다. 도 2c에 도시된 바와 같이, 제1 관점으로부터의 제1 및 제2 객체들의 가시적인 표면들(즉, 제1 객체의 정면)의 포인트들에 대응하는 이미지 데이터만이 유지/저장된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭된다. 제1 관점으로부터의 제1 및 제2 객체들의 비-가시적인 표면들(예컨대, 제2 큐브의 정면 및 모든 면들을 제외한 제1 객체의 모든 면들)의 포인트들에 대응하는 이미지 데이터는 폐기된다. 제1 및 제2 객체들의 비-가시적인 표면들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다. 렌더링된 콘텐츠 이외에, 애플리케이션은 제1 관점에 대한 다른 콘텐츠(예컨대, 비-렌더링된 콘텐츠)를 상실하였다. 일부 실시예들에서, 비-렌더링된 콘텐츠는 깊이 테스팅 동안 폐기될 수 있다. 깊이 테스팅은, 장면의 이미지를 포함하는 프레임에, 제1 및 제2 객체들의 가시적인 표면들의 포인트들만이 드로잉되게(drawn) 함으로써 렌더링된 콘텐츠가 정확하게 보이는 것을 보장한다. 임의의 주어진 픽셀에 대해, 깊이 테스팅은 제1 및 제2 객체들의 가시적인 표면들의 포인트들만을 유지하고, 제1 및 제2 객체들의 비-가시적인 표면들의 포인트들을 폐기한다. 이로써, 애플리케이션은 비-렌더링된 콘텐츠를 폐기함으로써 제1 관점으로부터의 콘텍스트를 상실하였다. 따라서, 각각의 픽셀에 대해, 유지되는 것과 폐기되는 것은 관점에 의존한다.

[0042] 도 2d에 도시된 바와 같이, 사용자는 이제 제1 포지션의 바로 우측의 제2 포지션으로 이동한다. 이 시점에서, 사용자는 제1 포지션과 비교하여 상이한 포지션으로부터 제1 및 제2 객체들을 바라 보고 있을 것이다.

[0043] 사용자의 눈들은 도 2e에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제2 관점으로 지칭될 것이다. 제2 관점에서, 사용자의 눈들은 제1 관점으로부터의 프레임과 상이한 프레임을 볼 것이다. 제2 관점에서, 사용자의 눈들은 제1 객체의 정면 및 우측면 및 제2 객체의 정면 및 우측면 둘 모두를 보고 있을 것이다.

[0044] 도 2f에 도시된 바와 같이, 워핑은, 제1 관점으로부터의 이전의 프레임이 제2 관점으로부터의 새로운 프레임에서 보여지도록, 제1 관점으로부터의 이전의 프레임을 변경하는 데 사용될 수 있다. 이 접근법은 제1 관점으로부터의 이전의 프레임의 이미지의 렌더링된 콘텐츠를 취하고, 제2 관점으로부터 렌더링된 콘텐츠를 디스플레이하려고 시도하기 위해 렌더링된 콘텐츠가 제공되는 방식을 시프팅한다. 이전의 프레임으로부터의 렌더링된 콘텐츠는 제1 관점으로부터의 제1 및 제2 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터를 포함한다. 이 접근법의 하나의 문제점은, 이전의 프레임으로부터의 렌더링된 콘텐츠가 제2 관점으로부터 보이는 제1 및 제2 객체들의 표면들의 포인트들에 대응하는 이미지 데이터를 포함하지 않는다는 것이다. 이 예에서, 이전의 프레임은 제1 관점으로부터 생성되었고, 이는, 렌더링된 콘텐츠가 제1 및 제2 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터를 포함하지 않는다는 것을 의미한다.

[0045] 따라서, 워핑이 적용되더라도, 워핑된 이미지에서 제1 객체(이전에 렌더링되었음)의 정면만이 보여질 것이다. 제1 객체의 다른 모든 면들(정면을 제외함)과 제2 객체의 모든 면들은, 이들이 이전에 렌더링되지 않았기 때문에, 워핑된 이미지에 존재하지 않을 것이다. 이로써, 워핑된 이미지는, 제2 관점으로부터 보여야 했던 누락 콘텐츠인데(예컨대, 누락 콘텐츠는 제1 객체의 우측면 및 제2 객체의 정면과 우측면을 포함함), 왜냐하면 제2 포지션의 뷰잉 관점(즉, 제2 관점)이 제1 포지션의 뷰잉 관점(예컨대, 제1 관점)과 상이하기 때문이다. 이것은 새로운 프레임의 유용성과 정확도에 영향을 미치는 다수의 아티팩트들을 생성한다.

[0046] 문제가 도 2f에 예시되고, 여기서 재생성 없이 제2 관점으로부터 새로운 프레임을 구성하기 위해, 제1 관점으로부터의 이전의 프레임으로부터 렌더링된 콘텐츠에 워핑이 적용된다. 이는 제2 관점으로부터의 부정확한 디스플레이를 야기한다. 특히, 제2 관점으로부터의 새로운 프레임이 제1 객체의 우측면 및 제2 객체의 전체를 누락하였기 때문에, 비폐색 문제가 발생한다. 이로써, 사용자가 상이한 관점(즉, 제2 관점)으로부터 이전의 프레임을 볼 때, 애플리케이션은 이전의 프레임으로부터의 렌더링된 콘텐츠를 새로운 위치들로 맵핑한다. 그러나, 이전의 프레임으로부터의 비-렌더링된 콘텐츠가 이미 폐기되었기 때문에, 워핑 대신(예컨대, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 사용) 또는 워핑 외에 사용할 어떠한 "소스 데이터"도 없다. 이로써, 애플리케이션은 이전의 프레임으로부터의 렌더링된 콘텐츠만 맵핑한다. 제2 관점으로부터 새로운 프레임을 구성하기 위해 제1 관점으로부터 이전의 프레임으로부터의 렌더링된 콘텐츠만을 사용하는 구성을 적용하는 것은, 제2 관점으로부터의 부정확한 묘사를 발생시키는데, 왜냐하면 애플리케이션이 제1 관점으로부터의 비-렌더링된 콘텐츠를 폐기하였기 때문이고, 이는 애플리케이션이 이전에 비-가시적인 표면들에 대한 이미지 데이터를 상실하였다는 것을 의미한다. 도 2f의 최상부에 생성된 프레임과, 도 2f의 최하부의 제2 관점으로부터 보여졌어야 했을 프레임은 대조적이다.

[0047] 본 명세서는 이제 도 2a-2f에 설명된 대안적인 접근법으로부터의 문제가 있는 결과를 해결하는 접근법을 설명할 것이다.

생성함으로써 렌더링된 콘텐츠 및 비- 렌더링된 콘텐츠에 대한 이미지 데이터를 사용하는 제2 관점의 디스플레이

[0048] 도 3은 재생성 없이 이전의 관점으로부터의 이전의 프레임으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 관점으로부터 새로운 프레임을 디스플레이하기 위한 접근법의 흐름도를 도시한다. 도 3에 설명된 접근법은 이전의 대안적인 실시예에서 제공되는 비폐색 문제를 해결한다.

[0049] 302에서, 제1 관점이 식별된다. 일부 실시예들에서, 이 동작은, 제1 관점으로부터 캡처된 이미지 데이터를 포함하는 프레임을 캡처함으로써 구현된다. 일부 실시예들에서, 포즈 데이터가 또한 캡처된다. 프레임은 제1 관점 - 사용자(예컨대, 사용자(50))의 눈들의 특정 위치 및 각도 포지션 - 으로부터 이미지 데이터의 프레임을 캡처함으로써 기록된다. 게다가, 사용자의 머리/눈들에 대한 포즈 데이터가 결정된다. 프레임이 캡처되는 카메라가 프레임 구조(예컨대, 프레임 구조(102))에 장착되면, 카메라 포즈는 머리 포즈로부터의 알려진 오프셋에 기반하여 외삽될 수 있다. 카메라가 환경/방 내의 고정된 위치에 있는 경우, 고정된 카메라 위치 및 배향은 방/환경 구성 데이터로부터 알려진다.

[0050] 304에서, 제1 관점으로부터의 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 렌더링된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭된다. 렌더링된 콘텐츠는 임의의 알려진 접근법에 의해 렌더링될 수 있다. 일부 실시예들에서, CPU는 시스템(예컨대, AR 시스템(100))의 전체 동작을 제어할 수 있는 반면, GPU(예컨대, GPU(152))는 프레임을 렌더링할 수 있고(즉, 3차원 장면을 2차원 이미지로 변환함), 프레임 버퍼(들)(예컨대, 프레임 버퍼(들)(154))에 프레임들을 저장할 수 있다. 객체들은 규정된 형상 및 좌표 위치를 갖고, 따라서 자신의 논리적 위치 및 배향으로 사용자에게 디스플레이될 콘텐츠로서 시스템에 의해 렌더링될 수 있다.

[0051] 306에서, 제1 관점으로부터의 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터 및 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 저장된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭되고, 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "비-렌더링 콘텐츠"로 지칭된다. 도 5-7 및 9는 콘텐츠(렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠)를 선택하고 저장하는 상이한 접근법들을 설명한다. 일부 실시예들에서, 애플리케이션은 또한 저장될 콘텐츠의 상이한 입도(granularity)를 결정할 수 있다. 일부 실시예들에서, 콘텐츠는 컴퓨터 판독 가능한 매체에 저장된다. 콘텐츠는 임의의 타입의 데이터 구조에 저장될 수 있다.

[0052] 일 실시예에서, 콘텐츠는 링크된 리스트로서 저장된다. 이 접근법에서, 콘텐츠는 링크된 리스트로 맵핑되고, 링크된 리스트의 상이한 엘리먼트들은 볼류메트릭 공간 내의 상이한 위치들과 상관된다. 링크된 리스트가 빈 셀들을 보유하거나 포함하지 않기 때문에, 픽셀 당 링크된 리스트는 매우 희소/컴팩트할 수 있다. 그러나, 링크된 리스트의 크기는 예측할 수 없을 수 있으며, 이는, 일관된 거동이 요구될 때 바람직하지 않을 수 있다. 픽셀이 일정한 각도 크기를 갖고, 따라서 거리가 증가함에 따라 선형 크기가 커질 수 있기 때문에, 링크된 리스트의 해상도는 깊이에 대해 비선형적이다.

[0053] 다른 실시예에서, 콘텐츠는 어레이 구조, 실제 볼류메트릭 표현 등에 저장된다. 실제 볼류메트릭 표현은 일정한 데이터 풋프린트를 가질 수 있고, 일정한 선형 크기를 갖도록(관점이 크게 변함에 따라 해상도 이슈들을 감소시킴) 구성될 수 있지만, 실제 볼류메트릭 표현의 많은 셀들이 비어 있을 수 있기 때문에, 총 데이터 크기가 클 수 있다. 일부 실시예들에서, 콘텐츠는 복셀, 표면 정의들(예컨대, 쉘들, 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등에 저장된다.

[0054] 308에서, 제2 관점으로부터 프레임을 디스플레이하기 위한 요청이 수신된다. 일부 실시예들에서, 이는, 사용자가 제1 포지션에서 제2 포지션으로 이동했음을 의미한다. 애플리케이션은, 사용자의 제1 및 제2 포지션들을 식별하기 위해 헤드셋으로부터의 센서들 및 가속도계들을 사용할 수 있다. 다른 실시예에서, 외부 카메라들은 또한 사용자의 제1 및 제2 포지션들을 식별하는 데 사용될 수 있다.

[0055] 310에서, 제2 관점으로부터의 새로운 프레임은 이전의 프레임으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 포함하는 저장된 콘텐츠를 사용하여 생성된다. 이전의 프레임으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠는, 전체 프레임을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 구성하기 위해 소스들로서 구성 동안에 사용된다. 이전의 프레임으로부터의 콘텐츠를 보존함으로써, 애플리케이션은 콘텐츠 중 어느 것이 제2 관점으로부터 보이는지를 결정할 수 있다. 일단 애플리케이션이 콘텐츠 중 어느 것이 제2 관점으로부터 보이는지를 결정하면, 애플리케이션은 저장된 콘텐츠를 취하고, 제2 관점으로부터 보여야 하는 것을 구성한다. 위에서 언급된 바와 같이, 제2 관점에서 보이는 것을 이해하기 위해 이미지 데이터가 더 이상 이용 가능하지 않을 때(예컨대, 폐기됨), 비폐색 이슈가 존재한다. 이 접근법에서, 애플리케이션이 새로운 프레임을 구성하는 데 이용하기 위해 렌더링된 콘텐츠 외에 비-렌더링된 콘텐츠를 보존하였기 때문에, 비폐색 문제가 해결된다.

[0056] 일 실시예에서, 워핑은 이전의 프레임으로부터의 렌더링된 콘텐츠에 적용될 수 있고, 워핑된 렌더링된 콘텐츠의 임의의 "홀들"은 이전의 프레임으로부터의 비-렌더링된 콘텐츠를 사용하여 "채워진다". 애플리케이션이 구성을 적용할 콘텐츠의 예들은, 예컨대, 이전의 프레임에서 보이지 않았던 객체들 및/또는 이전의 프레임에서 보이지 않았던 가시적인 객체들의 부분들을 포함한다. 구성 프로세스에 대한 추가 세부사항은 도 4g에 관한 설명에서 설명된다.

[0057] 이어서, 312에서, 제2 관점으로부터 구성된 프레임은 시스템 내에서 실시간으로 사용자에게 디스플레이된다.

[0058] 도 4a-g는 일부 실시예들에 따른, 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠에 대한 이미지 데이터를 사용하여 프레임의 제2 관점을 디스플레이하기 위한 접근법의 예를 예시한다. 도 4a는 사용자(예컨대, 사용자(50)) 및 제1 객체 및 제2 객체를 포함하는 장면을 도시한다. 사용자는 제1 포지션에 위치된다. 2개의 객체들 각각은 정육면체/큐브로서 형상화되고, 제1 객체의 정면에 문자 "X"가 있고, 제2 객체의 정면에 별표가 있다.

[0059] 사용자의 눈들은 도 4b에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제1 관점으로 지칭될 것이다. 제1 관점에서, 사용자의 눈들은, 제1 객체가 제2 객체를 완전히 차단하도록 하는 각도로 제1 및 제2 객체들을 바라보고 있다. GPU(예컨대, GPU(152))는 제1 관점으로부터의 장면의 이미지를 포함하는 프레임을 렌더링한다. 도 4c에서, GPU는 ― 제1 객체의 측면들 중 어떠한 부분 또는 제2 객체의 어떠한 부분도 렌더링되지 않고 ― 문자 “X"를 갖는 제1 객체의 정면만을 보여주는 제1 관점으로부터 프레임을 렌더링하는데, 왜냐하면, 제1 관점으로부터, 제1 객체의 정면만이 사용자에게 보이기 때문이다.

[0060] 제1 관점으로부터 장면의 이미지를 포함하는 프레임이 렌더링된다. 프레임은 이미지 데이터를 포함한다. 제1 관점으로부터의 제1 및 제2 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 유지/저장된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭된다. 추가적으로, 제1 관점으로부터 제1 및 제2 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 또한 유지/저장된다. 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다. 도 4d에서, 애플리케이션은 제1 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 선택하여 저장한다. 렌더링된 콘텐츠에 대한 이미지 데이터는, 원래 렌더링된 프레임에서 디스플레이되었던 객체들 또는 그의 부분들에 대한 볼류메트릭 데이터에 대응하는 정보를 포함할 수 있고, 비-렌더링된 콘텐츠에 대한 이미지 데이터는 원래 렌더링된 프레임에서 디스플레이되지 않았던 객체들 또는 그의 부분들에 대한 볼류메트릭 데이터에 대응하는 정보를 포함할 수 있다.

[0061] 도 4e에 도시된 바와 같이, 사용자는 이제 제1 포지션의 바로 우측의 제2 포지션으로 이동한다. 이 시점에서, 사용자는 제1 포지션과 비교하여 상이한 포지션으로부터 제1 및 제2 객체들을 바라보고 있을 것이다. 사용자의 눈들은 도 4f에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제2 관점으로 지칭될 것이다. 제2 관점에서, 사용자의 눈들은 제1 관점으로부터의 프레임과 상이한 프레임을 볼 것이다. 제2 관점에서, 사용자의 눈들은 제1 객체의 정면 및 우측면 및 제2 객체의 정면 및 우측면 둘 모두를 보고 있을 것이다.

[0062] 도 4g에 도시된 바와 같이, 전체 장면을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 생성하기 위해 제1 관점으로부터의 이전의 프레임으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 구성이 적용될 수 있다. 애플리케이션은 먼저 렌더링된 콘텐츠(예컨대, 제1 객체의 정면) 및 비-렌더링된 콘텐츠(예컨대, 제1 객체의 우측면 및 제2 객체의 정면 및 우측면) 중 어느 것이 제2 관점으로부터 보이는지를 식별할 것이다. 이어서, 애플리케이션은 위에서 식별된 이제 보이는 콘텐츠에 대응하는 저장된 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 취하고, 제2 관점으로부터 보여야 하는 것을 구성한다.

[0063] 일 실시예에서, 워핑은 이전의 프레임으로부터의 렌더링된 콘텐츠에 적용되고, 워핑된 렌더링된 콘텐츠의 임의의 "홀들"은, 이전의 프레임으로부터의 렌더링된 콘텐츠에 포함되지 않고 제2 관점으로부터의 새로운 프레임에서 보여야 하는 제1 및 제2 객체들의 부분들을 구성하기 위해, 이전의 프레임으로부터의 비-렌더링된 콘텐츠를 사용하여 "채워진다".

[0064] 도 4a-4g는, 제2 관점으로부터 새로운 프레임을 구성하기 위한 소스로서 제1 관점으로부터 이전의 프레임으로부터의 비-렌더링된 콘텐츠를 저장함으로써 새로운 접근법이 비폐색 문제를 제거하기 때문에, 도 2a-2f에 설명된 대안적인 실시예에 비해 개선된 것을 도시한다. 이 새로운 접근법은 또한 워핑 동안에 나타날 비디오 아티팩트들의 양을 상당히 감소시킨다.

워핑 및 생성함으로써 렌더링된 콘텐츠 및 비- 렌더링된 콘텐츠에 대한 이미지 데이터를 사용하는 제2 관점의 디스플레이

[0065] 도 5는, 워핑 및 생성을 사용하여 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 관점으로부터 새로운 프레임을 디스플레이하기 위한 접근법에 대한 흐름도를 도시한다.

[0066] 도 5의 502 내지 508은 도 3의 302 내지 308과 동일하다. 510에서, 제1 관점으로부터 보이지 않았고 따라서 렌더링되지 않았고 제2 관점으로부터 이제 보이는 객체들이 렌더링된다. 예컨대, 애플리케이션은 어떤 객체들이 제2 관점으로부터 보이는지를 결정하고, 제2 관점으로부터 보이는 객체들과 제1 관점으로부터의 저장된 콘텐츠(예컨대, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠)를 비교하여 제1 관점으로부터 보이지 않았고 따라서 렌더링되지 않았고 제2 관점으로부터 이제 보이는 객체들을 식별하고, 새로운 렌더링된 콘텐츠를 생성하기 위해 식별된 객체들을 렌더링할 수 있다.

[0067] 512에서, 렌더링될 필요가 없던, 제2 관점으로부터의 가시적인 객체들에 대한 렌더링된 콘텐츠가 워핑된다. 예컨대, 애플리케이션은 어떤 객체들이 제2 관점으로부터 보이는지를 결정하고, 제2 관점으로부터 보이는 객체들과 제1 관점으로부터의 저장된 콘텐츠(예컨대, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠)를 비교하여 제1 관점으로부터 또한 보였고 따라서 렌더링되었고, 제2 관점으로부터 보이는 객체들을 식별하고, 식별된 객체들을 워핑하여 워핑된 렌더링된 콘텐츠를 생성할 수 있다.

[0068] 일부 실시예들에서, 애플리케이션은 어떤 객체들이 제2 관점으로부터 보이는지를 결정하고, 제2 관점으로부터 보이는 객체들과 제1 관점으로부터의 저장된 콘텐츠(예컨대, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠)를 비교하여, (1) 제1 관점으로부터 보이지 않았고 제2 관점으로부터 이제 보이는 객체들 및 (2) 제1 관점으로부터 또한 보였고, 제2 관점으로부터 보이는 객체들을 식별할 수 있다. 이 실시예에서, 이어서, 애플리케이션은, 510에서, 새로운 렌더링된 콘텐츠를 생성하기 위해 제1 관점으로부터 보이지 않았고 제2 관점으로부터 이제 보이는 식별된 객체들을 렌더링하고, 512에서, 워핑된 렌더링 콘텐츠를 생성하기 위해 제1 관점으로부터 또한 보였고 제2 관점으로부터 보이는 객체들을 워핑한다.

[0069] 514에서, 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합함으로써 제2 관점으로부터의 새로운 프레임이 생성된다. 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠는, 전체 프레임을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 구성하기 위한 소스로서 구성 동안에 사용된다. 또한, 도 5의 516은 도 3의 312와 동일하다.

[0070] 도 6a-g는 일 실시예에 따른, 제2 관점으로부터의 새롭게 렌더링된 콘텐츠 및 제1 관점으로부터의 콘텐츠를 사용하여 프레임의 제2 관점을 디스플레이하기 위한 접근법에 대한 예를 예시한다. 도 6a는 사용자(예컨대, 사용자(50)) 및 제1 내지 제6 객체들을 포함하는 장면을 도시한다. 사용자는 제1 포지션에 위치된다. 6개의 객체들 각각은 정육면체/큐브로서 형상화되고, 제1 객체의 정면에 문자 "X"가 있고, 제2 객체의 정면에 별표가 있다.

[0071] 사용자의 눈들은 도 6b에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제1 관점으로 지칭될 것이다. 제1 관점에서, 사용자의 눈들은, 제1 객체가 제2 객체를 완전히 차단하고 제3 내지 제6 객체들이 보이도록 하는 각도로 제1 내지 제6 객체들을 바라보고 있다. GPU(예컨대, GPU(152))는 장면의 이미지를 포함하는 프레임을 제1 관점으로부터 렌더링한다. 도 6c에서, GPU는 제1 관점으로부터, 제1 객체 및 제3 내지 제6 객체들의 정면들만이 사용자에게 보이기 때문에, 제1 객체 및 제3 내지 제6 객체들의 측면들 중 어떠한 부분 또는 제2 객체의 어떠한 부분들도 렌더링되지 않고, 제1 객체 및 제3 내지 제6 객체들의 정면만을 보여주는 제1 관점으로부터 프레임을 렌더링한다.

[0072] 제1 관점으로부터 장면의 이미지를 포함하는 프레임이 렌더링된다. 프레임은 이미지 데이터를 포함한다. 제1 관점으로부터의 제1 내지 제6 객체들의 가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 유지/저장된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭된다. 추가적으로, 제1 관점으로부터 제1 내지 제6 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 유지/저장된다. 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다. 도 6d에서, 애플리케이션은 제1 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 선택하여 저장한다. 렌더링된 콘텐츠에 대한 이미지 데이터는, 원래 렌더링된 프레임에서 디스플레이된 객체들 또는 그의 부분들에 대한 볼류메트릭 데이터에 대응하는 정보를 포함할 수 있고, 비-렌더링된 콘텐츠에 대한 이미지 데이터는 원래 렌더링된 프레임에서 디스플레이되지 않은 객체들 또는 그의 부분들에 대한 볼류메트릭 데이터에 대응하는 정보를 포함할 수 있다.

[0073] 도 6e에 도시된 바와 같이, 사용자는 이제 제1 포지션의 바로 우측의 제2 포지션으로 이동한다. 이 시점에서, 사용자는 제1 포지션과 비교하여 상이한 포지션으로부터 제1 내지 제6 객체들을 바라보고 있을 것이다. 사용자의 눈들은 도 6f에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제2 관점으로 지칭될 것이다. 제2 관점에서, 사용자의 눈들은 제1 관점으로부터의 프레임과 상이한 프레임을 볼 것이다. 제2 관점에서, 사용자의 눈들은 제1 내지 제6 객체들 각각의 정면 및 우측면 둘 모두를 보고 있을 것이다.

[0074] 도 6g에 도시된 바와 같이, 전체 장면을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 생성하기 위해 제1 관점으로부터의 이전의 프레임으로부터의 새롭게 렌더링된 콘텐츠 및 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 구성이 적용될 수 있다. 예컨대, 애플리케이션은 어떤 객체들(예컨대, 제1 내지 제6 객체들)이 제2 관점으로부터 보이는지를 결정하고, 제2 관점으로부터 보이는 객체들과 제1 관점으로부터의 저장된 콘텐츠(예컨대, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠)를 비교하여, (1) 제1 관점으로부터 보이지 않았고 제2 관점으로부터 이제 보이는 객체들(예컨대, 제2 객체 및 다른 객체들의 우측면들) 및 (2) 제1 관점으로부터 또한 보였고 제2 관점으로부터 보이는 객체들(예컨대, 제1 객체 및 제3 내지 제6 객체들의 정면들)을 식별할 수 있다. 이어서, 애플리케이션은 새로운 렌더링된 콘텐츠를 생성하기 위해 제1 관점으로부터 보이지 않았고 제2 관점으로부터 이제 보이는 식별된 객체들(예컨대, 제2 객체 및 다른 객체들의 우측면들)을 렌더링하고, 제1 관점으로부터 또한 보였고 제2 관점으로부터 보이는 객체들(예컨대, 제1 객체 및 제3 내지 제6 객체들의 정면)을 워핑하여 워핑된 렌더링된 콘텐츠를 생성한다.

[0075] 제2 관점으로부터 새로운 프레임을 구성하기 위해 이미지 구성이 수행된다. 이미지 구성은 새로운 렌더링 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합하는 것을 포함한다. 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠는, 전체 프레임을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 구성하기 위한 소스로서 이미지 구성 동안 사용된다.

저장을 위해 비- 렌더링된 콘텐츠를 선택하는 다양한 실시예들

[0076] 비-렌더링된 콘텐츠에 대해 저장되도록 원해질 수 있는 상이한 세트들, 수량들, 입도들, 타입들 및/또는 특정 이미지 엘리먼트들이 있다. 도 7-8 및 10의 흐름도들은 이용 가능한 비-렌더링된 콘텐츠 중 어느 것이 저장될 것인지를 선택하기 위한 대안적인 접근법들의 세부사항들을 설명한다. 접근법들 각각은 특정 상황들에서 사용하는 것이 더 유리할 수 있다. 다시 말해서, 제1 관점으로부터의 객체들의 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다.

[0077] 도 7은 일 실시예에 따른, 콘텐츠에 대한 표면 포인트들만을 저장함으로써 콘텐츠를 저장하기 위한 접근법에 대한 흐름도를 도시한다. 이 접근법은 객체들의 내부 포인트들이 보이지 않는다는 아이디어에 기반하여 작동한다. 따라서, 저장 비용들을 낮추기 위해, 객체들의 표면 포인트들에 대응하는 콘텐츠의 이미지 데이터가 유지/저장되고, 객체들의 비-표면 포인트들에 대응하는 콘텐츠의 이미지 데이터가 폐기된다.

[0078] 702에서, 제1 관점으로부터의 객체들의 가시적인 표면들 및 비-가시적인 표면들의 포인트들에 대응하는 이미지 데이터가 식별된다. 가시적인 표면들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭되고, 비-가시적인 표면들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다.

[0079] 704에서, 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠가 분석된다. 706에서, 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠의 특징들, 이를테면, 제1 관점으로부터의 객체들의 포인트들이 표면 포인트들인지 또는 내부 포인트들인지, 객체들이 반투명한지 또는 불투명한지 등이 결정된다. 객체의 포인트가 표면 포인트로 식별되면, 표면 포인트에 대응하는 콘텐츠(예컨대, 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠)의 이미지 데이터는 상이한 관점으로부터 프레임을 구성하기 위해 저장된다(710). 객체의 포인트가 표면 포인트로 식별되지 않으면, 비-표면 포인트에 대응하는 콘텐츠(예컨대, 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠)의 이미지 데이터는 708에서 폐기되는데, 왜냐하면 해당 콘텐츠가 상이한 관점으로부터 프레임을 구성하는 데 사용되지 않을 것이기 때문이다. 일부 실시예들에서, 객체가 반투명 객체인 것을 객체의 특징들이 나타내면, 반투명 객체의 비-표면 포인트들 중 일부 또는 전부는, 폐기되는 대신에, 상이한 관점으로부터 프레임을 구성하기 위해 저장될 수 있다. 예컨대, 반투명 객체의 비-표면 포인트들 중 일부 또는 전부의 컬러 데이터뿐만 아니라 블렌드 모드가 저장될 수 있다.

[0080] 위에 언급된 바와 같이, 콘텐츠는, 예컨대, 링크된 리스트, 복셀, 표면 정의들(예컨대, 쉘들, 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등과 같은 임의의 적절한 데이터 구조에 저장될 수 있다.

[0081] 도 7에 도시된 접근법의 장점은, 표면 포인트들에 대응하는 콘텐츠만이 저장되기 때문에, 이 접근법이 더 적은 저장 자원들을 요구한다는 것이다. 그러나, 이 접근법의 단점은, 객체에 대한 콘텐츠가 표면 포인트들인지 여부를 결정하기 위해 애플리케이션이 더 많은 프로세싱 능력 및 시간을 요구할 수 있다는 것이다.

[0082] 도 8은 일 실시예에 따른, 예측된 머리 움직임에 대응하는 콘텐츠만을 저장하기 위한 접근법에 대한 흐름도를 도시한다. 이 접근법은, 애플리케이션이 모든 콘텐츠를 저장할 필요는 없을 수 있지만, 애플리케이션이 예측된 머리 움직임의 계산된 바운드들 내에서 콘텐츠를 선택하고 저장할 수 있다는 아이디어를 바탕으로 작동한다. 콘텐츠가 예측된 머리 움직임의 계산된 바운드들 외부에 위치되는 경우, 사용자가 그 위치에 없을 가능성이 있기 때문에, 해당 콘텐츠는 폐기될 수 있다.

[0083] 802에서, 애플리케이션은 사용자의 머리 움직임을 예측한다. 애플리케이션은, 사용자의 머리의 포지션 및 움직임 및/또는 사용자의 눈의 포지션 및 안구간 거리를 검출하기 위해 프레임 구조(예컨대, 프레임 구조(102))에 장착된 하나 이상의 센서들을 사용함으로써 사용자의 머리 움직임을 예측할 수 있다. 예컨대, 사용자가 현재 동일한 방향으로 이동하거나 가까운 과거의 일정 순간의 시간 기간에 특정 속도로 그렇게 한 경우에, 애플리케이션은, 사용자가 가까운 미래에 동일한 방향으로 이동할 것이라고 예측할 수 있다.

[0084] 일부 실시예들에서, 이러한 센서(들)는 이미지 캡처 디바이스들(이를테면, 카메라), 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들을 포함할 수 있다. 이러한 디바이스들은 사용자의 머리 움직임들에 대한 정보를 감지, 측정 또는 수집하는 데 사용될 수 있다. 예컨대, 이들 디바이스들은 사용자의 머리의 움직임들, 속도들, 가속도 및/또는 포지션들을 검출 및/또는 측정하는 데 사용될 수 있다. 일부 실시예들에서, 사용자 배향 검출 모듈은 사용자의 머리의 순간 포지션을 검출하고, 센서(들)로부터 수신된 포지션 데이터에 의해 사용자의 머리의 포지션을 예측할 수 있다. 사용자 배향 검출 모듈은 또한 사용자의 눈, 및 사용자가 센서(들)로부터 수신된 추적 데이터에 기반하여 초점을 맞추는 방향 및/또는 거리를 추적할 수 있다.

[0085] 804에서, 예측된 머리 움직임에 대한 바운드들이 계산된다. 바운드들은 사용자에 대한 예측된 방향, 현재 속도 및/또는 예측된 움직임 속도를 고려함으로써 계산된다. 이 값들로부터, 바운드들이 계산될 수 있다. 일 실시예에서, 예측된 머리 움직임에 대한 계산된 바운드들은 예측된 머리 움직임의 에러를 나타낸다.

[0086] 일 실시예에서, 예측된 머리 움직임에 대한 계산된 바운드들은, 사용자가 제2 위치에 대해 이동할 최대 예측된 움직임에 대응한다. 애플리케이션이 예측된 모션 범위 내에 없는 콘텐츠(예컨대, 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠)를 저장하는 것은 효율적이지 않을 수 있는데, 왜냐하면 해당 콘텐츠가 사용되지 않을 가능성이 있기 때문이다. 806에서, 애플리케이션은, 예측된 머리 움직임에 대한 계산된 바운드들 내에 있는 콘텐츠를 결정한다.

[0087] 808에서, 예측된 머리 움직임에 대한 계산된 바운드들 내의 콘텐츠가 저장된다. 위에 언급된 바와 같이, 콘텐츠는, 예컨대, 링크된 리스트, 복셀, 표면 정의들(예컨대, 쉘들, 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등과 같은 임의의 적절한 데이터 구조에 저장될 수 있다.

[0088] 이 접근법의 단점은, 애플리케이션이 예측된 머리 움직임에 대한 바운드들을 계산하고 콘텐츠가 예측된 머리 움직임에 대한 계산된 바운드들 내에 있는지 여부를 결정하기 위해 더 많은 프로세싱 능력을 요구할 수 있다는 것이다.

반투명 객체들을 포함하는 장면들의 구성

[0089] 이전에 언급된 바와 같이, 워핑은 이전의 프레임으로부터의 렌더링된 콘텐츠에 적용될 수 있고, 워핑된 렌더링된 콘텐츠의 임의의 "홀들"은 이전의 프레임으로부터의 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠를 사용하여 "채워질" 수 있다. 도 9a-9f는, 이전의 프레임으로부터 렌더링된 콘텐츠를 워핑하고, 이전의 프레임이 반투명 객체들을 포함하는 비-렌더링된 콘텐츠를 사용하여 홀들을 채우는 것 및 그에 따른 문제점을 설명한다. 반투명 객체들은, 사용자가 반투명 객체들 뒤의 불투명 객체들을 보기 위해 반투명 객체들을 "시-스루(see through)"할 수 있기 때문에, 설명된 이전의 실시예들에 추가적인 복잡성의 층을 추가한다. 또한, 불투명 객체가 제1 관점으로부터 반투명 객체를 통해 보여질 때, 반투명 객체 뒤의 불투명 객체는 왜곡되거나 블러링되는 것처럼 보일 수 있다. 반투명 객체 뒤의 불투명 객체가 블러링되거나 블렌딩된 방식으로 렌더링되면, 제2 관점으로부터, 워핑된 프레임에서 불투명 객체의 현실적인 뷰를 달성하기 위해 고전적인 워핑을 적용하는 것은 어렵다.

[0090] 도 9a-9f는 반투명하고 불투명 객체를 워핑하는 것으로부터 기인한 문제를 예시한다. 도 9a는 사용자(예컨대, 사용자(50)) 및, 제1 객체 및 제2 객체를 포함하는 장면을 도시한다. 사용자는 제1 포지션에 위치된다. 제1 객체는 반투명 재료로 구성된 얇은 큐브여서, 얇은 큐브가 "시-스루"되지만 반투명 재료 뒤의 임의의 객체를 왜곡되거나 블러링된 것처럼 보이게 할 것이다. 제2 객체는 정면에 별표가 있는 불투명 객체이다.

[0091] 사용자의 눈들은 도 9b에 도시된 바와 같이 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제1 관점으로 지칭될 것이다. 제1 관점에서, 사용자의 눈들은, 제2 객체가 제1 객체 바로 뒤에 위치되도록 하는 각도로 제1 및 제2 객체들을 직접적으로 바라보고 있다. 제1 관점으로부터, 제2 객체의 정면은 제1 객체를 통해 시스루될 수 있지만, 제2 객체의 정면의 별표는 제2 객체의 전방에 있는 제1 객체의 반투명 재료들로 인해 블러링되거나 왜곡된 것처럼 보인다.

[0092] 도 9c에 도시된 바와 같이, 제2 객체 상에 별표로 라벨링된 표면들의 포인트들은 제1 객체를 통해 시스루될 수 있다. 제1 관점으로부터의 제1 및 제2 객체들(예컨대, 제1 객체의 정면 및 제2 객체의 블러링되거나 왜곡된 버전의 정면)의 가시적인 표면들(예컨대, 분명히 보이는 표면 및 불분명하게 보이는 표면(예컨대, 블러링 또는 왜곡됨))의 포인트들에 대응하는 이미지 데이터가 유지/저장된다. 가시적인 표면들의 포인트들에 대응하는 이미지 데이터는 "렌더링된 콘텐츠"로 지칭된다. 제1 관점으로부터의 제1 및 제2 객체들의 비-가시적인 표면들(예컨대, 제2 객체의 정면 및 모든 비-블러링된 면들을 제외한 제1 객체의 모든 면들)의 포인트들에 대응하는 이미지 데이터는 폐기된다. 제1 및 제2 객체들의 비-가시적인 표면들에 대응하는 이미지 데이터는 "비-렌더링된 콘텐츠"로 지칭된다. 렌더링된 콘텐츠 이외의, 애플리케이션은 제1 관점으로부터의 다른 콘텐츠(예컨대, 비-렌더링된 콘텐츠)를 상실하였다. 비-렌더링된 콘텐츠는, 애플리케이션에서 렌더링된 콘텐츠만 유지하기 때문에 깊이 테스팅 동안에 폐기된다. 사용자가 다른 각도 또는 관점으로부터 프레임을 보려고 시도하면, 비-렌더링된 콘텐츠는, 애플리케이션이 이를 폐기하였기 때문에, 쓸모가 없다.

[0093] 도 9c에 도시된 바와 같이, GPU(예컨대, GPU(152))는 장면의 이미지를 포함하는 프레임을 제1 관점으로부터 렌더링한다. 렌더링은 제1 및 제2 객체들을 블렌딩하는 것을 포함할 수 있다. 제1 관점으로부터의 프레임은, 제2 객체의 정면이 블러링되거나 왜곡된 것처럼 보이도록, 제1 객체의 정면을 통해 보이는 제2 객체의 정면을 도시한다.

[0094] 도 9d에 도시된 바와 같이, 사용자는 이제 제1 포지션의 바로 우측의 제2 포지션으로 이동한다. 이 시점에서, 사용자는 제1 포지션과 비교하여 상이한 포지션으로부터 제1 및 제2 객체들을 바라 보고 있을 것이다.

[0095] 사용자의 눈들은 도 9e에 도시된 위치 및 각도 포지션에 위치될 수 있다. 사용자의 눈들의 특정 위치 및 각도 포지션은 제2 관점으로 지칭될 것이다. 제2 관점에서, 사용자의 눈들은 (1) 제1 객체 뒤의 왜곡된 버전의 제2 객체 없이 제1 객체(예컨대, 이전의 프레임에서 보여진 이미지) 및 (2) 어떠한 블러링 또는 왜곡 없이 제2 객체를 볼 것이다. 구체적으로, 사용자는 제1 객체의 정면 및 우측면 및 제2 객체의 정면 및 우측면 둘 모두를 볼 것이며, 여기서 제2 객체의 정면은 블러링되거나 왜곡되지 않고 보인다.

[0096] 도 9f에 도시된 바와 같이, 워핑은, 제1 관점으로부터의 이전의 프레임이 제2 관점으로부터 보여지도록, 제1 관점으로부터의 이전의 프레임을 변경하는 데 사용될 수 있다. 이 접근법은 제1 관점으로부터의 이전의 프레임의 이미지의 렌더링된 콘텐츠를 취하고, 제2 관점으로부터 렌더링된 콘텐츠를 디스플레이하려는 시도에서 렌더링된 콘텐츠가 제공되는 방식을 시프팅한다. 이 예에서, 이전의 프레임은 제1 관점으로부터 생성되었고, 이는, 렌더링된 콘텐츠가 제1 및 제2 객체들의 가시적인 표면들(예컨대, 제2 객체의 블러링되거나 왜곡된 버전의 정면을 포함하는 제1 객체의 정면)에 대응하는 이미지 데이터를 포함하고 제1 및 제2 객체들의 비-가시적인 표면들(예컨대, 정면을 제외한 제1 객체의 모든 면들 및 블러링되지 않거나 왜곡되지 않은 방식의 제2 객체의 모든 면들)에 대응하는 이미지 데이터를 포함하지 않는다는 것을 의미한다. 따라서, 워핑이 적용되더라도, 제2 객체의 블러링되거나 왜곡된 버전의 정면을 포함하여, 정면을 제외한 제1 객체의 모든 면들, 및 블러링되지 않거나 왜곡되지 않은 방식의 제2 객체의 모든 면들은 워핑된 이미지에서 존재하지 않을 것이다. 이것은 새로운 프레임의 유용성과 정확도에 영향을 미치는 다수의 아티팩트들을 생성한다.

[0097] 문제가 도 9f에 예시되고, 여기서 재생성 없이 제2 관점으로부터 새로운 프레임을 구성하기 위해, 제1 관점으로부터의 이전의 프레임에 워핑이 적용된다. 이는 제2 관점으로부터의 부정확한 디스플레이를 야기한다. 이 접근법을 사용하는 데 잠재적으로 문제가 되는 2개의 것들이 있다. 첫째, 제1 객체는 제2 객체의 블러링되거나 왜곡된 버전의 정면을 포함하지 않아야 한다. 둘째, 제2 객체(즉, 블러링되지 않거나 왜곡되지 않은 버전의 제2 객체)가 워핑된 이미지에서 완전히 누락된다. 도 9f의 최상부에서 생성된 프레임과, 도 9f의 최하부의 제2 관점으로부터 보여야 하는 프레임은 대조적이다. 도 9f의 최하부는 제1 객체 및 제1 객체의 어떠한 투명도 및 제2 객체의 어떠한 블러링 또는 왜곡도 적용되지 않은 제2 객체의 막히지 않은 뷰를 도시한다.

[0098] 도 9f의 중간은 도 9f의 최상부에 도시된 문제에 대한 하나의 가능한 해결책을 보여준다. 일부 실시예들에서, 이전의 프레임으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠가 유지/저장된다. 렌더링된 콘텐츠에 워핑이 적용되고, 워핑된 렌더링된 콘텐츠의 임의의 "홀들"은 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠를 사용하여 "채워질" 수 있다. 그러나, 이것은 약간의 단점들을 갖는다. 렌더링된 콘텐츠를 워핑하고, 이어서 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠를 사용하여 홀들을 채우는 것은 의도되지 않은 아티팩트들을 발생시킬 수 있다. 예컨대, 렌더링된 콘텐츠가 제2 객체의 블러링되거나 왜곡된 버전의 정면을 포함하기 때문에, 워핑된 렌더링된 콘텐츠는 또한 제2 객체의 블러링되거나 왜곡된 버전의 정면을 포함하고, 워핑된 렌더링된 콘텐츠의 홀들을 채우기 위해 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠를 사용하는 것은 간단히 블러링되지 않거나 왜곡되지 않은 버전의 제2 객체(제2 객체의 정면과 우측면 둘 모두)를 추가하지만, 이는 워핑된 렌더링된 콘텐츠에서 제2 객체의 블러링되거나 왜곡된 버전의 정면을 제거하지 않는다. 따라서, 이전의 프레임으로부터 렌더링된 콘텐츠를 워핑하고, 이전의 프레임으로부터의 렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠를 사용하여 워핑된 콘텐츠의 홀들을 채우는 것이 바람직하지 않을 수 있다.

[0099] 본 개시내용은 이제 도 9a-9f에 설명된 대안적인 접근법으로부터의 문제가 있는 결과들을 해결하는 접근법을 설명할 것이다. 도 10 및 11a-11g는 반투명 객체들 및 불투명 객체들에 대해 데이터를 개별적으로 유지/저장함으로써 도 9a-9f에 제시된 워핑 이슈를 해결하기 위한 해결책을 설명한다. 데이터를 개별적으로 유지/저장하는 것은 또한, 어떤 객체들이 보여야 하고 반투명 객체의 영향을 받지 않아야 하는지를 결정하는 것을 돕는다.

[00100] 도 10은 일 실시예에 따른, 반투명 객체들 및 불투명 객체들에 대응하는 콘텐츠를 저장하기 위한 접근법의 흐름도를 도시한다. 이 접근법에서, 애플리케이션은 반투명 객체들에 대응하는 반투명 포인트들 및 불투명 객체들에 대응하는 불투명 포인트들을 저장할 것이다.

[00101] 1002에서, 애플리케이션은 제1 관점으로부터의 불투명 객체의 불투명 포인트들을 결정한다. 불투명 포인트들에 대응하는 이미지 데이터는, 어떠한 블러링 또는 왜곡도 적용되지 않은 불투명 포인트들을 설명한다. 사용자가 상이한 포지션(예컨대, 반투명 객체의 반투명 표면을 통해 불투명 포인트들을 보지 않고, 불투명 객체의 불투명 포인트들이 보일 수 있는 포지션)으로 이동할 때, 애플리케이션은 상이한 관점으로부터 불투명 객체를 구성하기 위해 불투명 객체에 관한 충분한 정보 및 세부사항을 가질 것이다.

[00102] 1004에서, 불투명 포인트들에 대응하는 이미지 데이터가 저장된다. 불투명 포인트들에 대응하는 이미지 데이터는 임의의 타입의 데이터 구조에 저장될 수 있다. 위에서 언급된 바와 같이, 이미지 데이터는 링크된 리스트, 복셀, 표면 정의들(예컨대, 쉘들, 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등으로서 저장될 수 있다. 일부 실시예들에서, 애플리케이션은 또한 저장될 이미지 데이터의 입도를 결정할 수 있다.

[00103] 1006에서, 애플리케이션은 반투명 객체의 반투명 포인트들을 결정한다. 반투명 객체는, 예컨대, 안개, 연기 또는 "서리 낀 유리"일 수 있다. 반투명 객체가 불투명 객체 앞에 있으면, 이는 불투명 객체로 하여금 반투명 객체를 통해 보일 수 있게 한다. 불투명 객체가 반투명 객체를 통해 보일 때, 반투명 객체에 의해, 이를테면, 예컨대, 반투명 객체의 반투명 재료에 의해 영향을 받는 불투명 객체의 뷰로 인해, 불투명 객체는 블러링되거나 왜곡된 것처럼 보일 것이다. 반투명 포인트들에 대응하는 이미지 데이터는 어떠한 블러링 또는 왜곡도 적용되지 않은 반투명 포인트들을 설명한다. 사용자가 상이한 포지션(예컨대, 반투명 객체의 반투명 표면을 통해 불투명 객체의 불투명 포인트들을 보지 않고, 반투명 객체의 반투명 포인트들이 보일 수 있는 포지션)으로 이동할 때, 애플리케이션은 상이한 관점으로부터 반투명 객체를 구성하기 위해 반투명 객체에 관한 충분한 정보 및 세부사항을 가질 것이다.

[00104] 1008에서, 반투명 포인트들에 대응하는 이미지 데이터가 저장된다. 반투명 포인트들에 대응하는 이미지 데이터는, 제1 관점으로부터 상이한 관점(예컨대, 제2 관점)을 생성할 때, 투명도를 정확하게 처리하기 위해 저장된다. 위에서 언급된 바와 같이, 이미지 데이터는 링크된 리스트, 복셀, 표면 정의들(예컨대, 쉘들, 곡선들 등), N-차원 데이터 구조들 또는 그의 그래프 표현 등으로서 저장될 수 있다. 일부 실시예들에서, 애플리케이션은 또한 저장될 이미지 데이터의 입도를 결정할 수 있다.

[00105] 도 11a-11g는 일 실시예에 따른, 제1 관점으로부터의 불투명 포인트들 및 반투명 포인트들에 대응하는 이미지 데이터를 사용하여 프레임의 제2 관점을 디스플레이하기 위한 예시적인 접근법을 예시한다. 이미지 데이터는 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 포함한다.

[00106] 도 11a-11c는 도 9a-9c와 동일한 이미지 설정을 도시하고, 여기서 사용자는 제1 위치에 있고, 여기서 사용자 눈들의 특정 위치 및 각도 포지션은 제1 관점으로 지칭된다. 사용자, 제1 객체(반투명 객체) 및 제2 객체(불투명 객체)는 동일한 초기 포지션에 있다. 도 11c에서, GPU(예컨대, GPU(152))는 장면의 이미지를 포함하는 프레임을 도 9c의 관점과 동일한 제1 관점으로부터 렌더링한다. 제1 관점으로부터의 프레임은, 제2 객체의 정면이 블러링되거나 왜곡된 것처럼 보이도록, 제1 객체의 정면을 통해 보이는 제2 객체의 정면을 도시한다. 도 11e-11f는 도 9d-9e와 동일한 이미지 설정을 도시하고, 여기서 사용자가 제2 위치에 있고, 여기서 제2 포지션에서 사용자의 눈들의 특정 위치 및 각도 포지션은 제2 관점으로 지칭된다.

[00107] 도 11d에서, 애플리케이션은 (1) 제2 객체의 불투명 포인트들 및 (2) 제1 객체의 반투명 포인트들에 대응하는 비-렌더링된 콘텐츠를 선택하고 저장한다. 애플리케이션은 제2 객체의 불투명 포인트들과 함께 그들 개개의 깊이 정보, 및 제1 객체의 반투명 포인트들과 함께 그들 개개의 깊이 정보를 저장한다. 일부 실시예들에서, 저장 메모리 우려사항들을 완화시키기 위해, 저장될 반투명 포인트들 및/또는 불투명 포인트들의 수에 대한 상위 바운드가 존재할 수 있다. 비-렌더링된 콘텐츠는 임의의 추가적인 관점에서 투명도를 처리하는 데 사용될 것이다. 일부 실시예들에서, 비-렌더링된 콘텐츠는 제1 관점으로부터의 프레임 이외에 사용된다. 이제, 사용자가 상이한 관점(예컨대, 제1 관점으로부터 제2 관점으로)으로 이동할 때, 애플리케이션은 새로운 관점으로부터 새로운 프레임을 구성하기 위해 비-렌더링된 콘텐츠를 사용할 수 있다.

[00108] 일부 실시예들에서, (렌더링된 콘텐츠 및/또는 비-렌더링된 콘텐츠에 대한) 이미지 데이터는 볼류메트릭 및 깊이 정보를 포함한다. 또한, 이미지 데이터는, 불투명 객체들이 반투명 객체들에 의해 영향을 받는지 여부 그리고 그 역도 가능한지 여부를 결정하기 위한 정보를 포함하는 기준 데이터를 포함할 수 있다. 애플리케이션은, 불투명한 객체 및 투명한 객체에 대한 이미지 데이터가 개별적으로 유지되었기 때문에, 반투명 객체들에 의해 영향을 받는 임의의 불투명 객체 및 그 역을 결정하기 위한 로직을 포함한다.

[00109] 도 11e에 도시된 바와 같이, 사용자는 제1 포지션의 바로 우측의 제2 포지션으로 이동한다. 이 시점에서, 사용자는 제1 포지션과 비교하여 상이한 포지션으로부터 제1 및 제2 객체들을 바라보고 있을 것이다. 사용자의 눈들은 도 11f에 도시된 제2 관점에 위치될 수 있다. 제2 관점에서, 사용자의 눈들은 제1 관점으로부터의 프레임과 상이한 프레임을 볼 것이다. 제2 관점에서, 사용자의 눈들은 제1 객체의 정면 및 우측면 및 제2 객체의 정면 및 우측면 둘 모두를 보고 있을 것이다. 구체적으로, 사용자는 이제, 제1 객체로부터의 어떠한 블러링 또는 왜곡도 없이 제2 객체의 정면의 별표를 볼 것이다.

[00110] 도 11g에 도시된 바와 같이, 구성은, 전체 장면을 완전히 재생성하지 않고, 제2 관점으로부터 새로운 프레임을 생성하기 위해, 제1 관점으로부터의 렌더링된 프레임 및 제1 관점으로부터의 비-렌더링된 콘텐츠를 포함하는 이전의 프레임으로부터의 콘텐츠에 적용될 수 있다. 애플리케이션은 먼저 비-렌더링된 콘텐츠(예컨대, 제1 객체의 우측면 및 제2 객체의 정면 및 우측면) 중 어느 것이 제2 관점으로부터 보이는지를 식별할 것이다. 이어서, 애플리케이션은, 제2 관점의 완전한 재생성을 수행하지 않고 제2 관점으로부터 프레임을 생성하기 위해, (1) 불투명 포인트들 및 (2) 반투명 포인트들에 대한 저장된 이미지 데이터에 구성을 적용한다. 위에서 언급된 바와 같이, 애플리케이션이 구성 동안에 사용된 비-렌더링된 콘텐츠에 대한 이미지 데이터를 보존했기 때문에, 비폐색 문제가 더 이상 존재하지 않는다.

시스템 아키텍처 개요

[00111] 도 12는 본 개시내용의 실시예들 중 하나 이상을 구현하기에 적합한 예시적인 컴퓨팅 시스템(1400)의 블록도이다. 컴퓨팅 시스템(1400)은 버스(1406) 또는 정보를 통신하기 위한 다른 통신 메커니즘을 포함하며, 이는 서브시스템들 및 디바이스들, 이를테면, 프로세서(1407), 메인 메모리(1408)(예컨대, RAM), 정적 저장 디바이스(1409)(예컨대, ROM), 디스크 드라이브(1410)(예컨대, 자기 또는 광학), 통신 인터페이스(1414)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(1411)(예컨대, CRT 또는 LCD), 입력 디바이스(1412)(예컨대, 키보드), 및 커서 제어를 상호연결한다.

[00112] 일 실시예에 따라, 컴퓨팅 시스템(1400)은, 프로세서(1407)가 메인 메모리(1408)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행함으로써 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(1409) 또는 디스크 드라이브(1410)와 같은 다른 컴퓨터 판독 가능한/사용 가능한 매체로부터 메인 메모리(1408)에 입력될 수 있다. 대안적인 실시예들에서, 소프트웨어 명령들을 대신하여 또는 그와 조합하여, 하드-와이어드(hard-wired) 회로가 본 개시내용을 구현하는 데 사용될 수 있다. 따라서, 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합으로 제한되지 않는다. 일 실시예에서, "로직"이란 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는, 소프트웨어 또는 하드웨어의 임의의 조합을 의미한다.

[00113] 본원에서 사용되는 바와 같은 "컴퓨터 판독 가능한 매체" 또는 "컴퓨터 사용 가능한 매체"라는 용어는 실행을 위해 프로세서(1407)에 명령들을 제공하는 데 관여하는 임의의 매체를 지칭한다. 그러한 매체는, 비-휘발성 매체들 및 휘발성 매체들을 포함(그러나 이에 제한되지 않음)하는 다수의 형태들을 취할 수 있다. 비-휘발성 매체들은, 예컨대, 광학 또는 자기 디스크들, 이를테면, 디스크 드라이브(1410)를 포함한다. 휘발성 매체들은 동적 메모리, 이를테면, 메인 메모리(1408)를 포함한다.

[00114] 일반적인 형태들의 컴퓨터 판독 가능한 매체들은, 예컨대, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.

[00115] 일 실시예에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨팅 시스템(1400)에 의해 수행된다. 다른 실시예들에 따라, 통신 링크(1415)(예컨대, LAN, PTSN, 또는 무선 네트워크)에 의해 커플링되는 둘 이상의 컴퓨팅 시스템들(1400)은 서로 협력하여 본 개시내용을 실시하는 데 필요한 명령들의 시퀀스를 수행할 수 있다.

[00116] 컴퓨팅 시스템(1400)은 통신 링크(1415)를 통해 통신 인터페이스(1414)를 경유하여 프로그램, 예컨대, 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는, 그것이 수신될 때 프로세서(1407)에 의해 실행될 수 있고 그리고/또는 추후 실행을 위해 디스크 드라이브(1410) 또는 다른 비-휘발성 저장소에 저장될 수 있다. 컴퓨팅 시스템(1400)은 데이터 인터페이스(1433)를 통해 외부 저장 디바이스(1431) 상의 데이터베이스(1432)와 통신할 수 있다.

[00117] 위의 명세서에서, 본 개시내용은 본 개시내용의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 개시내용의 더 넓은 사상 및 범위를 벗어나지 않으면서 본 개시내용에 대해 다양한 수정들 및 변경들이 행해질 수 있다는 것은 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 개시내용의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims

이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법으로서,
제1 관점으로부터 제1 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계 ― 상기 렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 비-렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 비-가시적인 부분들에 대응함 ― ;
제2 관점으로부터 새로운 프레임을 디스플레이하기 위한 요청을 수신하는 단계;
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 사용하여 상기 제2 관점으로부터 상기 새로운 프레임을 생성하는 단계; 및
상기 제2 관점으로부터의 상기 새로운 프레임을 디스플레이하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
사용자의 제1 포즈를 캡처함으로써 상기 제1 관점을 식별하는 단계를 더 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는, 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 링크된 리스트들, 어레이 구조들, 실제 볼류메트릭 표현들(true volumetric representations), 복셀들(voxels), 표면 정의들(surface definitions), N-차원 데이터 구조들, 및 N-차원 그래프 표현들 중 적어도 하나에 저장하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제1 관점으로부터의 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두에 대한 상이한 입도들(granularities)을 결정하는 단계를 더 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제2 관점으로부터 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 저장된 렌더링된 콘텐츠 중 적어도 일부를 상기 제1 관점으로부터 상기 제2 관점으로 워핑(warping)하는 단계를 더 포함하고,
상기 제2 관점으로부터의 상기 새로운 프레임을 생성하는 단계는 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합하는 단계를 포함하고, 상기 새로운 렌더링된 콘텐츠는 상기 제2 관점으로부터의 상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 워핑된 렌더링된 콘텐츠는 상기 제1 관점으로부터 상기 제2 관점으로 워핑된 상기 저장된 렌더링된 콘텐츠에 대응하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제5 항에 있어서,
상기 제2 관점으로부터 상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들을 렌더링하는 단계는:
상기 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 단계;
상기 제2 세트의 객체들을 식별하기 위해, 상기 제2 관점으로부터의 상기 제3 세트의 객체들과 상기 제1 관점으로부터의 상기 저장된 렌더링된 콘텐츠를 비교하는 단계 ― 상기 제2 세트의 객체들은 상기 저장된 렌더링된 콘텐츠에 없는 상기 제3 세트의 객체들로부터의 객체들을 포함함 ― ; 및
상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들을 렌더링하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제5 항에 있어서,
상기 저장된 콘텐츠 중 적어도 일부를 상기 제1 관점으로부터 상기 제2 관점으로 워핑하는 단계는:
상기 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 단계;
상기 제2 관점으로부터의 상기 제3 세트의 객체들 및 상기 제1 관점으로부터의 상기 저장된 렌더링된 콘텐츠 둘 모두에 있는 객체들을 식별하기 위해, 상기 제3 세트의 객체들과 상기 저장된 렌더링된 콘텐츠를 비교하는 단계;
상기 제3 세트의 객체들 및 상기 저장된 렌더링된 콘텐츠 둘 모두에 있는 상기 객체들을 워핑하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 식별하는 단계;
콘텐츠가 표면 포인트 및 비-표면 포인트 중 하나에 대응하는지를 결정하기 위해 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 분석하는 단계;
비-표면 포인트에 대응하는 콘텐츠를 폐기하는 단계; 및
상기 표면 포인트에 대응하는 콘텐츠를 저장하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
사용자의 머리 움직임을 예측하는 단계;
예측된 방향, 상기 사용자의 움직임의 현재 속도, 및 상기 사용자에 대한 움직임의 예측된 속도 중 하나 이상에 적어도 부분적으로 기반하여 상기 사용자의 상기 예측된 머리 움직임에 대한 바운드들(bounds)을 계산하는 단계 ― 상기 바운드들은 상기 제2 관점에 대한 최대 예측된 머리 움직임에 대응함 ― ;
상기 예측된 머리 움직임에 대한 상기 계산된 바운드들 내의 콘텐츠를 결정하는 단계; 및
상기 계산된 바운드들 내의 상기 콘텐츠를 저장하는 단계를 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
제1 항에 있어서,
상기 제1 관점으로부터의 상기 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
하나 이상의 불투명 객체들의 불투명 포인트들을 결정하는 단계;
상기 불투명 포인트들에 대응하는 이미지 데이터를 저장하는 단계;
하나 이상의 반투명 객체들의 반투명 포인트들을 결정하는 단계; 및
상기 반투명 포인트들의 이미지 데이터를 저장하는 단계를 더 포함하고,
상기 제1 세트의 객체들은 상기 하나 이상의 불투명 객체들 및 상기 하나 이상의 반투명 객체들을 포함하는,
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템으로서,
실행 가능한 컴퓨터 명령들을 저장하는 비-일시적인 컴퓨터-판독 가능한 저장 매체; 및
상기 컴퓨터 명령들을 실행하도록 구성된 프로세서를 포함하고,
상기 실행 가능한 컴퓨터 명령들은, 실행될 때, 단계들을 수행하고, 상기 단계들은:
제1 관점으로부터 제1 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계 ― 상기 렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 비-렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 비-가시적인 부분들에 대응함 ― ;
제2 관점으로부터 새로운 프레임을 디스플레이하기 위한 요청을 수신하는 단계;
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 사용하여 상기 제2 관점으로부터 상기 새로운 프레임을 생성하는 단계; 및
상기 제2 관점으로부터의 상기 새로운 프레임을 디스플레이하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 명령들은, 실행될 때, 사용자의 제1 포즈를 캡처함으로써 상기 제1 관점을 식별하는 단계를 포함하는 추가의 단계들을 수행하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는, 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 링크된 리스트들, 어레이 구조들, 실제 볼류메트릭 표현들, 복셀들, 표면 정의들, N-차원 데이터 구조들, 및 N-차원 그래프 표현들 중 적어도 하나에 저장하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 명령들은, 실행될 때, 상기 제1 관점으로부터의 상기 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두에 대한 상이한 입도들을 결정하는 단계를 포함하는 추가의 단계들을 수행하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 명령들은, 실행될 때,
상기 제2 관점으로부터 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 저장된 렌더링된 콘텐츠 중 적어도 일부를 상기 제1 관점으로부터 상기 제2 관점으로 워핑하는 단계를 포함하는 추가의 단계들을 수행하고,
상기 제2 관점으로부터 상기 새로운 프레임을 생성하는 단계는 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합하는 단계를 포함하고, 상기 새로운 렌더링된 콘텐츠는 상기 제2 관점으로부터의 상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 워핑된 렌더링된 콘텐츠는 상기 제1 관점으로부터 상기 제2 관점으로 워핑된 상기 저장된 렌더링된 콘텐츠에 대응하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제15 항에 있어서,
상기 제2 관점으로부터 상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들을 렌더링하는 단계는:
상기 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 단계;
상기 제2 세트의 객체들을 식별하기 위해, 상기 제2 관점으로부터의 상기 제3 세트의 객체들과 상기 제1 관점으로부터의 상기 저장된 렌더링된 콘텐츠를 비교하는 단계 ― 상기 제2 세트의 객체들은 상기 저장된 렌더링된 콘텐츠에 없는 상기 제3 세트의 객체들로부터의 객체들을 포함함 ― ; 및
상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들을 렌더링하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제15 항에 있어서,
상기 저장된 콘텐츠 중 적어도 일부를 상기 제1 관점으로부터 상기 제2 관점으로 워핑하는 단계는:
상기 제2 관점으로부터 보이는 제3 세트의 객체들을 결정하는 단계;
상기 제2 관점으로부터의 상기 제3 세트의 객체들 및 상기 제1 관점으로부터의 상기 저장된 렌더링된 콘텐츠 둘 모두에 있는 객체들을 식별하기 위해, 상기 제3 세트의 객체들과 상기 저장된 렌더링된 콘텐츠를 비교하는 단계;
상기 제3 세트의 객체들 및 상기 저장된 렌더링된 콘텐츠 둘 모두에 있는 객체들을 워핑하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 식별하는 단계;
콘텐츠가 표면 포인트 및 비-표면 포인트 중 하나에 대응하는지를 결정하기 위해 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 분석하는 단계;
상기 비-표면 포인트에 대응하는 콘텐츠를 폐기하는 단계; 및
상기 표면 포인트에 대응하는 콘텐츠를 저장하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
사용자의 머리 움직임을 예측하는 단계;
예측된 방향, 상기 사용자의 움직임의 현재 속도, 및 상기 사용자에 대한 움직임의 예측된 속도 중 하나 이상에 적어도 부분적으로 기반하여 상기 사용자의 상기 예측된 머리 움직임에 대한 바운드들을 계산하는 단계 ― 상기 바운드들은 상기 제2 관점에 대한 최대 예측된 머리 움직임에 대응함 ― ;
상기 예측된 머리 움직임에 대한 상기 계산된 바운드들 내의 콘텐츠를 결정하는 단계; 및
상기 계산된 바운드들 내의 상기 콘텐츠를 저장하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
제11 항에 있어서,
상기 제1 관점으로부터의 상기 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
하나 이상의 불투명 객체들의 불투명 포인트들을 결정하는 단계;
상기 불투명 포인트들에 대응하는 이미지 데이터를 저장하는 단계;
하나 이상의 반투명 객체들의 반투명 포인트들을 결정하는 단계; 및
상기 반투명 포인트들의 이미지 데이터를 저장하는 단계를 더 포함하고,
상기 제1 세트의 객체들은 상기 하나 이상의 불투명 객체들 및 상기 하나 이상의 반투명 객체들을 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 시스템.
비-일시적인 컴퓨터-판독 가능한 매체에 포함되는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터-판독 가능한 매체는 일련의 명령들을 저장하고, 상기 일련의 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법을 실행하게 하고, 상기 방법은:
제1 관점으로부터 제1 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 제1 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계 ― 상기 렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 비-렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 제1 세트의 객체들의 비-가시적인 부분들에 대응함 ― ;
제2 관점으로부터의 새로운 프레임을 디스플레이하기 위한 요청을 수신하는 단계;
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 사용하여 상기 제2 관점으로부터 상기 새로운 프레임을 생성하는 단계; 및
상기 제2 관점으로부터의 상기 새로운 프레임을 디스플레이하는 단계를 포함하는,
컴퓨터 프로그램 제품.
제21 항에 있어서,
상기 제2 관점으로부터 제2 세트의 객체들의 가시적인 표면들의 포인트들을 렌더링하는 단계;
상기 저장된 렌더링된 콘텐츠 중 적어도 일부를 상기 제1 관점으로부터 상기 제2 관점으로 워핑하는 단계를 더 포함하고,
상기 제2 관점으로부터 상기 새로운 프레임을 생성하는 단계는 새로운 렌더링된 콘텐츠 및 워핑된 렌더링된 콘텐츠를 결합하는 단계를 포함하고, 상기 새로운 렌더링된 콘텐츠는 상기 제2 관점으로부터의 상기 제2 세트의 객체들의 상기 가시적인 표면들의 포인트들에 대응하고, 상기 워핑된 렌더링된 콘텐츠는 상기 제1 관점으로부터 상기 제2 관점으로 워핑된 상기 저장된 렌더링된 콘텐츠에 대응하는,
컴퓨터 프로그램 제품.
제21 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 식별하는 단계;
콘텐츠가 표면 포인트 및 비-표면 포인트 중 하나에 대응하는지를 결정하기 위해 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠를 분석하는 단계;
상기 비-표면 포인트에 대응하는 콘텐츠를 폐기하는 단계; 및
상기 표면 포인트에 대응하는 콘텐츠를 저장하는 단계를 포함하는,
컴퓨터 프로그램 제품.
제21 항에 있어서,
상기 제1 관점으로부터의 상기 렌더링된 콘텐츠 및 상기 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
사용자의 머리 움직임을 예측하는 단계;
예측된 방향, 상기 사용자의 움직임의 현재 속도, 및 상기 사용자에 대한 움직임의 예측된 속도 중 하나 이상에 적어도 부분적으로 기반하여 상기 사용자의 상기 예측된 머리 움직임에 대한 바운드들을 계산하는 단계 ― 상기 바운드들은 상기 제2 관점에 대한 최대 예측된 머리 움직임에 대응함 ― ;
상기 예측된 머리 움직임에 대한 상기 계산된 바운드들 내의 콘텐츠를 결정하는 단계; 및
상기 계산된 바운드들 내의 상기 콘텐츠를 저장하는 단계를 포함하는,
컴퓨터 프로그램 제품.
제21 항에 있어서,
상기 제1 관점으로부터의 상기 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계는:
하나 이상의 불투명 객체들의 불투명 포인트들을 결정하는 단계;
상기 불투명 포인트들에 대응하는 이미지 데이터를 저장하는 단계;
하나 이상의 반투명 객체들의 반투명 포인트들을 결정하는 단계; 및
상기 반투명 포인트들의 이미지 데이터를 저장하는 단계를 더 포함하고,
상기 제1 세트의 객체들은 상기 하나 이상의 불투명 객체들 및 상기 하나 이상의 반투명 객체들을 포함하는,
컴퓨터 프로그램 제품.
이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법으로서,
제1 관점으로부터 하나 이상의 객체들을 렌더링하는 단계;
상기 제1 관점으로부터의 상기 하나 이상의 객체들에 대한 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠 둘 모두를 저장하는 단계 ― 상기 비-렌더링된 콘텐츠는 상기 제1 관점으로부터의 상기 객체의 비-가시적인 부분들에 대응함 ― ;
제2 관점으로부터 상기 하나 이상의 객체들을 디스플레이하기 위한 요청을 수신하는 단계;
상기 제2 관점으로부터 워핑된 콘텐츠를 생성하기 위해 상기 하나 이상의 객체들에 대한 상기 렌더링된 콘텐츠 중 적어도 일부를 워핑하는 단계;
상기 제2 관점으로부터 제2 렌더링된 콘텐츠를 생성하기 위해 상기 하나 이상의 객체들에 대한 상기 비-렌더링된 콘텐츠 중 적어도 일부를 렌더링하는 단계;
상기 제2 관점으로부터의 상기 워핑된 콘텐츠 및 상기 제2 렌더링된 콘텐츠 둘 모두를 결합함으로써 상기 제2 관점으로부터 상기 하나 이상의 객체들을 구성하는 단계; 및
상기 제2 관점으로부터의 상기 하나 이상의 객체들을 디스플레이하는 단계를 포함하는,
이전의 관점으로부터 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하여 새로운 프레임을 구성하기 위한 방법.