KR102366781B1

KR102366781B1 - 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법

Info

Publication number: KR102366781B1
Application number: KR1020197029900A
Authority: KR
Inventors: 마이클 해럴드 라이베나우; 레자 누라이; 로버트 블레이크 테일러; 파리 야라스
Original assignee: 매직 립, 인코포레이티드
Priority date: 2017-03-17
Filing date: 2018-03-16
Publication date: 2022-02-22
Also published as: KR20190125455A; AU2021290369B2; JP2022062032A; JP7407869B2; CN117873313A; AU2018234921B2; IL298822A; AU2018234921A1; CN110402425B; IL290308B2; US10762598B2; US20220188971A1; KR20220027278A; CA3055218A1; EP3596705A4; JP2022132292A; JP7096450B2; JP2020514908A; WO2018170482A1; AU2021290369A1

Abstract

순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 컴퓨터 구현 방법은 상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 획득하는 단계를 포함한다. 방법은 또한 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계를 포함한다. 방법은 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계를 더 포함한다. 또한, 방법은 제1 시간에 제1 포즈를 예측하는 단계 및 제2 시간에 제2 포즈를 예측하는 단계를 포함한다. 게다가, 방법은, 제1 포즈에 기반하여 제1 컬러 필드를 와핑함으로써 와핑된 제1 컬러 필드를 생성하는 단계를 포함한다. 방법은 또한, 제2 포즈에 기반하여 제2 컬러 필드를 와핑함으로써 와핑된 제2 컬러 필드를 생성하는 단계를 포함한다.

Description

컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법

[0001] 본 개시내용은 컬러 가상 콘텐츠 와핑(color virtual content warping)을 갖는 혼합 현실 시스템들, 및 이를 사용하여 와핑된 가상 콘텐츠를 포함하는 혼합 현실 경험을 생성하기 위한 방법들에 관한 것이다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실(VR)" 또는 "증강 현실(AR)" 경험들을 위한 "혼합 현실(MR)" 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. VR 시나리오는 통상적으로 실제 실세계 시각적 입력에 대한 투과성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반한다. AR 시나리오는 통상적으로 사용자 주위의 실세계의 시각화에 대한 증강(즉, 실세계 시각적 입력에 대한 투과성)으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 따라서, AR 시나리오들은 실세계 시각적 입력에 대한 투과성을 동반한 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.

[0003] MR 시스템은 전형적으로, MR 시나리오들의 사실성을 증가시키는 컬러 데이터를 생성 및 디스플레이한다. 이들 MR 시스템들 중 다수는, 컬러 이미지에 대응하는 상이한(예컨대, 주요) 컬러들 또는 "필드들"(예컨대, 적색, 녹색 및 청색)의 서브-이미지들을 빠르게 연속적으로 순차적으로 투사함으로써 컬러 데이터를 디스플레이한다. 컬러 서브-이미지들을 충분히 높은 레이트들(예컨대, 60Hz, 120Hz 등)로 투사하는 것은 사용자의 생각으로는 부드러운 컬러 MR 시나리오들을 전달할 수 있다.

[0004] 다양한 광학 시스템들은 MR(VR 및 AR) 시나리오들을 디스플레이하기 위해 다양한 깊이들의 컬러 이미지들을 포함하는 이미지들을 생성한다. 일부 이러한 광학 시스템들은 2014년 11월 27일자로 출원된 미국 특허 출원 일련 번호 제14/555,585호(대리인 도켓 번호 ML.20011.00)에 설명되며, 이로써 상기 출원의 전체 내용들은, 완전히 제시된 것처럼, 인용에 의해 본원에 명백히 그리고 완전히 포함된다.

[0005] MR 시스템들은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고 이에 따라 사용자의 머리가 움직일 때 움직이는 웨어러블 디스플레이 디바이스들(예컨대, 머리-착용 디스플레이들, 헬멧-장착 디스플레이들 또는 스마트 안경)을 사용한다. 사용자의 머리 움직임들이 디스플레이 디바이스에 의해 검출되는 경우, 디스플레이되는 데이터는 머리 포즈(즉, 사용자의 머리의 배향(orientation) 및/또는 위치)의 변화를 고려하여 업데이트될 수 있다.

[0006] 예로서, 머리-착용 디스플레이 디바이스를 착용한 사용자가 디스플레이 상의 가상 객체의 가상 표현을 뷰잉하고 가상 객체가 나타나는 영역 주위를 걷는 경우, 가상 객체는, 각각의 뷰 포인트에 대해 렌더링되어 사용자들이 실제 공간을 점유한 객체 주위를 걷고 있다는 지각을 사용자에게 제공할 수 있다. 머리-착용 디스플레이 디바이스가 다수의 가상 객체들을 제시하는 데 사용되는 경우, 사용자의 동적으로 변하는 머리 포즈와 매칭되도록 장면을 렌더링하고 증가된 몰입감을 제공하도록 머리 포즈의 측정들이 사용될 수 있다. 그러나, 장면의 렌더링과 렌더링된 장면의 디스플레이/투사 사이에 불가피한 지연이 존재한다.

[0007] AR을 가능하게 하는 머리-착용 디스플레이 디바이스들은 실제 및 가상 객체들 둘 모두의 동시성 뷰잉(concurrent viewing)을 제공한다. "광학 시-스루(optical see-through)" 디스플레이를 통해, 사용자는 환경의 실제 객체들로부터의 광을 직접 응시하기 위해 디스플레이 시스템의 투명(또는 반투명) 엘리먼트들을 통해 볼 수 있다. "결합기(combiner)"로서 종종 지칭되는 투명 엘리먼트는 실세계의 사용자의 뷰 위에 디스플레이로부터의 광을 중첩하며, 여기서 디스플레이로부터의 광은 환경 내의 실제 객체들의 시-스루 뷰 위에 가상 콘텐츠의 이미지를 투사한다. 카메라가 머리-착용 디스플레이 디바이스 상에 장착되어, 사용자에 의해 뷰잉되는 장면의 이미지들 또는 비디오들을 캡처할 수 있다.

[0008] MR 시스템들의 광학 시스템들과 같은 현재 광학 시스템들은 가상 콘텐츠를 광학적으로 렌더링한다. 콘텐츠는, 콘텐츠가 공간의 개개의 포지션들에 위치된 실제 물리적 객체들에 대응하지 않는다는 점에서 "가상이다". 대신에, 가상 콘텐츠는, 사용자의 눈으로 지향된 광 빔에 의해 자극될 때, 머리-착용 디스플레이 디바이스의 사용자의 뇌들(예컨대, 광학 중심들)에서만 존재한다.

[0009] MR 시스템들은 컬러이고, 실사형(photo-realistic)이며, 몰입형 MR 시나리오들을 제시하려고 시도한다. 그러나, 가상의 생성과 생성된 가상 콘텐츠 디스플레이 간의 지연 시간과, 그 지연 시간 동안의 머리 움직임이 결합되어, MR 시나리오들에서 시각적 아티팩트들(예컨대, 글리치들)이 발생할 수 있다. 이 문제는 지연 시간 동안 빠른 머리 움직임에 의해 그리고 컬러 콘텐츠가 컬러들 또는 필드들을 순차적으로 투사함으로써 생성되는 경우에(즉, LCOS와 같은 순차적 디스플레이들) 악화된다.

[0010] 이 문제를 해결하기 위해, 일부 광학 시스템들은, 소스로부터 소스 컬러 가상 콘텐츠를 수신하는 와핑 소프트웨어/시스템을 포함할 수 있다. 게다가, 와핑 시스템은 디스플레이 또는 출력 시스템/뷰어의 기준 프레임("디스플레이 또는 출력 기준 프레임")에 디스플레이하기 위해 수신된 소스 컬러 가상 콘텐츠를 "와핑(warp)"(즉, 수신된 소스 컬러 가상 콘텐츠의 기준 프레임을 변환)한다. 와핑 또는 변환은, 컬러 가상 콘텐츠를 제시하는 기준 프레임을 변경한다. 이 접근법은 원래 렌더링된 컬러 콘텐츠를 취하고, 상이한 관점으로부터 컬러 콘텐츠를 디스플레이하려고 시도하기 위해 컬러 콘텐츠가 제시되는 방향(way)을 시프팅한다.

[0011] 일부 와핑 소프트웨어/시스템들은 2개의 프로세싱 패스들(processing passes)에서 소스 가상 콘텐츠를 와핑한다. 와핑 시스템들은 제1 패스에서 소스 가상 콘텐츠의 3-D 시나리오를 형성하는 소스 서브파트들 모두를 와핑한다. 와핑 시스템들은 또한 깊이 데이터를 생성하기 위해 이러한 제1 패스에서 깊이 테스팅을 수행하지만, 깊이 테스팅은 소스 기준 프레임에서 수행된다. 와핑 시스템들은 3-D 시나리오를 형성하는 소스 서브파트들의 변환으로부터 발생된 모든 와핑된 서브파트들 및 소스 기준 프레임에서의 그들의 상대적인 깊이들을 그 제1 패스에서 (예컨대, 리스트에) 저장한다.

[0012] 와핑 동안, 3-D 시나리오의 2개 이상의 상이한 서브파트들은 최종 디스플레이 이미지의 동일한 픽셀로 와핑/투사(즉, 이에 할당)될 수 있다. 이들 서브파트들은 "충돌하고", 와핑 시스템은 현실적인 2-D 디스플레이 이미지를 생성하기 위해 충돌을 해결해야 한다.

[0013] 제1 패스 후에, 와핑된 서브파트들 중 일부는 최종 2-D 디스플레이 이미지의 픽셀들에 대해 충돌할 수 있다. 이어서, 와핑 시스템들은, 출력 기준 프레임의 뷰잉 위치에 가장 가까운 와핑된 서브파트들을 식별하도록 충돌하는 와핑된 서브파트들의 깊이 테스트 데이터를 분석하기 위해, 제1 패스에서 저장된 중간 와핑 데이터를 통해 제2 패스를 수행한다. 출력 기준 프레임의 뷰잉 위치에 가장 가까운 충돌하는 와핑된 서브파트는 최종 2-D 디스플레이 이미지를 생성하는 데 사용된다. 남아있는 충돌하는 와핑된 서브파트들은 폐기된다.

[0014] 일부 와핑 소프트웨어/시스템들은 동일한 컬러 이미지의 모든 컬러들/필드들에 대한 출력 기준 프레임의 동일한 X, Y, 위치를 사용하여 컬러 소스 가상 콘텐츠를 와핑한다. 그러나, 모든(예컨대, 3개의) 컬러들/필드들을 와핑하기 위해 출력 기준 프레임의 하나의 X, Y 위치를 사용하는 것은 가깝지만 그럼에도 불구하고 상이한 시간들을 무시하는데, 그 시간들에 상이한 컬러 서브-이미지들이 투사된다. 이것은, MR 시스템들의 몰입감(immersiveness) 및 사실성(realism)을 손상시킬 수 있는 시각적 아티팩트들(visual artifacts)/이상들(anomalies)/글리치들(glitches)을 발생시킨다.

[0015] 일 실시예에서, 순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 컴퓨터 구현 방법은 상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 획득하는 단계를 포함한다. 방법은 또한 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계를 포함한다. 방법은 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계를 더 포함한다. 또한, 방법은 제1 시간에 제1 포즈를 예측하는 단계 및 제2 시간에 제2 포즈를 예측하는 단계를 포함한다. 게다가, 방법은, 제1 포즈에 기반하여 제1 컬러 필드를 와핑함으로써 와핑된 제1 컬러 필드를 생성하는 단계를 포함한다. 방법은 또한, 제2 포즈에 기반하여 제2 컬러 필드를 와핑함으로써 와핑된 제2 컬러 필드를 생성하는 단계를 포함한다.

[0016] 하나 이상의 실시예들에서, 제1 컬러 필드는 X, Y 위치에서의 제1 컬러 필드 정보를 포함한다. 제1 컬러 필드 정보는 제1 컬러의 제1 밝기를 포함할 수 있다. 제2 컬러 필드는 X, Y 위치에서의 제2 컬러 필드 정보를 포함할 수 있다. 제2 컬러 필드 정보는 제2 컬러의 제2 밝기를 포함할 수 있다.

[0017] 하나 이상의 실시예들에서, 와핑된 제1 컬러 필드는 제1 와핑된 X, Y 위치에서의 와핑된 제1 컬러 필드 정보를 포함한다. 와핑된 제2 컬러 필드는 제2 와핑된 X, Y 위치에서의 와핑된 제2 컬러 필드 정보를 포함할 수 있다. 제1 포즈에 기반하여 제1 컬러 필드를 와핑하는 단계는, 와핑된 제1 컬러 필드를 생성하기 위한 제1 변환을 제1 컬러 필드에 적용하는 단계를 포함할 수 있다. 제2 포즈에 기반하여 제2 컬러 필드를 와핑하는 단계는, 와핑된 제2 컬러 필드를 생성하기 위한 제2 변환을 제2 컬러 필드에 적용하는 단계를 포함할 수 있다.

[0018] 하나 이상의 실시예들에서, 방법은 또한 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드를 순차적 투사기에 전송하는 단계, 및 순차적 투사기가 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드를 순차적으로 투사하는 단계를 포함한다. 와핑된 제1 컬러 필드는 제1 시간에 투사될 수 있고, 와핑된 제2 컬러 필드는 제2 시간에 투사될 수 있다.

[0019] 다른 실시예에서, 순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 시스템은 순차적 투사를 위해 상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 수신하기 위한 와핑 유닛을 포함한다. 와핑 유닛은 개개의 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드의 투사를 위한 제1 시간 및 제2 시간을 결정하고, 개개의 제1 시간 및 제2 시간에 제1 포즈 및 제2 포즈를 예측하기 위한 포즈 추정기를 포함한다. 와핑 유닛은 또한 개개의 제1 포즈 및 제2 포즈에 기반하여 개개의 제1 컬러 필드 및 제2 컬러 필드를 와핑함으로써, 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드를 생성하기 위한 변환 유닛을 포함한다.

[0020] 또 다른 실시예에서, 컴퓨터 프로그램 제품은 비-일시적인 컴퓨터 판독 가능 매체로 구현되고, 컴퓨터 판독 가능 매체는 명령들의 시퀀스를 저장하고, 명령들의 시퀀스는, 프로세서에 의해 실행될 때, 프로세서로 하여금 순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 방법을 실행하게 한다. 방법은 상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 획득하는 단계를 포함한다. 방법은 또한 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계를 포함한다. 방법은 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계를 더 포함한다. 또한, 방법은 제1 시간에 제1 포즈를 예측하는 단계 및 제2 시간에 제2 포즈를 예측하는 단계를 포함한다. 게다가, 방법은, 제1 포즈에 기반하여 제1 컬러 필드를 와핑함으로써 와핑된 제1 컬러 필드를 생성하는 단계를 포함한다. 방법은 또한, 제2 포즈에 기반하여 제2 컬러 필드를 와핑함으로써 와핑된 제2 컬러 필드를 생성하는 단계를 포함한다.

[0021] 또 다른 실시예에서, 순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 컴퓨터 구현 방법은 애플리케이션 프레임 및 애플리케이션 포즈를 획득하는 단계를 포함한다. 방법은 또한 제1 추정된 디스플레이 시간에 애플리케이션 프레임의 제1 와프에 대한 제1 포즈를 추정하는 단계를 포함한다. 방법은 제1 와핑된 프레임을 생성하기 위해, 애플리케이션 포즈 및 추정된 제1 포즈를 사용하여 애플리케이션 프레임의 제1 와프를 수행하는 단계를 더 포함한다. 또한, 방법은 제2 추정된 디스플레이 시간에 제1 와핑된 프레임의 제2 와프에 대한 제2 포즈를 추정하는 단계를 포함한다. 또한, 방법은 제2 와핑된 프레임을 생성하기 위해, 추정된 제2 포즈를 사용하여 제1 와프 프레임의 제2 와프를 수행하는 단계를 포함한다.

[0022] 하나 이상의 실시예들에서, 방법은 약 제2 추정된 디스플레이 시간에 제2 와핑된 프레임을 디스플레이하는 단계를 포함한다. 방법은 또한 제3 추정된 디스플레이 시간에 제1 와핑된 프레임의 제3 와프에 대한 제3 포즈를 추정하는 단계, 및 제3 와핑된 프레임을 생성하기 위해, 추정된 제3 포즈를 사용하여 제1 와프 프레임의 제3 와프를 수행하는 단계를 포함할 수 있다. 제3 추정된 디스플레이 시간은 제2 추정된 디스플레이 시간보다 더 늦을 수 있다. 방법은 또한 약 제3 추정된 디스플레이 시간에 제3 와핑된 프레임을 디스플레이하는 단계를 포함할 수 있다.

[0023] 다른 실시예에서, CBC(Color Break Up) 아티팩트들을 최소화하기 위한 컴퓨터 구현 방법은 수신된 눈 또는 머리 추적 정보에 기반하여 CBU 아티팩트를 예측하는 단계를 포함한다. 방법은 또한 예측된 CBU 아티팩트에 기반하여 컬러 필드 레이트를 증가시키는 단계를 포함한다.

[0024] 하나 이상의 실시예들에서, 방법은 수신된 눈 또는 머리 추적 정보 및 증가된 컬러 필드 레이트에 기반하여 제2 CBU 아티팩트를 예측하는 단계, 및 예측된 제2 CBU 아티팩트에 기반하여 비트 깊이를 감소시키는 단계를 포함한다. 방법은 또한 증가된 컬러 필드 레이트 및 감소된 비트 깊이를 사용하여 이미지를 디스플레이하는 단계를 포함할 수 있다. 방법은 증가된 컬러 필드 레이트를 사용하여 이미지를 디스플레이하는 단계를 더 포함할 수 있다.

[0025] 본 개시내용의 부가적인 그리고 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.

[0026] 도면들은 본 개시내용의 다양한 실시예들의 설계 및 활용을 예시한다. 도면들은 실척대로 그려진 것이 아니며 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 유사한 참조 번호들로 표현된다는 것이 유의되어야 한다. 본 개시내용의 다양한 실시예들의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 개시내용들의 보다 상세한 설명이 첨부 도면들에서 예시되는 본 개시내용의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 개시내용의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 개시내용의 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면서, 본 개시내용은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0027] 도 1은 일부 실시예들에 따른, 웨어러블 증강 현실(AR) 사용자 디바이스를 통한 AR의 사용자 뷰를 도시한다.
[0028] 도 2a-2c는 일부 실시예들에 따른 AR 시스템들 및 그의 서브시스템들을 개략적으로 도시한다.
[0029] 도 3 및 4는 일부 실시예들에 따른, 빠른 머리 움직임의 경우 렌더링 아티팩트를 예시한다.
[0030] 도 5은 일부 실시예들에 따른 예시적인 가상 콘텐츠 와프를 예시한다.
[0031] 도 6은 일부 실시예들에 따른, 도 5에 예시된 바와 같은 가상 콘텐츠를 와핑하는 방법을 도시한다.
[0032] 도 7a 및 7b는 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠 와프 및 그의 결과를 도시한다.
[0033] 도 8은 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠를 와핑하는 방법을 도시한다.
[0034] 도 9a 및 9b는 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠 와프 및 그의 결과를 도시한다.
[0035] 도 10은 일부 실시예들에 따른, GPU(graphics processing unit)를 개략적으로 도시한다.
[0036] 도 11은 일부 실시예들에 따른, 프리미티브(primitive)로서 저장된 가상 객체를 도시한다.
[0037] 도 12은 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠를 와핑하는 방법을 도시한다.
[0038] 도 13은 일부 실시예들에 따른, 예시적인 컴퓨팅 시스템을 개략적으로 도시한 블록도이다.
[0039] 도 14는 일부 실시예들에 따른 다중-필드(컬러) 가상 콘텐츠에 대한 와프/렌더 파이프라인을 도시한다.
[0040] 도 15는 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠를 와핑하는데 있어서 컬러 분해(color breakup) 아티팩트를 최소화하는 방법을 도시한다.

[0041] 본 개시내용의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 소스로부터의 가상 콘텐츠를 와핑하기 위한 시스템들, 방법들 및 제조 물품들에 관한 것이다. 본 개시내용의 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.

[0042] 당업자들이 본 개시내용을 실시하는 것을 가능하게 하도록 본 개시내용의 예시적인 예들로서 제공되는 도면들을 참조하여 다양한 실시예들이 이제 상세히 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 개시내용의 범위를 제한하는 것으로 의도되지 않는다. 본 개시내용의 소정의 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 본 개시내용의 이해에 필수적인 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 부분들만이 설명될 것이며, 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 개시내용을 모호하게 하지 않기 위해 생략될 것이다. 또한, 다양한 실시예들은 예시로서 본원에서 언급된 컴포넌트들에 대한 현재 알려진 등가물들 및 미래에 알려질 등가물들을 포함한다.

[0043] 가상 콘텐츠 와핑 시스템들은 혼합 현실 시스템들과 독립적으로 구현될 수 있지만, 이하의 일부 실시예들은 단지 예시 목적들을 위해 AR 시스템들과 관련하여 설명된다. 또한, 본원에 설명된 가상 콘텐츠 와핑 시스템들은 또한 VR 시스템들과 동일한 방식으로 사용될 수 있다.

예시적인 혼합 현실 시나리오 및 시스템

[0044] 다음의 설명은, 와핑 시스템이 실시될 수 있는 예시적인 증강 현실 시스템에 관련된다. 그러나, 실시예들이 또한 다른 타입들의 디스플레이 시스템들(다른 타입들의 혼합 현실 시스템들을 포함함)의 애플리케이션들에 적합하고, 따라서 실시예들이 본원에 개시된 예시적인 시스템에만 제한되지 않는다는 것이 이해되어야 한다.

[0045] 혼합 현실(예컨대, VR 또는 AR) 시나리오들은 보통 실세계 객체들에 관련하여 가상 객체들에 대응하는 가상 콘텐츠(예컨대, 컬러 이미지들 및 사운드)의 프리젠테이션을 포함한다. 예컨대, 도 1을 참조하면, 증강 현실(AR) 장면(scene)(100)이 도시되며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 물리적 콘크리트 플랫폼(104)을 특징으로 하는 실세계, 물리적, 공원-형 세팅(102)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 자신들이 물리적 플랫폼(104) 상에 서 있는 가상 로봇 동상(106), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 가상 만화-형 아바타 캐릭터(108)를 "본다는 것을" 지각하지만, 이들 가상 객체들(106, 108)은 실세계에 존재하지 않는다.

[0046] AR 시나리오들과 같이, VR 시나리오들은 또한 가상 콘텐츠를 생성/렌더링하는 데 사용되는 포즈들을 감안해야 한다. 가상 콘텐츠를 AR/VR 디스플레이 기준 프레임으로 정확히 와핑하는 것 및 와핑된 가상 콘텐츠를 와핑하는 것은 AR/VR 시나리오들을 향상시키거나, 적어도 AR/VR 시나리오들을 손상시키지 않을 수 있다.

[0047] 이어지는 설명은, 본 개시내용이 실시될 수 있는 예시적인 AR 시스템에 관한 것이다. 그러나, 본 개시내용은 또한 그 자체로 다른 유형들의 증강 현실 및 가상 현실 시스템들에서의 애플리케이션에 적합하며, 이에 따라 본 개시내용은 본원에서 개시된 예시적인 시스템으로만 제한되는 것은 아니라는 것이 이해될 것이다.

[0048] 도 2a를 참조하면, 일부 실시예들에 따른 AR 시스템(200)의 일 실시예가 도시된다. AR 시스템(200)은 투사 서브시스템(208)과 함께 동작되어, 사용자(250)의 시야 내의 물리적 객체들과 혼합되는 가상 객체들의 이미지들을 제공할 수 있다. 이 접근법은 하나 이상의 적어도 부분적으로 투명한 표면들을 사용하며, 이 투명한 표면들을 통해 물리적 객체들을 포함하는 주변 환경을 볼 수 있고 AR 시스템(200)이 가상 객체들의 이미지들을 생성한다. 투사 서브시스템(208)은 링크(207)를 통해 디스플레이 시스템/서브시스템(204)에 동작 가능하게 커플링된 제어 서브시스템(201)에 하우징된다. 링크(207)는 유선 또는 무선 통신 링크일 수 있다.

[0049] AR 애플리케이션들에 대해, 사용자(250)의 시야 내의 개개의 물리적 객체들에 대해 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 가상 객체들은 이미지로서 표현될 수 있는 임의의 다양한 데이터, 정보, 개념 또는 논리 구조를 갖는 매우 다양한 형태들 중 임의의 형태를 취할 수 있다. 가상 객체들의 비-제한적인 예들은 가상 텍스트 객체, 가상 숫자 객체, 가상 영숫자 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 계측 객체, 또는 물리적 객체의 가상 시각적 표현을 포함할 수 있다.

[0050] AR 시스템(200)은 사용자(250)에 의해 착용된 프레임 구조(202), 디스플레이 시스템(204)이 사용자(250)의 눈들의 전방에 위치되도록 프레임 구조(202)에 의해 보유되는 디스플레이 시스템(204) 및 디스플레이 시스템(204)에 통합되거나 이에 연결된 스피커(206)를 포함한다. 예시된 실시예에서, 스피커(206)는, 스피커(206)(예컨대, 이어버드(earbud) 또는 헤드폰)가 사용자(250)의 외이도에 인접하게(그 안에 또는 그 주변에) 포지셔닝되도록 프레임 구조(202)에 의해 보유된다.

[0051] 디스플레이 시스템(204)은 사용자(250)의 눈들에, 2-차원 및 3-차원 콘텐츠 둘 모두를 포함하는 주변 환경에 대한 증강들로서 편안하게 지각될 수 있는 포토-기반 방사 패턴(photo-based radiation pattern)들을 제시하도록 설계된다. 디스플레이 시스템(204)은 단일 코히어런트(coherent) 장면의 지각을 제공하는 고주파수의 프레임들의 시퀀스를 제시한다. 이를 위해, 디스플레이 시스템(204)은 투사 서브시스템(208) 및 투사 서브시스템(208)이 이미지를 투사하게 하는 부분적으로 투명한 디스플레이 스크린을 포함한다. 디스플레이 스크린은 사용자(250)의 눈들과 주변 환경 사이의 사용자(250)의 시야에 포지셔닝된다.

[0052] 일부 실시예들에서, 투사 서브시스템(208)은 스캔-기반 투사 디바이스의 형태를 취하고, 디스플레이 스크린은, 투사 서브시스템(208)으로부터의 스캔된 광이 주입되어, 예컨대, 무한대보다 더 가까운 단일 광학 뷰잉 거리(예컨대, 팔의 길이)에 있는 이미지들, 다수의 이산 광학 뷰잉 거리들 또는 초점 평면들에 있는 이미지들, 및/또는 볼류메트릭 3D 객체들을 표현하도록 다수의 뷰잉 거리들 또는 초점 평면들에 스택된 이미지 층들을 생성하는 도파관-기반 디스플레이의 형태를 취한다. 광 필드에서의 이들 층들은 인간 시각 서브시스템에 연속적으로 나타나도록 함께 충분히 근접하게 스택될 수 있다(예컨대, 하나의 층은 인접한 층의 컨퓨젼(confusion)의 원뿔 내에 있음). 부가적으로 또는 대안적으로, 화상 엘리먼트들은 둘 이상의 층들이 더 희박하게 스택된 경우 조차도(예컨대, 하나의 층이 인접한 층의 컨퓨전의 원뿔 외부에 있음), 광 필드에서 층들 사이의 트랜지션의 지각된 연속성을 증가시키도록 이러한 층들에 걸쳐 블렌딩될 수 있다. 디스플레이 시스템(204)은 단안 또는 양안일 수 있다. 스캐닝 조립체는 광 빔을 생성하는(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출하는) 하나 이상의 광 소스들을 포함한다. 광 소스는 매우 다양한 형태들 중 임의의 형태, 예컨대, 픽셀 정보 또는 데이터의 각각의 프레임들에 특정된 정의된 픽셀 패턴들에 따라 적색, 녹색 및 청색 코히어런트 시준 광을 각각 생성하도록 동작 가능한 한 세트의 RGB 소스들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 형태를 취할 수 있다. 레이저 광은 높은 채도 및 높은 에너지 효율을 제공한다. 광 커플링 서브시스템은 예컨대, 광을 디스플레이 스크린의 단부에 광학적으로 커플링하기 위한 하나 이상의 반사 표면들, 회절 격자들, 미러들, 이색성 미러들 또는 프리즘들과 같은 광학 도파관 입력 장치를 포함한다. 광 커플링 서브시스템은 광섬유로부터의 광을 시준하는 시준 엘리먼트를 더 포함한다. 선택적으로, 광 커플링 서브시스템은 광을 시준 엘리먼트로부터 광학 도파관 입력 장치의 중심에 있는 초점을 향해 수렴하도록 구성되어, 광학 도파관 입력 장치의 크기가 최소화될 수 있게 하는 광학 변조 장치를 포함한다. 따라서, 디스플레이 시스템(204)은 하나 이상의 가상 객체들의 왜곡되지 않은 이미지를 사용자에게 제시하는 픽셀 정보의 일련의 합성 이미지 프레임을 생성한다. 디스플레이 시스템(204)은 또한, 하나 이상의 가상 객체들의 왜곡되지 않은 컬러 이미지를 사용자에게 제시하는 픽셀 정보의 일련의 컬러 합성 서브-이미지 프레임들을 생성한다. 디스플레이 시스템들을 설명하는 추가의 세부사항들은, "Display Subsystem and Method"라는 명칭의 미국 가특허 출원 일련 번호 제14/212,961호(대리인 도켓 번호 ML.20006.00) 및 "Planar Waveguide Apparatus With Diffraction Element(s) and Subsystem Employing Same"란 명칭의 미국 특허 출원 일련 번호 제14/331,218호(대리인 도켓 번호 ML.20020.00)에 제공되고, 이로써 상기 출원들의 전체 내용들은, 완전히 제시된 것처럼, 인용에 의해 본원에 명백히 그리고 완전히 포함된다.

[0053] AR 시스템(200)은 사용자(250)의 머리의 포지션(배향을 포함함) 및 움직임 및/또는 사용자(250)의 눈 포지션 및 미간 거리(inter-ocular distance)를 검출하기 위해 프레임 구조(202)에 장착된 하나 이상의 센서들을 더 포함한다. 이러한 센서(들)는 이미지 캡처 디바이스들, 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들, 자이로들 등을 포함할 수 있다. 예컨대, 일 실시예에서, AR 시스템(200)은 사용자(250)의 머리의 움직임을 나타내는 관성 측정치들을 캡처하기 위해 하나 이상의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 서브시스템을 포함한다. 이러한 디바이스들은 사용자(250)의 머리 움직임들에 관한 정보를 감지, 측정 또는 수집하는 데 사용될 수 있다. 예컨대, 이들 디바이스들은 사용자(250)의 머리의 움직임들, 속도들, 가속도들 및/또는 포지션들을 검출/측정하는 데 사용될 수 있다. 사용자(250)의 머리의 포지션(배향을 포함함)은 또한 사용자(250)의 "머리 포즈"로 또한 알려져 있다.

[0054] 도 2a의 AR 시스템(200)은 하나 이상의 전향 카메라들을 포함한다. 카메라들은 시스템(200)의 순방향으로부터 이미지들/비디오의 레코딩과 같은 많은 목적을 위해 사용될 수 있다. 또한, 카메라들은 사용자(250)가 위치된 환경에 관한 정보, 이를테면, 그 환경에 대한 사용자(250)의 거리, 배향 및/또는 각도 포지션(angular position)을 나타내는 정보 및 그 환경 내의 특정 객체들을 캡처하는 데 사용될 수 있다.

[0055] AR 시스템(200)은 사용자(250)의 눈들의 각도 포지션(눈 또는 눈들이 가리키는 방향), 깜박임 및 (눈 수렴을 검출함으로써) 초점 깊이를 추적하기 위해 후향 카메라들을 더 포함할 수 있다. 이러한 눈 추적 정보는 예컨대, 최종 사용자의 눈들에 광을 투사하고 그 투사된 광 중 적어도 일부의 리턴 또는 반사를 검출함으로써 인식될 수 있다.

[0057] 증강 현실 시스템(200)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템(201)을 더 포함한다. 제어 서브시스템(201)은, 다수의 제어기들, 예컨대, 하나 이상의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면, ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대, FPGA(field PGA)들 및/또는 PLC(programmable logic controller)들을 포함한다. 제어 서브시스템(201)은 DSP(digital signal processor), CPU(central processing unit)(251), GPU(graphics processing unit)(252) 및 하나 이상의 프레임 버퍼들 (254)을 포함할 수 있다. CPU(251)는 시스템의 전체 동작을 제어하는 반면에, GPU(252)는 프레임들을 렌더링(즉, 3-차원 장면을 2-차원 이미지로 변환(translate))하고 이들 프레임들을 프레임 버퍼(들)(254)에 저장한다. 예시되지 않았지만, 하나 이상의 부가적인 집적 회로들은 프레임 버퍼(들)(254)로부터의 프레임들 내로의 기록 및/또는 이로부터의 판독 및 디스플레이 시스템(204)의 동작을 제어할 수 있다. 프레임 버퍼(들)(254) 내로의 기록 그리고/또는 이로부터의 판독은, 예컨대, 프레임들이 오버-렌더링되는 경우 동적 어드레싱을 이용할 수 있다. 제어 서브시스템(201)은 ROM(read only memory) 및 RAM(random access memory)을 더 포함한다. 제어 서브시스템(201)은, GPU(252)가 프레임들을 렌더링하기 위해 하나 이상의 장면들의 3-차원 데이터뿐만 아니라 3-차원 장면들 내에 포함된 가상 사운드 소스와 연관된 합성 사운드 데이터에 액세스할 수 있는 3-차원 데이터베이스(260)를 더 포함한다.

[0058] 증강 현실 시스템(200)은 사용자 배향 검출 모듈(248)을 더 포함한다. 사용자 배향 모듈(248)은 사용자(250)의 머리의 순간 포지션을 검출하고 센서(들)로부터 수신된 포지션 데이터에 기반하여 사용자(250)의 머리의 포지션을 예측할 수 있다. 사용자 배향 모듈(248)은 또한 사용자(250)의 눈들, 및 특히 센서(들)로부터 수신된 추적 데이터에 기반하여 사용자(250)가 포커싱하는 방향 및/또는 거리를 추적한다.

[0059] 도 2b는 일부 실시예들에 따른 AR 시스템(200')을 도시한다. 도 2b에 도시된 AR 시스템 (200')은 도 2a에 도시되고 위에 설명된 AR 시스템(200)과 유사하다. 예컨대, AR 시스템(200')은 프레임 구조(202), 디스플레이 시스템(204), 스피커(206), 및 링크(207)를 통해 디스플레이 시스템(204)에 동작 가능하게 커플링된 제어 서브시스템(201')을 포함한다. 도 2b에 도시된 제어 서브시스템 (201')은 도 2a에 도시되고 위에 설명된 제어 서브시스템(201)과 유사하다. 예컨대, 제어 서브시스템(201')은 투사 서브시스템(208), 이미지/비디오 데이터베이스(271), 사용자 배향 모듈(248), CPU(251), GPU(252), 3D 데이터베이스(260), ROM 및 RAM을 포함한다.

[0060] 도 2b에 도시된 제어 서브시스템(201') 및 따라서 AR 시스템(200')과 도 2a에 도시된 대응하는 시스템/시스템 컴포넌트 사이의 차이는 도 2b에 도시된 제어 서브시스템(201')에서의 와핑 유닛(280)의 존재이다. 와핑 유닛(290)은 GPU(252) 또는 CPU(251) 중 어느 하나로부터 독립적인 별개의 와핑 블록이다. 다른 실시예들에서, 와핑 유닛(290)은 별개의 와핑 블록의 컴포넌트일 수 있다. 일부 실시예들에서, 와핑 유닛(290)은 GPU(252) 내부에 있을 수 있다. 일부 실시예들에서, 와핑 유닛(290)은 CPU(251) 내부에 있을 수 있다. 도 2c는, 와핑 유닛(280)이 포즈 추정기(282) 및 변환 유닛(284)을 포함하는 것을 도시한다.

[0061] AR 시스템들(200, 200')의 다양한 프로세싱 컴포넌트들은 분산 서브시스템에 포함될 수 있다. 예컨대, AR 시스템들(200, 200')은 이를테면, 유선 리드 또는 무선 연결(207)에 의해 디스플레이 시스템(204)의 일부에 동작 가능하게 커플링된 로컬 프로세싱 및 데이터 모듈(즉, 제어 서브시스템(201, 201'))을 포함한다. 로컬 프로세싱 및 데이터 모듈은 다양한 구성들로 장착될 수 있는데, 이를테면, 프레임 구조(202)에 고정적으로 부착되고, 헬멧 또는 모자에 고정적으로 부착되고, 헤드폰들에 매립되고, 사용자(250)의 신체에 제거 가능하게 부착되거나, 또는 벨트-커플링 스타일 구성으로 사용자(250)의 엉덩이에 제거 가능하게 부착될 수 있다. AR 시스템들(200, 200')은, 이를테면, 유선 리드 또는 무선 연결성에 의해, 로컬 프로세싱 및 데이터 모듈에 동작 가능하게 커플링되는 원격 프로세싱 모듈 및 원격 데이터 저장소를 더 포함할 수 있어서, 이들 원격 모듈들은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈에 대한 자원으로서 이용 가능하다. 로컬 프로세싱 및 데이터 모듈은 전력-효율적 프로세서 또는 제어기뿐만 아니라, 디지털 메모리 이를테면, 플래시 메모리를 포함할 수 있으며, 이들 둘 모두는 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈 및/또는 원격 데이터 저장소를 이용하여 취득 및/또는 프로세싱되는(이는 가능하다면, 이러한 프로세싱 또는 리트리브 후에 디스플레이 시스템(204)으로의 전달을 위한 것임) 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 원격 프로세싱 모듈은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 비교적 대형-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다. 위에서 설명된 다양한 컴포넌트들 사이의 커플링들은 유선 또는 광학 통신들을 제공하기 위한 하나 이상의 유선 인터페이스들 또는 포트들, 또는 이를테면, RF, 마이크로파 및 IR을 통해, 무선 통신들을 제공하기 위한 하나 이상의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서, 모든 통신들은 광섬유(들)를 제외하면, 무선일 수 있다.

문제들 및 해결책들의 요약

[0062] 광학 시스템이 컬러 가상 콘텐츠를 생성/렌더링할 때, 광학 시스템은, 가상 콘텐츠가 렌더링될 때 시스템의 포즈와 관련될 수 있는 소스 기준 프레임을 사용할 수 있다. AR 시스템들에서, 렌더링된 가상 콘텐츠는 실제 물리적 객체와 미리 정의된 관계를 가질 수 있다. 예컨대, 도 3은 실제 물리적 받침대(312)의 최상부 상에 포지셔닝된 가상 화분(310)을 포함하는 AR 시나리오(300)를 예시한다. AR 시스템은, 가상 화분(310)이 실제 받침대(312)의 최상부 상에 있는 것처럼 보이도록, 실제 받침대(312)의 위치가 알려진 소스 기준 프레임에 기반하여 가상 화분(310)을 렌더링하였다. AR 시스템은, 제1 시간에, 소스 기준 프레임을 사용하여 가상 화분(310)을 렌더링하고, 제1 이후의 제2 시간에, 렌더링된 가상 화분(310)을 출력 기준 프레임에서 디스플레이/투사할 수 있다. 소스 기준 프레임 및 출력 기준 프레임이 동일하면, 가상 화분(310)은 그것이 의도된 곳에(예컨대, 실제 물리적 받침대(312)의 최상부 상에) 나타날 것이다.

[0063] 그러나, 가상 화분(310)이 렌더링되는 제1 시간과 렌더링된 가상 화분(310)이 디스플레이/투사되는 제2 시간 사이의 갭에서 AR 시스템의 기준 프레임이 (예컨대, 빠른 사용자 머리 움직임에 따라) 변하면, 소스 기준 프레임과 출력 기준 프레임 간의 미스매치/차이는 시각적 아티팩트/이상들(anomalies)/글리치들(glitches)을 발생시킬 수 있다. 예컨대, 도 4는, 실제 물리적 받침대(412)의 최상부 상에 포지셔닝되도록 렌더링된 가상 화분(410)을 포함하는 AR 시나리오(400)를 도시한다. 그러나, 가상 화분(410)이 렌더링된 후에 그러나 가상 화분(410)이 디스플레이/투사되기 전에, AR 시스템이 우측으로 빠르게 이동되었기 때문에, 가상 화분(410)은 자신의 의도된 포지션(410')(팬텀으로 도시됨)의 우측에 디스플레이된다. 이와 같이, 가상 화분(410)은 실제 물리적 받침대(412)의 우측으로 공중에 떠있는 것처럼 보인다. 이 아티팩트는, 가상 화분이 출력 기준 프레임에서 재렌더링될 때 수정될 것이다(AR 시스템 모션이 중지되었다고 가정함). 그러나, 일부 사용자들에게 아티팩트가 여전히 보일 것인데, 가상 화분(410)이 예상치 않은 포지션으로 일시적으로 점프함으로써 글리치를 발생시키는 것처럼 보인다. 이러한 글리치들 및 이와 유사한 다른 것들은 AR 시나리오의 연속 환영(illusion of continuity)에 해로운 영향을 줄 수 있다.

[0064] 일부 광학 시스템들은, 가상 콘텐츠가 생성된 소스 기준 프레임으로부터 가상 콘텐츠가 디스플레이될 출력 기준 프레임으로 소스 가상 콘텐츠의 기준 프레임을 와핑 또는 변환하는 와핑 시스템을 포함할 수 있다. 도 4에 도시된 예에서, AR 시스템은 (예컨대, IMU들 또는 눈 추적을 사용하여) 출력 기준 프레임 및/또는 포즈를 검출 및/또는 예측할 수 있다. 이어서, AR 시스템은 소스 기준 프레임으로부터 렌더링된 가상 콘텐츠를 출력 기준 프레임의 와핑된 가상 콘텐츠로 와핑 또는 변환할 수 있다.

컬러 가상 콘텐츠 와핑 시스템들 및 방법들

[0065] 도 5는 일부 실시예들에 따른 가상 콘텐츠의 와핑을 개략적으로 예시한다. 선(510)으로 표현된 소스 기준 프레임(렌더 포즈)의 소스 가상 콘텐츠(512)는 선(510')으로 표현된 출력 기준 프레임(추정된 포즈)의 와핑된 가상 콘텐츠(512')로 와핑된다. 도 5에 도시된 와프는 우측으로의 머리 회전을 나타낼 수 있다. 소스 가상 콘텐츠(512)가 소스 X, Y 위치에 배치되지만, 와핑된 가상 콘텐츠(512')는 출력 X', Y' 위치로 변환된다.

[0066] 도 6은 일부 실시예들에 따른 가상 콘텐츠를 와핑하는 방법을 도시한다. 단계(612)에서, 와핑 유닛(280)은 가상 콘텐츠, 베이스 포즈(즉, AR 시스템(200, 200')의 현재 포즈(즉, 현재 기준 프레임)), 렌더 포즈(즉, 가상 콘텐츠를 렌더링하는 데 사용된 AR 시스템(200, 200')의 포즈(소스 기준 프레임)), 및 추정된 조명 시간(즉, 디스플레이 시스템(204)이 조명될 추정된 시간(추정된 출력 기준 프레임))을 수신한다. 일부 실시예들에서, 베이스 포즈는 렌더 포즈보다 더 새롭고/더 최근/더 최신일 수 있다. 단계(614)에서, 포즈 추정기(282)는 베이스 포즈 및 AR 시스템(200, 200')에 관한 정보를 사용하여 추정된 조명 시간에서의 포즈를 추정한다. 단계(616)에서, 변환 유닛(284)은 (추정된 조명 시간으로부터의) 추정된 포즈 및 렌더 포즈를 사용하여 수신된 가상 콘텐츠로부터 와핑된 가상 콘텐츠를 생성한다.

[0067] 가상 콘텐츠가 컬러를 포함할 때, 일부 와핑 시스템들은 단일 출력 기준 프레임(예컨대, 단일 추정된 조명 시간으로부터의 단일 추정된 포즈)의 단일 X', Y' 위치를 사용하여 컬러 이미지에 대응하고/이를 형성하는 모든 컬러 서브-이미지들 또는 필드들을 와핑한다. 그러나, 일부 AR 시스템들에서의 투사 디스플레이 시스템들과 같은 일부 투사 디스플레이 시스템들(예컨대, 순차적 투사 디스플레이 시스템들)은 모든 컬러 서브-이미지들/필드들을 동시에 투사하지는 않는다. 예컨대, 각각의 컬러 서브-이미지들/필드들의 투사 사이에 약간의 지연이 있을 수 있다. 각각의 컬러 서브-이미지들/필드들의 투사 간의 이러한 지연, 즉, 조명 시간의 차이는 빠른 머리 움직임 동안 최종 이미지에서의 컬러 프린징 아티팩트들을 초래할 수 있다.

[0068] 예컨대, 도 7a는 일부 실시예들에 따른, 일부 와핑 시스템들을 사용하여 컬러 가상 콘텐츠의 와핑을 개략적으로 예시한다. 소스 가상 콘텐츠(712)는 3 개의 컬러 섹션들: 적색 섹션(712R); 녹색 섹션(712G); 및 청색 섹션(712B)을 갖는다. 이 예에서, 각각의 컬러 섹션은 컬러 서브-이미지/필드(712R", 712G", 712B")에 대응한다. 일부 와핑 시스템들은, 3개의 모든 컬러 서브-이미지들(712R", 712G", 712B")을 와핑하기 위해, 선(710")(예컨대, 녹색 서브-이미지 및 그의 조명 시간(t1)에 대응하는 기준 프레임(710"))으로 표현된 단일 출력 기준 프레임(예컨대, 추정된 포즈)을 사용한다. 그러나, 일부 투사 시스템들은 컬러 서브-이미지들(712R", 712G", 712B")을 동시에 투사하지 않다. 대신에, 컬러 서브-이미지들(712R", 712G", 712B")은 3 개의 약간 상이한 시간들(시간(t0, t1 및 t2에서의 선들(710', 710", 710"')로 표현됨)에 투사된다. 서브-이미지들의 투사 사이의 지연의 크기는 투사 시스템의 프레임/리프레시 레이트에 의존할 수 있다. 예컨대, 투사 시스템이 60Hz 이하(예컨대, 30Hz)의 프레임 레이트를 갖는다면, 지연은 빠르게 움직이는 뷰어들 또는 객체들에 대해 컬러 프린징 아티팩트들을 발생시킬 수 있다.

[0069] 도 7b는 일부 실시예들에 따른, 도 7a에 도시된 가상 콘텐츠 와핑 시스템/방법과 유사한 가상 콘텐츠 와핑 시스템/방법에 의해 생성된 컬러 프린징 아티팩트들을 예시한다. 적색 서브-이미지(712R")가 도 7a에서 선(710")으로 표현된 출력 기준 프레임(예컨대, 추정된 포즈)을 사용하여 와핑되지만, 선(710')으로 표현된 시간(t0)에 투사되기 때문에, 적색 서브-이미지(712R")는 의도된 와프를 오버슈팅하는 것처럼 보이다. 이러한 오버슈트는 도 7b의 우측 프린지 이미지(712R")로서 나타난다. 녹색 서브-이미지(712G")가 도 7a에 선(710")으로 표현된 출력 기준 프레임(예컨대, 추정된 포즈)을 사용하여 와핑되고, 선(710")으로 표현되는 시간(t1)에 투사되기 때문에, 녹색 서브-이미지(712G")는 의도된 와프로 투사된다. 이는 도 7b에 중심 이미지(712G")로 표현된다. 청색 서브-이미지(712B")가 도 7a에서 선(710")으로 표현되는 출력 기준 프레임(예컨대, 추정된 포즈)을 사용하여 와핑되지만, 선(710"')으로 표현되는 시간(t2)에 투사되기 때문에, 청색 서브-이미지(712B")는 의도된 와프를 언더슈트하는 것처럼 보인다. 이러한 언더슈트는 도 7b에서 좌측 프린지 이미지(712B")로서 나타난다. 도 7b는 사용자의 생각 속에 3개의 중첩하는 R, G, B 컬러 필드들을 갖는 신체(즉, 컬러로 렌더링된 신체)를 포함하는 와핑된 가상 콘텐츠의 재구성을 예시한다. 도 7b는 적색 우측 프린지 이미지 CBU(color break up) 아티팩트(712R"), 중심 이미지(712G") 및 청색 좌측 프린지 이미지 CBU 아티팩트(712B")를 포함한다.

[0070] 도 7b는 예시적인 목적들로 오버슈트 및 언더슈트 효과들을 과장한다. 이러한 효과들의 크기는 투사 시스템의 프레임/필드 레이트 및 가상 콘텐츠의 상대적 속도들 및 출력 기준 프레임(예컨대, 추정된 포즈)에 의존한다. 이러한 오버슈트 및 언더슈트 효과들이 더 작을 때, 그들은 컬러/무지개 프린지들로 나타날 수 있다. 예컨대, 충분히 느린 프레임 레이트들에서, 야구공과 같은 백색 가상 객체는 컬러(예컨대, 적색, 녹색 및/또는 청색) 프린지들을 가질 수 있다. 프린지를 갖는 것 대신에, 서브-이미지(예컨대, 적색, 녹색 및/또는 청색)와 매칭하는 선택된 솔리드 컬러들을 갖는 가상 객체들은 글리치를 발생시킬 수 있다(즉, 빠른 움직임 동안 예상치 않은 포지션으로 점프하고, 빠른 움직임 후에 예상된 포지션으로 다시 점프하는 것처럼 보임). 이러한 솔리드 컬러 가상 객체들은 또한 빠른 움직임 동안 진동하는 것처럼 보일 수 있다.

[0071] 이들 제한들 및 다른 것들을 해결하기 위해, 본원에 설명된 시스템들은 컬러 서브-이미지들/필드들의 수에 대응하는 다수의 기준 프레임들을 사용하여 컬러 가상 콘텐츠를 와핑한다. 예컨대, 도 8은 일부 실시예들에 따른, 컬러 가상 콘텐츠를 와핑하는 방법을 도시한다. 단계(812)에서, 와핑 유닛(280)은 가상 콘텐츠, 베이스 포즈(즉, AR 시스템(200, 200')의 현재 포즈(즉, 현재 기준 프레임)), 렌더 포즈(즉, 가상 콘텐츠를 렌더링하는 데 사용된 AR 시스템(200, 200')의 포즈(소스 기준 프레임)), 및 디스플레이 시스템(204)에 관련된 서브-이미지/컬러 필드(R, G, B)마다의 추정된 조명 시간들(즉, 각각의 서브-이미지에 대해 디스플레이 시스템(204)이 조명될 추정된 시간(각각의 서브-이미지의 추정된 출력 기준 프레임))을 수신한다. 단계(814)에서, 와핑 유닛(280)은 가상 콘텐츠를 각각의 서브-이미지/컬러 필드(R, G, B)로 분할한다.

[0072] 단계들(816R, 816G, 및 816B)에서, 포즈 추정기(282)는 베이스 포즈(예컨대, 현재 기준 프레임) 및 AR 시스템(200, 200')에 관한 정보를 사용하여 R, G, B 서브-이미지들/필드들에 대한 개개의 추정된 조명 시간들에서의 포즈를 추정한다. 단계들(818R, 818G 및 818B)에서, 변환 유닛(284)은, 개개의 추정된 R, G 및 B 포즈들 및 렌더 포즈(예컨대, 소스 기준 프레임)를 사용하여, 수신된 가상 콘텐츠 서브-이미지/컬러 필드(R, G, B)로부터 R, G 및 B 와핑된 가상 콘텐츠를 생성한다. 단계(820)에서, 변환 유닛(284)은, 순차적 디스플레이를 위해, 와핑된 R, G, B 서브-이미지들/필드들을 결합한다.

[0073] 도 9a는 일부 실시예들에 따른, 와핑 시스템들을 사용하는 컬러 가상 콘텐츠의 와핑을 개략적으로 예시한다. 소스 가상 콘텐츠(912)는 도 7a의 소스 가상 콘텐츠(712)와 동일하다. 소스 가상 콘텐츠(912)는 3 개의 컬러 섹션들: 적색 섹션(912R); 녹색 섹션(912G); 및 청색 섹션(912B)을 갖는다. 각각의 컬러 섹션은 컬러 서브-이미지/필드(912R', 912G", 912B"')에 대응한다. 본원의 실시예들에 따른 와핑 시스템들은, 각각의 대응하는 컬러 서브-이미지/필드(912R', 912G", 912B"')를 와핑하기 위해, 선들(910', 910", 910"')로 표현되는 개개의 출력 기준 프레임들(예컨대, 추정된 포즈들)을 사용한다. 이러한 와핑 시스템들은, 컬러 가상 콘텐츠를 와핑할 때, 컬러 서브-이미지들(912R', 912G", 912B"')의 투사 타이밍(즉, t0, t1, t2)을 고려한다. 투사 타이밍은, 투사 타이밍을 계산하는 데 사용되는, 투사 시스템들의 프레임/필드 레이트에 의존한다.

[0074] 도 9b는 도 9a에 도시된 가상 콘텐츠 와핑 시스템/방법과 유사한 가상 콘텐츠 와핑 시스템/방법에 의해 생성된 와핑된 컬러 서브-이미지들(912R', 912G", 912B"')을 예시한다. 적색, 녹색 및 청색 서브-이미지들(912R', 912G", 912B"')이 선들(910', 910", 910")로 표현되는 개개의 출력 기준 프레임들(예컨대, 추정된 포즈들)을 사용하여 와핑되고, 동일한 선들(910', 910", 910"')로 표현되는 시간들(t0, t1, t2)에 투사되기 때문에, 서브-이미지들(912R', 912G", 912B"')은 의도된 와프로 투사된다. 도 9b는 사용자의 생각 속에 3 개의 중첩하는 R, G, B 컬러 필드들을 갖는 신체(즉, 컬러로 렌더링된 신체)를 포함하는, 일부 실시예들에 따른 와핑된 가상 콘텐츠의 재구성을 예시한다. 도 9b는, 3 개의 서브-이미지들/필드들(912R', 912G", 912B"')이 적절한 시간들에 의도된 와프로 투사되기 때문에, 신체를 컬러로 실질적으로 정확하게 렌더링하는 것이다.

[0075] 본원의 실시예들에 따른 와핑 시스템들은, 단일 기준 프레임을 사용하는 것 대신에, 투사 타이밍/조명 시간을 고려하는 대응하는 기준 프레임들(예컨대, 추정된 포즈들)을 사용하여 서브-이미지들/필드들(912R', 912G", 912B"')을 와핑한다. 결과적으로, 본원의 실시예들에 따른 와핑 시스템들은, CBU와 같은 와프 관련 컬러 아티팩트들을 최소화하면서, 컬러 가상 콘텐츠를 상이한 컬러들/필드들의 개별 서브-이미지들로 와핑한다. 컬러 가상 콘텐츠의 더 정확한 와핑은 더 현실적이고 그럴듯한 AR 시나리오들에 기여한다.

예시적인 그래픽 프로세싱 유닛

[0076] 도 10은 일 실시예에 따른, 컬러 가상 콘텐츠를 다양한 컬러 서브-이미지들 또는 필드들에 대응하는 출력 기준 프레임들로 와핑하기 위한 예시적인 GPU(graphics processing unit)(252)를 개략적으로 도시한다. GPU(252)는 와핑될 생성된 컬러 가상 콘텐츠를 저장하기 위한 입력 메모리(1010)를 포함한다. 일 실시예에서, 컬러 가상 콘텐츠는 프리미티브(예컨대, 도 11의 삼각형(1100))로서 저장된다. GPU(252)는 또한, (1) 입력 메모리(1010)로부터 컬러 가상 콘텐츠를 수신/판독하고, (2) 컬러 가상 콘텐츠를 컬러 서브-이미지들로 분할하고, 이러한 컬러 서브-이미지들을 스케줄링 유닛들로 분할하고, (3) 병렬 프로세싱을 위해 스케줄링 유닛들을 렌더링 파이프라인을 따라 웨이브들 또는 와프들로 전송하는 커맨드 프로세서(1012)를 포함한다. GPU(252)는 커맨드 프로세서(1012)로부터 스케줄링 유닛들을 수신하기 위한 스케줄러(1014)를 더 포함한다. 스케줄러(1014)는 또한, 커맨드 프로세서(1012)로부터의 "새로운 작업" 또는 렌더링 파이프라인(후술됨)에서 다운스트림으로부터 복귀하는 "오래된 작업"이 임의의 특정 시간에 렌더링 파이프라인 아래로 전송되어야 하는지 여부를 결정한다. 사실상, 스케줄러(1014)는, GPU(252)가 다양한 입력 데이터를 프로세싱하는 시퀀스를 결정한다.

[0077] GPU(252)는, 스케줄링 유닛들을 병렬로 프로세싱하기 위한 다수의 병렬 실행 가능한 코어들/유닛들("셰이더(shader) 코어들")(1018)을 갖는 GPU 코어(1016)를 포함한다. 커맨드 프로세서(1012)는 컬러 가상 콘텐츠를 셰이더 코어들(1018)의 수(예컨대, 32)와 동일한 수로 분할한다. GPU(252)는 또한 GPU 코어(1016)로부터 출력을 수신하기 위한 "FIFO(First In First Out)" 메모리(1020)를 포함한다. FIFO 메모리(1020)로부터, 출력은, GPU 코어(1016)에 의한 렌더링 파이프라인 추가적인 프로세싱으로의 삽입을 위해, "오래된 작업"으로서 스케줄러(1014)에 다시 라우팅될 수 있다.

[0078] GPU(252)는, FIFO 메모리(1020)로부터 출력을 수신하고 디스플레이를 위한 출력을 래스터화(rasterize)하는 ROP(Raster Operations Unit)(1022)를 더 포함한다. 예컨대, 컬러 가상 콘텐츠의 프리미티브들은 삼각형들의 꼭짓점들의 좌표들로서 저장될 수 있다. GPU 코어(1016)에 의한 프로세싱(그 프로세싱 동안 삼각형(1100)의 3개의 꼭짓점들(1110, 1112, 1114)이 와핑될 수 있음) 후에, ROP(1022)는 어느 픽셀들(1116)이 3개의 꼭짓점들(1110, 1112, 1114)에 의해 규정된 삼각형(1100) 내부에 있는지를 결정하고, 컬러 가상 콘텐츠의 그러한 픽셀들(1116)을 채운다. ROP(1022)는 또한 컬러 가상 콘텐츠에 대해 깊이 테스팅을 수행할 수 있다. 컬러 가상 콘텐츠의 프로세싱을 위해, GPU(252)는 상이한 원색들의 서브-이미지들의 병렬 프로세싱을 위한 복수의 ROP들(1022R, 1022B, 1022G)을 포함할 수 있다.

[0079] GPU(252)는 또한 ROP(1022)로부터의 와핑된 컬러 가상 콘텐츠를 일시적으로 저장하는 버퍼 메모리(1024)를 포함한다. 버퍼 메모리(1024)의 와핑된 컬러 가상 콘텐츠는 출력 기준 프레임의 시야 내의 복수의 X, Y 포지션들에서의 밝기/컬러 및 깊이 정보를 포함할 수 있다. 버퍼 메모리(1024)로부터의 출력은, GPU 코어(1016)에 의한 렌더링 파이프라인 추가적인 프로세싱으로의 삽입을 위해 또는 디스플레이 시스템의 대응하는 픽셀들에서의 디스플레이를 위해, "오래된 작업"으로서 스케줄러(1014)로 다시 라우팅될 수 있다. 입력 메모리(1010)의 컬러 가상 콘텐츠의 각각의 프래그먼트는 GPU 코어(1016)에 의해 적어도 2번 프로세싱된다. GPU 코어들(1016)은 먼저 삼각형들(1100)의 꼭짓점들(1110, 1112, 1114)을 프로세싱하고, 이어서 GPU 코어들(1016)는 삼각형들(1100) 내부의 픽셀들(1116)을 프로세싱한다. 입력 메모리(1010) 내의 컬러 가상 콘텐츠의 모든 프래그먼트들이 와핑되고 깊이 테스팅(필요한 경우)되었을 때, 버퍼 메모리(1024)는 출력 기준 프레임에 시야를 디스플레이하는 데 필요한 밝기/컬러 및 깊이 정보 모두를 포함할 것이다.

컬러 가상 콘텐츠 와핑 시스템들 및 방법들

[0080] 머리 포즈 변화들이 없는 표준 이미지 프로세싱에서, GPU(252)에 의한 프로세싱의 결과들은 개개의 X, Y 값들(예컨대, 각각의 픽셀)에서 컬러/밝기 값들 및 깊이 값들이다. 그러나, 머리 포즈 변화들이 있는 경우, 가상 콘텐츠는 머리 포즈 변화들에 따르도록 와핑된다. 컬러 가상 콘텐츠의 경우, 각각의 컬러 서브-이미지는 개별적으로 와핑된다. 컬러 가상 콘텐츠를 와핑하기 위한 기존의 방법들에서, 컬러 이미지에 대응하는 컬러 서브-이미지들은 단일 출력 기준 프레임(예컨대, 녹색 서브-이미지에 대응함)을 사용하여 와핑된다. 위에 설명된 바와 같이, 이것은 컬러 프린징 및 다른 시각적 아티팩트들, 이를테면, CBU를 초래할 수 있다.

[0081] 도 12는, CBU와 같은 시각적 아티팩트들을 최소화하면서, 컬러 가상 콘텐츠를 와핑하기 위한 방법(1200)을 도시한다. 단계(1202)에서, 와핑 시스템(예컨대, GPU 코어(1016) 및/또는 그의 와핑 유닛(280))은 R, G 및 B 서브-이미지들에 대한 투사/조명 시간들을 결정한다. 이러한 결정은 관련된 투사 시스템의 프레임 레이트 및 다른 특징들을을 사용한다. 도 9a의 예에서, 투사 시간들은 t0, t1 및 t2 및 선들(910', 910", 910"')에 대응한다.

[0082] 단계(1204)에서, 와핑 시스템(예컨대, GPU 코어(1016) 및/또는 그의 포즈 추정기(282))은 R, G 및 B 서브-이미지들에 대한 투사 시간들에 대응하는 포즈들/기준 프레임들을 예측한다. 이러한 예측은 현재 포즈, 시스템 IMU 속도 및 시스템 IMU 가속도를 포함하는 다양한 시스템 입력을 사용한다. 도 9a의 예에서, R, G, B 포즈들/기준 프레임들은 선들(t0, t1 및 t2 및 910', 910", 910"')에 대응한다.

[0083] 단계(1206)에서, 와핑 시스템(예컨대, GPU 코어(1016), ROP(1022) 및/또는 그의 변환 유닛(284))은 단계(1204)에서 예측된 R 포즈/기준 프레임을 사용하여 R 서브-이미지를 와핑한다. 단계(1208)에서, 와핑 시스템(예컨대, GPU 코어(1016), ROP(1022) 및/또는 그의 변환 유닛(284))은 단계(1204)에서 예측된 G 포즈/기준 프레임을 사용하여 G 서브-이미지를 와핑한다. 단계(1210)에서, 와핑 시스템(예컨대, GPU 코어(1016), ROP(1022) 및/또는 그의 변환 유닛(284))은 단계(1204)에서 예측된 B 포즈/기준 프레임을 사용하여 B 서브-이미지를 와핑한다. 개개의 포즈들/기준 프레임들을 사용하여 개별 서브-이미지들/필드들을 와핑하는 것은 컬러 가상 콘텐츠를 와핑하기 위한 기존의 방법들로부터 이들 실시예들을 구별한다.

[0084] 단계(1212)에서, 와핑 시스템에 동작 가능하게 커플링된 투사 시스템은 단계(1202)에서 결정된 R, G 및 B 서브-이미지들에 대한 투사 시간들에 R, G, B 서브-이미지들을 투사한다.

[0085] 위에 설명된 바와 같이, 도 10에 도시된 방법(1000)은 또한, 임의의 GPU(252) 또는 CPU(251) 중 어느 하나와 독립적인 별개의 와핑 유닛(290) 상에서 실행될 수 있다. 또 다른 실시예에서, 도 10에 도시된 방법(1000)은 CPU(251) 상에서 실행될 수 있다. 또 다른 실시예들에서, 도 10에 도시된 방법(1000)은 GPU(252), CPU(251) 및 개별 와핑 유닛(290)의 다양한 조합들/서브-조합들 상에서 실행될 수 있다. 도 10에 도시된 방법(1000)은 특정 시간에서의 시스템 자원 이용가능성에 따라 다양한 실행 모델들을 사용하여 실행될 수 있는 이미지 프로세싱 파이프라인이다.

[0086] 각각의 컬러 서브-이미지/필드에 대응하는 예측된 포즈들/기준 프레임들을 사용하여 컬러 가상 콘텐츠를 와핑하는 것은 컬러 프린지 및 다른 시각적 이상들이 감소시킨다. 이러한 이상들을 감소시키는 것은 더 현실적이고 몰입형 혼합 현실 시나리오를 발생시킨다.

시스템 아키텍처 개요

[0087] 도 13은 일부 실시예들에 따른 예시적인 컴퓨팅 시스템(1300)의 블록도이다. 컴퓨터 시스템(1300)은 버스(1306) 또는 정보를 통신하기 위한 다른 통신 메커니즘을 포함하며, 이는 서브시스템들 및 디바이스들, 이를테면, 프로세서(1307), 시스템 메모리(1308)(예컨대, RAM), 정적 저장 디바이스(1309)(예컨대, ROM), 디스크 드라이브(1310)(예컨대, 자기 또는 광학), 통신 인터페이스(1314)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(1311)(예컨대, CRT 또는 LCD), 입력 디바이스(1312)(예컨대, 키보드), 및 커서 제어를 상호연결한다.

[0088] 일부 실시예들에 따라, 컴퓨터 시스템(1300)은, 프로세서(1307)가 시스템 메모리(1308)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행함으로써 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(1309) 또는 디스크 드라이브(1310)와 같은 다른 컴퓨터 판독 가능/사용 가능 매체로부터 시스템 메모리(1308)로 판독될 수 있다. 대안적인 실시예들에서, 소프트웨어 명령들을 대신하여 또는 그와 조합하여, 하드-와이어드(hard-wired) 회로가 본 개시내용을 구현하는 데 사용될 수 있다. 따라서, 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합으로 제한되지 않는다. 일 실시예에서, "로직"이란 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는, 소프트웨어 또는 하드웨어의 임의의 조합을 의미한다.

[0089] 본원에서 사용되는 바와 같은 "컴퓨터 판독 가능 매체" 또는 "컴퓨터 사용 가능 매체"라는 용어는 실행을 위해 프로세서(1307)에 명령들을 제공하는 데 관여하는 임의의 매체를 지칭한다. 그러한 매체는, 비-휘발성 매체들 및 휘발성 매체들을 포함(그러나 이에 제한되지 않음)하는 다수의 형태들을 취할 수 있다. 비-휘발성 매체들은, 예컨대, 광학 또는 자기 디스크들, 이를테면, 디스크 드라이브(1310)를 포함한다. 휘발성 매체들은 동적 메모리, 이를테면, 시스템 메모리(1308)를 포함한다.

[0090] 일반적인 형태들의 컴퓨터 판독 가능 매체들은, 예컨대, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM(예컨대, NAND 플래시, NOR 플래시), 임의의 다른 메모리 칩 또는 카트리지 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.

[0091] 일부 실시예들에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨터 시스템(1300)에 의해 수행된다. 일부 실시예들에 따라, 통신 링크(1315)(예컨대, LAN, PTSN, 또는 무선 네트워크)에 의해 커플링되는 둘 이상의 컴퓨터 시스템들(1300)은 서로 협력하여 본 개시내용을 실시하는데 필요한 명령들의 시퀀스를 수행할 수 있다.

[0092] 컴퓨터 시스템(1300)은 통신 링크(1315) 및 통신 인터페이스(1314)를 통해 프로그램, 즉, 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는, 그것이 수신될 때 프로세서(1307)에 의해 실행될 수 있고 그리고/또는 추후 실행을 위해 디스크 드라이브(1310) 또는 다른 비-휘발성 저장소에 저장될 수 있다. 저장 매체(1331) 내의 데이터베이스(1332)는 데이터 인터페이스(1333)를 통해 시스템(1300)에 의해 액세스 가능한 데이터를 저장하는 데 사용될 수 있다.

대안적인 와프 / 렌더 파이프라인

[0093] 도 14는 일부 실시예들에 따른, 다중-필드(컬러) 가상 콘텐츠에 대한 와프/렌더 파이프라인(1400)을 도시한다. 파이프라인(1400)은 2개의 양상들: (1) 다중-스테이지/디커플링된 와핑 및 (2) 애플리케이션 프레임들과 조명 프레임들 사이의 케이던스 변동을 구현한다.

(1) 다중- 스테이지 / 디커플링된 와핑

[0094] 파이프라인(1400)은 하나 이상의 와핑 스테이지들을 포함한다. 1412에서, 애플리케이션 CPU("클라이언트")는 가상 콘텐츠를 생성하고, 이는 애플리케이션 GPU(252)에 의해 하나 이상의(예컨대, R, G, B) 프레임들 및 포즈들(1414)로 프로세싱된다. 1416에서, 와프/컴포지터(compositor) CPU 및 그의 GPU(252)는 각각의 프레임에 대한 제1 추정된 포즈를 사용하여 제1 와프를 수행한다. 파이프라인(1400)에서 나중에(즉, 조명에 더 가까움), 와프 유닛(1420)은 각각의 프레임에 대한 제2 추정된 포즈를 사용하여 각각의 프레임(1422R, 1422G, 1422B)에 대한 제2 와프를 수행한다. 제2 추정된 포즈들이 조명에 더 가까운 것으로 결정되기 때문에, 제2 추정된 포즈들은 개개의 제1 추정된 포즈들보다 더 정확할 수 있다. 2번 와핑된 프레임들(1422R, 1422G, 1422B)은 t0, t1 및 t2에 디스플레이된다.

[0095] 제1 와프는 나중의 와핑을 위해 가상 콘텐츠의 프레임들을 정렬하는 데 사용될 수 있는 최선의 추측들일 수 있다. 이것은 계산 집약적 와프일 수 있다. 제2 와프는 개개의 1번 와핑된 프레임들의 순차적 정정 와프일 수 있다. 제2 와프는 포즈들의 제2 추정과 디스플레이/조명 사이의 시간을 감소시키기 위한 덜 계산 집약적 와프일 수 있고, 이로써 정확도를 증가시킨다.

(2) 케이던스 변형

[0096] 일부 실시예들에서, 클라이언트 또는 애플리케이션 및 디스플레이 또는 조명의 케이던스들(즉, 프레임 레이트)는 매칭하지 않을 수 있다. 일부 실시예들에서, 조명 프레임 레이트는 애플리케이션 프레임 레이트의 2배일 수 있다. 예컨대, 조명 프레임 레이트는 60Hz일 수 있고, 애플리케이션 프레임 레이트는 30Hz일 수 있다.

[0097] 이러한 케이던스 미스매치에 의한 와핑 문제들을 해결하기 위해, 파이프라인(1400)은 애플리케이션 CPU(1412) 및 GPU(252)로부터의 프레임(1414)마다 2번 와핑된 프레임들(1422R, 1422G, 1422B(t0-t2에서의 투사를 위한 것임) 및 1424R, 1424G, 1424B(t3-t5에서의 투사를 위한 것임))의 2개의 세트들을 생성한다. 동일한 프레임(1414) 및 제1 와핑된 프레임(1418)을 사용하여, 와프 유닛(1420)은 2번 와핑된 프레임들(1422R, 1422G, 1422B 및 1424R, 1424G, 1424B)의 제1 및 제2 세트들을 순차적으로 생성한다. 이것은 애플리케이션 프레임(1414)마다 2 배수의 와핑된 프레임들(1422, 1424)을 제공한다. 제2 와프는 프로세서/전력 요구 및 열 발생을 추가로 감소시키기 위한 덜 계산 집약적 와프일 수 있다.

[0098] 파이프라인(1400)이 2:1의 조명/애플리케이션 비율을 도시하지만, 그 비율은 다른 실시예들에서 변할 수 있다. 예컨대, 조명/애플리케이션 비율은 3:1, 4:1, 2.5:1 등일 수 있다. 분수 비율들(fractional ratios)을 갖는 실시예들에서, 가장 최근에 생성된 애플리케이션 프레임(1414)이 파이프라인에 사용될 수 있다.

대안적인 컬러 분해 최소화 방법

[0099] 도 15는 일부 실시예들에 따른, 순차적 디스플레이를 위한 다중-필드(컬러) 가상 콘텐츠를 와핑하는데 있어서 CBU(color break up) 아티팩트를 최소화하는 방법(1500)을 도시한다. 단계(1512)에서, CPU는 (예컨대, 눈 추적 카메라들 또는 IMU들로부터) 눈 및/또는 머리 추적 정보를 수신한다. 단계(1514)에서, CPU는 (예컨대, 디스플레이 시스템의 특징들에 기반하여) CBU 아티팩트를 예측하기 위해 눈 및/또는 머리 추적 정보를 분석한다. 단계(1516)에서, CBU가 예측되면, 방법(1500)은, CPU가 컬러 필드 레이트들을 (예컨대, 180Hz에서 360Hz로) 증가시키는 단계(1518)로 진행한다. 단계(1516)에서, CBU가 예측되지 않으면, 방법(1500)은, 이미지(예컨대, 분할 및 와핑된 필드 정보)가 시스템 디폴트 컬러 필드 레이트 및 비트 깊이(예컨대, 180Hz 및 8 비트)를 사용하여 디스플레이되는 단계(1526)로 진행한다.

[00100] 단계(1518)에서 컬러 필드 레이트를 증가시킨 후, 시스템은, 단계(1520)에서, CBU 아티팩트를 예측하기 위해 눈 및/또는 머리 추적 정보를 재분석한다. 단계(1522)에서, CBU가 예측되면, 방법(1500)은, CPU가 비트 깊이를 (예컨대, 8 비트에서 4 비트로) 감소시키는 단계(1524)로 진행한다. 비트 깊이를 감소시킨 후에, 증가된 컬러 필드 레이트 및 감소된 비트 깊이(예컨대, 360Hz 및 4 비트)를 사용하여 이미지(예컨대, 분할 및 와핑된 필드 정보)가 디스플레이된다.

[00101] 단계(1522)에서, CBU가 예측되지 않으면, 방법(1500)은, 증가된 컬러 필드 레이트 및 시스템 디폴트 비트 깊이(예컨대, 180Hz 및 8 비트)를 사용하여 이미지(예컨대, 분할 및 와핑된 필드 정보)가 디스플레이되는 단계(1526)로 진행한다.

[00102] 조정된 또는 시스템 디폴트 컬러 필드 레이트 및 비트 깊이를 사용하여 이미지(예컨대, 분할 및 와핑된 필드 정보)가 디스플레이된 후, CPU는, 방법(1500)을 반복하기 위해 단계(1512)로 복귀하기 전에, 단계(1528)에서 컬러 필드 레이트 및 비트 깊이를 시스템 디폴트 값들로 재설정한다.

[00103] 예측된 CBU에 대한 응답으로, 컬러 필드 레이트 및 비트 깊이를 조정함으로써, 도 15에 도시된 방법(1500)은 CBU 아티팩트들을 최소화하는 방법을 예시한다. 방법(1500)은, CBU 아티팩트들을 추가로 감소시키기 위해 본원에 설명된 다른 방법들(예컨대, 방법(800))과 결합될 수 있다. 도 15에 도시된 방법(1500)의 대부분의 단계들이 CPU에 의해 수행되지만, 이들 단계들 중 일부 또는 전부는 대신에 GPU 또는 전용 컴포넌트에 의해 수행될 수 있다.

[00104] 본 개시내용은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업 또는 달리 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들뿐만 아니라 인용된 순서의 이벤트들로 수행될 수 있다.

[00105] 본 개시내용의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 제시되었다. 본 개시내용의 다른 세부사항들에 대해, 이들은, 위에서-참조된 특허들 및 공개공보들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 이들은 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 개시내용의 방법-기반 양상들에 적용될 수 있다.

[00106] 부가적으로, 본 개시내용이 다양한 피처들을 선택적으로 포함하는 여러개의 예들을 참조하여 설명되었지만, 본 개시내용은, 본 개시내용의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 본 개시내용에 대해 행해질 수 있으며, (본원에서 인용되었는지 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 개시내용 내에 포함되는 것으로 해석된다.

[00107] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 이상에 독립적으로 또는 그에 결합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것이 추가로 유의된다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "부정적" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.

[00108] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지, 또는 특징의 부가가 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.

[00109] 본 개시내용의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.

[00110] 위의 명세서에서, 본 개시내용은 본 개시내용의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 개시내용의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 발명에 행해질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 개시내용의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims

순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑(warping)하기 위한, 컴퓨터로 구현되는 방법으로서,
상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 획득하는 단계;
수신된 눈 또는 머리 추적 정보에 기초하여 CBU(color break up) 아티팩트를 예측하는 단계;
상기 CBU 아티팩트에 대한 예측에 기초하여 컬러 필드 레이트를 조정하는 단계;
제1 중간 머리 포즈를 예측하는 단계;
제2 중간 머리 포즈를 예측하는 단계;
상기 제1 중간 머리 포즈에 기반하여 상기 제1 컬러 필드를 와핑함으로써 중간 와핑된 제1 컬러 필드를 생성하는 단계;
상기 제2 중간 머리 포즈에 기반하여 상기 제2 컬러 필드를 와핑함으로써 중간 와핑된 제2 컬러 필드를 생성하는 단계;
상기 조정된 컬러 필드 레이트에 적어도 부분적으로 기초하여, 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계;
상기 조정된 컬러 필드 레이트에 적어도 부분적으로 기초하여, 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계;
상기 제1 시간에 대응하는 제1 머리 포즈를 예측하는 단계;
상기 제2 시간에 대응하는 제2 머리 포즈를 예측하는 단계;
상기 제1 머리 포즈에 기반하여 상기 중간 와핑된 제1 컬러 필드를 와핑함으로써 상기 와핑된 제1 컬러 필드를 생성하는 단계; 및
상기 제2 머리 포즈에 기반하여 상기 중간 와핑된 제2 컬러 필드를 와핑함으로써 상기 와핑된 제2 컬러 필드를 생성하는 단계를 포함하고,
상기 와핑된 제1 컬러 필드를 생성하는 단계는 상기 중간 와핑된 제1 컬러 필드를 생성하는 단계보다 덜 계산 집약적(calculation intensive)이고,
상기 와핑된 제2 컬러 필드를 생성하는 단계는 상기 중간 와핑된 제2 컬러 필드를 생성하는 단계보다 덜 계산 집약적인,
방법.
제1항에 있어서,
상기 제1 컬러 필드는 X, Y 위치에서의 제1 컬러 필드 정보를 포함하는,
방법.
제2항에 있어서,
상기 제1 컬러 필드 정보는 상기 제1 컬러의 제1 밝기를 포함하는,
방법.
제3항에 있어서,
상기 제2 컬러 필드는 상기 X, Y 위치에서의 제2 컬러 필드 정보를 포함하는,
방법.
제4항에 있어서,
상기 제2 컬러 필드 정보는 상기 제2 컬러의 제2 밝기를 포함하는,
방법.
제1항에 있어서,
상기 와핑된 제1 컬러 필드는 제1 와핑된 X, Y 위치에서의 와핑된 제1 컬러 필드 정보를 포함하는,
방법.
제6항에 있어서,
상기 와핑된 제2 컬러 필드는 제2 와핑된 X, Y 위치에서의 와핑된 제2 컬러 필드 정보를 포함하는,
방법.
제1항에 있어서,
상기 제1 머리 포즈에 기반하여 상기 제1 컬러 필드를 와핑하는 것은, 상기 와핑된 제1 컬러 필드를 생성하기 위한 제1 변환을 상기 제1 컬러 필드에 적용하는 것을 포함하는,
방법.
제1항에 있어서,
상기 제2 머리 포즈에 기반하여 상기 제2 컬러 필드를 와핑하는 것은, 상기 와핑된 제2 컬러 필드를 생성하기 위한 제2 변환을 상기 제2 컬러 필드에 적용하는 것을 포함하는,
방법.
제1항에 있어서,
상기 와핑된 제1 컬러 필드 및 상기 와핑된 제2 컬러 필드를 순차적 투사기(sequential projector)에 전송하는 단계, 및
상기 순차적 투사기가 상기 와핑된 제1 컬러 필드 및 상기 와핑된 제2 컬러 필드를 순차적으로 투사하는 단계를 더 포함하는,
방법.
제10항에 있어서,
상기 와핑된 제1 컬러 필드는 상기 제1 시간에 투사되고, 상기 와핑된 제2 컬러 필드는 상기 제2 시간에 투사되는,
방법.
제1항에 있어서,
상기 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계는 관련된 투사 시스템의 프레임 레이트를 분석하는 단계를 포함하는,
방법.
제1항에 있어서,
상기 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계는 관련된 투사 시스템의 프레임 레이트를 분석하는 단계를 포함하는,
방법.
순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 시스템으로서,
순차적 투사를 위해 상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 수신하기 위한 와핑 유닛을 포함하고, 상기 와핑 유닛은 포즈 추정기 및 변환 유닛을 포함하고,
상기 포즈 추정기는,
수신된 눈 또는 머리 추적 정보에 기초하여 CBU(color break up) 아티팩트를 예측하고,
상기 CBU 아티팩트에 대한 예측에 기초하여 컬러 필드 레이트를 조정하고,
상기 조정된 컬러 필드 레이트에 적어도 부분적으로 기초하여, 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드 각각의 투사를 위한 제1 시간 및 제2 시간을 결정하고,
제1 중간 머리 포즈 및 제2 중간 머리 포즈를 예측하고, 그리고
상기 제1 시간 및 제2 시간 각각에서의 제1 머리 포즈 및 제2 머리 포즈를 예측하고,
상기 변환 유닛은,
상기 제1 중간 머리 포즈 및 제2 중간 머리 포즈에 각각 기반하여 상기 제1 컬러 필드 및 제2 컬러 필드를 각각 와핑함으로써, 중간 와핑된 제1 컬러 필드 및 중간 와핑된 제2 컬러 필드를 생성하고, 그리고
상기 제1 머리 포즈 및 상기 제2 머리 포즈에 각각 기반하여 상기 중간 와핑된 제1 컬러 필드 및 상기 중간 와핑된 제2 컬러 필드를 각각 와핑함으로써 와핑된 제1 컬러 필드 및 와핑된 제2 컬러 필드를 생성하고,
상기 와핑된 제1 컬러 필드 및 상기 와핑된 제2 컬러 필드를 생성하는 것은 상기 중간 와핑된 제1 컬러 필드 및 상기 중간 와핑된 제2 컬러 필드를 생성하는 것보다 덜 계산 집약적인,
시스템.
제14항에 있어서,
상기 와핑된 제1 컬러 필드 및 상기 와핑된 제2 필드의 각각의 투사를 위한 제1 시간 및 제2 시간을 결정하는 것은 관련된 투사 시스템의 프레임 레이트를 분석하는 것을 포함하는,
시스템.
비-일시적인 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체는 명령들의 시퀀스를 저장하고, 상기 명령들의 시퀀스는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 순차적 투사를 위해 다중-필드 컬러 가상 콘텐츠를 와핑하기 위한 방법을 실행하게 하고,
상기 방법은:
상이한 제1 컬러 및 제2 컬러를 갖는 제1 컬러 필드 및 제2 컬러 필드를 획득하는 단계;
수신된 눈 또는 머리 추적 정보에 기초하여 CBU(color break up) 아티팩트를 예측하는 단계;
상기 CBU 아티팩트에 대한 예측에 기초하여 컬러 필드 레이트를 조정하는 단계;
제1 중간 머리 포즈를 예측하는 단계;
제2 중간 머리 포즈를 예측하는 단계;
상기 제1 중간 머리 포즈에 기반하여 상기 제1 컬러 필드를 와핑함으로써 중간 와핑된 제1 컬러 필드를 생성하는 단계;
상기 제2 중간 머리 포즈에 기반하여 상기 제2 컬러 필드를 와핑함으로써 중간 와핑된 제2 컬러 필드를 생성하는 단계;
상기 조정된 컬러 필드 레이트에 적어도 부분적으로 기초하여, 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계;
상기 조정된 컬러 필드 레이트에 적어도 부분적으로 기초하여, 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계;
상기 제1 시간에 대응하는 제1 머리 포즈를 예측하는 단계;
상기 제2 시간에 대응하는 제2 머리 포즈를 예측하는 단계;
상기 제1 머리 포즈에 기반하여 상기 중간 와핑된 제1 컬러 필드를 와핑함으로써 상기 와핑된 제1 컬러 필드를 생성하는 단계; 및
상기 제2 머리 포즈에 기반하여 상기 중간 와핑된 제2 컬러 필드를 와핑함으로써 상기 와핑된 제2 컬러 필드를 생성하는 단계를 포함하고,
상기 와핑된 제1 컬러 필드를 생성하는 단계는 상기 중간 와핑된 제1 컬러 필드를 생성하는 단계보다 덜 계산 집약적이고,
상기 와핑된 제2 컬러 필드를 생성하는 단계는 상기 중간 와핑된 제2 컬러 필드를 생성하는 단계보다 덜 계산 집약적인,
컴퓨터 판독 가능 저장 매체.
제16항에 있어서,
상기 와핑된 제1 컬러 필드의 투사를 위한 제1 시간을 결정하는 단계는 관련된 투사 시스템의 프레임 레이트를 분석하는 단계를 포함하는,
컴퓨터 판독 가능 저장 매체.
제16항에 있어서,
상기 와핑된 제2 컬러 필드의 투사를 위한 제2 시간을 결정하는 단계는 관련된 투사 시스템의 프레임 레이트를 분석하는 단계를 포함하는,
컴퓨터 판독 가능 저장 매체.
삭제
삭제
삭제