KR20220024584A - 가상 피쳐를 위한 시스템 및 방법 - Google Patents

Abstract

사용자에게 제공되는 증강 현실(AR) 경험의 평가를 위한 시스템은 배경, 배경에 빛을 투영하도록 구성된 물리적 조명, 가상 피쳐를 표시하도록 구성된 디스플레이 시스템을 포함한다. 컨트롤러는 통신 가능하도록 디스플레이 시스템과 물리적 조명에 연결된다. 컨트롤러는 가상 피쳐 렌더링, 물리적 조명의 작동 파라미터를 나타내는 피드백 수신 및 가상 조명의 상태를 나타내는 추가적인 피드백을 수신하도록 구성되는데, 가상 조명의 상태는 가상 피쳐의 외관을 정의한다. 컨트롤러는 물리적 조명의 작동 파라미터를 나타내는 피드백에 기초하여 가상 피쳐의 외관을 업데이트된 외관으로 조정 및/또는 가상 조명의 상태를 나타내는 추가적인 피드백에 기초하여 물리적 조명의 작동파라미터를 조정하도록 구성된다.

Description

가상 피쳐를 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2019년 6월 25일에 미국 출원된 “가상 피쳐 개발을 위한 시스템 및 방법”이라는 제목의 미국 가출원 번호 62/866,481호에 대한 우선권의 이익을 주장하고, 모든 면에서 그 전체 내용은 본 출원에 참조로서 포함된다.

놀이 공원 및/또는 테마 파크는 놀이 공원의 방문객(예를 들어, 가족 및/또는 모든 연령대의 사람들)에게 즐거움을 제공하는데 유용한 다양한 어트랙션, 식당 및 놀이기구를 포함할 수 있다. 놀이 공원의 영역에는 특정 청중을 대상으로 하는 다양한 테마가 있을 수 있다. 예를 들어, 특정 영역은 전통적으로 어린이가 관심있어 하는 테마를 포함할 수 있는 반면에 다른 영역은 전통적으로 더 성숙한 청중이 관심있어 하는 테마를 포함할 수 있다. 일반적으로, 이러한 놀이 공원과 관련된 테마를 갖는 장소는 어트랙션(attraction) 또는 테마 어트랙션(theme attraction)으로 지칭될 수 있다. 가상 피쳐(virtual features)로 테마를 보강함으로써 그러한 어트랙션에 대한 방문객의 몰입 경험을 증가시키는 것은 바람직하다고 인식된다. 불행하게도, 다양한 놀이공원 어트랙션을 위한 가상 피쳐를 개발하는 것은 어렵고 시간이 많이 걸린다.

본원에 개시된 특정 실시예의 요약이 하기에 제시되어 있다. 이러한 양태는 단지 독자에게 간략한 요약을 제공하기 위해 제시되는 것이고 이러한 양태는 본 개시의 범위를 제한하도록 의도되지 않았음을 이해해야 한다. 실제로, 본 개시는 아래에 설명되지 않을 수 있는 다양한 양태를 포함할 수 있다.

일 실시예에서, 사용자에게 제공되는 증강 현실(AR) 경험을 평가하기 위한 시스템은, 배경, 배경에 빛을 투사하도록 구성된 물리적 조명 및 디스플레이 시스템을 포함한다. 디스플레이 시스템은 사용자가 배경에 오버레이(overlay)된 것으로 가상 피쳐를 볼 수 있도록 가상 피쳐를 표시하도록 구성된다. 시스템은 또한 통신 가능하도록 디스플레이 시스템과 물리적 조명에 연결된 컨트롤러를 포함한다. 컨트롤러는 가상 공간의 가상 피쳐를 렌더링하고, 물리적 조명의 작동 파라미터를 나타내는 피드백을 수신하며, 가상 조명의 상태를 나타내는 추가적인 피드백을 수신하도록 구성되는데, 여기서 가상 조명의 상태는 가상 피쳐의 외관을 정의한다. 컨트롤러는 또한 가상 피쳐의 외관을 물리적 조명의 작동 파라미터를 나타내는 피드백에 기초하여 업데이트된 외관으로 조정하는 것 및/또는 가상 조명의 상태를 나타내는 추가적인 피드백에 기초하여 물리적 조명의 작동 파라미터를 조정하는 것을 수행하도록 구성된다.

일 실시예에서, 사용자에게 제공되는 증강 현실 경험을 평가하는 방법은, 디스플레이 시스템을 통해 가상 피쳐를 배경 위에 오버레이하여 사용자가 배경 위에 오버레이된 가상 피쳐를 볼 수 있게 하는 단계를 포함한다. 이 방법은 배경을 밝히도록 구성된 물리적 조명의 작동 파라미터를 나타내는 피드백을 센서로부터 수신하는 단계와 컨트롤러에서 가상 조명의 상태를 나타내는 추가적인 피드백을 수신하는 단계를 또한 포함하는데, 여기서 가상 조명의 상태는 가상 피쳐의 외관을 정의한다. 이 방법은 컨트롤러를 통해, 물리적 조명의 작동 파라미터를 나타내는 피드백에 기초하여 가상 피쳐의 외관을 업데이트된 외관으로 조정하는 것 및/또는 가상 조명의 상태를 나타내는 추가적인 피드백에 기초하여 물리적 조명의 작동 파라미터를 조정하는 것을 수행하는 단계를 더 포함한다.

일 실시예에서, 증강 현실 시스템은, 가상 피쳐를 사용자가 볼 수 있는 환경에 오버레이하도록 구성된 디스플레이 시스템, 환경을 비추도록 구성된 물리적 조명 및 디스플레이 시스템과 물리적 조명에 통신 가능하도록 연결된 컨트롤러를 포함한다. 컨트롤러는 가상 조명을 갖는 가상 공간에서 가상 피쳐를 렌더링하도록 구성되는데, 여기서 가상 조명의 상태는 가상 피쳐의 외관을 정의한다. 또한 컨트롤러는 물리적 조명의 작동 파라미터를 나타내는 피드백에 기초하여 가상 조명의 상태를 조정하고 가상 조명의 상태를 나타내는 추가적인 피드백에 기초하여 물리적 조명의 작동 파라미터를 조정하도록 구성된다.

위에서 언급된 피쳐(feature)의 다양한 개선이 본 개시의 다양한 양태와 관련하여 구현될 수 있다. 이러한 다양한 양태에 추가적인 피쳐가 포함될 수 있다. 이러한 개선과 다양한 피쳐는 개별적으로 또는 조합하여 존재할 수 있다.

본 개시의 이러한 기능, 양태 및 이점은 전체 도면에 걸쳐 유사한 부분을 나타내는 첨부 도면을 참조하여 다음의 상세한 설명을 읽을 때 더 잘 이해될 것이다.
도 1은 본 실시예에 따른, 현실 세계 환경에 가상 피쳐를 오버레이하는 데 사용될 수 있는 증강 현실 시스템 실시예의 블록도이다.
도 2는 본 실시예에 따른, AR 시스템에서 사용될 수 있는 헤드 마운트 디스플레이(head-mounted display) 실시예의 도면이다.
도 3은 본 실시예에 따른, AR 시스템에서 사용될 수 있는 증강 현실 라이트박스 시스템(lightbox system) 실시예의 도면이다.

하나 이상의 특정 실시예가 아래에서 설명될 것이다. 이들 실시예의 간결한 설명을 제공하기 위한 노력의 일환으로, 실제 구현의 모든 피쳐가 명세서에서 설명되지는 않는다. 엔지니어링 또는 설계 프로젝트에서와 같이 실제 구현을 개발할 때는, 시스템 관련 및 비즈니스 관련 제약 조건 준수와 같이 구현마다 다를 수 있는 개발자의 특정 목표를 달성하기 위해 수많은 구현 별 결정을 내려야 한다. 더욱이, 그러한 개발 노력은 복잡하고 시간이 많이 소요될 수 있지만 그럼에도 불구하고 본 개시의 이점을 갖는 통상의 기술자의 설계(design), 조립(fabrication) 및 제조(manufacture)의 일상적인 사업이 될 것임을 이해해야 한다.

본 개시의 다양한 실시예의 구성요소를 소개할 때, “하나의(a)”, “한(an)”, “그(the)” 등의 표현은 하나 이상의 구성요소가 있음을 의미하도록 의도된다. 용어 “포함하는(comprising)”“구비하는(including)”과 “갖는(having)”이라는 용어는 포괄적인 것으로 의도되며, 나열된 구성요소 이외의 추가 구성요소가 있을 수 있음을 의미한다. 게다가, 본 개시 내용의 “하나의 실시예(one embodiment)”또는 ”일 실시예(an embodiment)”에 대한 언급은 인용된 피쳐를 포함하는 추가 실시예의 존재를 배제하는 것으로 해석되도록 의도되지 않았음을 이해해야 한다.

놀이 공원은 방문객에게 AR 경험을 제공함으로써 놀이 공원 어트랙션의 방문객 경험을 개인의 필요에 맞추거나 향상시키도록 구성된 증강 현실 시스템을 포함할 수 있다. 실제로, 특정 하드웨어의 구성, 소프트웨어의 구성(예를 들어, 알고리즘 구조 및/또는 모델링된 응답) 및 특정 어트랙션의 피쳐를 조합함으로써 방문객에게 맞춤화되고 개인화되고 상호작용할 수 있는 AR 경험을 제공할 수 있다.

예를 들어, 헤드 마운트 디스플레이(head-mounted display)(예를 들어, 전자 고글 또는 디스플레이, 안경)와 같은 보기 장치(viewing device)는 놀이 공원 방문객 또는 다른 사용자가 AR 및/또는 혼합 현실 장면을 볼 수 있게 하도록 구성될 수 있다. 특히, 헤드 마운트 디스플레이는 예를 들어 놀이 공원과 관련된 실제 환경에 피쳐를 가상으로 추가하거나 오버레이함으로써 동일한 놀이 공원에서 색다른 경험을 위한 조정 가능한 가상 환경을 제공하는 등으로 방문객의 경험을 향상시키는 데에 활용될 수 있다. 불행히도, 놀이 공원의 다양한 실제 환경에서 특정 AR 피쳐의 현실감(perceived realism)을 예측하는 것은 어려울 수 있다. 특히 AR 시스템이 현실 세계 환경의 특정한 조명 조건에 기초하여 AR 피쳐의 외관(예를 들어, 그림자, 색채)을 효과적으로 조정하는지 여부를 평가하는 것은 지루하거나 개발자(예를 들어, AR 피쳐를 개발하는 설계 엔지니어)에게 시간이 많이 소요될 수 있다.

따라서, 본 개시내용의 실시예는, 본 명세서에서 AR 라이트박스 시스템(AR lightbox system)으로 지칭되는 가상 객체 시뮬레이션 시스템에 관한 것인데, 이는 개발자가 다양한 시뮬레이션된 현실 세계 설정 내에서 및 다양한 조광 조건에 걸쳐 특정 AR 피쳐의 외관을 평가할 수 있도록 한다. 특히, AR 라이트박스 시스템은 AR 피쳐를 생성하고 AR 피쳐를 현실 세계 환경(예를 들어, 헤드 마운트 디스플레이를 통해)으로 오버레이하도록 구성된 AR 시스템이 현실 세계 환경의 다양한 조광 조건에서의 변화에 기초한 AR 피쳐의 외관을 효과적으로 조정하는지 여부를 개발자가 평가할 수 있도록 한다. 이와 같이, AR 라이트박스 시스템은 현실 세계 환경에 기반을 둔 AR 피쳐의 개발을 용이하게 할 수 있고, 그러한 AR 피쳐를 놀이 공원 어트랙션의 테마와 같은 현실 세계 환경으로 오버레이하는 데 사용되는 알고리즘의 개발을 용이하게 할 수 있다.

전술한 바를 염두에 두고, 도 1은 사용자(예를 들어, 방문객, 놀이 공원 직원, 놀이 기구의 승객)가 제어된 AR 및/또는 혼합 현실 장면을 경험(예를 들어, 보기, 상호작용)하도록 구성된 증강 현실 시스템(10)의 블록도이다. 일부 실시예에서, AR 시스템(10)은 무선 근거리 통신망(WLAN), 무선 광역 통신망(WWAN) 및 근거리 통신망(NFC)과 같은 통신 네트워크(14)(예를 들어, 유선 및/또는 무선 통신 네트워크), 컨트롤러(16) 및 하나 이상의 사용자 시스템(18)(예를 들어, 게임 시스템)을 포함할 수 있다. 통신 네트워크(14)는 컨트롤러(16), 하나 이상의 사용자 시스템(18) 및/또는 AR 시스템(10)의 임의의 다른 적절한 구성요소를 서로 통신 가능하도록 하는 유선 또는 무선 통신 구성요소를 포함할 수 있다.

컨트롤러(16)는 프로그래밍 가능한 논리 컨트롤러(PLC) 또는 다른 적절한 제어 장치일 수 있다. 컨트롤러(16)는 메모리(22)에 저장된 명령을 실행하도록 작동 가능하게 메모리(22)(예를 들어, 유형의(tangible) 비일시적 컴퓨터 판독 가능 매체 및/또는 기타 저장 장치)에 연결된 프로세서(20)(예를 들어, 범용 프로세서, 시스템온칩(SoC) 장치, 주문형 집적 회로(ASIC) 또는 일부 다른 유사한 프로세서 구성)를 포함할 수 있다. 하나 이상의 사용자 시스템(18)은 중앙 처리 장치(CPU) 또는 다른 적절한 시스템일 수 있다. 아래에서 논의될 것과 같이, 컨트롤러(16)와 하나 이상의 사용자 시스템(18)은 일반적으로 현실 세계 환경의 시야를 오버레이하기 위한 가상 또는 증강 그래픽을 렌더링할 수 있도록 구성될 수 있다. 하나 이상의 사용자 시스템(18)은 특정 게임 로직과 실제 공간에서 특정 가상 객체의 배치를 담당할 수 있다. 특정 실시예에서, 하나 이상의 사용자 시스템(18) 각각은 통신 가능하도록 서로 연결될 수 있으며, 이에 의해 다수의 사용자가 공유 게임(예를 들어, 다수의 플레이어를 갖는 게임)에 참여하는 것을 가능하게 해준다. 일부 실시예에서, 하나 이상의 사용자 시스템(18)은 사용자 입력 장치(26)(예를 들어, 사용자 인터페이스) 또는 다수의 사용자 입력 장치(26)로 이루어진 그룹 및 컴퓨터 그래픽 생성 시스템(28)을 포함할 수 있다. 사용자 입력 장치(26)는 컴퓨터 그래픽 생성 시스템(28)에 통신 가능하도록 연결되고, 컴퓨터 그래픽 생성 시스템(28)은 (예를 들어, 통신 네트워크(14)를 통해) 디스플레이 시스템(29)에 통신 가능하도록 연결될 수 있다.

본 명세서에서 논의된 바와 같이, 일부 실시예에서, AR 시스템(10)의 사용자에 의해 착용되도록 구성되고 AR 피쳐를 사용자가 인식하는 현실 세계 환경에 오버레이하도록 구성된 디스플레이 시스템(29)은, 헤드 마운트 디스플레이(30)(HMD)를 포함할 수 있다. 따라서 헤드 마운트 디스플레이(30)는 사용자들이 초현실 (surreal) 환경(32)(예를 들어, 게임 환경)을 시각화하고 감지할 수 있도록 하는데, 초현실 환경(32)에는 AR 경험, 혼합 현실 경험, 컴퓨터 매개 현실 경험 또는 이것들이 복합된 형태 또는 다른 유사한 초현실 환경이 포함될 수 있다. 즉, 초현실 환경(32)은 현실 세계 시야와 AR 피쳐로 증강(예를 들어, 오버레이)될 수 있는 객체를 포함할 수 있다. 일부 실시예에서, 사용자는 놀이기구(예를 들어, 놀이공원 놀이기구)를 타는 동안, 놀이공원의 특정 영역에 입장할 때에 게임 하는 동안과 같은 다른 미리 결정된 지점 동안, 또는 호텔에서 놀이 공원과 관련된 호텔까지 이동하는 동안 등등의 기간에 헤드 마운트 디스플레이(30)를 착용할 것이다.

컴퓨터 그래픽 생성 시스템(28)은 헤드 마운트 디스플레이(30)상에 표시될 AR 그래픽을 생성 및 전송할 수 있다. 특히, 컴퓨터 그래픽 생성 시스템(28)은 프로세서(34)(예를 들어, 범용 프로세서 또는 다른 프로세서)와 같은 처리 회로 및 메모리(36)를 포함하고, 사용자를 위한 초현실 환경(32)을 생성하는 데 유용한 데이터를 처리할 수 있다. 초현실 환경(32)을 생성하는 데 유용한 데이터는 각각의 헤드 마운트 디스플레이(30)로부터 수신되는 리얼타임 데이터, 사용자 입력 장치(26), 컨트롤러(16), 하나 이상의 사용자 시스템(18)에 의해 수신되는 다양한 센서 데이터 및 메모리(36)에 저장되어 있는 데이터를 포함할 수 있다(그러나 이에 한정되지는 않는다). 일부 실시예에서, 컴퓨터 그래픽 생성 시스템(28)은 그러한 데이터를 헤드 마운트 디스플레이(30)에 의해 제시되는 AR 피쳐를 사용자를 둘러싸고 있는 현실 세계 환경에 조정하는 기준 틀(frame of reference)을 생성하기 위해 사용할 수 있다.

예를 들어, 컴퓨터 그래픽 생성 시스템(28)은 사용자의 방향, 위치, 시선 방향, 시야, 모션 등을 반영하여 헤드 마운트 디스플레이(30)에 표시하기 위하여 선택적으로 AR 그래픽을 생성할 수 있다. 컴퓨터 그래픽 생성 시스템(28)은 사용자 입력 장치(26)를 사용하는 하나 이상의 사용자에 의해 제공되는 입력의 변화를 반영하여 AR 그래픽 또한 선택적으로 생성할 수 있다. 또한 컴퓨터 그래픽 생성 시스템(28)은 컴퓨터 그래픽 생성 시스템(28)(예를 들어, 메모리(36))에 저장된 특정한 미리 결정된 또는 모델링된 알고리즘에 따라 영향을 받는 AR 피쳐를 야기할 수 있는 시뮬레이션 된 상호작용에 기초하여 AR 그래픽을 생성할 수 있다. 예로서, 미리 결정된 또는 모델링된 알고리즘은 물리적 엔진 또는 유사한 모듈에 의해 또는 컴퓨터 그래픽 생성 시스템(28)의 일부로서 구현될 수 있다. 특정 실시예에서, 컴퓨터 그래픽 생성 시스템(28)은 공유 게임에서 복수의 사용자에 대응하는 위에 제시된 정보 또는 데이터를 모니터링할 수 있으므로 공유 게임에서 복수의 사용자 중 특정한 사용자는 공유 게임에서 복수의 사용자 중 다른 사용자에 의해 적용된 게임 이펙트(game effect)를 볼 수 있다.

디스플레이 시스템(29)은 AR 피쳐를 사용자에 의해 인식되는 현실 세계 환경에 오버레이 하기 위해서 헤드 마운트 디스플레이에 더하여 또는 그 대신에 임의의 다른 적절한 디스플레이 장치 및/또는 투영 장치(projection device)를 포함할 수 있다는 점을 이해해야 한다. 따라서, 그러한 디스플레이 장비 및/또는 시각화 장치(visualization device)는 사용자들이 AR 피쳐로 증강(예를 들어, 오버레이)된 현실 세계 시야를 포함하는 초현실 환경(32)을 시각화하고 인식할 수 있도록 한다. 비제한적인 예로서, 디스플레이 시스템(29)은 직접 또는 간접적으로 사용자의 한쪽 눈 또는 양쪽 눈에 AR 피쳐(예를 들어, 빛)를 투영하도록 구성된 한 개 이상의 프로젝터(37)를 포함할 수 있으므로, 사용자는 AR 피쳐를 사용자가 보는 현실 세계 환경에 오버레이 된 것으로 인식할 수 있다. 예를 들어, 일부 실시예에서, 하나 이상의 프로젝터(37)는 AR 이미지를 사용자의 눈의 홍채 및/또는 망막에 직접 래스터(raster)할 수 있도록 구성된 가상 망막 디스플레이로서 동작할 수 있다. 특정 실시예에서, 디스플레이 시스템(29)은 임의의 다른 적절한 홀로그램 디스플레이 또는 투명한 발광 다이오드(LED) 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이 시스템(29)은 사용자와 분리된(예를 들어, 사용자가 착용할 수 없는) 독립형 투명 디스플레이를 포함할 수 있다.

어쨌든, 위에서 논의된 바와 같이, AR 피쳐의 특정한 피쳐(예를 들어, 명암(shading), 채색, 반사)를 현실 세계 환경의 일시적인 환경 조건(예를 들어, 조명 조건)과 동기화하는 것이 어려울 수 있다. 실제로, 개발자가 놀이공원, 호텔 또는 기타 지역의 다양한 환경 설정에서 AR 피쳐의 인식된 현실성을 평가하는 것은 지루하거나 시간이 많이 소요된다. 따라서, 개발자는 특정한 현실 세계 환경에서 AR 피쳐의 외관(예를 들어, 사용자에 의해 인식된 현실감)을 향상시키는 방식으로 AR 피쳐를 렌더링하는 컴퓨터 그래픽 생성 시스템(28)에 의해 채용될 수 있는 모델링된 알고리즘을 효과적으로 조정하지 못할 수 있다.

그러므로, 본 명세서에서 논의된 AR 시스템(10)의 실시예는 개발자들이 테스트 환경에서 다양한 현실 세계 설정(예를 들어, 테마) 내 및 다양한 환경 조건(예를 들어, 자연 또는 인공 조명 조건)에 걸친 특정 AR 피쳐의 외관을 효율적으로 평가할 수 있도록 하는 AR 라이트박스 시스템(38)을 포함한다. 따라서, 개발자는 다양한 설정에서 AR 피쳐의 외관(예를 들어, 인식된 현실감)을 빠르게 평가할 수 있고, 현실 세계 환경 시야에 AR 피쳐의 렌더링 및 AR 피쳐의 오버레이를 제어하는 데 사용되는 컴퓨터 그래픽 생성 시스템(28)이 사용하는 알고리즘의 개발뿐만 아니라 AR 피쳐의 개발도 용이하게 할 수 있다. AR 라이트박스 시스템(38)은 예를 들어, 컨트롤러(16) 또는 컴퓨터 그래픽 생성 시스템(28)과 같은 AR 시스템(10)의 임의의 적절한 구성요소에 통신 가능하도록 연결되고 세부사항이 아래에서 논의될 것이다.

도 2는 디스플레이 시스템(29)에 포함될 수 있는 헤드 마운트 디스플레이(30)의 실시예의 그림이다. 헤드 마운트 디스플레이(30)는 놀이공원 방문객, 놀이 공원 직원 또는 AR 시스템의 개발자 같은 사용자(40)에 의해 착용될 수 있다. 놀이 공원 설정에서 구현되는 경우, 헤드 마운트 디스플레이(30)는 승객이 탈 것(예를 들어, 놀이 공원 어트랙션)에 연결(예를 들어, 케이블 또는 와이어를 통하여 결속)될 수 있다. 예를 들어, 일부 실시예에서 사용자(40)(예를 들어, 방문객)는 놀이 공원 설정 내에서 사용하기 위하여 헤드 마운트 디스플레이(30)를 구매하거나 제공받을 수 있다. 헤드 마운트 디스플레이(30)는 전자 안경(42)(예를 들어, AR 안경, 고글)과 전자 안경(42)의 적어도 일부를 수용하도록 구성된 착용할 수 있는(wearable) 부분(44)을 포함할 수 있다. 헤드 마운트 디스플레이(30)는 초현실 환경을 만들기 위해 단독으로 또는 다른 피쳐들과 복합되어 사용될 수 있다. 예를 들어, 일부 실시예에서 헤드 마운트 디스플레이(30)는 놀이 공원 놀이기구를 타는 내내 사용자(40)에 의해 착용될 수 있다.

헤드 마운트 디스플레이(30)는 프로세서(46)와 메모리(48)(예를 들어, 유형의 비일시적 컴퓨터 판독 가능 매체)를 포함할 수 있다. 프로세서(46)와 메모리(48)는 헤드 마운트 디스플레이(30)가 디스플레이로 기능(예를 들어 궁극적으로 헤드 마운트 디스플레이(30)를 구동시키는 컴퓨터 그래픽 생산 시스템(28)으로부터 신호를 수신)할 수 있도록 구성될 수 있다. 프로세서(46)는 범용 프로세서, 시스템온칩(SoC) 장치, 주문형 집적 회로(ASIC) 또는 일부 다른 유사한 프로세서 구성일 수 있다.

헤드 마운트 디스플레이(30)는 가속도계, 자력계, 자이로스코프, GPS 수신기, 모션 추적 센서, 전자기 및 고체 상태 모션 추적 센서, 관성 측졍 장치(IMU), 존재 센서(presence sensor) 또는 기타 센서와 같은 방향 및/또는 위치 센서를 포함할 수 있는 추적 시스템(50)을 포함할 수 있다. 추적 시스템(50)은 사용자(40)의 위치, 방향, 초점 거리, 시선 방향, 시야, 모션 또는 이들의 임의의 조합을 나타내는 리얼타임 데이터를 수집할 수 있다. 헤드 마운트 디스플레이(30)는 추적 시스템(50)을 통해 획득된 리얼타임 데이터를 처리를 위해 프로세서(46) 및/또는 컴퓨터 그래픽 생성 시스템(28)으로 전송할 수 있는 통신 인터페이스(52)(예를 들어, 무선 트랜시버(transceiver)를 포함함)를 포함할 수 있다. 통신 인터페이스(52)는 또한 헤드 마운트 디스플레이(30)가 컴퓨터 그래픽 생성 시스템(28)에 의해 전송된 디스플레이 신호를 수신할 수 있도록 한다.

일부 실시예에서, 전자 안경(42)은 각각의 사용자의 각 눈에 상응하는 디스플레이 한 쌍 (60, 62)을 포함할 수 있다. 일부 실시예에서, 디스플레이 한 쌍(60, 62) 대신에 통합 디스플레이가 사용될 수 있다. 디스플레이(60, 62) 각각은 비제한적인 예로서 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 또는 사용자(40)가 사용자(40)를 둘러싸고 있는 실제적 및 물리적 환경(예를 들어, 현실 세계 환경)의 현실 세계 이미지(66)를 볼 수 있도록 하는 다른 유사한 디스플레이나 투명 스크린을 포함할 수 있다. 특정 실시예에서, 디스플레이(60, 62)는 사용자(40)가 물리적 또는 현실 세계 환경 안에서 현실 세계 객체(68)(예를 들어, 앉을 수 있는 벤치와 같은 물리적인 객체)를 볼 수 있도록 하는 투명한(예를 들어, 속이 비치는) LED 디스플레이 또는 투명한(예를 들어, 속이 비치는) OLED 디스플레이를 각각 포함한다. 다시 말해, 현실 세계 이미지(66)는 일반적으로 헤드 마운트 디스플레이(30)를 착용하지 않았을 때에도 사용자(40)가 보게 될 것을 나타낸다.

전자 안경(42)은 디스플레이(60, 62)가 증강 현실 이미지(70)를 사용자(40)가 보는 현실 세계 이미지(66)에 오버레이하도록 하는 피쳐(예를 들어, 회로, 발광기)를 포함할 수 있다. 즉, 일부 실시예에서, 발광기(light emitter)는 하나 이상의 가상 피쳐를 디스플레이(60, 62)에 투영하도록 하여 가상 피쳐가 디스플레이(60, 62)로부터 사용자(40)의 눈으로 반사되도록 할 수 있다. 따라서, 헤드 마운트 디스플레이(30)는 사용자(40)가 전자 안경(42) 표면 상에 오버레이된 특정 가상 피쳐를 갖는 실질적으로 투명한 전자 안경(42) 세트를 통해 물리적 환경을 볼 수 있도록 한다. 따라서, 사용자(40)는 가상 피쳐가 물리적 환경에 통합되어 있다고 인식할 수 있다. 이와 같이, 헤드 마운트 디스플레이(30)를 착용함에 있어서, 사용자(40)는 완전히 초현실 환경(32)에 둘러싸인 것처럼 느낄 수 있어서, 사용자(40)는 초현실 환경(32)을 특정 가상 피쳐를 포함하는 현실 세계 물리적 환경으로 인식할 수 있다. 실제로, 헤드 마운트 디스플레이(30)는 증강 현실 이미지(70)가 물리적 환경에 오버레이된 초현실 환경(32)이 실제 물리적 환경이 되도록 사용자(40)의 시야를 적어도 부분적으로 제어할 수 있다.

예를 들어, 디스플레이(60, 62)는 가상 객체(72) 또는 가상 피쳐(예를 들어, 귀신)를 현실 세계 객체(68)(예를 들어, 앉을 수 있는 벤치)에 오버레이함으로써, 가상 객체(72)가 현실 세계 환경에 물리적으로 나타나고 현실 세계 객체(68)와 상호작용하는 환영을 만들어 낸다. (예를 들어, 헤드 마운트 디스플레이(30)는 유령이 앉을 수 있는 벤치에 앉아 있는 환영을 만들 수 있음) 일부 실시예에서, 증강 현실 이미지(70)는 또한 현실 세계 객체(68)를 오버레이하여 현실 세계 객체(68)가 사라졌거나 더 이상 존재하지 않는 것으로 보이도록 하는 기능을 할 수 있다.(예를 들어, 현실 세계 객체(68)는 가상 객체(72) 또는 가상 환경 연출로 완전히 또는 부분적으로 가려지도록 함)

위에서 언급한 바와 같이, 일부 실시예에서, 디스플레이 시스템(29)은 헤드 마운트 디스플레이(30) 대신에 하나 이상의 프로젝터(37)를 포함할 수 있다. 이러한 실시예에서, 사용자(40)가 가상의 객체(72)가 물리적 환경의 현실 세계 객체(68)로 오버레이된 것으로 인식할 수 있도록 하기 위해 하나 이상의 프로젝터(37)는 증강 현실 이미지(70)를 직접적으로 사용자(40)의 눈으로(예를 들어, 사용자(40)가 물리적 환경을 디스플레이를 통해 보지 않고도) 투영하도록 구성될 수 있다. 특정 실시예에서, 디스플레이 시스템(29)은 사용자(40)로부터 분리되어 있고(예를 들어, 사용자(40)에 의해 착용되지 않음) 물리적 환경에 위치한 독립형의 투명한 디스플레이(예를 들어, 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이 또는 다른 유사한 디스플레이)를 포함할 수 있다. 독립형의 투명한 디스플레이는 증강 현실 이미지(70)를 전자 안경(42)과 관련하여 위에서 언급한 기술과 비슷한 방식으로 현실 세계 이미지(66)에 오버레이하도록 구성될 수 있다. 따라서, 독립형의 투명한 디스플레이로 물리 환경을 보는 때에 사용자(40)는 그 위에 오버레이 된 증강 현실 이미지(70)를 가지는 현실 세계 이미지(66)를 볼 수 있다.

일부 실시예에서, 현실 세계 환경은 현실 세계 환경에 존재하는 물리적 객체를 비추는 다양한 광원(80)(예를 들어, 입사 태양광, 사용자 작동 손전등 또는 레이저 포인터)을 포함할 수 있다. 예로서, 일부 실시예에서, 사용자(40)는 조명 장치(82)(예를 들어, 손전등, 레이저 포인터)를 놀이 공원 어트랙션으로서 제공받을 수 있다. 조명 장치(82)는 사용자 입력 장치(26)를 포함하거나 사용자 입력 장치(26)의 일부를 포함할 수 있다. 사용자(40)는 조명 장치(82)를 사용자(40)를 둘러싸고 있는(예를 들어, 놀이 공원 어트랙션과 관련된 게임의 부분) 특정한 현실 세계 객체(68)(예를 들어, 앉을 수 있는 의자)를 선택적으로 비추는 데 사용할 수 있다. 따라서, 사용자(40)는 사용자에 의해 선택적으로 비추어진 현실 세계 환경의 구역을 전자 안경(42)을 통해 인식할 수 있다. 만약 사용자(40)가 가상 객체(72)(예를 들어, 귀신)를 향해 및/또는 위에 손전등을 비추면, 조명 장치(82)가 가상 객체(72)를 비춰 환영을 생성해 가상 객체(72)의 외관을 업데이트(예를 들어, 그림자 효과, 색상, 반사)하는 것이 바람직하다. 아래에서 논의되는 바와 같이, AR 라이트박스 시스템(38)은 개발자가 그러한 조명 입력에 대한 반응으로 가상 객체(72)의 외관을 조정하도록 AR 시스템(10)에 의해 구현되는 모델링 알고리즘을 효과적으로 업데이트, 수정 및/또는 조정 가능하도록 하여, 가상 객체(72)의 인식된 현실감을 향상시킨다. 실제로, 그러한 가상 객체의 외관과 현실 세계 조명 조건 사이의 동기화는 가상 객체(72)가 현실 세계 환경에 물리적으로 존재한다는 환영을 강화할 수 있다.

다음의 논의를 용이하게 하기 위해, 도 3은 AR 라이트박스 시스템(38) 실시예의 개략도이다. 위에서 간략하게 논의된 바와 같이, AR 라이트박스 시스템(38)은 다양한 조명 조건에 노출되는 현실 세계 환경에서 렌더링될 때 개발자가 가상 객체(72)의 인식된 현실감을 평가할 수 있도록 한다. 특히, AR 라이트박스 시스템(38)은 가상 객체(72)가 구현될 놀이 공원 기구 또는 다른 어트랙션의 지속시간 동안 발생할 것으로 예상되는 특정 현실 세계 조명 환경을 되살리도록 구성된 시험 환경을 제공할 수 있다. 따라서, 개발자는 컴퓨터 그래픽 생성 시스템(28)이 그러한 조명 조건에서 사실적으로 나타내는 방식으로 가상 객체(72)를 나타내도록 적절하게 구성되어 있는지 평가할 수 있다. 실제로, AR 라이트박스 시스템(38)은 AR 라이트박스 시스템(38)의 시험환경에서 시뮬레이션되는 다양한 조명 조건에서의 가상 객체(72)의 평가 및 검사 시에 개발자들이 가상 객체(72)(예를 들어, 컴퓨터 그래픽 생성 시스템(28)을 이용함)를 생성하기 위해 사용되는 알고리즘 모델링을 신속하게 수정, 업데이트 및/또는 조정할 수 있도록 할 수 있다. 따라서, 개발자는 일시적인 조명 조건에 대한 응답으로 그러한 현실 세계 환경에서 다양한 현실 세계 환경에서 가상 객체(72)를 더 잘 나타내도록(예를 들어, 렌더링하도록) 컴퓨터 그래픽 생성 시스템(28)의 모델링 알고리즘을 조정 및/또는 가상 객체(72)의 외관을 더 잘 업데이트할 수 있어서, 이러한 환경에서 가상 객체(72)의 인식된 현실감을 향상시킨다. 게다가, AR 라이트박스 시스템(38)은 AR 시스템(10)이 구현될 놀이 공원 어트랙션에서 경험적인 테스트를 수반하지 않고 개발자들이 모델링 알고리즘에 그러한 수정을 얻어내도록 한다.

예를 들어, 그림이 포함된 실시예에서, AR 라이트박스 시스템(38)은 하나 이상의 내부 벽(94)에 의해 정의된 배경(92)을 갖는 물리적 스테이지(physical stage)(90)(예를 들어, 환경)를 포함한다. 따라서, 물리적 스테이지(90)는 실제 환경 내에서 물리적 공간(96)을 정의한다. 명확성을 위해, 물리적 스테이지(90)는 물리적 공간(96) 또는 물리적 공간(96)의 일부를 정의하는 임의의 적절한 플랫폼, 표면, 벽, 패널 또는 이들의 조합을 포함할 수 있다는 것이 이해되어야 한다. 아래에서 논의되는 바와 같이, 디스플레이 시스템(29)(예를 들어, 헤드 마운트 디스플레이(30), 하나 이상의 프로젝터(37))은 디스플레이 시스템(29)을 사용하는 사용자(40)가 가상 객체(72)를 물리적 공간(96)에 위치한 것으로 인식하게 하도록 가상 객체(72)를 배경(92)에 오버레이하도록 구성될 수 있다. AR 라이트박스 시스템(38)은 물리적 스테이지(90)의 특정한 부분을 비추어 개별적으로 작동 가능하도록 하나 이상의 물리적 조명(100)을 포함한다. 구체적으로, 그림이 포함된 실시예에서, AR 라이트박스 시스템(38)은 제1 물리적 조명(102), 제2 물리적 조명(104) 및 제3 물리적 조명(106)을 포함한다. 명확하게 하기 위해서, 여기서 사용되는 것처럼 “물리적 조명”은 현실 세계 환경에 있는 적절한 조명 장치를 말하고 물리적 스테이지(90)와 같은 현실 세계 환경에서 현실 세계 객체를 비추도록 구성된다. 비제한적인 예로서, 그러한 물리적 조명은 백열전구, 소형 형광등, 할로겐 램프, 네온 램프, 발광 다이오드(LED), 손전등(예를 들어, 사용자가 조작 가능한 손전등 및/또는 하나 이상의 액츄에이터를 통해 제어 가능한 손전등) 또는 임의의 다른 적절한 조명 장치를 포함할 수 있다. 물리적 조명(100)은 물리적 스테이지(90)에 의해 정의된 물리적 공간(96)의 내부에 위치될 수 있다는 점 또는 물리적 공간(96)의 외부에 위치될 수 있다는 점을 유의해야 한다. 예를 들어, 특정 실시예에서, 물리적 조명(100)은 물리적 스테이지(90)와 인접한 곳에 위치될 수 있고 물리적 공간(96)과 배경(92)에 빛을 투영하도록 구성된다.

특정 실시예에서, 배경(92)은 배경(92)에 표시 및/또는 배경(92)에 통합되는 다양한 테마, 디자인 및/또는 다른 그래픽을 포함할 수 있다. 예를 들어, 일부 실시예에서, 다양한 그래픽은 어트랙션에 나타날 때 가상 객체(72)가 표시되는 특정 환경(예를 들어, 우주 테마, 정글 테마)을 시뮬레이션하도록 배경(92) 상에 그려질 수 있다. 특정 실시예에서, 다양한 그래픽은 투영 시스템을 통해 배경(92) 상에 투영될 수 있어서, 그래픽은 배경(92)의 표면에 오버레이된다. 추가적인 실시예에서, 배경(92)의 일부분 또는 실질적으로 전부는 다양한 정지된 이미지 또는 비디오 자료(video feed)를 표시하도록 구성된 하나 이상의 디스플레이를 포함할 수 있다. 예를 들어, 하나 이상의 디스플레이는 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, LED 디스플레이 또는 이미지 데이터를 표시하기 위한 다른 적절한 디스플레이를 포함할 수 있다. 아래에서 논의되는 바와 같이, 배경(92)은 하나 이상의 방의 벽, 바닥 및/또는 천장을 포함할 수 있어서, 헤드 마운트 디스플레이(30)를 착용하고 여기서 논의되는 기술에 따른 AR 라이트박스 시스템(38)을 이용하면서 사용자(40)는 방을 가로지를 수 있다(예를 들어, 걸어서 건널 수 있다)는 것을 이해해야 한다.

일부 실시예에서, 하나 이상의 물리적 조명(100)은 가시 광선의 특정 색(예를 들어, 파장)을 출력하도록 선택적으로 제어 가능할 수 있다. 예를 들어, 특정한 수/양의 물리적 조명(100)은 배경(92)에 다양한 색상의 빛을 선택적으로 투영하도록 동작하는 제어 가능한 LED를 포함할 수 있다. 특정 실시예에서, 물리적 조명(100)은 내부 제어 회로를 통해 빛의 강도(예를 들어, 광도)를 조정하도록 구성될 수 있다. 일부 실시예에서, 빛의 색 및/또는 물리적 조명(100)에 포함될 수 있는 집적 제어 회로에 더하여 또는 이를 대신하여, 하나 이상의 물리적 조정 장치가 물리적 조명(100)의 출력인 빛의 강도를 조정하는 데 사용된다. 예를 들어, 물리적 조명(100)은 물리적 조명(100)에 의해 출력되는 빛의 색을 조정하기 위해 물리적 조명(100)앞에 선택적으로 배치될 수 있는 각각의 유색 젤(colored gel)과 관련될 수 있다. 게다가, 물리적 조명(100)은 물리적 조명(100)에 의해 출력되는 빛의 강도를 조정하기 위해 구성된 각각의 셔터와 관련될 수 있다.

일부 실시예에서, 특정 물리적 조명(100)은 물리적 스테이지(90)에 대한 물리적 조명(100)의 방향 및/또는 위치를 조정하도록 작동될 수 있는 각각의 액츄에이터(108)와 연결될 수 있다. 예를 들어, 액츄에이터(108)는 물리적 조명(100)이 물리적 스테이지(90)의 특정 부분 상으로 빛을 향하게 하는 각도를 조정할 수 있도록 구성될 수 있다. 추가적으로 또는 대안적으로, 액츄에이터(108)는 물리적 조명(100)과 물리적 스테이지(90) 사이의 이격거리를 조정할 수 있고/있거나, 물리적 스테이지(90)에 대하여 물리적 조명(100)을 이동시킬 수 있다. 액츄에이터(108)는 예를 들어 선형 액츄에이터, 공압 액츄에이터, 전기-기계 액츄에이터 또는 다른 적절한 액츄에이터를 포함할 수 있다. 이와 같이, 액츄에이터(108)는 회전 운동, 선형 운동 및/또는 다른 운동을 한 개 이상의 물리적 조명(100)에 부여하도록 구성될 수 있음을 이해해야 한다.

물리적 조명(100)과 액츄에이터(108)는 조명 컨트롤러(110) 또는 AR 라이트박스 시스템(38)의 또 다른 적절한 제어 장치에 통신 가능하도록 (무선 또는 유선 통신 구성요소를 통해)연결된다. 후술되는 바와 같이, 조명 컨트롤러(110)는 물리적 조명(100)이 빛의 강도 및/또는 각각의 물리적 조명(100)에 의해 출력되는 빛의 색의 조정을 명령하도록 구성될 수 있다. 게다가, 조명 컨트롤러(100)는 물리적 스테이지(90)에 대한 물리적 조명(100)의 방향 및/또는 위치를 액츄에이터(108)에 명령하도록 구성될 수 있다.

조명 컨트롤러(110)는 AR 라이트박스 시스템(38)의 다양한 구성요소를 제어하는 데 사용될 수 있는 AR 라이트박스 시스템(38)의 라이트박스 컨트롤러(112)에 통신 가능하도록 연결된다. 일부 실시예에서, 라이트박스 컨트롤러(112)는 컴퓨터 그래픽 생성 시스템(28)을 포함할 수 있거나 컴퓨터 그래픽 생성 시스템(28)과 통합될 수 있다. 다른 실시예에서, 라이트박스 컨트롤러(112)는 컴퓨터 그래픽 생성 시스템(28)으로부터 분리되고 컴퓨터 그래픽 생성 시스템(28)으로부터 정보를 수신하거나 정보를 보내도록 구성된 컨트롤러를 포함할 수 있다. 예를 들어, 일부 실시예에서 컴퓨터 그래픽 생성 시스템(28)은 디스플레이 시스템(29)을 통해(예를 들어, 헤드 마운트 디스플레이(30) 및/또는 하나 이상의 프로젝터(37)를 통해) 가상 피쳐를 렌더링하고 표시하도록 라이트박스 컨트롤러(112)를 제공할 수 있다. 조명 컨트롤러(110)와 라이트박스 컨트롤러(112)는 조명 컨트롤러(110)와 라이트박스 컨트롤러(112)가 여기서 논의된 기술 및 프로세스를 실행시키도록 하는 각각의 프로세서(114, 116)와 각각의 메모리(118, 120)(예를 들어, 유형의 비일시적 컴퓨터 판독 가능 매체)를 포함할 수 있다는 점을 이해해야 한다.

라이트박스 컨트롤러(112)는 물리적 스테이지(90)의 가상 표현(representation)인 가상 스테이지(virtual stage)(128)를 생성(예를 들어, 렌더링)하도록 구성될 수 있다. 가상 스테이지(128)는 물리적 공간(96)의 크기 및/또는 규모와 일치하는 가상 공간(130)(예를 들어, 게임 공간)을 정의할 수 있다. 다시 말해서, 라이트박스 컨트롤러(112)는 가상 공간(128)의 상대적인 규모가 물리적 공간(90)의 상대적인 규모에 비례하도록 혹은 그와 동일하도록 보장할 수 있다. 일부 실시예에서, 라이트 박스 컨트롤러(112)는 가상 스테이지(128)를 디지털 표현으로 렌더링하지 못할 수 있고 그 대신 가상 공간(130)의 외부 규모 경계를 정의하도록 가상 스테이지(128)를 이용할 수 있다. 가상 공간(130)은 각각의 물리적 조명(100)과 관련된 하나 이상의 가상 조명(132)을 포함할 수 있다. 특히, 그림이 포함된 실시예에서, 가상 공간(130)은 각각 제1 물리적 조명(102), 제2 물리적 조명(104) 및 제3 물리적 조명(106)과 관련된 제1 가상 조명(134), 제2 가상 조명(136) 및 제3 가상 조명(138)을 포함한다. 명료하게 하기 위해, 여기서 사용되는 것처럼, “가상 빛”은 가상 공간(130) 내부에서 가상 빛의 표현을 업데이트하기 위해 구성된 빛 시뮬레이션을 지칭할 수 있다. 비록, AR 라이트박스 시스템(38)의 그림이 포함된 실시예가 3개의 물리적 조명(100)과 세개의 가상 조명(132)을 포함하더라도, 다른 실시예에서 AR 라이트박스 시스템(38)은 임의의 적절한 물리적 조명(100)의 양과 그에 부합하는 가상 조명(132)을 포함할 수 있다는 점을 이해해야 한다.

가상 공간(130)은 가상 객체(72)의 표현(representation)(140)을 포함할 수 있다. 표현(140)은 가상 객체(72)의 모델(예를 들어, 디지털 표현)일 수 있다. 특히, 라이트박스 컨트롤러(112)는 위에서 논의된 기술에 따라서 디스플레이 시스템(29)이 가상 객체(72)를 적절한 현실 세계 환경에 오버레이하는 것을 가능하게 하는 입력으로서 표현(140)을 디스플레이 시스템(29)에 제공하도록 구성될 수 있다. 다시 말하면, 일부 실시예에서, 가상 객체(72)는 라이트박스 컨트롤러(112)에 의해 생성된 표현(140)의 렌더링일 수 있다. 여기서 상세하게 논의되는 것과 같이, 라이트박스 컨트롤러(112)는 가상 공간(130)의 조명 환경 변화뿐만 아니라 물리적 공간(96)의 조명 환경 변화에 기초한 표현(140)의 외관(예를 들어, 채색, 명암(shading))을 업데이트하도록 구성될 수 있다. 결론적으로, 표현(140)의 외관에서의 변화는 가상 객체(72)의 외관의 변화로 반영된다. (예를 들어, 가상 객체(72)의 렌더링은 표현(140)에 따라서 업데이트 될 수 있음)

특정 조명 환경에서 가상 객체(72)의 외관을 평가하기 위해, 개발자는 입력 장치(144)(예를 들어, 사용자 입력 장치(26))를 통해 라이트박스 컨트롤러(112)에 가상 객체(72)를 디스플레이 시스템(29)을 사용하는 배경(93)에 오버레이하도록 명령할 수 있다. 물리적 조명(100)은 개발자에 의해 지정될 수 있는 물리적 공간(96)내의 특정 현실 세계 조명 조건을 시뮬레이션하도록 구성될 수 있다. 예를 들어, 개발자는 물리적 조명(100)이 놀이 공원 기구의 지속시간 동안 발생할 것으로 예상되는 조명 환경을 시뮬레이션하도록 명령(예를 들어, 라이트박스 컨트롤러(112)에 제공되는 입력을 통해)할 수 있다. 각각의 물리적 조명(100)은 조명 컨트롤러(110)에 그 특정 물리적 조명(100)의 현재 동작 파라미터를 나타내는 피드백을 제공하도록 구성될 수 있다. 그 예로서, 그러한 동작 파라미터는 각각의 물리적 조명(100)(예를 들어, 제1 물리적 조명, 제2 물리적 조명, 제3 물리적 조명을 구별하기 위한 식별코드), 각각의 물리적 조명(100)에 의한 출력 빛 강도, 각각의 물리적 조명(100)에 의한 출력 빛의 색(예를 들어, 빛깔(hue)), 물리적 스테이지(90)에 대한 각각의 물리적 조명(100)의 위치, 물리적 스테이지(90)에 대한 각각의 물리적 조명의 방향 또는 이들의 조합과 관련된 식별자(identifier)를 포함할 수 있다. 특정 실시예에서, 물리적 조명(100)은 조명 컨트롤러(110)에 전술한 동작 파라미터 중 어느 하나 혹은 조합을 나타내는 피드백을 제공하도록 구성된 센서(예를 들어, 통합 센서)를 포함할 수 있다. 추가적으로 또는 대안적으로, 물리적 조명(100)은 조명 컨트롤러(110)에 그러한 동작 파라미터를 나타내는 피드백을 제공하도록 구성된 각각의 센서(148)(예를 들어, 외부 센서)와 관련될 수 있다. 예를 들어, 일부 실시예에서, 센서(148)는 광학 센서(예를 들어, 광 감도 센서, 파장 검출기), GPS 센서, 광전 센서 또는 다른 적절한 센서를 포함할 수 있다.

특정 실시예에서, 물리적 조명(100) 및 대응하는 액츄에이터(108)의 일부는 물리적 조명(100)의 위치, 방향, 조명 빛깔, 조명 강도 및/또는 다른 파라미터를 일시적으로 정의하는 특정한 조명 시퀀스(sequence)(예를 들어, 미리 결정된 조명 시퀀스)를 실행하도록 구성될 수 있다. 조명 시퀀스는 특정한 오퍼레이터(operator) 입력(예를 들어, 라이트박스 컨트롤러(112)에 연결된 사용자 인터페이스에 입력을 제공하는 사용자) 및/또는 센서 피드백(예를 들어, 물리적 스테이지(92)에 대해 특정 위치를 향해 움직이는 사용자)에 따라 개시(initiate)될 수 있다. 물리적 조명(100)과 관련된 조명 시퀀스는 예를 들어, 조명 컨트롤러(110) 및/또는 라이트박스 컨트롤러(112)의 각각의 메모리(118, 120)에 저장될 수 있다. 추가적으로 또는 대안적으로, 조명 시퀀스는 물리적 조명(100)의 관련된 메모리(예를 들어, 통합 메모리)에 저장될 수 있다. 어떤 경우에도, 특정한 조명 시퀀스의 시작 시에, 하나 이상의 물리적 조명(100)은 상응하는 조명 시퀀스의 실행 동안 물리적 조명(100)의 현재 동작 파라미터를 나타내는 피드백을 라이트박스 컨트롤러(112)에 제공할 수 있다. 즉, 라이트박스 컨트롤러(112)는 피드백을 물리적 조명(100)의 동작 파라미터를 나타내는 센서(148)로부터 수신하는 대신에 조명 시퀀스를 실행하도록 구성된 물리적 조명(100)의 상응하는 컨트롤러로부터 직접 물리적 조명(100)의 현재 동작 파라미터를 나타내는 피드백을 수신할 수 있다.

일부 실시예에서, AR 라이트박스 시스템(38)은 조명 컨트롤러(110)에 물리적인 스테이지(90)를 둘러싸고 있는 주변 조명을 나타내는 피드백(예를 들어, 주변 조명 피드백)을 제공하도록 구성된 하나 이상의 주변 조명 센서(150)를 포함할 수 있다. 비제한적인 예로서, 하나 이상의 주변 조명 센서(150)는 조명 컨트롤러(110)에 물리적 스테이지(90) 상에 투영되는 자연 태양광 또는 물리적 스테이지(90) 상에 위치하는 추가적인 조명 장치로부터 물리적 스테이지(90)에 투영되는 시뮬레이션된 태양광을 나타내는 피드백을 제공하도록 구성될 수 있다. 특정 실시예에서, 하나 이상의 주변 조명 센서(150) 중 일부는 물리적 스테이지(90)에 대한 주변 조명 센서(150)의 위치를 조정하도록 구성된 작동 조작기(actuated manipulator)(예를 들어, 로봇 조작기)에 연결될 수 있다. 따라서, 작동 조작기는 하나 이상의 주변 조명 센서(150)를 물리적 스테이지(90)를 따라 다양한 위치에서 주변 조명 환경을 나타내는 피드백을 얻도록 할 수 있다. 작동 조작기는 라이트박스 컨트롤러(112)에 통신 가능하도록 연결될 수 있어서 라이트박스 컨트롤러(112)가 작동 조작기를 통해 하나 이상의 주변 조명 센서(150)의 위치를 조정하는 명령을 보낼 수 있도록 한다. 일부 실시예에서, 디스플레이 시스템(29)은 AR 피쳐로 작동 조작기를 오버레이하도록 구성되어, 작동 조작기가 디스플레이 시스템(29)을 통해 물리적 스테이지(90)를 보는 개발자(예를 들어, 사용자(40))에게 사라졌거나 더 이상 존재하지 않는 것으로 보이도록 한다. (예를 들어, 디스플레이 시스템(29)은 가상 환경 표현으로 완전히 또는 부분적으로 작동 조작기를 가림)

조명 컨트롤러(110)는 라이트박스 컨트롤러(112)에 물리적 조명(100)으로부터 수신한 피드백 및/또는 센서(148) 및/또는 주변 조명 센서(150)로부터 수신한 피드백을 나타내는 정보를 제공할 수 있다. 특정 실시예에서, 물리적 조명(100), 센서(148) 및/또는 주변 조명 센서(150)는 그러한 피드백을 직접 라이트박스 컨트롤러(112)에 제공할 수 있다는 점을 이해해야 한다. 실제로, 그러한 실시예에서, 조명 컨트롤러(110)는 AR 라이트박스 시스템(38)에서 생략될 수 있다. 어쨌든, 라이트박스 컨트롤러(112)는 물리적 조명(100)에 의해 제공된 피드백, 센서(148)에 의해 제공된 피드백 및/또는 주변 조명 센서(150)에 의해 제공된 피드백에 기초한 가상 공간 내에서 가상 조명 환경(예를 들어, 가상 조명(132)의 각각의 상태)을 업데이트할 수 있다. 예를 들어, 라이트박스 컨트롤러(112)는 물리적 공간(96) 내에서 상응하는 물리적 조명(100)의 정해진 위치 및/또는 정해진 방향에 기초하는 가상 공간(130) 내에서 각각의 가장 조명(132)의 위치 및/또는 방향을 업데이트할 수 있다. 특히, 라이트박스 컨트롤러(112)는 가상 공간(130)에 대한 가상 조명(132)의 위치 선정 파라미터(예를 들어, 위치, 방향)를 물리적 공간(96)에 대한 물리적 조명(100)의 위치 선정 파라미터(예를 들어, 위치, 방향)에 맞도록 조정할 수 있다. 더욱이, 라이트박스 컨트롤러(112)는 현재 물리적 조명(100)에 의해 투영된 빛의 색 및/또는 강도에 기초하여 표현(140)에 렌더링 된 가상 조명의 색 및/또는 강도를 업데이트할 수 있다.

비제한적인 예로서, 라이트박스 컨트롤러(112)는 직접 또는 간접적으로 제1 물리적 조명(102)의 위치(예를 들어, 물리적 스테이지(90)에 대한 위치), 제1 물리적 조명(102)의 방향(예를 들어, 물리적 스테이지(90)에 대한 방향), 제1 물리적 조명(102)에 의한 출력 빛의 빛깔(예를 들어, 색) 및/또는 제1 물리적 조명(102)에 의한 출력 빛의 강도(예를 들어, 광도)와 같은 제1 물리적 조명(102)의 단수 또는 복수의 작동 파라미터를 나타내는 제1 물리적 조명(102)으로부터 피드백을 수신하도록 구성될 수 있다. 그러한 피드백을 받자마자, 라이트박스 컨트롤러(112)는 제1 가상 조명(134)의 상태를 상응하는 작동 파라미터 또는 제1 물리적 조명(102)의 파라미터에 일치시켜 업데이트하도록 구성될 수 있다. 즉, 라이트박스 컨트롤러(112)는 제1 가상 조명(134)의 가상 공간(120) 내부에서의 위치 및/또는 방향(예를 들어, 가상 스테이지(128)에 대한 위치 및/또는 방향)을 제1 물리적 조명(102)의 물리적 공간(96) 내에서의 현재 위치 및 현재 방향(예를 들어, 물리적 스테이지(90)에 대한 위치 및/또는 방향)에 일치시키도록 조정할 수 있다. 따라서, 라이트박스 컨트롤러(112)는 물리적 공간(96)내의 제1 물리적 조명(102)의 위치 및/또는 방향에 기초하여 가상 조명이 표현(140) 상에 렌더링되는 각도를 조정할 수 있다. 라이트박스 컨트롤러(112)는 제1 가상 조명(134)에 의해 렌더링되는 빛깔과 가상 조명의 강도 또한 제1 물리적 조명(102)에 의한 조명 출력의 빛깔과 강도에 일치하도록 조정할 수 있다. 따라서, 라이트박스 컨트롤러(112)는 표현(140)에 렌더링되는 가상 조명의 색과 강도를 제1 물리적 조명(102)에 의한 조명 출력의 색과 강도로 조정할 수 있다. 다시 말해서, 제1 가상 조명(134)의 상태를 조정함으로써(예를 들어, 제1 물리적 조명(102)의 동작 파라미터에 기초하여), 라이트박스 컨트롤러(112)는 가상 객체(72)의 외관을 조정(예를 들어, 업데이트)할 수 있다.

라이트박스 컨트롤러(112)는 전술한 기술에 따라 제2 물리적 조명(104)과 제3 물리적 조명(106)의 각각의 조명 출력에 기초하여 제2 가상 조명(136)과 제3 가상 조명(138)에 의해 렌더링 되는 가상 조명을 조정할 수 있다. 즉, 조명 컨트롤러(112)는 각각의 제2 및 제3 물리적 조명(104, 106) 내부의 통합센서로부터의 피드백 및/또는 센서(148)(예를 들어, 제2 및 제3 물리적 조명의 외부에 있는 센서)로부터의 피드백에 기초하여 제2 및 제3 가상조명(136, 138)에 의해 렌더링된 가상 조명을 조정할 수 있다. 이러한 방식으로, 라이트박스 컨트롤러(112)는 표현(140)의 렌더링된 외관(예를 들어, 명암(shading), 하이라이트, 채색)을 조정할 수 있고, 따라서 물리적 조명(100)의 동작 파라미터에 기초하여 가상 객체(72)의 렌더링된 외관을 조정할 수 있다. 실제로, 라이트박스 컨트롤러(112)는 물리적 공간(96) 내의 물리적 조명(100)의 동작 파라미터(예를 들어, 위치, 방향, 빛깔, 강도)에서의 변화에 대한 응답으로 가상 객체(72)의 외관을 조정하도록 실질적으로 실시간에서 전술한 기술을 실행할 수 있다. 그러므로 AR 라이트박스 시스템(38)은 개발자가 가상 객체(72)의 렌더링된 외관이 현실적으로 물리적 조명(100)에 의해 생성된 조명 환경에 비례하는지 여부를 평가하는 것을 가능하게 한다. 다시 말해서, 개발자는 물리적 조명(100)에 의한 조명 출력에서의 변화에 대한 응답으로 컴퓨터 그래픽 생성 시스템(28)이 가상 객체(72)의 외관을 적절하게 조정하는지 여부를 결정할 수 있다.

예를 들어, 개발자는 하나 이상의 물리적 조명(100)이 물리적 스테이지(90)에 대하여 움직일 때 및/또는 빛의 다른 빛깔 또는 강도를 출력하라는 명령을 받았을 때, 라이트박스 컨트롤러(112)가 공간적으로 및/또는 일시적으로 사실적인 방식으로 가상 객체(72)의 명암(shading) 및/또는 음영(shadowing)을 조정할 수 있는지 여부를 결정할 수 있다. 실제로, 개발자는 예를 들어 특정 놀이 공원 기구를 타는 동안에 일어날 수 있는 것과 같은 다양한 현실 세계 조명 환경을 시뮬레이션 하도록(예를 들어, 물리적 조명(100)을 통해) AR 라이트박스 시스템(38)을 사용할 수 있고 현실 세계 조명 환경에서 그러한 변화에 대한 응답으로 가상 객체(72)의 일시적으로 조정되는 외관의 현실성을 평가한다. 따라서, 개발자는 AR 라이트박스 시스템(38)을 갖는 시험환경에서 특정 놀이 공원 설정에서 어떻게 가상 객체가 나타날 수 있는지 예측할 수 있다. 그러므로, AR 라이트박스 시스템(38)은 개발자가 현재 이용되는 알고리즘이 가상 객체(72)의 외관을 비현실적으로 또는 부적당한 방식으로 조정한다는 판정에 따라 가상 객체(72)의 외관을 업데이트하기 위해 사용되는 알고리즘을 조정할 수 있도록 한다. 이와 같이, AR 라이트박스 시스템(38)은 개발자가 라이트박스 컨트롤러(112)의 모델링 알고리즘 및/또는 컴퓨터 그래픽 생성 시스템(28)의 모델링 알고리즘을 라이트박스 컨트롤러(112) 및/또는 컴퓨터 그래픽 생성 시스템(28)이 더욱 효과적으로 물리적 조명(100)에 의한 빛 출력이 가상 객체(72)와 상호작용(예를 들어, 반사, 채색의 또는 명암(shading)의 변화)하는 환영을 생성시킬 수 있도록 하는 방식으로 더 잘 조정할 수 있도록 한다. 라이트박스 컨트롤러(112)는 주변 조명 센서(150)에 의해 제공되는 주변 조명 피드백에 기초하여 임의의 제1, 제2 및/또는 제3 가상 조명(134, 136, 138)에 의해 렌더링되는 빛을 조정할 수 있다는 점이 이해되어야 한다. 이와 같이, 라이트박스 컨트롤러(112)는 물리적 스테이지(90)의 배경(92)을 둘러싸고 있는 주변 조명 환경에 기초하여 가상 객체(72)의 외관을 조정할 수 있다.

일부 실시예에서, AR 라이트박스 시스템(38)은 물리적 조명(100)의 동작 파라미터에 기초하여 가상 조명(132)의 동작 상태를 조정하는 것에 더하여 또는 대신에 가상 조명(132)의 동작 상태(예를 들어, 가상 스테이지(128)에 대한 가상 조명(132)의 위치 및/또는 방향, 가상 조명(132)에 의해 렌더링된 가상 조명의 빛깔 및/또는 강도)에 기초한 물리적 조명(100)의 동작 파라미터(예를 들어, 물리적 스테이지(90)에 대한 물리적 조명(100)의 위치 및/또는 방향, 물리적 조명(100)에 의한 빛 출력의 빛깔 및/또는 강도)를 조정하도록 구성된다. 예를 들어, 입력 장치(144)를 통해 제공된 명령을 통해 개발자는 가상 조명(132)의 동작 상태를 조정하도록 라이트박스 컨트롤러(112)에 명령할 수 있다. 특히, 입력 장치(144)를 사용하여, 개발자는 제1 가상 조명의 위치(134)(예를 들어, 가상 스테이지(128)에 대하여)를 조정 및/또는 제1 가상 조명의 방향(134)(예를 들어, 가상 스테이지(128)에 대하여)을 조정 및/또는 제1 가상 조명(134)에 의해 렌더링된 가상 조명의 빛깔(예를 들어, 색)을 조정 및/또는 제1 가상 조명에 의해 렌더링된 가상 조명의 강도를 조정할 수 있다. 그러한 명령은 놀이 공원 어트랙션의 일부분으로서 소개되는 게임과 같은 컴퓨터 그래픽 생성 시스템(28)에 의해 생성된 게임을 하는 동안에 사용자에 의해 제공될 수 있는 가능한 사용자 입력을 시뮬레이션하는 데 사용될 수 있다. 그러한 명령을 수신하면, 라이트박스 컨트롤러(112)는 위에서 논의된 기술에 따라 표현(140)의 외관과 가상 객체(72)의 외관을 조정할 수 있다. 실질적으로 가상 객체(72)의 외관을 조정하는 것과 관련하여, 라이트박스 컨트롤러(112)는 가상 공간(130)(예를 들어, 가상 스테이지(128)에 대하여)에 있는 제1 가상 조명(134)의 현재의 위치 및 방향(예를 들어, 상태)을 일치시키도록 물리적 공간(96)(예를 들어, 물리적 스테이지에 대하여)에 있는 제1 물리적 조명(102)의 위치 및/또는 방향(예를 들어, 상응하는 액츄에이터(108)를 통해)을 조정할 수 있다. 추가적으로, 라이트박스 컨트롤러(112)는 제1 가상 조명(134)에 의해 렌더링 된 가상 조명의 빛깔과 강도(예를 들어, 상태)를 일치시키도록 제1 물리적 조명(102)에 의한 출력 빛의 빛깔 및/또는 강도를 조정할 수 있다. 라이트박스 컨트롤러(112)는 이러한 기술에 따라 각각 제2 가상 조명(136)과 제3 가상 조명(138)에 기초한 제2 물리적 조명(104)과 제3 물리적 조명(106)의 작동 파라미터를 조정할 수 있다는 점이 이해되어야 한다.

이러한 방식에서, 라이트박스 컨트롤러(112)는 가상 객체(72)(예를 들어, 가상 조명(132)의 조정에 의해 정의된 바와 같이)의 업데이트된 외관에 기초하여 물리적 조명(100)의 작동 파라미터를 조정할 수 있다. 라이트박스 컨트롤러(112)는 가상 객체(72)의 외관에서 특정 조정에 대해 실질적 실시간으로 물리적 조명(100)의 작동 파라미터(예를 들어, 위치, 방향, 빛깔, 강도)를 조정할 수 있어서, 그에 따라 개발자는 가상 객체(72)의 조정된 외관에 맞추어 그리고 그에 현실적으로 상응하는 방식으로 물리적 조명(100)이 자신의 출력 빛을 조정하는지 여부를 평가할 수 있게 한다. 따라서, AR 라이트박스 시스템(38)은 비현실적인 방식으로(예를 들어, 가상 객체(72)의 외관 조정과 관련하여) 현재 이용되는 알고리즘이 물리적 조명(100)의 작동을 조정하는 결정시에 개발자가 물리적 조명(100)의 작동을 제어하기 위해 사용되는 알고리즘을 조정할 수 있도록 한다.

특정 실시예에서, 라이트박스 컨트롤러(112)는 물리적 조명(100) 중 하나 이상의 결함 상태의 발생을 결정하도록 구성될 수 있다. 예를 들어, 라이트박스 컨트롤러(112)는 하나 이상의 물리적 조명(100)이 비효율적으로 작동하는지 또는 작동하지 않는지(예를 들어, 조명 안의 필라멘트 고장으로 인해) 여부를 결정하도록 할 수 있다. 그러한 결함 상태를 탐지하는 때, 라이트박스 컨트롤러(112)는 개발자에게 알림을(예를 들어, 헤드 마운트 디스플레이(30)와 같은 적합한 디스플레이 장치를 통해 가정(audible) 경고를) 제공하며 그것은 개발자가 하나 이상의 물리적 조명(100)을 정비하도록 유도한다. 특정 실시예에서, 각각의 물리적 조명(100)과 관련된 식별자는 라이트박스 컨트롤러(112)가 개발자에게 물리적 조명(100)(예를 들어, 제1 물리적 조명(102), 제2 물리적 조명(104), 제3 물리적 조명(106)) 중 특히 어떤 것에 결함상태가 발생했는지에 관해 알리는 것을 가능하게 한다. 예를 들어, 식별자의 디스플레이를 통해, 라이트박스 컨트롤러(112)는 결함 상태(예를 들어, 결함 상태 발생의 탐지에 대한 응답으로)를 나타내는 특정한 물리적 조명의 위치를 개발자에게 알릴 수 있다.

일부 실시예에서, AR 라이트박스 시스템(38)은 다양한 테스트 위치 또는 환경에 쉽게 전달되도록 구성된 휴대용 키트일 수 있다. 예를 들어, 물리적 스테이지(90)는 책상이나 다른 적당한 구조물에 놓여지기 위한 크기일 수 있다. 조명 컨트롤러(110)와 다른 라이트박스 컨트롤러(112)는 또한 휴대용 구조물에 수용될 수 있고 물리적 조명(100), 센서(148, 150) 및/또는 액츄에이터(108)와 같은 물리적 스테이지(90)의 구성요소에 통신 가능하게 연결되도록 구성될 수 있다. 일부 실시예에서, 조명 컨트롤러(110), 라이트박스 컨트롤러(112), 및/또는 AR 라이트박스 시스템(38)에 포함된 다른 피쳐는 물리적 스테이지(90)의 적합한 부분에 통합될 수 있다. 다른 실시예에서, 물리적 스테이지(90)는 임의의 적절한 크기로 크기가 조정될 수 있다는 점을 이해해야 한다. 예를 들어, 일부 실시예에서, 물리적 스테이지(90)는 다양한 관점에서(예를 들어, 물리적 스테이지(90)에 대하여) 가상 객체(72)를 보기 위해 개발자가 서있을 수 있도록 및/또는 물리적 스테이지(90)를 가로질러 이동할 수 있도록 크기가 조정될 수 있다. 더욱이, 특정한 소품(예를 들어, 애니메트로닉(animatronic) 인물, 극장 소품, 기타 객체)은 물리적 스테이지(90) 상의 소품과 관련하여 개발자가 가상 객체(72)의 외관을 평가하는 것이 가능하도록 물리적 스테이지(90)에 배치될 수 있다. 일부 실시예에서, 물리적 스테이지(90)는 위에서 논의된 물리적 스테이지(90)의 피쳐(예를 들어, 배경(92), 물리적 조명(100), 액츄에이터(108) 등등)를 갖는 방을 포함한다. 이와 같이, 사용자(예를 들어, 발명자, 놀이 공원 어트랙션의 방문객)는 다양한 현실 세계 설정에서 가상 객체를 보도록 위에서 논의된 기술에 따라 AR 라이트박스 시스템(38)을 이용할 수 있다.

위에 설명된 것과 같이, 본 개시내용의 실시예는 다양한 시뮬레이션된 현실 세계 설정에서 및 다양한 다른 조명 조건에 걸쳐서 하나 이상의 AR 피쳐의 외관을 평가하는 데 유용한 기술적인 효과를 제공할 수 있다. 특히, 여기서 논의되는 AR 라이트박스 시스템은 개발자 또는 다른 사용자들이 현실 세계 환경에 기초한 AR 피쳐를 더 효과적으로 개발하고 그러한 AR 피쳐를 현실 세계 환경에 오버레이하도록 사용되는 알고리즘 개발할 수 있도록 한다. 본 명세서의 기술적인 효과 및 기술적인 문제는 예시이며 제한되지 않음을 이해해야 한다. 실제로, 본 명세서에서 설명되는 실시예는 다른 기술적 효과를 가질 수 있고 다른 기술적 문제를 해결할 수 있다는 점을 유의해야 한다.

본 개시내용에 기재된 실시예는 다양한 수정 및 대체 형태가 가능하지만, 특정 실시예는 도면에 예시적으로 도시되었고 본 명세서에서 상세하게 설명되었다. 그러나, 개시내용은 개시된 특정한 형태로 제한되도록 의도되지 않았음을 이해해야 한다. 개시내용은 다음의 첨부된 청구범위에 의해 정의된 바와 같이 개시내용의 정신과 범위에 포함되는 모든 조정, 균등물 및 대체를 포괄한다.

여기서 제시되고 청구된 기술은 추상적, 무형적 또는 순수하게 이론적인 것이 아니라 명백히 현재 기술분야를 발전시킬 수 있는 실용적인 성질의 물질 및 구체적인 예시에 참조되고 적용된다. 더욱이, 이 명세서의 끝에 첨부되는 임의의 청구항이 “(기능)을 (수행)하는 수단” 또는”(기능)을 (수행)하는 단계” 중 하나 이상의 지정된 요소를 포함한다면, 그러한 요소는 35 U.S.C. 112⒡하에서 해석되어야 한다. 그러나, 임의의 다른 방식으로 지정된 요소를 포함하는 임의의 청구항에서, 그러한 요소는 35 U.S.C. 112⒡하에서 해석되어서는 안 된다.

Claims (20)

1. 사용자에게 제공되는 증강 현실(AR) 경험의 평가 시스템으로서
   배경(backdrop)과,
   상기 배경에 빛을 투영하도록 구성된 물리적 조명과,
   상기 사용자가 상기 배경에 오버레이된 가상 피쳐(virtual feature)를 볼 수 있도록 상기 가상 피쳐를 표시하기 위한 디스플레이 시스템과,
   상기 디스플레이 시스템과 상기 물리적 조명에 통신 가능하도록 연결된 컨트롤러를 포함하되,
   상기 컨트롤러는,
   상기 가상 피쳐를 가상 공간에 렌더링하고,
   상기 물리적 조명의 작동 파라미터(operational parameter)를 나타내는 피드백을 수신하며,
   가상 조명의 상태 - 상기 가상 조명의 상기 상태는 상기 가상 피쳐의 외관을 정의함 - 를 나타내는 추가적인 피드백을 수신하고,
   상기 물리적 조명의 상기 작동 파라미터를 나타내는 상기 피드백에 기초하여 상기 가상 피쳐의 외관을 업데이트된 외관으로 조정하는 것 및/또는 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백에 기초하여 상기 물리적 조명의 상기 작동 파라미터를 조정하는 것을 수행하도록 구성되는,
   시스템.
2. 제1항에 있어서,
   상기 컨트롤러에 상기 물리적 조명의 상기 작동 파라미터를 나타내는 상기 피드백을 제공하도록 구성된 센서를 더 포함하되,
   상기 작동 파라미터는, 상기 배경에 대한 상기 물리적 조명의 위치, 상기 배경에 대한 상기 물리적 조명의 방향, 상기 배경에 투영된 상기 빛의 빛깔(hue), 상기 배경에 투영된 상기 빛의 강도, 또는 이들의 조합을 포함하는,
   시스템.
3. 제1항에 있어서,
   상기 물리적 조명에 연결되어, 상기 물리적 조명의 상기 작동 파라미터를 조정하도록 구성되는 액츄에이터를 더 포함하되,
   상기 컨트롤러는 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백 수신에 대한 응답으로 상기 물리적 조명의 상기 작동 파라미터를 조정하게끔 액츄에이터에 명령하도록 구성되는,
   시스템.
4. 제3항에 있어서,
   상기 작동 파라미터는 상기 배경에 대한 상기 물리적 조명의 위치 및/또는 상기 배경에 대한 상기 물리적 조명의 방향을 포함하는,
   시스템.
5. 제1항에 있어서,
   상기 컨트롤러에 통신 가능하도록 연결되어, 상기 사용자가 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백을 상기 컨트롤러에 제공할 수 있도록 하는 사용자 입력 장치를 더 포함하는,
   시스템.
6. 제5항에 있어서,
   상기 컨트롤러는 상기 배경을 갖는 물리적 스테이지(physical stage)에 상응하는 가상 스테이지(virtual stage)를 통해 가상 공간의 경계를 만들도록 구성되고,
   상기 가상 조명의 상기 상태는, 상기 가상 스테이지에 대한 상기 가상 조명의 위치, 상기 가상 스테이지에 대한 상기 가상 조명의 방향, 상기 가상 조명에 의해 렌더링 된 상기 가상 조명의 빛깔, 상기 가상 조명에 의해 렌더링 된 상기 가상 조명의 강도, 또는 이들의 조합을 포함하는,
   시스템.
7. 제1항에 있어서,
   상기 디스플레이 시스템은 상기 사용자에 의해 착용되는 헤드 마운트 디스플레이(head mounted display)를 포함하되, 상기 헤드 마운트 디스플레이는 자신의 투명한 스크린을 통해 상기 배경에 상기 가상 피쳐를 오버레이하도록 구성되는,
   시스템.
8. 제1항에 있어서,
   상기 디스플레이 시스템은 상기 가상 피쳐를 상기 배경에 오버레이하기 위해 상기 사용자의 눈에 상기 가상 피쳐를 투영하도록 구성되는 하나 이상의 프로젝터를 포함하는,
   시스템.
9. 제1항에 있어서,
   상기 컨트롤러는,
   상기 배경을 둘러싸고 있는 주변 조명 조건(ambient lighting conditions)을 나타내는 주변 조명 피드백을 수신하고,
   상기 주변 조명 피드백에 기초하여 상기 가상 피쳐의 상기 외관을 업데이트된 외관으로 조정하도록 구성된,
   시스템
10. 사용자에게 제공되는 증강 현실(AR) 경험의 평가 방법으로서,
    상기 사용자가 배경에 오버레이된 가상 피쳐를 볼 수 있도록, 디스플레이 시스템을 통해 상기 가상 피쳐를 상기 배경에 오버레이하는 단계와,
    상기 배경을 비추도록 구성된 물리적 조명의 작동 파라미터를 나타내는 피드백을 센서로부터 수신하는 단계와,
    가상 조명의 상태 - 상기 가상 조명의 상기 상태는 상기 가상 피쳐의 외관을 정의함 - 를 나타내는 추가적인 피드백을 컨트롤러에서 수신하는 단계와,
    상기 컨트롤러를 통해, 상기 물리적 조명의 상기 작동 파라미터를 나타내는 상기 피드백에 기초하여 상기 가상 피쳐의 상기 외관을 업데이트된 외관으로 조정하는 것 및/또는 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백에 기초하여 상기 물리적 조명의 상기 작동 파라미터를 조정하는 것을 수행하는 단계를 포함하는,
    방법.
11. 제10항에 있어서,
    상기 물리적 조명에 연결되는 액츄에이터를 통해, 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백의 수신에 응답하여 상기 물리적 조명의 상기 작동 파라미터를 조정하는 단계를 더 포함하는,
    방법.
12. 제11항에 있어서,
    상기 작동 파라미터는 상기 배경에 대한 상기 물리적 조명의 위치 및/또는 상기 배경에 대한 상기 물리적 조명의 방향을 포함하는,
    방법.
13. 제10항에 있어서,
    가상 공간의 가상 스테이지에 상기 가상 피쳐를 렌더링하는 단계 - 상기 가상 스테이지는 상기 배경을 포함하는 물리적 스테이지에 대응하며, 상기 물리적 스테이지의 크기에 비례함 - 를 더 포함하는,
    방법.
14. 제10항에 있어서,
    상기 컨트롤러에 통신 가능하도록 연결되는 사용자 인터페이스로부터 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백을 수신하는 단계를 더 포함하는,
    방법.
15. 제10항에 있어서,
    상기 물리적 조명을 상기 물리적 조명에 고유한 식별자(identifier)와 관련시키는 단계 - 상기 물리적 조명은, 상기 배경을 비추도록 구성되고 각각의 식별자와 관련된 복수의 물리적 조명 중 제1 물리적 조명임 - 와,
    상기 제1 물리적 조명에서 결함 상태(fault condition)의 발생을 탐지하는 단계와,
    상기 발생 탐지에 대한 응답으로, 상기 디스플레이 시스템을 통해 상기 제1 물리적 조명과 관련된 식별자를 표시하는 단계를 더 포함하는,
    방법.
16. 증강 현실(AR) 시스템으로서,
    가상 피쳐를 사용자가 볼 수 있는 환경에 오버레이하도록 구성된 디스플레이 시스템과,
    상기 환경을 비추도록 구성된 물리적 조명과,
    상기 디스플레이 시스템 및 상기 물리적 조명에 통신 가능하도록 연결된 컨트롤러를 포함하되,
    상기 컨트롤러는,
    가상 조명 - 상기 가상 조명의 상태는 상기 가상 피쳐의 외관을 정의함 -을 갖는 가상 공간에 상기 가상 피쳐를 렌더링하고,
    상기 물리적 조명의 작동 파라미터를 나타내는 피드백에 기초하여 상기 가상 조명의 상기 상태를 조정하며,
    상기 가상 조명의 상기 상태를 나타내는 추가적인 피드백에 기초하여 상기 물리적 조명의 상기 작동 파라미터를 조정하는,
    시스템.
17. 제16항에 있어서,
    상기 작동 파라미터를 모니터링하도록 구성된 센서를 더 포함하되,
    상기 작동 파라미터는, 상기 환경에서의 상기 물리적 조명의 위치, 상기 환경에서의 상기 물리적 조명의 방향, 상기 물리적 조명에 의한 빛 출력의 빛깔, 상기 물리적 조명에 의한 빛 출력의 강도, 또는 이들의 조합을 포함하는,
    시스템.
18. 제16항에 있어서,
    사용자 인터페이스를 더 포함하되,
    상기 사용자 인터페이스는, 상기 사용자 인터페이스에서의 사용자 입력에 응답하여 상기 가상 조명의 상기 상태를 나타내는 상기 추가적인 피드백을 생성하도록 구성되는,
    시스템.
19. 제16항에 있어서,
    상기 디스플레이 시스템은 상기 사용자가 착용하도록 구성되는 헤드 마운트 디스플레이를 포함하는,
    시스템.
20. 제16항에 있어서,
    상기 가상 조명의 상기 상태는 상기 가상 피쳐의 명암, 채색, 빛깔 및/또는 하이라이트를 정의하는,
    시스템.

Images