KR102501599B1 - 뷰-기반 정지점 - Google Patents

Abstract

시뮬레이션된 현실 뷰-기반 정지점들에 대한 시스템들 및 방법들이 설명된다. 일부 구현예들은 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하는 것; 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 것; 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하는 것; 뷰가 뷰들의 세트의 멤버인 것에 적어도 기초하여, 정지점을 트리거하는 것; 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하는 것; 및 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하는 것을 포함할 수 있다.

Description

뷰-기반 정지점

본 개시내용은 시뮬레이션된 현실 뷰-기반 정지점에 관한 것이다.

머리-장착형 디스플레이들은 사용자들에게 가상 현실, 증강 현실, 및/또는 시뮬레이션된 현실 경험들을 제공하기 위해 사용된다. 디버깅 도구들은 컴퓨터 명령어 코드에서 에러들 - 종종 "버그(bug)"로 지칭됨 -을 추적하고 식별하기 위해 소프트웨어 개발자에 의해 사용된다. 디버깅 도구들은, 일반적으로, 코드의 라인을 정지점(breakpoint)과 연관된 것으로 특정함으로써, 개발자들이 소프트웨어 코드의 피스(piece)에 대한 정지점들을 특정하게 허용한다. 정지점에 대한 조건이 발생할 때(예를 들어, 소프트웨어의 실행 동안 코드의 특정된 라인에 도달함), 이어서 디버깅 도구는, 코드의 특정된 라인에서 소프트웨어의 실행을 일시정지시키는 것 및/또는 소프트웨어의 일시정지된 상태의 검사 및/또는 소프트웨어의 제어된 실행(예를 들어, 라인들 사이의 일시정지들을 이용하여 한번에 하나의 라인으로 코드를 스텝 스루(step through)하는 것)을 용이하게 하는 디버깅 인터페이스를 소프트웨어 개발자에게 제시하는 것과 같은 액션을 트리거할 수 있다.

시뮬레이션된 현실 뷰-기반 정지점들의 구현이 본 명세서에서 개시된다.

제1 양태에서, 본 명세서에 설명된 요지는 머리-장착형 디스플레이, 머리-장착형 디스플레이에 부착된 하나 이상의 모션 센서들을 포함하는 시스템들에서 구현될 수 있다. 시스템들은 프로세싱 장치를 포함하며, 프로세싱 장치는, 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하고; 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하고; 뷰가 정지점과 연관되는지 여부를 검출하고; 뷰가 정지점과 연관됨을 검출하는 것에 적어도 기초하여, 정지점을 트리거하고 정지점과 연관된 디버그 액션을 수행하며; 그리고, 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 머리-장착형 디스플레이를 이용하여 계속 보여지고 하나 이상의 모션 센서들을 사용하여 수신된 입력에 응답할 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하도록 구성된다.

제2 양태에서, 본 명세서에 설명된 요지는, 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하는 단계; 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 단계; 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하는 단계; 뷰가 뷰들의 세트의 멤버인 것에 적어도 기초하여, 정지점을 트리거하는 단계; 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하는 단계; 및 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화(evolve)하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하는 단계를 포함하는 방법들에서 구현될 수 있다.

제3 양태에서, 본 명세서에 설명된 요지는 머리-장착형 디스플레이를 포함하는 시스템들에서 구현될 수 있다. 시스템은 프로세싱 장치를 포함하며, 프로세싱 장치는, 머리-장착형 디스플레이를 사용하여 제시되는 시뮬레이션된 현실 환경 내의 뷰를 결정하고; 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하고; 뷰가 뷰들의 세트의 멤버인 것에 적어도 기초하여, 정지점을 트리거하고; 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하며; 그리고 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하도록 구성된다.

제4 양태에서, 본 명세서에 설명된 요지는 비일시적 컴퓨터 판독가능 저장 매체에서 구현될 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 실행가능 명령어들을 포함할 수 있으며, 실행가능 명령어들은, 프로세서에 의해 실행될 때, 동작들의 수행을 용이하게 하고, 동작들은, 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하는 것; 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 것; 뷰가 정지점과 연관되는지 여부를 검출하는 것; 뷰가 정지점과 연관됨을 검출하는 것에 적어도 기초하여, 정지점을 트리거하는 것; 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하는 것; 및 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하는 것을 포함한다.

본 개시내용은 첨부 도면과 관련하여 읽을 때 하기의 상세한 설명으로부터 가장 잘 이해된다. 일반적인 관행에 따라, 도면들의 다양한 특징부들은 실척에 맞지 않음이 강조된다. 반대로, 다양한 특징부들의 치수는 명료함을 위해 임의적으로 확대 또는 축소된다.
도 1은 증강 현실 공간에서의 뷰-기반 정지점 사용 시나리오의 일 예의 예시이다.
도 2는 가상 현실 공간에서의 뷰-기반 정지점 사용 시나리오의 일 예의 예시이다.
도 3은 시뮬레이션된 현실 애플리케이션에서 뷰-기반 정지점들을 가능하게 하도록 구성된 시스템의 일 예의 블록도이다.
도 4는 시뮬레이션된 현실 애플리케이션에서 뷰-기반 정지점들을 가능하게 하도록 구성된 시스템의 일 예의 블록도이다.
도 5는 시뮬레이션된 현실 애플리케이션의 일 예의 블록도이다.
도 6은 뷰-기반 정지점을 가능하게 하기 위한 기법의 일 예의 흐름도이다.
도 7은 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하기 위한 기법의 일 예의 흐름도이다.
도 8은 정지점이 트리거되는 것에 응답하여 디버그 액션들을 수행하기 위한 기법의 일 예의 흐름도이다.
도 9는 정지점이 트리거되는 것에 응답하여 디버깅할 하나 이상의 가상 객체들을 식별하기 위한 기법의 일 예의 흐름도이다.

정지점들은 애플리케이션의 코드의 라인에 배치되거나 그렇지 않으면 그와 연관될 수 있으며, 이는 코드의 라인을 만날 시에 애플리케이션의 실행이 일시정지되게 하여, 소프트웨어 개발자가 코드 내의 에러들의 식별 및 제거를 용이하게 하기 위해 코드의 라인들을 스텝 스루하게 허용한다.

뷰-기반 정지점들은 시뮬레이션된 현실 애플리케이션을 디버깅하기 위해 구현될 수 있다. 사용자들은 정지점을 트리거할 시뮬레이션된 현실 애플리케이션에 의해 제시되는 시뮬레이션된 현실 환경의 뷰들의 세트를 (예를 들어, 가상 카메라의 위치들 및/또는 배향들의 범위의 관점들에서) 특정할 수 있다. 이것은, 예를 들어, 개발자들이 시뮬레이션된 현실 애플리케이션의 시뮬레이션된 현실 환경 내의 소정의 유리한 포인트들로부터의 버그들 또는 시각적 아티팩트들을 만나고, 문제들을 야기하고 있는 것을 보기 위해 그들의 코드를 스텝 스루하기를 원할 때 유용할 수 있다. 예를 들어, 사용자들은, 코드의 라인에 부가하여, 시뮬레이션된 현실 환경의 3차원 공간 내의 위치 및 영역을 설정할 수 있으며, 정지점은, 실행 동안 코드의 라인에 도달하는 것 및 사용자에게 제시되는 뷰가 정지점과 연관된 뷰들의 특정된 세트 내에 있는 것 둘 모두의 경우에 트리거될 수 있다.

뷰-기반 정지점들은 시뮬레이션된 현실 애플리케이션들에 대한 전통적인 디버깅 도구들에 비해 상당한 이점들을 제공할 수 있다. 전통적인 정지점의 경우, 이러한 디버깅 태스크는 상당히 더 어려울 수 있는데, 그 이유는, 예를 들어, 코드가 관심있는 정확한 유리한 지점으로부터 실행되고 있다는 것을 보장하기 위해 정지점을 생성할 때 개발자가 그들의 머리를 여전히 유지할 필요가 있을 수 있기 때문이다. 예를 들어, 애플리케이션 개발 시간이 감소될 수 있고, 그리고/또는 결과적인 시뮬레이션된 현실 애플리케이션들의 실패율이 감소될 수 있다.

물리적 설정

a. 물리적 설정은 사람들이 감지할 있고 그리고/또는 사람들이 전자 시스템들의 보조 없이 상호작용할 수 있는 세계를 지칭한다. 물리적 설정들(예를 들어, 물리적 숲)은 물리적 요소들(예를 들어, 물리적 나무들, 물리적 구조물들, 및 물리적 동물들)을 포함한다. 사람들은, 예를 들어 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 설정과 직접 상호작용 및/또는 감지할 수 있다.

시뮬레이션된 현실

a. 대조적으로, 시뮬레이션된 현실(SR) 설정은 사람들이 감지할 수 있고 그리고/또는 사람들이 전자 시스템을 통해 상호작용할 수 있는 전체적으로 또는 부분적으로 컴퓨터-생성된 설정을 지칭한다. SR에서, 사람의 움직임들의 서브세트가 모니터링되고, 이에 응답하여, SR 설정에서의 하나 이상의 가상 객체들의 하나 이상의 속성들은 하나 이상의 물리 법칙들을 지키는 방식으로 변경된다. 예를 들어, SR 시스템은 사람이 몇 걸음 앞으로 걷는 것을 검출하고, 이에 응답하여, 이러한 풍경과 소리가 물리적 설정에서 변하는 것과 유사한 방식으로 사람에게 제시되는 그래픽 및 오디오를 조정할 수 있다. SR 설정에서의 가상 객체(들)의 속성(들)에 대한 수정은 또한 움직임의 표현들(예를 들어, 오디오 명령어들)에 응답하여 이루어질 수 있다.

b. 사람은 촉각, 후각, 시각, 미각, 및 청각을 포함하는 자신의 감각들 중 임의의 하나를 사용하여 SR 객체와 상호작용하고 그리고/또는 이를 감지할 수 있다. 예를 들어, 사람은 다차원(예를 들어, 3차원) 또는 공간 청각적 설정을 생성, 및/또는 청각적 투명성을 가능하게 하는 청각 객체들과 상호작용하고 그리고/또는 감지할 수 있다. 다차원 또는 공간 청각적 설정들은 사람에게 다차원 공간에서 개별적인 청각적 소스들에 대한 인식을 제공한다. 청각적 투명성은 물리적 설정으로부터의 소리를, 컴퓨터-생성 오디오와 함께 또는 그것 없이 선택적으로 포함한다. 일부 SR 설정들에서, 사람은 오직 청각적 객체들과 상호작용하고 그리고/또는 감지할 수 있다.

가상 현실

a. SR의 일 예는 가상 현실(VR)이다. VR 설정은 감각들 중 적어도 하나에 대한 컴퓨터-생성 감각 입력들만을 포함하도록 설계되는 시뮬레이션된 설정을 지칭한다. VR 설정은 사람이 상호작용 및/또는 감지할 수 있는 다수의 가상 객체들을 포함한다. 사람은 컴퓨터-생성 설정 내의 사람의 액션들의 서브세트의 시뮬레이션, 및/또는 컴퓨터-생성 설정 내의 사람 또는 그의 존재의 시뮬레이션을 통해 VR 설정 내의 가상 객체들과 상호작용 및/또는 감지할 수 있다.

혼합 현실

a. SR의 다른 예는 혼합 현실(mixed reality, MR)이다. MR 설정은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 물리적 설정, 또는 그것들의 표현으로부터의 감각 입력들과 통합하도록 설계되는 시뮬레이션된 설정을 지칭한다. 현실 스펙트럼 상에서, 혼합 현실 설정은 한편으로의 VR 설정과, 다른 한편으로의 완전히 물리적 설정 사이에 존재하며, 둘 모두를 포함하지는 않는다.

b. 일부 MR 설정들에서, 컴퓨터-생성 감각 입력들은 물리적 설정으로부터의 감각 입력들의 변화에 적응할 수 있다. 또한, MR 설정들을 표현하기 위한 일부 전자 시스템들은 가상 객체들과 실제 객체들(이들은 물리적 설정 또는 이들의 표현으로부터의 물리적 요소들임) 사이의 상호작용을 인에이블하기 위하여 물리적 설정에 대한 배향 및/또는 위치를 모니터링할 수 있다. 예를 들어, 시스템은 움직임들을 모니터링하여 가상 식물이 물리적 빌딩에 대해 고정된 것처럼 보이도록 할 수 있다.

c. 증강 현실

i. 혼합 현실의 일 예는 증강 현실(AR)이다. AR 설정은 적어도 하나의 가상 객체가 물리적 설정, 또는 그것들의 표현 위에 중첩되는 시뮬레이션된 설정을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 설정의 표현들인, 물리적 설정의 이미지들 또는 비디오를 캡처하기 위한 적어도 하나의 이미지 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 불투명 디스플레이 상에 그 조합을 디스플레이한다. 사람은, 시스템을 사용하여, 물리적 설정의 이미지들 또는 비디오를 통해 간접적으로 물리적 설정을 보고, 물리적 설정 위에 중첩된 가상 객체들을 관찰한다. 시스템이 이미지 센서(들)를 사용하여 물리적 설정의 이미지들을 캡처하고, 이러한 이미지들을 사용하여 불투명 디스플레이 상에 AR 설정을 제시할 때, 디스플레이되는 이미지들은 비디오 패스-스루(pass-through)라고 불린다. 대안적으로, AR 설정을 디스플레이하기 위한 전자 시스템은 사람이 물리적 설정을 직접 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 사람이 시스템을 사용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 설정 내로 투영하는 투영 시스템을 포함할 수 있다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 사람이 시스템을 사용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하게 할 수 있다.

ii. 증강 현실 설정은 또한 물리적 설정의 표현이 컴퓨터-생성 감각 정보에 의해 변경되는 시뮬레이션된 설정을 지칭할 수 있다. 예를 들어, 물리적 설정의 표현의 일부가 그래픽적으로 변경되어(예를 들어, 확대됨), 변경된 부분이 여전히 대표성은 있지만 원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있다. 다른 예로서, 비디오 패스-스루를 제공함에 있어서, 시스템은 센서 이미지들 중 적어도 하나를 변경하여 이미지 센서(들)에 의해 캡처된 관점과 상이한 특정 관점을 부과할 수 있다. 부가적인 예로서, 물리적 설정의 표현은 그의 부분들을 그래픽적으로 모호하게 하거나 배제함으로써 변경될 수 있다.

d. 증강 가상

i. 혼합 현실의 다른 예는 증강 가상(augmented virtuality, AV)이다. AV 설정은 컴퓨터-생성 또는 가상 설정이 물리적 설정으로부터의 적어도 하나의 감각 입력을 포함시키는 시뮬레이션된 설정을 지칭한다. 물리적 설정으로부터의 감각 입력(들)은 물리적 설정의 적어도 하나의 특성의 표현들일 수 있다. 예를 들어, 가상 객체는 이미지 센서(들)에 의해 캡처된 물리적 요소의 색상을 취할 수 있다. 다른 예에서, 가상 객체는 이미지, 날씨-관련 센서, 및/또는 온라인 날씨 데이터를 통해 식별되는 바와 같이, 물리적 설정의 실제 날씨 조건들에 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무들 및 구조물들을 가질 수 있지만, 동물들은 물리적 동물들의 촬영된 이미지들로부터 정확하게 재현되는 특징들을 가질 수 있다.

하드웨어

많은 전자 시스템들은 개인이 다양한 SR 설정들과 상호작용하고 그리고/또는 이들을 감지할 수 있게 한다. 일 예는 머리 장착형 시스템들을 포함한다. 머리 장착형 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 디스플레이(예를 들어, 스마트폰)를 수용하도록 설계될 수 있다. 머리 장착형 시스템은 각각 이미지들/비디오를 촬영하고 그리고/또는 물리적 설정의 오디오를 캡처하기 위한 이미징 센서(들) 및/또는 마이크로폰들을 가질 수 있다. 머리 장착형 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 그를 통해 사람의 눈들로 지향되는 기판을 통합할 수 있다. 디스플레이는 LED들, OLED들, 디지털 광 프로젝터, 레이저 스캐닝 광원, 실리콘 액정표시장치, 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 투과될 수 있는 기판은 광 도파관, 광학 결합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전환될 수 있다. 다른 예에서, 전자 시스템은 투영-기반 시스템일 수 있다. 투영-기반 시스템은 이미지들을 개인의 망막 상으로 투영하기 위해 망막 투영을 사용할 수 있다. 대안적으로, 투영 시스템은 또한 가상 객체들을 물리적 설정 안에(예를 들어, 물리적 표면 상에 또는 홀로그래프로서) 투영할 수 있다. SR 시스템들의 다른 예들은 헤드 업 디스플레이들, 그래픽들을 디스플레이하는 능력을 갖는 자동차 앞유리들, 그래픽들을 디스플레이하는 능력을 갖는 창들, 그래픽들을 디스플레이하는 능력을 갖는 렌즈들, 헤드폰들 또는 이어폰들, 스피커 배열들, 입력 메커니즘들(예를 들어, 햅틱 피드백을 갖거나 갖지 않는 제어기들), 태블릿들, 스마트폰들, 및 데스크톱 또는 랩톱 컴퓨터들을 포함한다.

도 1은 증강 현실 공간에서의 뷰-기반 정지점 사용 시나리오(100)의 일 예의 예시이다. 사용자(110)는 머리-장착형 디스플레이(120)를 착용하고 있으며, 사용자가 서 있는 물리적 환경 상에 오버레이된 가상 객체들을 포함하는 시뮬레이션된 현실 환경의 그들의 뷰를 조정하도록 그들의 머리를 돌릴 수 있다. 시뮬레이션된 현실 환경에서의 사용자의 뷰의 방향은 광선(130)(예를 들어, 뷰의 중심을 통해 투영되는 광선)에 대응할 수 있다. 정지점과 연관된 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역(140)에 대응할 수 있다. 구역(140)은 정지점과 연관된 시뮬레이션된 현실 환경의 일부이다. 이러한 예에서, 구역(140)은 입방체이지만, 구역에 대한 다른 형상들(예를 들어, 구체 또는 불규칙적인 형상)이 특정될 수 있다. 예를 들어, 개발자가 관심있는 가상 객체는 구역(140) 내에 위치될 수 있다. 일부 구현예들에서, 구역(140)은 가상 객체에 중심을 둔 것으로 특정될 수 있다. 일부 구현예들에서, 구역(140)은 가상 객체의 체적으로서 특정될 수 있다.

예를 들어, 정지점은 사용자(110)가 정지점과 연관된 구역(140)과 상당히 교차하는 뷰 상에서 전체적으로 또는 부분적으로 조절될 수 있다. 일부 구현예들에서, 정지점의 조건은 구역(140)을 통과하는 뷰의 광선(130)으로서 특정될 수 있다. 예를 들어, 사용자(110)의 뷰가 정지점의 조건을 만족하는지 여부를 결정하는 것은 뷰의 광선(130)이 구역(140)을 통과하는지 여부를 결정하는 것을 포함할 수 있다. 광선(130)이 구역(140)을 통과하고 뷰-기반 조건이 만족될 때, 뷰-기반 조건이 정지점에 대한 유일한 조건이면 또는 정지점에 대한 다른 조건들(예를 들어, 코드의 지정된 라인에 도달함, 가상 객체의 상태에 대한 조건, 또는 사용자 입력)이 또한 충족되면, 정지점이 트리거될 수 있다. 일단 정지점이 트리거되면, 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것 및/또는 머리-장착형 디스플레이(120)를 사용하여 사용자(110)에게 디버그 인터페이스를 제시하는 것과 같은 하나 이상의 디버그 액션들이 수행될 수 있다.

일부 구현예들에서(도 1에 도시되지 않음), 광선(130)은 이러한 뷰-기반 조건을 검출하기 위한 더 많은 여유를 제공하기 위해 (예를 들어, 광선으로부터 광선에 중심을 둔 원추로) 확장될 수 있다. 구역(140)은 시뮬레이션된 현실 환경에서 0이 아닌 체적을 가질 수 있다. 일부 구현예들에서(도 1에 도시되지 않음), 광선(130)은 확장될 수 있고, 구역(140)은 시뮬레이션된 현실 환경 내의 일 지점으로 접혀질 수 있다.

도 2는 가상 현실 공간에서의 뷰-기반 정지점 사용 시나리오(200)의 일 예의 예시이다. 사용자의 아바타(210)는 시뮬레이션된 현실 환경을 통해 이동하고, 주어진 시간에 시뮬레이션된 현실 환경 내의 위치와 연관된다. 정지점과 연관된 뷰들의 세트는 구역(220) 및 중심 뷰잉 벡터(230) 및 각도들의 범위에 대응할 수 있다. 구역(220)은 시뮬레이션된 현실 환경에서 정의된다. 이러한 예에서, 구역(220)은 시뮬레이션된 현실 환경의 평면 내의 원에 대응한다. 예를 들어, 아바타(210)가 구역(220)으로 진입했는지 여부를 결정하기 위해, 더 높은 차원 가상 공간(예를 들어, 3차원 가상 공간) 내의 아바타의 위치가 구역(220)의 평면 상으로 투영될 수 있다. 구역(220)에 대한 다른 형상들(도 2에 도시되지 않음), 예컨대 평면 내의 정사각형, 원통형, 구, 입방체, 또는 불규칙한 형상이 특정될 수 있다.

시뮬레이션된 현실 환경의 어느 부분이 머리-장착형 디스플레이를 사용하는 사용자에게 제시되는 이미지들에서 나타날 것인지를 결정하는 주어진 시간에 아바타(210)의 위치로부터의 현재 뷰가 존재한다. 이러한 예에서, 뷰는 현재 뷰의 뷰잉 벡터(240)에 의해 특정된다. 예를 들어, 뷰잉 벡터(240)는 사용자에게 제시되는 뷰의 중심을 통해 광선에 평행할 수 있다. 예를 들어, 뷰잉 벡터(240)는 아바타의 위치로부터 포인팅될 수 있다. 예를 들어, 중심 뷰잉 벡터(230)는 구역(220)으로부터 관심있는 하나 이상의 가상 객체들을 향해 포인팅될 수 있다. 각도(250)는 중심 뷰잉 벡터(230)와 현재 뷰잉 벡터(240) 사이에서 결정되며, 뷰가 정지점과 연관된 뷰들의 세트의 멤버인지 여부를 평가하는 데 사용될 수 있다.

예를 들어, 아바타(210)가 정지점과 연관된 구역(220) 내에 위치되는 동안, 중심 뷰잉 벡터(230)와 실질적으로 정렬되는 아바타(210)와 연관된 뷰 상에서 정지점이 전체적으로 또는 부분적으로 조절될 수 있다. 예를 들어, 아바타(210)의 뷰가 정지점의 조건을 만족하는지 여부를 결정하는 것은 뷰의 위치(예를 들어, 아바타(210)의 위치)가 뷰들의 세트의 구역(220) 내에 있는지 여부를 결정하는 것; 뷰의 뷰잉 벡터(240)와 뷰들의 세트의 중심 뷰잉 벡터(230) 사이의 각도(250)를 결정하는 것; 및 각도(250)가 뷰들의 세트의 각도들의 범위 내에 있는지 여부를 결정하는 것을 포함할 수 있다. 이러한 뷰-기반 조건이 만족될 때, 뷰-기반 조건이 정지점에 대한 유일한 조건이면 또는 정지점에 대한 다른 조건들(예를 들어, 코드의 지정된 라인에 도달함, 가상 객체의 상태에 대한 조건, 또는 사용자 입력)이 또한 충족되면, 정지점이 트리거될 수 있다. 일단 정지점이 트리거되면, 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것 및/또는 머리-장착형 디스플레이를 사용하여 아바타(210)를 제어하는 사용자에게 디버그 인터페이스를 제시하는 것과 같은 하나 이상의 디버그 액션들이 수행될 수 있다.

도 3은 시뮬레이션된 현실 애플리케이션에서 뷰-기반 정지점들을 가능하게 하도록 구성된 시스템(300)의 일 예의 블록도이다. 시스템(300)은 프로세싱 장치(310), 데이터 저장 디바이스(320), 하나 이상의 모션 센서들(330), 머리-장착형 디스플레이(340), 및 프로세싱 장치(310)가 다른 컴포넌트들에 액세스할 수 있게 하는 상호연결부(370)를 포함한다. 시스템(300)은 머리-장착형 디스플레이(340)를 사용하여 사용자에게 디스플레이되는 시뮬레이션된 현실 애플리케이션의 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 소프트웨어에 대한 뷰-기반 정지점을 가능하게 하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(310)는 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))을 실행하도록 구성될 수 있다. 예를 들어, 시스템(300)은 도 6의 기법(600)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(300)은 도 7의 기법(700)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(300)은 도 8의 기법(800)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(300)은 도 9의 기법(900)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(300)은 머리-장착형 디스플레이 디바이스(예를 들어, 머리-장착형 디스플레이(120))의 일부로서 구현될 수 있다.

프로세싱 장치(310)는 데이터 저장 디바이스(320)에 저장된 명령어들을 실행하도록 동작가능할 수 있다. 일부 구현예들에서, 프로세싱 장치(310)는 명령어들이 실행되고 있는 동안 데이터 저장 디바이스(320)로부터 판독된 명령어들을 일시적으로 저장하기 위한 랜덤 액세스 메모리를 갖는 프로세서이다. 프로세싱 장치(310)는 단일 또는 다수의 프로세싱 코어들을 각각 갖는 단일 또는 다수의 프로세서들을 포함할 수 있다. 대안적으로, 프로세싱 장치(310)는 데이터를 조작하거나 프로세싱할 수 있는 다른 유형의 디바이스 또는 다수의 디바이스들을 포함할 수 있다. 예를 들어, 데이터 저장 디바이스(320)는 비휘발성 정보 저장 디바이스, 예컨대 하드 드라이브, 솔리드 스테이트 드라이브, 판독 전용 메모리 디바이스(ROM), 광학 디스크, 자기 디스크, 또는 비일시적 컴퓨터 판독가능 메모리와 같은 임의의 다른 적합한 유형의 저장 디바이스일 수 있다. 데이터 저장 디바이스(320)는 프로세싱 장치(310)에 의한 검색 또는 프로세싱을 위해 데이터를 저장할 수 있는 다른 유형의 디바이스 또는 다수의 디바이스들을 포함할 수 있다. 프로세싱 장치(310)는 상호연결부(370)를 통해 데이터 저장 디바이스(320)에 저장된 데이터에 액세스하고 이를 조작할 수 있다. 예를 들어, 데이터 저장 디바이스(320)는, 프로세싱 장치(310)에 의한 실행 시에 프로세싱 장치(310)로 하여금 동작들(예를 들어, 도 6의 기법(600)을 구현하는 동작들)을 수행하게 하는 프로세싱 장치(310)에 의해 실행가능한 명령어들을 저장할 수 있다. 일부 구현예들에서, 프로세싱 장치(310) 및 데이터 저장 디바이스(320)는 머리-장착형 디스플레이(340)에 부착된다.

하나 이상의 모션 센서들(330)은 머리-장착형 디스플레이(340)의 모션을 검출하도록 구성될 수 있다. 예를 들어, 하나 이상의 모션 센서들(330)은 하나 이상의 가속도계들, 자이로스코프들, 및/또는 자력계들을 포함할 수 있다. 일부 구현예들에서, 하나 이상의 모션 센서들(330)은 머리-장착형 디스플레이(340)에 부착된다. 일부 구현예들에서, 실제 공간 내의 머리-장착형 디스플레이(340)의 배향 및/또는 위치는 하나 이상의 모션 센서들(330)로부터의 센서 데이터 및/또는 이미지 센서로부터의 이미지들에 적어도 기초하여 (예를 들어, 시각적 관성 주행거리(visual inertial odometry; VIO)를 사용하여) 결정될 수 있다. 예를 들어, 머리-장착형 디스플레이(340)의 배향 및/또는 위치의 변화들은 사용자가 머리-장착형 디스플레이(340)를 사용하여 제시되는 시뮬레이션된 현실 애플리케이션의 시뮬레이션된 현실 환경의 뷰를 변화시키기 위한 제어 인터페이스로서 사용될 수 있다.

머리-장착형 디스플레이(340)는 머리-장착형 디스플레이(340)를 착용한 사용자로의 이미지들(예를 들어, 비디오 프레임들)의 제시를 가능하게 하도록 사용자의 눈들로 광을 지향시키도록 구성된 스크린, 렌즈, 또는 다른 유형의 광학 조립체를 포함한다. 머리-장착형 디스플레이는 체결 용품(예를 들어, 헤드밴드 또는 프레임)에 의해 사용자의 안면 상의 제위치에 유지될 수 있다. 일부 구현예들에서, 머리-장착형 디스플레이(340)의 스크린은 사용자의 눈들 바로 앞에 위치된다. 스크린은 불투명할 수 있고, 주변 환경의 사용자의 뷰를 가릴 수 있다. 그러한 구성은, 예를 들어, 몰입형 가상 현실 경험들을 제공하기 위해 사용될 수 있다. 일부 구현예들에서, 머리-장착형 디스플레이(340)는 사용자의 눈들 바로 앞에 위치되고 머리-장착형 디스플레이(340)의 스크린 또는 프로젝터로부터 사용자의 눈들로 광을 지향시키도록 구성되는 광학 조립체(예를 들어, 렌즈 및/또는 미러)를 포함한다. 광학 조립체는 또한 사용자 주위의 환경으로부터 사용자의 눈들로 광을 지향시킬 수 있다. 예를 들어, 광학 조립체는 투명 바이저의 내부 표면에 적용된 부분 반사형 편광 필름을 포함할 수 있다. 광학 조립체는 광학 결합기로서 기능할 수 있다. 예를 들어, 광학 조립체의 렌즈는 또한 사용자의 앞에 있는 환경으로부터의 광이 통과하여 사용자의 눈들에 도달하게 하고, 사용자가 자신의 앞을 보게 허용하면서, 머리-장착형 디스플레이(340)에 의해 제시된 이미지에 묘사된 시뮬레이션된 현실 환경의 객체들이 사용자의 앞의 물리적 환경의 뷰 상에 오버레이되게 할 수 있다. 일부 구현예들에서, 광학 조립체(예를 들어, 렌즈)의 투명도는 애플리케이션(예를 들어, 가상 현실 애플리케이션 또는 증강 현실 애플리케이션)에 적합하도록 조정될 수 있다.

예를 들어, 상호연결부(370)는 시스템 버스, 또는 유선 또는 무선 네트워크(예를 들어, 인체 영역 네트워크)일 수 있다.

프로세싱 장치(310)는 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))에 대한 뷰-기반 정지점들을 가능하게 하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(310)는 하나 이상의 모션 센서들(330)을 사용하여 캡처된 모션 데이터에 액세스하고, 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이(340)를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하도록 구성될 수 있다. 프로세싱 장치(310)는, 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하고, 뷰가 뷰들의 세트의 멤버인 것에 적어도 기초하여, 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(310)는, 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하도록 구성될 수 있다. 프로세싱 장치(310)는 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이(340)를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스(예를 들어, 시뮬레이션 프로세스(520))를 계속 실행하도록 구성될 수 있다. 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 위치 및 위치로부터 뷰잉 벡터에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응하며, 프로세싱 장치(310)는, 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하고; 뷰의 뷰잉 벡터와 뷰들의 세트의 중심 뷰잉 벡터 사이의 각도를 결정하며; 각도가 뷰들의 세트의 각도들의 범위 내에 있는지 여부를 결정함으로써, 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다(예를 들어, 도 2와 관련하여 설명된 바와 같음). 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 광선에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역을 통과하는 광선들의 세트에 대응하며, 프로세싱 장치(310)는 뷰의 광선이 뷰들의 세트의 구역을 통과하는지 여부를 결정함으로써, 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다(예를 들어, 도 1과 관련하여 설명된 바와 같음). 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 초점에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역에 대응하며, 프로세싱 장치(310)는 뷰의 초점이 뷰들의 세트의 구역 내에 있는지 여부를 결정함으로써 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다. 일부 구현예들에서, 프로세싱 장치(310)는, 정지점이 트리거되는 것에 응답하여, 뷰에 적어도 기초하여 광선 캐스팅(casting)에 의해 디버깅될 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하도록 구성된다. 프로세싱 장치(310)는 하나 이상의 식별된 객체들과 연관된 하나 이상의 프로세스들에 대해 디버그 액션을 수행하도록 구성될 수 있다.

정지점은 정지점을 트리거하기 위해 논리 함수(예를 들어, 논리 AND 함수)를 사용하여 태스트되고 함께 적용될 수 있는 다수의 트리거 조건들을 가질 수 있다. 예를 들어, 정지점은 (예를 들어, 위에서 설명된 바와 같이) 뷰-기반 트리거 조건을 가질 수 있고, 부가적인 트리거 조건을 가질 수 있으며, 정지점은 뷰-기반 트리거 조건 및 부가적인 트리거 조건 둘 모두가 만족될 때 트리거될 수 있다. 예를 들어, 프로세싱 장치(310)는, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스에서의 코드의 라인에 도달하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(310)는, 시뮬레이션된 현실 환경 내의 가상 객체의 상태가 만족되는 것 및 뷰가 동시에 정지점과 연관되는 것에 대한 조건에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(310)는 머리-장착형 디스플레이(340)의 사용자에 의한 액션을 검출하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다.

프로세싱 장치(310)는 다양한 디버그 특징들을 제공하기 위해 정지점이 트리거되는 것에 응답하여 하나 이상의 디버그 액션들을 수행하도록 구성될 수 있다. 일부 구현예들에서, 디버그 액션은 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것을 포함한다. 예를 들어, 프로세싱 장치(310)는 일시정지된 프로세스와 연관된 객체의 시각적 표현을 생성하고, 머리-장착형 디스플레이(340)를 사용하여, 프로세스가 일시정지되는 동안 시뮬레이션된 현실 환경 내의 시각적 표현을 계속 제시하도록 구성될 수 있다. 일부 구현예들에서, 디버그 액션은, 머리-장착형 디스플레이(340)를 사용하여, 머리-장착형 디스플레이(340)의 사용자가 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 (예를 들어, 소프트웨어 내의 코드의 라인들의 해상도에서의) 실행을 제어할 수 있게 하는 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를 제시하는 것을 포함한다. 예를 들어, 디버그 제어 인터페이스는 사용자가 일시정지, 재개, 스텝-인(step-into), 스텝-오버(step-over), 및 스텝-아웃(step-out)으로 이루어진 기능들의 세트로부터 적어도 하나의 기능을 선택할 수 있게 할 수 있다. 예를 들어, 디버그 제어 인터페이스는, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 제어하기 위해, 사용자가 스텝-인 커맨드, 스텝-오버 커맨드, 스텝-아웃 커맨드, 계속 커맨드, 및/또는 일시정지 커맨드를 발행할 수 있게 하는 아이콘들을 포함할 수 있다. 일부 구현예들에서, 디버그 액션은, 머리-장착형 디스플레이(340)를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 코드를 제시하는 것을 포함한다. 코드의 카피(예를 들어, 코드의 신택스 색상-코딩된 카피)를 제시하는 것은 머리-장착형 디스플레이(340)를 착용한 사용자에 의한 코드의 디버깅을 용이하게 할 수 있다. 일부 구현예들에서, 디버그 액션은, 머리-장착형 디스플레이(340)를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 상태 변수들의 값들을 제시하는 것을 포함한다. 일부 구현예들에서, 디버그 액션은 시뮬레이션된 현실 환경 내의 가상 객체의 하나 이상의 파라미터들의 로그를 생성하는 것을 포함한다.

도 4는 시뮬레이션된 현실 애플리케이션에서 뷰-기반 정지점들을 가능하게 하도록 구성된 시스템(400)의 일 예의 블록도이다. 시스템(400)은 무선 통신 링크(425)를 통해 통신하는 머리-장착형 디스플레이(410) 및 컴퓨팅 디바이스(450)를 포함한다. 머리-장착형 디스플레이(410)는 하나 이상의 모션 센서들(412), 디스플레이(414), 무선 통신 인터페이스(416), (예를 들어, 머리-장착형 디스플레이(410)(도 4에 도시되지 않음) 내의 마이크로제어기 또는 다른 프로세싱 장치의 제어 하에서) 머리-장착형 디스플레이의 컴포넌트들이 정보를 교환할 수 있게 하는 상호연결부(418), 및 머리-장착형 디스플레이(410)를 착용하고 있는 사용자의 머리 상의 제위치에 머리-장착형 디스플레이(410)를 유지하도록 구성된 체결 용품(420)을 포함한다. 컴퓨팅 디바이스(450)는 프로세싱 장치(460), 데이터 저장 디바이스(470), 무선 통신 인터페이스(480), 사용자 인터페이스(490), 및 프로세싱 장치(460)가 컴퓨팅 디바이스(450)의 다른 컴포넌트들에 액세스할 수 있게 하는 상호연결부(494)를 포함한다. 컴퓨팅 디바이스(450)는 머리-장착형 디스플레이(410)를 착용한 사용자 부근에 위치될 수 있고, 머리-장착형 디스플레이(410)를 제어하기 위해 계산 태스크들을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스(450)는 사용자와 함께 방에 위치된 테이블 상의 스마트폰, 태블릿, 랩톱, 데스크톱 컴퓨터, 또는 어플라이언스(예를 들어, 스마트 텔레비전 또는 스마트 스피커)일 수 있거나, 또는 컴퓨팅 디바이스(450)는 사용자의 상이한 신체 부분 상에 착용된(예를 들어, 가슴에 착용된 조끼와 통합된) 다른 웨어러블 디바이스일 수 있다. 시스템(400)은 머리-장착형 디스플레이(410)를 착용한 사용자에 의한 디버깅을 용이하게 하기 위해 시뮬레이션된 현실 애플리케이션에 대한 뷰-기반 정지점들을 가능하게 하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(450)는 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))을 실행하도록 구성될 수 있다. 예를 들어, 시스템(400)은 도 6의 기법(600)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(400)은 도 7의 기법(700)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(400)은 도 8의 기법(800)을 구현하도록 구성될 수 있다. 예를 들어, 시스템(400)은 도 9의 기법(900)을 구현하도록 구성될 수 있다.

머리-장착형 디스플레이(410)는 하나 이상의 모션 센서들(412)을 포함한다. 하나 이상의 모션 센서들(412)은 머리-장착형 디스플레이(410)의 모션을 검출하도록 구성될 수 있다. 예를 들어, 하나 이상의 모션 센서들(412)은 하나 이상의 가속도계들, 자이로스코프들, 및/또는 자력계들을 포함할 수 있다. 하나 이상의 모션 센서들(412)은 머리-장착형 디스플레이(410)에 부착될 수 있다. 일부 구현예들에서, 실제 공간 내의 머리-장착형 디스플레이(410)의 배향 및/또는 위치는 하나 이상의 모션 센서들(412)로부터의 센서 데이터 및/또는 이미지 센서로부터의 이미지들에 적어도 기초하여 (예를 들어, 시각적 관성 주행거리(VIO)를 사용하여) 결정될 수 있다. 예를 들어, 머리-장착형 디스플레이(410)의 배향 및/또는 위치의 변화들은 사용자가 머리-장착형 디스플레이(410)를 사용하여 제시되는 시뮬레이션된 현실 애플리케이션의 시뮬레이션된 현실 환경의 뷰를 변화시키기 위한 제어 인터페이스로서 사용될 수 있다.

머리-장착형 디스플레이(410)는 디스플레이(414)를 포함한다. 디스플레이(414)는 이미지들을 제시하여, 디지털 이미지들을 디스플레이(414)로부터 투영된 광으로 변환하도록 구성될 수 있다. 디스플레이(414)는 가시 스펙트럼에서 광을 투영하는 픽셀들의 어레이를 사용하여 광을 투영할 수 있다. 디스플레이(414)는 머리-장착형 디스플레이(410)를 착용한 사용자로의 이미지들(예를 들어, 비디오 프레임들)의 제시를 가능하게 하도록 사용자의 눈들로 광을 지향시키도록 구성된 스크린, 렌즈, 또는 다른 유형의 광학 조립체를 포함할 수 있다. 예를 들어, 디스플레이(414)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이(예를 들어, OLED 디스플레이), 또는 다른 적합한 스크린과 같은 스크린을 포함할 수 있다. 예를 들어, 디스플레이(414)는 프로젝터를 포함할 수 있다. 일부 구현예들에서, 디스플레이(414)의 스크린은 사용자의 눈들 바로 앞에 위치된다. 스크린은 불투명할 수 있고, 주변 환경의 사용자의 뷰를 가릴 수 있다. 그러한 구성은, 예를 들어, 몰입형 가상 현실 경험들을 제공하기 위해 사용될 수 있다. 일부 구현예들에서, 디스플레이(414)는 사용자의 눈들 바로 앞에 위치되고 디스플레이(414)의 스크린 또는 프로젝터로부터 사용자의 눈들로 광을 지향시키도록 구성되는 광학 조립체(예를 들어, 렌즈 및/또는 미러)를 포함한다. 광학 조립체는 또한 사용자 주위의 환경으로부터 사용자의 눈들로 광을 지향시킬 수 있다. 예를 들어, 광학 조립체는 투명 바이저의 내부 표면에 적용된 부분 반사형 편광 필름을 포함할 수 있다. 광학 조립체는 광학 결합기로서 기능할 수 있다. 예를 들어, 광학 조립체의 렌즈는 또한 사용자의 앞에 있는 물리적 환경으로부터의 광이 통과하여 사용자의 눈들에 도달하게 하고, 사용자가 자신의 앞을 보게 허용하면서, 디스플레이(414)에 의해 제시된 이미지에 묘사된 시뮬레이션된 현실 환경의 객체들이 사용자의 앞의 물리적 환경의 뷰 상에 오버레이되게 할 수 있다. 일부 구현예들에서, 광학 조립체(예를 들어, 렌즈)의 투명도는 시뮬레이션된 현실 애플리케이션(예를 들어, 가상 현실 애플리케이션 또는 증강 현실 애플리케이션)에 적합하도록 조정될 수 있다.

머리-장착형 디스플레이(410)는 무선 통신 인터페이스(416)를 포함한다. 무선 통신 인터페이스(416)는 컴퓨팅 디바이스(450)를 포함하는 다른 디바이스들과의 통신을 용이하게 한다. 예를 들어, 무선 통신 인터페이스(416)는 Wi-Fi 네트워크, 블루투스 링크, 또는 지그비 링크를 통한 통신을 용이하게 할 수 있다. 일부 구현예들에서, 무선 통신 인터페이스(416)는 시뮬레이션된 현실 환경의 뷰의 디스플레이(414)를 사용하는 제시를 호출하는 데이터 및/또는 명령어들을 컴퓨팅 디바이스(450)로부터 수신하는 데 사용될 수 있다. 일부 구현예들에서, 무선 통신 인터페이스(416)는 하나 이상의 모션 센서들(412)로부터 컴퓨팅 디바이스(450)로 센서 데이터를 송신하는 데 사용될 수 있다.

예를 들어, 상호연결부(418)는 시스템 버스, 또는 유선 또는 무선 네트워크(예를 들어, 인체 영역 네트워크)일 수 있다.

머리-장착형 디스플레이(410)는 체결 용품(420)을 포함한다. 체결 용품(420)은 사용자가 머리-장착형 디스플레이(410)를 착용하고 있을 때 사용자의 머리 상의 제위치에 머리-장착형 디스플레이(410)를 유지하도록 구성될 수 있다. 예를 들어, 체결 용품(420)은 헤드밴드를 포함할 수 있다. 예를 들어, 체결 용품(420)은, 사용자의 귀들에 놓이고 사용자의 눈 앞에 디스플레이(414)의 렌즈 또는 스크린을 유지하는 아암들을 갖는 프레임을 포함할 수 있다.

컴퓨팅 디바이스(450)는 프로세싱 장치(460)를 포함한다. 프로세싱 장치(460)는 데이터 저장 디바이스(470)에 저장된 명령어들을 실행하도록 동작가능할 수 있다. 일부 구현예들에서, 프로세싱 장치(460)는 명령어들이 실행되고 있는 동안 데이터 저장 디바이스(470)로부터 판독된 명령어들을 일시적으로 저장하기 위한 랜덤 액세스 메모리를 갖는 프로세서이다. 프로세싱 장치(460)는 단일 또는 다수의 프로세싱 코어들을 각각 갖는 단일 또는 다수의 프로세서들을 포함할 수 있다. 대안적으로, 프로세싱 장치(460)는 데이터를 조작하거나 프로세싱할 수 있는 다른 유형의 디바이스 또는 다수의 디바이스들을 포함할 수 있다. 예를 들어, 데이터 저장 디바이스(470)는 비휘발성 정보 저장 디바이스, 예컨대 하드 드라이브, 솔리드 스테이트 드라이브, 판독 전용 메모리 디바이스(ROM), 광학 디스크, 자기 디스크, 또는 비일시적 컴퓨터 판독가능 메모리와 같은 임의의 다른 적합한 유형의 저장 디바이스일 수 있다. 데이터 저장 디바이스(470)는 프로세싱 장치(460)에 의한 검색 또는 프로세싱을 위해 데이터를 저장할 수 있는 다른 유형의 디바이스 또는 다수의 디바이스들을 포함할 수 있다. 프로세싱 장치(460)는 상호연결부(494)를 통해 데이터 저장 디바이스(470)에 저장된 데이터에 액세스하고 이를 조작할 수 있다. 예를 들어, 데이터 저장 디바이스(470)는, 프로세싱 장치(460)에 의한 실행 시에 프로세싱 장치(460)로 하여금 동작들(예를 들어, 도 6의 기법(600)을 구현하는 동작들)을 수행하게 하는 프로세싱 장치(460)에 의해 실행가능한 명령어들을 저장할 수 있다.

컴퓨팅 디바이스(450)는 무선 통신 인터페이스(480)를 포함한다. 무선 통신 인터페이스(480)는 머리-장착형 디스플레이(410)를 포함하는 다른 디바이스들과의 통신을 용이하게 한다. 예를 들어, 무선 통신 인터페이스(480)는 Wi-Fi 네트워크, 블루투스 링크, 또는 지그비 링크를 통한 통신을 용이하게 할 수 있다. 무선 통신 인터페이스(480)는 머리-장착형 디스플레이(410)와 무선 통신 링크(425)를 확립하는 데 사용될 수 있다. 일부 구현예들에서, 무선 통신 인터페이스(480)는 머리-장착형 디스플레이(410)로부터 센서 데이터(예를 들어, 모션 센서 데이터)를 수신하는 데 사용될 수 있다. 일부 구현예들에서, 무선 통신 인터페이스(480)는 시뮬레이션된 현실 환경의 뷰의 디스플레이(414)를 사용하는 제시를 호출하는 데이터 및/또는 명령어들을 머리-장착형 디스플레이(410)로 송신하는 데 사용될 수 있다.

컴퓨팅 디바이스(450)는 사용자 인터페이스(490)를 포함한다. 예를 들어, 사용자 인터페이스(490)는 터치스크린 디스플레이를 포함할 수 있다. 예를 들어, 사용자 인터페이스(490)는 음성 커맨드들을 수신하도록 구성된 마이크로폰을 포함할 수 있다. 예를 들어, 사용자 인터페이스(490)는 손 제스처 커맨드들을 검출하도록 구성된 이미지 센서를 포함할 수 있다. 예를 들어, 사용자 인터페이스(490)는 키보드, 마우스, 조이스틱, 및/또는 다른 핸드헬드 제어기를 포함할 수 있다. 예를 들어, 사용자 인터페이스(490)는 사용자(예를 들어, 머리-장착형 디스플레이(410)를 착용한 사용자)가 컴퓨팅 디바이스(450) 상에서 실행되는 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))에 커맨드들(예를 들어, 디버그 커맨드들)을 입력할 수 있게 하고 그리고/또는 시뮬레이션된 현실 애플리케이션의 시뮬레이션된 현실 환경의 객체와 연관된 프로세스의 코드를 편집할 수 있게 할 수 있다.

예를 들어, 상호연결부(494)는 시스템 버스, 또는 유선 또는 무선 네트워크(예를 들어, 인체 영역 네트워크)일 수 있다.

프로세싱 장치(460)는 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))에 대한 뷰-기반 정지점들을 가능하게 하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(460)는 하나 이상의 모션 센서들(412)을 사용하여 캡처된 모션 데이터에 액세스하고, 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이(410)를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하도록 구성될 수 있다. 프로세싱 장치(460)는, 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하고, 뷰가 뷰들의 세트의 멤버인 것에 적어도 기초하여, 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(460)는, 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하도록 구성될 수 있다. 프로세싱 장치(460)는 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이(410)를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스(예를 들어, 시뮬레이션 프로세스(520))를 계속 실행하도록 구성될 수 있다. 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 위치 및 위치로부터 뷰잉 벡터에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응하며, 프로세싱 장치(460)는, 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하고; 뷰의 뷰잉 벡터와 뷰들의 세트의 중심 뷰잉 벡터 사이의 각도를 결정하며; 각도가 뷰들의 세트의 각도들의 범위 내에 있는지 여부를 결정함으로써, 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다(예를 들어, 도 2와 관련하여 설명된 바와 같음). 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 광선에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역을 통과하는 광선들의 세트에 대응하며, 프로세싱 장치(460)는 뷰의 광선이 뷰들의 세트의 구역을 통과하는지 여부를 결정함으로써, 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다(예를 들어, 도 1과 관련하여 설명된 바와 같음). 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 초점에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역에 대응하며, 프로세싱 장치(460)는 뷰의 초점이 뷰들의 세트의 구역 내에 있는지 여부를 결정함으로써 뷰가 뷰들의 세트의 멤버임을 검출하도록 구성된다. 일부 구현예들에서, 프로세싱 장치(460)는, 정지점이 트리거되는 것에 응답하여, 뷰에 적어도 기초하여 광선 캐스팅에 의해 디버깅될 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하도록 구성된다. 프로세싱 장치(460)는 하나 이상의 식별된 객체들과 연관된 하나 이상의 프로세스들에 대해 디버그 액션을 수행하도록 구성될 수 있다.

정지점은 정지점을 트리거하기 위해 논리 함수(예를 들어, 논리 AND 함수)를 사용하여 태스트되고 함께 적용될 수 있는 다수의 트리거 조건들을 가질 수 있다. 예를 들어, 정지점은 (예를 들어, 위에서 설명된 바와 같이) 뷰-기반 트리거 조건을 가질 수 있고, 부가적인 트리거 조건을 가질 수 있으며, 정지점은 뷰-기반 트리거 조건 및 부가적인 트리거 조건 둘 모두가 만족될 때 트리거될 수 있다. 예를 들어, 프로세싱 장치(460)는, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스에서의 코드의 라인에 도달하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(460)는, 시뮬레이션된 현실 환경 내의 가상 객체의 상태가 만족되는 것 및 뷰가 동시에 정지점과 연관되는 것에 대한 조건에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다. 예를 들어, 프로세싱 장치(460)는 머리-장착형 디스플레이(410)의 사용자에 의한 액션을 검출하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하도록 구성될 수 있다.

프로세싱 장치(460)는 다양한 디버그 특징들을 제공하기 위해 정지점이 트리거되는 것에 응답하여 하나 이상의 디버그 액션들을 수행하도록 구성될 수 있다. 일부 구현예들에서, 디버그 액션은 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것을 포함한다. 예를 들어, 프로세싱 장치(460)는 일시정지된 프로세스와 연관된 객체의 시각적 표현을 생성하고, 머리-장착형 디스플레이(410)를 사용하여, 프로세스가 일시정지되는 동안 시뮬레이션된 현실 환경 내의 시각적 표현을 계속 제시하도록 구성될 수 있다. 일부 구현예들에서, 디버그 액션은 머리-장착형 디스플레이(410)의 사용자가 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 (예를 들어, 소프트웨어 내의 코드의 라인들의 해상도에서의) 실행을 제어할 수 있게 하는 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를, 머리-장착형 디스플레이(410)를 사용하여 제시하는 것을 포함한다. 예를 들어, 디버그 제어 인터페이스는 사용자가 일시정지, 재개, 스텝-인, 스텝-오버, 및 스텝-아웃으로 이루어진 기능들의 세트로부터 적어도 하나의 기능을 선택할 수 있게 할 수 있다. 예를 들어, 디버그 제어 인터페이스는, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 제어하기 위해, 사용자가 스텝-인 커맨드, 스텝-오버 커맨드, 스텝-아웃 커맨드, 계속 커맨드, 및/또는 일시정지 커맨드를 발행할 수 있게 하는 아이콘들을 포함할 수 있다. 일부 구현예들에서, 디버그 액션은, 머리-장착형 디스플레이(410)를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 코드를 제시하는 것을 포함한다. 코드의 카피(예를 들어, 코드의 신택스 색상-코딩된 카피)를 제시하는 것은 머리-장착형 디스플레이(410)를 착용한 사용자에 의한 코드의 디버깅을 용이하게 할 수 있다. 일부 구현예들에서, 디버그 액션은, 머리-장착형 디스플레이(410)를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 상태 변수들의 값들을 제시하는 것을 포함한다. 일부 구현예들에서, 디버그 액션은 시뮬레이션된 현실 환경 내의 가상 객체의 하나 이상의 파라미터들의 로그를 생성하는 것을 포함한다.

일부 구현예들에서(도 4에 도시되지 않음), 시뮬레이션된 현실 애플리케이션(예를 들어, 도 5의 시뮬레이션된 현실 애플리케이션(500))에 대한 프로세싱은 머리-장착형 디스플레이(410) 내의 프로세싱 장치와 프로세싱 장치(460) 사이에 분산될 수 있다. 예를 들어, 시뮬레이션 프로세스(예를 들어, 시뮬레이션 프로세스(520))는 시뮬레이션된 현실 환경의 뷰에 대한 업데이트들에 대한 레이턴시를 감소시키기 위해 머리-장착형 디스플레이(410)의 프로세싱 장치 상에서 실행될 수 있는 반면, 시뮬레이션된 현실 환경 내의 객체들과 연관된 하나 이상의 프로세스들(예를 들어, 프로세스 A(530) 및 프로세스 B(532))은 객체들의 상태들을 업데이트하기 위해 프로세싱 장치(460) 상에서 실행될 수 있다. 일부 구현예들에서, 현실 단편(fragment)들(예를 들어, 현실 단편(540) 및 현실 단편(542))은 머리-장착형 디스플레이(410)와 컴퓨팅 디바이스(450) 사이에서 무선 통신 링크(425)를 통해 송신될 수 있다. 따라서, 머리-장착형 디스플레이(410)의 프로세싱 장치 및 프로세싱 장치(460)는, 시뮬레이션된 현실 애플리케이션을 실행하고 본 명세서에 설명된 기법들(예를 들어, 도 6의 기법(600))을 구현하는 컴퓨팅 디바이스(450)와 머리-장착형 디스플레이(410) 사이에 분산된 단일 프로세싱 장치로서 동작할 수 있다.

도 5는 시뮬레이션된 현실 애플리케이션(500)의 일 예의 블록도이다. 시뮬레이션된 현실 애플리케이션(500)은, 사용자가 머리-장착형 디스플레이(510)를 착용하고 있는 동안 보고 그리고/또는 상호작용할 수 있는 시뮬레이션된 현실 환경을 함께 구현하는 다수의 프로세스들을 포함한다. 시뮬레이션된 현실 애플리케이션(500)은 시뮬레이션된 현실 환경의 다양한 객체들을 조정하고, 시뮬레이션된 현실 환경의 뷰들을 생성하여 사용자에게 머리-장착형 디스플레이(510)를 사용하여 제시하는 시뮬레이션 프로세스(520)를 포함한다. 시뮬레이션된 현실 애플리케이션(500)은 시뮬레이션된 현실 환경의 객체들과 연관된 다수의 프로세스들을 포함한다. 이러한 예에서, 시뮬레이션된 현실 애플리케이션(500)은 하나 이상의 객체들(예를 들어, 바운싱 볼)과 연관될 수 있는 프로세스 A(530), 및 하나 이상의 객체들(예를 들어, 다른 사용자의 아바타)과 연관될 수 있는 프로세스 B(532)를 포함한다. 프로세스 A(530) 및 프로세스 B(532)는 그들 개개의 객체들의 상태를 유지할 수 있다. 프로세스 A(530) 및 프로세스 B(532)는 그들 개개의 객체들의 상태들의 업데이트들을 현실 단편(540) 및 현실 단편(542)으로서 시뮬레이션 프로세스(520)에 제공한다. 이어서, 시뮬레이션 프로세스(520)는 머리-장착형 디스플레이(510)를 사용하여 업데이트된 객체들을 사용자에게 제시할 수 있다.

예를 들어, 머리-장착형 디스플레이(510)는 머리-장착형 디스플레이(340) 또는 머리-장착형 디스플레이(410)를 포함할 수 있다.

시뮬레이션 프로세스(520)는 하나 이상의 스레드들을 포함할 수 있다. 예를 들어, 시뮬레이션 프로세스(520)는 시뮬레이션된 현실 환경 내의 객체들이 서로 어떻게 상호작용하는지를 결정하는 물리 엔진을 구현할 수 있다. 시뮬레이션 프로세스(520)는 현실 단편들(예를 들어, 현실 단편(540) 및 현실 단편(542)) 형태의 이들 객체들에 대응하는 프로세스들로부터 시뮬레이션된 현실 환경의 객체들에 대한 업데이트된 상태 정보를 수신할 수 있다. 예를 들어, 현실 단편(540) 및 현실 단편(542)은 프로세스간 인터페이스를 통해 시뮬레이션 프로세스(520)로 전달될 수 있다. 시뮬레이션 프로세스(520)는 머리-장착형 디스플레이(510)로부터 모션 데이터를 수신할 수 있고, 모션 데이터에 적어도 기초하여 뷰를 업데이트할 수 있다. 시뮬레이션 프로세스(520)는 사용자로의 제시를 위해 머리-장착형 디스플레이(510)로 전달될 수 있는 하나 이상의 이미지들(예를 들어, 사용자의 좌측 눈에 대한 이미지 및 사용자의 우측 눈에 대한 이미지)로서 시뮬레이션된 현실 환경의 뷰를 렌더링할 수 있다. 예를 들어, 뷰에 대한 렌더링된 이미지들은 상호연결부(예를 들어, 상호연결부(370))를 통해 머리-장착형 디스플레이(510)로 전달될 수 있다. 예를 들어, 뷰에 대한 렌더링된 이미지들은 무선 통신 링크(예를 들어, 무선 통신 링크(425))를 통해 머리-장착형 디스플레이(510)로 전달될 수 있다.

프로세스 A(530)는 하나 이상의 스레드들을 포함할 수 있다. 프로세스 A(530)는 가상 객체(예를 들어, 가상 북 또는 가상 바운싱 볼)의 상태를 유지하고 업데이트할 수 있다. 프로세스 B(532)는 하나 이상의 스레드들을 포함할 수 있다. 프로세스 B(532)는 가상 객체(예를 들어, 다른 사용자의 가상 폰 또는 아바타)의 상태를 유지하고 업데이트할 수 있다. 일부 사용 시나리오들에서, 프로세스 A(530)에 대한 정지점이 트리거될 때, 프로세스 A(530)가 일시정지되고 새로운 프로세스(도 5에 도시되지 않음)가 생겨나서, 프로세스 A(530)에 대한 디버그 제어 인터페이스를 시뮬레이션된 현실 환경 내의 새로운 가상 객체로서 제공한다. 프로세스 B(532)는 프로세스 A(530)가 정지점의 트리거링에 후속하여 디버깅되고 있는 동안 계속 정상적으로 실행될 수 있다. 시뮬레이션 프로세스(520)는 또한 머리-장착형 디스플레이(510)를 사용하여 시뮬레이션된 현실 환경을 사용자에게 제시하도록 계속 실행된다. 사용자는, 다른 사용자의 아바타와 같이, 도움이 될 수 있는 시뮬레이션된 현실 환경 내의 다른 객체들과 계속 상호작용하기 위한 옵션을 유지하면서, 시뮬레이션된 현실 환경 내로부터 프로세스 A(530)를 디버깅하도록 가능하게 될 수 있다.

도 6은 뷰-기반 정지점을 가능하게 하기 위한 기법(600)의 일 예의 흐름도이다. 기법(600)은 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하는 것(610); 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 것(620); 뷰가 정지점과 연관되어 있음을 검출하는 것(630); 뷰가 정지점과 연관되는 것에 적어도 기초하여, 정지점을 트리거하는 것(640); 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하는 것(650); 및 디버그 액션을 수행하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하는 것(660)을 포함한다. 예를 들어, 기법(600)은 도 3의 시스템(300)에 의해 구현될 수 있다. 예를 들어, 기법(600)은 도 4의 시스템(400)에 의해 구현될 수 있다.

기법(600)은 하나 이상의 모션 센서들(예를 들어, 하나 이상의 모션 센서들(330) 또는 하나 이상의 모션 센서들(412))을 사용하여 캡처된 모션 데이터에 액세스하는 것(610)을 포함한다. 예를 들어, 하나 이상의 모션 센서들은 하나 이상의 가속도계들, 자이로스코프들, 및/또는 자력계들을 포함할 수 있다. 일부 구현예들에서, 하나 이상의 모션 센서들은 머리-장착형 디스플레이(예를 들어, 머리-장착형 디스플레이(340) 또는 머리-장착형 디스플레이(410))에 부착된다. 일부 구현예들에서, 실제 공간 내의 머리-장착형 디스플레이의 배향 및/또는 위치는 하나 이상의 모션 센서들로부터의 센서 데이터에 적어도 기초하여 결정될 수 있다. 모션 데이터는 다양한 방식들로 액세스될 수 있다(610). 예를 들어, 센서 데이터는 상호연결부(예를 들어, 상호연결부(370))를 통해 센서로부터 또는 메모리로부터 직접 판독함으로써 액세스될 수 있다(610). 예를 들어, 센서 데이터는 통신 링크(예를 들어, 무선 통신 링크(425))를 통해 센서 데이터를 수신함으로써 액세스될 수 있다(610).

기법(600)은 모션 데이터에 적어도 기초하여, 머리-장착형 디스플레이(예를 들어, 머리-장착형 디스플레이(340) 또는 머리-장착형 디스플레이(410))를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 것(620)을 포함한다. 예를 들어, 머리-장착형 디스플레이를 착용한 사용자가 그들의 머리를 돌릴 때, 시뮬레이션된 현실 환경의 뷰는 시뮬레이션된 현실 환경 내에서 대응하는 양만큼 회전될 수 있다. 예를 들어, 머리-장착형 디스플레이를 착용한 사용자가 걸을 때, 시뮬레이션된 현실 환경의 뷰는 시뮬레이션된 현실 환경(예를 들어, 물리적 환경 상에 오버레이된 증강 현실 애플리케이션의 시뮬레이션된 현실 환경) 뷰의 위치(예를 들어, 사용자의 아바타의 위치)에 대해 대응하는 변화를 행함으로써 시프트될 수 있다. 일부 구현예들에서, 다른 입력들이 또한 시뮬레이션된 현실 환경의 뷰를 변화시키는 데 사용될 수 있다. 예를 들어, 조이스틱 또는 마우스 입력은 아바타 및 대응하는 뷰의 위치가 변화되게 할 수 있는 반면(예를 들어, 뷰에 대한 가상 카메라의 위치를 변화시킴), 동작 데이터는 뷰의 배향을 변화시키는 데 사용될 수 있다(예를 들어, 뷰에 대한 가상 카메라의 배향을 변화시킴). 예를 들어, 이미지 데이터는 (예를 들어, 시각적 관성 주행거리(VIO)를 사용하여 디스플레이 디바이스의 자세를 결정함으로써) 뷰를 결정(620)하기 위해 모션 데이터와 함께 사용될 수 있다.

기법(600)은 뷰가 정지점과 연관되는지 여부를 검출하는 것(630)을 포함한다. 예를 들어, 뷰가 정지점과 연관되는지 여부를 검출하는 것(630)은 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하는 것(630)을 포함할 수 있다. 뷰가 정지점과 연관된 뷰들의 세트의 멤버라는 것은 정지점에 대한 뷰-기반 트리거 조건일 수 있다. 정지점과 연관된 뷰들의 세트는 많은 방식들로 특정될 수 있다. 일부 구현예들에서, 뷰들의 세트는 (예를 들어, 도 2의 사용 시나리오(200)와 관련하여 설명된 바와 같이) 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응한다. 예를 들어, 도 7의 기법(700)은 뷰가 뷰들의 세트의 멤버임을 검출(630)하도록 구현될 수 있다. 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 광선(예를 들어, 아바타 또는 가상 카메라의 현재 위치로부터의 광선)에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역(예를 들어, 구역(140))을 통과하는 광선들의 세트에 대응하며, 뷰가 뷰들의 세트의 멤버임을 검출하는 것(630)은 뷰의 광선이 뷰들의 세트의 구역을 통과하는지 여부를 결정하는 것을 포함한다(예를 들어, 도 1의 사용 시나리오(100)와 관련하여 설명된 바와 같음). 일부 구현예들에서, 뷰는 시뮬레이션된 현실 환경 내의 초점에 대응하고, 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역에 대응하며, 뷰가 뷰들의 세트의 멤버임을 검출하는 것(630)은 뷰의 초점이 뷰들의 세트의 구역 내에 있는지 여부를 결정하는 것을 포함한다.

기법(600)은 뷰가 정지점과 연관되는 것에 적어도 기초하여(예를 들어, 뷰가 정지점과 연관된 뷰들의 세트의 멤버인 것에 적어도 기초하여), 정지점을 트리거하는 것(640)을 포함한다. 정지점은 뷰가 뷰들의 세트의 멤버인 것을 포함하는 하나 이상의 트리거링 조건들과 연관될 수 있다. 일부 구현예들에서, 뷰가 뷰들의 세트의 멤버인 것은 정지점과 연관된 유일한 트리거링 조건이다. 일부 구현예들에서, 뷰가 뷰들의 세트의 멤버인 것은 정지점에 대한 다수의 트리거 조건들 중 하나일 수 있다. 정지점이 다수의 트리거 조건들을 갖는 경우, 트리거 조건들은 정지점을 트리거하기 위해 논리 함수(예를 들어, 논리 AND 함수)를 사용하여 테스트되고 함께 적용될 수 있다. 예를 들어, 정지점은 뷰-기반 트리거 조건 및 부가적인 트리거 조건 둘 모두가 만족될 때 트리거될 수 있다. 예를 들어, 정지점을 트리거하는 것(640)은 시뮬레이션된 현실 환경 내의 객체(예를 들어, 바운싱 볼)와 연관된 프로세스(예를 들어, 프로세스 A(530))에서의 코드의 라인에 도달하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하는 것을 포함할 수 있다. 예를 들어, 코드의 라인에 도달하는 것 및 뷰에 대한 조절은 사용자가 특정 뷰잉 시나리오들 동안 객체와 연관된 프로세스의 소정의 코드 섹션들의 성능을 조사하는 것을 도울 수 있다. 예를 들어, 정지점을 트리거하는 것(640)은, 시뮬레이션된 현실 환경 내의 가상 객체의 상태가 만족되는 것 및 뷰가 동시에 정지점과 연관되는 것에 대한 조건에 적어도 기초하여 정지점을 트리거하는 것을 포함할 수 있다. 예를 들어, 정지점을 트리거하는 것(640)은 머리-장착형 디스플레이의 사용자에 의한 액션(예를 들어, 사용자 인터페이스(490)를 통한 손 제스처 또는 버튼 누르기 입력)을 검출하는 것 및 뷰가 동시에 정지점과 연관되는 것에 적어도 기초하여 정지점을 트리거하는 것을 포함할 수 있다.

기법(600)은, 정지점이 트리거되는 것에 응답하여, 정지점과 연관된 디버그 액션을 수행하는 것(650)을 포함한다. 예를 들어, 디버그 액션은 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스(예를 들어, 프로세스 A(530))의 실행을 일시정지시키는 것 및/또는 프로세스의 디버깅을 용이하게 하기 위해 머리-장착형 디스플레이를 사용하여 사용자에게 디버그 제어 인터페이스를 제시하는 것을 포함할 수 있다. 다양한 디버그 특징들을 제공하기 위해 정지점이 트리거되는 것에 응답하여 하나 이상의 디버그 액션들이 수행될 수 있다(650). 예를 들어, 도 8의 기법(800)과 관련하여 설명된 액션들의 다양한 조합들이 디버그 액션을 수행(650)하도록 구현될 수 있다.

기법(600)은 디버그 액션을 수행(650)하는 동안, 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 머리-장착형 디스플레이를 이용하여 보여질 수 있게 하기 위해 시뮬레이션된 현실 환경의 시뮬레이션 프로세스(예를 들어, 시뮬레이션 프로세스(520))를 계속 실행하는 것(660)을 포함한다. 예를 들어, 사용자는, 시뮬레이션된 현실 환경 내의 다른 객체들(예를 들어, 다른 사용자에 대한 아바타)을 보고 그리고/또는 그와 상호작용하기 위해 시뮬레이션된 현실 애플리케이션에 의해 제공된 시뮬레이션된 현실 환경을 계속 사용하는 동안, 시뮬레이션된 현실 환경 내의 관심있는 특정 객체와 연관된 프로세스를 독립적으로 디버깅할 수 있게 될 수 있다. 예를 들어, 디버그 액션은 시뮬레이션된 현실 환경 내의 객체(예를 들어, 바운싱 볼)와 연관된 프로세스(예를 들어, 프로세스 A(530))의 실행을 일시정지시키는 것을 포함할 수 있으며, 프로세스가 디버깅을 위해 일시정지되는 동안, 다른 객체들(예를 들어, 아바타)에 대한 다른 프로세스들(예를 들어, 프로세스 B(532))은 계속 실행되어, 이들 다른 객체들과의 계속된 상호작용을 가능하게 할 수 있다.

도 7은 뷰가 정지점과 연관된 뷰들의 세트의 멤버임을 검출하기 위한 기법(700)의 일 예의 흐름도이다. 뷰는 시뮬레이션된 현실 환경 내의 위치 및 위치로부터의 뷰잉 벡터로서 특정될 수 있다. 뷰들의 세트는 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응할 수 있다. 기법(700)은 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하는 것(710); 뷰의 뷰잉 벡터와 뷰들의 세트의 중심 뷰잉 벡터 사이의 각도를 결정하는 것(720); 및 각도가 뷰들의 세트의 각도들의 범위 내에 있는지 여부를 결정하는 것(730)을 포함한다. 예를 들어, 기법(700)은 도 3의 시스템(300)에 의해 구현될 수 있다. 예를 들어, 기법(700)은 도 4의 시스템(400)에 의해 구현될 수 있다.

기법(700)은 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하는 것(710)을 포함한다. 예를 들어, 뷰의 위치는 머리-장착형 디스플레이를 착용한 사용자의 아바타의 위치 및/또는 사용자와 연관된 가상 카메라의 위치에 대응할 수 있다. 뷰의 위치는 시뮬레이션된 현실 환경(예를 들어, 3차원 공간인 시뮬레이션된 현실 환경) 내의 지점의 좌표들에 대응할 수 있다. 일부 구현예들에서, 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하는 것(710)은 뷰의 위치와 뷰들의 세트의 구역의 교차가 비어 있지 않은지 여부를 확인하는 것을 포함한다. 일부 구현예들에서, 뷰의 위치가 뷰들의 세트의 구역 내에 있는지 여부를 결정하는 것(710)은 뷰의 위치를 더 낮은 차원의 서브공간 상으로 투영하는 것 및 뷰의 위치의 투영과 뷰들의 세트의 구역의 교차가 비어 있지 않은지 여부를 확인하는 것을 포함한다. 예를 들어, 3차원 위치는 (예를 들어, 도 2의 사용 시나리오(200)와 관련하여 설명된 바와 같이) 뷰들의 세트의 구역이 특정되는 2차원 평면(예를 들어, 가상 플로어) 상으로 투영될 수 있다.

기법(700)은 뷰의 뷰잉 벡터와 뷰들의 세트의 중심 뷰잉 벡터 사이의 각도를 결정하는 것(720)을 포함한다. 예를 들어, 뷰잉 벡터는 머리-장착형 디스플레이를 사용하여 사용자에게 제시되는 뷰의 중심을 통해 광선에 평행할 수 있다. 예를 들어, 뷰잉 벡터는 뷰의 위치로부터 포인팅될 수 있다. 예를 들어, 중심 뷰잉 벡터는 뷰들의 세트의 구역으로부터 관심있는 하나 이상의 가상 객체들을 향해 포인팅될 수 있다. 기법(700)은 각도가 뷰들의 세트의 각도들의 범위 내에 있는지 여부를 결정하는 것(730)을 포함한다. 예를 들어, 각도의 크기가 임계치보다 작으면, 각도는 뷰들의 세트의 각도들의 범위 내에 있을 수 있다. 일부 구현예들에서, 뷰들의 세트의 중심 뷰잉 벡터와 뷰잉 벡터 사이의 2개의 각도들이 결정(720) 및 평가될 수 있다. 예를 들어, 2개의 벡터들 사이의 피치(pitch) 회전 및 요(yaw) 회전이 결정될 수 있으며(720), 피치 각도의 크기는 제1 임계치와 비교될 수 있고, 요 각도의 크기는 제1 임계치와 상이할 수 있는 제2 임계치와 비교될 수 있다. 예를 들어, 뷰의 위치가 구역 내에 있고 각도가 각도들의 범위 내에 있으면, 뷰는 정지점과 연관된 뷰들의 세트의 멤버로서 검출된다.

도 8은 정지점이 트리거되는 것에 응답하여 디버그 액션들을 수행하기 위한 기법(800)의 일 예의 흐름도이다. 기법(800)은 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것(810); 일시정지된 프로세스와 연관된 객체의 시각적 표현을 생성하는 것(820); 머리-장착형 디스플레이를 사용하여, 프로세스가 일시정지되는 동안 시뮬레이션된 현실 환경 내의 시각적 표현을 계속 제시하는 것(830); 머리-장착형 디스플레이를 사용하여, 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를 제시하는 것(840); 머리-장착형 디스플레이를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 코드를 제시하는 것(850); 머리-장착형 디스플레이를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 상태 변수들의 값들을 제시하는 것(860); 및 시뮬레이션된 현실 환경 내의 가상 객체의 하나 이상의 파라미터들의 로그를 생성하는 것(870)을 포함한다. 예를 들어, 기법(800)은 도 3의 시스템(300)에 의해 구현될 수 있다. 예를 들어, 기법(800)은 도 4의 시스템(400)에 의해 구현될 수 있다.

기법(800)은 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것(810)을 포함한다. 객체의 상태는 연관된 프로세스가 일시정지(810) 되는 동안 진화되는 것을 중지할 수 있다. 객체에 대한 프로세스의 실행을 일시정지시키는 것(810)은 머리-장착형 디스플레이(예를 들어, 머리-장착형 디스플레이(410))를 착용한 사용자(예를 들어, 소프트웨어 개발자)가 프로세스의 코드 및/또는 상태 변수들을 검사할 수 있게 할 수 있다. 예를 들어, 프로세스 A(530)는 프로세스 A(530)의 디버깅을 용이하게 하기 위해 일시정지될 수 있다(810).

기법(800)은 일시정지 프로세스(예를 들어, 프로세스 A(530))와 연관된 객체의 시각적 표현을 생성하는 것(820)을 포함한다. 예를 들어, 시뮬레이션된 현실 환경에 대한 시뮬레이션 프로세스(예를 들어, 시뮬레이션 프로세스(520))는, 프로세스가 일시정지(810)될 시에 (예를 들어, 현실 단편(540)에서 인코딩된 바와 같이) 객체에 대한 최신의 이용가능한 상태 정보에 적어도 기초하여 객체의 시각적 표현(예를 들어, 공중에서 일시정지된 바운싱 볼)을 생성할 수 있다(820). 기법(800)은 프로세스가 일시정지(810)되는 동안, 머리-장착형 디스플레이(예를 들어, 머리-장착형 디스플레이(340) 또는 머리-장착형 디스플레이(410))를 사용하여, 시뮬레이션된 현실 환경 내의 시각적 표현을 계속 제시하는 것(830)을 포함한다.

기법(800)은, 머리-장착형 디스플레이(예를 들어, 머리-장착형 디스플레이(340) 또는 머리-장착형 디스플레이(410))를 사용하여, 머리-장착형 디스플레이의 사용자가 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스(예를 들어, 프로세스 A(530))의 (예를 들어, 소프트웨어 내의 코드의 라인들의 해상도에서의) 실행을 제어할 수 있게 하는 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를 제시하는 것(840)을 포함한다. 예를 들어, 디버그 제어 인터페이스는 사용자가 일시정지, 재개, 스텝-인, 스텝-오버, 및 스텝-아웃으로 이루어진 기능들의 세트로부터 적어도 하나의 기능을 선택할 수 있게 할 수 있다. 예를 들어, 디버그 제어 인터페이스는, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 제어하기 위해, 사용자가 스텝-인 커맨드, 스텝-오버 커맨드, 스텝-아웃 커맨드, 계속 커맨드, 및/또는 일시정지 커맨드를 발행할 수 있게 하는 아이콘들을 포함할 수 있다. 일부 구현예들에서, 디버그 제어 인터페이스는 디버깅되고 있는 다른 프로세스에 대한 디버그 세션을 관리하도록 구성된 연관된 프로세스를 이용하여, 시뮬레이션된 현실 환경 내의 새로운 가상 객체로서 생겨날 수 있다. 이러한 예에서, 일시정지(810)된 프로세스가 디버깅되고 있다.

기법(800)은, 머리-장착형 디스플레이를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스(예를 들어, 프로세스 A(530))의 코드를 제시하는 것(850)을 포함한다. 예를 들어, 제시(850)된 코드의 카피는 코드의 신택스 색상-코딩된 카피일 수 있으며, 이는 머리-장착형 디스플레이를 착용한 사용자에 의한 코드의 디버깅을 용이하게 할 수 있다. 일부 구현예들에서, 코드는 일시정지(810)된 프로세스에 대해 제시(840)되는 디버그 제어 인터페이스의 일부에서 제시될 수 있다(850).

기법(800)은, 머리-장착형 디스플레이를 사용하여, 시뮬레이션된 현실 환경 내에서, 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스(예를 들어, 프로세스 A(530))의 상태 변수들의 값들을 제시하는 것(860)을 포함한다. 일부 구현예들에서, 상태 변수들의 값들은 일시정지(810)된 프로세스에 대해 제시(840)되는 디버그 제어 인터페이스의 일부에서 제시될 수 있다(860).

기법(800)은 시뮬레이션된 현실 환경 내의 가상 객체의 하나 이상의 파라미터들(예를 들어, 출력들 또는 내부 상태 변수들)의 로그를 생성하는 것(870)을 포함한다. 예를 들어, 로그는 하나 이상의 파라미터들의 시간 이력을 기록할 수 있고, 로그 내의 엔트리들은 개개의 타임 스탬프들을 포함할 수 있다. 예를 들어, 로그는 프로세싱 장치(310)의 메모리에 기입되고 그리고/또는 데이터 저장 디바이스(320)에 기입될 수 있다. 일부 구현예들에서, 로그의 전부 또는 일부(예를 들어, 가장 최근의 N개의 엔트리들)가 시뮬레이션된 현실 환경 내에서 머리-장착형 디스플레이를 사용하여 제시될 수 있다. 일부 구현예들에서, 로그 엔트리들은 일시정지(810)된 프로세스에 대해 제시(840)되는 디버그 제어 인터페이스의 일부에 제시될 수 있다.

도 9는 정지점이 트리거되는 것에 응답하여 디버깅할 하나 이상의 가상 객체들을 식별하기 위한 기법(900)의 일 예의 흐름도이다. 예를 들어, 디버깅할 하나 이상의 객체들은, 정지점이 트리거될 시의 뷰에 적어도 기초하여 선택될 수 있다. 기법(900)은, 정지점이 트리거되는 것에 응답하여, 뷰에 적어도 기초하여 광선 캐스팅에 의해 디버깅될 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하는 것(910); 및 하나 이상의 식별된 객체들과 연관된 하나 이상의 프로세스들에 대해 디버그 액션을 수행하는 것(920)을 포함한다. 예를 들어, 기법(900)은 도 3의 시스템(300)에 의해 구현될 수 있다. 예를 들어, 기법(900)은 도 4의 시스템(400)에 의해 구현될 수 있다.

기법(900)은, 정지점이 트리거되는 것에 응답하여, 뷰에 적어도 기초하여 광선 캐스팅에 의해 디버깅될 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하는 것(910)을 포함한다. 예를 들어, 머리-장착형 디스플레이를 사용하여 사용자에게 제시되는 뷰의 중심을 통해 투영되는 광선은 광선 캐스팅이 디버깅될 하나 이상의 객체들을 식별(910)하기 위해 사용될 수 있다. 광선이 시뮬레이션된 현실 환경 내의 가상 객체 상에 입사되면, 객체는 디버깅을 위해 식별될 수 있다(910). 일부 구현예들에서, 광선이 교차하는 가장 가까운 객체만이 식별된다(910). 일부 구현예들에서, 광선이 통과하는 다수의 객체들이 식별된다(910). 일부 구현예들에서, 뷰로부터 도출된 다수의 광선들은 디버깅을 위해 하나 이상의 객체들을 식별(910)하도록 캐스팅된다. 일부 구현예들에서, 사용자가 보는 객체를 식별(910)하기 위한 시선 검출이 있다.

기법(900)은 하나 이상의 식별된(910) 객체들과 연관된 하나 이상의 프로세스들에 대해 디버그 액션을 수행하는 것(920)을 포함한다. 예를 들어, 도 8의 기법(800)은 식별(910)되었던 객체들 중 하나 이상과 연관된 프로세스들에 대해 디버그 액션을 수행(920)하도록 구현될 수 있다. 디버그 액션들의 다른 조합들이 그러한 프로세스에 대해 수행될 수 있다. 일부 구현예들에서, 디버그 액션을 수행하는 것(920)은 식별(910)되었던 객체와 연관된 각각의 프로세스에 대해 별개의 디버거 프로세스를 생겨나게 하는 것을 포함한다.

본 명세서에 설명된 기법들(예를 들어, 도 6의 기법(600))은 다양한 디스플레이 하드웨어를 사용하여 제시되는 시뮬레이션된 현실 애플리케이션들에 대해 사용될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이 시뮬레이션된 현실 환경을 제시하는 데 사용되는 디스플레이는 머리-장착형 디스플레이, 스마트폰, 또는 시뮬레이션된 현실 애플리케이션을 실행하는 태블릿의 일부일 수 있다.

위의 개시내용의 구현예들 또는 구현예들의 부분들은, 예를 들어 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체로부터 액세스가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는, 예를 들어, 임의의 프로세서에 의해 또는 그와 관련하여 사용하기 위한 프로그램 또는 데이터 구조를 유형적으로 포함, 저장, 통신, 또는 전송할 수 있는 임의의 디바이스일 수 있다. 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 또는 반도체 디바이스일 수 있다. 다른 적합한 매체들이 또한 이용가능하다. 그러한 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는 비일시적 메모리 또는 매체로 지칭될 수 있고, 시간 경과에 따라 변할 수 있는 RAM 또는 다른 휘발성 메모리 또는 저장 디바이스들을 포함할 수 있다.

일부 구현예들은 시뮬레이션된 현실 애플리케이션들의 디버깅을 용이하게 하기 위해 데이터를 수집 및/또는 사용할 수 있다. 이러한 데이터가 특정 사람을 식별하는 개인 정보를 포함할 수 있는 것이 가능하다. 개인 정보의 예들은 이름들, 출생일들, 주소들, 전화 번호들, 위치들, 소셜 미디어 사용자명들 또는 다른 계정 사용자명들, 및/또는 생리학적 정보를 포함한다.

일부 구현예들에서, 이러한 유형의 정보의 사용은 본 명세서에 설명되는 시스템들 및 방법들의 사용을 향상시키는 데 유익할 수 있다. 예를 들어, 개인 정보는 증강 현실 애플리케이션들의 동작 및 디버깅을 향상시키기 위해 실제 환경 내의 위치들을 인식하는 데 사용될 수 있다.

잘 확립된 정책들 및 관례들은 개인 정보를 수집, 수신, 송신 및/또는 사용하는 것들에 의해 사용되어야 한다. 예를 들어, 산업 표준 관례들 및 보호들은 그러한 정보를 안전하게 유지하기 위해 충족되고 초과되어야 한다. 사용자들은 정보의 수집 및 사용 이전에 그리고 정책들 및 절차들이 변할 때마다 이들 정책들 및 절차들을 알게 되어야 한다. 이러한 정보에 대한 액세스는 부적절한 용도 및 우발적인 개시로부터 보호하도록 제한되어야 한다. 개인정보를 수집, 수신, 송신 및/또는 사용하는 것들은 또한 관련 관할구역들의 모든 법률들 및 규정들을 준수해야 하며, 이들 법률들 및 규정들이 국가마다 다를 것임을 인식한다.

본 명세서의 시스템들 및 방법들은 사용자들이, 예컨대 "동의(opt in)" 또는 "동의하지 않음(opt out)" 유형 시스템들에 의해 개인 정보의 사용을 제한하거나 차단하게 허용할 수 있다. 이러한 옵션들은 별개의 제어가 상이한 유형들의 정보의 사용들에 대해 제공되도록 사용자들에게 제공될 수 있다. 따라서, 상이한 허용되거나 금지된 사용들이 위치 데이터에 대해 그리고 사용자 식별 정보에 대해 특정될 수 있다.

인가되지 않은 개시 또는 사용의 위험들에 대처하기 위한 단계들이 취해져야 한다. 예들은 데이터 수집을 제한하는 것, 정보가 유지되는 시간 기간을 제한하는 것, 및 필요하지 않은 데이터를 삭제하는 것을 포함한다. 부가적으로, 일부 유형들의 개인 정보는 특정 사용자들로 그 정보를 연결시키지 않으면서 사용자들에 걸쳐 데이터를 집계하는 형태로 익명화되거나 저장될 수 있다.

부가적으로, 개인 정보가 본 명세서의 시스템들 및 방법들에서 사용될 수 있지만, 개인 정보는 임의의 구현예에 대해 요구되지 않으며, 그의 사용이 제거될 수 있다. 예를 들어, 일부 시뮬레이션된 현실 환경들 내의 뷰들은 비-개인 정보 데이터 또는 가장 기본적인 최소량의 개인 정보에 기초한 지리위치 데이터 없이 결정될 수 있다.

본 개시내용이 소정의 실시예들과 관련하여 설명되었지만, 본 개시내용이 개시된 실시예들로 제한되는 것이 아니라, 반대로, 첨부된 청구범위의 범주 내에 포함되는 다양한 수정들 및 등가의 배열들을 커버하도록 의도되며, 이 범위는 모든 그러한 수정들 및 등가의 구조들을 포함하도록 가장 넓은 해석이 부여되어야 한다는 것이 이해되어야 한다.

Claims (48)

1. 시스템으로서,
   디스플레이;
   상기 디스플레이에 부착된 하나 이상의 모션 센서들; 및
   프로세싱 장치를 포함하며,
   상기 프로세싱 장치는,
   상기 하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하고;
   상기 모션 데이터에 적어도 기초하여, 상기 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하고;
   상기 뷰가 정지점(breakpoint)과 연관되는지 여부를 검출하고;
   상기 뷰가 상기 정지점과 연관됨을 검출하는 것에 적어도 기초하여, 상기 정지점을 트리거하고, 상기 정지점과 연관된 디버그 액션을 수행하며; 그리고
   상기 디버그 액션을 수행하는 동안, 상기 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 상기 디스플레이를 이용하여 계속 보여지고 상기 하나 이상의 모션 센서들을 사용하여 수신된 입력에 응답할 수 있게 하기 위해 상기 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하도록 구성되는, 시스템.
2. 제1항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 위치로부터의 뷰잉 벡터(viewing vector)에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응하는 뷰들의 세트와 연관되며,
   상기 프로세싱 장치는,
   상기 뷰의 위치가 상기 뷰들의 세트의 상기 구역 내에 있는지 여부를 결정하고;
   상기 뷰의 상기 뷰잉 벡터와 상기 뷰들의 세트의 상기 중심 뷰잉 벡터 사이의 각도를 결정하며; 그리고
   상기 각도가 상기 뷰들의 세트의 상기 각도들의 범위 내에 있는지 여부를 결정함으로써,
   상기 뷰가 상기 정지점과 연관됨을 검출하도록 구성되는, 시스템.
3. 제1항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 광선에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역을 통과하는 광선들의 세트에 대응하는 뷰들의 세트와 연관되며,
   상기 프로세싱 장치는,
   상기 뷰의 상기 광선이 상기 뷰들의 세트의 상기 구역을 통과하는지 여부를 결정함으로써,
   상기 뷰가 상기 정지점과 연관됨을 검출하도록 구성되는, 시스템.
4. 제1항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 초점에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역에 대응하는 뷰들의 세트와 연관되며,
   상기 프로세싱 장치는,
   상기 뷰의 상기 초점이 상기 뷰들의 세트의 상기 구역 내에 있는지 여부를 결정함으로써,
   상기 뷰가 상기 정지점과 연관됨을 검출하도록 구성되는, 시스템.
5. 제1항에 있어서, 상기 정지점은 다수의 트리거 조건들을 가지며,
   상기 프로세싱 장치는,
   상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스에서의 코드의 라인에 도달하는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 적어도 기초하여 상기 정지점을 트리거하도록 구성되는, 시스템.
6. 제1항에 있어서, 상기 정지점은 다수의 트리거 조건들을 가지며,
   상기 프로세싱 장치는,
   상기 시뮬레이션된 현실 환경 내의 가상 객체의 상태가 만족되는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 대한 조건에 적어도 기초하여 상기 정지점을 트리거하도록 구성되는, 시스템.
7. 제1항에 있어서, 상기 정지점은 다수의 트리거 조건들을 가지며,
   상기 프로세싱 장치는,
   상기 디스플레이의 사용자에 의한 액션을 검출하는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 적어도 기초하여 상기 정지점을 트리거하도록 구성되는, 시스템.
8. 제1항에 있어서, 상기 프로세싱 장치는,
   상기 정지점이 트리거되는 것에 응답하여, 상기 뷰에 적어도 기초하여 광선 캐스팅(ray casting)에 의해 디버깅될 상기 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하며; 그리고
   상기 하나 이상의 식별된 객체들과 연관된 하나 이상의 프로세스들에 대해 상기 디버그 액션을 수행하도록 구성되는, 시스템.
9. 제1항에 있어서, 상기 디버그 액션은 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것을 포함하는, 시스템.
10. 제9항에 있어서, 상기 프로세싱 장치는,
    상기 일시정지된 프로세스와 연관된 상기 객체의 시각적 표현을 생성하며; 그리고
    상기 디스플레이를 사용하여, 상기 프로세스가 일시정지되는 동안 상기 시뮬레이션된 현실 환경 내의 상기 시각적 표현을 계속 제시하도록 구성되는, 시스템.
11. 제1항에 있어서, 상기 디버그 액션은, 상기 디스플레이의 사용자가 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 제어할 수 있게 하는 상기 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를 상기 디스플레이를 사용하여 제시하는 것을 포함하는, 시스템.
12. 삭제
13. 제1항에 있어서, 상기 디버그 액션은, 상기 디스플레이를 사용하여, 상기 시뮬레이션된 현실 환경 내에서, 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 코드를 제시하는 것을 포함하는, 시스템.
14. 삭제
15. 삭제
16. 제1항 내지 제11항 및 제13항 중 어느 한 항에 있어서, 상기 디스플레이는 머리-장착형 디스플레이인, 시스템.
17. 방법으로서,
    하나 이상의 모션 센서들을 사용하여 캡처된 모션 데이터에 액세스하는 단계;
    상기 모션 데이터에 적어도 기초하여, 디스플레이를 사용하여 제시된 시뮬레이션된 현실 환경 내의 뷰를 결정하는 단계;
    상기 뷰가 정지점과 연관되는지 여부를 검출하는 단계;
    상기 뷰가 상기 정지점과 연관됨을 검출하는 것에 적어도 기초하여, 상기 정지점을 트리거하는 단계;
    상기 정지점이 트리거되는 것에 응답하여, 상기 정지점과 연관된 디버그 액션을 수행하는 단계; 및
    상기 디버그 액션을 수행하는 동안, 상기 시뮬레이션된 현실 환경 내의 적어도 하나의 가상 객체의 상태가 계속 진화하고 상기 디스플레이를 이용하여 보여질 수 있게 하기 위해 상기 시뮬레이션된 현실 환경의 시뮬레이션 프로세스를 계속 실행하는 단계를 포함하는, 방법.
18. 제17항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 위치로부터의 뷰잉 벡터에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역 및 중심 뷰잉 벡터에 대한 각도들의 범위에 대응하는 뷰들의 세트와 연관되며,
    상기 뷰가 상기 정지점과 연관됨을 검출하는 단계는,
    상기 뷰의 위치가 상기 뷰들의 세트의 상기 구역 내에 있는지 여부를 결정하는 단계;
    상기 뷰의 상기 뷰잉 벡터와 상기 뷰들의 세트의 상기 중심 뷰잉 벡터 사이의 각도를 결정하는 단계; 및
    상기 각도가 상기 뷰들의 세트의 상기 각도들의 범위 내에 있는지 여부를 결정하는 단계를 포함하는, 방법.
19. 제17항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 광선에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역을 통과하는 광선들의 세트에 대응하는 뷰들의 세트와 연관되며,
    상기 뷰가 상기 정지점과 연관됨을 검출하는 단계는,
    상기 뷰의 상기 광선이 상기 뷰들의 세트의 상기 구역을 통과하는지 여부를 결정하는 단계를 포함하는, 방법.
20. 제17항에 있어서, 상기 뷰는 상기 시뮬레이션된 현실 환경 내의 초점에 대응하고, 상기 정지점은 상기 시뮬레이션된 현실 환경 내의 구역에 대응하는 뷰들의 세트와 연관되며,
    상기 뷰가 상기 정지점과 연관됨을 검출하는 단계는,
    상기 뷰의 상기 초점이 상기 뷰들의 세트의 상기 구역 내에 있는지 여부를 결정하는 단계를 포함하는, 방법.
21. 제17항에 있어서,
    상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스에서의 코드의 라인에 도달하는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 적어도 기초하여 상기 정지점을 트리거하는 단계를 포함하는, 방법.
22. 제17항에 있어서,
    상기 시뮬레이션된 현실 환경 내의 가상 객체의 상태가 만족되는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 대한 조건에 적어도 기초하여 상기 정지점을 트리거하는 단계를 포함하는, 방법.
23. 제17항에 있어서,
    상기 디스플레이의 사용자에 의한 액션을 검출하는 것 및 상기 뷰가 동시에 상기 정지점과 연관되는 것에 적어도 기초하여 상기 정지점을 트리거하는 단계를 포함하는, 방법.
24. 제17항에 있어서,
    상기 정지점이 트리거되는 것에 응답하여, 상기 뷰에 적어도 기초하여 광선 캐스팅에 의해 디버깅될 상기 시뮬레이션된 현실 환경 내의 하나 이상의 객체들을 식별하는 단계; 및
    상기 하나 이상의 식별된 객체들과 연관된 하나 이상의 프로세스들에 대해 상기 디버그 액션을 수행하는 단계를 포함하는, 방법.
25. 제17항에 있어서, 상기 디버그 액션은 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 일시정지시키는 것을 포함하는, 방법.
26. 제25항에 있어서,
    상기 일시정지된 프로세스와 연관된 상기 객체의 시각적 표현을 생성하는 단계; 및
    상기 디스플레이를 사용하여, 상기 프로세스가 일시정지되는 동안 상기 시뮬레이션된 현실 환경 내의 상기 시각적 표현을 계속 제시하는 단계를 포함하는, 방법.
27. 제17항에 있어서, 상기 디버그 액션은, 상기 디스플레이의 사용자가 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 실행을 제어할 수 있게 하는 상기 시뮬레이션된 현실 환경 내의 디버그 제어 인터페이스를 상기 디스플레이를 사용하여 제시하는 것을 포함하는, 방법.
28. 삭제
29. 제17항에 있어서, 상기 디버그 액션은, 상기 디스플레이를 사용하여, 상기 시뮬레이션된 현실 환경 내에서, 상기 시뮬레이션된 현실 환경 내의 가상 객체와 연관된 프로세스의 코드를 제시하는 것을 포함하는, 방법.
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제

Images