KR102390425B1

KR102390425B1 - 증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법

Info

Publication number: KR102390425B1
Application number: KR1020197016140A
Authority: KR
Inventors: 다윈 야마모토; 에반 무어; 이안 맥길리브레이; 존 베다드
Original assignee: 구글 엘엘씨
Priority date: 2016-12-05
Filing date: 2017-08-28
Publication date: 2022-04-25
Also published as: JP2020513625A; KR20190076034A; JP6633256B1; EP3792733A1; US10339723B2; CN109891367B; US10147243B2; US20190019348A1; DE202017105262U1; US20180158250A1; WO2018106299A1; EP3548989A1; CN109891367A; EP3548989B1

Abstract

증강 현실 및/또는 가상 현실 시스템에서, 가상 주석 표면들, 또는 가상 시트들 또는 가상 화이트 보드들은 검출된 제스처에 응답하여 구체화될 수 있다. 사용자는 가상 주석 표면에 주석을 달고, 조정하고, 저장하고, 검토하고 그리고 수정할 수 있으며, 현재 가상 환경 및/또는 다른 가상 환경 내 및/또는 가상 환경 외부에서 다른 사용자들과의 협업을 허용할 수 있다.

Description

증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2016년 12월 5일자로 출원된 미국 출원 번호 제15/369,620호의 연속으로, 우선권을 주장하며, 그 개시 내용은 그 전체가 본원에 참고로 포함된다.

이 문서는 일반적으로 증강 현실 및/또는 가상 현실 환경에서 제스처로 노트 테이크 표면들을 생성하는 것과 관련이 있다.

증강 현실(AR) 및/또는 가상 현실(VR) 시스템은 몰입형, 3차원(3D) 가상 환경을 생성할 수 있다. 사용자는, 예를 들어, 디스플레이 장치를 볼 때 사용자가 들여다보는 디스플레이, 안경 또는 고글들을 포함하는 헬멧 또는 다른 헤드 장착 장치, 제어기들, 조이스틱들 등과 같은 하나 이상의 휴대용 전자 디바이스, 센서, 키보드, 마우스 및 기타 전자 디바이스들이 장착된 장갑들과 같은, 다양한 전자 장치를 사용하여이 가상 환경에서 객체와 상호 작용할 수 있다.

일 양태로서, 방법은 HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하는 단계와; 상기 HMD 외부에서, 제1 제스처 입력을 검출하는 단계와; 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면(virtual notation surface)을 생성하는 단계와; 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하는 단계와; 상기 HMD의 외부에서, 다른 제스처 입력을 검출하고 그리고 상기 검출된 제스처 입력에 기초하여 상기 가상 표기면에 주석을 기재하는 단계와; 그리고 상기 가상 환경에서 주석이 기재된 가상 표기면을 가상 객체로서 디스플레이하는 단계를 포함할 수 있다.

다른 양태에서, 가상 현실 환경을 생성하도록 구성된 컴퓨팅 디바이스는 실행 가능한 명령어들을 저장하는 메모리 및 상기 명령들을 실행하도록 구성된 프로세서를 포함할 수 있다. 상기 명령어들은, 상기 컴퓨팅 디바이스로 하여금 HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하도록 하고; 상기 HMD의 외부에서, 제1 제스처 입력을 검출하도록 하고; 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하도록 하고; 상기 HMD의 외부에서, 제2 제스처 입력을 검출하도록 하고; 상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하도록 하고; 상기 HMD의 외부에서, 제3 제스처 입력을 검출하도록 하고; 상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하도록 하고; 그리고 상기 가상 환경에서 주석이 기재된 가상 표기면을 가상 객체로서 디스플레이하도록 할 수 있다.

다른 양태에서, 비 일시적인 컴퓨터 판독 가능 매체상에 구현되는 컴퓨터 프로그램 제품은, 일련의 명령어들을 저장한다. 프로세서에 의해 실행될 때, 상기 명령어들은 상기 프로세서로 하여금 방법을 실행하게하고, 상기 방법은, HMD(head mounted display) 디바이스의 디스플레이상에 가상 환경을 디스플레이하는 단계와; 상기 HMD의 외부에서, 제1 제스처 입력을 검출하는 단계와; 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하는 단계와; 상기 HMD의 외부에서, 제2 제스처 입력을 검출하는 단계와; 상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하는 단계와; 상기 HMD의 외부에서, 제3 제스처 입력을 검출하는 단계와; 상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하는 단계와; 그리고 상기 가상 환경에서 주석이 기재된 가상 표기면을 가상 객체로서 디스플레이하는 단계를 포함한다.

하나 이상의 구현들의 세부 사항들은 첨부된 도면들 및 이하의 설명에서 서술된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들로부터 명백할 것이다.

도 1은 여기에 서술된 구현들에 따른, 외부 입력 디바이스들과 통신하는 헤드 장착형 디스플레이를 포함하는 증강 및/또는 가상 현실 시스템의 예시적인 구현이다.
도 2a 및 도 2b는 여기에 서술된 구현들에 따른, 예시적인 헤드 장착형 디스플레이 장치의 사시도이다.
도 3은 여기에 서술된 구현들에 따른. 증강 및/또는 가상 현실 시스템의 블록도이다.
도 4a 내지 도 4h는 여기에 서술된 구현들에 따른, 증강 및/또는 가상 현실 환경에서 검출된 사용자 제스처에 응답하여 가상 표기 면들을 구체화하기 위한 시스템을 도시한다.
도 5a 내지 도 5g, 도 6a 내지 도 6d 및 도 7a 내지도 7l은 여기에 서술된 구현들에 따른, 증강 및/또는 가상 현실 환경에서의 가상 표기면들의 주석 및 조작을 도시한다.
도 8은 여기에 서술된 구현들에 따른, 증강 및/또는 가상 현실 환경에서 가상 표기면을 구체화하는 방법의 흐름도이다.
도 9는 여기에 서술된 기술들을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 이동 컴퓨터 디바이스의 예를 도시한다.

예를 들어, HMD(head mounted display) 디바이스를 착용하는 증강 된 및 / 또는 가상 현실 환경에 잠긴 사용자는 다양한 다른 유형의 입력을 통해 가상 환경을 탐색하고 가상 환경과 상호 작용할 수있다. 이러한 입력들은, 예를 들어, HMD와 분리된 하나 이상의 전자 디바이스(들)의 조작 및/또는 HMD 자체의 조작 및/또는 손/팔 제스처들, 눈/머리 시선 등을 포함할 수 있다. HMD로부터 분리된 하나 이상의 전자 디바이스(들)의 상기 조작은, 예를 들어, 하나 이상의 전자 디바이스(들)에 대한 입력들, 하나 이상의 전자 디바이스(들)의 움직임들 및/또는 하나 이상의 전자 디바이스(들)의 위치의 변경을 결정할 수 있다. 일부 구현들에서, 전자 디바이스로의 입력은 상기 전자 디바이스의 입력 디바이스 또는 사용자 인터페이스를 통해 이루어질 수 있다. HMD의 상기 조작은, 예를 들어, HMD에 대한 입력의 제공을 포함할 수 있으며, HMD의 상응하는 입력 디바이스 또는 인터페이스를 통해 수행될 수 있다. 사용자는 HMD와 독립적으로 또는 HMD와 함께 다양한 전자 디바이스들을 조작하여 가상 환경에서 원하는 동작을 일으킬 수 있다. 가상 환경에 잠겨있는 동안, 사용자는, 예를 들어 스케치, 다이어그램 또는 다른 유형의 표기법의 형태로 정보를 기록할 필요가 있을 수 있으며, 현실 세계에서는 펜과 종이, 화이트 보드 등으로 수행될 수 있다. 유사한 방식으로 다양한 유형들의 정보를 시각적으로 표현할 수 있지만 가상 환경을 벗어나지 않고 기록하는 기능은 사용자의 가상 환경을 향상시킬 수 있다. 예를 들어, 2차원 스케치 및 다른 유형의 정보와 같은 정보를 가상 표면상에 캡처하는 이러한 능력은, 가상 환경에서의 다수의 사용자들 간의 협력을 용이하게 하여, 가상 환경에서의 사용자 경험을 더욱 향상시킬 수 있다.

여기에서 서술된 구현들에 따른 시스템 및 방법에서, 증강 및/또는 가상 현실 환경에 잠겨있는 사용자는 가상 환경 내에서 가상 표기면이 발생(예를 들어, 구체화되고, 생성)되도록 할 수 있다. 이 가상 표기면은 설정된 사용자 구현 제스처 또는 다른 유형의 입력 명령의 검출에 응답하여 가상 환경에서 생성될 수 있다. 상기 표기 표면은 예를 들어 음표, 스케치들 등과 같은 사용자 주석을 수신할 수 있으며, 이러한 주석들은, 예를 들어 컨트롤러, 가상 펜 또는 페인트 브러시, 손/손가락 등과 같은 가상 마킹 도구를 사용하여 가상 표기면의 사용자 조작에 응답하여 입력된다. 이러한 주석들은, 예를 들어, 2차원 가상 표면상의 2차원 스케치 또는 다른 음표들 또는 다른 유형들의 표시일 수 있으며, 현실 세계에서 유사한 유형의 정보를 기록할 필요가 있을 때 사용자가 따라할 수 있는 프로세스를 다소 모방한다. 가상 표면들 상에 수신된 주석들은 사용자 및/또는 후속 사용자에 의해 추후 참조를 위해 저장되고 그리고 남겨질 수 있으며, 사용자 및/또는 후속 사용자에 의해 갱신되고, 주석이 추가되고 그리고/또는 수정될 수 있다. 가상 표기면의 크기 및/또는 형상은 사용자 조작에 응답하여 조정될 수 있다. 이러한 가상 표기면들의 크기를 재조정 및/또는 다시 형상화하는 능력은 가상 표면들이 특정 가상 표식의 상대적으로 큰 입력 스케일에 적응되도록 할 수 있으며, 그리고 또한 주석의 입력 후에 가상 표기면의 크기 및/또는 스케일을 더 조정함으로써 개선된 입상성을 갖는 축소된 스케일로 가상 표면상에 결과적인 주석이 표시되게 할 수 있다.

도 1은 HMD(100)를 착용한 사용자의 3인칭 시점이다. 이러한 예시적인 3인칭 시점에서, 사용자는 증강/가상 현실 시스템이 동작 가능한 물리적 공간(400)에 있으며, HMD(100)의 디스플레이상에 디스플레이된 가상 장면을 보면서 가상 환경에 잠기게 된다. 가상 장면이 HMD(100) 내의 사용자에게 보여지는 동안, HMD(100)의 디스플레이 상에서 사용자에게 디스플레이된 가상 장면의 표현(500)이 간단하게 논의되고 설명하기 위해 도 1에 도시된다. 사용자는 HMD(100)와 동작 가능하게 결합될 수 있고 그리고 통신할 수 있는 하나 이상의 외부 컴퓨팅 디바이스들(200)과 상호 작용할 수 있다. 이는 외부 디바이스(들)(200)과 HMD(100) 사이의 통신 및 이들 간의 데이터 교환을 제공할 수 있다. 하나 이상의 외부 컴퓨팅 디바이스들(200)과 HMD(100)의 동작 가능 결합은, 예를 들어, 하나 이상의 외부 컴퓨팅 디바이스들(200)와 HMD(100) 사이의 통신 연결을 포함할 수 있다. 사용자 입력들이 외부 디바이스(들)(200)에 의해 수신됨에 따라, 사용자는 외부 디바이스(들)(200)에서 수신된 입력들에 기초하여 HMD(100)에 의해 생성된 가상 장면(500) 내의 가상 객체들과 상호 작용할 수 있다. 도 1에 도시된 예에서, HMD(100)와 동작 가능하게 결합된 외부 디바이스(200)는 휴대용 전자 디바이스(200) 또는 휴대용 제어기(200)이다. 일부 구현들에서, 다수의 휴대용 전자 디바이스(200), 예를 들어, 사용자의 제1 손에 의해 보유된 제1 제어기 및 사용자의 제2 손에 의해 보유된 제2 제어기는, HMD (100)에 의해 생성된 가상 환경의 가상 요소들과의 상호 작용을 위해 사용자에 의해 조작될 수 있다. 일부 구현들에서, 예를 들어, 마우스, 키보드, 조이스틱 등과 같은 다른 외부 디바이스들(200)은 HMD(100)에 동작 가능하게 결합되어 가상 환경에서의 상호 작용을 위한 사용자 입력을 수신할 수 있다. 일부 구현들에서, 시스템은, 예를 들어, 사용자의 팔 및/또는 손, 및/또는 다른 신체 부위와 같은, 다른 입력 디바이스들의 검출되고 추적된 위치 및/또는 방위에 기초하여 가상 환경에서의 상호 작용을 위한 사용자 입력들을 검출할 수 있다.

도 2a 및 도 2b는 사용자가 착용한 예시적인 HMD(100)의 사시도들이고, 도 3은 여기에서 서술된 구현들에 따른 예시적인 증강/가상 현실 시스템의 블록도이다. 도 2a 내지 도 2b 및 도 3은 본 명세서에 제시될 시스템 및 방법의 다양한 구현들의 설명에 따라 보다 상세하게 서술될 것이다.

이하, HMD(100) 외부에서 구현되는 설정된 제스처와 같은 설정된 제스처의 검출에 응답하여 가상 표기면들이 생성될 수 있는 구현들이 서술될 것이다. 이러한 가상 표기면들, 또는 이후의 간단한 가상 표면들은, 예를 들어, 휴대용 전자 디바이스와 같은 외부 디바이스들(200)을 사용하여 가상 표면들과의 사용자 상호 작용을 통해, 사용자에 의해 구현되는 다양한 조작들에 응답하여 크기 및/또는 형상 및/또는 표면 윤곽이 조정되도록 구성될 수 있다. 가상 표면들은, 예를 들어, 외부 디바이스들(200)을 통한 가상 표면들과의 사용자 상호 작용을 통해 사용자에 의해 적용된 가상 주석들을 수신하도록 구성될 수 있다. 가상 주석들은, 예를 들어, 텍스트, 스케치, 다른 가상 표기면들로부터 추출된 정보 및 사용자가 원하는 다른 유형의 주석들과 같은 형태로 가상 표면들에 적용된 임의의 유형의 표시들을 포함할 수 있다.

도 4a 내지 도 4e는 검출된 사용자 제스처에 응답하여 가상 표기면이 가상 환경에서 생성되는 예시적인 구현을 도시한다. 이 예에서, 사용자는 HMD(100)에 의해 생성된 가상 환경에 잠기고, 상기 HMD(100)는 한 쌍의 휴대용 전자 디바이스들 또는 제어기들(200A 및 200B)을 포함하는 외부 디바이스(들)(200)과 작동 가능하게 결합되어, 가상 환경에서의 가상 오브젝트, 요소, 특징 등과 사용자 상호 작용에 관련된 정보를 교환 할 수있다. 전술한 바와 같이, 다른 유형들의 외부 컴퓨팅 디바이스들이 예시적인 제어기들(200A 및 200B) 대신 또는 예시적인 제어기들(200A 및 200B)에 추가하여 HMD(100)와 동작 가능하게 결합될 수 있다.

도 4a는, 설명의 용이함을 위해, 예를 들어, HMD(100)의 디스플레이 상에 사용자에 의해 관측되고, 또한 예시된 사용자의 표현을 갖는 가상 장면(500) 및 가상 환경(500)을 도시한다. 이 예에서, 사용자는 HMD(100)를 착용하고, HMD(100)에 작동 가능하게 결합되거나 HMD(100)와 쌍을 이루는 제1 제어기 및 제2 제어기(200A 및 200B)를 유지하고 있다. 도 4a에 도시된 예에 도시된 가상 환경(500)을 경험하는 동안, 사용자는, 예를 들어, 가상 환경(500)을 경험하는 동안 관찰된 내용에 기초하여, 예를 들어, 나중에 참조를 위한 리마인더로서 텍스트 형태, 스케치 또는 다른 방식으로 메모를 작성하는 것이 유용하다는 것을 알 수 있어, 다른 사용자들과 공유할 정보를 기록한다.

일부 구현들에서, 가상 환경(500)은, 예를 들어, 상술한 바와 같은 HMD(100)의 디스플레이(140) 상에서, 실질적으로 HMD(100)의 경계들 내에서 사용자에게 디스플레이될 수 있다. 이러한 상황에서, 예를 들어, 필기면 상의 마킹 기구(예를 들어, 종이 위의 펜/연필, 화이트보드 상의 마커 등)를 사용하여, 노트들, 메시지 스케치들을 기록하는 전통적인 방법들은 실용적이지 않을 수 있는데, 이는 사용자가 가상 체험을 중단하고 그리고 일시적으로 가상 환경(500)을 떠나야할 수도 있기 때문이다. 여기에 서술된 구현들에 따르는 시스템 및 방법에서, 사용자는 가상 환경(500)에서 구체화되는 가상 표기면(또는, 간단히 말하면, 논의의 용이함을 위해 가상 표면)을 유발할 수 있다. 사용자는 가상 환경(500)을 떠나지 않고 예를 들어 텍스트, 스케치들 등과 같은 가상 표면에 주석을 달 수 있다. 주석된 가상 표면들은, 동일한 가상 환경(500) 및/또는 다른 가상 환경, 및/또는 가상 환경 외부에서, 사용자에 의해 그리고/또는 다른 사용자들에 의해 나중에 참조를 위해 저장 및 액세스될 수 있다. 주석된 가상 표면들, 및/또는 주석된 가상 표면들 상에 기록된 주석들은 단일 가상 표면상에 결합될 수 있고, 그리고/또는 다수의 가상 표면들은 가상적으로 연결되거나 결합되어 복합 가상 표면을 형성할 수 있다. 주석된 가상 표면들을 저장하고, 이후에 상기 저장된 가상 표면들을 액세스하고, 상이한 가상 표면들로부터 표기법들을 결합하고, 그리고/또는 다수의 가상 표면들을 결합하는 능력은, 현실 세계에서 협업 사용자가 따르는 프로세스를 다소 모방하여 사용자 생산성을 향상시키고 그리고 가상 환경을 향상시킬 수 있다. 이러한 방식으로, HMD (100)의 더욱 편리한 사용이 가능해진다. 또한, HMD(100) 자체와 함께 HMD(100)를 통해 디스플레이된 가상 환경(500)과의 개선된 상호 작용이 허용된다.

도 4b에 도시된 바와 같이, 가상 환경(500)에 잠겨있는 동안, 사용자는 설정된 제스처를 구현할 수 있다. 설정된 제스처는 시스템에 의해 검출될 수 있고, 가상 표면(600)을 구체화하기 위한 명령에 대응하는 제스처로서 시스템에 의해 인식될 수 있다. 도 4b에 도시된 예에서, 사용자는 제1 제어기 및 제2 제어기(200A, 200B)를 제1 위치로 설정 방식으로 가져갈 수 있고, 여기서, 제1 제어기 및 제2 제어기(200A, 200B)는 시스템에 의해 검출될 수 있는 설정 방식으로 위치된다. 도 4b에 도시된 예에서, 제1 제어기 및 제2 제어기(200A, 200B)는 설정 제스처의 개시로서 시스템에 의해 검출될 수 있는 설정 방식으로 정렬된다. 도 4b에 도시된 제1 위치는, 제1 제어기 및 제2 제어기(200A, 200B)의 제1 위치 배열의 일례에 불과하다. 제1 위치를 포함하는 설정 제스처는, 예를 들어, 사용자 선호들, 공장 설정들 등에 기초하여 제1 제어기 및 제2 제어기(200A 및 200B)의 다른 상대 위치들에 기초하여 설정되고 검출될 수 있다. 제1 제어기 및 제2 제어기(200A, 200B)가 제1 위치에 있으면, 사용자는 제어기들(200A, 200B) 중 하나 또는 둘 모두에, 예를 들어, 트리거 또는 버튼과 같은 조작 장치(205A, 205B)의 작동과 같은 입력을 제공할 수 있다. 이러한 제1 제스처 위치에서의 제1 제어기 및 제2 제어기(200A, 200B) 중 하나 또는 둘 모두의 조작 장치(205A, 205B)의 작동은 가상 표면(600)을 생성하기 위한 사용자 입력 명령으로서 시스템에 의해 검출될 수 있다. 일부 구현들에서, 제어기들(200A, 200B)의 상대적인 위치는, 제어기들(200A, 200B) 내의 위치/방위 센서에 의해, 그리고/또는 HMD(100) 내의 이미지 센서(들) 및/또는 시스템의 다른 컴포넌트들에 의해 검출될 수 있고, 그리고/또는 제어기들(200A, 200B) 내의 센서(들) 및 HMD(100) 내의 센서들 그리고 제1 제어기 및 제2 제어기(200A, 200B)의 위치 및 방향의 추적을 함께 제공하는 시스템의 다른 컴포넌트들에 의해 제공되는 데이터의 조합에 의해 검출될 수 있다.

사용자가 제어기들(200A, 200B)을 이격시키면(또는 서로로부터 멀어지게 하면), 제어기들(200A, 200B)의 움직임에 의해 정의된 대응하는 제스처 입력은 도 4b에 도시된 구현들에 따르는 제어기들(200A, 200B)의 움직임에 응답하여 HMD(100)에 의해 검출될 수 있다. 검출은, 예를 들어, 전술한 예에서와 같이 센서들의 사용에 의해 실행될 수 있다. 제스처 입력의 검출에 응답하여, 가상 표면(600)은 예를 들어, HMD(100)에 의해 가상 환경(500)에 디스플레이될 수 있다. 또한, 가상 표면 (600)은 도 4c 및 도 4d에 도시된 바와 같이, 예를 들어, 제어기들(200A, 200B)의 움직임이 가상 환경에 대해 실행된 사용자의 추가적인 제스처 또는 상호 작용으로서 검출되고 HMD(100)가 가상 표면(600)의 크기 조정을 실행하게 함으로써, 사용자가 제어기들(200A, 200B)을 계속 이동함에 따라 크기가 조절될 수 있다. 일부 구현들에서, 사용자는 제어기들(200A, 200B)이 계속 이동함에 따라 (예를 들어, 버튼 또는 트리거를 눌려진 상태로 유지함으로써) 작동 상태에서 하나 또는 두 개의 조작 장치(205A 및/또는 205B)를 계속 유지할 수 있고, 이는 사용자가 가상 표면(600)의 크기 및/또는 형상을 계속해서 조정하기를 원한다는 것을 나타낸다. 예를 들어 조작 장치(들)(205A, 205B)의 작동 해제를 검출함으로써, 사용자가 가상 표면(600)의 구체화를 원하는 크기 및/또는 형상으로 완료한 것을 검출하면, 가상 표면(600)은 도 4e에 도시된 바와 같이 텍스트, 스케치들(sketches) 등의 형태로 사용자 입력들을 수신할 준비가 될 수 있다. 이 예에서, 가상 표면(600)의 크기 및/또는 형상은, 조작 장치(들)(205A, 205B)의 작동 해제가 검출되는 지점에서 제1 제어기(200A)의 제2 위치 및 제2 제어기(200B)의 제2 위치에 기초하여 시스템에 의해 결정될 수 있다. 이러한 방식으로, 사용자는 HMD(100)에 의해 디스플레이된 가상 환경(500)과 쉽게 상호 작용할 수 있고, 가상 환경(500)과의 추가 상호 작용을 위한 가상 표면(600)을 디스플레이하게 한다. 따라서, HMD(100)의 쉽고 효과적인 사용이 가능해진다.

도 4a 내지 도 4e에서 도시된 예에서, 가상 표면(600)은 실질적으로 직사각형이다. 이것은 단순히 설명 및 예시를 용이하게 하기 위해 가상 표면(600)의 주변 형상의 단지 하나의 예일 뿐이다. 가상 표면(600)의 주변은 다른 형상에 의해 정의될 수 있고, 그리고 예를 들어, 도 4f 및 도 4g에 도시된 바와 같이 원들, 타원들, 삼각형들, 사다리꼴 등의 규칙적인 것일 수 있고 그리고/또는 예를 들어, 도 4h에서 도시된 바와 같이 불규칙한 주변부에 의해 정의될 수 있고, 그리고/또는 다른 주변들의 조합에 의해 정의될 수 있다. 일부 구현들에서, 가상 표면(600)의 주변 형상은, 예를 들어, 사용자 선호들 또는 공장 설정들에 기초하여 미리 설정될 수 있다. 일부 구현들에서, 가상 표면(600)의 주변 형상은, 예를 들어, 제1 위치에서 제어기들(200A 및 200B)에 의해 같은 가상 표면(600)을 생성할 때 사용자에 의해 선택될 수 있다. 일부 구현들에서, 가상 표면(600)의 주변 형상은, 가상 표면 (600)이 생성된 후에, 예를 들어, 가상 표면(600)의 주석 이전에, 또는 가상 표면 (600)의 주석 이후에, 또는 가상 표면(600)의 주석 전후 모두에서 조작되거나 변경될 수 있다.

도 4a 내지 도 4h에 도시된 예에서, 가상 표면(600)의 표면 윤곽은 단지 설명 및 예시의 용이함을 위해 실질적으로 평평한 평면에 의해 한정된다. 가상 표면 (600)의 표면 윤곽은, 예를 들어, 곡선 형상, 각진 형상 또는 접힌 형상 등과 같은 다른 윤곽에 의해 정의될 수 있으며, 그리고/또는 불규칙한 윤곽들로 정의될 수 있으며, 그리고/또는 상이한 등고선들의 조합에 의해 정의될 수 있다. 일부 구현들에서, 가상 표면(600)의 윤곽은 예를 들어 사용자 선호들 또는 공장 설정들에 기초하여 미리 설정될 수 있다. 일부 구현들에서, 가상 표면(600)의 윤곽은, 예를 들어, 제1 위치에서 제어기들(200A 및 200B)로 가상 표면(600)을 생성할 때 사용자에 의해 선택될 수 있다. 일부 구현들에서, 가상 표면(600)의 윤곽은, 가상 표면(600)이 생성된 후에, 예를 들어, 가상 표면(600)의 주석 이전에, 또는 가상 표면(600)의 주석 이후에, 또는 가상 표면(600)의 주석 전후 모두에서 조작되거나 변경될 수 있다.

일부 구현들에서, 사용자는, 마킹 도구, 예를 들어, 제어기들(200A, 200B) 중 하나 또는 둘 모두, 위치 및 방위가 시스템에 의해 추적되는 손/손가락, 또는 위치 및 방위가 시스템에 의해 추적되는 다른 지정된 마킹 도구를 사용하여 가상 표면(600)에 주석을 달 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 일단 가상 표면(600)이 구체화되고 주석들을 수신할 준비가 되면, 시스템은 가상 표면(600)에 적용될 주석들에 대응하는 제어기들(200A, 200B) 중 하나의 움직임을 검출할 수 있다. 일부 구현들에서, 예를 들어, 버튼 또는 트리거의 누름과 같은, 각각의 제어기 (200A, 200B)의 조작 장치(들)(205A, 205B) 중 하나의 사용자 작동과 같은 특정 초기화 동작은, 가상 표면(600)의 가상 마킹 및/또는 주석을 위해 각각의 제어기(200A, 200B)를 초기화 할 수 있다.

도 5a에 도시된 예에서, 제2 제어기(200B)의 조작 장치(205B)의 작동은 가상 표면(600)의 주석을 시작하도록 제2 제어기(200B)를 초기화할 수 있다. 도 5b에 도시된 바와 같이, 사용자는 조작 장치(205B)를 작동 상태로 유지하면서, 제2 제어기 (200B)를 이동시키거나 관절화하여 제2 제어기(200B)의 이동에 기초하여 가상 표면 (600)에 적용될 주석을 정의할 수 있다. 일부 구현들에서, 사용자가 조작 장치(205B)를 작동 상태로 유지하면서 원하는 패턴으로 제어기(200B)를 움직일 때 주석이 가상 표면(600) 상에 가상으로 표시될 수 있다. 일부 구현들에서, 주석은 조작 장치(205B)의 작동이 해제된 후에 가상 표면(600)상에 가상적으로 표시될 수 있다. 사용자는 가상 표면(600)의 주석을 위해 제어기(200B)를 초기화하기 위해 조작 장치(205B)를 다시 작동시키거나 누르고, 이후, 도 5c에 도시된 것처럼 가상 표면 (600)을 원하는 대로 더 주석 처리하기 위해 원하는 패턴 또는 윤곽으로 제어기 (200B)를 이동시킴으로써, 현재 디스플레이된 가상 표면(600)에 추가 주석을 달 수 있다. 도 5b 및 도 5c에 도시된 예에서, 제2 제어기(200B)는 가상 표면(600)에 주석을 달기 위해 작동되고 이동된다. 그러나, 전술한 바와 같이, 가상 표면(600)의 주석은 제1 제어기 (200A)의 작동 및 이동에 응답하여, 그리고/또는 제1 제어기 (200A) 및 제2 제어기 (200B) 모두의 작동 및 이동에 의해, 그리고/또는 제2 제어기(200A) 및/또는 제2 제어기(200B)에 부가하여 또는 대신에 다른 가상 마킹 도구의 작동 및 이동에 의해 수행될 수 있다.

일부 구현들에서, 사용자는, 가상 표면(600)이 전술한 방식으로 주석 달기 전 또는 후에, 가상 표면(600)의 크기 및/또는 모양 및/또는 방향을 조정하기를 원할 수 있다. 가상 표면(600)의 크기 및/또는 형상은, 예를 들어, 가상 표면(600)의 추가 가상 조작에 의해 조정될 수 있다. 예를 들어, 도 5d에 도시된 것처럼, 제1 제어기(200A)가 가상 표면(600)의 좌측 에지에 위치되고 그리고 제2 제어기(200B)가 가상 표면(600)의 우측 에지에 위치되면, 사용자는 제1 제어기(200A)의 조작 장치(205A) 및 제2 제어기(200B)의 조작 장치(205B)를 조작할 수 있고, 도 5c에 도시된 구성으로부터 도 5d에 도시된 구성으로 좌측 에지 및 우측 에지를 바깥으로 움직일 수 있다. 유사하게, 도 5e에 도시된 것처럼, 제1 제어기(200A)가 가상 표면(600)의 상부 에지에 위치되고 그리고 제2 제어기(200B)가 가상 표면(600)의 하부 에지에 위치되면, 사용자는 제1 제어기(200A)의 조작 장치(205A) 및 제2 제어기(200B)의 조작 장치(205B)를 조작할 수 있고, 도 5c 및 도 5d에 도시된 구성으로부터 상부 에지 및 하부 에지를 서로를 향해 움직일 수 있다. 사용자는, 가상 표면 (600)의 크기/형상에 대응하는 조정을 행하기 위해, 제어기들(200A, 200B) 중 하나를 가상 표면(600)의 에지에서의 제1 위치로부터 제2 위치로 작동 및 이동시킴으로써, 유사한 방식으로 가상 표면(600)의 에지들 중 단지 하나의 에지의 위치를 조정할 수 있다. 사용자는, 예를 들어, 조작 장치(205A, 205B)를 놓음으로써 크기 및/또는 모양의 조절을 종료할 수 있다.

전술한 바와 같이, 도 5a 내지 도 5e에 도시된 예시적인 가상 표면(600)의 주변 형상은, 논의와 설명을 쉽게 하기 위해 직사각형이다. 그러나, 다른 주변 형상에 의해 정의되는 가상 표면(600)의 크기 및/또는 형상은 도 5a 내지 도 5e에서 서술된 것과 유사한 방식으로 조정될 수 있다. 예를 들어, 도 5f에 도시된 바와 같이, 실질적으로 원형인 주변부에 의해 정의된 가상 표면(600)은 제1 제어기 및 제2 제어기(200A 및 200B)의 상대적인 이동에 따라 조정될 수 있고, 예를 들어, 크기가 증가되거나 그리고/또는 형상이 조정될 수 있다. 도 5g에 도시된 바와 같이, 불규칙한 형상의 주변부에 의해 정의된 가상 표면(600)은 제1 제어기 및 제2 제어기(200A, 200B)의 이동에 따라 조정될 수 있고, 예를 들어 크기가 감소되고 그리고/또는 형상이 조정될 수 있다.

일부 구현들에서, 가상 표면(600)의 크기 및/또는 형상의 조정은 또한 가상 표면(600)상의 주석의 크기 또는 스케일의 대응하는 조정을 야기할 수 있다. 예를 들어, 도 6a에 도시된 것처럼, 제1 제어기(200A)가 가상 표면(600)의 하부 코너에 위치되고 제2 제어기(200B)가 가상 표면(600)의 상부 코너에 위치되면, 사용자는 제1 제어기(200A)의 조작 장치(205A) 및 제2 제어기(200B)의 조작 장치(205B)를 작동시킬 수 있고, 그리고 가상 표면(600)의 크기 및 스케일과 가상 표면(600) 상에 수신된 주석을 비례적으로 감소시키도록 도 6a에 도시된 구성으로부터 도 6b에 도시된 구성으로 가상 표면(600)의 대향하는 하부 및 상부 코너들을 서로를 향해 이동시킬 수 있다. 가상 표면(600) 및 주석의 크기 및/또는 스케일의 증가는, 서로 멀어지는 방향으로, 예를 들어, 도 6b에 도시된 구성으로부터 도 6a에 도시된 구성으로 상대 모서리들을 이동시킴으로써 달성될 수 있다.

일부 구현들에서, 가상 표면(600)의 방향은 제1 제어기 및 제2 제어기(200A 및 200B)의 상대적인 움직임에 응답하여 조정될 수 있다. 도 6c에 도시된 예에서, 제1 제어기 및 제2 제어기(200A, 200B)의 상대 이동은 실질적으로 수직면에서 가상 표면(600)의 회전을 초래한다. 도 6d에 도시된 예에서, 제어기들(200A 및 200B)의 상대적인 이동은 실질적으로 수직면으로부터 실질적으로 수평면으로 가상 표면(600)의 배향을 변화시킨다. 수직면(600)의 배향의 다른 많은 변화들은 제1 제어기 및 제2 제어기(200A 및 200B)의 상대적인 이동에 응답하여 달성될 수 있다. 가상 표면(600)의 배향의 이러한 변화들은 가상 표면들이 상이한 주변 형상들에 의해 정의되거나 그리고/또는 상이한 표면 윤곽들을 갖는 이러한 방식으로 달성될 수 있다.

일부 상황들에서, 여러 사용자들 간에 액세스하고 공동 작업하기 위해 여러 가상 표면을 사용할 수 있으면 유용할 수 있다. 예를 들어, 제1 물리적 공간 내의 제1 사용자 A 및 제2 물리적 공간 내의 (또는 제1 사용자와의 제1 물리적 공간 내의) 제2 사용자 B는 도 7a에 도시된 바와 같이 공유된 가상 환경(550)에 잠길 수 있다. 도 7a에 도시된 예에서, 제1 사용자 A의 표현 및 제2 사용자 B의 표현이 단지 논의 및 설명의 용이함을 위해 공유된 가상 공간(550)에 도시되어 있다. 이 예에서, 제1 사용자 A는 제1 제어기 A1 및 제2 제어기 A2를 조작하고 있고, 그리고 제2 사용자는 제1 제어기 B1 및 제2 제어기 B2를 조작하고 있다. 다수의 가상 표기면들(600)(특히, 가상 표면(600A, 600B, 600C, 600D 및 600E))은, 액세스(access), 리뷰(review), 개정(revision), 협력(collaboration) 등을 위해 공유된 가상 환경 (550)에서 제1 사용자 A 및 제2 사용자 B에게 이용가능할 수 있다.

도 7b에 도시된 바와 같이, 제1 사용자 A (또는 제2 사용자 B)는, 예를 들어, 제어기들(A1, A2) 중 하나 또는 모두를 사용하여 가상 표면(600C)을 선택함으로써 리뷰를 위해 가상 표면들(600) 중 하나를 선택할 수 있다. 선택된 가상 표면 (600C)을 리뷰할 때, 제1 사용자 A는, 예를 들어, 도 5d 내지 도 5e 및 도 6a 내지 도 6b와 관련하여 상술된 방식으로 선택된 가상 표면(600C)을 확대할 수 있다. 제1 사용자 A는, 또한, 예를 들어, 도 5a 내지 도 5c와 관련하여 상술된 방식으로 가상 표면(600C)에 노트들, 스케치들 또는 다른 주석들을 추가할 수 있다.

제2 사용자 B는 제1 사용자 A에 의해 주석 처리된 가상 표면(600C)을 공유된 가상 환경(550)에서, 실질적으로 동시에, 또는 이후에 볼 수 있고, 그리고 가상 표면(600C)을 추가로 수정하거나 주석을 달 수도 있다. 예를 들어, 제1 사용자 A에 의해 남겨진 노트에 응답하여, 파크의 추가를 제안하면, 제2 사용자 B는 또한 도 7d에 도시된 바와 같이 파크 정보를 포함하는 가상 표면(600E)을 선택할 수 있다. 제2 사용자(B)는 도 7e에 도시된 바와 같이 가상 표면(600C)에 추가 주석을 달기 위해 가상 표면(600E)에 저장된 정보를 사용할 수 있다. 추가 주석된 가상 표면 (600C)은 공유 가상 공간(550)에서 실질적으로 실시간으로, 또는 도 7f에 도시된 바와 같이 저장 장치로부터 가상 표면(600C)에 액세스함으로써 나중에 제1 사용자 A에 의해 리뷰를 위해 사용될 수 있다.

가상 표기면들(600)은 구체화될 수 있고, 그리고 가상 노트들 및/또는 주석들 및/또는 스케치들은 도 4a 내지 4h, 5a 내지 5g, 6a 내지 6d 및 도 7a 내지 7f와 관련하여 상술한 방식으로 가상 표면(600) 상에서 제조, 조정 및 저장될 수 있고, 이는 현재 경험되고 있는 가상 환경과는 반드시 관련되지 않는다. 가상 표면 (600) 상에 저장된 가상 주석들은 저장될 수 있어, 현재의 가상 환경(500)의 외부 및/또는 다른 가상 환경에서, 그리고/또는 가상 환경에 잠기지 않을 때, 사용자 및/또는 협업을 위해 다른 사용자들에게 액세스 가능할 수도 있다.

일부 상황들에서, 예를 들어, 가상 표면들(600) 및/또는 가상 표면들(600) 상에 추가될 객체들과 같은 가상 객체들 또는 피처들은 가상 공간(550)에서 사용자의 가상 도달 범위 외부에 있을 수 있다. 유사하게, 일부 구현들에서, 사용자는, 예를 들어, 다른 작업들을 위해 근거리 가상 공간을 지우기 위해, 상대적으로 근거리 필드로부터 사용자로부터의 다른 가상 위치로, 예를 들어, 가상 표면들(600) 및/또는 다른 가상 객체들과 같은 가상 객체들 또는 피처들을 이동시키기 원할 수 있다. 일부 구현들에서, 가상 공간(500) 내의 상대적으로 멀리 떨어진 필드 위치로부터 가상 공간(500) 내의 비교적 가까운 필드 위치까지 그리고/또는 가상 공간(500) 내의 비교적 가까운 필드 위치로부터 상대적으로 먼 필드 위치까지, 가상 객체의 이러한 이동은, 실행될 동작에 대응하는 제스처의 검출에 응답하여 달성될 수 있다.

도 7g는 전술한 바와 같이 HMD(100)에 의해 생성된 가상 환경 및 가상 객체와 상호 작용하고 HMD(100) 내의 사용자에게 표시되는 물리적 공간에서의 사용자의 제3 자의 시점이다. 도 7g에 도시된 예에서, 사용자는 가상 표면(600)이 가상 환경에서, 예를 들어, 상술한 방식으로 생성되게 하고, 복수의 가상 객체들(700)이 가상 원거리 필드에 사용자에게 디스플레이된다. 가상 표면에 직접적으로 표시, 그리기 또는 쓰기를 하는 것 이외에, 또는 그 대신에, 사용자는, 예를 들어, 가상 표면 (600)에 추가되거나 가상 표면(600) 상에 포함될 하나 이상의 가상 객체들(700)을 선택함으로써 가상 표면(600)에 주석을 달거나 그리거나 마킹하거나, 그렇지 않으면 추가할 것을 선택할 수 있다.

상술한 바와 같이, 가상 객체들(700)은 먼 가상 필드에 있고, 사용자의 가상 도달 범위 외부에 있다. 가상 표면 (600) 상에 주석 또는 그리기 위해 가상 객체들(700) 중 하나를 선택하기 위해, 사용자는, 예를 들어, 휴대용 전자 디바이스(200)를 선택될 특정 가상 객체(700A)를 향해 배향시킴으로써 가상 객체(700)를 선택할 수 있다. 도 7g에 도시된 예에서, 휴대용 전자 디바이스(200)로부터 가상 객체(700A)로 향하는 가상 빔(201)은, 휴대용 전자 디바이스(200)의 방향이 가상 객체(700A)와의 가상 교차를 목표로하는 가상 시각 표시를 사용자에게 제공하도록 도시된다. 일부 구현들에서, 이것은, 예를 들어, 휴대용 전자 디바이스(200)의 방향의 타겟을 나타내는 커서 또는 점, 타겟된 가상 오브젝트의 외형의 하이라이트 또는 다른 변화와 같은 다른 방식들로 사용자에게 표시될 수 있다. 가상 객체 (700A)의 선택은, 예를 들어, 휴대용 전자 디바이스(200)의 조작 디바이스의 작동, 미리 설정된 임계 체류 시간보다 크거나 같은 가상 객체(700A)상의 체류 시간등에 기초하여 검출될 수 있다.

가상 객체(700A)가 선택되었음이 검출되면, 사용자는 선택된 가상 객체 (700A)의 원하는 움직임을 나타내는 제스처를 구현할 수 있다. 예를 들어, 사용자는, 선택된 가상 객체(700A)를, 예를 들어, 원거리 가상 필드로부터 근거리 가상 필드쪽으로 사용자에게 더 가까이 끌어 당기도록 도 7h에서 도시된 것처럼 회전 또는 꼬임 제스처를 구현하여 사용자가 선택된 가상 객체(700A)와 상호작용을 할 수 있도록 한다. 도 7h에 도시된 바와 같이, 사용자는 단순히 논의 및 예시의 용이함을 위해, 선택된 가상 객체 (700A)를 더 가까이에 그려 내기 위해 반 시계 방향 제스처를 구현한다. 그러나, 선택된 가상 객체(700A)가 사용자에 더 가까이 가도록하는 구현된 제스처는, 예를 들어, 시계 방향 이동 또는 제스처, 또는 사용자의 팔 및/또는 손의 움직임 또는 몸짓일 수 있고, 휴대용 전자 디바이스(200)를 사용자에 더 가깝게 유지하거나, 또는 다른 제스처들 및/또는 움직임들을 유지할 수 있다.

사용자는, 선택된 가상 객체(700A)가 가상 위치 또는 사용자가 원하는 위치에 있을 때까지, 예를 들어, 작동 위치에 있는 휴대용 전자 디바이스(200)의 조작 장치로, 예를 들어, 사용자의 팔/손 및 휴대용 전자 디바이스(200)의 회전 위치를 유지할 수 있다. 사용자는, 예를 들어, 선택된 가상 객체(700A)를 수직 및/또는 측 방향으로 이동시키기 위한 다른 추가 제스처들을 구현할 수 있다. 도 7i에 도시된 예에서, 사용자는 선택된 가상 객체를 원거리 가상 필드에서 근거리 가상 필드로 이동시키고, 그리고 선택된 가상 객체(700A)를 측 방향으로 이동시킴으로써, 가상 표면(600)에 선택된 가상 객체(700A)로 주석을 붙인다. 가상 표면(600)은 전술한 바와 같이 추가의 도면들, 객체들, 텍스트 등으로 추가로 주석될 수 있으며, 그리고/또는 도 7i에 도시된 사용자에 의해, 그리고/또는 전술한 바와 같은 공동 작업에서 다른 사용자에 의해, 전술한 바와 같이 크기 및/또는 형상 및/또는 윤곽이 조정될 수 있다.

가상 객체들은, 예를 들어, 유사한 방식으로 상대적으로 가까운 필드에서 상대적으로 먼 필드로 이동할 수 있다. 예를 들어, 가상 표면(600)의 주석 후에, 사용자는 새로운 작업을 위해 근거리 가상 필드의 공간을 클리어하기 위해 주석된 가상 표면(600)을 이동시키기를 원할 수 있다. 사용자는, 예를 들어, 상기에서 서술된 방식으로 도 7j에서 도시된 것처럼, 주석된 가상 표면(600), 가상 환경에서 선택된 가상 객체를 나타내는 가상 표면(600)을 선택할 수 있다. 가상 표면(600)이 선택 되었음이 검출되면, 사용자는 선택된 가상 표면(600)의 원하는 움직임을 나타내는 제스처를 구현할 수 있다. 예를 들어, 사용자는 도 7k에 도시된 바와 같이 회전 또는 꼬임 제스처를 구현하여, 선택된 가상 표면(600)을 사용자로부터 멀리, 가까운 가상 필드에서 먼 가상 필드를 향해 이동시킨다. 도 7k에 도시된 예에서, 사용자는 논의 및 설명의 용이함을 위해, 시계 방향 제스처를 구현하여 선택된 가상 표면(600)을 사용자로부터 멀리 이동시킨다. 그러나, 선택된 가상 표면(600)이 사용자로부터 멀리 이동하게하는 구현된 제스처는, 예를 들어, 반 시계 방향의 움직임 또는 제스처, 또는 사용자로부터 멀어지는 방향으로, 휴대용 전자 디바이스(200)를 유지하는 사용자의 팔 및/또는 손의 움직임, 또는 다른 그러한 제스처들 및/또는 움직임들일 수 있다. 사용자는, 도 7l에서 도시된 것처럼, 선택된 가상 표면(600)이 가상 위치 또는 사용자가 원하는 위치에 있을 때까지, 예를 들어, 작동 위치에 있는 휴대용 전자 디바이스(200)의 조작 장치로, 제스처를 예를 들어, 사용자의 팔/손 및 휴대용 전자 디바이스(200)의 회전 위치를 유지할 수 있다. 사용자는 예를 들어, 선택된 가상 표면(600)을 수직 및/또는 측 방향으로 이동시키기 위한 다른 추가적인 제스처들을 구현할 수 있다.

여기에서 서술된 구현들에 따라, 증강 및/또는 가상 현실 환경에서 가상 주석 표면을 구체화하는 방법(800)이 도 8에 도시된다.

사용자는 예를 들어, 하나 이상의 외부 디바이스들과 동작가능하게 결합되거나 또는 쌍을 이루어, 전술한 바와 같은 헤드 장착 디스플레이 장치를 포함하는 시스템과 같은 컴퓨팅 장치를 사용하여 증강 현실 경험 및/또는 가상 현실 경험을 개시할 수 있어 증강 현실 및/또는 가상 현실 환경을 생성할 수 있다(블록 810). 시스템은 사용자 입력 명령에 대응하는 설정된 사용자 제스처를 검출하여, 예를 들어, 가상 표기면을 디스플레이하고(블록 820), 그리고 검출된 설정 사용자 제스처에 응답하여 가상 표기면을 구체화할 수 있다(블록 830). 도 4a 내지 도 4c와 관련하여 서술된 것처럼, 검출된 제스처는, 예를 들어, 헤드 장착형 디스플레이 장치와 동작 가능하게 결합된, 하나 이상의 외부 디바이스들 또는 제어기들의 이동 및/또는 위치 설정을 통해 구현되는 제스처일 수 있고 그리고 또한 하나 이상의 외부 디바이스들의 조작 장치의 작동을 포함할 수 있다. 시스템은, 예를 들어, 도 4c 내지 도 4h와 관련하여 상기에서 논의된 것처럼, 외부 디바이스(들)의 조작 디바이스 또는 제어기(들)의 검출된 릴리스에 응답하여, 가상 표기면, 즉, 각각의 프로세스의 구체화가 완료되었음을 검출할 수 있다(블록 840). 시스템이 선택된 가상 표기면의 표기가 완료되었음을 검출할 때까지(블록 (870)), 시스템(870)은, 사용자 표기 입력을 검출하고(블록 850), 그리고 검출된 사용자 표기 입력에 응답하여 선택된 가상 표기면에 주석을 달수 있다(블록 860). 검출된 사용자 표기는, 예를 들어, 도 5a 내지 도 5c, 도 6a 내지 도 6d 및 도 7a 내지 도 7l에 관련하여 서술된 것처럼 외부 디바이스(들) 또는 제어기(들)의 조작 디바이스(들)의 검출된 작동, 또는 외부 디바이스(들) 또는 제어기(들)의 움직임에 대응할 수 있다. 표기의 완료의 시스템 검출은 조작 디바이스(들)의 작동 해제의 검출을 포함할 수 있다. 프로세스는 현재의 증강 현실 및/또는 가상 현실 경험이 종료되었다고 결정될 때까지 계속될 수 있다(블록 (880)).

여기에서 서술된 구현들에 따른 시스템 및 방법에서, 가상 주석 표면들, 또는 가상 시트들, 또는 가상 화이트 보드들은 검출된 제스처에 응답하여 증강 및/또는 가상 현실 환경에서 실현될 수 있다. 사용자는 가상 주석 표면에 주석을 달고, 조정하고, 저장하고, 리뷰하고, 그리고 수정할 수 있으며, 현재 가상 환경 및/또는 다른 가상 환경 내 및/또는 가상 환경 외부에서 다른 사용자와의 협업을 할 수 있다.

도 2a 및 도 2b는, 예를 들어, 도 1에 도시된 예에서 사용자가 착용한 HMD(100)와 같은 예시적인 HMD의 사시도이다. HMD(100)는, 예를 들어, 헤드폰에 장착된 스피커들을 포함하는 오디오 출력 디바이스(130)와 함께 프레임(120)에 연결된 하우징(110)을 포함할 수 있으며, 오디오 출력 디바이스(130)는 또한 프레임 (120)에 결합된다. 도 2b에 도시된 바와 같이, 하우징(110)의 전방부(110a)는 하우징(110)의 베이스 부(110b)로부터 멀리 회전되어 하우징(110)에 수용된 컴포넌트들의 일부가 보인다. 디스플레이(140)는 하우징(110)의 전방부(110a)의 내부 대면 측에 장착될 수 있다. 렌즈들(150)은, 전방 부분(110a)이 하우징(110)의 베이스 부 (110b)에 대해 닫힌 위치에 있을 때 사용자의 눈들과 디스플레이(140) 사이에서 하우징(110)에 장착될 수 있다. HMD(100)는 다양한 센서들을 포함하는 감지 시스템(160)과 프로세서(190) 및 HMD(100)의 작동을 용이하게 하는 다양한 제어 시스템 디바이스들을 포함하는 제어 시스템(170)을 포함할 수 있다. 예를 들어, 일부 구현들에서, 감지 시스템(160)은 예를 들어 가속도계, 자이로스코프, 자력계 등과 같은 다양한 상이한 유형들의 센서를 포함하는 관성 측정 유닛(IMU)(162)을 포함할 수 있다. HMD(100)의 위치 및 배향은 IMU(162)에 의해 제공된 데이터에 기초하여 검출되고 추적될 수 있어서, 시스템이 차례대로 사용자의 시선 방향 및 이동을 검출하고 추적할 수 있게 한다. 카메라(180)는 사용자 물리적 위치 및/또는 HMD(100)와 통신하는/작동 가능하게 결합된 다른 외부 디바이스들의 물리적 위치를 추적하도록 돕기 위해 사용될 수 있는 정지 및/또는 동영상들을 캡처할 수 있다. 캡처된 이미지들은 또한 패스 스루(pass through) 모드로 디스플레이(140) 상에 사용자에게 디스플레이될 수 있다.

일부 구현들에서, HMD(100)는, 예를 들어, 시선의 방향 및 움직임을 검출하고 추적하기 위해, 하나 이상의 센서들을 포함하는 시선 추적 디바이스(165)를 포함할 수 있다. 센서(들)(165A)에 의해 캡처된 이미지들은 사용자의 시선의 방향 및 움직임을 검출하고 추적하기 위해 처리될 수 있으며, 그리고 검출되고 추적된 눈의 시선은 몰입형 가상 체험에서 상응하는 상호 작용으로 번역될 사용자 입력으로서 처리될 수 있다.

여기에서 서술된 구현들에 따른 시스템의 블록도는 도 3에 도시된다. 상기 시스템은 (예를 들어, 도 1 및 도 2a 내지 2b와 관련하여 상술한 바와 같은 HMD와 같은) 제1 전자 디바이스(300) 및 제1 전자 디바이스(300)와 통신하는 적어도 하나의 제2 전자 디바이스(302)(예를 들어, 도 1과 관련하여 상술한 휴대용 전자 디바이스 또는 다른 외부 디바이스)를 포함할 수 있다. 전술한 바와 같이, 단일의 제2 전자 디바이스(302)가 도 3에 도시되어 있지만, 논의 및 설명의 용이함을 위해, 하나보다 많은 제2 전자 디바이스(302)가 제1 전자 디바이스(300)와 동작 가능하게 결합될 수 있다.

제1 전자 디바이스(300)는 감지 시스템(360) 및 제어 시스템(370)을 포함할 수 있으며, 이 감지 시스템(360) 및 제어 시스템(370)은, 각각, 도 2a 및 도 2b에 도시된 감지 시스템(160) 및 제어 시스템(170)과 유사할 수 있다. 감지 시스템 (360)은, 예를 들어, 광 센서, 오디오 센서, 이미지 센서, 거리/근접 센서 및 IMU를 포함하는 상이한 유형의 센서들 및/또는 다른 센서들 및/또는 상이한 센서들의 조합을 포함할 수 있다. 제어 시스템(370)은, 예를 들어, 전력/정지 제어 장치, 오디오 및 비디오 제어 디바이스들, 광 제어 디바이스, 전이 제어 디바이스, 및/또는 다른 그러한 디바이스들 및/또는 디바이스들의 상이한 조합(들)을 포함할 수 있다. 감지 시스템(360) 및/또는 제어 시스템(370)은 특정 구현에 따라 더 많거나 적은 디바이스들을 포함할 수 있다. 감지 시스템(360) 및/또는 제어 시스템(370)에 포함된 구성 요소들은, 예를 들어, 도 2a 및 도 2b에 도시된 HMD(100) 이외의 다른 HMD 내에서 상이한 물리적 배치(예컨대, 상이한 물리적 위치)를 가질 수 있다. 제1 전자 디바이스(300)는 또한 감지 시스템(360) 및 제어 시스템(370)과 통신하는 프로세서(390)를 포함할 수 있다. 프로세서(390)는 감지 시스템(360)으로부터 수신된 입력들을 처리할 수 있고 그리고 검출된 입력들에 대응하는 명령들을 실행할 수 있다. 제1 전자 디바이스(300)는 또한 메모리(380) 및 통신 모듈(350)을 포함할 수 있고, 통신 모듈(350)은 제1 전자 디바이스(300)와 예를 들어, 제2 전자 디바이스(302)와 같은 다른 외부 디바이스 사이의 통신을 제공한다. 프로세서(390)는 또한 제2 전자 디바이스(302)로부터 수신된 입력들을 처리할 수 있다.

제2 전자 디바이스(302)는 제2 전자 디바이스(302)와, 예를 들어, 제1 전자 디바이스(300)와 같은 제2 전자 디바이스(302) 외부의 다른 디바이스 사이의 통신 및 데이터 교환을 제공하는 통신 모듈(306)을 포함할 수 있다. 일부 구현들에서, 제2 전자 디바이스(302)(즉, 휴대용 전자 디바이스 또는 제어기 대 키보드 또는 마우스)의 특정 구성에 따라, 제2 전자 디바이스(302)는, 예를 들어, 카메라 및 마이크로폰, IMU에 포함되는 것과 같은 이미지 센서 및 오디오 센서를 포함하는 감지 시스템(304)을 포함할 수 있고, 휴대용 전자 디바이스 또는 스마트 폰의 터치 민감성 표면에 포함된 터치 센서, 다른 그러한 센서들 및/또는 센서들의 상이한 조합(들)을 포함할 수 있다. 프로세서(309)는 감지 시스템(304) 및 제2 전자 디바이스 (302)의 제어기(305)와 통신할 수 있으며, 제어기(305)는 메모리(308)에 액세스하고 그리고 제2 전자 디바이스(302)의 전체 동작을 제어한다.

상술한 바와 같이, HMD(100)에 의해 생성된 가상 현실 환경에 잠겨있을 때, 가상 환경을 떠나지 않고도 메모 또는 스케치를 만들고, 나중에 참고하기 위해 그 메모 또는 스케치를 저장하고 그리고/또는 다른 사용자와 그 메모 또는 스케치를 공유할 수 있는 기능은, 가상 환경에서 사용자의 경험을 향상시킬 수 있다. 가상 환경을 벗어나지 않고 이 메모나 스케치를 만들 수 있는 기능을 사용하면 가상 환경을 중단하거나 중지하지 않고도, 메모 또는 스케치 또는 가상 표기면에 기록될 다른 정보가 경험되는 가상 환경과 관련이 있는지 여부를 가상 환경에서 사용자가 계속 연결하거나 제시할 수 있다. 이것은 실제 환경에서 스크래치 종이, 화이트 보드들, 스티커 메모들 등에 메모들 및 스케치들을 만드는 기능과 유사한 가상 환경에서의 기능을 사용자에게 제공할 수 있다. 따라서, 시스템 및 방법에서, 여기에서 서술된 구현들에 따르면, 가상 표기면은, 예를 들어, 설정된 사용자 제스처와 같은 사용자 입력에 응답하여 가상 환경에서 구체화될 수 있다. 가상 표기면의 크기 및/또는 형상은, 예를 들어, 사용자가 가상 표기면에 정보를 입력하기 이전 및/또는 이후에 사용자 입력들에 응답하여 조정될 수 있다.

도 9는 여기서 서술된 기술들과 함께 사용될 수 있는 컴퓨터 디바이스(1000) 및 이동 컴퓨터 디바이스(1050)의 예를 도시한다. 컴퓨터 디바이스(1000)는 프로세서(1002), 메모리(1004), 저장 장치(1006), 메모리(1004) 및 고속 확장 포트(1010)에 연결되는 고속 인터페이스(1008), 및 저속 버스(1014) 및 저장 디바이스(1006)에 접속하는 저속 인터페이스(1012)를 포함한다. 컴포넌트들(1002, 1004, 1006, 1008, 1010 및 1012) 각각은 다양한 버스를 사용하여 상호 연결되며, 그리고 공통 마더 보드 상에 또는 적절하게 다른 방식으로 장착될 수 있다. 프로세서(1002)는 컴퓨터 디바이스(1000) 내에서 실행하기 위한 명령들을 처리할 수 있고, 이 명령들은 고속 인터페이스(1008)에 연결된 디스플레이(1016)와 같은 외부 입력/출력 장치상의 GUI에 대한 그래픽 정보를 표시하기 위해 메모리(1004) 또는 저장 장치 (1006)에 저장된 명령들을 포함한다. 다른 구현들에서, 다수의 메모리들 및 메모리의 유형들과 함께, 적절하게, 다수의 프로세서들 및/또는 다수의 버스들이 사용될 수 있다. 또한, 다수의 컴퓨터 디바이스들(1000)이 접속될 수 있고, 각각의 디바이스는 (예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템과 같은) 필요한 동작들의 일부를 제공한다.

메모리(1004)는 컴퓨터 디바이스(1000) 내의 정보를 저장한다. 일 구현에서, 메모리(1004)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 구현에서, 메모리 (1004)는 비 휘발성 메모리 유닛 또는 유닛들이다. 메모리(1004)는 또한 자기 또는 광학 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태일 수 있다.

저장 장치(1006)는 컴퓨터 디바이스(1000)에 대용량 저장 장치를 제공할 수 있다. 일 구현에서, 저장 장치(1006)는 플로피 디스크 장치, 하드 디스크 장치, 광학 디스크 장치 또는 테이프 장치, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 장치와 같은 컴퓨터 판독 가능 매체일 수 있거나 포함할 수 있고 또는 스토리지 영역 네트워크 또는 다른 구성의 장치를 포함하는 장치의 어레이를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체에 유형적으로 구현될 수 있다. 상기 컴퓨터 프로그램 제품은 또한 실행될 때 상술한 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함할 수 있다. 정보 매체는 메모리(1004), 저장 장치(1006) 또는 프로세서(1002) 상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.

고속 제어기(1008)는 컴퓨터 디바이스(1000)에 대한 대역폭 집중적인 동작들을 관리하는 반면, 저속 제어기(1012)는 낮은 대역폭 집중적 동작들을 관리한다. 이러한 기능 할당은 단지 예시적인 것이다. 일 구현에서, 고속 제어기(1008)는 메모리(1004), 디스플레이(1016)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드들(도시되지 않음)을 수용할 수 있는 고속 확장 포트(1010)에 결합된다. 상기 구현에서, 저속 제어기(1012)는 저장 장치(1006) 및 저속 확장 포트(1014)에 연결된다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는, 키보드, 포인팅 장치, 스캐너와 같은 입력/출력 디바이스들, 또는 스위치 또는 라우터와 같은 네트워킹 장치에, 예를 들어, 네트워크 어댑터를 통해 구현될 수 있다.

컴퓨터 디바이스(1000)는 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예를 들어, 표준 서버(1020)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 랙 서버 시스템(1024)의 일부로서 구현될 수 있다. 또한, 랩탑 컴퓨터(1022)와 같은 개인용 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨터 디바이스(1000)로부터의 구성 요소는 장치(1050)와 같은 이동 장치 (도시되지 않음)의 다른 구성 요소와 결합될 수 있다. 이러한 장치들 각각은 컴퓨터 디바이스(1000, 1050) 중 하나 이상을 포함할 수 있으며, 전체 시스템은 서로 통신하는 다수의 컴퓨터 디바이스들(1000, 1050)로 구성될 수 있다.

컴퓨터 디바이스(1050)는 다른 컴포넌트들 중에서 프로세서(1052), 메모리 (1064), 디스플레이(1054)와 같은 입/출력 장치, 통신 인터페이스 (1066) 및 송수신기(1068)를 포함한다. 디바이스(1050)는 또한 추가 저장 장치를 제공하기 위해 마이크로 드라이브 또는 다른 장치와 같은 저장 장치를 구비할 수 있다. 컴포넌트들(1050, 1052, 1064, 1054, 1066 및 1068) 각각은 다양한 버스들을 사용하여 상호 접속되며, 그리고 몇몇 컴포넌트들은 공통 마더 보드 상에 또는 적절하게 다른 방식으로 탑재될 수 있다.

프로세서(1052)는 메모리(1064)에 저장된 명령들을 포함하여 컴퓨터 디바이스(1050) 내의 명령들을 실행할 수 있다. 프로세서는 개별 및 다중 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스들의 제어, 디바이스(1050)에 의해 실행되는 애플리케이션들 및 디바이스(1050)에 의한 무선 통신과 같은 디바이스(1050)의 다른 컴포넌트들의 조정을 제공할 수 있다.

프로세서(1052)는 제어 인터페이스(1058) 및 디스플레이(1054)에 연결된 디스플레이 인터페이스(1056)를 통해 사용자와 통신할 수 있다. 디스플레이(1054)는 예를 들어, TFT LCD(Thin-Film-Semiconductor Liquid Crystal Display) 또는 OLED (Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(1056)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(1054)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(1058)는 사용자로부터 명령들을 수신하고 그리고 프로세서(1052)에 제출하기 위해 이들을 변환할 수 있다. 또한, 외부 인터페이스(1062)는 프로세서 (1052)와 통신하여 제공될 수 있어, 디바이스(1050)와 다른 디바이스들과의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(1062)는, 예를 들어, 일부 구현들에서 유선 통신용으로 또는 다른 구현들에서 무선 통신용으로 제공될 수 있으며, 다중 인터페이스들이 또한 사용될 수 있다.

메모리(1064)는 컴퓨팅 디바이스(1050) 내의 정보를 저장한다. 메모리(1064)는 컴퓨터 판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 비 휘발성 메모리 유닛 또는 유닛들들 중 하나 이상으로서 구현될 수 있다. 확장 메모리 (1074)는, 또한, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(1072)를 통해 디바이스(1050)에 제공되고 그리고 접속될 수 있다. 이러한 확장 메모리(1074)는 디바이스(1050)에 대한 여분의 저장 공간을 제공하거나 또는 디바이스(1050)에 대한 애플리케이션들 또는 다른 정보를 저장할 수도 있다. 구체적으로, 확장 메모리(1074)는 전술한 프로세스를 수행하거나 보충하기 위한 명령들을 포함할 수 있으며, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(1074)는 디바이스(1050)에 대한 보안 모듈로서 제공될 수 있고, 그리고 디바이스(1050)의 안전한 사용을 허용하는 명령들로 프로그래밍될 수 있다. 또한, 보안 애플리케이션들은, SIMM 카드상의 식별 정보를 해킹할 수 없게 배치하는 것 같이, 추가 정보와 함께 SIMM 카드를 통해 제공될 수 있다.

메모리는, 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램 제품은 정보 매체에 명확하게 구체화된다. 컴퓨터 프로그램 제품은, 실행될 때, 위에 설명된 것과 같은 하나 이상의 방법들을 수행하는 명령어들을 포함한다. 정보 매체는, 예를 들어, 트랜시버(1068) 또는 외부 인터페이스(1062)를 통해 수신될 수 있는 메모리(1064), 확장 메모리(1074) 또는 프로세서(1052)상의 메모리와 같은 컴퓨터 판독 가능 매체 또는 기계 판독 가능 매체이다.

디바이스(1050)는, 필요에 따라 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(1066)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(1066)는, GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서 통신을 제공할 수 있다. 이러한 통신은, 예를 들어, 무선 주파수 송수신기(1068)를 통해 발생할 수 있다. 또한, 블루투스, WiFi 또는 다른 트랜시버(도시되지 않음)를 사용하는 것과 같은 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(1070)은, 디바이스(1050) 상에서 실행되는 애플리케이션들에 의해 적절하게 사용될 수 있는 추가적인 네비게이션 및 위치 관련 무선 데이터를 디바이스(1050)에 제공할 수 있다.

디바이스(1050)는, 또한, 사용자로부터 음성 정보를 수신하여 그것을 이용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(1060)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(1060)은, 마찬가지로, 예를 들어, 디바이스(1050)의 핸드셋에서의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있으며, 또한, 디바이스(1050) 상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.

컴퓨팅 디바이스(1050)는, 도면에 도시된 바와 같이 다수의 상이한 형태들로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(1050)는, 셀룰러 전화기(1080)로서 구현될 수 있다. 컴퓨팅 디바이스(1050)는, 또한, 스마트 폰(1082), PDA 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.

여기에 서술된 시스템들 및 서술들의 다양한 구현들은, 디지털 전자 회로, 집적 회로, 특수 설계된 ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합들로 실현될 수 있다. 이러한 다양한 구현들은, 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 그리고/또는 해석 가능한 하나 이상의 컴퓨터 프로그램들에서의 구현을 포함할 수 있으며, 상기 적어도 하나의 프로그램 가능 프로세서는, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고, 그리고 데이터 및 명령들을 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스에 전송하도록 결합된 특수용 또는 범용 프로세서일 수 있다.

이러한 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드라고도 함)은 프로그래밍가능한 프로세서용 기계 명령들을 포함하고 그리고 하이-레벨 프로시저 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 여기에서 사용되는, "기계 판독가능 매체", "컴퓨터 판독가능 매체"라는 용어들은, 기계 판독가능한 신호로서 기계 명령들을 수신하는 기계 판독가능한 매체를 포함하여, 프로그램 가능 프로세서에 기계 명령들 및/또는 데이터를 제공하는데 사용되는, 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들어, 자기 디스크들, 광 디스크들, 메모리, PLD(Programmable Logic Device)들)를 언급한다. "기계 판독가능 신호"라는 용어는 기계 명령어들 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위해 사용되는 임의의 신호를 언급한다.

사용자와의 상호 작용을 제공하기 위해, 여기에 서술된 시스템들 및 기술들은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT (cathode ray tube) 또는 LCD(liquid crystal display) 모니터), 및 키보드 및 사용자가 입력을 컴퓨터에 제공할 수 있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에 구현될 수 있다. 다른 종류의 디바이스들은 사용자와의 상호 작용을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.

여기에 서술된 시스템들 및 기술들은 백엔드 컴포넌트(예 : 데이터 서버)를 포함하거나 또는 미들웨어 컴포넌트(예 : 애플리케이션 서버)를 포함하거나 또는 프론트엔드 컴포넌트(예를 들어, 사용자가 여기에 서술된 시스템 및 기술들의 구현과 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터) 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함할 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호접속될 수 있다. 통신 네트워크의 예들은 근거리 통신망("LAN"), 광역 통신망("WAN") 및 인터넷을 포함한다.

컴퓨팅 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다.

일부 구현들에서, 도 10에 도시된 컴퓨팅 디바이스들은, 가상 현실(VR 헤드셋/HMD 디바이스(1090))과 인터페이스하는 센서들을 포함할 수 있다. 예를 들어, 도 10에 도시된 컴퓨팅 장치(1050) 또는 다른 컴퓨팅 장치에 포함된 하나 이상의 센서는, VR 헤드셋(1090)에 입력을 제공하거나 또는 일반적으로 VR 공간에 입력을 제공할 수 있다. 센서는 터치 스크린, 가속도계들, 자이로스코프들, 압력 센서들, 생체 센서들, 온도 센서들, 습도 센서들 및 주변 광 센서들을 포함할 수 있지만 이에 국한되지 않는다. 컴퓨팅 장치(1050)는 VR 공간으로의 입력으로서 사용될 수 있는 VR 공간 내의 컴퓨팅 장치의 절대 위치 및/또는 검출된 회전을 결정하기 위해 센서들을 사용할 수 있다. 예를 들어, 컴퓨팅 장치(1050)는 컨트롤러, 레이저 포인터, 키보드, 무기 등과 같은 가상 객체로서 VR 공간에 통합될 수 있다. VR 공간에 통합될 때 사용자에 의한 컴퓨팅 장치/가상 객체의 위치 결정은 사용자가 VR 공간의 특정 방식들로 가상 객체를 보기 위해 컴퓨팅 장치를 위치시키는 것을 가능하게 할 수 있다. 예를 들어, 가상 객체가 레이저 포인터를 나타내는 경우, 사용자는 실제 레이저 포인터인 것처럼 컴퓨팅 장치를 조작할 수 있다. 사용자는 컴퓨팅 장치를 좌우, 위, 아래, 원 등으로 움직일 수 있으며 레이저 포인터를 사용하는 것과 유사한 방식으로 장치를 사용할 수 있다.

일부 구현들에서, 컴퓨팅 장치(1050)에 포함되거나 또는 컴퓨팅 장치(1050)에 연결되는 하나 이상의 입력 장치들이 VR 공간에 대한 입력으로 사용될 수 있다. 입력 장치들은 터치 스크린, 키보드, 하나 이상의 버튼들, 트랙 패드, 터치 패드, 포인팅 장치, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 입력 기능을 가진 이어폰 또는 버드, 게임 컨트롤러 또는 다른 연결 가능한 입력 장치를 포함할 수 있지만 이에 제한되지 않는다. 컴퓨팅 장치가 VR 공간에 통합될 때 컴퓨팅 장치 (1050)에 포함된 입력 장치와 상호 작용하는 사용자는 특정 동작을 VR 공간에서 발생시킬 수 있다.

일부 구현들에서, 컴퓨팅 장치(1050)의 터치 스크린은 VR 공간에서 터치 패드로서 렌더링될 수 있다. 사용자는 컴퓨팅 장치(1050)의 터치 스크린과 상호 작용할 수 있다. 상호 작용은, VR 헤드셋(1090)에서, 예를 들어, VR 공간에서 렌더링된 터치 패드상의 움직임으로서 렌더링된다. 렌더링된 동작들은 VR 공간에서 가상 객체들을 제어할 수 있다.

일부 구현들에서, 컴퓨팅 장치(1050)에 포함된 하나 이상의 출력 장치는 VR 공간에서 VR 헤드셋(1090)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 촉각적 또는 청각적일 수 있다. 출력 및/또는 피드백은 진동들, 하나 이상의 조명 또는 스트로브의 켜기 및 끄기 또는 깜박임, 알람 울리기, 차임 연주, 노래 연주 및 오디오 파일 재생을 포함할 수 있지만, 이에 한정되지는 않는다. 출력 장치는 진동 모터들, 진동 코일들, 압전 장치들, 정전기 장치들, 발광 다이오드(LED)들, 스트로브들 및 스피커들을 포함할 수 있지만 이에 한정되지는 않는다.

일부 구현들에서, 컴퓨팅 장치(1050)는 컴퓨터 생성 3D 환경에서 다른 객체로서 나타날 수 있다. 사용자에 의한 컴퓨팅 장치(1050)와의 상호 작용들(예를 들어, 회전, 흔들림, 터치 스크린 접촉, 터치 스크린을 가로지르는 손가락)은 VR 공간에서 객체와의 상호 작용들로서 해석될 수 있다. VR 공간 내의 레이저 포인터의 예에서, 컴퓨팅 장치(1050)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로서 나타난다. 사용자가 컴퓨팅 장치(1050)를 조작함에 따라, VR 공간 내의 사용자는 레이저 포인터의 움직임을 보게 된다. 사용자는 컴퓨팅 장치(1050)상의 또는 VR 헤드셋(1090)상의 VR 환경에서 컴퓨팅 장치(1050)와의 상호 작용으로부터 피드백을 수신한다.

일부 구현들에서, 컴퓨팅 장치(1050)는 터치 스크린을 포함할 수 있다. 예를 들어, 사용자는 터치 스크린에서 일어나는 일을 VR 공간에서 일어나는 일로 모방할 수 있는 특정 방식으로 터치 스크린과 상호 작용할 수 있습니다. 예를 들어, 사용자는 터치 스크린에 표시된 콘텐츠를 확대하기 위해 핀칭 유형 동작을 사용할 수 있다. 터치 스크린 상에서의 핀칭 유형 동작은 VR 공간에 제공된 정보가 확대되도록 할 수 있다. 다른 예에서, 컴퓨팅 장치는 컴퓨터 생성 3D 환경에서 가상 책으로 렌더링될 수 있다. VR 공간에서, 책의 페이지들은 VR 공간에 표시될 수 있으며 터치 스크린을 통해 사용자의 손가락을 스와이프하는 것은 가상 책의 페이지를 회전하는 것/뒤집는 것으로 해석될 수 있다. 각 페이지가 회전/뒤집히는 것에 따라, 페이지 내용이 변경되는 것을 볼 수 있을 뿐만 아니라, 책에 페이지를 넘기는 소리와 같은 오디오 피드백이 사용자에게 제공될 수 있다.

일부 구현들에서, 컴퓨팅 장치(예를 들어, 마우스, 키보드) 이외에 하나 이상의 입력 장치들이 컴퓨터 생성 3D 환경에서 렌더링될 수 있다. 렌더링된 입력 디바이스들(예를 들어, 렌더링된 마우스, 렌더링된 키보드)은 VR 공간에서 렌더링된 바와 같이 사용되어 VR 공간 내의 객체들을 제어할 수 있다.

컴퓨팅 장치(1000)는 랩탑, 데스크탑, 워크스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터를 포함하는(이에 제한되지 않음) 다양한 형태의 디지털 컴퓨터 및 장치를 나타내는 것으로 의도된다. 컴퓨팅 장치(1050)는 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트 폰 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타내기 위한 것이다. 여기에 나타낸 구성 요소, 이들의 접속 및 관계, 및 그 기능은 단지 예시적인 것으로 의도되며, 본 명세서에 기재된 그리고/또는 청구된 본 발명의 구현을 제한하지 않는다.

추가 구현들은 다음 예들에서 요약되어 있다.

예시 1: 방법으로서, HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하는 단계와; 상기 HMD 외부에서, 제1 제스처 입력을 검출하는 단계와; 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면(virtual notation surface)을 생성하는 단계와; 상기 HMD 외부에서, 제2 제스처 입력을 검출하는 단계와; 상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하는 단계와; 상기 HMD 외부에서, 제3 제스처 입력을 검출하는 단계와; 상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하는 단계와; 그리고 상기 가상 환경에 디스플레이하기 위해 상기 주석된 가상 표기면에 대응하는 가상 객체를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.

예시 2: 예시 1의 방법으로서, 상기 제1 제스처 입력을 검출하는 단계는, 제1 휴대용 전자 디바이스의 제1 위치를 검출하는 단계 - 상기 제1 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며 - 와; 제2 휴대용 전자 디바이스의 제1 위치를 검출하는 단계 - 상기 제2 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며 - 와; 그리고 상기 제1 휴대용 전자 디바이스의 검출된 제1 위치 및 상기 제2 휴대용 전자 디바이스의 검출된 제1 위치에 기초하여 상기 제1 제스처 입력을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.

예시 3: 예시 2의 방법으로서, 상기 제1 제스처 입력을 검출하는 단계는, 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동을 검출하는 단계를 더 포함하는 것을 특징으로 하는 방법.

예시 4: 예시 3의 방법으로서, 상기 제2 제스처 입력을 검출하는 단계는, 상기 제1 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와; 상기 제2 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와; 그리고 상기 제1 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치에 기초하고 그리고 상기 제2 휴대용 전자 디바이스의 상기 검출된 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 및 형상 중 적어도 하나를 설정하는 단계를 포함하는 것을 특징으로 하는 방법.

예시 5: 예시 4의 방법으로서, 상기 제2 제스처 입력을 검출하는 단계는, 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동 해제를 검출하는 단계와; 그리고 상기 조작 장치의 작동 해제의 검출에 응답하여 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계를 더 포함하고, 상기 제1 휴대용 전자 디바이스의 제2 위치 및 상기 제2 휴대용 전자 디바이스의 제2 위치의 검출은 상기 조작 장치의 작동 해제의 검출에 대응하는 지점에서 검출되는 것을 특징으로 하는 방법.

예시 6: 예시 1 내지 5 중 어느 하나의 방법으로서, 상기 제3 제스처 입력을 검출하는 단계 및 상기 가상 표기면에 주석을 기재하는 단계는: 마킹 도구(marking implement)의 움직임을 검출 및 추적하는 단계와; 그리고 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계를 포함하는 것을 특징으로 하는 방법.

예시 7: 예시 6의 방법으로서, 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계는: 상기 마킹 도구의 조작 장치의 작동을 검출하는 단계와; 상기 조작 장치의 상기 검출된 작동에 응답하여 상기 마킹 도구의 움직임의 추적을 개시하는 단계와; 상기 조작 장치의 작동 해제를 검출하는 단계와; 그리고 상기 조작 장치의 검출된 해제에 응답하여 상기 마킹 도구의 움직임의 추적을 종료하는 단계를 포함하는 것을 특징으로 하는 방법.

예시 8: 예시 7의 방법으로서, 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계는: 상기 마킹 도구의 추적된 움직임에 대응하는 윤곽(contour)을 검출하는 단계와; 그리고 상기 가상 표기면에 상기 마킹 도구의 움직임의 검출된 윤곽에 대응하는 윤곽을 주석으로 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.

예시 9: 시스템으로서, 가상 현실 환경을 생성하도록 구성된 컴퓨팅 디바이스를 포함하고, 상기 컴퓨팅 디바이스는: 실행 가능한 명령어들을 저장하는 메모리와; 그리고 프로세서를 포함하고, 상기 프로세서는, 상기 명령어들을 실행하도록 하여 상기 컴퓨팅 디바이스로 하여금, HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하도록 하고, 상기 HMD의 외부에서, 제1 제스처 입력을 검출하도록 하며, 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하도록 하며, 상기 HMD의 외부에서, 제2 제스처 입력을 검출하도록 하며, 상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하며, 상기 HMD의 외부에서, 제3 제스처 입력을 검출하며, 그리고 상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하며, 그리고 상기 가상 환경에서 주석이 기재된 가상 표기면을 가상 객체로서 디스플레이하도록 구성된 것을 특징으로 하는 시스템.

예시 10: 예시 9의 시스템으로서, 제1 제스처 입력을 검출하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 제1 휴대용 전자 디바이스의 제1 위치를 검출하도록 하고, 상기 제1 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며, 제2 휴대용 전자 디바이스의 제1 위치를 검출하도록 하고, 상기 제2 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며, 그리고 상기 제1 휴대용 전자 디바이스의 검출된 제1 위치 및 상기 제2 휴대용 전자 디바이스의 검출된 제1 위치에 기초하여 상기 제1 제스처 입력을 검출하도록 하는 것을 특징으로 하는 시스템.

예시 11: 예시 10의 시스템으로서, 제1 제스처 입력을 검출하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동을 검출하도록 구성되는 것을 특징으로 하는 시스템.

예시 12: 예시 11의 시스템으로서, 제2 제스처 입력을 검출하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 상기 제1 휴대용 전자 디바이스의 제2 위치를 검출하도록 하고, 상기 제2 휴대용 전자 디바이스의 제2 위치를 검출하도록 하며, 그리고 상기 제1 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치에 기초하고 그리고 상기 제2 휴대용 전자 디바이스의 상기 검출된 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 및 형상 중 적어도 하나를 설정하도록 구성되는 것을 특징으로 하는 시스템.

예시 13: 예시 12의 시스템으로서, 제2 제스처 입력을 검출하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동 해제를 검출하도록 하고, 그리고 상기 조작 장치의 작동 해제의 검출에 응답하여 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하도록 하며, 상기 제1 휴대용 전자 디바이스의 제2 위치 및 상기 제2 휴대용 전자 디바이스의 제2 위치의 검출은 상기 조작 장치의 작동 해제의 검출에 대응하는 지점에서 검출되는 것을 특징으로 하는 시스템.

예시 14: 예시 9 내지 13의 시스템으로서, 제3 제스처 입력을 검출하고 그리고 가상 표기면에 주석을 기재하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 마킹 도구의 움직임을 검출 및 추적하도록 하고, 그리고 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하도록 하는 것을 특징으로 하는 시스템.

예시 15: 예시 14의 시스템으로서, 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 상기 마킹 도구의 조작 장치의 작동을 검출하도록 하고, 상기 조작 장치의 상기 검출된 작동에 응답하여 상기 마킹 도구의 움직임의 추적을 개시하도록 하며, 상기 조작 장치의 작동 해제를 검출하도록 하며, 그리고 상기 조작 장치의 검출된 해제에 응답하여 상기 마킹 도구의 움직임의 추적을 종료하도록 하는 것을 특징으로 하는 시스템.

예시 16: 예시 15의 시스템으로서, 상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금, 상기 마킹 도구의 추적된 움직임에 대응하는 윤곽을 검출하도록 하고, 그리고 상기 가상 표기면에 상기 마킹 도구의 움직임의 검출된 윤곽에 대응하는 윤곽을 주석으로 표시하도록 하는 것을 특징으로 하는 시스템.

예시 17: 비 일시적인 컴퓨터 판독 가능 매체상에 구현되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 상기 프로세서로 하여금 방법을 실행하게 하는 일련의 명령어들을 저장하고, 상기 방법은, HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하는 단계와; 상기 HMD의 외부에서, 제1 제스처 입력을 검출하는 단계와; 상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하는 단계와; 상기 HMD의 외부에서, 제2 제스처 입력을 검출하는 단계와; 상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 가상 표기면을 가상 객체로서 디스플레이하는 단계와; 상기 HMD의 외부에서, 제3 제스처 입력을 검출하는 단계와; 상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하는 단계와; 그리고 상기 가상 환경에서 주석이 기재된 가상 표기면을 가상 객체로서 디스플레이하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.

예시 18: 예시 17의 컴퓨터 프로그램 제품으로서, 상기 제1 제스처 입력을 검출하는 단계는, 제1 휴대용 전자 디바이스의 제1 위치를 검출하는 단계 - 상기 제1 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며 - 와; 제2 휴대용 전자 디바이스의 제1 위치를 검출하는 단계 - 상기 제2 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며 - 와; 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 제1 작동을 검출하는 단계와; 그리고 상기 제1 휴대용 전자 디바이스의 검출된 제1 위치, 상기 제2 휴대용 전자 디바이스의 검출된 제1 위치 및 상기 조작 장치의 검출된 제1 작동에 기초하여 상기 제1 제스처 입력을 검출하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.

예시 19: 예시 18의 컴퓨터 프로그램 제품으로서, 상기 제2 제스처 입력을 검출하는 단계는, 상기 제1 제스처 입력을 검출한 후, 상기 조작 장치의 상기 제1 작동의 해제를 검출하는 단계와; 상기 조작 장치의 상기 제1 작동의 해제가 검출되는 지점에서 상기 제1 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와; 상기 조작 장치의 상기 제1 작동의 해제가 검출되는 지점에서 상기 제2 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와; 그리고 상기 검출된 제1 휴대용 전자 디바이스의 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치, 및 상기 검출된 제2 휴대용 전자 디바이스의 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.

예시 20: 예시 19의 컴퓨터 프로그램 제품으로서, 상기 제3 제스처 입력을 검출하는 단계 및 상기 가상 표기면에 주석을 기재하는 단계는: 상기 조작 장치의 제2 작동을 검출하는 단계와; 상기 조작 장치의 상기 검출된 제2 작동에 응답하여 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 움직임을 추적하는 단계와; 상기 조작 장치의 상기 제2 작동의 해제를 검출하는 단계와; 상기 조작 장치의 상기 제2 작동의 검출된 해제에 응답하여 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 움직임의 추적을 종료하는 단계와; 그리고 상기 조작 장치의 상기 제2 작동의 검출과 상기 조작 장치의 상기 제2 작동의 해제의 검출 사이에서 추적되는 상기 제1 휴대용 전자 장치 또는 상기 제2 휴대용 전자 장치 중 적어도 하나의 움직임에 대응하는 윤곽으로 상기 가상 표기면에 주석을 기재하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.

다수의 실시예들이 서술되었다. 그럼에도 불구하고, 본 명세서의 사상과 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다.

또한, 도면들에 도시된 논리 흐름들은 바람직한 결과를 달성하기 위해 도시 된 특정 순서 또는 순차 순서를 요구하지 않는다. 또한, 서술된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 서술된 시스템들에 다른 컴포넌트들이 추가되거나 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 있다.

서술된 구현들의 특정 특징들이 여기에서 서술된 바와 같이 도시되었지만, 많은 수정, 대체, 변경 및 등가물이 이제 당업자에게 발생할 것이다. 그러므로, 첨부된 청구 범위들은 구현의 범위 내에 있는 그러한 모든 수정 및 변경을 포함하도록 의도된 것으로 이해되어야 한다. 이들 실시예들은 제한적인 것이 아닌 예일 뿐이며, 형태 및 세부 사항의 다양한 변경이 이루어질 수 있음을 알아야 한다. 여기서 서술된 장치 및/또는 방법의 임의의 부분은 상호 배타적인 조합들을 제외하고는 임의의 조합으로 결합될 수 있다. 본 명세서에서 서술된 구현들은 기재된 다른 구현 예들의 기능들, 컴포넌트들 및/또는 특징들의 다양한 조합들 및/또는 서브 조합들을 포함할 수 있다.

Claims

방법으로서,
HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하는 단계와;
상기 HMD의 외부에서, 제1 휴대용 전자 디바이스의 검출된 제1 위치 및 제2 휴대용 전자 디바이스의 검출된 제1 위치에 기초하여 제1 제스처 입력을 검출하는 단계와;
상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면(virtual notation surface)을 생성하는 단계와;
상기 HMD의 외부에서, 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치 및 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여 제2 제스처 입력을 검출하는 단계와;
상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 상기 가상 표기면을 제1 가상 객체로서 디스플레이하는 단계와;
상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동 해제를 검출하는 단계와;
상기 조작 장치의 검출된 작동 해제에 응답하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계와; 그리고
상기 가상 환경에서 상기 가상 표기면을 제2 가상 객체로서 디스플레이하는 단계를 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 제1 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며, 그리고 상기 제2 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되는 것을 특징으로 하는
방법.
삭제
제1항에 있어서,
상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계는:
상기 제1 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치에 기초하고 그리고 상기 제2 휴대용 전자 디바이스의 상기 검출된 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계를 포함하는 것을 특징으로 하는
방법.
제4항에 있어서,
상기 제1 휴대용 전자 디바이스의 제2 위치 및 상기 제2 휴대용 전자 디바이스의 제2 위치는 상기 조작 장치의 작동 해제의 검출에 대응하는 지점에서 검출되는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 HMD의 외부에서, 제3 제스처 입력을 검출하는 단계와;
상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하는 단계와; 그리고
상기 가상 환경에서 상기 주석이 기재된 가상 표기면을 제2 가상 객체로서 디스플레이하는 단계를 더 포함하고,
상기 제3 제스처 입력을 검출하는 단계 및 상기 가상 표기면에 주석을 기재하는 단계는:
마킹 도구(marking implement)의 움직임을 검출 및 추적하는 단계와; 그리고
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계를 포함하는 것을 특징으로 하는
방법.
제6항에 있어서,
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계는:
상기 마킹 도구의 조작 장치의 작동을 검출하는 단계와;
상기 마킹 도구의 조작 장치의 상기 검출된 작동에 응답하여 상기 마킹 도구의 움직임의 추적을 개시하는 단계와;
상기 마킹 도구의 조작 장치의 작동 해제를 검출하는 단계와; 그리고
상기 마킹 도구의 조작 장치의 검출된 해제에 응답하여 상기 마킹 도구의 움직임의 추적을 종료하는 단계를 포함하는 것을 특징으로 하는
방법.
제7항에 있어서,
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 단계는:
상기 마킹 도구의 추적된 움직임에 대응하는 윤곽(contour)을 검출하는 단계와; 그리고
상기 가상 표기면에 상기 마킹 도구의 움직임의 검출된 윤곽에 대응하는 윤곽을 주석으로 표시하는 단계를 더 포함하는 것을 특징으로 하는
방법.
시스템으로서,
가상 현실 환경을 생성하도록 구성된 컴퓨팅 디바이스를 포함하고,
상기 컴퓨팅 디바이스는:
실행 가능한 명령어들을 저장하는 메모리와; 그리고
프로세서를 포함하고,
상기 프로세서는, 상기 명령어들을 실행하도록 하여 상기 컴퓨팅 디바이스로 하여금,
HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하도록 하고,
상기 HMD의 외부에서, 제1 휴대용 전자 디바이스의 검출된 제1 위치 및 제2 휴대용 전자 디바이스의 검출된 제1 위치에 기초하여 제1 제스처 입력을 검출하고,
상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하고,
상기 HMD의 외부에서, 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치 및 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여 제2 제스처 입력을 검출하고,
상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 상기 가상 표기면을 제1 가상 객체로서 디스플레이하고,
상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동 해제를 검출하고,
상기 조작 장치의 검출된 작동 해제에 응답하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하고, 그리고
상기 가상 환경에서 상기 가상 표기면을 제2 가상 객체로서 디스플레이하도록 구성된 것을 특징으로 하는
시스템.
제9항에 있어서,
상기 제1 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되며, 그리고 상기 제2 휴대용 전자 디바이스는 상기 HMD와 작동 가능하게 결합되는 것을 특징으로 하는
시스템.
삭제
제9항에 있어서,
상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금,
상기 제1 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치에 기초하고 그리고 상기 제2 휴대용 전자 디바이스의 상기 검출된 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 및 형상 중 적어도 하나를 설정하도록 구성되는 것을 특징으로 하는
시스템.
제12항에 있어서,
상기 제1 휴대용 전자 디바이스의 제2 위치 및 상기 제2 휴대용 전자 디바이스의 제2 위치는 상기 조작 장치의 작동 해제의 검출에 대응하는 지점에서 검출되는 것을 특징으로 하는
시스템.
제9항에 있어서,
상기 명령어들은 상기 컴퓨팅 디바이스로 하여금,
상기 HMD의 외부에서, 제3 제스처 입력을 검출하도록 하고,
상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하도록 하고, 그리고
상기 가상 환경에서 상기 주석이 기재된 가상 표기면을 상기 제2 가상 객체로서 디스플레이하도록 하며,
상기 제3 제스처 입력을 검출하도록 하는 것 및 상기 가상 표기면에 주석을 기재하는 것은:
마킹 도구(marking implement)의 움직임을 검출 및 추적하는 것; 및
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 것을 포함하는 것을 특징으로 하는
시스템.
제14항에 있어서,
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금,
상기 마킹 도구의 조작 장치의 작동을 검출하도록 하고,
상기 마킹 도구의 조작 장치의 상기 검출된 작동에 응답하여 상기 마킹 도구의 움직임의 추적을 개시하도록 하며,
상기 마킹 도구의 조작 장치의 작동 해제를 검출하도록 하며, 그리고
상기 마킹 도구의 조작 장치의 검출된 해제에 응답하여 상기 마킹 도구의 움직임의 추적을 종료하도록 하는 것을 특징으로 하는
시스템.
제15항에 있어서,
상기 마킹 도구의 검출된 움직임에 기초하여 상기 가상 표기면에 주석을 기재하는 것에서, 상기 명령어들은 상기 컴퓨팅 디바이스로 하여금,
상기 마킹 도구의 추적된 움직임에 대응하는 윤곽을 검출하도록 하고, 그리고
상기 가상 표기면에 상기 마킹 도구의 움직임의 검출된 윤곽에 대응하는 윤곽을 주석으로 기재하도록 하는 것을 특징으로 하는
시스템.
비 일시적인 컴퓨터 판독 가능 매체로서,
상기 컴퓨터 판독 가능 매체는, 프로세서에 의해 실행될 때 상기 프로세서로 하여금 방법을 실행하게 하는 일련의 명령어들을 저장하고, 상기 방법은,
HMD(head mounted display) 디바이스의 디스플레이 상에 가상 환경을 디스플레이하는 단계와;
상기 HMD의 외부에서, 제1 휴대용 전자 디바이스의 검출된 제1 위치 및 제2 휴대용 전자 디바이스의 검출된 제1 위치에 기초하여 제1 제스처 입력을 검출하는 단계와;
상기 제1 제스처 입력의 검출에 응답하여, 가상 표기면을 생성하는 단계와;
상기 HMD의 외부에서, 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치 및 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여 제2 제스처 입력을 검출하는 단계와;
상기 제2 제스처 입력의 검출에 응답하여, 상기 가상 환경에서 상기 가상 표기면을 제1 가상 객체로서 디스플레이하는 단계와;
상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 작동 해제를 검출하는 단계와;
상기 조작 장치의 검출된 작동 해제에 응답하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계와; 그리고
상기 가상 환경에서 상기 가상 표기면을 제2 가상 객체로서 디스플레이하는 단계를 포함하는 것을 특징으로 하는
비 일시적인 컴퓨터 판독 가능 매체.
제17항에 있어서,
상기 제1 제스처 입력을 검출하는 단계는, 또한,
상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 조작 장치의 제1 작동을 검출하는 단계와; 그리고
상기 제1 휴대용 전자 디바이스의 검출된 제1 위치, 상기 제2 휴대용 전자 디바이스의 검출된 제1 위치 및 상기 조작 장치의 검출된 제1 작동에 기초하여 상기 제1 제스처 입력을 검출하는 단계를 포함하는 것을 특징으로 하는
비 일시적인 컴퓨터 판독 가능 매체.
제18항에 있어서,
상기 제2 제스처 입력을 검출하는 단계는,
상기 제1 제스처 입력을 검출한 후,
상기 조작 장치의 상기 제1 작동의 해제를 검출하는 단계와;
상기 조작 장치의 상기 제1 작동의 해제가 검출되는 지점에서 상기 제1 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와;
상기 조작 장치의 상기 제1 작동의 해제가 검출되는 지점에서 상기 제2 휴대용 전자 디바이스의 제2 위치를 검출하는 단계와; 그리고
상기 제1 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제1 휴대용 전자 디바이스의 검출된 제2 위치, 및 상기 제2 휴대용 전자 디바이스의 검출된 제1 위치에 대한 상기 제2 휴대용 전자 디바이스의 검출된 제2 위치에 기초하여, 상기 가상 표기면의 크기 또는 형상 중 적어도 하나를 설정하는 단계를 포함하는 것을 특징으로 하는
비 일시적인 컴퓨터 판독 가능 매체.
제19항에 있어서,
상기 HMD의 외부에서, 제3 제스처 입력을 검출하는 단계와; 그리고
상기 제3 제스처 입력의 검출에 응답하여, 상기 가상 표기면에 주석을 기재하는 단계를 더 포함하고,
상기 제3 제스처 입력을 검출하는 단계 및 상기 가상 표기면에 주석을 기재하는 단계는:
상기 조작 장치의 제2 작동을 검출하는 단계와;
상기 조작 장치의 상기 검출된 제2 작동에 응답하여 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 움직임을 추적하는 단계와;
상기 조작 장치의 상기 제2 작동의 해제를 검출하는 단계와;
상기 조작 장치의 상기 제2 작동의 검출된 해제에 응답하여 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 움직임의 추적을 종료하는 단계와; 그리고
상기 조작 장치의 상기 제2 작동의 검출과 상기 조작 장치의 상기 제2 작동의 해제의 검출 사이에서 추적되는 상기 제1 휴대용 전자 디바이스 또는 상기 제2 휴대용 전자 디바이스 중 적어도 하나의 움직임에 대응하는 윤곽으로 상기 가상 표기면에 주석을 기재하는 단계를 포함하는 것을 특징으로 하는
비 일시적인 컴퓨터 판독 가능 매체.