KR20230066626A - 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적 - Google Patents

증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적 Download PDF

Info

Publication number
KR20230066626A
KR20230066626A KR1020237012804A KR20237012804A KR20230066626A KR 20230066626 A KR20230066626 A KR 20230066626A KR 1020237012804 A KR1020237012804 A KR 1020237012804A KR 20237012804 A KR20237012804 A KR 20237012804A KR 20230066626 A KR20230066626 A KR 20230066626A
Authority
KR
South Korea
Prior art keywords
hand
game
final
display
virtual
Prior art date
Application number
KR1020237012804A
Other languages
English (en)
Inventor
일테리스 캔버크
드미트로 쿠처
드미트로 호보로브
아더 시도란
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230066626A publication Critical patent/KR20230066626A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

스마트 안경류 디바이스의 디스플레이 상에서 증강 현실로 인터랙티브 게임을 제시하기 위한 예시적인 시스템들, 디바이스들, 매체들 및 방법들이 설명된다. 손 추적 유틸리티는 고화질 비디오 데이터에 기반하여 손 제스처들의 로케이션을 실시간으로 검출하고 추적한다. 검출된 손 제스처들은 손 제스처들 및 랜드마크들의 라이브러리와 비교된다. 예들은 각각의 디바이스가 평가 및 채점을 위해 손 제스처들을 검출하며 다른 디바이스들과 공유하는 동기화된 멀티-플레이어 게임들을 포함한다. 단일-플레이어의 예는 대응하는 키 이미지들과의 명백한 충돌을 향해 이동하는 것처럼 보이는 가상 스크롤 상에 제시되는 제스처-모양 아이콘들을 포함하며, 플레이어의 손이 명백한 충돌 근처에 로케이팅되고 검출된 손 모양이 이동하는 아이콘과 매칭되는 경우에 포인트들을 부여한다.

Description

증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적
[0001] 본 출원은 2020년 9월 18일에 출원된 미국 출원 일련번호 제17/024,800호에 대해 우선권을 주장하며, 이 출원의 내용들은 인용에 의해 본원에 완전히 통합된다.
[0002] 본 개시내용에 제시된 예들은 증강 현실(AR) 분야, 및 웨어러블 전자 디바이스들, 이를테면 안경류에 관한 것이다. 더 구체적으로 그러나 제한 없이, 본 개시내용은 증강 현실에서 손 제스처들의 실시간 추적 및 가상 객체들의 디스플레이를 설명한다.
[0003] 오늘날 이용 가능한 많은 타입들의 컴퓨터들 및 전자 디바이스들, 이를테면 모바일 디바이스들(예컨대, 스마트폰들, 태블릿들 및 랩톱들), 핸드헬드 디바이스들, 및 웨어러블 디바이스들(예컨대, 스마트 안경, 디지털 안경류, 헤드웨어, 헤드기어 및 머리-장착 디스플레이들)은 다양한 카메라들, 센서들, 무선 트랜시버들, 입력 시스템들(예컨대, 터치-감지 표면들, 포인터들), 주변 디바이스들, 디스플레이들 및 사용자가 디스플레이된 콘텐츠와 상호 작용할 수 있게 하는 그래픽 사용자 인터페이스(GUI)들을 포함한다.
[0004] 증강 현실(AR)은 물리적 환경의 실제 객체들을 가상 객체들과 결합하여 이 결합을 사용자에게 디스플레이한다. 결합된 디스플레이는 특히 가상 객체들이 실제 객체들 처럼 나타나고 행동할 때 가상 객체들이 물리적 환경에 진정으로 존재한다는 인상을 준다.
[0005] 설명된 다양한 예들의 특징들은 도면들을 참조하는 이하의 상세한 설명으로부터 용이하게 이해될 것이다. 상세한 설명에서 그리고 도면의 여러 도면들 전반에 걸쳐 각각의 엘리먼트에 대해 참조 부호가 사용된다. 복수의 유사한 엘리먼트들이 존재할 때, 소문자를 추가하여 특정 엘리먼트들을 지칭하면서, 유사한 엘리먼트들에 단일 참조 부호가 할당될 수 있다.
[0006] 도면들에 도시된 다양한 엘리먼트들은 달리 표시하지 않는 한 실척대로 도시되지는 않는다. 다양한 엘리먼트들의 치수들은 명확성을 위해 확대되거나 또는 축소될 수 있다. 여러 도면들은 하나 이상의 구현들을 묘사하며, 단지 예로서 제시되며 제한으로서 해석되지 않아야 한다. 도면들에는 이하의 도면들이 포함된다.
[0007] 도 1a는 게임 제어 시스템에서 사용하기에 적합한 안경류 디바이스의 예시적인 하드웨어 구성의 측면도(우측)이다.
[0008] 도 1b는 우측 가시광 카메라 및 회로 보드를 묘사한, 도 1a의 안경류 디바이스의 우측 코너의 부분 사시 단면도이다.
[0009] 도 1c는 좌측 가시광 카메라를 도시하는, 도 1a의 안경류 디바이스의 예시적인 하드웨어 구성의 측면도(좌측)이다.
[0010] 도 1d는 좌측 가시광 카메라 및 회로 보드를 묘사한, 도 1c의 안경류 디바이스의 좌측 코너의 부분 사시 단면도이다.
[0011] 도 2a 및 도 2b는 게임 제어 시스템에서 활용되는 안경류 디바이스의 예시적인 하드웨어 구성들의 배면도들이다.
[0012] 도 3은 3차원 장면, 좌측 가시광 카메라에 의해 캡처된 좌측 원시 이미지 및 우측 가시광 카메라에 의해 캡처된 우측 원시 이미지의 개략도이다.
[0013] 도 4는 다양한 네트워크들을 통해 연결된 서버 시스템 및 웨어러블 디바이스(예컨대, 안경류 디바이스)를 포함하는 예시적인 게임 제어 시스템의 기능 블록도이다.
[0014] 도 5는 도 4의 게임 제어 시스템의 모바일 디바이스에 대한 예시적인 하드웨어 구성의 개략도이다.
[0015] 도 6은 증강 현실에서 인터랙티브 게임을 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0016] 도 7a는 증강 현실에서 디스플레이 상에 제시된, 예비 시간에서 예시적인 인터랙티브 게임의 사시도이다.
[0017] 도 7b는 증강 현실에서 디스플레이 상에 제시된, 최종 시간에서 도 7a의 예시적인 인터랙티브 게임의 사시도이다.
[0018] 도 8a 및 도 8b는 증강 현실에서 디스플레이 상에 제시된, 제2 예시적인 인터랙티브 게임의 사시도들이다.
[0019] 도 9는 도 8a 및 도 8b의 제2 예시적인 인터랙티브 게임을 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0020] 전자 안경류 디바이스의 디스플레이 상에서 증강 현실로 제시되는 예시적인 인터랙티브 게임들을 참조하여 다양한 구현들 및 세부사항들이 설명된다. 안경류 디바이스는 카메라, 프로세서, 메모리, 손 추적 유틸리티 및 디스플레이를 포함한다. 카메라는 비디오 데이터의 프레임들을 캡처하도록 구성되고, 비디오 데이터의 각각의 프레임은 복수의 픽셀들에 대한 깊이 정보를 포함한다. 안경류 상의 메모리에 저장된 게임 애플리케이션, 일례에서 인터랙티브 게임은 플레이 필드를 설정하는 로케이션에서 상기 디스플레이 상의 게임 클록을 제시하도록 구성된다. 플레이 필드는 안경류의 움직임과 관계없이 주변 물리적 환경에 대한 오버레이로서 지속적으로 볼 수 있다. 게임 클록은 시작 시간부터 최종 시간까지 증분하도록 구성된다. 손 추적 유틸리티를 사용하여, 게임 애플리케이션은 비디오 데이터의 프레임들에서 게임 클록에서 최종 시간과 연관된 최종 손 모양을 검출한다. 게임 애플리케이션은 검출된 최종 손 모양에 기반하여 최종 가상 게임 피스를 디스플레이 상에 제시한다. 최종 가상 게임 피스는 상대방 디바이스를 포함하여 인근 디바이스들에 무선으로 브로드캐스팅된다. 게임 애플리케이션은 사용자의 디스플레이 상에 디스플레이되거나 또는 디스플레이되지 않을 수 있는 상대방 최종 가상 게임 피스를 검출한다. 게임 애플리케이션은 최종 가상 게임 피스 대 상대방 최종 가상 게임 피스에 기반하여 게임 스코어를 디스플레이 상에 제시한다.
[0021] 관련된 예시적인 인터랙티브 게임에서, 게임 애플리케이션은 디스플레이 상의 스코어 로케이션에 키 이미지를 제시한다. 게임 애플리케이션은 원위 로케이션으로부터 키 이미지를 향해 이동하는 것처럼 보이는 아이콘을 제시한다. 손 추적 유틸리티를 사용하여, 게임 애플리케이션은 게임 클록의 최종 시간과 연관된 최종 손 모양 및 최종 손 로케이션을 비디오 데이터의 프레임들에서 검출한다. 최종 시간은 이동하는 아이콘과 키 이미지 간의 명백한 충돌과 연관된다. 명백한 충돌이 발생하는 최종 시간에, 게임 애플리케이션은 (a) 검출된 최종 손 로케이션이 명백한 충돌에 대한 로케이션 매치인지 여부 및 (b) 검출된 최종 손 모양이 키 이미지에 대한 모양 매치인지 여부를 결정한다. 조건들 둘 모두가 충족되면, 게임 애플리케이션은 게임 스코어를 점차적으로 증가시킨다.
[0022] 인터랙티브 게임을 제시하는 것을 참조하여 본원에서 다양한 시스템들 및 방법들이 설명되지만, 설명된 기술은 다양한 종류들의 객체들 또는 기구들, 이를테면 핸드헬드 수술 디바이스들, 손 도구들, 조립될 부분들, 키보드들 및 키패드들과 같은 입력 컴포넌트들 등의 조작을 안내하기 위해 적용될 수 있다.
[0023] 이하의 상세한 설명은 본 개시내용에 제시된 예들을 예시하는 시스템들, 방법들, 기법들, 명령 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 개시된 청구대상 및 이의 관련 교시들의 완전한 이해를 제공하기 위한 다수의 세부사항들 및 예들이 포함된다. 그러나, 당업자는 이러한 세부사항들 없이 관련 교시들을 적용하는 방법을 이해할 수 있다. 개시된 청구대상의 양상들은 관련 교시들이 다양한 방식들로 적용되거나 실시될 수 있기 때문에 설명된 특정 디바이스들, 시스템들 및 방법으로 제한되지 않는다. 본원에서 사용되는 용어 및 명명법은 오직 특정 양상들을 설명하기 위한 목적이며, 제한으로 의도되지 않는다. 일반적으로, 잘 알려진 명령 인스턴스들, 프로토콜들, 구조들 및 기법들은 반드시 상세히 도시되지는 않는다.
[0024] 본원에서 사용되는 "커플링된” 또는 "연결된"이라는 용어들은 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링되거나 연결된 시스템 엘리먼트에 전달되게 하는 링크 등을 포함하여, 임의의 논리적, 광학적, 물리적 또는 전기적 연결부를 지칭한다. 달리 설명되지 않는 한, 커플링된 또는 연결된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결되는 것은 아니며, 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있으며, 이들 중 하나 이상은 전기 신호들을 수정, 조작 또는 반송할 수 있다. “상에”라는 용어는 엘리먼트에 의해 직접 지지되는 것 또는 엘리먼트에 통합되거나 그에 의해 지지되는 다른 엘리먼트를 통해 엘리먼트에 의해 간접적으로 지지되는 것을 의미한다.
[0025] "근접"이라는 용어는 객체 또는 사람 근처에, 이에 인접하게 또는 이 옆에 배치되거나; 또는 "원위"으로서 설명될 수 있는 아이템의 다른 부분들에 대해 더 근접한 아이템 또는 아이템의 부분을 설명하기 위해 사용된다. 예컨대, 객체에 가장 가까운 아이템의 끝은 근위 끝으로 지칭될 수 있는 반면에, 일반적으로 반대 끝은 원위 끝으로서 지칭될 수 있다.
[0026] 도면들 중 임의의 도면에 도시된 바와 같은, 카메라, 관성 측정 유닛 또는 이들 둘 모두를 통합한 안경류 디바이스, 다른 모바일 디바이스들, 연관된 컴포넌트들 및 임의의 다른 디바이스들의 배향들은 예시 및 논의 목적들을 위해 단지 예로서 주어진다. 동작 시에, 안경류 디바이스는 안경류 디바이스의 특정한 애플리케이션에 적합한 임의의 다른 방향으로, 예컨대, 위, 아래, 옆으로, 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에 사용되는 범위까지, 앞, 뒤, 내향, 외향, 쪽으로, 좌측, 우측, 측방향, 종방향, 위, 아래, 상부, 하부, 최상부, 최하부, 측면, 수평, 수직 및 대각과 같은 임의의 방향성 용어는 단지 예시의 방식으로 사용되며, 구성된 또는 본원에 달리 설명된 임의의 카메라 또는 관성 측정 유닛의 방향 또는 배향으로 제한되지 않는다.
[0027] 진보된 AR 기술들, 이를테면 컴퓨터 비전 및 객체 추적은 지각적으로 풍부하고 몰입적인 경험을 생성하는 데 사용될 수 있다. 컴퓨터 비전 알고리즘들은 디지털 이미지들 또는 비디오에 캡처된 데이터로부터 물리적 세계에 대한 3차원 데이터를 추출한다. 객체 인식 및 추적 알고리즘들은 디지털 이미지 또는 비디오에서 객체를 검출하고, 객체의 배향 또는 포즈를 추정하며, 그리고 시간에 따른 객체의 이동을 추적하기 위해 사용된다. 실시간으로 손 및 손가락을 인식하고 추적하는 것은 컴퓨터 비전 분야에서 가장 어렵고 프로세싱 집약적인 작업들 중 하나이다.
[0028] "포즈"라는 용어는 특정한 순간에 객체의 정적인 포지션 및 배향을 지칭한다. "제스처"라는 용어는 신호 또는 아이디어를 전달하기 위한 일련의 포즈들을 통한, 때때로 연속적인 (예컨대, 웨이빙, 핀칭) 손과 같은 객체의 능동적인 움직임을 지칭한다. "포즈" 및 "제스처"라는 용어들은 때때로 컴퓨터 비전 및 증강 현실 분야에서 상호 교환 가능하게 사용된다. 본원에서 사용되는 바와같이, "포즈" 또는 "제스처" (또는 이들의 변형들)라는 용어들은 포즈들 및 제스처들 둘 모두를 포함하는 것으로 의도되는데, 즉, 한 용어의 사용은 다른 용어의 사용을 배제하지 않는다.
[0029] 예들의 추가적인 목적들, 이점들 및 신규 특징들은 하기 설명에서 부분적으로 제시될 것이고, 부분적으로, 이하의 그리고 첨부된 도면들의 검토 시에 당업자들에게 자명해질 것이거나, 또는 예들의 생산 또는 동작에 의해 학습될 수 있다. 본 발명의 청구대상의 목적들 및 장점들은 특히 첨부된 청구항들에서 적시된 방법론들, 기구들 및 이들의 조합들에 의해 실현 및 달성될 수 있다.
[0030] 이제, 첨부된 도면들에서 예시되고 아래에서 논의되는 예들이 상세히 참조된다.
[0031] 도 1a는 터치-감지 입력 디바이스 또는 터치패드(181)를 포함하는 안경류 디바이스(100)의 예시적인 하드웨어 구성의 측면도(우측)이다. 도시된 바와 같이, 터치패드(181)는 이해하기 어려우며 용이하게 쉽게 보여지지 않는 경계를 가질 수 있으며; 대안적으로, 경계는 명백하게 보일 수 있거나, 또는 터치패드(181)의 로케이션 및 경계에 대한 피드백을 사용자에게 제공하는 상승된 또는 그렇지 않으면 촉각적인 에지를 포함할 수 있다. 다른 구현들에서, 안경류 디바이스(100)는 좌측에 터치패드를 포함할 수 있다.
[0032] 터치패드(181)의 표면은, 사용자가 메뉴 옵션들을 통해 내비게이팅하여 직관적인 방식으로 메뉴 옵션들을 선택할 수 있게 하도록, 이미지 디스플레이 상에서 안경류 디바이스에 의해 디스플레이되는 GUI와 함께 사용하기 위한 손가락 터치들, 탭들 및 제스처들 (예컨대, 이동 터치들)을 검출하도록 구성되며, 이는 사용자 경험을 향상시키고 단순화시킨다.
[0033] 터치패드(181) 상의 손가락 입력들의 검출은 여러 기능들을 가능하게 할 수 있다. 예컨대, 터치패드(181)의 임의의 위치를 터치하면, GUI가 이미지 디스플레이 상에 아이템을 디스플레이하거나 또는 강조할 수 있으며, 이는 광학 조립체들(180A, 180B) 중 적어도 하나에 투사될 수 있다. 터치패드(181) 상의 더블 태핑은 아이템 또는 아이콘을 선택할 수 있다. 특정 방향으로 (예컨대, 앞에서 뒤로, 뒤에서 앞으로, 위에서 아래로 또는 아래에서 위로) 손가락을 슬라이딩하거나 또는 스와이핑하면, 아이템들 또는 아이콘들이 특정 방향으로 슬라이딩되거나 또는 스크롤링되게 할 수 있으며; 예컨대, 다음 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동되게 할 수 있다. 손가락을 다른 방향으로 슬라이딩하면, 반대 방향으로 슬라이딩 또는 스크롤링되게 할 수 있으며; 예컨대 이전 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동되게 할 수 있다. 터치패드(181)는 안경류 디바이스(100)의 사실상 임의의 위치일 수 있다.
[0034] 일례에서, 터치패드(181) 상의 단일 탭의 식별된 손가락 제스처는 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 선택 또는 누름을 개시한다. 식별된 손가락 제스처에 기반하여 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에 대한 조절은 추가적인 디스플레이 또는 실행을 위해 광학 조립체(180A, 180B)의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 엘리먼트를 선택하거나 또는 제출하는 1차 액션(action)일 수 있다.
[0035] 도시된 바와 같이, 안경류 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 본원에서 추가로 설명되는 바와 같이, 2개의 카메라들(114A, 114B)은 2개의 별개의 뷰포인트들로부터 스크린에 대한 이미지 정보를 캡처한다. 2개의 캡처된 이미지들은 3D 안경으로 보기 위해 3차원 디스플레이를 이미지 디스플레이에 투사하는 데 사용될 수 있다.
[0036] 안경류 디바이스(100)는 깊이 이미지들과 같은 이미지들을 제시하기 위한 이미지 디스플레이를 갖는 우측 광학 조립체(180B)를 포함한다. 도 1a 및 도 1b에 도시된 바와 같이, 안경류 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 안경류 디바이스(100)는 스테레오 카메라와 같은 수동 타입의 3차원 카메라를 형성하는 다수의 가시광 카메라들(114A, 114B)을 포함할 수 있고, 이들 중 우측 가시광 카메라(114B)는 우측 코너(110B) 상에 로케이팅된다. 도 1c 및 도 1d에 도시된 바와 같이, 안경류 디바이스(100)는 또한 좌측 가시광 카메라(114A)를 포함한다.
[0037] 좌측 및 우측 가시광 카메라들(114A, 114B)은 가시광선 범위 파장에 민감하다. 가시광 카메라들(114A, 114B)의 각각은 3차원 깊이 이미지들의 생성을 가능하게 하기 위해 중첩하는 상이한 전방을 향하는 시야를 갖는데, 예컨대, 우측 가시광 카메라(114B)는 우측 시야(111B)를 묘사한다. 일반적으로, “시야”는, 공간 내의 특정 포지션 및 배향에서 카메라를 통해 가시적인 장면의 일부이다. 시야들(111A 및 111B)은 중첩하는 시야(304)(도 3)를 갖는다. 가시광 카메라가 이미지를 캡처할 때 시야(111A, 111B) 외측의 객체들 또는 객체 특징들은 원시 이미지(예컨대, 포토그래프 또는 사진)에 기록되지 않는다. 시야는 가시광 카메라(114A, 114B)의 이미지 센서가 주어진 장면의 캡처된 이미지 내의 주어진 장면의 전자기 방사를 픽업하는 각도 범위 또는 정도를 설명한다. 시야는 뷰 콘(view cone)의 각도 크기, 즉 시야각으로 표현될 수 있다. 시야각은 수평으로, 수직으로 또는 대각으로 측정될 수 있다.
[0038] 예시적인 구성에서, 가시광 카메라들(114A, 114B) 중 하나 또는 둘 모두는 100°의 시야를 갖고, 480 x 480 픽셀들의 해상도를 갖는다. "커버리지 각도"는 가시광 카메라들(114A, 114B) 또는 적외선 카메라(410)(도 2a 참조)의 렌즈가 효과적으로 이미징할 수 있는 각도 범위를 설명한다. 통상적으로, 카메라 렌즈는 가능하게는 일부 비네팅(vignetting)(예컨대, 중심과 비교하여 에지들 쪽의 이미지의 다크닝)을 포함하여, 필름 또는 카메라의 센서를 완전히 커버할 만큼 충분히 큰 이미지 원을 생성한다. 카메라 렌즈의 커버리지 각도가 센서를 채우지 않는 경우, 이미지 원은 가시적일 것이고, 통상적으로 에지를 향하는 강한 비네팅을 가지며, 뷰의 유효 각도는 커버리지 각도로 제한될 것이다.
[0039] 이러한 가시광 카메라들(114A, 114B)의 예들은 640p(예컨대, 총 0.3 메가픽셀의 경우 640 x 480 픽셀들), 720p, 또는 1080p의 해상도들을 가능하게 하는 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 디지털 VGA 카메라(비디오 그래픽 어레이)를 포함한다. 가시광 카메라들(114A, 114B)의 다른 예들은 HD(high-definition) 정지 이미지들을 캡처하고 이들을 1642 x 1642개의 (또는 그 초과의) 픽셀들의 해상도로 저장할 수 있거나; 또는 높은 프레임 레이트(예컨대, 초당 30 내지 60개의 프레임들 또는 그 초과)로 HD(high-definition) 비디오를 기록하고 기록을 1216 x 1216개의 (또는 그 초과의) 픽셀들의 해상도로 저장할 수 있다.
[0040] 안경류 디바이스(100)는 메모리에의 저장을 위해 이미지 프로세서에 의해 디지털화되는, 가시광 카메라들(114A, 114B)로부터의 이미지 센서 데이터를 지오로케이션 데이터와 함께 캡처할 수 있다. 가시광 카메라들(114A, 114B)은 수평 포지션에 대한 X-축 및 수직 포지션에 대한 Y-축을 포함하는 2차원 좌표 시스템 상의 픽셀들의 매트릭스를 포함하는, 2차원 공간 도메인에서의 개개의 좌측 및 우측 원시 이미지들을 캡처한다. 각각의 픽셀은 색 속성 값(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 또는 청색 픽셀 광 값); 및 포지션 속성(예컨대, X-축 좌표 및 Y-축 좌표)을 포함한다.
[0041] 3차원 투사로서 추후 디스플레이하기 위한 스테레오 이미지들을 캡처하기 위해, 이미지 프로세서(412)(도 4에 도시됨)는 가시광 카메라들(114A, 114B)에 커플링되어 시각 이미지 정보를 수신하고 저장할 수 있다. 이미지 프로세서(412) 또는 다른 프로세서는 가시광 카메라들(114A, 114B)의 동작을 제어하여, 인간의 양안 비전을 시뮬레이팅하는 스테레오 카메라의 역할을 하고, 각각의 이미지에 타임스탬프를 추가할 수 있다. 이미지들의 각각의 쌍 상의 타임스탬프는 3차원 투사의 부분으로서 이미지들의 동시 디스플레이를 허용한다. 3차원 투사들은 가상 현실(VR) 및 비디오 게이밍을 포함하여 다양한 콘텍스트들에서 바람직한 몰입형의 실감나는 경험을 생성한다.
[0042] 도 1b는 카메라 시스템의 우측 가시광 카메라(114B) 및 회로 보드를 묘사하는, 도 1a의 안경류 디바이스(100)의 우측 코너(110B)의 사시 단면도이다. 도 1c는 카메라 시스템의 좌측 가시광 카메라(114A)를 도시하는, 도 1a의 안경류 디바이스(100)의 예시적인 하드웨어 구성의 측면도(좌측)이다. 도 1d는 3차원 카메라의 좌측 가시광 카메라(114A) 및 회로 보드를 묘사하는, 도 1c의 안경류 디바이스의 좌측 코너의(110A)의 사시 단면도이다.
[0043] 좌측 가시광 카메라(114A)의 구성 및 배치는 연결부들 및 커플링이 좌측 측방향 측면(170A)에 있다는 점을 제외하고 우측 가시광 카메라(114B)와 실질적으로 유사하다. 도 1b의 예에 도시된 바와 같이, 안경류 디바이스(100)는 우측 가시광 카메라(114B) 및 가요성 PCB(printed circuit board)일 수 있는 회로 보드(140B)를 포함한다. 우측 힌지(126B)는 안경류 디바이스(100)의 우측 템플(125B)에 우측 코너(110B)를 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140B), 또는 다른 전기 커넥터들 또는 접촉부들의 컴포넌트들은 우측 템플(125B) 또는 우측 힌지(126B) 상에 로케이팅될 수 있다. 좌측 힌지(126A)는 좌측 코너(110A)를 안경류 디바이스(100)의 좌측 템플(125A)에 연결한다. 일부 예들에서, 좌측 가시광 카메라(114A), 가요성 PCB(140A) 또는 다른 전기 커넥터들 또는 콘택들의 컴포넌트들은 좌측 템플(125A) 또는 좌측 힌지(126A) 상에 로케이팅될 수 있다.
[0044] 우측 코너(110B)는 코너 본체(190) 및 코너 캡을 포함하고, 코너 캡은 도 1b의 단면에서 생략된다. 우측 코너(110B) 내부에는 우측 가시광 카메라(114B)에 대한 제어기 회로들, 마이크로폰(들), (예컨대, Bluetooth™를 통한 무선 근거리 네트워크 통신을 위한) 저전력 무선 회로부, (예컨대, Wi-Fi 통한 무선 근거리 네트워크 통신을 위한) 고속 무선 회로부를 포함하는 다양한 상호연결된 회로 보드들, 예컨대, PCB들 또는 가요성 PCB들이 배치된다.
[0045] 우측 가시광 카메라(114B)는 가요성 PCB(140B)에 커플링되거나 배치되고, 프레임(105)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 예컨대, 도 2a에 도시된 프레임(105)의 우측 테두리(107B)는 우측 코너(110B)에 연결되고 가시광 카메라 커버 렌즈를 위한 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀리 바깥쪽을 향하도록 구성된 전방 측면을 포함한다. 가시광 카메라 커버 렌즈를 위한 개구는 프레임(105)의 전방 또는 외향 측면 상에 그리고 이를 통해 형성된다. 예에서, 우측 가시광 카메라(114B)는 안경류 디바이스(100)의 사용자의 우측 눈과 상관되는 시선 또는 시각을 갖는 (도 3에 도시된) 갖는 외향 시야(111B)를 갖는다. 가시광 카메라 커버 렌즈는 또한 우측 코너(110B)의 전방 측면 또는 외향 표면에 부착될 수 있고, 여기서 커버리지의 외향 각도를 갖지만 상이한 외측 방향을 향하는 개구가 형성된다. 커플링은 또한 개재 컴포넌트들을 통해 간접적일 수 있다.
[0046] 도 1b에 도시된 바와 같이, 가요성 PCB(140B)는 우측 코너(110B) 내부에 배치되고, 우측 코너(110B)에 하우징된 하나 이상의 다른 컴포넌트들에 커플링된다. 우측 코너(110B)의 회로 보드들 상에 형성된 것으로 도시되었지만, 우측 가시광 카메라(114B)는 좌측 코너(110A), 템플들(125A, 125B) 또는 프레임(105)의 회로 보드들 상에 형성될 수 있다.
[0047] 도 2a 및 도 2b는 2개의 상이한 타입들의 이미지 디스플레이들을 포함하는 안경류 디바이스(100)의 예시적인 하드웨어 구성들을 뒤에서 본 사시도들이다. 안경류 디바이스(100)는 사용자가 착용하도록 구성된 형태의 크기를 갖고 이러한 형태로 형상화되며; 안경의 형태가 본 예에 도시된다. 안경류 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 타입들의 프레임워크들, 예컨대 헤드기어, 헤드셋 또는 헬멧을 통합할 수 있다.
[0048] 안경 예에서, 안경류 디바이스(100)는 사용자의 코에 의해 지지되도록 구성된 브리지( bridge)(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A, 107B)은 렌즈 및 디스플레이 디바이스와 같은 개개의 광학 엘리먼트(180A, 180B)를 홀딩하는 개개의 애퍼처들(175A, 175B)을 포함한다. 본원에서 사용되는 바와 같이, 렌즈라는 용어는 빛이 수렴/발산하게 하는 또는 수렴 또는 발산이 거의 또는 전혀 없게 하는 만곡된 또는 평탄한 표면들을 갖는 유리 또는 플라스틱의 투명한 또는 반투명한 피스들을 포함하는 것으로 의미된다.
[0049] 2개의 광학 엘리먼트들(180A, 180B)을 갖는 것으로 도시되었지만, 안경류 디바이스(100)는 안경류 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 단일 광학 엘리먼트와 같은 다른 배열들을 포함할 수 있다 (또는 임의의 광학 엘리먼트(180A, 180B)를 포함하지 않을 수 있다). 추가로 도시된 바와 같이, 안경류 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(미도시)에 통합될 수 있다.
[0050] 일례에서, 광학 조립체(180A, 180B)의 이미지 디스플레이는 통합 이미지 디스플레이를 포함한다. 도 2a에 도시된 바와 같이, 각각의 광학 조립체(180A, 180B)는 LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이 또는 임의의 다른 그러한 디스플레이와 같은 적합한 디스플레이 매트릭스(177)를 포함한다. 각각의 광학 조립체(180A, 180B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 미러들, 도파관들, 광학 스트립들, 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있는 광학 층 또는 층들(176)을 포함한다. (도 2a 및 본원에서 176A-N으로서 도시된) 광학 층들(176A, 176B, … 176N)은 적합한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 층들(176A-N)의 프리즘은 좌측 및 우측 테두리들(107A, 107B)에 형성된 개개의 애퍼처들(175A, 175B)의 전부 또는 적어도 일부분에 걸쳐 연장되어, 사용자의 눈이 대응하는 좌측 및 우측 테두리들(107A, 107B)을 보고 있을 때 사용자가 프리즘의 제2 표면을 보도록 허용한다. 광학 층들(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위를 향하고, 디스플레이 매트릭스(177)는 디스플레이 매트릭스(177)에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 층들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 하는 크기를 가지고 형상화된다. 이와 관련하여, 광학 층들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향하도록 볼록할 수 있다. 프리즘은 선택적으로 디스플레이 매트릭스(177)에 의해 투사된 이미지를 확대하도록 하는 크기를 가지고 형상화될 수 있으며, 광은 프리즘을 통해 이동하여 제2 표면으로부터 보이는 이미지는 디스플레이 매트릭스(177)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크다.
[0051] 일례에서, 광학 층들(176A-N)은 층을 불투명하게 만드는(렌즈를 닫거나 차단하는) 전압이 인가되지 않는 한 그리고 그 전압이 인가될 때까지 투명한 (렌즈를 개방된 상태로 유지하는) LCD 층을 포함할 수 있다. 안경류 디바이스(100) 상의 이미지 프로세서(412)는 능동 셔터 시스템을 생성하기 위해 LCD 층에 전압을 인가하는 프로그래밍을 실행할 수 있고, 이는 안경류 디바이스(100)가 3차원 투사로서 디스플레이될 때 시각적 콘텐츠를 보기에 적합하도록 만든다. 전압 또는 다른 타입의 입력에 응답하는 다른 타입들의 반응 층들을 포함하여, LCD와 다른 기술들이 능동 셔터 모드 동안 사용될 수 있다.
[0052] 다른 예에서, 광학 조립체(180A, 180B)의 이미지 디스플레이 디바이스는 도 2b에 도시된 바와 같이 투사 이미지 디스플레이를 포함한다. 각각의 광학 조립체(180A, 180B)는 스캐닝 미러 또는 검류계를 사용하는 3-색 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안, 레이저 프로젝터(150)와 같은 광원은 안경류 디바이스(100)의 템플들(125A, 125B) 중 하나에 또는 그 위에 배치된다. 이러한 예에서 광학 조립체(180B)는 각각의 광학 조립체(180A, 180B)의 렌즈의 폭에서 떨어져서 이를 가로질러 또는 렌즈의 전방 표면 및 후방 표면 사이의 렌즈의 깊이를 가로질러 이격되는 하나 이상의 광학 스트립들(155A, 155B, … 155N)(도 2b에서 155A-N로서 도시됨)을 포함한다.
[0053] 레이저 프로젝터(150)에 의해 투사된 광자들이 각각의 광학 조립체(180A, 180B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-N)과 만난다. 특정 광자가 특정 광학 스트립을 만날 때, 그 광자는 사용자의 눈을 향해 재지향되거나 다음 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조 및 광학 스트립들의 변조의 조합은 특정 광자들 또는 광 빔들을 제어할 수 있다. 일례에서, 프로세서는 기계적, 음향적 또는 전자기 신호들을 개시함으로써 광학 스트립들(155A-N)을 제어한다. 2개의 광학 조립체들(180A, 180B)을 갖는 것으로 도시되었지만, 안경류 디바이스(100)는 단일의 또는 3개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 또는 각각의 광학 조립체(180A, 180B)는 안경류 디바이스(100)의 의도된 사용자 또는 애플리케이션에 따라 배열된 상이한 배열을 가질 수 있다.
[0054] 도 2a 및 도 2b에 추가로 도시된 바와 같이, 안경류 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측방향 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(125A, 125B)에 통합될 수 있다.
[0055] 다른 예에서, 도 2b에 도시된 안경류 디바이스(100)는 2개의 프로젝터들, 즉 좌측 프로젝터(150A)(미도시) 및 우측 프로젝터(150B)(프로젝터(150)로 도시됨)를 포함할 수 있다. 좌측 광학 조립체(180A)는 좌측 디스플레이 매트릭스(177A)(미도시), 또는 좌측 프로젝터(150A)로부터의 광과 상호작용하도록 구성된 좌측 세트의 광학 스트립들(155'A, 155'B, … 155'N)(155 프라임, A 내지 N, 미도시)을 포함할 수 있다. 유사하게, 우측 광학 조립체(180B)는 우측 디스플레이 매트릭스(177B)(미도시), 또는 우측 프로젝터(150B)로부터의 광과 상호작용하도록 구성된 우측 세트의 광학 스트립들(155''A, 155''B, … 155''N)(155 더블 프라임, A 내지 N, 미도시)을 포함할 수 있다. 이러한 예에서, 안경류 디바이스(100)는 좌측 디스플레이 및 우측 디스플레이를 포함한다.
[0056] 도 3은 3차원 장면(306), 좌측 가시광 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 가시광 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)의 개략도이다. 좌측 시야(111A)는 도시된 바와 같이 우측 시야(111B)와 중첩할 수 있다. 중첩 시야(304)는 양 카메라들(114A, 114B)에 의해 캡처된 이미지의 해당 부분을 나타낸다. 시야를 지칭할 때 “중첩”이라는 용어는 생성된 원시 이미지들의 픽셀들의 매트릭스가 30 퍼센트(30%) 이상 중첩하는 것을 의미한다. '실질적으로 중첩하는 것'은 생성된 원시 이미지들 (또는 장면의 적외선 이미지)의 픽셀들의 매트릭스가 50 퍼센트 (50%) 이상 중첩하는 것을 의미한다. 본원에서 설명되는 바와 같이, 2개의 원시 이미지들(302A, 302B)은 타임스탬프를 포함하도록 프로세싱될 수 있으며, 이는 이미지들이 3차원 투사의 부분으로서 함께 디스플레이될 수 있게 한다.
[0057] 스테레오 이미지의 캡처를 위해, 도 3에 예시된 바와같이, 원시 적색, 녹색 및 청색(RGB) 이미지들의 쌍, 즉 좌측 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)가 주어진 순간에 실제 장면(306)으로부터 캡처된다. 원시 이미지들(302A, 302B)의 쌍이 (예컨대, 이미지 프로세서(412))에 의해 프로세싱될 때, 깊이 이미지들이 생성된다. 생성된 깊이 이미지들은 안경류 디바이스의 광학 조립체(180A, 180B) 상에, 다른 디스플레이(예컨대, 모바일 디바이스(401) 상의 이미지 디스플레이(580)) 상에 또는 스크린 상에서 보여질 수 있다.
[0058] 생성된 깊이 이미지들은 3차원 공간 도메인에 있고, 수평 포지션(예컨대, 길이)에 대한 X-축, 수직 포지션(예컨대, 높이)에 대한 Y-축, 및 깊이(예컨대, 거리)에 대한 Z-축을 포함하는 3차원 로케이션 좌표 시스템 상에 정점들의 매트릭스를 포함할 수 있다. 각각의 정점은 색 속성(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 및/또는 청색 픽셀 광 값); 포지션 속성(예컨대, X 로케이션 좌표, Y 로케이션 좌표, 및 Z 로케이션 좌표); 텍스처 속성; 반사 속성; 또는 이들의 조합을 포함할 수 있다. 텍스처 속성은 깊이 이미지의 정점들의 영역에서 색의 공간적 배열 또는 세기들과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0059] 일례에서, 게임 제어 시스템(400)(도 4)은 안경류 디바이스(100)를 포함하며, 안경류 디바이스(100)는 프레임(105) 및 프레임(105)의 좌측 측방향 측면(170A)으로부터 연장되는 좌측 템플(125A) 및 프레임(105)의 우측 측방향 측면(170B)으로부터 연장되는 우측 템플(125B)을 포함한다. 안경류 디바이스(100)는 중첩 시야를 갖는 적어도 2개의 가시광 카메라들(114A, 114B)을 더 포함할 수 있다. 일례에서, 안경류 디바이스(100)는 도 3에 예시된 바와 같이 좌측 시야(111A)를 갖는 좌측 가시광 카메라(114A)를 포함한다. 좌측 카메라(114A)는 프레임(105) 또는 좌측 템플(125A)에 연결되어 장면(306)의 좌측으로부터 좌측 원시 이미지(302A)를 캡처한다. 안경류 디바이스(100)는 우측 시야(111B)를 갖는 우측 가시광 카메라(114B)를 더 포함한다. 우측 카메라(114B)는 프레임(105) 또는 우측 템플(125B)에 연결되어 장면(306)의 우측으로부터 우측 원시 이미지(302B)를 캡처한다.
[0060] 도 4는 인터넷과 같은 다양한 네트워크들(495)을 통해 연결된 웨어러블 디바이스(예컨대, 안경류 디바이스(100)), 모바일 디바이스(401) 및 서버 시스템(498)을 포함하는 예시적인 게임 제어 시스템(400)의 기능 블록도이다. 게임 제어 시스템(400)은 안경류 디바이스(100)와 모바일 디바이스(401) 사이의 저-전력 무선 연결(425) 및 고속 무선 연결(437)을 포함한다.
[0061] 도 4에 도시된 바와 같이, 안경류 디바이스(100)는 본원에서 설명되는 바와 같이 정지 이미지들, 비디오 이미지들 또는 정지 이미지들과 비디오 이미지들 둘 모두를 캡처하는 하나 이상의 가시광 카메라들(114A, 114B)을 포함한다. 카메라들(114A, 114B)은 고속 회로부(430)에 대한 직접 메모리 액세스(DMA)를 가질 수 있고, 스테레오 카메라로서 기능할 수 있다. 카메라들(114A, 114B)은 적색, 녹색 및 청색 (RGB) 이미지 장면의 텍스처 매핑 이미지들인 3차원(3D) 모델들로 렌더링될 수 있는 초기-깊이 이미지들을 캡처하는 데 사용될 수 있다. 디바이스(100)는 또한 디바이스(100)에 대한 객체들의 포지션을 추정하기 위해 적외선 신호들을 사용하는 깊이 센서(213)를 포함할 수 있다. 일부 예들에서 깊이 센서(213)는 하나 이상의 적외선 방출기(들)(215) 및 적외선 카메라(들)(410)를 포함한다.
[0062] 안경류 디바이스(100)는 각각의 광학 조립체(180A, 180B) (하나는 좌측 측면(170A)과 연관되고 하나는 우측 측면(170B)과 연관됨)의 2개의 이미지 디스플레이들을 더 포함한다. 안경류 디바이스(100)는 또한 이미지 디스플레이 드라이버(442), 이미지 프로세서(412), 저전력 회로부(420) 및 고속 회로부(430)를 포함한다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 정지 이미지들, 비디오 이미지들 또는 정지 및 비디오 이미지들을 포함하는 이미지들을 제시하기 위한 것이다. 이미지 디스플레이 드라이버(442)는 이미지들의 디스플레이를 제어하기 위해 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들에 커플링된다.
[0063] 안경류 디바이스(100)는 하나 이상의 스피커들(440)(예컨대, 하나는 안경류 디바이스의 좌측 측면과 연관되며 다른 것은 안경류 디바이스의 우측 측면과 연관됨)을 추가로 포함한다. 스피커들(440)은 안경류 디바이스(100)의 프레임(105), 템플들(125) 또는 코너들(110)에 통합될 수 있다. 하나 이상의 스피커들(440)은 저전력 회로부(420), 고속 회로부(430) 또는 이들 둘 모두의 제어 하에 오디오 프로세서(443)에 의해 구동된다. 스피커들(440)은 예컨대 비트 트랙을 포함하는 오디오 신호들을 제공하기 위한 것이다. 오디오 프로세서(443)는 사운드의 프리젠테이션을 제어하기 위해 스피커들(440)에 커플링된다.
[0064] 안경류 디바이스(100)에 대해 도 4에 도시된 컴포넌트들은 테두리들 또는 템플들에 로케이팅된, 하나 이상의 회로 보드들, 예컨대, PCB(printed circuit board) 또는 PCB(flexible printed circuit) 상에 로케이팅된다. 대안적으로 또는 추가적으로, 묘사된 컴포넌트들은 안경류 디바이스(100)의 코너들, 프레임들, 힌지들 또는 브리지에 로케이팅될 수 있다. 좌측 및 우측 가시광 카메라들(114A, 114B)은 디지털 카메라 엘리먼트들, 이를테면 CMOS(complementary metal-oxide-semiconductor) 이미지 센서, 전하-결합 디바이스, 렌즈, 또는 미지의 객체들을 갖는 장면들의 정지 이미지들 또는 비디오를 포함하여 데이터를 캡처하기 위해 사용될 수 있는 임의의 다른 개개의 가시적 또는 광 캡처 엘리먼트들을 포함할 수 있다.
[0065] 도 4에 도시된 바와 같이, 고속 회로부(430)는 고속 프로세서(432), 메모리(434) 및 고속 무선 회로부(436)를 포함한다. 예에서, 이미지 디스플레이 드라이버(442)는 고속 회로부(430)에 커플링되고, 각각의 광학 조립체(180A, 180B)의 좌측 및 우측 이미지 디스플레이들을 구동하기 위해 고속 프로세서(432)에 의해 동작된다. 고속 프로세서(432)는 안경류 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(432)는 고속 무선 회로부(436)를 사용하여 WLAN(wireless local area network)으로의 고속 무선 연결부(437)를 통한 고속 데이터 전달들을 관리하는 데 필요한 프로세싱 자원들을 포함한다.
[0066] 일부 예들에서, 고속 프로세서(432)는 오퍼레이팅 시스템, 이를테면 LINUX 오퍼레이팅 시스템, 또는 안경류 디바이스(100)의 다른 그러한 오퍼레이팅 시스템을 실행하고, 오퍼레이팅 시스템은 실행을 위해 메모리(434)에 저장된다. 임의의 다른 책임들에 부가하여, 고속 프로세서(432)는 고속 무선 회로부(436)로의 데이터 전달들을 관리하는데 사용되는 안경류 디바이스(100)를 위한 소프트웨어 아키텍처를 실행한다. 일부 예들에서, 고속 무선 회로부(436)는 본원에서 또한 Wi-Fi로 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들은 고속 무선 회로부(436)에 의해 구현될 수 있다.
[0067] 저-전력 회로부(420)는 저-전력 프로세서(422) 및 저-전력 무선 회로부(424)를 포함한다. 안경류 디바이스(100)의 저-전력 무선 회로부(424) 및 고속 무선 회로부(436)는 단거리 트랜시버들(Bluetooth™ 또는 BLE(Bluetooth Low-Energy)) 및 무선 광역, 근거리 또는 광역 네트워크 트랜시버들(예컨대, 셀룰러 또는 Wi-Fi)을 포함할 수 있다. 저-전력 무선 연결부(425) 및 고속 무선 연결부(437)를 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(401)는 네트워크(495)의 다른 엘리먼트들과 마찬가지로 안경류 디바이스(100)의 아키텍처의 세부사항들을 사용하여 구현될 수 있다.
[0068] 메모리(434)는 무엇보다도 좌측 및 우측 가시광 카메라들(114A, 114B), 적외선 카메라(들)(410), 이미지 프로세서(412)에 의해 생성된 카메라 데이터 및 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들 상에서 이미지 디스플레이 드라이버(442)에 의한 디스플레이를 위해 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(434)가 고속 회로부(430)와 통합된 것으로 도시되었지만, 다른 예들에서, 메모리(434)는 안경류 디바이스(100)의 독립적인 스탠드얼론 엘리먼트일 수 있다. 이러한 특정 예들에서, 전기 라우팅 라인들은 고속 프로세서(432)를 포함하는 칩을 통해 이미지 프로세서(412) 또는 저전력 프로세서(422)로부터 메모리(434)로의 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(432)는 메모리(434)를 수반하는 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(422)가 고속 프로세서(432)를 부팅하도록 메모리(434)의 어드레싱을 관리할 수 있다.
[0069] 도 4에 도시된 바와 같이, 안경류 디바이스(100)의 고속 프로세서(432)는 카메라 시스템(가시광 카메라들(114A, 114B)), 이미지 디스플레이 드라이버(442), 사용자 입력 디바이스(491) 및 메모리(434)에 커플링될 수 있다. 도 5에 도시된 바와 같이, 모바일 디바이스(401)의 CPU(530)는 카메라 시스템(570), 모바일 디스플레이 드라이버(582), 사용자 입력 층(591) 및 메모리(540A)에 커플링될 수 있다.
[0070] 서버 시스템(498)은 예컨대 프로세서, 메모리, 및 네트워크(495)를 통해 안경류 디바이스(100) 및 모바일 디바이스(401)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다.
[0071] 안경류 디바이스(100)의 출력 컴포넌트들은 도 2a 및 도 2b에 설명된 바와 같은 각각의 렌즈 또는 광학 조립체(180A, 180B)와 연관된 좌측 및 우측 이미지 디스플레이들(예컨대, LCD(liquid crystal display), PDP(plasma display panel), LED(light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)과 같은 시각적 엘리먼트들을 포함한다. 안경류 디바이스(100)는 사용자-대면 표시기(예컨대, LED, 라우드스피커 또는 진동 액추에이터) 또는 외향 신호(예컨대, LED, 라우드스피커)를 포함할 수 있다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 이미지 디스플레이 드라이버(442)에 의해 구동된다. 일부 예시적인 구성들에서, 안경류 디바이스(100)의 출력 컴포넌트들은 추가 표시기들, 이를테면 가청 엘리먼트들(예컨대, 라우드스피커들), 촉각 컴포넌트들(예컨대, 햅틱 피드백을 생성하기 위한 진동 모터와 같은 액추에이터) 및 다른 신호 생성기들을 더 포함한다. 예컨대, 디바이스(100)는 사용자-대면 세트의 표시기들 및 외향 세트의 신호들을 포함할 수 있다. 사용자-대면 세트의 표시기들은 디바이스(100)의 사용자가 보거나 그렇지 않으면 감지하도록 구성된다. 예컨대, 디바이스(100)는 사용자가 볼 수 있도록 포지셔닝된 LED 디스플레이, 사용자가 들을 수 있는 사운드를 생성하도록 포지셔닝된 하나 이상의 스피커들, 또는 사용자가 느낄 수 있는 햅틱 피드백을 제공하기 위한 액추에이터를 포함할 수 있다. 외향 세트의 신호들은 디바이스(100) 근처의 관찰자가 보거나 또는 그렇지 않으면 감지하도록 구성된다. 유사하게, 디바이스(100)는 관찰자에 의해 감지하도록 구성되고 포지셔닝된 LED, 라우드스피커 또는 액추에이터를 포함할 수 있다.
[0072] 안경류 디바이스(100)의 입력 컴포넌트들은 알파뉴메릭 입력 컴포넌트들 (예컨대, 알파뉴메릭 입력을 수신하도록 구성된 터치 스크린 또는 터치패드, 포토-광학 키보드, 또는 다른 알파뉴메릭-구성 엘리먼트들), 포인터-기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예컨대, 터치들 또는 터치 제스처들의 로케이션, 힘 또는 로케이션 및 힘을 감지하는 버튼 스위치, 터치 스크린 또는 터치패드 또는 다른 촉각-구성 엘리먼트들), 및 오디오 입력 컴포넌트들(예컨대, 마이크로폰) 등을 포함할 수 있다. 모바일 디바이스(401) 및 서버 시스템(498)은 알파뉴메릭, 포인터-기반, 촉각, 오디오 및 다른 입력 컴포넌트들을 포함할 수 있다.
[0073] 일부 예들에서, 안경류 디바이스(100)는 관성 측정 유닛(472)으로 지칭되는 모션-감지 컴포넌트들의 집합을 포함한다. 모션-감지 컴포넌트들은 종종 마이크로칩의 일부가 될 정도로 충분히 작은 마이크로스코픽 이동 부분들을 갖는 MEMS(micro-electro-mechanical system)들일 수 있다. 일부 예시적인 구성들의 관성 측정 유닛(IMU)(472)은 가속도계, 자이로스코프 및 자력계를 포함한다. 가속도계는 3개의 직교 축들(x, y, z)에 대한 디바이스(100)의 선형 가속도(중력으로 인한 가속도를 포함함)를 감지한다. 자이로스코프는 3개의 회전축(피치, 롤, 요)에 대한 디바이스(100)의 각속도를 감지한다. 동시에, 가속도계 및 자이로스코프는 6개 축(x, y, z, 피치, 롤, 요)에 대한 디바이스에 대한 포지션, 배향 및 모션 데이터를 제공할 수 있다. 존재하는 경우 자력계는 자북에 대한 디바이스(100)의 헤딩을 감지한다. 디바이스(100)의 포지션은 로케이션 센서들, 이를테면 GPS 유닛(473), 상대방적인 포지션 좌표들을 생성하기 위한 하나 이상의 트랜시버들, 고도 센서들 또는 기압계들, 및 다른 배향 센서들에 의해 결정될 수 있다. 이러한 포지셔닝 시스템 좌표들은 또한 저-전력 무선 회로부(424) 또는 고속 무선 회로부(436)를 통해 모바일 디바이스(401)로부터 무선 연결부들(425, 437)을 통해 수신될 수 있다.
[0074] IMU(472)는 컴포넌트들로부터의 원시 데이터를 수집하는 디지털 모션 프로세서 또는 프로그래밍을 포함하거나 또는 이와 협력할 수 있으며, 디바이스(100)의 포지션, 배향 및 모션에 대한 다수의 유용한 값들을 계산할 수 있다. 예컨대, 가속도계로부터 수집된 가속도 데이터는 각각의 축(x, y, z)에 대한 속도를 획득하도록 통합될 수 있으며; (선형 좌표들 (x, y, 및 z)에서) 디바이스(100)의 포지션을 획득하기 위해 다시 통합될 수 있다. (구형 좌표들로부터) 디바이스(100)의 포지션을 획득하기 위해 자이로스코프로부터의 각속도 데이터가 통합될 수 있다. 이들 유용한 값들을 계산하기 위한 프로그래밍은 메모리(434)에 저장될 수 있고, 안경류 디바이스(100)의 고속 프로세서(432)에 의해 실행될 수 있다.
[0075] 안경류 디바이스(100)는 추가 주변 센서들, 이를테면 생체 센서들, 특수 센서들, 또는 안경류 디바이스(100)와 통합된 디스플레이 엘리먼트들을 선택적으로 포함할 수 있다. 예컨대, 주변 디바이스 엘리먼트들은 출력 컴포넌트들, 모션 컴포넌트들, 포지션 컴포넌트들 또는 본원에 설명된 임의의 다른 이러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다. 예컨대, 생체 센서들은 표현들(예컨대, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체신호들 (예컨대, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하는 것, 또는 사람을 식별(예컨대, 음성, 망막, 얼굴 특징들, 지문들 또는 전기 생체 신호들, 이를테면 뇌전도 데이터에 기반한 식별)하는 것 등을 수행하기 위한 컴포넌트들을 포함할 수 있다.
[0076] 모바일 디바이스(401)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결부(425) 및 고속 무선 연결부(437) 둘 모두를 사용하여 안경류 디바이스(100)와 연결할 수 있는 임의의 다른 그러한 디바이스일 수 있다. 모바일 디바이스(401)는 서버 시스템(498) 및 네트워크(495)에 연결된다. 네트워크(495)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0077] 도 4에 도시된 바와 같은 게임 제어 시스템(400)은 네트워크를 통해 안경류 디바이스(100)에 커플링된 모바일 디바이스(401)와 같은 컴퓨팅 디바이스를 포함한다. 게임 제어 시스템(400)은 명령들을 저장하기 위한 메모리 및 명령들을 실행하기 위한 프로세서를 포함한다. 프로세서(432)에 의한 게임 제어 시스템(400)의 명령들의 실행은 모바일 디바이스(401)와 협력하도록 안경류 디바이스(100)를 구성한다. 게임 제어 시스템(400)은 안경류 디바이스(100)의 메모리(434) 또는 모바일 디바이스(401)의 메모리 엘리먼트들(540A, 540B, 540C)(도 5)을 활용할 수 있다. 또한, 게임 제어 시스템(400)은 안경류 디바이스(100)의 프로세서 엘리먼트들(432, 422) 또는 모바일 디바이스(401)의 CPU(central processing unit)(530)(도 5)를 활용할 수 있다. 더욱이, 게임 제어 시스템(400)은 서버 시스템(498)의 메모리 및 프로세서 엘리먼트들을 추가로 활용할 수 있다. 이러한 양상에서, 게임 제어 시스템(400)의 메모리 및 프로세싱 기능들은 안경류 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)에 걸쳐 공유되거나 또는 분산될 수 있다.
[0078] 메모리(434)는 일부 예시적인 구현에서 게임 규칙(480), 가상 게임 피스 세트(482), 키 이미지(484), 아이콘(486) 및 손 제스처 라이브러리(488)를 포함하거나 이에 결합된다. 게임 규칙들(480)은 게임을 수행하고, 게임 피스들을 제시하며, 결과들을 채점하기 위한 일련의 규칙들을 포함한다. 가상 게임 피스들(482)은 가상 객체 라이브러리 또는 데이터베이스로부터 선택된 하나 이상의 가상 객체들을 포함한다. 가상 게임 피스들(482)은 디스플레이 상에 렌더링 및 제시될 때 3차원 게임 피스를 표현하도록 설계된다. 본원에서 설명된 바와 같은 키 이미지들(484)은 가상 게임 피스들(482) 중 하나에 대응할 수 있다. 아이콘들(486)은 키 이미지들(484)과 상관되며, 본원에서 설명된 바와같이, 가상 스크롤을 따라 이동하는 것처럼 보이도록 하는 크기 및 모양을 갖는다.
[0079] 손 제스처들의 라이브러리(488)는 손이 다양한 포지션들 및 배향들에 있는 경우에 많은 수의 포즈들 및 제스처들을 포함한다. 저장된 포즈들 및 제스처들은 이미지에서 검출된 손 모양과 용이하게 비교하기에 적합하다. 라이브러리(488)는 손목에서 손가락 끝까지 많은 수의 랜드마크들에 대한 3차원 좌표들을 포함한다. 예컨대, 라이브러리(488)에 저장된 손 제스처 레코드는, 손목, 15개의 지절간 관절들, 5개의 손가락 끝들 및 다른 골격 또는 연조직 랜드마크들에 대한 3차원 좌표들과 함께, 손 제스처 식별자(예컨대, 주먹 쥐기, 손바닥 펴기, 손의 힘 빼기, 객체 잡기, 꼬집기, 벌리기), 시점 또는 지향성 기준(예컨대, 손바닥 쪽, 등쪽, 옆쪽 보이기), 및 배향에 대한 다른 정보를 포함할 수 있다. 라이브러리(488)로부터 후보 손 제스처를 선택하는 프로세스는 양호한 매치가 발견될 때까지 검출된 손 모양을 라이브러리(488)에 저장된 각각의 손 제스처와 비교하는 것을 수반한다.
[0080] 메모리(434)는 프로세서(432)에 의한 실행을 위해 게임 애플리케이션(910), 손 추적 유틸리티(915) 및 가상 객체 렌더링 유틸리티(920)를 추가로 포함한다. 게임 애플리케이션(910)은, 본원에서 설명된 바와 같이, 게임 또는 작업을 수행하고, 디스플레이 상에 엘리먼트들을 표시하며, 다른 디바이스들과 통신하며 그리고 게임 또는 작업을 채점하기 위한 명령들을 포함한다. 손 추적 유틸리티(915)는 스틸 이미지들 또는 비디오 장면의 프레임들에서 손 모양들을 검출하며 후속 프레임들에서 손 모양들의 모션을 추적하도록 프로세서(432)를 구성한다. 가상 객체 렌더링 유틸리티(920)는 이미지 디스플레이 드라이버(442) 및 이미지 프로세서(412)의 제어 하에서 디스플레이, 이를테면 광학 조립체들(180A, 180B) 중 하나 또는 둘 모두 상에 제시하기 위한 가상 게임 피스들(482)과 같은 가상 객체들을 렌더링하도록 프로세서(432)를 구성한다.
[0081] 도 5는 예시적인 모바일 디바이스(401)의 하이-레벨 기능 블록도이다. 모바일 디바이스(401)는 본원에 설명된 기능들의 전부 또는 서브세트를 수행하기 위해 CPU(530)에 의해 실행될 프로그래밍을 저장하는 플래시 메모리(540A)를 포함한다.
[0082] 모바일 디바이스(401)는 적어도 2개의 가시광 카메라들(중첩하는 시야들을 갖는 제1 및 제2 가시광 카메라들) 또는 실질적으로 중첩하는 시야들을 갖는 적어도 하나의 가시광 카메라 및 깊이 센서를 포함하는 카메라(570)를 포함할 수 있다. 플래시 메모리(540A)는 카메라(570)를 통해 생성되는 다수의 이미지들 또는 비디오를 더 포함할 수 있다.
[0083] 도시된 바와 같이, 모바일 디바이스(401)는 이미지 디스플레이(580), 이미지 디스플레이(580)를 제어하기 위한 모바일 디스플레이 드라이버(582), 및 디스플레이 제어기(584)를 포함한다. 도 5의 예에서, 이미지 디스플레이(580)는 이미지 디스플레이(580)에 의해 사용되는 스크린 최상부에 계층화되거나 또는 그렇지 않으면 스크린에 통합되는 사용자 입력 층(591)(예컨대, 터치스크린)을 포함한다.
[0084] 사용될 수 있는 터치스크린-타입의 모바일 디바이스들의 예들은 스마트 폰, PDA(personal digital assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다 (그러나, 이에 제한되지는 않음). 그러나, 터치스크린-타입 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에 설명된 청구대상 기술은 이에 제한되는 것으로 의도되지 않는다. 따라서, 이러한 논의의 목적들을 위해, 도 5는 (터치, 멀티-터치 또는 제스처 등에 의한, 손에 의한, 스타일러스 또는 다른 도구에 의한) 입력을 수신하기 위한 터치스크린 입력 층(891) 및 콘텐츠를 디스플레이하기 위한 이미지 디스플레이(580)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(401)의 블록도 예시를 제공한다.
[0085] 도 5에 도시된 바와 같이, 모바일 디바이스(401)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN 디지털 트랜시버(XCVR)들로서 도시된 적어도 하나의 디지털 트랜시버(XCVR)(510)를 포함한다. 모바일 디바이스(401)는 또한 이를테면 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 Wi-Fi를 통해 단거리 네트워크 통신을 위한 단거리 트랜시버(XCVR)(520)들과 같은 추가 디지털 또는 아날로그 트랜시버들을 포함한다. 예컨대, 단거리 XCVR들(520)은 IEEE 802.11 하의 Wi-Fi 표준들 중 하나와 같은 무선 로컬 영역 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환 가능한 타입의 임의의 이용 가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.
[0086] 모바일 디바이스(401)의 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해, 모바일 디바이스(401)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로 모바일 디바이스(401)는 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해 근거리 XCVR들(520) 및 WWAN XCVR들(510) 중 하나 또는 둘 모두를 활용할 수 있다. 예컨대, 셀룰러 네트워크, Wi-Fi 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 로케이션 좌표들을 생성할 수 있다. 이러한 로케이션 좌표들은 XCVR들(510, 520)을 사용하여 하나 이상의 네트워크 연결부들을 통해 안경류 디바이스에 송신될 수 있다.
[0087] 트랜시버들(510, 520)(즉, 네트워크 통신 인터페이스)은 현대식 모바일 네트워크들에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 준수한다. WWAN 트랜시버들(510)의 예들은, 예컨대 제한없이 3GPP(3rd Generation Partnership Project) 타입 2(또는 3GPP2) 및 때때로 “4G”로 지칭되는 LTE를 포함하는 3GPP 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 제한되지 않음). 예컨대, 트랜시버들(510, 520)은 디지털화된 오디오 신호들, 정지 이미지들 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들, 및 모바일 디바이스(401)로/로부터의 다양한 타입들의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.
[0088] 모바일 디바이스(401)는 도 4의 CPU(530)로서 도시된 CPU(central processing unit)로서 기능하는 마이크로프로세서를 더 포함한다. 프로세서는 하나 이상의 프로세싱 기능들, 즉, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 개별 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그램 가능 CPU를 형성하는 컴포넌트들을 활용한다. 예컨대, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 IC(integrated circuit) 칩들을 포함한다. 예컨대, CPU(530)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 통상적으로 사용되는 바와 같이 ARM 아키텍처를 사용하여 RISC(Reduced Instruction Set Computing)와 같은 임의의 공지된 또는 이용 가능한 마이크로프로세서 아키텍처에 기반할 수 있다. 물론, 스마트폰, 랩톱 컴퓨터 및 태블릿에서 CPU(530) 또는 프로세서 하드웨어를 형성하기 위해 프로세서 회로부의 다른 배열들이 사용될 수 있다.
[0089] CPU(530)는 예컨대 CPU(530)에 의해 실행 가능한 프로그래밍 또는 명령들에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(401)를 구성함으로써 모바일 디바이스(401)에 대한 프로그램 가능 호스트 제어기로서 역할을 한다. 예컨대, 이러한 동작들은 모바일 디바이스의 다양한 일반적인 동작들뿐만 아니라 모바일 디바이스 상의 애플리케이션들에 대한 프로그래밍과 관련된 동작들을 포함할 수 있다. 프로세서는 하드와이어드 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성된 일반적인 프로세싱 회로들이다.
[0090] 모바일 디바이스(401)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 포함한다. 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(540A), RAM(random access memory)(540B) 및 다른 메모리 컴포넌트들(540C)을 포함할 수 있다. RAM(540B)은 예컨대, 작동 데이터 프로세싱 메모리로서 CPU(530)에 의해 처리되는 명령들 및 데이터를 위한 단기 저장부로서 역할을 한다. 플래시 메모리(540A)는 전형적으로 장기 저장부를 제공한다.
[0091] 따라서, 모바일 디바이스(401)의 예에서, 플래시 메모리(540A)는 CPU(530)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하기 위해 사용된다. 디바이스의 타입에 따라, 모바일 디바이스(401)는 특정 애플리케이션들이 실행되게 하는 모바일 오퍼레이팅 시스템을 저장 및 실행한다. 모바일 오퍼레이팅 시스템들의 예들은 Google Android, (I-Phone 또는 iPad 디바이스들에 대한) Apple iOS, Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등을 포함한다.
[0092] 안경류 디바이스(100) 내의 프로세서(432)는 안경류 디바이스(100)를 둘러싼 환경의 지도를 구성하고, 매핑된 환경 내에서 안경류 디바이스의 로케이션을 결정하며, 그리고 매핑된 환경에서 하나 이상의 객체들에 대한 안경류 디바이스의 상대방적 포지션을 결정한다. 일례에서, 프로세서(432)는 하나 이상의 센서들로부터 수신된 데이터에 적용된 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 지도를 구성하고 로케이션 및 포지션 정보를 결정한다. 증강 현실의 맥락에서, SLAM 알고리즘은 환경의 지도를 구성 및 업데이트하는 동시에 매핑된 환경 내에서 디바이스(또는 사용자)의 로케이션을 추적하고 업데이트하는 데 사용된다. 수학적 솔루션은 입자 필터들, 칼만 필터들, 확장 칼만 필터들 및 공분산 교차점(covariance intersection)과 같은 다양한 통계 방법들을 사용하여 근사화될 수 있다.
[0093] 센서 데이터는 카메라들(114A, 114B) 중 하나 또는 둘 모두로부터 수신된 이미지들, 레이저 거리 측정기로부터 수신된 거리(들), GPS 유닛(473)으로부터 또는 포지션 정보를 결정할 때 유용한 데이터를 제공하는 다른 센서들로부터 수신된 포지션 정보, 또는 이러한 센서 데이터 중 둘 이상의 조합을 포함한다.
[0094] 도 6은 증강 현실에서 인터랙티브 게임을 제시하는 예시적인 방법의 단계들을 나열한 흐름도(650)이다. 단계들이 안경류 디바이스(100)를 참조하여 설명되지만, 본원에 설명된 바와 같이, 다른 타입들의 웨어러블 모바일 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 추가적으로, 도면들에 도시되고 본원에서 설명된 단계들 중 하나 이상이 생략되거나, 반복되거나, 동시에 또는 직렬로 수행되거나, 또는 예시 및 설명된 것과 다른 순서로 수행되거나 또는 추가 단계들과 함께 수행될 수 있다는 것이 고려된다.
[0095] 단계들은 프로세서(432), 메모리(434), 손 추적 유틸리티(915) 및 메모리(180A, 180B)를 포함하는 안경류 디바이스(100)를 참조하여 설명된다. 일부 예시적인 구현들의 양상들에 따라, 안경류 디바이스(100)는 게임 애플리케이션(910), 손 추적 유틸리티(915) 및 가상 객체 렌더링 유틸리티(920)를 개시하고 실행한다. 게임 애플리케이션(910)은 흐름도(650)에 설명된 단계들을 실행하도록 안경류 프로세서에 지시하여, 특정 작업들을 위해 필요에 따라 손 추적 유틸리티(915) 및 가상 객체 렌더링 유틸리티(920)에 액세스하는 프로그래밍을 포함한다.
[0096] 블록(652)에서, 프로세서(432)는 안경류 디바이스(100)에 커플링되거나 또는 안경류 디바이스(100)의 일부인 카메라(114A, 114B)를 사용하여 비디오 데이터의 프레임들을 캡처한다. 일부 구현들에서 카메라(114A, 114B)는 HD(high-definition) 정지 이미지들 및 HD(high-definition) 비디오를 캡처할 수 있는 CMOS 이미지 센서를 구비한 하나 이상의 고해상도 디지털 카메라들을 포함한다. 디지털 비디오의 각각의 프레임은 이미지의 복수의 픽셀들에 대한 깊이 정보를 포함한다. 이러한 양상에서, 카메라(114A, 114B)는 환경의 상세한 입력 이미지를 캡처함으로써 HD(high-definition) 스캐너의 역할을 한다. 일부 구현들에서 카메라(114A, 114B)는 안경류 디바이스(100)에 커플링되고 좌측-카메라 원시 이미지 및 우측-카메라 원시 이미지를 획득하기 위해 이격된 고해상도 디지털 카메라들(114A, 114B)의 쌍을 포함한다. 결합될 때, 원시 이미지들은 3차원 픽셀 로케이션들의 매트릭스를 포함하는 입력 이미지를 형성한다. 일부 구현들에서, 이 방법은, 단계(802)에서, 비디오 데이터의 프레임들의 캡처된 시퀀스들을 안경류 디바이스(100)의 메모리(434)에 적어도 일시적으로 저장하여, 프레임들이 분석을 위해, 예컨대 손 모양들을 검출하고 이들의 움직임을 추적하기 위해 이용 가능하도록 하는 단계를 포함한다.
[0097] 블록(654)에서, 프로세서(432)는 안경류 디바이스(100)의 디스플레이 상에 게임 클록(702)을 제시한다. 일부 구현들에서, 게임 클록(702)은 인터랙티브 게임을 위한 플레이 필드(700)를 설정하는 로케이션에서 디스플레이 상에서 제시된다. 이미지 프로세서(412) 및 이미지 디스플레이 드라이버(442)는 디스플레이 상에 게임 클록(702)을 제시하는 것과 관련되며, 이는 본 예에서 안경류 디바이스(100)의 광학 조립체들(180A, 180B) 중 하나 또는 둘 모두이다. 하나의 예시적인 구현에서, 우측 렌즈(우측 광학 조립체(180B))는 이미지를 렌즈(180B)의 내부 표면에 투사하도록 포지셔닝된 우측 프로젝터(150B)로부터의 광과 상호작용하도록 구성된 우측 디스플레이 매트릭스(177B)를 포함한다.
[0098] 도 7a에 도시된 바와같이, 예비 시간(702a)을 보여주는 게임 클록은 디스플레이(180A, 180B) 상의 상부 중앙 로케이션에 제시된다. 본원에서 설명된 바와같은 게임 클록(702), 게임 스코어(704) 및 가상 게임 피스(710, 720)는 물리적 환경(600)에 대한 오버레이로서 디스플레이 상에서 지속적으로 볼 수 있도록 남아 있다. 다시 말해서, 플레이 필드(700)의 이러한 엘리먼트들은 안경류(100) 또는 사용자의 손(602)의 움직임들에 관계없이 디스플레이에 대해 이동하지 않는다. 게임 클록(702)은 플레이가 시작되는 시작 시간(702a)으로부터 최종 가상 게임 피스들(710b, 720b)이 게임 스코어(704)를 결정하기 위해 평가되는 최종 시간(702b)으로 증분하도록 구성된다.
[0099] 블록(656)에서, 프로세서(432)는 손 추적 유틸리티(915)를 사용하여 비디오의 프레임들을 분석하고, 게임 클록(702)의 최종 시간(702b)과 연관된 최종 손 모양(602b)을 검출한다. 손 추적 유틸리티(915)는 본원에서 설명된 바와 같이 하나 이상의 예비 손 모양들을 검출할 수 있으나; 최종 시간(702b)에 또는 최종 시간(702b) 근방에서 검출된 최종 손 모양(602b)은 게임 스코어(704)를 결정하는 데 가장 유용하다. 검출은 최종 시간(702b)에서 정확하게 일어날 필요는 없다. 도 7b에 도시된 바와 같이, 최종 시간(702b)은 0이고, 최종 손 모양(602b)은 도시된 바와 같이 손가락들이 펴진 편평하거나 펼쳐진 손이다.
[0100] 블록(656)에서, 프로세서(432)는 검출된 최종 손 모양(602b)에 기반하는 최종 가상 게임 피스(710b)를 디스플레이 상에 제시한다. 일부 구현들에서, 최종 가상 게임 피스(710b)를 제시하는 것은 본원에서 설명된 가상 객체 렌더링 유틸리티(920)를 수반한다. 도 7b에 도시된 바와같이, 최종 가상 게임 피스(710b)는 검출된 최종 손 모양(602b)(펼쳐진 손)과 일치하거나 또는 이와 매칭되는 펼쳐진 손의 이미지이다. 본원에서 설명된 바와 같이, 일부 구현들에서, 검출된 최종 손 모양(602b)과 매칭되는 최종 가상 게임 피스(710b)를 선택하는 프로세스는 손 모양 주위에 바운딩 박스(730b)를 생성하는 단계, 손 랜드마크들을 식별하는 단계, 손 제스처들의 라이브러리로부터 후보 손 제스처를 선택하는 단계, 및 선택된 손 제스처에 기반하여 가상 게임 피스를 선택하는 단계를 포함한다.
[0101] 블록(660)에서, 프로세서(432)는 상대방 최종 가상 게임 피스(720b)를 검출하는데, 이는 이러한 예시적인 인터랙티브 게임에서 상대방 디바이스에 의해 검출되어 상대방 디스플레이 상에 제시되었다(이는 상대방 관점에서 자신의 최종 가상 게임 피스(710b)이다). 이러한 양상에서, 방법은 사용자 안경류 디바이스(100) 및 유사한 안경류 디바이스에서 게임 애플리케이션(910)을 실행하는 상대방을 고려한다. 그러나, 채점을 위해, 게임 애플리케이션(910)은 도 7b에 도시된 바와 같이 플레이 필드(700)에서 디스플레이 상에 제시될 수 있는 상대방 최종 가상 게임 피스(720b)만을 검출할 필요가 있다. 검출되도록, 상대방 최종 가상 게임 피스(720b)는 상대방 디바이스에 의해 브로드캐스팅된다. 이러한 양상에서, 프로세서(들)(432)는 최종 가상 게임 피스들(730b, 720b)을 그들의 개개의 디바이스들로부터 인근 디바이스들로 무선으로 브로드캐스팅하도록 구성될 수 있다.
[0102] 블록(662)에서, 프로세서(432)는 최종 가상 게임 피스(710b) 대 상대방 최종 가상 게임 피스(720b)에 기반하는 게임 스코어(704)를 디스플레이 상에 제시한다. 스코어를 계산하는 것은 각각의 게임 피스(710, 720b)와 연관된 값들을 비교하는 것을 포함한다.
[0103] 본 개시내용의 예시적인 구현들은 가위바위보로 알려진 게임을 본떠서 모델링된 인터랙티브 게임을 제시하기 위한 게임 애플리케이션(910) 및 방법에 관한 것이다. 이러한 예에서 게임 스코어(704)를 제시하는 것은 가위바위보와 연관된 게임 규칙들(480)을 적용하는 것을 포함하고; 즉, 바위가 가위를 이기고, 가위가 보를 이기며, 보가 바위를 이기며, 동일한 엘리먼트(예컨대, 바위 대 바위)를 던지면, 무승부가 된다. 게임 규칙들(480)은 3과 같은 승리 스코어와 연관된 값을 포함할 수 있다. 어느 차례이든지 동점 또는 무승부가 될 수 있기 때문에, 플레이어가 승리 스코어를 얻기까지 임의의 수의 차례들이 수행될 수 있다.
[0104] 도 7a는 증강 현실에서 제시된, 예비 시간에서 가위바위보의 예시적인 인터랙티브 게임의 사시도이다. 플레이 필드(700)는 물리적 환경(600)에 대한 오버레이로서 디스플레이(180B) 상에 제시된다. 플레이 필드(700)는 예비 게임 스코어(704a) 및 예비 시간(702a)을 보여주는 게임 클록을 포함한다. 예비 시간(702a)은 스코어가 결정되는 최종 시간 전에 (또는 이 이후에)의 임의의 시간을 나타낸다.
[0105] 게임의 이러한 예비 스테이지에서, 안경류 디바이스에 커플링된 카메라는 비디오 데이터의 프레임들을 캡처하고 있다. 본원에서 설명된 바와 같이, 손 추적 유틸리티(915)는 예비 손 모양(602a)(즉, 카메라 및 안경류의 시야 내에서 검출된 주먹 모양의 사용자 자신의 손)을 검출한다. 검출된 예비 손 모양(602a)에 기반하여, 게임 애플리케이션(910)은 대응하는 예비 가상 게임 피스(710a)를 리트리브하고 이를 디스플레이 상에 제시하는데, 이는 본 예에서 도시된 바와 같이 주먹 모양의 아이콘이다. 본원에서 설명된 바와같이, 바운딩 박스(730a)는 참조 목적으로 본원에서 도시되며, 디스플레이 상에서 사용자에게 제시될 수 있거나 또는 제시되지 않을 수 있다.
[0106] 이러한 예에서, 상대방 손은 카메라 및 안경류의 시야 내에서 볼 수 없다. 동작 중에, 상대방 디바이스가 게임 애플리케이션(910)을 실행하고 있을 때, 상대방 디바이스는 상대방의 예비 손 모양을 검출하고, 대응하는 예비 가상 게임 피스를 선택하며, 이후에 사용자가 착용한 안경류(100)와 같은 인근 디바이스들에 예비 가상 게임 피스를 브로드캐스팅한다. 일단 수신되면, 사용자의 게임 애플리케이션(910)은 도시된 바와 같이 상대방 예비 가상 게임 피스(720a)를 디스플레이 상에 제시하며, 이는 본 예에서 또한 주먹 모양의 아이콘이다. 도시된 바와 같이, 상대방 예비 가상 게임 피스(720a)는 사용자 자신의 예비 가상 게임 피스(710a)로부터 이격된 로케이션에 제시된다.
[0107] 카메라가 비디오 데이터의 프레임들을 계속 캡처하고 있기 때문에, 예비 가상 게임 피스들(710a)은 검출된 예비 손 모양(602a)의 임의의 변화에 응답하여 업데이트할 것이다. 유사하게, 상대방 디바이스는 상대방 예비 손 모양의 임의의 변화에 응답하여 상대방 예비 가상 게임 피스(720a)를 업데이트될 것이다. 이러한 양상에서, 예비 가상 게임 피스들(710a, 720a)은 언제든지 업데이트될 수 있다.
[0108] 게임 클록은, 게임 규칙들(480)에 따라, 시작 시간으로부터 최종 시간까지 시간을 초 또는 다른 간격으로 그리고 어느 방향(증가 또는 감소 방향)으로든 증분시키도록 구성될 수 있다. 예컨대, 도 7b에 도시된 최종 시간(702b)은 3과 같이 시작 시간부터 카운트다운 후에 디스플레이되는 0이다. 도 7a에서, 예비 시간(702a)은 1이다.
[0109] 일부 구현들에서, 게임 애플리케이션(100)은 사용자 디바이스의 게임 클록을 상대방 디바이스의 게임 클록과 동기화하도록 구성되어, 게임 클록은 디바이스들 둘 모두에서 동시에 디스플레이 상에 제시되고 증분된다. 게임을 시작하고 게임에서 다음 차례를 시작하기 위해, 일부 구현들에서, 게임 애플리케이션(100)은 캡처된 비디오 데이터의 프레임들에서 시작 신호를 검출하는 것에 응답하여 디스플레이들 둘 모두에서 시작 시간에 게임 클록을 시작하도록 구성된다. 일례에서, 시작 신호는 도 7a에 도시된 바와 같이 서로 매칭되든지 간에 디스플레이들 둘 모두 상에서 예비 가상 게임 피스들(710a, 720a) 둘 모두의 검출 및 디스플레이를 포함한다. 다른 예에서, 시작 신호는 두 손가락 뿔 모양의 게임 피스(예컨대, 도 8b에 도시된 제3 아이콘(843b) 및 제3 키 이미지(863b))와 같은 특정 예비 가상 게임 피스의 검출 및 디스플레이를 포함한다.
[0110] 도 7b는 증강 현실에서 제시된, 최종 시간에서 도 7a의 예시적인 인터랙티브 게임의 사시도이다. 플레이 필드(700)는, 도시된 바와같이, 업데이트된 게임 스코어(704b) 및 최종 시간(702b)을 보여주는 게임 클록을 포함한다. 최종 시간(702b)은 게임 점수가 결정되는 순간을 나타낸다. 그러나, 최종 손 모양들은 최종 시간(702b)으로 표시되는 순간에 정확하게 감지될 필요가 없으나; 게임 규칙(480)에 따른 게임 애플리케이션(910)은 최종 손 모양들이 검출되는 이산 시간 윈도우를 금지할 수 있다. 이러한 양상에서, 최종 시간(702b)에 시간적으로 가장 가까운 검출된 손 모양은 최종 손 모양(602b)으로 고려될 것이고, 대응하는 최종 가상 게임 피스(710b)를 검색하고 제시할 때 사용될 것이다.
[0111] 최종 시간(702b)에서, 손 추적 유틸리티(915)는 본원에서 설명된 바와같이 최종 손 모양(602b)(즉, 펼쳐진 손 모양의 사용자 자신의 손)을 검출한다. 최종 손 모양(602b)에 기반하여, 게임 애플리케이션(910)은 대응하는 최종 가상 게임 피스(710b)를 리트리브하고 이를 디스플레이 상에 제시하는데, 이는 본 예에서 도시된 바와 같이 펼쳐진 손 모양의 아이콘이다. 본원에서 설명된 바와같이, 바운딩 박스(730b) 최종 손 모양(602b)은 참조 목적으로 본원에서 도시되며, 디스플레이 상에서 사용자에게 제시될 수 있거나 또는 제시되지 않을 수 있다.
[0112] 동작 중에, 상대방 디바이스는 상대방의 예비 손 모양을 검출하고, 대응하는 예비 가상 게임 피스를 선택하며, 이후에 사용자가 착용한 안경류(100)와 같은 인근 디바이스들에 예비 가상 게임 피스를 브로드캐스팅할 것이다. 일단 수신되면, 사용자의 게임 애플리케이션(910)은 도시된 바와 같이 상대방 최종 가상 게임 피스(720b)를 디스플레이 상에 제시하며, 이는 본 예에서 (평화 사인 또는 승리 사인으로서 또한 알려진) 두 손가락 V자 모양의 아이콘이다. 도시된 바와 같이, 상대방 최종 가상 게임 피스(720b)는 사용자 자신의 최종 가상 게임 피스(710b)로부터 이격된 로케이션에 제시된다.
[0113] 도 7b에 도시된 예에서, 최종 시간(702b)에서, 사용자의 최종 게임 피스(710b)는 도시된 바와 같이 보를 나타내는 펼쳐진 손이고, 상대방의 최종 가상 게임 피스(720b)는 도시된 바와 같이 가위를 나타내는 두 손가락 V자 모양 또는 평화 사인이다. 업데이트된 게임 스코어(704b)는 하이라이트(770)와 함께 콜론의 좌측에서 상대방에 대해 1씩 증분 증가(이는 가위가 보를 이기기 때문에 승리를 표시함)를 예시하며, 하이라이트(770)는 일부 예들에서 미리 결정된 지속기간 동안 승리 스코어 근처에 나타난다.
[0114] 게임의 다음 차례는 미리 결정된 지속기간 동안 지속되는 일시 정지 후 또는 시작 신호에 응답하여 시작할 수 있다. 게임 애플리케이션(910)은, 게임 규칙들(640)에 따라, 사용자 인터페이스를 통해 조절 가능한 일시 정지 지속기간에 대한 세팅을 포함할 수 있다. 다음 차례를 시작할 때, 게임 클록은 물론 양 디스플레이들에서 새로운 시작 시간 또는 후속 시작 시간에 개시할 것이다. 한 플레이어가 3점과 같은 승리 스코어를 달성한 후, 게임 애플리케이션(910)은 시작 신호를 검출하는 것에 응답하거나 또는 자동적으로 (일시 정지 후 또는 즉시) 새로운 게임을 시작하도록 구성될 수 있다.
[0115] 도 8a 및 도 8b는 증강 현실에서 제시된, 제2 예시적인 인터랙티브 게임의 사시도들이다.
[0116] 도 8a에 도시된 예에 따라, 플레이 필드(800)는 제1 시간(802a)을 보여주는 게임 클록, 제1 스코어(804a)를 보여주는 게임 스코어, 3개의 키 이미지들(861a, 862a, 863a)의 그룹 및 3개의 레인들(831, 832, 833)의 그룹을 포함하며, 이들은 원위 로케이션(848)으로부터 키 이미지들을 향해 확장하는 것처럼 보인다 (도 8b). 플레이 필드(800)는 물리적 환경(600)에 대한 오버레이로서 디스플레이 상에 지속적으로 볼 수 있다. 다시 말해서, 플레이 필드(800)에 제시된 엘리먼트들은 안경류(100) 또는 사용자의 손의 움직임들에 관계없이 디스플레이에 대해 이동하지 않는다.
[0117] 본 예에서, 3개의 키 이미지들(861a, 862a, 863a)은 스코어 평면(815)을 따라 로케이팅되며, 3개의 큐브 모양 엘리먼트들(851, 852, 853)(도 8b에 표시됨)의 전면들에 제시된다.
[0118] 플레이 동안, 하나 이상의 아이콘들(841a, 842a, 843a)은 레인들(831, 832, 833) 중 하나에 대응하는 로케이션에서 그리고 가변적인 크기들 및 포지션들에서 디스플레이 상에 제시되며, 이에 따라 아이콘들(841a, 842a, 843a)은 원위 로케이션(848)으로부터 3개의 키 이미지들(861a, 862a, 863a) 중 하나를 향해 움직이는 것처럼 보인다. 아이콘들(841a, 842a, 843a)은 키 이미지들(861a, 862a, 863a)과 상관되거나 또는 이들과 매칭된다. 예컨대, 제1 레인(831)에서 주먹 모양의 제1 아이콘(841a)은 제1 큐브 모양의 엘리먼트(851) 상에 디스플레이되는 제1 키 이미지(861a)와 매칭된다. 제2 레인(832)에서 두 손가락 V-자형 제2 아이콘(842a)은 제2 키 이미지(862a)와 매칭된다. 제3 레인(833)에서 펼쳐진 손 제3 아이콘(843a)은 제3 키 이미지(863a)와 매칭된다. 일부 구현들에서, 이동하는 아이콘들 및 이들의 대응 키 이미지들은 이동하는 아이콘이 스코어 평면에 도달하여 해당 키 이미지와 명백히 충돌하기 전에 언제든지 변경될 수 있다.
[0119] 제1 키 이미지(861a)는 만들고자 하는 손 제스처를 표시하며, 제1 아이콘(841a)의 모션은 사용자가 올바른 손 제스처를 취해야 하는 시간이 다가오고 있음을 표시하며, 제1 레인(831)의 포지션은 득점하기 위해 사용자의 손이 최종 시간에 로케이팅되어야 하는 장소를 표시한다. 최종 시간은 제1 아이콘(841a)(제1 레인(831)을 따라 이동)과 제1 키 이미지(861a)(스코어 평면(815)에 로케이팅됨) 사이의 명백한 충돌 순간에 발생한다. 이러한 양상에서, 3가지 조건들, 즉 시간, 포지션, 손 모양이 충족되면, 점수가 획득된다. 플레이 동안, 사용자의 최종 손 모양(616a)이 (제1 키 이미지(861a)에 대한) 로케이션 매치 및 (제1 아이콘(841a)에 대한) 모양 매치인 경우에 (이들 양 매치는 최종 시간에 평가됨), 명백한 충돌이 발생할 때, 사용자는 점수를 획득한다.
[0120] 예컨대, 도 8a에서, 최종 손 모양(616a)은 손이 제1 키 이미지(861a) 근처에 포지셔닝되기 때문에 로케이션 매치이다. 최종 손 모양(616a)은 손이 주먹을 쥐고 있기 때문에 모양 매치이며, 이는 주먹 모양의 제1 아이콘(841a)과 매칭된다. (스코어 평면(815)에서) 주먹 모양의 제1 아이콘(841a)과 제1 키 이미지(861a)사이에 명백한 충돌이 발생할 때 최종 손 모양(616a)이 올바른 로케이션 및 모양을 가지고 있기 때문에, 시간 조건이 충족된다. 모든 3개의 조건들이 충족되기 때문에, 명백한 충돌 근처에 성공 하이라이트(871)(예컨대, 광선)가 디스플레이되며, 게임 스코어(804a)가 1점 증가된다.
[0121] 도 8b는 주먹 모양의 최종 손 모양(616b)이 스코어 평면(815)을 가로지르기 때문에 두 손가락 뿔 모양의 제3 아이콘(843b)에 대한 모양 매치가 아닌 차례를 예시한다. 모든 3개의 조건들이 충족되지 않기 때문에, 명백한 충돌 근처에 실패 하이라이트(872)(예컨대, 문자 X)가 디스플레이되며, 게임 스코어(804b)가 증가되지 않는다.
[0122] 도 8b에 도시된 바와같이, 제1 레인(831)에 제시된 아이콘이 존재하지 않는다. 이러한 양상에서, 이동하는 아이콘들은 이동하는 아이콘이 스코어 평면에 도달하여 해당 키 이미지와 명백히 충돌하기 전에 언제든지 보이거나 또는 보이지 않을 수 있다. 제1 키 이미지(861b)는 주먹 모양이고; 제1 레인(831)에 제1 아이콘이 나타나면, 이는 주먹 모양일 것이다. 제2 레인(832)에서 가리키는 손가락 제2 아이콘(842b)은 가리키는 손가락 제2 키 이미지(862b)와 매칭된다. 제3 레인(833)에서 두 손가락 뿔 모양 제3 아이콘(843b)은 제3 키 이미지(863b)와 매칭된다. 명백한 충돌 시, 도시된 바와 같이, 이동하는 제3 아이콘(843b)은 제3 키 이미지(863b)와 거의 일치한다.
[0123] 도 7a 및 도 7b에 예시된 가위바위보에 대한 가상 게임 피스들과 함께, 도 8a 및 도 8b에 예시된 아이콘들 및 키 이미지들은 본원에서 설명된 인터랙티브 게임들에 적합할 수 있는 다양한 손 제스처들 중 일부를 예시한다.
[0124] 도 9는 도 8a 및 도 8b에 예시된 제2 예시적인 인터랙티브 게임을 제시하는 예시적인 방법의 단계들을 나열한 흐름도(950)이다.
[0125] 본원에서 설명된 인터랙티브 게임들에 따라, 이동하는 아이콘들(841a, 842a, 843a) 중 임의의 하나는 여러 양상들에서 가위바위보 게임에 대해 상대방 디바이스를 참조하여 설명된 상대방 최종 가상 게임 피스(720b)와 유사하다. 이러한 양상에서, 이동하는 아이콘 게임은 일부 구현들에서 비디오 데이터의 프레임들을 캡처하고 최종 손 모양을 검출하는 것을 포함하여 가위바위보 게임을 제시하는 예시적인 방법(650)에 대해 설명된 것과 같은 하나 이상의 단계들을 포함한다.
[0126] 블록(952)에서, 프로세서(432)는 안경류 디바이스(100)에서 게임 애플리케이션(910)을 실행할 때 스코어 로케이션(815)에서 제1 키 이미지(861a)를 디스플레이 상에 제시한다. 도 8a에 도시된 바와 같이, 제1 키 이미지(861a)는 제1 큐브 모양 엘리먼트(851a)의 면과 같은 표면 상에 제시될 수 있다.
[0127] 블록(954)에서, 프로세서(432)는 도 8a 및 도 8b에 예시된 바와같이 가상 스크롤의 제1 레인(831)에서의 제1 아이콘(841a)을 디스플레이 상에 제시한다. 제1 아이콘(841a)은 원위 로케이션(848)으로부터 제1 키 이미지(861a)를 향해 이동하는 것처럼 보인다. 제1 아이콘(841a)은 제1 키 이미지(861a)와 매칭된다.
[0128] 본 방법은, 일부 구현들에서, 디스플레이에 대한 현재 로케이션에서 예비 손 모양을 검출하기 위해 최종 시간 이전에 비디오의 프레임들을 분석하기 위해 손 추적 유틸리티(915)를 사용하는 단계를 포함한다. 이어서, 본 방법은 또한 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 디스플레이 상에 제시하는 단계를 포함한다. 이러한 양상에서, 플레이 동안, 사용자는 제1 아이콘(841a)이 제1 키 이미지(861a)와 명백하게 충돌하기 전에 게임 애플리케이션(910)에 의해 선택되고 제시된 예비 가상 게임 피스를 볼 수 있다. 예비 가상 게임 피스가 정확한 것으로 보이면, 사용자는 명백한 충돌이 발생할 때까지 (적절한 로케이션에서) 예비 손 모양을 유지할 수 있다. 예비 가상 게임 피스가 부정확한 것으로 보이면, 사용자는 명백한 충돌이 발생하기 전에 예비 손 모양을 변경할 수 있다.
[0129] 블록(956)에서, 프로세서(432)는, 손 추적 유틸리티(915)를 사용하여, 비디오의 프레임들을 분석하고 최종 시간에 제1 레인(831)의 로케이션에 대한 최종 손 로케이션(816a)을 검출한다. 본원에서 설명된 바와같이, 최종 시간은 이동하는 제1 아이콘(841a)과 제1 키 이미지(861a) 간의 명백한 충돌과 연관된다. 손 추적 유틸리티(915)는 또한 본원에서 설명된 바와 같이 최종 손 모양을 검출한다.
[0130] 블록(958)에서, 프로세서(432)는 최종 손 로케이션(816a)가 이동하는 제1 아이콘(841a)과 제1 키 이미지(861a) 사이의 명백한 충돌의 로케이션에 대한 로케이션 매치인지 여부를 결정한다.
[0131] 블록(960)에서, 프로세서(432)는 최종 손 모양(616a)이 제1 키 이미지(861a)에 대한 모양 매치인지 여부를 결정한다.
[0132] 블록(962)에서, 프로세서(432)는 로케이션 매치가 충족되는지 여부 및 모양 매치가 충족되는지 여부를 결정하며, 만일 양 조건들이 충족되면, 게임 스코어(704)가 1점 증가된다.
[0133] 비록 방법(950)이 단일 제1 아이콘(841a) 및 단일 제1 키 이미지(861a)를 참조하여 설명되지만, 게임 규칙들(480)에 따른 게임 애플리케이션(910)은 임의의 수의 이동하는 아이콘들, 레인들 및 키 이미지들을 수용할 수 있다. 예컨대, 키 이미지들 중 임의의 하나에 대한 스코어 로케이션에 의해 적어도 부분적으로 정의된 바와 같이, 여러 키 이미지들이 스코어 평면을 따라 놓일 수 있다. 아이콘들은 언제든지 임의의 레인에서 나타나거나 사라질 수 있다. 아이콘들은 레인들을 따라 임의의 명백한 속도로 이동하거나 일정하게 이동하거나 또는 가변적으로 이동할 수 있다.
[0134] 도 8a 및 도 8b에 예시된 이동하는 아이콘 게임에서 그리고 도 7a 및 도 7b에 예시된 가위바위보 게임에서, 프로세서(432)는 안경류 디바이스(100)에서 게임 애플리케이션(910)을 실행할 때 비디오 데이터의 캡처된 프레임들에서 최종 손 모양을 검출하는 작업을 수행한다. 일부 구현들에서, 손 추적 유틸리티(915)는 검출된 최종 손 모양 근처에 바운딩 박스를 생성한다. 예시적인 바운딩 박스들(730a, 730b, 830a, 830b)은 도 7a, 도 7b, 도 8a 및 도 8b에 도시되어 있으나; 바운딩 박스는 사용자가 볼 수 있도록 디스플레이 상에 제시되거나 또는 제시되지 않을 수 있다. 일부 구현들에서, 바운딩 박스는 전체 디지털 이미지보다 작은 분석 구역을 나타내므로 컴퓨팅 자원들을 절약한다. 바운딩 박스를 생성하는 것은, 일부 구현들에서, 손바닥의 전부 또는 일부(예컨대, 손바닥 측면, 등 측면, 측면 에지, 또는 이들의 조합)가 보이는 경우에 임의의 배향에서 손바닥을 검출하는 것을 수반한다. 바운딩 박스 내에서, 일부 구현들에서, 손 추적 유틸리티(915)는 디지털 비디오 데이터의 프레임에 포함된 픽셀-레벨 깊이 정보에 기반하여 손 랜드마크들의 세트를 식별한다. 예컨대, 손 랜드마크들의 세트는 다른 골격 및 연조직 랜드마크들뿐만 아니라 관절 지점들에서 15개의 모든 지절간 관절들, 5개의 손가락 끝들 및 손목에 대한 3차원 좌표들을 포함할 수 있다. 일부 구현들에서, 손 추적 유틸리티(915)는 손 랜드마크들의 식별된 세트를 손 제스처 라이브러리(488)에 저장된 다양한 손 제스처들에 대한 데이터와 비교함으로써 손 제스처 라이브러리(488)로부터 후보 손 제스처를 선택한다. 선택된 후보 손 제스처에 기반하여, 일부 구현들에서, 손 추적 유틸리티(915)는 가상 게임 피스들(482)의 집합으로부터 가상 게임 피스를 선택한다.
[0135] 안경류 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)에 대해 본원에 설명된 기능 중 임의의 것은 본원에 설명되는 바와같이 하나 이상의 컴퓨터 소프트웨어 애플리케이션들 또는 프로그래밍 명령들의 세트들로 구현될 수 있다. 일부 예들에 따르면, "기능", "기능들", "애플리케이션", "애플리케이션들", "명령", "명령들” 또는 "프로그래밍"은 프로그램들에서 정의된 기능들을 실행하는 프로그램(들)이다. 다양한 방식들로 구성된 애플리케이션들 중 하나 이상을 개발하기 위해 객체 지향 프로그래밍 언어들(예컨대, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)과 같은 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(예컨대, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 사용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 오퍼레이팅 시스템들과 같은 모바일 오퍼레이팅 시스템 상에서 실행되는 모바일 소프트웨어를 포함할 수 있다. 이러한 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 오퍼레이팅 시스템에 의해 제공된 API 콜들을 인보크할 수 있다.
[0136] 따라서, 머신-판독가능 매체는 유형의 저장 매체의 많은 형태들을 취할 수 있다. 비-휘발성 저장 매체들은 예컨대, 도면들에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 것과 같은 임의의 컴퓨터 디바이스들 등에 있는 저장 디바이스들 중 임의의 것과 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체들은 이러한 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 송신 매체들은 컴퓨터 시스템 내의 버스를 포함하는 와이어들을 포함하는 동축 케이블들; 구리 와이어 및 광섬유들을 포함한다. 반송파 송신 매체들은 RF(radio frequency) 및 적외선(IR) 데이터 통신들 동안 생성되는 것들과 같은 전기 또는 전자기 신호들, 또는 음파 또는 광파의 형태를 취할 수 있다. 따라서, 컴퓨터-판독가능 매체들의 일반적인 형태들은, 예컨대 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 전달하는 반송파, 그러한 반송파를 전달하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 이러한 형태들의 컴퓨터 판독가능 매체들의 대부분은 실행을 위해 프로세서에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는 것과 관련될 수 있다.
[0137] 바로 위에 언급된 경우를 제외하고, 청구항들에 인용되든 아니든 무관하게, 언급되거나 예시된 어떤 것도 임의의 컴포넌트, 단계, 특징, 목적, 이익, 이점 또는 이의 균등물을 일반 대중에게 제공하도록 의도되거나 해석되어서는 안된다.
[0138] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에 달리 제시된 경우를 제외하고는 그들 대응하는 개개의 탐구 및 연구 영역들과 관련하여 그러한 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는다는 것이 이해될 것이다. 관계형 용어들, 이를테면 제1, 제2 등은 단지 하나의 엔티티 또는 액션을 다른 것으로부터 구별하기 위해 사용될 수 있고, 이러한 엔티티들 또는 액션들 간의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어들 "포함하다", "포함하는", "구비하다" , “구비하는" , 또는 이의 임의의 다른 변형은 비-배타적인 포함을 커버하는 것으로 의도되어, 엘리먼트들 또는 단계들의 리스트를 포함하거나 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트들 또는 단계들만을 구비하는 것이 아니라, 명시적으로 나열되지 않거나 또는 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 엘리먼트들 또는 단계들을 구비할 수 있다. 단수형 엘리먼트는, 추가적인 제약들 없이, 엘리먼트를 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.
[0139] 달리 언급되지 않는 한, 이하의 청구항들을 포함하여 본 명세서에 기재된 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 근사치이다. 이러한 수량들은, 이들이 관련되는 기능들 및 이들과 관련된 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예컨대, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 양 또는 범위으로부터 ± 10 %만큼 많이 달라질 수 있다.
[0140] 더욱이, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 예들에서 함께 그룹화된다는 것을 알 수 있다. 본 개시내용의 방법은 청구되는 예들이 각각의 청구항에 명시적으로 언급된 것보다 많은 특징들을 요구하려는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 보호될 청구대상은 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 이에 의해, 하기의 청구항들은 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 청구대상으로서 독자적으로 기재된다.
[0141] 전술한 것은 최상의 모드 및 다른 예들인 것으로 고려되는 것을 설명하지만, 본원에서 다양한 수정들이 이루어질 수 있고 본원에 개시된 청구대상은 다양한 형태들 및 예들로 구현될 수 있으며 이들은 다수의 애플리케이션들에 적용될 수 있고 그 일부만이 본원에서 설명되었음이 이해되어야 한다. 이하의 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변경들을 청구하도록 의도된다.

Claims (20)

  1. 증강 현실에서 인터랙티브 게임을 제시하는 방법으로서,
    카메라를 사용하여 비디오 데이터의 프레임들을 캡처하는 단계 ― 비디오 데이터의 각각의 프레임은 복수의 픽셀들에 대한 깊이 정보를 포함하고, 상기 카메라는 프로세서, 메모리, 손 추적 유틸리티 및 디스플레이를 포함하는 안경류 디바이스에 커플링됨 ― ;
    플레이 필드를 설정하는 로케이션에서 상기 디스플레이 상에 게임 클록을 제시하는 단계 ― 상기 플레이 필드는 상기 안경류 디바이스의 움직임과 관계 없이 물리적 환경에 대한 오버레이로서 지속적으로 볼 수 있고, 상기 게임 클록은 시작 시간으로부터 최종 시간으로 증분하도록 구성됨 ―;
    상기 최종 시간과 연관된 최종 손 모양을 상기 손 추적 유틸리티를 사용하여 상기 비디오 데이터의 프레임들에서 검출하는 단계;
    상기 검출된 최종 손 모양에 기반하여 최종 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계;
    상기 최종 가상 게임 피스를 무선으로 브로드캐스팅하는 단계;
    상대방 최종 가상 게임 피스를 검출하는 단계; 및
    상기 최종 가상 게임 피스 대 상기 상대방 최종 가상 게임 피스에 기반하여 게임 스코어를 상기 디스플레이 상에 제시하는 단계를 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  2. 제1 항에 있어서,
    상기 손 추적 유틸리티를 사용하여 그리고 상기 게임 클록의 상기 최종 시간 전에 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하는 단계; 및
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계를 더 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  3. 제2 항에 있어서,
    상기 게임 클록을 제시하는 단계는,
    상기 게임 클럭이 상기 디스플레이 및 상대방 디스플레이 상에 동시에 제시되어 증분하도록 상기 게임 클럭을 상기 상대방 디스플레이를 포함하는 상대방 디바이스와 동기화시키는 단계;
    상기 비디오 데이터의 캡처된 프레임들에서 시작 신호를 검출하는 것에 응답하여 상기 디스플레이들 둘 모두 상에서 상기 시작 시간에 상기 게임 클록을 개시하는 단계; 및
    상기 플레이 필드 내에서 상기 상대방 최종 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계를 더 포함하며, 상기 상대방 최종 가상 게임 피스는 상기 최종 가상 게임 피스로부터 이격되며, 상기 상대방 최종 가상 게임 피스는 상기 상대방 디바이스로부터 브로드캐스팅되는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  4. 제3 항에 있어서,
    상기 게임 스코어는 사용자 스코어 및 상대방 스코어를 포함하며, 상기 게임 스코어를 제시하는 단계는,
    상기 최종 가상 게임 피스와 연관된 값이 상기 상대방 최종 가상 게임 피스와 연관된 상대방 값보다 큰지 여부를 결정하는 단계;
    상기 값이 상기 상대방 값보다 크다고 결정하는 것에 응답하여, 상기 사용자 스코어를 1씩 증분시키는 단계;
    상기 값이 상대방 값보다 작다고 결정하는 것에 응답하여, 상기 상대방 점수를 1씩 증분시키는 단계;
    상기 값이 상기 상대방 값과 동일하다고 결정하는 것에 응답하여, 상기 사용자 스코어도 상기 상대방 스코어도 증분시키지 않는 단계;
    상기 증분된 스코어 근처에서 하이라이트를 상기 디스플레이 상에 제시하는 단계;
    조절 가능한 지속기간 동안 일시 정지한 후 상기 디스플레이들 둘 모두 상에서 후속 시작 시간에 상기 게임 클록을 개시하는 단계를 더 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  5. 제1 항에 있어서,
    상기 최종 손 모양을 검출하는 단계는,
    상기 비디오 데이터의 캡처된 프레임들의 제1 프레임에서 상기 최종 손 모양을 검출하는 단계;
    상기 제1 프레임에 대해 상기 검출된 최종 손 모양 근처에 바운딩 박스를 생성하는 단계 ― 상기 바운딩 박스는 제1 복수의 픽셀들에 대한 제1 깊이 정보를 포함함 ―;
    상기 제1 깊이 정보에 기반하여 손 랜드마크들의 세트를 식별하는 단계;
    상기 식별된 손 랜드마크들의 세트에 기반하여 손 제스처들의 라이브러리로부터 후보 손 제스처를 선택하는 단계; 및
    상기 선택된 후보 손 제스처에 기반하여 가상 게임 피스들의 세트로부터 상기 최종 가상 게임 피스를 선택하는 단계를 포함하며,
    상기 손 제스처들의 라이브러리 및 상기 가상 게임 피스들의 세트는,
    가상 주먹-모양 게임 피스와 연관된 주먹 제스처;
    가상의 펼쳐진 손 게임 피스와 연관된 펼쳐진 손 제스처; 및
    가상 두 손가락 V-자형 게임 피스와 연관된 두 손가락 V-자형 제스처를 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  6. 제1 항에 있어서,
    상기 상대방 최종 가상 게임 피스는 제1 아이콘을 포함하고,
    상기 방법은,
    스코어 로케이션에서 제1 키 이미지를 상기 디스플레이 상에 제시하는 단계;
    원위 로케이션으로부터 상기 스코어 로케이션의 상기 제1 키 이미지를 향해 이동하는 것처럼 보이는 가상 스크롤의 제1 레인 상에서 상기 제1 아이콘을 상기 디스플레이 상에 제시하는 단계 ― 상기 제1 아이콘은 상기 제1 키 이미지와 지속적으로 매칭됨 ―;
    상기 최종 시간 이전에, 상기 디스플레이에 대한 현재 로케이션에서의 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하는 단계; 및
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 예비 손 모양에 대한 오버레이로서 상기 현재 로케이션에서 상기 디스플레이 상에 제시하는 단계를 더 포함하며,
    상기 최종 손 모양을 검출하는 단계는 상기 제1 레인에 대한 최종 손 로케이션을 검출하는 단계를 더 포함하며, 상기 최종 시간은 상기 이동하는 제1 아이콘 및 상기 제1 키 이미지 사이의 명백한 충돌과 추가로 연관되며;
    상기 게임 스코어를 제시하는 단계는, (a) 상기 검출된 최종 손 로케이션이 상기 제1 레인에서 상기 명백한 충돌에 대한 로케이션 매치인지 여부를 결정하는 단계, (b) 상기 검출된 최종 손 모양이 상기 제1 키 이미지에 대한 모양 매치인지 여부를 결정하는 단계, 및 (c) 상기 모양 매치 및 상기 로케이션 매치 둘 모두를 결정하는 것에 응답하여, 상기 게임 스코어를 1씩 증분시키는 단계를 더 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  7. 제6 항에 있어서,
    상기 스코어 로케이션에 대해 정의된 스코어 평면을 따라 후속 로케이션에서 후속 키 이미지를 제시하는 단계;
    상기 가상 스크롤의 2차 레인 상에서 후속 아이콘을 제시하는 단계 ― 상기 후속 아이콘은 상기 후속 키 이미지와 지속적으로 매칭됨 ―;
    후속 최종 시간에 상기 2차 레인에 대한 후속 최종 손 로케이션을 검출하는 단계 ― 상기 최종 시간은 상기 이동하는 후속 아이콘과 상기 후속 키 이미지 사이의 후속하는 명백한 충돌과 추가로 연관됨 ―;
    상기 검출된 후속 최종 손 로케이션이 상기 2차 레인에서의 상기 명백한 후속 충돌에 대한 후속 로케이션 매치인지 여부를 결정하는 단계;
    후속 최종 손 모양이 상기 후속 키 이미지에 대한 후속 모양 매치인지 여부를 결정하는 단계; 및
    상기 후속 모양 매치 및 상기 후속 로케이션 매치를 결정하는 것에 응답하여, 상기 게임 스코어를 1씩 증분시키는 단계를 더 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  8. 제6 항에 있어서,
    상기 손 제스처들의 라이브러리 및 상기 가상 게임 피스들의 세트는,
    가상 주먹-모양 게임 피스, 주먹 모양 키 이미지 및 주먹 모양 아이콘과 연관된 주먹 제스처;
    펼쳐진 손 가상 게임 피스, 손 모양 키 이미지 및 손 모양 아이콘과 연관된 펼쳐진 손 제스처;
    가상 두 손가락 V-자형 게임 피스, V-자형 키 이미지 및 V-자형 아이콘과 연관된 두 손가락 V-자형 제스처;
    가리키는 손가락 가상 게임 피스, 가리키는 키 이미지 및 가리키는 키 아이콘과 연관된 가리키는 제스처; 및
    가상 두 손가락 뿔 모양 게임 피스, 두 손가락 키 이미지 및 두 손가락 키 아이콘과 연관된 두 손가락 뿔 모양 제스처를 포함하는, 증강 현실에서 인터랙티브 게임을 제시하는 방법.
  9. 인터랙티브 게임 제시 시스템으로서,
    프로세서, 메모리, 카메라, 손 추적 유틸리티 및 디스플레이를 포함하는 안경류 디바이스;
    상기 메모리 내의 프로그래밍을 포함하고, 상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 안경류 디바이스를 구성하고,
    상기 기능들은,
    상기 카메라 사용하여 비디오 데이터의 프레임들을 캡처하는 기능 ― 비디오 데이터의 각각의 프레임은 복수의 픽셀들에 대한 깊이 정보를 포함함 ―;
    플레이 필드를 설정하는 로케이션에서 상기 디스플레이 상에 게임 클록을 제시하는 기능 ― 상기 플레이 필드는 상기 안경류 디바이스의 움직임과 관계 없이 물리적 환경에 대한 오버레이로서 지속적으로 볼 수 있고, 상기 게임 클록은 시작 시간으로부터 최종 시간으로 증분하도록 구성됨 ―;
    상기 최종 시간과 연관된 최종 손 모양을 상기 손 추적 유틸리티를 사용하여 상기 비디오 데이터의 프레임들에서 검출하는 기능;
    상기 검출된 최종 손 모양에 기반하여 최종 가상 게임 피스를 상기 디스플레이 상에 제시하는 기능;
    상기 최종 가상 게임 피스를 무선으로 브로드캐스팅하는 기능;
    상대방 최종 가상 게임 피스를 검출하는 기능; 및
    상기 최종 가상 게임 피스 대 상기 상대방 최종 가상 게임 피스에 기반하여 게임 스코어를 상기 디스플레이 상에 제시하는 기능을 포함하는, 인터랙티브 게임 제시 시스템.
  10. 제9 항에 있어서,
    상기 프로그래밍의 실행은,
    상기 손 추적 유틸리티를 사용하여 그리고 상기 게임 클록의 상기 최종 시간 전에 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하며; 그리고
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 디스플레이 상에 제시하도록, 상기 안경류 디바이스를 추가로 구성하는, 인터랙티브 게임 제시 시스템.
  11. 제10 항에 있어서,
    상기 프로그래밍의 실행은,
    상기 게임 클럭이 상기 디스플레이 및 상기 상대방 디스플레이 상에 동시에 제시되고 증분하도록 상기 게임 클럭을 상대방 디스플레이를 포함하는 상대방 디바이스와 동기화하며;
    상기 비디오 데이터의 캡처된 프레임들에서 시작 신호를 검출하는 것에 응답하여 상기 디스플레이들 둘 모두 상에서 상기 시작 시간에 상기 게임 클록을 개시하며; 그리고
    상기 플레이 필드 내에서 상기 상대방 최종 가상 게임 피스를 상기 디스플레이 상에 제시하도록, 상기 안경류 디바이스를 추가로 구성하며, 상기 상대방 최종 가상 게임 피스는 상기 최종 가상 게임 피스로부터 이격되며, 상기 상대방 최종 가상 게임 피스는 상기 상대방 디바이스로부터 브로드캐스팅되는, 인터랙티브 게임 제시 시스템.
  12. 제11 항에 있어서,
    상기 게임 스코어는 사용자 스코어 및 상대방 스코어를 포함하며, 상기 프로그래밍의 실행은,
    상기 최종 가상 게임 피스와 연관된 값이 상기 상대방 최종 가상 게임 피스와 연관된 상대방 값보다 큰지 여부를 결정하며;
    상기 값이 상기 상대방 값보다 크다고 결정하는 것에 응답하여, 상기 사용자 스코어를 1씩 증분시키며;
    상기 값이 상기 상대방 값보다 작다고 결정하는 것에 응답하여, 상기 상대방 스코어를 1씩 증분시키며;
    상기 값이 상기 상대방 값과 동일하다고 결정하는 것에 응답하여, 상기 사용자 스코어도 상기 상대방 스코어도 증분시키지 않으며;
    상기 증분된 스코어 근처의 하이라이트를 상기 디스플레이 상에 제시하며;
    조절 가능한 지속기간 동안 일시 정지한 후 상기 디스플레이들 둘 모두 상에서 후속 시작 시간에 상기 게임 클록을 개시하도록, 상기 안경류 디바이스를 추가로 구성하는, 인터랙티브 게임 제시 시스템.
  13. 제9 항에 있어서,
    상기 프로그래밍의 실행은,
    상기 비디오 데이터의 캡처된 프레임들의 제1 프레임에서 상기 손 추적 유틸리티를 사용하여 상기 최종 손 모양을 검출하며;
    상기 제1 프레임에 대해 상기 검출된 최종 손 모양 근처에 바운딩 박스를 생성하며 ― 상기 바운딩 박스는 제1 복수의 픽셀들에 대한 제1 깊이 정보를 포함함 ―;
    상기 제1 깊이 정보에 기반하여 손 랜드마크들의 세트를 식별하며;
    상기 식별된 손 랜드마크들의 세트에 기반하여 손 제스처들의 라이브러리로부터 후보 손 제스처를 선택하며; 그리고
    상기 선택된 후보 손 제스처에 기반하여 가상 게임 피스들의 세트로부터 상기 최종 가상 게임 피스를 선택하도록, 상기 안경류 디바이스를 추가로 구성하며,
    상기 손 제스처들의 라이브러리 및 상기 가상 게임 피스들의 세트는,
    주먹-모양의 가상 게임 피스와 연관된 주먹 제스처;
    가상의 펼쳐진 손 게임 피스와 연관된 펼쳐진 손 제스처; 및
    가상 두 손가락 V-자형 게임 피스와 연관된 두 손가락 V-자형 제스처를 포함하는, 인터랙티브 게임 제시 시스템.
  14. 제9 항에 있어서,
    상기 상대방 최종 가상 게임 피스는 제1 아이콘을 포함하며, 상기 프로그래밍의 실행은,
    스코어 로케이션에서 제1 키 이미지를 상기 디스플레이 상에 제시하며;
    원위 로케이션으로부터 상기 스코어 로케이션의 상기 제1 키 이미지를 향해 이동하는 것처럼 보이는 가상 스크롤의 제1 레인 상에서 상기 제1 아이콘을 상기 디스플레이 상에 제시하며 ― 상기 제1 아이콘은 상기 제1 키 이미지와 지속적으로 매칭됨 ―;
    상기 손 추적 유틸리티를 사용하여 그리고 상기 최종 시간 이전에, 상기 디스플레이에 대한 현재 로케이션에서의 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하며; 그리고
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 예비 손 모양에 대한 오버레이로서 상기 현재 로케이션에서 상기 디스플레이 상에 제시하며;
    상기 최종 손 모양과 연관되며 상기 제1 레인에 대한 최종 손 로케이션을 검출하며 ― 상기 최종 시간은 상기 이동하는 제1 아이콘 및 상기 제1 키 이미지 사이의 명백한 충돌과 추가로 연관됨 ―;
    상기 검출된 최종 손 로케이션이 상기 제1 레인에서의 상기 명백한 충돌에 대한 로케이션 매치인지 여부를 결정하며;
    상기 검출된 최종 손 모양이 상기 제1 키 이미지에 대한 모양 매치인지 여부를 결정하며; 그리고
    상기 모양 매치 및 상기 로케이션 매치를 결정하는 것에 응답하여, 상기 게임 스코어를 1씩 증분시키도록, 상기 안경류 디바이스를 추가로 구성하는, 인터랙티브 게임 제시 시스템.
  15. 제14 항에 있어서,
    상기 프로그래밍의 실행은,
    상기 스코어 로케이션에 대해 정의된 스코어 평면을 따라 후속 로케이션에서 후속 키 이미지를 제시하며;
    상기 가상 스크롤의 2차 레인 상에서 후속 아이콘을 제시하며 ― 상기 후속 아이콘은 상기 후속 키 이미지와 지속적으로 매칭됨 ―;
    후속 최종 시간에 상기 2차 레인에 대한 후속 최종 손 로케이션을 검출하며 ― 상기 최종 시간은 상기 이동하는 후속 아이콘과 상기 후속 키 이미지 사이의 후속하는 명백한 충돌과 추가로 연관됨 ―;
    상기 검출된 후속 최종 손 로케이션이 상기 2차 레인에서의 상기 명백한 후속 충돌에 대한 후속 로케이션 매치인지 여부를 결정하며;
    후속 최종 손 모양이 상기 후속 키 이미지에 대한 후속 모양 매치인지 여부를 결정하며; 그리고
    상기 후속 모양 매치 및 상기 후속 로케이션 매치를 결정하는 것에 응답하여, 상기 게임 스코어를 1씩 증분시키도록, 상기 안경류 디바이스를 추가로 구성하는, 인터랙티브 게임 제시 시스템.
  16. 제15 항에 있어서,
    상기 손 제스처들의 라이브러리 및 상기 가상 게임 피스들의 세트는,
    가상 주먹-모양 게임 피스, 주먹 모양 키 이미지 및 주먹 모양 아이콘과 연관된 주먹 제스처;
    펼쳐진 손 가상 게임 피스, 손 모양 이미지 및 손 모양 아이콘과 연관된 펼쳐진 손 제스처;
    가상 두 손가락 V-자형 게임 피스, V-자형 키 이미지 및 V-자형 아이콘과 연관된 두 손가락 V-자형 제스처;
    가리키는 손가락 가상 게임 피스, 가리키는 키 이미지 및 가리키는 키 아이콘과 연관된 가리키는 제스처; 및
    가상 두 손가락 뿔 모양 게임 피스, 두 손가락 키 이미지 및 두 손가락 키 아이콘과 연관된 두 손가락 뿔 모양 제스처를 포함하는, 인터랙티브 게임 제시 시스템.
  17. 프로그램 코드를 저장한 비-일시적 컴퓨터-판독 가능 매체로서,
    상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금,
    카메라를 사용하여 비디오 데이터의 프레임들의 캡처하는 단계 ― 비디오 데이터의 각각의 프레임은 복수의 픽셀들에 대한 깊이 정보를 포함하고, 상기 카메라는 프로세서, 메모리, 손 추적 유틸리티 및 디스플레이를 포함하는 안경류 디바이스에 커플링됨 ― ;
    플레이 필드를 설정하는 로케이션에서 상기 디스플레이 상에 게임 클록을 제시하는 단계 ― 상기 플레이 필드는 상기 안경류 디바이스의 움직임과 관계 없이 물리적 환경에 대한 오버레이로서 지속적으로 볼 수 있고, 상기 게임 클록은 시작 시간으로부터 최종 시간으로 증분하도록 구성됨 ―;
    상기 최종 시간과 연관된 최종 손 모양을 상기 손 추적 유틸리티를 사용하여 상기 비디오 데이터의 프레임들에서 검출하는 단계;
    상기 검출된 최종 손 모양에 기반하여 최종 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계;
    상기 최종 가상 게임 피스를 무선으로 브로드캐스팅하는 단계;
    상대방 최종 가상 게임 피스를 검출하는 단계; 및
    상기 최종 가상 게임 피스 대 상기 상대방 최종 가상 게임 피스에 기반하여 게임 스코어를 상기 디스플레이 상에 제시하는 단계를 수행하게 하도록 동작하는, 비-일시적 컴퓨터-판독 가능 매체.
  18. 제17 항에 있어서,
    상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금 추가로,
    상기 손 추적 유틸리티를 사용하여 그리고 상기 게임 클록의 상기 최종 시간 전에 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하는 단계; 및
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계를 수행하게 하도록 동작하는, 비-일시적 컴퓨터-판독 가능 매체.
  19. 제18 항에 있어서,
    상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금 추가로,
    상기 게임 클럭이 상기 디스플레이 및 상기 상대방 디스플레이 상에 동시에 제시되고 증분하도록 상기 게임 클럭을 상대방 디스플레이를 포함하는 상대방 디바이스와 동기화시키는 단계;
    상기 비디오 데이터의 캡처된 프레임들에서 시작 신호를 검출하는 것에 응답하여 상기 디스플레이들 둘 모두 상에서 상기 시작 시간에 상기 게임 클록을 개시하는 단계; 및
    상기 플레이 필드 내에서 상기 상대방 최종 가상 게임 피스를 상기 디스플레이 상에 제시하는 단계를 수행하게 하도록 동작하며, 상기 상대방 최종 가상 게임 피스는 상기 최종 가상 게임 피스로부터 이격되며, 상기 상대방 최종 가상 게임 피스는 상기 상대방 디바이스로부터 브로드캐스팅되는, 비-일시적 컴퓨터-판독 가능 매체.
  20. 제17 항에 있어서,
    상기 상대방 최종 가상 게임 피스는 제1 아이콘을 포함하며,
    상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금,
    스코어 로케이션에서 제1 키 이미지를 상기 디스플레이 상에 제시하는 단계;
    원위 로케이션으로부터 상기 스코어 로케이션의 상기 제1 키 이미지를 향해 이동하는 것처럼 보이는 가상 스크롤의 제1 레인 상에서 상기 제1 아이콘을 상기 디스플레이 상에 제시하는 단계 ― 상기 제1 아이콘은 상기 제1 키 이미지와 지속적으로 매칭됨 ―;
    상기 최종 시간 이전에, 상기 디스플레이에 대한 현재 로케이션에서의 예비 손 모양을 상기 비디오 데이터의 캡처된 프레임들에서 검출하는 단계; 및
    상기 검출된 예비 손 모양에 기반하여 예비 가상 게임 피스를 상기 예비 손 모양에 대한 오버레이로서 상기 현재 로케이션에서 상기 디스플레이 상에 제시하는 단계를 수행하게 하도록 동작하며,
    상기 최종 손 모양을 검출하는 단계는 상기 제1 레인에 대한 최종 손 로케이션을 검출하는 단계를 더 포함하며, 상기 최종 시간은 상기 이동하는 제1 아이콘 및 상기 제1 키 이미지 사이의 명백한 충돌과 추가로 연관되며;
    상기 게임 스코어를 제시하는 단계는, (a) 상기 검출된 최종 손 로케이션이 상기 제1 레인에서 상기 명백한 충돌에 대한 로케이션 매치인지 여부를 결정하는 단계, (b) 상기 검출된 최종 손 모양이 상기 제1 키 이미지에 대한 모양 매치인지 여부를 결정하는 단계, 및 (c) 상기 모양 매치 및 상기 로케이션 매치 둘 모두를 결정하는 것에 응답하여, 상기 게임 스코어를 1씩 증분시키는 단계를 더 포함하는, 비-일시적 컴퓨터-판독 가능 매체.
KR1020237012804A 2020-09-18 2021-08-26 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적 KR20230066626A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/024,800 2020-09-18
US17/024,800 US11925863B2 (en) 2020-09-18 2020-09-18 Tracking hand gestures for interactive game control in augmented reality
PCT/US2021/047637 WO2022060549A2 (en) 2020-09-18 2021-08-26 Tracking hand gestures for interactive game control in augmented reality

Publications (1)

Publication Number Publication Date
KR20230066626A true KR20230066626A (ko) 2023-05-16

Family

ID=77897731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237012804A KR20230066626A (ko) 2020-09-18 2021-08-26 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적

Country Status (5)

Country Link
US (2) US11925863B2 (ko)
EP (1) EP4213954A2 (ko)
KR (1) KR20230066626A (ko)
CN (1) CN116348836A (ko)
WO (1) WO2022060549A2 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US11404056B1 (en) 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
US11204949B1 (en) 2017-07-31 2021-12-21 Snap Inc. Systems, devices, and methods for content selection
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
EP3707693A1 (en) 2017-11-08 2020-09-16 Signall Technologies Zrt Computer vision based sign language interpreter
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11551374B2 (en) 2019-09-09 2023-01-10 Snap Inc. Hand pose estimation from stereo cameras
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11991469B2 (en) 2020-06-30 2024-05-21 Snap Inc. Skeletal tracking for real-time virtual effects
KR20230047480A (ko) 2020-08-13 2023-04-07 스냅 인코포레이티드 포즈 구동형 가상 효과들을 위한 사용자 인터페이스
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui
US12008152B1 (en) 2020-12-31 2024-06-11 Snap Inc. Distance determination for mixed reality interaction
US11997422B2 (en) 2020-12-31 2024-05-28 Snap Inc. Real-time video communication interface with haptic feedback response
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11861070B2 (en) 2021-04-19 2024-01-02 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US12001878B2 (en) 2022-06-03 2024-06-04 Snap Inc. Auto-recovery for AR wearable devices
US12002168B2 (en) 2022-06-20 2024-06-04 Snap Inc. Low latency hand-tracking in augmented reality systems
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7254516B2 (en) 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20070220108A1 (en) * 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
JP4519898B2 (ja) 2007-11-06 2010-08-04 ザイオソフト株式会社 医療画像処理装置および医療画像処理プログラム
US8799821B1 (en) 2008-04-24 2014-08-05 Pixar Method and apparatus for user inputs for three-dimensional animation
EP3654141A1 (en) 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
GB2470072B (en) 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8970518B2 (en) 2010-03-10 2015-03-03 Panasonic Intellectual Property Corporation Of America Click position control apparatus, click position control method, and touch sensor system
US8792722B2 (en) * 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
US8750573B2 (en) 2010-08-02 2014-06-10 Sony Corporation Hand gesture detection
WO2012023089A1 (en) 2010-08-16 2012-02-23 Koninklijke Philips Electronics N.V. Highlighting of objects on a display
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US10242456B2 (en) 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US9310882B2 (en) 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
EP2734977B1 (en) 2012-02-22 2015-06-24 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi System and method for optimizing tracker system
US9734393B2 (en) 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
JP6036817B2 (ja) 2012-05-09 2016-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
EP2872967B1 (en) 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
JP2014035562A (ja) 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR101974652B1 (ko) 2012-08-09 2019-05-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법
US8819812B1 (en) 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
WO2014128749A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US10163049B2 (en) 2013-03-08 2018-12-25 Microsoft Technology Licensing, Llc Inconspicuous tag for generating augmented reality experiences
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
BR112015024910A2 (pt) 2013-03-26 2017-07-18 Seiko Epson Corp dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
KR102144763B1 (ko) 2013-05-22 2020-08-28 삼성전자주식회사 웨어러블 부가 장치를 통한 스케줄 표시 방법 및 장치
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US9207771B2 (en) 2013-07-08 2015-12-08 Augmenta Oy Gesture based user interface
EP2849099B1 (en) 2013-09-11 2021-07-28 Dassault Systèmes A computer-implemented method for designing an industrial product modeled with a binary tree.
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US20150199780A1 (en) 2014-01-16 2015-07-16 Alex Beyk Methods and systems for digital agreement establishment, signing, centralized management, and a storefront using head mounted displays and networks
US10254843B2 (en) 2014-02-28 2019-04-09 Vikas Gupta Gesture operated wrist mounted camera system
US9541996B1 (en) 2014-02-28 2017-01-10 Google Inc. Image-recognition based game
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
CN204048340U (zh) 2014-04-28 2014-12-31 京东方科技集团股份有限公司 穿戴式投影设备
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US10579207B2 (en) 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9459454B1 (en) * 2014-05-23 2016-10-04 Google Inc. Interactive social games on head-mountable devices
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
AU2015274283B2 (en) 2014-06-14 2020-09-10 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20170140552A1 (en) 2014-06-25 2017-05-18 Korea Advanced Institute Of Science And Technology Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
US9548014B2 (en) 2014-08-04 2017-01-17 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9734634B1 (en) 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10460195B2 (en) * 2015-03-27 2019-10-29 Mitsubishi Electric Corporation Imaging apparatus and method, operation apparatus and method, and program and recording medium
US10156908B2 (en) 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US20170003746A1 (en) 2015-06-30 2017-01-05 International Business Machines Corporation Hand-gesture input
JP2017018519A (ja) * 2015-07-15 2017-01-26 セイコーエプソン株式会社 表示装置およびコンピュータープログラム
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
WO2017047182A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
KR20170096420A (ko) 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
BR112018068656A2 (pt) 2016-03-14 2019-02-05 R Mahfouz Mohamed posicionamento de banda ultralarga para comunicação e rastreamento por ultrassom sem fio
US9824500B2 (en) 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
WO2017215899A2 (en) 2016-05-27 2017-12-21 Holobuilder Inc, Augmented and virtual reality
US20170352184A1 (en) 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
CN106199511B (zh) 2016-06-23 2019-07-12 郑州联睿电子科技有限公司 基于超宽带定位的vr定位追踪系统及其定位追踪方法
US10037626B2 (en) 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
CN108369643B (zh) * 2016-07-20 2022-05-13 杭州凌感科技有限公司 用于3d手部骨架跟踪的方法和系统
KR20230130773A (ko) 2016-09-13 2023-09-12 매직 립, 인코포레이티드 감각 안경류
US11625898B2 (en) * 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
JP2018151851A (ja) * 2017-03-13 2018-09-27 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2019008351A (ja) * 2017-06-20 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
US10573089B2 (en) 2017-11-09 2020-02-25 The Boeing Company Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
US10866652B2 (en) 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
JP2021081757A (ja) 2018-03-12 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
US10957110B2 (en) 2018-04-17 2021-03-23 Edx Technologies, Inc. Systems, devices, and methods for tracing paths in augmented reality
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11086126B1 (en) 2018-05-14 2021-08-10 Facebook Technologies, Llc Distributed artificial reality system with a removable display
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
WO2019229698A1 (en) * 2018-05-31 2019-12-05 Purple Tambourine Limited Interacting with a virtual environment using a pointing controller
US10948993B2 (en) 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
US10642369B2 (en) 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10748342B2 (en) 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
CN112771471A (zh) * 2018-09-20 2021-05-07 张恒中 对数字相片添加气味资讯的添加系统及添加方法
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10782779B1 (en) 2018-09-27 2020-09-22 Apple Inc. Feedback coordination for a virtual interaction
US11481025B2 (en) 2018-11-21 2022-10-25 Sony Group Corporation Display control apparatus, display apparatus, and display control method
US10902250B2 (en) 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11320911B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
EP3693834A1 (en) 2019-02-11 2020-08-12 Siemens Aktiengesellschaft Method and system for viewing virtual elements
US20200311396A1 (en) * 2019-03-25 2020-10-01 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
FR3095543B1 (fr) 2019-04-25 2022-02-25 Hap2U Dispositif de commande 3D à retour haptique
US10853991B1 (en) * 2019-05-20 2020-12-01 Facebook Technologies, Llc Multi-layered artificial reality controller pose tracking architecture having prioritized motion models
CN110170168B (zh) 2019-05-30 2022-05-27 腾讯科技（深圳）有限公司 虚拟对象射击控制方法、装置、电子设备及存储介质
US10890983B2 (en) * 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11003307B1 (en) 2019-06-07 2021-05-11 Facebook Technologies, Llc Artificial reality systems with drawer simulation gesture for gating user interface elements
JP2021002288A (ja) 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
US10928975B2 (en) 2019-07-17 2021-02-23 Microsoft Technology Licensing, Llc On-the-fly adjustment of orientation of virtual objects
US10991163B2 (en) * 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11340756B2 (en) * 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11182909B2 (en) 2019-12-10 2021-11-23 Google Llc Scalable real-time hand tracking
US11487423B2 (en) 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
WO2021173839A1 (en) 2020-02-26 2021-09-02 Magic Leap, Inc. Hand gesture input for wearable system
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
EP4115264A4 (en) * 2020-03-23 2023-04-12 Huawei Technologies Co., Ltd. METHODS AND SYSTEMS FOR CONTROLLING A DEVICE BASED ON HAND GESTURES
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
CN113536864B (zh) 2020-04-22 2023-12-01 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机可读存储介质及终端设备
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
CN111665986B (zh) 2020-06-02 2022-07-01 武汉天马微电子有限公司 一种显示面板及显示装置
US11783615B2 (en) 2020-06-19 2023-10-10 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for language driven gesture understanding
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11416079B2 (en) 2020-12-03 2022-08-16 Motorola Mobility Llc Snap motion gesture detection and response
US11631228B2 (en) 2020-12-04 2023-04-18 Vr-Edu, Inc Virtual information board for collaborative information sharing
EP4272064A1 (en) 2020-12-29 2023-11-08 Snap, Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements

Also Published As

Publication number Publication date
CN116348836A (zh) 2023-06-27
US20220088476A1 (en) 2022-03-24
US20240157235A1 (en) 2024-05-16
WO2022060549A2 (en) 2022-03-24
EP4213954A2 (en) 2023-07-26
US11925863B2 (en) 2024-03-12
WO2022060549A3 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
WO2022216784A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
US11914770B2 (en) Eyewear including shared object manipulation AR experiences
US11889291B2 (en) Head-related transfer function
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11392199B2 (en) Eyewear with shared gaze-responsive viewing
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
US12019773B2 (en) Timelapse of generating a collaborative object
US11863963B2 (en) Augmented reality spatial audio experience
US20240069642A1 (en) Scissor hand gesture for a collaborative object
US20240070300A1 (en) Selective collaborative object access based on timestamp
US20240070298A1 (en) Selective collaborative object access
US20240070299A1 (en) Revealing collaborative object using countdown timer