KR20220016984A - 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템 - Google Patents

디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템 Download PDF

Info

Publication number
KR20220016984A
KR20220016984A KR1020227000372A KR20227000372A KR20220016984A KR 20220016984 A KR20220016984 A KR 20220016984A KR 1020227000372 A KR1020227000372 A KR 1020227000372A KR 20227000372 A KR20227000372 A KR 20227000372A KR 20220016984 A KR20220016984 A KR 20220016984A
Authority
KR
South Korea
Prior art keywords
hand
digit
gesture
artificial reality
hmd
Prior art date
Application number
KR1020227000372A
Other languages
English (en)
Inventor
조나단 라바즈
재스퍼 스티븐스
아담 티보르 바르가
에티엔느 핀숑
사이먼 찰스 티커
제니퍼 린 스펄록
카일 에릭 조르지-투미
로버트 엘리스
바렛 폭스
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20220016984A publication Critical patent/KR20220016984A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인공 현실 환경 내의 사용자 인터페이스 요소들을 렌더링, 제시, 및 제어하고, 사용자의 하나 이상의 검출된 제스처들에 응답하여 동작들을 수행하는 인공 현실 시스템이 설명된다. 인공 현실 시스템은 물리적 환경을 나타내는 이미지 데이터를 캡처하고 인공 현실 콘텐츠를 출력한다. 인공 현실 시스템은 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별한다. 인공 현실 시스템은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당하고, 식별된 제스처에 응답하여 손의 상기 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱한다.

Description

디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
관련 출원에 대한 상호 참조
본 출원은 2019년 6월 7일에 출원된 미국 출원 번호 16/435,139호로부터 우선권을 주장하고, 그 내용들은 모든 목적들을 위해 그 전체가 본원에 참조로 포함된다.
본 개시내용은 일반적으로 가상 현실, 혼합 현실 및/또는 증강 현실 시스템들과 같은 인공 현실 시스템들에 관한 것으로, 보다 구체적으로 인공 현실 시스템들의 사용자 인터페이스들에 관한 것이다.
인공 현실 시스템들은 컴퓨터 게이밍, 건강 및 안전, 산업 및 교육과 같은 많은 분야들의 애플리케이션들과 함께 점점 더 흔하게 되고 있다. 몇 가지 예들로서, 인공 현실 시스템들은 모바일 디바이스들, 게이밍 콘솔들, 개인용 컴퓨터들, 영화관들 및 테마 파크들에 통합되고 있다. 일반적으로, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다.
일반적인 인공 현실 시스템들은 콘텐츠를 렌더링하고 사용자들에게 디스플레이하기 위한 하나 이상의 디바이스들을 포함한다. 일 예로서, 인공 현실 시스템은 사용자에 의해 착용되고 인공 현실 콘텐츠를 사용자에게 출력하도록 구성된 머리 장착 디스플레이(HMD)를 포함할 수 있다. 인공 현실 콘텐츠는 컴퓨터-생성 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 비디오 및/또는 이미지들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 동작 동안, 사용자는 일반적으로 인공 현실 시스템과 상호작용하여 콘텐츠를 선택하거나, 애플리케이션들을 시작하거나, 그렇지 않으면 시스템을 구성한다.
일반적으로, 본 개시내용은 인공 현실 시스템들, 보다 구체적으로 그래픽 사용자 인터페이스 요소들 및 인공 현실 환경 내에서 사용자 인터페이스 요소들을 제시하고 제어하기 위한 기법들을 설명한다.
예를 들어, 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 포지션들, 및/또는 배향들, 또는 미리 정의된 제스처들의 조합들 같은 사용자에 의한 하나 이상의 미리 정의된 제스처들의 검출에 응답하여 사용자에게 디스플레이하기 위해 그래픽 사용자 인터페이스 요소들을 생성하고 렌더링하는 인공 현실 시스템들이 설명된다. 일부 예들에서, 인공 현실 시스템은 사용자의 실시간 시선 추적에 의해 또는 사용자에 의해 착용된 HMD의 포즈에 관련하여 결정될 수 있는 사용자의 현재 시야에 관련한 물리적 환경에서 특정 제스처들의 포지션 및 배향과 같은 다른 조건들과 함께 특정 제스처들의 검출에 응답하여 그래픽 사용자 인터페이스 요소들의 생성 및 렌더링을 추가로 트리거할 수 있다.
일부 예들에서, 인공 현실 시스템은 인공 현실 시스템의 디스플레이 내에서 현재 렌더링되고 있는 인공 현실 콘텐츠에 관련한 오버레이 요소(overlay element)들로서 그래픽 사용자 인터페이스 요소들을 생성하고 제시할 수 있다. 그래픽 사용자 인터페이스 요소들은 예를 들어 사용자가 인공 현실 시스템을 동작시키기 위해 상호 작용하는 메뉴 또는 서브-메뉴와 같은 그래픽 사용자 인터페이스, 또는 토글 요소들, 드롭-다운(drop-down) 요소들, 메뉴 선택 요소들, 2-차원 또는 3-차원 형상들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등과 같은 사용자에 의해 선택가능하고 조작가능한 개별 그래픽 사용자 인터페이스 요소들일 수 있다.
본원에 설명된 기법들에 따르면, 인공 현실 시스템은 사용자가 입력 텍스트 및 다른 입력 문자들과 상호작용하는 다양한 그래픽 사용자 인터페이스 요소들을 생성하고 제시한다. 일 예에서, 인공 현실 시스템은 HMD에 의해 출력되는 다른 인공 현실 콘텐츠에 대한 오버레이 요소로서 가상 키보드를 렌더링 및 출력한다. 인공 현실 시스템은 물리적 환경 내에서 움직일 때 손의 이미지 데이터를 캡처하고, 인공 현실 공간에서 렌더링된 가상 키보드의 위치에 관하여 손의 위치를 추적한다. 특히, 인공 현실 시스템은 손의 적어도 2개의 디지트(digit)들, 예를 들어 손의 엄지와 검지의 위치를 추적한다. 인공 현실 시스템은 핀칭 구성(pinching configuration)을 형성하기 위해 합쳐지는 2개의 디지트들의 모션을 포함하는 제스처를 검출하고 핀칭 구성에 있는 동안 2개의 디지트들 사이의 접촉점의 위치를 가상 키보드의 가상 키에 매핑한다. 인공 현실 시스템이 제스처를 검출하면, 인공 현실 시스템은 특정 가상 키에 할당된 입력 문자를 포함하는 사용자 입력으로서 특정 가상 키의 선택을 수신한다.
다른 예에서, 인공 현실 시스템은 가상 키보드를 렌더링 및 출력하는 대신에, 인공 현실 시스템에 의해 캡처된 이미지 데이터에서 검출된 손의 하나 이상의 디지트들에 하나 이상의 입력 문자들을 할당한다. 이 예에서, 인공 현실 시스템은 입력 선택 디지트로서 작용하기 위해 입력 문자들에 할당되지 않는 손의 적어도 하나의 디지트를 남길 수 있다. 인공 현실 시스템은 임계 시간 양 내에서 특정 횟수로, 입력 문자들이 할당된 다른 디지트들 중 특정 디지트와 핀칭 구성을 형성하는 입력 선택 디지트의 모션을 포함하는 제스처를 검출한다. 핀칭 구성을 형성하는 모션이 검출되는 횟수가 증가함에 따라, 인공 현실 시스템은 특정 디지트에 할당된 하나 이상의 입력 문자들을 순환시킨다. 인공 현실 시스템은 핀칭 구성을 형성하는 모션이 검출된 횟수 및 특정 입력 문자에 매핑된 선택 수에 기반하여 입력 문자들 중 특정 문자의 선택을 결정한다. 인공 현실 시스템은 사용자 입력으로 특정 디지트에 할당된 특정 입력 문자의 선택을 수신한다.
많은 인공 현실 시스템들에서, 사용자들은 사용자 입력을 인공 현실 시스템에 제공하기 위해 추가 하드웨어 부분들을 자신의 손에 홀딩할 필요가 있고, 이는 다양한 장애들을 갖는 사용자들의 접근성을 감소시키고 사용자에게 어색하거나 부자연스러운 인터페이스를 제공할 수 있다. 사용자들이 추가 하드웨어 부분들을 홀딩하지 않는 인공 현실 시스템들에서, 직관적이고 신뢰성 있는 방식으로 사용자 입력을 정확하게 검출하는 것은 어려울 수 있다. 또한, 추가 하드웨어 부분들을 필요로 하지 않는 인공 현실 시스템들은 특정 사용자 인터페이스 요소들이 인공 현실 시스템에 대한 입력을 위해 선택되는 시기 및 방법에 관한 유용한 피드백을 사용자에게 제공할 수 없을 수 있다. 본원에 설명된 기법들을 활용함으로써, 인공 현실 시스템은 자가-햅틱(self-haptic) 피드백을 사용하거나, 핀칭 구성을 형성할 때 접촉하는 사용자 자신의 디지트들의 느낌을 사용하는 자연스러운 입력 시스템을 제공하여, 선택이 이루어졌을 때 사용자에게 표시할 수 있다. 또한, 특정 핀칭 구성을 형성하는 모션을 포함하는 제스처를 검출함으로써, 인공 현실 시스템은 사용자 입력으로서 어떤 입력 문자가 수신되는지를 결정하기 위해 이미지 데이터를 분석할 때를 효율적으로 결정할 수 있다. 본원에 설명된 기법들은 사용자 입력을 제공하기 위해 사용자들이 추가 하드웨어 부분들을 홀딩할 필요를 감소시키거나 심지어 제거할 수 있으므로, 시스템의 전체 효율성을 증가시키고, 인공 현실 시스템의 개별 구성요소들 간의 통신들의 프로세싱을 감소시키고, 모든 수준의 신체 능력을 가진 사용자들을 위한 인공 현실 시스템들의 접근성을 증가시킨다.
본원에 설명된 기법들의 한 예에서, 인공 현실 시스템은 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스를 포함한다. 인공 현실 시스템은 인공 현실 콘텐츠를 출력하도록 구성된 HMD를 더 포함한다. 인공 현실 시스템은 또한 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링하도록 구성된 렌더링 엔진을 포함한다. 인공 현실 시스템은 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하도록 구성된 제스처 검출기를 더 포함하고, 여기서 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점은 가상 키보드의 복수의 가상 키들 중 제1 가상 키의 위치에 대응한다. 인공 현실 시스템은 또한 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱하도록 구성된 사용자 인터페이스 엔진을 포함한다.
본원에 설명된 기법들의 다른 예에서, 방법은 인공 현실 시스템의 이미지 캡처 디바이스에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계를 포함한다. 방법은 인공 현실 콘텐츠 및 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링하는 단계를 더 포함한다. 방법은 또한 인공 현실 시스템의 HMD에 의해, 상기 인공 현실 콘텐츠 및 가상 키보드를 출력하는 단계를 포함한다. 방법은 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하는 단계를 더 포함하고, 여기서 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점은 핀칭 구성에서 가상 키보드의 복수의 가상 키들 중 제1 가상 키의 위치에 대응한다. 방법은 또한 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱하는 단계를 포함한다.
본원에 설명된 기법들의 다른 예에서, 비-일시적 컴퓨터-판독가능 매체는, 실행될 때, 인공 현실 시스템의 하나 이상의 프로세서들이 물리적 환경을 나타내는 이미지 데이터를 캡처하게 하는 명령들을 포함한다. 명령들은 추가로 하나 이상의 프로세서들이 인공 현실 콘텐츠 및 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링하게 한다. 명령들은 또한 하나 이상의 프로세서들이 인공 현실 콘텐츠 및 가상 키보드를 출력하게 한다. 명령들은 추가로 하나 이상의 프로세서들이 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하게 하고, 여기서 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점은 가상 키보드의 복수의 가상 키들 중 제1 가상 키의 위치에 대응한다. 명령들은 또한 하나 이상의 프로세서들이 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱하게 한다.
본원에 설명된 기법들의 다른 예에서, 인공 현실 시스템은 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스를 포함한다. 인공 현실 시스템은 인공 현실 콘텐츠를 출력하도록 구성된 HMD를 더 포함한다. 인공 현실 시스템은 또한 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하도록 구성된 제스처 검출기를 포함한다. 인공 현실 시스템은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당하고 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하도록 구성된 사용자 인터페이스 엔진을 더 포함한다.
본원에 설명된 기법들의 다른 예에서, 방법은 인공 현실 시스템의 이미지 캡처 디바이스에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계를 포함한다. 방법은 인공 현실 시스템의 HMD에 의해, 인공 현실 콘텐츠를 출력하는 단계를 더 포함한다. 방법은 또한 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하는 단계를 포함한다. 방법은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당하는 단계를 더 포함한다. 방법은 또한 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하는 단계를 포함한다.
본원에 설명된 기법들의 다른 예에서, 비-일시적 컴퓨터-판독가능 매체는, 실행될 때, 인공 현실 시스템의 하나 이상의 프로세서들이 물리적 환경을 나타내는 이미지 데이터를 캡처하게 하는 명령들을 포함한다. 명령들은 추가로 하나 이상의 프로세서들이 인공 현실 콘텐츠를 출력하게 한다. 명령들은 또한 하나 이상의 프로세서들이 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별하게 한다. 명령들은 추가로 하나 이상의 프로세서들이 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당하게 한다. 명령들은 또한 하나 이상의 프로세서들이 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하게 한다.
본 개시내용의 기법들의 하나 이상의 예들의 세부사항들은 아래의 첨부 도면들 및 설명에서 설명된다. 기법들의 다른 특징들, 목적들, 및 장점들은 설명, 도면들 및 청구항들로부터 자명하게 될 것이다.
도 1a는 본 개시내용의 기법들에 따라 인공 현실 환경 내에서 사용자 인터페이스 요소들을 제시하고 제어하는 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 1b는 본 개시내용의 기법들에 따른 다른 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 2는 본 개시내용의 기법들에 따라 동작하는 예시적인 HMD를 묘사하는 예시이다.
도 3은 도 1a, 도 1b의 인공 현실 시스템의 콘솔 및 HMD의 예시적인 구현들을 도시하는 블록도이다.
도 4는 본 개시내용의 기법들에 따른 도 1a, 도 1b의 인공 현실 시스템들의 HMD에 의해 제스처 검출 및 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
도 5a 및 도 5b는 본 개시내용의 기법들에 따라, 가상 키보드를 출력하고 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다.
도 6a 및 도 6b는 본 개시내용의 기법들에 따라, 분할 가상 키보드를 출력하고 분할 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다.
도 7a 및 도 7b는 본 개시내용의 기법들에 따라, 특정 횟수들로 핀칭 구성의 형성을 검출하고 핀칭 구성에 관련된 특정 디지트 및 핀칭 구성의 형성이 검출되는 특정 횟수들에 기반한 입력 문자를 사용자 입력으로 수신하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다.
도 8은 본원에 설명된 기법들에 따라, 가상 키보드를 출력하고 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 인공 현실 시스템에 대한 예시적인 기법을 예시하는 흐름도이다.
도 9는 본 개시내용의 기법들에 따라, 특정 횟수로 핀칭 구성의 형성을 검출하고 핀칭 구성에 관련된 특정 디지트 및 핀칭 구성의 형성이 검출된 횟수에 기반한 입력 문자를 사용자 입력으로 수신하도록 구성된 예시적인 인공 현실 시스템에 대한 예시적인 기법을 예시하는 흐름도이다.
유사한 참조 문자들은 도면들 및 설명 전반에 걸쳐 유사한 요소들을 지칭한다.
도 1a는 본 개시내용의 기법들에 따라 인공 현실 환경 내에서 사용자 인터페이스 요소들을 제시하고 제어하는 예시적인 인공 현실 시스템(10)을 묘사하는 예시이다. 일부 예시적인 구현들에서, 인공 현실 시스템(10)은 사용자(110)에 의해 수행된 하나 이상의 검출된 제스처들에 응답하여 그래픽 사용자 인터페이스 요소들을 생성하고 사용자(110)에게 렌더링한다. 즉, 본원에 설명된 바와 같이, 인공 현실 시스템(10)은 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 위치들, 및/또는 배향들 같은 사용자(110)에 의해 수행된 하나 이상의 특정 제스처들을 검출하는 것에 대한 응답으로 하나 이상의 그래픽 사용자 인터페이스 요소들(124, 126)을 제시한다. 다른 예들에서, 인공 현실 시스템(10)은 특수 토글 요소들, 드롭-다운 요소들, 메뉴 선택 요소들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등과 같은 인공 현실 환경 내에서 사용자 상호작용 및 조작을 위해 특별히 설계된 사용자 인터페이스 요소들을 제시하고 제어한다.
도 1a의 예에서, 인공 현실 시스템(10)은 머리 장착 디바이스(HMD)(112), 콘솔(106), 및 일부 예들에서 하나 이상의 외부 센서들(90)을 포함한다. 도시된 바와 같이, HMD(112)는 일반적으로 사용자(110)에 의해 착용되고 인공 현실 콘텐츠(122)를 사용자(110)에게 제시하기 위한 전자 디스플레이 및 광학 어셈블리를 포함한다. 또한, HMD(112)는 HMD의 모션을 추적하기 위한 하나 이상의 센서들(예를 들어, 가속도계)을 포함하고 주위 물리적 환경의 이미지 데이터를 캡처하기 위한 하나 이상의 이미지 캡처 디바이스들(138), 예를 들어 카메라들, 라인 스캐너들 등을 포함할 수 있다. 이 예에서, 콘솔(106)은 게임 콘솔, 워크스테이션, 데스크톱 컴퓨터 또는 랩톱과 같은 단일 컴퓨팅 디바이스로서 도시된다. 다른 예들에서, 콘솔(106)은 분산 컴퓨팅 네트워크, 데이터 센터, 또는 클라우드 컴퓨팅 시스템과 같은 복수의 컴퓨팅 디바이스들에 걸쳐 분산될 수 있다. 콘솔(106), HMD(112), 및 센서들(90)은 이 예에 도시된 바와 같이, 네트워크(104)를 통해 통신가능하게 결합될 수 있고, 네트워크(104)는 Wi-Fi, 메시 네트워크 또는 단거리 무선 통신 매체와 같은 유선 또는 무선 네트워크일 수 있다. HMD(112)가 이 예에서 콘솔(106)과 통신하는, 예를 들어, 콘솔(106)과 테더링하거나 무선 통신하는 것으로 도시되지만, 일부 구현들에서 HMD(112)는 독립형 모바일 인공 현실 시스템으로서 동작한다.
일반적으로, 인공 현실 시스템(10)은 사용자(110)에게 디스플레이하기 위해 인공 현실 콘텐츠(122)를 렌더링하기 위해 현실-세계 3D 물리적 환경으로부터 캡처된 정보를 사용한다. 도 1a의 예에서, 사용자(110)는 콘솔(106) 및/또는 HMD(112) 상에서 실행되는 인공 현실 애플리케이션에 의해 구성되고 렌더링된 인공 현실 콘텐츠(122)를 본다. 일 예로서, 인공 현실 콘텐츠(122)는 사용자(110)가 하나 이상의 가상 객체들(128A, 128B)을 갖는 아바타(120)로서 렌더링되는 소비자 게이밍 애플리케이션일 수 있다. 일부 예들에서, 인공 현실 콘텐츠(122)는 현실-세계 이미지와 가상 객체들, 예를 들어 혼합 현실 및/또는 증강 현실의 혼합을 포함할 수 있다. 다른 예들에서, 인공 현실 콘텐츠(122)는 예를 들어 화상 회의 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션들, 또는 인공 현실을 구현하는 다른 유형들의 애플리케이션들일 수 있다.
동작 동안, 인공 현실 애플리케이션은 기준 프레임, 일반적으로 HMD(112)의 보기 각도에 대한 포즈 정보를 추적 및 계산함으로써 사용자(110)에게 디스플레이하기 위한 인공 현실 콘텐츠(122)를 구성한다. HMD(112)를 기준 프레임으로 사용하고, HMD(112)의 현재 추정된 포즈에 의해 결정된 현재 시야(130)에 기반하여, 인공 현실 애플리케이션은 일부 예들에서 적어도 부분적으로 사용자(110)의 현실-세계 3D 물리적 환경에 오버레이될 수 있는 3D 인공 현실 콘텐츠를 렌더링한다. 이 프로세스 동안, 인공 현실 애플리케이션은 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터를 사용하고, 일부 예에서는 사용자(110)에 의한 모션 및/또는 사용자(110)에 관한 피처 추적 정보(feature tracking information) 같은, 현실 세계 물리적 환경 내의 3D 정보를 캡처하기 위해 외부 카메라들과 같은 임의의 외부 센서들(90)로부터의 데이터를 사용한다. 감지된 데이터에 기반하여, 인공 현실 애플리케이션은 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 인공 현실 콘텐츠(122)를 렌더링한다.
또한, 본 개시내용의 기법들에 따르면, 감지된 데이터에 기반하여, 인공 현실 애플리케이션은 사용자(110)에 의해 수행된 제스처들을 검출하고, 하나 이상의 특정 제스처들을 검출하는 것에 응답하여, 사용자에게 제시되는 아래 놓인 인공 현실 콘텐츠(122)에 오버레이될 수 있는 하나 이상의 사용자 인터페이스 요소들, 예를 들어 UI 메뉴(124) 및 UI 요소(126)를 생성한다. 이와 관련하여, 사용자 인터페이스 요소들(124, 126)은 인공 현실 환경에서 사용자에게 제시되는 인공 현실 콘텐츠(122)의 일부로서 보여질 수 있다. 이러한 방식으로, 인공 현실 시스템(10)은 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 포지션들, 및/또는 배향들 같은 사용자(110)에 의한 하나 이상의 특정 제스처들을 검출하는 것에 응답하여 하나 이상의 그래픽 사용자 인터페이스 요소들(124, 126)을 동적으로 제시한다. 사용자 손의 예시적인 구성들은 주먹, 펼쳐진 하나 이상의 디지트들, 손의 개별 디지트들 중 하나 이상의 상대적 및/또는 절대적 포지션들 및 배향들, 손바닥 형상 등을 포함할 수 있다. 사용자 인터페이스 요소들은 예를 들어, 사용자(110)가 인공 현실 시스템을 동작시키기 위해 상호작용하는 메뉴 또는 서브-메뉴와 같은 그래픽 사용자 인터페이스, 또는 토글 요소들, 드롭-다운 요소들, 메뉴 선택 요소들, 2-차원 또는 3-차원 형상들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등과 같은 사용자(110)에 의해 선택가능하고 조작가능한 개별 사용자 인터페이스 요소들일 수 있다. 예를 들어, 2-차원 요소로 묘사되지만, UI 요소(126)는 인공 현실 환경에서 형상을 번역, 크기 조정 및/또는 회전시키는 제스처들을 수행하는 사용자에 의해 조작가능한 2-차원 또는 3-차원 형상일 수 있다.
도 1a의 예에서, 그래픽 사용자 인터페이스 요소(124)는 다양한 기능들을 수행하는 하나 이상의 선택가능 아이콘들을 포함할 수 있는 그래픽 사용자 인터페이스 요소들(126)을 포함하는 창 또는 애플리케이션 컨테이너일 수 있다. 다른 예들에서, 인공 현실 시스템(10)은 QWERTY 키보드, AZERTY 키보드, QWERTZ 키보드, Dvorak 키보드, Colemak 키보드, Maltron 키보드, JCUKEN 키보드, 알파벳 키보드, 숫자/기호 키보드, 이모티콘 선택 키보드, 위 키보드들 중 임의의 분할 버전, 키보드 형식의 임의의 다른 입력 문자들 배열, 또는 사용자(110)의 손(132)에 있는 디지트들의 렌더링과 같은 인공 현실 콘텐츠(122)에서 하나 이상의 항목들에 대한 입력 문자들의 할당 또는 맞춤형 매핑 묘사를 제시할 수 있다.
또한, 본원에 설명된 바와 같이, 일부 예들에서, 인공 현실 시스템(10)은 시스템에 의해 실행되는 하나 이상의 애플리케이션들의 현재 상태와 같은 다른 조건들, 또는 사용자의 실시간 시선 추적 또는 다른 조건들에 의해 결정될 수 있는 사용자(110)의 현재 시야(130)와 관련하여 물리적 환경에서 특정 검출된 제스처들의 포지션 및 배향에 응답하여 그래픽 사용자 인터페이스 요소들(124, 126)의 생성 및 렌더링을 트리거할 수 있다.
보다 구체적으로, 본원에 추가로 설명되는 바와 같이, HMD(112)의 이미지 캡처 디바이스들(138)은 이미지 캡처 디바이스들(138)의 시야(130) 내에 있는 현실 세계 물리적 환경에서 객체들을 나타내는 이미지 데이터를 캡처한다. 시야(130)는 일반적으로 HMD(112)의 보기 각도에 대응한다. 도 1a의 예시된 예와 같은 일부 예들에서, 인공 현실 애플리케이션은 시야(130) 내에 있는 사용자(110)의 손(132) 부분들을 인공 현실 콘텐츠(122) 내의 가상 손(136)으로 렌더링한다. 다른 예들에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(122) 내에서 사용자(110)의 손(132) 및/또는 팔(134)의 현실-세계 이미지를 제시할 수 있다. 어느 하나의 예에서, 사용자(110)는 시야(130) 내에 있는 자신의 손(132) 및/또는 팔(134)의 부분들을 인공 현실 콘텐츠(122) 내의 객체들로서 볼 수 있다. 다른 예들에서, 인공 현실 애플리케이션은 사용자의 손(132) 또는 팔(134)을 전혀 렌더링하지 않을 수 있다.
어떤 경우든, 동작 동안, 인공 현실 시스템(10)은 HMD(112)의 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터 내에서 객체 인식을 수행하여 사용자(110)의 개별 손가락들 또는 엄지, 및/또는 팔(134)의 모두 또는 일부 부분들을 선택적으로 식별하는 것을 포함하여, 손(132)을 식별한다. 또한, 인공 현실 시스템(10)은 시간의 슬라이딩 창에 걸쳐 손(132)(선택적으로 손의 특정 디지트들을 포함함) 및/또는 팔(134)의 부분들의 포지션, 배향 및 구성을 추적한다. 인공 현실 애플리케이션은 손(132) 및/또는 팔(134) 부분들의 임의의 추적된 모션들, 구성들, 포지션들 및/또는 배향들을 분석하여 특정 객체들, 예를 들어 사용자(110)의 손(132)(손의 특정 디지트들 포함) 및/또는 팔(134)의 부분들에 의해 수행되는 하나 이상의 제스처들을 식별한다. 제스처(들)를 검출하기 위해, 인공 현실 애플리케이션은 손(132) 및/또는 팔(134) 부분들의 모션들, 구성들, 포지션들 및/또는 배향들을 인공 현실 시스템(10)의 제스처 라이브러리에 저장된 제스처 정의들과 비교할 수 있고, 여기서 제스처 라이브러리의 각각의 제스처는 하나 이상의 동작들에 매핑될 수 있다. 일부 예들에서, 움직임을 검출하는 것은 디지트들(집게 손가락 및 엄지와 같은)의 정의된 조합 중 임의의 것이 물리적 환경에서 터치하거나 대략적으로 터치하기 위해 합쳐지는지 여부를 포함하여, 손(132)의 디지트들(개별 손가락들 및 엄지) 중 하나 이상의 포지션들을 추적하는 것을 포함할 수 있다. 다른 예들에서, 움직임을 검출하는 것은 HMD(112)의 현재 포즈와 관련하여 손(132)의 배향(예를 들어, 손가락들이 HMD(112)를 향하거나 HMD(112)로부터 멀어지는 방향을 가리킴) 및/또는 팔(134)의 배향(즉, HMD(112)를 향하는 팔의 법선)을 추적하는 것을 포함할 수 있다. 손(132)(또는 그의 일부)의 포지션 및 배향은 대안적으로 손(132)(또는 그의 일부)의 포즈로 지칭될 수 있다.
또한, 인공 현실 애플리케이션은 손(132) 및/또는 팔(134)의 구성들, 포지션들, 및/또는 배향들을 분석하여 손(132) 및/또는 팔(134)이 적어도 임계 시간 기간 동안 하나 이상의 특정 구성, 포지션들, 및/또는 배향들로 홀딩되는 것을 포함하는 제스처를 식별할 수 있다. 예들로서, 손(132) 및/또는 팔(134)이 적어도 구성가능한 시간 기간 동안 시야(130) 내에서 실질적으로 정지 상태로 홀딩되고 있는 하나 이상의 특정 포지션들은 사용자(110)가 메뉴와 같은 특정 유형의 사용자 인터페이스 요소(124, 126)의 디스플레이를 트리거하는 것과 같이 인공 현실 애플리케이션에 의해 원하는 응답을 트리거하도록 의도된 제스처를 수행하려고 시도하는 표시로서 인공 현실 시스템(10)에 의해 사용될 수 있다. 다른 예로서, 손(132)의 손가락들 및/또는 손바닥 및/또는 팔(134)의 하나 이상의 특정 구성들이 적어도 구성가능한 시간 기간 동안 시야(130) 내에 유지되는 것은 사용자(110)가 제스처를 수행하려고 시도한다는 표시로서 인공 현실 시스템(10)에 의해 사용될 수 있다. 비록 사용자(110)의 오른손(132) 및 오른팔(134)만이 도 1a에 예시되어 있지만, 다른 예들에서, 인공 현실 시스템(10)은 사용자(110)의 왼손 및/또는 팔 또는 사용자(110)의 오른손 및 왼손 및/또는 팔들 둘 모두를 식별할 수 있다. 이러한 방식으로, 인공 현실 시스템(10)은 물리적 환경 내에서 어느 한 손에 의해 수행되는 한 손 제스처들, 양손 제스처들 또는 팔 기반 제스처들을 검출하고, 검출된 제스처들에 응답하여 연관된 사용자 인터페이스 요소들을 생성할 수 있다.
본 개시내용의 기법들에 따르면, 인공 현실 애플리케이션은 식별된 제스처가 콘솔(106) 및/또는 HMD(112)의 제스처 라이브러리의 복수의 엔트리들 중 하나에 의해 정의된 제스처에 대응하는지 여부를 결정한다. 아래에서 더 자세히 설명되는 바와 같이, 제스처 라이브러리의 엔트리들 각각은 시간 경과에 따른 사용자의 손, 디지트(손가락 또는 엄지) 및/또는 팔의 특정 모션, 구성, 포지션 및/또는 배향, 또는 그러한 속성들의 조합으로 상이한 제스처를 정의할 수 있다. 또한, 정의된 제스처들 각각은 인공 현실 애플리케이션에 의해 수행될 하나 이상의 동작들의 형태로 원하는 응답과 연관될 수 있다. 일 예로서, 제스처 라이브러리에서 정의된 제스처들 중 하나 이상은 인공 현실 콘텐츠(122)에 렌더링 및 오버레이될 하나 이상의 사용자 인터페이스 요소들, 예를 들어 UI 메뉴(124)의 생성, 변환 및/또는 구성을 트리거할 수 있고, 여기서 제스처는 인공 현실 콘텐츠(122)에서 UI 메뉴(124)의 위치 및/또는 배향을 정의할 수 있다. 다른 예로서, 정의된 제스처들 중 하나 이상은 특정 사용자 인터페이스 요소와의 사용자(110)에 의한 상호작용, 예를 들어, UI 메뉴(124)의 UI 요소(126)의 선택을 나타내어, 제시된 사용자 인터페이스에 대한 변경, 제시된 사용자 인터페이스의 서브-메뉴의 제시 등을 트리거할 수 있다.
예를 들어, 제스처 라이브러리에 엔트리로 저장된 제스들처 중 하나는 핀치 구성을 형성하기 위한 손의 2개 이상의 디지트들의 모션일 수 있다. 핀칭 구성은 동일한 손(예를 들어, 사용자(110)의 손(132))의 적어도 2개의 개별 디지트들이 서로 접촉하는 임의의 구성으로 구성될 수 있다. 일부 예들에서, 이 구성은 서로 접촉하는 2개의 디지트들이 손의 나머지 디지트들로부터 분리되도록 요구하거나, 서로 접촉하는 디지트들의 부분들이 디지트들의 패드들 또는 팁(tip)들이도록 요구하는 것과 같이 추가로 제한될 수 있다. 일부 사례들에서, 추가 제한은 손의 엄지가 손의 제2 디지트와 접촉하는 디지트들 중 하나일 수 있다는 것이다. 그러나, 핀칭 구성은 2개의 디지트들이 동일한 손에 속하는지 여부에 관계없이 임의로 서로 접촉하기 위해 단순히 임의의 2개의 디지트들을 요구하는 것과 같이 제약들이 적을 수 있다.
본원에 설명된 기법들에 따르면, 인공 현실 콘텐츠(122)가 하나 이상의 가상 키들로 구성된 가상 키보드를 포함할 때, 이미지 캡처 디바이스들(138)은 핀칭 구성을 형성하기 위해 이동하는 손(132)의 제1 디지트 및 제2 디지트를 포함하는 이미지 데이터를 캡처할 수 있다. 인공 현실 시스템(10)이 핀칭 구성을 형성하기 위해 손(132)에 대한 디지트들의 모션을 포함하는 제스처를 식별하면, 핀칭 구성에 있는 동안 2개의 디지트들 사이의 접촉점이 결정되고 대응하는 위치는 인공 현실 콘텐츠(122)에 의해 구성된 가상 환경 내에서 식별된다. 핀칭 구성에 있는 동안 디지트들의 접촉점이 가상 키보드에서 가상 키의 위치에 대응하는 경우, 인공 현실 시스템(10)은 핀칭 구성, 또는 핀칭 구성의 해제를 가상 키의 선택인 것으로 인식할 수 있다. 이 선택의 수신에 응답하여, 인공 현실 시스템(10)은 텍스트 문자 또는 다른 ASCII 문자를 텍스트 입력 필드에 입력하거나 컴퓨팅 시스템의 키보드의 키들에 할당될 수 있는 임의의 다른 기능과 같은 가상 키의 선택에 대응하는 동작을 수행할 수 있다.
본원에 설명된 기법들의 다른 예들에서, 이미지 캡처 디바이스(138)는 사용자 손(132)을 포함하는 이미지 데이터를 캡처할 수 있다. 인공 현실 시스템(10)은 이미지 데이터로부터 사용자 손(132)의 다양한 디지트들 사이를 구별할 수 있다. 사용자(110)의 양손이 이미지 데이터에 포함되는 사례들에서, 인공 현실 시스템(10)은 사용자(110)의 손들 중 하나 또는 양손의 다양한 디지트들을 사이를 구별할 수 있다. 이어서, 인공 현실 시스템(10)은 이미지 데이터에서 캡처된 손(또는 손들)의 디지트들 중 하나 이상에 하나 이상의 입력 문자들을 할당할 수 있다. 인공 현실 시스템(10)은 일부 예들에서, 각각의 손의 엄지와 같은 각각의 손의 하나의 디지트가 입력 선택 디지트로서 할당되는 대신, 입력 문자들이 이 디지트에 할당되지 않고, 이미지 데이터에 이 디지트를 남겨둘 수 있다. 이미지 캡처 디바이스들(138)은 인공 현실 시스템(10)이 하나 이상의 입력 문자들을 할당한 다른 디지트들 중 하나와 접촉하는 선택자 디지트로 핀칭 구성을 형성하는 사용자 손(132)을 포함하는 이미지 데이터를 캡처할 수 있다. 일단 인공 현실 시스템(10)이 핀칭 구성을 형성하기 위해 이들 2개의 디지트들의 모션을 포함하는 제스처를 검출하면, 인공 현실 시스템(10)은 특정 시간 양 동안 이미지 데이터를 모니터링하고 핀칭 구성이 특정 시간 양 내에서 이들 2개의 디지트들(f)에 의해 형성되는 별개 횟수를 결정할 수 있다. 예를 들어, 핀칭 구성을 형성하고, 핀칭 구성을 해제하고, 특정 시간 양 내에 다시 핀칭 구성을 형성하는 2개의 디지트들은 핀칭 구성의 2개의 별개의 사례들을 구성할 것이다. 이러한 수의 별개의 사례들에 기반하여, 인공 현실 시스템(10)은 선택자 디지트로 핀칭 구성을 형성하는 특정 디지트에 할당된 입력 문자들 중 대응하는 하나의 선택을 프로세싱한다.
따라서, 본 개시내용의 기법들은 인공 현실 시스템에 의해 콘텐츠를 렌더링 및 디스플레이하는 컴퓨터-관련 분야에 대한 특정 기술 개선들을 제공한다. 예를 들어, 본원에 설명된 인공 현실 시스템들은 사용자에 의해 수행되는 직관적이지만, 별개의 제스처들의 검출에 기반하여 인공 현실 콘텐츠에 오버레이된 사용자 인터페이스 요소들을 생성 및 렌더링함으로써 인공 현실 애플리케이션의 사용자(110)와 같은 사용자에게 고품질 인공 현실 경험을 제공할 수 있다.
또한, 본원에 설명된 시스템들은 폐색 추적을 방지하도록 정의된 손 및 팔 움직임들에 기반하여 소정 제스처들을 검출하도록 구성될 수 있다. 폐색 추적은 사용자의 한 손이 다른 손과 적어도 부분적으로 오버랩하는 경우 발생할 수 있고, 이는 각각의 손의 개별 디지트들(손가락들 및 엄지)과, 각각의 손의 포지션 및 배향을 정확하게 추적하기 어렵게 한다. 그러므로, 본원에 설명된 시스템들은 한 손 또는 한 팔 기반 제스처들을 주로 검출하도록 구성될 수 있다. 한 손 또는 한 팔 기반 제스처들의 사용은 큰-모터 및 미세-모터 스킬 제한들을 갖는 사용자들에게 향상된 접근성을 추가로 제공할 수 있다. 또한, 여기에 설명된 시스템들은 사용자의 손들이 서로 상호작용하거나 오버랩되지 않는 양손 또는 양팔 기반 제스처들을 검출하도록 구성될 수 있다.
또한, 본원에 설명된 시스템들은 사용자에게 자가-햅틱 피드백을 제공하는 제스처들을 검출하도록 구성될 수 있다. 예를 들어, 사용자의 각각의 손에 있는 엄지 및 하나 이상의 손가락들은 인공 현실 콘텐츠의 특정 사용자 인터페이스 요소와의 상호 작용을 나타내는 미리 정의된 제스처의 일부로서 물리적 세계에서 터치하거나 대략적으로 터치할 수 있다. 엄지와 사용자 손의 하나 이상의 손가락들 사이의 터치는 물리적 키보드의 버튼 또는 다른 물리적 입력 디바이스와 같은 물리적 사용자 입력 객체와 직접 상호작용할 때 사용자가 느끼는 감각의 시뮬레이션을 사용자에게 제공할 수 있다.
본원에 설명된 기법들을 활용함으로써, 인공 현실 시스템(10)은 자가-햅틱 피드백을 사용하거나, 핀칭 구성을 형성할 때 서로 접촉하는 사용자 손(132)의 디지트들의 느낌을 사용하는 자연스러운 입력 시스템을 제공하여, 입력 문자 선택이 이루어졌을 때를 표시할 수 있다. 또한, 특정 핀칭 포메이션을 형성하는 모션을 포함하는 제스처를 검출함으로써, 인공 현실 시스템(10)은 입력 문자가 사용자 입력으로서 수신되는지를 결정하기 위해 이미지 데이터를 분석할 때를 효과적으로 결정할 수 있다. 본원에 설명된 기법들은 사용자 입력을 수신하기 위해 사용자(110)가 추가 하드웨어 부분들을 홀딩할 필요를 감소시키거나 심지어 제거할 수 있으므로, 시스템(10)의 전체 효율성을 증가시키고, 인공 현실 시스템(10)의 개별 구성요소들 간의 통신들의 프로세싱을 감소시키고, 모든 수준들의 신체 능력을 가진 사용자들을 위한 인공 현실 시스템(10)의 접근성을 증가시킨다.
도 1b는 본 개시내용의 기법들에 따른 다른 예시적인 인공 현실 시스템(20)을 묘사하는 예시이다. 도 1a의 인공 현실 시스템(10)과 유사하게, 일부 예들에서, 도 1b의 인공 현실 시스템(20)은 인공 현실 환경 내에서 사용자 상호작용 및 조작을 위해 특정하게 설계된 사용자 인터페이스 요소들을 제시 및 제어할 수 있다. 인공 현실 시스템(20)은 또한, 다양한 예들에서, 사용자의 하나 이상의 특정 제스처들의 검출에 응답하여 소정의 그래픽 사용자 인터페이스 요소들을 생성하여 사용자에게 렌더링할 수 있다.
도 1b의 예에서, 인공 현실 시스템(20)은 외부 카메라들(102A 및 102B)(집합적으로 "외부 카메라들(102)"), HMD들(112A-112C)(집합적으로 "HMD들(112)"), 제어기들(114A 및 114B)(집합적으로 "제어기들(114)"), 콘솔(106), 및 센서들(90)을 포함한다. 도 1b에 도시된 바와 같이, 인공 현실 시스템(20)은 콘솔(106) 및/또는 HMD들(112)에서 실행되는 인공 현실 애플리케이션이 각 사용자에 대한 대응하는 참조 프레임의 현재 보기 관점에 기반하여 사용자들(110A-110C)(집합적으로 "사용자들(110)") 각각에게 인공 현실 콘텐츠를 제시하는 다중-사용자 환경을 나타낸다. 즉, 이 예에서, 인공 현실 애플리케이션은 HMD들(112) 각각에 대한 참조 프레임에 대한 포즈 정보를 추적 및 계산함으로써 인공 콘텐츠를 구성한다. 인공 현실 시스템(20)은 카메라들(102), HMD들(112), 및 제어기들(114)로부터 수신된 데이터를 사용하여 HMD들(112)의 대응하는 참조 프레임에 대한 업데이트된 포즈 정보를 계산하는 데 사용하기 위해 사용자들(110)에 의한 모션 및/또는 사용자들(110) 및 객체들(108)에 관련한 추적 정보와 같은 현실-세계 물리적 3D 환경 내의 3D 정보를 캡처한다. 일 예로서, 인공 현실 애플리케이션은 HMD(112C)에 대해 결정된 현재 보기 관점에 기반하여, 가상 객체들(128A-128C)(집합적으로 "가상 객체들(128)")를 갖는 인공 현실 콘텐츠(122)를 현실 세계 객체들(108A-108C)(집합적으로, "현실 세계 객체들(108)") 위에 공간적으로 오버레이되는 것으로 렌더링할 수 있다. 또한, HMD(112C)의 관점에서, 인공 현실 시스템(20)은 각각 사용자들(110A, 110B)에 대한 추정된 포지션들에 기반하여 아바타들(120A, 120B)을 렌더링한다.
HMD들(112) 각각은 인공 현실 시스템(20) 내에서 동시에 동작한다. 도 1b의 예에서, 사용자들(110) 각각은 인공 현실 애플리케이션의 "플레이어" 또는 "참가자"일 수 있고, 사용자들(110) 중 임의의 사용자는 인공 현실 애플리케이션의 "관람자" 또는 "관찰자"일 수 있다. HMD(112C)는 각각 사용자(110C)의 손(132) 및/또는 팔(124)을 추적하고 시야(130) 내에 있는 손(132)의 부분을 인공 현실 콘텐츠(122) 내의 가상 손(136)으로 렌더링함으로써 도 1a의 HMD(112)와 실질적으로 유사하게 동작할 수 있다. HMD(112B)는 사용자(110B)에 의해 홀딩되는 제어기들(114A)로부터 사용자 입력들을 수신할 수 있다. HMD(112A)는 또한 도 1a의 HMD(112)와 실질적으로 유사하게 동작하고 사용자(110A)의 손(132A, 132B)의 움직임들을 추적함으로써 사용자 입력들을 수신할 수 있다. HMD(112B)는 사용자(110B)에 의해 홀딩되는 제어기들(114)로부터 사용자 입력들을 수신할 수 있다. 제어기들(114)은 블루투스와 같은 단거리 무선 통신의 근거리 통신을 사용하거나, 유선 통신 링크들을 사용하거나, 또는 다른 유형의 통신 링크들을 사용하여 HMD(112B)와 통신할 수 있다.
도 1a 관련하여 위에서 논의된 예들과 유사한 방식으로, 인공 현실 시스템(20)의 콘솔(106) 및/또는 HMD(112A)는 사용자(110A)에게 디스플레이된 인공 현실 콘텐츠에 오버레이될 수 있는 사용자 인터페이스 요소들을 생성하고 렌더링한다. 또한, 콘솔(106) 및/또는 HMD(112A)는 사용자(110A)에 의해 수행된 직관적이면서도 별개의 제스처들의 포즈 추적을 통한 검출에 기반하여 사용자 인터페이스 요소들의 생성 및 동적 디스플레이를 트리거할 수 있다. 예를 들어, 인공 현실 시스템(20)은 사용자(110A)에 의한 하나 이상의 특정 제스처들, 이를테면 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 위치들 및/또는 배향들을 검출하는 것에 응답하여 하나 이상의 그래픽 사용자 인터페이스 요소들을 동적으로 제시할 수 있다. 도 1b에 도시된 바와 같이, HMD(112A)에 통합된 카메라를 통해 캡처된 이미지 데이터에 추가하여, 외부 카메라들(102)로부터의 입력 데이터는 손의 디지트들(손가락들, 엄지)의 개별 및/또는 조합들의 움직임들을 포함하여, 사용자(110A)의 손들(132A 및 132B) 같은 사용자들(110)의 손들과 팔들의 특정 모션들, 구성들, 위치들, 및/또는 배향들을 추적하고 검출하는 데 사용될 수 있다.
이러한 방식으로, 본원에 설명된 기법들은 손(132A 또는 132B)의 핀칭 구성을 검출함으로써 양손 텍스트 입력을 제공할 수 있다. 예를 들어, 인공 현실 시스템(20)이 HMD(112A) 및 사용자(110A)를 위한 인공 현실 콘텐츠의 가상 키보드를 출력할 때, HMD(112A) 또는 카메라들(102)은 본원에 설명된 바와 같이 핀칭 구성을 형성하기 위해 손(132A) 또는 손(132B)의 디지트들의 모션을 포함하는 제스처를 검출할 수 있다. 일부 예들에서, 단일 가상 키보드를 출력하는 것보다, 인공 현실 시스템(20)은 분할 가상 키보드를 출력할 수 있고, 분할 키보드의 절반은 손(132A)의 가상 표현의 일반적 근접도로 출력되고 분할 키보드의 제2 절반은 손(132B)의 일반적 근접도로 출력된다. 이러한 방식으로, 인공 현실 시스템(20)은 단일 키보드 디자인과 대조적으로 인공 현실 콘텐츠에서 인체 공학적이고 자연스러운 분할 키보드 레이아웃을 제공할 수 있다.
유사하게, 인공 현실 시스템(20)이 이미지 데이터의 손들의 디지트들에 하나 이상의 입력 문자들을 할당하는 경우, 인공 현실 시스템(20)은 카메라들(102) 및 HMD(112A)에 의해 캡처된 이미지 데이터를 분석하여 손들(132A 및 132B)의 각각의 디지트들에 하나 이상의 입력 문자를 할당할 수 있다. 인공 현실 시스템은 각각의 손들(132A 및 132B)의 엄지와 같은 손들(132A 및 132B) 각각의 디지트들 중 하나에 입력 문자들을 할당하는 것을 억제할 수 있고, 대신 이러한 디지트들을 손들(132A 및 132B) 각각에 대한 선택자 디지트들로서 할당할 수 있다. 이어서, 인공 현실 시스템(20)은 카메라들(102) 또는 HMD(112A)에 의해 캡처된 이미지 데이터를 모니터링하여 핀칭 구성을 형성하는 손들(132A 또는 132B) 중 어느 하나의 디지트들의 모션을 포함하는 제스처를 형성하는 손들(132A 또는 132B) 중 하나를 검출할 수 있다. 이어서, 인공 현실 시스템(20)은 특정 시간 양 동안 이미지 데이터를 모니터링하여, 손(132A 또는 132B)의 이들 2개의 디지트들이 그 시간 양 내에서 얼마나 많은 별개 횟수의 핀칭 구성을 형성하는지를 검출할 수 있다. 이어서, 인공 현실 시스템(20)은 2개의 디지트들이 핀칭 구성을 형성한 별개 횟수에 기반하여 손(132A 또는 132B)의 특정 디지트에 대한 입력 문자들 중 하나 문자의 선택을 프로세싱할 수 있다.
도 2는 본 개시내용의 기법들에 따라 동작하도록 구성된 예시적인 HMD(112)를 묘사하는 예시이다. 도 2의 HMD(112)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 전면 강성체 및 HMD(112)를 사용자에게 고정하기 위한 밴드를 포함한다. 또한, HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된 내부-지향 전자 디스플레이(203)를 포함한다. 전자 디스플레이(203)는 액정 디스플레이들(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이, 발광 다이오드(LED) 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들, 음극선관(CRT) 디스플레이들, 전자-잉크, 또는 흑백, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이 같은 임의의 적합한 디스플레이 기술일 수 있다. 일부 예들에서, 전자 디스플레이는 사용자의 각각의 눈에 별도의 이미지들을 제공하기 위한 입체 디스플레이이다. 일부 예들에서, HMD(112)의 전면 강성체에 관련한 디스플레이(203)의 알려진 배향 및 포지션은 HMD(112) 및 사용자의 현재 보기 관점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 포지션 및 배향을 추적할 때, 로컬 원점으로 또한 지칭되는 참조 프레임으로 사용된다. 다른 예들에서, HMD(112)는 안경 같은 다른 착용가능 머리 장착 디스플레이들의 형태를 취할 수 있다.
도 2에 추가로 도시된 바와 같이, 이 예에서 HMD(112)는 HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계들(또한 관성 측정 유닛들 또는 "IMU들"로 지칭됨), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서들, 다양한 객체들로부터 HMD(112)의 거리들을 나타내는 데이터를 출력하는 레이더 또는 소나 센서들, 또는 물리적 환경 내에서 HMD(112) 또는 다른 객체들의 위치 또는 배향의 표시들을 제공하는 다른 센서들과 같은 하나 이상의 모션 센서들(206)을 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된 비디오 카메라들, 레이저 스캐너들, 도플러 레이더 스캐너들, 깊이 스캐너들 등과 같은 통합 이미지 캡처 디바이스들(138A 및 138B)(집합적으로, "이미지 캡처 디바이스들(138)")을 포함할 수 있다. 보다 구체적으로, 이미지 캡처 디바이스들(138)은 일반적으로 HMD(112)의 보기 각도에 대응하는 이미지 캡처 디바이스들(138)의 시야(130A, 130B) 내에 있는 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. HMD(112)는 내부 전원 및 감지 데이터를 프로세싱하고 인공-현실 콘텐츠를 디스플레이(203)에 제시하기 위한 프로그래밍가능 동작들을 실행하기 위한 운영 환경을 제공하기 위해 하나 이상의 프로세서들, 메모리 및 하드웨어를 갖는 하나 이상의 인쇄-회로 기판들을 포함할 수 있는 내부 제어 유닛(210)을 포함한다.
일 예에서, 본원에 설명된 기법들에 따라, 제어 유닛(210)은 감지된 데이터에 기반하여, 사용자에 의해 수행된 특정 제스처 또는 제스처들의 조합을 식별하고 이에 응답하여 동작을 수행하도록 구성된다. 예를 들어, 하나의 식별된 제스처에 응답하여, 제어 유닛(210)은 전자 디스플레이(203) 상에 디스플레이를 위해 인공 현실 콘텐츠에 오버레이된 특정 사용자 인터페이스 요소를 생성하고 렌더링할 수 있다. 본원에 설명된 바와 같이, 본 개시내용의 기법들에 따라, 제어 유닛(210)은 손(132), 손가락들, 엄지, 팔 또는 사용자의 다른 부분을 식별하고, 사용자에 의해 수행된 미리 정의된 제스처들을 식별하기 위해 식별된 부분의 움직임들을 추적하기 위해 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터 내에서 객체 인식을 수행할 수 있다. 미리 정의된 제스처를 식별하는 것에 응답하여, 제어 유닛(210)은 사용자 인터페이스 요소와 연관된 옵션 세트로부터 옵션 선택, 제스처를 입력(예를 들어, 문자들)으로 번역, 애플리케이션 개시 또는 다른 방식으로 콘텐츠 디스플레이 등 같은 일부 동작을 취한다. 일부 예들에서, 제어 유닛(210)은 사용자 인터페이스를 드러내기 위한 "트리거"로서 특정된 미리 정의된 제스처를 검출하는 것에 응답하여 메뉴와 같은 사용자 인터페이스 요소를 동적으로 생성하고 제시한다. 다른 예들에서, 제어 유닛(210)은 객체 인식, 모션 추적 및 제스처 검출, 또는 이들의 임의의 부분을 수행할 수 있는 콘솔(106)과 같은 외부 디바이스로부터의 지시에 응답하여 이러한 기능들을 수행한다.
본원에 설명된 기법들에 따르면, 디스플레이(203)에 디스플레이된 인공 현실 콘텐츠가 하나 이상의 가상 키들로 구성된 가상 키보드를 포함할 때, 이미지 캡처 디바이스들(138)은 핀칭 구성을 형성하는 사용자 손(132)의 디지트들의 움직임을 포함하는 이미지 데이터를 캡처할 수 있다. 이 이미지 데이터로부터, 제어 유닛(210)은 핀칭 구성을 형성하기 위해 손(132)의 디지트들의 모션을 포함하는 제스처를 검출할 수 있다. 제어 유닛(210)이 검출된 핀칭 구성을 형성하는 디지트들의 모션의 제스처를 검출하면, 핀칭 구성에 포함된 2개의 디지트들에 대한 접촉점이 식별되고 제어 유닛(210)은 인공 현실 콘텐츠에 의해 구성된 가상 환경 내의 대응 위치를 식별한다. 핀칭 구성을 위한 접촉점이 가상 키보드에서 가상 키의 위치에 대응하는 경우, 제어 유닛(210)은 핀칭 구성을 형성하는 디지트들의 모션, 또는 핀칭 구성을 해제하는 디지트들의 모션을 인식하여, 접촉점의 위치에 대응하는 위치에서 가상 키를 선택한다. 이 선택에 응답하여, 제어 유닛(210)은 가상 키의 선택에 대응하는 동작, 이를테면 텍스트 문자 또는 다른 ASCII 문자를 텍스트 입력 필드에 입력하거나 컴퓨팅 시스템의 키보드의 키들에 할당될 수 있는 임의의 다른 기능을 수행할 수 있다.
본원에 설명된 기법들의 다른 예들에서, 이미지 캡처 디바이스들(138), 또는 다른 외부 카메라들은 사용자 손(132)을 포함하는 이미지 데이터를 캡처할 수 있다. 이 이미지 데이터를 사용하여, 제어 유닛(210)은 사용자 손(132)의 다양한 디지트들 사이를 구별할 수 있다. 이어서, 인공 현실 시스템(210)은 이미지 데이터에서 캡처된 손(132)의 디지트들 중 하나 이상에 하나 이상의 입력 문자들을 할당할 수 있다. 제어 유닛(210)은 일부 예들에서, 손(132)의 엄지와 같은 손(132)의 하나의 디지트를 선택 디지트로서 할당하는 대신, 입력 문자들이 이 디지트에 할당되지 않고, 이미지 데이터에 이 디지트를 남겨둘 수 있다. 이어서, 이미지 캡처 디바이스(138)는 제어 유닛(210)이 핀칭 구성을 형성하기 위해 하나 이상의 입력 문자들을 할당한 사용자 손(132)의 제2 디지트 및 선택자 디지트의 모션을 포함하는 이미지 데이터를 캡처할 수 있다. 제어 유닛(210)이 이미지 데이터로부터 이 모션을 검출하면, 제어 유닛(210)은 특정 시간 양 동안 이미지 데이터를 모니터링하고 2개의 디지트들의 별개의 사례들이 얼마나 많이 특정 시간 양 동안 핀칭 구성을 형성하고 해제하기 위해 움직이는지를 검출할 수 있다. 예를 들어, 제어 유닛(210)은 특정 시간 양 내에서 핀칭 구성을 형성하기 위한 2개의 디지트들 모션, 핀칭 구성을 해제하기 위한 모션, 다시 핀칭 구성을 형성하기 위한 모션, 핀칭 구성을 해제하기 위한 모션 및 핀칭 구성을 또 다시 형성하기 위한 모션이 핀칭 구성의 3개의 별개의 사례들을 구성하는 것을 검출할 수 있다. 이러한 별개의 사례들의 수에 기반하여, 제어 유닛(210)은 선택자 디지트로 핀칭 구성을 형성하는 특정 디지트에 할당된 입력 문자들 중 대응하는 하나를 선택한다. 제어 유닛(210)은 핀칭 구성 형성들의 조합을 위한 입력으로서 이 선택을 사용한다.
도 3은 도 1a, 도 1b의 인공 현실 시스템(10, 20)의 콘솔(106) 및 머리 장착 디스플레이(112)의 예시적인 구현들을 도시하는 블록도이다. 도 3의 예에서, 콘솔(106)은 HMD(112) 및/또는 외부 센서들로부터 수신된 모션 데이터 및 이미지 데이터에 따라 HMD(112)에 대한 포즈 추적, 제스처 검출, 및 사용자 인터페이스 생성 및 렌더링을 수행한다.
이 예에서, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 애플리케이션 엔진(340)을 포함하는 하나 이상의 소프트웨어 구성요소들(307)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 도 2의 예에 관련하여 논의된 바와 같이, 프로세서들(302)은 전자 디스플레이(203), 모션 센서들(206) 및 이미지 캡처 디바이스들(138)에 결합된다. 일부 예들에서, 프로세서들(302) 및 메모리(304)는 별개의 이산 구성요소들일 수 있다. 다른 예들에서, 메모리(304)는 단일 집적 회로 내에서 프로세서들(302)과 함께 배치된 온-칩 메모리일 수 있다.
일반적으로, 콘솔(106)은 HMD(112)에 대한 제스처 검출 및 사용자 인터페이스 생성을 수행하기 위해 카메라들(102)(도 1b) 및/또는 HMD(112)로부터 수신된 추적 정보 및 이미지를 프로세싱하는 컴퓨팅 디바이스이다. 일부 예들에서, 콘솔(106)은 워크스테이션, 데스크톱 컴퓨터, 랩톱, 게임 시스템과 같은 단일 컴퓨팅 디바이스이다. 일부 예들에서, 프로세서들(312) 및/또는 메모리(314)와 같은 콘솔(106)의 적어도 일부는 컴퓨팅 시스템들, 서버들, 및 컴퓨팅 디바이스들 사이에서 데이터를 송신하기 위해, 클라우드 컴퓨팅 시스템, 데이터 센터에 걸쳐, 또는 인터넷, 다른 공용 또는 사설 통신 네트워크, 예를 들어, 광대역, 셀룰러, Wi-Fi, 및/또는 다른 유형들의 통신 네트워크들 같은 네트워크에 걸쳐 분산될 수 있다.
도 3의 예에서, 콘솔(106)은 하나 이상의 프로세서들(312) 및 메모리(314)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(316)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(316)는 하나 이상의 소프트웨어 구성요소들(317)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 프로세서들(312)은 키보드, 게임 제어기들, 디스플레이 디바이스들, 이미지 캡처 디바이스들, HMD들 등과 같은 외부 디바이스들과 통신하기 위한 하나 이상의 I/O 인터페이스들을 제공하는 I/O 인터페이스들(315)에 결합된다. 또한, 하나 이상의 I/O 인터페이스들(315)은 네트워크(104)와 같은 네트워크와 통신하기 위한 하나 이상의 유선 또는 무선 네트워크 인터페이스 제어기(NIC)들을 포함할 수 있다. 프로세서들(302, 312) 각각은 멀티-코어 프로세서, 제어기, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드-프로그램 가능 게이트 어레이(FPGA), 또는 동등한 이산 또는 집적 논리 회로 중 임의의 하나 이상을 포함할 수 있다. 메모리(304, 314)는 RAM(random-access memory), ROM(read-only memory), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electronically erasable programmable read-only memory), 및 플래시 메모리 같은 데이터 및 실행가능 소프트웨어 명령들을 저장하기 위한 임의의 형태의 메모리를 포함할 수 있다.
콘솔(106)의 소프트웨어 애플리케이션들(317)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(317)은 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328)을 포함한다.
일반적으로, 애플리케이션 엔진(320)은 인공 현실 애플리케이션, 예를 들어 원격회의 애플리케이션, 게이밍 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션들 등을 제공하고 제시하는 기능을 포함한다. 애플리케이션 엔진(320)은 예를 들어 콘솔(106) 상에서 인공 현실 애플리케이션을 구현하기 위한 하나 이상의 소프트웨어 패키지들, 소프트웨어 라이브러리들, 하드웨어 드라이버들, 및/또는 애플리케이션 프로그램 인터페이스(API)들을 포함할 수 있다. 애플리케이션 엔진(320)에 의한 제어에 응답하여, 렌더링 엔진(322)은 HMD(112)의 애플리케이션 엔진(340)에 의해 사용자에게 디스플레이하기 위한 3D 인공 현실 콘텐츠를 생성한다.
애플리케이션 엔진(320) 및 렌더링 엔진(322)은 포즈 추적기(326)에 의해 결정된 바와 같이, 참조 프레임, 일반적으로 HMD(112)의 보기 관점에 대한 현재 포즈 정보에 따라 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠를 구성한다. 현재 보기 관점에 기반하여, 렌더링 엔진(322)은 일부 경우들에서 사용자(110)의 현실-세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다. 이 프로세스 동안, 포즈 추적기(326)는 사용자(110)에 의한 모션, 및/또는 사용자(110)에 관련한 특징 추적 정보와 같은 현실 세계 환경 내의 3D 정보를 캡처하기 위해 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터에 대해 동작할 수 있고, 일부 예들에서는 외부 카메라들 같은 임의의 외부 센서들(90)(도 1a, 도 1b)로부터의 데이터에 대해 동작할 수 있다. 감지된 데이터에 기반하여, 포즈 추적기(326)는 HMD(112)의 참조 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라, 하나 이상의 I/O 인터페이스들(315)을 통해 사용자(110)에게 디스플레이하기 위한 HMD(112)로 통신을 위한 인공 현실 콘텐츠를 구성한다.
또한, 감지된 데이터에 기반하여, 제스처 검출기(324)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 위치들, 및/또는 배향을 분석한다. 보다 구체적으로, 제스처 검출기(324)는 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 및 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석하여 사용자(110)의 손 및/또는 팔을 식별하고 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련하여 손 및/또는 팔의 움직임들을 추적한다. 제스처 검출기(324)는 캡처된 이미지 데이터에 기반하여 손, 디지트들, 및/또는 팔의 위치 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 제스처 또는 제스처들의 조합을 검출하기 위해 객체들의 모션 벡터들을 제스처 라이브러리(330)의 하나 이상의 엔트리들에 비교할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 제스처를, 사용자의 손, 특정 손가락들, 엄지들, 손목들 및/또는 팔들의 상대 경로 또는 공간 병진들 및 회전들과 같은 모션의 시리즈 또는 패턴으로서 각각 정의할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 각각 특정 시간에 또는 일정 기간에 걸쳐 사용자의 손 및/또는 팔들(또는 그 일부들)의 구성, 위치 및/또는 배향으로 제스처를 정의할 수 있다. 제스처들 유형의 다른 예들이 가능하다. 또한, 제스처 라이브러리(330)의 엔트리들 각각은 정의된 제스처 또는 일련의 제스처에 대해, 개인의 실시간 시선 추적에 의해 결정될 수 있는 바와 같은 HMD(112)의 현재 시야에 대한 공간적 관계, 사용자에 의해 현재 관찰하고 있는 특정 영역에 대한 공간적 관계들, 디스플레이되는 인공 콘텐츠의 유형들, 실행되는 애플리케이션들의 유형들 등 같은 동작을 트리거하기 위해 제스처 또는 일련의 제스처에 대해 요구된 조건들을 특정할 수 있다.
제스처 라이브러리(330)의 엔트리들의 각각은 정의된 제스처들 또는 제스처들의 조합들/시리즈들 각각에 대해, 소프트웨어 애플리케이션들(317)에 의해 수행될 원하는 응답 또는 동작을 추가로 특정할 수 있다. 예를 들어, 본 개시내용의 기법들에 따르면, 소정의 특수 제스처들은, 미리 정의된 제스처 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(328)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록 미리 정의될 수 있어, 사용자(110)가 인공 현실 콘텐츠와 상호작용하는 동안에도 HMD(112) 및/또는 콘솔(106)을 구성하기 위한 사용자 인터페이스를 쉽게 호출하게 한다. 다른 예들에서, 소정 제스처들은 입력 제공, 객체들 선택, 애플리케이션 개시 등과 같은 다른 동작들과 연관될 수 있다.
본원에 설명된 기법에 따르면, 이미지 캡처 디바이스들(138)은 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성될 수 있다. HMD(112)는 인공 현실 콘텐츠를 출력하도록 구성될 수 있다. 일 예에서, 렌더링 엔진(322)은 HMD(112)에 의해 출력된 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링하도록 구성될 수 있다. 일부 사례들에서, 키보드는 QWERTY 키보드의 가상 표현일 수 있지만, 다른 키보드들이 또한 본원에 설명된 기법들에 따라 렌더링될 수 있다. 일부 사례들에서, QWERTY 키보드의 가상 표현은 인접한 QWERTY 키보드의 가상 표현일 수 있다. 다른 사례들에서, QWERTY 키보드의 가상 표현은 분할 QWERTY 키보드의 2개의 절반들의 가상 표현들일 수 있고, 분할 QWERTY 키보드의 제1 절반은 제1 손과 연관되고 분할 QWERTY 키보드의 제2 절반은 제2 손과 연관된다.
제스처 검출기(324)는 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터, 제스처 라이브러리(330)의 엔트리와 매칭하는 제스처를 식별하도록 구성될 수 있다. 예를 들어, 제스처 검출기(324)에 의해 검출된 특정 제스처는 핀칭 구성을 형성하기 위한 손의 제1 디지트 및 손의 제2 디지트의 모션일 수 있다. 제스처 검출기(324)가 그러한 제스처를 검출할 때, 제스처 검출기(324)는 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점을 식별하고 접촉점의 위치가 가상 키보드의 임의의 가상 키의 위치에 대응하는지 여부를 결정할 수 있다. 예로서, 제스처 검출기(324)는 접촉점이 가상 키보드의 복수의 가상 키들 중 제1 가상 키에 대응하는 위치에 있다고 결정할 수 있다. 이 예에서, 사용자 인터페이스 엔진(328)은 검출된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱한다.
일부 사례들에서, 단순히 핀칭 구성을 형성하는 손의 디지트들의 모션의 제스처를 검출하는 것보다, 제스처 검출기(324)는 핀칭 구성을 형성하는 디지트들의 모션 후에, 제스처가 완료되었다는 결정 전에 핀칭 형성을 해제하는 디지트들의 추가 모션이 발생한다는 것을 추가로 결정할 수 있다. 그러한 사례들에서, 제스처 검출기(324)는 핀칭 구성이 해제되기 직전에 접촉점의 위치를 접촉점의 위치로서 결정할 수 있고, 이는 가상 키를 선택하기 전에 핀칭 구성에 있으면서 사용자가 가상 키보드 주위에서 자신의 손을 이동하게 할 것이다. 일부 추가 사례들에서, 핀치 구성 형성 및 핀칭 구성의 해제를 요구하는 것 외에, 제스처 검출기(324)는 키보드에서 우연한 입력들을 감소시키기 위해 해제되기 전에 임계 시간 양 동안 핀칭 구성이 홀딩되는 것의 검출을 요구할 수 있다.
일부 사례들에서, 제스처를 식별하기 전에, 제스처 검출기(324)는 이미지 캡처 디바이스들(138) 또는 외부 카메라들에 의해 캡처된 이미지 데이터로부터, 가상 키보드에 관련한 손의 제1 디지트의 위치뿐만 아니라, 가상 키보드에 관련한 손의 제2 디지트의 위치를 식별할 수 있다. 이어서, 제스처 검출기(324)는 손의 제1 디지트의 위치로부터 손의 제2 디지트의 위치까지의 선택 벡터를 계산하고 선택 벡터와 가상 키보드의 교차점을 결정할 수 있다. 이 교차점은 제1 디지트와 제2 디지트가 핀칭 구성을 형성하는 경우 예상되는 접촉점에 대응한다. 렌더링 엔진(322)은 선택 벡터 자체를 나타내는 라인을 렌더링하고, 교차점을 나타내는 가상 키보드 상의 형상, 예를 들어, 원 또는 도트를 렌더링하고, 교차점이 특정 가상 키와 오버랩하는 경우 가상 키보드의 나머지 가상 키들과 상이한 컬러 방식을 갖거나 상이한 패턴으로 채워지게 가상 키보드의 특정 가상 키를 렌더링하고, 위의 임의의 조합에 의한 것, 또는 선택 벡터 및/또는 교차점의 그래픽 표시를 제공할 수 있는 임의의 다른 렌더링에 의해 선택 벡터 및/또는 교차점의 그래픽 표시를 렌더링할 수 있다. 제스처를 식별할 때, 제스처 검출기(324)는 핀칭 구성을 위한 접촉점을 가상 키보드의 선택 벡터와 제1 가상 키의 교차점으로 검출할 수 있다.
접촉점의 위치가 제1 가상 키에 대응한다고 제스처 검출기(324)가 결정한 것에 응답하여, 사용자 인터페이스 엔진(328)은 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱하도록 구성될 수 있다.
일부 예들에서, 제스처 검출기(324)는 한 손 입력들에 더하여 양손 입력들을 식별할 수 있어서, 콘솔(106)이 가상 키보드의 다수의 가상 키들의 복합 입력들을 검출할 수 있게 한다. 그러한 사례들에서, 제1 손의 제1 디지트와 제2 디지트가 핀칭 구성에 있는 동안, 제스처 검출기(324)는 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터 제2 제스처를 식별할 수 있다. 제2 제스처는 제2 핀칭 구성을 형성하기 위한 제2 손의 제1 디지트 및 제2 손의 제2 디지트의 제2 모션을 포함할 수 있다. 제2 핀칭 구성에서, 제스처 검출기(324)는 핀칭 구성에 있는 동안 제2 손의 제1 디지트와 제2 손의 제2 디지트 사이의 접촉점을 가상 키보드의 복수의 제2 가상 키들의 제2 가상 위치에 대응하는 것으로 식별할 수 있다. 이 제2 제스처가 검출되면, 사용자 인터페이스 엔진(328)은 제1 제스처 및 제2 제스처의 동시 식별에 응답하여 제1 가상 키 및 제2 가상 키의 조합된 선택을 수신할 수 있다. 예를 들어, 제1 가상 키가 가상 키보드의 "SHIFT" 키에 대응하고, 제2 가상 키가 가상 키보드의 "p" 키에 대응하는 경우, 사용자 인터페이스 엔진(328)은 대문자 'P' 문자를 조합된 선택의 출력으로 수신할 수 있다.
사용자 인터페이스 엔진(328)이 사용자 입력을 수신할 때, 그것이 제1 가상 키의 단일 입력이든 또는 제1 및 제2 가상 키들의 조합된 선택이든, 렌더링 엔진(322)은 식별된 제스처(들)에 응답하여 사용자 입력의 표시를 렌더링할 수 있다. 예를 들어, 선택된 텍스트 필드의 일부로서, 렌더링 엔진(322)은 렌더링할 수 있고, HMD(112)는 제1 가상 키에 대응하는 문자를 전자 디스플레이(203) 상에 디스플레이를 위해 출력할 수 있다.
본 개시내용의 기법들의 다른 예로서, 제스처 검출기(324)는 이미지 데이터로부터 제스처 라이브러리(330)의 엔트리에 대응하는 제스처를 식별할 수 있다. 이 예에서, 제스처 검출기(324)는 손의 제1 디지트 및 손의 제2 디지트의 모션으로서 제스처를 식별하여 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성할 수 있다.
사용자 인터페이스 엔진(328)은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당할 수 있다. 예를 들어, 사용자 인터페이스 엔진(328)은 이미지 캡처 디바이스(138) 또는 외부 카메라들에 의해 캡처된 이미지 데이터로부터 이미지 데이터의 손에 대한 다수의 디지트들을 식별할 수 있다. 사용자 인터페이스 엔진(328)은 하나 이상의 입력 문자들을 선택자 디지트로 지정되는 손의 한 디지트(예를 들어, 손의 엄지)를 제외한 모든 디지트와 같은 손의 디지트들의 일부 서브세트에 할당할 수 있다. 하나 이상의 입력 문자들은 글자들, 숫자들, 심볼들, 다른 특수 문자들(예를 들어, 공백 문자들 또는 백스페이스 문자들), 또는 "NULL" 문자 중 임의의 것일 수 있다. 이 할당 방식에서, 제스처 검출기(324)가 선택자 디지트와 손의 주어진 디지트 사이의 별개의 핀칭 구성을 검출하는 횟수들은 주어진 디지트에 할당된 복수의 입력 문자들 중 어느 입력 문자가 사용자에 의해 선택되는지에 대응할 수 있다. 일부 사례들에서, 각각의 디지트에 할당된 입력 문자들은 사용자 인터페이스 엔진(328)이 입력 문자들을 할당하는 각각의 디지트에 대한 별개의 입력 문자들 세트일 수 있다. 일부 사례들에서, 입력 문자들이 할당된 각각의 디지트에 또한 "NULL" 문자가 할당될 수도 있으므로, 원래 선택이 오류인 경우 사용자가 주어진 디지트에 할당된 입력 문자들을 "NULL" 문자로 순환시키게 할 수 있다. 사용자 인터페이스 엔진(328)은 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱할 수 있다.
일부 예들에서, 사용자 인터페이스 엔진(328)은 손의 제2 디지트에 할당된 입력 문자들의 별개의 세트의 하나 이상의 입력 문자들 각각을 별개의 세트의 카디널리티(cardinality) 이하인 선택 번호에 매핑할 수 있다.
이어서, 사용자 인터페이스 엔진(328)은 손의 제1 디지트와 손의 제2 디지트가 식별된 제스처에 대한 임계 시간 양 내에서 핀칭 구성을 형성하는 특정 횟수와 동일한 제1 입력 문자에 매핑된 선택 번호에 기반하여 제1 입력 문자의 선택을 결정할 수 있다. 즉, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당되면, 별개의 세트의 카디널리티는 3과 같을 수 있다. 이와 같이, 문자 'a'는 숫자 1에 매핑될 수 있고, 문자 'b'는 숫자 2에 매핑될 수 있고, 문자 'c'는 숫자 3에 매핑될 수 있다. 제스처 검출기(324)가 식별된 제스처에서 3개의 별개의 핀칭 구성을 식별하는 경우, 사용자 인터페이스 엔진(328)은 원하는 입력 문자가 'c' 문자임을 결정할 수 있다.
다른 사례들에서, 사용자 인터페이스 엔진(328)은 별개 세트의 카디널리티에 의해 식별된 제스처에 대한 임계 시간 양 내에서 손의 제1 디지트와 손의 제2 디지트가 핀칭 구성을 형성하는 특정 횟수를 나눔으로써 나머지가 있는 몫을 계산할 수 있다. 이어서, 사용자 인터페이스 엔진(328)은 나머지와 동일한 제1 입력 문자에 매핑된 선택 번호에 기반하여 제1 입력 문자의 선택을 결정할 수 있다. 즉, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당되면, 별개의 세트의 카디널리티는 3과 같을 수 있다. 이와 같이, 문자 'a'는 숫자 1에 매핑될 수 있고, 문자 'b'는 숫자 2에 매핑될 수 있고, 문자 'c'는 숫자 0에 매핑될 수 있다. 제스처 검출기(324)가 식별된 제스처에서 4개의 별개의 핀칭 구성들을 식별하는 경우, 사용자 인터페이스 엔진(328)은 별개의 세트(즉, 3)의 카디널리티로 나눈 별개의 핀칭 구성들(즉, 4)의 몫을 1의 나머지를 갖는 1로서 계산할 수 있다. 1의 나머지가 주어지고, 문자 'a'가 숫자 1에 매핑되면, 사용자 인터페이스 엔진(328)은 원하는 입력 문자가 'a' 문자임을 결정할 수 있다.
일부 사례들에서, 제스처 검출기(324)가 임계 시간 내에서 제스처를 검출하는 동안, 렌더링 엔진(322)은 손의 제1 디지트 및 손의 제2 디지트가 임계 시간 기간 내에서 핀칭 구성을 형성하는 현재 횟수에 기반하여 선택될 손의 제2 디지트에 할당된 하나 이상의 입력 문자들의 현재 입력 문자를 렌더링할 수 있다. 예를 들어, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당된 예에서, 제1 디지트와 제2 디지트에 의해 형성된 제1 핀칭 구성 시, 렌더링 엔진(322)은 HMD(112)의 디스플레이에 출력하기 위해 문자 'a'를 렌더링할 수 있다. 임계 시간 기간 내에서, 제스처 검출기(324)가 핀칭 구성의 해제에 다음 추가 핀칭 구성을 검출하면, 렌더링 엔진(322)은 임계 시간 양이 지날 때까지 문자 'a'의 렌더링을 문자 'b'의 렌더링으로 대체하는 등을 할 수 있다.
이미지 캡처 디바이스들(138)이 두 손들을 포함하는 이미지 데이터를 캡처할 때, 사용자 인터페이스 엔진(328)은 제2 손에 대한 할당 프로세스를 반복할 수 있다. 예를 들어, 사용자 인터페이스 엔진(328)은 제1 손의 다양한 디지트들에 할당된 입력 문자의 별개의 세트들에 추가하여 제2 손의 복수의 디지트들 중 하나 이상의 각각의 디지트에 입력 문자들의 별개의 세트를 할당할 수 있다. 이러한 방식으로, 각각의 손의 엄지는 선택자 디지트로 지정될 수 있고, 각각의 손의 나머지 디지트들은 시스템에 대한 텍스트 입력 옵션들을 제공한다.
일부 사례들에서, 어떤 디지트가 어떤 문자들을 생성할지 사용자가 인식하는 것을 돕기 위해, 렌더링 엔진(322)은 손의 복수의 디지트들 중 하나 이상에 할당된 하나 이상의 문자들을 인공 현실 콘텐츠의 손의 가상 표현에 대한 오버레이로서 렌더링할 수 있다. 렌더링에서 이러한 문자들의 순서는 사용자 인터페이스 엔진(328)이 특정 문자를 선택하기 위해 제스처 검출기(324)가 검출하여야 하는 별개의 핀칭 구성들의 수에 대응할 수 있다.
문자들만, 또는 문자들 및 숫자들의 조합이 하나 이상의 손들의 디지트들에 할당되는 예들에서, 추가 제스처들에 대한 엔트리들은 심볼들, 공백 문자들, 또는 백스페이스 문자들 같은 특수 문자들의 입력을 위해 제스처 라이브러리(330)에 포함될 수 있다. 이러한 예들에서, 제스처 검출기(324)는 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터, 두 손들의 박수 또는 한 손으로 주먹을 쥔 것과 같은 제2 제스처를 식별할 수 있다. 사용자 인터페이스 엔진(328)은 하나 이상의 특수 입력 문자들 제2 제스처에 할당하고, 식별된 제2 제스처에 응답하여 제2 제스처에 할당된 하나 이상의 특수 입력 문자들 중 제1 특수 입력 문자의 선택을 프로세싱할 수 있다.
일부 사례들에서, 임계 시간 양은 동적일 수 있다. 예를 들어, 제스처 검출기(324)는 제스처 검출기(324)가 가장 최근의 핀칭 구성을 식별한 후의 특정 시간 양으로서 임계 시간 양을 정의할 수 있다. 다른 사례들에서, 제스처 검출기(324)는 제스처 검출기(324)가 제1 디지트와 제2 디지트 사이의 핀칭 구성 이외의 새로운 제스처를 식별하면 임계 시간 양을 종료로서 정의할 수 있다. 예를 들어, 제스처 검출기(324)가 핀칭 구성을 형성하는 제1 디지트와 제2 디지트의 제1 제스처를 별개로 2번 검출하고, 이어서 제스처 감지기(324)가 제1 제스처에 대해 주어진 미리 정의된 임계 시간 양 내에서 핀칭을 형성하는 제1 디지트와 제3 디지트의 제2 제스처를 검출하면, 제스처 검출기(324)는 제1 제스처에 대한 입력 시간을 동적으로 차단할 수 있고 사용자 인터페이스 엔진(328)은 입력 문자로서 숫자 2에 매핑된 입력 문자를 선택할 수 있다. 제스처 검출기(324)는 제1 디지트 및 제3 디지트가 핀칭 구성을 형성하는 별개의 횟수를 결정하기 위해 제2 제스처에 대한 이미지 데이터 모니터링을 시작할 수 있다. 이러한 방식으로, 콘솔(106) 및 HMD(112)는 텍스트 입력 프로세스를 통해 더 빠르게 네비게이팅할 수 있다.
도 4는 본 개시내용의 기법들에 따른 도 1a, 도 1b의 인공 현실 시스템들의 HMD(112)에 의해 제스처 검출 및 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
이 예에서, 도 3과 유사하게, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 하나 이상의 소프트웨어 구성요소들(417)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 또한, 프로세서(들)(302)는 전자 디스플레이(203), 모션 센서들(206), 및 이미지 캡처 디바이스들(138)에 결합된다.
도 4의 예에서, 소프트웨어 구성요소들(417)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(417)은 애플리케이션 엔진(440), 렌더링 엔진(422), 제스처 검출기(424), 포즈 추적기(426), 및 사용자 인터페이스 엔진(428)을 포함한다. 다양한 예들에서, 소프트웨어 구성요소들(417)은 사용자(110)의 검출된 제스처들에 따라 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠 상에, 이의 일부로서 오버레이된 사용자 인터페이스 요소들을 구성하기 위해 도 3의 콘솔(106)의 대응 구성요소들(예를 들어, 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328))과 유사하게 동작한다. 일부 예들에서, 렌더링 엔진(422)은 사용자(110)의 현실-세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다.
도 3과 관련하여 설명된 예들과 유사하게, 감지된 데이터에 기반하여, 제스처 검출기(424)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 위치들, 및/또는 배향들을 분석한다. 본 개시내용의 기법들에 따라, 사용자 인터페이스 엔진(428)은 사용자(110)에게 디스플레이될 인공 현실 콘텐츠의 일부로서, 예를 들어 그 위에 오버레이되는 사용자 인터페이스 요소들을 생성하고/하거나 제스처 검출기(424)에 의해 검출된 사용자(110)의 하나 이상의 제스처들 또는 제스처들의 조합들에 기반하여 동작들을 수행한다. 보다 구체적으로, 제스처 검출기(424)는 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 또는 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석하여 사용자(110)의 손 및/또는 팔을 식별하고 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련하여 손 및/또는 팔의 움직임들을 추적한다. 제스처 검출기(424)는 캡처된 이미지 데이터에 기반하여 손, 디지트들, 및/또는 팔의 위치 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 제스처 또는 제스처들의 조합을 검출하기 위해 객체들의 모션 벡터들을 제스처 라이브러리(430)의 하나 이상의 엔트리들에 비교할 수 있다.
제스처 라이브러리(430)는 도 3의 제스처 라이브러리(330)와 유사하다. 제스처 라이브러리(430)의 엔트리들 각각은 정의된 제스처 또는 일련의 제스처들에 대해, 개인의 실시간 시선 추적에 의해 결정될 수 있는 바와 같은 HMD(112)의 현재 시야에 대한 공간적 관계, 사용자에 의해 현재 관찰하고 있는 특정 영역에 대한 공간적 관계들, 디스플레이되는 인공 콘텐츠의 유형들, 실행되는 애플리케이션들의 유형들 등 같은 동작을 트리거하기 위해 제스처에 대해 요구된 조건들을 특정할 수 있다.
매칭하는 제스처 또는 제스처들의 조합을 검출하는 것에 응답하여, HMD(112)는 제스처 라이브러리(430)의 매칭 엔트리에 할당된 응답 또는 동작을 수행한다. 예를 들어, 본 개시내용의 기법들에 따르면, 소정의 특수 제스처들은, 제스처 검출기(424)가 미리 정의된 제스처들 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(428)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록 미리 정의될 수 있어, 사용자(110)가 인공 현실 콘텐츠를 보는 동안 HMD(112)를 구성하기 위한 사용자 인터페이스를 쉽게 호출하게 한다. 다른 예들에서, 제스처 검출기(424)가 미리 정의된 제스처들 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(428) 및/또는 애플리케이션 엔진(440)은 입력을 수신하거나, 사용자 인터페이스 요소들과 연관된 값들 또는 파라미터들을 선택하거나, 애플리케이션들을 개시하거나, 구성가능한 설정들을 수정하거나, 메시지들을 전송하거나, 프로세스들을 시작 또는 정지시키거나 다른 동작들을 수행할 수 있다.
본원에 설명된 기법에 따르면, 이미지 캡처 디바이스들(138)은 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성될 수 있다. HMD(112)는 인공 현실 콘텐츠를 출력하도록 구성될 수 있다. 렌더링 엔진(422)은 HMD(112)에 의해 출력된 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링하도록 구성될 수 있다. 일부 사례들에서, 키보드는 QWERTY 키보드의 가상 표현일 수 있지만, 다른 키보드들이 또한 본원에 설명된 기법들에 따라 렌더링될 수 있다. 일부 사례들에서, QWERTY 키보드의 가상 표현은 인접한 QWERTY 키보드의 가상 표현일 수 있다. 다른 사례들에서, QWERTY 키보드의 가상 표현은 분할 QWERTY 키보드의 2개의 절반들의 가상 표현들일 수 있고, 분할 QWERTY 키보드의 제1 절반은 제1 손과 연관되고 분할 QWERTY 키보드의 제2 절반은 제2 손과 연관된다.
제스처 검출기(424)는 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터, 제스처 라이브러리(430)의 엔트리와 매칭하는 제스처를 식별하도록 구성될 수 있다. 예를 들어, 제스처 검출기(424)에 의해 검출된 특정 제스처는 핀칭 구성을 형성하기 위한 손의 제1 디지트 및 손의 제2 디지트의 모션일 수 있다. 제스처 검출기(424)가 이러한 핀칭 구성을 검출할 때, 제스처 검출기(424)는 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점의 위치를 지정하여, 접촉점의 위치가 가상 키보드의 임의의 가상 키들의 위치에 대응하는지 여부를 결정할 수 있다. 도 4의 예에서, 제스처 검출기(424)는 접촉점이 가상 키보드의 복수의 가상 키들 중 제1 가상 키에 대응하는 위치에 있다고 결정할 수 있다.
일부 사례들에서, 단순히 핀칭 구성을 형성하는 손의 디지트들의 모션의 제스처를 검출하는 것보다, 제스처 검출기(424)는 핀칭 구성을 형성하는 디지트들의 모션 후에, 제스처가 완료되었다는 결정 전에 핀칭 형성을 해제하는 디지트들의 추가 모션이 발생한다는 것을 추가로 결정할 수 있다. 그러한 사례들에서, 제스처 검출기(424)는 핀칭 구성이 해제되기 직전에 접촉점의 위치를 접촉점의 위치로서 결정할 수 있고, 이는 가상 키를 선택하기 전에 핀칭 구성에 있으면서 사용자가 가상 키보드 주위에서 자신의 손을 이동하게 할 것이다. 일부 추가 사례들에서, 핀치 구성 형성 및 핀칭 구성의 해제를 요구하는 것 외에, 제스처 검출기(424)는 키보드에서 우연한 입력들을 감소시키기 위해 해제되기 전에 임계 시간 양 동안 핀칭 구성이 홀딩되는 것의 검출을 요구할 수 있다.
일부 사례들에서, 제스처를 식별하기 전에, 제스처 검출기(424)는 이미지 캡처 디바이스들(138) 또는 외부 카메라들에 의해 캡처된 이미지 데이터로부터, 가상 키보드에 관련한 손의 제1 디지트의 위치뿐만 아니라, 가상 키보드에 관련한 손의 제2 디지트의 위치를 식별할 수 있다. 이어서, 제스처 검출기(424)는 손의 제1 디지트의 위치로부터 손의 제2 디지트의 위치까지의 선택 벡터를 계산하고 선택 벡터와 가상 키보드의 교차점을 결정할 수 있다. 이 교차점은 제1 디지트와 제2 디지트가 핀칭 구성을 형성하는 경우 예상되는 접촉점에 대응한다. 렌더링 엔진(422)은 선택 벡터 자체를 나타내는 라인을 렌더링하고, 교차점을 나타내는 가상 키보드 상의 형상을 렌더링하고, 교차점이 특정 가상 키와 오버랩하는 경우 가상 키보드의 나머지 가상 키들과 상이한 컬러 방식을 갖거나 상이한 패턴으로 채워지게 가상 키보드의 특정 가상 키를 렌더링하고, 위의 임의의 조합에 의한 것, 또는 선택 벡터 및/또는 교차점의 그래픽 표시를 제공할 수 있는 임의의 다른 렌더링에 의해 선택 벡터 및/또는 교차점의 그래픽 표시를 렌더링할 수 있다. 제스처를 식별할 때, 제스처 검출기(424)는 핀칭 구성을 위한 접촉점을 가상 키보드의 선택 벡터와 제1 가상 키의 교차점으로 검출할 수 있다.
접촉점의 위치가 제1 가상 키에 대응한다고 제스처 검출기(424)가 결정한 것에 응답하여, 사용자 인터페이스 엔진(428)은 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱하도록 구성될 수 있다.
일부 예들에서, 제스처 검출기(424)는 한 손 입력들에 더하여 양손 입력들을 식별할 수 있어서, HMD(112)가 가상 키보드의 다수의 가상 키들의 복합 입력들을 검출할 수 있게 한다. 그러한 사례들에서, 제1 디지트와 제2 디지트가 핀칭 구성에 있는 동안, 제스처 검출기(424)는 이미지 캡처 디바이스들(138) 또는 외부 카메라들에 의해 캡처된 이미지 데이터로부터 제2 제스처를 식별할 수 있다. 제2 제스처는 제2 핀칭 구성을 형성하기 위한 제2 손의 제1 디지트 및 제2 손의 제2 디지트의 제2 모션을 포함할 수 있다. 제2 핀칭 구성에서, 제스처 검출기(424)는 핀칭 구성에 있는 동안 제2 손의 제1 디지트와 제2 손의 제2 디지트 사이의 접촉점을 가상 키보드의 복수의 제2 가상 키들의 제2 가상 위치에 대응하는 것으로 식별할 수 있다. 이 제2 제스처가 검출되면, 사용자 인터페이스 엔진(428)은 제1 제스처 및 제2 제스처의 동시 식별에 응답하여 제1 가상 키 및 제2 가상 키의 조합된 선택을 수신할 수 있다. 예를 들어, 제1 가상 키가 가상 키보드의 "SHIFT" 키에 대응하고, 제2 가상 키가 가상 키보드의 "9" 키에 대응하는 경우, 사용자 인터페이스 엔진(428)은 '(' 문자를 조합된 선택의 출력으로 수신할 수 있다.
사용자 인터페이스 엔진(428)이 최종 입력을 수신할 때, 그것이 제1 가상 키의 단일 입력이든 또는 제1 및 제2 가상 키들의 조합된 선택이든, 렌더링 엔진(422)은 식별된 제스처에 응답하여 제1 가상 키의 선택의 표시를 렌더링할 수 있다. 예를 들어, 선택된 텍스트 필드의 일부로서, 렌더링 엔진(422)은 렌더링할 수 있고, 사용자 인터페이스 엔진(428)은 선택된 텍스트 필드 내의 제1 가상 키에 대응하는 문자를 전자 디스플레이(203) 상에 디스플레이를 위해 출력할 수 있다.
본원에 설명된 기법들에 따르면, 이미지 캡처 디바이스들(138)은 물리적 환경을 나타내는 이미지 데이터를 캡처할 수 있다. HMD(112)는 인공 현실 콘텐츠를 출력할 수 있다.
이어서, 제스처 검출기(424)는 이미지 데이터로부터 제스처 라이브러리(430)의 엔트리에 대응하는 것으로서 제스처를 식별할 수 있다. 이 예에서, 제스처 검출기(424)는 손의 제1 디지트 및 손의 제2 디지트의 모션으로서 제스처를 식별하여 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성할 수 있다.
사용자 인터페이스 엔진(428)은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당할 수 있다. 예를 들어, 사용자 인터페이스 엔진(428)은 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터 이미지 데이터의 손에 대한 다수의 디지트들을 식별할 수 있다. 사용자 인터페이스 엔진(428)은 하나 이상의 입력 문자들을 선택기 디지트로 지정되는 손의 한 디지트(예를 들어, 손의 엄지)를 제외한 모든 디지트와 같은 손의 디지트들의 일부 서브세트에 할당할 수 있다. 하나 이상의 입력 문자들은 글자들, 숫자들, 심볼들, 다른 특수 문자들(예를 들어, 공백 문자들 또는 백스페이스 문자들), 또는 "NULL" 문자 중 임의의 것일 수 있다. 일부 사례들에서, 각각의 디지트에 할당된 입력 문자들은 사용자 인터페이스 엔진(428)이 입력 문자들을 할당하는 각각의 디지트에 대한 별개의 입력 문자들 세트일 수 있다. 일부 사례에서, 입력 문자들이 할당된 각각의 디지트에 또한 "NULL" 문자가 할당될 수도 있으므로, 선택이 오류인 경우 사용자가 입력 문자들을 "NULL" 문자로 순환시키게 할 수 있다. 이런 매핑으로, 사용자 인터페이스 엔진(328)은 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱할 수 있다.
이 매핑에서, 제스처 검출기(424)가 별개의 핀칭 구성을 검출하는 횟수들은 복수의 입력 문자들 중 어느 입력 문자가 제스처에 의해 선택되는지에 대응할 수 있다. 예를 들어, 사용자 인터페이스 엔진(428)은 손의 제2 디지트에 할당된 입력 문자들의 별개의 세트의 하나 이상의 입력 문자들 각각을 별개의 세트의 카디널리티 이하인 선택 번호에 매핑할 수 있다.
일부 사례들에서, 이어서, 사용자 인터페이스 엔진(428)은 손의 제1 디지트와 손의 제2 디지트가 식별된 제스처에 대한 임계 시간 양 내에서 핀칭 구성을 형성하는 특정 횟수와 동일한 제1 입력 문자에 매핑된 선택 번호에 기반하여 제1 입력 문자의 선택을 결정할 수 있다. 즉, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당되면, 별개의 세트의 카디널리티는 3과 같을 수 있다. 이와 같이, 문자 'a'는 숫자 1에 매핑될 수 있고, 문자 'b'는 숫자 2에 매핑될 수 있고, 문자 'c'는 숫자 3에 매핑될 수 있다. 제스처 검출기(424)가 식별된 제스처에서 3개의 별개의 핀칭 구성을 식별하는 경우, 사용자 인터페이스 엔진(428)은 원하는 입력 문자가 'c' 문자임을 결정할 수 있다.
다른 사례들에서, 사용자 인터페이스 엔진(428)은 별개 세트의 카디널리티에 의해 식별된 제스처에 대한 임계 시간 양 내에서 손의 제1 디지트와 손의 제2 디지트가 핀칭 구성을 형성하는 특정 횟수를 나눔으로써 나머지가 있는 몫을 계산할 수 있다. 이어서, 사용자 인터페이스 엔진(428)은 나머지와 동일한 제1 입력 문자에 매핑된 선택 번호에 기반하여 제1 입력 문자의 선택을 결정할 수 있다. 즉, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당되면, 별개의 세트의 카디널리티는 3과 같을 수 있다. 이와 같이, 문자 'a'는 숫자 1에 매핑될 수 있고, 문자 'b'는 숫자 2에 매핑될 수 있고, 문자 'c'는 숫자 0에 매핑될 수 있다. 제스처 검출기(424)가 식별된 제스처에서 4개의 별개의 핀칭 구성들을 식별하는 경우, 사용자 인터페이스 엔진(428)은 별개의 세트(즉, 3)의 카디널리티로 나눈 별개의 핀칭 구성들(즉, 4)의 몫을 1의 나머지를 갖는 1로서 계산할 수 있다. 1의 나머지가 주어지고, 문자 'a'가 숫자 1에 매핑되면, 사용자 인터페이스 엔진(428)은 원하는 입력 문자가 'a' 문자임을 결정할 수 있다.
일부 사례들에서, 제스처 검출기(424)가 임계 시간 내에서 제스처를 검출하는 동안, 렌더링 엔진(422)은 손의 제1 디지트 및 손의 제2 디지트가 임계 시간 기간 내에서 핀칭 구성을 형성하는 현재 횟수에 기반하여 선택될 손의 제2 디지트에 할당된 하나 이상의 입력 문자들의 현재 입력 문자를 렌더링할 수 있다. 예를 들어, 문자들 'a', 'b' 및 'c'가 각각 제2 디지트에 할당된 예에서, 제1 디지트와 제2 디지트에 의해 형성된 제1 핀칭 구성 시, 렌더링 엔진(422)은 HMD(112)의 전자 디스플레이(203)에 출력하기 위해 문자 'a'를 렌더링할 수 있다. 임계 시간 기간 내에서, 제스처 검출기(424)가 핀칭 구성의 해제에 다음 추가 핀칭 구성을 검출하면, 렌더링 엔진(422)은 임계 시간 양이 지날 때까지 문자 'a'의 렌더링을 문자 'b'의 렌더링으로 대체하는 등을 할 수 있다.
이미지 캡처 디바이스들(138)이 두 손들을 포함하는 이미지 데이터를 캡처할 때, 사용자 인터페이스 엔진(428)은 제2 손에 대한 할당 프로세스를 반복할 수 있다. 예를 들어, 사용자 인터페이스 엔진(428)은 제1 손의 다양한 디지트들에 할당된 입력 문자의 별개의 세트들에 추가하여 제2 손의 복수의 디지트들 중 하나 이상의 각각의 디지트에 입력 문자들의 별개의 세트를 할당할 수 있다. 이러한 방식으로, 각각의 손의 엄지는 선택자 디지트로 지정될 수 있고, 각각의 손의 나머지 디지트들은 시스템에 대한 텍스트 입력 옵션들을 제공한다.
일부 사례들에서, 어떤 디지트가 어떤 문자들을 생성할지 사용자가 인식하는 것을 돕기 위해, 렌더링 엔진(422)은 손의 복수의 디지트들 중 하나 이상에 할당된 하나 이상의 문자들을 인공 현실 콘텐츠의 손의 가상 표현에 대한 오버레이로서 렌더링할 수 있다. 렌더링에서 이러한 문자들의 순서는 사용자 인터페이스 엔진(428)이 특정 문자를 선택하기 위해 제스처 검출기(424)가 검출하여야 하는 별개의 핀칭 구성들의 수에 대응할 수 있다.
문자들만, 또는 문자들 및 숫자들의 조합이 하나 이상의 손들의 디지트들에 할당되는 예들에서, 추가 제스처들에 대한 엔트리들은 심볼들, 공백 문자들, 또는 백스페이스 문자들 같은 특수 문자들의 입력을 위해 제스처 라이브러리(430)에 포함될 수 있다. 이러한 예들에서, 제스처 검출기(424)는 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터로부터 제2 제스처를 식별할 수 있다. 사용자 인터페이스 엔진(428)은 하나 이상의 특수 입력 문자들 제2 제스처에 할당하고, 식별된 제2 제스처에 응답하여 제2 제스처에 할당된 하나 이상의 특수 입력 문자들 중 제1 특수 입력 문자의 선택을 프로세싱할 수 있다.
일부 사례들에서, 임계 시간 양은 동적일 수 있다. 예를 들어, 제스처 검출기(424)는 제스처 검출기(424)가 가장 최근의 핀칭 구성을 식별한 후의 특정 시간 양으로서 임계 시간 양을 정의할 수 있다. 다른 사례들에서, 제스처 검출기(424)는 제스처 검출기(424)가 제1 디지트와 제2 디지트 사이의 핀칭 구성 이외의 새로운 제스처를 식별하면 임계 시간 양을 종료로서 정의할 수 있다. 예를 들어, 제스처 검출기(424)가 핀칭 구성을 형성하는 제1 디지트와 제5 디지트의 제1 제스처를 별개로 5번 검출하고, 이어서 제스처 감지기(424)가 제1 제스처에 대해 주어진 미리 정의된 임계 시간 양 내에서 핀칭을 형성하는 제1 디지트와 제3 디지트의 제2 제스처를 검출하면, 제스처 검출기(424)는 제1 제스처에 대한 입력 시간을 동적으로 차단할 수 있고 사용자 인터페이스 엔진(428)은 입력 문자로서 숫자 2에 매핑된 입력 문자를 선택할 수 있다. 제스처 검출기(424)는 제1 디지트 및 제3 디지트가 핀칭 구성을 형성하는 별개의 횟수를 결정하기 위해 제2 제스처에 대한 이미지 데이터 모니터링을 시작할 수 있다. 이러한 방식으로, HMD(112)는 텍스트 입력 프로세스를 통해 더 빠르게 네비게이팅할 수 있다.
도 5a 및 도 5b는 본 개시내용의 기법들에 따라, 가상 키보드를 출력하고 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다. 도 5의 HMD(512)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(512)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다. 아래의 설명이 다양한 동작들을 수행하는 HMD(512)를 설명하지만, HMD(512)에 연결된 콘솔, 또는 콘솔 또는 HMD(512) 내의 특정 엔진들 본원에 설명된 다양한 기능들을 수행할 수 있다. 예를 들어, HMD(512) 내부의 렌더링 엔진 또는 HMD(512)에 연결된 콘솔은 렌더링 동작들을 수행할 수 있고, HMD(512) 내부의 제스처 검출기 또는 HMD(512)에 연결된 콘솔은 본원에 설명된 기법들 중 하나 이상에 따라 핀칭 구성을 형성하기 위해 손(632A 또는 632B)의 디지트들의 모션을 검출하기 위해 이미지 데이터를 분석할 수 있다.
도 5a에서, HMD(512)의 이미지 캡처 디바이스들(538)은 이미지 캡처 디바이스들(538)의 시야(530) 내에 있는 현실 세계 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. 시야(530)는 일반적으로 HMD(512)의 보기 각도에 대응한다. 도 5a의 예시된 예와 같은 일부 예들에서, 인공 현실 애플리케이션은 시야(530) 내에 있는 사용자(510)의 손(532) 부분들을 인공 현실 콘텐츠(522) 내의 가상 배경(526)의 상단에 오버레이된 가상 손(536)으로 렌더링한다. 다른 예들에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(522) 내에서 사용자(510)의 손(532)의 현실-세계 이미지를 제시할 수 있다. 어느 하나의 예에서, 사용자(510)는 시야(530) 내에 있는 자신의 손(532)의 부분들을 인공 현실 콘텐츠(522) 내의 객체들로서 볼 수 있다. 도 5a의 예에서, 인공 현실 콘텐츠(522)는 또한 'n' 문자가 할당된 가상 키(540A)를 포함하는 복수의 가상 키들을 갖는 가상 키보드(560)를 포함한다. 이 예에서, 가상 키보드(560)는 연속적인 QWERTY 키보드의 가상 표현이다.
HMD(512)는 가상 키보드(560)를 렌더링하여 가상 손(532)의 구성을 미러링하기 위해 손바닥을 위로 향하게 하는 가상 손(536) 위에 있는 것처럼 보인다. HMD(512)는 가상 키보드(560) 위로 연장되는 것처럼 보이도록 가상 손(536)의 엄지를 렌더링할 수 있는 반면, HMD(512)는 나머지 디지트들이 가상 키보드(560) 아래에 내려가 있는 것처럼 보이도록 가상 손(536)의 나머지 디지트들을 렌더링할 수 있다. 이와 같이, HMD(512)가 핀칭 구성을 형성하는 엄지와 손의 다른 디지트(532)의 모션을 검출할 때, HMD(512)는 엄지와 추가 디지트 모션이 핀칭 구성 사이에 가상 키보드(560)로 핀칭 구성을 형성하도록 모션을 렌더링한다.
도 5b에서, HMD(512)의 이미지 캡처 디바이스들(538)은 핀칭 구성을 형성하기 위해 손(532)의 제1 디지트 및 제2 디지트(예를 들어, 엄지 및 검지)의 모션을 포함하는 제스처를 수행하는 사용자(510)의 손(532)의 이미지 데이터를 캡처한다. 물리적 환경의 주어진 위치에서 손(532)의 캡처된 이미지 데이터에 기반하여, HMD(512)는 가상 손(536)을 인공 현실 환경의 대응하는 위치에서 인공 현실 콘텐츠(522)에 대한 오버레이로서 렌더링할 수 있다. 이미지 데이터로부터 제스처를 검출하면, HMD(512)는 핀칭 구성에 있는 동안 2개의 디지트들 사이의 접촉점의 위치가 가상 키(540A)의 위치에 대응한다고 결정할 수 있다. 이와 같이, HMD(512)는 사용자 입력으로서 가상 키(540A) 또는 'n' 문자의 선택을 프로세싱할 수 있다. 이어서, HMD(512)는 선택된 'n' 문자를 포함하도록 인공 현실 콘텐츠(522)에서 텍스트 필드(550)를 렌더링 및 출력할 수 있다. HMD(512)는 또한 선택된 가상 키의 추가 시각적 표시를 제공하기 위해, 가상 키(540A)의 채우기 또는 패턴이 가상 키(540A)의 컬러 방식을 반전시키는 것과 같이 가상 키보드(560)의 가상 키들의 나머지와 상이하도록 가상 키(540A)를 렌더링할 수 있다.
도 6a 및 도 6b는 본 개시내용의 기법들에 따라, 분할 가상 키보드를 출력하고 분할 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다. 도 6의 HMD(612)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(612)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다. 아래의 설명이 다양한 동작들을 수행하는 HMD(612)를 설명하지만, HMD(612)에 연결된 콘솔, 또는 콘솔 또는 HMD(612) 내의 특정 엔진들 본원에 설명된 다양한 기능들을 수행할 수 있다. 예를 들어, HMD(612) 내부의 렌더링 엔진 또는 HMD(612)에 연결된 콘솔은 렌더링 동작들을 수행할 수 있고, HMD(612) 내부의 제스처 검출기 또는 HMD(612)에 연결된 콘솔은 본원에 설명된 기법들 중 하나 이상에 따라 핀칭 구성을 형성하기 위해 손(632A 또는 632B)의 디지트들의 모션을 검출하기 위해 이미지 데이터를 분석할 수 있다.
도 6a에서, HMD(612)의 이미지 캡처 디바이스들(638A 및 638B)은 이미지 캡처 디바이스들(638A 및 638B)의 시야(630A 및 630B) 내에 있는 현실 세계 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. 시야들(630A 및 630B)은 일반적으로 HMD(612)의 보기 각도에 대응한다. 도 6a의 예시된 예와 같은 일부 예들에서, 인공 현실 애플리케이션은 시야들(630A 및 630B) 내에 있는 사용자(610)의 손들(632A 및 632B) 부분들을 인공 현실 콘텐츠(622) 내의 가상 손들(636A 및 636B)로 렌더링한다. 다른 예들에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(622) 내에서 사용자(610)의 손들(632A 및 632B)의 현실-세계 이미지를 제시할 수 있다. 어느 하나의 예에서, 사용자(610)는 시야들(630A 및 630B) 내에 있는 자신의 손들(632A 및 632B)의 부분들을 인공 현실 콘텐츠(622) 내의 객체들로서 볼 수 있다. 도 6a의 예에서, 인공 현실 콘텐츠(622)는 또한 인공 현실 콘텐츠(622)에서 배경(626)의 상단에 각각 오버레이된 각각의 손들(632A 및 632B)에 대한 가상 키보드들(660A 및 660B)을 포함한다. 이 예에서, 가상 키보드들(660A 및 660B)은 'z' 문자가 할당된 가상 키(640A) 및 'k' 문자가 할당된 가상 키(640B)를 포함하는 다중 가상 키들을 포함하는 분할 QWERTY 키보드의 2개의 절반들의 가상 표현들이다.
HMD(612)는 가상 키보드(660A)가 가상 손(636A) 위에 앉아 있는 것처럼 보이고 가상 키보드(660B)가 가상 손(636B) 위에 있는 것처럼 보이도록 가상 키보드들을 렌더링할 수 있고, 이들 각각은 각각 손들(632A 및 632B)의 구성을 미러링하기 위해 손바닥이 위로 향해지게 한다. HMD(612)는 가상 손들(636A 및 636B)의 엄지들이 각각 가상 키보드들(660A 및 660B) 위로 연장되는 것처럼 보이도록 가상 손들(636A 및 636B)의 엄지들을 렌더링할 수 있는 반면, HMD(612)는 가상 손들(636A 및 636B)의 나머지 디지트들이 각각 가상 키보드들(660A 및 660B) 아래에 내려간 것처럼 보이도록 가상 손들(636A 및 636B)의 나머지 디지트들을 렌더링할 수 있다. 이와 같이, HMD(612)가 핀칭 구성을 형성하는 손들(632A 또는 632B) 중 하나의 엄지와 다른 디지트의 움직임을 검출할 때, HMD(612)는 엄지와 추가 디지트 모션이 핀칭 구성 사이에서 가상 키보드들(660A 또는 660B) 중 개별 하나와 핀칭 구성을 형성하도록 모션을 렌더링한다.
도 6a에 예시된 바와 같이, 인공 현실 콘텐츠(622)는 또한 선택 벡터들(642A 및 642B)을 포함한다. HMD(612)는 각각의 손들(630A 및 630B)의 제1 디지트의 위치를 식별하고, 각각의 손들(630A, 630B)의 제2 디지트의 위치를 식별하고, 선택 벡터들(642A 및 642B)을 각 손들(632A 및 632B)의 각 디지트들의 위치들을 연결하는 벡터들로 계산함으로써 이들 선택 벡터들을 계산할 수 있다. 선택 벡터들(642A 및 642B)과 가상 키보드들(660A 및 660B)의 교차점은 각각 손들(630A 및 630B)의 디지트들의 예상 접촉점들에 대응한다. 예를 들어, HMD(612)는 선택 벡터(642A)와 가상 키보드(660A)의 교차점이 가상 키(640A)에 대응하고, 선택 벡터(642B)와 가상 키보드(660B)의 교차점이 가상 키(640B)에 대응한다고 결정할 수 있다. HMD(612)는 대응하는 손(632A 또는 632B)이 핀칭 구성을 형성하는 경우 가상 키들이 선택되는 추가 시각적 표시를 제공하기 위해, 가상 키들(640A 및 640B)의 채우기 또는 패턴이 가상 키들(640A 및 640B)의 컬러 방식을 반전시키는 것과 같이 가상 키보드들(660A 및 660B)의 나머지 가상 키들과 상이하도록 가상 키들(640A 및 640B)을 렌더링할 수 있다.
도 6b에서, 이미지 캡처 디바이스(638A 및/또는 638B)는 핀칭 구성을 형성하기 위해 손(632B)의 제1 디지트 및 제2 디지트(예를 들어, 엄지 및 검지)의 모션을 포함하는 제스처를 수행하여 사용자(610)의 손(632B)의 이미지 데이터를 캡처한다. 물리적 환경의 주어진 위치에서 손(632B)의 캡처된 이미지 데이터에 기반하여, HMD(612)는 가상 손(636B)을 인공 현실 환경의 대응하는 위치에서 인공 현실 콘텐츠(622)에 대한 오버레이로서 렌더링할 수 있다. 이미지 데이터로부터 제스처를 검출하면, HMD(612)는 핀칭 구성에 있는 동안 손(632B)의 2개의 디지트들 사이의 접촉점의 위치가 가상 키(640B)의 위치에 대응한다고 결정할 수 있다. 이와 같이, HMD(612)는 사용자 입력으로서 가상 키(640B) 또는 'k' 문자의 선택을 프로세싱할 수 있다. 이어서, HMD(612)는 선택된 'k' 문자를 포함하도록 인공 현실 콘텐츠(622)에서 텍스트 필드(650)를 렌더링 및 출력할 수 있다.
도 7a 및 도 7b는 본 개시내용의 기법들에 따라, 특정 횟수들로 핀칭 구성의 형성을 검출하고 핀칭 구성에 관련된 특정 디지트 및 핀칭 구성의 형성이 검출되는 특정 횟수들에 기반한 입력 문자를 사용자 입력으로 수신하도록 구성된 예시적인 인공 현실 시스템을 묘사하는 예시들이다. 도 7의 HMD(712)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(712)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다. 아래의 설명이 다양한 동작들을 수행하는 HMD(712)를 설명하지만, HMD(712)에 연결된 콘솔, 또는 콘솔 또는 HMD(712) 내의 특정 엔진들 본원에 설명된 다양한 기능들을 수행할 수 있다. 예를 들어, HMD(712) 내부의 렌더링 엔진 또는 HMD(712)에 연결된 콘솔은 렌더링 동작들을 수행할 수 있고, HMD(712) 내부의 제스처 검출기 또는 HMD(712)에 연결된 콘솔은 본원에 설명된 기법들 중 하나 이상에 따라 핀칭 구성을 형성하기 위해 손(732A 또는 732B)의 디지트들의 모션을 검출하기 위해 이미지 데이터를 분석할 수 있다.
도 7a에서, HMD(712)의 이미지 캡처 디바이스들(738A 및 738B)은 이미지 캡처 디바이스들(738A 및 738B)의 시야들(730A 및 730B) 내에 있는 현실 세계 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. 시야들(730A 및 730B)는 일반적으로 HMD(712)의 보기 각도에 대응한다. 도 7a의 예시된 예와 같은 일부 예들에서, 인공 현실 애플리케이션은 시야들(730A 및 730B) 내에 있는 사용자(710)의 손들(732A 및 732B) 부분들을 인공 현실 콘텐츠(722) 내의 배경(726) 상단에 오버레이되는 가상 손들(736A 및 736B)로 렌더링한다. 다른 예들에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(722) 내에서 사용자(710)의 손들(732A 및 732B)의 현실-세계 이미지를 제시할 수 있다. 어느 하나의 예에서, 사용자(710)는 시야들(730A 및 730B) 내에 있는 자신의 손들(732A 및 732B)의 부분들을 인공 현실 콘텐츠(722) 내의 객체들로서 볼 수 있다.
도 7a의 예에서, 인공 현실 콘텐츠(722)는 또한 입력 문자 세트들(740A-740H)(집합적으로 "입력 문자 세트들(740)")을 포함한다. 본원에 설명된 기법들에 따르면, HMD(712)는 이미지 캡처 디바이스들(738A 및 738B)에 의해 캡처된 이미지 데이터에서 손바닥이 위로 향하는 손들(732A 및 732B)을 검출할 수 있다. HMD(712)는 입력 문자 세트들(740) 중 하나를 가상 손들(736A 및 736B)의 디지트들 중 일부에 할당하고, 입력 문자들이 가상 손들(736A 및 736B) 각각에 대한 입력 선택 디지트들이도록 할당되지 않는 적어도 하나의 디지트(예를 들어, 가상 손들(736A 및 736B) 각각의 엄지들)가 남을 수 있다. 이어서, HMD(712)는 가상 손들(736A 및 736B)의 각 디지트들에 할당된 특정 입력 문자들을 렌더링할 수 있다.
도 7b에서, 이미지 캡처 디바이스들(738A 및/또는 738B)은 임계 시간 기간 내에 특정 횟수 핀칭 구성을 형성하기 위해 손(732A)의 제1 디지트 및 제2 디지트(예를 들어, 엄지 및 중지)의 모션을 포함하는 제스처를 수행하는 사용자(710)의 손(732A)의 이미지 데이터를 캡처한다. 제1 핀칭 구성의 검출로 시작하여, HMD(712)는 손(732A)이 임계 시간 양 내에서 입력 선택 디지트(즉, 엄지) 및 입력 문자 세트가 할당된 디지트(740B)(즉, 중지)를 사용하여 핀칭 구성을 2번 별개로 형성함(즉, HMD(712)는 핀칭 구성을 형성하는 손(732A)을 검출하고, 핀칭 구성을 해제하고, 이어서 후속 핀칭 구성을 형성함)을 검출할 수 있다. HMD(712)는 핀칭 구성에 관련된 디지트에 입력 문자 세트(740B)의 할당 및 손(732A)이 핀칭 구성을 형성한 별개의 횟수에 기반하여, 선택된 입력 문자가 'e' 문자임을 결정할 수 있다. 이와 같이, HMD(712)는 사용자 입력으로서 'e' 문자의 선택을 수신할 수 있다. 이어서, HMD(712)는 선택된 'e' 문자를 포함하도록 인공 현실 콘텐츠(722)에서 텍스트 필드(750)를 렌더링 및 출력할 수 있다. 도시되지는 않았지만, HMD(712)가 제1 핀칭 구성의 형성을 검출한 후이지만, HMD(712)가 제2 핀칭 구성의 형성을 검출하기 전에, HMD(712)는 'd' 문자를 포함하도록 인공 현실 콘텐츠(722)에서 텍스트 필드(750)를 렌더링 및 출력할 수 있고; 손(732A)의 제2 핀칭 구성의 형성을 검출할 때 'd' 문자를 'e' 문자로 대체한다.
도 8은 본원에 설명된 기법들에 따라, 가상 키보드를 출력하고 가상 키보드의 가상 키에 대응하는 위치에서 핀칭 구성의 형성을 검출하도록 구성된 인공 현실 시스템에 대한 예시적인 기법을 예시하는 흐름도이다. 예시적인 동작은 도 1의 콘솔(106)과 함께 또는 단독으로 HMD(112)에 의해 수행될 수 있다. 다음은 프로세스의 단계들이지만, 본 개시내용의 기법들에 따라 수행되는 프로세스의 다른 예들은 추가 단계들을 포함하거나 아래 나열된 단계들 중 일부를 포함하지 않을 수 있다. 아래의 설명은 다양한 동작들을 수행하는 HMD(112)를 설명하지만, HMD(112)에 연결된 콘솔(예를 들어, 콘솔(106)), 또는 콘솔(106) 또는 HMD(112) 내의 특정 엔진들은 본원에 설명된 다양한 기능들을 수행할 수 있다. 예를 들어, 본원에 설명된 기법들 중 하나 이상에 따라, HMD(112) 내부의 렌더링 엔진 또는 HMD(112)에 연결된 콘솔(106)은 렌더링 동작들을 수행할 수 있고, HMD(112) 또는 HMD(112)에 연결된 콘솔(106) 내부의 제스처 검출기는 이미지 데이터를 분석하여 핀칭 구성을 형성하는 손의 디지트들의 모션을 검출할 수 있다.
본원에 설명된 기법들에 따르면, HMD(112), 또는 다른 이미지 캡처 디바이스들(예를 들어, 도 1b의 카메라(102)들)은 물리적 환경을 나타내는 이미지 데이터를 캡처한다(802). HMD(112)는 인공 현실 콘텐츠 및 인공 현실 콘텐츠에 대한 오버레이로서 복수의 가상 키들을 갖는 가상 키보드를 렌더링한다(804). 이어서, HMD(112)는 인공 현실 콘텐츠 및 가상 키보드를 출력한다(806). HMD(112)는 핀칭 구성을 형성하기 위한 손의 제1 디지트 및 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별한다(808). 핀칭 구성에 있는 동안 제1 디지트와 제2 디지트 사이의 접촉점은 가상 키보드의 복수의 가상 키들의 제1 가상 키의 위치에 대응한다. 이와 같이, HMD(112)는 식별된 제스처에 응답하여 제1 가상 키의 선택을 프로세싱한다(810).
도 9는 본 개시내용의 기법들에 따라, 특정 횟수로 핀칭 구성의 형성을 검출하고 핀칭 구성에 관련된 특정 디지트 및 핀칭 구성의 형성이 검출된 횟수에 기반한 입력 문자를 사용자 입력으로 수신하도록 구성된 예시적인 인공 현실 시스템에 대한 예시적인 기법을 예시하는 흐름도이다. 예시적인 동작은 도 1의 콘솔(106)과 함께 또는 단독으로 HMD(112)에 의해 수행될 수 있다. 다음은 프로세스의 단계들이지만, 본 개시내용의 기법들에 따라 수행되는 프로세스의 다른 예들은 추가 단계들을 포함하거나 아래 나열된 단계들 중 일부를 포함하지 않을 수 있다. 아래의 설명은 다양한 동작들을 수행하는 HMD(112)를 설명하지만, HMD(112)에 연결된 콘솔(예를 들어, 콘솔(106)), 또는 콘솔(106) 또는 HMD(112) 내의 특정 엔진들은 본원에 설명된 다양한 기능들을 수행할 수 있다. 예를 들어, 본원에 설명된 기법들 중 하나 이상에 따라, HMD(112) 내부의 렌더링 엔진 또는 HMD(112)에 연결된 콘솔(106)은 렌더링 동작들을 수행할 수 있고, HMD(112) 또는 HMD(112)에 연결된 콘솔(106) 내부의 제스처 검출기는 이미지 데이터를 분석하여 핀칭 구성을 형성하는 손의 디지트들의 모션을 검출할 수 있다.
본원에 설명된 기법들에 따르면, HMD(112), 또는 다른 이미지 캡처 디바이스들(예를 들어, 도 1의 카메라(102)들)은 물리적 환경을 나타내는 이미지 데이터를 캡처한다(902). HMD(112)는 인공 현실 콘텐츠를 출력한다(904). HMD(112)는 임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 이미지 데이터로부터 식별할 수 있다(906). 사용자 인터페이스 엔진(112)은 하나 이상의 입력 문자들을 손의 복수의 디지트들 중 하나 이상에 할당한다(908). HMD(112)는 식별된 제스처에 응답하여 손의 제2 디지트에 할당된 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱한다(910).
본 개시내용에서 설명된 기법들은 적어도 부분적으로 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 설명된 기법들의 다양한 양태들은 하나 이상의 마이크로프로세서들, DSP들, 주문형 집적 회로(ASIC)들, 현장 프로그래밍가능 게이트 어레이(FPGA)들, 또는 임의의 다른 등가 집적 또는 이산 논리 회로, 및 그러한 구성요소들의 임의의 조합을 포함하는 하나 이상의 프로세서들 내에서 구현될 수 있다. "프로세서" 또는 "프로세싱 회로"라는 용어는 일반적으로 단독으로 또는 다른 논리 회로, 또는 임의의 다른 등가 회로와 조합하여 전술한 논리 회로 중 임의의 것을 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛은 또한 본 개시내용의 기법들 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어, 및 펌웨어는 본 개시내용에서 설명된 다양한 동작들 및 기능들을 지원하기 위해 동일한 디바이스 내에서 또는 별도의 디바이스들 내에서 구현될 수 있다. 또한, 설명된 유닛들, 모듈들 또는 구성요소들 중 임의의 것은 개별적이지만 상호운용 가능한 논리 디바이스들로서 함께 또는 별도로 구현될 수 있다. 모듈들 또는 유닛들과 같은 상이한 피처(feature)들의 묘사는 다른 기능적 양태들만을 강조하기 위한 것이고 그러한 모듈들이나 유닛들이 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 실현되어야 함을 반드시 의미하지는 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 연관된 기능은 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 수행되거나 공통 또는 별도의 하드웨어 또는 소프트웨어 구성요소들 내에 통합될 수 있다.
본 개시내용에서 설명된 기법들은 또한 명령들을 포함하는 컴퓨터-판독가능 저장 매체와 같은 컴퓨터-판독가능 매체에서 구현되거나 인코딩될 수 있다. 컴퓨터-판독 가능 저장 매체에 내장되거나 인코딩된 명령들은 예를 들어 명령들이 실행될 때 프로그램가능 프로세서, 또는 다른 프로세서가 방법을 수행하게 할 수 있다. 컴퓨터 판독 가능 저장 매체는 RAM(Random Access Memory), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electronically Erasable Programmable Read Only Memory), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체 또는 다른 컴퓨터 판독가능 매체를 포함할 수 있다.
본원의 다양한 예들에 의해 설명된 바와 같이, 본 개시내용의 기법들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 설명된 바와 같이, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 사진들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이의 일부 조합을 포함할 수 있고, 이들 중 임의의 것은 단일 채널 또는 다중 채널들(이를테면 뷰어에게 3-차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 실시예들에서, 인공 현실은 예를 들어 인공 현실의 콘텐츠를 생성하는 데 사용되고/되거나 인공 현실에 사용되는(예를 들어, 인공 현실의 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리-장착 디스플레이(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하여 다양한 플랫폼들에서 구현될 수 있다.
본 개시내용의 다양한 예들이 설명되었다. 설명된 시스템들, 동작들, 또는 기능들의 임의의 조합이 고려된다. 이들 및 다른 예들은 다음 청구항들의 범위 내에 존재한다.

Claims (20)

  1. 인공 현실 시스템에 있어서,
    물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스;
    인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD);
    임계 시간 양 내에서 특정 횟수로 핀칭 구성(pinching configuration)을 형성하기 위해 손의 제1 디지트(digit)와 상기 손의 제2 디지트의 모션을 포함하는 제스처를 상기 이미지 데이터로부터 식별하도록 구성된 제스처 검출기; 및
    하나 이상의 입력 문자들을 상기 손의 복수의 디지트들 중 하나 이상에 할당하고, 식별된 제스처에 응답하여 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하도록 구성된 사용자 인터페이스 엔진을 포함하는, 인공 현실 시스템.
  2. 제 1 항에 있어서, 상기 손의 상기 복수의 디지트들 중 하나 이상에 할당된 상기 하나 이상의 문자들을 상기 손의 이미지에 대한 오버레이(overlay)로서 렌더링하도록 구성된 렌더링 엔진을 더 포함하는, 인공 현실 시스템.
  3. 제 1 항에 있어서, 상기 하나 이상의 입력 문자들을 할당하기 위해, 상기 사용자 인터페이스 엔진은 입력 문자들의 별개의 세트를 상기 손의 상기 복수의 디지트들 중 하나 이상의 각각의 디지트에 할당하도록 구성되는, 인공 현실 시스템.
  4. 제 3 항에 있어서, 상기 손은 제1 손을 포함하고, 상기 사용자 인터페이스 엔진은 입력 문자들의 별개의 세트를 제2 손의 복수의 디지트들 중 하나 이상의 각각의 디지트에 할당하도록 추가로 구성되는, 인공 현실 시스템.
  5. 제 1 항에 있어서, 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들은 입력 문자들의 별개의 세트를 포함하고, 상기 사용자 인터페이스 엔진은:
    상기 손의 상기 제2 디지트에 할당된 상기 입력 문자들의 별개의 세트의 상기 하나 이상의 입력 문자들 각각을 상기 별개의 세트의 카디널리티(cardinality) 이하인 선택 번호에 매핑하도록 추가로 구성되는, 인공 현실 시스템.
  6. 제 5 항에 있어서, 상기 제1 입력 문자의 선택을 수신하기 위해, 상기 사용자 인터페이스 엔진은:
    상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 상기 식별된 제스처에 대한 임계 시간 양 내에서 상기 핀칭 구성을 형성하는 특정 횟수와 동일한 상기 제1 입력 문자에 매핑된 선택 번호에 기반하여 상기 제1 입력 문자의 선택을 결정하도록 구성되는, 인공 현실 시스템.
  7. 제 5 항에 있어서, 상기 제1 입력 문자의 선택을 수신하기 위해, 상기 사용자 인터페이스 엔진은:
    상기 별개 세트의 카디널리티에 의해, 상기 식별된 제스처에 대한 상기 임계 시간 양 내에서 상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 상기 핀칭 구성을 형성하는 상기 특정 횟수를 나눔으로써 나머지가 있는 몫을 계산하고;
    상기 나머지와 동일한 상기 제1 입력 문자에 매핑된 상기 선택 번호에 기반하여 상기 제1 입력 문자의 선택을 결정하도록 구성되는, 인공 현실 시스템.
  8. 제 1 항에 있어서, 상기 제스처 동안, 상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 임계 시간 기간 내에서 상기 핀칭 구성을 형성하는 현재 횟수에 기반하여 선택될 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들의 현재 입력 문자를 렌더링하도록 구성된 렌더링 엔진을 더 포함하는, 인공 현실 시스템.
  9. 제 1 항에 있어서, 상기 제스처는 제1 제스처를 포함하고,
    상기 제스처 검출기는 제2 제스처를 상기 이미지 데이터로부터 식별하도록 추가로 구성되고;
    상기 사용자 인터페이스 엔진은 하나 이상의 특수 입력 문자들을 상기 제2 제스처에 할당하고, 식별된 제2 제스처에 응답하여 상기 제2 제스처에 할당된 상기 하나 이상의 특수 입력 문자들 중 제1 특수 입력 문자의 선택을 프로세싱하도록 구성되는, 인공 현실 시스템.
  10. 제 1 항에 있어서, 상기 하나 이상의 입력 문자들은 글자들, 숫자들, 심볼들, 또는 널(null) 문자 중 하나 이상을 포함하는, 인공 현실 시스템.
  11. 제 1 항에 있어서, 상기 이미지 캡처 디바이스는 상기 HMD 내에 통합되는, 인공 현실 시스템.
  12. 방법에 있어서,
    인공 현실 시스템의 이미지 캡처 디바이스에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계;
    상기 인공 현실 시스템의 머리 장착 디스플레이(HMD)에 의해, 인공 현실 콘텐츠를 출력하는 단계;
    임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 상기 이미지 데이터로부터 식별하는 단계;
    하나 이상의 입력 문자들을 상기 손의 복수의 디지트들 중 하나 이상에 할당하는 단계; 및
    식별된 제스처에 응답하여 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하는 단계를 포함하는, 방법.
  13. 제 12 항에 있어서, 상기 손의 상기 복수의 디지트들 중 하나 이상에 할당된 상기 하나 이상의 문자들을 상기 손의 이미지에 대한 오버레이로서 렌더링하는 단계를 더 포함하는, 방법.
  14. 제 12 항에 있어서, 상기 손은 제1 손을 포함하고, 상기 하나 이상의 입력 문자들을 할당하는 단계는:
    입력 문자들의 별개의 세트를 상기 제1 손의 상기 복수의 디지트들 중 하나 이상의 각각의 디지트에 할당하는 단계; 및
    입력 문자들의 별개의 세트를 제2 손의 복수의 디지트들 중 하나 이상의 각각의 디지트에 할당하는 단계를 포함하는, 방법.
  15. 제 12 항에 있어서, 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들은 입력 문자들의 별개의 세트를 포함하고, 사용자 인터페이스 엔진은:
    상기 손의 상기 제2 디지트에 할당된 상기 입력 문자들의 별개의 세트의 상기 하나 이상의 입력 문자들 각각을 상기 별개의 세트의 카디널리티 이하인 선택 번호에 매핑하도록 추가로 구성되는, 방법.
  16. 제 15 항에 있어서, 상기 제1 입력 문자의 선택을 수신하는 단계는:
    상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 상기 식별된 제스처에 대한 임계 시간 양 내에서 상기 핀칭 구성을 형성하는 특정 횟수와 동일한 상기 제1 입력 문자에 매핑된 선택 번호에 기반하여 상기 제1 입력 문자의 선택을 결정하는 단계를 포함하는, 방법.
  17. 제 15 항에 있어서, 상기 제1 입력 문자의 선택을 수신하는 단계는:
    상기 별개 세트의 카디널리티에 의해, 상기 식별된 제스처에 대한 상기 임계 시간 양 내에서 상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 상기 핀칭 구성을 형성하는 상기 특정 횟수를 나눔으로써 나머지가 있는 몫을 계산하는 단계; 및
    상기 나머지와 동일한 상기 제1 입력 문자에 매핑된 상기 선택 번호에 기반하여 상기 제1 입력 문자의 선택을 결정하는 단계를 포함하는, 방법.
  18. 제 12 항에 있어서, 상기 제스처 동안, 상기 손의 상기 제1 디지트와 상기 손의 상기 제2 디지트가 임계 시간 기간 내에서 상기 핀칭 구성을 형성하는 현재 횟수에 기반하여 선택될 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들의 현재 입력 문자를 렌더링하는 단계를 더 포함하는, 방법.
  19. 제 12 항에 있어서, 상기 손은 제1 손을 포함하고, 상기 방법은:
    제2 제스처를 상기 이미지 데이터로부터 식별하는 단계;
    하나 이상의 특정 입력 문자들을 상기 제2 제스처에 할당하는 단계; 및
    식별된 제2 제스처에 응답하여 상기 제2 제스처에 할당된 상기 하나 이상의 특수 입력 문자들 중 제1 특수 입력 문자의 선택을 프로세싱하는 단계를 더 포함하는, 방법.
  20. 명령들을 포함하는 비-일시적 컴퓨터-판독가능 매체에 있어서,
    상기 명령들은, 실행될 때, 인공 현실 시스템의 하나 이상의 프로세서들이:
    물리적 환경을 나타내는 이미지 데이터를 캡처하게 하고;
    인공 현실 콘텐츠를 출력하게 하고;
    임계 시간 양 내에서 특정 횟수로 핀칭 구성을 형성하기 위해 손의 제1 디지트와 손의 제2 디지트의 모션을 포함하는 제스처를 상기 이미지 데이터로부터 식별하게 하고;
    하나 이상의 입력 문자들을 상기 손의 복수의 디지트들 중 하나 이상에 할당하게 하고;
    식별된 제스처에 응답하여 상기 손의 상기 제2 디지트에 할당된 상기 하나 이상의 입력 문자들 중 제1 입력 문자의 선택을 프로세싱하게 하는, 비-일시적 컴퓨터-판독가능 매체.
KR1020227000372A 2019-06-07 2020-06-08 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템 KR20220016984A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/435,139 US10955929B2 (en) 2019-06-07 2019-06-07 Artificial reality system having a digit-mapped self-haptic input method
US16/435,139 2019-06-07
PCT/US2020/036580 WO2020247908A1 (en) 2019-06-07 2020-06-08 Artificial reality system having a digit-mapped self-haptic input method

Publications (1)

Publication Number Publication Date
KR20220016984A true KR20220016984A (ko) 2022-02-10

Family

ID=71899887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000372A KR20220016984A (ko) 2019-06-07 2020-06-08 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템

Country Status (6)

Country Link
US (1) US10955929B2 (ko)
EP (1) EP3953798A1 (ko)
JP (1) JP2022534639A (ko)
KR (1) KR20220016984A (ko)
CN (1) CN113785262A (ko)
WO (1) WO2020247908A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220050527A1 (en) * 2020-08-12 2022-02-17 Himax Technologies Limited Simulated system and method with an input interface
US11600051B2 (en) * 2021-04-23 2023-03-07 Google Llc Prediction of contact points between 3D models
CN113253908B (zh) * 2021-06-22 2023-04-25 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
US11914789B2 (en) * 2022-01-20 2024-02-27 Htc Corporation Method for inputting letters, host, and computer readable storage medium
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
US20230384928A1 (en) * 2022-05-31 2023-11-30 Snap Inc. Ar-based virtual keyboard
US11947122B1 (en) * 2022-12-08 2024-04-02 Varjo Technologies Oy Tracking system and method incorporating selective control of light sources of controller

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261429A1 (en) * 2014-01-02 2015-09-17 Benjamin Firooz Ghassabian Systems to enhance data entry in mobile and fixed environment
GB0801396D0 (en) 2008-01-25 2008-03-05 Bisutti Giovanni Electronic apparatus
JP5751775B2 (ja) 2010-09-01 2015-07-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
US9116616B2 (en) 2011-02-10 2015-08-25 Blackberry Limited Portable electronic device and method of controlling same
JP2012248067A (ja) * 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
JP5715007B2 (ja) 2011-08-29 2015-05-07 京セラ株式会社 表示機器
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
US8902198B1 (en) 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
US9535603B2 (en) * 2013-03-14 2017-01-03 Carl F. Andersen Columnar fitted virtual keyboard
JP2014238725A (ja) 2013-06-07 2014-12-18 シャープ株式会社 情報処理装置および制御プログラム
US10139906B1 (en) * 2014-01-29 2018-11-27 Guiyu Bai Ring human-machine interface
US9524142B2 (en) 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US20160004300A1 (en) * 2014-07-07 2016-01-07 PinchVR Inc. System, Method, Device and Computer Readable Medium for Use with Virtual Environments
WO2016174659A1 (en) * 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
US10388071B2 (en) 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
US20180329209A1 (en) 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10963066B2 (en) 2017-06-26 2021-03-30 Seoul National University R&Db Foundation Keyboard input system and keyboard input method using finger gesture recognition
US11321965B2 (en) * 2018-07-10 2022-05-03 Dell Products, L.P. Scalable gesture and eye-gaze tracking in virtual, augmented, and mixed reality (xR) applications

Also Published As

Publication number Publication date
US10955929B2 (en) 2021-03-23
WO2020247908A1 (en) 2020-12-10
CN113785262A (zh) 2021-12-10
US20200387229A1 (en) 2020-12-10
EP3953798A1 (en) 2022-02-16
JP2022534639A (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实系统
US10890983B2 (en) Artificial reality system having a sliding menu
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US10990240B1 (en) Artificial reality system having movable application content items in containers
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements

Legal Events

Date Code Title Description
A201 Request for examination