KR102297818B1 - 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 - Google Patents

가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 Download PDF

Info

Publication number
KR102297818B1
KR102297818B1 KR1020197013078A KR20197013078A KR102297818B1 KR 102297818 B1 KR102297818 B1 KR 102297818B1 KR 1020197013078 A KR1020197013078 A KR 1020197013078A KR 20197013078 A KR20197013078 A KR 20197013078A KR 102297818 B1 KR102297818 B1 KR 102297818B1
Authority
KR
South Korea
Prior art keywords
gesture
virtual
input
dimensional
user
Prior art date
Application number
KR1020197013078A
Other languages
English (en)
Other versions
KR20190064623A (ko
Inventor
후안미 인
펭 린
Original Assignee
어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. filed Critical 어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Publication of KR20190064623A publication Critical patent/KR20190064623A/ko
Application granted granted Critical
Publication of KR102297818B1 publication Critical patent/KR102297818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

감지 하드웨어로부터 손 변위 데이터가 수신되고 3차원(3D) 제스처 인식 알고리즘을 사용하여 분석된다. 수신된 손 변위 데이터는 3D 제스처를 나타내는 것으로서 인식된다. 3D 제스처의 동작 위치가 3D 입력 그래피컬 사용자 인터페이스(GUI)와 관련하여 계산된다. 3D 입력 GUI와 연관되고, 계산된 동작 위치에 대응하는 가상 입력 엘리먼트가 선택된다. 선택된 가상 입력 엘리먼트에 대응하는 입력 정보가, 선택된 가상 엘리먼트로부터 판독된다.

Description

가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스
본 출원은 2016년 10월 9일에 출원된 중국 특허 출원 제 201610881695.8 호, 및 2017년 9월 29일에 출원된 미국 특허 출원 제 15/720,635 호를 우선권으로 주장하며, 이 출원들의 전체 내용들은 참조로서 포함된다.
가상 현실(Virtual Reality; VR) 기술은, 상호작용 능력들을 갖는 실감적인(immersive), 사용자가 인지하는 3차원(three-dimensional; 3D) 환경("가상 세계")을 생산하기 위해 컴퓨터 프로세싱, 그래픽들, 및 다양한 유형의 사용자 인터페이스들(예를 들어, 가상 디스플레이 고글들 및 한 손 이상으로 쥐는 상호작용 컨트롤러들)을 사용한다. VR 기술의 (예를 들어, 교육, 비디오 게임들, 비지니스, 과학, 및 의학에서의) 응용들은 VR 기술에서 사용되는 컴퓨팅 하드웨어 및 소프트웨어에서의 지속적인 향상들과 함께 증가하고 있다. VR 기술이 사용자에게 가상 세계의 실감나는(convincing) 생생한(lifelike) 시각적 경험을 제공할 수 있는 반면, 3D 환경 내의 시나리오와의 종래의 사용자 상호작용은 특히 정보 입력(예를 들어, 영숫자 텍스트 데이터)과 관련하여 어렵거나 불편한(awkward) 것으로 판명되었다. VR 기술로의 전반적인 사용자 경험을 향상시키기 위해 정보 입력의 용이성 및 속도를 증가시키는 것이 필요하다.
본 개시는 가상 현실(VR) 환경에서의 정보 입력을 위한 3차원(3D) 그래피컬 사용자 인터페이스(graphical user interface; GUI)를 설명한다.
구현예에서, 감지 하드웨어로부터 손 변위 데이터(hand displacement data)가 수신되고 3차원(3D) 제스처 인식 알고리즘을 사용하여 분석된다. 수신된 손 변위 데이터는 3D 제스처를 나타내는 것으로서 인식된다. 3D 제스처의 동작 위치(operational position)가 3D 입력 그래피컬 사용자 인터페이스(GUI)와 관련하여 계산된다. 3D 입력 GUI와 연관되고, 계산된 동작 위치에 대응하는 가상 입력 엘리먼트가 선택된다. 선택된 가상 입력 엘리먼트에 대응하는 입력 정보가, 선택된 가상 엘리먼트로부터 판독된다.
이전에 설명된 구현예를 포함하여, 설명되는 발명내용의 구현예들은, 컴퓨터로 구현되는 방법; 컴퓨터로 구현되는(computer-implemented) 방법을 수행하기 위한 컴퓨터로 판독가능한 명령어들을 저장하는 비일시적인 컴퓨터로 판독가능한 매체; 및 하나 이상의 컴퓨터와 상호동작가능하게 커플링되는 하나 이상의 컴퓨터 메모리 디바이스를 포함하며, 하나 이상의 컴퓨터에 의해 실행될 때 컴퓨터로 구현되는 방법/비일시적인 컴퓨터로 판독가능한 매체 상에 저장된 컴퓨터로 판독가능한 명령어들을 수행하는 명령어들을 저장한 유형의 비일시적인 기계로 판독가능한 매체를 갖는 컴퓨터로 구현되는 시스템을 사용하여 구현될 수 있다.
본 명세서에서 설명되는 발명내용은 다음의 이점들 중 하나 이상을 실현하기 위해 특정 구현예들에서 구현될 수 있다. 첫째, 설명되는 3D 사용자 인터페이스들은 VR 환경에서의 정보 입력의 용이성 및 속도를 증가시킨다. 예를 들어, 설명되는 3D 사용자 인터페이스들 및 제공되는 손 기반(hand-based) 제스처들은 VR 환경에서 사용자에게 정보 입력을 더 자연스럽고 직관적이게 한다. 둘째, 정보 입력의 개선들이 VR 기술로의 전반적인 사용자 경험을 향상시키는 것을 돕는다. 셋째, VR 기술 정보 입력으로의 전반적인 사용자 경험에 대한 향상들이 VR 기술의 응용을 추가 사용 시나리오들로 확장시키는 것을 돕는다. 다른 이점들이 당업자에게 명백해질 것이다.
본 명세서의 발명내용의 하나 이상의 구현예의 상세사항들이 상세한 설명, 청구범위, 및 첨부 도면들에 제시된다. 본 발명내용의 다른 특징들, 양태들, 및 이점들이 상세한 설명, 청구범위, 및 첨부 도면들로부터 명백해질 것이다.
도 1은 본 개시의 구현예에 따른, 가상 현실(VR) 환경에서의 정보 입력을 위한 3차원(3D) 입력 그래피컬 사용자 인터페이스(GUI)들의 사용에 대한 방법의 예시를 예시하는 플로우 차트이다.
도 2는 본 개시의 구현예에 따른, VR 환경에서의 정보 입력을 위한 3D 입력 GUI를 예시하는 도면이다.
도 3은 본 개시의 구현예에 따른, VR 환경에서의 정보 입력을 위한 상이한 3D 입력 GUI를 예시하는 도면이다. 도 4는 본 개시의 구현예에 따른, VR 환경에서 가상 엘리먼트를 선택하고 트리거하기 위해 사용될 수 있는 예시적인 3D 제스처들을 예시하는 도면이다.
도 5는 본 개시의 구현예에 따른, VR 클라이언트 단말기와 연관된 입력 동작들을 위해 사용되는 컴퓨팅 모듈들의 예시를 예시하는 블록도이다.
도 6은 본 개시의 구현예에 따른, 도 5의 예시적인 VR 클라이언트 단말기와 연관된 컴퓨팅 하드웨어 컴포넌트들의 예시를 예시하는 블록도이다.
도 7은 본 개시의 구현예에 따른, 설명되는 알고리즘들, 방법들, 기능들, 프로세스들, 플로우들, 및 절차들과 연관된 컴퓨터 기능들을 제공하기 위해 사용되는 컴퓨터로 구현되는 시스템의 예시를 예시하는 블록도이다.
다양한 도면들 내의 동일한 참조 번호들 및 표시들은 동일한 엘리먼트들을 나타낸다.
이어지는 상세한 설명은 가상 현실(VR) 환경에서의 정보 입력을 위한 3차원(3D) 그래피컬 사용자 인터페이스(GUI)들을 설명하며, 개시되는 발명내용을 당업자가 하나 이상의 특정 구현예의 컨텍스트로 구현하고 사용하도록 하기 위해 제시된다. 개시되는 구현예들의 다양한 변형들, 변경들, 및 치환(permutation)들이 이루어질 수 있고 당업자에게 쉽게 명백해질 것이며, 규정된 일반적인 원리들은 본 개시의 범위로부터 벗어나지 않고 다른 구현예들 및 응용들에 적용될 수 있다. 일부 경우들에서, 설명되는 발명내용의 이해를 얻는데 불필요한 상세사항들은, 하나 이상의 설명되는 구현예를 불필요한 상세사항으로 모호하게 하지 않기 위해 그리고 그러한 상세사항들이 당업자의 기술 내에 있으므로 생략될 수 있다. 본 개시는 설명되거나 예시되는 구현예들에 제한되는 것이 아닌, 설명되는 원리들 및 특징들에 부합하는 가장 넓은 범위에 부합되도록 의도된다.
VR 기술은, 상호작용 능력들을 갖는 실감적인, 사용자가 인지하는 3D 환경("가상 세계")을 생산하기 위해 컴퓨터 프로세싱, 그래픽들, 및 다양한 유형의 사용자 인터페이스들(예를 들어, 가상 디스플레이 고글들 및 한 손 이상으로 쥐는 상호작용 컨트롤러들)을 사용한다. VR 기술의 (예를 들어, 교육, 비디오 게임들, 비지니스, 과학, 및 의학에서의) 응용들은 VR 기술에서 사용되는 컴퓨팅 하드웨어 및 소프트웨어에서의 지속적인 향상들과 함께 증가하고 있다. VR 기술이 사용자에게 가상 세계의 실감나는 생생한 시각적 경험을 제공할 수 있는 반면, 3D 환경 내의 시나리오와의 종래의 사용자 상호작용은 특히 정보 입력(예를 들어, 영숫자 텍스트 데이터)과 관련하여 어렵거나 곤란한 것으로 판명되었다. VR 기술로의 전반적인 사용자 경험을 향상시키기 위해 정보 입력의 용이성 및 속도를 증가시키는 것이 필요하다.
VR 시나리오에서 정보 입력의 용이성 및 속도를 증가시킬 수 있는 3D 사용자 인터페이스들이 설명된다. 예를 들어, 설명되는 3D 사용자 인터페이스들 및 연관된 손 기반 제스처들은 VR 환경에서 사용자에게, 특정 VR 시나리오(예를 들어, 쇼핑, 문서를 통한 네비게이팅 또는 가상 객체를 회전시키는 것)를 실행하는 동안 정보 입력을 더 자연스럽고 직관적이게 할 수 있다. 정보 입력의 개선들이 VR 기술로의 전반적인 사용자 경험을 향상시킬 수 있고, 이는 VR 기술의 응용을 추가 사용 시나리오들로 확장시키는 것을 도울 수 있다.
구현예에서, VR 단말기가 사용자에게 VR 기술과 인터페이싱하도록 사용자 인터페이스를 제공할 수 있다. 예를 들어, VR 단말기는, (예를 들어, VR 기반 애플리케이션을 사용하여) 그래픽들 및 사용자에게 3D 실감 경험을 제공하는 다른 데이터를 디스플레이하는 시각적 디스플레이들을 제공하는 사용자의 머리에 착용하는 VR 헤드셋을 포함할 수 있다.
그래픽들 및 다른 데이터는 VR 단말기에 통신가능하게 커플링되는 VR 클라이언트 단말기(예를 들어, 소프트웨어 애플리케이션)에 의해 제공된다. VR 클라이언트 단말기는 VR 환경 내의 VR 시나리오로서 개발자에 의해 개발되는 가상 현실 모델을 출력한다. 예시로서, VR 단말기는, (스마트폰 또는 태블릿과 같은) 모바일 컴퓨팅 디바이스가 시각적 유형(visual-type) 디스플레이 및 다른 컴퓨팅 기능[예를 들어, 사용자 입력, 시각적 입력, 공간적 방위, 이동 검출, 청각적 생성, 네트워크 연결, 및 다른 사용자 인터페이스 디바이스들에 대한 결합(attachment)]을 제공하도록 인서팅될 수 있는 슬라이딩 유형(sliding-type) VR 헤드셋일 수 있다. 이 예시에서, 모바일 컴퓨팅 디바이스는 전체적으로 또는 부분적으로 VR 클라이언트 단말기로서 또는 별도의 VR 클라이언트 단말기(예를 들어, 모바일 컴퓨팅 디바이스에 연결되는 PC 유형 컴퓨터)에 대한 인터페이스로서 역할할 수 있다.
정보 입력을 지원하기 위해, 다양한 유형들의 데이터 및 동작들이 일부 사용/액세스의 용이성을 제공하도록 미리 구성될 수 있다. 예를 들어, 사용자는 VR 쇼핑 시나리오에서의 사용을 위한 미리 설정된 가상 화폐(virtual currency)의 유형 및 양을 구성할 수 있다. 지불을 개시하기 위해, 사용자는 VR 환경에서 디스플레이되는 단일 "가상 화폐로 지불" 버튼을 선택하여 가상 화폐로의 지불을 개시할 수 있다. 그러나, VR 환경 내의 특정 시나리오에서 많은 양의 정보를 입력하거나 여러 액션들을 수행할 필요가 있을 때, 종래의 정보 입력 기술들이 불편하고 시간 소모적인 것으로 판명될 수 있다.
제 1 정보 입력 기술은 모바일 컴퓨팅 디바이스에 의해 제공되는 GUI를 사용하여 (지불 또는 비디오 게임 계정 로그인을 위한 패스워드와 같은) 정보를 입력하기 위해, 사용자가 VR 단말기를 벗고 VR 단말기로부터 모바일 컴퓨팅 디바이스(예를 들어, 스마트폰 또는 태블릿 유형 컴퓨터)를 떼어내는 것을 포함한다. 대안적으로, 사용자는 정보를 입력하기 위해 모바일 컴퓨팅 디바이스에 연결된 상이한 컴퓨팅 디바이스(예를 들어, PC 유형 컴퓨터 또는 다른 모바일 컴퓨팅 디바이스)를 사용할 수 있다.
제 2 정보 입력 기술은 VR 환경에서 (아이콘, 포인터, 또는 다른 그래피컬 엘리먼트와 같은) 동작 포커스를 제어하기 위해 (조이스틱, 핸들, 또는 한 손 이상으로 쥐는 다른 디바이스와 같은) 외부 입력 디바이스의 사용을 포함한다. 정보 입력을 위해, 사용자는 동작 포커스를 가상 엘리먼트의 위치로 이동시킬 수 있고 이어서 가상 엘리먼트를 선택하고 트리거하여 연관된 정보를 입력하기 위해 버튼 또는 외부 입력 디바이스에 제공된 다른 엘리먼트를 활성화(예를 들어, 클릭, 누르기, 또는 슬라이드)할 수 있다.
제 3 정보 입력 기술에서, 타임아웃 지속시간(timeout duration)이 미리 설정될 수 있고 사용자는 VR 단말기와 연관된 머리 자세(head posture) 또는 머리 제스처를 통해 VR 환경에서 동작 포커스의 위치를 제어할 수 있다. 동작 포커스가 정보 입력을 위해 희망되는 특정 가상 엘리먼트의 위치로 이동된 후, 사용자는 동작 포커스를 특정 가상 엘리먼트의 위치에 유지한다[예를 들어, 가상 엘리먼트 위에서 호버링(hovering)함]. 동작 포커스가 적어도 타임아웃 지속시간 동안 가상 엘리먼트의 위치에 유지되면, 가상 엘리먼트가 선택되고 트리거된다.
특정 예시에서, 사용자가 VR 쇼핑 시나리오에서 지불 패스워드를 입력하도록 요구된다고 가정한다. 제 1 기술에서, 사용자는 정보 입력을 완료하기 위해 VR 단말기를 벗도록 요구되고, 이는 사용자의 실감 VR 경험을 중단시키고 지불 프로세스를 완료하기 위한 추가 시간을 소요한다. 제 2 기술에서, VR 클라이언트 단말기는 (조이스틱과 같은) 외부 디바이스와 협력하도록 구성되어야 하며, 이는 하드웨어 비용을 증가시키고 VR 환경과의 상호작용에 복잡성을 도입한다. 제 3 기술에서, 사용자는 각각의 가상 엘리먼트를 트리거하기 위해 적어도 타임아웃 지속시간의 만료 동안 기다리도록 요구되며, 이는 VR 환경에서의 사용자에 의한 정보 입력의 효율성 및 신속성에 악영향을 미친다.
VR 환경에서의 사용자에 의한 정보의 효율적이고 및 신속한 입력을 위한 방법이 설명된다. VR 환경에서 3D 입력 GUI가 사용자에 의해 수행되는 미리 설정된 3D 제스처를 인식한다. 3D 제스처의 동작 위치가 계산되고, 계산된 동작 위치에 대응하는 가상 입력 엘리먼트가 결정된다. 결정된 가상 엘리먼트가 선택되고, 가상 엘리먼트와 연관된 정보가 입력을 위해 판독된다. VR 환경에서의 사용자에 의한 효율적인 정보의 입력은 일련의 신속한 3D 제스처들의 사용을 통해 가능해진다.
도 1은 본 개시의 구현예에 따른, VR 환경에서의 정보 입력을 위한 3D 입력 GUI들의 사용에 대한 방법(100)의 예시를 예시하는 플로우 차트이다. 제시의 명확성을 위해, 이어지는 설명은 일반적으로, 본 설명에서의 다른 도면들의 컨텍스트로 방법(100)을 설명한다. 그러나, 방법(100)이 예를 들어 적절하게 임의의 시스템, 환경, 소프트웨어, 및 하드웨어, 또는 시스템들, 환경들, 소프트웨어, 및 하드웨어의 조합에 의해 수행될 수 있다는 점이 이해될 것이다. 일부 구현예들에서, 방법(100)의 다양한 단계들이 병렬로, 조합으로, 루프들로, 또는 임의의 순서로 수행될 수 있다.
단계(102)에서, 감지 하드웨어로부터 손 변위 데이터가 수신된다. 단계(102)로부터, 방법(100)은 단계(104)로 진행한다.
단계(104)에서, 수신된 손 변위 데이터가 3D 제스처 인식 알고리즘을 사용하여 분석된다. 단계(104)로부터, 방법(100)은 단계(106)로 진행한다.
단계(106)에서, 3D 제스처가 인식되었는지의 여부에 대한 결정이 이루어진다. 사용자의 3D 제스처(3D 제스처들의 예시들에 대해 도 4 참조)가 VR 환경에서 인식되면서 VR 단말기에 디스플레이되는 VR 시나리오를 실행한다. 3D 제스처는 깊이 정보를 가지며 (예를 들어, VR 단말기에 커플링된 가상 센서들에 의해 캡처된 손 변위 데이터를 통해) 인식되는 사용자 제스처이다. 깊이 정보는 가상 현실 시나리오의 Z축에 대한 사용자 제스처의 좌표 정보를 지칭한다. 예를 들어, 3차원 공간 내의 포인트가 3차원 좌표들을 통해 (X, Y, 및 Z로) 표현될 수 있다. 이 경우, 포인트에 대응하는 Z축 좌표값은 X축 및 Y축에 대한 깊이 정보로서 지칭될 수 있다. 3D 제스처가 인식되면, 방법(100)은 단계(108)로 진행한다. 3D 제스처가 인식되지 않으면, 방법(100)은 단계(102)로 리턴한다.
단계(108)에서, 인식된 3D 제스처의 3D 제스처 모델이 생성된다. 단계(108)로부터, 방법(100)은 단계(110)로 진행한다.
단계(110)에서, 3D 제스처 모델은 하나 이상의 미리 설정된 3D 제스처 모델과 비교된다. 특정 3D 제스처들이 어떤 3D 입력 GUI들에 대해 적용가능하게 미리 설정될 수 있다. 단계(110)로부터, 방법(100)은 단계(112)로 진행한다.
단계(112)에서, 인식된 3D 제스처가 미리 설정된 3D 제스처인지의 여부에 대한 결정이 단계(110)에서의 비교에 기반하여 이루어진다. 인식된 3D 제스처가 미리 설정된 3D 제스처라고 결정되면, 방법(100)은 단계(114)로 진행한다. 인식된 3D 제스처가 미리 설정된 3D 제스처가 아니라고 결정되면, 방법(100)은 단계(102)로 리턴한다. 단계(112)로부터, 방법(100)은 단계(114)로 진행한다.
단계(114)에서, 미리 설정된 3D 제스처의 동작 위치가 3D 입력 GUI와 관련하여 계산된다. 3D 입력 GUI는 VR 시나리오에서 출력되고 정보 입력을 위해 사용되는 3D 인터페이스를 지칭한다. 3D 입력 GUI는 몇몇 가상 입력 엘리먼트들을 포함할 수 있고, 각각의 가상 입력 엘리먼트는 대응하는 입력 정보의 일부를 나타낼 수 있다. 예를 들어, 구현예에서, 3D 입력 GUI는 3D 가상 키보드("3D 에어 키보드")일 수 있다. 이 경우, 몇몇 가상 입력 엘리먼트들은 3D 가상 키보드의 일부로서 포함되는 몇몇 가상 "키들"일 수 있고, 각각의 가상 키는 대응하는 입력 글자(character)를 나타낸다. 설명되는 이 구현예에서, 사용자가 VR 단말기를 착용한 상태에서 VR 시나리오에서의 정보 입력을 신속히 완료하도록 하기 위해, VR 시나리오와 연관된 3D 가상 키보드가 실감 3D VR 환경에 출력될 수 있다. VR 단말기를 착용한 상태에서, 사용자는 VR 환경 내의 VR 시나리오와 연관된 특정 3D 제스처를 수행할 수 있다.
3D 제스처는 3D 가상 키보드와 연관된 가상 입력 엘리먼트(키)를 트리거할 수 있다. 단계(114)로부터, 방법(100)은 단계(116)로 진행한다.
단계(116)에서, 3D 입력 GUI의 가상 입력 엘리먼트가 계산된 동작 위치에 대응하여 선택된다. 단계(116)로부터, 방법(100)은 단계(118)로 진행한다.
단계(118)에서, 선택된 가상 입력 엘리먼트와 대응하는 입력 정보가 판독된다. 단계(118) 후, 방법(100)은 중단된다.
일부 구현예들에서, 기술적 솔루션은 3개의 특정 스테이지들을 포함한다: 1) VR 시나리오 모델의 제작; 2) 3D 제스처의 인식; 및 3) 정보 입력.
1) VR 시나리오 모델의 제작
일부 구현예들에서, VR 개발자는 모델링 툴(예를 들어, UNITY, 3DSMAX, 또는 PHOTOSHOP)을 사용함으로써 VR 시나리오 모델의 제작을 완료할 수 있다. 모델링 툴은, 예를 들어 등록물(proprietary), 상업물(commercial), 오픈 소스, 또는 이러한 유형들의 모델링 툴들의 조합일 수 있다.
일부 경우들에서, VR 시나리오와 연관된 VR 시나리오 모델 및 텍스처 맵(texture map)(들)이 실세계 시나리오들로부터 획득될 수 있다. 예를 들어, 자료(material)의 텍스처 맵 및 실제 시나리오의 평면 모델이 사전 촬영에 의해 획득될 수 있다. 모델링 툴을 사용하여, 텍스처가 프로세싱될 수 있고 실제 시나리오의 3D 모델이 확립된다. 일부 구현예들에서, 프로세싱된 텍스처 및 3D 모델이 UNITY3D 플랫폼에 불러와질 수 있고(imported) 여러 측면(UNITY3D 플랫폼 내의 사운드 효과, GUI, 플러그인, 및 조명)에서 이미지 렌더링이 실행된다. 이어서 상호작용 소프트웨어 코드가 VR 시나리오 모델에 대해 기록된다. VR 시나리오에서 신속한 정보 입력을 가능하게 하도록 VR 시나리오 모델과의 사용을 위해 정보 입력용 3D 입력 GUI가 또한 제작될 수 있다. 본 개시에 부합하는 VR 시나리오와의 사용을 위한 임의의 입력 GUI는 상이한 차원들의 입력 GUI[예를 들어, 2차원(two-dimensional; 2D) GUI 또는 4차원(four-dimensional; 4D) GUI]를 포함하여 본 개시의 범위 내에 있는 것으로 간주된다.
도 2는 본 개시의 구현예에 따른, VR 환경에서의 정보 입력을 위한 3D 입력 GUI를 예시하는 도면(200)이다. 예시된 바와 같이, 3D 입력 GUI(202)(예를 들어, "3D 에어 키보드")는 10개의 3D 가상 입력 엘리먼트들("키들")[예를 들어, 가상 입력 엘리먼트(204)는 숫자 '3'에 대응함]을 포함한다. 3D 입력 GUI(202)는, 10개의 3D 가상 입력 엘리먼트들이 2개의 행들로 타일링(tiling)된, VR 환경(210)에 디스플레이되는 VR 시나리오의 일부로서 사용자(208)의 사용자 필드(206)에 디스플레이된다.
특정 VR 시나리오에서, 사용자(208)는 패스워드와 같은 디지털 정보의 입력을 완료하기 위해, 특정 3D 제스처를 사용하여 특정 가상 입력 엘리먼트[예를 들어, 가상 입력 엘리먼트(204)]를 선택할 수 있다. 예를 들어, 도 2는 사용자가 VR 환경(210) 내의 위치(214)에서 3D 제스처(212)(한 손가락 클릭/탭)를 수행하는 것을 도시한다. 위치(214)는 VR 환경(210) 내에 가상 입력 엘리먼트(204)("3" 키)가 위치되는 곳에 대응한다. 가상 입력 엘리먼트(204)를 선택하는 것은 숫자 '3'의 입력을 완료한다.
도 3은 본 개시의 구현예에 따른, VR 환경에서의 정보 입력을 위한 상이한 3D 입력 GUI를 예시하는 도면이다. 예시된 바와 같이, 3D 입력 GUI(302)(예를 들어, "3D 디지털 매직 큐브 키보드")는 27개의 3D 가상 입력 엘리먼트들("키들")[예를 들어, 가상 입력 엘리먼트(304)는 숫자 '3'에 대응함]을 포함한다. 3D 입력 GUI(302)는, 27개의 3D 가상 입력 엘리먼트들이 큐브형으로 배열된, VR 환경(310)에 디스플레이되는 VR 시나리오의 일부로서 사용자(308)의 사용자 필드(306)에 디스플레이된다. 일부 구현예들에서, 가상 입력 엘리먼트들 상에 디스플레이되는 숫자들 또는 다른 데이터(예를 들어, 이미지들 또는 심볼들)는 특정 패턴들로 또는 무작위로 디스플레이될 수 있다.
특정 VR 시나리오에서, 사용자(308)는 패스워드와 같은 디지털 정보의 입력을 완료하기 위해, (한 손가락 클릭/탭과 같은) 특정 3D 제스처를 사용하여 특정 가상 입력 엘리먼트[예를 들어, 가상 입력 엘리먼트(304)]를 선택할 수 있다. 다른 가상 입력 엘리먼트들에 액세스하기 위해, 사용자는 다른 3D 제스처들을 수행할 수 있다. 예를 들어, 도 3은 사용자가 VR 환경(310) 내의 위치(314)에서 3D 제스처(312)(두 손가락 회전)를 수행하는 것을 도시한다. 위치(314)는 VR 환경(310) 내에 가상 입력 엘리먼트(304)("3" 키)가 위치되는 곳에 너무 대략 대응한다. 3D 제스처(312)가 수행되면, 가상 입력 엘리먼트들의 큐브는 반시계 방향으로 회전할 것이며 다른 가상 입력 엘리먼트들이 선택되는 것을 가능하게 할 것이다.
당업자에 의해 이해될 바와 같이, 도 2 및 도 3에 예시된 3D 입력 GUI들은 3D 입력 GUI들의 특정적인 가능한 구현예들일 뿐이다. 도 2 및 도 3은 임의의 방식으로 본 개시를 제한하도록 의미되는 것은 아니다. 본 개시에 부합하는 다른 3D 입력 GUI들이 또한 본 개시의 범위 내에 있는 것으로 간주된다.
(이전에 설명된 바와 같은) VR 시나리오 모델의 완료 및 연관된 3D 입력 GUI의 모델링에 이어서, VR 클라이언트 단말기에 연결된 (VR 헤드셋과 같은) VR 단말기를 통해 사용자에게 VR 시나리오 모델 및 3D 입력 GUI를 출력하기 위해 VR 클라이언트 단말기가 사용될 수 있다.
일부 구현예들에서, 디폴트로, VR 클라이언트 단말기가 VR 환경에서 사용자에게 VR 시나리오 모델만을 출력할 수 있다. 사용자가 VR 시나리오와 연관된 실감 경험 동안 정보를 입력할 필요가 있을 때, VR 클라이언트 단말기는 (가상 버튼과 같은) 현재의 가상 트리거 엘리먼트와 관련하여 사용자에 의해 이루어진 미리 설정된 3D 제스처를 트리거한 것에 응답하여 VR 환경 내에 연관된 3D 입력 GUI를 출력할 수 있다.
예시로서, VR 단말기를 착용하고 VR 시나리오에 관여하는 사용자는 3D 입력 GUI를 디스플레이하도록 가상 트리거 엘리먼트를 트리거할 수 있다. 특정 예시로서, 사용자는, 사용자가 고르고 구매를 위해 선택하는 몇몇 상품들이 제시될 수 있는 VR 쇼핑 시나리오에 참여할 수 있다. 선택된 상품에 대한 지불을 완료하기 위해, 사용자는 특정한 미리 설정된 3D 제스처를 통해 VR 환경에서 "구매/지불" 가상 버튼을 선택할 수 있다. 이 경우, VR 클라이언트 단말기는 VR 시나리오에서의 사용을 위해 VR 환경에 (가상 키보드와 함께) 3D 입력 GUI "3D 체크아웃 카운터"를 출력한다. 사용자는 "3D 체크아웃 카운터"를 사용하여, 반복되는 3D 제스처들을 통해 정보의 입력을 선택하고 트리거할 수 있다.
2) 3D 제스처의 인식
일부 구현예들에서, 사용자가 VR 단말기를 착용하고 있을 때, VR 환경에서 디스플레이되는 VR 시나리오와 상호작용하기 위해, 사용자는 (조이스틱, 햅틱 글러브들, 또는 다른 디바이스들과 같은) 보조 하드웨어 디바이스들을 사용할 필요가 없고, 공중에 자신들의 앞에 자신들의 손들로 3D 제스처들을 형성할 수 있다. 형성된 3D 제스처들은 VR 시나리오와 연관된 3D 입력 GUI와 관련하여 캡처되고, 분석되고, [증강 현실(augmented reality)과 유사하게] VR 환경에 디스플레이된다. 다른 구현예들에서, 사용자는 본 개시에 부합하는 동작 포커스를 제어하고 선택들, 또는 다른 액션들을 수행하기 위해 보조 하드웨어 디바이스들을 사용할 수 있다.
사용자는 VR 시나리오에 의해 제공되는 [가상 버튼, 동작가능 제어(operable control), 또는 페이지와 같은] 가상 엘리먼트를 선택하기 위해 특정 3D 제스처를 수행할 수 있다. 당업자에 의해 이해될 바와 같이, 본 개시는 예시된 3D 제스처들에만, 또한 본 개시에 부합하는 임의의 제스처(3D 또는 기타)에 제한되는 것은 아니다. 예를 들어, 3D 제스처는 (단순 클릭/탭 제스처와 같이) 단순하거나 (가상 엘리먼트를 선택하기 위한 특정 제스처와 같이) 복잡할 수 있다. 3D 제스처들은 또한 (특정 손 자세와 같이) 정적이거나 (쥐기, 드래그, 및 회전과 같이) 동적일 수 있다. 일부 구현예들에서, 3D 제스처들은, VR 시나리오의 특정 요구사항들에 기초하거나 다른 VR 컨텐츠 제공자들과 관련하여 차이들을 구분 짓기 위해 커스터마이징될 수 있다.
도 4는 본 개시의 구현예에 따른, VR 환경에서 가상 엘리먼트를 선택하고 트리거하기 위해 사용될 수 있는 예시적인 3D 제스처들을 예시하는 도면(400)이다. 도 4는 예시적인 3D 제스처들을 예시한다:
● 402a - 턴/회전(두 손가락)
● 402b - 스프레드(두 손가락)
● 402c - 핀치(두 손가락)
● 402d - 턴/회전(다섯 손가락)
● 402e - 클릭/탭(두 손가락)
● 402f - 스와이프(한 손가락)
● 402g - 핀치(다섯 손가락)
일부 구현예들에서, 404는 특정 VR 시나리오에 대해 VR 환경에서 디스플레이되는 GUI 엘리먼트일 수 있다. GUI 엘리먼트(404)는 특정 VR 시나리오에 적용가능한 3D 제스처들과 관련하여 사용자에게 정보를 제공하도록 디스플레이될 수 있다.
일부 구현예들에서, VR 클라이언트 단말기는, VR 단말기에 커플링되는 감지 하드웨어를 통해 그리고 미리 설정된 3D 제스처 인식 알고리즘과 조합하여, VR 시나리오에서 사용자에 의해 수행되는 3D 제스처를 인식할 수 있다. 일부 구현예들에서, VR 클라이언트 단말기는 감지 하드웨어를 사용하여 실시간으로 사용자 손 변위를 추적할 수 있다. 감지 하드웨어는 손 변위 데이터(예를 들어, 위치 좌표들 및 이동 트랙)를 수집하고 분석/프로세싱을 위해 VR 클라이언트 단말기에 전송할 수 있다.
일부 구현예들에서, 감지 하드웨어는 예를 들어, 이미지 관련 시각적, (적외선 및 자외선과 같은) 비시각적, 레이저, 레이더, 및 초음파 데이터를 수집하기 위한 하나 이상의 센서를 포함할 수 있다. 일부 구현예들에서, 3D 제스처는 예를 들어, 이중 카메라 양안 이미징 솔루션(dual-camera binocular imaging solution), TOF(Time-of-Flight) 유형 솔루션, 구조화된 광 솔루션(structured light solution), 및 마이크로 레이더 솔루션을 사용함으로써 인식될 수 있다.
이중 카메라 양안 이미징 솔루션에 기반한 3D 제스처 인식과 관련하여, 감지 하드웨어는 하나 이상의 이미지 센서를 포함할 수 있다. VR 클라이언트 단말기는 이중 카메라 이미지 센서를 통해 실시간으로 사용자의 손 변위를 추적할 수 있고, 분석/프로세싱을 위해 사용자의 손 변위 데이터를 수집할 수 있다. VR 클라이언트 단말기는, VR 시나리오의 X/Y/Z축들과 관련하여 사용자의 손의 회전량 및 오프셋을 계산하기 위해, 3D 제스처 인식 알고리즘을 사용하여 사용자의 손 변위 데이터에 대한 계산들을 수행한다. VR 클라이언트 단말기는 3D 제스처 모델링을 수행하여 최종 3D 제스처 모델을 생성하기 위해, 계산된 회전량 및 오프셋을 사용한다.
TOF 솔루션에 기반한 3D 제스처 인식과 관련하여, 감지 하드웨어는 적외선 센서를 포함할 수 있다. 구조화된 광 솔루션에 기반한 3D 제스처 인식과 관련하여, 감지 하드웨어는 레이저 센서를 포함할 수 있다. 마이크로 레이더 솔루션에 기반한 3D 제스처 인식과 관련하여, 감지 하드웨어는 레이더 센서를 포함할 수 있다. 일반적인 구현예들에서, TOF 솔루션, 구조화된 광 솔루션, 및 마이크로 레이더 솔루션에 기반하여 사용자의 3D 제스처를 인식하는 것은 이중 카메라 양안 이미징 솔루션과 기본적으로 동일하다. 설명된 솔루션들 각각에서, 3D 제스처 모델링을 가능하게 하기 위해 (예를 들어, 손 변위 데이터에 기반한 회전량 및 오프셋을 사용하여) 깊이 정보가 계산된다.
손 변위 데이터를 수신한 후, VR 클라이언트 단말기는 3D 제스처가 인식되었는지의 여부를 결정하기 위해, 미리 설정된 3D 제스처 인식 알고리즘을 사용하여 손 변위 데이터를 분석할 수 있다. 3D 제스처가 인식되었으면, 인식된 3D 제스처가 미리 설정된 3D 제스처인지의 여부에 대한 결정이 이루어질 수 있다.
일부 구현예들에서, 3D 제스처 인식 알고리즘을 사용하여 3D 제스처를 인식할 때, VR 클라이언트 단말기는 수집된 손 변위 데이터에 기반하여 VR 시나리오의 X/Y/Z축들과 관련하여 사용자의 손의 회전량 및 오프셋을 계산할 수 있다. 일부 구현예들에서, X/Y/Z축들과 관련한 회전량은 편향각(deviation angle)으로 지칭될 수 있는데, 사용자의 손 상의 미리 선택된 특징점(feature point)이 사용자의 손이 특정 3D 제스처를 수행할 때 회전축으로서 역할하는 VR 시나리오의 X/Y/Z축들과 관련하여 편향각만큼 회전된다. 일부 구현예들에서, 오프셋은, 사용자의 손이 특정 3D 제스처를 수행할 때의 사용자의 손 상의 미리 선택된 특징점으로부터 VR 시나리오의 X/Y/Z축들까지의 수평 거리로 지칭될 수 있다.
획득된 회전량 및 오프셋에 기반하여 VR 클라이언트 단말기에 의해 3D 제스처의 3D 모델링이 실행될 수 있다. 3D 제스처의 3D 모델(3D 제스처 모델)이 완료되면, 3D 제스처의 인식이 완료된 것으로 간주된다.
회전량과 오프셋을 조합하는 것은 사용자의 손에 의한 3D 제스처의 수행과 연관된 깊이 정보의 정확한 결정을 가능하게 한다. 결정된 깊이 정보에 기반한 3D 제스처의 3D 모델링은 사용자의 3D 제스처를 정확히 나타낼 수 있다.
VR 클라이언트 단말기는 VR 시나리오에서 특정 가상 엘리먼트들을 선택하기 위해, 미리 설정된 3D 제스처를 미리 규정할 수 있다. 3D 제스처를 인식할 때, VR 클라이언트 단말기는 인식된 3D 제스처가 특정한 미리 설정된 3D 제스처인지의 여부를 식별할 수 있다. 예를 들어, 생성된 3D 제스처 모델은 (도 4에 예시된 3D 제스처들과 같은) 미리 설정된 3D 제스처들과 연관된 3D 제스처 모델들과 비교될 수 있다. 인식된 3D 제스처가 미리 설정된 3D 제스처인 것으로 결정되면, VR 클라이언트 단말기는 미리 설정된 3D 제스처와 연관된 액션(예를 들어, 특정 가상 엘리먼트를 선택함)을 수행할 수 있다.
VR 단말기를 착용한 상태에서, VR 단말기의 외측의 사용자 시야가 일반적으로 제한되고 사용자는 자신의 손에 의해 이루어지는 실제 3D 제스처를 볼 수 없다. 이 때문에, 사용자의 손과 연관된 3D 제스처의 정확성 및 위치가 영향받을 수 있다. 이 문제들을 완화하기 위해, VR 클라이언트 단말기는 VR 시나리오와 관련하여 VR 환경에서 동작 포커스를 출력할 수 있다. 동작 포커스는 사용자의 3D 제스처에 대응하고 실시간으로 공간적 변위를 반영하도록 구성된다. 예를 들어, VR 클라이언트 단말기는, VR 환경에서의 디스플레이를 위해 사용자의 손의 동작 위치를 실시간으로 계산할 수 있다. 동작 위치는 사용자의 손을 실시간으로 추적함으로써 감지 하드웨어에 의해 수집되는 손 변위 데이터를 사용하여 계산된다. 이 방식으로, 사용자의 실세계 3D 제스처들이 VR 환경에서 실시간으로 디스플레이되고 이동하는 동작 포커스에 의해 나타내어질 수 있다.
일부 구현예들에서, 동작 포커스는 아이콘, 포인터, 또는 다른 그래피컬 엘리먼트(예를 들어, 사람 손의 나타냄)를 포함할 수 있다. 동작 포커스는 또한 사용자에 의해 수행되는 3D 제스처를 시뮬레이션하도록 애니메이션화될 수 있다. 예를 들어, VR 클라이언트 단말기는 사용자의 손의 깊이 정보에 기반하여 3D 제스처 모델링에 의해 사용자의 3D 제스처에 대응하는 3D 제스처 모델을 생성한다. 3D 제스처 모델이 일반적으로 (사용자의 손의 위치 좌표들 및 변위 변화와 같은) 사용자의 손과 연관된 정확한 파라미터들을 나타내기 때문에, 대응하는 3D 제스처 애니메이션이 3D 제스처 모델을 사용함으로써 렌더링될 수 있다. 렌더링된 3D 제스처 애니메이션은, 연관된 3D 제스처를 수행하는 사용자의 손의 동시적 공간 변위에 대응하는 동작 포커스로서 사용될 수 있다.
VR 시나리오에서 실감할 때, 사용자는 디스플레이된 동작 포커스의 사용을 통해 자신의 손에 의해 현재 이루어지고 있는 특정 3D 제스처를 실시간으로 정확히 관찰할 수 있다. 일부 구현예들에서, VR 클라이언트 단말기는 사용자에게 자신의 특정 3D 제스처를 하나 이상의 미리 설정된 3D 제스처에 부합하도록 변경/수정하도록 (예를 들어, 제공되는 애니메이션들로) 시각적으로 유도(visually prompt)할 수 있다. 이 방식으로, 사용자는 부정확하거나, 의도치 않거나, 또는 알려지지 않은 제스처에 의해 유발되는 잘못된/실패적 입력의 가능성을 감소시키기 위해 자신의 3D 제스처의 형성을 정정할 수 있다.
일부 구현예들에서, VR 클라이언트 단말기는 사용자의 3D 제스처의 생성된 3D 제스처 모델에 대한 매칭을 위해 미리 설정된 3D 제스처 모델들을 저장할 수 있다. 사용자의 3D 제스처의 인식시, VR 클라이언트 단말기는 생성된 3D 제스처 모델 및 미리 설정된 3D 제스처 모델로부터 몇몇 대응하는 특징점들을 선택할 수 있다. VR 클라이언트 단말기는, 사용자의 3D 제스처가 미리 설정된 3D 제스처에 대응하는지의 여부를 결정하기 위해 VR 시나리오의 X/Y/Z축들과 관련한 회전량들 및 오프셋들이 매칭되는지 결정하도록, 선택된 특징점들을 사용하여 매칭 동작들을 수행한다. 생성된 3D 제스처 모델과 미리 설정된 3D 제스처 모델 사이의 특징점들의 정확한 매칭이 불가능함에 따라, VR 클라이언트 단말기는 생성된 3D 제스처 모델과 미리 설정된 3D 제스처 모델 사이의 매칭 유사도를 미리 설정된 문턱값을 사용하여 결정할 수 있다. 예를 들어, 미리 설정된 문턱값이 충족되거나 초과되면, 생성된 3D 제스처 모델과 미리 설정된 3D 제스처 모델이 매칭되는 것으로 간주될 수 있다. 일부 구현예들에서, 매칭은 VR 클라이언트 단말기에 의해 실행되는 미리 설정된 유사도 알고리즘에 의해 결정될 수 있다. 미리 설정된 문턱값은 VR 시나리오의 특정 요구들에 따라 상이한 값들로 설정될 수 있다[예를 들어, 세밀한(fine-grained) 선택들을 요하는 액션들은 높은 값을 갖는 미리 설정된 문턱값을 가질 수 있는 반면, 일반적인 회전 동작은 낮은 값을 갖는 미리 설정된 문턱값을 가질 수 있다].
3) 정보 입력
사용자의 3D 제스처가 미리 설정된 3D 제스처라고 VR 클라이언트 단말기가 결정했을 때, VR 클라이언트 단말기는 VR 환경 내의 3D 제스처의 동작 위치를 계산할 수 있고, 이어서 동작 위치에 대응하는 VR 시나리오와 연관된 가상 엘리먼트를 선택할 수 있다. 예를 들어, VR 클라이언트 단말기는, 실시간으로 사용자의 손을 추적함으로써 감지 하드웨어에 의해 수집되는 손 변위 데이터에 따라 VR 환경 내의 사용자의 손의 동작 위치를 실시간으로 계산할 수 있다. 동작 위치를 계산한 후, VR 클라이언트 단말기는 동작 위치에 대응하는 가상 엘리먼트에 대한 VR 시나리오를 서치할 수 있고, 이어서 가상 엘리먼트를 선택할 수 있다.
사용자의 3D 제스처에 대응하는 동작 포커스가 VR 환경에 이미 디스플레이되어 있는 경우에는, VR 클라이언트 단말기는 또한 VR 환경 내의 사용자의 손의 동작 위치를 결정하기 위해 동작 포커스의 위치를 찾을 수 있다. 여기서, VR 클라이언트 단말기는 동작 포커스에 의해 VR 시나리오 내에 나타내어진 가상 엘리먼트에 대해 서치할 수 있고, 이어서 가상 엘리먼트를 선택할 수 있다.
일부 구현예들에서, 사용자에 의해 이루어지는 3D 제스처와 연관된 긴 지속시간에 의해 유발되는 가능한 동작 실패들을 감소시키기 위해, VR 클라이언트 단말기는 3D 제스처가 유효한지의 여부를 나타내는 미리 설정된 지속시간 문턱값을 설정할 수 있다. 사용자의 3D 제스처를 인식한 후, VR 클라이언트 단말기는 3D 제스처의 전체 지속시간(즉, 사용자가 제스처를 시작한 순간부터 제스처가 끝나는 순간까지의 시간차)을 계산할 수 있고, 이어서 3D 제스처의 지속시간이 미리 설정된 지속시간 문턱값보다 낮은지의 여부를 결정할 수 있다. 3D 제스처의 지속시간이 미리 설정된 지속시간 문턱값보다 낮으면, 3D 제스처는 유효한 것으로 간주된다. 3D 제스처의 지속시간이 미리 설정된 지속시간 문턱값 이상이면, 3D 제스처는 유효하지 않은 것으로 간주된다. 유효한 것으로 결정되면, VR 클라이언트 단말기는 이어서 3D 제스처가 미리 설정된 3D 제스처인지의 여부를 결정할 수 있다.
미리 설정된 지속시간 문턱값은 특정 VR 시나리오들 및 VR 관련 동작들에 따라 변화할 수 있다. 예를 들어, 미리 설정된 지속시간 문턱값은, 사용자가 VR 시나리오에서 가상 엘리먼트를 선택하기 위해 짧은 기간(period of time) 내에 미리 설정된 3D 제스처를 빠르게 형성할 수 있도록 (2초와 같이) 짧은 지속시간으로 설정될 수 있다.
사용자가 VR 클라이언트 단말기를 트리거하여 미리 설정된 3D 입력 GUI를 출력할 수 있도록 하는 미리 설정된 가상 트리거 엘리먼트가 VR 시나리오 내에 미리 제공된다고 가정한다. 예를 들어, VR 환경에서 VR 시나리오와 인터페이싱하면서 정보를 입력할 필요가 있으면, 사용자는 (예를 들어, 동작 포커스를 가상 트리거 엘리먼트 위에서 호버링하게 유지함으로써) 동작 포커스를 가상 트리거 엘리먼트가 위치된 곳으로 이동시켜 가상 트리거 엘리먼트를 트리거할 수 있다. 특정 예시로서, 사용자는 (조이스틱 또는 핸들과 같은) 외부 디바이스를 사용함으로써 동작 포커스의 이동을 제어할 수 있다. 대안적으로, 사용자가 머리 이동/자세를 통해 또는 손의 이동을 통해 동작 포커스의 이동을 제어할 수 있도록, VR 단말기에 중력 센서가 미리 설치될 수 있거나, 사용자가 대응 중력 감지 수단을 손에 착용할 수 있다.
동작 포커스가 가상 트리거 엘리먼트 위에서 호버링하는 것이 유지된 후, 사용자는 미리 설정된 3D 제스처를 동작 포커스에 의해 나타내어지는 위치에서 손으로 행할 수 있다. 사용자에 의해 행해진 3D 제스처가 미리 설정된 3D 제스처임을 VR 클라이언트 단말기가 인식한 후에는, 동작 포커스가 가상 트리거 엘리먼트 위에서 호버링하는 것이 유지되기 때문에 동작 포커스에 의해 나타내어지는 가상 엘리먼트는 작동(actuation)을 위한 가상 트리거 엘리먼트로 간주된다. VR 클라이언트 단말기는 가상 트리거 엘리먼트를 선택할 수 있고, VR 시나리오를 트리거하여 3D 입력 GUI를 출력할 수 있다.
3D 입력 GUI가 VR 단말기에 디스플레이된 후, 사용자는 3D 입력 GUI와 연관된 가상 입력 엘리먼트들에 의해 나타내어지는 정보를 입력할 수 있다. 사용자의 입력 요구사항(들)에 기반하여, 사용자는 동작 포커스가 특정 가상 입력 엘리먼트 위를 호버링하도록 할 수 있고, 이어서 특정 가상 입력 엘리먼트를 선택하기 위해 자신의 손으로 미리 설정된 3D 제스처를 형성할 수 있다. 일부 구현예들에서, 가상 트리거 엘리먼트를 선택하기 위한 미리 설정된 3D 제스처는 3D 입력 GUI에서 가상 입력 엘리먼트를 선택하기 위한 미리 설정된 3D 제스처와 동일하거나 상이할 수 있다.
사용자에 의해 행해진 3D 제스처가 미리 설정된 3D 제스처라고 결정한 후, VR 클라이언트 단말기는 3D 제스처의 동작 위치를 VR 시나리오와 관련하여 계산할 수 있다. VR 클라이언트 단말기는 이어서 동작 위치에 대응하는 특정 가상 입력 엘리먼트에 대한 3D 입력 GUI를 서치할 수 있고, 특정 가상 입력 엘리먼트를 선택할 수 있다. 일부 구현예들에서, VR 클라이언트 단말기는 3D 입력 GUI에서 가상 입력 엘리먼트를 강조할 수 있다. 예를 들어, 선택된 가상 입력 엘리먼트는 3D 입력 GUI에서 (가령, 상이한 컬러 또는 플래시를 사용하여) 하이라이트될 수 있다.
3D 입력 GUI에서의 가상 입력 엘리먼트의 선택에 이어서, VR 클라이언트 단말기는 가상 입력 엘리먼트에 대응하는 정보(예를 들어, 문자 또는 숫자)를 판독할 수 있다. 판독 정보는 이어서 정보 입력을 위해 사용될 수 있다. 사용자는 추가 정보(예를 들어, 패스워드를 형성하는 일련의 영숫자 글자들)를 입력하기 위해 추가 가상 입력 엘리먼트들을 선택할 수 있다. 지불 패스워드가 입력되는 경우, 입력된 지불 패스워드가 (예를 들어, 지불 서버에 의해) 검증된 후, 선택된 상품의 구매가 완료될 수 있다.
도 5는 본 개시의 구현예에 따른, VR 클라이언트 단말기와 연관된 입력 동작들을 위해 사용되는 컴퓨팅 모듈들(500)의 예시를 예시하는 블록도이다. VR 시나리오가 VR 환경에서 가상 현실 클라이언트 단말기에 의해 출력되고 VR 단말기에 의해 디스플레이된다. VR 시나리오는 3D 입력 GUI를 포함한다. 일부 구현예들에서, VR 시나리오는 VR 시나리오에서 3D 입력 GUI의 출력을 트리거하기 위해 사용되는 미리 설정된 가상 트리거 엘리먼트를 포함한다. 일부 구현예들에서, 3D 입력 GUI는 3D 가상 키보드일 수 있고, 가상 입력 엘리먼트는 3D 가상 키보드와 연관된 가상 키일 수 있다. VR 시나리오는 3D 제스처에 대응하는 동작 포커스를 포함하고, 동작 포커스는 VR 시나리오에서 3D 제스처와의 동시적 변위를 갖는다. 일부 구현예들에서, 동작 포커스는 3D 제스처를 시뮬레이션하는 애니메이션으로서 디스플레이된다.
일부 구현예들에서, 인식 모듈(501)은 VR 시나리오에서 사용자의 3D 제스처를 인식하도록 구성된다. 일부 구현예들에서, 인식 모듈(501)은 또한, 1) 미리 설정된 감지 하드웨어를 사용함으로써 사용자의 손 변위를 추적하고; 2) 감지 하드웨어에 의해 수집되는 사용자의 손 변위 데이터를 획득하며; 3) 사용자의 손의 회전량 및 오프셋을 손 변위 데이터에 기반하여 VR 시나리오의 X/Y/Z축과 관련하여 계산하고; 4) 대응하는 3D 제스처를 얻기 위해, 회전량 및 오프셋에 기반하여 3D 모델링을 수행하도록 구성된다. 판단 모듈(502)은 사용자의 3D 제스처가 인식되었을 때, 인식된 3D 제스처가 미리 설정된 3D 제스처인지의 여부를 결정하도록 구성된다. 계산 모듈(503)은, 인식된 3D 제스처가 미리 설정된 3D 제스처이면, 3D 입력 GUI에 대응하는 3D 제스처의 동작 위치를 계산하도록 구성된다. 일부 구현예들에서, 계산 모듈(503)은 또한, 1) 3D 입력 GUI에 대응하는 3D 제스처의 동작 위치를 계산하기 전에 3D 제스처의 지속시간을 계산하고; 2) 3D 제스처의 지속시간이 미리 설정된 문턱값보다 낮은지의 여부를 판단하고; 3) 3D 제스처의 지속시간이 미리 설정된 문턱값보다 낮으면, 3D 입력 GUI에 대응하는 3D 제스처의 동작 위치를 계산하는 동작을 실행하도록 구성된다. 입력 모듈(504)은, 3D 입력 GUI와 연관되고 계산된 동작 위치에 대응하는 가상 입력 엘리먼트를 선택하도록 구성된다. 입력 모듈(504)은 또한, 가상 입력 엘리먼트에 의해 나타내어지는 입력 정보를 판독하도록 구성된다. 일부 구현예들에서, 입력 모듈(504)은 또한, 선택된 가상 입력 엘리먼트를 3D 입력 GUI에서 강조하도록 구성된다. 출력 모듈(505)은, 동작 위치가 가상 트리거 엘리먼트가 위치된 곳에 대응할 때 3D 입력 GUI를 출력하도록 구성된다.
도 6은 본 개시의 구현예에 따른, 도 5의 예시적인 VR 클라이언트 단말기와 연관된 컴퓨팅 하드웨어 컴포넌트들(600)의 예시를 예시하는 블록도이다. 도 6에 예시된 바와 같이, VR 클라이언트 단말기는 중앙 프로세싱 유닛(central processing unit; CPU)(602), 컴퓨터 메모리(604), 비휘발성 스토리지 디바이스(606), 네트워크 인터페이스(610), 및 내부 버스(612)를 포함한다. 일부 구현예들에서, 도 6은 도 7에 예시된 컴퓨팅 시스템을 포함할 수 있거나 도 7에 예시된 컴퓨팅 시스템에 포함될 수 있다. 일부 구현예들에서, 도 6 및 도 7에 예시된 일부 또는 모든 컴포넌트들은 동일한 것으로 간주될 수 있다[예를 들어, CPU(602)/프로세서(705) 및 메모리(604)/메모리(707)]. 일부 구현예들에서, VR 클라이언트 단말기와 연관된 입력 동작들을 위해 사용되는 컴퓨팅 모듈들(500)이 (소프트웨어 하드웨어 조합 로직 컴퓨팅 시스템으로서) 메모리(604)에 로딩되고, 저장되고, CPU(602)에 의해 실행될 수 있다.
당업자는 본 명세서의 고려 및 개시되는 발명내용의 실시에 따라 본 개시의 다른 구현들을 구상할 것이다. 본 개시는, 본 개시의 일반적인 원리들에 부합하는 변화물들, 사용법들, 또는 개작들을 포함하여, 그리고 본 분야의 일반적인 지식 또는 개시되지 않은 종래 기술 수단을 포함하여, 설명되는 발명내용의 임의의 변화물들, 사용법들, 또는 개작들을 커버하도록 의도된다. 제공되는 예시들은 설명되는 개념들의 이해를 증대시키도록 의도되고, 임의의 방식으로 본 개시의 응용가능성(applicability)을 제한하도록 의도되는 것은 아니다.
본 개시가 설명되는 구현예들에만, 또는 첨부된 도면들에 예시된 바에 제한되지 않는다는 점이 이해되어야 한다. 본 출원의 범위로부터 벗어나지 않고 다양한 변형들 및 변경들이 이루어질 수 있다. 본 출원의 범위는 포함된 청구항들에 의해서만 제한된다. 본 개시의 사상 및 원리들 내의 임의의 변형들, 균등한 대체들, 또는 향상들은 본 개시의 사상 및 보호 범위 내에 있는 것으로 간주된다.
도 7은 본 개시의 구현예에 따른, 설명되는 알고리즘들, 방법들, 기능들, 프로세스들, 플로우들, 및 절차들과 연관된 컴퓨터 기능들을 제공하기 위해 사용되는 컴퓨터로 구현되는 시스템(700)의 예시를 예시하는 블록도이다. 예시된 구현예에서, 시스템(700)은 컴퓨터(702) 및 네트워크(730)를 포함한다.
예시된 컴퓨터(702)는, 서버, 데스크탑 컴퓨터, 랩탑/노트북 컴퓨터, 무선 데이터 포트, 스마트 폰, PDA(personal data assistant), 태블릿 컴퓨팅 디바이스, 이 디바이스들 내의 하나 이상의 프로세서, 다른 컴퓨팅 디바이스, 또는 컴퓨팅 디바이스의 물리적 또는 가상 인스턴스들을 포함한 컴퓨팅 디바이스들의 조합, 또는 컴퓨팅 디바이스의 물리적 또는 가상 인스턴스들의 조합과 같은 임의의 컴퓨팅 디바이스를 망라하도록 의도된다. 추가적으로, 컴퓨터(702)는, 키패드, 키보드, 터치 스크린, 다른 입력 디바이스, 또는 사용자 정보를 받아들일 수 있는 입력 디바이스들의 조합과 같은 입력 디바이스, 및 그래피컬 유형 사용자 인터페이스(user interface; UI)(또는 GUI) 또는 다른 UI 상에, 디지털 데이터, 시각적, 청각적, 다른 유형의 정보, 또는 이 유형들의 정보의 조합을 포함하여, 컴퓨터(702)의 동작과 연관된 정보를 전달하는 출력 디바이스를 포함할 수 있다.
컴퓨터(702)는, 클라이언트, 네트워크 컴포넌트, 서버, 데이터베이스 또는 다른 퍼시스턴시(persistency)로서의 분산형 컴퓨팅 시스템에서의 역할, 다른 역할, 또는 본 개시에서 설명되는 발명내용을 수행하기 위한 역할들의 조합에 기여할 수 있다. 예시된 컴퓨터(702)는 네트워크(730)와 통신가능하게 커플링된다. 일부 구현예들에서, 컴퓨터(702)의 하나 이상의 컴포넌트는 클라우드 컴퓨팅 기반, 로컬, 글로벌, 다른 환경, 또는 환경들의 조합을 포함한 환경 내에서 동작하도록 구성될 수 있다.
하이 레벨에서, 컴퓨터(702)는 설명되는 발명내용과 연관된 데이터 및 정보를 수신, 전송, 프로세싱, 저장, 또는 관리하도록 동작가능한 전자 컴퓨팅 디바이스이다. 일부 구현예들에 따르면, 컴퓨터(702)는 또한, 응용 서버, 이메일 서버, 웹 서버, 캐싱 서버, 스트리밍 데이터 서버, 다른 서버, 또는 서버들의 조합을 포함한 서버와 통신가능하게 커플링될 수 있거나 이들을 포함할 수 있다.
컴퓨터(702)는 [예를 들어, 다른 컴퓨터(702) 상에서 실행되는 클라이언트 소프트웨어 애플리케이션으로부터] 네트워크(730)를 통해 요청들을 수신할 수 있고, 수신된 요청들을 소프트웨어 애플리케이션 또는 소프트웨어 애플리케이션들의 조합을 사용하여 프로세싱함으로써 수신된 요청들에 응답할 수 있다. 또한, 요청들은 내부 사용자들로부터(예를 들어, 명령 콘솔로부터 또는 다른 내부 액세스 방법에 의해), 외부 또는 서드파티(third-party)들, 또는 다른 엔티티(entity)들, 개인들, 시스템들, 또는 컴퓨터들로부터 컴퓨터(702)에 송신될 수도 있다.
컴퓨터(702)의 컴포넌트들 각각은 시스템 버스(703)를 사용하여 통신할 수 있다. 일부 구현예들에서, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함한 컴퓨터(702)의 임의의 또는 모든 컴포넌트들은, 응용 프로그래밍 인터페이스(application programming interface; API)(712), 서비스 계층(713), 또는 API(712)와 서비스 계층(713)의 조합을 사용하여 시스템 버스(703)를 통해 인터페이싱할 수 있다. API(712)는 루틴들, 데이터 구조들, 및 객체 클래스들에 대한 명세(specification)들을 포함할 수 있다. API(712)는 컴퓨터 언어 독립적 또는 의존적일 수 있고 완전한 인터페이스, 단일 기능, 또는 한 세트의 API들을 지칭할 수 있다. 서비스 계층(713)은, 컴퓨터(702)에 통신가능하게 커플링되는 컴퓨터(702) 또는 다른 컴포넌트들(예시 여부와 관계없음)에 소프트웨어 서비스들을 제공한다. 컴퓨터(702)의 기능은 이 서비스 계층을 사용하는 모든 서비스 소비자들에게 액세스가능할 수 있다. 서비스 계층(713)에 의해 제공되는 것과 같은 소프트웨어 서비스들은 규정된 인터페이스를 통해 재사용가능한, 규정된 기능들을 제공한다. 예를 들어, 인터페이스는 JAVA, C++, 다른 컴퓨팅 언어, 또는 확장성 생성 언어(extensible markup language; XML) 포맷, 다른 포맷, 또는 포맷들의 조합으로 데이터를 제공하는 컴퓨팅 언어들의 조합으로 기록된 소프트웨어일 수 있다. 컴퓨터(702)의 집적 컴포넌트로서 예시되지만, 대안적인 구현예들은 API(712) 또는 서비스 계층(713)을, 컴퓨터(702)의 다른 컴포넌트들 또는 컴퓨터(702)에 통신가능하게 커플링되는 다른 컴포넌트들(예시 여부와 관계없음)과 관련하여 독립형(stand-alone) 컴포넌트들로서 예시할 수 있다. 또한, API(712) 또는 서비스 계층(713)의 임의의 또는 모든 부분들은 본 개시의 범위로부터 벗어나지 않고 다른 소프트웨어 모듈, 엔터프라이즈 애플리케이션, 또는 하드웨어 모듈의 하위(child) 서브 모듈로서 구현될 수 있다.
컴퓨터(702)는 인터페이스(704)를 포함한다. 도 7에 단일 인터페이스(704)로서 예시되지만, 2개 이상의 인터페이스들(704)이 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들에 따라 사용될 수 있다. 인터페이스(704)는 분산 환경에서 네트워크(730)에 통신가능하게 링크되는 다른 컴퓨팅 시스템(예시 여부와 관계없음)과의 통신을 위해 컴퓨터(702)에 의해 사용된다. 일반적으로, 인터페이스(704)는 네트워크(730)와 통신하도록 동작가능하고 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 인코딩된 로직을 포함한다. 더 구체적으로, 인터페이스(704)는, 네트워크(730) 또는 인터페이스의 하드웨어가 예시된 컴퓨터(702)의 내부 및 외부로 물리적 신호들을 전달하게 동작가능하도록, 통신들과 연관된 하나 이상의 통신 프로토콜을 지원하는 소프트웨어를 포함할 수 있다.
컴퓨터(702)는 프로세서(705)를 포함한다. 도 7에 단일 프로세서(705)로서 예시되지만, 2개 이상의 프로세서들이 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들에 따라 사용될 수 있다. 일반적으로, 프로세서(705)는 본 개시에서 설명되는 바와 같은 컴퓨터(702) 및 임의의 알고리즘들, 방법들, 기능들, 프로세스들, 플로우들, 및 프로시저들의 동작들을 수행하기 위해 명령어들을 실행하고 데이터를 처리한다.
컴퓨터(702)는 또한, 컴퓨터(702), 네트워크(730)에 통신가능하게 링크되는 다른 컴포넌트, 또는 컴퓨터(702)와 다른 컴포넌트의 조합에 대한 데이터를 홀딩할 수 있는 데이터베이스(706)를 포함한다. 예를 들어, 데이터베이스(706)는 본 개시에 부합하는 데이터를 저장하는 인메모리(in-memory), 종래의 또는 다른 유형의 데이터베이스일 수 있다. 일부 구현예들에서, 데이터베이스(706)는 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들 및 설명되는 기능에 따라 2개 이상의 상이한 데이터베이스 유형들(예를 들어, 하이브리드 인메모리 및 종래의 데이터베이스)의 조합일 수 있다. 도 7에 단일 데이터베이스(706)로서 예시되지만, 유사하거나 상이한 유형들의 2개 이상의 데이터베이스들이 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들 및 설명되는 기능에 따라 사용될 수 있다. 데이터베이스(706)가 컴퓨터(702)의 통합 컴포넌트로서 예시되지만, 대안적인 구현예들에서, 데이터베이스(706)는 컴퓨터(702) 외부에 있을 수 있다.
컴퓨터(702)는 또한, 컴퓨터(702), 네트워크(730)에 통신가능하게 링크되는 다른 컴포넌트 또는 컴포넌트들, 또는 컴퓨터(702)와 다른 컴포넌트의 조합에 대한 데이터를 홀딩할 수 있는 메모리(707)를 포함한다. 메모리(707)는 본 개시에 부합하는 임의의 데이터를 저장할 수 있다. 일부 구현예들에서, 메모리(707)는 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들 및 설명되는 기능에 따라 2개 이상의 상이한 유형들의 메모리의 조합(예를 들어, 반도체 및 자기 스토리지의 조합)일 수 있다. 도 7에 단일 메모리(707)로서 예시되지만, 유사하거나 상이한 유형들의 2개 이상의 메모리들이 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들 및 설명되는 기능에 따라 사용될 수 있다. 메모리(707)가 컴퓨터(702)의 통합 컴포넌트로서 예시되지만, 대안적인 구현예들에서, 메모리(707)는 컴퓨터(702) 외부에 있을 수 있다.
애플리케이션(708)은 특히 본 개시에서 설명되는 기능과 관련하여, 특정 요구들, 희망사항들, 또는 컴퓨터(702)의 특정 구현예들에 따라 기능을 제공하는 알고리즘 소프트웨어 엔진이다. 예를 들어, 애플리케이션(708)은 하나 이상의 컴포넌트, 모듈, 또는 애플리케이션으로서 역할할 수 있다. 또한, 단일 애플리케이션(708)으로서 예시되지만, 애플리케이션(708)은 컴퓨터(702) 상에 다중 애플리케이션들(708)로서 구현될 수 있다. 또한, 컴퓨터(702)에 통합적으로서 예시되지만, 대안적인 구현예들에서, 애플리케이션(708)은 컴퓨터(702) 외부에 있을 수 있다.
컴퓨터(702)는 또한 전력 공급기(714)를 포함할 수 있다. 전력 공급기(714)는 사용자 또는 비사용자 교체가능형으로 구성될 수 있는 재충전가능 또는 비재충전가능 배터리를 포함할 수 있다. 일부 구현예들에서, 전력 공급기(714)는 전력 변환 또는 (재충전, 대기, 또는 다른 전력 관리 기능을 포함하는) 관리 회로들을 포함할 수 있다. 일부 구현예들에서, 전력 공급기(714)는 예를 들어, 컴퓨터(702)에 전력을 공급하거나 재충전가능 배터리를 재충전하기 위해 컴퓨터(702)가 벽 소켓(wall socket) 또는 다른 전원에 플러그되도록 하는 전력 플러그를 포함할 수 있다.
컴퓨터(702) - 각각의 컴퓨터(702)는 네트워크(730)를 통해 통신함 - 를 포함하는 컴퓨터 시스템과 연관되거나 컴퓨터 시스템 외부에 있는 임의의 수의 컴퓨터들(702)이 있을 수 있다. 또한, 용어 "클라이언트", "사용자", 또는 다른 적절한 전문용어는 본 개시의 범위를 벗어나지 않고 상호교환적으로 적절히 사용될 수 있다. 또한, 본 개시는 많은 사용자들이 하나의 컴퓨터(702)를 사용할 수 있거나, 또는 한 명의 사용자가 다중 컴퓨터들(702)을 사용할 수 있는 것을 구상한다.
발명내용의 설명되는 구현예들은 하나 이상의 특징을 단독으로 또는 조합으로 포함할 수 있다.
예시적인 제 1 구현예, 컴퓨터로 구현되는 방법에 있어서, 감지 하드웨어로부터 손 변위 데이터를 수신하는 단계; 수신된 손 변위 데이터를 3차원(3D) 제스처 인식 알고리즘을 사용하여 분석하는 단계; 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 단계; 3D 제스처의 동작 위치를 3D 입력 그래피컬 사용자 인터페이스(GUI)와 관련하여 계산하는 단계; 3D 입력 GUI와 연관되고, 계산된 동작 위치에 대응하는 가상 입력 엘리먼트를 선택하는 단계; 및 선택된 가상 입력 엘리먼트에 대응하는 입력 정보를 판독하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
상술한 및 다른 설명된 구현예들은 다음의 특징들 중 하나 이상을 각각 선택적으로 포함할 수 있다:
다음의 특징들 중 임의의 특징과 조합가능한 제 1 특징으로서, 감지 하드웨어는 하나 이상의 이미지 센서, 레이저 센서, 또는 레이더 센서를 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 2 특징으로서, 감지 하드웨어는 하나 이상의 이미지 센서, 레이저 센서, 또는 레이더 센서를 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 3 특징으로서, 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 단계는, 사용자의 손의 회전량 및 오프셋을 VR 시나리오의 X/Y/Z축들과 관련하여 계산하는 단계; 및 계산된 사용자의 손의 회전량 및 오프셋을 사용하여 3D 제스처 모델을 생성하는 단계를 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 4 특징으로서, 3D 제스처의 3D 제스처 모델을 적어도 하나의 미리 설정된 3D 제스처 모델과 비교하는 단계; 및 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다고 결정하는 단계를 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 5 특징으로서, 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다는 결정은, 생성된 3D 제스처 모델 및 적어도 하나의 미리 설정된 3D 제스처 모델로부터 선택된 일부 대응하는 특징점들의 비교에 따른다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 6 특징으로서, 회전량은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점이 VR 시나리오의 X/Y/Z축들과 관련하여 회전된 편향각을 지칭하고, 오프셋은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점으로부터 VR 시나리오의 X/Y/Z축들까지의 수평 거리를 지칭한다.
제 2 구현예, 동작들을 수행하도록 컴퓨터 시스템에 의해 실행가능한 하나 이상의 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체에 있어서, 동작들은, 감지 하드웨어로부터 손 변위 데이터를 수신하는 동작; 3차원(3D) 제스처 인식 알고리즘을 사용하여 수신된 손 변위 데이터를 분석하는 동작; 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 동작; 3D 제스처의 동작 위치를 3D 입력 그래피컬 사용자 인터페이스(GUI)와 관련하여 계산하는 동작; 3D 입력 GUI와 연관되고 계산된 동작 위치에 대응하는 가상 입력 엘리먼트를 선택하는 동작; 및 선택된 가상 입력 엘리먼트에 대응하는 입력 정보를 판독하는 동작을 포함하는 것인, 동작들을 수행하도록 컴퓨터 시스템에 의해 실행가능한 하나 이상의 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체.
상술한 및 다른 설명된 구현예들은 다음의 특징들 중 하나 이상을 각각 선택적으로 포함할 수 있다:
다음의 특징들 중 임의의 특징과 조합가능한 제 1 특징으로서, 감지 하드웨어는 하나 이상의 이미지 센서, 레이저 센서, 또는 레이더 센서를 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 2 특징으로서, 3D 제스처는 VR 환경에서 디스플레이되는 VR 시나리오에서 사용자에 의해 수행된다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 3 특징으로서, 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 동작은, 사용자의 손의 회전량 및 오프셋을 VR 시나리오의 X/Y/Z축들과 관련하여 계산하기 위한, 사용자의 손의 회전량 및 오프셋을 사용하여 3D 제스처 모델을 생성하기 위한 하나 이상의 동작을 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 4 특징으로서, 3D 제스처의 3D 제스처 모델을 적어도 하나의 미리 설정된 3D 제스처 모델과 비교하기 위한, 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다고 결정하기 위한 하나 이상의 명령어를 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 5 특징으로서, 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다는 결정은, 생성된 3D 제스처 모델 및 적어도 하나의 미리 설정된 3D 제스처 모델로부터 선택된 일부 대응하는 특징점들의 비교에 따른다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 6 특징으로서, 회전량은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점이 VR 시나리오의 X/Y/Z축들과 관련하여 회전된 편향각을 지칭하고, 오프셋은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점으로부터 VR 시나리오의 X/Y/Z축들까지의 수평 거리를 지칭한다.
제 3 구현예, 컴퓨터로 구현되는 시스템에 있어서, 하나 이상의 컴퓨터; 및 하나 이상의 컴퓨터와 상호동작가능하게 커플링되고, 하나 이상의 명령어를 저장하는 유형의 비일시적 기계 판독가능 매체를 갖는 하나 이상의 컴퓨터 메모리 디바이스로서, 하나 이상의 명령어는 하나 이상의 컴퓨터에 의해 실행될 때, 감지 하드웨어로부터 손 변위 데이터를 수신하는 동작; 3차원(3D) 제스처 인식 알고리즘을 사용하여 수신된 손 변위 데이터를 분석하는 동작; 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 동작; 3D 제스처의 동작 위치를 3D 입력 그래피컬 사용자 인터페이스(GUI)와 관련하여 계산하는 동작; 3D 입력 GUI와 연관되고 계산된 동작 위치에 대응하는 가상 입력 엘리먼트를 선택하는 동작; 및 선택된 가상 입력 엘리먼트에 대응하는 입력 정보를 판독하는 동작을 포함하는 동작들을 수행하는 것인, 하나 이상의 컴퓨터 메모리 디바이스를 포함하는, 컴퓨터로 구현되는 시스템.
상술한 및 다른 설명된 구현예들은 다음의 특징들 중 하나 이상을 각각 선택적으로 포함할 수 있다:
다음의 특징들 중 임의의 특징과 조합가능한 제 1 특징으로서, 감지 하드웨어는 하나 이상의 이미지 센서, 레이저 센서, 또는 레이더 센서를 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 2 특징으로서, 3D 제스처는 VR 환경에서 디스플레이되는 VR 시나리오에서 사용자에 의해 수행된다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 3 특징으로서, 수신된 손 변위 데이터가 3D 제스처를 나타낸다고 인식하는 동작은, 사용자의 손의 회전량 및 오프셋을 VR 시나리오의 X/Y/Z축들과 관련하여 계산하기 위한, 사용자의 손의 회전량 및 오프셋을 사용하여 3D 제스처 모델을 생성하기 위한 동작을 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 4 특징으로서, 3D 제스처의 3D 제스처 모델을 적어도 하나의 미리 설정된 3D 제스처 모델과 비교하기 위한, 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다고 결정하기 위한 하나 이상의 동작을 더 포함한다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 5 특징으로서, 3D 제스처의 3D 제스처 모델이 적어도 하나의 미리 설정된 3D 제스처 모델과 매칭된다는 결정은, 생성된 3D 제스처 모델 및 적어도 하나의 미리 설정된 3D 제스처 모델로부터 선택된 일부 대응하는 특징점들의 비교에 따른다.
이전의 또는 다음의 특징들 중 임의의 특징과 조합가능한 제 6 특징으로서, 회전량은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점이 VR 시나리오의 X/Y/Z축들과 관련하여 회전된 편향각을 지칭하고, 오프셋은, 사용자의 손이 3D 제스처를 수행할 때, 사용자의 손 상의 미리 선택된 특징점으로부터 VR 시나리오의 X/Y/Z축들까지의 수평 거리를 지칭한다.
본 명세서에서 설명된 발명내용 및 기능 동작들의 구현예들은, 본 명세서에서 개시된 구조물들 및 이들의 구조적 균등물들, 또는 이들의 하나 이상의 조합을 포함하여, 컴퓨터 하드웨어에서, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어에서 디지털 전자 회로에서 구현될 수 있다. 설명된 발명내용의 소프트웨어 구현예들은, 하나 이상의 컴퓨터 프로그램, 즉 데이터 프로세싱 장치에 의한, 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 실행을 위한 유형의 비일시적 컴퓨터 판독가능 컴퓨터 스토리지 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로, 또는 추가적으로, 프로그램 명령어들은, 인위적으로 생성된 전파 신호, 예를 들어 데이터 프로세싱 장치에 의한 실행을 위한 수신기 장치에의 전송을 위한 정보를 인코딩하기 위해 생성된 기계로 생성된 전자, 광학, 또는 전자기 신호 내에/상에 인코딩될 수 있다. 컴퓨터 스토리지 매체는, 기계 판독가능 스토리지 디바이스, 기계 판독가능 스토리지 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 컴퓨터 스토리지 매체들의 조합일 수 있다. 하나 이상의 컴퓨터를 구성하는 것은, 소프트웨어가 하나 이상의 컴퓨터에 의해 실행될 때 특정 컴퓨팅 동작들이 수행되도록, 하나 이상의 컴퓨터가, 설치된 하드웨어, 펌웨어, 또는 소프트웨어(또는 하드웨어, 펌웨어, 및 소프트웨어의 조합들)를 갖는 것을 의미한다.
용어 "real-time", "real time", "realtime", "RFT[real (fast) time]", "NRT[near(ly) real-time]", "quasi real-time", 또는 유사한 용어들은 (당업자에 의해 이해되는 바와 같이) 개인이 액션 및 응답을 실질적으로 동시에 발생하는 것으로 인지하도록 액션 및 응답이 시간적으로 근접한 것을 의미한다. 예를 들어, 데이터에 액세스하기 위한 개인의 액션에 이은 데이터의 디스플레이에 대한(또는 디스플레이의 개시에 대한) 응답의 시간차는 1 밀리초(millisecond; ms) 미만, 1초(second; s) 미만, 또는 5초 미만일 수 있다. 요청된 데이터가 즉시 디스플레이될(또는 디스플레이를 위해 개시될) 필요는 없지만, 요청된 데이터는 설명된 컴퓨팅 시스템의 프로세싱 제한들 및 예를 들어 데이터를 수집하거나, 정확히 측정하거나, 분석하거나, 프로세싱하거나, 저장하거나, 또는 전송하기 위해 필요되는 시간을 고려하여 임의의 의도적인 딜레이 없이 디스플레이된다(또는 디스플레이가 개시된다).
용어들 "데이터 프로세싱 장치", "컴퓨터", 또는 "전자 컴퓨터 디바이스" (또는 당업자에 의해 이해되는 균등물들)는 데이터 프로세싱 하드웨어를 지칭하고, 예시로서 프로그래밍가능 프로세서, 컴퓨터, 또는 다중 프로세서들 또는 컴퓨터들을 포함하여, 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들, 및 머신들을 망라한다. 장치는 또한, 특수 목적 로직 회로, 예를 들어, CPU(central processing unit), FPGA(field programmable gate array), 또는 ASIC(application-specific integrated circuit)일 수 있거나 이들을 더 포함할 수 있다. 일부 구현예들에서, 데이터 프로세싱 장치 또는 특수 목적 로직 회로(또는 데이터 프로세싱 장치 또는 특수 목적 로직 회로의 조합)는 하드웨어 또는 소프트웨어 기반(또는 하드웨어 및 소프트웨어 둘 다 기반의 조합)일 수 있다. 장치는, 컴퓨터 프로그램들, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 실행 환경들의 조합을 구성하는 코드에 대한 실행 환경을 생성하는 코드를 선택적으로 포함할 수 있다. 본 개시는 일부 유형의 운영 체제, 예를 들어 LINUX, UNIX, WINDOWS, MAC OS, ANDROID, IOS, 다른 운영 체제, 또는 운영 체제들의 조합과의 데이터 프로세싱 장치들의 사용을 구상한다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 유닛, 모듈, 소프트웨어 모듈, 스크립트, 코드, 또는 다른 컴포넌트로 지칭될 수 있거나 이들로서 설명될 수 있는 컴퓨터 프로그램은 컴파일되거나 해석된 언어들, 또는 선언적(declarative) 또는 절차적(procedural) 언어들을 포함하여, 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 예를 들어 컴퓨팅 환경에서의 사용을 위한 독립형 프로그램, 모듈, 컴포넌트, 또는 서브루틴을 포함한 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만 반드시 그럴 필요는 없다. 프로그램은, 문답식으로(in question) 프로그램에 전용되는 단일 파일 내에, 또는 다중 협력 파일(multiple coordinated file)들, 예를 들어 하나 이상의 모듈, 서브 프로그램, 또는 코드의 일부를 저장하는 파일 내에, 다른 프로그램들 또는 데이터를 홀딩하는 파일, 예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트의 일부에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 한 사이트에 또는 다중 사이트들에 걸쳐 분산되어 위치되고 통신 네트워크에 의해 상호연결된 다중 컴퓨터들 상에서 실행되도록 배치될 수 있다.
다양한 특징들로 예시된 프로그램들의 일부가 다양한 객체들, 방법들, 또는 다른 프로세스들을 사용하여, 설명된 특징들 및 기능을 구현하는 유닛들 또는 모듈들과 같은 개별 컴포넌트들로서 예시될 수 있는 한편, 프로그램들은 대신 다수의 서브 유닛들, 서브 모듈들, 서드파티 서비스들, 컴포넌트들, 라이브러리들, 및 다른 컴포넌트들을 적절히 포함할 수 있다. 반대로, 다양한 컴포넌트들의 특징들 및 기능이 단일 컴포넌트로 적절히 조합될 수 있다. 컴퓨터 결정들을 행하는데 사용되는 문턱값들이 정적으로, 동적으로, 또는 정적 및 동적 둘다로 결정될 수 있다.
설명된 방법들, 프로세스들, 또는 로직 플로우들은 본 개시에 부합하는 기능의 하나 이상의 예시를 나타내며, 본 개시를 설명되거나 예시된 구현예들에 제한하도록 의도되는 것이 아닌, 설명된 원리들 및 특징들에 부합하는 가장 넓은 범위를 부여하는 것이다. 설명된 방법들, 프로세스들, 또는 로직 플로우들은 입력 데이터를 운영하고 출력 데이터를 생성함으로써 기능들을 수행하도록 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍가능 컴퓨터에 의해 수행될 수 있다. 방법들, 프로세스들, 또는 로직 플로우들은 또한, 특수 목적 로직 회로, 예를 들어 CPU, FPGA, 또는 ASIC에 의해 수행될 수 있고 장치들은 특수 목적 로직 회로, 예를 들어 CPU, FPGA, 또는 ASIC으로 구현될 수 있다.
컴퓨터 프로그램의 실행을 위한 컴퓨터들은 일반 또는 특수 목적 마이크로프로세서들, 둘 다, 또는 다른 유형의 CPU에 기반할 수 있다. 일반적으로, CPU는 메모리로부터 명령어들 및 데이터를 수신하고 메모리에 기록할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들을 프로그래밍하거나 실행하기 위한 CPU, 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 이상의 대용량 스토리지 디바이스들, 예를 들어 자기, 광자기 디스크들, 또는 광학 디스크들로부터 데이터를 수신하거나 이들에 데이터를 전송하거나 또는 수신 및 전송 둘 다를 수행하도록 이들에 동작가능하게 커플링되거나 또는 이들을 포함할 것이다. 그러나, 컴퓨터는 그러한 디바이스들을 반드시 가질 필요는 없다. 또한, 컴퓨터는 다른 디바이스들, 예를 들어 모바일 텔레폰, PDA(personal digital assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(global positioning system) 수신기, 또는 포터블 메모리 스토리지 디바이스 내에 임베딩될 수 있다.
컴퓨터 프로그램 명령어들 및 데이터를 저장하기 위한 비일시적 컴퓨터 판독가능 매체는, 예시로서 반도체 메모리 디바이스들, 예를 들어 RAM(random access memory), ROM(read-only memory), PRAM(phase change memory), SRAM(static random access memory), DRAM(dynamic random access memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 및 플래시 메모리 디바이스들; 자기 디바이스들, 예를 들어 테이프, 카트리지들, 카세트들, 내부/제거가능 디스크들; 광자기 디스크들; 및 광학 메모리 디바이스들, 예를 들어 DVD(digital video disc), CD-ROM, DVD+/-R, DVD-RAM, DVD-ROM, HD-DVD 및 BLURAY, 및 다른 광학 메모리 기술들을 포함하여, 모든 형태의 영구적/비영구적 또는 휘발성/비휘발서어 메모리, 매체 및 메모리 디바이스들을 포함할 수 있다. 메모리는, 캐시들, 클래스들, 프레임워크들, 애플리케이션들, 모듈들, 백업 데이터, 잡(job)들, 웹 페이지들, 웹 페이지 템플릿들, 데이터 구조들, 데이터베이스 테이블들을 포함한 다양한 객체들 또는 데이터를 저장할 수 있고, 저장소(repository)들은 동적 정보 또는 임의의 파라미터들, 변수들, 알고리즘들, 명령어들, 규칙들, 제약들, 또는 참조들을 포함한 다른 적절한 정보를 저장한다. 추가적으로, 메모리는 로그들, 정책들, 보안 또는 액세스 데이터, 또는 레포팅 파일들과 같은 다른 적절한 데이터를 포함할 수 있다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 특수 목적 로직 회로 내에 통합될 수 있다.
사용자와의 인터랙션들 제공하기 위해, 본 명세서에서 설명되는 발명내용의 구현예들은, 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어 CRT(cathode ray tube) 또는 LCD(liquid crystal display), LED(Light Emitting Diode), 또는 플라즈마 모니터, 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스, 예를 들어 마우스, 트랙볼, 또는 트랙패드를 갖는 컴퓨터 상에서 구현될 수 있다. 입력은 또한, 압력 감응식 태블릿 컴퓨터 표면과 같은 터치스크린, 용량성 또는 전기적 감지를 사용하는 멀티 터치 스크린, 또는 다른 유형의 터치스크린을 사용하여 컴퓨터에 제공될 수 있다. 사용자와의 상호작용을 위해 다른 유형들의 디바이스들이 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 (시각적, 청각적, 촉각적, 또는 피드백 유형들의 조합과 같은) 임의의 형태의 감각적 피드백(sensory feedback)일 수 있다. 사용자로부터의 입력은 음향(acoustic), 말(speech), 또는 촉각 입력을 포함하여 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 사용되는 클라이언트 컴퓨팅 디바이스에 문서들을 송신하고 이로부터 문서들을 수신함으로써(예를 들어, 웹 브라우저로부터 수신된 요청들에 응답하여 사용자의 모바일 컴퓨팅 디바이스 상의 웹 브라우저에 웹 페이지들을 송신함으로써) 사용자와 상호작용할 수 있다.
용어 "그래피컬 사용자 인터페이스", 또는 "GUI"는 하나 이상의 그래피컬 사용자 인터페이스 및 특정 그래피컬 사용자 인터페이스의 디스플레이들 각각을 설명하기 위해 단수 또는 복수로 사용될 수 있다. 따라서, GUI는 비제한적으로 웹 브라우저, 터치 스크린, 또는 정보를 프로세싱하고 정보 결과들을 사용자에게 효율적으로 제시하는 CLI(command line interface)를 포함한, 임의의 그래피컬 사용자 인터페이스를 나타낼 수 있다. 일반적으로, GUI는 복수의 사용자 인터페이스(UI) 엘리먼트들을 포함할 수 있고, 이들 중 일부 또는 모두는 상호작용 필드들, 풀다운 리스트들, 및 버튼들과 같은 웹 브라우저와 연관된다. 이들 및 다른 UI 엘리먼트들은 웹 브라우저의 기능들에 관련되거나 웹 브라우저의 기능들을 나타낼 수 있다.
본 명세서에서 설명되는 발명내용의 구현예들은, 백엔드 컴포넌트, 예를 들어 데이터 서버를 포함하거나, 미들웨어 컴포넌트, 예를 들어 응용 서버를 포함하거나, 프론트엔드 컴포넌트, 예를 들어 사용자가 그를 통해 본 명세서에서 설명되는 발명내용의 구현예와 상호작용할 수 있는 그래피컬 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터, 또는 그러한 백엔드, 미들웨어, 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 유선 또는 무선 디지털 데이터 통신(또는 데이터 통신의 조합), 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은, LAN(local area network), RAN(radio access network), MAN(metropolitan area network), WAN(wide area network), WIMAX(Worldwide Interoperability for Microwave Access), 예를 들어 802.11 a/b/g/n 또는 802.20(또는 802.1 lx 및 802.20의 조합 또는 본 개시에 부합하는 다른 프로토콜들)을 사용하는 WLAN(wireless local area network), 모든 또는 일부 인터넷, 다른 통신 네트워크, 또는 통신 네트워크들의 조합을 포함한다. 통신 네트워크는 예를 들어, IP(Internet Protocol) 패킷들, 프레임 릴레이 프레임(Frame Relay frame)들, ATM(Asynchronous Transfer Mode) 셀들, 보이스, 비디오, 데이터, 또는 네트워크 노드들 간의 다른 정보로 통신할 수 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있고, 일반적으로 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트 서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
본 명세서가 많은 특정 구현 상세사항들을 포함하는 한편, 이는 임의의 발명의 범위에 대한 또는 청구될 수 있는 범위에 대한 제한들로서 해석되어서는 안되며, 특정 발명들의 특정 구현예들에 특유할 수 있는 특징들의 설명들로서 해석되어야 한다. 별개의 구현예들의 컨텍스트로 본 명세서에서 설명된 특정 특징들은 또한 조합으로, 단일 구현예로 구현될 수 있다. 반대로, 단일 구현예의 컨텍스트로 설명된 다양한 특징들은 또한 다중 구현예들로 또는 분리적으로 임의의 서브 조합으로 구현될 수 있다. 또한, 이전에 설명된 특징들이 특정 조합들에서 작용하는 것으로 설명되고 그와 같이 초기에 청구되었을지라도, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에서 이 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.
발명내용의 특정 구현예들이 설명되었다. 설명된 구현예들의 다른 구현예들, 변경예들, 및 치환예들은 당업자에게 명백해질 바와 같이 다음의 청구범위의 범위 내에 있다. 동작들이 특정 순서로 도면들 또는 청구범위에 표현되지만, 이는 그러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행되어야 하거나, 또는 바람직한 결과들을 얻기 위해 모든 예시된 동작들이 수행되어야 할 것(일부 동작들은 선택적으로 고려될 수 있음)을 요구하는 것으로서 이해되어서는 안된다. 특정 환경들에서, 멀티태스킹 또는 병렬 프로세싱(또는 멀티태스킹과 병렬 프로세싱의 조합)이 바람직할 수 있고 적절한 것으로 간주되어 수행될 수 있다.
또한, 이전에 설명된 구현예들에서의 다양한 시스템 모듈들 및 컴포넌트들의 분리 또는 통합은 모든 구현예들에서 그러한 분리 또는 통합을 요하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품 내에 함께 통합될 수 있거나 다중 소프트웨어 제품들로 패키징될 수 있다는 점이 이해되어야 한다.
따라서, 이전에 설명된 예시적인 구현예들은 본 개시를 규정하거나 제한하지 않는다. 본 개시의 사상 및 범위를 벗어나지 않고 다른 변경들, 대체들, 및 변형들이 또한 가능하다.
또한, 임의의 청구된 구현예는, 적어도 컴퓨터로 구현되는 방법, 컴퓨터로 구현되는 방법을 수행하기 위한 컴퓨터 판독가능 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체, 및 컴퓨터로 구현되는 방법 및 비일시적 컴퓨터 판독가능 매체에 저장되는 명령어들을 수행하도록 구성된 하드웨어 프로세서와 상호동작 가능하게 커플링된 컴퓨터 메모리를 포함하는 컴퓨터 시스템에 적용가능한 것으로 간주된다.

Claims (20)

  1. 가상 현실 시나리오에 기반한 입력을 위한 방법에 있어서,
    감지 하드웨어로부터 손 변위(hand displacement) 제스처와 연관된 손 변위 데이터를 수신하는 단계;
    상기 손 변위 데이터를 수신하는 단계에 응답하여, 3차원 제스처 인식 알고리즘을 사용하여 상기 수신된 손 변위 데이터를 분석하는 단계;
    상기 수신된 손 변위 데이터가 상기 가상 현실 시나리오에서 사용자의 3차원 제스처를 나타낸다고 인식하는 단계;
    상기 사용자의 3차원 제스처가 인식될 때, 상기 인식된 3차원 제스처가 미리 설정된 3차원 제스처라고 결정하는 단계;
    상기 손 변위 제스처를 하나 이상의 미리 설정된 3차원 제스처 모델에 부합하게 수정하도록 상기 가상 현실 시나리오에서 시각적인 3차원 애니메이션 프롬프트를 제공하는 단계;
    상기 시각적인 3차원 애니메이션 프롬프트에 응답하여, 상기 감지 하드웨어로부터 수정된 손 변위 제스처와 연관된 수정된 손 변위 데이터를 수신하는 단계;
    상기 수신된 수정된 손 변위 데이터가 상기 하나 이상의 미리 설정된 3차원 제스처 모델에 부합한다고 인식하는 단계;
    상기 수신된 수정된 손 변위 데이터가 상기 하나 이상의 미리 설정된 3차원 제스처 모델에 부합한다고 인식하는 단계에 응답하여, 3차원 입력 인터페이스에 대한 상기 수신된 수정된 손 변위 데이터의 동작 위치(operation position)를 계산하는 단계;
    상기 3차원 입력 인터페이스 내에 있고 상기 동작 위치에 대응하는 가상 입력 엘리먼트를 선택하는 단계; 및
    입력을 완료하기 위해 상기 가상 입력 엘리먼트에 의해 나타내어지는 입력 정보를 판독하는 단계를 포함하는, 가상 현실 시나리오에 기반한 입력을 위한 방법.
  2. 제 1 항에 있어서, 상기 가상 현실 시나리오는 미리 설정된 가상 트리거 엘리먼트를 포함하는 것인, 방법.
  3. 제 2 항에 있어서, 상기 가상 트리거 엘리먼트는 상기 가상 현실 시나리오에서 상기 3차원 입력 인터페이스의 출력을 트리거하기 위해 사용되는 것인, 방법.
  4. 제 3 항에 있어서,
    상기 동작 위치가 상기 가상 트리거 엘리먼트가 위치된 곳에 대응할 때 상기 3차원 입력 인터페이스를 출력하는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서, 상기 수신된 손 변위 데이터가 상기 가상 현실 시나리오에서 상기 사용자의 3차원 제스처를 나타낸다고 인식하는 단계는,
    상기 사용자의 손의 회전량 및 오프셋을 상기 손 변위 데이터에 기반하여 상기 가상 현실 시나리오의 X/Y/Z축과 관련하여 계산하는 단계; 및
    상기 3차원 제스처를 얻기 위해 상기 회전량 및 상기 오프셋에 기반하여 3차원 모델링을 수행하는 단계를 포함하는 것인, 방법.
  6. 제 1 항에 있어서, 상기 인식된 3차원 제스처가 미리 설정된 3차원 제스처라고 결정하는 단계 전에,
    상기 3차원 제스처의 지속시간(duration)을 계산하는 단계;
    상기 3차원 제스처의 지속시간이 미리 설정된 문턱값보다 낮다고 결정하는 단계; 및
    상기 인식된 3차원 제스처가 미리 설정된 3차원 제스처라고 결정하는 것을 실행하는 단계를 더 포함하는 것인, 방법.
  7. 제 1 항에 있어서, 상기 가상 현실 시나리오는 상기 3차원 제스처에 대응하는 동작 포커스를 포함하는 것인, 방법.
  8. 제 7 항에 있어서, 상기 동작 포커스는 상기 가상 현실 시나리오에서 상기 3차원 제스처와의 동시적(synchronous) 변위를 포함하는 것인, 방법.
  9. 제 7 항에 있어서, 상기 동작 포커스는 상기 3차원 제스처를 시뮬레이션하는 애니메이션인 것인, 방법.
  10. 제 1 항에 있어서,
    상기 선택된 가상 입력 엘리먼트를 상기 3차원 입력 인터페이스에서 강조하는 단계를 더 포함하는, 방법.
  11. 제 1 항에 있어서, 상기 3차원 입력 인터페이스는 3차원 가상 키보드인 것인, 방법.
  12. 제 11 항에 있어서, 상기 가상 입력 엘리먼트는 상기 3차원 가상 키보드 내의 가상 키인 것인, 방법.
  13. 제 1 항에 있어서, 상기 3차원 입력 인터페이스는 복수의 가상 입력 엘리먼트들을 배열함으로써 구성되는 것인, 방법.
  14. 제 13 항에 있어서,
    상기 3차원 입력 인터페이스를 회전시키는 단계;
    상기 복수의 가상 입력 엘리먼트들 중 또 다른 가상 입력 엘리먼트를 선택하는 단계; 및
    입력을 추가적으로 완료하기 위해 상기 복수의 가상 입력 엘리먼트들 중 상기 또 다른 가상 입력 엘리먼트에 의해 나타내어지는 입력 정보를 판독하는 단계
    를 더 포함하는, 방법.
  15. 가상 현실 시나리오에 기반한 입력을 위한 장치로서, 제 1 항 내지 제 14 항 중 어느 한 항의 방법을 수행하도록 구성되는 복수의 모듈들을 포함하는, 가상 현실 시나리오에 기반한 입력을 위한 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197013078A 2016-10-09 2017-10-03 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스 KR102297818B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610881695.8 2016-10-09
CN201610881695.8A CN106980362A (zh) 2016-10-09 2016-10-09 基于虚拟现实场景的输入方法及装置
US15/720,635 US10474242B2 (en) 2016-10-09 2017-09-29 Three-dimensional graphical user interface for informational input in virtual reality environment
US15/720,635 2017-09-29
PCT/US2017/054967 WO2018067587A1 (en) 2016-10-09 2017-10-03 Three-dimensional graphical user interface for informational input in virtual reality environment

Publications (2)

Publication Number Publication Date
KR20190064623A KR20190064623A (ko) 2019-06-10
KR102297818B1 true KR102297818B1 (ko) 2021-09-07

Family

ID=59340781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013078A KR102297818B1 (ko) 2016-10-09 2017-10-03 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스

Country Status (10)

Country Link
US (2) US10474242B2 (ko)
EP (1) EP3523708A4 (ko)
JP (1) JP6999662B2 (ko)
KR (1) KR102297818B1 (ko)
CN (1) CN106980362A (ko)
MY (1) MY197006A (ko)
PH (1) PH12019500773A1 (ko)
SG (2) SG10202108555YA (ko)
TW (1) TW201814438A (ko)
WO (1) WO2018067587A1 (ko)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10223634B2 (en) 2014-08-14 2019-03-05 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
US20190049558A1 (en) * 2017-08-08 2019-02-14 KC Sense Limited Hand Gesture Recognition System and Method
CN109656432B (zh) * 2017-10-10 2022-09-13 腾讯科技（深圳）有限公司 虚拟现实环境下的控制方法、装置、设备和存储介质
US10746625B2 (en) 2017-12-22 2020-08-18 Infineon Technologies Ag System and method of monitoring a structural object using a millimeter-wave radar sensor
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
CN110196629A (zh) * 2018-02-27 2019-09-03 优酷网络技术（北京）有限公司 虚拟现实界面展示控制方法及装置
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10775892B2 (en) 2018-04-20 2020-09-15 Immersion Corporation Systems and methods for multi-user shared virtual and augmented reality-based haptics
CN108563335B (zh) * 2018-04-24 2021-03-23 网易（杭州）网络有限公司 虚拟现实交互方法、装置、存储介质及电子设备
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
CN109164915B (zh) * 2018-08-17 2020-03-17 湖南时变通讯科技有限公司 一种手势识别方法、装置、系统和设备
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US11049299B2 (en) * 2018-09-26 2021-06-29 The Alchemy Of You, Llc System and method for improved data structures and related interfaces
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
WO2020084192A1 (en) * 2018-10-23 2020-04-30 Ainak Oy Method, arrangement, and computer program product for three-dimensional visualization of augmented reality and virtual reality environments
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
US10949086B2 (en) * 2018-10-29 2021-03-16 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for virtual keyboards for high dimensional controllers
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN109799906A (zh) * 2018-12-29 2019-05-24 北京诺亦腾科技有限公司 一种利用动作捕捉手套在vr场景中绘画的方法及装置
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
CN109933208A (zh) * 2019-04-11 2019-06-25 湖北航天技术研究院特种车辆技术中心 一种基于虚拟现实的操作行为识别方法及系统
CN110096166A (zh) * 2019-04-23 2019-08-06 广东工业大学华立学院 一种虚拟输入方法
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN110262722A (zh) * 2019-06-21 2019-09-20 深圳市趣创科技有限公司 移动终端解锁方法及装置
CN110647803B (zh) * 2019-08-09 2023-12-05 深圳大学 一种手势识别方法、系统以及存储介质
US11640204B2 (en) 2019-08-28 2023-05-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods decoding intended symbols from neural activity
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
CN111084980B (zh) * 2019-12-25 2023-04-07 网易（杭州）网络有限公司 一种购买虚拟物品的方法和装置
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
CN111427457A (zh) * 2020-06-11 2020-07-17 诺百爱（杭州）科技有限责任公司 一种基于虚拟按键输入字符的方法、装置和电子设备
KR102502195B1 (ko) * 2020-06-16 2023-02-21 한국기술교육대학교 산학협력단 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
CN111880647B (zh) * 2020-06-19 2022-02-01 华为技术有限公司 一种三维界面的控制方法和终端
CN111782041A (zh) * 2020-06-24 2020-10-16 Oppo广东移动通信有限公司 打字方法及装置、设备、存储介质
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
CN112463004B (zh) * 2020-11-25 2022-07-22 努比亚技术有限公司 一种交互界面操作控制方法、设备及计算机可读存储介质
CN112698721A (zh) * 2020-12-24 2021-04-23 上海科技大学 基于手势的虚拟现实物体交互系统
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
US11210844B1 (en) 2021-04-13 2021-12-28 Dapper Labs Inc. System and method for creating, managing, and displaying 3D digital collectibles
US11099709B1 (en) 2021-04-13 2021-08-24 Dapper Labs Inc. System and method for creating, managing, and displaying an interactive display for 3D digital collectibles
USD991271S1 (en) 2021-04-30 2023-07-04 Dapper Labs, Inc. Display screen with an animated graphical user interface
US11227010B1 (en) 2021-05-03 2022-01-18 Dapper Labs Inc. System and method for creating, managing, and displaying user owned collections of 3D digital collectibles
US11170582B1 (en) 2021-05-04 2021-11-09 Dapper Labs Inc. System and method for creating, managing, and displaying limited edition, serialized 3D digital collectibles with visual indicators of rarity classifications
US11533467B2 (en) 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113282168A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的信息输入方法、装置及头戴式显示设备
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
CN113432281B (zh) * 2021-06-30 2022-06-14 珠海格力电器股份有限公司 设备的控制方法、装置、设备及存储介质
CN113822795B (zh) * 2021-09-17 2024-02-09 惠州视维新技术有限公司 基于毫米波雷达的虚拟按键投影方法、装置及电子设备
CN113838177B (zh) * 2021-09-22 2023-08-01 上海拾衷信息科技有限公司 一种手部动画制作方法及系统
US11900511B1 (en) * 2022-12-08 2024-02-13 Fmr Llc Systems and methods for graphing data in virtual reality environments
CN116069169A (zh) * 2023-03-29 2023-05-05 深圳市光速时代科技有限公司 一种基于智能手表输入虚拟文本的数据处理方法及系统
CN116719416B (zh) * 2023-08-07 2023-12-15 海马云（天津）信息技术有限公司 虚拟数字人的手势动作修正方法和装置、电子设备及存储介质
CN117095103B (zh) * 2023-08-11 2024-03-19 广州淦源智能科技有限公司 一种基于智能魔方的数据处理方法及其魔方
CN117406867B (zh) * 2023-12-15 2024-02-09 小芒电子商务有限责任公司 一种基于网页的增强现实交互方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7337410B2 (en) 2002-11-06 2008-02-26 Julius Lin Virtual workstation
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
TW201113754A (en) * 2009-10-15 2011-04-16 Acer Inc Multi-directional input method and electronic system thereof
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
TW201140420A (en) * 2010-06-15 2011-11-16 Wistron Neweb Corp User interface and electronic device
US9557817B2 (en) 2010-08-13 2017-01-31 Wickr Inc. Recognizing gesture inputs using distributed processing of sensor data from multiple sensors
WO2012135378A1 (en) 2011-04-01 2012-10-04 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
US9069455B2 (en) 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
CN104508600B (zh) * 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
SE537553C2 (sv) 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
US9778739B2 (en) * 2012-09-28 2017-10-03 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying three-dimensional object
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9298266B2 (en) * 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
TW201447375A (zh) 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
KR102130590B1 (ko) * 2013-07-22 2020-07-06 엘지전자 주식회사 세탁물 처리기기
US20150067603A1 (en) 2013-09-05 2015-03-05 Kabushiki Kaisha Toshiba Display control device
TWI499966B (zh) 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
TWI488072B (zh) 2013-12-19 2015-06-11 Lite On Technology Corp 手勢辨識系統及其手勢辨識方法
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
US9558610B2 (en) 2014-02-14 2017-01-31 Igt Canada Solutions Ulc Gesture input interface for gaming systems
JP2015176253A (ja) 2014-03-13 2015-10-05 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN204463032U (zh) * 2014-12-30 2015-07-08 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和虚拟现实头戴设备
US9811650B2 (en) * 2014-12-31 2017-11-07 Hand Held Products, Inc. User authentication system and method
US10310616B2 (en) * 2015-03-31 2019-06-04 Ebay Inc. Modification of three-dimensional garments using gestures
CN105892631A (zh) * 2015-11-16 2016-08-24 乐视致新电子科技（天津）有限公司 一种简化虚拟现实应用操作的方法和装置
CN105573596B (zh) * 2015-12-10 2018-09-04 广东欧珀移动通信有限公司 一种播放列表的播放顺序调整方法及用户终端
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146303A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Also Published As

Publication number Publication date
TW201814438A (zh) 2018-04-16
JP6999662B2 (ja) 2022-01-18
JP2020502614A (ja) 2020-01-23
WO2018067587A1 (en) 2018-04-12
EP3523708A4 (en) 2019-09-04
SG10202108555YA (en) 2021-09-29
MY197006A (en) 2023-05-18
EP3523708A1 (en) 2019-08-14
US10474242B2 (en) 2019-11-12
SG11201903137XA (en) 2019-05-30
US11054912B2 (en) 2021-07-06
CN106980362A (zh) 2017-07-25
PH12019500773A1 (en) 2019-11-11
US20200142498A1 (en) 2020-05-07
KR20190064623A (ko) 2019-06-10
US20180101239A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
KR102297818B1 (ko) 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스
US10908770B2 (en) Performing virtual reality input
US11227038B2 (en) User identity authentication using virtual reality
US10698991B2 (en) Service control and user identity authentication based on virtual reality
KR102222084B1 (ko) 가상 현실 환경에서의 정보 입력을 위한 사용자 인터페이스
US9454243B2 (en) Virtual optical touch screen detecting touch distance
KR20230050857A (ko) 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant