KR20180044613A - 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템 - Google Patents

사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템 Download PDF

Info

Publication number
KR20180044613A
KR20180044613A KR1020160138346A KR20160138346A KR20180044613A KR 20180044613 A KR20180044613 A KR 20180044613A KR 1020160138346 A KR1020160138346 A KR 1020160138346A KR 20160138346 A KR20160138346 A KR 20160138346A KR 20180044613 A KR20180044613 A KR 20180044613A
Authority
KR
South Korea
Prior art keywords
user
gesture
nui
control
hmd
Prior art date
Application number
KR1020160138346A
Other languages
English (en)
Inventor
김기태
최용철
이용희
Original Assignee
주식회사 토즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토즈 filed Critical 주식회사 토즈
Priority to KR1020160138346A priority Critical patent/KR20180044613A/ko
Publication of KR20180044613A publication Critical patent/KR20180044613A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

일실시예에 따르면, 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 방법은 제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스하는 단계; 상기 HMD 장치를 사용하는 사용자를 식별하는 단계; 상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 단계; 상기 제어 공간에 위치하는 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 단계; 상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 단계; 및 상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 단계를 포함한다.

Description

사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI 제어 방법 및 시스템{NATURAL USER INTERFACE CONTROL METHOD AND SYSTEM BASE ON MOTION REGOCNITION USING POSITION INFORMATION OF USER BODY}
아래의 실시예들은 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 HMD(Head Mounted Display) 장치에서 제공하는 NUI를 사용자의 제스처를 기반으로 제어하는 기술에 대한 것이다.
최근 가상 현실 및 증강 현실과 관련된 서비스가 널리 제공됨에 따라, HMD 장치의 사용이 늘고 있다. HMD 장치는 사용자의 머리에 안경처럼 착용되는 디스플레이 장치로서, 사용자의 시야에 가상 현실의 영상을 디스플레이하거나, 실제 영상과 가상 현실의 영상을 중첩하여 디스플레이할 수 있다.
이러한 HMD 장치는 동작 인식 센서를 기반으로, 사용자의 구분 없이 획일적으로 정해진 제스처만을 인식함으로써, 인식된 제스처를 기반으로 사용자 인터페이스를 제어한다.
이에, 기존의 HMD 장치는 사용자 인터페이스를 제어하기 위해, 사용자들이 획일적으로 정해진 제스처만을 수행해야 하기 때문에, 사용자가 해당 제스처를 학습해야 하는 단점이 있다.
따라서, 아래의 실시예들은 사용자 인터페이스를 제어하는 기능에 대해 사용자 별로 독자적인 제스처를 설정하고, 이를 기반으로 사용자 인터페이스를 제어하는 기술을 제안한다.
일실시예들은 복수의 사용자들 각각에 대응하는 복수의 사용자 제스처 테이블들을 이용하여 제스처 인식 정책 DB를 미리 구축해둔 뒤, HMD 장치를 사용하는 사용자를 식별하고, 사용자의 제스처를 인식하며, 제스처 인식 정책 DB 중 사용자에 대응하는 사용자 제스처 테이블로부터 사용자의 제스처에 매핑된 제어 데이터를 추출하여 이를 기초로 HMD 장치에서 제공하는 NUI를 제어함으로써, 사용자 별로 독자적인 제스처를 통하여 NUI를 제어하는 방법 및 시스템을 제안한다.
이 때, 일실시예들은 제어 공간에 복수의 HMD 장치들이 위치하는 경우, 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축해둠으로써, HMD 장치 별로 서로 다른 제스처 인식 정책 DB를 이용하여 NUI를 제어하는 방법 및 시스템을 제안한다.
일실시예에 따르면, 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 방법은 제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스하는 단계; 상기 HMD 장치를 사용하는 사용자를 식별하는 단계; 상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 단계; 상기 제어 공간에 위치하는 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 단계; 상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 단계; 및 상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 단계를 포함한다.
상기 NUI 제어 방법은 상기 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 상기 제스처 인식 정책 DB를 미리 구축하는 단계를 더 포함할 수 있다.
상기 제스처 인식 정책 DB를 미리 구축하는 단계는 상기 복수의 사용자들 각각으로부터 적어도 하나의 제스처를 입력 받는 단계; 상기 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 상기 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여 상기 복수의 사용자들에 각각 대응하는 상기 복수의 사용자 제스처 테이블들을 생성하는 단계; 및 상기 복수의 사용자 제스처 테이블들로 상기 제스처 인식 정책 DB를 구성하는 단계를 포함할 수 있다.
상기 제스처 인식 정책 DB를 미리 구축하는 단계는 상기 HMD 장치를 포함하는 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축하는 단계를 포함하고, 상기 제스처 인식 정책 DB에 액세스하는 단계는 상기 HMD 장치를 인식함에 응답하여, 상기 복수의 제스처 인식 정책 DB들 중 상기 HMD 장치에 대응하는 상기 제스처 인식 정책 DB에 액세스하는 단계일 수 있다.
상기 제스처 인식 정책 DB는 상기 HMD 장치를 포함하는 복수의 HMD 장치들이 상기 제어 공간에 위치하는 경우, 상기 복수의 HMD 장치들 사이에서 공유되도록 운용될 수 있다.
상기 HMD 장치에서 제공하는 NUI를 제어하는 단계는 상기 제어 데이터에 기초하여, 특정 애플리케이션을 상기 NUI 상에 제공하는 단계를 더 포함할 수 있다.
상기 특정 애플리케이션을 상기 NUI 상에 제공하는 단계는 상기 제어 데이터에 기초하여 상기 특정 애플리케이션을 상기 NUI 상에 호출하는 단계; 또는 상기 NUI 상에 호출된 상기 특정 애플리케이션을 상기 제어 데이터에 기초하여 제어하는 단계 중 적어도 하나를 포함할 수 있다.
상기 제어 데이터는 상기 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 상기 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 전자 기기를 구현하는 컴퓨터와 결합하여, 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 NUI 제어 방법은 제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스하는 단계; 상기 HMD 장치를 사용하는 사용자를 식별하는 단계; 상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 단계; 상기 제어 공간에 위치하는 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 단계; 상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 단계; 및 상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 단계를 포함한다.
일실시예에 따르면, 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 시스템은 제어 공간에 위치하는 HMD(Head Mounted Display) 장치; 상기 HMD 장치와 연결되는 NUI 제어 모듈; 상기 제어 공간에 위치하여, 상기 NUI 제어 모듈과 연결되는 동작 인식 센서; 및 상기 NUI 제어 모듈과 연결되는 제스처 인식 정책 DB(Database)를 포함하고, 상기 NUI 제어 모듈은 상기 HMD 장치를 인식함에 응답하여, 상기 제스처 인식 정책 DB에 액세스하는 액세스부; 상기 HMD 장치를 사용하는 사용자를 식별하는 식별부; 상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 호출부; 상기 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 인식부; 상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 추출부; 및 상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 제어부를 포함한다.
상기 제스처 인식 정책 DB는 상기 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 미리 구축될 수 있다.
상기 제스처 인식 정책 DB는 상기 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 상기 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여 상기 복수의 사용자들에 각각 대응하도록 생성되는 상기 복수의 사용자 제스처 테이블들로 구성될 수 있다.
상기 제어부는 상기 제어 데이터에 기초하여, 특정 애플리케이션을 상기 NUI 상에 제공할 수 있다.
상기 제어부는 상기 제어 데이터에 기초하여 상기 특정 애플리케이션을 상기 NUI 상에 호출하거나, 상기 NUI 상에 호출된 상기 특정 애플리케이션을 상기 제어 데이터에 기초하여 제어할 수 있다.
상기 제어 데이터는 상기 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 상기 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함할 수 있다.
일실시예들은 복수의 사용자들 각각에 대응하는 복수의 사용자 제스처 테이블들을 이용하여 제스처 인식 정책 DB를 미리 구축해둔 뒤, HMD 장치를 사용하는 사용자를 식별하고, 사용자의 제스처를 인식하며, 제스처 인식 정책 DB 중 사용자에 대응하는 사용자 제스처 테이블로부터 사용자의 제스처에 매핑된 제어 데이터를 추출하여 이를 기초로 HMD 장치에서 제공하는 NUI를 제어함으로써, 사용자 별로 독자적인 제스처를 통하여 NUI를 제어하는 방법 및 시스템을 제안할 수 있다.
이 때, 일실시예들은 제어 공간에 복수의 HMD 장치들이 위치하는 경우, 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축해둠으로써, HMD 장치 별로 서로 다른 제스처 인식 정책 DB를 이용하여 NUI를 제어하는 방법 및 시스템을 제안할 수 있다.
도 1은 일실시예에 따른 NUI 제어 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 NUI 제어 시스템에 포함되는 제스처 인식 정책 DB를 설명하기 위한 도면이다.
도 3은 다른 일실시예에 따른 NUI 제어 시스템에 포함되는 복수의 제스처 인식 정책 DB들을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 NUI 제어 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 NUI 제어 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 NUI 제어 시스템을 나타낸 도면이고, 도 2는 일실시예에 따른 NUI 제어 시스템에 포함되는 제스처 인식 정책 DB를 설명하기 위한 도면이다.
도 1 내지 2를 참조하면, 일실시예에 따른 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI 제어 시스템(이하, NUI 제어 시스템으로 기재함)은 HMD 장치(110), NUI 제어 모듈(120), 동작 인식 센서(130) 및 제스처 인식 정책 DB(140)을 포함한다. 이하, NUI 제어 모듈(120)은 HMD 장치와 구별되는 별도의 하드웨어 서버의 형태로 구현되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, HMD 장치의 프로세서에 포함되도록 구현될 수 있다. 또한, 제스처 인식 정책 DB(140)는 NUI 제어 모듈(120)에 포함되는 데이터베이스의 형태로 구현되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, NUI 제어 모듈(120)과 구별되는 별도의 하드웨어 데이터베이스의 형태로 구현될 수도 있다.
HMD 장치(110)는 제어 공간(111)에 위치하며, 사용자(150)의 신체(특히, 머리)에 착용된다. 이하, 제어 공간(111)은 NUI 제어 시스템이 위치하는 공간으로서, 후술되는 NUI 제어 동작이 수행되는 공간을 의미한다.
NUI 제어 모듈(120)은 HMD 장치(110)와 연결되어 HMD 장치(110)에서 제공하는 NUI를 제어한다. 이하, NUI는 HMD 장치(110)에서 사용자(150)에게 디스플레이하는 사용자 인터페이스를 의미하며, NUI를 제어한다는 것은 HMD 장치(110)에서 사용자(150)에게 디스플레이되는 사용자 인터페이스의 다양한 기능들(예컨대, 메뉴들을 호출하는 호출 기능, 마우스의 커서와 같은 이동 기능, 특정 객체를 선택하는 선택 기능 등)을 제어하는 것을 의미한다.
구체적으로, NUI 제어 모듈(120)은 동작 인식 센서(130)를 이용하여 사용자(150)의 제스처를 인식하고, 사용자(150)의 제스처를 기반으로 HMD 장치(110)에서 제공하는 NUI를 제어할 수 있다. 여기서, 동작 인식 센서(130)는 도면 상 하나 구비되는 경우로 도시되었으나, 이에 제한되거나 한정되지 않고, 제어 공간(111) 내에 위치하는 사용자(150)의 제스처를 인식할 수 있도록 복수 개 구비될 수도 있다.
특히, NUI 제어 모듈(120)은 사용자(150) 별로 독자적인 제스처를 설정하고 이를 기반으로 NUI를 제어할 수 있도록 제스처 인식 정책 DB(140)를 이용할 수 있다. 여기서, 제스처 인식 정책 DB(140)는 사용자(150)를 포함하는 복수의 사용자들(150, 160)에 각각 대응하는 복수의 사용자 제스처 테이블들(141, 142)로 구성되어 미리 구축될 수 있다.
즉, NUI 제어 모듈(120)은 복수의 사용자들(150, 160) 각각으로부터 적어도 하나의 제스처를 입력 받은 뒤, 적어도 하나의 제스처를 복수의 사용자들(150, 160) 별로 적어도 하나의 제어 데이터(이하, 제어 데이터는 NUI가 제공하는 복수의 기능들-특히, NUI를 제어하는 기능들-과 관련된 데이터를 의미함)에 매핑함으로써, 복수의 사용자들(150, 160)에 각각 대응하는 복수의 사용자 제스처 테이블들(141, 142)을 생성할 수 있다. 이에, NUI 제어 모듈(120)은 생성된 복수의 사용자 제스처 테이블들(141, 142)로 제스처 인식 정책 DB(140)를 구성할 수 있다.
예를 들어, NUI 제어 모듈(120)은 제1 사용자(150)로부터 제1 제스처(141-1)를 입력 받아 제1 제어 데이터(141-2)에 매핑하고, 제2 제스처(141-3)를 입력 받아 제2 제어 데이터(141-4)에 매핑함으로써, 제1 사용자 제스처 테이블(141)을 생성하며, 제2 사용자(160)로부터 제1 제스처(142-1)를 입력 받아 제1 제어 데이터(142-2)에 매핑하고, 제2 제스처(142-3)를 입력 받아 제2 제어 데이터(142-4)에 매핑함으로써, 제2 사용자 제스처 테이블(142)을 생성할 수 있다. 따라서, 이와 같이 생성된 제1 사용자 제스처 테이블(141) 및 제2 사용자 제스처 테이블(142)로 제스처 인식 정책 DB(140)이 구성되어 미리 구축될 수 있다.
상술한 바와 같이 미리 구축된 제스처 인식 정책 DB(140)는 복수의 사용자들(150, 160) 각각에 대응하는 사용자 제스처 테이블(141, 142)을 포함함으로써, 사용자(150) 별로 독자적인 제스처를 기반으로 NUI를 제어할 수 있도록 지원할 수 있다.
보다 상세하게, NUI 제어 모듈(120)은 제어 공간(111)에 위치하는 HMD 장치(110)를 인식함에 응답하여, 제스처 인식 정책 DB(140)에 액세스하고, HMD 장치(110)를 사용하는 사용자(150)를 식별한 뒤, 제스처 인식 정책 DB(140)로부터 사용자(150)에 대응하는 사용자 제스처 테이블(141)을 호출한다. 또한, NUI 제어 모듈(120)은 동작 인식 센서(130)를 이용하여 사용자(150)의 제스처를 인식한 뒤, 사용자 제스처 테이블(141)로부터 사용자(150)의 제스처에 매핑된 제어 데이터를 추출하여, 이를 기초로 HMD 장치(110)의 NUI를 제어한다.
따라서, NUI 제어 모듈(120)은 제1 사용자(150) 및 제2 사용자(160)에 대해 서로 다른 사용자 제스처 테이블(141, 142)을 이용하여 NUI를 제어하는 동작을 수행하기 때문에, 제1 사용자(150) 및 제2 사용자(160) 각각은 독자적인 제스처를 이용하여 NUI를 제어할 수 있다.
예를 들어, 제1 사용자 제스처 테이블(141)이 미리 구축되는 과정에서 제1 사용자(150)의 손이 좌우로 움직이는 제스처가 NUI의 메뉴를 로드하는 제어 데이터에 매핑되고, 제2 사용자 제스처 테이블(142)이 미리 구축되는 과정에서 제2 사용자(160)의 손이 상하로 움직이는 제스처가 NUI의 메뉴를 로드하는 제어 데이터에 매핑된 경우, 동작 인식 센서(130)로부터 제1 사용자(150)가 손을 좌우로 움직이는 제스처가 인식되면, NUI 제어 모듈(120)은 제1 사용자(150)의 해당 제스처에 매핑된 NUI의 메뉴를 로드하는 제어 데이터를 추출함으로써, NUI에서 메뉴를 로드하는 기능을 수행할 수 있다. 반면에, 동작 인식 센서(130)로부터 제2 사용자(160)가 손을 상하로 움직이는 제스처가 인식되면, NUI 제어 모듈(120)은 제2 사용자(160)의 해당 제스처에 매핑된 NUI의 메뉴를 로드하는 제어 데이터를 추출함으로써, NUI에서 메뉴를 로드하는 기능을 수행할 수 있다.
이상, NUI 제어 모듈(120)이 제스처 인식 정책 DB(140)를 이용하여 NUI를 제어하는 경우만 설명하였으나, 상기 방식은 다양하게 활용될 수 있다. 예를 들어, 제스처 인식 정책 DB(140)에 포함되는 복수의 사용자 제스처 테이블들(141, 142) 각각에 매핑된 제어 데이터는 NUI가 제공하는 복수의 기능들과 관련된 데이터뿐만 아니라, 사용자(150)에 의해 등록된 특정 애플리케이션과 관련된 데이터일 수 있다.
이러한 경우, NUI 제어 모듈(120)은 동작 인식 센서(130)를 이용하여 사용자(150)의 제스처를 인식하게 되면, 사용자 제스처 테이블(141)로부터 사용자(150)의 제스처에 매핑된 제어 데이터를 추출하고, 이를 기초로 제어 데이터가 관련된 특정 애플리케이션을 NUI 상에 제공할 수 있다.
여기서, 특정 애플리케이션이 NUI 상에 제공된다는 것은, 제어 데이터에 기초하여 특정 애플리케이션이 NUI 상에 호출되는 것을 의미하거나, NUI 상에 이미 호출된 특정 애플리케이션이 제어 데이터에 기초하여 제어되는 것을 의미할 수 있다. 따라서, NUI 제어 모듈(120)은 상술한 NUI 제어 방식을 활용하여, NUI 상에 특정 애플리케이션을 호출하거나, 이미 호출된 특정 애플리케이션을 제어할 수 있다.
이 때, 제어 공간(111)에 복수의 HMD 장치들(110, 170)이 위치하는 경우, NUI 제어 모듈(120)은 동작 인식 센서(130)를 통하여 인식되는 복수의 사용자들(150, 160)(복수의 HMD 장치들(110, 170)을 사용하는 사용자를 의미함) 각각의 제스처를 복수의 HMD 장치들(110, 170) 각각의 위치 정보를 이용하여 구분할 수 있다.
예를 들어, NUI 제어 모듈(120)은 동작 인식 센서(130)를 통해 복수의 사용자들(150, 160)로부터 손을 좌우로 움직이는 제스처 및 손을 상하로 움직이는 제스처를 인식하면, 복수의 HMD 장치들(110, 170) 각각의 위치 정보를 기반으로 제어 공간(111) 중 손을 좌우로 움직이는 제스처가 인식된 공간에 제1 HMD 장치(110)가 위치함을 확인하고, 손을 상하로 움직이는 제스처가 인식된 공간에 제2 HMD 장치(170)가 위치함을 확인할 수 있다. 이에, NUI 제어 모듈(120)은 제1 HMD 장치(110)의 제1 사용자(150)가 손을 좌우로 움직이는 제스처를 수행했음을 인식하고, 제2 HMD 장치(170)의 제2 사용자(160)가 손을 상하로 움직이는 제스처를 수행했음을 인식할 수 있다.
여기서, 제어 공간(111)에 복수의 HMD 장치들(110, 170)이 위치하는 경우, 제스처 인식 정책 DB(140)는 복수의 HMD 장치들(110, 170) 사이에서 공유되도록 운용될 수 있다.
반면에, 제어 공간(111)에 복수의 HMD 장치들(110, 170)이 위치하는 경우, 제스처 인식 정책 DB(140)는 복수의 HMD 장치들(110, 170) 각각에 대응하도록 구성되어 운용될 수도 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 다른 일실시예에 따른 NUI 제어 시스템에 포함되는 복수의 제스처 인식 정책 DB들을 설명하기 위한 도면이다.
도 3을 참조하면, 다른 일실시예에 따른 NUI 제어 시스템은 복수의 HMD 장치들, NUI 제어 모듈, 동작 인식 센서 및 복수의 제스처 인식 정책 DB들(310, 320)을 포함한다.
이 때, 다른 일실시예에 따른 NUI 제어 시스템은 도 1 내지 2를 참조하여 설명한 NUI 제어 시스템과 동일한 구성부를 갖고 동일하게 동작하나, 복수의 제스처 인식 정책 DB들(310, 320)을 포함한다는 점에서 상이하다.
구체적으로, 다른 일실시예에 따른 NUI 제어 시스템에 포함되는 복수의 제스처 인식 정책 DB들(310, 320)은 복수의 HMD 장치들에 각각 대응하도록 미리 구축될 수 있다. 예를 들어, 제1 HMD 장치에 대응하도록 제1 제스처 인식 정책 DB(310)가 미리 구축되고, 제2 HMD 장치에 대응하도록 제2 제스처 인식 정책 DB(320)가 미리 구축될 수 있다.
따라서, 다른 일실시예에 따른 NUI 제어 시스템에 포함되는 NUI 제어 모듈은 복수의 HMD 장치들 중 제어 공간에 위치하는 HMD 장치가 인식되면, 복수의 제스처 인식 정책 DB들(310, 320) 중 인식된 HMD 장치에 대응하는 제스처 인식 정책 DB(310)에 액세스한 뒤, 도 1 내지 2를 참조하여 설명된 NUI 제어 동작을 수행할 수 있다.
여기서, 복수의 제스처 인식 정책 DB들(310, 320) 각각이 미리 구축되는 구체적인 방식은 도 1 내지 2를 참조하여 제스처 인식 정책 DB가 미리 구축되는 방식과 동일할 수 있다.
또한, 복수의 제스처 인식 정책 DB들(310, 320)은 동일한 사용자 제스처 테이블을 공유할 수도 있다. 예를 들어, 제1 사용자가 제1 HMD 장치와 제2 HMD 장치 모두를 사용하는 가운데, 제1 HMD 장치 상에서 제1 사용자 제스처 테이블을 생성함으로써, 제1 HMD 장치에 대응하는 제1 제스처 인식 정책 DB(310)에 제1 사용자 제스처 테이블이 포함되는 경우, NUI 제어 모듈은 제1 제스처 인식 정책 DB(310)에 포함되는 제1 사용자 제스처 테이블을 제2 HMD 장치에 대응하는 제2 제스처 인식 정책 DB(320)와 공유함으로써, 제1 사용자가 제2 HMD 장치 역시 제1 HMD 장치와 동일하게 이용할 수 있도록 지원할 수 있다.
도 4는 일실시예에 따른 NUI 제어 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 NUI 제어 방법은 NUI 제어 시스템에 의해 수행된다. 여기서, NUI 제어 시스템은 하드웨어의 형태로 구현될 수 있으나, 이에 제한되거나 한정되지 않고, 컴퓨터와 결합하는 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수도 있다.
우선, NUI 제어 시스템은 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 제스처 인식 정책 DB를 미리 구축할 수 있다(410).
구체적으로, NUI 제어 시스템은 복수의 사용자들 각각으로부터 적어도 하나의 제스처를 입력 받고, 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 생성한 뒤, 복수의 사용자 제스처 테이블들로 제스처 인식 정책 DB를 구성함으로써, 제스처 인식 정책 DB를 미리 구축할 수 있다.
상술한 바와 같이, 제스처 인식 정책 DB가 미리 구축되고 난 뒤, NUI 제어 시스템은 제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스한다(420).
이어서, NUI 제어 시스템은 HMD 장치를 사용하는 사용자를 식별한다(430).
그 다음, NUI 제어 시스템은 제스처 인식 정책 DB로부터 사용자에 대응하는 사용자 제스처 테이블을 호출한다(440).
그 다음, NUI 제어 시스템은 제어 공간에 위치하는 동작 인식 센서를 이용하여 사용자의 제스처를 인식한다(450).
그 다음, NUI 제어 시스템은 사용자 제스처 테이블로부터 사용자의 제스처에 매핑된 제어 데이터를 추출한다(460).
여기서, 제어 데이터는 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함할 수 있다.
그 후, NUI 제어 시스템은 제어 데이터에 기초하여, HMD 장치에서 제공하는 NUI를 제어한다(470).
470 단계에서, NUI 제어 시스템은 제어 데이터에 기초하여, 특정 애플리케이션을 NUI 상에 제공할 수 있다. 예를 들어, NUI 제어 시스템은 제어 데이터에 기초하여 특정 애플리케이션을 NUI 상에 호출하거나, NUI 상에 호출된 특정 애플리케이션을 제어 데이터에 기초하여 제어할 수 있다.
이 때, HMD 장치를 포함하는 복수의 HMD 장치들이 제어 공간에 위치하는 경우, NUI 제어 시스템은 410 단계에서 HMD 장치를 포함하는 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축할 수 있다. 이에, NUI 제어 시스템은 420 단계에서 HMD 장치를 인식함에 응답하여, 복수의 제스처 인식 정책 DB들 중 HMD 장치에 대응하는 제스처 인식 정책 DB에 액세스할 수 있다.
또한, HMD 장치를 포함하는 복수의 HMD 장치들이 제어 공간에 위치하는 경우, NUI 제어 시스템은 410 단계에서 HMD 장치를 포함하는 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축하는 대신에, 제스처 인식 정책 DB를 복수의 HMD 장치들 사이에서 공유되도록 운용할 수도 있다.
도 5는 일실시예에 따른 NUI 제어 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 NUI 제어 시스템은 제어 공간에 위치하는 HMD 장치(510), HMD 장치(510)와 연결되는 NUI 제어 모듈(520), 제어 공간에 위치하여 NUI 제어 모듈(520)과 연결되는 동작 인식 센서(530) 및 NUI 제어 모듈(520)과 연결되는 제스처 인식 정책 DB(540)를 포함한다.
제스처 인식 정책 DB(540)는 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 미리 구축될 수 있다.
구체적으로, 제스처 인식 정책 DB(540)는 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여, 복수의 사용자들에 각각 대응하도록 생성되는 복수의 사용자 제스처 테이블들로 구성됨으로써, 미리 구축될 수 있다.
제스처 인식 정책 DB(540)가 미리 구축되고 난 뒤, NUI 제어 모듈(520)에 포함되는 액세스부(521)는 제어 공간에 위치하는 HMD 장치(510)를 인식함에 응답하여, 제스처 인식 정책 DB(540)에 액세스한다.
NUI 제어 모듈(520)에 포함되는 식별부(522)는 HMD 장치(510)를 사용하는 사용자를 식별한다.
NUI 제어 모듈(520)에 포함되는 호출부(523)는 제스처 인식 정책 DB(540)로부터 사용자에 대응하는 사용자 제스처 테이블을 호출한다.
NUI 제어 모듈(520)에 포함되는 인식부(524)는 동작 인식 센서(530)를 이용하여 사용자의 제스처를 인식한다.
NUI 제어 모듈(520)에 포함되는 추출부(525)는 사용자 제스처 테이블로부터 사용자의 제스처에 매핑된 제어 데이터를 추출한다.
여기서, 제어 데이터는 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함할 수 있다.
NUI 제어 모듈(520)에 포함되는 제어부(526)는 제어 데이터에 기초하여, HMD 장치(510)에서 제공하는 NUI를 제어한다.
이 때, 제어부(526)는 제어 데이터에 기초하여, 특정 애플리케이션을 NUI 상에 제공할 수 있다. 예를 들어, 제어부(526)는 제어 데이터에 기초하여 특정 애플리케이션을 NUI 상에 호출하거나, NUI 상에 호출된 특정 애플리케이션을 제어 데이터에 기초하여 제어할 수 있다.
이 때, HMD 장치(510)를 포함하는 복수의 HMD 장치들이 제어 공간에 위치하는 경우, NUI 제어 시스템은 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 포함할 수 있다. 이러한 경우, 액세스부(521)는 HMD 장치(510)를 인식함에 응답하여, 복수의 제스처 인식 정책 DB들 중 HMD 장치에 대응하는 제스처 인식 정책 DB에 액세스할 수 있다.
또한, HMD 장치를 포함하는 복수의 HMD 장치들이 제어 공간에 위치하는 경우, NUI 제어 시스템에 미리 구축된 복수의 제스처 인식 정책 DB들이 포함되는 대신에, 제스처 인식 정책 DB가 복수의 HMD 장치들 사이에서 공유되도록 운용될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 방법에 있어서,
    제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스하는 단계;
    상기 HMD 장치를 사용하는 사용자를 식별하는 단계;
    상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 단계;
    상기 제어 공간에 위치하는 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 단계;
    상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 단계; 및
    상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 단계
    를 포함하는 NUI 제어 방법.
  2. 제1항에 있어서,
    상기 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 상기 제스처 인식 정책 DB를 미리 구축하는 단계
    를 더 포함하는 NUI 제어 방법.
  3. 제2항에 있어서,
    상기 제스처 인식 정책 DB를 미리 구축하는 단계는
    상기 복수의 사용자들 각각으로부터 적어도 하나의 제스처를 입력 받는 단계;
    상기 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 상기 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여 상기 복수의 사용자들에 각각 대응하는 상기 복수의 사용자 제스처 테이블들을 생성하는 단계; 및
    상기 복수의 사용자 제스처 테이블들로 상기 제스처 인식 정책 DB를 구성하는 단계
    를 포함하는 NUI 제어 방법.
  4. 제2항에 있어서,
    상기 제스처 인식 정책 DB를 미리 구축하는 단계는
    상기 HMD 장치를 포함하는 복수의 HMD 장치들에 각각 대응하는 복수의 제스처 인식 정책 DB들을 미리 구축하는 단계
    를 포함하고,
    상기 제스처 인식 정책 DB에 액세스하는 단계는
    상기 HMD 장치를 인식함에 응답하여, 상기 복수의 제스처 인식 정책 DB들 중 상기 HMD 장치에 대응하는 상기 제스처 인식 정책 DB에 액세스하는 단계인, NUI 제어 방법.
  5. 제1항에 있어서,
    상기 제스처 인식 정책 DB는
    상기 HMD 장치를 포함하는 복수의 HMD 장치들이 상기 제어 공간에 위치하는 경우, 상기 복수의 HMD 장치들 사이에서 공유되도록 운용되는, NUI 제어 방법.
  6. 제1항에 있어서,
    상기 HMD 장치에서 제공하는 NUI를 제어하는 단계는
    상기 제어 데이터에 기초하여, 특정 애플리케이션을 상기 NUI 상에 제공하는 단계
    를 더 포함하는 NUI 제어 방법.
  7. 제6항에 있어서,
    상기 특정 애플리케이션을 상기 NUI 상에 제공하는 단계는
    상기 제어 데이터에 기초하여 상기 특정 애플리케이션을 상기 NUI 상에 호출하는 단계; 또는
    상기 NUI 상에 호출된 상기 특정 애플리케이션을 상기 제어 데이터에 기초하여 제어하는 단계
    중 적어도 하나를 포함하는 NUI 제어 방법.
  8. 제1항에 있어서,
    상기 제어 데이터는
    상기 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 상기 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함하는, NUI 제어 방법.
  9. 전자 기기를 구현하는 컴퓨터와 결합하여, 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 NUI 제어 방법은
    제어 공간에 위치하는 HMD(Head Mounted Display) 장치를 인식함에 응답하여, 제스처 인식 정책 DB(Database)에 액세스하는 단계;
    상기 HMD 장치를 사용하는 사용자를 식별하는 단계;
    상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 단계;
    상기 제어 공간에 위치하는 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 단계;
    상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 단계; 및
    상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 단계
    를 포함하는 컴퓨터 프로그램.
  10. 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 NUI(Natural User Interface) 제어 시스템에 있어서,
    제어 공간에 위치하는 HMD(Head Mounted Display) 장치;
    상기 HMD 장치와 연결되는 NUI 제어 모듈;
    상기 제어 공간에 위치하여, 상기 NUI 제어 모듈과 연결되는 동작 인식 센서; 및
    상기 NUI 제어 모듈과 연결되는 제스처 인식 정책 DB(Database)
    를 포함하고,
    상기 NUI 제어 모듈은
    상기 HMD 장치를 인식함에 응답하여, 상기 제스처 인식 정책 DB에 액세스하는 액세스부;
    상기 HMD 장치를 사용하는 사용자를 식별하는 식별부;
    상기 제스처 인식 정책 DB로부터 상기 사용자에 대응하는 사용자 제스처 테이블을 호출하는 호출부;
    상기 동작 인식 센서를 이용하여 상기 사용자의 제스처를 인식하는 인식부;
    상기 사용자 제스처 테이블로부터 상기 사용자의 제스처에 매핑된 제어 데이터를 추출하는 추출부; 및
    상기 제어 데이터에 기초하여, 상기 HMD 장치에서 제공하는 NUI를 제어하는 제어부
    를 포함하는 NUI 제어 시스템.
  11. 제10항에 있어서,
    상기 제스처 인식 정책 DB는
    상기 사용자를 포함하는 복수의 사용자들에 각각 대응하는 복수의 사용자 제스처 테이블들을 이용하여 미리 구축되는, NUI 제어 시스템.
  12. 제11항에 있어서,
    상기 제스처 인식 정책 DB는
    상기 복수의 사용자들 각각으로부터 입력되는 적어도 하나의 제스처를 상기 복수의 사용자들 별로 적어도 하나의 제어 데이터에 매핑하여 상기 복수의 사용자들에 각각 대응하도록 생성되는 상기 복수의 사용자 제스처 테이블들로 구성되는, NUI 제어 시스템.
  13. 제10항에 있어서,
    상기 제어부는
    상기 제어 데이터에 기초하여, 특정 애플리케이션을 상기 NUI 상에 제공하는, NUI 제어 시스템.
  14. 제13항에 있어서,
    상기 제어부는
    상기 제어 데이터에 기초하여 상기 특정 애플리케이션을 상기 NUI 상에 호출하거나, 상기 NUI 상에 호출된 상기 특정 애플리케이션을 상기 제어 데이터에 기초하여 제어하는, NUI 제어 시스템.
  15. 제10항에 있어서,
    상기 제어 데이터는
    상기 NUI가 제공하는 복수의 기능들과 관련된 데이터 또는 상기 사용자에 의해 등록된 특정 애플리케이션과 관련된 데이터 중 적어도 하나를 포함하는, NUI 제어 시스템.
KR1020160138346A 2016-10-24 2016-10-24 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템 KR20180044613A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160138346A KR20180044613A (ko) 2016-10-24 2016-10-24 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160138346A KR20180044613A (ko) 2016-10-24 2016-10-24 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20180044613A true KR20180044613A (ko) 2018-05-03

Family

ID=62244933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138346A KR20180044613A (ko) 2016-10-24 2016-10-24 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20180044613A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102207510B1 (ko) * 2020-04-30 2021-01-27 (주)콕스스페이스 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
WO2023038195A1 (ko) * 2021-09-12 2023-03-16 주식회사 콕스스페이스 사용자의 반복 동작에 기반한 사용자 정의 제스처 프로파일 생성 및 제스처 인식을 위한 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102207510B1 (ko) * 2020-04-30 2021-01-27 (주)콕스스페이스 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
WO2022035027A1 (ko) * 2020-04-30 2022-02-17 주식회사 콕스스페이스 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
US11797112B1 (en) 2020-04-30 2023-10-24 Cox Space Co., Ltd. Electronic device for controlling host device by using motion signal and mouse signal
WO2023038195A1 (ko) * 2021-09-12 2023-03-16 주식회사 콕스스페이스 사용자의 반복 동작에 기반한 사용자 정의 제스처 프로파일 생성 및 제스처 인식을 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
EP2996015B1 (en) Method to use augmented reality to function as hmi display
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20230106727A (ko) 시선-기반 사용자 상호작용
US20160165170A1 (en) Augmented reality remote control
US9268410B2 (en) Image processing device, image processing method, and program
JP2023015274A (ja) 面限定制御用に自由空間入力を適用する方法および装置
US10296359B2 (en) Interactive system control apparatus and method
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
JP2016500872A (ja) アプリケーションとの対話処理としてのマルチモード・ユーザー表現およびユーザー感覚量
US11314396B2 (en) Selecting a text input field using eye gaze
CN106325517A (zh) 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备
US10379345B2 (en) Virtual expansion of desktop
CN108776544B (zh) 增强现实中的交互方法及装置、存储介质、电子设备
US20190155378A1 (en) Analysis of User Interface Interactions Within a Virtual Reality Environment
US11915671B2 (en) Eye gaze control of magnification user interface
WO2021076383A1 (en) Adaptive assistive technology techniques for computing devices
CN105511620A (zh) 中文三维输入装置、头戴式装置及中文三维输入方法
KR20180044613A (ko) 사용자 인체의 위치 정보를 이용하는 동작 인식 기반의 nui 제어 방법 및 시스템
JP2022532696A (ja) インタラクション方法、装置、システム、電子デバイス及び記憶媒体
US20230100689A1 (en) Methods for interacting with an electronic device
US10409464B2 (en) Providing a context related view with a wearable apparatus
US20170212582A1 (en) User interface selection