KR20140069660A - 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법 - Google Patents

이미지 중첩 기반의 사용자 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR20140069660A
KR20140069660A KR1020120137207A KR20120137207A KR20140069660A KR 20140069660 A KR20140069660 A KR 20140069660A KR 1020120137207 A KR1020120137207 A KR 1020120137207A KR 20120137207 A KR20120137207 A KR 20120137207A KR 20140069660 A KR20140069660 A KR 20140069660A
Authority
KR
South Korea
Prior art keywords
input
user
screen
unit
input means
Prior art date
Application number
KR1020120137207A
Other languages
English (en)
Inventor
문민영
정은성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120137207A priority Critical patent/KR20140069660A/ko
Priority to US14/022,440 priority patent/US20140149950A1/en
Publication of KR20140069660A publication Critical patent/KR20140069660A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이미지 중첩 기반의 사용자 인터페이스 장치에 관한 것으로, 일 실시예에 따른 사용자 인터페이스 장치는 디스플레이 영역에 인터페이스 화면을 출력하는 디스플레이부와 사용자의 입력을 수행하는 입력수단의 움직임 이미지를 획득하는 감지부, 그 입력수단의 움직임 이미지를 디스플레이 영역의 인터페이스 화면에 중첩하고, 중첩된 인터페이스 화면상에서 입력수단의 움직임에 해당하는 사용자의 입력을 인식하는 입력인식부 및 인식된 사용자 입력에 대응하는 실제 동작을 처리하는 처리부를 포함할 수 있다.

Description

이미지 중첩 기반의 사용자 인터페이스 장치 및 방법{USER INTERFACE APPARATUS AND METHOD BASED ON IMAGE OVERLAY}
사용자의 입력 동작 이미지와 인터페이스 화면의 중첩을 기반으로 사용자의 입력을 처리하는 인터페이스 장치 및 방법과 관련된다.
최근 출시되는 스마트폰, 태블릿 PC 등의 대부분의 단말은 터치패드와 같은 사용자의 입력을 인식하는 수단을 제공한다. 사용자는 이와 같은 터치패드와 같은 인식수단을 통해 자신들의 입력을 전달함으로써 단말에서 자신들이 원하는 각종 동작을 수행시킨다. 그러나, 최근 등장하고 있는 착용 가능한 기기(wearable device), 예컨대, 안경과 같은 기기들은 일반적으로 터치패드와 같은 별도의 입력을 전달하는 수단을 제공하지 않거나, 제공하더라도 사이즈 측면에서 매우 제한적이기 때문에, 키보드 입력과 같은 구체적인 입력을 하기에는 부적합하다. 제스처를 통한 인식 또한 간단한 동작을 수행하는 정도에 불과하다. 구체적인 입력이 음성으로는 가능하나 시끄러운 곳에 있거나, 프라이버시 문제 등으로 인해 음성으로 명령을 수행시키기에 부적합한 상황이 많이 존재한다. 또한, 사용자의 입력 동작 및 그 처리 결과가 외부에 노출됨으로 인해 사용자의 프라이버시(privacy) 침해, 정보 유출 문제가 발생할 수 있다.
사용자만이 볼 수 있는 디스플레이 영역에 사용자 인터페이스 화면과 사용자의 입력 동작의 이미지를 중첩하여 출력하고 사용자 입력을 인식함으로써 터치패드와 같은 물리적인 수단이 필요 없고, 사용자 입력의 외부 노출을 방지할 수 있는 사용자 인터페이스 장치 및 방법이 제시된다.
일 양상에 따르면, 사용자 인터페이스 장치는 디스플레이 영역에 인터페이스 화면을 출력하는 디스플레이부, 사용자 입력을 수행하는 입력수단의 움직임 이미지를 획득하는 감지부, 그 움직임 이미지를 디스플레이 영역의 인터페이스 화면에 중첩하고, 중첩된 인터페이스 화면상에서 상기 입력수단의 움직임에 해당하는 사용자의 입력을 인식하는 입력인식부 및 인식된 사용자 입력에 대응하는 실제 동작을 처리하는 처리부를 포함할 수 있다.
또한, 사용자 인터페이스 장치는 처리부에 의해 사용자 입력에 대응하는 동작이 처리되면, 그 처리 결과를 기초로 인터페이스 화면을 생성하는 인터페이스생성부를 더 포함할 수 있고, 디스플레이부는 인터페이스생성부에 의해 생성된 인터페이스 화면을 디스플레이 영역에 출력할 수 있다.
이때, 디스플레이 영역은 외부에서 볼 수 없는 가상의 공간상에 형성되는 영역일 수 있다.
또한, 인터페이스 화면은 각종 동작을 제어하기 위한 메뉴 화면, 문자 입력을 위한 키 입력 화면 및 각종 애플리케이션과 관련된 화면 중의 하나 이상을 포함할 수 있다.
이때, 키 입력 화면은 키보드가 출력되는 제1 영역과, 키보드에서 사용자가 입력수단을 통해 선택하는 문자가 출력되는 제2 영역으로 구성될 수 있다.
감지부는 그 입력수단의 움직임에 따라 사용자 인터페이스 장치와 그 입력수단 간의 거리를 감지하고, 입력인식부는 그 입력수단의 움직임 이미지 및 거리 정보를 기초로 사용자의 입력을 인식할 수 있다.
입력인식부는 사용자의 입력이 인식되면, 그 입력이 인식되었음을 사용자에게 통보하는 소정 조치를 실행할 수 있다.
이때, 소정 조치는 사용자가 그 입력수단을 통해 인터페이스 화면상의 소정 영역을 선택하면 그 소정 영역의 색 변경, 그 소정 영역이 눌려지게 보이도록 하는 것, 그 소정 영역의 확대, 비프(beep)음 출력 및 인터페이스 장치의 진동 중의 하나 이상을 포함할 수 있다.
또한, 입력수단은 손, 손가락 및 펜 중의 하나 이상을 포함할 수 있다.
일 양상에 따르면, 사용자 인터페이스 방법은, 디스플레이 영역에 인터페이스 화면을 출력하는 단계, 사용자 입력을 수행하는 입력수단의 움직임 이미지를 획득하는 단계, 사용자 입력을 수행하는 입력수단의 움직임 이미지를 디스플레이 영역의 인터페이스 화면에 중첩하는 단계, 중첩된 인터페이스 화면상에서 그 입력수단의 움직임에 해당하는 사용자의 입력을 인식하는 단계 및 인식된 사용자 입력에 대응하는 실제 동작을 처리하는 단계를 포함할 수 있다.
또한, 사용자 인터페이스 방법은 사용자 입력에 대응하는 동작이 처리되면, 그 처리 결과를 기초로 인터페이스 화면을 생성하고, 인터페이스 화면을 출력하는 단계 이하를 재수행할 수 있다.
이때, 디스플레이 영역은 외부에서 볼 수 없는 가상의 공간상에 형성되는 영역일 수 있다.
또한, 인터페이스 화면은 각종 동작을 제어하기 위한 메뉴 화면, 문자 입력을 위한 키 입력 화면 및 각종 애플리케이션과 관련된 화면 중의 하나 이상을 포함할 수 있다.
이때, 키 입력 화면은 키보드가 출력되는 제1 영역과, 키보드에서 사용자가 그 입력수단을 통해 선택하는 문자가 출력되는 제2 영역으로 구성될 수 있다.
움직임 감지 단계는 입력수단의 움직임에 따라 사용자 인터페이스 장치와 그 입력수단 간의 거리를 감지하고, 사용자 입력 인식 단계는 그 입력수단의 움직임 이미지 및 거리 정보를 기초로 사용자의 입력을 인식할 수 있다.
사용자 입력 인식 단계는 사용자의 입력이 인식되면, 그 입력이 인식되었음을 사용자에게 통보하는 소정 조치를 실행할 수 있다.
이때, 소정 조치는 사용자가 그 입력수단을 통해 인터페이스 화면상의 소정 영역을 선택하면 그 소정 영역의 색 변경, 그 소정 영역이 눌려지게 보이도록 하는 것, 그 소정 영역의 확대, 비프(beep)음 출력 및 인터페이스 장치의 진동 중의 하나 이상을 포함할 수 있다.
또한, 입력수단은 손, 손가락 및 펜 중의 하나 이상을 포함할 수 있다.
도 1a 및 1b는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 장치의 적용 예이다.
도 2는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 장치의 블록도이다.
도 3a 내지 3c는 디스플레이 영역에 출력된 사용자 인터페이스 화면의 예이다.
도 4는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 방법의 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 따른 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법을 도면들을 참고하여 자세히 설명하도록 한다.
도 1a 및 1b는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 장치의 적용 예로서, 이미지 중첩 기반의 사용자 인터페이스 장치가 적용된 사용자가 얼굴에 착용하는 안경 형태의 웨어러블 디바이스(wearable device)를 예시하고 있다.
도 1a 및 1b의 예시와 같이 사용자 인터페이스 장치는 터치패드나 키보드 등의 사용자 입력(input)을 전달할 수 있는 별도의 물리적인 수단을 구비하고 있지 않은 웨어러블 디바이스(1)에 적용될 수 있다. 그러나, 반드시 이에 한정되는 것은 아니며 별도의 입력 전달 수단이 있는 경우에도 적용이 가능하고, 또한, 안경 형태뿐만 아니라 조끼 형태 등의 어떤 형태의 웨어러블 디바이스에도 적용이 가능하다.
도 1a 및 1b를 참조하면, 기본적으로 프레임(10) 및 렌즈(20)로 구성되는 안경 형태의 웨어러블 디바이스(1)는 프레임(10)의 소정 위치에 마이크로 프로젝터와 같은 디스플레이부(30a,30b)가 형성될 수 있다. 그 디스플레이부(30a,30b)는 그 웨어러블 디바이스(1)를 착용한 사용자만이 볼 수 있는 디스플레이 영역(40)이 소정 위치에 형성되며, 사용자는 렌즈(20)를 통해 그 디스플레이 영역(40)에 출력되는 사용자 인터페이스 화면을 볼 수 있다. 디스플레이부(30a,30b)는 그 프레임(10)의 양쪽에 각각 형성되는 것으로 예시하였으나, 어느 한 쪽에만 형성되는 것도 가능하다.
디스플레이부(30a,30b)는 그 웨어러블 디바이스(1)를 착용한 사용자만이 볼 수 있도록 사용자의 눈과 근접한 위치의 가상의 공간상에 디스플레이 영역(40)을 형성할 수 있다. 이때, 그 디스플레이 영역(40)은 출력되는 사용자 인터페이스의 크기, 사용자의 시력 등을 고려하여 최적의 위치에 형성될 수 있으며, 사용자가 디스플레이부(30a,30b)를 제어하여 그 위치를 조정할 수 있다. 또한, 디스플레이부(30a,30b)는 사용자가 입력 동작을 수행할 수 있도록 사용자 인터페이스 화면을 그 디스플레이 영역(40)에 출력할 수 있다.
또한, 웨어러블 디바이스(1)는 프레임(10)에 카메라와 같은 이미지 촬영장치를 포함하는 감지부(50)가 형성될 수 있다. 사용자가 출력되는 사용자 인터페이스에 입력을 수행하기 위해 손, 손가락, 스타일러스 펜 등의 입력수단(70)을 움직이면 감지부(50)는 입력수단(70)이 시야각 안으로 들어오는 것을 감지하고, 그 입력수단(70)의 움직임 이미지를 획득할 수 있다.
추가적인 양상에 따르면, 감지부(50)는 웨어러블 디바이스(1)로부터 그 입력수단(70)까지의 거리를 감지할 수 있다. 감지된 거리 정보를 포함하는 깊이(depth) 정보를 통해 그 입력수단(70)의 푸시(Push) 동작을 좀 더 정확하게 인식할 수 있다. 한편, 감지부(50)는 깊이 정보를 좀 더 쉽게 감지할 수 있는 센서를 더 포함할 수 있으며, 센서는 그 입력수단(70)에 착용하는 형태, 예컨대, 손가락에 끼우는 반지 형태 또는 손톱에 부착하는 형태로 형성될 수 있다. 또한, 감지부(50)는 사용자의 음성 정보를 수집하는 마이크로폰(미도시)을 포함할 수 있다.
웨어러블 디바이스(1)는 감지부(50)에 의해 인식된 움직임 이미지를 통해 사용자 입력을 인식하고 그 인식된 사용자 입력에 대응되는 동작을 처리하는 프로세서와 같은 처리부(60)를 포함할 수 있다. 이때, 처리부(60)는 프레임(10)의 소정 위치에 형성될 수 있다. 한편, 제작 비용, 처리 성능 등을 고려하여상대적으로 컴퓨팅 성능이 우수한 외부 기기(예: 스마트폰, 태블릿 PC, 노트북, PC 등)의 프로세서를 처리부(60)로서 활용할 수 있다.
처리부(60)는 디스플레이 영역(40)에 출력된 사용자 인터페이스 화면과 그 사용자 입력을 수행하는 입력수단(70)의 움직임 이미지를 중첩하고, 그 입력수단(70)의 움직임에 해당하는 사용자 입력을 인식하여 그 인식된 사용자 입력에 대응되는 실제 동작을 수행한다.
이하, 도 2 내지 도 3c를 참조하여, 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 장치를 상세히 설명한다. 도 2는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 장치의 블록도이다. 도 3a 내지 3c는 디스플레이 영역에 출력된 사용자 인터페이스 화면의 예이다.
도 2를 참조하면, 사용자 인터페이스 장치(100)는 인터페이스생성부(110), 디스플레이부(120), 감지부(130), 입력인식부(140) 및 처리부(150)를 포함할 수 있다. 한편, 입력인식부(140)는 처리부(150)의 일 구성 모듈이 될 수 있다.
인터페이스생성부(110)는 도 3a 내지 3c에 도시된 바와 같이 디스플레이 영역에 출력될 다양한 형태의 사용자 인터페이스 화면(80)을 생성할 수 있다. 사용자 인터페이스 화면(80)은 모바일 단말, 태블릿 PC, 랩탑(Laptop), 노트북 등에서 보여지는 어떠한 형태의 화면도 될 수 있다. 예를 들어, 사용자 인터페이스 장치(100) 또는 그 사용자 인터페이스 장치(100)와 유무선으로 연결된 외부 기기의 각종 동작을 제어하기 위한 메뉴 화면이 될 수 있다. 또는, 각종 문자 입력을 위한 키 입력 화면이 될 수 있다. 또는 사용자 인터페이스 장치(100) 또는 그 사용자 인터페이스 장치(100)와 연결된 외부 기기에서 실행되는 각종 애플리케이션(예: 웹 브라우저 화면, 게임 화면, 동영상 등의 각종 미디어 실행 화면 등)과 관련된 화면이 될 수 있다.
예를 들어, 도 3a는 키 입력 화면(80)을 나타낸 것이다. 키 입력 화면은 키보드가 출력되는 제1영역(81)과, 사용자가 손, 펜 등의 입력수단(70)를 통해 선택하는 문자가 출력되는 제2영역(82)으로 구성될 수 있다. 사용자가 그 입력수단(70)을 움직여 제1영역((81)의 키보드에서 문자를 선택하면 해당 문자가 제2영역(82)에 출력될 수 있다. 또한, 도 3b는 각종 메뉴 화면(80)을 나타낸 것으로 아이콘 등의 각종 그래픽 객체(83)들을 사용하여 생성될 수 있다. 사용자가 입력을 수행하는 ㅇ입력수단(70)를 통해 특정 그래픽 객체(83)를 선택하면 해당 그래픽 객체와 연결된 동작이 수행된다. 도 3c는 웹브라우저 화면(80)을 나타낸 것으로, 사용자가 웹브라우저 화면에서 입력수단을 통해 특정 링크를 클릭하면 해당 링크의 화면이 디스플레이 영역에 출력된다.
디스플레이부(120)는 인터페이스생성부(110)에 의해 생성된 사용자 인터페이스 화면(80)을 디스플레이 영역에 출력한다. 디스플레이부(120)는 전술한 바와 같이 외부에서 볼 수 없는 가상의 공간상에 디스플레이 영역을 형성할 수 있으며, 웨어러블 디바이스를 착용한 사용자만이 그 디스플레이 영역에 출력된 사용자 인터페이스(80)를 볼 수 있다.
감지부(130)는 사용자가 입력을 수행하기 위해 입력수단(70)을 시야각 안으로 움직이면 그 입력수단(70)을 감지하여 움직임을 촬영하고, 움직임 이미지를 실시간으로 획득하여 획득된 움직임 이미지를 입력인식부(140)로 전달한다. 감지부(130)는 이미지 획득 수단을 통해 입력수단(70)의 움직임 이미지 외에 거리 정보를 인식할 수 있으며, 별도로 부착되는 센서(미도시)를 통해 깊이 정보를 획득할 수도 있다. 또한, 마이크로폰(미도시)을 통해 사용자의 음성 정보를 수집할 수 있다.
입력인식부(140)는 이미지중첩부(141), 선택영역검출부(142) 및 조치실행부(143)를 포함할 수 있다.
이미지중첩부(141)는 감지부(130)에 의해 획득된 입력수단(70)의 움직임 이미지를 디스플레이 영역에 출력된 사용자 인터페이스 화면(80)에 중첩한다. 이때, 입력수단(70)의 크기와 디스플레이 영역의 크기가 일치하지 않는 경우, 그 입력수단(70)의 크기는 디스플레이 영역의 크기에 최적화되어 중첩된다. 이를 통해, 사용자는 실제로는 디스플레이 영역의 위치와 다른 위치에서 입력수단(70)을 움직이더라도 언제나 사용자 인터페이스 화면 위에서 입력을 하는 것과 느낌을 가질 수 있다. 따라서, 사용자는 터치패드, 키보드 등의 별도의 입력을 전달하기 위한 수단이 없는 경우에도 정확한 입력이 가능하다.
선택영역검출부(142)는 사용자 입력을 수행하는 입력수단(70)의 움직임 이미지를 분석하여 사용자 인터페이스 화면(80) 상에서 사용자가 그 입력수단(70)을 통해 선택한 특정 영역을 검출한다. 선택영역검출부(142)는 특정 영역이 검출되면 그 영역에 해당하는 사용자 입력을 인식한다.
조치실행부(143)는 선택영역검출부(142)에 의해 사용자 인터페이스 화면(80)상의 특정 영역이 검출되면, 다양한 조치를 실행함으로써 사용자에게 입력이 인식되었음을 통보할 수 있다. 예를 들어, 조치실행부(143)는 그 선택된 영역의 색을 다른 영역과 다르게 표시할 수 있다. 또는 선택된 특정 영역이 다른 영역보다 들어가 보이도록 함으로써 실제로 눌려진 것과 같은 효과를 줄 수 있다. 또는 선택된 소정 영역을 확대하거나, 그 소정 영역의 내용을 확대하여 보여줄 수 있다. 한편, 사용자가 특정 영역을 선택할 때마다 비프(beep)음을 출력하거나 사용자 인터페이스 장치(100)를 진동시킴으로써 사용자의 입력이 인식되고 있음을 알려 주는 것도 가능하다. 다만, 이는 예시에 불과한 것으로서 이에 한정되는 것으로 해석될 수 없음은 자명하다.
추가적인 양상에 따르면, 입력인식부(140)는 감지부(130)에 의해 사용자 음성 정보가 수집되면 해당 음성 정보를 분석하여 해당하는 사용자 입력을 인식하는 음성분석부(미도시)를 더 포함할 수 있다.
처리부(150)는 선택영역검출부(142)에서 선택 영역에 해당하는 사용자 입력이 인식되거나, 음성분석부(미도시)에 의해 사용자 입력이 인식되면 그 사용자 입력에 대응하는 실제 동작을 처리한다. 예를 들어, 도 3a와 같이, 제1영역(81)의 키보드에서 특정 문자를 선택할 때마다 선택된 영역의 문자를 제2영역(82)에 출력할 수도 있다. 또는, 도 3b와 같이, 그래픽 객체로 이루어진 메뉴 화면에서 특정 객체를 선택하면 그 객체에 연결된 동작을 처리할 수 있다. 예컨대, 그 객체에 다음 인터페이스 화면이 링크된 경우, 그 인터페이스 화면을 생성하도록 인터페이스생성부(110)를 제어할 수 있다. 이때, 다음 인터페이스 화면에 출력될 데이터를 데이터베이스에서 가져와야 하는 경우 해당하는 질의를 수행하여 데이터를 읽을 수 있다. 또는, 도 3c와 같이, 웹브라우저 화면에서 특정 영역을 선택하면 그 영역에 링크된 다른 인터넷 화면에 필요한 데이터를 가져오고, 인터페이스생성부(110)로 하여금 그 인터페이스 화면을 출력하도록 제어할 수 있다.
인터페이스생성부(110)는 처리부(150)에 의해 사용자 입력에 대응하는 실제 동작이 처리되면, 그 처리 결과를 기초로 새로운 인터페이스 화면을 생성할 수 있다. 또한, 디스플레이부(120)는 인터페이스생성부(110)에 의해 새로운 인터페이스 화면이 생성되면 그 인터페이스 화면을 디스플레이 영역에 출력한다.
한편, 입력인식부(140) 또는 처리부(150)는 외부 기기에 탑재되어 외부 기기의 컴퓨팅 자원을 이용하는 처리 모듈일 수 있다. 이 경우, 사용자 인터페이스 장치(100)는 그 외부 기기와 유무선으로 통신하여 입력수단(70)의 움직임 이미지를 포함하는 각종 데이터를 전송하고, 처리부(150)의 처리 결과 등을 수신하는 통신부(미도시)를 더 포함할 수 있다.
개시될 실시예에 따르면, 사용자는 웨어러블 디바이스를 착용함으로써 스마트폰, 태블릿 PC 등의 일반적인 단말에서 수행할 수 있는 다양한 작업을 수행할 수 있다.
예를 들어, 사용자가 웨어러블 디바이스를 이용하여 인터넷 검색을 하고자 하면 그 웨어러블 디바이스를 착용하는 것에 의해 달성될 수 있다. 사용자가 웨어러블 디바이스를 착용하는 순간 디스플레이부(120)는 인터페이스생성부(110)에 의해 미리 생성되어 있는 초기 메뉴화면을 디스플레이 영역에 출력할 수 있다. 사용자는 그 메뉴화면에서 그 입력수단을 통해 인터넷 검색 사이트로 이동하여 인터넷 검색을 할 수 있다.
또는, 사용자가 웨어러블 디바이스를 착용하고 손, 손가락, 스타일러스 펜 등의 입력수단을 감지부의 시야각으로 움직여 미리 설정된 인터넷 검색 사이트 이동 제스처를 취하면, 감지부(130)는 그 제스처 이미지를 획득할 수 있다. 입력인식부(140)가 그 제스처 이미지를 분석하여 사용자의 입력을 인식하면, 처리부(150)가 필요한 데이터를 가져와서 인터페이스생성부(110)로 하여금 웹 페이지 화면을 생성하도록 할 수 있다. 디스플레이부(120)가 생성된 웹 페이지 화면을 디스플레이 영역에 출력하면 사용자는 그 입력수단을 이용하여 인터넷 검색 작업을 할 수 있다.
또는, 사용자가 웨어러블 디바이스를 착용하고 미리 설정된 인터넷 검색 명령어를 음성으로 입력하면 감지부(130)가 그 음성정보를 수집하고, 입력인식부(140)가 그 음성정보를 분석하여 사용자 입력을 인식하면, 처리부(150)가 필요한 데이터를 가져와서 인터페이스생성부(110)로 하여금 웹 페이지 화면을 생성하도록 할 수 있다. 디스플레이부(120)가 생성된 웹 페이지 화면을 디스플레이 영역에 출력하면 사용자는 입력수단을 이용하여 인터넷 검색 작업을 할 수 있다.
도 4는 일 실시예에 따른 이미지 중첩 기반의 사용자 인터페이스 방법의 흐름도이다. 도 4를 참조하여 도 2의 실시예에 따른 사용자 인터페이스 장치(100)를 통해 인터페이스하는 방법을 설명한다.
먼저, 사용자가 인터페이스 장치(100)가 적용된 웨어러블 디바이스를 착용하면 사용자 인터페이스 장치(100)는 미리 설정된 초기 인터페이스 화면을 디스플레이 영역에 출력할 수 있다(단계 310). 또는, 사용자가 웨어러블 디바이스를 착용하고 음성으로 명령을 입력하거나, 입력수단을 사용하여 제스처를 입력하면 인터페이스 장치(100)는 그 음성정보 또는 제스처를 분석하여 해당하는 인터페이스 화면을 디스플레이 영역에 출력할 수 있다.
디스플레이 영역은 사용자만이 볼 수 있는 소정의 가상 공간상에 형성될 수 있다. 인터페이스 화면은 도 3a 내지 3c를 참조하여 전술한 바와 같이, 사용자 인터페이스 장치(100) 또는 그 사용자 인터페이스 장치(100)와 유무선으로 연결된 외부 기기의 각종 동작을 제어하기 위한 메뉴 화면, 각종 문자 입력을 위한 키 입력 화면 및 사용자 인터페이스 장치(100) 또는 그 사용자 인터페이스 장치(100)와 연결된 외부 기기에서 실행되는 각종 애플리케이션(예: 웹 브라우저 화면, 게임 화면, 동영상 등의 각종 미디어 실행 화면 등)과 관련된 화면이 될 수 있다. 이때, 키 입력 화면은 키보드가 출력되는 제1영역과 그 키보드에서 선택되는 문자가 출력되는 제2영역으로 이루어질 수 있다.
그 다음, 인터페이스 장치(100)는 감지 시야각 안에 사용자의 손, 손가락, 펜 등의 입력수단이 들어오면 이를 감지하고(320), 그 입력수단의 움직임 이미지를 획득한다(단계 330). 또한, 인터페이스 장치(100)는 그 입력수단의 움직임 이미지 외에 그 입력수단과 사용자 인터페이스 장치(100) 간의 거리 정보를 더 감지할 수 있다.
그 다음, 획득된 입력수단의 움직임 이미지를 디스플레이 영역에 출력된 인터페이스 화면에 중첩한다(단계 340). 이때, 획득된 입력수단의 크기는 상황에 따라 달라질 수 있으며, 이 경우 디스플레이 영역의 크기에 최적화되어 중첩된다.
그 다음, 사용자가 인터페이스 화면상에서 그 입력수단을 움직여 특정한 영역을 선택하면 그 선택 영역을 검출하여 사용자의 입력을 인식한다(단계 350). 즉, 그 선택한 특정 영역에 대응하는 인터페이스 화면상의 개체를 확인하여 사용자의 입력이 그 개체에 연결된 동작의 수행임을 인식할 수 있다. 이때, 입력수단의 움직임 이미지 외에 거리 정보를 더 이용하면 사용자가 선택한 영역을 좀 더 정확하게 인식할 수 있다.
또한, 사용자 인터페이스 화면상의 특정 영역이 검출되면 사용자의 입력이 인식되었음을 통보하는 다양한 조치를 실행할 수 있다. 예를 들어, 손가락으로 특정 영역을 선택할때마다 그 선택된 영역의 색을 다른 색으로 표현할 수 있다. 또는 선택된 특정 영역이 다른 영역보다 들어가 보이도록 하거나 선택된 영역을 확대 또는 그 영역의 내용을 확대하여 보여줄 수 있다. 이는 사용자가 키보드를 통해 문자를 입력할 때 제대로 입력하고 있는지를 확인하는데 효과적일 수 있다. 또는, 사용자가 특정 영역을 선택할 때마다 비프(beep)음을 출력하거나 사용자 인터페이스 장치(100)를 진동시킴으로써 사용자의 입력이 인식되고 있음을 알려 주는 것도 가능하다.
그 다음, 인식된 사용자의 입력에 대응하는 실제 동작을 처리한다(단계 360). 예를 들어, 메뉴 화면에서 특정 객체를 선택하거나, 웹 페이지에서 특정 링크를 클릭하는 경우, 그 객체 또는 링크에 연결된 동작을 처리할 수 있다. 즉, 그 객체에 다음 인터페이스 화면이 링크된 경우 그 인터페이스 화면을 생성하도록 인터페이스생성부(110)를 제어할 수 있으며, 필요한 경우 그 인터페이스 화면에 출력될 데이터를 데이터베이스에서 읽어 올 수 있다.
그 다음, 사용자 입력에 대응하는 실제 동작이 처리가 되면 그 처리 결과를 기초로 새로운 인터페이스 화면을 생성하고(단계 370), 생성된 새로운 인터페이스 화면을 디스플레이 영역에 출력한다(단계 310). 이 과정은 반복 수행되며 사용자가 웨어러블 디바이스를 착용 해제하거나, 사용자 인터페이스 장치(100)의 사용을 중지하는 경우 또는 미리 설정된 소정 시간 동안 사용자의 입력수단이 감지되지 않는 경우(단계 320) 종료된다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 인터페이스 장치 110: 인터페이스생성부
120: 디스플레이부 130: 감지부
140: 입력인식부 141: 이미지중첩부
142: 선택영역검출부 143: 조치실행부
150: 처리부

Claims (18)

  1. 디스플레이 영역에 인터페이스 화면을 출력하는 디스플레이부;
    사용자 입력을 수행하는 입력수단의 움직임 이미지를 획득하는 감지부;
    상기 획득된 움직임 이미지를 상기 디스플레이 영역의 인터페이스 화면에 중첩하고, 상기 중첩된 인터페이스 화면상에서 상기 입력수단의 움직임에 해당하는 사용자의 입력을 인식하는 입력인식부; 및
    상기 인식된 사용자 입력에 대응하는 실제 동작을 처리하는 처리부;를 포함하는 사용자 인터페이스 장치.
  2. 제1항에 있어서,
    상기 처리부에 의해 상기 사용자 입력에 대응하는 동작이 처리되면, 그 처리 결과를 기초로 인터페이스 화면을 생성하는 인터페이스생성부;를 더 포함하고,
    상기 디스플레이부는,
    상기 인터페이스생성부에 의해 생성된 인터페이스 화면을 디스플레이 영역에 출력하는 사용자 인터페이스 장치.
  3. 제1항에 있어서, 상기 디스플레이 영역은,
    외부에서 볼 수 없는 가상의 공간상에 형성되는 영역인 사용자 인터페이스 장치.
  4. 제1항에 있어서, 상기 인터페이스 화면은,
    각종 동작을 제어하기 위한 메뉴 화면, 문자 입력을 위한 키 입력 화면 및 각종 애플리케이션과 관련된 화면 중의 하나 이상을 포함하는 사용자 인터페이스 장치.
  5. 제4항에 있어서, 상기 키 입력 화면은,
    키보드가 출력되는 제1 영역과, 상기 키보드에서 사용자가 상기 입력수단을 통해 선택하는 문자가 출력되는 제2 영역으로 구성되는 사용자 인터페이스 장치.
  6. 제1항에 있어서, 상기 감지부는,
    상기 입력수단의 움직임에 따라 사용자 인터페이스 장치와 그 입력수단 간의 거리를 감지하고,
    상기 입력인식부는,
    상기 입력수단의 움직임 이미지 및 상기 거리 정보를 기초로 사용자의 입력을 인식하는 사용자 인터페이스 장치.
  7. 제1항에 있어서, 상기 입력인식부는,
    상기 사용자의 입력이 인식되면, 그 입력이 인식되었음을 사용자에게 통보하는 소정 조치를 실행하는 사용자 인터페이스 장치.
  8. 제7항에 있어서, 상기 소정 조치는,
    사용자가 상기 입력수단을 통해 인터페이스 화면상의 소정 영역을 선택하면 그 소정 영역의 색 변경, 그 소정 영역이 눌려지게 보이도록 하는 것, 그 소정 영역의 확대, 비프(beep)음 출력 및 상기 인터페이스 장치의 진동 중의 하나 이상을 포함하는 사용자 인터페이스 장치.
  9. 제1항에 있어서, 상기 입력수단은
    손, 손가락 및 펜 중의 하나 이상을 포함하는 사용자 인터페이스 장치.
  10. 디스플레이 영역에 인터페이스 화면을 출력하는 단계;
    사용자 입력을 수행하는 입력수단의 움직임 이미지를 획득하는 단계;
    상기 획득된 움직임 이미지를 상기 디스플레이 영역의 인터페이스 화면에 중첩하는 단계;
    상기 중첩된 인터페이스 화면상에서 상기 입력수단의 움직임에 해당하는 사용자의 입력을 인식하는 단계; 및
    상기 인식된 사용자 입력에 대응하는 실제 동작을 처리하는 단계;를 포함하는 사용자 인터페이스 방법.
  11. 제10항에 있어서,
    상기 사용자 입력에 대응하는 동작이 처리되면, 그 처리 결과를 기초로 인터페이스 화면을 생성하고, 상기 인터페이스 화면을 출력하는 단계 이하를 재수행하는 단계;를 더 포함하는 사용자 인터페이스 방법.
  12. 제10항에 있어서, 상기 디스플레이 영역은,
    외부에서 볼 수 없는 가상의 공간상에 형성되는 영역인 사용자 인터페이스 방법.
  13. 제10항에 있어서, 상기 인터페이스 화면은,
    각종 동작을 제어하기 위한 메뉴 화면, 문자 입력을 위한 키 입력 화면 및 각종 애플리케이션과 관련된 화면 중의 하나 이상을 포함하는 사용자 인터페이스 방법.
  14. 제13항에 있어서, 상기 키 입력 화면은,
    키보드가 출력되는 제1 영역과, 상기 키보드에서 사용자가 상기 입력수단을 통해 선택하는 문자가 출력되는 제2 영역으로 구성되는 사용자 인터페이스 방법.
  15. 제10항에 있어서, 상기 움직임 감지 단계는,
    상기 입력수단의 움직임에 따라 사용자 인터페이스 장치와 그 입력수단 간의 거리를 감지하고,
    상기 사용자 입력 인식 단계는,
    상기 입력수단의 움직임 이미지 및 상기 거리 정보를 기초로 사용자의 입력을 인식하는 사용자 인터페이스 방법.
  16. 제10항에 있어서, 상기 사용자 입력 인식 단계는,
    상기 사용자의 입력이 인식되면, 그 입력이 인식되었음을 사용자에게 통보하는 소정 조치를 실행하는 사용자 인터페이스 방법.
  17. 제16항에 있어서, 상기 소정 조치는,
    사용자가 상기 입력수단을 통해 인터페이스 화면상의 소정 영역을 선택하면 그 소정 영역의 색 변경, 그 소정 영역이 눌려지게 보이도록 하는 것, 그 소정 영역의 확대, 비프(beep)음 출력 및 상기 인터페이스 장치의 진동 중의 하나 이상을 포함하는 사용자 인터페이스 방법.
  18. 제10항에 있어서, 상기 입력수단은
    손, 손가락 및 펜 중의 하나 이상을 포함하는 사용자 인터페이스 방법.
KR1020120137207A 2012-11-29 2012-11-29 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법 KR20140069660A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120137207A KR20140069660A (ko) 2012-11-29 2012-11-29 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법
US14/022,440 US20140149950A1 (en) 2012-11-29 2013-09-10 Image overlay-based user interface apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120137207A KR20140069660A (ko) 2012-11-29 2012-11-29 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140069660A true KR20140069660A (ko) 2014-06-10

Family

ID=50774475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120137207A KR20140069660A (ko) 2012-11-29 2012-11-29 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법

Country Status (2)

Country Link
US (1) US20140149950A1 (ko)
KR (1) KR20140069660A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051384A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
KR102296271B1 (ko) * 2021-03-24 2021-09-01 주식회사 시스메이트 시각 및 청각장애인용 키오스크
KR20210132865A (ko) * 2020-04-28 2021-11-05 광운대학교 산학협력단 인공지능 기반 미세유체 제어시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
USD738882S1 (en) * 2014-03-31 2015-09-15 Essex Electronics, Inc. Touchless microwave switch

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8031172B2 (en) * 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
US20150219900A1 (en) * 2011-07-20 2015-08-06 Google Inc. Adjustable Display Mounting
US20140253458A1 (en) * 2011-07-20 2014-09-11 Google Inc. Method and System for Suggesting Phrase Completions with Phrase Segments
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051384A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
US10209513B2 (en) 2014-11-03 2019-02-19 Samsung Electronics Co., Ltd. Wearable device and control method thereof
KR20210132865A (ko) * 2020-04-28 2021-11-05 광운대학교 산학협력단 인공지능 기반 미세유체 제어시스템
KR102296271B1 (ko) * 2021-03-24 2021-09-01 주식회사 시스메이트 시각 및 청각장애인용 키오스크

Also Published As

Publication number Publication date
US20140149950A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
US20220107687A1 (en) Touch free interface for augmented reality systems
US9195345B2 (en) Position aware gestures with visual feedback as input method
US9395821B2 (en) Systems and techniques for user interface control
KR102120930B1 (ko) 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
EP2978218B1 (en) Computer display device mounted on eyeglasses
CN102779000B (zh) 一种用户交互系统和方法
KR20140069660A (ko) 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
WO2008157250A1 (en) Mode sensitive processing of touch data
JP2013539580A (ja) デバイス上の動き制御方法及び装置
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN108027654B (zh) 输入设备、输入方法和程序
US20120229509A1 (en) System and method for user interaction
KR20170087292A (ko) Hmd 디바이스 및 그 제어 방법
EP3486747A1 (en) Gesture input method for wearable device, and wearable device
US11360550B2 (en) IMU for touch detection
US11308704B2 (en) Mobile terminal for controlling VR image and control method therefor
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
US9377917B2 (en) Mobile terminal and method for controlling the same
JP2015011679A (ja) 操作入力装置及び入力操作処理方法
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
KR20110049162A (ko) 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
Lik-Hang et al. Interaction methods for smart glasses

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application