KR101558200B1 - 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법 - Google Patents

비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법 Download PDF

Info

Publication number
KR101558200B1
KR101558200B1 KR1020100123742A KR20100123742A KR101558200B1 KR 101558200 B1 KR101558200 B1 KR 101558200B1 KR 1020100123742 A KR1020100123742 A KR 1020100123742A KR 20100123742 A KR20100123742 A KR 20100123742A KR 101558200 B1 KR101558200 B1 KR 101558200B1
Authority
KR
South Korea
Prior art keywords
mouse
pointer
event
movement distance
thumb
Prior art date
Application number
KR1020100123742A
Other languages
English (en)
Other versions
KR20120062468A (ko
Inventor
이충환
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100123742A priority Critical patent/KR101558200B1/ko
Priority to US13/309,749 priority patent/US8749488B2/en
Publication of KR20120062468A publication Critical patent/KR20120062468A/ko
Application granted granted Critical
Publication of KR101558200B1 publication Critical patent/KR101558200B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법을 제공한다. 비접촉 방식의 그래픽 사용자 인터페이스 제공장치는 손가락 영상정보를 수신하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하는 기본정보 관리부, 기초 포인터 정보를 이용하여 손가락 영상정보를 분석하고, 분석결과에 따라 마우스 포인터의 제어를 위한 마우스 동작을 추적하여 마우스 동작 이벤트를 생성하는 포인터 추적부 및 마우스 동작 이벤트를 분석하여 마우스 동작에 해당하는 동작 메시지를 생성하는 마우스 이벤트 관리부를 포함하며, 포인터 추적부는 마우스 동작을 추적하기 위해 엄지 손가락과 검지 손가락 끝부분의 이동거리를 산출한다.

Description

비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법{Apparatus and method for controlling idle of vehicle}
본 발명은 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법에 관한 것으로, 보다 상세하게는 비접촉 방식으로 마우스 포인터를 제어하기 위한 그래픽 사용자 인터페이스 제공장치 및 방법에 관한 것이다.
그래픽 사용자 인터페이스(Graphic User Interface, GUI) 기술에서 포인터를 기반으로 하는 인터페이스의 사용이 증가하고 있다. 이러한 포인터를 기반으로 하는 인터페이스의 대표적인 입력장치로는 마우스 및 터치 스크린 등이 있다. 이처럼 포인터를 기반으로 하는 입력장치는 조작이 정밀하고 명확하게 의미를 전달할 수 있는 장점이 있으나, 별도의 부가 장치를 접촉하여야 동작하는 불편함이 있다.
한편, 사용자의 손가락 또는 신체 일부의 움직임을 인식/추적하여 포인터를 제어하는 기술은 상대적으로 낮은 인식률과 더불어 사용자가 취한 일반 동작과 마우스 제어를 위한 동작을 구별할 수 없으므로 이를 제어하기 위해서는 특별한 동작, 자세 및 위치가 요구된다. 또한, 사용자의 움직임에 의한 포인터 변위와 마우스의 이동 변위를 사용자의 관점에서 일치시키기 어려운 문제점이 있다.
본 발명의 목적은 손가락을 이용한 비접촉 방식의 마우스 포인터를 제어를 위한 그래픽 사용자 인터페이스 제공장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 비접촉 GUI 제공장치는 손가락 영상정보를 수신하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하는 기본정보 관리부, 상기 기초 포인터 정보를 이용하여 상기 손가락 영상정보를 분석하고, 상기 분석결과에 따라 마우스 포인터의 제어를 위한 마우스 동작을 추적하여 마우스 동작 이벤트를 생성하는 포인터 추적부 및 상기 마우스 동작 이벤트를 분석하여 상기 마우스 동작에 해당하는 동작 메시지를 생성하는 마우스 이벤트 관리부를 포함하며, 상기 포인터 추적부는 상기 마우스 동작을 추적하기 위해 엄지 손가락과 검지 손가락 끝부분의 이동거리를 산출한다.
상기 마우스 이벤트 관리부로부터 상기 동작 메시지를 전달받으며, 상기 동작 메시지에 해당하는 상기 마우스 동작이 화면상에서 수행되도록 제어하는 마우스 동작 수행부를 포함한다.
상기 기본정보 관리부는 상기 손가락 영상정보를 이용하여 상기 마우스 포인터의 이동을 제어할 손가락을 최초 인식하며, 상기 손가락 중 엄지 손가락과 검지 손가락을 인식하고 특징점을 초기화한다.
상기 기본정보 관리부는 상기 손가락 영상정보를 이용하여 상기 화면상에서 상기 손가락의 이동 감도를 조절한다.
상기 기본정보 관리부는 상기 마우스 동작을 추적하기 위해 필요한 상기 엄지 손가락과 상기 검지 손가락의 끝부분의 Z축 이동거리 임계값을 설정한다.
상기 포인터 추적부는 상기 엄지 손가락과 상기 검지 손가락의 특징점을 이용하여 상기 엄지 손가락과 상기 검지 손가락의 위치를 추적하며, 상기 엄지 손가락과 상기 검지 손가락의 위치 차이를 시계열 분석을 통해 2차원 이동 벡터로 변환한다.
상기 포인터 추적부는 상기 2차원 이동 벡터를 이용하여 상기 엄지 손가락과 상기 검지 손가락 끝부분의 Z축 이동거리를 산출하고, 상기 Z축 이동거리와 상기 Z축 이동거리 임계값을 비교한 결과에 따라 상기 마우스 동작 이벤트를 생성한다.
상기 포인터 추적부는 상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 큰 경우, 상기 마우스 포인터를 클릭하거나 또는 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성한다.
상기 포인터 추적부는 상기 마우스 포인터의 클릭이 발생하고 설정된 시간간격 이내에 다음 클릭이 발생한 경우, 상기 마우스 포인터를 상기 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성한다.
상기 포인터 추적부는 상기 마우스 포인터의 클릭이 발생하고 상기 설정된 시간간격 이내에 상기 다음 클릭이 발생하지 않은 경우, 상기 마우스 포인터를 상기 클릭하기 위한 상기 마우스 동작 이벤트를 생성한다.
상기 포인터 추적부는 상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 작은 경우, 상기 마우스 포인터를 드래그하기 위한 상기 마우스 동작 이벤트를 생성한다.
상기 마우스 이벤트 관리부는 상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 클릭하는 동작인 경우 마우스 클릭 동작 메시지를 생성하며, 상기 마우스 동작이 상기 마우스 포인터를 더블클릭하는 동작인 경우 마우스 더블클릭 동작 메시지를 생성하며, 상기 마우스 동작이 상기 마우스 포인터를 드래그하는 동작인 경우 마우스 드래그 동작 메시지를 생성한다.
상기 다른 기술적 과제를 해결하기 위한 비접촉 GUI 제공 방법은 손가락 영상정보를 수신하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하는 단계, 상기 기초 포인터 정보를 이용하여 상기 손가락 영상정보를 분석하는 단계, 상기 분석결과에 따라 마우스 동작을 추적하기 위해 엄지 손가락과 검지 손가락 끝부분의 이동거리를 산출하는 단계, 상기 엄지 손가락과 상기 검지 손가락 끝부분의 이동거리를 이용하여 마우스 동작 이벤트를 생성하는 단계 및 상기 마우스 동작 이벤트를 분석하여 상기 마우스 동작에 해당하는 동작 메시지를 생성하는 단계를 포함한다.
비접촉 GUI 제공 방법은 상기 동작 메시지를 전달받는 단계 및 상기 동작 메시지에 해당하는 상기 마우스 동작이 화면상에서 수행되도록 제어하는 단계를 포함한다.
상기 기초 포인터 정보를 생성하는 단계는 상기 손가락 영상정보를 이용하여 상기 마우스 포인터의 이동을 제어할 손가락을 최초 인식하는 단계, 상기 손가락 영상정보를 이용하여 상기 화면상에서 상기 손가락의 이동 감도를 조절하는 단계 및 상기 손가락 중 엄지 손가락과 검지 손가락을 인식하고 특징점을 초기화하는 단계를 포함한다.
상기 기초 포인터 정보를 생성하는 단계는 상기 마우스 동작을 인식하기 위해 필요한 상기 엄지 손가락과 상기 검지 손가락의 끝부분의 Z축 이동거리 임계값을 설정하는 단계를 더 포함한다.
상기 이동거리를 산출하는 단계는 상기 엄지 손가락과 상기 검지 손가락의 특징점을 이용하여 상기 엄지 손가락과 상기 검지 손가락의 위치를 추적하는 단계;
상기 엄지 손가락과 상기 검지 손가락의 위치 차이를 시계열 분석을 통해 2차원 이동 벡터로 변환하는 단계 및 상기 2차원 이동 벡터를 이용하여 상기 엄지 손가락과 상기 검지 손가락 끝부분의 Z축 이동거리를 산출하는 단계를 포함한다.
상기 마우스 동작 이벤트를 생성하는 단계는 상기 Z축 이동거리와 상기 Z축 이동거리 임계값을 비교한 결과에 따라 상기 마우스 동작 이벤트를 생성하는 단계를 포함한다.
상기 마우스 동작 이벤트를 생성하는 단계는 상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 큰 경우, 상기 마우스 포인터를 클릭하거나 또는 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성하는 단계 및 상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 작은 경우, 상기 마우스 포인터를 드래그하기 위한 상기 마우스 동작 이벤트를 생성하는 단계를 더 포함한다.
상기 동작 메시지를 생성하는 단계는 상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 클릭하는 동작인 경우 마우스 클릭 동작 메시지를 생성하는 단계, 상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 더블클릭하는 동작인 경우 마우스 더블클릭 동작 메시지를 생성하는 단계 및 상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 드래그하는 동작인 경우 마우스 드래그 동작 메시지를 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 손가락 영상정보를 이용하여 마우스 포인터 서비스를 제공하기 위한 기초 포인터 정보를 생성하며, 기초 포인터 정보를 이용하여 추적된 마우스 동작 이벤트를 분석한 결과에 따라 마우스 포인트 동작이 화면상에서 수행되도록 제어함에 따라 보다 정확하게 마우스 포인터를 동작시킬 수 있다.
그리고, 본 발명의 실시예에 따르면, 마우스 및 터치 스크린 등과 같은 별도의 부가적인 입력 장치를 접촉하지 않고 마우스 포인터 동작을 수행함에 따라 비접촉 방식으로 보다 편리하게 마우스 포인터를 동작시킬 수 있다.
도 1은 본 발명의 실시예에 따른 비접촉 방식의 그래픽 사용자 인터페이스 제공장치를 개략적으로 나타내는 도면이다.
도 2는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 제로 포인트 지점을 결정하는 한 예를 나타내는 도면이다.
도 3은 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 Z축 이동거리를 산출하는 한 예를 나타내는 도면이다.
도 4는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 인식하는 드래그 동작의 한 예를 나타내는 도면이다.
도 5는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 마우스 포인터 서비스를 제공하는 순서를 나타내는 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 비접촉 방식의 그래픽 사용자 인터페이스 제공장치를 개략적으로 나타내는 도면이다. 도 2는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 제로 포인트 지점을 결정하는 한 예를 나타내는 도면이다. 도 3은 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 Z축 이동거리를 산출하는 한 예를 나타내는 도면이다. 도 4는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 인식하는 드래그 동작의 한 예를 나타내는 도면이다. 도 5는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 마우스 포인터 서비스를 제공하는 순서를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 비접촉 방식의 그래픽 사용자 인터페이스 제공장치(이하, "비접촉 GUI 제공장치"라고 함)(100)는 별도의 입력장치, 예를 들어 마우스(도시하지 않음) 또는 터치스크린(도시하지 않음)을 별도로 이용하지 않고 비접촉 방식으로 화면상의 마우스 포인터를 제어하여 마우스처럼 동작되도록 하는 마우스 포인터 서비스를 제공한다.
이러한, 비접촉 GUI 제공장치(100)는 키보드(110), 카메라(120), 기본정보 관리부(130), 포인터 추적부(140), 마우스 이벤트 관리부(150) 및 마우스 동작 수행부(160)를 포함한다.
키보드(110)는 사용자자 마우스 포인터 서비스를 이용하기 위해 미리 설정된 특정한 키 또는 특정한 조합의 단축키를 동작시키는 경우, 마우스 포인터 서비스의 시작을 위한 해당 키가 입력되었음을 기본정보 관리부(130)로 알린다. 또한, 키보드(110)는 사용자자 마우스 포인터 서비스의 이용을 종료하기 위해 미리 설정된 특정한 키 또는 특정한 조합의 단축키를 동작시키는 경우, 마우스 포인터 서비스의 종료를 위한 해당 키가 입력되었음을 기본정보 관리부(130)로 알린다.
카메라(120)는 사용자 손가락의 움직임에 대한 영상을 촬영한 손가락 영상정보를 기본정보 관리부(130) 및 포인터 추적부(140)로 제공한다.
기본정보 관리부(130)는 키보드(110)가 마우스 포인터 서비스의 시작을 위한 키가 동작되었음을 알리면 카메라(120)로부터 손가락 영상정보를 전달받는다. 그리고, 기본정보 관리부(130)는 손가락 영상정보를 이용하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하여 저장한다. 기본정보 관리부(130)는 기초 포인터 정보를 포인터 추적부(140)로 전달한다.
구체적으로, 기본정보 관리부(110)는 손가락 영상정보를 이용하여 포인터 이동을 제어하기 위한 손가락을 최초 인식하여 저장한다. 기본정보 관리부(110)는 사용자의 손가락 중 엄지 손가락과 검지 손가락을 인식하고 특징점을 초기화한다.
그리고, 기본정보 관리부(110)는 손가락 영상정보의 가로 및 세로 해상도와 엄지 손가락과 검지 손가락의 끝부분의 거리차이를 이용하여 화면상에서 손가락의 이동 감도(비율)를 조절하며, 이동 감도는 수학식 1과 한다. 즉, 기본정보 관리부(110)는 엄지 손가락과 검지 손가락의 방향과 거리를 이용하여 마우스 포인터를 이동 시킬 때, 지수함수(e)를 이용하여 짧은 거리에서는 천천히 이동하여 세밀한 이동을 수행하도록 이동 감도를 조절하며, 먼 거리에서는 빠르게 이동하도록 이동 감도를 조절한다.
Figure 112010080294402-pat00001
여기서, v는 이동 속도(Pixel/sec)이며, k1 및 k2는 사용자가 결정하는 상수이다.
기본정보 관리부(110)는 손가락 영상정보에서 손가락의 이동이 멈춰지는 중앙을 제로 포인트 지점으로 결정하며, 제로 포인트 지점을 결정하는 한 예는 도 2와 같다. 즉, 기본정보 관리부(110)는 마우스 포인터가 현재위치에서 상하 좌우로 움직일 수 있으므로, 상하 좌우의 X/Y축에 대해 손가락이 이동 가능한 최대값 및 최소값을 설정하고 그 중간값을 제로 포인트 지점으로 설정한다.
또한, 기본정보 관리부(110)는 마우스 동작을 인식하기 위해 필요한 엄지 손가락과 검지 손가락의 끝부분의 Z축 이동거리 임계값(Zm)을 설정하며, Z축 이동거리 임계값(Zm)은 수학식 2와 같다. 즉, 기본정보 관리부(110)는 시계열 분석(time series analysis)을 통해 엄지 손가락의 크기 변화를 측정 및 기록하고, 시간(t) 프레임에서의 Sth(t)와 시계열 측정 범위(c)에 대한 Sth(t-c)를 Z축 이동 값으로 변환하여 Z축 이동거리 임계값(Zm)을 설정한다. 본 발명의 실시예에 따른 시계열 분석(time series analysis)은 시간의 흐름에 따라 손가락의 위치 및 이동 특성을 파악한 후 법칙성을 발견하여 자료화 하는 것이다.
Figure 112010080294402-pat00002
여기서, Zm은 z축으로의 이동량을 나타내는 Z축 이동거리 임계값이며, k는 상수이고, Sth(t)는 시간 프레임에서 엄지 손가락의 크기이며, c는 시계열 측정 범위이다.
다시 도 1을 참고하면, 포인터 추적부(140)는 카메라(120)로부터 손가락 영상정보를 전달받으며, 기본정보 관리부(130)로부터 기초 포인터 정보를 전달받는다. 포인터 추적부(140)는 기초 포인터 정보에 기초하여 손가락 영상정보를 분석하고 마우스의 제어를 위한 마우스 동작을 추적하여 마우스 동작 이벤트를 생성한다. 그리고, 포인터 추적부(140)는 마우스 동작 이벤트를 마우스 이벤트 관리부(150)로 전달한다.
구체적으로, 포인터 추적부(140)는 엄지 손가락과 검지 손가락의 특징점을 이용하여 영상화면에서 엄지 손가락과 검지 손가락의 위치를 추적한다. 포인터 추적부(140)는 시계열 분석(time series analysis)을 통하여 엄지 손가락과 검지 손가락의 위치 차이를 2차원 이동 벡터로 변환한다.
그리고, 포인터 추적부(140)는 2차원 이동 벡터의 X, Y성분을 이용하여 엄지 손가락과 검지 손가락 끝부분의 Z축 이동거리(M)를 산출하며, Z축 이동거리(M)의 한 예는 도 3과 같다. 즉, 포인터 추적부(140)는 검지 손가락의 끝과 제로 포인트 지점이 만드는 벡터(T), 검지 손가락과 엄지 손가락의 양끝이 만들어 내는 벡터(S)를 이용하여 Z축 이동거리(M)을 산출한다.
또한, 포인터 추적부(140)는 Z축 이동거리(M)와 Z축 이동거리 임계값(Zm)을 비교한 결과에 따라 마우스 동작을 추적하여 마우스 동작 이벤트를 생성하고 마우스 이벤트 관리부(150)로 전달한다.
구체적으로, 포인터 추적부(140)는 Z축 이동거리(M)가 Z축 이동거리 임계값(Zm) 보다 큰 경우, 마우스 포인터가 클릭(click) 또는 더블클릭(double click)으로 동작해야 하는 것으로 판단한다. 그리고, 포인터 추적부(140)는 클릭이 처음 발생된 시간을 기록하고 다음 클릭이 발생하였는지 판단한다. 설정된 시간간격 이내에 다음 클릭이 발생한 경우, 포인터 추적부(140)는 분리된 두 번의 클릭이 입력된 것으로 인식하여 마우스 포인터가 더블클릭으로 동작을 수행할 수 있도록 마우스 동작 이벤트를 생성한다. 설정된 시간간격 이내에 다음 클릭이 발생하지 않은 경우, 포인터 추적부(140)는 한 번의 클릭이 입력된 것으로 인식하여 마우스 포인터가 클릭으로 동작을 수행할 수 있도록 마우스 동작 이벤트를 생성한다.
한편, Z축 이동거리(M)가 Z축 이동거리 임계값(Zm) 보다 작은 경우, 포인터 추적부(140)는 엄지 손가락과 검지 손가락의 거리차이가 변화하지 않는 상태에서 손가락 끝의 좌표가 이동(D)하였는지 판단한 결과에 따라 마우스 포인터가 드래그(drag) 동작을 수행해야 하는 것으로 판단한다. 이때, 드래그 동작의 한 예는 도 4와 같다. 즉, 손가락 끝의 좌표가 이동(D)된 경우, 포인터 추적부(140)는 마우스 포인터가 드래그로 동작할 수 있도록 마우스 동작 이벤트를 생성한다. 손가락 끝의 좌표가 이동(D)하지 않은 경우, 포인터 추적부(140)는 마우스 제어를 위한 동작이 입력된 것이 아니라고 판단하여 포인터 추적을 중지한다.
다시 도 1을 참조하면, 마우스 이벤트 관리부(150)는 포인터 추적부(140)로부터 마우스 동작 이벤트를 전달받는다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트의 시계열 분석을 통해 마우스 동작을 판단한다. 즉, 마우스 이벤트 관리부(150)는 마우스 동작이 마우스 포인터가 클릭하는 동작이거나 또는 더블클릭하는 동작이거나 또는 드래그하는 동작인지를 판단한다. 그리고, 마우스 이벤트 관리부(150)는 해당 동작을 수행하기 위한 동작 메시지를 생성하여 포인트 동작 수행부(160)로 전달한다.
구체적으로, 마우스 이벤트 관리부(150)는 마우스 동작 이벤트의 분석결과 마우스 동작이 마우스 포인터를 클릭하는 동작인 경우, 마우스 클릭 동작 메시지를 생성하여 포인트 동작 수행부(160)로 전달한다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트의 분석결과 마우스 동작이 마우스 포인터를 더블클릭하는 동작인 경우, 마우스 더블클릭 동작 메시지를 생성하여 마우스 동작 수행부(160)로 전달한다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트의 분석결과 마우스 동작이 마우스 포인터를 드래그하는 동작인 경우, 마우스 드래그 동작 메시지를 생성하여 마우스 동작 수행부(160)로 전달한다.
마우스 동작 수행부(160)는 마우스 이벤트 관리부(150)로부터 마우스 클릭 동작 메시지, 마우스 더블클릭 동작 메시지 및 마우스 드래그 동작 메시지를 전달받는다. 마우스 동작 수행부(160)는 마우스 클릭 동작 메시지가 전달된 경우, 화면상의 마우스 포인터가 클릭되어 해당 동작이 수행되도록 한다. 마우스 동작 수행부(160)는 마우스 더블클릭 동작 메시지가 전달되는 경우, 화면상의 마우스 포인터가 더블클릭되어 해당 동작이 수행되도록 한다. 그리고, 마우스 동작 수행부(160)는 마우스 드래그 동작 메시지가 전달되는 경우, 화면상의 마우스 포인터가 드래그되어 해당 동작이 수행되도록 한다.
도 5는 도 1에 도시한 비접촉 방식의 그래픽 사용자 인터페이스 제공장치에서 마우스 포인터 서비스를 제공하는 순서를 나타내는 도면이다.
도 5에 도시한 바와 같이, 본 발명의 실시예에 따른 비접촉 GUI 제공장치(100)의 기본정보 관리부(130)는 키보드(110)가 마우스 포인터 서비스의 시작을 위한 키가 동작되었음을 알리면, 손가락 영상정보를 카메라(120)로부터 전달받는다(S100).
기본정보 관리부(130)는 손가락 영상정보를 이용하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성한다. 그리고, 기본정보 관리부(130)는 기초 포인터 정보를 포인터 추적부(140)로 전달한다(S101).
포인터 추적부(140)는 카메라(120)로부터 손가락 영상정보를 전달받으며, 기본정보 관리부(130)로부터 기초 포인터 정보를 전달받는다. 그리고, 포인터 추적부(140)는 기초 포인터 정보 중 엄지 손가락과 검지 손가락의 특징점을 이용하여 화면상에서 엄지 손가락과 검지 손가락의 위치를 추적하고, 시계열 분석을 통하여 엄지 손가락과 검지 손가락의 위치 차이를 2차원 이동 벡터로 변환 다(S102).
포인터 추적부(140)는 2차원 이동 벡터의 X, Y성분을 이용하여 엄지 손가락과 검지 손가락 끝부분의 Z축 이동거리를 산출한다(S103). 포인터 추적부(140)는 엄지 손가락과 검지 손가락 끝부분의 Z축 이동거리가 Z축 이동거리 임계값 이상으로 거리 차이가 발생하는 지의 여부를 판단한다(S104).
S104 단계의 판단결과, 엄지 손가락과 검지 손가락 끝부분의 Z축 이동거리가 Z축 이동거리 임계값 보다 큰 경우, 포인터 추적부(140)는 마우스 포인터가 클릭 동작을 수행해야 하는 지를 판단한다(S105).
S105 단계의 판단결과 마우스 포인터가 클릭 동작을 수행해야 하는 경우, 포인터 추적부(140)는 마우스 포인터가 클릭으로 동작을 수행할 수 있도록 마우스 동작 이벤트를 생성한다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트를 분석하여 마우스 포인터가 클릭으로 동작할 수 있도록 마우스 클릭 동작 메시지를 생성하여 포인트 동작 수행부(160)로 전달한다. 포인트 동작 수행부(160)는 마우스 클릭 동작 메시지가 전달되면 화면상의 마우스 포인터가 클릭되어 해당 동작이 수행되도록 한다(S106).
S105 단계의 판단결과 마우스 포인터가 클릭 동작이 수행하지 않는 경우, 포인터 추적부(140)는 마우스 포인터가 더블클릭 동작을 수행해야 하는 지를 판단한다(S107).
S107 단계의 판단결과 마우스 포인터가 더블클릭 동작을 수행해야 하는 경우, 포인터 추적부(140)는 마우스 포인터가 더블클릭으로 동작을 수행할 수 있도록 마우스 동작 이벤트를 생성한다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트를 분석하여 마우스 포인터가 더블클릭으로 동작할 수 있도록 마우스 클릭 동작 메시지를 생성하여 포인트 동작 수행부(160)로 전달한다. 포인트 동작 수행부(160)는 마우스 더블클릭 동작 메시지가 전달되면 화면상의 마우스 포인터가 더블클릭되어 해당 동작이 수행되도록 한다(S108).
S107 단계의 판단결과 마우스 포인터가 더블클릭 동작을 수행하지 않는 경우, 포인터 추적부(140)는 마우스의 제어를 위한 동작이 입력된 것이 아니라고 판단하여 추적을 종료한다.
한편, S104 단계의 판단결과 엄지 손가락과 검지 손가락 끝부분의 Z축 이동거리가 Z축 이동거리 임계값 보다 작은 경우, 포인터 추적부(140)는 마우스 포인터가 드래그 동작을 수행해야 하는 지를 판단한다(S109).
S109 단계의 판단결과 마우스 포인터가 드래그 동작을 수행해야 하는 경우, 포인터 추적부(140)는 마우스 포인터가 드래그 동작을 수행할 수 있도록 마우스 동작 이벤트를 생성한다. 마우스 이벤트 관리부(150)는 마우스 동작 이벤트를 분석하여 마우스 포인터가 드래그 동작을 수행할 수 있도록 마우스 드래그 동작 메시지를 생성하여 포인트 동작 수행부(160)로 전달한다. 포인트 동작 수행부(160)는 마우스 드래그 동작 메시지가 전달되면 화면상의 마우스 포인터가 드래그되어 해당 동작이 수행되도록 한다(S110).
S109 단계의 판단결과 마우스 포인터가 드래그 동작을 수행하지 않는 경우, 포인터 추적부(140)는 마우스의 제어를 위한 동작이 입력된 것이 아니라고 판단하여 추적을 종료한다.
이와 같이, 본 발명의 실시예에 따른 비접촉 GUI 제공장치(100)는 손가락 영상정보를 이용하여 마우스 포인터 서비스를 제공하기 위한 기초 포인터 정보를 생성하며, 기초 포인터 정보를 이용하여 추적된 마우스 동작 이벤트를 분석한 결과에 따라 마우스 포인트 동작이 화면상에서 수행되도록 제어함에 따라 보다 정확하게 마우스 포인터를 동작시킬 수 있다.
또한, 마우스 및 터치 스크린 등과 같은 별도의 부가적인 입력 장치를 접촉하지 않고 마우스 포인터 동작을 수행함에 따라 비접촉 방식으로 보다 편리하게 마우스 포인터를 동작시킬 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 비접촉 GUI 제공장치
110: 키보드
120: 카메라
130: 기본정보 관리부
140: 포인터 추적부
150: 마우스 이벤트 관리부
160: 마우스 동작 수행부

Claims (20)

  1. 손가락 영상정보를 수신하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하는 기본정보 관리부;
    상기 기초 포인터 정보를 이용하여 상기 손가락 영상정보를 분석하고, 상기 분석결과에 따라 마우스 포인터의 제어를 위한 마우스 동작을 추적하여 마우스 동작 이벤트를 생성하는 포인터 추적부; 및
    상기 마우스 동작 이벤트를 분석하여 상기 마우스 동작에 해당하는 동작 메시지를 생성하는 마우스 이벤트 관리부를 포함하며,
    상기 포인터 추적부는,
    상기 손가락 영상정보를 이용하여 엄지 손가락과 검지 손가락 끝부분의 이동거리를 산출하여 상기 마우스 동작을 추적하는 비접촉 GUI 제공장치.
  2. 청구항 1에 있어서,
    상기 마우스 이벤트 관리부로부터 상기 동작 메시지를 전달받으며, 상기 동작 메시지에 해당하는 상기 마우스 동작이 화면상에서 수행되도록 제어하는 마우스 동작 수행부를 포함하는 비접촉 GUI 제공장치.
  3. 청구항 2에 있어서,
    상기 기본정보 관리부는,
    상기 손가락 영상정보를 이용하여 상기 마우스 포인터의 이동을 제어할 손가락을 최초 인식하며, 상기 엄지 손가락과 상기 검지 손가락을 인식하고 특징점을 초기화하는 비접촉 GUI 제공장치.
  4. 청구항 3에 있어서,
    상기 기본정보 관리부는,
    상기 손가락 영상정보를 이용하여 상기 화면상에서 상기 손가락의 이동 감도를 조절하는 비접촉 GUI 제공장치.
  5. 청구항 4에 있어서,
    상기 기본정보 관리부는,
    상기 마우스 동작을 추적하기 위해 필요한 상기 엄지 손가락과 상기 검지 손가락의 끝부분의 Z축 이동거리 임계값을 설정하는 비접촉 GUI 제공장치.
  6. 청구항 5에 있어서,
    상기 포인터 추적부는,
    상기 엄지 손가락과 상기 검지 손가락의 특징점을 이용하여 상기 엄지 손가락과 상기 검지 손가락의 위치를 추적하며, 상기 엄지 손가락과 상기 검지 손가락의 위치 차이를 시계열 분석을 통해 2차원 이동 벡터로 변환하는 비접촉 GUI 제공장치.
  7. 청구항 6에 있어서,
    상기 포인터 추적부는,
    상기 2차원 이동 벡터를 이용하여 상기 엄지 손가락과 상기 검지 손가락 끝부분의 Z축 이동거리를 산출하고, 상기 Z축 이동거리와 상기 Z축 이동거리 임계값을 비교한 결과에 따라 상기 마우스 동작 이벤트를 생성하는 비접촉 GUI 제공장치.
  8. 청구항 7에 있어서,
    상기 포인터 추적부는,
    상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 큰 경우, 상기 마우스 포인터를 클릭하거나 또는 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성하는 비접촉 GUI 제공장치.
  9. 청구항 8에 있어서,
    상기 포인터 추적부는,
    상기 마우스 포인터의 클릭이 발생하고 설정된 시간간격 이내에 다음 클릭이 발생한 경우, 상기 마우스 포인터를 상기 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성하는 비접촉 GUI 제공장치.
  10. 청구항 9에 있어서,
    상기 포인터 추적부는,
    상기 마우스 포인터의 클릭이 발생하고 상기 설정된 시간간격 이내에 상기 다음 클릭이 발생하지 않은 경우, 상기 마우스 포인터를 상기 클릭하기 위한 상기 마우스 동작 이벤트를 생성하는 비접촉 GUI 제공장치.
  11. 청구항 7에 있어서,
    상기 포인터 추적부는,
    상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 작은 경우, 상기 마우스 포인터를 드래그하기 위한 상기 마우스 동작 이벤트를 생성하는 비접촉 GUI 제공장치.
  12. 청구항 7에 있어서,
    상기 마우스 이벤트 관리부는,
    상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 클릭하는 동작인 경우 마우스 클릭 동작 메시지를 생성하며, 상기 마우스 동작이 상기 마우스 포인터를 더블클릭하는 동작인 경우 마우스 더블클릭 동작 메시지를 생성하며, 상기 마우스 동작이 상기 마우스 포인터를 드래그하는 동작인 경우 마우스 드래그 동작 메시지를 생성하는 비접촉 GUI 제공장치.
  13. 손가락 영상정보를 수신하여 마우스 포인터 서비스를 위한 기초 포인터 정보를 생성하는 단계;
    상기 기초 포인터 정보를 이용하여 상기 손가락 영상정보를 분석하는 단계;
    상기 분석결과에 따라 마우스 동작을 추적하기 위해 엄지 손가락과 검지 손가락 끝부분의 이동거리를 산출하는 단계;
    상기 엄지 손가락과 상기 검지 손가락 끝부분의 이동거리를 이용하여 마우스 동작 이벤트를 생성하는 단계; 및
    상기 마우스 동작 이벤트를 분석하여 상기 마우스 동작에 해당하는 동작 메시지를 생성하는 단계
    를 포함하는 비접촉 GUI 제공 방법.
  14. 청구항 13에 있어서,
    상기 동작 메시지를 전달받는 단계; 및
    상기 동작 메시지에 해당하는 상기 마우스 동작이 화면상에서 수행되도록 제어하는 단계를 포함하는 비접촉 GUI 제공 방법.
  15. 청구항 14에 있어서,
    상기 기초 포인터 정보를 생성하는 단계는,
    상기 손가락 영상정보를 이용하여 상기 마우스 포인터의 이동을 제어할 손가락을 최초 인식하는 단계;
    상기 손가락 영상정보를 이용하여 상기 화면상에서 상기 손가락의 이동 감도를 조절하는 단계; 및
    상기 엄지 손가락과 상기 검지 손가락을 인식하고 특징점을 초기화하는 단계를 포함하는 비접촉 GUI 제공 방법.
  16. 청구항 15에 있어서,
    상기 기초 포인터 정보를 생성하는 단계는,
    상기 마우스 동작을 인식하기 위해 필요한 상기 엄지 손가락과 상기 검지 손가락의 끝부분의 Z축 이동거리 임계값을 설정하는 단계를 더 포함하는 비접촉 GUI 제공 방법.
  17. 청구항 16에 있어서,
    상기 이동거리를 산출하는 단계는,
    상기 엄지 손가락과 상기 검지 손가락의 특징점을 이용하여 상기 엄지 손가락과 상기 검지 손가락의 위치를 추적하는 단계;
    상기 엄지 손가락과 상기 검지 손가락의 위치 차이를 시계열 분석을 통해 2차원 이동 벡터로 변환하는 단계; 및
    상기 2차원 이동 벡터를 이용하여 상기 엄지 손가락과 상기 검지 손가락 끝부분의 Z축 이동거리를 산출하는 단계를 포함하는 비접촉 GUI 제공 방법.
  18. 청구항 17에 있어서,
    상기 마우스 동작 이벤트를 생성하는 단계는,
    상기 Z축 이동거리와 상기 Z축 이동거리 임계값을 비교한 결과에 따라 상기 마우스 동작 이벤트를 생성하는 단계를 포함하는 비접촉 GUI 제공 방법.
  19. 청구항 18에 있어서,
    상기 마우스 동작 이벤트를 생성하는 단계는,
    상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 큰 경우, 상기 마우스 포인터를 클릭하거나 또는 더블클릭하기 위한 상기 마우스 동작 이벤트를 생성하는 단계; 및
    상기 Z축 이동거리가 상기 Z축 이동거리 임계값 보다 작은 경우, 상기 마우스 포인터를 드래그하기 위한 상기 마우스 동작 이벤트를 생성하는 단계를 더 포함하는 비접촉 GUI 제공 방법.
  20. 청구항 13에 있어서,
    상기 동작 메시지를 생성하는 단계는,
    상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 클릭하는 동작인 경우 마우스 클릭 동작 메시지를 생성하는 단계;
    상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 더블클릭하는 동작인 경우 마우스 더블클릭 동작 메시지를 생성하는 단계; 및
    상기 마우스 동작 이벤트의 시계열 분석을 통해 상기 마우스 동작이 상기 마우스 포인터를 드래그하는 동작인 경우 마우스 드래그 동작 메시지를 생성하는 단계를 포함하는 비접촉 GUI 제공 방법.
KR1020100123742A 2010-12-06 2010-12-06 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법 KR101558200B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100123742A KR101558200B1 (ko) 2010-12-06 2010-12-06 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
US13/309,749 US8749488B2 (en) 2010-12-06 2011-12-02 Apparatus and method for providing contactless graphic user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123742A KR101558200B1 (ko) 2010-12-06 2010-12-06 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120062468A KR20120062468A (ko) 2012-06-14
KR101558200B1 true KR101558200B1 (ko) 2015-10-08

Family

ID=46161772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123742A KR101558200B1 (ko) 2010-12-06 2010-12-06 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법

Country Status (2)

Country Link
US (1) US8749488B2 (ko)
KR (1) KR101558200B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898183B1 (en) * 2012-09-19 2018-02-20 Amazon Technologies, Inc. Motions for object rendering and selection
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
CN112671972A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种手机控制大屏电视鼠标的移动的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617976B1 (ko) 2004-11-15 2006-08-31 한국과학기술원 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
WO2009128064A2 (en) 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) * 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US20030214481A1 (en) * 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
US7620915B2 (en) 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
US7498956B2 (en) 2006-01-04 2009-03-03 Iron Will Creations, Inc. Apparatus and method for inputting information
JP4938617B2 (ja) * 2007-10-18 2012-05-23 幸輝郎 村井 オブジェクト操作装置、及び、デジタル画像フレームデータからマーカを特定する方法
US8212794B2 (en) 2008-09-30 2012-07-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical finger navigation utilizing quantized movement information
US20120249419A1 (en) * 2011-03-30 2012-10-04 Bronner Sr Dennis M Thumb mountable cursor control and input device
KR20120119440A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 전자기기에서 사용자의 제스처를 인식하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617976B1 (ko) 2004-11-15 2006-08-31 한국과학기술원 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
WO2009128064A2 (en) 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation

Also Published As

Publication number Publication date
US20120139838A1 (en) 2012-06-07
KR20120062468A (ko) 2012-06-14
US8749488B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
US11513601B2 (en) Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
Schuetz et al. An explanation of Fitts' law-like performance in gaze-based selection tasks using a psychophysics approach
KR101558200B1 (ko) 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
US20120274550A1 (en) Gesture mapping for display device
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
JP2013525891A (ja) ユーザのタッチジェスチャを判別する方法及びデバイス
WO2010032268A2 (en) System and method for controlling graphical objects
TW201543342A (zh) 電子裝置及其繪圖方法及電腦程式產品
US9575571B2 (en) Contact type finger mouse and operation method thereof
US20120124526A1 (en) Method for continuing a function induced by a multi-touch gesture on a touchpad
US20120249417A1 (en) Input apparatus
CN108027648A (zh) 一种可穿戴设备的手势输入方法及可穿戴设备
US20140298275A1 (en) Method for recognizing input gestures
EP3008556B1 (en) Disambiguation of indirect input
US10969898B2 (en) Method for determining a force of a touch object on a touch device and for determining its related touch event
US11755124B1 (en) System for improving user input recognition on touch surfaces
Kim et al. Visual multi-touch air interface for barehanded users by skeleton models of hand regions
JP2014182662A (ja) 操作装置及び操作方法
CN104123088B (zh) 鼠标操作实现方法及其装置和触摸屏终端
US20230031200A1 (en) Touchless, Gesture-Based Human Interface Device
Costagliola et al. Gesture‐Based Computing
US20240143084A1 (en) Control apparatus and control method
CN109558007B (zh) 手势控制装置及其方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee