KR101257303B1 - 언터치 방식의 제스쳐 인식 방법 및 장치 - Google Patents

언터치 방식의 제스쳐 인식 방법 및 장치 Download PDF

Info

Publication number
KR101257303B1
KR101257303B1 KR1020100088084A KR20100088084A KR101257303B1 KR 101257303 B1 KR101257303 B1 KR 101257303B1 KR 1020100088084 A KR1020100088084 A KR 1020100088084A KR 20100088084 A KR20100088084 A KR 20100088084A KR 101257303 B1 KR101257303 B1 KR 101257303B1
Authority
KR
South Korea
Prior art keywords
sensor
sensing information
gesture
sensing
predetermined distance
Prior art date
Application number
KR1020100088084A
Other languages
English (en)
Other versions
KR20120025904A (ko
Inventor
인호
김중연
김도훈
박상봉
Original Assignee
인테니움 인코퍼레이션
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인테니움 인코퍼레이션, 고려대학교 산학협력단 filed Critical 인테니움 인코퍼레이션
Priority to KR1020100088084A priority Critical patent/KR101257303B1/ko
Priority to US13/226,877 priority patent/US8937601B2/en
Publication of KR20120025904A publication Critical patent/KR20120025904A/ko
Application granted granted Critical
Publication of KR101257303B1 publication Critical patent/KR101257303B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 제스쳐 인식 방법에 관한 것으로서 센서의 센싱 정보가 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 센싱 정보를 저장하고, 저장된 센싱 정보로부터 제스처를 인식하며, 센싱 정보의 저장은 센서가 물체를 소정의 거리 내에서 센싱할 때부터 일정시간 동안 센서가 센싱한 센싱 정보를 저장하는 것을 특징으로 한다. 본 발명의 실시예에 따르면, 단말기 스크린에 손을 대지 않고도 사용자의 제스쳐를 인식함으로써 단말기와 컨텐츠를 제어할 수 있다.

Description

언터치 방식의 제스쳐 인식 방법 및 장치{Method and apparatus of recognizing gesture with untouched way}
본 발명은 제스쳐 인식 방법에 관한 것으로서, 더욱 상세하게는 단말기 스크린에 손을 대지 않고도 사용자의 제스쳐를 인식함으로써 단말기와 컨텐츠를 제어할 수 있는 언터치 방식의 제스쳐 인식 방법 및 장치에 관한 것이다.
최근 휴대 단말기의 보급과 함께 휴대 단말기를 이용한 동영상, 게임, 사진, e-Book 등 시각적인 멀티미디어 컨텐츠 사용이 폭발적으로 증가하고 있다. 이러한 컨텐츠를 좀 더 사실적이고 실감나게 표현하기 위해 고화질의 디스플레이가 설치된 단말기들이 출시되고 있으며 디스플레이의 크기 또한 점차 커져가고 있는 추세이다. 그러나 종래 휴대 단말기들 같은 경우 키 버튼이나 키 패드와 같은 단말기의 입력 인터페이스를 위한 일정공간이 요구되기 때문에 디스플레이의 크기를 넓히는데 한계가 있다.
터치 방식의 인터페이스를 사용할 경우 위와 같은 문제점은 해결할 수 있지만 터치스크린을 터치해야 하기 때문에 화면이 지문과 스크래치로 인해 손상될 수 있고 이러한 과정이 반복적으로 발생하게 되면 터치 영역의 민감도 또한 둔화되어 알맞은 입력신호를 만들어 내지 못하게 된다.
따라서, 스크린을 터치하지 않으면서, 기존의 입력 인터페이스를 대체할 수 있는 수단이 필요하다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 단말기 스크린에 손을 대지 않고도 사용자의 제스쳐를 인식함으로써 단말기와 컨텐츠를 제어할 수 있는 제스쳐 인식 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 사용자의 다양한 제스쳐를 단말기나 응용 프로그램에서 요구되는 제어명령으로 정의하여 손쉽게 입력을 할 수 있는 제어 신호 생성 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 세 번째 과제는 단말기 스크린에 손을 대지 않고도 사용자의 제스쳐를 인식함으로써 단말기와 컨텐츠를 제어할 수 있는 제스쳐 인식 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 네 번째 과제는 사용자의 다양한 제스쳐를 단말기나 응용 프로그램에서 요구되는 제어명령으로 정의하여 손쉽게 입력을 할 수 있는 제어 신호 생성 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 상기 센싱 정보를 저장하는 단계; 및 상기 저장된 센싱 정보로부터 제스처를 인식하는 단계를 포함하고, 상기 센싱 정보를 저장하는 단계는, 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정시간 동안 상기 센서가 센싱한 센싱 정보를 저장하는 제스쳐 인식 방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고, 물체가 감지되는 영역이 시간의 흐름에 따라 변화하는 것을 이용하여 상기 제스처를 인식할 수 있다.
또한, 상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고, 상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 중복될 수 있다.
본 발명의 다른 실시예에 의하면, 상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향일 수 있다.
또한, 상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역을 변화시킬 수 있다.
또한, 상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고, 상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 겹치도록 함으로써, 상기 스크린 평면으로부터 일정 거리에 떨어진 영역에 상기 적어도 하나 이상의 센서가 감지하는 영역을 형성할 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정 시간 동안 내에, 상기 소정의 거리 바깥에서 상기 물체를 센싱하는 경우 저장된 센싱 정보를 삭제하고, 이후 상기 센서가 센싱한 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 판단하는 단계를 더 포함할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 상기 센싱 정보를 저장하는 단계; 상기 저장된 센싱 정보로부터 제스처를 인식하는 단계; 및 상기 인식된 제스처에 대응하는 제어신호를 생성하는 단계를 포함하고, 상기 센싱 정보를 저장하는 단계는 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정시간 동안 상기 센서가 센싱한 센싱 정보를 저장하는 것을 특징으로 하는 제어 신호 생성 방법을 제공한다.
본 발명은 상기 세 번째 과제를 달성하기 위하여, 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 계산하는 거리 계산부; 상기 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 상기 센싱 정보를 저장하는 저장부; 및 상기 저장된 센싱 정보로부터 제스처를 인식하는 제스처 인식부를 포함하고, 상기 저장부는 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정시간 동안 상기 센서가 센싱한 센싱 정보를 저장하는 제스쳐 인식 장치를 제공한다.
본 발명은 상기 네 번째 과제를 달성하기 위하여, 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 계산하는 거리 계산부; 상기 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 상기 센싱 정보를 저장하는 저장부; 상기 저장된 센싱 정보로부터 제스처를 인식하는 제스처 인식부; 및 상기 인식된 제스처에 대응하는 제어신호를 생성하는 제어신호 생성부를 포함하고, 상기 저장부는 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정시간 동안 상기 센서가 센싱한 센싱 정보를 저장하는 것을 특징으로 하는 제어 신호 생성 장치를 제공한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제스쳐 인식 방법과 제어 신호 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 단말기 스크린에 손을 대지 않고도 사용자의 제스쳐를 인식함으로써 단말기와 컨텐츠를 제어할 수 있다. 또한, 본 발명에 따르면, 사용자의 다양한 제스쳐를 단말기나 응용 프로그램에서 요구되는 제어명령으로 정의하여 손쉽게 입력을 할 수 있다.
도 1은 본 발명에 일 실시예에 따른 제스쳐 인식 장치가 포함된 휴대 단말기의 예시이다.
도 2는 본 발명에 일 실시예에 따른 제스쳐 인식 장치가 포함하는 센서들의 감지 방향이 사선 방향인 경우의 예시이다.
도 3은 복수 개의 센서들을 배치했을 때 물체를 감지할 수 있는 감지영역의 예를 보여주는 도면이다.
도 4는 도 3d와 같이 감지 방향에 일정각도를 주어 센서를 설치했을 때 단말기 위에 형성되는 감지영역을 보여주고 있다.
도 5는 도 4와 같이 감지영역이 형성되었을 때 본 발명의 일 실시예에 따라 제스쳐를 인식하는 방법의 일 예를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 제스쳐 인식 장치의 구성도이다.
도 7는 본 발명의 일 실시예에 따른 제스쳐 인식 장치의 상태 변화를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 제스쳐 인식 방법의 흐름도이다.
도 9는 도 7에서 수신 모드(710)에서 활성화 모드(720)로 전이되는 조건을 설명하기 위한 도면이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 제스쳐 인식 방법은 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 상기 센싱 정보를 저장하는 단계; 및 상기 저장된 센싱 정보로부터 제스처를 인식하는 단계를 포함하고, 상기 센싱 정보를 저장하는 단계는, 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정시간 동안 상기 센서가 센싱한 센싱 정보를 저장하는 것을 특징으로 한다.
이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
도 1은 본 발명에 일 실시예에 따른 제스쳐 인식 장치가 포함된 휴대 단말기(11)의 예시이다.
스크린(12)이 휴대 단말기(11)의 대부분을 차지하고 있으며 복수 개의 센서(13, 14, 15, 16)들이 휴대 단말기(11) 또는 스크린(12)의 테두리나 모서리에 배치될 수 있다.
센서의 개수는 스크린의 크기와 센서의 감지범위에 따라 달라질 수 있고 배치 방식 역시 다양한 방식으로 배치할 수 있을 것이다.
도 2는 본 발명에 일 실시예에 따른 제스쳐 인식 장치가 포함하는 센서들의 감지 방향이 사선 방향인 경우의 예시이다. 도 2a는 제스쳐 인식 장치를 측면에서 바라본 것이고, 도 2b는 제스쳐 인식 장치를 위에서 바라본 것이다.
도 2a를 참조하면, 센서들(24)의 감지방향을 수직이 아닌 일정한 각도 θ(21)의 사선 방향(23)으로 향하게 한다.
도 2b를 참조하면, 각 센서들의 감지방향이 서로 가로지르게 함으로써, 화면(25) 위에 물체(22)를 감지할 수 있는 감지영역을 형성하게 한다.
각도 θ(21)를 조정하여 감지영역을 축소하거나 확대할 수 있고 특정부분에 감지영역을 형성할 수 있다.
도 3은 복수 개의 센서들을 배치했을 때 물체를 감지할 수 있는 감지영역의 예를 보여주는 도면이다.
스크린 또는 단말기의 크기(307)와 센서(301~306)의 감지영역(308)을 고려하여 다른 감지영역을 가진 센서들이 배치될 수 있고, 설계자에 따라서 다양한 방식으로 배치될 수 있을 것이다.
도 3a는 복수 개의 센서들을 수직방향으로 일부 겹치게 하여 배치한 경우를 나타낸 것이고, 도 3b는 복수 개의 센서들을 수직방향으로 겹치지 않게 배치한 경우를 나타낸 것이다.
도 3c는 감지범위가 다른 복수 개의 센서들을 배치하여 스크린 또는 단말기 (307)전반에 걸쳐 감지영역을 형성한 경우이다. 센서들의 감지방향을 수직 또는 일정한 각도를 주어 사선방향으로 설치할 수 있다.
도 3d는 복수 개의 센서들의 감지영역이 겹치도록 센서들을 배치하되, 센서의 감지방향을 수직이 아닌 설정된 각도의 사선방향으로 배치한 경우이다. 소수의 센서로 스크린 또는 단말기(307) 전반에 결쳐 감지영역을 형성할 수 있다.
도 4는 도 3d와 같이 감지 방향에 일정각도를 주어 센서를 설치했을 때 단말기 위에 형성되는 감지영역을 보여주고 있다.
도 5는 도 4와 같이 감지영역이 형성되었을 때 본 발명의 일 실시예에 따라 제스쳐를 인식하는 방법의 일 예를 도시한 것이다.
도 5a는 좌에서 우로 또는 우에서 좌로 이동하는 제스쳐를 인식하는 방법의 예이다.
물체가 좌(507)에서 우(508)로 이동하게 되면 센서 3(503)의 감지범위(531)에 물체가 감지(510)되므로 물체가 하단의 좌측에 있음을 알 수 있다.
물체가 좌에서 우로 이동하면서 하단의 가운데를 지나게 되면 센서 3(503)과 센서 4(504)가 겹치는 감지범위(532)에서 물체를 감지(512)할 수 있다. 그리고 물체가 완전히 우로 이동하게 되면 센서 4(504)의 감지범위(533)에서만 물체를 감지(513)하게 되므로 물체가 하단의 우측에 있음을 알 수 있다.
물체가 감지되는 위치가 510 -> 512 -> 513로 이동하면, 좌에서 우로 이동하는 제스쳐라고 정의하고 인식할 수 있으며, 기존의 좌에서 우로 이동시키는 방향키 기능을 대신할 수 있다.
도 5b는 위에서 아래로, 아래에서 위로 움직이는 제스쳐를 인식하는 방법의 예이다.
물체가 아래(517)에서 위(518)로 이동하게 되면 센서 4(514)의 감지범위(541)에 물체가 감지(519)되므로 물체가 하단의 우측에 있음을 알 수 있다.
물체가 아래에서 위로 이동하면서 중단의 우측을 지나게 되면 센서 2(512)와 센서 4(514)가 겹치는 감지범위(542)에서 물체를 감지(521)할 수 있다. 그리고 물체가 완전히 위로 이동하게 되면 센서 2(512)의 감지범위(543)에서만 물체를 감지(522)하게 되므로 물체가 상단의 우측에 있음을 알 수 있다.
물체가 감지되는 위치가 519 -> 521 -> 522로 이동하면, 아래에서 위로 이동하는 제스쳐라고 정의하고 인식할 수 있으며, 기존의 아래에서 위로 이동시키는 방향키 기능을 대신할 수 있다. 또한, 이러한 제스쳐는 응용프로그램에서 상하 스크롤이나 페이지 업/다운 등과 같은 명령어 등에 대응시킬 수 있다.
마찬가지로 하면, 센서들의 센싱 정보를 기반으로 대각선 제스쳐나 원 모양의 제스쳐를 인식할 수 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 제스쳐 인식 장치의 구성도이다.
도 6을 참조하면, 본 실시예에 따른 제스쳐 인식 장치는 센서부(600), 제 1 필터부(610), ADC부(620), 제 2 필터부(630), 거리 계산부(640), 타이머부(650), 저장부(660), 제스쳐 인식부(670), 및 제어신호 생성부(680)를 포함한다.
센서부(600)는 스크린 또는 단말기 평면으로 접근하는 물체를 센싱한다. 이때 센서부(600)의 감지방향을 수직으로 할 수도 있고, 일정한 각도를 주어 사선방향으로 할 수도 있다. 또한 센서부(600)는 적어도 하나 이상의 센서들로 구성되어, 각 센서가 감지하는 영역이 중복되도록 센서들을 배치시킬 수 있으며, 도 1과 도 3에 배치 예시가 나타나 있다. 센서부(600)를 구성하는 센서는 근접 센서(Proximity Sensor)인 것이 바람직하다.
제 1 필터부(610)는 센서부(600)가 센싱한 아날로그 데이터의 노이즈를 제거하는 장치이다.
ADC부(620)는 센서부(600)가 센싱한 아날로그 데이터를 디지털 데이터로 변환하는 장치이다.
제 2 필터부(630)는 디지털 데이터의 노이즈를 제거하는 장치이다. 제 1 필터부(610)와 제 2 필터부(630)는 하드웨어적으로 또는 소프트웨어적으로 구성될 수 있다.
거리 계산부(640)는 제 2 필터부(630)로부터 수신한 센싱 데이터를 이용하여 접근 물체가 스크린 또는 단말기 평면으로부터 떨어진 거리를 계산한다.
거리 계산부(640)가 센싱 데이터를 이용하여 계산한 거리가 스크린 또는 단말기 평면으로부터 일정 거리 내라면, 타이머를 동작시키는 신호를 타이머부(650)로 전송하고, 저장부(660)에 센싱 데이터를 저장한다.
그러나, 거리 계산부(640)가 센싱 데이터를 이용하여 계산한 거리가 스크린 또는 단말기 평면으로부터 일정 거리 바깥이라면, 수신한 센싱 데이터를 무시한다.
타이머부(650)는 거리 계산부(640)로부터 타이머 동작 신호를 수신하면, 타이머를 기 설정된 시간 동안 동작시킨다. 여기서, 기 설정된 시간은 센싱 데이터로부터 제스처를 인식하는데 필요한 센싱 데이터의 수신 시간을 말하는 것으로, 기 설정된 시간보다 짧은 시간 동안 센싱 데이터가 수신된 경우에는 제스처 인식부(670)가 제스처를 인식하지 못할 것이다.
저장부(660)는 거리 계산부(640)의 계산 결과, 소정의 거리 내에서 센싱된 데이터를 타이머부(650)가 이미 설정한 시간 동안 저장한다.
제스쳐 인식부(670)는 타이머부(650)가 이미 설정한 시간 동안 저장부(660)에 저장된 센싱 데이터로부터 제스쳐를 인식한다.
또한, 제스쳐 인식부(670)는 감지영역에서 제스쳐가 일어났을 때 발생하는 센서들의 센싱 데이터를 기반으로 제스쳐의 동선 및 속도, 스크린에의 근접정도를 분석할 수 있다.
제어신호 생성부(680)는 제스쳐 인식부(670)가 인식한 제스쳐로부터 제어신호를 생성한다. 제스쳐로 인식되는 경우 해당 제스쳐가 응용프로그램 또는 컨텐츠에서 정의된 제어 명령어와 연결이 되어 있는지 판단하고, 연결된 명령어가 있다면 제어신호를 발생시킬 수 있다.
도 7는 본 발명의 일 실시예에 따른 제스쳐 인식 장치의 상태 변화를 나타낸 것이다.
본 발명의 일 실시예에 따른 제스쳐 인식 장치는 초기 또는 평상시에 센서로부터 센싱 정보가 발생할 때까지 대기하고 있는 수신모드(710) 상태에 있다.
센서로부터 센싱 정보가 수신되고, 수신된 센싱 정보가 기 설정된 거리 내에서 센싱된 정보이면, 활성화 모드(720)로 전이되면서 일정 시간 동안 센싱 정보를 수신하고 저장한다.
만약 일정 시간 동안 활성화 모드(720)에서 수신되는 센싱 정보가 기 설정된 거리에서 벗어나서 감지되는 경우에는 다시 수신모드(710)로 전이된다. 수신모드(710)로 전이될 때 활성화 모드(720)에서 저장한 센싱 정보를 삭제하고 초기화할 수 있다.
활성화 모드(720) 상태에서 일정 시간이 지나면 인지모드(73)로 전이되고 활성화 모드(720) 때 저장된 센싱 정보를 가지고 제스쳐를 인식한다.
인지 모드(730)에서 제스쳐를 인식하고, 인식된 제츠쳐에 대응하는 제어신호를 생성하면, 본 발명의 일 실시예에 따른 제스쳐 인식 장치는 다시 수신모드(710)로 전이되면서 센싱 정보가 발생할 때까지 대기한다.
도 8은 본 발명의 일 실시예에 따른 제스쳐 인식 방법의 흐름도이다.
도 8을 참조하면, 본 실시예에 따른 제스쳐 인식 방법은 도 7에 도시된 제스쳐 인식 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 제스쳐 인식 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 제스쳐 인식 방법에도 적용된다.
800 단계에서 제스쳐 인식 장치는 수신 모드 상태에서 센싱 정보를 수신한다. 제스쳐 인식 장치는 초기에 수신 모드 상태에서 센서가 센싱하는 정보를 기다리면서 대기하다가 센싱 정보를 수신한다.
810 단계에서 제스쳐 인식 장치는 800 단계에서 수신된 센싱 정보가 기 설정된 거리에서 센싱되었는지 여부를 판단한다.
기 설정된 거리는 여러 가지 방법으로 설정될 수 있다. 예를 들면, 단말기의 디스플레이 표면으로부터 센싱된 물체까지의 수직 거리가 기 설정된 거리가 될 수 있다. 따라서, 기 설정된 거리는 물체가 단말기 디스플레이 표면에 가까운 정도를 나타내는 근접 정도로 표현될 수 있다.
기 설정된 거리에서 센싱되었는지 여부를 판단하는 데 있어서, 디스플레이 표면에서부터 시작하여 기 설정된 거리에 이르는 영역 내에서 물체가 감지되는 경우 기 설정된 거리에서 센싱되었다고 판단할 수 있다.
판단 결과 기 설정된 거리에서 센싱되지 않은 경우에는 815 단계로 진행하고, 판단 결과 기 설정된 거리에서 센싱된 경우에는 820 단계로 진행한다.
815 단계에서 제스쳐 인식 장치는 저장된 센싱 정보를 초기화한다.
820 단계에서 제스쳐 인식 장치는 센싱 정보를 저장한다.
830 단계에서 제스쳐 인식 장치는 기 설정된 거리에서 센싱 정보가 수신된 시간부터 소정의 시간이 경과하였는지 여부를 판단한다.
판단 결과 소정의 시간이 경과하지 않은 경우 800 단계로 진행하여 센싱 정보를 수신하고, 판단 결과 소정의 시간이 경과한 경우에는 840 단계로 진행한다.
이후, 센싱 정보가 기 설정된 거리 내에서 소정의 시간 동안 감지되는 경우 제스쳐 인식 여부를 판단하게 된다. 이때 소정의 시간이 경과하였는지 여부는 타이머를 이용하여 확인할 수 있다.
840 단계에서 제스쳐 인식 장치는 소정의 시간 동안 저장된 센싱 정보를 기초로 하여 제스쳐를 인식할 수 있는지 판단한다.
판단 결과 제스쳐를 인식할 수 없다고 판단되면, 845 단계로 진행하고, 제스쳐를 인식할 수 있다고 판단되면, 850 단계로 진행한다.
845 단계에서 제스쳐 인식 장치는 저장된 센싱 정보를 초기화한다.
850 단계에서 제스쳐 인식 장치는 인식되는 제스처에 대응하는 제어 신호를 발생시킨다.
제스쳐 인식 장치는 인식된 제스쳐에 대응하는 제어신호를 발생시키고, 다시 800 단계로 진행하여 센싱 정보를 수신하는 수신 모드 상태에서 동작하게 된다.
도 9는 도 7에서 수신 모드(710)에서 활성화 모드(720)로 전이되는 조건을 설명하기 위한 도면이다.
물체(94)가 센서(91)의 감지범위에 들어왔을 때 물체(94)의 접근 거리 a(96)를 구한다. 물체의 접근 거리 a가 단말기(99) 또는 스크린(98)으로부터 미리 정의된 거리보다 작을 때 활성화 모드로 전이되고, 본 발명의 일 실시예에 따른 제스쳐 인식 장치에서 이후에 수신되는 센싱 정보를 저장하게 된다.
물체(94)의 접근 거리 a(96)는 미리 설정된 센서의 감지방향 각도(92)와 센서(91)로부터 구할 수 있는 센서(91)와 물체(94)와의 거리값 c를 사용하여 물체의 접근 거리 a(96)를 구할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 일정시간 동안 상기 센싱 정보를 저장하는 단계; 및
    상기 저장된 센싱 정보로부터 제스처를 인식하는 단계를 포함하되,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역이 변화하는 것을 특징으로 하는 제스쳐 인식 방법.
  2. 제 1 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    물체가 감지되는 영역이 시간의 흐름에 따라 변화하는 것을 이용하여 상기 제스처를 인식하는 것을 특징으로 하는 제스쳐 인식 방법.
  3. 제 1 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 중복되는 것을 특징으로 하는 제스쳐 인식 방법.
  4. 제 1 항에 있어서,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향인 것을 특징으로 하는 제스쳐 인식 방법.
  5. 제 1 항에 있어서,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역을 변화시킬 수 있는 것을 특징으로 하는 제스쳐 인식 방법.
  6. 제 1 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 겹치도록 함으로써, 상기 스크린 평면으로부터 일정 거리에 떨어진 영역에 상기 적어도 하나 이상의 센서가 감지하는 영역을 형성하는 것을 특징으로 하는 제스쳐 인식 방법.
  7. 제 1 항에 있어서,
    상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정 시간 동안 내에, 상기 소정의 거리 바깥에서 상기 물체를 센싱하는 경우 저장된 센싱 정보를 삭제하고, 이후 상기 센서가 센싱한 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 판단하는 단계를 더 포함하는 것을 특징으로 하는 제스쳐 인식 방법.
  8. 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 일정시간 동안 상기 센싱 정보를 저장하는 단계;
    상기 저장된 센싱 정보로부터 제스처를 인식하는 단계; 및
    상기 인식된 제스처에 대응하는 제어신호를 생성하는 단계를 포함하되,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역이 변화하는 것을 특징으로 하는 제어 신호 생성 방법.
  9. 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 계산하는 거리 계산부;
    상기 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 일정시간 동안 상기 센싱 정보를 저장하는 저장부; 및
    상기 저장된 센싱 정보로부터 제스처를 인식하는 제스처 인식부를 포함하되,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역이 변화하는 것을 특징으로 하는 제스쳐 인식 장치.
  10. 제 9 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    상기 제스처 인식부는 물체가 감지되는 영역이 시간의 흐름에 따라 변화하는 것을 이용하여 상기 제스처를 인식하는 것을 특징으로 하는 제스쳐 인식 장치.
  11. 제 9 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 중복되는 것을 특징으로 하는 제스쳐 인식 장치.
  12. 제 9 항에 있어서,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향인 것을 특징으로 하는 제스쳐 인식 장치.
  13. 제 9 항에 있어서,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역을 변화시킬 수 있는 것을 특징으로 하는 제스쳐 인식 장치.
  14. 제 9 항에 있어서,
    상기 센서는 스크린 외곽에 적어도 하나 이상 배치되고,
    상기 적어도 하나 이상의 센서가 감지하는 감지영역이 일부분 겹치도록 함으로써, 상기 스크린 평면으로부터 일정 거리에 떨어진 영역에 상기 적어도 하나 이상의 센서가 감지하는 영역을 형성하는 것을 특징으로 하는 제스쳐 인식 장치.
  15. 제 9 항에 있어서,
    상기 거리 계산부는 상기 센서가 물체를 상기 소정의 거리 내에서 센싱할 때부터 일정 시간 동안 내에, 상기 소정의 거리 바깥에 있는 물체를 센싱한다고 판단하는 경우, 상기 저장부에 저장된 센싱 정보를 삭제하고, 이후 상기 센서가 센싱한 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 판단하는 것을 특징으로 하는 제스쳐 인식 장치.
  16. 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보인지 계산하는 거리 계산부;
    상기 센서의 센싱 정보가 상기 센서로부터 소정의 거리 내에서 센싱된 센싱 정보이면, 일정시간 동안 상기 센싱 정보를 저장하는 저장부;
    상기 저장된 센싱 정보로부터 제스처를 인식하는 제스처 인식부; 및
    상기 인식된 제스처에 대응하는 제어신호를 생성하는 제어신호 생성부를 포함하되,
    상기 센서가 센싱하는 방향이 스크린 평면의 법선 방향과 일정한 각도를 갖고, 상기 각도에 따라 상기 센서가 감지하는 영역이 변화하는 것을 특징으로 하는 제어 신호 생성 장치.
  17. 제 1 항 내지 제 4 항 또는 제 6 항 내지 제8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100088084A 2010-09-08 2010-09-08 언터치 방식의 제스쳐 인식 방법 및 장치 KR101257303B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100088084A KR101257303B1 (ko) 2010-09-08 2010-09-08 언터치 방식의 제스쳐 인식 방법 및 장치
US13/226,877 US8937601B2 (en) 2010-09-08 2011-09-07 Method and apparatus of recognizing gesture with untouched way

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100088084A KR101257303B1 (ko) 2010-09-08 2010-09-08 언터치 방식의 제스쳐 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120025904A KR20120025904A (ko) 2012-03-16
KR101257303B1 true KR101257303B1 (ko) 2013-05-02

Family

ID=45870112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088084A KR101257303B1 (ko) 2010-09-08 2010-09-08 언터치 방식의 제스쳐 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US8937601B2 (ko)
KR (1) KR101257303B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222334A1 (en) * 2011-10-28 2013-08-29 Sony Mobile Communications Japan, Inc. Information processing apparatus
JP5519871B1 (ja) * 2012-08-09 2014-06-11 パナソニック株式会社 携帯電子機器
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
EP2887188B1 (en) * 2013-12-18 2018-05-30 ams AG Control system for a gesture sensing arrangement and method for controlling a gesture sensing arrangement
CN104375698A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触控设备
CN104375697A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种移动设备
KR101609263B1 (ko) 2014-12-04 2016-04-05 현대모비스 주식회사 적외선을 이용하여 제스쳐를 인식하기 위한 장치 및 그 방법
KR102011565B1 (ko) * 2017-08-04 2019-08-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 비접촉 제스처 인식 시스템 및 그 방법
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电（深圳）有限公司 以手势驱动的调理机
CN109871179B (zh) * 2019-02-25 2023-06-06 努比亚技术有限公司 手势方向的识别方法、识别装置、移动终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20050166163A1 (en) 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
KR100978929B1 (ko) 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20050166163A1 (en) 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine

Also Published As

Publication number Publication date
US8937601B2 (en) 2015-01-20
KR20120025904A (ko) 2012-03-16
US20120075176A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
KR101257303B1 (ko) 언터치 방식의 제스쳐 인식 방법 및 장치
KR102113674B1 (ko) 다중 터치를 이용한 객체 선택 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102061360B1 (ko) 사용자 인터페이스 간접 상호작용
US9569106B2 (en) Information processing apparatus, information processing method and computer program
US10318146B2 (en) Control area for a touch screen
US20120169776A1 (en) Method and apparatus for controlling a zoom function
EP2605119B1 (en) Touch input method and apparatus of portable terminal
US20110148774A1 (en) Handling Tactile Inputs
KR20120025870A (ko) 모바일 디바이스의 화면상의 영역 선택 방법 및 장치
US20180121009A1 (en) Interface control method and electronic device using the same
JP5761216B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20120319959A1 (en) Device interaction through barrier
US11119622B2 (en) Window expansion method and associated electronic device
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR20200002735A (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
CN103809903A (zh) 用于控制虚拟屏幕的方法和装置
KR101380992B1 (ko) 베젤을 이용한 전자책 컨텐츠 제어방법 및 장치
KR101210538B1 (ko) 모바일 기기 인터페이스 장치, 방법 및 이를 위한 기록매체
KR101168889B1 (ko) 모바일 기기 인터페이스 장치, 방법 및 이를 위한 기록매체
KR101436585B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
KR101180673B1 (ko) 터치스크린 장치 및 상기 터치스크린 장치의 제어 방법
KR20140011921A (ko) 동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법
KR101417495B1 (ko) 자기장을 이용한 사용자 단말 제어 시스템, 제어 방법, 이를 위한 제어 수단 및 사용자 단말
KR20100107611A (ko) 단말 제어 장치 및 방법
US20160117000A1 (en) Touchscreen input method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 7