KR101892738B1 - 제스처를 인식하는 방법 및 장치 - Google Patents

제스처를 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR101892738B1
KR101892738B1 KR1020160070895A KR20160070895A KR101892738B1 KR 101892738 B1 KR101892738 B1 KR 101892738B1 KR 1020160070895 A KR1020160070895 A KR 1020160070895A KR 20160070895 A KR20160070895 A KR 20160070895A KR 101892738 B1 KR101892738 B1 KR 101892738B1
Authority
KR
South Korea
Prior art keywords
gesture
keypad
key
pointer
movement
Prior art date
Application number
KR1020160070895A
Other languages
English (en)
Other versions
KR20170038635A (ko
Inventor
방준성
이동춘
이헌주
손욱호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20170038635A publication Critical patent/KR20170038635A/ko
Application granted granted Critical
Publication of KR101892738B1 publication Critical patent/KR101892738B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처를 인식하는 방법이 개시된다. 이 방법은, 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 단계; 상기 이미지 데이터로부터 상기 신체 부위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 단계; 상기 제스처-포인터의 움직임 패턴과 키패드 상에서 정의된 기준 제스처 패턴을 비교하여, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계; 및 상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 단계를 포함한다.

Description

제스처를 인식하는 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING GESTURES}
본 발명은 제스처를 인식하는 장치에 관한 것으로, 더욱 상세하게는, 사용자의 내추럴 제스처(natural gestures)를 인식하는 방법 및 장치에 관한 것이다.
최근, 마우스나 키보드 등의 입력 장치에서 벗어나 인간의 자연스러운 동작인 제스처를 인식하고, 그 인식 결과를 매개로, 사용자와 컴퓨팅 기기 사이의 의사소통(또는 상호작용)을 가능하게 하는 내추럴 사용자 인터페이스(Natural User Interface: NUI)에 대한 연구들이 활발히 진행되고 있다. 이러한 제스처 인식 기반의 NUI는 영상 처리 기술과 웨어러블 기기(wearable devices)의 발전에 따라 더욱 보편화될 것으로 전문가들은 예상하고 있다.
한편, 종래의 NUI 기반의 키패드 입력방식은 사용자가 안경 타입의 웨어러블 기기에서 제공하는 증강 현실 공간에서 가상화된 키패드 또는 특정 사물에 프로젝션된 키패드를 가상으로 터치하는 방식으로 문자, 숫자 등을 해당 기기에 입력하는 방식이 대부분이다.
이러한 종래의 NUI 기반의 키패드 입력방식은 사용자가 안정된 자세에서 실제 물리적 키패드를 터치하는 것이 아니라 불안정한 자세에서 웨어러블 기기에서 제공하는 가상의 공간에서 시인되는 키패드를 터치하는 것이기 때문에, 실제 키패드를 터치하는 방식에 비해 정확한 입력이 어렵고, 프로젝션 방식으로 구현되는 키패드(또는 키보드)에서는, 키패드가 프로젝션되는 평면이 필요하며, 평면이 평탄하지 않은 경우, 정확한 입력이 어려우며, 프로젝션 장비로 인해, NUI 장치의 복잡도 및 가격 상승을 초래한다.
따라서, 본 발명의 목적은 사용자의 불안정한 자세에서도 정확한 키패드 입력이 가능하도록 간단한 동작으로 이루어진 내추럴 제스처를 정의하고, 정의된 내추럴 제스처를 인식하는 방법 및 장치를 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 제스처를 인식하는 방법은, 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 단계; 상기 이미지 데이터로부터 상기 신체 부위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 단계; 상기 제스처-포인터의 움직임 패턴과 키패드 상에서 정의된 기준 제스처 패턴을 비교하여, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계; 및 상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 단계;를 포함한다.
본 발명의 다른 일면에 따른 제스처를 인식하는 장치는, 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 센서부; 상기 이미지 데이터로부터 상기 신체 부위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 제스처-포인터 추출부; 상기 제스처-포인터의 움직임 패턴과 키패드 상에서 정의된 기준 제스처 패턴을 비교하여, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 제스처 인식부; 및 상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 키입력 생성부를 포함한다.
삭제
본 발명에 따르면, 간단하면서도 편리한 키패드 입력 제스처(내추럴 제스처)로 문자, 숫자, 특수키 등의 키패드 입력이 가능하다. 때문에, 불안정한 자세에서의 키패드 입력은 물론, 손이 아닌 발을 이용한 키패드 입력 제스처로도 키패드 입력이 가능하다. 이는 동작이 불편한 노인 또는 장애인들을 위한 키패드로 매우 유용하게 사용될 수 있음을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 내추럴 제스처 인식 기능을 구비한 전자 장치의 구성을 도시한 블록도이다.
도 2는 도 1에 도시한 제스처 인식 모듈의 구성을 나타내는 블록도이다.
도 3은 도 2에 도시된 저장부에 저장된 기준 제스처 패턴들과 어플리케이션 간의 매핑 관계(Mapping Relation)를 도식적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 9은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 11은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 12는 도 11의 실시예에 따른 3X3 키패드 구성의 일예이다.
도 13은 본 발명의 다른 실시 예에 따른 양손에 대한 키패드 입력 제스처를 기반으로 키패드 구성을 나타낸 도면이다.
도 14 및 15은 본 발명의 다양한 실시 예에 따른 키패드 구성을 각각 나타낸 도면이다.
도 16은 본 발명의 일 실시 예에 따른 쿼티(QWERTY) 키보드를 키패드 입력 제스처를 기반의 키패드로 구성한 예이다.
도 17은 본 발명의 다른 실시 예에 따른 쿼티(QWERTY) 키보드를 키패드 입력 제스처를 기반의 키패드로 구성한 예이다.
도 18은 본 발명의 일 실시 예에 따른 사용자의 제스처를 인식하는 방법을 나타낸 개략적인 순서도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 일 실시 예에 따른 전자장치는 제스처 인식 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) (예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 제스처 인식 기능을 갖춘 스마트 가전제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 제스처 인식 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에서, 제스처 인식 기능에 초점을 둔다면, 전자 장치는 "제스처 인식 장치"로 지칭될 수도 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자는 전자 장치를 사용하는 사람 도는 전자 장치를 사용하는 장치, 예를 들면, 인공지능을 갖는 전자 장치를 지칭할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 센서부(110), 버스(120), 프로세서(130), 메모리(140), 디스플레이(150), 통신 인터페이스(160) 및 제스처 인식 모듈(170)을 포함할 수 있다.
센서부(110)는 사용자의 내추럴 제스처가 정보화된 센싱 정보를 획득하는 구성으로, 카메라, 적외선 센서, 초음파 센서, 마이크로폰 등을 예로 들 수 있다. 센서부(110)가 카메라, 적외선 센서, 초음파 센서 중 적어도 하나를 포함하는 경우, 상기 센싱 정보는 이미지 데이터 형태일 수 있으며, 센서부(110)가 마이크로폰인 경우, 상기 센싱 정보는 음성 데이터 형태일 수 있다. 본 실시 예에서는, 상기 센서부(110)가 사용자의 내추럴 제스처가 정보화된 이미지 데이터로 가정한다.
버스(120)는 전술한 구성요소들(110, 130, 140, 150, 160, 170)을 서로 연결하고, 전술한 구성요소들(110, 130, 140, 150, 160, 170) 간의 정보를 전달하는 통신 라인 또는 이를 포함하는 회로일 수 있다.
프로세서(130)는, 예를 들면, 상기 버스(120)를 이용하여 다른 구성요소들(110, 140, 150, 160, 170, 180)로부터 명령을 수신하고, 수신한 명령을 해독하고, 해독한 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리(140)는 상기 프로세서(130) 또는 다른 구성요소들(110, 130, 150, 160, 170)로부터 수신되거나 상기 프로세서(130) 또는 다른 구성요소들(110, 130, 150, 160, 170)에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 또한, 상기 메모리(140)는, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(145) 또는 어플리케이션(147) 등의 프로그래밍 모듈들이 실행될 수 있는 공간을 제공할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널(141)은 나머지 다른 프로그래밍 모듈들(143, 145, 147)에서 구현되는 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(120, 130 또는 상기 140 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(141)은 상기 미들웨어(143), 상기 API(145) 또는 상기 어플리케이션(147)에서 상기 전자 장치(100)의 구성요소들(110, 120, 130, 140, 150, 160, 170)에 개별적으로 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는 상기 API(145) 또는 상기 어플리케이션(147)가 상기 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(143)는 상기 어플리케이션(147)로부터 수신된 작업요청들과 관련하여, 예를 들면, 상기 어플리케이션(147) 중 적어도 하나의 어플리케이션에 상기 전자 장치(100)의 시스템 리소스(예: 120, 130 또는 140 등)를 사용할 수 있는 우선 순위를 배정하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
API(145)는 상기 어플리케이션(147)이 상기 커널(141) 또는 상기 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
어플리케이션(147)은 모바일의 운영체제 또는 데스크탑의 운영체제 상에서 특정 업무를 수행하기 위해 설치되어 실행되는 소프트웨어로, 영화 재생과 관련된 어플리케이션, 게임 실행과 관련된 어플리케이션, 음악 실행과 관련된 어플리케이션, 쇼핑과 관련된 어플리케이션 등을 포함하는 모든 종류의 어플리케이션을 포함한다.
디스플레이(150)는 멀티미디어 데이터 텍스트 데이터 등과 같은 각종 정보를 표시한다.
통신 인터페이스(160)는 상기 전자 장치(100)와 외부 장치(예: 다른 전자 장치 또는 서버) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스(160)은 무선 통신 또는 유선 통신을 통해서 네트워크(예: 컴퓨터 네트워크, 인터넷, 사물 인터넷, 전화망)에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
제스처 인식 모듈(170)은 사전에 정의된 규칙에 따라 상기 센서부(110)를 통해 획득한 사용자의 내추럴 제스처를 용이하게 인식하고, 그 인식 결과에 대응하는 문자, 숫자, 아이콘 등을 포함하는 키를 생성한다. 또한, 제스처 인식 모듈(170)은 내추럴 제스처를 인식하고, 그에 대응하는 키를 생성하기 위해, 버스(120)를 통해 다른 구성요소들(110, 120, 140, 160 등)로부터 획득된 정보 중 적어도 일부를 처리한다. 상기 제스처 인식 모듈(170)은 다른 구성요소들, 예를 들면, 프로세서(130)등과 독립적인 처리동작을 수행할 수 있다.
도 2는 도 1에 도시한 제스처 인식 모듈(170)의 구성을 나타내는 블록도이다.
도 2를 참조하면, 제스처 인식 모듈(170)은 제스처-포인터 추출부(171), 제스처 인식부(173), 저장부(175) 및 키패드 입력 생성부(177)를 포함한다. 도 1의 전자 장치(100)에서는, 센서부(110)가 제스처 인식 모듈의 외부에 구비된 것으로 도시하였으나, 제스처 인식 모듈(170)의 내부 구비될 수도 있다. 이 경우, 제스처 인식 모듈(170)은 센서부(110)를 더 포함하도록 구성된다.
제스처-포인터 추출부(171)는 센서부(110)가 획득한 이미지 데이터로부터 사용자의 신체 부위 또는 신체 부위에 부착된 부착물을 검출하고, 검출된 신체 부위 또는 부착물의 움직임을 추적한 결과인 제스처-포인터(gesture-pointer)로서 추출한다. 여기서, 신체 부위는 손, 손가락, 발, 목, 주먹 등을 포함할 수 있다. 즉, 제스처-포인터 추출부(171)는 움직이는 손, 손가락, 발, 목, 주먹 등을 제스처-포인터로서 추출한다. 이러한 신체 부위 및 부착물을 검출하고, 검출 신체 부위 또는 부착물의 움직임은 객체 검출 기술 또는 객체 추적 기술로 불리는 알고리즘이 이용될 수 있으며, 본 발명의 기술적 특징은 객체 검출 또는 객체 추적을 한정하는 것이 아니므로, 객체 검출 및 추적과 관련된 알고리즘은 공지의 기술로 대신한다.
또한, 제스처-포인터 추출부(171)는 제스처-포인터의 형상 패턴 정보(이하, 형상 패턴)를 더 추출한다. 여기서, 신체 부위의 형상은 손의 모양, 손가락의 모양, 발의 모양, 주먹의 모양 등을 포함할 수 있다.
또한, 제스처-포인터 추출부(171)는 제스처-포인터의 움직임 패턴 정보(이하, 움직임 패턴)를 더 추출한다. 여기서, 움직임 패턴은 제스처-포인터의 현재 위치, 직선 이동 방향, 직선 이동 거리, 직선 이동 속도, 직선 이동 횟수, 직선 이동 방향의 전환 횟수 등을 포함한다.
제스처 인식부(173)는 제스처-포인터 추출부(171)로부터 추출된 제스처-포인터의 형상 패턴 및 움직임 패턴을 저장부(175)에 저장된 다수의 기준 제스처 패턴들과 비교하여, 다수의 기준 제스처 패턴들 중에서 상기 추출된 제스처-포인터의 형상 패턴 및 움직임 패턴에 일치하는 기준 제스처 패턴이 검색되면, 상기 추출된 제스처-포인터의 형상 패턴 및 움직임 패턴을 상기 검색된 기준 제스처 패턴에 정의된 키패드 입력 제스처로 인식한다.
다수의 기준 제스처 패턴들은, 사용자의 키패드 입력 행위에 해당하는 내추럴 제스처를 인식하기 위해, 아래에서 설명되는 다양한 키패드 상에서 사전에 정의된 패턴들이다.
사용자의 키패드 입력 제스처는 어플리케이션 별로 다를 수 있기 때문에, 어플리케이션 별로 서로 다른 키패드 입력 제스처를 인식하기 위해, 상기 다수의 기준 제스처 패턴들은 어플리케이션 별로 분류되어, 저장부(175)에 저장된다. 즉, 저장부(175)에는 기준 제스처 패턴들과 어플리케이션들 사이의 매핑 관계를 나타내는 매핑 정보가 더 저장된다.
도 3은 도 2에 도시된 저장부에 저장된 기준 제스처 패턴들과 어플리케이션 간의 매핑 관계(Mapping Relation)를 도식적으로 나타내는 도면이다.
도 3의 좌측테이블과 같이, 기준 제스처 패턴들은 각자의 고유 ID(GP-1, GP-2, GP-3, GP-4, GP-5, ‥‥, GP-N)가 할당된다. 일 실시 예에서, 기준 제스처 패턴들은, 양손을 모두 사용하는 키패드 입력 제스처를 인식하기 위한 제스처 패턴(GP-1), 왼손만을 사용하는 키패드 입력 제스처를 인식하기 위한 제스처 패턴(GP-2), 오른손만을 사용하는 키패드 입력 제스처를 인식하기 위한 제스처 패턴(GP-3), 오른손의 손가락 하나를 사용하는 키패드 입력 제스처를 인식하기 위한 제스처 패턴(GP-4), 오른손의 손가락 두 개를 사용하는 키패드 입력 제스처를 인식하기 위한 제스처 패턴(GP-5) 등 사용자에 의해 정의된 다양한 제스처 패턴을 포함할 수 있다.
도 3의 우측테이블과 같이, ID가 할당된 기준 제스처 패턴들은 임의의 어플리케이션과 매핑(mapping)됨으로써, 어플리케이션 별로 사용자의 키패드 입력 제스처를 효과적으로 인식하고, 인식된 키패드 입력 제스처에 따른 키입력이 가능하게 된다.
본 발명의 일 실시 예에 따른 매핑에 따라, 각 어플리케이션에는 하나 또는 두 개 이상의 기준 입력 제스처가 설정될 수 있다. 예를 들면, 도 3의 우측테이블과 같이, 어플리케이션들(APP1, APP4, APP5, APPn) 각각에는 하나의 기준 제스처 패턴이 설정될 수 있으며, 어플리케이션(APP2)에는 두 개의 기준 제스처 패턴들(GP2, GP3)이 설정될 수 있다.
다시 도 2를 참조하면, 키 입력 생성부(177)는 상기 제스처 인식부(173)에서 인식된 키패드 입력 제스처에 따라 임의의 어플리케이션을 선택 및 실행하기 위한 키입력을 생성하거나, 문자, 숫자, 특수문자 등의 키입력을 생성한다.
키패드 입력 제스처에 따른 상기 키 입력을 생성하기 위해, 키 입력 생성부(177)는 다양한 실시 예에 따른 가상의 키패드를 구성한다. 즉, 키패드 입력 제스처의 움직임 패턴을 입력으로 가상의 키패드로부터 문자키, 숫자키, 특수키 등을 포함하는 키 입력을 생성한다. 생성된 키 입력은 메모리(도 1의 140)에 저장되거나, 특정 어플리키에션의 동작 및 제어를 위한 명령어로 프로세서(도 1의 130)에 전달된다.
이하, 본 발명의 다양한 실시 예에 따라 인식된 키패드 입력 제스처와 키패드 구성에 대해 상세히 기술한다.
도 4는 본 발명의 일 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 키패드는 3X3 형태의 키 배열을 갖는 키패드로 구성된다.
이러한 키패드 상에서, 본 발명의 일 실시 예에 따른 키패드 입력 제스처는, 도 4에서 점선으로 도시된 화살표와 같이, 중심 키([0])에서 중심 키를 둘러싸는 각 주변 키들([1]~[8])로 직선 이동하는 1회의 이동 패턴일 수 있다.
따라서, 본 발명의 일 실시 예에 따른 키패드 입력 제스처는, 중심 키([0])를 기준으로 45°간격으로 분할되는 8개의 직선 이동 패턴들로 구분되며, 이 경우, 8개의 직선 이동 패턴들에 해당하는 8개의 키 입력이 생성될 수 있다.
예를 들면, 제스처-포인터가 손가락인 경우, 손가락의 이동이 종료된 위치가 키 영역([3])인 경우, 키 영역([3])에 설정된 문자키, 숫자키 또는 특수키를 포함하는 키 입력이 생성된다. 이것은 손가락이 키 영역([3])을 터치한 경우에 키 영역([3])에 설정된 키 입력이 생성되는 것이 아니라 손가락의 이동 방향과 이동 횟수만으로 키 영역([3])에 설정된 키 입력이 생성됨을 의미하는 것이다.
따라서, 본 발명의 키패드 입력 방식에 따르면, 이동 방향과 이동 횟수로 이루어진 간단한 내추럴 제스처를 통해, 사용자는 불안정한 자세에서도 키패드 입력이 가능하다.
또한, 본 발명의 키패드 입력 방식에 따르면, 이동 방향과 이동 횟수로 이루어진 간단한 키패드 입력 제스처로부터 키 입력이 생성되므로, 사용자는 키패드를 구성하는 각 키 영역의 정확한 위치를 인지할 필요가 없다. 이것은 사용자에게 특수 안경을 통해 가상의 키패드가 보여지거나 특정 사물에 프로젝션된 키패드를 보여줄 필요가 없음을 의미한다.
한편, 제스처-포인터의 시작위치가 키패드의 중심에 위치한 키 영역일 필요는 없으며, 임의의 키 영역에 설정될 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 다른 실시 예는 이동 방향과 이동 횟수로 이루어진 키패드 입력 제스처를 인식한 결과로부터 키패드 입력이 생성되는 점에서는 전술한 도 4의 실시 예와 동일하며, 다만, 키패드 입력 제스처가 30°간격으로 분할되는 12개의 직선 이동 패턴들을 포함하는 점에서 차이가 있다. 이 경우, 12개의 직선 이동 패턴들에 해당하는 12개의 키 입력이 생성될 수 있다. 따라서, 본 발명의 다른 실시 예에 따른 키패드는, 도 5에 도시된 바와 같이, 중심 키([0])와 중심 키([0])를 둘러싸도록 배열된 12개의 주변 키들([1]~[12])을 포함하도록 구성된다.
도 6은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 6을 참조하면, 본 발명의 다른 실시 예에 따른 키패드 입력 제스처는 이동 방향과 이동 횟수로 이루어진 키패드 입력 제스처를 인식한 결과로부터 키패드 입력이 생성되는 점에서는 동일하며, 다만, 전술한 실시 예들에서는 이동 횟수가 1회인인 반면, 본 발명의 다른 실시 예에서는 이동 횟수가 2회인 점에서 차이가 있다.
이동 방향과 2회의 이동 횟수를 인식한 결과로부터 키패드 입력을 생성하기 위해, 본 발명의 다른 실시 예에 따른 키패드는, 도 6의 (A)에 도시된 바와 같이, 중심키([0]), 상기 중심키([0])를 둘러싸도록 배치된 다수의 주변키([1A]~[8A])를 포함하는 제1 키배열 및 상기 제1 키배열을 둘러싸도록 배치된 다수의 주변키들([1B]~[8B])을 포함하는 제2 키배열을 포함하도록 구성될 수 있다.
도 6의 (A)의 키패드 구성에서, 제1 키배열에 포함된 주변키들([1A]~[8A])에 각각 설정된 키입력은, 전술한 도 4의 실시 예와 같이, 이동 방향과 1회의 이동 횟수를 인식한 결과로부터 생성될 수 있다. 다만, 제2 키배열에 포함된 주변키들([1B]~[8B])에 각각 설정된 키입력은 제스처-포인터의 이동 방향과 2회의 이동 횟수를 인식한 결과로부터 생성되는 점에서 제1 키배열에 포함된 주변키들([1A]~[8A])에 각각 설정된 키입력의 생성 방식과 차이가 있다. 예를 들면, 제2 키배열에 포함된 주변키([2B])에 설정된 키입력을 생성하고자 하는 경우, 중심키([0])에서 주변키([2A])로의 이동과 주변키([2A])에서 주변키([2B])로의 이동으로 이루어진 2회의 이동 횟수를 갖는 제스처-포인터가 인식되면, 제2 키배열에 포함된 주변키([2B])에 설정된 키입력이 생성될 수 있다.
도 6의 (A)의 키패드 구성에서는, 제1 및 제2 키배열이 각각 8개의 주변키로 구성되므로, 총 16개의 키입력이 생성될 수 있다.
도 6의 (A)의 키패드는 도 6의 (B)에 도시한 키패드로 대체됨으로써, 키패드의 표현방식을 보다 효과적으로 구성할 수도 있다. 즉, 도 6의 (B)에 도시한 키패드는, 제1 키배열에 포함된 주변키들([1A]~[8A]) 각각이 제2 키배열에 포함된 주변키들([1B]~[8B]) 중에서 인접한 주변키의 내부 영역에 포함된 형태로 구성된 것이다.
도 7은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 다른 실시 예에 따른 키패드의 구성은 전술한 도 6의 키패드 구성과 동일하며, 다만, 이러한 키패드 구성에서 제스처-포인터의 이동 횟수가 아니라 이동 거리로 이루어진 키패드 입력 제스처를 인식한 결과로부터 키입력이 생성되는 점에서 전술한 실시예들과 차이가 있다.
본 발명의 다른 실시 예에 따르면, 주변키([2A])에 설정된 키입력은 중심키([0])에서 주변키([2A])로 이동하는 제스처-포인터의 짧은 이동 거리를 인식한 결과로부터 생성되고, 주변키([2B])에 설정된 키입력은 중심키([0])에서 주변키([2B])로 이동하는 제스처-포인터의 긴 이동 거리를 인식한 결과로부터 생성된다. 도 7에서 점선 형태의 화살표는 짧은 이동 거리를 이동하는 제스처-포인터의 키패드 입력 제스처를 나타내고, 이점쇄선 형태의 화살표는 긴 이동 거리를 이동하는 제스처-포인터의 키패드 입력 제스처를 나타낸다.
도 8은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 8을 참조하면, 본 발명의 다른 실시 예에 따른 키패드의 구성은 전술한 도 7의 키패드 구성과 동일하며, 다만, 이러한 키패드 구성에서 제스처-포인터의 이동 속도로 이루어진 키패드 입력 제스처를 인식한 결과로부터 키입력이 생성되는 점에서 전술한 실시예들과 차이가 있다.
본 발명의 다른 실시 예에 따르면, 주변키([2A])에 설정된 키입력은 중심키([0])에서 주변키([2A])로 이동하는 제스처-포인터의 제1 이동 속도를 인식한 결과로부터 생성되고, 주변키([2B])에 설정된 키입력은 중심키([0])에서 주변키([2B])로 이동하는 제스처-포인터의 제2 이동 속도를 인식한 결과로부터 생성된다. 여기서, 제1 이동 속도와 제2 이동 속도는 다르며, 도 8의 실시 예에서는 제2 이동 속도가 제1 이동 속도보다 큰 경우를 예시한 것으로, 도 8에서 점선 형태의 화살표는 제1 이동 속도로 이동하는 제스처-포인터의 키패드 입력 제스처를 나타낸 것이고, 실선 형태의 화살표는 제2 이동 속도로 이동하는 제스처-포인터의 키패드 입력 제스처를 나타낸 것이다.
도 9는 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 9를 참조하면, 본 발명의 다른 실시 예에 따른 키패드 입력 제스처는 도 6의 실시 예와 유사하며, 다만, 3회의 이동 횟수를 갖는 제스처-포인터를 인식한 결과로부터 키 입력이 생성되는 점에서 도 6의 실시 예와 차이가 있다.
이러한 키입력을 생성하기 위해, 키패드는 중심키, 중심키를 둘러싸도록 배치된 다수의 주변키([1A]~ [8A])를 포함하는 제1 키배열, 상기 제1 키배열을 둘러싸도록 배치된 다수의 주변키([1B]~ [8B])를 포함하는 제2 키배열 및 상기 제2 키배열을 둘러싸도록 배치된 다수의 주변키([1C]~ [8C])를 포함하는 제3 키배열을 포함하도록 구성될 수 있다. 이 경우, 총 24개의 키입력 생성이 가능하다
도 10은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 10을 참조하면, 본 발명의 다른 실시 예에 따른 실시 예는 전술한 도 7의 실시 예와 도 9의 실시 예를 결합한 것으로서, 주변키(12)에 설정된 키입력은 중심키(10)로부터 주변키(12)까지의 3번의 이동으로 이루어진 키패드 입력 제스터를 인식한 결과로부터 생성되고, 주변키(14)에 설정된 키입력은 중심키(10)로부터 한번의 긴 이동으로 이루어진 키패드 입력 제스터를 인식한 결과로부터 생성된다.
이 실시 예의 경우, 키패드의 구성에서, 중심키를 둘러싸는 제1 키배열은 키입력의 생성 횟수가 높은 키로 구성될 수 있다. 즉, 키입력의 생성 횟수가 높은 키들은 한 번의 이동으로 키입력이 생성 가능하도록 중심키(12)를 둘러싸는 제1 키배열로 구성될 수 있다. 도 10에서, 점선박스 내의 키들은 키입력의 생성 횟수가 높은 키들을 나타낸다.
이 실시 예뿐만 아니라 전술한 모든 실시 예에서, 중심키([0], 10)가 키패드의 중심에 위치한 키로 설명하고 있으나, 중심키는 단지 제스처-포인터의 시작위치를 정의한 것에 불과하므로, 그 시작위치는 키패드의 중심에 위치한 키로 한정되는 것은 아니다. 따라서, 중심키([0], 10)의 위치는 사용자의 정의에 의해 키패드의 중심을 제외한 다른 위치에 설정될 수 있음은 당연하다.
도 11은 본 발명의 다른 실시 예에 따른 키패드 입력 제스처와 키패드 구성을 나타내는 도면이다.
도 11을 참조하면, 전술한 실시 예에는 이동 횟수가 1회인 키패드 입력 제스처에서는 다양한 키입력 생성이 제한되지만, 본 발명의 다른 실시 예에서는, 이동 횟수가 1회인 키패드 입력 제스처에서도 다수의 키입력을 생성할 수 있다..
이를 위해, 본 발명의 다른 실시 예서는 제스처-포인터가 1회 이동하는 과정에서 방향 전환을 인지한 결과로부터 키입력을 생성한다. 이 경우, 도 11의 좌측에 도시된 바와 같이, 중심키(11)에 인접하도록 제1 키배열에 포함된 5개 주변키들([1]~[5])은 도 11의 우측에 도시된 바와 같이, 하나의 주변키(13) 내에 포함되도록 구성될 수 있다. 즉, 하나의 주변키(13) 내부가 5개 주변키들([1]~[5])에 각각 대응하는 5개의 영역들로 분할된다.
이러한 키패드 구성에서, 제스처-포인터가 중심키(11)에서 하나의 주변키(13) 상으로 이동한 후, 하나의 주변키(13) 내의 5개의 영역들 중 임의의 영역으로 이동 방향을 전환하는 키패드 입력 제스처를 인식함으로써, 키입력 생성이 가능하다. 이러한 키패드 구성에서는, 제스처-포인터의 1회 이동과 방향 전환을 통해 하나의 주변키에서 5개의 키입력 생성이 가능하므로, 전술한 실시예에서 생성 가능한 키입력 수보다 더 많은 수의 키입력 생성이 가능하다.
도 12는 도 11의 실시예에 따른 3X3 키패드 구성의 일예로, 중심키(12)를 둘러싸는 각 주변키에서 3개의 키입력 생성이 가능하도록 각 주변키 내부가 3개의 영역들로 분할된 예를 도시한 것이다.
이상 설명한 실시예들에서는, 해당 키의 터치 방식이 아니라 제스처-포인터의 이동 횟수, 이동 방향, 이동 거리와 같은 움직임 패턴을 이용하여 다양한 키입력 생성이 가능함을 설명하는데, 그 밖에, 제스처-포인터의 형태에 따라 다른 키입력 생성이 가능할 수도 있다. 예를 들어, 제스처-포인터가 사용자의 손인 경우, 손가락 개수 또는 손 모양의 변화패턴에 따라 다른 키입력 생성이 가능하도록 키패드를 구성할 수 있으며, 이 경우, 더 적은 수의 키를 갖는 키패드 구성이 가능하다.
또한, 이상 설명한 실시예들은 주로 키패드의 중심방향에서 바깥쪽 방향으로 이동하는 키패드 입력 제스처를 인식하는 방식인데, 반대로 바깥쪽 방향에서 중심 방향으로 이동하는 키패드 입력 제스처를 인식하는 방법도 적용할 수 있다.
또한, 이상 설명한 실시 예들은 주로 하나의 키패드를 예로 들어 설명하고 있으나, 왼손에 대한 키패드 입력 제스처와 오른손에 대한 키패드 입력 제스처를 동시에 인식하는 하나의 키패드를 2개의 키패드로 분할하여, 양손 입력이 가능한 2개의 키패드 구성도 가능하다.
도 13은 본 발명의 다른 실시 예에 따른 양손에 대한 키패드 입력 제스처를 기반으로 키패드 구성을 나타낸 도면으로, 참조번호 13A는 왼손에 대한 키패드 입력 제스처에 대한 키패드 구성이고, 참조번혼 13B는 오른손에 대한 키패드 입력 제스처에 대한 키패드 구성을 나타낸 것이다.
이러한 키패드의 구성은 사용자의 편의 및 어플리케이션에 따라 키패드의 개수, 형태 및 키 배열 등을 변경하여 다양하게 구성할 수 있으며, 그러한 키패드의 일예가 도 14 및 도 15에 나타난다.
도 14 및 15은 본 발명의 다양한 실시 예에 따른 키패드 구성을 각각 나타낸 도면이다.
도 14에서, (A)는 기존의 천지인 입력방식의 키패드 구성을 나타낸 것이고, (B)는 천지인 입력방식의 키패드 구성을 본 발명의 실시 예에 따른 키패드 입력 제스처를 기반으로 한 키패드 구성으로 변경한 예를 나타낸 것이다.
도 15에서, (A)는 QWERTY 키보드 구성을 나타낸 것이고, (B)는 QWERTY 키보드를 본 발명의 실시 예에 따른 키패드 입력 제스처를 기반으로 한 키패드 구성으로 변경한 예를 나타낸 것이다.
도 16은 본 발명의 일 실시 예에 따른 쿼티(QWERTY) 키보드를 키패드 입력 제스처를 기반의 키패드로 구성한 예이다.
도 16을 참조하면, 9개의 키들이 매트릭스 형태로 배열되는 3X3 키패드 구성이 예시된다. 각 키들의 내부는 4개의 영역으로 균등하게 분할되고, 분할된 4개의 영역들을 QWERTY 키보드의 문자키 또는 특수키로 각각 구성한다. 예를 들면, QWERTY 키보드의 알파벳 키 'T', 'Y', 'U', 'I'를 본 실시예에 따른 키(16)에 구성하는 경우, 알파벳 키 'T'는 키(16) 내부의 좌측영역에, 알파벳 키 'Y'는 키(16) 내부의 상부영역에, 알파벳 키'U'를 키(16) 내부의 우측영역에, 알파벳 'I'를 키(16) 내부의 하부영역에 각각 구성한다.
전술한 실시예들과는 달리, 하나의 키입력을 생성하기 위해, 본 실시 예에 따른 제스처-포인터의 시작위치는 각 키의 중심이며, 제스처-포인터의 종료위치는 각 키 내부의 4개의 영역들 중 하나의 영역이된다.
즉, 시작위치에서 상하좌우 영역으로 이동하는 제스처-포인터를 인식한 결과로부터 상기 키(16)에 설정된 알파벳 키 'T', 'Y', 'U', 'I' 중에서 임의의 알파벳 키에 대한 키입력이 생성된다. 예를 들어, 제스처-포인터의 종료위치가 키(16) 내부에서 상부영역인 경우, 알파벳 키 'Y'에 대한 키입력이 생성되고, 제스처-포인터의 종료위치가 키(16) 내부에서 좌측영역인 경우, 알파벳 키 'T'에 대한 키입력이 생성된다.
도 16에서는, 하나의 키패드를 예시하고 있으나, 두 개의 키패드 구성하여 양손 키패드로 확장할 수 있음은 당연하다. 이때, 다른 하나의 키패드는 도 16에 도시된 키패드에서 구성되지 않은 숫자키 등을 포함하도록 구성되거나, 도 16에 도시된 키패드에 구성된 일부 알파벳 키들 중 일부 알파벳 키들을 포함하도록 구성될 수 있다. 즉, 두 개의 키패드가 대칭적인 키배열로 구성될 필요는 없다.
도 17은 본 발명의 다른 실시 예에 따른 쿼티(QWERTY) 키보드를 키패드 입력 제스처를 기반의 키패드로 구성한 예이다.
도 17을 참조하면, 전술한 도 16의 실시 예에서는 하나의 키 내부에서 제스처-포인터의 이동 방향을 인식한 결과로부터 키입력이 생성되는 반면, 본 발명의 다른 실시 예에서는 제스처-포인터가 하나의 키 내부에서 이동 방향을 전환한 횟수(이하, 제스처-포인터의 방향 전환 횟수)를 인식한 결과로부터 키입력이 생성되는 점에서 차이가 있다.
즉, 본 발명의 다른 실시 예에서는 제스처-포인터의 방향 전환 횟수를 이용하여 문자 또는 숫자 등의 키입력 생성이 가능하다. 이 경우, 제스처-포인터의 방향 전환 횟수와 키입력 간의 매핑관계가 사전에 정의될 필요가 있다. 예를 들어, 알파벳 'U'에 대한 키입력(17A)은 제스처-포인터가 하나의 키 내부에서 3회의 이동 방향 전환을 나타내는 키패드 입력 제스처를 인식한 결과로부터 생성되도록 정의될 수 있다. 알파벳 'U'에 대한 키입력(17B)은 제스처-포인터가 하나의 키 내부에서 4회의 이동 방향 전환을 나타내는 키패드 입력 제스처를 인식한 결과로부터 생성되도록 정의될 수 있다. 알파벳 'T'에 대한 키입력(17C)은 제스처-포인터가 하나의 키 내부에서 1회의 이동 방향 전환을 나타내는 키패드 입력 제스처를 인식한 결과로부터 생성되도록 정의될 수 있다.
본 발명의 다른 실시 예에서는, 제스처-포인터의 방향 전환 횟수를 인식한 결과로부터 키입력이 생성되기 때문에, 키 내부를 다수의 영역으로 분할할 필요가 없으며, 제스처-포인터의 시작 위치 및 종료 위치는 중요하지 않다. 따라서, 사용자는, 특정 키입력을 생성하기 위해, 특정 키입력에 설정된 정해진 패턴을 기억할 필요 없이, 제스처-포인터의 방향 전환 횟수만으로 특정 키입력에 대한 생성이 가능하다. 이는 제스처 포인터의 다양한 움직임 패턴으로 하나의 키입력을 생성할 수 있음을 의미한다.
본 발명은 간단하면서도 편리한 키패드 입력 제스처(내추럴 제스처)로 문자, 숫자, 특수키 등의 키패드 입력이 가능하다. 그렇기 때문에, 손이 아닌 발을 이용한 키패드 입력 제스처로도 키패드 입력이 가능하다. 이는 동작이 불편한 노인 또는 장애인들을 위한 키패드로 매우 유용하게 사용될 수 있음을 의미한다.
도 18은 본 발명의 일 실시 예에 따른 사용자의 제스처를 인식하는 방법을 나타낸 개략적인 순서도이다. 아래의 각 단계에 대한 설명에서, 전술한 내용과 중복된 내용을 생략 또는 간략하게 기술한다.
도 18을 참조하면, 먼저, 단계 S1810에서, 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 과정이 수행된다.
이러한 이미지 데이터를 획득하는 방법으로, 카메라 등이 이용될 수 있다. 카메라는 RGB 이미지를 획득하는 카메라이거나, 그레이스케일 이미지 또는 적외선 이미지를 획득하는 카메라일 수도 있다. 또한, 이미지 데이터는 반드시 카메라에 의해 획득될 필요는 없고, 예를 들면, 거리 센서가 생성한, 거리의 분포를 나타내는 이미지 데이터일 수도 있다. 또한, 거리 센서와 카메라를 조합한 장비로부터 이미지 데이터를 획득할 수도 있다.
이어, 단계 S1820에서, 상기 이미지 데이터로부터 상기 신체 분위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 과정이 수행된다. 제스처-포인터의 움직임 패턴을 추출하는 방법으로, 객체 검출 및 추적 알고리즘 등이 이용될 수 있다.
이어, 단계 S1830에서, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 과정이 수행된다. 구체적으로, 도 4 내지 17에서 설명한 키패드 상에서 정의된 기준 제스처 패턴과 상기 추출된 제스처-포인터의 움직임 패턴을 비교하여, 허용 오차 범위 내에서 상기 추출된 제스처-포인터의 움직임 패턴에 일치하는 기준 제스처 패턴이 검색되면, 상기 추출된 제스처-포인터의 움직임 패턴을 상기 기준 제스처 패턴에 정의된 키패드 입력 제스처로 인식한다. 여기서, 상기 제스처-포인터의 움직임 패턴은, 상기 제스처-포인터의 직선 이동 방향, 상기 직선 이동 방향의 전환 횟수, 직선 이동 거리, 직선 이동 속도, 직선 이동 횟수 중에서 적어도 하나의 패턴을 포함할 수 있다.
이어, 단계 S1840에서, 상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 과정이 수행된다. 키입력을 생성하는 과정은 도 4 내지 17을 참조한 설명으로 대신한다.
이상에서 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 센서부;
    상기 이미지 데이터로부터 상기 신체 부위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 제스처-포인터 추출부;
    상기 제스처-포인터의 움직임 패턴과 키패드 상에서 정의된 기준 제스처 패턴을 비교하여, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 제스처 인식부; 및
    상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 키입력 생성부를 포함하고,
    상기 제스처 인식부는,
    상기 제스처-포인터의 이동 방향 및 하나의 키 내부에서 상기 이동 방향을 전환한 상기 제스처-포인터의 방향 전환 횟수에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식함을 특징으로 하는 제스처를 인식하는 장치.
  2. 제1항에서, 상기 제스처 인식부는,
    상기 제스처-포인터의 이동 방향 및 이동 횟수에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식함을 특징으로 하는 제스처를 인식하는 장치.
  3. 제1항에서, 상기 제스처 인식부는,
    상기 제스처-포인터의 이동 방향 및 이동 거리에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식함을 특징으로 하는 제스처를 인식하는 장치.
  4. 제1항에서, 상기 제스처 인식부는,
    상기 제스처-포인터의 이동 방향 및 이동 속도에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식함을 특징으로 하는 제스처를 인식하는 장치.
  5. 삭제
  6. 사용자의 신체 부위 또는 상기 신체 부위에 부착된 부착물에 대한 이미지 데이터를 획득하는 단계;
    상기 이미지 데이터로부터 상기 신체 부위 또는 상기 부착물에 대응하는 제스처-포인터의 움직임 패턴을 추출하는 단계;
    상기 제스처-포인터의 움직임 패턴과 키패드 상에서 정의된 기준 제스처 패턴을 비교하여, 상기 제스처-포인터의 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계; 및
    상기 키패드 입력 제스처에 따라 상기 키패드 상에 정의된 키입력을 생성하는 단계;를 포함하고,
    상기 인식하는 단계는,
    상기 제스처-포인터의 이동 방향 및 하나의 키 내부에서 상기 이동 방향을 전환한 상기 제스처-포인터의 방향 전환 횟수에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계를 포함하는 제스처를 인식하는 방법.
  7. 제6항에서, 상기 인식하는 단계는,
    상기 제스처-포인터의 이동 방향 및 이동 횟수에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계임을 특징으로 하는 제스처를 인식하는 방법.
  8. 제6항에서, 상기 인식하는 단계는,
    상기 제스처-포인터의 이동 방향 및 이동 거리에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계임을 특징으로 하는 제스처를 인식하는 방법.
  9. 제6항에서, 상기 인식하는 단계는,
    상기 제스처-포인터의 이동 방향 및 이동 속도에 따른 상기 움직임 패턴에 대한 키패드 입력 제스처를 인식하는 단계임을 특징으로 하는 제스처를 인식하는 방법.
  10. 삭제
KR1020160070895A 2015-09-30 2016-06-08 제스처를 인식하는 방법 및 장치 KR101892738B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150137754 2015-09-30
KR1020150137754 2015-09-30

Publications (2)

Publication Number Publication Date
KR20170038635A KR20170038635A (ko) 2017-04-07
KR101892738B1 true KR101892738B1 (ko) 2018-08-28

Family

ID=58583861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070895A KR101892738B1 (ko) 2015-09-30 2016-06-08 제스처를 인식하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101892738B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075362A1 (en) * 2021-04-14 2022-10-19 Wincor Nixdorf International GmbH Self-service-terminal and method for ensuring a secure input of a personal identification number at a self-service-terminal

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
KR101041443B1 (ko) * 2008-12-02 2011-06-15 주식회사 이도산업 아스팔트 도로용 앵커
KR101527014B1 (ko) * 2008-12-02 2015-06-09 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법

Also Published As

Publication number Publication date
KR20170038635A (ko) 2017-04-07

Similar Documents

Publication Publication Date Title
KR102302353B1 (ko) 전자 장치 및 이의 ui 표시 방법
US9965033B2 (en) User input method and portable device
US11150739B2 (en) Chinese character entry via a Pinyin input method
EP2983076B1 (en) Electronic device and method of controlling display thereof
US20120151420A1 (en) Devices, Systems, and Methods for Conveying Gesture Commands
TW201804372A (zh) 二維碼識別方法、設備和移動終端
CN108369479B (zh) 在小形状因数显示器上的目标选择
KR20160001180A (ko) 가상 키보드의 디스플레이를 위한 방법 및 그 전자 장치
US20190107944A1 (en) Multifinger Touch Keyboard
US10204265B2 (en) System and method for authenticating user
KR102125212B1 (ko) 전자 필기 운용 방법 및 이를 지원하는 전자 장치
KR20150024246A (ko) 전자 장치에서 쿼지 사용자 인터페이스를 운용하기 위한 방법 및 시스템
US20200142582A1 (en) Disambiguating gesture input types using multiple heatmaps
TW201917531A (zh) 熱區調整方法和裝置、用戶端
US11150751B2 (en) Dynamically reconfigurable touchpad
US9865029B2 (en) Contextual rendering of process graphics
US10019072B2 (en) Imagined grid fingertip input editor on wearable device
KR101892738B1 (ko) 제스처를 인식하는 방법 및 장치
CN105760064A (zh) 显示内容的方法和实现所述方法的电子设备
KR20160024505A (ko) 전자 장치 및 이의 입력 방법
JP2015022675A (ja) 電子機器、インターフェース制御方法、および、プログラム
JP2012238128A (ja) 背面入力機能を有する情報機器、背面入力方法、およびプログラム
JP7287600B2 (ja) 情報処理装置
KR102008692B1 (ko) 전자 기기 및 전자 기기의 오브젝트 포인팅 방법
KR20170083950A (ko) 사용자 인증 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant