KR20100118317A - 휴대단말의 제스처 인식 방법 및 시스템 - Google Patents

휴대단말의 제스처 인식 방법 및 시스템 Download PDF

Info

Publication number
KR20100118317A
KR20100118317A KR1020090037087A KR20090037087A KR20100118317A KR 20100118317 A KR20100118317 A KR 20100118317A KR 1020090037087 A KR1020090037087 A KR 1020090037087A KR 20090037087 A KR20090037087 A KR 20090037087A KR 20100118317 A KR20100118317 A KR 20100118317A
Authority
KR
South Korea
Prior art keywords
gesture
movement
mobile terminal
unit
feature points
Prior art date
Application number
KR1020090037087A
Other languages
English (en)
Inventor
서정욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090037087A priority Critical patent/KR20100118317A/ko
Publication of KR20100118317A publication Critical patent/KR20100118317A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 카메라모듈을 통해 획득된 영상데이터를 바탕으로 휴대단말의 모션을 파악하고, 그에 따른 제스처를 인식하여 해당 기능을 수행할 수 있는 제스처 인식 시스템 및 그의 방법에 관한 것으로, 이러한 본 발명은 휴대단말의 제스처 인식 방법에 있어서, 제스처 인식 모드에서 카메라모듈을 통해 인접하는 영상프레임들을 획득하는 과정; 상기 영상프레임들 간의 특징점을 추출하는 과정; 상기 특징점에 의거하여 상기 휴대단말의 이동값을 추정하는 과정; 상기 이동값에 대응하는 제스처를 인식하는 과정을 포함한다.
휴대단말, 카메라, 제스처, 모션, 단위 제스처, 복합 제스처

Description

휴대단말의 제스처 인식 방법 및 시스템{GESTURE RECOGNITION METHOD USING PORTABLE TERMINAL WITH CAMERA BY CAMERA MOVEMENT TRACKING AND THEREOF SYSTEM}
본 발명은 카메라모듈을 이용하여 휴대단말의 모션(motion) 추적하고, 그에 의한 제스처를 인식할 수 있는 제스처 인식 시스템 및 그의 방법에 관한 것으로, 특히 휴대단말의 모션을 카메라모듈에 의해 획득하는 동적인 영상데이터로부터 추적하여, 휴대단말 모션에 따른 제스처를 인식할 수 있는 방법 및 그의 시스템에 관한 것이다.
최근 들어, 통신 기술의 급속한 발전으로 인해, 휴대단말에서의 기능이 점차 확대되고 있으며, 그를 이용한 다양한 기능이 제공되고 있다. 이러한 휴대단말은 단순한 전화 통화 또는 일정 관리 등의 목적뿐만 아니라, 장착된 카메라모듈에 의해 피사체를 촬영하거나, 디지털 방송의 시청 및 게임 등 그 활용범위가 갈수록 증가하고 있다.
또한, 동작 감지기가 장착된 휴대단말의 경우, 휴대단말의 조작 방법을 버튼으로 이루어진 키패드 또는 터치스크린 등에만 의존하지 않고, 휴대단말 자체의 움직임 및 기울임에 따른 조작 방법으로 사용할 수 있다.
예를 들어, 동작 감지기를 가지는 휴대단말은 상하로 두 번 움직이면 스팸 전화나 스팸 메시지를 삭제하고, 휴대단말로 숫자를 그리는 동작을 하면 해당 숫자의 단축 다이얼이 작동해 전화를 걸 수 있다. 특히, 온라인 게임이나 이모티콘을 사용하는 경우에, 휴대단말로 '
Figure 112009025809030-PAT00001
'를 그리면 "OK", 'X'를 그리면 "NO"에 따른 동작을 수행하도록 할 수도 있다. 이 밖에 MP3 기능 사용 중 휴대단말을 좌우로 간단히 움직이면 다른 음악을 선곡하는 등 다양한 기능을 가질 수 있다.
그러나 이러한 휴대단말의 경우, 가속도 센서 등과 같은 별도의 동작 감지기에 의해 사용자의 제스처를 인식함에 따라, 휴대단말에 동작 감지기 장착에 따른 단가 상승 등의 문제가 발생한다. 이에 휴대단말에 장착된 카메라모듈을 이용한 제스처 인식 시스템에 대한 연구가 다각도로 이루어지고 있는 실정이다.
본 발명의 목적은 휴대단말에 장착된 카메라모듈을 이용하여, 휴대단말 사용자의 제스처를 추적하고 인식할 수 있는 제스처 인식 시스템 및 그의 방법을 제공함에 있다.
본 발명의 다른 목적은 카메라모듈을 통해 획득하는 동적 영상데이터를 이용하여 휴대단말의 모션(motion)을 추적할 수 있는 제스처 인식 시스템 및 그의 방법을 제공함에 있다.
본 발명의 또 다른 목적은 카메라모듈을 통한 영상데이터 분석을 통해 휴대단말의 모션을 추적하고, 이를 이용하여 휴대단말에 의한 제스처를 인식할 수 있는 제스처 인식 시스템 및 그의 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대단말을 이용한 제스처 인식 시, 휴대단말의 비정상적인 상태에 다른 오동작을 방지하고, 단위 제스처의 합에 의하여 복합 제스처를 구현할 수 있는 제스처 인식 시스템 및 그의 방법을 제공함에 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 방법은, 휴대단말의 제스처 인식 방법에 있어서, 제스처 인식 모드에서 카메라모듈을 통해 인접하는 영상프레임들을 획득하는 과정과; 상기 영상프레임들 간의 특징점을 추출하는 과정과; 상기 특징점에 의거하여 상기 휴대단말의 이동값을 추정하는 과정과; 상기 이동값에 대응하는 제스처를 인식하는 과정을 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 시스템은, 휴대단말의 제스처 인식 시스템에 있어서, 카메라모듈을 통해 획득하는 영상프레임들 간의 특징점을 추출하고, 상기 특징점에 의거하여 상기 휴대단말의 움직임을 추정하는 모션 추정부와; 상기 휴대단말의 움직임에 대응하는 제스처 종류를 분석하고, 상기 제스처 종류에서 의미 제스처의 특징을 추출하는 제스처 분류부와; 상기 의미 제스처에서 단위 제스처들을 구분하고, 상기 단위 제스처들의 결합에 의하여 복합 제스처를 인식하여, 그에 따른 명령을 생성하는 제스처 인식부를 포함한다.
본 발명의 실시 예에 따르면, 두 인접한 상기 영상프레임들 사이에서 서로 매칭되는 특징점을 추출하고; 상기 매칭되는 특징점들을 이용하여 상기 인접한 각 영상프레임들에서 일치하는 일치 특징점을 검출하며; 상기 일치 특징점에 의하여 상기 휴대단말의 움직임을 추정하는 것을 특징으로 한다. 또한, 본 발명의 실시 예에서는 상기 추정하는 움직임 방향을 기반으로, 노이즈 및 오류 움직임을 제거하고 평균 움직임을 측정하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 인식하고자 하는 제스처 방향의 사이에 경계 영역을 설정하고, 상기 설정하는 경계 영역에 포함되는 방향 벡터에 대한 히스토그램 분석을 통하여 상기 움직임 방향을 결정하는 것을 특징으로 한다. 또한, 본 발명의 실시 예에서는 상기 결정하는 움직임 방향을 기반으로 상기 움직임 방향에 속하지 않는 방향 성분에 대하여 노이즈 및 오류 움직임으로 결정하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 상기 결정하는 움직임 방향과 동일한 방향 외 의 나머지 움직임 방향에 대한 데이터들을 제거하고, 상기 제거한 후 남은 일치 특징점들을 이용하여 휴대단말의 평균 움직임을 측정하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 상기 휴대단말의 평균 움직임에 따른 속도 성분과 가속도 성분을 이용하여 상기 제스처를 추정하며, 상기 속도 성분 및 가속도 성분은 제스처 종류에 따라 달라지는 상대적인 변화량의 차이를 조정하기 위한 매개 변수와, 사용자에 따라 제스처의 동작 속도의 차이를 조정하기 위한 조정 변수에 의하여 결정되는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 상기 속도 성분과 가속도 성분을 기반으로 정지 위상, 준비 위상, 스트로크 위상 및 비정상 위상을 구분하며, 상기 휴대단말의 평균 움직임이 상기 비정상 위상에 포함되는 경우 상기 휴대단말의 움직임을 오류로 판단하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에서 제안하는 휴대단말의 제스처 인식 방법 및 시스템에 따르면, 가속도 센서 등과 같은 별도의 동작 감지기 없이, 휴대단말에 장착된 카메라모듈만을 이용하여 휴대단말의 제스처를 인식할 수 있다. 또한, 본 발명에 따르면, 휴대단말을 떨어뜨리는 것과 같은 비정상적인 상태의 제스처 인식에 의한 오동작을 방지할 수 있다.
또한 본 발명에 따르면, 카메라모듈을 장착한 휴대단말에서 모션 감지를 위한 별도의 센서와 같은 장치 없이 휴대단말의 모션을 추적할 수 있으며, 이를 바탕으로 휴대단말의 모션에 따른 제스처를 인식할 수 있다. 이에 따라, 사용자는 다양 한 명령어를 간단한 제스처만으로 효과적으로 생성할 수 있으며, 결국 사용자에게 편리한 제스처 기반 인터페이스 수단을 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
제안하는 본 발명은 휴대단말을 이용하여 사용자의 제스처를 인식할 수 있는 시스템 및 그의 방법에 관한 것이다. 특히, 본 발명의 실시 예에서는 카메라모듈을 구비하는 휴대단말에서, 상기 카메라모듈로부터 획득되는 영상프레임을 바탕으로 휴대단말의 모션(motion)을 추적하고, 상기 휴대단말의 모션 추적에 대응하는 제스처를 인식할 수 있는 방법 및 그의 시스템에 관한 것이다. 즉, 제안하는 본 발명은 카메라모듈로부터 획득하는 동적인 영상프레임을 바탕으로, 카메라모듈을 장착한 휴대단말의 모션을 파악하고, 그에 따른 제스처를 인식할 수 있는 제스처 인식 시스템 및 방법에 관한 것이다.
이러한 본 발명의 동작을 수행하는 휴대단말은 카메라모듈을 구비하는 모든 형태의 휴대단말을 포함할 수 있다. 예를 들면, 본 발명의 실시 예에 따른 휴대단말은, 다양한 통신 시스템들에 대응하는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 형태의 이동통신 단말기를 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레어, PDA(Personal Digital Assistant), 휴대게임단말 및 스마트 폰(Smart Phone) 등 모든 정보통신기기와 멀티미디어 기기 및 그에 대한 응용기기를 포함할 수 있다.
이러한 본 발명에 따르면, 제스처 인식 모드에서 휴대단말을 이용하여 사용자가 임의의 제스처를 수행할 시, 상기 휴대단말은 카메라모듈로부터 연속되는 영상프레임을 획득하고; 획득되는 각 영상프레임들 간의 특징점을 추출하여 특징점의 이동에 따른 변화정보를 획득하고; 상기 변화정보로부터 휴대단말의 이동값을 추정하고; 상기 추정에 따른 이동값에 대응하는 제스처를 판단하고; 이후 상기 제스처에 대응하는 해당 동작을 수행할 수 있다.
이를 위한 본 발명의 휴대단말은, 카메라모듈과, 상기 카메라모듈로부터 전달되는 영상프레임으로부터 상기 카메라모듈이 장착된 장치 즉, 상기 휴대단말의 모션을 파악하는 수단과, 주어진 모션에 대한 정보를 바탕으로 인식할 단위 제스처를 구분하는 수단과, 단위 제스처에 의하여 복합 제스처를 인식하는 수단으로 크게 나눌 수 있다.
그러면 이하, 본 발명의 실시 예에 따른 카메라모듈을 구비하는 휴대단말에서, 카메라모듈로부터 획득하는 영상프레임을 통해 휴대단말의 모션을 분석하고, 그에 따른 제스처를 인식하여 해당 동작을 실행하는 방법 및 이를 위한 시스템에 대하여 살펴보기로 한다. 하지만, 본 발명의 휴대단말 및 그의 동작이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 1은 본 발명의 실시 예에 따른 휴대단말에서 카메라모듈을 이용한 제스처 인식 시스템에 대한 개략적인 구성을 도시한 도면이고, 도 2는 카메라모듈을 통해 획득하는 영상프레임 및 해당 영상프레임에서 추출하는 특징점을 도시한 도면이며, 도 3a 및 도 3b는 본 발명의 실시 예에 따른 제스처를 구분하는 동작 설명을 위해 개략적으로 도시한 도면이다.
상기 도 1에 도시한 바와 같이, 본 발명의 휴대단말은 크게 카메라모듈(110)과 제어부(190)로 이루어지며, 상기 제어부(190)는 모션 추정부(130)와, 제스처 분류부(150)와, 제스처 인식부(170) 등을 포함한다.
먼저, 상기 카메라모듈(110)은 휴대단말의 제어에 의해 임의의 피사체를 촬영하고, 촬영하는 영상데이터를 휴대단말의 표시부(미도시) 및 휴대단말의 상기 제어부(190)로 전달한다. 특히, 상기 카메라모듈(110)은 상기 촬영하는 영상데이터를 상기 모션 추정부(130)로 전달한다. 상기 카메라모듈(110)은 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 방식을 이용하는 이미지센서를 통해 피사체의 이미지를 캡쳐(capture)하여 광 신호를 전기적 신호로 변환하고, 이미지처리부를 통해 상기 이미지센서에서 캡쳐된 피사체 이미지의 전기적 신호를 변환, 압축 등의 처리를 하여 JPEG(Joint Photographic coding Experts Group), GIF(Graphics Interchange Format) 등과 같은 형식의 이미지 파일을 생성할 수 있다.
다음으로, 상기 제어부(190)의 모션 추정부(130)는 상기 카메라모듈(110)로부터 영상데이터를 전달받고, 이를 바탕으로 휴대단말의 모션에 따른 위치를 추적한다. 즉, 상기 모션 추정부(130)는 휴대단말의 모션 기반 위치를 추적하는 수단을 나타낸다. 상기 모션 추정부(130)는 크게 영상프레임 획득부(131)와 위치 추적부(133)를 포함할 수 있다.
상기 모션 추정부(130)의 상기 영상프레임 획득부(131)는, 상기 카메라모듈(110)에서 전달되는 영상데이터에서 각 영상데이터를 구성하는 영상프레임을 획득하고, 획득하는 영상프레임을 순차적으로 상기 위치 추적부(133)로 전달한다.
상기 모션 추정부(130)의 상기 위치 추적부(133)는 먼저, 주어지는 영상프레임들에서 특징점을 추출한다. 즉, 상기 위치 추적부(133)는 상기 영상프레임 획득부(131)로부터 연속되는 영상프레임들을 획득하고, 상기 영상프레임들 중에서 연속되는 두 개의 인접한 영상프레임들 사이에서 서로 매칭되는 특징점을 추출한다. 이때, 상기 위치 추적부(133)는 각 영상프레임들에서 서로 매칭되는 특징점들에 대한 고유값(eigenvalue)을 구하여, 그 고유값이 지역적으로 최대값을 가지며, 인접한 점과 일정한 거리 이상이 떨어진 점을 선정함으로써, 상기 특징점을 결정할 수 있다. 이러한 화면 예시가 도 2에 나타나 있다.
상기 도 2에 나타낸 바와 같이, 각 특징점들이 각 영상프레임에서 특정 포인트들에 대한 고유값이 지역적으로 최대값을 가지며, 인접한 점과 일정한 거리 이상이 떨어져 있음을 알 수 있다. 이때, 상기 도 2의 참조부호 210 및 참조부호 220은 상기 카메라모듈을 통해 획득된 각 영상프레임들에서 서로 매칭되는 특징점을 추출한 경우의 화면 예시를 나타낸 것이고, 상기 도 2의 참조부호 230 및 참조부호 240은 후술하는 바와 같이, 상기 참조부호 210 및 참조부호 220에서 노이즈 및 오류가 제거된 경우의 화면 예시를 나타낸 것이다.
다음으로, 상기 위치 추적부(133)는 인접한 영상프레임들에서 각 특징점에 대한 일치 특징점을 추출한다. 즉, 상기 위치 추적부(133)는 상기 각 영상프레임들에서 추출하는 각 특징점들에서 서로 일치하는 일치 특징점을 추정한다. 상기 위치 추적부(133)는 상기 영상프레임 획득부(131)에서 획득하는 2차원 영상프레임들 사이의 일치 특징점 추정을 통해 후술하는 바와 같이 휴대단말의 모션(motion)을 추정할 수 있다. 이때, 상기 위치 추적부(133)는 인접한 각 특징점들의 움직임에 대한 제한이나 또는 휴대단말의 움직임 후에도 동일한 점들에 대해서는 밝기가 일정하다는 가정 하에서 상기 움직임을 추정할 수 있다.
다음으로, 상기 위치 추적부(133)는 상기 일치 특징점을 기반으로 휴대단말의 움직임 방향을 파악한다. 즉, 상기 위치 추적부(133)는 상기 추정하는 각각의 일치 특징점 쌍을 이용하여 휴대단말의 움직임을 추정할 수 있다. 예를 들어, 휴대단말이
Figure 112009025809030-PAT00002
번째 두 개의 일치 특징점(xt-1,i, yt-1,i),(xt,i, yt,i)을 찾게 되면, 상기 일치 특징점들에 대한 방향 성분을 하기 <수학식 1>과 같이 구할 수 있다.
Figure 112009025809030-PAT00003
상기 <수학식 1>에 나타낸 바와 같이, 상기 t는 현재 영상프레임을 나타내고, t-1은 이전 영상프레임을 나타내며, 상기
Figure 112009025809030-PAT00004
는 일치점을 찾은 특징점 중에
Figure 112009025809030-PAT00005
번째 특징점을 나타낸다.
이때, 상기 위치 추적부(133)는 상기 <수학식 1>에 의해 구한 상기 특징점 기반 운동 방향 성분에 대하여 상기 도 3a 및 도 3b를 참조하여 살펴보면 다음과 같이 구분할 수 있다. 이때, 상기 도 3a는 복합 제스처를 생성하는데 유용한 단위 제스처를 구분한 예시를 나타낸 것이고, 상기 도 3b는 주방향 성분을 찾기 위해 사용되는 설정 제스처에 따른 방향 영역 분할의 예시를 나타낸 것이다.
즉, 상기 도 3a에 나타낸 바와 같이, 본 발명의 실시 예에 따라 제시된 단위 제스처가 8가지의 기본 방향을 가진다고 가정할 시 이러한 방향 및 이의 주변 방향을 동일한 방향으로 분석하기 위하여, 상기 도 3b에 나타낸 바와 같이, 상기 단위 제스처에서 결정한 8가지의 기본 방향을 중심으로 하여 인접한 기본 방향과의 가운데를 방향 영역을 나누는 경계로 결정할 수 있다. 이와 같이, 상기 위치 추적부(133)는 영역을 분할하고, 분할한 영역에 속하는 방향 벡터를 계수하며, 히스토그램 분포를 통하여 주방향 성분을 분석할 수 있다.
예를 들어, 기본 방향 제스처 1의 경우에 위쪽으로 향하는 움직임의 방향 벡터(
Figure 112009025809030-PAT00006
) 값이 90도(
Figure 112009025809030-PAT00007
)가 기준이 될 수 있다. 이와 마찬가지로, 인접한 제스처 2는 45도, 제스처 8은 135도가 기준이 될 수 있다. 이러한 경우, 제스처 1을 기준으로 67.5도(310)와 112.5도(380)를 경계로 하는 영역이 정해질 수 있다. 이를 순차적으로 인접한 제스처들에 대하여 적용하면, 상기 도 3b의 참조부호 310 내지 참조부호 380의 실선과 같은 형태로 나타낸 바와 같이 8개의 영역이 결정될 수 있으며, 각 쌍에 대하여 방향 벡터(
Figure 112009025809030-PAT00008
) 값이 속한 영역과 이의 분포를 구할 수 있다.
다음으로, 상기 위치 추적부(133)는 상기와 같이 일치 특징점을 기반으로 파 악하는 휴대단말의 움직임 값들에서 노이즈 및/또는 오류 움직임을 제거한다. 즉, 상기 위치 추적부(133)는 상기 파악하는 움직임 방향과 동일한 방향 외의 나머지 데이터들을 제거할 수 있다. 상기 위치 추적부(133)는 상기와 같이 8가지 영역에 대한 히스토그램 분석을 통해 주성분을 추출하고, 이를 바탕으로 주성분에 속하지 않는 성분을 추출할 수 있다. 이때, 상기 위치 추적부(133)는 상기 주성분에 속하지 않는 성분에 대해서는 노이즈로 판단하거나, 또는 매칭을 잘못 파악하여 발생한 오류로 판단하여, 이후의 움직임 분석에서 제외한다. 이러한 화면 예시가 전술한 도 2의 참조부호 230 및 참조부호 240에 나타낸 바와 같다.
다음으로, 상기 위치 추적부(133)는 상기 노이즈와 오류 분석으로 제거되고 남은 나머지 일치 특징점의 쌍에 대하여, 휴대단말의 좌우움직임(
Figure 112009025809030-PAT00009
)과 상하움직임()을 각 축에 대한 평균 변화량을 바탕으로 하기 <수학식 2>와 같이 산출한다.
Figure 112009025809030-PAT00011
그리고 상기 위치 추적부(133)는 상기 <수학식 2>에서와 같이 산출하는 상기 좌우움직임의 평균 변화량(
Figure 112009025809030-PAT00012
)과 상하움직임에 대한 평균 변화량(
Figure 112009025809030-PAT00013
)에 의거하여 휴대단말의 움직임을 파악한다. 이를 표현하면 하기 <수학식 3>과 같이 나타낼 수 있다.
Figure 112009025809030-PAT00014
즉, 상기 위치 추적부(133)는 상기 <수학식 3>에 나타낸 바와 같이, 현재 시간 t에서의 x축 및 y축 방향의 움직임의 좌표를 알 수 있다. 여기서, 상기
Figure 112009025809030-PAT00015
은 교정비로서, 만약 상기 교정비(
Figure 112009025809030-PAT00016
)가 1보다 작아지면 측정된 움직임 즉, 상하좌우 움직임의 평균 변화량(
Figure 112009025809030-PAT00017
)을 축소시켜 반영하고, 상기 교정비(
Figure 112009025809030-PAT00018
)가 1보다 크면 측정된 움직임 즉, 상하좌우 움직임의 평균 변화량(
Figure 112009025809030-PAT00019
)을 확대하여 반영하게 된다.
이러한 영상프레임 공간에서의 추적은 상기 카메라모듈(110)을 통해 획득된 인접한 영상프레임들에 대하여, 각각의 영상프레임을 하나의 2차원 이미지로 생각한 다음에, 3차원에 대한 가정을 고려하지 않고 수행할 수 있다. 따라서 상기 카메라모듈(110)을 통해 영상프레임을 획득하는 축에 대하여 평행한 이동이나, 사선 이동이나, 또는 회전 이동에 대하여 동일하게 적용할 수 있다.
다만, 상기 영상프레임 공간에서의 추적은 휴대단말 모션의 종류 및 피사체와 카메라모듈 간의 거리에 따라 이미지 공간에서의 움직임의 변화량에 차이가 있으며, 이러한 차이를 조절하기 위하여 초기에 상대적인 교정비(
Figure 112009025809030-PAT00020
)를 얻어 적용할 수 있다. 즉, 일반적으로 회전이동은 이미지 축에 평행한 이동에 비하여 상대적으 로 적은 움직임에 대하여 이미지 공간에서 많은 움직임을 보이게 된다. 이러한 특징을 많은 움직임을 만들어내는데 어려움이 있는 경우에 휴대단말의 회전을 통하여 적은 움직임으로 효과적인 제스처를 만들어 내는데 활용할 수 있다. 그 결과 측정하는 운동이 휴대단말의 카메라모듈(110)이 이미지 면과 평행할 때뿐만 아니라, 사선 및 회전 운동을 포함하여 휴대단말의 움직임에 따라 이미지 공간에서는 좌우상하이동을 추적할 수 있다.
다음으로, 상기 제어부(190)의 상기 제스처 분류부(150)는 상기 모션 추정부(130)로부터 전달되는 2차원의 위치정보로부터 제스처를 추정하고, 상기 추정에 의하여 사용자 의도에 따른 의미 제스처를 획득한다. 즉, 상기 제스처 분류부(150)는 휴대단말의 상태 위상 기반의 제스처를 분류하는 수단을 나타낸다. 상기 제스처 분류부(150)는 상기 추적된 2차원 위치값을 바탕으로 제스처 종류를 분석하는 제스처 종류 판단부(151)와 상기 분석하는 제스처 종류에서 의미 제스처의 특징을 추출하는 제스처 특징 추출부(153)를 포함할 수 있다.
상기 제스처 분류부(150)의 상기 제스처 종류 판단부(151)는 휴대단말의 상태 위상 기반의 제스처를 분석하고, 특히, 휴대단말의 비정상적임 움직임 따른 오동작을 방지를 위한 제스처를 구별할 수 있다.
여기서, 본 발명의 실시 예에서는 휴대단말에 포함되는 카메라모듈(110)을 이용한다. 따라서 휴대단말을 떨어뜨리는 것과 같은 비정상적인 움직임에 따라 잘못된 인식에 의한 오동작이 발생할 수 있다. 이에 본 발명의 실시 예에서 상기 제스처 종류 분석은, 상기 비정상적인 움직임에 따라 잘못된 인식에 의한 오동작을 방지하기 위해, 비정상적인 동작을 추출하는 루틴이 포함될 수 있다.
이를 위하여 본 발명의 실시 예에서는 주어진 추적 내용을 바탕으로 정지 위상, 준비 위상, 스트로크 위상 및 비정상 위상으로 구분한다. 이러한 위상 구분은 휴대단말의 움직임 속도와 가속도 기반으로 구분할 수 있다. 특히, 상기 스트로크 위상은 속도와 가속도가 일정한 임계점 이상을 가지는 위상을 나타내며, 적어도 한 번은 상기 스트로크 위상에 휴대단말의 움직임에 포함되어야 사용자의 의도 제스처로 인식하게 된다. 또한, 상기 비정상 위상이 발생하면, 다른 모든 상황에서 비정상 제스처(undefined gesture)로 인식하게 된다. 이러한 예시가 하기 도 4 및 도 5에 나타나 있다.
도 4는 본 발명의 실시 예에 따른 위상 구분의 일 예시를 나타낸 도면이고, 도 5는 본 발명의 실시 예에 따른 상태 오토마타의 예시를 나타낸 것으로, 독립된 단위 제스처 또는 복합 제스처의 단위 제스처 요소를 인식하며, 비정상 제스처에 대한 처리가 수행된 오토마타(automata)를 나타낸 도면이다. 특히, 상기 도 4는 속도와 가속도 성분에 따라 나눈 위상 구분의 예시와 제스처 수행에 따른 동작 예시를 개략적으로 나타낸 것이다.
본 발명의 실시 예에 따르면, 주어진 추적 내용을 바탕으로 정지 위상(410), 준비 위상(420), 동작위상(430), 스트로크 위상(440), 비정상 위상(450)으로 나누어지며, 상기 도 4는 이러한 위상 구분의 한 예시를 나타낸다. 이때, 본 발명의 실시 예에서는 스트로크 위상의 통과 여부만으로 의도된 제스처와 그렇지 않은 제스처의 구분하는데 충분함에 따라, 동작 끝 위상은 생략될 수 있다. 또한, 본 발명의 실시 예에서는 상기 도 4에 나타낸 바와 같이 두 개의 스트로크 위상(441, 443)을 포함하는 것으로 나타내었으나, 상기 스트로크 위상(440)은 하나로 설정될 수도 있음은 물론이다.
상기 도 4를 참조하면, 상기 도 4에서 제스처 1은 상기 스트로크 위상(440)을 지나지 않기 때문에 의미 없는 동작으로 인식되며, 제스처 2와 제스처 3은 상기 스트로크 위상1(441) 또는 스트로크 위상2(443)를 지남에 따라 의도된 제스처로 인식된다. 또한, 제스처 4는 복합 제스처의 예를 나타낸 것으로, 상기 스트로크 위상(440)을 거친 후에 상기 준비 위상(420)을 지나게 된다. 제스처 5는 상기 비정상 위상(450)을 지나게 되는 휴대단말 추락과 같은 비정상적인 제스처의 경우에 해당된다.
각 제스처에 나타난 위상의 구분은 추적된 위치를 바탕으로 속도 성분(
Figure 112009025809030-PAT00021
)과 가속도 성분(
Figure 112009025809030-PAT00022
)에 의거하여 나눌 수 있다. 이때, 상기 속도 성분(
Figure 112009025809030-PAT00023
)은 하기 <수학식 4>과 같이 구할 수 있으며, 상기 가속도 성분(
Figure 112009025809030-PAT00024
)은 하기 <수학식 5>와 같이 구할 수 있다.
Figure 112009025809030-PAT00025
Figure 112009025809030-PAT00026
즉, 상기 각 제스처에 나타난 위상의 구분은 상기 <수학식 4> 및 <수학식 5>에 의거하여 속도 성분(
Figure 112009025809030-PAT00027
)과 가속도 성분(
Figure 112009025809030-PAT00028
)을 구한 후, 이를 바탕으로 상기 도 4의 예시와 같이 영역을 나눌 수 있다. 여기서, 상기 영역에 대한 경계값은 초기에 예시 동작을 통하여 상대적인 교정비(k1)와 함께 경계값을 조정하기 위한 속도 성분(
Figure 112009025809030-PAT00029
)에 대한 교정비(k2)를 조정하도록 한다. 즉, 상기 교정비(k1)는 제스처 움직임이 이미지 평면에 수평인지, 사선인지, 회전인지 등에 따라서 달라지는 상대적인 변화량의 차이를 초기에 조정하기 위한 매개 변수를 나타내며, 상기 교정비(k2)는 사용자에 따라서 제스처의 동작 속도의 차이를 조정하기 조정 변수를 나타낸다.
또한 제스처에 따라서 예컨대, 원형 운동과 직선 운동의 경우에, 스트로크가 일어나는 영역에 차이가 있으며, 이러한 차이를 고려하여 여러 개의 스트로크 영역(예컨대, 스트로크 위상1(441), 스트로크 위상2(443))을 설정할 수 있다.
한편, 상기 비정상 위상(450)은 속도와 가속도가 임계값 이상인 위상으로 휴대단말을 떨어뜨리거나, 던지는 것과 같은 일상적인 제스처에 속하지 않는 움직임인 경우에 발생할 수 있다. 상기 비정상 위상(450)에서는 현재의 입력을 바탕으로 한 제스처 인식을 수행하지 않으며, 정지 위상에서 다시 시작하기 전까지는 모든 입력을 무시하도록 한다. 이는, 상기 도 5에 나타낸 바와 같은 상태 오토마타를 통하여 구현될 수 있다.
상기 도 5의 상태 오토마타에서 동작 상태나 스트로크 상태, 또는 후-스트로크 상태와 같은 움직임의 상태에서 상기 비정상 위상(450)이 발생하게 되면, 비정 상 상태로 빠지게 되고, 이러한 상태에서는 상기 정지 위상(410)이 발생해야만 새로운 상태 인식을 시작할 수 있다.
상기 도 5의 상태 오토마타에서 동작 끝 위상은 제스처를 인식하는 루틴이 호출되며, 이때, 단위 제스처의 합에 의한 복합 제스처 생성의 경우에는 재준비 단계를 거쳐서 동작을 계속 수행하게 된다. 그러므로 재준비 상태에서도 그동안의 동작 특징을 바탕으로 단위 제스처를 인식하는 루틴이 호출될 수 있다.
다시 상기 도 1을 참조하면, 상기 제스처 분류부(150)의 상기 제스처 특징 추출부(153)는 전술한 바와 같은 동작 상태, 스트로크 상태, 후-스트로크 상태에서 휴대단말의 움직임에 대하여, 각 축에 대한 이동거리(TLx, TLy), 각 축에 대한 각 변화량(CLx, CLy) 및 시작점을 기준으로 한 최종점의 상대적 위치(Rx, Ry) 및 방향 변화량 값을 추출한다. 이러한 추출 값은 다음 단계 즉, 상기 제스처 인식부(170)의 단위 제스처 인식의 입력으로 사용된다.
다음으로, 상기 제어부(190)의 제스처 인식부(170)는 상기 제스처 분류부(150)로부터 획득하는 의미 제스처를 단위 제스처로 인식하고, 상기 단위 제스처들(예컨대, 상기 상대적 위치(Rx, Ry) 및 방향 변화량 값)을 취합하여 복합 제스처 인식 및 그에 따른 명령어를 생성한다. 즉, 상기 제스처 인식부(170)는 상기 단위 제스처로부터 상기 복합 제스처를 인식하는 제스처 인식 수단을 나타낸다. 상기 제스처 인식부(170)는 크게 단위 제스처 인식부(171)와 복합 제스처 인식부(173)를 포함할 수 있다.
본 발명의 실시 예에서는 제스처 인식의 확장성을 위하여 단위 제스처를 정 의하고, 상기 단위 제스처의 결합에 의한 복합 제스처를 정의한다. 이에 따라 본 발명의 실시 예에서는 복합 제스처를 인식할 수 있는 확장 제스처 인식 방안을 제공한다. 본 발명의 실시 예에 따르면, 단순하면서도 확장이 가능한 제스처로서, 전술한 도 3a에 나타낸 바와 같은 단위 제스처 모델을 설정할 수 있다.
이러한 단위 제스처는 추출된 특징점을 기반으로 상기 단위 제스처 인식부(171)를 이용하여 인식한다. 상기 단위 제스처 인식부(171)는 제스처의 패턴을 인식할 수 있는 특정 패턴 인식기를 이용할 수 있다. 상기 단위 제스처 인식부(171)는 추출된 특징점들을 기반으로 SVM(Support Vector Machine) 알고리즘이나 이와 유사한 패턴 인식 알고리즘을 사용하여 학습한 데이터를 바탕으로 인식하도록 한다. 이때, 추출되는 특징값은 동작끝 위상이나 재준비 위상에서 단위 제스처 인식 루틴이 호출될 수 있다.
상기 복합 제스처의 인식은 단위 제스처의 인식 결과를 결합하여 나타낼 수 있다. 따라서 상기 복합 제스처 인식부(173)는 상기 단위 제스처 인식부(171)에 의한 단위 제스처의 인식 결과를 결합하여 복합 제스처를 나타낼 수 있다. 상기 복합 제스처 인식부(173)는 다양한 단위 제스처들의 결합으로부터 복합 제스처의 의미를 해석하기 위하여, 제스처 해석 오토마타를 구성할 수 있다. 이때, 상기 복합 제스처 인식부(173)는 새로운 제스처를 정의할 때마다 해당되는 오토마타를 추가함으로 새로운 제스처를 인식할 수 있다.
예를 들어, 제스처가 사각형 모양인 경우, 예컨대, 전술한 도 3a의 예시에서 3-5-7-1의 진행 방향에 따른 단위 제스처가 수행되는 경우에 인식하도록 하거나, 또는 제스처가 삼각형인 경우, 예컨대, 전술한 도 3a의 예시에서 2-4-7의 진행 방향에 따른 단위 제스처가 수행되는 경우에 인식하도록 한다. 이러한 복합 제스처를 해석하기 위해서는 제스처 오토마타를 이용하여, 주어진 단위 제스처 인식을 바탕으로 복합 제스처를 인식하도록 한다. 복합 제스처의 경우에 단위 제스처는 전술한 도 5의 동작 상태도에서 동작끝 위상과 재준비 위상에서 단위 인식 제스처의 결과가 나오게 된다.
이상에서는 본 발명의 실시 예에 따른 휴대단말에서, 상기 휴대단말의 카메라모듈을 통해 획득하는 영상프레임으로부터 휴대단말의 움직임을 추적하고, 그에 따른 제스처를 인식하는 구성에 대하여 개략적으로 살펴보았다. 다음으로 이하에서는 상기 도 1에 따른 휴대단말의 구성을 참조하여 본 발명의 실시 예에 따른 구체적인 제어 동작에 대하여 살펴보기로 한다. 하지만, 본 발명의 동작이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 6은 본 발명의 실시 예에 따른 휴대단말에서 휴대단말의 움직임 추적을 이용한 제스처 인식 동작을 도시한 도면이다.
상기 도 6을 설명함에 있어서, 전술한 도 1 내지 도 5를 참조한 설명 부분에서 설명한 바에 대응하는 구체적인 설명들에 대해서는 생략하기로 한다.
상기 도 6을 참조하면, 먼저 휴대단말의 제어부(190)는 사용자 요청에 응답하여 제스처 인식 모드와 같은 기능을 활성화할 수 있다(S601단계). 여기서, 상기 제스처 인식 모드의 기능 활성화는, 상기 제스처 인식 모드 활성화를 위한 특정 기 능키 입력에 의하여 수행할 수 있다. 이때, 상기 제어부(190)는 상기 제스처 인식 모드 활성화 시, 본 발명의 휴대단말 움직임 추적에 이용되는 영상프레임 획득을 위한 카메라모듈(110)을 구동할 수 있다(S603단계).
다음으로, 상기 제어부(190)는 상기 제스처 인식 모드에서 상기 카메라모듈(110)을 통해 전달되는 영상프레임을 획득한다(S605단계). 여기서, 상기 제어부(190)는 상기 카메라모듈(110)을 통해 특정 피사체의 영상데이터를 획득하고, 상기 영상데이터로부터 연속되게 입력되는 인접 영상프레임들을 획득할 수 있다. 이어서, 상기 제어부(190)는 상기에서 획득하는 인접 영상프레임들 간의 특징점을 추출한다(S607단계).
다음으로, 상기 제어부(190)는 상기 특징점 추출을 통해 각 특징점의 이동에 따른 변화정보를 획득한다(S609단계). 이어서, 상기 제어부(190)는 상기 획득하는 변화정보에 의거하여 상기 휴대단말의 이동값을 추정한다(S611단계). 그리고 상기 제어부(190)는 상기 추정되는 이동값에 대응하는 제스처를 판단하고(S613단계), 이후 상기 제스처에 대응하는 설정된 해당 동작을 수행한다(S615단계).
여기서, 특징점 추출, 변화정보 획득, 이동값 추정 및 제스처 판단은 전술한 도 1 내지 도 5를 참조한 설명 부분에서 설명한 바에 대응하며, 이하에서는 상기 휴대단말의 움직임을 추정하는 상세 동작에 대하여 하기 도 7을 참조하여 살펴보기로 한다.
도 7은 본 발명의 실시 예에 따른 휴대단말의 움직임을 추적하는 제어 동작을 도시한 도면이다. 특히, 상기 도 7은 휴대단말의 움직임 추적에 따른 제어 동작 을 나타낸 것이다.
상기 도 7을 참조하면, 먼저 휴대단말의 제어부(190)는 상기 카메라모듈(110)을 통해 획득하는 두 인접한 영상프레임들 사이에서 매칭되는 특징점을 추출한다(S701단계). 여기서, 상기 특징점은 두 인접한 영상프레임들 사이에서 매칭되는 값을 보다 찾기 쉬운 코너점 등을 이용할 수 있으며, 상기 코너점은 영상프레임에서 코너점이 되는 해당 이미지 점에 대한 고유값(eigenvalue)을 구하고, 상기 고유값이 지역으로 최대값을 가지며, 인접한 다른 이미지 점과 일정한 거리 이상이 떨어진 점으로 선정할 수 있다.
다음으로, 상기 제어부(190)는 상기와 같이 인접하는 각 영상프레임들에서 추출하는 특징점들을 이용하여 상기 인접한 각 영상프레임들에서 일치하는 일치 특징점을 검출한다(S703단계).
다음으로, 상기 제어부(190)는 상기에서 검출하는 각각의 일치 특징점을 이용하여 휴대단말의 움직임을 파악한다(S705단계). 예를 들어,
Figure 112009025809030-PAT00030
번째 두 개의 일치 특징점들을 검출하게 되면, 상기 제어부(190)는 상기 두 개의 일치 특징점들에 대한 방향 성분을 전술한 <수학식 1>에 의거하여 구할 수 있다. 그리고 상기 제어부(190)는 상기 <수학식 1>을 참조한 설명 부분에서 설명한 바와 같이 휴대단말의 움직임 즉, 휴대단말의 움직임 방향 성분을 분석할 수 있다. 이때, 상기 제어부(190)는 상기 움직임 방향 성분 분석을 위하여, 전술한 도 3a 및 도 3b에서와 같이 인식하고자 하는 제스처 방향의 사이에 경계를 정하고, 상기 경계 영역에 포함되는 방향 벡터에 대한 히스토그램 분석을 통하여 주방향 즉, 상기 움직임 방향을 결정한다.
그리고 상기 제어부(190)는 상기 결정하는 주방향을 바탕으로, 주방향에 속하지 않는 방향 성분에 대하여 평균 방향 및 움직임 계산에서 제외한다. 즉, 상기 제어부(190)는 상기 파악하는 움직임 방향에 의거하여 노이즈 및/또는 오류 움직임을 제거한다(S707단계). 즉, 상기 제어부(190)는 상기 파악하는 움직임 방향과 동일한 방향 외의 나머지 데이터들을 제거할 수 있다. 이때, 상기 제어부(190)는 상기에서와 같이 분석하는 영역 예컨대, 도 3b에서와 같이 8개의 영역에 대한 히스토그램 분석을 통해 주성분을 추출하고, 이를 바탕으로 주성분에 속하지 않는 성분은 노이즈나 매칭이 잘못 파악되어 생긴 오류로 판단하여, 이후의 움직임 분석에서 제외한다.
다음으로, 상기 제어부(190)는 상기 노이즈와 오류 분석에 의해 제거되고 남은 일치 특징점들에 대하여, 휴대단말의 좌우움직임의 평균 변화량 및 상하움직임 평균 변화량을 바탕으로, 상기 휴대단말의 움직임을 추정한다(S709단계). 이러한 움직임 추정은 전술한 <수학식 2> 및 <수학식 3>을 참조한 설명 부분에서 설명한 바에 대응한다.
이후, 상기 제어부(190)는 상기 추정하는 휴대단말의 움직임에 대응하는 제스처를 구분하고, 그에 대응하는 동작을 수행하도록 제어할 수 있다. 이때, 상기 제어부(190)는 전술한 바와 같이 속도와 가속도 변화를 바탕으로 제스처를 구분할 수 있으며, 또한 휴대단말을 떨어뜨리는 것과 같은 의도하지 않은 동작, 즉 비정상적인 변화를 감지하여 그에 대한 처리를 무시할 수 있다.
한편, 이상에서 살펴본 바와 같은 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 휴대단말에서 카메라모듈을 이용한 제스처 인식 시스템에 대한 개략적인 구성을 도시한 도면,
도 2는 카메라모듈을 통해 획득하는 영상프레임 및 해당 영상프레임에서 추출하는 특징점을 도시한 도면,
도 3a 및 도 3b는 본 발명의 실시 예에 따른 제스처를 구분하는 동작 설명을 위해 개략적으로 도시한 도면,
도 4는 본 발명의 실시 예에 따른 위상 구분의 일 예시를 나타낸 도면,
도 5는 본 발명의 실시 예에 따른 상태 오토마타의 예시를 나타낸 도면,
도 6은 본 발명의 실시 예에 따른 휴대단말에서 휴대단말의 움직임 추적을 이용한 제스처 인식 동작을 도시한 도면,
도 7은 본 발명의 실시 예에 따른 휴대단말의 움직임을 추적하는 제어 동작을 도시한 도면.

Claims (22)

  1. 휴대단말의 제스처 인식 방법에 있어서,
    제스처 인식 모드에서 카메라모듈을 통해 인접하는 영상프레임들을 획득하는 과정과,
    상기 영상프레임들 간의 특징점을 추출하는 과정과,
    상기 특징점에 의거하여 상기 휴대단말의 이동값을 추정하는 과정과,
    상기 이동값에 대응하는 제스처를 인식하는 과정을 포함하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  2. 제1항에 있어서, 상기 추출하는 과정은,
    두 인접한 상기 영상프레임들 사이에서 서로 매칭되는 특징점을 추출하는 과정과,
    상기 매칭되는 특징점들을 이용하여 상기 인접한 각 영상프레임들에서 일치하는 일치 특징점을 검출하는 과정을 포함하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  3. 제2항에 있어서,
    상기 휴대단말의 이동값은 상기 일치 특징점을 이용한 휴대단말의 움직임 방향 분석에 의하여 획득하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  4. 제3항에 있어서,
    상기 분석된 움직임 방향을 기반으로, 노이즈 및 오류 움직임을 제거하고 평균 움직임을 측정하는 과정을 포함하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  5. 제3항에 있어서,
    인식하고자 하는 제스처 방향의 사이에 경계 영역을 설정하고, 상기 설정하는 경계 영역에 포함되는 방향 벡터에 대한 히스토그램 분석을 통하여 상기 움직임 방향을 결정하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  6. 제5항에 있어서,
    상기 결정하는 움직임 방향을 기반으로, 상기 움직임 방향에 속하지 않는 방향 성분에 대하여 노이즈 및 오류 움직임으로 결정하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  7. 제6항에 있어서,
    상기 결정하는 움직임 방향과 동일한 방향 외의 나머지 움직임 방향에 대한 데이터들을 제거하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  8. 제7항에 있어서,
    상기 제거되고 남은 일치 특징점들을 이용하여 휴대단말의 평균 움직임을 측정하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  9. 제8항에 있어서, 상기 제스처를 인식하는 과정은,
    상기 휴대단말의 평균 움직임에 따른 속도 성분과 가속도 성분을 이용하여 상기 제스처를 구분하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  10. 제9항에 있어서,
    상기 속도 성분 및 가속도 성분은, 제스처 종류에 따라 달라지는 상대적인 변화량의 차이를 조정하기 위한 매개 변수와, 사용자에 따라 제스처의 동작 속도의 차이를 조정하기 위한 조정 변수에 의하여 결정되는 것을 특징으로 하는 제스처 인식 방법.
  11. 제9항에 있어서,
    상기 속도 성분과 가속도 성분을 기반으로 정지 위상, 준비 위상, 스트로크 위상 및 비정상 위상을 구분하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  12. 제11항에 있어서,
    상기 휴대단말의 평균 움직임이 상기 비정상 위상에 포함되는 경우, 상기 휴대단말의 움직임을 오류로 판단하는 것을 특징으로 하는 휴대단말의 제스처 인식 방법.
  13. 휴대단말의 제스처 인식 시스템에 있어서,
    카메라모듈을 통해 획득하는 영상프레임들 간의 특징점을 추출하고, 상기 특징점에 의거하여 상기 휴대단말의 움직임을 추정하는 모션 추정부와,
    상기 휴대단말의 움직임에 대응하는 제스처 종류를 분석하고, 상기 제스처 종류에서 의미 제스처의 특징을 추출하는 제스처 분류부와,
    상기 의미 제스처에서 단위 제스처들을 구분하고, 상기 단위 제스처들의 결합에 의하여 복합 제스처를 인식하여, 그에 따른 명령을 생성하는 제스처 인식부를 포함하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  14. 제13항에 있어서, 상기 모션 추정부는,
    두 인접한 상기 영상프레임들 사이에서 서로 매칭되는 특징점을 추출하고, 상기 매칭되는 특징점들을 이용하여 상기 인접한 각 영상프레임들에서 일치하는 일치 특징점을 검출하고, 상기 일치 특징점에 의하여 상기 휴대단말의 움직임을 추정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  15. 제14항에 있어서, 상기 모션 추정부는,
    상기 추정하는 움직임 방향을 기반으로, 노이즈 및 오류 움직임을 제거하고 평균 움직임을 측정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  16. 제15항에 있어서, 상기 모션 추정부는,
    인식하고자 하는 제스처 방향의 사이에 경계 영역을 설정하고, 상기 설정하 는 경계 영역에 포함되는 방향 벡터에 대한 히스토그램 분석을 통하여 상기 움직임 방향을 결정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  17. 제16항에 있어서, 상기 모션 추정부는,
    상기 결정하는 움직임 방향을 기반으로, 상기 움직임 방향에 속하지 않는 방향 성분에 대하여 노이즈 및 오류 움직임으로 결정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  18. 제17항에 있어서, 상기 모션 추정부는,
    상기 결정하는 움직임 방향과 동일한 방향 외의 나머지 움직임 방향에 대한 데이터들을 제거하고, 상기 제거한 후 남은 일치 특징점들을 이용하여 휴대단말의 평균 움직임을 측정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  19. 제18항에 있어서, 상기 제스처 분류부는,
    상기 휴대단말의 평균 움직임에 따른 속도 성분과 가속도 성분을 이용하여 상기 제스처를 추정하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  20. 제19항에 있어서,
    상기 속도 성분 및 가속도 성분은, 제스처 종류에 따라 달라지는 상대적인 변화량의 차이를 조정하기 위한 매개 변수와, 사용자에 따라 제스처의 동작 속도의 차이를 조정하기 위한 조정 변수에 의하여 결정되는 것을 특징으로 하는 제스처 인식 시스템.
  21. 제19항에 있어서, 상기 제스처 분류부는,
    상기 속도 성분과 가속도 성분을 기반으로 정지 위상, 준비 위상, 스트로크 위상 및 비정상 위상을 구분하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
  22. 제21항에 있어서, 상기 제스처 분류부는,
    상기 휴대단말의 평균 움직임이 상기 비정상 위상에 포함되는 경우, 상기 휴대단말의 움직임을 오류로 판단하는 것을 특징으로 하는 휴대단말의 제스처 인식 시스템.
KR1020090037087A 2009-04-28 2009-04-28 휴대단말의 제스처 인식 방법 및 시스템 KR20100118317A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090037087A KR20100118317A (ko) 2009-04-28 2009-04-28 휴대단말의 제스처 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090037087A KR20100118317A (ko) 2009-04-28 2009-04-28 휴대단말의 제스처 인식 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20100118317A true KR20100118317A (ko) 2010-11-05

Family

ID=43404648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090037087A KR20100118317A (ko) 2009-04-28 2009-04-28 휴대단말의 제스처 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20100118317A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093822A2 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
KR101370263B1 (ko) * 2013-03-15 2014-03-04 전자부품연구원 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
US9898090B2 (en) 2013-09-10 2018-02-20 Samsung Electronics Co., Ltd. Apparatus, method and recording medium for controlling user interface using input image
KR20200033040A (ko) * 2018-09-19 2020-03-27 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093822A2 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
WO2012093822A3 (en) * 2011-01-06 2012-12-06 Samsung Electronics Co., Ltd. Display apparatus controlled by a motion, and motion control method thereof
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
KR101370263B1 (ko) * 2013-03-15 2014-03-04 전자부품연구원 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US9898090B2 (en) 2013-09-10 2018-02-20 Samsung Electronics Co., Ltd. Apparatus, method and recording medium for controlling user interface using input image
US10579152B2 (en) 2013-09-10 2020-03-03 Samsung Electronics Co., Ltd. Apparatus, method and recording medium for controlling user interface using input image
US11061480B2 (en) 2013-09-10 2021-07-13 Samsung Electronics Co., Ltd. Apparatus, method and recording medium for controlling user interface using input image
US11513608B2 (en) 2013-09-10 2022-11-29 Samsung Electronics Co., Ltd. Apparatus, method and recording medium for controlling user interface using input image
KR20200033040A (ko) * 2018-09-19 2020-03-27 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11886167B2 (en) 2018-09-19 2024-01-30 VTouch Co., Ltd. Method, system, and non-transitory computer-readable recording medium for supporting object control

Similar Documents

Publication Publication Date Title
EP2512110B1 (en) Camera mobile phone with an anti-shaking function and anti-shaking method for use by a camera mobile phone in image capturing.
US20180088679A1 (en) Motion-Assisted Visual Language for Human Computer Interfaces
US9400563B2 (en) Apparatus and method for recognizing subject motion using a camera
KR101472455B1 (ko) 손동작 기반 사용자 인터페이스장치 및 그 방법
KR102399017B1 (ko) 이미지 생성 방법 및 장치
US8897490B2 (en) Vision-based user interface and related method
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
US9576193B2 (en) Gesture recognition method and gesture recognition apparatus using the same
KR101985674B1 (ko) 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
EP2584531A1 (en) Gesture recognition device, gesture recognition method, and program
TWI571772B (zh) 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
US9430039B2 (en) Apparatus for controlling virtual mouse based on hand motion and method thereof
KR20100118317A (ko) 휴대단말의 제스처 인식 방법 및 시스템
WO2012051747A1 (en) Method and apparatus for providing hand detection
WO2013062737A1 (en) Inertial sensor aided stationary object detection in videos
US8890803B2 (en) Gesture control system
KR101503017B1 (ko) 모션 검출 방법 및 장치
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
KR20120044783A (ko) 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
EP2781990A1 (en) Signal processing device and signal processing method
KR101742826B1 (ko) 손 회전인식 장치 및 방법
JP2015049702A (ja) 対象認識装置、対象認識方法、およびプログラム
JP2012128693A (ja) 映像処理装置、映像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application