KR20100000174A

KR20100000174A - 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말

Info

Publication number: KR20100000174A
Application number: KR1020080059573A
Authority: KR
Inventors: 전종흥; 이승윤; 이강찬; 김성한; 이원석; 인민교
Original assignee: 한국전자통신연구원
Priority date: 2008-06-24
Filing date: 2008-06-24
Publication date: 2010-01-06
Also published as: US20110111798A1; CN102067067A; KR100978929B1; WO2009157633A1

Abstract

본 발명은 기준 제스처 제스처 등록방법, 이동단말 구동방법 및 이를 수행하는 이동단말에 관한 것이다.

본 발명에서, 이동단말은 사용자가 키패드 또는 터치 스크린을 이용하여 제스처 인식 또는 사용자 제스처 등록을 요청하면, 이동단말에 부착된 카메라를 통해 입력되는 사용자의 제스처 영상을 분석하여 제스처 데이터를 추출하고, 추출된 제스처 데이터에 매핑된 어플리케이션 기능을 실행시키거나, 추출된 제스처 데이터를 제스처 식별에 기준이 되는 기준 제스처 데이터로 등록한다.

이동단말, 제스처, 영상처리, 모바일 어플리케이션, 모바일 브라우저, 카메라

Description

기준 제스처 데이터 등록방법, 이동단말의 구동방법 및 이를 수행하는 이동단말{Registration method of reference gesture data, operation method of mobile terminal and mobile terminal}

본 발명은 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및 이를 수행하는 이동단말에 관한 것이다.

오늘날 사용자들은 다양한 이동단말(mobile terminal)을 사용한다. 이러한 이동단말로는 휴대용 전화, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3P(Moving Picture Experts Group Audio Layer-3 Player), 디지털 카메라 등이 있으며, 이외에도 많은 이동단말들이 사용된다.

일반적으로 이동단말은 방향키 기능이 지정된 버튼이나 키패드를 통해 사용자 인터페이스를 제공한다. 또한, 최근에는 이동단말에서 터치 스크린의 사용이 보편화되면서, 다양한 형태로 변화 가능한 사용자 인터페이스들을 제공하기도 한다.

한편, 이러한 이동단말은 작은 크기의 단말에 정보 전달을 위한 표시 장치와 입력을 위한 입력부를 함께 장착해야 하기 때문에, 개인용 컴퓨터와는 달리 마우스와 같은 사용자 인터페이스를 활용하는 것이 어렵다. 따라서, 사용자는 이동단말을 통해 모바일 브라우징과 같이 복잡하게 화면을 이동해야 하는 모바일 어플리케이션을 이용 시 많은 불편함을 느끼게 된다. 예를 들어, 사용자가 키패드를 이용하여 모바일 브라우징을 사용 시 화면을 이동하기 위해서는 많은 버튼을 눌러야 하는 불편함이 따르게 된다. 또한, 사용자가 터치패드를 이용하여 모바일 어플리케이션을 이용 시에는 이동단말의 조작을 위해 양손을 모두 사용해야 하므로, 한 손으로 이동단말을 사용하기를 원하는 사용자의 요구를 충족시키지 못하는 문제점이 있다.

따라서 이동단말에서의 사용자를 위한 효과적인 인터페이스 제공 방법은 모바일 브라우징을 비롯한 모바일 어플리케이션의 활성화에 중요한 문제가 되고 있다. 그러므로 이를 위한 새로운 인터페이스 기술 개발이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 사용자의 편리성을 증대시키기 위한 기준 제스처 데이터 등록방법, 이동단말 구동방법 및 이를 수행하는 이동단말을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 카메라가 부착된 이동단말이 사용자의 제스처를 인식하여 이동단말을 구동하는 방법은,

상기 카메라를 통해 제스처 영상을 수집하는 단계; 상기 수집된 제스처 영상 내에서 식별자의 위치 변화를 기록한 움직임 정보를 포함하는 제스처 데이터를 생성하는 단계; 및 상기 제스처 데이터가 식별 가능하면, 상기 제스처 데이터에 매핑된 어플리케이션 기능을 검색하여, 상기 검색된 어플리케이션 기능을 실행하는 단계를 포함한다.

또한, 본 발명의 다른 특징에 따른 카메라가 부착된 이동단말이 사용자의 제스처를 식별하는 기준이 되는 기준 제스처 데이터를 등록하는 방법은,

인식구간 동안 상기 카메라를 통해 제스처 영상을 수집하는 단계; 상기 수집된 제스처 영상을 분석하여 하나 이상의 특징점을 추출하는 단계; 상기 하나 이상의 특징점에 기초해 인식된 식별자의 위치 변화를 기록하여 움직임 정보를 생성하는 단계; 상기 움직임 정보를 포함하는 제스처 데이터를 생성하는 단계; 및 상기 사용자가 선택한 어플리케이션 기능을 상기 제스처 데이터에 매핑한 매핑정보를 저 장하는 단계를 포함한다.

또한, 본 발명의 또 다른 특징에 따른 이동단말은,

이동단말에 부착된 카메라를 통해 입력되는 사용자의 제스처 영상 내에서의 식별자의 위치 변화를 이용하여 제스처 데이터를 추출하는 영상 처리부; 상기 이동단말에 기 저장된 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 기준 제스처 데이터가 존재하는 경우, 상기 제스처 데이터와 일치하는 기준 제스처 데이터에 매핑된 어플리케이션 기능을 구동시키기 위한 제어 명령을 출력하는 제스처 분석부; 및 상기 제어 명령에 기초해 어플리케이션 기능을 실행시키는 구동부를 포함한다.

본 발명에 따르면, 이동단말이 내장된 카메라를 통해 입력되는 사용자의 제스처를 인식하고, 인식된 제스처에 따라 모바일 브라우저의 화면이동, 화면 확대/축소 기능 등을 구동시키고, 그 외 다수의 어플리케이션 기능을 구동시키는 것이 가능하도록 하여 사용자의 이동단말 사용의 편리성을 증대시키는 효과가 있다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사 한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이제 아래에서는 본 발명의 실시 예에 따른 기준 제스처 데이터 등록방법, 이동단말 구동방법 및 이를 수행하는 이동단말에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 이동단말(100)을 도시한 구조도이다.

도 1을 보면, 이동단말(100)은 입력부(110), 카메라부(120), 표시부(130) 및 제스처 처리부(140)를 포함한다.

입력부(110)는 키패드, 터치 스크린 등으로 구현되며, 사용자가 입력하는 버튼입력을 인식한다.

카메라부(120)는 하나 이상의 카메라를 포함하며, 카메라를 통해 사용자의 제스처 영상을 입력 받는다. 여기서, 카메라는 내장형 또는 삽입과 배출이 용이한 형태로 이동단말(200)에 부착되며, 사용자의 제스처를 인식 가능한 위치에 부착된다.

표시부(130)는 터치 스크린, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구현되며, 이동단말(100)에서 모바일 브라우징과 같은 어플리케이션을 수행 시, 어플리케이션 실행 내용을 화면으로 출력한다.

제스처 처리부(140)는 사용자의 제스처를 인식하여 해당 제스처에 대응하는 어플리케이션 기능을 실행한다. 즉, 입력부(110)를 통해 인식되는 버튼입력에 기초해, 카메라부(120)를 통해 입력되는 사용자의 제스처 영상으로부터 제스처 데이터를 추출하고, 추출된 제스처 데이터가 식별 가능한 경우 대응되는 어플리케이션 기능을 실행한다. 여기서, 사용자의 제스처는 사용자의 손동작, 얼굴 동작, 손바닥의 움직임 등을 포함할 수 있다.

한편, 제스처 처리부(140)가 사용자의 제스처를 인식하는 방법은 일회성 인식 방법과 연속 인식 방법이 있을 수 있다. 일회성 인식 방법은, 인식구간 동안 하나의 제스처를 인식하여 처리하는 방법이고, 연속 인식 방법은 인식구간 동안 연속되는 하나 이상의 제스처를 인식하여 처리하는 방법이다. 인식구간은 이동단말(100)이 카메라부(120)를 통해 입력되는 사용자의 제스처 영상을 수집하여 제스처 데이터를 처리하는 구간을 의미하며, 이동단말(100)이 인식구간을 인지하는 방법은 여러 가지가 있을 수 있다.

우선, 첫 번째로 입력부(110)의 키패드 또는 터치 스크린의 특정 버튼을 연속적으로 누른 상태나 터치한 상태가 지속됨으로 인해, 특정 버튼입력이 연속적으로 입력되는 구간을 제스처 처리부(140)는 인식구간으로 인지할 수 있다.

키패드를 포함하는 이동단말(100)의 경우를 예로 들면, 제스처 처리부(140)는 인식구간의 시작에 해당하는 특정 버튼을 사용자가 누르면, 이를 인식구간의 시작으로 인지하고 사용자가 해당 버튼을 누르는 것을 종료하면 이를 인식구간의 종 료로 인지한다. 또한, 터치 스크린을 포함하는 이동단말(100)의 경우를 예로 들면, 제스처 처리부(140)는 사용자가 터치 스크린에서 인식구간의 시작에 해당하는 특정 버튼에 대응하는 특정 영역을 터치하면 이를 인식구간의 시작으로 인지하고 사용자가 해당 영역을 터치하는 것을 종료하면 이를 인식구간의 종료로 인지한다.

두 번째 방법은 사용자가 입력부(110)의 키패드 또는 터치 스크린에서 인식구간의 시작에 해당하는 특정 버튼을 누르거나 터치함으로 인해 특정 버튼입력이 인식되면, 이를 인식구간의 시작으로 인지한다. 그리고, 인식구간의 종료는 인식구간이 시작되고 난 후 일정 시간이 지나면 이를 인식구간의 종료로 인지하거나, 인식구간이 시작되고 난 후 사용자가 인식구간의 시작 시 누른 버튼을 다시 누르거나 터치하면, 이를 인식구간의 종료로 인지한다.

키패드를 포함하는 이동단말(100)의 경우를 예로 들면, 제스처 처리부(140)는 인식구간의 시작에 해당하는 특정 버튼을 사용자가 누르면 이를 인식구간의 시작으로 인지하고, 인식구간이 시작되고 난 후 사용자가 해당 버튼을 다시 한번 누르면, 이를 인식구간의 종료로 인지한다. 또한, 터치 스크린을 포함하는 이동단말(100)의 경우를 예로 들면, 제스처 처리부(140)는 사용자가 터치 스크린에서 인식구간의 시작에 해당하는 특정 버튼에 대응하는 특정 영역을 터치하면 이를 인식구간의 시작으로 인지하고, 인식구간이 시작되고 난 후 사용자가 해당 영역을 다시 한번 터치하면, 이를 인식구간의 종료로 인지한다. 한편, 본 발명의 실시 예에서는, 인식구간의 시작과 종료를 나타내는 버튼입력이 동일한 경우를 예로 들어 설명하나, 본 발명은 인식구간의 시작과 종료를 나타내는 버튼입력이 서로 다를 수도 있다.

한편, 제스처 처리부(140)는 연속적으로 입력되는 제스처들에 대해 각각의 제스처를 처리하기 위해서, 인식구간 동안 입력되는 사용자의 제스처 영상으로부터 각각의 제스처의 시작시점과 종료시점을 인지해야 한다. 이러한 제스처의 시작시점과 종료시점을 인지하는 방법으로는, 제스처 영상 내에서 제스처 식별에 사용되는 식별자의 움직임을 감지해 시작시점과 종료시점을 인지하는 방법과 특정 제스처로 제스처의 시작시점과 종료시점을 인지하는 방법 등이 있다. 식별자의 움직임을 감지해 제스처의 시작시점과 종료시점을 인지하는 방법은, 식별자가 움직임을 보이기 시작하는 시점을 제스처의 시작시점으로 인지하고, 식별자가 일정 시간 동안 움직임을 보이지 않거나, 제스처 영상에서 해당 식별자가 사라진 시점을 제스처의 종료시점으로 인지할 수 있다. 특정 제스처로 제스처의 시작시점과 종료시점을 인지하는 방법은, 사용자가 제스처의 시작을 알리는 특정 제스처를 구현하는 시점을 제스처의 시작시점으로 인지하고, 사용자가 제스처의 종료를 알리는 특정 제스처를 구현하는 시점을 제스처의 종료시점으로 인지한다.

한편, 제스처 처리부(140)는 추출된 제스처 데이터가 식별 가능한지 판단하기 위해, 이동단말(100) 내에 저장된 하나 이상의 기준(reference) 제스처 데이터와 추출된 제스처 데이터를 비교한다. 그리고, 추출된 제스처 데이터와 매칭되는 기준 제스처 데이터가 있을 경우, 추출된 제스처 데이터가 식별 가능하다고 판단하여 해당 기준 제스처 데이터에 대응하는 어플리케이션 기능을 실행한다.

여기서, 기준 제스처 데이터는 표준 제스처 데이터 또는 사용자 제스처 데이 터를 의미하며, 표준 제스처 데이터는 이동단말(100)에 기 설정된 기준 제스처 데이터를 의미하고, 사용자 제스처 데이터는 사용자에 의해 등록된 기준 제스처 데이터를 의미한다.

한편, 제스처 처리부(140)는 사용자 제스처 데이터를 등록하기 위해, 전술한 일회성 인식 방법을 통해 사용자의 제스처 영상으로부터 제스처 데이터를 추출하여 사용자 제스처 데이터를 등록한다. 즉, 인식구간 동안 사용자의 제스처 영상을 수집하고, 수집된 사용자 제스처 영상으로부터 추출한 제스처 데이터를 사용자 제스처 데이터로 저장한다. 그리고, 해당 사용자 제스처 데이터에 특정 어플리케이션 기능을 매핑하여 등록한다. 이와 같이 설정된 사용자 제스처 데이터는 추후 사용자 의 제스처가 식별 가능한 제스처인지 판단하기 위한 기준 제스처 데이터로 사용된다. 이와 같이, 기준 제스처 데이터로 사용자가 설정한 사용자 제스처 데이터를 사용하는 방법은, 사용자 별로 쉽게 사용할 수 있는 제스처를 이용하여 이동단말(100)의 어플리케이션 기능을 실행시키는 것이 가능하므로, 사용자의 편의를 증대시키는 효과가 있다.

이제 아래에서는, 이동단말(100)이 사용자의 제스처를 인식하여 인식된 제스처에 해당하는 어플리케이션 기능을 실행하는 모드를 "제스처 인식모드"라 명명하여 사용하고, 사용자 제스처 데이터를 설정하기 위한 모드를 "제스처 등록모드"라 명명하여 사용한다. 한편, 제스처 인식모드와 제스처 등록모드를 구분하기 위해 제스처 인식모드에서 사용자의 제스처 입력을 나타내는 버튼입력과, 제스처 등록모드에서 사용자의 제스처 입력을 나타내는 버튼입력은 서로 다르게 설정될 필요가 있 다.

도 2는 본 발명의 실시 예에 따른 제스처 처리부(140)를 도시한 구조도이다.

도 2를 보면, 제스처 처리부(140)는 영상 처리부(141), 제스처 분석부(142), 구동부(143)를 포함한다.

영상 처리부(141)는 인식구간 동안 카메라부(120)를 통해 입력되는 사용자의 제스처 영상을 수집하고, 수집된 제스처 영상에 대해 전처리, 노이즈 제거 등의 영상 처리를 수행하고, 영상 처리된 제스처 영상으로부터 제스처 데이터를 추출하여 출력한다.

제스처 분석부(142)는 제스처 인식모드인 경우에는, 추출된 제스처 데이터와 하나 이상의 기준 제스처 데이터를 비교하고, 기준 제스처 데이터 중 추출된 제스처 데이터와 일치하는 기준 제스처 데이터에 해당하는 어플리케이션 기능을 실행시키기 위한 제어 명령을 출력한다. 그리고, 제스처 등록모드인 경우에는, 추출된 제스처 데이터를 사용자 제스처 데이터로 등록하고, 해당 사용자 제스처 데이터에 특정 어플리케이션 기능을 매핑하여 매핑정보를 저장한다.

구동부(143)는 제스처 분석부(142)로부터 출력되는 제어 명령에 기초해 해당 어플리케이션 기능을 실행한다. 여기서, 어플리케이션 기능은 이동단말(100) 내에 내장된 이동단말 내장 기능, 모바일 브라우저 기능, 모바일 어플리케이션 기능 등을 의미한다.

도 3은 본 발명의 실시 예에 따른 영상 처리부(141)를 도시한 구조도이고, 도 4는 본 발명의 실시 예에 따른 식별자의 실시 예들을 도시한 것이고, 도 5는 본 발명의 실시 예에 따른 식별자의 위치 변화로부터 생성한 움직임 정보의 예들을 도시한 것이다. 또한, 도 6은 본 발명의 실시 예에 따른 제스처 데이터의 실시 예들을 도시한 것이다.

도 3을 보면, 영상 처리부(141)는 전처리부(1411), 식별자 인식부(1412), 제스처 식별부(1413) 및 후처리부(1414)를 포함한다.

전처리부(1411)는 카메라부(120)를 통해 입력되는 제스처 영상에 대한 정규화를 수행하고, 노이즈 등의 불필요한 부분을 제거하여 출력한다.

식별자 인식부(1412)는 전처리부(1411)를 통해 전처리된 제스처 영상으로부터 제스처에 사용되는 손가락, 손목, 손바닥, 얼굴 등의 특정 신체 부위에 해당하는 특징점을 추출하고, 추출된 특징점에 기초해 제스처 영상 내에서 식별자를 인식한다. 그리고, 해당 식별자들의 제스처 영상 내에서의 위치 변화를 연속적으로 기록하여 움직임 정보를 생성한다. 예를 들면, 사용자가 인식구간 동안 도 4에 도시된 바와 같이 하나 또는 두 개의 손가락의 움직임을 이용하여 궤적을 만듦으로써 제스처를 취하면, 식별자 인식부(1412)는 카메라부(120)를 통해 입력되는 제스처 영상으로부터 특징점을 추출하여 사용자의 손가락 끝점(201, 202)을 식별자로 인식한다. 그리고, 도 5에 도시된 바와 같이 식별자의 위치 변화 즉, 손가락 끝점의 움직임에 다른 궤적을 추적하여 연속적으로 기록함으로써, 움직임 정보를 생성한다.

제스처 식별부(1413) 식별자 인식부(1412)에서 생성된 식별자의 움직임 정보를 포함하는 제스처 데이터를 생성한다. 도 6은 사용자가 입력 가능한 제스처의 예들을 도시한 것으로서, 사용자가 구현하는 제스처에 따른 식별자의 위치 변화를 나 타낸다. 도 6을 보면, 제스처의 시작점부터 종료점까지의 3차원 방향, 꺾임의 종류, 회전 방향 등을 이용하여 다양한 제스처를 구현하는 것이 가능하다. 한편, 도 6에 도시된 제스처들 외에도 사용자는 다양한 사용자 제스처를 이동단말(100)에 등록하여 사용하는 것이 가능하다.

후처리부(1414) 제스처 식별부(1413)에서 생성된 제스처 데이터에 대해 불필요한 정보 및 오류 등을 제거하는 보정 작업을 수행한 후 최종적으로 인식에 사용되는 제스처 데이터를 출력한다.

도 7은 본 발명의 실시 예에 따른 제스처 분석부(142)를 도시한 구조도이다.

도 7을 보면, 제스처 분석부(142)는 제1 제스처 데이터베이스(DataBase, DB)(1421), 제2 제스처 DB(1422), 매핑정보 DB(1423), 제스처 인식부(1424), 어플리케이션 기능 연동부(1425), 제스처 학습부(1426) 및 제스처 등록부(1427)를 포함한다.

제1 제스처 DB(1421)는 이동단말(100)에 기 설정된 표준 제스처 데이터를 저장한다.

제2 제스처 DB(1422)는 사용자에 의해 설정된 사용자 제스처 데이터를 저장한다.

매핑정보 DB(1423)는 제1 제스처 DB(1421) 및 제2 제스처 DB(1422)에 저장된 표준 제스처 데이터 및 사용자 제스처 데이터 별로 매핑되는 어플리케이션 기능에 대한 매핑정보를 저장한다.

제스처 인식부(1424)는 제스처 인식모드인 경우, 제1 제스처 DB(1421) 및 제 2 제스처 DB(1422)에 저장된 기준 제스처 데이터들 중에서 영상 처리부(141)로부터 출력되는 제스처 데이터와 일치하는 기준 제스처 데이터를 검색한다.

어플리케이션 기능 연동부(1425)는 제스처 인식모드인 경우, 기준 제스처 데이터 중 영상 처리부(141)로부터 출력되는 제스처 데이터와 일치하는 기준 제스처 데이터가 있으면, 해당 기준 제스처 데이터에 매핑된 어플리케이션 기능에 대한 정보를 매핑정보 DB(1423)에서 읽어온다. 그리고 해당하는 어플리케이션 기능을 실행시키기 위한 제어 명령을 구동부(143)로 출력한다.

제스처 학습부(1426)는 제스처 등록모드인 경우, 영상 처리부(141)에서 출력되는 제스처 데이터를 학습하고, 제2 제스처 DB(1422)에 해당 제스처 데이터를 사용자 제스처 데이터로 저장한다. 즉, 제스처 등록모드인 경우, 제1 제스처 DB(1421) 및 제2 제스처 DB(1422)에 저장된 기준 제스처 데이터들 중에서 영상 처리부(141)에서 출력되는 제스처 데이터와 일치하는 기준 제스처 데이터가 있는지 확인하고, 일치하는 기준 제스처 데이터가 없는 경우 해당 제스처 데이터를 사용자 제스처 데이터로 인식하고 제2 제스처 DB(1422)에 저장한다.

제스처 등록부(1427)는 제스처 등록모드인 경우, 제스처 학습부(1426)에 의해 제2 제스처 DB(1422)에 저장된 사용자 제스처 데이터에 특정 어플리케이션 기능을 매핑하고, 매핑정보를 매핑정보 DB(1423)에 저장한다.

다음, 도 8 내지 도 12을 참조하여 본 발명의 실시 예에 따른 이동단말(100)의 실시 예들에 대하여 설명한다.

도 8은 본 발명의 실시 예에 따른 이동단말(100)의 제1 실시 예로서, 키패드 를 포함하고 카메라(301)가 내장된 바형의 이동단말(300)을 도시한 것이다.

도 8을 참조하면, 제스처 인식모드인 경우, 이동단말(300)은 인식구간 동안 카메라(301)를 통해 입력되는 사용자의 제스처를 인식한다. 반면에, 제스처 등록모드인 경우에는, 이동단말(300)은 인식구간 동안 카메라(301)를 통해 입력되는 사용자의 제스처를 인식하여 사용자 제스처 데이터를 등록한다. 이때, 이동단말(300)은 제스처 인식모드와 제스처 등록모드의 인식구간을 인지하기 위한 버튼을 서로 다르게 함으로써, 제스처 인식모드와 제스처 등록모드를 서로 구분할 수도 있다.

예를 들어, 이동단말(300)은 제스처 인식모드에서는 제1 버튼(302)의 눌림 여부로 인식구간을 인지하고, 제스처 등록모드에서는 제2 버튼(303)의 눌림 여부로 인식구간을 인지할 수 있다.

도 9는 본 발명의 실시 예에 따른 이동단말(100)의 제2 실시 예로서, 터치 스크린을 포함하고, 카메라(401)가 내장된 바형의 이동단말(400)을 도시한 것이다.

도 9에 도시된 이동단말(400)은 도 5에 도시된 이동단말(300)과 유사한 방법으로 사용자의 제스처를 인식하고 사용자 제스처 데이터를 설정하며, 키패드 대신 터치 스크린을 통해 버튼입력을 입력 받는다. 이 경우, 이동단말(400)은 터치 스크린의 특정 영역을 가상의 버튼으로 인지하고, 해당 영역을 터치하여 발생하는 버튼입력에 기초해 인식구간을 인지한다.

예를 들어, 이동단말(400)은 제1 영역(402)을 터치하여 발생하는 버튼입력에 기초해, 일회성 인식 방법 또는 연속 인식 방법으로 사용자의 제스처를 인식하고, 제2 영역(303)을 터치하여 발생하는 버튼입력에 기초해 사용자 제스처 데이터를 설 정할 수 있다.

도 10은 본 발명의 실시 예에 따른 이동단말(100)의 제3 실시 예로서, 키패드를 포함하며, 카메라(501)가 내장된 접이식 이동단말(500)을 도시한 것이다.

도 10의 이동단말(500)은 도 8에 도시된 이동단말(300)과 동일한 방법으로 사용자의 제스처를 인식하고, 사용자 제스처 데이터를 설정할 수 있다.

도 11은 본 발명의 실시 예에 따른 이동단말(100)의 제4 실시 예로서, 터치 스크린을 포함하며, 카메라(601)가 삽입과 배출이 용이한 형태로 장착된 바형 이동단말(600)을 도시한 것이다.

도 11의 이동단말(600)은 도 9에 도시된 이동단말(400)과 동일한 방법으로 사용자의 제스처를 인식하고, 사용자 제스처 데이터를 설정할 수 있다.

도 12는 본 발명의 실시 예에 따른 이동단말(100)이 사용자의 제스처를 인식하는 일 예를 도시한 것이다.

도 12를 보면, 사용자가 키패드의 특정 버튼을 누르거나 터치 스크린의 특정영역을 터치하면, 이동단말(100)은 제스처 인식모드 또는 제스처 등록모드로 전환하고, 이에 따라 사용자는 도 12에 도시된 바와 같이 손가락 등을 움직여 제스처를 입력할 수 있다.

한편, 전술한 도 8 내지 도 11의 이동단말(300, 400, 500, 600)은 본 발명의 실시 예를 설명하기 위한 것으로서, 본 발명을 한정하는 것이 아니며 본 발명은 전술한 실시 예외에 다른 형태로 이동단말을 구현하는 것 또한 가능하다. 또한, 전술한 도 8 내지 도 11에서는 카메라(301, 401, 501, 601)가 이동단말(300, 400, 500, 600)이 하단에 부착되는 경우를 예로 들어 설명하나, 카메라(301, 401, 501, 601)는 사용자의 제스처를 효과적으로 인식하기 위해 다른 위치에 부착되는 것 또한 가능하다. 또한, 전술한 도 8 내지 도 11에서는 이동단말(300, 400, 500, 600)에 하나의 카메라(301, 401, 501, 601)를 부착하여 사용자의 제스처를 인식하는 경우를 예로 들어 설명하나, 본 발명은 사용자의 제스처를 효과적으로 인식하기 위해 복수의 카메라를 이동단말(300, 400, 500, 600)에 부착하여 사용하는 것 또한 가능하다. 또한, 전술한 도 8 내지 도 11에서는 키패드 및 터치 스크린 중 하나 만을 포함하는 경우를 예로 들어 설명하나, 본 발명은 키패드 및 터치 스크린을 모두 포함하는 이동단말에도 적용이 가능하다.

도 13은 본 발명의 실시 예에 따른 제스처 인식모드에서 이동단말(100)의 구동방법을 도시한 흐름도이다.

도 13을 보면, 사용자에 의해 제스처 인식이 요청되면 즉, 제스처를 인식하는 인식구간이 시작되면(S101), 이동단말(100)은 카메라부(120)를 통해 사용자 제스처 영상을 수집하고, 수집된 제스처 영상에 대한 영상 처리를 수행한다(S102). 여기서, 사용자는 이동단말(100)의 키패드의 특정 버튼을 누르거나, 터치 스크린의 특정 영역을 터치하여 이동단말(100)을 제스처 인식모드로 전환시키고, 이동단말(100)은 제스처 인식모드로 전환됨에 따라 제스처를 인식하는 인식구간이 시작됨을 인지한다.

이후, 이동단말(100)은 영상 처리된 제스처 영상으로부터 식별자의 위치 변화를 기록한 움직임 정보를 생성하고, 움직임 정보를 이용하여 제스처 데이터를 생 성한다(S103). 그리고, 제1 제스처 DB(1421) 및 제2 제스처 DB(1422)에 저장된 기준 제스처 데이터들 중 생성된 제스처 데이터와 일치하는 기준 제스처 데이터가 있는지 확인하여 해당 제스처 데이터가 식별 가능한 제스처 데이터인지 판단한다(S104).

판단 결과, 생성된 제스처 데이터와 일치하는 기준 제스처 데이터를 검색하지 못하여 해당 제스처 데이터가 식별 가능하지 않다고 판단된 경우, 이동단말(100)은 사용자로부터 제스처 인식을 종료할 것인지를 확인한다(S105). 그리고, 사용자게 인식 종료를 요청하면, 인식구간을 종료하고 이동단말(100)을 제스처 인식모드에서 빠져 나온다. 반면에, 사용자가 제스처 인식을 계속 할 것을 요청하면, 이동단말(100)은 다시 제스처 영상을 수집하고 영상 처리하여(S102), 제스처 데이터를 생성한다(S103).

한편, 생성된 제스처 데이터와 일치하는 기준 제스처 데이터가 검색되어 해당 제스처 데이터가 식별 가능하다고 판단되면, 이동단말(100)은 생성된 제스처와 일치하는 기준 제스처 데이터에 대한 어플리케이션 매핑정보를 매핑정보 DB(1423)로부터 검색한다(S106). 검색 결과, 해당 기준 제스처 데이터에 매핑된 어플리케이션 기능이 없는 경우, 이동단말(100)은 해당 기준 제스처 데이터에 새롭게 어플리케이션 기능을 매핑하여 등록할 것인지 여부를 사용자에게 확인한다(S107). 그리고, 사용자가 어플리케이션 기능을 새롭게 등록하기를 요청하면, 사용자가 선택한 어플리케이션 기능을 해당 기준 제스처 데이터에 매핑하고, 매핑정보를 매핑정보 DB(1423)에 저장한다(S108). 한편, 생성된 제스처 데이터와 일치하는 기준 제스처 데이터에 매핑된 어플리케이션 기능이 있는 경우, 이동단말(100)은 해당 어플리케이션 기능을 실행시킨다(S109). 그리고, 인식구간의 종료여부를 확인하고(S110), 인식구간이 종료되지 않은 경우에는 전술한 제스처 인식 과정(S102 내지 109)를 반복해서 수행한다.

도 14는 본 발명의 실시 예에 따른 제스처 등록모드에서 이동단말(100)의 사용자 제스처 등록방법을 도시한 흐름도이다.

도 14를 보면, 사용자에 의해 제스처 등록이 요청되면 즉, 제스처를 등록하기 위한 인식구간이 시작되면(S201), 카메라부(120)를 통해 사용자 제스처 영상을 수집하고, 수집된 제스처 영상에 대한 영상 처리를 수행한다(S202). 이러한, 제스처 영상 수집 및 영상 처리는 인식구간이 종료될 때까지 계속된다(S203). 여기서, 사용자는 이동단말(100)의 키패드의 특정 버튼을 누르거나, 터치 스크린의 특정 영역을 터치하여 이동단말(100)을 제스처 등록모드로 전환시키고, 이동단말(100)은 제스처 등록모드로 전환됨에 따라 제스처를 등록하기 위한 인식구간이 시작됨을 인지한다.

이후, 이동단말(100)은 인식구간 동안 수집되어 영상 처리 된 제스처 영상을 분석하여, 식별자의 위치 변화를 기록한 움직임 정보를 생성하고, 움직임 정보를 이용하여 제스처 데이터를 생성한다(S204). 그리고, 제1 제스처 DB(1421) 및 제2 제스처 DB(1422)에 저장된 기준 제스처 데이터들 중 생성된 제스처 데이터와 일치하는 기준 제스처 데이터가 있는지 확인한다(S205).

확인 결과, 생성된 제스처 데이터와 일치하는 기준 제스처 데이터가 검색되 지 않은 경우, 이동단말(100)은 사용자에게 해당 제스처를 등록할 것인지 여부를 확인한다(S206). 그리고, 사용자가 해당 제스처 데이터를 등록하기를 원하는 경우, 이를 제2 제스처 DB(1422)에 사용자 제스처 데이터로 저장한다(S207). 사용자 제스처 데이터를 등록하면, 이동단말(100)은 해당 사용자 제스처 데이터에 새롭게 어플리케이션 기능을 등록할 것인지 확인한다(S209). 그리고, 사용자가 등록을 원하는 경우, 사용자가 선택한 어플리케이션 기능을 해당 사용자 제스처 데이터에 매핑하고 매핑정보를 매핑정보 DB(1423)에 저장한다(S210).

한편, 생성된 제스처 데이터와 일치하는 기준 제스처 데이터가 검색되는 경우, 이동단말(100)은 사용자에게 해당 기준 제스처 데이터에 매핑된 어플리케이션 기능을 새로운 어플리케이션 기능으로 변경할 것인지 확인한다(S209). 그리고, 사용자가 새로운 어플리케이션을 매핑하고자 하면, 해당 기준 제스처 데이터에 사용자가 선택한 어플리케이션 기능을 매핑하고, 매핑정보를 매핑정보 DB(1423)에 저장한다(S210).

한편, 본 발명의 실시 예에서는 기존에 저장된 기준 제스처 데이터와 다른 새로운 제스처 데이터가 입력되면, 이를 등록할 것인지 여부를 확인하고(S206), 사용자가 등록을 원하는 경우에면 사용자 데이터를 등록하도록 하고 있으나(S207), 이는 본 발명을 한정하는 것은 아니다. 본 발명에서는 기존에 저장된 기준 제스처 데이터와 다른 새로운 제스처 데이터가 입력되면, 해당 제스처 데이터에 어플리케이션 기능을 매핑할 것인지 여부를 사용자에게 확인하고, 사용자가 어플리케이션 기능을 매핑하고자 하면, 해당 제스처 데이터를 저장하고 사용자가 선택한 어플리 케이션 기능의 매핑을 수행할 수도 있다.

도 15는 본 발명의 실시 예에 따른 이동단말(100)의 제스처 데이터 생성 방법을 도시한 흐름도이다.

도 15를 보면, 이동단말(100)은 제스처 인식모드 또는 제스처 등록모드로 변환 후, 인식구간 내에 카메라부(120)를 통해 사용자의 제스처 영상이 입력되면(S301), 입력되는 제스처 영상에 대한 정규화를 수행하고, 노이즈 등의 불필요한 부분을 제거하는 전처리 과정을 수행한다(S302).

이후, 이동단말(100)은 전처리된 제스처 영상을 분석하여 식별자 인식에 필요한 특징점들을 추출한다(S303). 그리고, 추출된 특징점들에 기초해 식별자를 인식하고(S304), 제스처 영상 내에서 식별자의 위치 변화를 절대 좌표를 기준으로 산출하여, 이에 기초한 움직임 정보를 생성한다(S305). 또한, 생성된 움직임 정보를 이용하여 제스처 데이터를 생성하고(S306), 생성된 제스처 데이터로부터 불필요한 정보 등을 제거하는 후처리 과정을 수행함으로써(S307), 최종적으로 인식 대상이 되는 제스처 데이터를 생성한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 실시 예에 따른 이동단말을 도시한 구조도이다.

도 2는 본 발명의 실시 예에 따른 제스처 처리부를 도시한 구조도이다.

도 3은 본 발명의 실시 예에 따른 영상 처리부를 도시한 구조도이다.

도 4는 본 발명의 실시 예에 따른 식별자의 실시 예들을 도시한 것이다.

도 5는 본 발명의 실시 예에 따른 식별자의 위치 변화로부터 생성한 움직임 정보의 예들을 도시한 것이다.

도 6은 본 발명의 실시 예에 따른 제스처 데이터의 실시 예들을 도시한 것이다.

도 7은 본 발명의 실시 예에 따른 제스처 분석부를 도시한 구조도이다.

도 8 내지 도 11은 본 발명의 실시 예에 따른 이동단말의 실시 예들을 도시한 것이다.

도 12는 본 발명의 실시 예에 따른 이동단말이 사용자의 제스처를 인식하는 일 예를 도시한 것이다.

도 13은 본 발명의 실시 예에 따른 제스처 인식모드에서 이동단말의 구동방법을 도시한 흐름도이다.

도 14는 본 발명의 실시 예에 따른 제스처 등록모드에서 이동단말의 사용자 제스처 등록방법을 도시한 흐름도이다.

도 15는 본 발명의 실시 예에 따른 이동단말의 제스처 데이터 생성 방법을 도시한 흐름도이다.

Claims

카메라가 부착된 이동단말이 사용자의 제스처를 인식하여 이동단말을 구동하는 방법에 있어서,

상기 카메라를 통해 제스처 영상을 수집하는 단계;

상기 수집된 제스처 영상 내에서 식별자의 위치 변화를 기록한 움직임 정보를 포함하는 제스처 데이터를 생성하는 단계; 및

상기 제스처 데이터가 식별 가능하면, 상기 제스처 데이터에 매핑된 어플리케이션 기능을 검색하여, 상기 검색된 어플리케이션 기능을 실행하는 단계

를 포함하는 이동단말 구동방법.
제 1항에 있어서,

버튼입력에 기초해 인식구간의 시작을 판단하는 단계

를 더 포함하고,

상기 수집하는 단계는,

상기 인식구간이 시작되면, 상기 제스처 영상을 수집하는 단계

인 이동단말 구동방법.
제 2항에 있어서,

버튼입력에 기초해 상기 인식구간의 종료를 판단하는 단계

를 더 포함하고,

상기 인식구간이 종료되기 전까지, 상기 제스처 데이터를 생성하는 단계, 상기 제스처 데이터에 매핑된 어플리케이션 기능을 검색하는 단계, 상기 검색된 어플리케이션 기능을 실행하는 단계를 반복해서 수행하는 이동단말 구동방법.
제 3항에 있어서,

제1 버튼입력이 입력되기 시작하는 시점을 상기 인식구간의 시작으로 인지하고, 상기 제1 버튼입력의 입력이 종료되는 시점을 상기 인식구간의 종료로 인지하는 이동단말 구동방법.
제 3항에 있어서,

제1 버튼입력이 입력되면 상기 인식구간의 시작으로 인지하고, 상기 인식구간이 시작되고 기 설정된 시간이 지나면 상기 인식구간의 종료로 판단하는 이동단말 구동방법.
제 3항에 있어서,

제1 버튼입력이 입력되면 상기 인식구간의 시작으로 인지하고, 상기 인식구간이 시작되고 제2 버튼입력이 입력되면 상기 인식구간의 종료로 판단하는 이동단말 구동방법.
제 1항에 있어서,

상기 제스처 데이터를 생성하는 단계는,

상기 수집된 제스처 영상 내의 하나 이상의 특징점에 기초해 식별자를 인식하는 단계;

상기 식별자의 위치 변화를 기록하여 상기 움직임 정보를 생성하는 단계; 및

상기 움직임 정보를 포함하는 상기 제스처 데이터를 생성하는 단계

를 포함하는 이동단말 구동방법.
제 7항에 있어서,

상기 식별자를 인식하는 단계는,

상기 수집된 제스처 영상에 대한 노이즈 제거 및 정규화를 수행하는 단계; 및

상기 노이즈 제거 및 정규화가 수행된 제스처 영상을 분석하여 특정 신체 부위에 대응되는 상기 하나 이상의 특징점을 추출하는 단계

를 포함하는 이동단말 구동방법.
제 1항에 있어서,

기 저장된 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 데이터를 검색하여, 상기 제스처 데이터가 식별 가능한지 판단하는 단계

를 더 포함하는 이동단말 구동방법.
제 1항에 있어서,

상기 제스처 데이터에 매핑된 어플리케이션 기능이 검색되지 않으면, 상기 사용자에게 상기 제스처 데이터에 어플리케이션 기능을 매핑할지 여부를 확인하는 단계; 및

상기 사용자가 어플리케이션 기능 매핑을 요청하면, 상기 사용자가 선택한 어플리케이션 기능을 상기 제스처 데이터에 매핑하여 매핑정보를 저장하는 단계

를 더 포함하는 이동단말 구동방법.
카메라가 부착된 이동단말이 사용자의 제스처를 식별하는 기준이 되는 기준 제스처 데이터를 등록하는 방법에 있어서,

인식구간 동안 상기 카메라를 통해 제스처 영상을 수집하는 단계;

상기 수집된 제스처 영상을 분석하여 하나 이상의 특징점을 추출하는 단계;

상기 하나 이상의 특징점에 기초해 인식된 식별자의 위치 변화를 기록하여 움직임 정보를 생성하는 단계;

상기 움직임 정보를 포함하는 제스처 데이터를 생성하는 단계; 및

상기 사용자가 선택한 어플리케이션 기능을 상기 제스처 데이터에 매핑한 매핑정보를 저장하는 단계

를 포함하는 기준 제스처 등록방법.
제 11항에 있어서,

기 저장된 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 기준 제스처 데이터를 검색하는 단계;

상기 제스처 데이터와 일치하는 기준 제스처 데이터가 검색되면, 상기 제스처 데이터에 매핑된 어플리케이션 기능을 변경할 것이지 여부를 사용자에게 확인하는 단계; 및

상기 사용자가 상기 매핑된 어플리케이션 기능을 변경할 것을 요청하면, 상기 제스처 데이터에 상기 사용자가 선택한 어플리케이션 기능을 매핑한 매핑정보를 저장하는 단계

를 더 포함하는 기준 제스처 등록방법.
제 11항에 있어서,

상기 인식구간은 상기 이동단말의 버튼입력으로 판단하는 기준 제스처 등록방법.
이동단말에 부착된 카메라를 통해 입력되는 사용자의 제스처 영상 내에서의 식별자의 위치 변화를 이용하여 제스처 데이터를 추출하는 영상 처리부;

상기 이동단말에 기 저장된 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 기준 제스처 데이터가 존재하는 경우, 상기 제스처 데이터와 일치하는 기준 제스처 데이터에 매핑된 어플리케이션 기능을 구동시키기 위한 제어 명령을 출력하는 제스처 분석부; 및

상기 제어 명령에 기초해 어플리케이션 기능을 실행시키는 구동부

를 포함하는 이동단말.
제 14항에 있어서,

사용자로부터 입력되는 버튼입력을 인식하는 입력부

를 더 포함하고,

상기 영상 처리부는, 상기 입력부를 통해 인식되는 버튼입력에 기초해 인식구간을 인지하고, 상기 인식구간 동안 상기 제스처 영상으로부터 상기 제스처 데이터를 추출하는 것을 특징으로 하는 이동단말.
제 15항에 있어서,

상기 영상 처리부는,

상기 인식구간 동안 상기 제스처 영상 내에서 추출된 하나 이상의 특징점에 기초해 상기 식별자를 인식하며, 상기 식별자의 위치 변화를 기록하여 움직임 정보를 생성하는 식별자 인식부; 및

상기 움직임 정보를 포함하는 상기 제스처 데이터를 생성하는 제스처 식별부

를 포함하는 이동단말.
제 16항에 있어서,

상기 영상 처리부는,

상기 제스처 영상에 대한 노이즈 제거 및 정규화에 해당하는 전처리를 수행하여 상기 식별자 인식부로 출력하는 전처리부

를 더 포함하고,

상기 식별자 인식부는 상기 전처리 된 제스처 영상을 이용하여 상기 움직임 정보를 생성하는 것을 특징으로 하는 이동단말.
제 14항에 있어서,

상기 제스처 분석부는,

상기 하나 이상의 기준 제스처 데이터를 저장하는 제스처 데이터베이스;

상기 하나 이상의 기준 제스처 데이터에 매핑되는 어플리케이션 기능에 대한 매핑정보를 저장하는 매핑정보 데이터베이스;

상기 제스처 데이터베이스에 저장된 상기 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 기준 제스처 데이터를 검색하는 제스처 인식부; 및

상기 매핑정보 데이터베이스로부터 읽어온 상기 제스처 데이터와 일치하는 기준 제스처 데이터에 매핑된 어플리케이션 기능에 대한 매핑정보에 기초해 상기 제어명령을 생성하는 어플리케이션 기능 연동부

를 포함하는 이동단말.
제 18항에 있어서,

상기 제스처 데이터베이스는,

상기 이동단말에 기 설정된 표준 제스처 데이터를 저장하는 제1 제스처 데이터베이스; 및

상기 사용자에 의해 설정된 사용자 제스처 데이터를 저장하는 제2 제스처 데이터베이스

를 포함하고,

상기 하나 이상의 기준 제스처 데이터는, 상기 표준 제스처 데이터 또는 상기 사용자 제스처 데이터인 이동단말.
제 19항에 있어서,

상기 제스처 분석부는,

상기 제스처 데이터베이스에 저장된 상기 하나 이상의 기준 제스처 데이터 중에서 상기 제스처 데이터와 일치하는 기준 제스처 데이터가 없는 경우, 상기 제스처 데이터를 상기 제2 제스처 데이터베이스에 저장하는 제스처 학습부; 및

상기 제스처 데이터에 어플리케이션 기능을 매핑하고, 상기 제스처 데이터에 매핑된 어플리케이션 기능에 대한 매핑정보를 상기 매핑정보 데이터베이스에 등록하는 제스처 등록부

를 더 포함하는 이동단말.