KR100906378B1

KR100906378B1 - 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법

Info

Publication number: KR100906378B1
Application number: KR1020070131964A
Authority: KR
Inventors: 임성호; 설동명; 최승한; 이경희; 박승민
Original assignee: 한국전자통신연구원
Priority date: 2007-12-17
Filing date: 2007-12-17
Publication date: 2009-07-07
Also published as: KR20090064680A; US20090153366A1

Abstract

본 발명은 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것으로, 사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하고 사용자의 머리 제스처에 관한 영상 데이터를 수신하여 수신한 영상 데이터가 특정 명령어에 대응되는지 판단하며, 판단된 명령어를 단말 본체로 제공함으로써, 주위의 소음의 영향을 받지 않고 주위 사람에게 소음공해를 일으키지도 않으며, 한 손만 사용할 수 있는 상황에서도 불편 없이 사용 가능하다.

Description

머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법{USER INTERFACING APPARATUS AND METHOD USING HEAD GESTURE}

본 발명은 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것으로, 좀 더 구체적으로는 휴대 단말에서 많이 쓰이는 일부의 키보드 기능과 마우스와 같은 커서 이동을 머리 제스처 인식과 버튼을 사용하여 효율적으로 입력처리하기 위한 것으로서, 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법에 관한 것이다.

본 발명은 정보통신부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다(과제관리번호: 2006-S-038-02, 과제명: 모바일 컨버전스 컴퓨팅을 위한 단말적응형 임베디드 운영체제 기술개발(Development of Device-Adaptive Embedded Operating System for Mobile Convergence Computing).

휴대 단말은 개인 휴대용 통신수단으로 생활 필수품으로 자리 잡은 지 오래다. 최근 들어 이동 통신 단말기는, 단순 음성 송수신을 위한 통신 수단의 기능을 넘어서서 데이터 통신, 영상 통화 등의 새로운 서비스가 부가되어 그 사용 빈도가 더욱 더 증가하고 있다.

휴대 단말에서는 일반 컴퓨터의 입력장치로 사용하는 키보드나 마우스 대신, 대부분 하드웨어 버튼과 전자 펜이 이용되고 있다. 하드웨어 버튼은 목적에 따라 단축키나 방향키 등으로 사용되며, 전자 펜은 터치스크린에 직접 찍으면서 사용할 수 있어 대부분의 입력 수단으로 유용하게 사용하고 있다. 특히, 전자 펜은 일반 컴퓨터에서 포인트 디바이스로 사용하는 마우스의 기능과 거의 비슷하기 때문에 일반 컴퓨터 사용자가 쉽게 사용할 수 있는 장점이 있다.

휴대 단말은 소형이고 휴대가 간편하여 이동 중이거나 특정 장소에 구애받지 않고 사용할 수 있으나, 그에 따른 제약사항도 있다. 휴대 단말에서는 일반적인 컴퓨터(데스크탑, 노트북 등)와 달리 다양하고 정밀한 입력보다는 비교적 간단하고 단순한 기능의 요구가 많아, 상대적으로 저 성능, 저 파워이고, 키패드 또는 키보드가 작아 문자 또는 숫자의 입력이 어려우며, 화면이 작아 터치스크린의 정확한 선택에 어려움이 있다는 것이다.

즉, 이동 단말로서 키보드나 마우스의 사용이 어렵고, 전력이나 무게 등의 이유로 상대적인 저 성능, 저 기능이며, 키보드 입력 처리도 번거롭다. 또한 휴대 단말을 사용하는 경우, 한 손으로 단말기를 들고 있어야 하는데 터치스크린을 사용할 경우 반드시 두 손이 필요하며, 손이 흔들려 작은 스크린을 정확하게 선택하기가 어렵다. 반면에 휴대단말기 상의 많은 일반 응용 프로그램의 실행이나 단순 인터넷 검색 등은 커서 이동과 선택, 페이지 이동, 탭(Tab) 기능 등 제한된 입력기능만으로도 가능하며, 이와 같은 제한된 입력기능이 반복적으로 사용된다.

한편, 화상 전화나 영상 메일 등에 활용코자 카메라를 휴대단말기에 부착하 여 영상입력 장치로 사용하고 있는 경우도 있고, 마이크를 통한 음성 인식 인터페이스도 시도되고 있다. 하지만, 이러한 영상 입력 또는 음성 인식은, 성능이나 전력 면에서 열악한 휴대 단말의 특성 때문에 음성 인식이나 카메라를 이용한 제스처 인식을 휴대 단말에서 그대로 사용하기에는 인식률이 낮고 인식 속도가 낮아 불편하며, 휴대 단말에서 제공되는 단순 반복적인 입력만으로는 효율적으로 동작하기 어려운 점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 휴대 단말을 위한 편리한 사용자 인터페이스로서, 계산량이 적고, 정확하고 빠른 인식 처리가 가능한, 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법을 제공하는 데 그 목적이 있다.

본 발명의 일 측면에 따른 머리 제스처를 이용한 사용자 인터페이스 장치는, 사용자를 위해 단말 본체에 대해 인터페이싱(interfacing)을 제공하는 장치로서, 사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하고, 사용자의 머리 제스처에 관한 영상 데이터를 수신하여 수신한 영상 데이터가 특정 명령어에 대응되는지 판단하고, 판단된 명령어를 상기 단말 본체로 제공하는 것을 특징으로 한다.

상기 인터페이스 장치는, 상기 사용자에 관한 영상 데이터를 수신하여 수신한 영상 데이터로부터 얼굴 영역을 분리하고, 얼굴 인식에 필요한 특징을 파악하여 파악된 특징을 저장하며, 적어도 하나의 사용자의 머리 제스처와 명령어를 매칭시켜 저장하는 제스처 인식기를 포함한다.

상기 제스처 인식기는, 사용자의 머리 제스처에 관한 영상 데이터를 수신하고, 수신한 영상 데이터로부터 인식 영역을 추출하고, 추출된 인식 영역으로부터 움직임을 분석하여 머리 제스처를 인식하는 것을 특징으로 한다.

상기 머리 제스처는, 사용자 머리의 좌우 회전 방향 및 각도, 사용자 고개의 상하 각도, 사용자 입의 상태와 움직임, 및 사용자 눈의 상태와 움직임 중 적어도 하나일 수 있다.

상기 인터페이스 장치는, 사용자의 머리 제스처에 관한 영상을 촬영하는 카메라와 상기 머리 제스처의 인식 결과를 디스플레이하는 모니터를 더 포함할 수 있다.

상기 인터페이스 장치는 또한, 상기 제스처 인식기로부터 입력되는 머리 제스처의 인식 결과를 분석하여, 분석된 머리 제스처의 종류가 어떤 명령어에 매칭되는지 판단하고, 판단 결과를 상기 모니터로 전송하는 스트림 관리기를 더 포함할 수 있다.

상기 스트림 관리기는, 상기 카메라로부터 입력되는 사용자의 머리 제스처에 관한 영상 데이터를 상기 제스처 인식기로 전달하는 것을 특징으로 한다.

상기 스트림 관리기는 또한, 상기 머리 제스처의 종류가 어떤 명령어에 매칭되는지 판단하고, 판단 결과를 상기 단말 본체에 제공하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 머리 제스처를 이용한 사용자 인터페이스 방법 은, 사용자를 위해 단말 본체에 대해 인터페이싱(interfacing)을 제공하는 방법으로, 사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하는 단계; 사용자의 머리 제스처에 관한 영상 데이터를 수신하여 수신한 영상 데이터가 특정 명령어에 대응되는지 판단하는 단계; 및 상기 판단된 명령어를 상기 단말 본체로 제공하는 단계를 포함한다.

본원발명에 따르면, 주위의 소음의 영향을 받지 않고 주위 사람에게 소음공해를 일으키지도 않으며, 카메라가 탑재된 단말기가 이미 많이 상용화되어 있으므로 부가적인 추가 장비가 불필요하여 비용적인 측면에서 유리하며, 단말기를 들고 있는 손으로 버튼 입력이 가능하므로 한 손만 사용할 수 있는 상황에서도 불편 없이 사용 가능하다.

이하, 본 발명의 바람직한 실시예를 도면을 참조하면서 설명하기로 한다.

도 1은 본 발명에 따른 머리 제스처를 이용한 사용자 인터페이스 장치의 블록 구성을 나타내고 있다.

본 발명에 따른 사용자 인터페이스 장치는, 입출력부(100), 스트림 관리기(200) 및 제스처 인식기(300)를 포함하여 구성된다.

입출력부(100)는 하드웨어 버튼(110), 영상 입력을 위한 카메라(120)와 인식 결과를 디스플레이하는 모니터(130)로 구성된다.

스트림 관리기(200)는 버튼 입력을 처리하기 위한 버튼 처리부(210)와, 카메라로부터 영상 데이터를 수집하여 인식기에 전달하기 위한 영상 데이터 처리부(220), 인식결과를 분석하여 해당 명령어로 변환하여 입출력부(100)의 모니터로 제공하는 인식결과 처리부(240)와 인식을 위한 시간을 설정하기 위한 타이머(230)로 구성된다. 여기서, 인식결과 처리부(240)는 모니터로 해당 명령어를 제공할 뿐 아니라, 단말 본체로도 해당 명령어를 전송하여 단말 본체로 하여금 해당 명령어에 관한 동작 또는 절차를 수행하도록 한다.

제스처 인식기(300)는 사용자에 관한 영상 데이터를 수신하여 수신한 영상 데이터로부터 얼굴 영역을 분리하고, 얼굴 인식에 필요한 특징을 파악하여 파악된 특징을 저장하며, 적어도 하나의 사용자의 머리 제스처와 명령어를 매칭시켜 저장하고, 사용자의 머리 제스처에 관한 영상 데이터를 수신하고, 수신한 영상 데이터로부터 인식 영역을 추출하여 움직임을 분석하여 머리 제스처를 인식한다.

제스처 인식기(300)는 빠른 인식을 위하여 사전에 얼굴 위치 파악 및 명령어 처리를 위한 학습부(310), 학습 과정에서 얻어진 정보를 저장하는 인식정보 관리부(320), 영상 데이터로부터 특징 정보를 추출하여 인식정보 관리부(320)를 참조하여 머리 제스처를 인식하는 인식부(330)를 포함하여 구성된다.

도 2는 본 발명에 따른 인식영역 추출을 위한 인식학습 모드에서의 사용자 인터페이스 방법의 동작 흐름을 나타낸다.

도 2에 나타낸 동작은 본 발명에 따른 사용자 인터페이스 방법의 얼굴 및 입 영역을 분리하기 위해, 사용자의 얼굴에 대한 특징점을 추출하기 위한 동작으로, 구체적으로는, 카메라로부터 수신한 영상 데이터에서 인식 영역을 분리하고 분리된 영역에서 인식에 필요한 정보를 미리 추출하여 인식 속도를 개선할 수 있도록 하기 위한 과정이다.

먼저, 명령 학습을 위해 사용자가 명령학습 모드를 선택하고(S201), 얼굴 모드를 선택한다(S202). 본 발명에서는 머리의 제스처나 얼굴 표현을 이용하여 사용자 인터페이스를 구현하기 때문에, 얼굴 모드가 선택된다. 얼굴 모드 선택 후에 단말에 구비된 촬영 버튼 등을 이용해 얼굴에 대한 촬영이 수행된다(S203).

촬영을 통해 영상 데이터를 획득하면(S204), 획득한 영상 데이터로부터 인식 영역, 즉 얼굴 영역을 분리하여 추출한다(S205). 이렇게 추출된 인식 영역에서 얼굴의 모양, 눈과 코, 입의 비율 등을 분석하여 인식에 필요한 특징점을 추출하여(S206), 저장한다(S207).

도 3은 본 발명에 따른 사용자 인터페이스 방법의 명령학습 모드에서의 바람직한 일 실시예를 나타낸 것이다.

도 3에 도시된 본 발명에 따른 명령학습 모드 단계에서의 동작은, 사용자의 제스처와 사용할 명령어를 매칭시키기 위한 절차이다.

사용자가 명령학습 모드를 선택하고(S301), 명령어를 선택한다(S302). 본 발명의 바람직한 실시예에 따르면, 각각의 명령어는 머리의 움직임 방향과 입의 모양등의 제스처에 대응되어 구분된다. 예를 들어, 머리의 움직임으로서 8개 방향으로 의 커서의 움직임을 나타낼 수 있고, 고개를 돌린 상태로 일정시간 유지되는 경우는 커서를 빠르게 움직이는 경우를 나타내도록 설정될 수 있다. 또한, 입의 움직임(입을 벌리는 경우, 입을 다무는 경우 등)을, 탭(Tab), 엔터(Enter) 등의 키에 해당되는 제어키 입력으로서 설정하여 처리함으로써 편리한 사용자 인터페이스를 제공할 수 있다.

본 발명에 따른 머리 제스처로는, 사용자 머리의 좌우 회전 방향 및 각도, 사용자 고개의 상하 각도, 사용자 입의 상태와 움직임 외에도 사용자 눈의 상태와 움직임 등이 이용될 수 있을 것이다.

명령어가 선택되면, 촬영 버튼을 눌러(S303) 카메라를 통해 촬영되는 영상 데이터에 대한 수신을 시작한다(S304). 수신된 영상 데이터로부터 인식학습 모드 단계에서 추출된 인식 영역에 관한 정보를 활용하여 인식 영역을 분리 추출하고(S305), 인식 영역에서 머리의 움직임이나 입의 움직임을 분석한다(S306).

인식 영역에 대한 분석 단계(S306)가 완료된 후에도 촬영 버튼이 눌러져 있는 경우(S307의 Yes)에는 단계 304부터 단계 306의 절차가 반복되며, 촬영 버튼에 대한 선택이 해제되면, 그때까지의 분석 결과를 선택한 명령어와 매칭시켜 인식정보 관리부(320)에 저장한다(S308).

도 4는 본 발명에 따른 사용자 인터페이스 장치의 머리 제스처 인식 처리 흐름도이다.

사용자가 입력 버튼을 누르면(S401), 영상 데이터를 수신하고(S402), 수신된 영상 데이터로부터 인식 영역을 추출하여(S403) 머리와 입의 움직임을 분석한다(S404). 분석한 결과 입력된 움직임이 명령어 입력으로 판단되는 경우(S405의 Yes), 새로운 명령어인지 체크하여(S406), 새로운 명령어인 경우(S406의 Yes) 타이머를 초기화하고(S407), 입력된 명령어를 분석한다(S408). 새로운 명령어가 아닌 경우(S406의 No)에는 타이머 설정 없이 입력된 명령어를 분석한다(S408). 입력된 명령어 분석시에는, 즉, 제스처 분석시 입 제스처인지 아니면 고개를 돌린다든가 하는 머리의 움직임에 관한 것인지에 대해서도 판단된다. 입 제스처인지에 관한 판단은 바로 이전 화면과 현재의 화면을 비교하여 입의 위치와 모양이 임계치 이상 움직였는지 여부 등을 이용해 이루어진다.

분석 결과, 입력된 움직임이 입 제스처가 아닌 경우(S409의 No)는 타이머 시간을 체크하여 계속되는 명령어인지 판단하고(S410), 일정 시간 동일한 명령어가 입력되는 경우(S412의 Yes), 예를 들어, 고개를 한쪽으로 돌려 일정 시간 머무는 경우에는, 빠른 커서 이동을 수행한다(S414). 계속되는 명령어가 아닌 경우(S412의 No)에는 해당 명령어에 합당한 처리를 수행하는데(S413), 예를 들어, 단말 본체로 해당 명령어를 전송하여 단말 본체로 하여금 수신한 명령어에 적절한 동작을 수행하도록 한다. 입 제스처의 경우(S409의 Yes)도, 해당 입 제스처가 어떤 명령어를 의미하는지 판단하고(S411), 해당 명령어의 처리를 수행한다(S413).

이상의 처리가 이루어진 후에도 입력 버튼에 대한 해제가 이루어지지 않은 경우(S415의 No), 즉 입력 버튼이 계속 눌러진 경우에는, 단계 402로 돌아가 영상 데이터 수신 단계부터 해당 명령어에 대한 처리(S413) 또는 빠른 커서 이동(S414) 을 수행하는 과정을 반복한다.

이상의 실시예를 통해 살펴본 바와 같이, 본 발명은, 키보드를 사용하지 않고 버튼을 사용하며 카메라를 갖추고 있는 핸드폰 등에서 바람직하게 사용되는 경우가 많겠지만, 카메라를 갖추고 있으면서 키보드의 사용이 불편하고 몇 가지 기능 버튼만 반복적으로 입력되는 환경 또는 장치라면 어느 것에라도 바람직하게 적용될 수 있을 것이다.

도 1은 본 발명에 따른 머리 제스처를 이용한 사용자 인터페이스 장치의 블록 구성을 나타낸 도면.

도 2는 본 발명에 따른 인식영역 추출을 위한 인식학습 모드에서의 사용자 인터페이스 방법의 동작 흐름을 나타낸 도면.

도 3은 본 발명에 따른 사용자 인터페이스 방법의 명령학습 모드에서의 바람직한 일 실시예를 나타낸 도면.

도 4는 본 발명에 따른 사용자 인터페이스 장치의 머리 제스처 인식 처리 흐름도.

Claims

사용자를 위해 단말 본체에 대해 인터페이싱(interfacing)을 제공하는 장치에 있어서,

사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하고, 영상 데이터를 수신하여 수신한 영상 데이터를 근거로 사용자의 머리 제스처를 인식하는 제스처 인식기; 및

상기 제스처 인식기에서 인식한 사용자의 머리 제스처가 특정 명령어에 대응되는지 판단하고, 판단된 명령어를 상기 단말 본체로 제공하는 스트림 관리기를 포함하되,

상기 머리 제스처는 사용자 머리의 좌우 회전 각도 및 상하 회전 각도를 포함하는 것을 특징으로 하는 머리 제스처를 이용한 사용자 인터페이스 장치.
청구항 1에 있어서,

상기 제스처 인식기는,

상기 사용자에 관한 영상 데이터를 수신하여 수신한 영상 데이터로부터 얼굴 영역을 분리하고, 얼굴 인식에 필요한 특징을 파악하여 파악된 특징을 저장하며, 적어도 하나의 사용자의 머리 제스처와 명령어를 매칭시켜 저장하는 제스처 인식기를 포함하는, 머리 제스처를 이용한 사용자 인터페이스 장치.
청구항 1에 있어서,

상기 제스처 인식기는,

사용자의 머리 제스처에 관한 영상 데이터를 수신하고, 수신한 영상 데이터로부터 인식 영역을 추출하고, 추출된 인식 영역으로부터 움직임을 분석하여 머리 제스처를 인식하는 것을 특징으로 하는, 머리 제스처를 이용한 사용자 인터페이스 장치.
삭제
청구항 1에 있어서,

사용자의 머리 제스처에 관한 영상을 촬영하여 상기 스트림 관리기로 전달하는 카메라; 및

상기 스트림 관리기로부터 전달되는 상기 머리 제스처의 인식 결과를 디스플레이하는 모니터를 더 포함하는, 머리 제스처를 이용한 사용자 인터페이스 장치.
청구항 5에 있어서,

상기 스트림 관리기는,

상기 제스처 인식기로부터 입력되는 머리 제스처의 인식 결과를 분석하여, 분석된 머리 제스처의 종류가 어떤 명령어에 매칭되는지 판단하고, 판단 결과를 상기 모니터로 전송하는 스트림 관리기를 더 포함하는, 머리 제스처를 이용한 사용자 인터페이스 장치.
청구항 5에 있어서,

상기 스트림 관리기는,

상기 카메라로부터 입력되는 사용자의 머리 제스처에 관한 영상 데이터를 상기 제스처 인식기로 전달하는 것을 특징으로 하는, 머리 제스처를 이용한 사용자 인터페이스 장치.
삭제
사용자를 위해 단말 본체에 대해 인터페이싱(interfacing)을 제공하는 방법에 있어서,

제스처 인식기가, 사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하는 단계;

스트림 관리기가, 사용자의 머리 제스처에 관한 영상 데이터를 수신하여 수신한 영상 데이터가 특정 명령어에 대응되는지 판단하는 단계; 및

상기 스트림 관리기가, 상기 판단된 명령어를 상기 단말 본체로 제공하는 단계를 포함하되,

상기 머리 제스처는 사용자 머리의 좌우 회전 각도 및 상하 회전 각도를 포함하는 것을 특징으로 하는 머리 제스처를 이용한 사용자 인터페이스 방법.
청구항 9에 있어서,

상기 사용자의 특정 머리 제스처를 특정 명령어에 대응시켜 저장하는 단계는,

상기 제스처 인식기가, 상기 사용자에 관한 영상 데이터를 수신하여 수신한 영상 데이터로부터 얼굴 영역을 분리하고, 얼굴 인식에 필요한 특징을 파악하여 파악된 얼굴 특징을 저장하는 단계; 및

상기 제스처 인식기가, 상기 저장된 얼굴 특징을 이용하여, 카메라를 통해 입력되는 영상 데이터로부터 인식 영역을 분리하고, 인식 영역으로부터 파악되는 사용자의 머리 제스처 각각에 대해 명령어를 매칭시켜 저장하는 단계를 포함하는 머리 제스처를 이용한 사용자 인터페이스 방법.
청구항 9에 있어서,

상기 수신한 영상 데이터가 특정 명령어에 대응되는지 판단하는 단계는,

상기 제스처 인식기가, 사용자로부터 머리 제스처에 관한 영상 데이터를 수신하고, 수신한 영상 데이터로부터 인식 영역을 추출하는 단계;

상기 제스처 인식기가, 상기 추출된 인식 영역의 움직임을 분석하여 머리 제스처를 인식하는 단계; 및

상기 스트림 관리기가, 상기 제스처 인식기에서 인식된 머리 제스처가 어떤 명령어에 대응되는지 판단하는 단계를 포함하는 머리 제스처를 이용한 사용자 인터페이스 방법.
삭제