KR20060035148A

KR20060035148A - 모바일 기기의 동작 인식 장치 및 이를 이용한 사용자의동작 인식 방법

Info

Publication number: KR20060035148A
Application number: KR1020040084503A
Authority: KR
Inventors: 김지원
Original assignee: (주)두모션
Priority date: 2004-10-21
Filing date: 2004-10-21
Publication date: 2006-04-26

Abstract

모바일 기기에 장착되어서, 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 관성센서; 관성센서의 출력을 지속적으로 저장하는 기억장치; 기억장치에 저장된 관성센서의 출력을 지속적으로 공급받아서, 관성센서의 출력값을, 소정의 2축 평면에 표시하여 출력값이 점유하는 분면을 지속적으로 추출해내는 분면확인 모듈; 분면확인 모듈의 출력을 일정 범위에서 히스토리화하여 사용자의 동작에 대응하는 ID(IDentification)를 생성하는 모션ID 생성 모듈; 사용자의 동작, 모션ID 및 사용자의 동작에 따라 모바일 기기의 동작 제어를 지시할 이벤트가 매칭되어 있는 모션ID파일; 및 모션ID파일에, 모션ID 생성 모듈로부터 제공되는 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 모바일 기기의 동작을 제어하는 동작 제어부로 전송하는 모션ID 인식 모듈을 포함하는 모바일 기기의 동작 인식 장치가 개시된다.

모바일 기기, 동작 인식, 관성센서, 4사분면

Description

모바일 기기의 동작 인식 장치 및 이를 이용한 사용자의 동작 인식 방법{Gesture cognition device of mobile apparatus and method for recognizing gesture of human being}

도 1은 본 발명의 일예에 따른 모바일 기기의 동작 인식 장치의 개략도.

도 2는 본 발명에 다른 예에 따른 모바일 기기의 동작 인식 장치의 개략도.

도 3은 동작 인식 장치에서의 모션ID 생성 과정을 보여주는 흐름도.

도 4는 도 3의 모션ID 생성 과정 중의 분면 추출 과정을 보여주는 흐름도.

도 5a 및 도 5b는 동작 인식 장치가 장착된 모바일 기기의 움직임에 따른 분면 추출 원리를 보여주는 도면.

도 6은 동작 인식 장치에서의 모션ID 인식 과정을 보여주는 흐름도.

본 발명은, 모바일 기기에 관한 것으로서, 특히 모바일 기기의 동작 인식 장치 및 이를 이용한 동작 인식 방법에 관한 것이다. 여기서, 모바일 기기의 동작 인 식이란, 모바일 기기의 동작 제어를 위한 사용자의 특정 움직임을 인식하는 것을 의미한다.

최근 들어 컴퓨터 시스템 및 통신망이 급속도로 발전하고 무선통신 기술이 발전하면서, 휴대폰이나 PDA 등과 같은 기기(이하에서는 이를 "모바일 기기"이라고 한다.)가 생활의 필수품이 되었다. 모바일 기기의 본래 용도는 유선전화를 대용하는 것이었으나, 현재는 모바일 기기를 이용하여 전화 통신 서비스 외에도, 문자통신 서비스, 전자상거래 서비스, 게임 서비스 등을 제공받고 있다. 최근에는 모바일 기기에 카메라가 부착되면서, 모바일 기기가 전자 앨범의 역할도 하게 되었다.

이렇게 다양한 기능을 갖는 모바일 기기를 구현하기 위한 다양한 연구가 계속 진행되고 있으며, 이러한 연구 결과 중의 하나는 모바일 기기에 관성 센서를 장착하는 기술로서, 일 예들이 본원 출원인의 권리인 특허등록 415161호 및 실용등록 252964호에 개시되어 있다. 다른 예들로서는 관성센서를 적용하는 휴대폰이 일본의 KDDI사에서 출시되었고, 국내의 LG전자가 이슬람 교도들을 대상으로 개발한, 전자나침반을 포함하는 휴대폰(일명 메카폰)이 있다. 메카폰은, 휴대폰을 수평으로 놓아 나침반의 고유 기능을 통하여, 메카의 위치를 알려주는 역할을 한다. 그러나 그 이외에 별도로 휴대폰이 수행하는 기능은 없다. 또 다른 예들로서는, 관성센서를 펜의 형태로 된 막대에 장착하고, 마치 펜처럼 글을 쓰게 되면, 그 글 쓰는 동작을 인지하여, 컴퓨터 또는 모바일 기기에 글이 써지도록 하는 기술을 개발하고자 하는 시도가 있었으나, 성공한 예는 없다.

한편, 관성이라 함은, '멈추어진 물체는 지속적으로 멈추어 있고자 하고, 운동 중인 물체는 지속적으로 운동하고자 하는' 물리적 성질이다. 관성을 측정하기 위하여 개발이 된 전자 부품의 경우, 예를 들면 관성센서에도 본 관성의 법칙은 적용이 되기 때문에, 완벽한 보정의 방법과 모듈이 있고 그를 적용하지 않는 한 관성이라는 물리적 법칙은 깨기 어렵다.

그리고 가속도센서는 관성센서이므로, 가속도 센서가 측정하는 가속도를 1차 적분하면, 속도가 산출되고, 2차 적분을 하면 이동한 거리를 알 수 있다. 수학적인 계산으로는 분명히 상기와 같이 말할 수 있으나, 실제 적용할 경우, 가속도센서에도 관성이 법칙이 적용되며, 특히, 기계가 아닌 사람이 사용하는 필기용 전자 도구에 적용하는 경우에는, 사람마다 다른 필기속도, 사람마다 다른 필기 습관 등으로 인하여, 실제 물체가 움직인 거리와 가속도의 1차 및 2차 적분에 의해 얻어진 거리 사이에는 지속적인 오차가 발생되며 누적되는 것을 실험으로 알게 되었다. 더욱이, 기존의 기술들에서는 사람이 행하는 연속동작을 별도의 처리 과정 없이 그대로 데이터화 하여 사용하고자 하였으므로, 가속도 센서에서 발생되는 결과로부터 누적되는 측정 오차에 대하여 보정할 필요가 있다. 물론 전술한 문제점들을 해결할 모듈과 함께 관성센서를 휴대폰에 장착할 수 도 있으나, 모바일 기기는 기본적으로 휴대성이 강조되는 물건이므로 작고 가볍게 만들어야 하기 때문에, 전술한 문제점들을 해결하기 위한 커다란 모듈을 모바일 기기에 삽입하는 것은 적절하지 않다.

이에 따라, 모바일 기기에 관성센서를 장착하여, 상품화가 가능하도록 실현 가능성이 있으면서도 모바일 기기에서 사용자의 동작을 정확하게 인식할 기술의 개발이 요구되어 왔다.

따라서 본 발명의 목적은, 전술한 문제를 해결할 수 있는 모바일 기기의 동작 인식 장치 및 이를 이용한 동작 인식 방법을 제공하는 것이다.

본 발명의 목적을 달성하기 위한 모바일 기기의 동작 인식 장치는, 모바일 기기에 장착되어서, 상기 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 관성센서; 상기 관성센서의 출력을 지속적으로 저장하는 기억장치; 상기 기억장치에 저장된 관성센서의 출력을 지속적으로 공급받아서, 관성센서의 출력값을, 소정의 2축 평면에 표시하여 출력값이 점유하는 분면을 지속적으로 추출해내는 분면확인 모듈; 상기 분면확인 모듈의 출력을 일정 범위에서 히스토리화하여 사용자의 동작에 대응하는 ID(IDentification)를 생성하는 모션ID 생성 모듈; 상기 사용자의 동작, 상기 모션ID 및 상기 사용자의 동작에 따라 상기 모바일 기기의 동작 제어를 지시할 이벤트가 매칭되어 있는 모션ID파일; 및 상기 모션ID파일에, 상기 모션ID 생성 모듈로부터 제공되는 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 상기 모바일 기기의 동작을 제어하는 동작 제어부로 전송하는 모션ID 인식 모듈을 포함한다.

상기 관성센서는 X-Y축 가속도센서이며, 상기 분면확인 모듈은 상기 사용자의 동작에 따른 상기 X-Y축 가속도센서의 출력값 (a, b)의 형태를 (+|a|, +|b|), (+|a|, -|b|), (-|a|, +|b|) 및 (-|a|, -|b|)의 4경우로 구분하고(여기서, a, b는 상기 2축 평면 상에 표시되는 상기 X-Y축 가속도센서의 출력값을 의미한다.) 각 경우에 대해 서로 다른 분면값을 부여하며, 상기 사용자의 동작이 동작 인식을 위한 것인지 구분하기 곤란할 정도로 상기 (a, b)의 출력이 미세한 범위의 (±│a│, ±│b│)에 대해서는 데드 존을 나타내는 분면값을 부여한다. 그리고 상기 사용자의 동작이 임의의 2축 평면에 원을 그리는 것일 경우, 상기 모션ID 생성 모듈은, 상기 모바일 기기가 점유하는 상기 임의의 2축 평면 상의 분면의 위치 및 상기 원의 회전 방향에 의해 결정되는 모션ID를 생성한다.

본 발명의 목적을 달성하기 위한 동작 인식 방법은, 모바일 기기에 장착된 관성센서를 이용하여, 상기 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 단계; 상기 관성센서의 출력을 지속적으로 저장하는 단계; 상기 기억장치에 저장된 관성센서의 출력을 지속적으로 공급받아서, 관성센서의 출력값을, 소정의 2축 평면에 표시하여 출력값이 점유하는 분면을 지속적으로 추출해내는 단계; 상기 분면확인 모듈의 출력을 일정 범위에서 히스토리화하여, 사용자의 동작에 대응하는 ID(IDentification)를 생성하는 단계; 상기 사용자의 동작, 상기 모션ID 및 상기 사용자의 동작에 따라 상기 모바일 기기의 동작 제어를 지시할 이벤트가 매칭되어 있는 모션ID파일을 검색하여, 상기 모션ID파일에 상기 생성된 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 발생하여, 상기 모바일 기기의 동작을 제어하는 동작 제어부로 전송하는 단계; 및 상기 모바일 기기의 동 작 제어부가 상기 이벤트에 대응하는 제어신호를 발생하여 상기 모바일 기기의 동작을 제어하는 단계를 포함한다.

본 발명은 일상적으로 행할 수 있는 사람의 일반적인 동작을 ID(모션ID; IDentification)로 부과하고 그 모션ID에 맞는 동작을 휴대폰과 같은 모바일 기기를 들고 있는 손이 했을 때, 휴대폰이 일종의 명령을 수행하도록 하는 것으로, 음성 인식을 통한 휴대폰 제어의 방법 및 휴대폰의 숫자 버튼을 눌러서 수행하는 제어 방법에 있어서, 음성 또는 숫자 버튼에 대신하여 사용자의 동작과 그에 따른 모션ID를 사용하는 것이다.

이하 첨부된 도면을 참고로 하여 본 발명을 상세히 설명하면 다음과 같다.

도 1은 본 발명에 일 예에 따른 모바일 기기의 동작 인식 장치의 개략도로서, 모바일 기기 외부에 동작 인식 장치가 선택적으로 연결되는 경우를 보여준다.

도 1을 참조하면, 본 발명의 일예에 따른 모바일 기기의 동작 인식 장치(13)는, 모바일 기기(10)의 포트(미도시)를 통해서 모바일 기기(10)에 선택적으로 연결되며, 모바일 기기(10)의 움직임 즉 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 관성센서(14), 관성센서(14)의 출력을 지속적으로 저장하는 기억장치(15), 상기 기억장치(15)에 저장된 관성센서(14)의 출력을 지속적으로 공급받아서, 관성센서(14)의 출력값이 차지하는 분면을 지속적으로 추출해내는 분면확인 모듈(16), 상기 분면확인 모듈(16)의 출력을 받아서, 사용자의 동작에 대응하는 ID를 생성하는 모션ID 생성 모듈(17), 생성되거나 또는 모바일 기기 제품 출하 시 설정된 모션ID들(히스토리화된 관성센서 출력의 분면값)이 저장되어 있는 모션ID 파일(19) 및 모션ID파일(19)에 상기 모션ID 생성 모듈(17)로부터 제공되는 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 발생시키는 모션ID 인식 모듈(18)을 포함한다. 모션ID 인식 모듈(18)로부터 출력된 이벤트는 모바일 기기(10)의 동작을 제어하는 동작 제어부(12)로 전송되고, 동작 제어부(12)는 이벤트에 대응하는 제어 신호를 발생하여 동작 구동부(11)를 구동시켜서, 궁극적으로는 모바일 기기(10)가 모바일 기기 사용자의 동작에 대응하는 기능을 수행하도록 모바일 기기(10)를 제어하게 된다. 모바일 기기(10)의 제어는 모바일 기기의 통화 기능 또는 모바일 기기를 통한 게임 서비스 등의 각종 서비스 뿐만 아니라, 모바일 기기를 통한 홈 네트워크 상의 컴퓨터들의 원격 제어 등, 모바일 기기를 통한 각종 전자 장비의 제어도 포함한다. 그리고 "사용자의 동작"이란 모바일 기기의 기울기를 측정할 정도로 관성센서를 좌우 또는 상하로 움직이는 것을 의미하는 것뿐만 아니라, 모바일 기기를 들고서 평면 상에 원을 그리는 등의 비교적 동작이 큰 움직임도 포함하는 것이며, 특정의 동작에 한정되지 않고 일상의 생활에서 나타나는 일반적인 동작들을 포함한다.

관성센서(14)는 2축(X-Y축) 가속도센서가 사용될 수 있다. 상기 X-Y축 가속도센서가 사용될 경우에는 관성센서(14)의 출력은 (a, b)으로 표시되며, 여기서 a는 X축 가속도센서의 출력이고 b는 Y축 가속도센서의 출력이다. 그리고 (a, b)는 (+|a|, +|b|), (+|a|, -|b|), (-|a|, +|b|) 및 (-|a|, -|b|) 중의 어느 하나로 분류될 수 있다.

분면확인 모듈(16)은, 관성센서(14)의 출력 (a, b) 형태, 즉 (+|a|, +|b|), (+|a|, -|b|), (-|a|, +|b|) 및 (-|a|, -|b|) 각각에 서로 다른 값을 부여하도록 되어 있으며, 분면값은 특정 값으로 제한을 받는 것은 아니다. 그리고 모바일 기기의 움직임 변화가 미세할 경우에는 상기 움직임이 의도된 것인지 우연히 일어난 것인지 구분하기 힘들므로, (a, b)의 값이 미세할 경우(예를 들면, a 및 b의 최대 크기가 1024 (2¹⁰비트)일 때, 가속도의 값이 ±102 (2¹⁰비트/ 10)일 경우)에는 동작 인식 장치가 구동되지 않는 것이 바람직하며, 이러한 이유에 의해서, 관성센서(14)의 출력(a, b) 중, (|a|, |b|)의 값이 일정 범위 내의 것에 대해서는 가속도값을 (0,0)으로 설정하여 분면값을 부여하지 않는 데드 존(dead zone)을 형성하는 것이 바람직하다.

모션ID 생성 모듈(17)은, 관성센서(14)의 출력 (a, b)에 의해 부여된 연속적인 분면값을 일정 구간에서 히스토리화하여 이를 모션ID를 생성한다. 그리고 모션ID 생성 모듈(17)은 생성된 모션ID가 동작 인식 장치(13) 내의 모션ID파일(19)에 저장되어 있지 않을 경우에는 새로 생성된 모션ID를 모션ID파일(19)에 누적시킨다.

한편, 모션ID 생성에 있어서, 사용자의 동작이 연속적으로 이루어지므로 분 면값의 생성 또한 연속적으로 발생하므로, 히스토리화된 분면값 중의 최근의 것에서 일정 개수의 분면값만을 취하여 모션ID를 생성한다.

모션ID 인식 모듈(18)은, 모션ID 생성 모듈(17)로부터 출력되는 사용자의 동작에 대응하는 모션ID를 받아서, 수신받은 모션ID와 일치하는 모션ID가, 모션ID 파일(19)에 있는 지를 검사한다. 그리고 수신받은 모션ID와 일치하는 모션ID가 발견될 경우에는 상기 모션ID에 할당된 이벤트를 발생하여 모바일 기기(10)의 동작 제어부(12)로 전송한다.

모션ID파일(19)에는, 사용자의 동작, 관성센서(14)의 출력에 따른 히스토리화된 분면값 정보, 모션ID 및 이벤트의 필드가 마련되어 있으며, 각 필드의 값이 다른 필드의 값에 매칭되는 방법은 2가지로 제공될 수 있다. 그 방법 중의 하나는 제품 출하 시에 사용자의 동작-모션ID-이벤트의 매칭이 설정되어 있는 경우이며, 다른 방법으로는, 휴대폰을 사용하는 사람마다 동작의 차이가 있는 점을 고려하여, 휴대폰 자체에 개인화된 행동 기호를 입력할 수 있도록, 모션ID-이벤트의 매칭이 정해진 상태에서 사용자의 동작-모션ID의 매칭을 사용자가 임의로 설정하는 방법이 있다. 전자의 경우에는, 모바일 기기의 표시부(미도시)를 통해서, 이벤트-모션ID-사용자의 동작의 매칭 관계에서, 이벤트에 대응되는 사용자의 동작 정보를 제공한다. 후자의 경우에는, 사용자에게 이벤트-모션ID의 매칭 관계를 제공하고, 소정의 동작을 소정의 모션ID에 매칭시키도록 하면 된다.

한편, 도 1에서는 관성센서(14)가 모바일 기기(10)의 포트(미도시)를 통해서 모바일 기기(10)에 선택적으로 연결되어 있으나, 관성센서(14)는 모바일 기기(10)의 움직임 또는 사용자의 동작에 따른 가속도 값을 출력하면 족하므로, 모바일 기기(10) 내에 장착될 수 도 있음은 자명하다.

다른 예로서, 도 2에 도시된 바와 같이, 관성센서, 저장장치 분면확인 모듈, 모션ID 생성 모듈, 모션ID 테이블 및 모션ID 인식 모듈로 이루어진 동작 인식 장치가 모바일 기기 내에 설치될 수 도 있다.

도 2를 참조하면, 본 발명의 다른 예에 따른 모바일 기기의 동작 인식 장치(23)는, 모바일 기기(20) 내부에 설치되어서 모바일 기기(20)의 움직임 또는 사용자의 동작에 따른 모션ID를 생성하고 모션ID에 대응되는 이벤트를 발생하여 모바일 기기(20)의 동작 제어부(22)로 전송한다. 동작 인식 장치(23)는 도 1의 동작 인식장치(13)와 같이 관성센서(24), 저장장치(25), 분면확인 모듈(26), 모션ID 생성 모듈(27), 모션ID 테이블(29) 및 모션ID 인식 모듈(28)을 포함한다. 미설명된 참조번호 "21"은 동작 구동부로서 도 1의 동작 구동부(11)와 동일한 기능을 수행한다.

이제 구체적으로, 동작 인식 장치(13, 23)의 모션ID 생성 모듈(17, 27)이 관성센서(14, 24)의 출력을 받아서, 모션ID를 생성하는 과정을 도 3, 도 4, 도 5a 및 도 5b를 참고로 설명한다.

본 발명에 따른 동작 인식 장치(13, 23)가 설치된 모바일 기기(10, 20)를 손으로 잡고서, 임의의 평면 상에 원을 그리는 동작을 취하는 경우 또는 좌우로 기울인 경우를 예를 들어 설명한다. 도 5a는 임의의 평면 상에 원을 그리는 동작을 취하는 경우를 나타내고 도 5b는 좌우로 모바일 기기를 기울인 경우를 나타낸다. 여기서 관성센서(14, 24)는 X-Y축 가속도센서로서, X축 가속도 센서는 모바일 기기 예를 들면 휴대폰의 숫자 버튼 "456"버튼 방향으로 설치되며 "4"의 방향이 "+X"이며, Y축 가속도 센서는 휴대폰의 숫자 버튼 "258"버튼 방향으로 설치되면 "2"의 방향이 "+Y"로 구성되어 있다.

모바일 기기를 모션ID 생성 모드로 전환한 상태에서, 도 3에 나타난 바와 같이, 시작 버튼(미도시)을 누르고(S31), 사용자가 도 5a에 나타난 바와 같이 휴대폰을 들고서 반시계 방향(실선)으로 원을 그리면, 2축 평면 상에 원이 형성되고, 원을 그린 궤적은 4개의 분면을 통과하게 된다. 휴대폰의 X축 가속도 센서와 평행한 축을 "I"축으로 정하되 오른쪽 방향을 (+) 방향으로 하고, 휴대폰의 Y축 가속도 센서와 평행한 축을 "II"축으로 정하되 위쪽 방향을 (+)방향으로 하면, "①"로 표시한 분면에서의 휴대폰의 위치는 임의의 2축 평면상에서 (-|c|, +|d|)값을 나타내고, "②"로 표시한 분면에서의 휴대폰의 위치는 (+|c|, +|d|)값을 나타내고, "③"로 표시한 분면에서의 휴대폰의 위치는 (+|c|, -|d|)값을 나타내고, "④"로 표시한 분면에서의 휴대폰의 위치는 (-|c|, -|d|)값을 나타낸다. 그리고 "⑤"는 데드 존을 나타낸다. 여기서 c와 d는 임의의 2축 평면상에서의 휴대폰의 위치 값을 나타낸다. 즉 도 5a의 실선의 원에 따른 휴대폰의 이동 궤적, 즉 사용자의 움직임 궤적 은 "③-②-①-④-③"이 된다.

한편, 휴대폰에 장착된 2축 가속도센서는 휴대폰의 이동에 의한 힘을 받아서 소정의 값을 연속적으로 출력하고(S32), 이 값은 저장장치에 저장된다(S33). 도 5a를 참조하면, 휴대폰이 "③" 위치에서 반시계 방향으로 움직이면, 가속도센서는 +I축(또는 -X축)과 +II축 (또는 +Y축) 방향으로 힘을 받으므로, 휴대폰에 장착된 가속도센서의 출력값은 (-|a|, +|b|) 값을 보이며, 휴대폰이 "②" 위치에서 반시계 방향으로 움직이면, 가속도센서는 -I축(또는 +X축)과 +II축 (또는 +Y축) 방향으로 힘을 받으므로, 휴대폰에 장착된 가속도센서의 출력값은 (+|a|, +|b|) 값을 보이며, 휴대폰이 "①" 위치에서 반시계 방향으로 움직이면 가속도센서는 -I축(또는 +X축)과 -II축 (또는 -Y축) 방향으로 힘을 받으므로, 휴대폰에 장착된 가속도센서의 출력값은 (+|a|, -|b|)이며, 휴대폰이 "④" 위치에서 반시계 방향으로 움직이면 가속도센서는 +I축(또는 -X축)과 -II축 (또는 -Y축) 방향으로 힘을 받으므로, 휴대폰에 장착된 가속도센서의 출력값으로 (-|a|, -|b|)가 출력된다.

분면확인 모듈(16, 26)은 가속도센서의 출력값 (a,b)을 받아서 그의 형태로부터 분면값을 계산한다(S34). 분면값 계산의 일예는 도 4에 도시되어 있다. 분면확인 모듈(16, 26)이 관성센서(14, 24)로부터 출력값을 입력받은 후(S42), 먼저 출력값(a, b)이 데드 존에 포함된 것인지를 살핀다(S43). 출력값이 데드 존 내에 있는 것일 때는, 동작 인식 장치의 분면확인 모듈(16, 26)은 모션ID를 생성하지 않게 되며, 일예로서 분면값으로는 "0"을 배정한다(S43a). 즉 관성센서의 출력값으로부터 분면값이 "0"이 나올 경우에는, 모션ID 생성 모듈(17, 27)은 모션ID를 생성 하지 않게 된다. 관성센서(14, 24)의 출력이 데드 존 내의 것에 속하지 않을 경우에는, 다음 단계로 진행하여, (a, b)의 값이 (-│a│, +│b│)인지를 살핀다(S44). (a, b)의 값이 (-│a│, +│b│)이면, 분면확인 모듈(16, 26)은 분면값으로 "1"을 할당하고(S44a) 분면값 계산 과정을 종료한다(S48). (a, b)의 값이 (-│a│, +│b│)이 아니면, 다음 단계로 진행하여, (a, b)의 값이 (+│a│, +│b│)인지를 살핀다(S45). (a, b)의 값이 (+│a│, +│b│)이면, 분면값으로 "2"를 할당하고(S45a) 분면값 계산 과정을 종료한다(S48). (a, b)의 값이 (+│a│, -│b│)인지를 살펴서(S46), (a, b)의 값이 (+│a│, -│b│)이면, 분면값으로 "3"를 할당하며(S46a), (a, b)의 값이 (+│a│, -│b│)가 아니면 다음 단계(S47)에서, (a, b)의 값이 (-│a│, -│b│)인지 살피고, (a, b)의 값이 (-│a│, -│b│)이면, 분면값으로 "4"를 할당하며(S47a) 분면값 계산 과정을 종료한다(S48). 여기서 분면값 "1"은 1사분면을, "2"는 2사분면을, "3"은 3사분면을 그리고 "4"는 4사분면을 나타낸다.

즉, 휴대폰의 이동 궤적이 "③-②-①-④-③"이 될 경우의 관성센서 출력값의 궤적은 "①-②-③-④-①"이 된다. 분면확인 모듈(16, 26)에서 연속적으로 할당된 분면값은 모션ID 생성 모듈(17, 27)로 입력되어, 사용자의 움직임에 대응하는 특정한 명령어로 등록되어서 모션ID(ID1)로 설정된다(도 3의 S34). 모션ID는 히스토리화된 분면값 "12341"을 그대로 사용할 수 도 있으며, 또는 이 값에 일정한 규칙성이 부여되어 변경된 값을 모션ID로 사용할 수 도 있다. 예를 들어, "12341"의 분면값을 2자리 오른쪽으로 이동시킨 값 "34123"을 휴대폰의 이동 궤적이 "③-②-①-④-③"이 되게 하는 사용자의 움직임에 대한 모션ID로 사용할 수 있다.

같은 방법으로, 동일한 위치에 있는 휴대폰을 시계방향으로 회전할 경우에는 도 5a의 점선에 나타난 바와 같이, 휴대폰의 이동 궤적은 "①-④-③-②-①"이 되며, 이에 대응하는 관성센서의 출력값의 분면은 "③-④-①-②-③"이 되고, 이렇게 히스토리화된 분면 정보는 모션ID 생성 모듈(17, 27)로 입력되어, 사용자의 움직임에 대응하는 모션ID(ID2)를 생성한다(도 3의 S34).

그리고 도면에는 도시되지 않았으나, 실선으로 표시된 원의 궤적에 있어서, 초기 위치가 "①"에서 휴대폰을 반시계방향으로 하여 원을 그리면, 휴대폰의 이동 궤적은 "①-④-③-②-①"이 되며, 도 4의 흐름도에 따라서 관성센서 출력값의 궤적은 "③-④-①-②-③"이 되어서, 모션ID 생성 모듈(17, 27)로 입력된다. 그런데, 상기 관성센서의 출력값의 분면 "③-④-①-②-③" 은 도 5a의 점선으로 표시된 원의 궤적을 따라 움직일 경우에 발생되는 분면값과 동일한 것이다. 즉, 휴대폰의 절대적인 위치가 다르더라도, 원을 그렸을 경우 가상의 2축 평면 상에 위치하는 휴대폰의 초기 위치의 사분면이 같을 경우에는, 동일하게 히스토리화된 분면값이 출력되므로, 동일한 모션ID(ID1)가 생성됨을 알 수 있다.

한편, 도 5a에서 알 수 있듯, 휴대폰이 4사분면 중 다른 분면에서 ⑤를 중심으로 원을 그리면, 히스토리화되는 분면값의 조합은 다르게 출력될 것이므로, 이는 전술한 ID1 및 ID2와는 다른 모션ID로 생성되게 됨을 알 수 있다.

다시 도 3으로 돌아가서, 모션ID 생성 모듈(17, 27)은 히스토리화된 분면값을 받아서, 히스토리화된 분면값에 대응하는 모션ID를 생성한다(S35). 이때 분면 값의 히스토리화 과정에서, 끝에서 소정의 몇 개의 분면값만을 취하여, 모션ID 생성에 사용하며, 일 예로서 연속적으로 출력된 값 중 마지막 5개의 분면값만을 모션ID 생성에 사용할 수 있다.

그리고 사용자의 동작에 의해 생성된 모션ID와 동일한 모션ID가 모션ID파일(19, 29)에 있는 지를 살핀다(S36). 검사 결과 생성된 모션ID가 모션ID파일(19, 29)에 있을 경우에는 측정 프레임이 완료되었는지를 살피고(S38), 완료된 경우 모션ID 생성과정을 종료하고(S39), 그렇치 않을 경우에는 측정 프레임이 완료될 때까지 분면값 계산 및 모션ID 생성 및 비교 과정을 반복한다. 한편, 생성된 모션ID가 모션ID파일(19, 29)에 포함되어 있지 않을 경우에는 모션ID파일(19, 29)에 없는 새로운 모션ID가 생성되는 것이므로, 이를 모션ID파일(19, 29)에 누적하고(S37), 단계 S38로 진행한다.

전술한 모션ID 생성과정에 있어서 주목할 점은, 데드 존을 벗어나는 움직임 에서, 사용자가 휴대폰을 빠른 속도로 움직이든, 느린 속도로 움직이든, 휴대폰이"③-②-①-④-③"궤적을 움직일 경우에는 관성센서 출력값의 궤적은 "①-②-③-④-①"이 되므로, 사용자의 휴대폰 이동 속도와 무관하게 동일한 모션ID가 생성된다는 점이다. 이는, 종래의 관성센서를 장착한 모바일 기기가 관성센서의 출력값 즉 가속도값을 그대로 이용함으로써 안게 되었던, 관성의 작용, 사용자의 습관 또는 움직임 속도에 기인한 지속적인 오차의 발생이 본 발명에서는 원천적으로 발생하지 않게 됨을 의미한다. 요약하면, 휴대폰을 움직이는 방향과 초기 위치(원을 그릴 경우의 분면의 위치)만 같다면 관성센서의 출력값의 궤적은 동일하게 되므로, 동일한 모션ID를 생성할 수 있게 된다. 따라서 사용자가 모션ID에 대응하는 동작에 관한 정보를 제공받고 데드 존을 벗어나서 해당하는 동작을 정확하게 구현하기만 하면, 모바일 기기는 동작 속도에 무관하게 동일한 동작에 대해서는 동일한 모션ID를 생성하게 되고, 이 모션ID는 모바일 기기의 동작 제어에 유효하게 사용될 수 있게 된다.

한편, 도 5b와 같이 휴대폰을 좌우로 기울일 경우에도 관성센서(14, 24)의 출력값의 변화가 있게 되며, 이 값도 분면확인 모듈(16, 26)로 입력된다. 휴대폰의 이동 궤적은 "①-②-①-②-①" 가 되고 이에 대응하여, 분면확인 모듈(16, 26)은 가속도출력값의 분면값으로 "②-①-②-①-②"를 출력하게 되고, 모션ID 생성 모듈(17, 27)은 히스토리화된 "21212"에 대응되는 모션ID를 생성하게 된다.

다음, 모바일 기기 내부의 모션ID파일(19, 29)에 소정의 모션ID가 생성되어 저장되어 있는 상태에서, 모바일 기기를 모션ID 인식 모드로 전환한 뒤, 소정의 모션ID에 매칭된 동작으로 모바일 기기를 움직이면, 도 6에 도시된 것과 같은 흐름도에 따라 이벤트가 발생하게 된다.

도 6을 참조하면, 먼저 모바일 기기를 움직이면 관성센서(14, 24)가 출력을 발생하게 되고(S52), 관성센서(14, 24)의 출력은 지속적으로 그 값을 판별할 수 있도록 기억장치(15)에 저장되고 (S53), 분면확인 모듈(16, 26)로 입력되어서, 관성 센서의 출력값에 따른 분면값을 추출해 낸다(S54). 분면값 추출 과정은 도 4에 도시되어 있다. 분면확인 모듈(16, 26)의 출력값은, 모션ID 생성 모듈(17, 27)로 입력되어서 소정의 모션ID를 생성한다. 생성된 모션ID는 모션ID 인식 모듈(18, 28)로 입력되고 모션ID 인식 모듈(18, 28)은 모션ID파일(19, 29)을 검색하여 생성된 모션ID와 일치하는 모션ID가 모션ID파일(19, 29)에 있는 지를 살핀다(S55). 생성된 모션ID가 모션ID파일(19, 29) 내에 포함되어 있다면, 모션ID에 대응하는 이벤트를 발생하여 모바일 기기의 구동 제어부(12)로 전송한다(S56). 본 발명의 동작 인식 장치가 휴대폰의 게임, 특히 사격 게임에 적용될 경우에, "이벤트"는 "총알 장전" 등을 나타낼 수 있으며, "총알 장전"을 나타내는 이벤트가 발생되면, 이러한 정보는 모바일 기기의 구동 제어부(12)로 전송되어서, 게임 프로그램에서의 "총알 장전"을 수행할 제어신호를 발생하여, 게임 프로그램의 동작을 제어하게 된다. 그리고 본 발명이 텔레비전 리모콘 등에 적용될 경우에 "이벤트"는 "채널 변경(채널 증가 또는 감소 포함)" 또는 "볼륨 조절(증가, 감소 포함)" 등을 포함할 수도 있다.

본 발명의 실시예에서는, 휴대폰을 들고 가상의 2축 평면 상에 하나의 원을 그리는 경우에 한해 설명하였으나, 원을 두 번 이상 그릴 때의 분면값의 변화를 인지하여, 이를 바탕으로 모션ID를 생성하여, 휴대폰의 명령체계로 사용하는 것은 사용자와 휴대폰 제조사의 의사에 따라 자유롭게 변경될 수 있음은 자명하다.

본 발명에 따르면, 관성센서를 이용한 휴대폰과 같은 모바일 기기에서, 사람의 동작에 따라 발생하는 관성센서의 출력값을 분면값으로 기호화하고, 기호화된 데이터를 기초로하여, 휴대폰의 기능을 제어할 특정한 명령어로 작용할 모션ID로 등록하였다. 따라서 휴대폰 사용자가 고의적으로 일정한 수순을 가지는 행위를 했을 때, 그에 해당하는 모션ID를 발생시켜, 휴대폰이 모션ID(즉, 사용자의 동작)에 대응하는 명령을 수행하도록 하였다. 즉, 본 발명은, 관성센서를 이용한 휴대폰에서 사람의 동작을 인식하는 수단으로, 사용자의 실제 동작을 기호화 하고, 그 기호를 휴대폰에 명령어로 체계화하였다. 예를 들면, 휴대폰을 들고 있는 손을 허공에 한 번 흔드는 동작을 '전화 받기'로 기억하도록 하여, 전화가 올 때, 휴대폰을 들고 있는 손을 한 번 흔들면, 전화 받기가 가능하도록 하는 것이다. 이와 같은 예는 단순한 예에 불과 하며, 사용자의 편의에 따라, 다양한 명령을 수행할 수 있다.

따라서 본 발명은, 관성센서가 지닌 관성의 특성 때문에 구현하기 어려웠던, 사람의 동일 동작의 여부를 판단하고 그에 대응하여 모바일 기기의 동작을 제어 할 수 있게 되어서, 관성센서를 이용한 모바일 기기의 동작인식장치에 있어서 별도의 큰 사이즈의 보정 모듈 없이도 사람의 동작을 인식하고 이를 휴대폰의 명령어로 체계화할 수 있게 되었다.

또한, 본 발명을 통하여, 다음과 같은 구체적인 사회적 경제적 효과를 얻을 수 있다. 첫째, 숫자와 글에 대한 기억력이 감퇴하는 노년층 그리고, 맹인 사용자들에게 편리한 사용 도구가 될 수 있다. 둘째, 무선인터넷이 가능한 휴대폰은 보편화되어 있으며, 휴대폰에 리모콘 기능을 포함하는 경우가 있는가 하면, 유선 인터넷과 네트워크로 사용이 가능하도록 하는 기술들이 보편화 되고 있는데, 이들의 경우에서 본 발명에 따른 동작 인식 방법이 유선 인터넷과 TV등의 새로운 조작 방법으로 사용될 수 있다. 즉, 본 발명이 적용된 휴대폰을 들고 허공에 하나의 기호로서 원을 그릴 경우, TV의 소리가 커진다던가, 채널이 바뀐다던가 하는 방식으로 생활의 편의를 제공할 수 있다. 세째, 홈 네트워크 시스템에서, 집 주인이 기억해 둔 동작 기호에 의해, 집 안의 전자기기들이 조작될 수 도 있다.

Claims

모바일 기기에 장착되어서, 상기 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 관성센서;

상기 관성센서의 출력을 지속적으로 저장하는 기억장치;

상기 기억장치에 저장된 관성센서의 출력을 지속적으로 공급받아서, 관성센서의 출력값을, 소정의 2축 평면에 표시하여 출력값이 점유하는 분면을 지속적으로 추출해내는 분면확인 모듈;

상기 분면확인 모듈의 출력을 일정 범위에서 히스토리화하여 사용자의 동작에 대응하는 모션ID(IDentification)를 생성하는 모션ID 생성 모듈;

상기 사용자의 동작, 상기 모션ID 및 상기 사용자의 동작에 따라 상기 모바일 기기의 동작 제어를 지시할 이벤트가 매칭되어 있는 모션ID파일; 및

상기 모션ID파일에, 상기 모션ID 생성 모듈로부터 제공되는 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 상기 모바일 기기의 동작을 제어하는 동작 제어부로 전송하는 모션ID 인식 모듈을 포함하는 것인, 상기 모바일 기기의 동작을 제어하는 모바일 기기의 동작 인식 장치.
제 1 항에 있어서, 상기 관성센서는 X-Y축 가속도센서이며, 상기 분면확인 모듈은 상기 사용자의 동작에 따른 상기 X-Y축 가속도센서의 출력값 (a, b)의 형태를 (+|a|, +|b|), (+|a|, -|b|), (-|a|, +|b|) 및 (-|a|, -|b|)의 4경우로 구분하고(여기서, a, b는 상기 2축 평면 상에 표시되는 상기 X-Y축 가속도센서의 출력값을 의미한다.) 각 경우에 대해 서로 다른 분면값을 부여하며, 상기 사용자의 동작이 동작 인식을 위한 것인지 구분하기 곤란할 정도로 상기 (a, b)의 출력이 미세한 범위의 (±│a│, ±│b│)에 대해서는 데드 존을 나타내는 분면값을 부여하는 것인, 모바일 기기의 동작 인식 장치.
제 1 항에 있어서, 상기 사용자의 동작이 임의의 2축 평면에 원을 그리는 것일 경우, 상기 모션ID 생성 모듈은, 상기 모바일 기기가 점유하는 상기 임의의 2축 평면 상의 분면의 위치 및 상기 원의 회전 방향에 의해 결정되는 모션ID를 생성하는 것인 모바일 기기의 동작 인식 장치.
모바일 기기에 장착된 관성센서를 이용하여, 상기 모바일 기기 사용자의 동작에 따른 가속도를 출력하는 단계;

상기 관성센서의 출력을 지속적으로 저장하는 단계;

상기 기억장치에 저장된 관성센서의 출력을 지속적으로 공급받아서, 관성센서의 출력값을, 소정의 2축 평면에 표시하여 출력값이 점유하는 분면을 지속적으로 추출해내는 단계;

상기 분면확인 모듈의 출력을 일정 범위에서 히스토리화하여, 사용자의 동작에 대응하는 모션ID(IDentification)를 생성하는 단계;

상기 사용자의 동작, 상기 모션ID 및 상기 사용자의 동작에 따라 상기 모바일 기기의 동작 제어를 지시할 이벤트가 매칭되어 있는 모션ID파일을 검색하여, 상기 모션ID파일에 상기 생성된 모션ID와 일치하는 모션ID가 존재할 경우, 모션ID에 대응하는 소정의 이벤트를 발생하여, 상기 모바일 기기의 동작을 제어하는 동작 제어부로 전송하는 단계; 및

상기 모바일 기기의 동작 제어부가 상기 이벤트에 대응하는 제어신호를 발생하여 상기 모바일 기기의 동작을 제어하는 단계를 포함하는 모바일 기기의 동작 인식 방법.