KR101112763B1 - 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법 및 시스템 - Google Patents

Abstract

근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법 및 시스템이 제공된다. 본 발명에 의한 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법은 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법은 클릭 동작이 수행되는 경우 측정되는 각 채널 별 근전도 신호를 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값으로 변환하고, 상기 클릭 동작 별로 트레이닝을 반복하여 상기 정보 엔트로피 값을 축적하며, 상기 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램을 이용해 상기 정보 엔트로피 값의 평균 및 분산을 산출함으로써, 정규 분포의 각 클릭 동작 별 확률 모델을 생성하는 트레이닝 단계; 사용자가 클릭 동작을 수행하는 경우 발생하는 근전도 신호의 상기 정보 엔트로피 값을 각 채널 별로 산출하고, 상기 정보 엔트로피 값을 상기 확률 모델에 대입하여 각 채널에서의 확률 밀도 함수 값이 가장 큰 동작을 상기 수행된 클릭 동작으로 판정하며, 상기 동작에 대응하는 클릭 신호를 포함하는 마우스 인터페이스 신호를 연산 장치에 제공하는 동작 판정 단계; 및 사용자의 팔 움직임이 발생한 경우 관성 센서에 의해 측정된 관성 신호를 바탕으로 한 이동 신호를 포함하는 마우스 인터페이스 신호를 연산 장치에 제공하는 포인터 이동 판정 단계를 포함할 수 있다.

손 마우스, 동작 감지, G 센서, 자이로 센서, 동글

Description

근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법 및 시스템{System and method for mouse interface using electromyogram sensor and inertial sensor}

본 발명은 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법 및 시스템에 관한 것이다. 더욱더 자세하게는, 마우스 사용자가 근전도 센서 및 관성 센서가 구비된 마우스 인터페이스 착용 밴드를 팔에 착용하고 커서를 움직이기 원하는 방향으로 팔을 움직이거나, 클릭하고자 하는 지점에서 손가락을 움직이는 경우, 상기 근전도 센서 및 관성 센서가 팔의 이동 및 손가락의 동작을 인식하여 마우스 인터페이스 신호를 생성함으로써, 커서를 조작하는 마우스 인터페이스 방법 및 시스템에 관한 것이다.

마우스(mouse)는 컴퓨터 화면 위에서 커서 또는 아이콘 등을 이동시킬 때 사용하는 입력장치의 하나이다. 클릭(click)이나 드래그(drag), 더블클릭(double click) 등의 동작이 가능하며, 버튼의 종류에 따라 1～3버튼 식, 접속방법에 따라 시리얼과 PS/2?USB식, 동작방법에 따라 기계식(또는 볼 식)?광학식?광학기계식으로 나뉜다.

컴퓨터 시스템의 사용자 인터페이스 방식의 주된 흐름이 커맨드 입력 방식 위주에서 그래픽 사용자 인터페이스(Graphic User Interface; GUI) 방식 위주로 발전하면서, 입력 장치로서의 마우스의 역할은 보다 중요해지고 있다.

그러나, 마우스를 장시간 사용함에 따른 문제점도 생기고 있다. 대표적인 것이 손목에 관련된 근육에 지속적인 긴장이 가해지고, 그에 따라 손목에 각종 질환이 생길 수 있다. 또한, 마우스가 편리한 장비이긴 하나, 평평한 바닥 위에서 동작해야 하는 특성 상 장소의 제약이 많은 편이다.

따라서, 장소의 제약이 없고, 손목에 무리가 가는 동작을 지속적으로 하지 않아도 되는 마우스 인터페이스 방법 및 시스템의 제공이 요청되고 있다.

본 발명이 해결하고자 하는 기술적 과제는 표면 근전도 신호 센서 및 관성 센서를 이용하여 사용자의 클릭 관련 동작 및 커서 이동 동작을 파악한 후, 마우스 인터페이스 신호로 변환하여 연산 장치에 제공하는 마우스 인터페이스 방법 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 마우스 인터페이스 착용밴드를 착용한 상태에서 간단한 동작을 수행하는 것 만으로 마우스 조작 기능의 ON/OFF를 변경할 수 있도록 하는 마우스 인터페이스 착용밴드를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법은 클릭 동작이 수행되는 경우 측정되는 각 채널 별 근전도 신호를 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값으로 변환하고, 상기 클릭 동작 별로 트레이닝을 반복하여 상기 정보 엔트로피 값을 축적하며, 상기 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램을 이용해 상기 정보 엔트로피 값의 평균 및 분산을 산출함으로써, 정규 분포의 각 클릭 동작 별 확률 모델을 생성하는 트레이닝 단계; 사용자가 클릭 동작 을 수행하는 경우 발생하는 근전도 신호의 상기 정보 엔트로피 값을 각 채널 별로 산출하고, 상기 정보 엔트로피 값을 상기 확률 모델에 대입하여 각 채널에서의 확률 밀도 함수 값이 가장 큰 동작을 상기 수행된 클릭 동작으로 판정하는 동작 판정 단계; 사용자의 팔 움직임이 발생한 경우 관성 센서에 의해 측정된 관성 신호를 바탕으로 한 이동 신호를 생성하는 이동 판정 단계; 및 상기 클릭 동작 및 상기 이동 신호를 바탕으로 마우스 인터페이스 신호를 생성하여 연산 장치에 제공하는 단계를 포함할 수 있다. 이때, 상기 마우스 인터페이스 신호는 범용 마우스 인터페이스에 기반한 것일 수 있다. 예를 들어, 왼쪽 클릭 동작으로 지정 된 동작이 수행 된 것으로 판별 된 경우, 범용 마우스에서 왼쪽 클릭이 일어 났을 때와 똑 같은 마우스 인터페이스 신호가 상기 연산 장치에 제공 될 수 있다.

상기 근전도 신호는, 특히 표면 근전도 신호(Surface EMG)를 의미하는 것일 수 있다.

상기 트레이닝 및 상기 판정은 상기 마우스 인터페이스 신호를 상기 연산 장치에 제공할지 여부를 결정하는 온오프 동작에 대하여 더 수행될 수 있다. 즉, 본 발명에 따른 마우스 인터페이스 방법은, 오프 상태인 경우, 온오프 동작이 수행되는지 여부만 모니터링 하는 대기 단계를 더 포함할 수 있다.

상기 동작 판정 단계는 각 채널에서의 확률 밀도 함수 값의 곱이 가장 크게 하는 k(1≤k≤판별 대상 동작의 수)를 사용자가 취한 동작의 식별 번호로 판별하는 단계를 포함할 수 있다. 즉, 상기 동작 판정 단계는 ML(Maximum likelihood) 추정법을 이용하는 단계일 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템은 사용자의 클릭 동작 시 발생하는 근전도 신호를 측정하는 표면 근전도 센서 및 사용자의 움직임 시 발생하는 관성 신호를 측정하는 관성 센서를 구비한 마우스 인터페이스 착용밴드; 및 상기 마우스 인터페이스 착용밴드로부터 수신 된 신호로부터 범용 마우스 인터페이스에 기반한 마우스 인터페이스 신호를 생성하여 상기 연산 장치에 제공 하는 동글을 포함한다.

이때, 상기 동글은 클릭 동작이 수행되는 경우 측정되는 각 채널 별 근전도 신호를 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값으로 변환하는 정보 엔트로피 생성 모듈; 상기 클릭 동작 별로 트레이닝을 반복하여 상기 정보 엔트로피 값을 축적하며, 상기 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램을 이용하여 상기 정보 엔트로피 값의 평균 및 분산을 산출함으로써, 정규 분포의 각 동작 별 확률 모델을 생성하는 확률 모델 업데이트 모듈; 동작 수행 시 발생한 근전도 신호의 상기 정보 엔트로피 값을 각 채널 별로 산출하고, 상기 정보 엔트로피 값을 상기 확률 모델에 대입하여 각 채널에서의 확률 밀도 함수 값이 가장 큰 동작을 상기 수행된 클릭 동작으로 판정하며, 상기 클릭 동작에 대응하는 클릭 신호를 포함하는 마우스 인터페이스 신호를 게임 연산 장치에 제공하는 동작 판별 모듈; 및 움직임이 발생한 경우 관성 센서에 의해 측정된 관성 신호를 바탕으로 한 이동 신호를 포함하는 마우스 인터페이스 신호를 상기 연산 장치에 제공하는 관성 신호 처리 모듈을 포함한다.

상기 트레이닝 및 상기 판정은 상기 마우스 인터페이스 신호를 상기 연산 장치에 제공할지 여부를 결정하는 온오프 동작에 대하여 더 수행될 수 있다.

이때, 상기 동글은 상기 확률 모델 업데이트 모듈에 의해 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램 데이터 및 상기 확률 모델 업데이트 모듈에 의해 생성된 각 채널 및 동작 별 정보 엔트로피 값의 평균 및 분산의 순서쌍 형태로 구성 되는 확률 모델 데이터를 저장하는 확률 모델 저장부를 더 포함할 수 있다. 이때, 상기 확률 모델 업데이트 모듈은, 상기 확률 모델 저장부에 저장된 상기 히스토그램 데이터에 트레이닝 결과 생성된 각 채널 및 동작 별 정보 엔트로피 값을 추가하여 업데이트 된 히스토그램 데이터를 기반으로 상기 확률 모델 데이터를 업데이트할 수 있다. 즉, 상기 확률 모델 데이터는 일회성 데이터가 아니고, 트레이닝이 진행 될수록 계속 축적되어 가는 상기 히스토그램 데이터를 기반으로 보다 정교해지는 데이터일 수 있다. 상기 히스토그램 데이터를 초기화 하고, 처음부터 다시 축적하고, 그를 바탕으로 상기 확률 모델 데이터를 재 생성할 수 있음은 물론이다.

상기와 같은 본 발명에 따르면, 사용자가 본 발명에 따른 마우스 인터페이스 착용밴드를 팔목 등 관련된 부위에 착용하고, 손으로 마우스 조작 동작을 수행하는 것 만으로 마우스 조작을 할 수 있는 효과가 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법 및 시스템을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그 램 가능한 데이터 프로세싱 장비 상에 탑재 되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이하, 본 발명의 일 실시예에 따른 표면 근전도 센서 및 관성 센서를 이용한 게임 인터페이스 방법에 대하여 도 1을 참조하여 설명하기로 한다. 도 1은 본 실시예의 동작을 나타낸 순서도이다.

본 실시예에 따른 게임 인터페이스 방법은 트레이닝 모드 및 마우스 동작 모드 중 하나의 모드를 선택함에 따라 서로 다른 동작을 수행 할 수 있다(S100). 트레이닝 모드에서는 클릭 동작을 판별하기 위한 기초 데이터를 축적하는 일련의 동작이 수행되고, 마우스 동작 모드는 상기 축적된 기초 데이터와 측정된 근전도 신호 데이터를 비교하여 클릭 동작을 판별하여 클릭 신호를 생성하고 본 발명에 따른 마우스 인터페이스 착용밴드를 착용한 사용자의 움직임에 따라 측정된 관성 신호를 이용하여 이동 신호를 생성한 후, 상기 클릭 신호와 상기 이동 신호를 포함하는 마우스 인터페이스 신호를 연산 장치에 제공하는 일련의 동작이 수행된다.

상기 연산 장치는 개인용 컴퓨터, 노트북 등 마우스 인터페이스 신호를 제공 받아 사용자의 입력을 처리하는 모든 형태의 전자계산장치를 의미할 수 있다. 상기 연산 장치는 특히 GUI 형태의 사용자 인터페이스를 지원하는 운영 체제가 설치된 것일 수 있다.

상기 마우스 인터페이스 신호는 PS/2(Personal System/2), USB(Universal Serial Bus), 블루투스(Bluetooth) 형식의 범용 마우스에서 상기 연산 장치에 제공하는 형식과 동일하거나, 그에 호환되는 형식일 수 있다.

먼저, 트레이닝 모드에 따른 일련의 동작에 대하여 설명하기로 한다.

사용자에 부착된 근전도 센서로부터, 사용자가 수행한 동작에 따른 근전도 신호가 측정된다(S101). 상기 동작은 근전도 신호가 발생할 수 있는 부위에서 이루어지는 것이면 그 제한이 없다.

상기 사용자가 수행한 동작은, 예를 들어, 손가락의 움직임일 수 있다. 도 2는 판별하고자 하는 손가락 동작의 정의가 도시된 것이다. 도 2에 도시된 바와 같이, 손가락 동작을 8가지로 나누어 판별하고자 하는 경우, 상기 사용자는 하나의 동작을 정해진 횟수만큼 반복하여 수행하거나, 각각의 동작을 번갈아 가면서 정해진 횟수만큼 반복하여 수행할 수 있다. 도 2에 도시된 것은, 예를 들어 게임 연산 장치에 제공 될 동작 수행 신호가 8가지로 정해진 경우, 각각의 동작 수행 신호에 대응하는 동작을 도시한 것으로도 이해될 수 있을 것이다.

상기 사용자가 수행한 동작은 클릭과 관련된 동작일 수도 있다. 예를 들어, 왼쪽 버튼의 클릭은 검지 손가락을 구부렸다 펴는 동작과 대응할 수 있고, 오른쪽 버튼의 클릭은 약지 손가락을 구부렸다 펴는 동작과 대응할 수 있으며, 왼쪽 버튼의 더블클릭은 검지 손가락을 두번 구부렸다 펴는 동작과 대응할 수 있고, 드래그 동작을 위한 왼쪽 버튼을 누르는 동작은 검지 손가락을 구부린 상태로 유지하는 동작과 대응할 수 있다.

상기 사용자가 수행한 동작은 마우스 버튼의 클릭 이외의 명령어와 대응하는 동작일 수도 있다. 예를 들어, '복사', '붙여넣기', '잘라내기', '뒤로', '앞으로'와 같은 명령어와 대응하는 동작일 수 있다.

이하, 사용자가 수행한 동작을 '클릭 동작'이라 지칭하기로 한다. 다만, 상기 설명한 바와 같이, 사용자가 수행한 동작은 마우스 버튼의 클릭 동작 이외의 동작일 수도 있으므로, 상기 '클릭 동작'이라는 용어는 실제로 마우스 버튼 클릭에 대응되는 동작 뿐만 아니라, 특정 명령어에 대응되도록 트레이닝을 거친 모든 동작을 의미하는 것으로 해석되어야 할 것이다.

상기 사용자가 수행한 동작은 동작과 움직임이 동시에 발생하는 경우에 대응되는 특정 명령어의 실행을 위한 것일 수도 있다. 예를 들어, 손가락을 모두 편 상태에서 손등을 몸쪽으로 향하게 손목을 구부리는 동작(근전도 신호에 의해 감지) 및 팔꿈치를 펴서 손을 몸과 반대 방향으로 펴는 움직임(관성 신호에 의해 이동 감지)이 조합되는 경우 화면 축소의 명령어를 의미할 수 있다.

상기 사용자가 수행한 동작은 마우스 조작을 ON/OFF 하는 동작일 수도 있다. 이하, 상기 마우스 조작을 ON/OFF 하는 동작을 '온오프 동작'으로 지칭하기로 한다. 마우스 조작이 OFF인 상태에서는 본 발명에 따른 마우스 인터페이스 착용밴드는 마우스 인터페이스 신호를 연산장치에 송신하지 않고, 동작 판별 기능만 동작한다. 반면에, 마우스 인터페이스 착용밴드를 착용한 사용자가 온오프 동작을 수행하고, 그 결과 마우스 조작이 ON인 상태로 전환되면, 상기 마우스 인터페이스 신호가 연산장치에 송신될 수 있다. 상기 마우스 인터페이스 신호가 어떤 동작을 거쳐 생성되는지는 추후 설명하기로 한다.

상기 온오프 동작은 상기 클릭과 관련된 동작과 상이한 동작이어야 한다. 상기 온오프 동작은 예를 들어, 엄지 손가락을 구부렸다 펴는 동작이거나, 주먹을 쥐었다 펴는 동작일 수 있다. 즉, 사용자는 마우스 인터페이스 착용밴드를 착용한 상태로 일상생활을 하다가, 마우스를 사용 시, 상기 온오프 동작을 취하여 마우스 조작을 ON 한 다음, 상기 마우스 인터페이스 착용밴드를 착용한 신체 부위를 움직여 마우스 조작을 할 수 있다.

도 3은 트레이닝 모드에 따른 동작 수행이 어떤 환경에서 어떠한 방식으로 이뤄질 수 있는지 도시한 것이다. 도 3에 도시된 바와 같이, 동작 수행 및 수행이 일정한 시간 간격으로 수행 될 수 있다.

상기 근전도 센서는 판별하고자 하는 동작과 관련된 근육의 주변 부위에 부착하면 된다. 예를 들어, 손가락의 움직임을 판별하고자 하는 경우, 손목에 부착될 수 있을 것이다. 종래에는 판별하고자 하는 동작과 관련된 근육의 정확한 위치에 센서를 부착해야 했으나, 본 실시예에 따른 동작 판별 방법에서는 동작이 수행되는 경우, 근육의 움직임에 의한 근전도 신호가 측정 되는 부위에만 센서를 부착하면 된다. 각각의 동작이 발생하는 경우, 자극을 받아 수축이 일어나는 근육은 정해져 있고, 종래 기술의 경우, 각각의 근육이 수축되는지 여부를 판정하기 위한 용도로 센서를 부착했으나, 본 실시예에 따른 마우스 인터페이스 방법에서는 트레이닝 과정을 통해 각각의 센서가 하나 이상의 근육으로부터 발생한 근전도 신호를 측정하여, 각각의 채널 별 근전도 신호의 통계학적 패턴을 모델링 하는 방식으로 동작한다. 따라서, 센서의 부착 위치가 조금씩 달라지더라도, 트레이닝 과정을 통해, 그 위치에 따른 통계학적 신호 패턴을 모델링하고, 그 모델에 기반하여 동작의 종류를 판별할 수 있으므로, 센서 부착 위치에 크게 제약을 받지 않는 효과가 있다.

도 4는 손가락의 움직임을 판별하는 경우, 4개의 채널로 구성된 근전도 센서를 손목에 부착한 모습을 도시한 것이다. 채널의 수는 제한이 없다. 다만, 채널의 수가 적으면 기초 데이터가 부족하여 인식 성공률이 떨어질 수 있으므로, 일반적으로 판별하고자 하는 동작의 수가 많아질수록 채널의 수 역시 증가 시키는 것이 바람직하다.

도 5는 손가락의 움직임을 판별하는 경우, 4개의 채널로 구성된 근전도 센서를 암밴드에 고정시켜, 암밴드를 착용하는 것 만으로 센서 부착의 효과를 얻을 수 있는 형태의 센서 부착 방식을 도시한 것이다. 센서 부착 위치가 다른 부위라도, 센서를 밴드 등의 고정 수단을 이용하여 부착시킬 수 있을 것이다. 본 발명에 따른 마우스 인터페이스 착용밴드는 근전도 센서뿐 만 아니라, 관성 센서도 함께 고정 시킨 밴드 형태의 고정 수단을 이용하여 구성될 수 있다. 또한, 상기 근전도 센서 및 관성 센서에 의해 생성된 신호는 유선뿐만 아니라 무선 통신 방식을 이용하여 상기 신호의 분석 장치에 송신 될 수도 있다.

다음으로, 측정된 근전도 신호로부터 정보 엔트로피(Information Entropy, Shannon Entropy)를 생성한다(S102). 정보 엔트로피는 클로드 섀넌(Claude Elwood Shannon)이 제안한 개념으로 신호나 사건에 있는 정보의 양을 엔트로피의 개념을 빌려 설명한 것이다. 사건 x의 엔트로피는 x의 모든 가능한 결과값 i에 대해 i의 발생확률 값인 p(i)와 그 확률의 역수의 로그 값의 곱의 합이 된다. 이하, 근전도 신호에 대한 정보 엔트로피를 생성하는 과정을 도 6 및 도 7을 참조하여 보다 자세하게 설명하도록 한다. 이하, 설명의 편의를 위해 도 2에 도시된 8가지의 손가락 동작을 판정하기 위해, 도 4에 도시된 바와 같이 4개의 채널로부터 근전도 신호를 수신하는 경우를 예로 들어 설명하기로 한다. 또한, 도 2에 도시된 8가지의 손가락 동작을 각각 F₁ 내지 F₈로 표시하기로 한다. 또한, F_K 동작 시 c 번째 채널에서 취득된 원신호를 r_c ^k[n]으로 표시 하기로 한다.

상기 수신된 원 신호에는 전력선의 잡음(noise)를 제거하기 위해 60Hz 및 120Hz의 대역 제한 필터가 사용될 수 있다. 또한, 신호의 전처리 과정으로 도 6에 도시된 바와 같이, 원신호 r_c ^k[n]에 절대치를 취한 x_c ^k[n]을 사용할 수 있다.

생성된 x_c ^k[n]의 일 예가 도 7에 도시되어 있다. x_c ^k[n]에 대한 정보 엔트로피 값 H(X)가 이 표 1에 표시된 수식에 의해 생성된다.

각각의 근전도 센서로부터 취득 가능한 근전도 신호의 범위는 0≤x_c ^k[n]≤x_max로, 상기 x_max 값은 근전도 센서의 신호 수신 장치에서 설정될 수 있다. 저장 구간 I_m(1≤m≤M)은 상기 취득 가능한 근전도 신호의 범위를 M개의 구간으로 균등하게 나눈 것이다.

P(I_m)은 미리 정의된 구간 I_m에서 x[n]이 발견될 확률을 의미한다. 도 7에 도시된 예시에 의하면 I₁에서는 근전도 신호가 거의 모든 시간 샘플에 대해 관찰되고 있으므로 p(I₁)의 값이 가장 높을 것이다.

즉, 상기 정보 엔트로피 값은 상기 측정된 근전도 신호에 절대 값을 취한 신호에 대하여, 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값인 것으로 이해 될 수 있을 것이다.

표 1에는 지수를 2로 하는 로그(log)를 이용하여 엔트로피 H(X)를 계산하고 있으나, 지수는 1보다 큰 실수 중 어느 하나를 사용할 수 있음을 유의해야 한다.

x_c ^k[n]에 대한 정보 엔트로피 값 H(X)의 생성을 각 채널 c, 각 동작 F_k에 대하여 미리 정해진 횟수만큼 반복(S106)함으로써 데이터를 축적(S104)하여, 축적된 데이터에 의해 확률 모델을 업데이트 한다(S108).

상기 확률 모델은 도 8에 도시된 것과 같은 각 동작의 채널 별 엔트로피 히스토그램 데이터를 가우시안 분포를 이용하여 확률 밀도 함수로 변환함으로써 생성된다.

도 8에 도시된 엔트로피 히스토그램 데이터가 가우시안 분포와 유사한 형상을 가지는 점에 착안하여, 동작 k, 채널 c의 엔트로피 값인 t_c ^k의 평균 값 μ 및 분산 σ²을 이용하여 확률 밀도 함수(p.d.f.)를 표 2와 같이 생성할 수 있다.

동작 F₅에 대한 각각의 엔트로피 값의 확률 밀도 함수 모델 생성 결과가 도 9에 도시되어 있다.

트레이닝이 반복되고, 엔트로피 값의 히스토그램 데이터가 축적됨에 따라, 확률 모델 데이터(109)는 지속적으로 업데이트 된다(S108). 확률 모델 데이터(109)가 업데이트 될수록, 클릭 동작의 판별 성공률은 개선될 수 있다. 확률 모델 데이터(109)는 각각의 판별 대상 동작에 대해 채널 별 엔트로피 값의 평균(μ) 및 분산(σ²)을 포함할 수 있다.

본 실시예에 따른 마우스 인터페이스 방법에 따른 확률 모델 데이터(109)에는 적어도 하나 이상의 클릭 동작 및 상기 온오프 동작에 대한 상기 평균 및 분산 데이터가 포함될 수 있다.

다음으로, 마우스 동작 모드에 따른 일련의 동작에 대하여 설명하기로 한다. 상기 마우스 동작 모드는 실제 마우스 조작을 진행 할 때, 사용자의 의사에 따른 마우스 인터페이스 신호를 연산 장치에 제공하는 모드를 의미하는 것으로 해석 될 수 있다.

사용자는 본 발명에 따른 마우스 인터페이스 착용밴드를 착용한 신체부위를 이용해 특정 클릭 동작을 취하거나, 상기 신체부위를 움직이는 행위를 함으로써 마우스를 조작 하는 것과 동일한 효과를 얻을 수 있다. 상기 클릭 동작은 트레이닝 모드를 통해 미리 특정 클릭 동작에 해당하는 행위로 지정된 것으로, 반복된 트레이닝을 통해 해당 동작에 대한 확률 모델 데이터(109)가 생성된 것이어야 함은 물론이다.

상기 설명한 바와 같이, 상기 마우스 인터페이스 신호는 마우스 이동 시 발생하는 신호와 동일한 이동 신호 및 마우스 클릭 시 발생하는 신호와 동일한 클릭 신호로 구성될 수 있다.

이하, 사용자가 특정 클릭 동작을 취한 경우, 본 발명에 따른 마우스 인터페이스 착용밴드에 구비된 근전도 센서를 통해 상기 클릭 동작을 판별하고, 판별 된 클릭 동작에 대응하는 클릭 신호를 게임 연산 장치에 송신하는 동작을 설명하기로 한다.

사용자가 동작을 수행하고, 그에 따른 근전도 신호가 입력 되면(S110), 각 채널 별 정보 엔트로피 값을 생성한다(S112). 상기 정보 엔트로피 값의 생성은 트레이닝 모드에서 설명한 것과 동일한 방식으로 이뤄질 수 있다. 상기 예시한 바 있는 4개의 채널을 이용하여 8가지의 손가락 동작을 판별하는 경우, 8가지 중의 한가지의 손가락 동작이 이뤄졌다면 각 채널 별로 4개의 정보 엔트로피 값이 생성될 것이다.

상기 생성된 정보 엔트로피 값에 확률 적으로 가장 유사한 확률 모델 데이터(109)를 Maximum Likelihood 방식으로 추정한다(S114). Maximum Likelihood 추정법은 모집단의 확률밀도함수(likelihood 함수)를 극대화하는 인수(parameter)를 찾아내는 방법으로, 본 실시예에 따르면, 상기 확률밀도함수는 각 동작 별 확률 모델 데이터이고, 상기 인수는 동작을 식별하는 k 값일 수 있다. 동작 k에 대한 각 채널 별 확률 밀도 함수가 가장 큰 값을 가지는 k를 얻어내는 것으로 이해 될 수 있다. 또한, 상기 얻어진 k가 확률적으로 사용자가 취했을 가능성이 가장 높은 동작임이 이해될 수 있을 것이다.

Maximum Likelihood 방식의 동작 추정은 다음 동작에 의해 이뤄질 수 있다. 이하, 각 채널에서의 확률밀도함수는 통계적으로 독립(statistical independent)되어 있다고 가정한다.

각 동작 k별로 표 3에 도시된 L(k) 값을 구한다.

상기 't_c ^k|F_k'는 사용자의 동작에 의해 채널 c를 통해 측정된 근전도 신호의 정보 엔트로피 값으로 해석될 수 있을 것이다. 즉, 상기 L(k)함수는, 생성된 엔트로피 값을 상기 확률 밀도 함수에 대입하여 산출된 값을 각 채널 별로 곱한 값으로 해석될 수 있을 것이다.

만약 특정 채널에 대한 확률 밀도 함수에 해당 채널에 대한 엔트로피 값을 입력한 결과, 0이 나왔다면, 그 채널의 근전도 신호는 해당 동작에 대한 것일 확률이 거의 0이라는 말이 된다. 상기 L(k) 값은 각 채널의 확률 밀도 함수 값을 곱한 것이므로, 하나의 채널에서라도 확률 밀도 함수 값이 0이 나오면 해당 동작의 L(k) 값은 0이 됨을 이해할 수 있을 것이다.

L(k) 값을 판별하고자 하는 모든 동작의 k 값에 대하여 구한다. 예를 들어, 8가지의 손가락 동작을 판별하는 경우 L(1), L(2), L(3), L(4), L(5), L(6), L(7), L(8) 값을 구해야 한다. 상기 L(1) 내지 L(8)을 가장 크게 하는 k 값이 판별된 동작의 번호가 된다(S116). 즉, 상기 L(1) 내지 L(8)을 가장 크게 하는 k 값은 미리 지정된 클릭 종류인 것으로 해석 될 수 있으므로, 상기 k 값은 사용자가 어떤 클릭을 했는지 의미 하는 값으로 이해 될 수 있을 것이다.

도 10을 참조하여, 동작을 판별하는 동작을 설명하기로 한다. 도 10은 8개의 동작(F₁ 내지 F₈)에 대하여 4개의 채널(Ch. 1 내지 Ch. 4)에서 측정된 엔트로피 값의 확률 밀도 함수 값의 그래프이다.

각 채널에 대하여 세로 방향으로 그려진 직선이 사용자의 클릭 동작에 의해 각 채널별로 측정된 엔트로피 값이다. 즉, 상기 세로 방향의 직선이 각 그래프와 교차하는 지점의 y축 값이 각 채널 및 동작에 대한 확률 밀도 함수 값이다. 이미 설명한 바와 같이, 특정 클릭 동작 k에 대하여 하나의 채널이라도 상기 확률 밀도 함수 값이 0이라면, 사용자의 클릭 동작이 동작 k일 확률은 0에 가깝다. 도 10에 도시된 바에 의하면 Ch. 1 신호의 경우, F1, F2, F3, F5의 값이 0이므로, F1, F2, F3, F5일 확률은 거의 없다는 것을 알 수 있다. 또한, F6, F7, F8의 값 또한 Ch. 3 신호의 확률 밀도 함수가 0이므로 해당 동작일 확률은 거의 없다. 결국, 각 채널의 확률 밀도 함수의 곱이 가장 큰 F4가 사용자의 클릭 동작이라고 판별할 수 있을 것이다.

곱셈은 상기 설명한 바와 같이 하나의 채널에 대한 확률 밀도 함수 값이라도 0이라면 다른 채널의 확률 밀도 함수 값이 아무리 높더라도 무조건 전체 L(k) 값을 0으로 만드는 효과가 있다. 따라서, 각 채널의 확률 모델 함수 값을 각각 더한 값이 가장 큰 k 값을 사용자가 취한 클릭 동작의 동작 번호로 판별할 수도 있다. 또한, 상기 L(k) 함수에 로그를 취한 log(L(k)) 값을 최대로 만드는 k를 구하는 것으로 사용자의 클릭 동작을 판별할 수도 있다. 이는, 곱셈에 로그를 취하면 덧셈으로 변환되는 수학적 지식을 활용한 것이다. 도 10에 도시 된 예시에 대하여, 상기 로그를 취한 L(k)를 이용한 식은 표 4에 표시되어 있다.

구하고자 하는 클릭 동작의 식별 번호 k는 log(L(k)) 값의 합을 최대로 만드는 값으로 이해될 수 있을 것이다.

요컨대, 상기 동작 판정은 각 채널에서의 확률 밀도 함수 값의 곱이 가장 크게 하는 k(1≤k≤판별 대상 동작의 수)를 사용자가 취한 동작의 식별 번호로 판별하거나, 각 채널에서의 확률 밀도 함수 값의 합이 가장 크게 하는 k(1≤k≤판별 대상 동작의 수)를 사용자가 취한 동작의 식별 번호로 판별하거나, 각 채널에서의 확률 밀도 함수 값에 로그를 취한 값의 합이 가장 크게 하는 k(1≤k≤판별 대상 동작의 수)를 사용자가 취한 클릭 동작의 식별 번호로 판별하는 것일 수 있다.

판별 된 클릭 동작에 따른 클릭 정보는 마우스 인터페이스 신호에 포함되어 연산 장치에 송신 될 수 있다(S117).

판별 된 동작은 관성 센서에 기반한 이동 신호와 결합되어야 하는 것일 수 있다. 예를 들어, 손가락을 모두 편 상태에서 손등을 몸쪽으로 향하게 손목을 구부리는 동작이 판별 된 경우, 관성 신호에 기반하여 생성되는 이동 신호가 더 조합되어 특정 명령어를 구성할 수 있다. 즉, 판별 된 동작은, 동작 자체만으로 특정 명령어와 대응되는 것일 수 있고, 동작과 움직임이 조합되어 특정 명령어를 구성하는 것일 수 있다.

예를 들어, 손가락을 모두 편 상태에서 손등을 몸쪽으로 향하게 손목을 구부리는 동작(근전도 신호에 의해 감지) 및 팔꿈치를 펴서 손을 몸과 반대 방향으로 펴는 움직임(관성 신호에 의해 이동 감지)이 조합되는 경우 화면 축소의 명령어가 구성 될 수 있다.

상기 동작 판별은 사용자가 상기 온오프 동작을 수행하여 마우스 조작을 종료 할 때까지(S118) 반복 될 수 있다.

이하, 사용자가 특정 움직임을 취한 경우, 본 발명에 따른 마우스 인터페이스 착용밴드에 구비된 관성 센서를 통해 관성 신호를 생성하고, 상기 관성 신호에 기반한 이동 신호를 생성한 후, 상기 이동 신호를 마우스 인터페이스 신호에 포함시켜 연산 장치에 송신하는 동작을 설명하기로 한다.

사용자는 본 발명에 따른 마우스 인터페이스 착용밴드를 착용한 신체 부위를 특정 방향으로 움직임으로써, 종래 마우스 이동과 같은 조작을 할 수 있다(S110).

상기 사용자의 움직임에 의해, 상기 마우스 인터페이스 착용밴드에 구비된 관성 센서에는 관성 신호가 측정 되고(S113), 상기 관성 신호는 이동 신호로 변환된 후 마우스 인터페이스 신호에 수납 되어 게임 연산 장치에 송신 된다(S117).

상기 관성 센서는 가속도계와 각속도계(Gyroscope) 센서 중 적어도 한 종류의 센서를 포함할 수 있다.

이하, 본 발명의 다른 실시예에 따른 표면 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템의 구성 및 동작에 대하여 도 11을 참조하여 설명하기로 한다. 본 실시예에 따른 마우스 인터페이스 시스템은 상기 다른 실시예에 따른 게임 인터페이스 방법에 적용된 기술적 특징이 적용 될 수 있으며, 그러한 경우, 설명은 생략하기로 한다.

도 11은 본 실시예에 따른 표면 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템의 블록구성도이다. 도 11에 도시된 바와 같이, 본 실시예에 따른 동작 추론 시스템은 마우스 인터페이스 착용밴드(200) 및 동글(220)을 포함한다. 또한, 동글(220)로부터 제공된 마우스 인터페이스 신호를 처리하여 입력 신호에 따른 연산을 수행하는 연산 장치(240)를 더 포함할 수 있다. 연산 장치(240)는 예를 들어, 개인용 컴퓨터, 노트북, 스마트폰, PDA 일 수 있다.

동글(dongle)(220)은 게임 인터페이스 착용 밴드(200)가 송신하는 근전도 신호 또는 관성 신호로부터 마우스 인터페이스 신호를 생성하여 연산 장치(240)에 송신한다. 동글(220)은 마우스 인터페이스 착용밴드(200)로부터 무선 통신 방식을 통해 상기 근전도 신호 또는 관성 신호를 수신 받을 수 있으며, 상기 무선 통신 방식의 신호는 근거리 무선 신호, 예를 들어, 블루투스(Bluetooth), Zigbee, WLAN(Wireless Local Area Network) 등으로 송신 될 수 있다.

동글(220)은 한편 연산 장치(240)에 구비된 소켓에 체결 되어 연산 장치(240)에 마우스 인터페이스 신호를 송신할 수 있다. 연산 장치(240)에 구비된 상기 소켓은 예를 들어 USB 소켓일 수 있다. 또한, 동글(220)은 무선 신호의 형태로 연산 장치(240)에 상기 마우스 인터페이스 신호를 송신할 수도 있다.

또한, 동글(220)은 마우스 인터페이스 착용밴드(200)에 내장될 수도 있다. 이 경우, 동글(220)은 마우스 인터페이스 착용밴드(200)에 구비된 근전도 센서 및 관성 센서로부터 제공 된 신호를 마우스 인터페이스 신호로 변환하여 연산 장치(240)에 무선으로 송신할 수도 있다.

상기 마우스 인터페이스 신호는 관성 신호 처리 모듈(229)에 의해 생성되는 이동 신호 및 클릭 동작 판별 모듈(228)에 의해 생성되는 클릭 신호를 포함할 수 있다.

동글(220)은 정보 엔트로피 측정모듈(222), 확률 모델 업데이트모듈(224) 및 클릭 동작 판별 모듈(228)을 포함한다. 또한, 동글(220)은 정보 엔트로피 측정모듈(222), 확률 모델 업데이트모듈(224), 클릭 동작 판별 모듈(228)을 더 구비할 수 있다. 또한, 확률 모델 저장부(226)도 동글(220) 내부에 구비될 수 있다.

연산 장치(240)는 사용자에게 트레이닝 모드 및 마우스 동작 모드 중 하나의 값을 가질 수 있는 동작 모드를 지정할 수 있도록 하고, 트레이닝 모드 하에서 입력되는 클릭 동작 및 온오프 동작의 종류 및 동작 반복 횟수를 지정 할 수 있도록 하며, 마우스 동작 모드 하에서 동작 판별 동작의 반복 여부를 지정 할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 온오프 동작을 반복해 볼 것을 요청하는 사용자 인터페이스를 제공할 수 있으며, 사용자가 온오프 동작을 반복하는 경우, 상기 온오프 동작에 대한 확률 모델이 확률 모델 저장부(226)에 저장되도록 동글(220)을 제어할 수 있다.

이 때, '모듈'이라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소 들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

확률 모델 저장부(226)는 캐쉬(Cache), 롬(Read Only Memory; ROM), 피롬(Programable ROM; PROM), 이피롬(Erasable Programmable ROM; EPROM), 이이피롬(Electrically Erasable Programmable ROM; EEPROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자, 램(Random Access Memory; RAM)과 같은 휘발성 메모리 소자, 및 하드디스크 드라이브(Hard disk drive)와 같은 저장매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.

마우스 인터페이스 착용밴드(200)에 구비되는 근전도 신호 센서는 채널의 수만큼 구비되며, 사용자에 피부에 부착되어 사용자의 판별 대상 동작에 대한 근전도 신호를 추출한 후, 정보 엔트로피 측정모듈(222)에 제공한다. 상기 근전도 신호 센서는 예를 들어, Ag-AgCl의 쌍극 전극(Noraxon dual electrode)으로 구성된 것을 사용할 수 있으며, 밴드 형태의 접착 수단에 고정되어 상기 사용자에 부착될 수 있다.

정보 엔트로피 측정모듈(222)은 근전도 신호 센서(200)로부터 제공된 근전도 신호로부터 정보 엔트로피 값을 생성하여 동작 모드가 트레이닝 모드인 경우에는 확률 모델 업데이트모듈(224)에 제공하고, 상기 동작 모드가 마우스 동작 모드인 경우에는 클릭 동작 판별 모듈(228)에 제공한다. 정보 엔트로피 측정모듈(222)은 상기 정보 엔트로피 값의 생성 전에 근전도 신호 센서(200)로부터 제공된 근전도 신호를 잡음 제거 필터에 통과 시키고, 절대 값을 취하는 전처리 절차를 더 거칠 수 있다.

상기 정보 엔트로피 값은 표 1에 표시된 수식에 의해 연산 될 수 있다.

정보 엔트로피 생성모듈(222)은 각 채널 별로 상기 정보 엔트로피 값을 생성하고, 특히, 상기 동작 모드가 트레이닝 모드인 경우, 판별 대상인 모든 동작에 대하여 상기 근전도 신호를 제공 받고, 그에 대한 각 채널 별 상기 정보 엔트로피 값을 생성하여 확률 모델 업데이트 모듈(224)에 제공할 수 있다. 각 동작의 트레이닝, 즉, 동작의 수행은 미리 정해진 횟수만큼 반복될 수 있다.

상기 정보 엔트로피 값은 상기 측정된 근전도 신호에 절대 값을 취한 신호에 대하여, 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값일 수 있다.

상기 정보 엔트로피 값은 표 1에 표시된 식에 의해 연산 되며, I_m(1≤m≤M)은 상기 취득 가능한 근전도 신호의 범위를 M개의 구간으로 균등하게 나눈 것이고, P(I_m)은 상기 구간 I_m에서 신호가 발견될 확률을 의미하는 것일 수 있다.

확률 모델 업데이트 모듈(224)은 상기 동작 모드가 트레이닝 모드인 경우, 정보 엔트로피 생성모듈(222)로부터 제공 받은 각 동작의 각 채널 별 정보 엔트로피 값이 제공 되는 대로, 상기 정보 엔트로피 값을 축적하여 각 채널 및 동작 별 상기 정보 엔트로피 값의 히스토그램 데이터를 생성한다.

상기 히스토그램 데이터는, 각 채널 및 동작 별 상기 정보 엔트로피 값이 각각 몇 회만큼 발생했는지, 발생의 빈도를 나타내는 데이터로 이해될 수 있으며, 예를 들어, x축이 해당 채널 및 동작의 정보 엔트로피 값이며, y축은 각 정보 엔트로피 값의 발생 횟수를 나타내는 데이터로 구성될 수 있다.

확률 모델 업데이트 모듈(224)은 상기 히스토그램 데이터를 통해, 정보 엔트로피 값의 평균 및 분산을 구함으로써, 가우시안 분포(정규 분포)에 따른 확률 밀도 함수를 생성한다. 즉, 확률 모델 데이터는 각 채널 및 동작 별 정보 엔트로피 값의 평균 및 분산의 순서쌍 형태로 구성 될 수 있으며, 상기 확률 모델 데이터는 확률 모델 저장부(226)에 저장될 수 있다.

확률 모델 업데이트 모듈(224)은 확률 모델 저장부(226)에 저장된 상기 확률 모델 데이터에 트레이닝 결과 생성된 각 채널 및 동작 별 정보 엔트로피 값을 추가하여 히스토그램 데이터를 업데이트 함으로써 상기 확률 밀도 함수를 업데이트 할 수 있다.

상기 확률 밀도 함수는 표 2에 표시된 수식에 의해 연산 될 수 있다.

클릭 동작 판별 모듈(228)은 상기 동작 모드가 마우스 동작 모드인 경우, 정보 엔트로피 생성모듈(222)로부터 각 채널 별 정보 엔트로피 값을 제공 받은 후, 제공 받은 상기 정보 엔트로피 값을 확률 모델 저장부(226)에 저장된 각 동작 별 확률 모델 데이터를 통해 구성되는 확률 모델 함수에 대입하여 확률 모델 함수 값을 각각의 동작 및 각각의 채널에 대하여 연산한다.

클릭 동작 판별 모듈(228)은 각 동작에 대하여 상기 확률 모델 함수 값을 비교하여, 상기 확률 모델 함수 값이 가장 큰 동작이 사용자가 취한 클릭 동작인 것으로 판별할 수 있다.

예를 들어, 표 3에 기재된 바와 같이, 각 채널의 확률 모델 함수 값을 각각 곱한 L(k) 값을 가장 크게 하는 k 값을 사용자가 취한 동작의 동작 번호로 판별할 수 있다. 이 때, 예를 들어, 상기 k 값이 왼쪽 버튼의 클릭을 의미하는 값이라면, 사용자는 왼쪽 버튼을 클릭한 것으로 판정될 수 있을 것이다.

또는, 클릭 동작 판별 모듈(228)은 각 채널의 확률 모델 함수 값을 각각 더한 값이 가장 큰 k 값을 사용자가 취한 클릭 동작의 동작 번호로 판별할 수도 있다.

클릭 동작 판별 모듈(228)은 표 4에 기재된 바와 같이, 상기 L(k)에 log를 취하여 각 채널의 log(L(k)) 값의 합이 가장 큰 k 값을 사용자가 취한 클릭 동작의 동작 번호로 판별할 수도 있다.

클릭 동작 판별 모듈(228)이 추정한 동작의 종류에 대한 정보는 클릭 신호로 가공 된 후, 마우스 인터페이스 신호에 수납되어 연산 장치(240)에 제공될 수 있다. 상기 클릭 신호는 범용 마우스에서 실제 특정 버튼이 클릭 된 경우, 연산 장치(240)에 제공되는 신호와 동일한 것일 수 있다.

또한, 사용자가 마우스 인터페이스 착용밴드(200)를 착용한 신체부위를 움직여 발생한 관성 신호는, 관성 센서에 의해 생성되어, 마우스 동작 모드인 경우, 관성 신호 처리 모듈(229)에 송신 된다.

관성 신호 처리 모듈(229)은 상기 관성 신호를 바탕으로 마우스 인터페이스 신호에 맞는 형식으로 변환하여 생성된 이동 정보를 상기 마우스 인터페이스 신호에 수납하여 연산 장치(240)에 제공한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

도 1은 본 발명의 일 실시 예에 따른 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법의 순서도이다.

도 2는 본 발명의 일 실시 예에 따른 판별하고자 하는 손가락 동작의 정의가 도시된 도면이다.

도 3은 본 발명의 일 실시 예에 따른 트레이닝 모드에 따른 동작 수행이 어떤 환경에서 어떠한 방식으로 이뤄질 수 있는지 도시한 도면이다.

도 4는 본 발명의 일 실시 예에 따른 손가락의 움직임을 판별하는 경우, 4개의 채널로 구성된 근전도 센서를 손목에 부착한 모습을 도시한 도면이다.

도 5는 본 발명의 일 실시 예에 따른 근전도 센서를 고정 시킨 밴드 형태의 센서 부착 방식을 도시한 도면이다.

도 6은 본 발명의 일 실시 예에 따른 원 근전도 신호에 절대치를 취한 결과를 도시한 도면이다.

도 7은 본 발명의 일 실시 예에 따른 근전도 신호의 구간 별 신호 출현 확률의 이해를 돕기 위한 개념도이다.

도 8은 본 발명의 일 실시 예에 따른 각 동작의 채널별 엔트로피 히스토그램 데이터를 나타낸 도면이다.

도 9는 본 발명의 일 실시 예에 따른 특정 동작에 대한 각각의 엔트로피 값의 확률 밀도 함수 모델 생성 결과를 나타낸 도면이다.

도 10은 본 발명의 일 실시 예에 따른 동작 판별 동작의 이해를 돕기 위한 개념도이다.

도 11은 본 발명의 일 실시 예에 따른 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템의 블록 구성도이다.

Claims (8)

1. 클릭 동작이 수행되는 경우 측정되는 각 채널 별 근전도 신호를 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값으로 변환하고, 상기 클릭 동작 별로 트레이닝을 반복하여 상기 정보 엔트로피 값을 축적하며, 상기 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램을 이용해 상기 정보 엔트로피 값의 평균 및 분산을 산출함으로써, 정규 분포의 각 클릭 동작 별 확률 모델을 생성하는 트레이닝 단계;

   사용자가 클릭 동작을 수행하는 경우 발생하는 근전도 신호의 상기 정보 엔트로피 값을 각 채널 별로 산출하고, 상기 정보 엔트로피 값을 상기 확률 모델에 대입하여 각 채널에서의 확률 밀도 함수 값이 가장 큰 동작을 상기 수행된 클릭 동작으로 판정하는 동작 판정 단계;

   사용자의 팔 움직임이 발생한 경우 관성 센서에 의해 측정된 관성 신호를 바탕으로 한 이동 신호를 생성하는 이동 판정 단계; 및

   상기 클릭 동작 및 상기 이동 신호를 바탕으로 마우스 인터페이스 신호를 생성하여 연산 장치에 제공하는 단계를 포함하는 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법.
2. 제 1항에 있어서,

   상기 마우스 인터페이스 신호는 범용 마우스 인터페이스에 기반한 것인 근전 도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법.
3. 제 1항에 있어서,

   상기 마우스 인터페이스 신호는 상기 판정된 클릭 동작 및 상기 이동 신호가 조합되어 구성되는 명령어를 포함하는 것인 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법.
4. 제 1항에 있어서,

   상기 트레이닝 및 상기 판정은,

   상기 마우스 인터페이스 신호를 상기 연산 장치에 제공할지 여부를 결정하는 온오프 동작에 대하여 더 수행되는 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법.
5. 제 1항에 있어서,

   상기 동작 판정 단계는,

   각 채널에서의 확률 밀도 함수 값의 곱이 가장 크게 하는 k(1≤k≤판별 대상 동작의 수)를 사용자가 취한 동작의 식별 번호로 판별하는 단계를 포함하는 표면 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 방법.
6. 사용자의 클릭 동작 시 발생하는 근전도 신호를 측정하는 표면 근전도 센서 및 사용자의 움직임 시 발생하는 관성 신호를 측정하는 관성 센서를 구비한 마우스 인터페이스 착용밴드; 및

   상기 마우스 인터페이스 착용밴드로부터 수신 된 신호로부터 범용 마우스 인터페이스에 기반한 마우스 인터페이스 신호를 생성하여 게임 연산 장치에 제공 하는 동글을 포함하되,

   상기 동글은,

   클릭 동작이 수행되는 경우 측정되는 각 채널 별 근전도 신호를 신호의 세기 구간 별 신호 출현 확률을 반영한 정보 엔트로피 값으로 변환하는 정보 엔트로피 생성 모듈;

   상기 클릭 동작 별로 트레이닝을 반복하여 상기 정보 엔트로피 값을 축적하며, 상기 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램을 이용하여 상기 정보 엔트로피 값의 평균 및 분산을 산출함으로써, 정규 분포의 각 동작 별 확률 모델을 생성하는 확률 모델 업데이트 모듈;

   동작 수행 시 발생한 근전도 신호의 상기 정보 엔트로피 값을 각 채널 별로 산출하고, 상기 정보 엔트로피 값을 상기 확률 모델에 대입하여 각 채널에서의 확률 밀도 함수 값이 가장 큰 동작을 상기 수행된 클릭 동작으로 판정하며, 상기 클릭 동작에 대응하는 클릭 신호를 포함하는 마우스 인터페이스 신호를 상기 게임 연산 장치에 제공하는 동작 판별 모듈; 및

   움직임이 발생한 경우 관성 센서에 의해 측정된 관성 신호를 바탕으로 한 이동 신호를 포함하는 마우스 인터페이스 신호를 상기 게임 연산 장치에 제공하는 관성 신호 처리 모듈을 포함하는 표면 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템.
7. 제 6항에 있어서,

   상기 트레이닝 및 상기 판정은,

   상기 마우스 인터페이스 신호를 상기 연산 장치에 제공할지 여부를 결정하는 온오프 동작에 대하여 더 수행되는 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템.
8. 제 6항에 있어서,

   상기 동글은, 상기 확률 모델 업데이트 모듈에 의해 축적된 정보 엔트로피 값의 동작 및 채널 별 히스토그램 데이터 및 상기 확률 모델 업데이트 모듈에 의해 생성된 각 채널 및 동작 별 정보 엔트로피 값의 평균 및 분산의 순서쌍 형태로 구성 되는 확률 모델 데이터를 저장하는 확률 모델 저장부를 더 포함하며,

   상기 확률 모델 업데이트 모듈은,

   상기 확률 모델 저장부에 저장된 상기 히스토그램 데이터에 트레이닝 결과 생성된 각 채널 및 동작 별 정보 엔트로피 값을 추가하여 업데이트 된 히스토그램 데이터를 기반으로 상기 확률 모델 데이터를 업데이트하는 표면 근전도 센서 및 관성 센서를 이용한 마우스 인터페이스 시스템.

Images