KR20140089651A - 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치 - Google Patents

Abstract

본 발명은 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치에 관한 것으로, 보다 상세하게는 안전도(Eletrooculogram, EOG)와 근전도(Electromyogram, EMG) 신호를 이용하여, 거동이 불편한 장애인들도 편리하게 이용할 수 있는 HCI(Human Computing Interface)를 제공할 수 있도록 한 것이다.
특히, 본 발명은 사용자의 축두근(Temporalis muscle)을 이용하여 안전도와 근전도 신호를 감지하고, 이를 이용하여 다양한 패턴의 명령체계를 구성할 수 있도록 함으로써, 직관적인 신호 해석이 가능하도록 하고, 안전도 신호와 근전도 신호 각각을 분석하여 개별적으로 패턴화하고, 이를 조합하여 명령패턴을 구성함으로써, 많은 수의 명령어를 패턴화할 수 있으며, 이를 통해 즉각적이면서도 편리한 이용이 가능한 HCI를 제공할 수 있다.
따라서, HCI 분야, 특히 중증 장애인들을 위한 HCI 분야는 물론, 이와 연관 내지 유사한 산업분야에서, 제품 및 시스템에 대한 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

안전도와 근전도를 이용한 전자기기 제어 방법 및 장치{Control method and device for electronic equipment using EOG and EMG}

본 발명은 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치에 관한 것으로서, 보다 상세하게는 안전도(Eletrooculogram, EOG)와 근전도(Electromyogram, EMG) 신호를 이용하여, 거동이 불편한 장애인들도 편리하게 이용할 수 있는 HCI(Human Computing Interface)를 제공할 수 있도록 한 것이다.

특히, 본 발명은 중증 장애인의 경우에도 움직임이 가능한 축두근(Temporalis muscle)을 통하여 생체신호를 감지하고, 이를 다양한 명령체계로 변환하여 전자기기를 제어할 수 있는 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치에 관한 것이다.

사지를 잃거나 척수 손상으로 인해 사지를 움직일 수 없는 중증 장애인 및 뇌병변장애로 인한 장애인들은 일반인이나 다른 장애인들에 비하여 컴퓨터, 가전제품 등과 같은 전자기기를 이용하는데 많은 제약이 따를 수 밖에 없다.

특히, 중증 장애인의 경우에는 일반적인 생활 속에서의 어려움뿐만 아니라, 많은 정보를 얻을 수 있는 인터넷의 접근 또한 어렵기 때문에 신체적인 차별 이외에도 2차적인 차별을 받는 경우가 빈번하게 발생되고 있다.

이러한 문제점을 해결하기 위해, 기존의 인터페이스를 대신하여 중증 장애인들이 사용할 수 있는 다양한 HCI(Human Computing Interface)들이 개발되고 있다.

일반적으로, 중증 장애인들이 움직일 수 있는 부분은, 정도의 차이가 있지만 대부분 머리 부근에 위치한 신체로, 뇌를 이용한 사고나 근육을 이용한 눈 깜빡임, 이 물기, 눈동자 움직임 정도가 있다.

따라서, 중증 장애인들을 위하여 개발되는 HCI들은, 뇌파나 머리 부근에 위치하는 근육의 움직임 등의 생체신호를 감지하여, 특정 명령을 수행할 수 있도록 하고 있다.

대한민국 등록특허공보 제10-0651725호 "생체신호를 이용한 텍스트 입력 방법 및 장치"와 같이, 대부분의 중증 장애인을 위한 인터페이스 장치들은, 뇌파나 눈의 깜빡임 또는 잇몸의 움직임 등에 의해 변화되는 생체신호를 이용하고 있다.

그러나, 눈동자의 깜빡임을 이용한 방식의 경우, 사용자의 무의식적인 깜빡임과 인위적인 명령간의 구분이 필요하고, 사용자의 혼돈 또는 명령인식오류를 유발할 수 있다. 또한, 눈동자의 깜빡임 만으로는 다양한 명령체계를 구성함에 어려움이 있다.

이에 반해, 이 물기를 통한 잇몸의 움직임 또는 이에 따라 움직이는 근육을 이용한 방식의 경우, 좌측, 우측 또는 양측의 이 물기 등으로 패턴의 수를 증가시킬 수 있으므로, 눈동자의 깜빡임에 비하여 많은 수의 명령어를 구성할 수 있다.

그러나, 이 물기를 이용하는 경우에도 잦은 이 물기에 따라 피로감이 누적되고 통증을 유발할 수 있는 문제점이 있다.

눈동자의 움직임을 이용하는 경우에도, 눈동자의 상하좌우 움직임을 통해 패턴수를 증가시켜 다양한 명령체계를 형성할 수는 있으나, 눈동자의 움직임을 감지하기 위한 전극이 얼굴의 안면부에 부착되어야 하기 때문에, 사용자 스스로도 불편함을 느낄 뿐만 아니라, 타인에게도 거부감을 줄 수 있는 문제점이 있다.

뇌파를 이용하는 경우에는, 다른 방법들에 비하여 가장 강력하면서도 직관적으로 사용자의 사고를 의사로 나타낼 수 있어, 기능면에서 가장 우수한 방식으로 알려져 있으나, 현재의 기술수준이 해당 인터페이스 장치를 상용화 할 수 있을 정도로 높지 않아 원하는 뇌파를 검출하기 위해 오랜 훈련기간이 필요하고 착용에 대한 거부감이 있다. 일선에서는 뇌파의 일부 기능만 추출하여 집중력이 높아졌을 때 사지마비장애인의 긴급 상황을 알리거나 게임에 응용하여 사용하는 경우도 있지만, 현재 수준에서는 사용할 수 있는 패턴이나 기능이 적어 사용에 한계가 있다.

이러한 문제점은, 대한민국 등록특허공보 제10-0651725호 "생체신호를 이용한 텍스트 입력 방법 및 장치" 등의 선행기술에서도 동일 내지 유사하다.

대한민국 등록특허공보 제10-0651725호 "생체신호를 이용한 텍스트 입력 방법 및 장치"

상기와 같은 문제점을 해결하기 위해서, 본 발명은 중증 장애인의 경우에도 움직임이 가능하면서도 거부감을 최소화할 수 있는 축두근(Temporalis muscle)을 이용하여 직관적인 신호 해석이 가능하도록 하고, 이를 통해 즉각적이면서도 편리한 이용이 가능한 HCI(Human Computing Interface)를 제공할 수 있는 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치를 제공하는데 목적이 있다.

특히 본 발명은, 축두근으로부터 안전도(Eletrooculogram, EOG)와 근전도(Electromyogram, EMG) 신호를 감지하고, 이를 이용하여 다양한 패턴의 명령체계를 구성할 수 있는 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치를 제공하는데 목적이 있다.

한편, 전극을 이용하여 생체신호를 감지하는 경우, 사용자의 목 뒷부분에 기준전극을 부착하는바, 이러한 기준전극을 통하여 전원으로부터 과전류가 유입되면, 사용자에게 위험한 상황이 발생될 수 있다.

따라서, 본 발명은 위험한 상황을 유발할 수 있는 기준전극을 사용하지 않고, 두 개의 측정전극만을 이용하여 생체신호를 감지하고 패턴화할 수 있는 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치를 제공하는데 목적이 있다.

상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 안전도와 근전도를 이용한 전자기기 제어 방법은, 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 생체신호를 감지하는 생체신호 측정단계; 상기 생체신호를 분석하여 안전도 신호 및 근전도 신호를 추출하고 기저선(Baseline, BL)을 설정하는 전처리단계; 상기 안전도 신호 및 근전도 신호에 대한 특징값을 추출하는 특징값 추출단계; 상기 특징값을 분석하여 명령패턴을 추출하는 패턴추출단계; 상기 명령패턴에 매핑된 제어명령을 확인하는 제어명령 확인단계; 및 상기 제어명령에 대응하여 전자기기를 제어하는 제어실행단계를 포함한다.

또한, 상기 생체신호 측정단계는, 상기 생체신호를 다단증폭하는 신호증폭단계; 상기 생체신호에서 호흡잡음을 포함하는 저주파잡음신호를 제거하는 고대역 통과 필터링단계; 및 상기 생체신호에서 전력선잡음을 포함하는 고주파잡음신호를 제거하는 저대역 통과 필터링단계를 포함할 수 있다.

또한, 상기 전처리단계는, 상기 생체신호를 디지털 필터링하여 안전도 신호 및 근전도 신호를 추출하는 신호추출단계; 및 상기 안전도 신호 및 근전도 신호 각각에 대하여 디지털 필터링에 의해 변동된 기저선을 재설정하는 기저선설정단계를 포함할 수 있다.

또한, 상기 신호분리단계는, 상기 생체신호에서 설정범위의 지연시간의 역수에 대응하는 주파수성분을 안전도 신호로 추출할 수 있다.

또한, 상기 신호분리단계는, 상기 생체신호에 대하여 회전 컨볼루션을 이용하여 서로 다른 컷오프(Cut-off) 주파수에 의해 저주파성분을 필터링하고, 고주파잡음을 이동평균필터로 필터링하여 안전도 및 근전도 신호를 추출할 수 있다.

또한, 상기 특징값 추출단계는, 상기 안전도 신호가 기저선과 만나는 점을 특징점으로 추출하는 특징점 추출단계; 상기 안전도 신호와 기저선에 의해 형성되는 영역 중 설정값보다 큰 영역을 특징영역으로 추출하는 특징영역 추출단계; 및 상기 특징영역 중 서로 이웃하는 두 특징영역이 시작되는 각 특징점 간의 거리를 복귀지연시간으로 산출하는 지연시간 산출단계를 포함할 수 있다.

또한, 상기 특징값 추출단계는, 상기 근전도 신호에 설정된 기저선으로부터 이격되어 가볍게물기기준선 및 강하게물기기준선을 순차적으로 설정하는 기준선설정단계; 및 상기 기저선, 가볍게물기기준선 및 강하게물기기준선에 의해 구분되는 영역 중 상기 근전도 신호의 피크값이 위치하는 영역에 기초하여 이물기 정도를 판단하는 이물기정도 판단단계를 포함할 수 있다.

또한, 상기 패턴추출단계는, 상기 안전도 신호의 특징값에 기초하여, 눈동자의 움직임 및 복귀지연시간에 따른 안전도 움직임 패턴을 분류하는 안전도패턴분류단계; 상기 근전도 신호의 특징값에 기초하여, 이물기의 정도에 따른 근전도 움직임 패턴을 분류하는 근전도패턴분류단계; 및 상기 안전도 및 근전도 움직임 패턴을 조합하여 명령패턴을 결정하는 명령패턴결정단계를 포함할 수 있다.

또한 본 발명에 따른 안전도와 근전도를 이용한 전자기기 제어 장치는, 사용자의 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 생체신호를 감지하는 우측 축두근 감지전극 및 좌측 축두근 감지전극 및 상기 우측 축두근 감지전극 및 좌측 축두근 감지전극에서 감지된 신호를 증폭하는 차동증폭부를 포함하는 생체신호 감지부; 상기 차동증폭부의 출력신호를 필터링하여 안전도 신호 및 근전도 신호를 추출하는 안전도 및 근전도 신호 추출부와, 추출된 안전도 신호 및 근전도 신호에 대한 특징점, 특징영역, 지연시간 및 이물기 정도 중 적어도 하나를 포함하는 특징값을 추출하는 특징값 추출부, 및 상기 특징값을 분석하여 명령패턴을 추출하는 명령패턴 추출부를 포함하는 신호처리부; 상기 명령패턴을 확인하는 명령패턴 확인부 및 상기 명령패턴에 매핑된 명령어를 호출하여 확인하는 명령어 확인부를 포함하는 명령어 생성부; 및 상기 명령어 생성부에서 생성된 명령어를 대상전자기기에 전송하는 명령어 전송부를 포함한다.

또한, 상기 생체신호 감지부는, 상기 차동증폭부에서 증폭된 생체신호를 다단의 저대역 통과 필터 및 저대역 통과 필터를 거쳐 대역 통과 필터링하고, 디지털 신호로 변환하여 상기 신호처리부로 전송할 수 있다.

또한, 상기 신호처리부는, 상기 생체신호 감지부에서 디지털 신호로 변환된 생체신호를 수신하여 디지털 필터링하고 상기 안전도 및 근전도 신호 추출부로 전송하는 디지털 필터링부; 상기 안전도 및 근전도 신호 추출부에서 추출된 각각의 신호에 대하여 기저선을 재설정하는 기저선재설정부; 및 상기 특징값 추출부에서 특징값을 추출하기 위한 비교기준이 되는 설정값을 저장한 설정값저장부를 더 포함할 수 있다.

또한, 상기 특징값 추출부는, 상기 안전도 신호와 기저선을 비교하여 적어도 두 개의 특징점, 특징영역 및 복귀지연시간으로 산출하고, 상기 근전도 신호에 설정된 기저선, 상기 기저선으로부터 이격되어 순차적으로 설정되는 가볍게물기기준선 및 강하게물기기준선에 기초하여, 이물기 정도를 판단할 수 있다.

또한, 상기 명령패턴 추출부는, 상기 안전도 신호로부터 추출된 특징점, 특징영역 및 복귀지연시간 중 적어도 하나와, 상기 근전도 신호에서 추출된 가볍게물기 및 강하게물기 중 적어도 하나를 연계하여 복수개의 명령패턴을 결정할 수 있다.

상기와 같은 해결수단에 의해, 본 발명은 사용자의 축두근(Temporalis muscle)을 이용하여 안전도와 근전도 신호를 감지하고, 이를 이용하여 다양한 패턴의 명령체계를 구성할 수 있도록 함으로써, 직관적인 신호 해석이 가능하도록 하고, 이를 통해 즉각적이면서도 편리한 이용이 가능한 HCI(Human Computing Interface)를 제공할 수 있는 장점이 있다.

특히, 사용자의 이마 부분의 양측 축두근만을 이용하여 생체신호를 감지할 수 있기 때문에, 모자나 헤어밴드 등으로 축두근에 부착된 전극을 가릴 수 있어, 타인에게 거부감을 주지 않을 수 있는 효과가 있다.

또한, 사용자의 축두근에 부착된 두 개의 측정전극만으로 생채신호를 측정하여 패턴화할 수 있기 때문에, 생체신호를 측정하는 측정부와 HCI장치의 전원부를 분리하여 구성할 수 있고, 이를 통해 전원부로부터 유입될 수 있는 과전류로부터 사용자를 보호할 수 있는 효과가 있다.

또한, 안전도 신호와 근전도 신호 각각을 분석하여 개별적으로 패턴화하고, 이를 조합하여 명령패턴을 구성함으로써, 많은 수의 명령어를 패턴화할 수 있는 장점이 있다.

따라서, HCI 분야, 특히 중증 장애인들을 위한 HCI 분야는 물론, 이와 연관 내지 유사한 산업분야에서, 제품 및 시스템에 대한 신뢰성 및 경쟁력을 향상시킬 수 있다.

도 1은 본 발명에 따른 안전도와 근전도를 이용한 전자기기 제어 방법을 설명하는 흐름도이다.
도 2는 본 발명에 의한 안전도와 근전도를 측정하는 위치를 설명하는 도면이다.
도 3은 도 1의 단계 'S100'을 구체적으로 설명하는 흐름도이다.
도 4는 도 1의 단계 'S300'을 구체적으로 설명하는 흐름도이다.
도 5 및 도 6은 도 1의 단계 'S400'을 구체적으로 설명하는 순서도이다.
도 7은 도 1의 단계 'S200'에서 추출되는 안전도 신호 및 근전도 신호를 설명하는 그래프이다.
도 8은 도 1의 단계 'S300'에 의해 추출되는 특징값을 설명하는 그래프이다.
도 9는 도 1의 단계 'S400'에서 추출되는 명령패턴을 설명하는 표이다.
도 10은 도 9에 나타난 명령패턴별 인식률을 실험한 결과를 나타낸 표이다.
도 11은 본 발명에 의한 안전도와 근전도를 이용한 전자기기 제어 장치를 설명하는 블록도이다.
도 12는 도 11의 생체신호 감지부를 구체적으로 설명하는 블록도이다.
도 13은 도 11의 신호처리부를 구체적으로 설명하는 블록도이다.

본 발명에 따른 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.

도 1은 본 발명에 따른 안전도와 근전도를 이용한 전자기기 제어 방법을 설명하는 흐름도이다.

도 1을 참조하면, 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 사용자의 생체신호를 감지한다(단계 S100).

명령 전달을 위한 생체신호 측정 방법은 다음과 같다.

먼저, 사용자의 이마에 부착된 두 개의 염화은(Ag/AgCl) 전극을 통해 안전도(EOG) 및 근전도(EMG) 신호를 동시에 측정한다. 안전도는 안구의 움직임에 의해 발생되는 각막-망막전위 신호다. 일반적으로, 안전도는 이마의 양 끝에서 눈의 좌우 움직임에 대한 수평신호를 얻을 수 있고, 눈의 위,아래에서 눈의 상하 움직임에 대한 수직신호를 얻을 수 있다.

본 발명에서는 이러한 눈의 움직임에 따른 두 가지 신호 중, 사용자의 편의성을 위해 상대적으로 전극부착의 거부감이 적은 수평신호만을 사용한다.

또한, 이 물기에 사용되는 근육은 대표적으로 깨물근(Masseter muscle)과 측두근(Temporalis muscle)의 2가지가 있다. 깨물근은 턱의 양 끝부분에 위치하고 이 물기에 가장 큰 움직임과 신호를 나타낸다.

그러나, 깨물근 신호의 측정위치는 외부에 노출되어 가릴 수 없는 턱 부위인 관계로 전극 부착에 거부감이 높다.

이에 반해, 관자부근에 위치한 측두근은 깨물근 대비 신호의 크기는 작으나, 이 물기에 의한 활동 및 비활동 신호구분이 명확하고 이마 부근에서 측정이 가능하기 때문에 모자나 헤드밴드와 같은 액세서리로 가릴 수 있는 장점이 있다.

따라서, 본 발명에서는 눈의 움직임에 따른 수평 안전도 신호 및 측두근의 근전도 신호를, 도 2에 나탄나 바와 같이 이마에 위치한 두 개의 전극(ER1, ER2)을 통해 획득할 수 있다.

특히, 이마의 평평한 피부는 전극의 부착에 용이하고, 상대적으로 얼굴의 다른 부위보다 몸의 움직임에 따라 발생하는 잡음에 강해 미관 및 잡음 문제 모두에 유리한 장점이 있다.

생체신호가 측정되면, 생체신호를 분석하여 안전도 신호 및 근전도 신호를 추출하고 기저선(Baseline, BL)을 설정하는 전처리과정을 거친다(단계 S200).

도 3은 도 1의 단계 'S100'을 구체적으로 설명하는 흐름도로서, 도 3을 참조하면, 측정된 생체신호는 1차적으로 시스템에서 필요 없는 고주파 성분을 제거하기 위해, 40Hz의 저역통과필터(low pass filter, LPF)를 거쳐 계측증폭단(초단증폭기)으로 제공된다(단계 S110). 여기서, 계측증폭단의 초단증폭기는 두 개의 전극에서 감지되는 신호를 차동증폭하여 증폭된 생체신호를 출력할 수 있다.

증폭된 생체신호는 각각 "Rail-to-Rail" 방식의 연산증폭기로 구성된 고대역 통과 필터(High Pass Filter, HPF)와 저대역 통과 필터(Low Pass Filter, LPF)를 지나 장치 또는 시스템에서 필요로 하는 정보를 가지고 있는 대역폭의 생체신호로 처리될 수 있다. 여기서, 신호의 증폭은 아날로그 필터를 거치며 높은 이득으로 신호가 포화되어 정보가 손실되는 것을 방지하기 위해 다단증폭을 함이 바람직하다.

다시 말해, 도 3에 나타난 바와 같이, 감지된 생체신호는 초단증폭단에서 10배(단계 S110), 2차 증폭단에서 10배(단계 S120), 그리고 마지막으로 3차 증폭단에서 10배로 증폭(단계 S150)되어 전체적으로 약 1000배로 증폭될 수 있다.

필터링은 계측증폭단에서의 1차 저대역 통과 필터(단계 S110), 1차 고대역 통과 필터(단계 S120), 2차 저대역 통과 필터(단계 S130), 2차 고대역 통과 필터(단계 S140), 및 1차 저대역 통과 필터(단계 S150)의 순서로 필터링될 수 있다. 여기서, 각 필터의 차수는 계수를 의미한다.

또한, 각각의 저대역 통과 필터는 컷오프(Cou-off) 주파수를 40Hz로 하고, 고대역 통과 필터의 컷오프 주파수는 0.5Hz로 하여, 최종적으로 약0.5∼40Hz의 대역폭을 주파수 성분만을 추출하였다.

일반적으로, 고대역 통과 필터의 컷오프 주파수는 호흡잡음제거용으로 사용되는 2Hz를 대신하여 0.5Hz로 선정함으로써, 안전도 신호에 대한 신호대잡음비(SNR)가 낮아지는 것을 방지하였으며, 몸의 움직임에 따라 간헐적으로 발생되는 큰 진폭의 저주파 신호에 의해 신호가 포화되어 손실되는 것을 방지하기 위하여, 고대역 통과 필터를 사용하였다.

또한, 저대역 통과 필터는 전력선잡음을 제거하기 위해 통상 사용되는 60Hz 'Notch' 필터나 높은 차수(Order)의 60Hz 저대역 통과 필터를 대신하여, 2차의 40Hz 저대역 통과 필터를 사용함으로써, 회로를 단순화할 수 있도록 함은 물론, 필터의 차수 대비 이 물기 감지 성능을 최대한으로 향상시킬 수 있다.

이와 같이, 증폭 및 필터링된 생체신호는 '10bit' 분해능의 데이터로 샘플링되어 디지털 신호로 제공될 수 있다. 예를 들어, 생체신호를 감지하는 센서모듈과 이후의 데이터를 처리하는 신호처리모듈(장치)이 별도로 구성된 경우, 센서모듈에서 감지된 생체신호는 디지털 신호로 변환되어 시리얼 통신 등을 통해 신호처리모듈로 전송될 수 있다.

이후, 각 신호에 대한 특징값을 추출하기 위하여, 단계 'S200'에서 전처리과정을 수행할 수 있다. 예를 들어, 전처리 과정은 안전도 및 근전도 신호의 분리추출을 위한 디지털 필터링 과정과 필터링 후 변동된 기저선(baseline, BL)을 빠른 시간 내에 찾는 기저선 선정(재설정) 과정을 포함할 수 있다.

이후, 증폭 및 필터링된 생체신호로부터 안전도 신호 및 근전도 신호를 분리하고 각 신호에 대한 특징값을 추출한다(단계 S300).

먼저, 안전도 신호 및 근전도 신호의 분리를 살펴보면, 안전도 수평신호는 도 7의 (a)에 나타난 바와 같이, 눈의 우측 이동 후 제자리로 돌아오는 지연시간(Td)에 따라 그 파형의 모양이 다양하여 일관성을 찾기 어렵다. 이에 본 발명에서는, 통상 사용자가 눈동자의 이동 후 제자리에 돌아오는 시간으로 수용할 수 있는 지연시간(Td)을 0.2초에서 0.8초로 설정하여, 안전도 수평신호에 대한 인식범위를 한정할 수 있다.

또한, 패턴인식의 용이성을 위해 수학식 1의 회전 컨볼루션을 이용해 K차(order)의 1.5Hz 고대역 통과 필터를 통해 신호의 저주파성분을 제거하고, 필터링 후 생긴 고주파성 잡음을 수학식 2의 이동평균필터(N=5)을 통해 제거하여 도 7의 (b)와 같은 안전도 신호를 얻을 수 있다.

(수학식 1)

여기서, x(n)은 수신된 최근 데이터, h(n)은 고대역 통과 필터의 계수, K는 필터의 차수이다.

(수학식 2)

한편, 동시에 측정된 안전도 수평신호와 이 물기를 통한 근전도 신호는 각각 다른 대역의 주파수성분을 갖는다.

따라서, 도 7의 (a)에 나타난 원신호에서 근전도 신호의 추출은, 상기한 안전도 수평신호의 추출과 동일한 방법을 거치며, 저주파 성분을 제거하기 위한 회전 컨볼루션의 K차(order) 고대역 통과 필터의 컷오프 25Hz로 하여 추출할 수 있다.

상기와 같은 과정을 거쳐 최종적으로 패턴분류에 사용되는 안전도 및 근전도 신호의 파형형태는 도 8에 나타난 바와 같다.

도 8의 (a)를 참조하면, 전처리되어 추출된 안전도 신호로부터 추출되는 특징값은, 신호의 형태 파악에 필요한 특징영역(Pn)과 지연시간 파악에 필요한 특징점(Tn)으로 구성될 수 있다.

다시 말해, 안전도 수평신호는 설정된 기저선(BL)을 기준으로, 추출된 파형과 기저선(BL)의 교점 위치를 좌측부터 각각 T1 내지 Tn으로 추출하여 특징점으로 설정할 수 있고(단계 S311), 파형의 진행구간(Ln)은 이웃하는 특징점인 Tn과 Tn-1의 차로 설정할 수 있다.

그리고, 각 Ln의 기간 동안 기저선(BL)을 기준으로 각 파형의 면적은 Sn으로 나타낼 수 있다. 여기서, Sn은 파형에서 BL값의 차를 통해 구해질 수 있으며, 기저선(BL)의 상부에 위치할 때는 양수의 값을, 기저선(BL)의 하부에 위치할 때는 음의 부호를 갖도록 정의할 수 있다.

이중, 15<Ln<35인 Ln에 대해 Sn의 절대값이 700이상인 경우를 특징영역(Pn)으로 설정할 수 있다(단계 S312). 특히, 기저선(bl)의 하부에 위치한 특징영역(P2)의 부호값이 패턴분류를 위한 중요 특징으로 사용되게 된다. 또한, P1과 P2의 시작점간의 시간차이인 지연시간은 Td=T3-T1로 나타내고, P2와 함께 패턴분류를 위한 특징으로 사용한다(단계 S313).

이 물기에 따른 근전도 신호의 경우 도 8의 (b)에 나타난 바와 같이, 이 물기를 분류하는데 필요한 특징들로 기저선(BL)을 기준으로 그 진폭에 따라 두 개의 임계치를 사용할 수 있다(단계 S321).

다시 말해, 이 물지 않음과 가볍게물기기준선(Lv.1) 및 강하게물기기준선(Lv.2)를 구분하여 사용되며(단계 S321), 기저선(BL), 가볍게물기기준선(Lv.1) 및 강하게물기기준선(Lv.2)에 의해 구분되는 영역 중 근전도 신호의 피크값이 위치하는 영역에 기초하여 이물기 정도를 판단할 수 있다(단계 S322).

이와 같이, 추출 내지 산출된 특징값들은 안전도 신호에 대한 특징값과 근전도 신호에 대한 특징값을 조합하여 명령패턴을 추출(정의)할 수 있다(단계 S400).

먼저, 특징값에 의해 분류될 수 있는 패턴은 도 9에 나타난 바와 같으며, 패턴분류를 위해서는 추출된 패턴의 규칙성을 찾아야 한다.

안전도 신호에서는 눈동자의 움직임에 따라 신호가 규칙적인 곡선 형태를 갖는다. 다시 말해, 눈동자가 우측으로 움직일 때는 기저선(BL)을 기준으로 양의 곡선을 형성하고, 좌측으로 움직일 때는 기저선(BL)을 기준으로 음의 곡선을 형성하며 기저선(BL)으로 되돌아온다. 예를 들어, 도 7의 (b)는 눈이 우측으로 이동 후 각각 0.3초와 0.8초의 지연시간 후 정면으로 되돌아 온 파형으로, 눈이 우측으로 움직일 때는 양의 곡선이 나타나고 우측에 있던 눈이 좌측으로 이동해 정면으로 되돌아 올 때는 음의 곡선이 나타난다.

근전도 신호의 크기는 이 물기를 하지 않은 경우, 가볍게 이 물기를 한 경우, 그리고 세게 이 물기를 한 경우 그 진폭이 달라 구분이 용이하다. 본 발명에서는 순간적인 진폭의 변화가 큰 근전도 신호의 특성상, 크기가 10인 이동평균필터를 통과시킨 값(M)을 구하고 기저선(BL)을 기준으로 임계치와 비교하여 깨물기 신호(M)의 크기가 해당되는 범위를 결정하여 패턴분류에 사용할 수 있다.

도 5 및 도 6은 도 1의 단계 'S400'을 구체적으로 설명하는 순서도이다.

이하에서 도 5 및 도6을 설명함에 있어, 도 5 및 도 6에 나타난 각 단계들은 당업자의 요구에 따라 시계열적인 순서가 교환되거나 변경될 수 있으므로, 도 5 및 도 6에 나타난 시계열적 순서에 한정하지 않고, 개념적인 의미를 중심으로 설명하기로 한다.

패턴분류를 위해 확인해야 할 사항으로는, 눈동자의 움직임(Sn), 눈동자의 원위치 복귀 속도(Td) 및 이 물기 정도(M)를 포함할 수 있다(단계 S401).

눈동자의 움직임(Sn)의 경우에는 도 8에 나타난 바와 같이 기저선(BL)의 상부에 위치하여 양수값을 갖게 되면(단계 S406) 좌측으로 이동한 것으로 판단하여 L(left)을 패턴이름에 포함할 수 있고(단계 S417, S418, S421, S422), 반대의 경우에는 R(right)을 패턴이름에 포함할 수 있다(단계 S409, S410, S413, S414).

이때, 안구운동의 시간지연을 판단하기 위해, 특징영역 'P1'과 'P2' 신호간의 시간차(Td)를 확인할 수 있다(단계 S407, S411, S416, S419). 확인된 시간차(Td)가 0.2초<Td<0.5초일 때는 즉각적인 안구 움직임으로 판단하여 P(prompt)를 패턴 이름에 포함할 수 있고(단계 S409, S410, S417, S418), 0.5초<Td<0.8초일 때는 지연시간을 갖는 안구운동으로 판단하여 D(delayed)를 패턴 이름에 포함할 수 있다(단계 S413, S414, S421, S422).

시간차(Td)가 0.8초 이상일 때는 잡음신호로 판단하여 패턴분류에서 제외된다(단계 S411, S419).

또한, 근전도 신호의 세기에 따라 M의 값이 32미만인 경우(단계 S 408, S412, S416, S420), 이 물기를 하지 않은 것으로 고려되어 패턴 이름에 이 물기 성분이 붙지 않고(단계 S410, S414, S418, S422), 도 8의 'R1'과 같이 M>64의 경우(단계 S 402)에는 강한 이 물기로 판단되어 SB(Strong Bite)가 패턴이름에 사용되며(단계 S403), 나머지의 경우(도 8의 'R2')는 가벼운 이 물기 신호로 판단되어 B(bite)가 사용된다(단계 S409, S413, S417, S421).

도 5에서 단계 'S404'는 특징영역을 설정기준을 판단하는 단계이고, 단계 'S405'는 의도하지 않은 안구의 움직임(사용자가 명령입력을 원하지 않는 행동, 예를 들어, 순간적으로 다른 곳을 바라보는 동작, 다른 곳을 지속적으로 바라보는 동작 등) 등을 판단하는 단계이다.

본 발명에 의한 전자기기 제어 방법을 응용시스템에 적용하기에 앞서, 자바(Java)로 구현한 실시간 모니터링 프로그램을 통해 명령인식 성능을 평가하였다. 평가를 위해 사용자는 정의된 아홉 가지 명령신호 중 임의의 명령신호를 비정기적으로 20여 차례 보내도록 하였다. 이를 하나의 연속 명령 셋(set)으로 정의하고, 이를 10회 반복하였다. 따라서, 전체적으로는 9가지의 명령들이 각기 200여회 실행되었다.

도 10은 도 9에 나타난 명령패턴별 인식률을 실험한 결과를 나타낸 표이다.

도 10을 참조하면, 총 1842회의 명령에 대한 평균 명령인식률은 92.52%로 나타났음을 알 수 있다. 이는 종래의 기술에 언급된 다른 방식에 의한 인식률에 비해 상당히 향상된 결과이다.

특히, 도 10의 결과는 별도의 훈련을 거치지 않은 상태에서 얻어진 결과로서, 종래의 다른 기술들이 명령인식률을 향상시키기 위하여 사용자로 하여금 장시간의 훈련을 요구하고 있음으로 판단하면, 매우 높은 명령인식률임을 알 수 있다.

상기한 바와 같은 본 발명에 의한 안전도 및 근전도를 이용한 전자기기 제어 방법은 모듈형태의 제어장치 등에 적용되어 사용자가 용이하게 휴대할 수 있도록 구성될 수 있다.

도 11은 본 발명에 의한 안전도와 근전도를 이용한 전자기기 제어 장치를 설명하는 블록도이다.

도 11을 참조하면, 안전도와 근전도를 이용한 전자기기 제어 장치는 생체신호 감지부(100), 신호처리부(200), 명령어 생성부(300) 및 명령어 전송부(400)를 포함한다.

생체신호 감지부(100)는 사용자의 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 생체신호를 감지하기 위한 것으로, 사용자의 우측 축두근 및 좌측 측두근에 각각 부착되는 우측 축두근 감지전극(110) 및 좌측 축두근 감지전극(120)을 포함하며, 우측 축두근 감지전극(110) 및 좌측 축두근 감지전극(120)에서 감지된 신호를 증폭하는 차동증폭부(130)를 포함한다.

신호처리부(200)는 차동증폭부(130)의 출력신호를 필터링하여 안전도 신호 및 근전도 신호를 추출하는 안전도 및 근전도 신호 추출부(210), 추출된 안전도 신호 및 근전도 신호에 대한 특징점, 특징영역, 지연시간 및 이물기 정도 중 적어도 하나를 포함하는 특징값을 추출하는 특징값 추출부(220), 및 특징값을 분석하여 명령패턴을 추출하는 명령패턴 추출부(230)를 포함한다.

또한, 특징값 추출부(220)는, 도 8에 나타난 바와 같이, 안전도 신호와 기저선을 비교하여 적어도 두 개의 특징점, 특징영역 및 복귀지연시간으로 산출할 수 있고, 근전도 신호에 설정된 기저선, 기저선으로부터 이격되어 순차적으로 설정되는 가볍게물기기준선 및 강하게물기기준선에 기초하여, 이물기 정도를 판단할 수 있다.

또한, 명령패턴 추출부(230)는, 특징값 추출부(220)에서 추출된 안전도 신호의 특징점, 특징영역 및 복귀지연시간 중 적어도 하나와, 근전도 신호의 가볍게물기(도 8의 'R2') 및 강하게물기(도 8의 'R1') 중 적어도 하나를 연계하여 복수개의 명령패턴을 결정할 수 있다.

명령어 생성부(300)는 도 5 및 도 6에 의해 명령패턴을 확인하는 명령패턴 확인부(310), 명령패턴에 매핑된 명령어를 호출하여 확인하는 명령어 확인부(320) 및 도 9에 나타난 명령패턴과 대상전자기기를 제어하기 위한 명령어를 매핑하여 저장하는 패턴저장부(330)를 포함한다.

명령어 전송부(400)는 명령어 생성부(300)에서 생성된 명령어를 대상전자기기에 전송하는 것으로, 대상전자기기와 연결방식에 따라 무선 또는 유선통신망으로 명령어를 전송할 수 있다.

도 12는 도 11의 생체신호 감지부를 구체적으로 설명하는 블록도이다.

도 12를 참조하면, 생체신호 감지부(100)의 차동증폭부(130)는 저대역 통과 필터(LPF) 및 계측증폭기(Instrument Amplifier)를 포함할 수 있다.

또한, 생체신호 감지부(100)는 고대역 통과 필터 및 증폭기(140), 2차 저대역 통과 필터(150), 2차 고대역 통과 필터(160), 저대역 통과필터 및 증폭기(170)를 순차적으로 포함할 수 있다. 따라서, 차동증폭부(130)에서 증폭된 생체신호를 다단의 저대역 통과 필터 및 저대역 통과 필터를 거쳐 대역 통과 필터링할 수 있다.

또한, 다단 필터링 및 증폭된 신호는 아날로그 디지털 컨버터(ADC)에서 디지털 신호로 변환되어 신호처리부(200)로 전송될 수 있다.

도 13은 도 11의 신호처리부를 구체적으로 설명하는 블록도이다.

도 13을 참조하면, 신호처리부(200)는 생체신호 감지부(100)에서 디지털 신호로 변환된 생체신호를 수신하여 디지털 필터링하여, 안전도 및 근전도 신호 추출부(210)로 전송하는 디지털 필터링부(205)와, 안전도 및 근전도 신호 추출부(210)에서 추출된 각각의 신호에 대하여 기저선을 재설정하는 기저선재설정부(215) 및 특징값 추출부(220)에서 특징값을 추출하기 위한 비교기준이 되는 설정값을 저장한 설정값저장부(225)를 더 포함할 수 있다. 여기서, 설정값저장부(225)는 도 8의 (a)에 나타난 특징영역(Sn)의 선택기준이 되는 값, 도 8의 (b)에 나타난 가볍게물기기준선(Lv.1) 및 강하게물기기준선(Lv.2)을 포함할 수 있다.

이상에서 본 발명에 의한 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지는 것이므로, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 생체신호 감지부
110 : 우측 축두근 감지전극 120 : 좌측 축두근 감지전극
130 : 차동증폭부
200 : 신호처리부 205 : 디지털 필터링부
210 : 안전도 및 근전도 신호 추출부
215 : 기저선 재설정부 220 : 특징값 추출부
225 : 설정값 저장부 230 : 명령패턴 추출부
300 : 명령어 생성부 310 : 명령패턴 확인부
320 : 명령어 확인부 330 : 패턴저장부
400 : 명령어 전송부

Claims (13)

1. 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 생체신호를 감지하는 생체신호 측정단계;
   상기 생체신호를 분석하여 안전도 신호 및 근전도 신호를 추출하고 기저선(Baseline, BL)을 설정하는 전처리단계;
   상기 안전도 신호 및 근전도 신호에 대한 특징값을 추출하는 특징값 추출단계;
   상기 특징값을 분석하여 명령패턴을 추출하는 패턴추출단계;
   상기 명령패턴에 매핑된 제어명령을 확인하는 제어명령 확인단계; 및
   상기 제어명령에 대응하여 전자기기를 제어하는 제어실행단계를 포함하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
2. 제 1항에 있어서,
   상기 생체신호 측정단계는,
   상기 생체신호를 다단증폭하는 신호증폭단계;
   상기 생체신호에서 호흡잡음을 포함하는 저주파잡음신호를 제거하는 고대역 통과 필터링단계; 및
   상기 생체신호에서 전력선잡음을 포함하는 고주파잡음신호를 제거하는 저대역 통과 필터링단계를 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
3. 제 1항에 있어서,
   상기 전처리단계는,
   상기 생체신호를 디지털 필터링하여 안전도 신호 및 근전도 신호를 추출하는 신호추출단계; 및
   상기 안전도 신호 및 근전도 신호 각각에 대하여 디지털 필터링에 의해 변동된 기저선을 재설정하는 기저선설정단계를 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
4. 제 3항에 있어서,
   상기 신호분리단계는,
   상기 생체신호에서 설정범위의 지연시간의 역수에 대응하는 주파수성분을 안전도 신호로 추출하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
5. 제 3항에 있어서,
   상기 신호분리단계는,
   상기 생체신호에 대하여 회전 컨볼루션을 이용하여 서로 다른 컷오프(Cut-off) 주파수에 의해 저주파성분을 필터링하고, 고주파잡음을 이동평균필터로 필터링하여 안전도 및 근전도 신호를 추출하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
6. 제 1항에 있어서,
   상기 특징값 추출단계는,
   상기 안전도 신호가 기저선과 만나는 점을 특징점으로 추출하는 특징점 추출단계;
   상기 안전도 신호와 기저선에 의해 형성되는 영역 중 설정값보다 큰 영역을 특징영역으로 추출하는 특징영역 추출단계; 및
   상기 특징영역 중 서로 이웃하는 두 특징영역이 시작되는 각 특징점 간의 거리를 복귀지연시간으로 산출하는 지연시간 산출단계를 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
7. 제 1항에 있어서,
   상기 특징값 추출단계는,
   상기 근전도 신호에 설정된 기저선으로부터 이격되어 가볍게물기기준선 및 강하게물기기준선을 순차적으로 설정하는 기준선설정단계; 및
   상기 기저선, 가볍게물기기준선 및 강하게물기기준선에 의해 구분되는 영역 중 상기 근전도 신호의 피크값이 위치하는 영역에 기초하여 이물기 정도를 판단하는 이물기정도 판단단계를 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
8. 제 1항에 있어서,
   상기 패턴추출단계는,
   상기 안전도 신호의 특징값에 기초하여, 눈동자의 움직임 및 복귀지연시간에 따른 안전도 움직임 패턴을 분류하는 안전도패턴분류단계;
   상기 근전도 신호의 특징값에 기초하여, 이물기의 정도에 따른 근전도 움직임 패턴을 분류하는 근전도패턴분류단계; 및
   상기 안전도 및 근전도 움직임 패턴을 조합하여 명령패턴을 결정하는 명령패턴결정단계를 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 방법.
   
9. 사용자의 안전도(Electrooculogram, EOG) 및 근전도(Electromyogram, EMG)를 포함하는 생체신호를 감지하는 우측 축두근 감지전극 및 좌측 축두근 감지전극 및 상기 우측 축두근 감지전극 및 좌측 축두근 감지전극에서 감지된 신호를 증폭하는 차동증폭부를 포함하는 생체신호 감지부;
   상기 차동증폭부의 출력신호를 필터링하여 안전도 신호 및 근전도 신호를 추출하는 안전도 및 근전도 신호 추출부와, 추출된 안전도 신호 및 근전도 신호에 대한 특징점, 특징영역, 지연시간 및 이물기 정도 중 적어도 하나를 포함하는 특징값을 추출하는 특징값 추출부, 및 상기 특징값을 분석하여 명령패턴을 추출하는 명령패턴 추출부를 포함하는 신호처리부;
   상기 명령패턴을 확인하는 명령패턴 확인부 및 상기 명령패턴에 매핑된 명령어를 호출하여 확인하는 명령어 확인부를 포함하는 명령어 생성부; 및
   상기 명령어 생성부에서 생성된 명령어를 대상전자기기에 전송하는 명령어 전송부를 포함하는 안전도와 근전도를 이용한 전자기기 제어 장치.
   
10. 제 9항에 있어서,
    상기 생체신호 감지부는,
    상기 차동증폭부에서 증폭된 생체신호를 다단의 저대역 통과 필터 및 저대역 통과 필터를 거쳐 대역 통과 필터링하고, 디지털 신호로 변환하여 상기 신호처리부로 전송하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 장치.
    
11. 제 10항에 있어서,
    상기 신호처리부는,
    상기 생체신호 감지부에서 디지털 신호로 변환된 생체신호를 수신하여 디지털 필터링하고 상기 안전도 및 근전도 신호 추출부로 전송하는 디지털 필터링부;
    상기 안전도 및 근전도 신호 추출부에서 추출된 각각의 신호에 대하여 기저선을 재설정하는 기저선재설정부; 및
    상기 특징값 추출부에서 특징값을 추출하기 위한 비교기준이 되는 설정값을 저장한 설정값저장부를 더 포함하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 장치.
    
12. 제 9항 내지 제 11항 중 어느 하나의 항에 있어서,
    상기 특징값 추출부는,
    상기 안전도 신호와 기저선을 비교하여 적어도 두 개의 특징점, 특징영역 및 복귀지연시간으로 산출하고,
    상기 근전도 신호에 설정된 기저선, 상기 기저선으로부터 이격되어 순차적으로 설정되는 가볍게물기기준선 및 강하게물기기준선에 기초하여, 이물기 정도를 판단하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 장치.
    
13. 제 12항에 있어서,
    상기 명령패턴 추출부는,
    상기 안전도 신호로부터 추출된 특징점, 특징영역 및 복귀지연시간 중 적어도 하나와,
    상기 근전도 신호에서 추출된 가볍게물기 및 강하게물기 중 적어도 하나를 연계하여 복수개의 명령패턴을 결정하는 것을 특징으로 하는 안전도와 근전도를 이용한 전자기기 제어 장치.
    

Images