KR102472492B1

KR102472492B1 - 전자 장치 및 그 제어 방법

Info

Publication number: KR102472492B1
Application number: KR1020170153101A
Authority: KR
Inventors: 강혁; 유재봉; 임경수; 홍덕기
Original assignee: 삼성전자주식회사
Priority date: 2016-11-16
Filing date: 2017-11-16
Publication date: 2022-12-01
Also published as: EP3527127B1; KR20180055743A; EP3527127A1; US11144124B2; EP3527127A4; US20190369726A1; KR20180055660A

Abstract

전자 장치가 개시된다. 전자 장치는 전극을 통해 감지된 생체 신호를 입력받기 위한 생체 신호 입력부 및, 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하고, 결정된 생체 신호에 따라, 전극에 대응되는 채널의 상태를 설정하며, 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 { ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF }

본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 사용자의 생체 신호를 센싱할 수 있는 착용형 전자 장치 및 그 제어 방법에 관한 것이다.

최근, 웨어러블 디바이스에 대한 연구가 활발히 진행됨에 따라 다양한 웨어러블 디바이스들이 출시되고 있다. 현재 출시되거나 출시가 예고되고 있는 웨어러블 디바이스들은 스마트 워치, HMD(Head Mounted Display) 장치 및 스마트 벨트 등이 있다.

HMD 장치는 안경을 착용하듯 착용하고, 이미지를 디스플레이할 수 있는 웨어러블 디스플레이 장치로서, 착용자의 눈에 가까운 곳에 디스플레이를 배치하고 있어, FMD(Face Mounted Display)라고도 불리어진다. HMD 장치는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.

특히, HMD 장치는 보다 실감나고 현실적인 가상 공간을 사용자에게 제공하기 위해 서라운딩 이미지를 제공할 수 있다. 서라운딩 이미지란, HMD 장치를 중심으로 전방향으로 펼쳐진 시각적 정보를 나타낼 수 있다. 따라서, HMD 장치는 HMD 장치를 착용한 사용자의 얼굴이 향하는 방향을 디렉트하여, 서라운딩 이미지 중 해당 방향에 대응하는 이미지를 디스플레이할 수 있다. 이로써, 사용자는 자신이 가상 공간에 실제로 존재하는 듯한 느낌을 받을 수 있다.

한편, HMD 장치는 키보드 혹은 마우스 등 별도의 입력 장치가 사용되기 어려운 환경이므로, 사용자의 생체 신호를 감지하고 감지된 생체 신호를 입력받아 HMD 장치를 제어하는 기술이 등장하고 있다. 생체 신호를 감지하기 위하여, 복수의 건식 전극이 HMD 장치의 착용면에 부착되어 이용될 수 있는데, 기존에는 복수의 전극을 통해 사용자의 생체 신호가 모두 입력되어, 이를 처리하기 위한 연산량 및 소모되는 전력량에 있어서 비효율이 존재하였다.

따라서, 이러한 비효율을 해결하기 위하여 HMD 장치의 사용 상황마다 필요한 생체 신호만을 입력받아 이용하도록 하기 위한 솔루션이 요구되고 있다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 사용 환경을 고려하여, 원하는 사용자의 생체 신호를 선택적으로 입력받을 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.

본 발명의 일 실시 예에 따른 전자 장치는 전극을 통해 감지된 생체 신호를 입력받기 위한 생체 신호 입력부 및, 상기 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하고, 상기 결정된 생체 신호에 따라, 상기 전극에 대응되는 채널의 상태를 설정하며, 상기 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 프로세서를 포함한다.

이때, 상기 프로세서는 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화하고, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널을 비활성화할 수 있다.

또한, 상기 프로세서는 상기 전자 장치의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 상기 생체 변화를 판단할 수 있다.

또한, 상기 전극은 제1 생체 신호를 감지하기 위해 이용되는 제1 전극, 제2 생체 신호를 감지하기 위해 이용되는 제2 전극을 포함하고, 상기 프로세서는, 상기 결정된 생체 신호가 상기 제1 생체 신호인 경우, 상기 제1 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제1 생체 신호의 특성에 기초하여 상기 제1 전극에 대응되는 채널의 상태를 설정하며, 상기 결정된 생체 신호가 상기 제2 생체 신호인 경우, 상기 제2 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제2 생체 신호의 특성에 기초하여 상기 제2 전극에 대응되는 채널의 상태를 설정할 수 있다.

또한, 상기 제1 전극은 상기 사용자의 눈의 좌측, 우측 및 상측에서 안전도 신호를 감지하기 위해 이용되고, 상기 제2 전극은, 상기 사용자의 눈의 하측에서 근전도 신호를 감지하기 위해 이용될 수 있다.

또한, 상기 전극은 복수의 생체 신호 중 상기 전자 장치의 사용 환경에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극을 포함하고, 상기 프로세서는, 상기 공통 전극에 대응되는 채널을 상기 결정된 생체 신호를 입력받을 채널로 선택하고, 상기 결정된 생체 신호의 특성에 기초하여 상기 공통 전극에 대응되는 채널의 상태를 설정할 수 있다.

또한, 상기 공통 전극은 상기 사용자의 눈의 하측에서 상기 안전도 신호 및 상기 근전도 신호 중 어느 하나의 생체 신호를 감지하기 위해 이용될 수 있다.

또한, 상기 생체 신호는 근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함할 수 있다.

상기 프로세서는, 상기 결정된 생체 신호의 특성에 기초하여, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트(sampling rate), ADC(Analog Digital Converter) 해상도 및 컷오프 주파수(cutoff frequency) 중 적어도 하나를 설정할 수 있다.

또한, 상기 프로세서는 상기 입력되는 생체 신호의 품질을 측정하고, 상기 측정된 생체 신호의 품질에 기초하여 상기 결정된 생체 신호가 입력되는 채널을 결정할 수 있다.

또한, 상기 전자 장치는 출력부를 더 포함하고, 상기 프로세서는, 상기 판단된 생체 변화에 따른 결과를 출력하도록 상기 출력부를 제어할 수 있다.

또한, 상기 출력부는 디스플레이를 포함하고, 상기 프로세서는 상기 판단된 생체 변화에 따라 상기 디스플레이의 화면을 제어할 수 있다.

또한, 상기 전자 장치의 사용 환경은 상기 디스플레이의 화면 상태를 포함하고, 상기 프로세서는 상기 디스플레이의 화면이 발화시의 입모양을 이용한 사용자 인증을 요구하는 화면인 경우, 사용자의 입 주변의 근전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 근전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단할 수 있다.

또한, 상기 프로세서는 상기 디스플레이의 화면이 네비게이팅에 의해 동작되는 화면인 경우, 안전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 안전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단할 수 있다.

또한, 상기 프로세서는 상기 디스플레이의 화면이 표정 인식을 수행하는 화면인 경우, 근전도 신호 및 안전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 근전도 신호 및 안전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단할 수 있다.

또한, 상기 근전도 신호는 서로 근접한 전극쌍의 전위차를 이용하여 감지될 수 있다.

또한, 상기 전자 장치는 움직임 감지 센서를 더 포함하고, 상기 프로세서는 상기 움직임 감지 센서를 이용하여, 사용자의 머리 회전 방향에 따라 좌안에 대응되는 안전도 신호 또는 우안에 대응되는 안전도 신호 중 하나를 선택적으로 입력받을 수 있다.

또한, 상기 프로세서는 사용자에 의한 상기 전자 장치의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 상기 전자 장치의 착용 상태를 판단하고, 상기 판단에 따른 결과를 출력하도록 상기 출력부를 제어할 수 있다.

또한, 상기 프로세서는 사용자에 의한 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극으로부터 임계치 이하의 신호가 검출되면, 상기 전자 장치가 미착용 상태라고 판단하고, 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극 외의 다른 전극을 비활성화할 수 있다.

또한, 상기 프로세서는 상기 전자 장치의 사용 환경이 사용자의 감정을 인식을 필요로 하는 경우, 전두엽 영역에서 발생하는 집중도를 나타내는 뇌전도 신호, 안면의 피부의 수화도 변화를 나타내는 피부전기전도도 신호 및 안면의 생체전기저항분석 신호 중 적어도 하나를 감지하기 위한 전극에 대응되는 채널을 통해 상기 사용자의 생체 변화를 판단하고, 상기 판단된 생체 변화를 이용하여 상기 사용자의 감정을 인식할 수 있다.

한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 상기 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하는 단계, 상기 결정된 생체 신호에 따라, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 설정하는 단계 및, 상기 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 단계를 포함한다.

이때, 상기 설정하는 단계는 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화하고, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널을 비활성화할 수 있다.

또한, 상기 판단하는 단계는 상기 전자 장치의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 상기 생체 변화를 판단할 수 있다.

또한, 상기 전극은 제1 생체 신호를 감지하기 위해 이용되는 제1 전극, 제2 생체 신호를 감지하기 위해 이용되는 제2 전극을 포함하고, 상기 설정하는 단계는 상기 결정된 생체 신호가 상기 제1 생체 신호인 경우, 상기 제1 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제1 생체 신호의 특성에 기초하여 상기 제1 전극에 대응되는 채널의 상태를 설정하며, 상기 결정된 생체 신호가 상기 제2 생체 신호인 경우, 상기 제2 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제2 생체 신호의 특성에 기초하여 상기 제2 전극에 대응되는 채널의 상태를 설정할 수 있다.

또한, 상기 제1 전극은 상기 사용자의 눈의 좌측, 우측 및 상측에서 안전도 신호를 감지하기 위해 이용되고, 상기 제2 전극은 상기 사용자의 눈의 하측에서 상기 근전도 신호를 감지하기 위해 이용될 수 있다.

또한, 상기 전극은 복수의 생체 신호 중 상기 전자 장치의 사용 환경에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극을 포함하고, 상기 설정하는 단계는 상기 공통 전극에 대응되는 채널을 상기 결정된 생체 신호를 입력받을 채널로 선택하고, 상기 결정된 생체 신호의 특성에 기초하여 상기 공통 전극에 대응되는 채널의 상태를 설정할 수 있다.

또한, 상기 설정하는 단계는 상기 결정된 생체 신호의 특성에 기초하여, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트(sampling rate), ADC(Analog Digital Converter) 해상도 및 컷오프 주파수(cutoff frequency) 중 적어도 하나를 설정할 수 있다.

또한, 상기 제어 방법은 전극을 통해 감지되는 생체 신호의 품질을 측정하는 단계 및, 상기 측정된 생체 신호의 품질에 기초하여 상기 생체 신호가 입력되는 채널을 결정하는 단계를 더 포함할 수 있다.

또한, 상기 제어 방법은 상기 판단된 생체 변화에 따른 결과를 출력하는 단계를 더 포함할 수 있다.

또한, 상기 출력하는 단계는 상기 판단된 생체 변화에 따라 상기 전자 장치에 포함된 디스플레이의 화면을 제어할 수 있다.

또한, 상기 전자 장치의 사용 환경은 상기 디스플레이의 화면 상태를 포함하고, 상기 결정하는 단계는 상기 디스플레이의 화면이 발화시의 입모양을 이용한 사용자 인증을 요구하는 화면인 경우, 사용자의 입 주변의 근전도 신호를 상기 입력받을 생체 신호로 결정할 수 있다.

또한, 상기 결정하는 단계는 상기 디스플레이의 화면이 네비게이팅에 의해 동작되는 화면인 경우, 안전도 신호를 상기 입력받을 생체 신호로 결정할 수 있다.

또한, 상기 전자 장치의 사용 환경은 상기 디스플레이의 화면 상태를 포함하고, 상기 결정하는 단계는 상기 디스플레이의 화면이 표정 인식을 수행하는 화면인 경우, 근전도 신호 및 안전도 신호를 상기 입력받을 생체 신호로 결정할 수 있다.

또한, 상기 결정하는 단계는 움직임 감지 센서를 통해 감지되는 사용자의 머리 회전 방향에 따라 좌안에 대응되는 안전도 신호 또는 우안에 대응되는 안전도 신호 중 하나의 입력을 선택적으로 결정할 수 있다.

또한, 상기 제어 방법은 사용자에 의한 상기 전자 장치의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 상기 전자 장치의 착용 상태를 판단하는 단계 및, 상기 판단에 따른 결과를 출력하는 단계를 더 포함할 수 있다.

또한, 상기 제어 방법은 사용자에 의한 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극으로부터 임계치 이하의 신호가 검출되면, 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극 외의 다른 전극을 비활성화하는 단계를 더 포함할 수 있다.

또한, 상기 결정하는 단계는 상기 전자 장치의 사용 환경이 사용자의 감정을 인식을 필요로 하는 경우, 전두엽 영역에서 발생하는 집중도를 나타내는 뇌전도 신호, 안면의 피부의 수화도 변화를 나타내는 피부전기전도도 신호 및 안면의 생체전기저항분석 신호 중 적어도 하나를 입력받을 생체 신호로 결정할 수 있다.

본 발명의 다양한 실시 예에 따르면, 생체 신호를 이용하여 제어되는 HMD 장치에 있어서, HMD 장치의 사용 상황에 따라 필요한 생체 신호만을 입력받아 이용할 수 있으므로, HMD 장치를 제어하는데 필요한 연산량 및 전력소모량을 감소시킬 수 있으며 사용자의 편의성을 증대할 수 있다.

도 1a 및 1b는 본 발명의 일 실시 예에 따른, 전자 장치의 구현 예를 설명하기 위한 도면,
도 2a 및 2b는 본 발명의 구현 예에 따른 전자 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 생체 신호를 감지하기 위한 각 전극을 설명하기 위한 도면,
도 4는 본 발명의 다른 실시 예에 따른, 생체 신호를 감지하기 위한 공통 전극을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 전자 장치에서의 각 신호 흐름 과정을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른, EOG 신호 및 EMG 신호를 나타낸 도면,
도 7은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 간략히 설명하기 위한 흐름도,
도 8은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 상세히 설명하기 위한 흐름도,
도 9 내지 12는 본 발명의 일 실시 예에 따른, 다양한 사용 환경에 따른 전자 장치의 동작을 설명하기 위한 도면,
도 13은 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.

본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 ‘제1’, ‘제2’ 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, ‘포함하다’ 또는 ‘구성하다’ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시 예에서 ‘모듈’, ‘유닛’, ‘부(Part)’ 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 ‘모듈’, ‘유닛’, ‘부(part)’ 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1a 및 1b는 본 발명의 일 실시 예에 따른, 전자 장치의 구현 예를 설명하기 위한 도면이다.

본 발명의 전자 장치(100)는 VR 컨텐츠를 제공하기 위하여 사용자의 머리에 쓰거나 안경처럼 눈 주위에 착용할 수 있는 HMD(Head Mounted Display) 장치로 구현될 수 있다. 이때, 전자 장치(100)는 사용자의 머리에 착용하기 위한 밴드 및 다양한 사용자 인터페이스 및 디스플레이가 일체형으로 구현된 일체형 HMD 장치로 구현되거나 스마트폰(smart phone) 등의 디스플레이를 포함하는 휴대용 단말 장치로 구현되어, 디스플레이가 없는 분리형 HMD 장치(케이스)에 탈착되어 사용될 수 있다.

도 1a는 사용자가 일체형 HMD 장치(100A)로 구현된 전자 장치(100)를 착용한 모습을 도시한 것이다. 여기서, 전자 장치(100)는 벨크로 방식의 밴드로 사용자의 이마와 후두부를 고정시키는 형태로 착용되어, 전자 장치(100)에서 제공되는 콘텐츠 외에 사용자의 외부 환경에 대한 시야를 차단할 수 있다.

도 1b는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 부착된 외관을 도시한 것이다. 도 1b에 도시된 바와 같이, 전자 장치(100)는 스마트 폰으로 구현되어 사용자에게 디스플레이를 제공하게 되며, 사용자의 이마와 후두부에 고정되는 분리형 HMD 장치(200)의 본체와 탈부착될 수 있다.

분리형 HMD 장치(200)는 사용자의 생체 신호를 감지할 수 있는 전극, 사용자 입력을 수신할 수 있는 버튼, 전자 장치(100)와 유무선으로 통신을 수행할 수 있는 통신 모듈 등을 포함할 수 있으며, 분리형 HMD 장치(200)의 구체적인 구성은 후술하도록 한다.

도 1b에 나타난 실시 예에 있어서, 전자 장치(100)는 스마트폰에 한정되는 것은 아니다. 전자 장치(100)는 태블릿 PC(tablet Personal Computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 네비게이션(navigation), 카메라(camera) 등 디스플레이를 포함하는 다양한 장치로 구현될 수 있다.

도 2a 및 2b는 본 발명의 구현 예에 따른 전자 장치의 구성을 간략히 도시한 블록도이다.

도 2a에 따르면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 생체 신호 입력부(110) 및 프로세서(120)를 필수적으로 포함한다.

생체 신호 입력부(110)는 사용자의 생체 신호를 입력받기 위한 구성이다. 여기서, 사용자는 전자 장치(100)를 착용하는 착용자를 의미할 수 있으며, 생체 신호는 주로 전자 장치(100)가 착용되는 부위인 사용자의 얼굴로부터 획득될 수 있다. 여기서, 생체 신호는 주로 생체 전기신호(Bioelectrical Signal)를 지칭하는 것으로서, 신경, 근육, 선(glandular) 조직의 구성성분인 흥분성 세포들의 전기화학적인 작용에 의해 발생된다. 전자 장치(100)는 전극 등의 센서를 이용해 원하는 생체 신호를 측정 후, 신호처리를 수행되게 된다.

다만, 생체 신호는 사용자의 얼굴 외의 사용자의 신체의 다양한 부위를 통해 획득할 수도 있으며, 넓은 의미로는 생체 전기신호 외의 사용자의 물리적 모션(머리 회전, 끄덕임 등)에 의해 감지되는 신호를 포함할 수 있다.

생체 전기신호로서의 생체 신호는 근전도(Electromyogram, 이하 EMG라 한다) 신호, 안전도(Electrooculogram, 이하 EOG라 한다) 신호, 뇌전도(Electroencephalogram, 이하 EEG라 한다) 신호, 심전도(Electrocardiogram, 이하 ECG라 한다) 신호, 피부전기전도도(Galvanic Skin Response, 이하 GSR이라 한다) 신호 및 생체전기저항분석(Bioelectric Impedence Analysis, 이하 BIA라 한다) 신호 중 적어도 하나를 포함하는 신호일 수 있다.

EMG 신호는 근육의 움직임을 보여주는 신호로서, 사용자의 얼굴의 근육 움직임에 의해 발생하는 전기신호이다. EMG 신호는 기본적으로 근섬유막(Muscle fiber membrane)에서 발생하는 생리적 변화에 의해 발생되는 전기 신호가 측정된 것이다. 본 발명에서 EMG 신호는 주로 사용자가 말을 하거나 어금니를 깨무는 등의 입 주위의 근육 움직임을 통해 발생되는 전기신호이다. 생체 신호 입력부(110)는 눈의 주위에 부착된(특히, 눈의 아래) 전극으로부터 감지되는 전기 신호를 EMG 신호로 수신할 수 있다.

EOG 신호는 사용자의 각막 사이의 전압 차이로 인해 눈의 움직임에 따라 발생하는 전기 신호이다. 눈의 각막(+)과 망막(-) 간에는 일정한 전위가 존재하여 일정한 쌍극자의 역할을 하며, 이를 측정하기 위해 생체 신호 입력부(110)는 눈의 좌측과 우측에 부착된 전극으로부터 감지되는 전기 신호를 EOG 신호로서 수신할 수 있다. 구체적으로, 사용자가 정면을 응시할 때는 일정한 쌍극자가 두 전극 간에 형성되며 이때의 출력은 제로(0)가 된다. 사용자가 왼족을 응시하면 + 성분이, 우측을 응시하면 - 성분이 출력되며, 전극의 극성과 움직임의 방향에 따라 +, - 성분은 바뀌게 된다. EOG 신호를 이용하여 사용자의 눈의 깜박임 또한 측정이 가능하며, 전극을 한쪽 눈의 위아래에 부착후 측정하게 된다.

EEG 신호는 신경계에서 뇌신경 사이로 신호가 전달될 때 생기는 전기 신호이다. 심신의 상태에 따라 각각 다르게 나타나며 뇌의 활동 상황을 측정하는데에 있어 가장 중요한 지표가 된다. EEG 신호는 일반적으로 두피에 부착되는 전극을 통해 감지되며, 생체 신호 입력부(110)는 이마에 부착된 전극으로부터 감지되는 전기 신호를 EEG 신호로서 수신할 수 있다.

ECG 신호는 심장의 수축과 이완시 발생되는 전기적인 신호이며 체표면에서 쉽고 빠르게 측정할 수 있는 가장 대표적인 생체신호이다. 심장의 운동은 분당 박동수(bpm)으로 표시되며, 심박수(heart rate)의 변화를 통하여 자율신경계의 변화도 알 수 있다. ECG 신호는 사용자의 얼굴에서도 측정 가능하며, 생체 신호 입력부(110)는 다양한 부위에 부착된 전극으로부터 감지되는 전기 신호를 EOG 신호로서 수신할 수 있다.

GSR 신호는 일반적으로 정서상태의 지표로 활용되는 신호로서, 피부의 전기 저항을 측정하기 위한 생체신호이다. 예를 들어, 일반적 각성상태에서는 피부의 전기저항이 감소되는 특성이 있으며, GSR 신호는 이러한 특성에 따른 피부의 전기저항 변화 정도를 나타낼 수 있다. 즉, GSR 신호는 땀샘의 활동과 관련이 있다.

BIA 신호는 인체에 해를 끼치지 않을 정도의 교류 전류를 흐르게 하는 방법으로 측정되는 신호로 신체 내 수분량을 측정할 수 있는 생체신호이다. 전류가 전도성이 가장 높은 부분을 따라 흐르는 특성을 이용하여, 인체에 미약한 교류 전류를 흘려주었을 때 계측한 전기저항으로 신체 구성을 추정하는 것이 BIA의 기본 원리이다. 수분을 많이 포함한 체지방 조직은 전도성이 뛰어나도 저항이 작으며, 수분을 거의 포함하지 않는 체지방 조직은 전도성이 떨어지고 저항이 크게 측정되며, 이러한 특성이 BIA 신호에 반영되게 된다.

다만, 생체 신호는 앞서 언급한 신호들 외에도 다양한 종류의 생체 신호를 포함할 수 있다.

또한, 생체 신호 입력부(110)는 정전기 방전 현상의 방지를 위한 ESD(Electrostatic Dischare) 방지 회로부(미도시)를 더 포함할 수 있다.

한편, 생체 신호는 전극을 통해 감지될 수 있다. 생체 신호 입력부(110)는 적어도 하나의 전극으로부터 감지되는 생체 신호를 유무선으로 입력받을 수 있으며, 실시 예에 따라서, 생체 신호를 감지하기 위한 전극은 전자 장치(100) 내에 포함되거나 전자 장치(100)와 별개로 구성될 수도 있다.

구체적으로, 본 발명의 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 실시 예의 경우, 적어도 하나의 전극이 생체 신호 입력부(110)에 포함할 수 있다. 본 발명의 전자 장치(100)가 분리형 HMD 장치(200)와 탈부착되는 휴대용 단말 장치(100B)로 구현되는 실시 예의 경우, 적어도 하나의 전극은 분리형 HMD 장치(200)에 포함되고, 생체 신호 입력부(110)는 분리형 HMD 장치(200)에 포함된 전극으로부터 감지된 생체 신호를 유무선으로 입력받을 수 있다.

한편, 생체신호 측정시 일반적으로 사용되는 Ag/AgCl 전극은 신호의 전송도는 좋지만, 재사용이 불가능하며, 다양한 부작용이 있을 수 있으므로, 본 발명의 전극은 피부와 전극 사이에 전해질을 사용하지 않으며 스테인리스 스틸이나 구리같은 금속으로 이루어진 건식 전극을 이용하는 것이 바람직하다. 건식 전극은 체내 이온에 의하여 생성되는 생체 전위 신호를 전기 신호로 변환한다.

한편, 전극은 특정한 단일 종류의 생체 신호를 감지하기 위한 전극, 복수의 종류의 생체 신호를 감지하기 위한 전극(이하, 공통 전극이라 한다), 기준 전극(reference electrode), 접지 전극(ground electrode) 등을 포함할 수 있다. 기준 전극은 접지 전극과 각각 분리되어 신체에 접촉되는 형태로 구성될 수 있으며 기준 전극과 접지 전극이 동일 전극으로 회로를 구성할 수도 있다. 본 발명의 실시 예에서는 편의상 기준 전극과 접지 전극이 동일 전극으로 사용되는 것으로 상정하여 설명하도록 한다. 각 전극은 전자 장치(100)가 고정되어 장착되는 위치인 사용자의 눈 주위의 생체 신호를 감지하여야 하므로, 일체형 HMD 장치(100A)로 구현되는 전자 장치(100) 또는 분리형 HMD 장치(200)에 있어서 눈 주위에 맞닿는 위치에 배치되며 감지하기 위한 생체 신호의 종류마다 서로 다른 위치에 배치될 수 있다. 각 전극의 부착 위치 및 기능에 대하여는 도 3을 참조하여 후술하도록 한다.

한편, 프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어하는 구성이다.

특히, 프로세서(120)는 전자 장치(100)의 사용 환경(context, 이하 콘텍스트)에 기초하여 입력받을 생체 신호를 결정할 수 있다. 여기서, 전자 장치(100)의 콘텍스트란, 전자 장치(100)의 현재 내·외부 사용 조건을 의미하는 것으로 구체적으로는, 전자 장치(100)의 현재 지리적 위치 또는 특정 오브젝트에 대한 상대적 위치, 현재 시간 및 특정 시점을 기준으로 하는 상대적 시간, 날씨, 사용자의 현재 동작 상태 또는 생체 신호를 통해 판단되는 사용자의 생체 정보 등의 콘텍스트를 포함할 수 있다.

또한, 전자 장치(100)에 포함된 디스플레이(131)의 화면 상태, 사용 히스토리를 포함할 수 있다. 디스플레이(131)의 화면 상태는, 현재 실행되고 있는 어플리케이션 또는 표시되고 있는 콘텐츠에 대한 정보, 화면의 변화에 대한 정보를 포함할 수 있다. 사용 히스토리는 과거부터 현재까지 실행된 어플리케이션 혹은 표시된 콘텐츠에 대한 정보를 포함할 수 있다.

전자 장치(100)는 콘텍스트를 판단하기 위한 각종 센서(가속도 센서, 자이로 센서, 지자기 센서, 온도 센서 등), 인터넷 등을 포함하는 네트워크를 통해 외부 서버로부터 정보를 수신하기 위한 통신 모듈을 더 포함할 수 있다.

프로세서(120)는 판단된 콘텍스트에 기초하여, 입력받을 생체 신호의 종류를 결정할 수 있다. 예를 들어, 전자 장치(100)에서 특정 어플리케이션을 사용하기 위해서 사용자 인증이 필요한 경우, 디스플레이(131)에 사용자 인증을 요구하는 화면이 디스플레이될 수 있다. 사용자 인증은, 전자 장치(100)의 잠금을 해제하는 경우, 특정 웹 사이트에 로그인하기 위한 경우, 특정 콘텐츠를 시청하기 위한 경우, 전자 결제 등을 이용하는 경우에 요구될 수 있다.

이때, 사용자 인증은 특정 단어 또는 문장의 발화에 대응되는 얼굴의 근육 움직임(특히, 입 주위의 근육 움직임)을 통해 수행될 수 있으며, 이때는 EMG 신호의 감지를 필요로 하게 된다. 프로세서(120)는 이와 같이 판단된 콘텍스트가 '사용자 인증'이라고 판단되는 경우, 사용자의 입 주변의 EMG 신호를 입력받을 생체 신호로 결정할 수 있다.

특히, 이때 프로세서(120)는 결정된 EMG 신호를 감지하기 위한 전극들 중에서 전자 장치(100)의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 생체 변화를 판단할 수 있다. 예를 들어, 사용자 발화에 따른 입 모양의 움직임을 감지하기 위한 콘텍스트인 경우, 프로세서(120)는 사용자의 입 주위에 부탁된 전극을 통해 EMG 신호를 감지하도록 제어할 수 있다.

또한, 전자 장치(100)에서 사용자 인증이 수행된 후, 특정 어플리케이션을 선택하기 위한 홈 화면, 특정 콘텐츠를 선택하기 위한 선택 화면, 커서나 화면을 움직이기 위한 화면 등의 네비게이팅(navigating) 화면이 디스플레이될 수 있다. 이때, 네비게이팅은 상하좌우로 움직이는 눈동자의 움직임을 통해 수행될 수 있으며, 이때는 EOG 신호의 감지를 필요로 하게 된다. 프로세서(120)는 이와 같이 판단된 콘텍스트가 '네비게이팅'이라고 판단되는 경우, EOG 신호를 입력받을 생체 신호로 결정할 수 있다.

한편, 입력받을 생체 신호의 종류가 결정되면, 결정된 종류의 생체 신호를 감지하기 위한 전극(이하, 타겟 전극이라 한다)에 대응되는 채널을 선택하고, 선택된 전극에 대응되는 채널의 상태를 결정된 종류의 생체 신호에 따라 설정하며, 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단할 수 있다.

구체적으로, 전극이 제1 생체 신호를 감지하기 위해 이용되는 제1 전극, 제2 생체 신호를 감지하기 위해 이용되는 제2 전극을 포함하는 실시 예를 상정할 수 있다. 이때, 프로세서(120)는 결정된 생체 신호가 제1 생체 신호인 경우, 제1 전극에 대응되는 채널을 생체 신호를 입력받을 채널로 선택하고, 제1 생체 신호의 특성에 기초하여 제1 전극에 대응되는 채널의 상태를 설정할 수 있다. 또한, 프로세서(120)는 결정된 생체 신호가 제2 생체 신호인 경우, 제2 전극에 대응되는 채널을 생체 신호를 입력받을 채널로 선택하고, 제2 생체 신호의 특성에 기초하여 제2 전극에 대응되는 채널의 상태를 설정할 수 있다.

이때, 제1 전극은, 사용자의 눈의 좌측, 우측 및 상측에서 EOG 신호를 감지하기 위해 이용되는 전극일 수 있다. 또한, 제2 전극은 사용자의 눈의 하측에서 EMG 신호를 감지하기 위해 이용되는 전극일 수 있다.

예를 들어, 프로세서(120)는 입력받을 생체 신호의 종류가 EOG 신호로 결정되면, EOG 신호를 감지하기 위한 타겟 전극에 대응되는 채널의 샘플링 레이트(sampling rate), ADC(Analog Digital Converter) 해상도 및 컷오프 주파수(cutoff frequency) 등을 EOG 신호의 특성에 따라 설정할 수 있다. 이에 따라, EOG 신호를 감지하기 위한 타겟 전극에서 감지되는 다른 생체 신호(EMG 신호, ECG 신호 등)가 제거될 수 있다.

프로세서(120)는 설정된 채널의 상태에 따라 타겟 전극으로부터 입력되는 생체 신호를 이용하여, 생체 변화(눈동자의 움직임, 얼굴 근육의 움직임)를 판단할 수 있다.

또한, 프로세서(120)는 판단된 생체 변화에 따라 디스플레이(131)의 화면을 제어할 수 있다. 예를 들어, 프로세서(120)는 판단된 생체 변화가 EOG 신호를 이용한 눈동자의 움직임 또는 눈의 깜박임인 경우, 눈동자의 움직임 또는 눈의 깜박임에 따라서, 메뉴 또는 아이콘를 선택하거나 네비게이팅 동작을 수행할 수 있다. 또한, 프로세서(120)는 판단된 생체 변화가 EMG 신호를 이용한 근육의 움직임인 경우, 근육의 움직임에 따라서, 사용자의 입모양을 판단하여 사용자 인증을 수행하거나 윙크 등의 얼굴 움직임을 판단할 수 있다.

또한, 프로세서(120)는 입력받을 생체 신호가 결정되면, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널만을 활성화하고, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널은 비활성화함으로써, 사용하지 않는 전극에 의해 소모되는 전력 낭비를 줄일 수 있다.

도 2b는 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다.

도 2b는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 부착되어 실시되는 예를 가정하였다. 전자 장치(100)는 생체 신호 입력부(110) 및 프로세서(120) 외에, 출력부(130), 메모리(140) 및 센서부(150)를 더 포함한다. 도 2a에서 이미 설명한 내용은 생략하도록 한다.

분리형 HMD 장치(200)는 사용자의 생체 신호를 감지할 수 있는 센서부(210), 사용자 입력을 수신할 수 있는 입력부(220), 전자 장치(100)와 통신할 수 있는 통신부(230) 및 메모리(240)를 포함한다.

전자 장치(100)의 생체 신호 입력부(110)는 분리형 HMD 장치(200)로부터, 감지된 생체 신호를 입력받기 위한 구성이다. 도 2b에 도시된 바와 같이, 전자 장치(100)가 분리형 HMD 장치(200)에 부착되는 휴대용 단말 장치(100B)로 구현되는 경우, 생체 신호 입력부(110)는 분리형 HMD 장치(200)와 유무선으로 통신을 수행하기 위한 통신모듈을 포함할 수 있다. 통신모듈을 이용한 분리형 HMD 장치(200)와의 통신은 다양한 방식으로 이루어질 수 있다. 전자 장치(100)와 분리형 HMD 장치(200)와의 통신은 NFC, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee) 및 블루투스(Bluetooth) 중 적어도 하나의 방식으로 실시될 수 있다.

출력부(130)는 영상 신호 및 음향 신호 중 적어도 하나를 출력하기 위한 구성이다. 출력부(130)는 영상 신호를 출력하기 위한 디스플레이(131)를 포함할 수 있고, 음향 신호를 출력하기 위한 오디오 출력부(132)를 더 포함할 수 있다.

디스플레이(131)는 전자 장치(100)에서 재생 가능한 다양한 콘텐츠를 포함하는 화면을 제공하는 구성이다. 여기서, 콘텐츠는 텍스트, 이미지, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 콘텐츠를 포함할 수 있다. 특히, 콘텐츠는 3D 이미지를 제공하기 위한 VR(Visual Reality) 콘텐츠로 구현될 수 있다.

디스플레이(131)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(131)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이(131)가 액정 방식인 경우, 디스플레이(131)는 LCD 디스플레이 패널(미도시), 이에 광을 공급하는 백라이트 유닛(미도시), 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.

오디오 출력부(132)는 전자 장치(100)에서 처리된 오디오 데이터(음향 신호)를 출력하는 스피커로 구현될 수 있다.

프로세서(120)는 판단된 생체 변화에 따른 결과를 출력하도록 디스플레이(131) 또는 오디오 출력부(132)를 제어할 수 있다. 즉, 프로세서(120)는 판단된 생체 변화에 따라 디스플레이(131)의 화면 또는 오디오 출력부(132)를 통해 출력되는 음향을 제어할 수 있다.

또한, 프로세서(120)는 사용자에 의한 분리형 HMD 장치(200)의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 분리형 HMD 장치(200)의 착용 상태를 판단하고, 판단에 따른 결과를 출력하도록 출력부(130)를 제어할 수 있다. 예를 들어, 전자 장치(100)의 착용 상태가 불량인 경우, 프로세서(120)는 분리형 HMD 장치(200)를 제대로 착용하라는 경고 메시지 또는 경고 알람을 출력할 수 있다.

이때, 프로세서(120)는 사용자에 의한 분리형 HMD 장치(200)의 착용 상태를 감지하기 위한 적어도 하나의 전극으로부터 임계치 이하의 신호가 검출되면, 분리형 HMD 장치(200)가 미착용 상태라고 판단하고, 분리형 HMD 장치(200)의 착용을 감지하기 위한 적어도 하나의 전극 외의 다른 전극에 대응되는 채널을 비활성화할 수 있다.

메모리(140)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, VR 콘텐츠를 포함하는 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장할 수 있다.

센서부(150)는 전자 장치(100)에서 이루어지는 다양한 동작을 감지하기 위한 제1 내지 n 센서(151-1 ~ 151-n) 및 제1 내지 n 센서(151-1 ~ 151-n)를 제어하기 위한 센서 제어부(152)를 포함한다. 예를 들어, 센서부(150)에 포함되는 복수의 센서(151-1 ~ 151-n)는 전자 장치(100)의 움직임을 감지하기 위한 움직임 센서(미도시), 사용자 인증을 위한 센서로서, 사용자의 홍채를 인식하기 위한 홍채 인식 센서(미도시), 지문을 인식하기 위한 지문 인식 센서(미도시), 주변 환경(기압, 온도, 습도, 조도), 사용자 제스처 등을 감지하기 위한 각종 센서 등을 포함할 수 있다.

움직임 센서는 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나의 센서를 포함할 수 있다. 움직임 센서에 포함된 각종 센서는, 이들 중 하나 또는 둘 이상의 조합을 통하여 전자 장치(100)의 3차원 움직임을 감지할 수 있다.

가속도 센서는 전자 장치(100)의 공간상 움직임을 측정하는 센서이다. 즉, 가속도 센서는 전자 장치(100)가 이동할 때 발생하는 가속도의 변화 및/또는 각가속도의 변화를 감지하는 센서를 의미한다. 가속도 센서는 3축 방향의 가속도를 감지할 수 있다. 또한, 가속도 센서는 전자 장치(100)의 기울어짐을 감지할 수 있다.

지자기 센서는 방위각(azimuth)을 측정하는 센서이다. 즉, 지자기 센서는 지구의 남북 방향으로 형성되어 있는 자기장(magnetic field)을 감지하여 방위각을 측정하는 센서를 의미한다. 지자기 센서는 3축 방향의 지자기를 감지할 수 있다. 지자기 센서로 측정되는 북쪽 방향은 자북(magnetic north)일 수 있다. 다만, 지자기 센서가 자북의 방향을 측정한다고 하더라도, 내부적인 연산을 거쳐 진북(true north)의 방향을 출력할 수도 있음은 물론이다.

자이로(gyro) 센서는 전자 장치(100)의 회전 각속도를 측정하는 관성 센서이다. 즉, 회전하는 물체가 가진 관성력을 이용하여 현재의 방향을 알 수 있는 센서를 의미한다. 자이로 센서는 2축 방향의 회전 각속도를 측정할 수 있다.

움직임 센서는 전자 장치(100)의 움직임을 센싱하여 전자 장치(100)가 움직이는 방향, 회전 각속도 등을 인식할 수 있다.

센서 제어부(152)는 제1 내지 n 센서(151-1 ~ 151-n)를 일괄적으로 제어하기 위한 구성으로, 센서 허브(sensor hurb)의 역할을 한다. 일 실시 예에 따르면, 전자 장치(100)가 대기 모드, 절전 모드 등 슬립(sleep) 모드로 동작하는 경우, 제어부(120)에 공급되는 전력이 제한되는 반면, 슬립 모드 상태에서도 센서 모듈을 통한 감지가 계속적으로 이루어지도록, 센서부(150)에 최소한의 전력이 공급될 수 있다. 즉, 센서 제어부(152)가 센서(151-1 ~ 151-n)를 통해 감지되는 신호에 기초하여 전자 장치(100)의 콘텍스트를 판단하고, 제어부(120)를 웨이크 업(wake up)할 수 있다. 제어부(120)가 웨이크 업되는 동안, 센서 제어부(152)는 판단된 콘텍스트에 기초하여 결정된 생체 신호를 감지하도록 하는 제어 신호를 분리형 HMD 장치(200)로 전송할 수 있다.

한편, 분리형 HMD 장치(200)의 센서부(210)는 사용자의 생체 신호를 감지하기 위한 복수 개의 전극을 포함할 수 있다. 복수 개의 전극은 도 2a와 관련하여 설명한 바와 같이, EMG 신호, EOG 신호, EEG 신호, ECG 신호, GSR 신호 및 BIA 신호 등 다양한 생체 신호를 감지하기 위한 전극을 포함할 수 있다. 복수의 전극은 분리형 HMD 장치(200)에서 사용자의 피부와 맞닿는 패드 부분에 부착될 수 있으며, 패드 상에서 각 전극이 감지하고자 하는 생체 신호의 종류에 따라 적절한 위치에 부착될 수 있다.

입력부(220)는 사용자의 다양한 입력을 수신하기 위한 구성으로, 물리적으로 구현된 버튼 혹은 터치 패드 등을 포함할 수 있다. 예를 들어, 입력부(220)는 통화 버튼, 밝기 조절 버튼, 음량 조절 버튼 등을 포함할 수 있으며, 전자 장치(100)에서 디스플레이되는 콘텐츠와 연계되어, 콘텐츠를 재생시키거나, 콘텐츠의 기능을 제어하는 등의 입력을 수신할 수 있다.

통신부(230)는 전자 장치(100)와 유무선 통신을 수행하기 위한 구성으로, 전자 장치(100)의 생체 신호 입력부(110)에 포함된 통신 모듈과 그 구성과 기능에 대한 설명이 중복되므로 구체적인 설명은 생략하도록 한다.

메모리(240)는 센서부(210)를 통해 감지되는 생체 신호를 저장하는 구성이다. 프로세서(250)는 하나의 전극을 통해 복수의 생체 신호를 입력받기 위하여, 전극을 통해 감지된 생체 신호를 저장하도록 메모리(240)를 제어할 수 있다. 프로세서(250)는 저장된 생체 신호를 서로 다른 필터에 통과시켜, 각각의 필터에 대응되는 생체 신호를 입력받을 수 있다.

프로세서(250)는 분리형 HMD 장치(200)를 전반적으로 제어하기 위한 구성이다. 프로세서(250)는 센서부(210)를 통해 감지되는 생체 신호를 필터링하여 노이즈를 제거할 수 있고, 감지되는 생체 신호의 특성에 기초하여 사용자가 분리형 HMD 장치(200)를 착용했는지, 혹은 제대로 착용했는지 여부를 판단할 수 있다. 여기서, 사용자의 HMD 장치(200)의 착용 여부는 상술한 여러 종류의 생체 신호에 기초하여 판단될 수 있고, 특별히 한정되지 않으나 EMG 신호를 이용하여 판단하는 것이 바람직하다.

사용자가 분리형 HMD 장치(200)를 착용한 것으로 판단되는 경우에는, 슬립 모드 상태의 전자 장치(100)에 웨이크업 신호를 전송할 수 있다. 또는, 사용자의 분리형 HMD 장치(200)의 착용 상태가 불량하다고 판단되는 경우에는, 착용이 제대로 되지 않았음을 알리는 신호를 출력하거나(이 경우, 분리형 HMD 장치(200)는 사용자에게 소정의 알림을 제공할 수 있는 LED 또는 스피커를 포함할 수 있다), 전자 장치(100)에 착용이 제대로 되지 않았음을 알리는 신호를 출력하도록 하는 신호를 전송할 수 있다.

또한, 프로세서(250)는 센서부(210)를 통해 감지되는 생체 신호의 신호 품질을 측정하고, 측정된 신호 품질에 기초하여, 특정 전극에서 감지되는 신호 품질이 불량하다는 경고를 출력하도록 하는 제어 신호를 전자 장치(100)에 전송할 수 있다. 또는, 프로세서(250)는 특정 전극에서 감지되는 신호 품질이 불량하다는 경고를 분리형 HMD 장치(200)에 제공되는 LED 또는 스피커를 통해 출력할 수도 있다.

한편, 도 2b는 전자 장치(100)가 휴대용 단말 장치(100B)로 구현되는 경우에 있어서의 전자 장치(100) 및 분리형 HMD 장치(200)의 구성 및 동작에 대하여 설명하였으나, 상술한 동작은 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우에도, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 설계 변경하여 적용할 수 있을 것이다.

예를 들어, 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우, 분리형 HMD 장치(200)에 포함되는 센서부(210)의 구성 및 동작은 전자 장치(100)의 센서부(150)로 통합될 것이며, 입출력 모듈(220)은 전자 장치(100)에 포함될 것이다. 메모리(240)는 전자 장치(100)의 메모리(140)에 통합될 것이며, 통신부(230) 및 생체 신호 입력부(110)에 포함된 통신 모듈은 생략될 수 있을 것이다. 프로세서(250)의 동작은 전자 장치(100)의 프로세서(120)의 동작으로 통합될 수 있다.

도 3은 본 발명의 일 실시 예에 따른, 생체 신호를 감지하기 위한 각 전극을 설명하기 위한 도면이다.

도 3은 일체형 HMD 장치(100A)로 구현된 전자 장치(100) 혹은 분리형 HMD 장치(200)를 착용면에서 바라본 정면도이다. 도 3에 도시된 바와 같이, 눈 주위에 착용자의 얼굴과 접착하는 패드(30)에는 EOG 신호를 감지하기 위해 이용되는 전극(31-1, 31-2, 32)과 EMG 신호를 감지하기 위해 이용되는 전극(33-1, 33-2), 기준 전극(34)이 구비될 수 있다.

기본적으로 눈의 좌측 및 우측에 한 쌍의 전극(31-1, 31-2)가 부착되어 EOG 신호를 감지할 수 있다. 각 전극(31-1, 31-2)은 하나의 전극 변화를 산출하므로 한 쌍의 전극(31-1, 31-2)은 좌우 방향만을 특정할 수 있다. 따라서, 안구의 방향을 설정하려면 상하, 좌우의 두 가지 방향을 설정하여야 하므로, 눈의 하단과 접착하는 패드(30)에 적어도 하나의 전극(32)이 추가적으로 구비될 수 있다. 따라서, 프로세서(120)는 눈의 좌측 및 우측에 부착되는 한 쌍의 전극(31-1, 31-2)이 눈의 좌우 방향을 특정하고, 눈의 우측 및 하단에 부착되는 한 쌍의 전극(31-1, 32), 또는 눈의 좌측 및 하단에 부착되는 한 쌍의 전극(31-2, 32)이 눈의 상하 방향을 특정할 수 있다. 다만, 눈의 상단과 접착하는 패드에 적어도 하나의 전극(미도시)이 추가적으로 구비될 수 있으며, 프로세서(120)는 추가적으로 구비된 눈 상단의 전극 및 눈 하단의 전극(32)을 한 쌍으로 이용하여 눈의 상하 방향을 특정할 수도 있다.

한편, 양쪽 눈의 하단에는 EMG 신호를 감지하기 위한 한 쌍의 전극(33-1, 33-2)이 부착될 수 있다. 하나의 근육에 대하여 하나의 전극이 부착되며, 하나의 수치가 산출되게 된다. 프로세서(120)는 전기의 세기에 따라 각 근육의 움직임 세기를 근육별로 저장하여, 감지된 EMG 신호의 크기를 환산할 수 있다.

EMG 신호를 감지하기 위한 전극(33-1, 33-2)은 패드(30)의 주변에 환형으로 구비될 수 있으며, 해당 전극(33-1, 33-2)은 안면 전반에 있는 근육의 움직임을 감지할 수 있다. 특히, 얼굴 형태를 주로 변화시키는 눈 주위와 광대뼈 주변의 근육의 움직임을 감지할 수 있도록 양쪽 눈의 하단에 접착하는 패드(30)에 EMG 신호를 감지하기 위한 전극(33-1, 33-2)이 각각 구비될 수 있다.

한편, EMG 신호를 감지하기 위하여, 기준 전극(reference electrode)(34)이 추가적으로 구비되는 것이 바람직하며, 양 전극(33-1, 33-2)을 통해 감지된 신호와 기준 전극(34)을 통해 감지된 신호의 차분값을 EMG 신호로 이용할 수 있다. 기준 전극(34)은 양쪽 눈의 상단 중앙 부위에 접착하는 패드(30)에 위치할 수 있다. 다만, EMG 신호를 감지하기 위한 전극이 한 쌍 추가적으로 구비되고, 근접한 전극 쌍(pair)의 전위차를 이용하여 EMG 신호를 감지하는 쌍극법(bi-polar)을 이용하는 경우에는 기준 전극(34)을 필요로 하지 아니할 수 있다.

도 4는 본 발명의 다른 실시 예에 따른, 생체 신호를 감지하기 위한 공통 전극을 설명하기 위한 도면이다.

본 발명의 일 실시 예에 따른 전극은, EOG 신호 및 EMG 신호 중 전자 장치(100)의 콘텍스트에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극(36-1, 36-2)을 더 포함할 수 있다. 프로세서(120)는 감지할 생체 신호의 종류가 결정되면, 공통 전극(36-1, 36-2)에 대응되는 채널을, 결정된 생체 신호를 입력받을 채널로 선택하고, 결정된 생체 신호의 특성에 기초하여 공통 전극(36-1, 36-2)에 대응되는 채널의 상태를 설정할 수 있다. 구체적으로는, 프로세서(120)는 공통 전극(36-1, 36-2)으로부터 감지되는 신호를 결정된 생체 신호에 따라, 생체 신호를 감지하기 위한 샘플링 레이트 및 ADC 해상도를 조정하고, EOG 신호를 걸러내기 위한 필터 및 EMG 신호를 걸러내기 위한 필터 중 어느 하나에 통과시켜, EOG 신호 및 EMG 신호를 분리할 수 있다.

일체형 HMD 장치(100A)로 구현된 전자 장치(100) 혹은 분리형 HMD 장치(200)는 적어도 하나의 공통 전극을 포함할 수 있으며, 도 4는 한 쌍의 공통 전극(36-1, 36-2)이 패드(30)의 양쪽 눈의 하단에 접착하는 위치에 구비된 예를 도시한 것이다.

EOG 신호를 감지하기 위한 전극(31-1, 31-2, 35-1, 35-2)은 양쪽 눈의 좌·우측, 양쪽 눈의 상단에 한 쌍씩 구비될 수 있다.

도 4의 공통 전극(36-1, 36-2)은 전자 장치(100)의 콘텍스트에 따라 EMG 신호를 감지하기 위한 전극 혹은 EOG 신호를 감지하기 위한 전극으로 이용될 수 있다. 예를 들어, 프로세서(120)는 현재 전자 장치(100)의 콘텍스트가 '네비게이팅'이라고 판단되면 입력받을 생체 신호의 종류를 EOG 신호로 결정할 수 있다. 이때, 프로세서(120)는 한 쌍의 공통 전극(36-1, 36-2)을 이용하여 눈의 좌·우 방향을 판단할 수 있으며, 한 쌍의 공통 전극(36-1, 36-2) 중 어느 하나와 양쪽 눈 상단의 전극(35-1, 35-2) 중 어느 하나를 이용하여 눈의 상·하 방향을 판단할 수 있다.

또한, 프로세서(120)는 현재 전자 장치(100)의 콘텍스트가 '사용자 인증'이라고 판단되면 입력받을 생체 신호의 종류를 EMG 신호로 결정할 수 있다. 이때, 프로세서(120)는 한 쌍의 공통 전극(36-1, 36-2) 및 기준 전극(34)을 이용하여 얼굴 근육의 움직임을 판단할 수 있다.

즉, 공통 전극(36-1, 36-2)은 전자 장치(100)의 콘텍스트에 따라서 EOG 신호를 감지하거나 혹은 EMG 신호를 감지하기 위해 공통적으로 이용되는 전극이다. 콘텍스트에 따라서, 공통 전극(36-1, 36-2)은 타 전극들(31-1, 31-2, 33-1, 33-2, 34, 35-1, 35-2)과 함께 생체 신호를 감지하도록 이용될 수 있다.

한편, 프로세서(120)는 생체 신호의 특성에 따라, 공통 전극(36-1, 36-2)에 대응되는 채널의 상태를 설정할 수 있다. 구체적으로, 프로세서(120)는 상술한 바와 같이, 공통 전극(36-1, 36-2)에 대응되는 채널의 샘플링 레이트, 컷오프 주파수 및 ADC 해상도 등을 결정된 생체 신호의 특성에 맞게 설정하여, 결정된 생체 신호에 대한 전기 신호만을 입력받을 수 있다.

구체적인 생체 신호의 입력 과정은 도 5를 참조하여 구체적으로 설명하도록 한다.

도 5는 본 발명의 일 실시 예에 따른, 전자 장치에서의 각 신호 흐름 과정을 설명하기 위한 도면이다.

도 5에 도시된 실시 예는 분리형 HMD 장치(200)에 구비된 복수의 전극(211)으로부터 감지된 생체 신호가 분리형 HMD 장치(200)에 장착된 전차 장치(100)에 입력되어 처리되는 과정을 도시한 것이다.

복수의 전극(211)으로부터 감지되는 생체 신호는 각 전극(211)에 대응되는 채널(41-1 내지 41-n)을 통해 전자 장치(100)로 전송된다. EMG 신호는 아날로그-디지털 변환기(Analog-Digital Converter: ADC)(214)를 거쳐 디지털 신호로 변환된다. 따라서, 분리형 HMD 장치(200)는 ADC(214)를 기점으로 아날로그 신호를 처리하는 ①아날로그 프론트 엔드(analog front end) 및 아날로그 신호가 변환된 디지털 신호를 처리하는 ②디지털 회로(Digital Circuit)로 구성된다.

① 아날로그 프론트 엔드(analog front end)는 센서부(210)의 동작을 포함한다. 구체적으로, 생체 신호를 감지하는 전극(211), 감지된 생체 신호를 증폭시키는 앰프(AMP)(212), 증폭된 생체 신호의 노이즈를 제거하기 위한 HPF(High Pass Filter)/LPF(Low Pass Filter)(213) 및 노이즈가 제거된 생체 신호를 디지털 신호로 변환하기 위한 ADC(214)의 동작이 포함한다. ② 디지털 회로(Digital Circuit)는 디지털로 변환된 생체 신호를 처리하기 위한 구성으로, HPF(High Pass Filter)/LPF(Low Pass Filter)를 통한 필터링을 수행하는 프로세서(250) 및 전자 장치(100)로 필터링된 디지털 생체 신호를 전송하기 위한 통신부(230)를 포함한다. 도 5에 도시된 실시 예에서, 프로세서(250)는 MCU(Micro Controller Unit)으로 구현되었다.

생체 신호가 EMG 신호인 경우를 예로 들어 설명하면, 도 3에서 EMG 신호를 감지하기 위해 이용되는 전극(33-1, 33-2)을 통해, 사용자의 우측 얼굴 근육에서 감지되는 EMG 신호의 전압과 기준 전극(34)을 통해 감지된 기준 전압 간의 전위차가 검출될 수 있다. 검출된 전위차를 포함하는 EMG 신호는 분리형 HMD 장치(200)에 구비된 앰프(212)를 통해 증폭되고, 증폭된 EMG 신호는 분리형 HMD 장치(200)에 구비된 HPF/LPF(213)를 통해 노이즈가 제거될 수 있다. 여기서, HPF는 증폭된 EMG 신호에서 직류 성분의 노이즈를 제거하고, LPF는 증폭된 EMG 신호에서 직류 성분이 아닌 노이즈를 제거할 수 있다.

노이즈가 제거된 EMG 신호는 ADC(214)를 거쳐 디지털 신호로 변환되며, MCU(250) 내에서 고역 및 저역 통과 필터링 과정을 거친 후, 통신부(230)로 전송되고, 실시간으로 통신 연결되어 있는 전자 장치(100)로 전송된다.

프로세서(120)는 복수의 채널(41-1 내지 41-n) 중에서 타겟 전극 또는 공통 전극에 대응되는 채널을, 결정된 생체 신호를 입력받을 채널로 선택하고, 결정된 생체 신호의 특성에 기초하여 타겟 전극 또는 공통 전극에 대응되는 채널의 상태를 설정할 수 있다.

구체적으로, 전자 장치(100)의 콘텍스트에 기초하여, 입력받을 생체 신호가 결정되면, 프로세서(120)는 결정된 생체 신호에 대한 정보를 생체신호 입력부(110)에 포함된 통신모듈을 통해 분리형 HMD 장치(200)로 전송할 수 있다. 이때, 전자 장치(100)의 생체신호 입력부(110) 및 분리형 HMD 장치(200)의 통신부(230)의 통신 방식은 유선 또는 무선으로 이루어질 수 있다.

전자 장치(100)의 생체신호 입력부(110) 및 분리형 HMD 장치(200)의 통신부(230)의 통신이 무선으로 이루어지는 실시 예의 경우, NFC, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee) 및 블루투스(Bluetooth) 중 적어도 하나의 방식으로 통신이 수행되도록 구현될 수 있으며, 이 외에도 다양한 무선 통신 방식을 이용하여 통신을 수행하도록 구현될 수 있다.

또한, 전자 장치(100)의 생체신호 입력부(110) 및 분리형 HMD 장치(200)의 통신부(230)의 통신이 유선으로 이루어지는 실시 예의 경우에는 범용 비동기화 송수신기(Universal Asynchronous Receiver/Transmitter: UART)의 방식을 포함하는 다양한 방식으로 통신이 수행되도록 구현될 수 있다.

분리형 HMD 장치(200)의 통신부(230)가 전자 장치(100)의 생체신호 입력부(110)로부터 콘텍스트에 따라 결정된 생체 신호에 대한 정보를 수신하면, MCU(250)는 결정된 생체 신호의 종류가 무엇인지 판단하고, 결정된 생체 신호의 종류에 따라 해당 생체 신호를 감지하기 위한 타겟 전극에 대응되는 채널을 선택한다. 이후, MCU(250)는 선택된 채널을 통해 수신된 생체 신호에 대한 샘플링 레이트, ADC 해상도 및 컷오프 주파수 중 적어도 하나를 결정된 생체 신호의 특성에 따라 설정하도록 HPF/LPF(213), ADC(214) 등을 제어할 수 있다. 즉, MCU(250)는 소프트웨어 필터링을 수행하도록 센서부(210)를 제어할 수 있다.

ADC(214)는 결정된 생체 신호의 종류에 따라 선택된 채널을 통해서만 MCU(250)에 디지털 신호로 변환된 생체 전기 신호를 전송할 수 있다. 이에 따라, MCU(250)는 모든 채널을 통해 감지된 생체 신호를 전송받지 않고, 콘텍스트에 따라 선택적으로 특정 채널을 통해서만, 감지된 생체 신호를 전송받을 수 있다. 즉, MCU(250)는 콘텍스트에 따라 선택된 채널 외에 다른 채널을 통해 수신되는 신호는 처리하지 않고 무시하도록 ADC(214)를 제어할 수 있다.

예를 들어, 콘텍스트에 따라 결정된 생체 신호가 EOG 신호인 경우, 프로세서(120)는 결정된 생체 신호가 EOG 신호라는 정보를 통신부(230)로 전송하도록 센체신호 입력부(110)를 제어할 수 있다. 통신부(230)가 해당 정보를 수신하면, MCU(250)는 EOG 신호를 감지하기 위한 타겟 전극에 대응되는 채널을 선택하고, 선택된 채널로 전송되는 EOG 신호만을 MCU(250)에 전송하도록 ADC(214)를 제어할 수 있다. 또한, MCU(250)는 감지되는 생체 신호의 샘플링 레이트, 컷오프 주파수를 EOG 신호의 진폭 및 주기에 대응되도록 설정함으로써, 선택된 채널을 통해 전송되는 생체 신호에서 EOG 신호를 제외한 나머지 신호를 여과할 수 있다.

또한, 다른 실시 예로서, MCU(250)는 선택된 채널 외에 다른 채널을 통해 생체 신호가 전송되지 않도록 AMP(212), HPF/LPF(213) 및 ADC(214) 중 어느 하나에 공급되는 전원을 제어할 수 있다. 즉, AMP(212), HPF/LPF(213) 및 ADC(214)는 각 채널별로 전원이 공급될 수 있다.

즉, MCU(250)는 입력받을 생체 신호가 결정되면, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널만을 활성화하고, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널은 비활성화함으로써, 사용하지 않는 전극에 의해 소모되는 전력 낭비를 줄일 수 있다.

한편, 본 발명의 일 실시 예에 따르면, MCU(250)는 생체 신호의 입력 상태를 측정하고, 측정된 생체 신호의 입력 상태에 따라 생체 신호가 입력될 채널을 변경할 수 있다. 구체적으로, MCU(250)는 생체 신호가 감지될 부위에 대한 타겟 전극의 접촉 상태 혹은 임피던스 수치를 판단하고, 타겟 전극의 접촉 상태가 불량하거나(예를 들어, 감지되는 생체 신호의 크기가 기설정된 값보다 지나치게 큰 경우), 임피던스 수치가 기설정된 값보다 높게 측정되는 경우(예를 들어, 사용자의 얼굴에 화장이 진하게 된 경우)라고 판단되면 동일한 종류의 생체 신호를 측정하는 다른 전극으로 타겟 전극을 변경할 수 있다. 기준 전극이 복수 개 존재하는 경우에도, 기준 전극의 접촉 상태 혹은 BIA 신호에 의한 임피던스 수치에 기반하여 기준 전극을 변경할 수 있다.

예를 들어, 도 4를 참조하면, 눈 하부의 EMG 신호를 감지하기 위한 한 쌍의 전극(33-1, 33-2)이 EMG 신호를 감지하기 위한 타겟 전극으로 설정될 수 있으나, 한 쌍의 전극(33-1, 33-2) 중 어느 하나의 전극을 통해 측정되는 EMG 신호의 입력 상태가 불량한 경우, MCU(250)는 해당 불량 전극 대신 공통 전극(36-1, 36-2) 중 불량 전극에 가까운 어느 하나로부터 EMG 신호를 입력받도록 타겟 전극을 변경할 수 있다. 예를 들어, EMG 신호의 입력 상태에 따라 한 쌍의 전극(33-1, 33-2) 중 좌측 눈의 하단의 전극 및 한 쌍의 공통 전극(36-1, 36-2) 중 우측 눈의 하단의 공통 전극을 한 쌍으로 하여 EMG 신호를 입력받을 수 있다.

한편, 이러한 생체 신호의 입력 상태는, 생체 신호의 임피던스 수치 뿐만 아니라, 신호대잡음비(Signal-to-Noise Ratio: SNR), 공통모드제거비(Common Mode Rejection Ratio: CMRR) 등을 이용하여 측정될 수 있다.

한편, 이상과 같이, 도 5에 도시된 실시 예는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 탈착되어 실시되는 예에 있어서, 전자 장치(100) 및 분리형 HMD 장치(200)를 도시한 것으로, 상술한 개시는 전자 장치(100) 및 분리형 HMD 장치(200)의 동작을 각각 설명한 것이다. 그러나, 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우에도 도 5에 도시된 기술적 사상이 동일하게 적용될 수 있다. 이 경우, 도 5의 분리형 HMD 장치(200)의 MCU(250)의 동작은 전자 장치(100)의 프로세서(120)에서 수행될 수 있으며, 전자 장치(100)와 통신하기 위한 분리형 HMD 장치(200)의 통신부(230)는 생략될 수 있을 것이다.

이하에서는, 별도의 설명이 없는 한 본 발명의 전자 장치(100)를 일체형 HMD 장치로 상정한 실시 예에 대하여 설명하도록 한다. 그러나, 이하 설명되는 발명의 기술적 사상은 본 발명의 전자 장치(100)가 센서가 구비된 분리형 HMD 장치와 탈착되는 휴대용 단말 장치로 구현되어 실시되는 경우에도 적용될 수 있음은 물론이다.

도 6은 본 발명의 일 실시 예에 따른, EOG 신호 및 EMG 신호를 나타낸 도면이다.

도 6의 (a)는 EOG 신호를 감지하기 위해 이용되는 전극 또는 공통 전극에서 감지된 EOG 신호의 파형을 도시한 것이다. 도 6의 (b)는 EMG 신호를 감지하기 위해 이용되는 전극 또는 공통 전극에서 감지된 EMG 신호의 파형을 도시한 것이다.

전자 장치(100)에 부착되는 전극은 모두 눈 주위에 근접하게 위치하고 있으므로, 도 6의 (a)에 나타난 EOG 신호에는 EMG 신호가 포함되고, (b)에 나타난 EMG 신호에는 EOG 신호가 포함된 형태로 나타날 수 있다.

이때, 프로세서(120)는 (a)의 신호에서 (b)의 신호를 차분하여 도 6의 (c)에 도시된 것과 같은 EMG 신호의 파형(62)을 도출할 수 있다. 한편, 프로세서(120)는 (a)의 신호에서 도출된 EMG 신호의 파형(62)을 차분하여, EOG 신호의 파형(61)을 도출할 수 있게 된다.

도 7은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 간략히 설명하기 위한 흐름도이다.

전자 장치(100)의 동작은 크게 세 단계로 분류될 수 있다. 전자 장치(100)의 착용 상태를 감지하는 단계(S710), 감지된 생체 신호의 신호 품질을 판단하는 단계(S720) 및 감지된 생체 신호를 처리하여, 사용자의 생체 변화에 따른 동작을 ㅅ수행하는 단계(S730)이다.

S710 단계에서는, 전자 장치(100)가 사용자에게 착용되었는지 및 착용 상태가 불량인지 여부를 판단한다. 전자 장치(100)의 착용 상태는 전자 장치(100)의 전극을 통해 감지되어 생체 신호 입력부(110)에 입력되는 생체 신호로부터 판단될 수 있는데, 특히, 전극 중 BIA 신호를 이용하여 판단될 수 있다. 전자 장치(100)의 착용 상태를 감지하기 위하여, 생체 신호 입력부(110)에는 생체 신호를 감지하기 위한 최소한의 전력이 공급될 수 있다. 즉, 전자 장치(100)는 슬립 모드로 동작하면서, 생체 신호가 감지되면 노말 모드(전력이 정상적으로 공급되는 상태)로 전환될 수 있다.

다른 실시 예로는, 전자 장치(100)가 슬립 모드인 상태에서, 센서부(150)에 최소한의 전력이 공급되고, 센서부(150)를 통해 전자 장치(100)의 움직임이 감지되면 생체 신호 입력부(110)에 전력을 공급하여 생체 신호를 입력받을 수 있다.

한편, 전자 장치(100)는 특정 위치의 전극으로부터 감지되는 생체 신호의 특성을 이용하여, 전자 장치(100)가 사용자에게 착용되었는지 여부를 판단할 수 있다. 사용자가 전자 장치(100)를 제대로 착용했을 때의 특정 위치의 전극으로부터 감지되는 특정 생체 신호의 특성은 메모리(140)에 저장되며, 메모리(140)에 저장된 특정 생체 신호의 특성과 현재 감지되는 특정 생체 신호의 특성을 비교하여, 전자 장치(100)가 착용되었는지 여부 및 전자 장치(100)의 착용 상태가 불량인지 여부가 판단될 수 있다.

전자 장치(100)의 착용 상태가 불량인 경우, 전자 장치(100)는 출력부(130)를 통해, 전자 장치(100)를 제대로 착용하라는 경고 메시지 또는 경고 알람을 출력할 수 있다.

전자 장치(100)가 제대로 착용된 경우, S720 단계에서는 생체 신호 입력부(110)를 통해 입력되는 생체 신호의 품질을 판단한다. 전자 장치(100)에 포함된 복수의 전극으로부터 감지되는 생체 신호를 모두 입력받을 수 있도록 복수의 전극에 대응되는 채널의 상태가 각각 활성화될 수 있다. 이에 따라, 전자 장치(100)는 복수의 전극으로부터 감지되는 신호의 품질을 모두 판단할 수 있다.

전자 장치(100)는 복수의 전극으로부터 감지되는 신호를 정상적으로 감지되는 정상 신호와 비교하여, 특정 전극의 신호 품질이 불량이라고 판단되면, 해당 전극을 교체하라는 경고를 출력하거나, 신호 품질이 불량이라고 판단된 전극 주위의 다른 전극을 통해 생체 신호를 감지할 수 있다. 이때, 신호 품질은 신호 대 잡음비(Signal-to-Noise Ratio, 이하 SNR), 시간 영역(time domain)에서의 신호 전류의 진폭의 크기 및 주파수 영역(frequency domain)에서의 신호 전류의 범위(range) 중 적어도 하나에 대한 분석을 통해 판단될 수 있다.

한편, S730 단계에서는 전자 장치(100)의 현재 콘텍스트에 기초하여 입력받을 생체 신호를 결정하고, 결정된 생체 신호를 입력받아 처리한다. 구체적으로 전자 장치(100)는 결정된 생체 신호에 따라 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 설정하고, 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단한다. 판단된 생체 변화에 따라, 다양한 동작이 수행될 수 있다. 생체 변화에 따라 수행되는 동작은 도 9 내지 12에 도시된 실시 예에서 구체적으로 설명하도록 한다.

도 8은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 상세히 설명하기 위한 흐름도이다.

먼저, 전자 장치(100)의 착용 여부를 판단하기 위해, 전자 장치(100)는 전자 장치(100)의 착용 상태를 감지하기 위한 전극을 통해, 특정 생체 신호를 감지하여 입력받는다(S810). 여기서, 착용 여부 판단을 위해 감지되는 생체 신호는 EMG 신호임이 바람직하나, 반드시 이에 한정되는 것은 아니며, 다양한 생체 신호에 의해 착용 여부가 판단될 수 있다. 이때, 전자 장치(100)가 사용자에 의해 들어올려지면, 전자 장치(100)에 포함된 움직임 센서(160)에 의해 전자 장치(100)의 움직임이 감지되고, 전자 장치(100)의 착용 여부를 판단하기 위한 EMG 신호를 감지할 수 있는 전극에 대응되는 채널이 활성화될 수 있다.

전자 장치(100)가 착용되었다고 판단되면(S820:Y), 전자 장치(100)는 전극으로부터 감지되는 생체 신호를 입력받고, 입력된 생체 신호를 기록한다(S830). 전자 장치(100)가 착용되지 않은 것으로 판단되면(S820:N), 일부 전극 또는 모든 전극에 대응되는 채널을 비활성화하여, 전극의 활성화에 따른 전력 소모를 줄일 수 있다.

또한, 전자 장치(100)는 전자 장치(100)의 착용 상태에 대한 판단에 따른 결과를 출력할 수 있다. 착용 상태가 불량하면, 착용이 제대로 되지 않았다는 메시지 또는 안내 음성을, 착용 상태가 양호하면, 착용이 제대로 되었다는 메시지 또는 안내 음성을 출력할 수 있다.

이후, 입력된 생체 신호의 품질을 측정하고, 측정된 생체 신호의 품질이 허용 수준 이상인지 여부를 판단한다(S850). 이때, 측정된 생체 신호의 품질은 생체 신호의 임피던스 뿐만 아니라, SNR, CMRR 등을 이용하여 측정될 수 있으며, 측정된 수치가 기설정된 임계값 이상이면, 품질이 불량이라고 판단될 수 있다. 마찬가지로 측정된 수치가 기설정된 임계값 미만이면, 품질이 양호하다고 판단될 수 있다.

측정된 생체 신호의 품질이 불량이라고 판단된 경우에는(S850:N) 출력부(130)를 통해 전극이 불량이라는 경고 메시지 또는 경고음을 출력하거나 측정된 생체 신호의 품질이 불량인 해당 불량 전극을 주위의 다른 전극으로 대체하여 생체 신호를 감지할 수 있다.

측정된 생체 신호의 품질이 양호하다고 판단된 경우에는(S850:Y) 전자 장치(100)의 콘텍스트를 판단한다(S860). 전자 장치(100)는 판단된 콘텍스트에 기반하여, 입력받을 생체 신호를 결정하고, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화한다(S880). 전자 장치(100)는 콘텍스트에 기초하여, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 결정된 생체 신호를 입력받기 적절한 상태로 설정함으로써, 생체 신호를 처리할 수 있다(S890). 이때, 전자 장치(100)는 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트, ADC 해상도 및 컷오프 주파수를 설정할 수 있다.

도 9 내지 12는 본 발명의 일 실시 예에 따른, 다양한 사용 환경에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

도 9는 전자 장치(100)의 콘텍스트가 사용자 인증을 위한 화면이 디스플레이되는 환경인 경우를 나타낸 것이다.

도 9의 (a)에 도시된 실시 예에 따르면, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 EOG 신호를 감지하기 위한 전극(31-1, 31-2, 35) 및 EMG 신호를 감지하기 위한 전극(33-1, 33-2, 37), EOG 신호 및 EMG 신호를 모두 감지하기 위한 공통 전극(36), 기준 전극(34) 및 접지 전극(38-1, 38-2)이 구비될 수 있다.

양안의 좌측 관자놀이 및 우측 관자놀이 부근에 각각 부착될 수 있도록 마련된 한 쌍의 전극(31-1, 31-2)은 안구의 좌우 방향의 움직임을 감지하고, 우측 눈의 상단 및 하단에 각각 부착될 수 있도록 마련된 전극(35, 36)은 안구의 상하 방향의 움직임을 감지할 수 있다. 우측 눈 하단의 공통 전극(36)은 EMG 신호 또는 EOG 신호를 모두 감지할 수 있으나, 프로세서(120)는 전자 장치(100)의 콘텍스트에 기초하여 EMG 신호 혹은 EOG 신호를 걸러내기 위한 필터링을 수행하여 EMG 신호 또는 EOG 신호를 선택적으로 입력받을 수 있다.

도 9의 (b)에 도시된 실시 예에 따르면, 전자 장치(100)가 잠금 상태인 경우, 사용자가 처음 전자 장치(100)를 착용하게 되면 "Lock 해제 후 도킹해주세요"라는 메시지가 출력되게 된다. 종래에는 이와 같은 메시지에 따라 사용자가 전자 장치(100)의 락을 해제하고 다시 착용을 하여야 하는 불편이 있었으나, 본 발명에서는 사용자가 전자 장치(100)를 벗지 않고도 사용자의 생체 신호를 이용하여 잠금을 해제할 수 있다.

구체적으로, 복수의 전극으로부터 감지되는 EOG 신호, EMG 신호 및 전자 장치(100)에 포함된 마이크(미도시)를 통해 입력되는 음성 신호 등을 이용하여 잠금을 해제할 수 있다. 예를 들어, 도 9의 (b)에 도시된 바와 같이, 디스플레이(131)는 잠금 해제를 요구하는 화면의 일 측에 "say unlock"이라는 메시지를 디스플레이할 수 있다. 이때, 프로세서(120)는 사용자가 "say unlock"이라는 메시지를 바라보면서, "unlock"을 발화하면 잠금이 해제되도록 제어할 수 있다.

구체적으로, 디스플레이(131)에 사용자 인증을 요구하는 화면(예를 들어, 잠금 화면, 결제 화면 등)이 디스플레이되는 경우, 프로세서(120)는 전자 장치(100)의 이러한 콘텍스트(사용자 인증)에 기초하여, 사용자의 시선을 감지하기 위한 EOG 신호 및 사용자의 입모양을 감지하기 위한 EMG 신호를 입력받을 생체 신호로 결정할 수 있다. 프로세서(120)는 결정된 생체 신호에 따라, EOG 신호를 입력받기 위한 전극(31-1, 31-2, 35, 36)에 대응되는 채널 및 EMG 신호를 입력받기 위한 전극(33-1, 33-2, 37)에 대응되는 채널을 활성화하고, 활성화된 채널을 통해 생체 신호를 입력받을 수 있다. EMG 신호를 입력받기 위한 전극으로, 공통 전극(36)이 더 포함될 수 있으며, 이때 공통 전극(36)을 통해 감지된 두 EOG 신호 및 EMG 신호는 필터링을 거쳐 서로 분리할 수 있다.

이후, 프로세서(120)는 양안 주위의 전극(31-1, 31-2, 35, 36)으로부터 감지되는 EOG 신호를 통해, 사용자의 시선이 화면의 일 측에 디스플레이된 "say unlock"이라는 메시지에 향하는 조건(조건 1), 마이크를 통해 감지된 음성 신호가 "unlock"으로 인식되는 조건(조건 2) 및 입 주변의 전극(33-1, 33-2, 36, 37)으로부터 감지된 EMG 신호를 통해, 사용자의 입모양이 "unlock"을 발화하는 입모양과 매칭되는 조건(조건 3)을 모두 만족하면, 화면 잠금을 해제할 수 있다.

이에 따라, 이미 인증된 사용자가 전자 장치(100)를 착용하여 "unlock"을 직접 발화한 경우에만 화면 잠금이 해제될 수 있다. 따라서, 사용자가 직접 발화를 하지 않고 녹음된 소리를 재생하는 경우에는 잠금이 해제되지 않도록 하여 보안성을 높일 수 있으며, 시끄러운 환경에서 EMG 신호를 감지하여 사용자가 "unlock"을 발화했는지 여부를 판단함으로써, 사용자를 인식하는 마이크의 보조 수단으로 활용할 수 있다.

도 10은 전자 장치(100)의 콘텍스트가 표정 인식을 위한 화면이 디스플레이되는 환경인 경우를 나타낸 것이다.

도 10의 (a)에 도시된 실시 예에 따르면, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 EMG 신호를 감지하기 위한 전극(33-1, 33-2), EOG 및 EMG 신호를 모두 감지하기 위한 공통 전극(36-1, 36-2, 39-1, 39-2, 40-1, 40-2), 기준 전극(34) 및 접지 전극(38)이 구비될 수 있다.

표정 인식을 위한 화면에서는 사용자의 표정을 정확하게 인식해야 할 필요도가 높아지므로, 얼굴의 각 부위에서 EMG 신호를 감지하기 위한 전극을 많이 필요로 하게 된다. 표정 인식은 사용자의 시선 인식도 포함하므로, 패드(30)에서 눈에 부착되는 위치에 EOG 및 EMG를 모두 감지할 수 있는 공통 전극(36-1, 36-2, 39-1, 39-2, 40-1, 40-2)이 구비될 수 있다.

도 10의 (b)는 사용자의 표정 변화(시선 방향, 입의 움직임)를 인식하여, 사용자의 표정을 트래킹하는 물고기를 디스플레이하는 표정 인식 어플리케이션이 실행된 화면을 도시한 것이다. 사용자의 표정 변화에 따라 물고기의 눈동자의 위치 또는 입모양을 포함한 물고기의 표정이 변경될 수 있다. 사용자의 시선 변화는 단안의 움직임 또는 양안의 움직임에 기초하여 감지될 수 있다. 단안의 움직임에 따라 사용자의 시선 변화가 감지되는 경우, 양안의 관자놀이 부근의 공통 전극(40-1, 40-2)과 양안 중 어느 한쪽 눈의 상하에 부착되는 공통 전극(36-1, 39-1 또는 36-2, 39-2)을 이용하여 사용자의 시선 변화가 감지될 수 있다.

또한, 사용자의 입 모양에 기반한 단축 명령이 기저장될 수 있으며, EMG 신호를 감지하기 위한 전극(33-1, 33-2, 36-1, 36-2)을 통해 인식된 사용자의 입모양에 대응되는 단축 명령이 실행될 수도 있다. 즉, 사용자는 전자 장치(100)를 핸즈프리(hands-free) 방식으로 사용할 수 있다. 여기서, 단축 명령은, 홈 화면(전자 장치(100)의 O/S 또는 특정 어플리케이션이 실행되면 기본적으로 표시되는 콘텐츠 선택 화면)을 디스플레이하기 위한 "Home", 이전 화면으로 돌아가기 위한 "Back", 특정 메뉴 또는 콘텐츠를 선택하기 위한 "Select", 음량을 조절하기 위한 "Volume" 등을 포함할 수 있다. 예를 들어, 프로세서는 사용자가 "Home"을 발음하는 입모양을 인식하여, 홈 화면을 디스플레이할 수 있다.

디스플레이(131)에 표정 인식을 수행하는 화면이 디스플레이되는 경우((예를 들어, 표정 인식 어플리케이션이 실행된 경우 등), 프로세서(120)는 전자 장치(100)의 이러한 콘텍스트(표정 인식)에 기초하여, 사용자의 표정을 인식하기 위한 EMG 신호 및 사용자의 시선을 감지하기 위한 EOG 신호를 입력받을 생체 신호로 결정할 수 있다. 프로세서(120)는 결정된 생체 신호에 따라, EOG 신호 및 EMG 신호를 입력받기 위한 전극에 대응되는 채널을 활성화할 수 있는데, 도 10의 (a)에 도시된 실시 예에서는 EMG 신호를 감지할 수 있는 전극(33-1, 33-2)과 같이 단일 종류의 생체 신호를 감지하기 위한 전극뿐만 아니라 EOG 신호 및 EMG 신호를 모두 감지할 수 있는 공통 전극(36-1, 36-2, 39-1, 39-2, 40-1, 40-2)이 활용될 수 있다.

한편, 프로세서(120)는 전자 장치(100)에 포함된 움직임 감지 센서를 이용하여, 사용자의 머리를 트래킹할 수 있다. 사용자의 머리가 좌 방향으로 회전할 경우, 왼쪽 안구의 움직임으로부터 감지되는 EOG 신호가 오른쪽 안구의 움직임으로부터 감지되는 EOG 신호보다 크고, 사용자의 머리가 우 바향으로 회전할 경우, 오른쪽 안구의 움직임으로부터 감지되는 EOG 신호가 왼쪽 안구의 움직임으로부터 감지되는 EOG 신호보다 크다.

따라서, 프로세서(120)는 움직임 감지 센서를 이용하여, 사용자의 머리 회전 방향에 따라 좌안에 대응되는 안전도 신호 또는 우안에 대응되는 안전도 신호 중 하나를 선택적으로 입력받을 수 있다. 예를 들어, 프로세서(120)는 사용자의 머리가 좌 또는 우로 회전할 때에는 좌안의 EOG 신호를 감지하기 위한 전극(36-1, 39-1, 40-1)에 대응되는 채널 또는 우안의 EOG 신호를 감지하기 위한 전극(36-2, 39-2, 40-2)에 대응되는 채널을 선택적으로 활성화하여, 단안의 EOG 신호만을 이용하여 사용자의 시선 움직임을 판단할 수 있다.

한편, 도 11의 (a)에 도시된 실시 예에 따르면, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 EMG 신호를 감지하기 위한 전극(32-1, 32-2, 33-1, 33-2, 41-1, 41-2, 42-1, 42-2), 기준 전극(34) 및 접지 전극(38)이 구비될 수 있다.

도 11의 (b)와 같이, 디스플레이(131)에 표정 인식 어플리케이션이 실행된 경우, 프로세서(120)는 전자 장치(100)의 이러한 콘텍스트(표정 인식)에 기초하여, 사용자의 표정을 인식하기 위한 EMG 신호를 입력받을 생체 신호로 결정할 수 있다. 다만, 표정 인식 중 사용자의 눈의 움직임을 감지해야 할 필요가 있을 경우에는 EMG 신호를 감지하기 위한 전극 중 눈 주위의 일부 전극을 이용하여 EOG 신호를 추가적으로 입력받을 수도 있다.

구체적으로, 전자 장치(100)가 공통 전극을 포함하지 않더라도, 프로세서(120)는 사용자의 눈의 움직임을 감지할 필요가 있을 때, EMG 신호를 감지하기 위한 전극 중 어느 하나로부터 입력되는 신호를, EOG 신호에 대응되는 필터(EOG 신호만을 통과시키고, 나머지 신호는 걸러내기 위한 필터)에 통과시킴으로써, EOG 신호를 추가적으로 입력받을 수 있다.

여기서, 사용자의 눈의 움직임을 감지할 필요가 있을 때란, 사용자의 눈 주위 근육 움직임을 정확하게 감지할 필요가 있을 때를 포함한다. 예를 들어, 사용자가 윙크(한쪽 눈을 감는 동작)를 하는 경우, EMG 신호만으로는 윙크 동작을 정확히 인식하지 못할 수 있다. 따라서, 이 경우 EOG 신호를 추가적으로 입력받음으로써, 표정 인식의 정확도를 더욱 높일 수 있다. 또한, 사용자가 두 눈을 깜박이는 경우, 해당 깜박임 동작이 무의식적인 깜박임인지 혹은 의식적 깜박임인지를 추가적으로 인식된 EOG 신호를 이용하여 더욱 정확히 인식할 수 있게 된다.

이를 위해, 프로세서(120)는 EMG 신호를 감지하기 위한 전극을 통해 감지되는 신호(로우 데이터)를 따로 저장하고, 이 로우 데이터를 EOG 신호에 대응되는 필터에 통과시켜, EOG 신호를 추가적으로 입력받을 수 있다.

한편, 도 11의 (a)에서는 기준 전극(34)을 이용하여, EMG 신호를 감지하는 실시 예(unipolar에 의한 생체 신호 감지 예)를 도시하였으나, 기준 전극(34) 없이, 근접한 전극 쌍(pair)의 전위차를 이용하여, EMG 신호를 감지하는 것도 가능하다(bipolar에 의한 생체 신호 감지 예). 구체적으로, 사용자의 특정 근육을 이요한 입 움직임('ㅗ', 'ㅏ' 등의 발음 시의 입 움직임)을 감지하기 위하여는 unipolar에 의한 생체 신호 감지 방법보다, bipolar에 의한 생체 신호 감지 방법이 사용될 수도 있다.

한편, 도 12의 (a)에 도시된 실시 예에 따르면, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 EMG 신호를 감지하기 위한 전극(32-1, 32-2, 33-1, 33-2, 42-1, 42-2), EEG 신호를 감지하기 위한 전극(43-1, 43-2), 기준 전극(34) 및 접지 전극(38-1, 38-2)이 구비될 수 있다.

EEG 신호를 감지하기 위한 좌측 전극(43-1)은 전두엽 영역의 제1 front point(이하, fp1), EEG 신호를 감지하기 위한 우측 전극(43-2)은 전두엽 영역의 제2 front point(이하, fp2)에서 각각 발생되는 집중도/ 감정 신호를 감지할 수 있다.

프로세서(120)는 현재 전자 장치(100)의 콘텍스트가 감정 인식이 필요한 콘텍스트(예를 들어, 감정 인식을 수행할 수 있는 어플리케이션이 실행된 상태)라고 판단되면, 사용자의 감정을 인식하기 위한 EEG 신호를 입력받을 생체 신호로 결정할 수 있다. 프로세서(120)는 EEG 신호를 감지하기 위한 전극(43-1, 43-2)에 대응되는 채널을 활성화하고, 활성화된 채널의 상태를 EEG 신호를 입력받기 위한 적절한 상태로 설정할 수 있다.

또한, 도 12의 (b)에 도시된 실시 예에 따르면, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 GSR 신호를 감지하기 위한 전극(44-1, 44-2), BIA 신호를 감지하기 위한 전극(45-1, 45-2, 46-1, 46-2), 기준 전극(48) 및 접지 전극(38-1, 38-2)이 구비될 수 있다.

또한, 프로세서(120)는 현재 전자 장치(100)의 콘텍스트가 감정 인식이 필요한 콘텍스트라고 판단되면, 사용자의 감정을 인식하기 위한 GSR 신호 및 BIA 신호를 입력받을 생체 신호로 결정할 수도 있다. 프로세서(120)는 GSR 신호를 감지하기 위한 전극(44-1, 44-2)을 통해 안면 피부의 수화도 변화를 측정하고, BIA 신호를 감지하기 위한 전극(45-1, 45-2, 46-1, 46-2)을 통해 안면 피부의 생체전기저항을 측정할 수 있다. 이를 위해, 프로세서(120)는 GSR 신호를 감지하기 위한 전극(44-1, 44-2) 및 BIA 신호르 감지하기 위한 전극(45-1, 45-2, 46-1, 46-2)에 대응되는 채널을 각각 활성화하고, 활성화된 각각의 채널의 상태를 GSR 신호 및 BIA 신호를 입력받기 위한 적절한 상태로 설정할 수 있다.

또한, 전자 장치(100)의 얼굴과 접촉되는 패드(30)에는 안면 근육에 전기 자극을 가하기 위하여 전기근육자극(Electrical Muscle Stimulation, 이하 EMS) 신호를 발생시키는 전극(47-1, 47-2)이 추가적으로 구비될 수 있다. 프로세서(120)는 안면의 특정 근육을 움직일 필요가 있는 콘텍스트라고 판단되면, EMS 신호를 발생시키는 전극(47-1, 47-2)을 통해 안면의 특정 근육을 움직이게 함으로써, 능동적으로 전극을 운용할 수도 있다.

도 13은 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다.

도 13에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 전자 장치(100')는 생체 신호 입력부(110), 프로세서(120), 출력부(130), 메모리(140), 센서부(150), 통신부(160), 오디오 처리부(170), 비디오 처리부(180) 및 사용자 인터페이스(190)를 포함한다. 이하에서는, 도 2a에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.

프로세서(120)는 ROM(121), RAM(122), CPU(123), 그래픽 처리부(124), 제1 제1 인터페이스(125-1) 내지 n 인터페이스(125-n)를 포함한다. ROM(121), RAM(122), CPU(123), 그래픽 처리부(124), 제1 제1 인터페이스(125-1) 내지 n 인터페이스(125-n)는 버스(126)를 통해 서로 연결될 수 있다.

CPU((123)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 CPU(123)는 저장부(140)에 저장된 각종 프로그램, 콘텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

ROM(121)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(121)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(122)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(122)에 복사하고, RAM(122)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.

제1 인터페이스(125-1) 내지 n 인터페이스(125-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

한편, 상술한 프로세서(120)의 동작은 저장부(140)에 저장된 프로그램이 실행되어 이루어질 수 있다.

디스플레이(131)는 전자 장치(100')에서 재생 가능한 다양한 콘텐츠를 포함하는 화면을 제공하는 구성이다. 여기서, 콘텐츠는 텍스트, 이미지, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 콘텐츠를 포함할 수 있다. 특히, 콘텐츠는 3D 이미지를 제공하기 위한 VR 콘텐츠로 구현될 수 있다.

오디오 출력부(132)는 오디오 처리부(170)를 통해 처리된 오디오를 출력하는 구성이다.

메모리(140)는 전자 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장할 수 있다.

구체적으로 메모리(140)는 전자 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈 및 보안 모듈 등을 저장할 수 있다.

센서부(150)는 전자 장치(100)에서 이루어지는 다양한 동작을 감지하기 위한 구성이다. 센서부(150)의 구체적인 구성에 대하여는 도 2b에서 설명한 바 있으므로, 이하 설명은 생략하도록 한다.

통신부(160)는 다양한 유형의 통신방식에 따라 외부 장치와 통신을 수행하는 구성으로, 생체 신호 입력부(110)와 별개로 구현될 수 있다. 통신부(160)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있으며, 서버를 포함하는 타 전자 장치와 통신을 수행할 수 있다.

오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이며, 여기서 처리된 오디오 데이터는 오디오 출력부(132)를 통해 출력된다.

비디오 처리부(180)는 컨텐츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다.

사용자 인터페이스(190)는 전자 장치(100')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다. 사용자 인터페이스(190)는 마이크(미도시), 카메라(미도시) 등을 포함할 수 있다. 마이크는 전자 장치(100')의 사용자로부터 발화되는 음성 또는 전자 장치(100') 주변의 소리를 수신하기 위한 구성이다. 마이크를 통해 음성 인식, 소리 인식 또는 녹음 등의 동작이 수행된다.

도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.

먼저, 전자 장치의 사용 환경(context)에 기초하여 입력받을 생체 신호를 결정한다(S1410).

이후, 결정된 생체 신호에 따라, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 설정한다(S1420). 이때, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화하고, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널을 비활성화할 수 있다.

한편, 전극은 복수의 생체 신호 중 전자 장치의 사용 환경에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극을 포함할 수 있다. 예를 들어, 공통 전극은 사용자의 눈의 하측에서 안전도 신호 및 근전도 신호 중 어느 하나의 생체 신호를 감지하기 위해 이용되는 전극일 수 있다. 이때, S1420 단계는, 공통 전극에 대응되는 채널을 결정된 생체 신호를 입력받을 채널로 선택하고, 결정된 생체 신호의 특성에 기초하여 공통 전극에 대응되는 채널의 상태를 설정할 수 있다.

또한, S1420 단계는 결정된 생체 신호의 특성에 기초하여, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트, ADC 해상도 및 컷오프 주파수 중 적어도 하나를 설정할 수 있다.

또한, 전자 장치의 제어 방법은 우선적으로 전극을 통해 감지되는 생체 신호의 품질을 측정하고, 측정된 생체 신호의 품질에 기초하여 생체 신호가 입력되는 채널을 결정할 수 있다.

이후, 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단한다(S1430). 이때, 전자 장치의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 생체 변화를 판단할 수 있다.

또한, 전자 장치의 제어 방법은 판단된 생체 변화에 따른 결과를 출력할 수 있다. 이때, 판단된 생체 변화에 따라 전자 장치에 포함된 디스플레이의 화면을 제어할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치의 사용 환경에 따라서 감지가 요구되는 생체 신호를 대응되는 전극의 채널만을 이용하여 입력받을 수 있으며, 해당 채널의 상태를 감지가 요구되는 생체 신호의 특성에 맞게 설정함으로써, 원하는 생체 신호만을 걸러낼 수 있으므로, 원하는 생체 신호를 감지하기 위한 연산량 및 전력의 소모를 줄일 수 있다.

또한, 공통 전극을 이용하여 전자 장치의 사용 환경에 따라 다양한 생체 신호를 감지할 수 있으므로, 필요한 전극의 갯수를 줄여 제조 비용을 절감할 수 있다.

상술한 다양한 실시 예에 따른 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.

일 예로, 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하는 단계, 결정된 생체 신호에 따라, 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 설정하는 단계 및 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 전자 장치 110: 생체 신호 입력부
120: 프로세서 130: 출력부
131: 디스플레이 132: 오디오 출력부
200: 분리형 HMD 장치

Claims

전자 장치에 있어서,
전극을 통해 감지된 생체 신호를 입력받기 위한 생체 신호 입력부; 및
상기 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하고, 상기 결정된 생체 신호에 따라 상기 전극에 대응되는 채널의 상태를 설정하며, 상기 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 프로세서;를 포함하고,
상기 전극은,
제1 생체 신호를 감지하기 위해 이용되는 제1 전극, 제2 생체 신호를 감지하기 위해 이용되며, 상기 제1 전극의 위치와 구별되는 위치의 제2 전극을 포함하고,
상기 프로세서는,
상기 결정된 생체 신호가 상기 제1 생체 신호인 경우, 상기 제1 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제1 생체 신호의 특성에 기초하여 상기 제1 전극에 대응되는 채널의 상태를 설정하며,
상기 결정된 생체 신호가 상기 제2 생체 신호인 경우, 상기 제2 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제2 생체 신호의 특성에 기초하여 상기 제2 전극에 대응되는 채널의 상태를 설정하는것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화하고, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널을 비활성화하는 것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 전자 장치의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 상기 생체 변화를 판단하는 것을 특징으로 하는, 전자 장치.
삭제
제1항에 있어서,
상기 제1 전극은,
사용자의 눈의 좌측, 우측 및 상측에서 안전도 신호를 감지하기 위해 이용되고,
상기 제2 전극은,
상기 사용자의 눈의 하측에서 근전도 신호를 감지하기 위해 이용되는 것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 전극은,
복수의 생체 신호 중 상기 전자 장치의 사용 환경에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극을 포함하고,
상기 프로세서는,
상기 공통 전극에 대응되는 채널을 상기 결정된 생체 신호를 입력받을 채널로 선택하고, 상기 결정된 생체 신호의 특성에 기초하여 상기 공통 전극에 대응되는 채널의 상태를 설정하는 것을 특징으로 하는, 전자 장치.
제6항에 있어서,
상기 공통 전극은,
사용자의 눈의 하측에서 안전도 신호 및 근전도 신호 중 어느 하나의 생체 신호를 감지하기 위해 이용되는 것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 생체 신호는,
근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함하는 것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 결정된 생체 신호의 특성에 기초하여, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트(sampling rate), ADC(Analog Digital Converter) 해상도 및 컷오프 주파수(cutoff frequency) 중 적어도 하나를 설정하는 것을 특징으로 하는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 입력되는 생체 신호의 품질을 측정하고, 상기 측정된 생체 신호의 품질에 기초하여 상기 결정된 생체 신호가 입력되는 채널을 결정하는 것을 특징으로 하는, 전자 장치.
◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
출력부;를 더 포함하고,
상기 프로세서는,
상기 판단된 생체 변화에 따른 결과를 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는, 전자 장치.
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 출력부는 디스플레이를 포함하고,
상기 프로세서는,
상기 판단된 생체 변화에 따라 상기 디스플레이의 화면을 제어하는 것을 특징으로 하는, 전자 장치.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

제12항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 프로세서는,
상기 디스플레이의 화면이 발화시의 입모양을 이용한 사용자 인증을 요구하는 화면인 경우, 사용자의 입 주변의 근전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 근전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단하는 것을 특징으로 하는, 전자 장치.
◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

제12항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 프로세서는,
상기 디스플레이의 화면이 네비게이팅에 의해 동작되는 화면인 경우, 안전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 안전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단하는 것을 특징으로 하는, 전자 장치.
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈

제12항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 프로세서는,
상기 디스플레이의 화면이 표정 인식을 수행하는 화면인 경우, 근전도 신호 및 안전도 신호를 상기 입력받을 생체 신호로 결정하고, 상기 근전도 신호 및 안전도 신호를 감지하기 위한 전극에 대응되는 채널을 통해 상기 생체 변화를 판단하는 것을 특징으로 하는, 전자 장치.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

제15항에 있어서,
상기 근전도 신호는,
서로 근접한 전극쌍의 전위차를 이용하여 감지되는 것을 특징으로 하는, 전자 장치.
◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

제14항에 있어서,
움직임 감지 센서;를 더 포함하고,
상기 프로세서는,
상기 움직임 감지 센서를 이용하여, 사용자의 머리 회전 방향에 따라 좌안에 대응되는 안전도 신호 또는 우안에 대응되는 안전도 신호 중 하나를 선택적으로 입력받는 것을 특징으로 하는, 전자 장치.
◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 프로세서는,
사용자에 의한 상기 전자 장치의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 상기 전자 장치의 착용 상태를 판단하고, 상기 판단에 따른 결과를 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는, 전자 장치.
◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 프로세서는,
사용자에 의한 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극으로부터 임계치 이하의 신호가 검출되면, 상기 전자 장치가 미착용 상태라고 판단하고, 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극 외의 다른 전극을 비활성화하는 것을 특징으로 하는, 전자 장치.
◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 프로세서는,
상기 전자 장치의 사용 환경이 사용자의 감정을 인식을 필요로 하는 경우, 전두엽 영역에서 발생하는 집중도를 나타내는 뇌전도 신호, 안면의 피부의 수화도 변화를 나타내는 피부전기전도도 신호 및 안면의 생체전기저항분석 신호 중 적어도 하나를 감지하기 위한 전극에 대응되는 채널을 통해 상기 사용자의 생체 변화를 판단하고, 상기 판단된 생체 변화를 이용하여 상기 사용자의 감정을 인식하는 것을 특징으로 하는, 전자 장치.
전자 장치의 제어 방법에 있어서,
상기 전자 장치의 사용 환경(context)에 기초하여, 입력받을 생체 신호를 결정하는 단계;
상기 결정된 생체 신호에 따라, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 상태를 설정하는 단계; 및
상기 설정된 채널의 상태에 따라 입력되는 생체 신호를 이용하여 생체 변화를 판단하는 단계;를 포함하고,
상기 전극은,
제1 생체 신호를 감지하기 위해 이용되는 제1 전극, 제2 생체 신호를 감지하기 위해 이용되며, 상기 제1 전극의 위치와 구별되는 위치의 제2 전극을 포함하고,
상기 설정하는 단계는,
상기 결정된 생체 신호가 상기 제1 생체 신호인 경우, 상기 제1 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제1 생체 신호의 특성에 기초하여 상기 제1 전극에 대응되는 채널의 상태를 설정하며,
상기 결정된 생체 신호가 상기 제2 생체 신호인 경우, 상기 제2 전극에 대응되는 채널을 상기 생체 신호를 입력받을 채널로 선택하고, 상기 제2 생체 신호의 특성에 기초하여 상기 제2 전극에 대응되는 채널의 상태를 설정하는 것을 특징으로 하는, 제어 방법.
◈청구항 22은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 설정하는 단계는,
상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널을 활성화하고, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널 외의 다른 채널을 비활성화하는 것을 특징으로 하는, 제어 방법.
◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 판단하는 단계는,
상기 전자 장치의 사용 환경에 따른 특정 신체 부위에 대응되는 적어도 하나의 전극에 대응되는 채널을 통해 상기 생체 변화를 판단하는 것을 특징으로 하는, 제어 방법.
삭제
◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 제1 전극은,
사용자의 눈의 좌측, 우측 및 상측에서 안전도 신호를 감지하기 위해 이용되고,
상기 제2 전극은,
상기 사용자의 눈의 하측에서 근전도 신호를 감지하기 위해 이용되는 것을 특징으로 하는, 제어 방법.
◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 전극은,
복수의 생체 신호 중 상기 전자 장치의 사용 환경에 기초하여 결정된 어느 하나의 생체 신호를 감지하기 위해 이용되는 공통 전극을 포함하고,
상기 설정하는 단계는,
상기 공통 전극에 대응되는 채널을 상기 결정된 생체 신호를 입력받을 채널로 선택하고, 상기 결정된 생체 신호의 특성에 기초하여 상기 공통 전극에 대응되는 채널의 상태를 설정하는 것을 특징으로 하는, 제어 방법.
◈청구항 27은(는) 설정등록료 납부시 포기되었습니다.◈

제26항에 있어서,
상기 공통 전극은,
사용자의 눈의 하측에서 안전도 신호 및 근전도 신호 중 어느 하나의 생체 신호를 감지하기 위해 이용되는 것을 특징으로 하는, 제어 방법.
◈청구항 28은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 생체 신호는,
근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함하는 것을 특징으로 하는, 제어 방법.
◈청구항 29은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 설정하는 단계는,
상기 결정된 생체 신호의 특성에 기초하여, 상기 결정된 생체 신호를 감지하기 위한 전극에 대응되는 채널의 샘플링 레이트(sampling rate), ADC(Analog Digital Converter) 해상도 및 컷오프 주파수(cutoff frequency) 중 적어도 하나를 설정하는 것을 특징으로 하는, 제어 방법.
◈청구항 30은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
전극을 통해 감지되는 생체 신호의 품질을 측정하는 단계; 및
상기 측정된 생체 신호의 품질에 기초하여 상기 생체 신호가 입력되는 채널을 결정하는 단계;를 더 포함하는 것을 특징으로 하는, 제어 방법.
◈청구항 31은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 판단된 생체 변화에 따른 결과를 출력하는 단계;를 더 포함하는 것을 특징으로 하는, 제어 방법.
◈청구항 32은(는) 설정등록료 납부시 포기되었습니다.◈

제31항에 있어서,
상기 출력하는 단계는,
상기 판단된 생체 변화에 따라 상기 전자 장치에 포함된 디스플레이의 화면을 제어하는 것을 특징으로 하는, 제어 방법.
◈청구항 33은(는) 설정등록료 납부시 포기되었습니다.◈

제32항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 결정하는 단계는,
상기 디스플레이의 화면이 발화시의 입모양을 이용한 사용자 인증을 요구하는 화면인 경우, 사용자의 입 주변의 근전도 신호를 상기 입력받을 생체 신호로 결정하는 것을 특징으로 하는, 제어 방법.
◈청구항 34은(는) 설정등록료 납부시 포기되었습니다.◈

제32항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 결정하는 단계는,
상기 디스플레이의 화면이 네비게이팅에 의해 동작되는 화면인 경우, 안전도 신호를 상기 입력받을 생체 신호로 결정하는 것을 특징으로 하는, 제어 방법.
◈청구항 35은(는) 설정등록료 납부시 포기되었습니다.◈

제32항에 있어서,
상기 전자 장치의 사용 환경은,
상기 디스플레이의 화면 상태를 포함하고,
상기 결정하는 단계는,
상기 디스플레이의 화면이 표정 인식을 수행하는 화면인 경우, 근전도 신호 및 안전도 신호를 상기 입력받을 생체 신호로 결정하는 것을 특징으로 하는, 제어 방법.
◈청구항 36은(는) 설정등록료 납부시 포기되었습니다.◈

제35항에 있어서,
상기 근전도 신호는,
서로 근접한 전극쌍의 전위차를 이용하여 감지되는 것을 특징으로 하는, 제어 방법.
◈청구항 37은(는) 설정등록료 납부시 포기되었습니다.◈

제34항에 있어서,
상기 결정하는 단계는,
움직임 감지 센서를 통해 감지되는 사용자의 머리 회전 방향에 따라 좌안에 대응되는 안전도 신호 또는 우안에 대응되는 안전도 신호 중 하나의 입력을 선택적으로 결정하는 것을 특징으로 하는, 제어 방법.
◈청구항 38은(는) 설정등록료 납부시 포기되었습니다.◈

제31항에 있어서,
사용자에 의한 상기 전자 장치의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 상기 전자 장치의 착용 상태를 판단하는 단계; 및
상기 판단에 따른 결과를 출력하는 단계;를 더 포함하는 것을 특징으로 하는, 제어 방법.
◈청구항 39은(는) 설정등록료 납부시 포기되었습니다.◈

제31항에 있어서,
사용자에 의한 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극으로부터 임계치 이하의 신호가 검출되면, 상기 전자 장치의 착용을 감지하기 위한 적어도 하나의 전극 외의 다른 전극을 비활성화하는 단계;를 더 포함하는 것을 특징으로 하는, 제어 방법.
◈청구항 40은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 결정하는 단계는,
상기 전자 장치의 사용 환경이 사용자의 감정을 인식을 필요로 하는 경우, 전두엽 영역에서 발생하는 집중도를 나타내는 뇌전도 신호, 안면의 피부의 수화도 변화를 나타내는 피부전기전도도 신호 및 안면의 생체전기저항 신호 중 적어도 하나를 입력받을 생체 신호로 결정하는 것을 특징으로 하는, 제어 방법.