KR100594117B1 - Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 - Google Patents

Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 Download PDF

Info

Publication number
KR100594117B1
KR100594117B1 KR1020040075134A KR20040075134A KR100594117B1 KR 100594117 B1 KR100594117 B1 KR 100594117B1 KR 1020040075134 A KR1020040075134 A KR 1020040075134A KR 20040075134 A KR20040075134 A KR 20040075134A KR 100594117 B1 KR100594117 B1 KR 100594117B1
Authority
KR
South Korea
Prior art keywords
key
user
input
emg
signal
Prior art date
Application number
KR1020040075134A
Other languages
English (en)
Other versions
KR20060026273A (ko
Inventor
민경태
김연호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040075134A priority Critical patent/KR100594117B1/ko
Priority to US11/076,547 priority patent/US20060061544A1/en
Priority to EP05011373A priority patent/EP1637975A1/en
Publication of KR20060026273A publication Critical patent/KR20060026273A/ko
Application granted granted Critical
Publication of KR100594117B1 publication Critical patent/KR100594117B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치 및 방법을 제공한다. 이를 위해 본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 이에 따라 사용자는 단지 눈의 움직임과 양쪽 어금니를 깨무는 움직임만으로 HMD 정보 단말기에 자신이 원하는 키를 입력할 수 있으므로, HMD 정보 단말기의 사용 시에 양손이 완전히 자유로울 수 있다.
HMD, EOG, EMG

Description

ＨＭＤ 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치 및 방법{APPARATUS AND METHOD FOR INPUTTING KEY OF HMD INFORMATION TERMINAL}
도 1은 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도,
도 2는 본 발명의 실시 예에 따른 생체 신호 감지부의 상세 블록도,
도 3은 본 발명의 실시 예에 따른 이동통신 단말기의 예시도,
도 4는 본 발명의 실시 예에 따라 사용자의 안전도를 도시한 예시도,
도 5는 본 발명의 실시 예에 따라 체크된 안정도에 의해 생성된 우표와, 근전도의 예시도,
도 6은 본 발명의 실시 예에서 사용될 수 있는 키 맵의 예시도,
도 7a는 본 발명의 실시 예에 따른 이동통신 단말기의 키 맵 디스플레이 화면 예시도,
도 7b는 본 발명의 실시 예에 따른 이동통신 단말기의 메뉴 디스플레이 화면의 예시도,
도 8은 본 발명의 실시 예에 따른 이동통신 단말기의 키 입력 과정을 보이는 흐름도,
도 9는 본 발명의 실시 예에 따른 이동통신 단말기에서 키 인식 과정을 보이 는 상세 흐름도,
도 10은 본 발명의 실시 예에 따른 이동통신 단말기의 키 인식 과정에서 메뉴 선택 과정에 대한 상세 흐름도,
도 11은 본 발명의 실시 예에 따른 이동통신 단말기에서 인식된 키가 입력되는 과정을 보이는 흐름도,
도 12는 본 발명의 실시 예에 따른 이동통신 단말기에서 문자가 입력되는 과정을 보이는 예시도.
도 13은 본 발명의 실시 예에 따른 생체 신호 감지부에 추가 가능한 뇌파 감지부의 블록 구성도.
본 발명은 HMD(Head Mounted Display) 장치를 구비한 휴대용 정보 단말기(Mobile Information Terminal)에 관한 것으로 특히, 핸즈프리(Hands_Free)가 가능한 HMD 휴대 정보 단말기에 관한 것이다.
통상적으로 휴대 정보 단말기라는 것은 무선 통신과 정보 처리 기능을 결합한 개인 휴대 기기를 말하는 것으로, 휴대폰 뿐 아니라 PDA(Personal Data Assistant)와 스마트 폰(Smart Phone)과 같은 이동통신 단말기를 모두 포함하는 것이다. 이러한 휴대용 정보 단말기는 그 특성상 휴대성이 중요한 장점이 되는데, 이 에 따라 휴대용 정보 단말기의 휴대성을 증대시키기 위한 수많은 방법들이 등장했다.
이러한 방법 중의 하나로써 현재 주목받고 있는 것은 바로 HMD(Head Mounted Display)를 이용하는 방법이다. HMD라는 것은 일반적으로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality) 시스템에서 사용자의 눈앞에 영상을 펼쳐보이게 하는 영상 장치를 말하는 것이다. 이는 보안경 또는 헬멧의 형태를 가지고 있다. 이러한 HMD를 이용하게 되면, 사용자는 단지 모니터와 같은 2차원적인 화면과 키보드 또는 마우스등과 같은 평면적인 입력 장치를 통해 컴퓨터를 제어하는 것이 아니라, 마이크로 디스플레이를 통해 디스플레이되는 입체적인 가상의 메뉴 화면을 통해 컴퓨터를 제어할 수 있다. 이를 위해 HMD 정보단말기는 영상을 디스플레이하는 초경량의 마이크로 디스플레이가 장착된 안경 형태의 표시부와, 사용자로부터 키를 입력받을 수 있는 센서와 입력 장치 등으로 구성될 수 있다.
이러한 HMD 정보 단말기에서 가장 중요한 기술 중의 하나는 사용자가 어떻게 자신이 원하는 키를 입력할 수 있도록 하는가이다. 이에 따라 등장한 HMD 정보 단말기의 키 입력 장치는 기존의 키 입력 장치를 소형화시켜 이를 사용자의 신체에 부착하도록 한다던가, 아니면 HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치를 사용자의 신체에 부착하도록 하여 이를 HMD의 센서에서 감지하도록 하는 착용가능하거나 의복 형태의 입을 수 있는 입력 장치였다. 이 중 상기한 전자와 같이, 기존의 입력 장치를 소형화시킨 장치의 예를 들어보면 L3 시스템에서 출시된 '손목 키보드'를 들 수 있다. 이는 일반적인 컴퓨터 키보드를 사용자가 사용자의 손목 등에 장착할 수 있을 정도의 크기로 소형화 시킨 것이다. 또한 상기한 후자와 같이, HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치의 예를 들어보면 삼성 전자에서 출시된 'Scurry'를 들 수 있다. 이는 마치 장갑처럼 사용자의 손에 장착할 수 있는 마우스이다.
이러한 장치들은 사용자의 움직임 또는 선택에 따른 키를 HMD 정보 단말기의 제어부로 입력한다. 그러므로 사용자는 상기한 장치들을 이용하여 자신이 원하는 키를 입력할 수 있다. 그러나 상기한 예에서 'SCURRY'의 경우는 사용자의 신체에 직접 장착되어 사용자의 움직임을 입력하도록 되어 있는 장치이며, '손목 키보드'는 초소형의 키보드로서 사용자가 '손목 키보드'가 장착되지 않은 다른 손으로 키를 하나하나 입력시킴으로서 키를 입력하도록 되어 있는 장치이다.
따라서 사용자들이 만약 HMD 휴대 정보 단말기를 사용할 경우, 사용자들은 자신이 원하는 키를 입력하기 위해서 상기한 입력 장치들을 이용하여야만 했으므로 양손을 모두 사용하여야 한다는 불편함이 있었다. 그러므로 사용자들은 HMD가 구비되지 않은 통상적인 휴대 정보 단말기를 사용할 때보다 더욱 큰 불편함을 느낄 수밖에 없었다.
또한 요즈음에는 핸즈프리 장치가 널리 사용되고 있다. 통상적으로 핸즈프리라는 것은 통상적으로 휴대폰을 손으로 들지 않고 자유롭게 통화할 수 있도록 함으로서, 휴대폰 통화 시에도 사용자의 양손을 자유롭게 할 수 있게 하는 것을 말한다. 이러한 핸즈프리를 구현하기 위한 핸즈프리 장치는, 휴대폰과 선으로 연결되면 운전자가 휴대폰을 손에 들지 않고도 상대방과 통화를 할 수 있도록 고안된 장치이다. 이 핸즈프리가 고안된 원래 목적은 자동차 사고를 방지하기 위한 이동전화 시 스템이다. 그러나 핸즈프리 장치를 사용할 경우에는 사용자의 양손이 모두 자유롭다는 장점으로 인해 요즈음에는 핸즈프리 장치가 고안된 원래 목적보다도, 일반적인 휴대 정보 단말기에 널리 사용되고 있는 추세이다.
그러나 상기한 핸즈프리 장치는, 소형의 마이크를 통해 사용자의 음성을 간접적으로 전달 휴대 정보 단말기에 입력하거나, 소형의 이어폰을 통해 통화자의 음성을 간접적으로 사용자에게 전달하는 장치에 불과한 것이었다. 즉, 통상적인 핸즈프리 장치가 구비된 이동통신 단말기에서 사용자는 자신의 음성을 휴대 정보 단말기에 입력하거나, 통화자의 음성을 들을 때만 핸즈프리가 될 수 있었을 뿐, 전화를 걸거나 문자 메시지를 작성하거나 하는 경우에는 여전히 사용자의 손을 통한 키 입력이 있어야만 했다.
그리고 이러한 문제점은 HMD가 구비된 HMD 휴대 정보 단말기의 경우도 마찬가지였다. 더욱이 상술한 것과 같이 HMD 정보 단말기의 경우에는 사용자의 키를 입력하기 위한 입력 장치를 사용자의 신체에 장착하고, 이를 이용하여 사용자는 키를 입력하여야만 했다. 이에 따라서 HMD 휴대 정보 단말기에서 구비될 수 있는 핸즈프리 장치는, 단지 사용자의 통화 시에만 사용자의 손이 자유로워질 수 있는, 극히 제한적으로 구현되는 핸즈프리라는 문제점이 있다.
그러므로 본 발명의 목적은 HMD 휴대 정보 단말기에서 완전한 핸즈프리를 구현할 수 있는 장치 및 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 장치는, 가상 화면을 표시하는 마이크로 디스플레이와, 상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부를 구비한 메모리부와, 상기 사용자의 얼굴에서 발생되는 전압을 포함하는 생체 신호를 감지하기 위한 생체 신호 감지부와, 상기 감지된 생체 신호를 인식하고, 인식된 생체 신호에 따른 키 정보를 인식하는 인식부와, 상기 생체 신호에 따른 키 정보를, 특정 키의 입력으로 인식하는 제어부를 구비한다.
또한 본 발명의 방법은, 가상 화면 정보를 로드하는 가상 화면 로드 단계와, 상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와, 상기 사용자의 안면으로부터 발생하는 생체신호를 입력받는 전극의 상태를 체크하는 생체센서 체크 단계와, 상기 생체 신호를 감지하는 단계와, 상기 감지된 생체신호에 따른 키를 인식하는 키 인식 단계와, 상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한 본 발명은 휴대용 정보 단말기에 관한 것으로서 모든 휴대용 정보 단말기에 적용될 수 있으나 본 발명의 상세한 설명을 함에 있어서는 편의상 이동통신 단말기를 예로 들어 설명하기로 한다.
본 발명에서는 상기한 바와 같이 완전한 핸즈프리를 구현하기 위해 사용자의 생체 신호를 이용하여 키를 입력할 수 있도록 한다. 사용자의 생체 신호에는 여러 가지 신호가 있을 수 있으나 본 발명에서는 안전도(Electrooculogram : EOG, 이하 EOG라고 칭한다), 근전도(Electromyogram : EMG, 이하 EMG라고 칭한다)를 이용하도록 한다.
여기서 EOG라는 것은 사용자의 각막 사이의 전압 차이로 인해 눈의 움직임에 따라 발생하는 전기 신호를 말하는 것이며, EMG라는 것은 근육의 수축 시에 발생하는 전기 신호를 말하는 것이다. EOG를 이용하는 경우, 사용자가 눈동자를 정확하게 조절할 수 있다면 자신이 원하는 키에 상당한 수준의 정확도로 커서를 이동시키도록 할 수 있으며, 반응 속도도 빠르다. 그러나 이러한 EOG는 사용자는 눈을 이용하여 외부의 시각 정보를 파악해야 하므로 이동중인 경우에는 특정 위치에 사용자의 시선을 고정하기 어렵다는 단점이 있으며, 사용자가 의도한 방향으로 커서를 이동시킬 수 있다고 하여도 이 선택된 키를 어떻게 입력시켜야 하는가에 대한 문제가 발생하게 된다. 이러한 선택된 키를 입력시키는 방법의 예로서 눈을 깜빡임으로서 사용자가 선택한 키를 입력시키는 기술이 있으나, 이 역시 사용자가 눈을 깜빡이는 순간에 눈동자가 다른 곳을 향하게 된다면 사용자가 의도한 키가 입력되지 않고, 다른 키가 입력되는 오류가 발생할 수 있다.
또한 EMG를 이용하는 경우, 본 발명과 같이 HMD 이동통신 단말기에서는 사용자가 어금니를 깨무는 동작으로 인해 발생하는 전압의 차이를 이용할 수 있다. 이 경우 사용자가 왼쪽 또는 오른쪽의 어금니를 깨무는 것으로서 사용자가 의도한 키에 커서가 이동되도록 할 수는 있다. 이러한 경우 EMG는 사용자의 의사에 따른 반응 속도가 매우 빠르고, 사용자가 상당히 신뢰할 수 있는 조작이 가능하다는 장점이 있으나, 사용자가 선택할 수 있는 메뉴가, 오른쪽 어금니를 깨무는 경우, 왼쪽 어금니를 깨무는 경우, 양쪽의 어금니를 모두 깨무는 경우의 3가지로 제한된다는 문제점이 있다.
따라서 본 발명은 상술한 EOG와 EMG를 각각의 장점에 맞도록 사용하여, 사용자가 전혀 손을 사용하지 않고도, 마이크로 디스플레이에서 디스플레이되는 키 들 중, 사용자가 원하는 키를 선택하여 입력할 수 있도록 한다. 도 1은 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도를 보이고 있는 예이다. 도 1을 참조하여 살펴보면, 메모리부(102), 키입력부(106), 표시부(108), RF(Radio Frequency)부(114), 베이스밴드(Baseband) 처리부(112), 코덱(CODEC: Coder-Decoder)(118), 외부 인터페이스부(136), 생체신호 감지부(128), 그리고 인식부(126)가 제어부(100)에 연결된다. 여기서 제어부(100)는 전화 통화나 데이터 통신, 무선 인터넷 접속을 위한 프로토콜에 따라 음성신호 및 데이터 처리를 하고 이동통신 단말기의 각 부분을 제어한다. 그리고 본 발명에 따라 메모리부(102)에 저장된 키 맵을 로드하여 디스플레이한다. 또한 EOG, EMG와 같은 사용자의 생체신호를 감지하도록 생체신호 감지부(128)를 제어하고, 인식부(126)를 제어하여 상기 생체신호 감지부(128)에서 감지된 생체 신호를 이용하여 키가 선택되었음을 인식한다.
그리고 상기한 제어부(100)와 연결되는 본 발명의 실시 예에 따른 이동통신 단말기의 메모리부(102)는 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리(Flash Memory)로 구성되어 있으며, 본 발명의 실시 예에 따른 각종 키 맵 정보를 저장하고 있는 키 맵 정보 저장부(104)를 구비한다. 그리고 키입력부(106)는 파워 온/오프 키를 비롯한 몇 가지 옵션 키를 구비하고 있다. 본 발명의 실시 예에 따른 이동통신 단말기의 키입력부(106)는 통상적인 이동통신 단말기의 키패드와는 달리 파워 온/오프 또는 가상화면 온/오프와 같이 사용자가 HMD를 통한 가상화면을 이용한 메뉴 선택으로 실행할 수 없는 몇 가지 키들만을 물리적으로 구비한다. 그리고 표시부(108)는 HMD(Head Mounted Display)를 구비하고 있으며, HMD에 마이크로 디스플레이(110)를 구비하여 제어부(100)의 제어에 따라 각종 정보를 사용자에게 입체적인 가상화면을 디스플레이한다. 그리고 RF(Radio Frequency)부(114)는 안테나(208)를 통해 기지국과 RF신호를 송, 수신하는데, 수신되는 신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(112)로 출력하고 베이스밴드 처리부(112)로부터 입력되는 IF신호를 RF신호로 변환하여 송신한다.
상기한 베이스밴드 처리부(112)는 제어부(100)와 RF부(114)간의 인터페이스를 제공하는 BBA(Baseband Analog ASIC)로서, 제어부(100)로부터 인가되는 베이스밴드의 디지털 신호를 아날로그 IF신호로 변환하여 RF부(114)에 인가하며, RF부(114)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털 신호로 변환하여 제어부(100)에 인가한다. 그리고 제어부(100)와 연결된 코덱(118)은 증폭부(120)를 통해 이어셋(216)과 접속된다. 본 발명의 실시 예에 따른 이어셋(216)은 마이크(122) 및 스피커(124), 그리고 코덱(118)과 증폭부(120)와 일체형으로 구성되었으 며, 일반적인 이어셋 형태를 가지고 있다. 상기한 코덱(118)은 마이크(122)로부터 입력되는 음성신호를 PCM(Pulse Code Modulation) 부호화(Encoding)하여 음성데이터를 제어부(100)에 출력하고 제어부(100)로부터 입력되는 음성데이터를 PCM 복호화(Decoding)하여 증폭부(120)를 통해 스피커(124)로 출력한다. 그리고 증폭부(120)는 마이크로부터 입력되는 음성신호나 스피커로 출력되는 음성신호를 증폭하는데, 스피커(124)의 음량과 마이크(122)의 이득을 제어부(100)의 제어에 따라 조절한다. 그리고 제어부(100)와 연결된 외부 인터페이스부(228)는 상기한 본 발명의 실시 예에 따른 이동통신 단말기의 확장 메모리 또는 확장 배터리 등이 연결되기 위한 인터페이스 역할을 한다.
또한 생체신호 감지부(128)에서는 EOG 입력부(130), EMG 입력부(132), 그리고 기준 전압 발생부(134)를 포함하며, 사용자의 생체 신호를 감지하여 이를 인식부(126)에 입력한다. 이 중 EOG 입력부(130)는 사용자의 시선이 이동할 때에, 사용자의 눈동자 움직임에 따라 발생하는 미세 전압과 기준전압의 전위차를 측정하여 사용자의 눈동자의 움직임을 반영하는 EOG신호를 검출한다. 그리고 EMG 입력부(132)는 사용자가 왼쪽 또는 오른쪽 어금니를 깨물 경우에 발생하는 사용자의 얼굴 근육에 따라 발생하는 전위를 체크하여 이를 사용자의 EMG신호로 입력받는다. 그리고 인식부(126)에서는 상기한 생체신호 감지부(128)로부터 EMG, EOG와 같은 생체신호들을 입력받고, 이러한 생체신호들에 따라 선택된 키가 어떤 것인지를 현재 디스플레이되고 있는 키 맵의 키 정보로부터 체크하여, 사용자가 현재 선택한 키가 어떤 키 인지를 인식한다.
도 2는 상기한 도 1의 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성 중에서 생체 신호 감지부(128)에 대한 상세한 구성을 보이고 있다. 도 2를 참조하여 살펴보면, 생체 신호 감지부(128)는 도 1에 도시된 바와 같이 크게 기준 전압 발생부(134), EOG 입력부(130), 그리고 EMG 입력부(128)를 포함하여 구성된다. 여기서 기준전압 발생부는 기본적으로 생체신호 전극중 접지 전극(GND(Ground) 전극)을 기준으로 기준(Reference) 전극에서 발생되는 전위값을 구하는 기능을 포함하며, 회로적으로 접지 전극은 기준 전극과 각각 분리되어 신체에 접촉되는 형태로 구성될 수도 있으며 기준 전극과 동일 전극으로 회로를 구성할 수도 있다. 안정된 생체신호 측정을 위해서는 접지 전극과 기준 전극을 분리하는 것을 권장하나 본 발명의 실시 예에서는 편리성의 증대를 위하여 접지 전극과 기준 전극을 동일전극으로 사용하여 설명하고자 한다.
EMG 입력부(128)에 대해서 자세히 살펴보면, EMG 입력부(128)는 사용자의 우측 얼굴 근육의 전압 부분을 검출하는 부분과 좌측 얼굴 근육의 전압 부분을 검출하는 부분으로 크게 나누어지는데, 여기서는 EMG1신호를 우측 얼굴 근육에서 감지된 EMG신호로, EMG2신호를 좌측 얼굴 근육에서 감지된 EMG신호라고 하기로 한다.
EMG 입력부(132)는, 사용자의 우측 얼굴 근육의 우측 관자놀이 부분으로부터 발생되는 전압을 감지하는 우측 측면 감지부(250), 우측 측면 감지부(250)로부터 입력된 전압(이하 EMG1 전압이라 한다)을, 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EMG1 전압과 상기 기준 전압의 전위차를 검출하는 EMG1 전위차 검출부(252), 그리고 EMG1 전위차 검출부(252)로부터 입력되는 전위차를 EMG1신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거하는 EMG1 HPF(High Pass Filter:고역 통과 필터)(254), 직류 성분의 노이즈가 제거된 EMG1신호를 입력받아서 이를 증폭하는 EMG1 증폭부(256), 증폭된 EMG1신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EMG1신호만을 추출하는 EMG1 LPF(Low Pass Filter:저역 통과 필터)(258)가 사용자의 우측 관자놀이에서 발생하는 EMG1신호를 추출하기 위해 구비된다. 또한 사용자의 좌측 얼굴 근육의 좌측 관자놀이로부터 발생되는 전압을 감지하는 좌측 측면 감지부(260), 좌측 측면 감지부(260)로부터 입력된 전압(이하 EMG2 전압이라 한다)을, 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EMG2 전압과 상기 기준 전압의 전위차를 검출하는 EMG2 전위차 검출부(252), 그리고 EMG2 전위차 검출부(262)로부터 입력되는 전위차를 EMG2신호로 입력받아서 직류 성분의 노이즈를 제거하는 EMG2 HPF(264), 직류 성분의 노이즈가 제거된 EMG2신호를 입력받아서 이를 증폭하는 EMG2 증폭부(266), 증폭된 EMG2신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EMG2신호만을 추출하는 EMG2 LPF(268)가 사용자의 좌측 얼굴 근육에서 발생하는 EMG2신호를 추출하기 위해 구비된다. 그리고 EMG 입력부(132)에는 상기한 EMG1 LPF(258)과 EMG2 LPF(268)로부터 EMG1신호와 EMG2신호를 입력받아서 EMG1신호만 입력되었는지(사용자가 우측 어금니만을 깨물었는지), 혹은 EMG2신호만 입력되었는지(사용자가 좌측 어금니만을 깨물었는지), 아니면 EMG1신호와 EMG2신호가 둘 다 입력되었는지 (사용자가 좌우측 어금니를 모두 깨물었는지)를 검출하는 EMG 신호 검출부가 구비된다.
따라서 사용자가 좌측 어금니를 깨물게 되면 이에 따른 EMG2신호가 발생하게 되고 이는 EMG2 전위차 검출부(262)와, EMG2 HPF(264), EMG2 증폭부(266), 그리고 EMG2 LPF(268)를 거쳐서 EMG 신호 검출부(270)에 입력된다. 그리고 만약 사용자가 우측 어금니를 깨물게 되면 이에 따른 EMG1신호가 발생하게 되고 이는 EMG1 전위차 검출부(252)와, EMG1 HPF(254), EMG1 증폭부(256), 그리고 EMG1 LPF(258)를 거쳐서 EMG 신호 검출부(270)에 입력된다. 그리고 EMG 신호 검출부(270)에서는 EMG1 또는 EMG2신호 중 어느 하나만 입력되었는지 아니면 두 신호가 다 입력되었는지를 체크하고 이를 인식부(126)로 입력한다.
그리고 EOG 입력부(130)는, 사용자의 이마 부분과, 코 윗부분(일반적으로 사용되는 안경의 코 받침위치)에 위치한 센서들을 포함하는 전면 감지부(200), 그리고 우측 관자놀이 부분의 우측 측면 감지부(250), 좌측 관자놀이 부분의 좌측 측면 감지부(260)로부터 감지된 전압들을, 기준 전압 발생부(134)로부터 입력되는 기준 전압과 각각 비교하여 전위차를 체크하는 EOG 전위차 검출부(202), 측정된 전위차를 입력으로 받아 직류성분의 노이즈를 제거하는 EOG HPF(204), 직류성분의 노이즈가 제거된 EOG신호를 입력으로 받아 이를 증폭하는 EOG 증폭부(206), 증폭된 신호에서 EOG성분을 검출하기 위한 EOG LPF부(208), 그리고 측정된 EOG를 이용하여 사용자의 시선이 어느 위치를 향하고 있는지를 인지하는 EOG 신호 검출부(210)를 구비한다.
따라서 사용자가 눈동자를 움직이면 이에 따른 EOG신호가 감지되고, 이 신호들은 EOG 전위차 검출부(202), EOG HPF(204), EOG 증폭부(206), 그리고 EOG LPF(208)를 거쳐서 EOG 신호 검출부(210)에 입력되게 된다. 그리고 EOG 신호 검출 부(210)에서는 이러한 입력된 EOG신호에 따라 사용자의 눈동자의 움직임에 따른 시선의 이동을 체크하고 이를 인식부(126)에 입력한다. 그러면 인식부(126)에서는 상기한 EMG 신호 검출부(270)와 EOG 신호 검출부(210)를 통해 입력된 신호들을 이용하여 상기 메모리부(102)의 키 맵 저장부(104)로부터 로드한 키 맵 정보 중에서 사용자가 선택한 키를 인식하고, 이를 제어부(100)에 입력한다.
도 3은 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 예를 도시하고 있는 도면이다. 도 3을 참조하여 살펴보면 본 발명의 실시 예에 따른 이동통신 단말기는 고글(Goggle) 형태를 가지고 있음을 알 수 있다. 이를 도 1에서 보인 본 발명의 실시 예의 블록 구성도를 참조하여 보면, 본 발명의 실시 예에 따른 표시부(108)는 도 3의 글라스(glass)(314) 부분에 구비된다. 이 표시부(108)에는 마이크로 디스플레이(110)가 구비되어 있다. 마이크로 디스플레이(110)는 사용자에게 이동통신 단말기의 키 맵 화면 또는 메뉴 화면을 가상 화면으로 디스플레이하며, 도 3에서는 마이크로 디스플레이(110)에서 디스플레이되는 키 맵(306) 가상 화면의 예를 보이고 있다. 도 3에서는 마이크로 디스플레이(110)가 좌측에 구비되어 있는 예를 보이고 있으나 이는 사용자의 편의에 따라 글라스(314)의 우측에 구비될 수도 있음은 물론이다.
그리고 도 1에서 보인 생체 신호 감지부(128)는 인식부(126), 제어부(100)와 함께, 도 3에서 보인 본 발명의 실시 예에 따른 이동통신 단말기의 글라스 테 부분(300)에 위치한다. 이러한 생체 신호 감지부(128)는 사용자의 얼굴에서 발생하는 전압을 감지하기 위한 다수의 센서들, 즉 상기한 도 2에서 보인 전면 감지부(200) 와 우측 측면 감지부(250), 좌측 측면 감지부(260)를 구비한다. 여기서 전면 감지부(200)는 도 2에서 상술한 바와 같이 사용자의 이마 부분과, 사용자의 코 윗부분으로부터 사용자의 눈의 움직임에 따른 전압을 감지하기 위한 센서들을 구비한다.
이러한 센서들의 위치를 도 3을 참조하여 살펴보면, 글라스(314)의 우측 상단 테 부분에는 전면 감지부(200)의 센서들 중 사용자의 우측 이마에 접촉되는 센서(308)가 위치한다. 그리고 글라스의 좌측 상단 테 부분에는 전면 감지부(200)의 센서들 중 사용자의 좌측 이마에 접촉되는 센서(310)가 위치한다. 또한 본 발명의 실시 예에 따른 이동통신 단말기의 코걸이 부분에서는 전면 감지부(200)의 센서들 중 코 윗부분에서 발생하는 미세한 전압을 감지하기 위한 센서들(312, 313)이 위치한다. 그리고 도 3에서 우측 걸이(302) 부분에는사용자의 얼굴 우측 측면의 얼굴 근육의 전압을 감지할 수 있는 우측 측면 감지부(250)의 센서가 위치하고, 좌측 걸이(304) 부분에는 사용자의 얼굴 좌측 측면의 얼굴 근육의 전압을 감지할 수 있는 좌측 측면 감지부(260)의 센서가 위치하게 된다. 이러한 센서들은 각 위치한 부분에서 사용자의 얼굴에서 발생하는 미세한 전압의 변화를 감지하고, 생체 신호 감지부(128)에서는 이들 감지된 전압들과, 도 3의 좌측 걸이(304) 끝 부분에 위치한 기준 전압 발생부(134)로부터 발생되는 기준 전압과 비교하여 사용자의 생체 신호에 따른 키 선택을 입력받는다.
또한 본 발명의 실시 예에서는 도 3에서 보이고 있는 바와 같은 이어셋(116)을 구비한다. 도 3에서 이어셋(116)은 마이크(122)와 스피커(124)를 구비하고 있으며, 사용자의 귀 부분에 밀착될 수 있는 형태로 구비되어 있다. 또한 본 발명의 실 시 예에 따른 이어셋(116)은 코덱(118)과 증폭부(120)를 포함하여 도 3에서 보이고 있는 바와 같이 마이크(122), 스피커(124)와 일체화된 상태로 구현된다. 그리고 아직 언급하지 않은 구성부들인 키입력부(106), 메모리부(102), 외부 인터페이스부(136), 베이스밴드 처리부(112), 그리고 RF부(114) 등은 도 3에서 보이고 있는 고글의 나머지 부분 즉, 우측 걸이(302)와 좌측 걸이(304) 부분에 각각 나뉘어 내장된다. 즉, 예를 들어 키입력부(106)와 메모리부(102), 그리고 외부 인터페이스부(136)가 우측 걸이(302) 부분에 내장되고, 베이스밴드 처리부(112)와 RF부(114)가 좌측 걸이(304) 부분에 내장될 수도 있다. 상기한 외부 인터페이스부(228)는 외부 확장 메모리나 확장 배터리 등을 본 발명의 실시 예에 따른 이동통신 단말기와 연결시키기 위한 인터페이스 부분으로서 인터페이스 포트를 내장하거나 또는 유선으로 연결된 인터페이스 포트 등을 구비할 수 있다. 따라서 이러한 외부 인터페이스부(228)를 이용하여 노트북 PC(Personal Computer), POST PC등에서 마이크로 디스플레이에서 디스플레이되는 키들 중 사용자의 생체 신호에 따라서 선택되는 키 입력을 입력하도록 할 수도 있음은 물론이다.
그런데 이러한 도 3에서 보이고 있는 HMD 이동통신 단말기는 본 발명의 실시 예를 보이고 있는 것에 불과한 것이다. 즉, 예를 들어 상술한 설명에서는 생체신호 감지부(128), 인식부(126), 제어부(100)가 글라스(314)의 테 부분에 내장되어 있으며, 그 외의 구성 부분은 우측 걸이(302)와 좌측 걸이(304) 부분에 각각 나뉘어져 내장되어 있는 것으로 설명하였다. 그러나 이러한 위치는 얼마든지 편의상, 또는 그 외의 이유로 바뀔 수 있음이 물론이다. 또한 본 발명에서는 사용자의 생체 신호 를 감지할 수 있는 센서를, 글라스(314) 좌우측 상단 부분의 테에 위치하는 센서들(308, 310)과, 우측 코걸이 부분에 위치하는 센서(312)와 좌측 코걸이 부분에 위치하는 센서(313), 그리고 우측 걸이(304) 부분과 좌측 걸이(302) 부분에 위치하는 센서들(250, 260)의 총 6개의 센서를 구비하고 있지만, 각각의 생체 신호, 즉 EMG 또는 EOG신호의 감지 성능을 더욱 높이기 위해 센서의 수를 늘리거나, 센서의 감지 능력이 충분할 경우 그 센서의 수를 줄일 수도 있음은 물론이다. 따라서 본 발명의 실시 예에 따른 구성이 도 3에서 보이고 있는 실시 예에 의해 한정되지 않음은 당연하다.
도 4는 상기한 EOG 전위차 검출부(202)에서 사용자의 눈동자의 위치에 따라 변하는 전위차를 보이고 있는 도면이다. 우선 도 4를 참조하여 보면, 사용자의 눈동자의 위치에 따라 전면 감지부(200), 우측 측면 감지부(250), 좌측 측면 감지부(260)로부터 감지된 전압과 기준 전압 발생부(134)로부터 발생되는 기준 전압과의 차이가 각각 달라지는 것을 볼 수 있다. 도 4에서 V1은 기준 전압과 우측 측면 감지부(250)에서 감지된 전압의 전위차를 보이고 있는 것이며, V2는 기준 전압과 전면 감지부(200)의 우측 이마의 센서(308)에서 감지된 전압의 전위차를 보이고 있는 것이다. 그리고 V3는 전면 감지부(200)의 우측 코걸이 부분에 위치하는 센서(312)에서 감지된 전압과 기준 전압의 전위차를 보이고 있는 것이다. 그리고 V4는 전면 감지부(200)의 좌측 코걸이 부분에 위치하는 센서(313)에서 감지된 전압과 기준 전압의 전위차를 보이고 있는 것이며, V5는 기준 전압과 전면 감지부(200)의 좌측 이마의 센서(310)에서 감지된 전압의 전위차를 보이고 있는 것이다. 또한 V6는 기준 전압과 좌측 측면 감지부(260)에서 감지된 전압의 전위차를 보이고 있는 것이다. 이를 표로 보이면 다음과 같다.
전압 센서 위치 감지부
V1 우측 걸이(302) 우측 측면 감지부(250)
V2 글라스 우측 상단 테(308) 전면 감지부(200)
V3 우측 코걸이 부분(312) 전면 감지부(200)
V4 좌측 코걸이 부분(313) 전면 감지부(200)
V5 글라스 좌측 상단 테(310) 전면 감지부(200)
V6 좌측 걸이(304) 좌측 측면 감지부(260)
도 4를 참조하여 살펴보면 사용자의 눈동자 위치에 따라서 V1 ~ V6까지의 전위차는 각각 달라지는 것을 볼 수 있다. 예를 들어 사용자가 양쪽 눈동자를 모두 오른쪽으로 향했을 경우 양 전압(+ 전압)의 EOG신호가 발생되는 부분은 V1과 V4, 즉, 사용자의 얼굴 우측, 즉 우측 관자놀이 부분과 사용자의 좌측 코걸이부분이다. 그리고 음 전압(- 전압)의 EOG신호가 발생하는 부분은 사용자의 우측 코걸이부분과 사용자의 얼굴 좌측, 즉 좌측 관자놀이 부분이다. 그리고 사용자가 양쪽 눈동자를 윗부분을 향했을 경우에는 사용자의 우측 이마 부분과 사용자의 좌측 이마 부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되고, 사용자의 우측 코걸이부분과 좌측 코걸이부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다.
또한 사용자가 양쪽 눈동자를 왼쪽으로 향했을 경우에는 사용자의 우측 코걸이부분과 사용자의 좌측 관자놀이 부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되고, 사용자의 우측 관자놀이 부분과 사용자의 좌측 코걸이부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다. 그리고 사용자가 양쪽 눈동자를 모두 아래 방향으로 향했을 경우에는 사용자의 우측 코걸이부분과 좌측 코걸이부분에서 양 전압(+ 전압)의 EOG신호가 발생하게 되며, 사용자의 우측 이마 부분과 사용자의 좌측 이마 부분에서 음 전압(- 전압)의 EOG신호가 발생하게 된다. 따라서 사용자의 눈동자가 향하는 방향에 따라, 양 전압의 EOG, 음전압의 EOG신호가 각 위치의 센서마다 각기 다르게 발생하게 된다.
상기한 바와 같이 이러한 사용자의 눈동자의 움직임에 따라 각 센서에서 측정되는 EOG신호가 일정하게 변화되는 것을 이용한다면 사용자의 눈동자가 향하는 시선이 어느 방향인지를 인식하는 것이 가능해 진다. 따라서 이러한 EOG신호의 전위차에 따른 값을 소정의 식을 이용하여 좌표화시킬 수도 있다.
Yh = (V1 + V4) - (V3 + V6)
Yv = (V2 + V5) - (V3 + V4)
가상의 2차원 좌표계에서, 상기 수학식 1은 도 4에서 보이고 있는 각 센서들로부터 측정된 EOG신호중 눈의 수평움직임을 좌표화 하기 위한 수평 좌표값 산출식이다. 또한 상기 수학식 2는 도 4에서 보이고 있는 각 센서들로부터 측정된 EOG신호중 눈의 수직 움직임을 좌표화 하기 위한 수직 좌표값 산출식이다. 상기한 수학식 1과 수학식 2에 도 4에서 임의적으로 대입한 값을 이용하면 사용자의 눈동자의 움직임에 따른 수직 좌표와 수평 좌표를 구하는 것이 가능하므로, 사용자의 시선에 따른 좌표 위치를 구할 수 있다. 도 5는 이러한 사용자의 시선에 따른 좌표 위치와 그에 따라 본 발명의 실시 예에서 사용가능한 키 맵의 예를 보이고 있는 도면이다.
도 5를 참조하여 살펴보면 도 5의 (a)는 상기한 바와 같이 도 4에서 임의적으로 대입한 값들과 상기 수학식 1, 수학식 2를 이용하여, 사용자의 각 눈동자 위치마다 설정되는 좌표 위치를 보이고 있다. 이를 참조하여 살펴보면, 사용자가 양쪽 눈동자를 정 중앙으로 한 상태(50)에서 우측으로 눈동자를 향한 경우(502) 상기한 수학식 1에 의해 '4'값이 산출된다. 그리고 수학식 2에 의해 '0'값이 산출되게 된다. 따라서 502의 경우 도 5의 (a)에서는 (4,0)의 좌표가 이에 해당된다. 또한 사용자가 눈동자를 대각선 우측으로 향한 경우(504) 상기한 수학식 1에 의해 '3'값이 산출되며, 상기한 수학식 2에 의해 '3'값이 산출되므로 (3,3)의 좌표값이 산출되게 된다. 그리고 사용자가 눈동자를 모두 위로 향하게 한 경우(506)에는 수학식 1에 의해 '0'값이 산출되며, 수학식 2에 의해 '5'값이 산출되므로 (0,5)의 좌표값이 산출되게 된다. 이러한 방법으로 각각의 경우(508, 510, 512, 514, 516)마다의 좌표값을 산출하여 보면, 도 5의 (a)와 같은 좌표값들이 산출되게 된다. 따라서 본 발명에서는 사용자의 눈동자의 움직임에 따라 발생하는 전압을 감지하여 이를 기준 전압과 비교하고, 그 비교된 차이를 소정의 식을 이용함으로써 사용자의 시선이 가리키는 지점에 대한 좌표값을 산출한다. 이에 따라서 본 발명의 실시 예에 따른 이동통신 단말기는 단지 사용자가 눈을 움직이는 것만으로도 사용자의 시선의 위치를 인식할 수 있다. 단, 상기의 예는 이해를 돕기 위해 +1, 0, -1 의 고정된 임의의 값을 사용하여 설명하였으나 실제로는 각 전극으로부터 실제로 측정된 EOG신호(실수)를 이용하여 좌표화 시키므로 눈의 움직임을 자유롭게 좌표로 표현 할 수 있다. 즉, 키 선택 커서를 안구의 움직임만으로 자유롭게 이동시킬 수 있다.
도 5의 (b)와 (c)는 상술한 바와 같이 인식된 사용자의 시선의 위치를 이용하여 사용자가 키를 입력할 수 있는 키 맵 화면을 보이고 있는 도면이다. 우선 도 5의 (b)를 참조하여 살펴보면, 일반적인 이동통신 단말기의 키 맵과 유사한 키 맵을 볼 수가 있다. 이러한 키 맵에서 사용자는 상기한 도 5의 (a)와 같은 방식으로 키 맵의 키들 중 1 ~ 9 까지의 키를 선택할 수 있다. 이는 상술한 바와 같이 사용자가 어느 방향으로 사용자의 눈동자를 움직이는 가에 따라 결정된다. 그러나 통상적인 이동통신 단말기에서 키의 개수는 보통 9개를 넘게 된다. 따라서 본 발명에서는 도 5의 (b)와 같은 키 맵에서 '*'키와 '0'키, 그리고 '#'를 선택하기 위한 방법으로 사용자의 눈동자의 움직임이 감지된 시간을 체크하기로 한다. 즉, 사용자가 정면을 바라보고 있는 상태인 경우에는 사용자의 시선에 의해 키'5'가 선택됨을 인식하고 키'5'에 키 선택 커서를 설정한다. 그리고 사용자가 눈동자를 아래쪽으로 향했을 경우 사용자의 EOG신호에 따라 키'8'이 선택되었음을 인식하고 키'8'에 키 선택 커서를 설정한다. 따라서 사용자는 자신이 원하는 키를 선택하는 것이 단지 시선을 이동시키는 것만으로도 가능해진다.
또한 도 5의 (a)는 사용자의 눈동자가 모두 오른쪽을 향하고 있는 상태에서 위쪽, 그리고 왼쪽과 아래쪽 방향으로 원을 그리며 이동하는 예를 보였다. 그리고 도 5의 (a)에서는 이러한 사용자의 시선 이동에 따라 이동통신 단말기에서 인식되는 위치가 원을 그리며 이동하는 것을 보였다. 이를 이용하면 통상적인 도 5의 (b)와 같은 키 맵 외에 원형의 키 맵을 설정하고 이를 이용할 수도 있음은 물론이다. 도 5의 (c)는 이러한 원형으로 배열된 키 맵의 예를 보이고 있는 도면이다. 따라서 이러한 본 발명의 실시 예에 따른 이동통신 단말기에서 키 맵은 도 5의 (b)에서 보인 전형적인 키 맵 말고도 도 5의 (c)에서 보이고 있는 바와 같이 다양한 형태로 구현될 수 있음은 물론이다. 따라서 본 발명에서는 사용자의 시선의 위치에 따라 현재 디스플레이되고 있는 키 맵에서 사용자가 워하는 키에 얼마든지 키 선택 커서를 이동할 수 있다.
그러나 사용자가 비록 원하는 키에 키 선택 커서를 이동시켰다고 하여도 이러한 사용자의 EOG신호만으로는 선택된 키를 입력시킬 수 있는 '확인'신호를 입력을 할 수 없다. 따라서 상술한 바와 같이 키를 선택하고 그 키에 대한 선택을 확인하기 위한 신호로서 사용자가 눈을 깜빡이는 방법이 고안된 적도 있으나, 이는 사용자가 시선을 이용하여 원하는 키를 선택하고, 시선을 고정시킨 상태에서 눈을 깜빡여야 했으므로 오작동을 할 수 있는 가능성이 높았다. 따라서 본 발명에서는 사용자가 시선으로 키를 선택한 후에 그 키를 바로 입력할 수 있도록 하기 위하여 EMG신호를 이용하도록 한다.
도 6은 상기한 도 3에서 보인 바와 같은 이동통신 단말기에서 좌측 걸이(304) 부분에 구비된 좌측 측면 감지부(260)의 센서와 우측 걸이(302) 부분에 구비된 우측 측면 감지부(250)의 센서로부터 입력되는 EMG신호의 예를 보이고 있는 도면이다. 도 6에서 사용자가 우측 어금니를 깨무는 동안에 감지된 EMG신호를 EMG1신호라고 하고, 사용자가 좌측 어금니를 깨무는 동안에 감지된 EMG신호를 EMG2신호라고 하기로 한다. 도 6을 참조하여 살펴보면, 사용자가 우측 어금니를 깨무는 순간에 사용자의 우측 관자놀이에서 높은 주파수 성분(일반적으로100~2000Hz)이 급격하 게 발생하게 된다. 그리고 사용자가 좌측 어금니를 깨무는 순간에 사용자의 좌측 관자놀이에서 높은 주파수 성분(일반적으로100~2000Hz)이 급격하게 발생하게 된다. 그리고 사용자가 좌측 어금니를 깨무는 순간에 사용자의 좌측 관자놀이에서는 기준 전압 발생부(134)에서 발생하는 전압보다 더 높은 전압이 발생하게 된다. 이에 따라서 본 발명의 실시 예에 따른 이동통신 단말기에서는 우측 측면 감지부(250)와 좌측 측면 감지부(260)를 통해 이러한 전압의 변화를 감지하고 EMG 신호 검출부(270)를 통해 사용자가 우측 어금니를 깨물었는지 아니면 좌측 어금니를 깨물었는지, 또는 좌우측 어금니를 모두 깨물었는지를 인식할 수 있다. 이에 따라서 이러한 EMG신호를 이용한 방법으로 이용하면 사용자로부터 의도된 총 3가지의 신호를 입력받을 수가 있다. 따라서 본 발명에서는 이러한 3가지 EMG신호들 중 어느 하나를 사용자의 '확인'신호로 이용하기로 한다. 이 3가지의 신호들 중 어떤 것이라도 이용이 가능하지만 본 발명에서는 편의상 사용자가 좌우측 어금니를 모두 깨무는 경우를 사용자가 '확인' 신호를 입력하는 것으로 인식하기로 한다.
이에 따라서 사용자는 얼마든지 자신이 원하는 키를 선택하고 이를 입력시킬 수 있다. 도 7 (a)는, 5의 (b)에서 보인 바와 같은 키 맵(306)이 마이크로 디스플레이(110)에 의해 디스플레이되는 화면에서 사용자가 원하는 키를 선택하고 이를 입력시키는 예를 보이고 있는 도면이다. 도 7 (a)을 참조하여 살펴보면, 메뉴를 선택할 수 있는 메뉴키(702), 확인키(704), 취소키(706), 그리고 키 맵(306), 그리고 입력된 전화번호로 호 착신 신호를 송신할 수 있는 Send키(708), 그리고 모든 동작을 취소시킬 수 있는 Stop키(710)가 화면의 좌측에 구비되어 있으며, 사용자가 입 력한 전화번호를 미리 확인할 수 있는 미리보기창(712), 그리고 왼쪽 또는 오른쪽으로 미리보기창(712)의 커서를 이동시킬 수 있는 좌 이동키(714)와 우 이동키(716)가 화면 우측에 구비되어 있음을 볼 수가 있다.
사용자는 본 발명의 실시 예에 따른 이동통신 단말기의 가상화면 모드를 온 시킬 경우에 도 7의 (a)와 같이 디스플레이된 초기 화면을 볼 수 있다. 여기서 키 설정 커서(700)는 디폴트(Default)로 설정된 위치(도 7의 (a)에서는 '5'키)에 설정되어 있다. 만약 이 상태에서 사용자가 시선을 아래로 향한다면 키 설정 커서(700)는 아래쪽으로 이동하여 키 '0'에 설정된다. 이때 사용자가 양쪽 어금니를 깨문다면 미리보기창(712)에는 도 7의 (a)에서 보이고 있는 것처럼 '0'이 입력된다. 또한 사용자가 계속 시선을 위쪽으로 향한다면 키 설정 커서는 차례로 이동하여 키'2'의 위치까지 이동하게 된다. 여기서 다시 사용자가 양쪽 어금니를 깨문다면 '2'가 미리보기창(702)에 입력되게 된다. 이에 따라 미리보기창(712)에는 '02'라는 숫자가 입력되게 된다. 이런 방법으로 사용자가 도 7 (a)에서 보이고 있는 바와 같이 원하는 전화번호 '02-770-8410'을 입력하게 되면 사용자는 시선을 계속 아래로 이동하여 키 설정 커서(700)가 키'0'아랫 부분에 위치한 Send키(708)에 설정되게 이동시키고 양쪽 어금니를 동시에 깨뭄으로써 이동통신 단말기의 제어부에 EMG1신호(우측 어금니가 깨물렸음을 알리는 신호), EMG2신호(좌측 어금니가 깨물렸음을 알리는 신호)를 동시에 입력한다. 그러면 본 발명의 실시 예에 따른 이동통신 단말기의 제어부는 미리보기창(712)에 현재 입력되어 있는 전화번호로 호 착신 신호를 송신한다.
또한 만약 사용자가 키를 잘못 입력하였을 경우에, 사용자는 우측 어금니 또 는 좌측 어금니 중 어느 하나를 깨뭄으로써 좌 이동키(714) 또는 우 이동키(716) 중 어느 하나를 선택하여 미리보기창(712)의 커서를 이동시킬 수 있다. 그리고 이동된 문자에서 사용자는 다른 키를 선택하고 그 키를 현재 커서가 이동된 위치에 대신 입력시킬 수 있다. 따라서 본 발명의 실시 예에 따른 이동통신 단말기에서는 사용자가 단지 눈동자의 이동과 좌우측 어금니를 깨무는 동작만으로 자신이 원하는 번호를 입력하고 통화를 하는 것이 가능하다.
도 7 (b)는 상기한 도 7 (a)에서 사용자가 메뉴키(702)를 선택하였을 경우에 메뉴 선택화면이 디스플레이되는 예를 보이고 있는 도면이다. 이러한 메뉴 선택 화면에서 디스플레이되는 메뉴들을 살펴보면 도 7 (b)에서는 문자 메시지 기능을 이용할 수 있도록 하는 문자 메시지 메뉴(750), 게임등 다양한 엔터테이먼트(Entertainment) 기능을 이용할 수 있도록 하는 메뉴(752), 사용자의 스케줄 등을 관리할 수 있는 일정 관리키(754), 그리고 원하는 키 맵의 형태 또는 키 맵의 종류를 선택할 수 있는 키 맵 설정 메뉴(756)등이 있음을 알 수 있다.
여기서 키 맵 설정 메뉴(756)는 사용자가 편의에 따라 디스플레이되는 키 맵을 선택할 수 있도록 하는 메뉴이다. 이는 사용자가 자신이 사용하기에 편리한 키 맵을 선택할 수 있도록 함으로써 사용자 인터페이스를 향상시키기 위한 것이다. 이 메뉴에서 사용자는 키 맵은 키 맵의 종류 또는 형태를 설정할 수 있는데, 키 맵의 형태 설정이라는 것은 상기한 도 5의 (b)에서 보인 전형적인 키 맵 또는 (c)에서 보인 원형의 키 맵을 포함하는 다양한 형태의 키 맵 중에서 원하는 형태의 키 맵을 설정하는 것이고, 키 맵의 종류 설정은 사용자가 원하는 키 맵의 종류를 설정하는 것을 말한다. 일반적으로 키 맵의 종류는 이동통신 단말기의 제조사 별로 다르며 하기한 표 1과 표 2와 같이 상당한 차이가 있다. 이러한 키 맵의 예를 하기 표 2, 3을 참조하여 살펴보기로 한다.
1 ㅣ 2 ㅇ 3 ㅡ
4 ㄱ ㅋ 5 ㄴ 6 ㄷ
7 ㅂ 8 ㅅ 9 ㅈ
0 ㅇ ㅁ
1 ㄱ 2 ㄴ 3 ㅏ ㅓ
4 ㄹ 5 ㅁ 6 ㅗ ㅜ
7 ㅅ 8 ㅇ 9 ㅣ
0 ㅡ
상기한 표 2와 표 3은 각기 다른 이동통신 단말기의 제조사별로 사용되고 있는 키 맵을 보이고 있는 것이다. 상기한 표 2는 삼성 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이며, 상기한 표 3은 LG 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이다. 상기한 표 2와 표 3을 서로 비교하여 보면 양 키 맵간에 상당한 차이가 있는 것을 알 수 있다. 이에 따라서 LG 전자에서 출시되는 이동통신 단말기를 사용하던 사용자들은 그러한 키 맵의 차이로 인해 삼성 전자에서 출시되는 이동통신 단말기를 사용하기에 상당한 어려움을 느낀다. 이는 그 반대의 경우도 마찬가지이다. 따라서 본 발명에서는 사용자의 편리성을 최대한 증대시키기 위해 각 제조사별로 사용되는 키 맵에 대한 정보를 키 맵 정보 저장부(104)에 저장하여 두고 사용자의 선택에 따라 사용자에게 익숙한 이동통신 단말기 제조사의 키 맵이 설정될 수 있도록 하여 사용자가 자신에게 편리한 키 맵을 선택할 수 있도록 한다.
또한 도 7 (b)를 참조하여 살펴보면 종 스크롤 형태로 각각의 메뉴가 디스플레이되고 있음을 알 수 있다. 이는 단지 EMG1신호 또는 EMG2신호의 입력만으로 사용자가 메뉴를 선택할 수 있도록 하기 위한 것이다. 이러한 메뉴 화면이 디스플레이되었을 경우 사용자가 우측 어금니를 깨뭄으로서 EMG1신호를 입력한다면 키 설정 커서(700)는 위쪽 방향으로 한 칸씩 이동하게 된다. 또한 사용자가 좌측 어금니를 깨뭄으로서 EMG2신호를 입력한다면 키 설정 커서(700)는 아래쪽 방향으로 한 칸씩 이동하게 된다. 그리고 사용자는 이동되는 키 설정 커서(700)를 육안으로 확인하면서 원하는 메뉴에 키 설정 커서가 이동되었을 경우 좌우측 어금니를 동시에 깨뭄으로써 EMG1신호와 EMG2신호를 동시에 입력하여 현재 키 설정 커서(700)에 해당되는 메뉴를 선택한다.
또한 현재 도 7 (b)에서는 종 스크롤 형태로 디스플레이되는 메뉴들을 그 예로 보이고 있으나, 이러한 메뉴를 횡 스크롤 형태로, 즉 가로 방향으로 펼쳐보이게 할 수도 있음은 물론이다. 이 경우 사용자가 우측 어금니를 깨물었을 경우에는 우측 방향으로 키 설정 커서(700)가 우측 방향으로, 그리고 사용자가 좌측 어금니를 깨물었을 경우에는 좌측 방향으로 키 설정 커서(700)가 좌측 방향으로 이동하게 할 수 있음은 물론이다. 따라서 사용자는 눈동자를 이동시키지 않고 단지 좌우측 어금니를 깨무는 동작만으로 키 설정 커서(700)를 이동시킴으로서 현재 디스플레이되는 메뉴들 중에서 원하는 메뉴를 선택할 수 있다.
도 8은 이러한 본 발명의 실시 예에 따른 이동통신 단말기에서 사용자가 입 력한 키를 인식하고, 그 키를 입력받는 과정을 도시하고 있는 흐름도이다. 도 8을 참조하여 살펴보면, 800단계에서 사용자가 가상화면 모드를 온 시킬 경우, 제어부(100)는 802단계로 진행하여 메모리부(102)로부터 사용자가 설정한 가상화면에 대한 정보를 로드한다. 여기서 '가상화면 모드 온'이라는 것은 사용자가 이동통신 단말기를 사용하기 위한 파워 스위치를 온 시키는 경우 또는 가상화면 모드가 전환되는 경우, 즉 사용자가 메뉴 중에서 문자 메시지를 작성할 수 있는 화면으로 전환되거나 또는 문자 메시지를 작성하는 화면에서 사용자가 호 착신 신호를 송신하기 위한 화면으로 전환되는 경우를 예로 들 수 있다. 또한 여기서 가상화면에 대한 정보라는 것은 디스플레이될 키 맵에 대한 형태 또는 종류에 대한 정보와 현재 디스플레이되고 있는 키 맵이 문자키 맵인지 숫자키 맵인지에 대한 정보를 포함한다. 예를 들어 사용자가 메뉴 화면에서 문자 메시지 메뉴(750)를 선택하였다면 가상화면 정보에는 디스플레이되는 키 맵이 문자키 맵이라는 정보가 포함된다.
그리고 802단계에서 가상화면에 대한 정보가 로드되면 제어부(100)는 804단계에서 상기 가상화면 정보에 따른 화면을 표시부(108)의 마이크로 디스플레이(110)를 통해 디스플레이한다. 또한, 제어부(100)는 805단로 진행하여 생체신호 측정 전에 생체신호를 받아들일 전극이 제대로 신체와 접촉되어 있는지 또는 전극 자체에 이상이 있는지 등의 이상 유무를 체크하게 된다. 이때 이상 발생시 전극 상태를 확인하라는 메시지(경고음, 또는 문자)를 보내게 된다. 그리고 제어부(200)는 806단계로 진행하여 사용자로부터 생체 신호, 즉 EMG신호와 EOG신호가 입력되었는지를 확인한다. 그리고 만약 사용자로부터 생체 신호가 입력되었다면 808단계로 진 행하여 사용자의 생체 신호에 따라 선택된 키를 인식한다. 그리고 키가 인식되면 810단계로 진행하여 사용자가 선택한 키 값을 입력받는다. 여기서 상기한 808단계의 사용자의 생체 신호에 따른 키 인식 과정은 도 9를 참조하여 자세히 설명하기로 한다. 또한 사용자의 생체 신호에 따라 인식된 키 값을 선택하는 과정은 도 10을 참조하여 자세히 설명하기로 한다.
한편 만약 상기한 806단계에서 생체 신호가 감지되지 않았다면 제어부(100)는 812단계로 진행하여 사용자가 가상화면 모드의 오프를 선택하였는지를 확인한다. 그리고 사용자가 가상화면 모드의 오프를 선택하였다면 현재 가상화면 모드를 종료한다. 그러나 이와는 달리 사용자가 만약 가상화면 모드의 오프를 선택하지 않았다면 제어부(100)는 다시 806단계로 진행하여 다시 사용자의 생체 신호가 감지되었는지를 체크하여, 사용자가 다시 키를 입력하였는지를 확인한다.
도 9는 상기한 도 8의 808단계인 감지된 신호에 따른 키 인식 동작 과정에 대한 상세한 흐름을 보이고 있는 도면이다. 도 9를 참조하여 살펴보면 900단계에서 제어부(100)는 디폴트로 설정되어 있는 위치에 키 설정 커서(700)를 설정한다. 그리고 902단계로 진행하여 사용자로부터 키 설정 커서(700)를 이동시키는 EOG신호가 입력되었는지를 체크한다. 그리고 만약 사용자에 의해 EOG신호가 입력되었다면 904단계에서 제어부(100)는 그 EOG신호를 인식하여 인식된 위치에 키 설정 커서(700)를 이동시킨다. 그리고 904단계에서 EOG신호에 따라 키 설정 커서가 이동되면 제어부(100)는 906단계로 진행하여 키 설정 커서가 메뉴 선택키(702)에 있는지를 확인한다. 그리고 만약 키 설정 커서(700)가 상기한 메뉴 선택키(702)에 위치하여 있지 않다면 제어부(100)는 910단계로 진행하여 EMG 입력부(132)로부터 '확인'을 의미하는 EMG신호, 즉 사용자가 좌측 어금니를 동시에 깨뭄으로서 입력되는 EMG1신호와 사용자가 우측 어금니를 동시에 깨뭄으로서 입력되는 EMG2신호가 동시에 발생하였는지를 확인한다. 그리고 EMG1신호와 EMG2신호가 동시에 입력되었다면 912단계로 진행하여 현재 키 설정 커서(700)가 설정된 키가 사용자로부터 선택되었음을 인식한다.
그러나 만약 상기한 910단계에서 사용자로부터 '확인' 신호가 입력되지 않았을 경우에는 다시 902단계로 진행하여 사용자로부터 EOG신호가 입력되었는지를 확인하고, 만약 입력되었다면 904단계로 진행하여 사용자가 입력한 EOG신호에 따라 키 설정 커서(700)를 이동시킨다. 그러나 만약 EOG신호가 입력되지 않았다면 다시 910단계로 진행하여 사용자로부터 '확인'신호가 입력되었는지를 체크한다.
한편, 상기한 906단계에서 현재 키 설정 커서(700)가 설정된 키가 메뉴 선택키(702)에 위치하여 있다면 제어부(100)는 908단계로 진행하여 사용자로부터 메뉴를 선택받게 된다. 이러한 메뉴 선택 과정은 도 10에서 자세히 설명하기로 한다. 그리고 제어부(100)는 912단계로 진행하여 현재 커서 위치에 해당되는 키가 선택되었음을 인식함으로써, 그 키에 따른 메뉴가 선택되었음을 인식한다.
도 10은 도 9의 908단계인 메뉴 선택 단계에서의 제어부(100)의 동작을 상세하게 보이고 있는 도면이다. 도 10을 참조하여 살펴보면, 908단계에서 사용자에 의해 메뉴 선택키에 키 설정 커서(700)가 위치하게 되면 제어부(100)는 1000단계에서 EMG 입력부(132)에서 사용자가 입력한 '확인'신호 즉, EMG1신호와 EMG2신호가 동시 에 입력되었는지를 체크한다. 그리고 '확인' 신호가 제어부(100)는 1001단계로 진행하여 현재 키 설정 커서(700)에 해당되는 메뉴 화면을 디스플레이한다. 여기서 디스플레이되는 메뉴 화면은 상기한 도 7 (b)와 같다. 그리고 1002단계로 진행하여 현재 디스플레이된 메뉴들 중에서 디폴트로 설정된 위치에 키 설정 커서(700)를 설정한다. 디스플레이된 메뉴들 중에서 어느 하나의 메뉴에 키 설정 커서(700)가 설정되면 제어부(100)는 1004단계로 진행하여 EMG 입력부(132)에서 사용자가 입력한 EMG신호가 입력되었는지를 체크한다. 그리고 만약 EMG신호가 입력되었다면 제어부(100)는 1006단계로 진행하여 입력된 EMG신호가 확인 신호인지 아닌지를 체크한다. 만약 상기한 1006단계에서 사용자로부터 EMG1신호 또는 EMG2신호가 어느 하나만 입력된다면 제어부(100)는 1008단계로 진행하여 현재 입력된 EMG신호에 따라 현재 디스플레이된 메뉴 화면에서 키 설정 커서(700)의 위치를 이동시킨다. 그리고 다시 1004단계에서 사용자로부터 EMG신호가 입력되었는지를 확인한다. 한편, 상기한 1000단계에서 만약 EMG 입력부(132)에서 사용자가 입력한 '확인'신호가 입력되지 않았을 경우에는 다시 도 9의 902단계로 진행하여 사용자로부터 EOG신호가 입력되었는지를 체크한다.
도 11은 상기한 도 8의 808단계에서 사용자로부터 선택된 키가 인식된 경우 그 키를 입력하는 과정을 보이고 있는 도면이다. 도 11을 참조하여 살펴보면 상기한 808단계에서 사용자로부터 선택된 특정 키가 인식되었을 경우 제어부(100)는 1100단계로 진행하여 현재 인식된 키가 특정 메뉴에 대응되는 키인지를 확인한다. 그리고 특정 메뉴에 대응되는 키일 경우에는 1114단계로 진행하여 해당키에 대응되 는 메뉴를 선택한다. 이러한 1110단계와 1114단계는 도 7 (b)에서 디스플레이된 메뉴에서 특정 메뉴를 사용자가 선택하였다면 그 메뉴에 따른 동작, 즉 예를 들어 일정 관리 메뉴를 선택하여 사용자의 일정을 기록하거나 하는 경우를 들 수 있다. 그리고 만약 현재 인식된 키가 특정 메뉴에 대응되는 키가 아닐 경우에는 제어부(100)는 1102단계로 진행하여 현재 디스플레이된 키 맵이 숫자키 맵인지를 확인한다. 그리고 만약 현재 디스플레이된 키 맵이 숫자키 맵일 경우에는 1112단계로 진행하여 해당키에 대응되는 숫자키를 입력한다.
한편, 상기 1102단계에서 현재 디스플레이된 키 맵이 숫자키 맵이 아닐 경우에 제어부(100)는 현재 디스플레이되고 있는 키 맵이 영문 또는 국문의 문자키 맵임을 인지하고, 1104단계로 진행하여 상기 키 인식 단계에서 선택된 키에 해당되는 적어도 하나 이상의 키 값들을 로드한다. 그리고 사용자로부터 EMG신호가 입력되었는지를 확인한다. 그리고 사용자로부터 EMG신호가 입력되었다면 1106단계로 진행하여 현재 입력된 신호가 '확인'신호인지를 확인한다. 여기서 '확인'신호라는 것은 EMG1신호와 EMG2신호가 동시에 입력되는 것을 말한다. 그리고 만약 1106단계에서 '확인'신호가 입력되지 않았다면 입력된 EMG신호, 즉, 입력된 EMG신호가 EMG1신호인지 EMG2신호인지를 확인한다. 그리고 확인된 EMG신호에 따라서 문자 선택커서를 이동한다.
여기서 문자 선택 커서라는 것은 적어도 하나 이상의 문자가 하나의 문자키에 해당되는 문자키에서 사용자가 선택한 어느 하나의 문자를 표시하기 위한 커서를 말한다. 물론 본 발명의 실시 예와 같은 경우 문자 선택을 위한 키 맵을 따로 구비하고 이를 이용하던지, 아니면 숫자키만이 따로 설정되어 있는 키 맵을 구비하고 이를 로드함으로써 하나의 키에 단지 하나의 키 입력을 설정하여 둘 수도 있다. 그러나 문자의 경우 각각의 문자마다 하나씩의 키가 대응되게 설정한다면 그에 대응되는 다수의 키를 더 구비하여야 하므로 키 맵이 너무 복잡해지게 된다. 따라서 하나의 문자키에 복수 개의 문자가 대응되도록 설정하는 것이 일반적인데, 이는 본 발명의 실시 예에서도 유사하게 적용되기 때문에 이러한 문자 선택 커서를 이동함으로써 하나의 문자키에 설정되어 있는 다수의 문자들 중에서 사용자가 선택한 어느 하나의 문자를 육안으로 확인하고 이를 입력하기 위한 것이다.
한편 상기한 1106단계에서 사용자로부터 입력된 EMG신호가 '확인'신호인 경우에는 제어부(100)는 1110단계로 진행하여 해당 문자 선택 커서에 대응되는 문자를 입력한다.
도 12는 상술한 도 11에서 보인 문자 선택 커서에 대응되는 문자를 입력하는 과정을 보이는 예를 보이고 있는 도면이다. 도 12의 (a)는 사용자가 키 맵에서 어느 하나의 키를 선택한 경우를 보이고 있으며, 도 12의 (b)는 사용자가 선택한 키 맵의 문자중 어느 하나를 선택하는 과정을 보이고 있는 도면이다. 도 12의 (a)와 (b)를 참조하여 살펴보면, 도 12의 (a)에서 사용자가 선택한 키에는 'G', 'H', 'I'의 3가지 문자가 선택되어 있음을 알 수 있다. 그리고 미리보기창(712)에는, 아직 사용자가 EMG신호를 입력하지 않음으로서 EMG2신호와 대응되는 '좌' 문자 선택키(714)나 EMG1신호와 대응되는 '우'문자 선택키(716) 중 어느 하나도 선택하지 않은 경우를 보이고 있다. 이에 따라 상기 사용자가 선택한 키 중에서 디폴트로 설정되 어 있는 문자 'G'가 미리보기창(712)에 디스플레이된다.
도 12의 (b)는 상기 도 12의 (a)의 상태에서 사용자가 EMG2신호를 연속 2회 입력하여 '우' 문자 선택키(716)를 2회 선택한 경우의 예를 보이고 있는 도면이다. 이에 따라서 사용자가 선택한 키 'G', 'H', 'I'에서 디폴트로 설정되어 있는 'G'에서 문자 선택 커서가 'H', 'I'로 2회 이동하여 최종적으로 문자 'I'가 선택된 모습을 보이고 있는 화면이다. 이러한 상태에서 사용자는 '확인' 신호, 즉 EMG1신호와 EMG2신호를 동시에 입력하기 전까지 얼마든지 자신이 선택한 키에서 문자 선택 커서를 이동함으로서 자신이 원하는 문자를 입력할 수 있다. 따라서 본 발명의 실시 예에 따른 이동통신 단말기의 문자 입력 방법에서는 사용자가 자신의 양손을 전혀 사용하지 않고도 자신이 원하는 문자를 입력할 수 있다.
따라서 본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하며, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 그러므로 본 발명의 실시 예에 따른 이동통신 단말기는 사용자의 눈동자의 움직임에 따라서 발생하는 EOG신호와 사용자가 좌우측의 어금니를 깨뭄으로서 발생하는 EMG신호를 이용하여 사용자가 양손을 전혀 사용하지 않고도 HMD가 구비된 이동통신 단말기를 자유롭게 사용할 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 사용자의 EOG신호와 EMG신호를 이용하는 것만을 예로 들어 설명하였으나 이러한 센서들을 이용하여 사용자의 뇌파(Electroencephalogram : EEG)를 감지하여 사용자의 심리적 상태를 디스플레이 화면에 반영하여 사용자의 심리 상태에 맞는 화면을 디스플레이하게 할 수도 있음은 물론이다. 이러한 EEG는 일반적으로 알파파와 베타파의 분석을 통해 집중도와 안전도, 유쾌함 또는 불쾌함, 긴장 또는 이완, 흥분 또는 침체 등의 사용자의 심리 상태를 분석해 낼 수 있다.
이러한 EEG를 감지하기 위한 장치 역시 본 발명의 실시 예에 따른 이동통신 단말기의 구성에 포함시킬 수 있는데, 도 13은 바로 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 구성에 포함이 가능한 사용자의 EEG를 감지하기 위한 장치의 예를 도시한 도면이다. 도 13을 참조하여 살펴보면, 이러한 사용자의 EEG는 본 발명의 실시 예에 따른 전면 감지부(200)의 센서들 중 사용자의 좌측 이마에 밀착되는 센서(이하 좌측 이마 감지부라고 한다)와 사용자의 우측 이마에 밀착되는 센서(이하 우측 이마 감지부라고 한다), 그리고 기준전압 발생부(134)를 이용하여 감지될 수 있다. 사용자의 우측 이마 부분으로부터 발생되는 전압을 감지하는 우측 이마 감지부(1300)에서 감지하면, 감지된 전압(이하 EEG1 전압이라 한다)은 EEG1 전위차 검출부(1302)에서 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EEG1 전압과 상기 기준 전압의 전위차를 검출한다. 그리고 EEG1 HPF(1304)에서는 상기 EEG1 전위차 검출부(1302)로부터 입력되는 전위차를 EEG1신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거한다. 그리고 EEG1 증 폭부(1306)에서는 이러한 직류 성분의 노이즈가 제거된 EEG1신호를 입력받아서 이를 증폭한다. 그리고 EEG1 LPF(1308)에서는 증폭된 상기 EEG1신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EEG1신호만을 추출한다. 그리고 추출된 EEG1신호를 EEG신호 검출부(1320)에 입력한다.
그리고 사용자의 좌측 이마 부분으로부터 발생되는 전압을 감지하는 좌측 이마 감지부(1310)에서 감지하면, 감지된 전압(이하 EEG2 전압이라 한다)은 EEG2 전위차 검출부(1312)에서 기준전압 발생부(134)로부터 입력되는 기준 전압과 비교하여 상기 EEG2 전압과 상기 기준 전압의 전위차를 검출한다. 그리고 EEG2 HPF(1314)에서는 상기 EEG2 전위차 검출부(1312)로부터 입력되는 전위차를 EEG2신호로 입력받아서 직류 성분의 노이즈(Noise : 잡음)를 제거한다. 그리고 EEG2 증폭부(1316)에서는 이러한 직류 성분의 노이즈가 제거된 EEG2신호를 입력받아서 이를 증폭한다. 그리고 EEG2 LPF(1318)에서는 증폭된 상기 EEG2신호를 입력받아서 직류 성분이 아닌 노이즈를 제거하여 EEG2신호만을 추출한다. 그리고 추출된 EEG1신호를 EEG신호 검출부(1320)에 입력한다. 그리고 EEG신호 검출부에서는 EEG1신호와 EEG2신호를 비교하여 두 신호의 상관도와 주파수를 분석한다. 그리고 두 신호의 상관도가 높을수록 사용자의 상태가 집중 상태에 있다는 신호를 인식부(126)에 입력하고, 두 신호의 주파수 분석 결과가, 빠른 알파파가 발현되는 경우에는 현재 연산 작업등의 학습 중이라는 신호를, 그리고 느린 알파파가 발현되는 경우에는 현재 명상 및 안정 상태에 있다는 신호를 인식부(126)에 입력한다. 즉, EEG1신호와 EEG2신호에 따라 사용자가 현재 안정 상태에 있는지 또는 집중 상태에 있는지를 분석하여, 이러한 사용자의 정신 상태에 맞는 디스플레이 화면을 제공하게끔 할 수도 있다.
아울러 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 HMD 이동통신 단말기를 예로 들어 설명하였으나 이는 단지 설명의 편의를 돕기 위한 예로 든 것으로서, 본 발명은 이동통신 단말기 뿐 아니라 모든 휴대용 정보 단말기에 사용될 수 있음이 물론이다. 또한 본 발명의 실시 예에서는 고글 형태를 그 예로 들었으나 본 발명은 이러한 형태에 국한되는 것인 아니라, 본 발명의 실시 예에 따른 제어부 또는 메모리부등의 구성 요소가 충분히 작아질 경우 고글 형태가 아닌 일반 안경과 같은 형태에도 적용 가능함은 당연하다. 또한 상술하였던 바와 같이 외부 인터페이스부를 통해 확장 메모리나 배터리 등을 장착함으로써 그 성능을 더욱 향상시킬 수도 있음은 물론이다. 즉, MP3 곡등이 저장된 메모리 팩을 이 외부 인터페이스부에 연결하여 사용자가 본 발명의 실시 예에 따른 정보 단말기에서 사용자가 MP3를 감상할 수도 있으며, 이 외부 인터페이스를 노트북 PC(Personal Computer), POST PC등과 연결하여 마이크로 디스플레이에서 디스플레이되는 키들 중 사용자의 움직임에 따라서 선택되는 키 입력을 입력하도록 할 수도 있음은 물론이다. 따라서 발명의 범위는 설명된 실시 예에 의해 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정하여져야 한다.
본 발명은 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기 창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 사용자의 생체 신호를 감지하여 이를 키 입력으로 입력받을 수 있는 EOG 입력부와 EMG 입력부가 포함된 생체 신호 감지부를 구비하고, 이러한 생체 신호 감지부를 통해 감지된 사용자의 생체 신호에 따라 선택된 키를 인식부에서 인식하여 입력하도록 한다. 이에 따라 사용자는 단지 눈의 움직임과 양쪽 어금니를 깨무는 움직임만으로 HMD 정보 단말기에 자신이 원하는 키를 입력할 수 있으므로, HMD 정보 단말기의 사용 시에 양손이 완전히 자유로울 수 있다.

Claims (38)

  1. HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에 있어서,
    가상 화면을 표시하는 마이크로 디스플레이와,
    상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부를 구비한 메모리부와,
    상기 사용자의 얼굴에서 발생되는 전압을 포함하는 생체 신호를 감지하기 위한 생체 신호 감지부와,
    상기 감지된 생체 신호를 인식하고, 인식된 생체 신호에 따른 키 정보를 인식하는 인식부와,
    상기 생체 신호에 따른 키 정보를, 특정 키의 입력으로 인식하는 제어부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  2. 제1항에 있어서, 상기 생체 신호는,
    사용자의 눈동자의 움직임에 따라 발생하는 전압인 안전도(Electrooculogram : EOG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  3. 제1항에 있어서, 상기 생체 신호는,
    사용자가 좌측 또는 우측의 어금니를 무는 동작으로 발생하는 근전도Electromyogram : EMG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  4. 제1항에 있어서, 상기 생체 신호는,
    상기 사용자의 정신적 안정 상태 또는 집중 상태 중 어느 한 가지 이상의 정신적 상태에 따라 발생하는 뇌파(Electroencephalogram : EEG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  5. 제2항에 있어서, 상기 생체 신호 감지부는,
    상기 안전도의 전위차에 따라 특정 키를 선택하기 위한 상기 사용자의 입력으로 인식하는 EOG 입력부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  6. 제3항에 있어서, 상기 생체 신호 감지부는,
    상기 근전도의 전위차에 따라 상기 사용자에 의해 선택된 특정 키를 상기 제어부에 입력시키기 위한 EMG 입력부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  7. 제5항 또는 제6항에 있어서, 상기 생체 신호 감지부는,
    상기 EOG 입력부와, 상기 EMG 입력부를 모두 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  8. 제7항에 있어서, 생체 신호 감지부는,
    상기 사용자의 뇌파를 입력받아, 상기 사용자의 정신적 안정 상태 또는 사용자의 집중 상태를 포함하는 사용자의 정신 상태 중 어느 한 가지 이상의 정신 상태를 분석하는 EEG 감지부를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  9. 제1항 또는 제8항에 있어서, 상기 제어부는,
    상기 EEG 감지부에서 분석된 상기 사용자의 정신적 안정 상태와 집중 상태에 따라 상기 가상 화면의 배경색을 변화시키는 것을 특징으로 하는 HMD 정보 단말기 에서 생체 신호를 이용하여 키를 입력하는 장치.
  10. 제1항에 있어서, 생체 신호 감지부는,
    상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센서들과 상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들을 포함하는 전면 감지부와,
    상기 사용자의 좌측 관자놀이 부분에서 발생하는 전압을 감지할 수 있는 좌측 측면 감지부와,
    상기 사용자의 우측 관자놀이 부분에서 발생하는 전압을 감지할 수 있는 우측 측면 감지부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  11. 제1항에 있어서, 상기 HMD 정보 단말기는,
    글라스(Glass)의 테 부분이 상기 사용자의 이마에 밀착되는 고글(Goggle) 형태를 가지고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  12. 제7항 또는 제11항에 있어서, 상기 전면 감지부는,
    상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센서들이 상기 고글 형태의 HMD 정보 단말기의 코걸이 부분에 위치하고,
    상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들이 상기 고글 형태의 HMD 정보 단말기의 글라스(Glass) 테 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  13. 제7항 또는 제11항에 있어서, 상기 좌측 측면 감지부는,
    상기 고글 형태의 HMD 정보 단말기의 좌측 걸이 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  14. 제7항 또는 제11항에 있어서, 상기 우측 측면 감지부는,
    상기 고글 형태의 HMD 정보 단말기의 우측 걸이 부분에 위치하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  15. 제13항 또는 제14항에 있어서, 상기 EMG 입력부는,
    상기 좌측 측면 감지부로부터 상기 사용자의 좌측 관자놀이 근육의 전압을 감지하는 좌측 EMG 감지부와,
    상기 좌측 관자놀이 근육의 전압을 입력받아서 좌측 EMG신호를 검출하는 좌측 EMG 전위차 검출부와,
    상기 우측 측면 감지부로부터 상기 사용자의 우측 관자놀이 근육의 전압을 감지하는 우측 EMG 감지부와,
    상기 우측 관자놀이 근육의 전압을 입력받아서 우측 EMG신호를 검출하는 우측 EMG 전위차 검출부와,
    상기 입력된 좌측 EMG신호와 우측 EMG신호에 따른 EMG 검출 신호를 상기 인식부에 출력하는 EMG 신호 검출부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  16. 제15항에 있어서, 상기 EMG 검출 신호는,
    상기 좌측 EMG신호만 입력되었을 경우와, 상기 우측 EMG신호만 입력되었을 경우 또는 상기 좌우측 EMG신호가 모두 입력되었을 경우에 서로 다른 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  17. 제5항에 있어서, 상기 EOG 입력부는,
    상기 전면 감지부와 상기 좌측 측면 감지부, 그리고 상기 우측 측면 감지부 로부터 감지된 전압들을 입력받아서, EOG신호들을 검출하는 EOG 검출부와,
    상기 검출된 EOG신호들에 따라 상기 사용자의 시선이 향하고 있는 위치 정보를 인식하는 EOG 인식부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  18. 제1항에 있어서, 상기 키 정보 저장부는,
    이동통신 단말기 제조사들마다 각기 다른 키 입력 방식에 따른 키 맵 정보를 적어도 하나 이상 저장하고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  19. 제1항에 있어서, 상기 키 정보 저장부는,
    원형으로 키가 배열되어 있는 키 맵 정보를 저장하고 있는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  20. 제1항에 있어서,
    외부로부터 확장 메모리 또는 확장 배터리 중 어느 하나와 연결될 수 있는 외부 인터페이스부를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  21. 제20항에 있어서, 상기 외부 인터페이스부는,
    노트북 PC(Personal Computer) 또는 POST PC(Personal Computer)에 연결되어 상기 생체 신호 감지부와 상기 인식부를 통해 입력되는 사용자의 생체 신호에 따른 키 입력을 입력할 수도 있음을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 장치.
  22. HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에 있어서,
    가상 화면 정보를 로드하는 가상 화면 로드 단계와,
    상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와,
    상기 사용자의 안면으로부터 발생하는 생체신호를 입력받는 전극의 상태를 체크하는 생체센서 체크 단계와,
    상기 생체 신호를 감지하는 단계와,
    상기 감지된 생체신호에 따른 키를 인식하는 키 인식 단계와,
    상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  23. 제22항에 있어서, 상기 가상 화면 정보는,
    상기 사용자의 선택에 따라 설정된 키 맵의 종류와 형태에 대한 정보를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  24. 제23항에 있어서, 생체센서 체크 단계는,
    상기 생체신호를 입력받는 전극이 신체와 접촉되어 있는지를 체크하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  25. 제23항에 있어서, 생체센서 체크 단계는,
    상기 생체신호를 입력받는 전극이 정상적으로 작동하지 않을 경우 이를 메시지 또는 경고음 중 어느 하나로 사용자에게 알리는 생체센서 오류 알림 단계를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  26. 제22항에 있어서, 상기 생체 신호는,
    사용자의 눈동자의 움직임에 따라 발생하는 전압인 안전도(Electrooculogram : EOG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  27. 제22항에 있어서, 상기 생체 신호는,
    사용자가 좌측 또는 우측의 어금니를 무는 동작으로 발생하는 근전도Electromyogram : EMG)를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  28. 제26항 또는 제27항에 있어서, 상기 생체 신호는,
    상기 근전도와 상기 안전도를 모두 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  29. 제26항에 있어서, 상기 안전도는,
    상기 사용자의 코 윗부분의 좌우측에서 발생하는 전압을 감지할 수 있는 센 서들과, 상기 사용자의 좌우측 이마에서 발생하는 전압을 감지할 수 있는 센서들과, 상기 사용자의 좌우측 관자놀이에서 발생하는 전압을 감지할 수 있는 센서들 각각으로부터 감지된 전압들과 특정 기준 전압과의 전위차들인 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  30. 제29항에 있어서, 상기 커서 이동 단계는,
    상기 입력된 안전도에 따라 인식된 위치를, 상기 센서들로부터 감지된 전압을 하기 <수학식 3>에 대입하여 산출되는 수평 좌표값과, 하기 <수학식 4>에 대입하여 산출되는 수직 좌표값에 따라 결정하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
    수평 좌표값 = (V1 + V4) - (V3 + V6)
    수직 좌표값 = (V2 + V5) - (V3 + V4)
    여기서, V1은 상기 사용자의 우측 관자놀이에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,
    V2는 상기 사용자의 우측 이마에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,
    V3는 상기 사용자의 우측 코 윗부분에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,
    V4는 상기 사용자의 좌측 관자놀이에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,
    V5는 상기 사용자의 좌측 이마에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차이며,
    V6은 상기 사용자의 좌측 코 윗부분에서 발생하는 전압을 감지하는 센서에서 입력되는 전압과 상기 기준 전압과의 전위차임을 의미함.
  31. 제28항에 있어서, 상기 키 인식 단계는,
    상기 사용자로부터 상기 안전도를 입력받는 안전도 입력 단계와,
    상기 입력된 안전도에 따라 인식된 위치로 커서를 이동시키는 커서 이동 단계와,
    상기 사용자로부터 상기 근전도를 입력받는 근전도 입력 단계와,
    상기 입력받은 근전도에 따라 현재 커서 위치에 해당되는 키가 선택되었음을 인식하는 키 인식 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  32. 제31항에 있어서, 상기 커서 이동 단계는,
    상기 커서가 메뉴를 선택할 수 있는 화면을 디스플레이하기 위한 메뉴 선택키에 위치하고 있는지를 체크하는 커서 위치 확인 단계와,
    상기 커서가 메뉴 선택키에 위치하고 있는 경우, 상기 사용자로부터 상기 근전도를 입력받는 메뉴 선택 근전도 입력 단계와,
    상기 입력받은 근전도에 따라 상기 사용자가 선택한 메뉴를 인식하는 메뉴 인식 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  33. 제32항에 있어서, 상기 메뉴 인식 단계는,
    상기 사용자가 입력한 근전도가, 상기 좌측 어금니와 상기 우측 어금니 중 어느 하나만을 깨물었을 경우, 상기 사용자가 깨문 어금니에 설정되어 있는 커서 이동 방향으로 상기 커서가 이동하여 다른 메뉴에 설정되는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  34. 제32항에 있어서, 상기 메뉴 인식 단계는,
    상기 사용자가 입력한 근전도가, 상기 좌측 어금니와 상기 우측 어금니를 상기 사용자가 동시에 깨문 경우에 발생하는 근전도인 경우, 현재 커서가 설정된 메뉴가 상기 사용자에 의해 선택되었음을 인식하는 것을 특징으로 하는 HMD 정보 단 말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  35. 제28항에 있어서, 상기 키 입력 단계는,
    상기 키 인식 단계에서 선택된 키에 해당되는 적어도 하나 이상의 키 값들을 로드하는 키 로드 단계와,
    상기 사용자로부터 상기 키 값들 중 어느 하나를 선택하기 상기 근전도가 입력되었는지를 체크하는 문자 선택 근전도 입력 단계와,
    상기 입력된 근전도에 따른 키 값을 상기 사용자가 선택한 키 입력으로서 입력받는 문자 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  36. 제35항에 있어서, 상기 문자 입력 단계는,
    상기 키 값들 중 어느 하나에 설정되는 문자 선택 커서를 상기 근전도에 따라 설정하는 문자 선택 커서 설정 단계와,
    상기 문자 선택 커서가 설정된 키를 상기 사용자가 선택한 키 입력으로서 입력받는 문자 선택 커서 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  37. 제36항에 있어서, 상기 문자 선택 커서 설정 단계는,
    상기 사용자가 상기 좌측 어금니를 깨문 경우에 발생하는 근전도가 입력되었을 경우에는 상기 문자 선택 커서를 좌측으로 이동하고, 상기 사용자가 상기 우측 어금니를 깨문 경우에 발생하는 근전도가 입력되었을 경우에는 상기 문자 선택 커서를 우측으로 이동하는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
  38. 제36항에 있어서, 상기 문자 선택 커서 입력 단계는,
    상기 사용자가 상기 좌측 어금니와 상기 우측 어금니를 동시에 깨문 경우에 발생하는 근전도가 발생하였을 경우, 현재 상기 문자 선택 커서가 설정되어 있는 키를 상기 사용자가 선택한 키 입력으로서 입력받는 것을 특징으로 하는 HMD 정보 단말기에서 생체 신호를 이용하여 키를 입력하는 방법.
KR1020040075134A 2004-09-20 2004-09-20 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 KR100594117B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020040075134A KR100594117B1 (ko) 2004-09-20 2004-09-20 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US11/076,547 US20060061544A1 (en) 2004-09-20 2005-03-09 Apparatus and method for inputting keys using biological signals in head mounted display information terminal
EP05011373A EP1637975A1 (en) 2004-09-20 2005-05-25 Apparatus and method for inputting keys using biological signals in head mounted display information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040075134A KR100594117B1 (ko) 2004-09-20 2004-09-20 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060026273A KR20060026273A (ko) 2006-03-23
KR100594117B1 true KR100594117B1 (ko) 2006-06-28

Family

ID=36073429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040075134A KR100594117B1 (ko) 2004-09-20 2004-09-20 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법

Country Status (3)

Country Link
US (1) US20060061544A1 (ko)
EP (1) EP1637975A1 (ko)
KR (1) KR100594117B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020970A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101315303B1 (ko) 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
WO2014092509A1 (en) * 2012-12-13 2014-06-19 Samsung Electronics Co., Ltd. Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
US11435826B2 (en) 2016-11-16 2022-09-06 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
KR100725540B1 (ko) * 2005-10-28 2007-06-08 한국전자통신연구원 이물기를 이용한 이동기기 제어 장치 및 방법
KR100652010B1 (ko) * 2005-12-02 2006-12-01 한국전자통신연구원 이물기를 이용한 문자 형성 장치 및 방법
KR100735566B1 (ko) 2006-04-17 2007-07-04 삼성전자주식회사 이동 통신 단말기를 포인터로 이용하는 시스템 및 그 방법
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
KR100866215B1 (ko) * 2006-12-20 2008-10-30 삼성전자주식회사 뇌파를 이용한 단말의 구동 방법 및 장치
US9300949B2 (en) * 2007-01-29 2016-03-29 David J. Ahearn Multi-view system
EP2050389A1 (de) * 2007-10-18 2009-04-22 ETH Zürich Analyse-Einrichtung und Verfahren zur Bestimmung der Augenbewegungen
US20090164131A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a media content-linked population cohort
WO2009120984A1 (en) * 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8405610B1 (en) 2008-10-24 2013-03-26 Sprint Communications Company L.P. Electrooculographical control for a mobile device
KR100995885B1 (ko) * 2008-11-17 2010-11-23 휴잇테크놀러지스 주식회사 눈글인식 응급구난 시스템 및 방법
US8494507B1 (en) * 2009-02-16 2013-07-23 Handhold Adaptive, LLC Adaptive, portable, multi-sensory aid for the disabled
TWI403915B (zh) * 2009-05-19 2013-08-01 Nat Univ Chung Hsing 感測腦電波及眼電波之３ｄ控制裝置及控制方法
WO2011097226A1 (en) * 2010-02-02 2011-08-11 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20120194550A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Sensor-based command and control of external devices with feedback from the external device to the ar glasses
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20110221758A1 (en) * 2010-03-11 2011-09-15 Robert Livingston Apparatus and Method for Manipulating Images through a Computer
US9026074B2 (en) * 2010-06-04 2015-05-05 Qualcomm Incorporated Method and apparatus for wireless distributed computing
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
WO2012040030A2 (en) * 2010-09-20 2012-03-29 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20120268359A1 (en) * 2011-04-19 2012-10-25 Sony Computer Entertainment Inc. Control of electronic device using nerve analysis
US8872766B2 (en) * 2011-05-10 2014-10-28 Raytheon Company System and method for operating a helmet mounted display
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
KR101824501B1 (ko) 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US8203502B1 (en) 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5661067B2 (ja) * 2012-05-29 2015-01-28 株式会社ジェイアイエヌ アイウエア
US20140118243A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Display section determination
KR101465020B1 (ko) * 2012-12-20 2014-11-27 한국과학기술연구원 인공 의수 제어 장치
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
JP2016507851A (ja) 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
WO2014144918A2 (en) * 2013-03-15 2014-09-18 Percept Technologies, Inc. Enhanced optical and perceptual digital eyewear
KR102013708B1 (ko) * 2013-03-29 2019-08-23 삼성전자주식회사 자동 초점 설정 방법 및 이를 위한 장치
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
KR102131358B1 (ko) 2013-06-17 2020-07-07 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법
US20150081225A1 (en) * 2013-06-23 2015-03-19 Keady John P Method and System for the Visualization of Brain Activity
KR102086511B1 (ko) 2013-07-25 2020-03-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
WO2016117970A1 (en) * 2015-01-23 2016-07-28 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102028761B1 (ko) * 2013-07-26 2019-10-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운티드 디스플레이 및 그 제어 방법
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) * 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9483112B2 (en) * 2013-09-26 2016-11-01 Vmware, Inc. Eye tracking in remote desktop client
US9760696B2 (en) * 2013-09-27 2017-09-12 Excalibur Ip, Llc Secure physical authentication input with personal display or sound device
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
CN103646587B (zh) * 2013-12-05 2017-02-22 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
KR102372544B1 (ko) 2014-02-14 2022-03-10 페이스북 테크놀로지스, 엘엘씨 탄성 전기 케이블 및 이를 사용하는 웨어러블 전자 장치를 위한 시스템, 물품, 및 방법
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
TWI602436B (zh) * 2014-05-06 2017-10-11 虛擬會議系統
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
KR102209511B1 (ko) * 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
EP2977855B1 (de) * 2014-07-23 2019-08-28 Wincor Nixdorf International GmbH Virtuelle Tastatur und Eingabeverfahren für eine virtuelle Tastatur
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR101603551B1 (ko) * 2014-11-20 2016-03-15 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
US9904054B2 (en) * 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
GB2534580B (en) 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US11883101B2 (en) 2015-03-10 2024-01-30 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback
KR101633057B1 (ko) * 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US9888843B2 (en) * 2015-06-03 2018-02-13 Microsoft Technology Licensing, Llc Capacitive sensors for determining eye gaze direction
US10416835B2 (en) * 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
JP6334484B2 (ja) * 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
KR102449439B1 (ko) 2016-01-29 2022-09-30 한국전자통신연구원 Hmd를 이용한 무인기 조종 장치
US10289196B2 (en) * 2016-07-01 2019-05-14 North Inc. Techniques for ocular control
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
IL248721A0 (en) * 2016-11-03 2017-02-28 Khoury Elias An accessory for providing hands-free computer input
KR20180055660A (ko) 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN110198665B (zh) * 2016-11-16 2022-03-29 三星电子株式会社 电子设备及其控制方法
CN106681495B (zh) * 2016-12-08 2018-09-14 华南理工大学 一种基于eog的异步字符输入方法及装置
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
US10877647B2 (en) 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
CN108804975A (zh) * 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
KR101911179B1 (ko) 2017-06-07 2018-10-23 건양대학교산학협력단 가상현실과 근전도 피드백 기반 재활훈련시스템
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10795441B2 (en) * 2017-10-23 2020-10-06 Korea University Research And Business Foundation Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
CN109752849B (zh) * 2017-11-03 2021-05-18 宏达国际电子股份有限公司 头戴式显示装置
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11144125B2 (en) 2017-12-07 2021-10-12 First-Light Usa, Llc Hands-free switch system
IL275071B1 (en) 2017-12-07 2024-02-01 Eyefree Assisting Communication Ltd Communication system and method
US11318277B2 (en) 2017-12-31 2022-05-03 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10924869B2 (en) 2018-02-09 2021-02-16 Starkey Laboratories, Inc. Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus
JP2019145008A (ja) * 2018-02-23 2019-08-29 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3843617B1 (en) 2018-08-31 2023-10-04 Facebook Technologies, LLC. Camera-guided interpretation of neuromuscular signals
CA3112564A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN110531948B (zh) * 2019-08-30 2021-09-14 联想(北京)有限公司 一种显示方法、第一电子设备和第二电子设备
US11119580B2 (en) * 2019-10-08 2021-09-14 Nextsense, Inc. Head and eye-based gesture recognition
US20230004222A1 (en) * 2019-11-27 2023-01-05 Hewlett-Packard Development Company, L.P. Providing inputs to computing devices
US11553313B2 (en) 2020-07-02 2023-01-10 Hourglass Medical Llc Clench activated switch system
WO2022173558A1 (en) 2021-02-12 2022-08-18 Hourglass Medical Llc Clench-control accessory for head-worn devices
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
EP4327186A1 (en) 2021-04-21 2024-02-28 Hourglass Medical LLC Methods for voice blanking muscle movement controlled systems
NL2029031B1 (en) 2021-08-24 2023-03-13 Norwegian Univ Sci & Tech Ntnu Nose-operated head-mounted device
CN115857706B (zh) * 2023-03-03 2023-06-06 浙江强脑科技有限公司 基于面部肌肉状态的文字输入方法、装置及终端设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5636941A (en) * 1979-09-04 1981-04-10 Matsushita Electric Ind Co Ltd Returning device for living body
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
EP0864145A4 (en) * 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
WO2000033731A1 (en) * 1998-12-10 2000-06-15 Andrew Junker Brain-body actuated system
JP4693329B2 (ja) * 2000-05-16 2011-06-01 スイスコム・アクチエンゲゼルシヤフト 命令を入力する方法と端末装置
US7199786B2 (en) * 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020970A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101696720B1 (ko) * 2010-08-31 2017-01-16 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101315303B1 (ko) 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
WO2014092509A1 (en) * 2012-12-13 2014-06-19 Samsung Electronics Co., Ltd. Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
US9113029B2 (en) 2012-12-13 2015-08-18 Samsung Electronics Co., Ltd. Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
US9712910B2 (en) 2012-12-13 2017-07-18 Samsung Electronics Co., Ltd. Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
US11435826B2 (en) 2016-11-16 2022-09-06 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Also Published As

Publication number Publication date
EP1637975A1 (en) 2006-03-22
KR20060026273A (ko) 2006-03-23
US20060061544A1 (en) 2006-03-23

Similar Documents

Publication Publication Date Title
KR100594117B1 (ko) Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US20220175248A1 (en) Mobile communication device and other devices with cardiovascular monitoring capability
CN110874129B (zh) 显示系统
US11638550B2 (en) Systems and methods for stroke detection
EP1630587A1 (en) HMD information apparatus and method of operation thereof
KR101779505B1 (ko) 이동 단말기 및 이동 단말기의 생체신호 측정 방법
US8604930B2 (en) Sensor device
US9368018B2 (en) Controlling a user alert based on detection of bio-signals and a determination whether the bio-signals pass a significance test
EP3246768B1 (en) Watch type terminal
KR20090105531A (ko) 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR101830908B1 (ko) 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템
CN108959273B (zh) 翻译方法、电子装置及存储介质
CN109101106B (zh) 电子设备
CN113360005A (zh) 色偏调整方法及相关产品
EP2084494A1 (en) Method and apparatus for communicating navigational instructions to a user
CN110427149A (zh) 终端的操作方法及终端
CN109085884A (zh) 一种提醒方法、智能穿戴设备及计算机可读存储介质
CN113778223A (zh) 智能眼镜的控制方法、智能眼镜及存储介质
CN108513015B (zh) 一种通话方法及移动终端
KR20210101580A (ko) 서로 다른 입력 동작을 구별하는 전자 장치 및 그 방법
CN215729664U (zh) 一种多模态人机交互系统
CN111566597A (zh) 信息处理设备、信息处理方法和程序
US11763560B1 (en) Head-mounted device with feedback
CN109977836B (zh) 一种信息采集方法及终端
KR20160108092A (ko) 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee