KR20130002590A - 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 - Google Patents

안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 Download PDF

Info

Publication number
KR20130002590A
KR20130002590A KR1020110063629A KR20110063629A KR20130002590A KR 20130002590 A KR20130002590 A KR 20130002590A KR 1020110063629 A KR1020110063629 A KR 1020110063629A KR 20110063629 A KR20110063629 A KR 20110063629A KR 20130002590 A KR20130002590 A KR 20130002590A
Authority
KR
South Korea
Prior art keywords
character
frequency
eeg signal
characters
input interface
Prior art date
Application number
KR1020110063629A
Other languages
English (en)
Other versions
KR101293863B1 (ko
Inventor
임창환
임정환
정영진
황한정
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020110063629A priority Critical patent/KR101293863B1/ko
Publication of KR20130002590A publication Critical patent/KR20130002590A/ko
Application granted granted Critical
Publication of KR101293863B1 publication Critical patent/KR101293863B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Pathology (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

안정 상태 시각 유발 전위를 이용한 QWERTY 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법이 개시된다. 문자 입력 인터페이스 장치는 복수개의 문자가 QWERTY 스타일로 표시되는 문자 표시부, 상기 표시되는 문자로 인한 시각 자극에 의해 안정상태 시각유발전위가 유발 되는 동안의 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정부, 상기 측정된 뇌파 신호를 분석하는 뇌파 신호 분석부 및 상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력부를 포함할 수 있다.

Description

안정상태 시각유발전위를 이용한 ＱＷＥＲＴＹ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법{WORD INPUT INTERFACE APPARATUS AND METHOD WITH A QWERTY TYPE USING STEADY STATE VISUAL EVOKED POTENTIAL}
본 발명의 실시예들은 사지에 장애 또는 마비가 있는 사용자가 자신이 입력하고 싶어하는 문자를 응시하고 있는 동안 측정한 뇌파를 분석하여 그 문자를 입력하게 하는 QWERTY 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법에 관한 것이다.
뇌-컴퓨터 접속 (Brain-Computer Interface: BCI)은 사지에 장애가 있거나 마비가 된 환자들이 그들의 생각(뇌파)만으로 휠체어, 컴퓨터의 키보드와 마우스등과 같은 외부기기를 조절할 수 있도록 도와주는 연구분야이다. BCI 시스템의 여러 응용 분야 중 사용자가 입력하고 싶어하는 문자를 응시하는 동안 측정한 뇌파를 분석하여, 사용자가 어떤 문자를 입력하고 싶은지를 파악한 후 생각만으로 문자타이핑을 할 수 있도록 도와주는 문자 입력 장치 (mental speller)가 널리 연구되고 있다.
기존의 BCI 기반의 문자 입력 인터페이스 장치는 도 1에서 나타나는 바와 같이, 매트릭스(Matrix) 형태로 배열되어 있는 문자배열을 사용자에게 보여주고 하나의 문자행과 문자열을 무작위로 깜박이게 하여, 사용자가 바라보고 있는 문자가 포함되어 있는 문자행과 문자열이 깜박이는 동안 측정한 뇌파 신호에서 발생하는 사건 관련 전위(event-related potential)를 이용하여 문자를 선택하는 방식이었다.
이러한 사건 관련 전위를 이용하는 문자 입력 인터페이스 장치는 하나의 문자행과 문자열을 무작위로 깜빡이게 하므로, 문자행과 열의 깜빡임 시간을 줄임과 동시에 빠른 타자 속도를 위하여 각 문자들의 배치를 직사각형 형태로 만들어야 한다. 따라서, QWERTY 형태의 문자 배치에 익숙한 사람들은 직사각형 배치의 문자 위치에 대한 적응이 되어 있지 않으면 원하는 문자를 찾기가 어렵다는 문제점이 있었다.
또한, 정확한 문자 입력을 위해 강한 사건 관련 전위를 유발해야 하기 때문에, 하나의 문자 입력을 위해 문자행과 열을 여러번 (보통 3~5회 이상) 깜빡여야한다. 사용자는 다음 문자 입력을 위해 모든 문자행과 열의 깜빡임이 끝날 때까지 기다려야 하므로 빠른 문자 입력을 어렵게 만든다.
QWERTY 타입의 문자 배치에 익숙한 사용자가 보다 빠르고 편하게 원하는 문자를 입력할 수 있는 문자 입력 인터페이스 장치 및 문자 입력 방법이 제공된다.
시각만으로도 보다 정확하게 문자를 입력할 수 있는 문자 입력 인터페이스 장치 및 문자 입력 방법이 제공된다.
문자 입력 인터페이스 장치는 복수개의 문자가 QWERTY 타입으로 표시되는 문자 표시부, 상기 표시되는 문자로 인한 시각 자극에 의해 안정상태 시각유발전위가 유발되는 동안의 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정부, 상기 측정된 뇌파 신호를 분석하는 뇌파 신호 분석부 및 상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력부를 포함할 수 있다.
일측에 따르면, 상기 문자 표시부는 상기 문자 각각의 후면에 LED(Light Emitting Diode)가 부착되어 상기 문자가 표시될 수 있다.
다른 측면에 따르면, 상기 문자 표시부는 상기 문자가 서로 다른 주파수로 깜빡이도록 상기 LED 각각에 상기 안정상태 시각유발전위를 발생시키는 주파수가 배치됨으로써 상기 문자가 표시될 수 있다.
또 다른 측면에 따르면, 상기 주파수는 상기 주파수 중 가장 낮은 주파수가 소정 문자에 배치되고, 각 문자의 중심 사이의 거리를 기초로 상기 가장 낮은 주파수에 인접한 주파수가 상기 가장 낮은 주파수가 배치된 문자로부터 가장 먼 위치의 문자에 배치될 수 있다.
또 다른 측면에 따르면, 상기 주파수는 인접한 문자에 배치된 주파수와의 차이에 반비례하는 가중치를 곱한 후, 인접한 주파수가 배치된 문자와의 거리의 합을 기초로 배치될 수 있다.
또 다른 측면에 따르면, 상기 뇌파 신호 분석부는 자극 주파수 및 그 주파수의 두 배에 해당하는 하모닉 주파수에 대한 파워 스펙트럼 분석을 통하여 상기 측정된 뇌파 신호를 분석할 수 있다.
또 다른 측면에 따르면, 상기 분석된 뇌파 신호에 해당하는 문자를 음성으로 출력하는 음성 출력부를 더 포함할 수 있다.
사용자로부터 입력되는 뇌파 신호를 기초로 해당하는 문자를 출력하는 문자 입력 인터페이스 장치는 복수개의 문자가 QWERTY 타입으로 표시되고 상기 문자 각각의 후면에 LED(Light Emitting Diode)가 부착될 수 있다.
QWERTY 타입으로 문자가 표시되는 문자 입력 인터페이스 장치를 이용하는 문자 입력 방법은 상기 문자로 인한 시각 자극에 의해 유도되는 안정상태 시각유발전위를 이용하기 위하여 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정 단계, 상기 측정된 뇌파 신호를 분석하는 뇌파 신호 분석 단계 및 상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력 단계를 포함할 수 있다.
QWERTY 타입으로 문자를 배치하고, 안정상태 시각유발전위(SSVEP: Steady State Visual Evoked Potential)를 이용하여 뇌파 신호를 측정함으로써 QWERTY 타입에 익숙한 사용자가 보다 빠르고 편하게 원하는 문자를 입력할 수 있다.
도 1은 기존 BCI 기반의 문자 입력 인터페이스 장치에서 이용되는 매트릭스 타입의 문자 배치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 있어서, 문자 입력 인터페이스 장치를 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 문자 표시부에 표시되는 QWERTY 타입의 문자 배치를 나타내는 도면이다.
도 4는 기존의 문자 배치 및 본 발명에 따른 문자 배치를 이용하여 측정된 문자 입력 시 걸리는 시간을 나타내는 그래프이다.
도 5는 본 발명의 일실시예에 있어서, 사용자별 분류 정확도를 나타내는 그래프이다.
도 6은 본 발명의 일실시예에 있어서, 문자 입력 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 있어서, 문자 입력 인터페이스 장치를 나타내는 블록도이고, 도 3은 본 발명의 일실시예에 있어서, 문자 표시부에 표시되는 QWERTY 타입의 문자 배치를 나타내는 도면이다. 이하, 도 2 및 도 3을 참조하여 본 발명에 일실시예에 따른 문자 입력 인터페이스 장치를 상세히 설명한다.
먼저 도 2를 참조하면, 문자 입력 인터페이스 장치(200)는 문자 표시부(210), 뇌파 신호 측정부(220), 뇌파 신호 분석부(230), 문자 출력부(240) 및 음성 출력부(250)를 포함할 수 있다.
문자 표시부(210)는 도 3에 도시된 바와 같이, 키보드의 형태로 구현되고 복수개의 문자가 QWERTY 타입으로 표시될 수 있다.
일실시예로서, 도 3에서는 문자 표시부(210)가 26개의 알파벳과 4개의 특수 문자(각 BACKSPACE, ENTER, PUNCTUATION, SPACE에 대한 심볼)가 사용자에게 익숙한 QWERTY 형태로 배치된 키보드의 형태로 표시되었다. 그러나, 상기 문자 표시부(210)는 필요에 따라 알파벳 이외에 숫자를 포함할 수도 있다. 또한, 당업자의 요구에 따라 상기 문자 표시부(210)는 한글이 QWERTY 배열로 배치될 수도 있다. 한글이 배치되는 경우, 특수 문자에는 4개의 특수 문자 이외에 필요에 따라 SHIFT와 같은 별도의 특수 문자도 포함될 수 있다. 본 실시예에서는 각각의 알파벳 문자의 크기가 2cm의 정사각형 형태로 구현되었으며, 각 문자 간의 간격은 1cm로 구현되었다.
상기 문자 표시부(210)에는 각각의 문자가 서로 다른 주파수로 깜빡이도록 각각의 문자 후면에 LED(Light Emitting Diode)가 부착될 수 있다. 이를 위하여 상기 문자 표시부(210)는 투명 필름, LED, LED 컨트롤러 등을 이용하여 실제 키보드의 형태와 유사한 형태로 구현되어 문자 입력 인터페이스 장치(200)에 일측에 구비될 수 있다. 상기 LED 각각에는 안정상태 시각유발전위(SSVEP: Steady State Visual Evoked Potential)를 발생시키는 주파수가 배치될 수 있다.
안정상태 시각유발전위는 일정한 주파수로 깜빡이는 시각 자극에 눈이 노출되었을 때 그 깜빡이는 주파수에 뇌의 시각 정보를 담당하는 후두엽의 뇌파가 동기화되어 나타나는 것으로, 각각의 사용자마다 안정상태의 시각유발전위를 발생시키는 주파수에 차이가 있다. 따라서, 본 발명의 일실시예에서는 5.0~9.9Hz의 주파수 대역을 0.1Hz 간격으로 분할한 총 50개의 주파수 중에 5.0-7.9Hz의 30개의 주파수를 주변 시야에 의한 에러를 줄일 수 있도록 이웃한 문자끼리는 최대한 주파수 간격이 크도록 배치한다. 그리고, 사용자의 후두엽에 부착한 3개의 전극으로 뇌파를 측정하여 안정 상태 유발 전위를 발생시키지 않는 주파수는 8.0Hz~9.9Hz의 주파수로 교체하고 이를 반복하여 안정상태 시각유발전위를 강하게 발생시키는 30개의 주파수를 찾을 수 있다.
한편, 상기 주파수는 사용자로부터 문자 표시부(210)까지의 거리(시야각) 및 전극의 위치 등과 같은 사용자의 사용 환경에 따라 다를 수 있으므로, 사용자로부터 문자 표시부(210)까지의 거리(시야각)를 44cm, 60cm(40°, 30°)으로 하여 실험함으로써 상기 주파수를 찾을 수 있다.
이와 같은 방법을 통하여 안정상태 시각유발전위를 발생시키는 주파수가 찾아지면, 각각의 문자가 서로 다른 주파수로 깜빡이도록 각각의 문자 후면에 부착된 LED에 각각의 주파수를 배치할 수 있다.
보다 구체적인 주파수 배치 방법의 일 예로서, 먼저 안정상태 시각유발전위가 강하게 발생하는 30개의 주파수를 낮은 주파수부터 높은 주파수까지 나열한 다음, 가장 낮은 주파수를 랜덤한 문자의 위치에 배치한다. 그리고, 각 문자의 중심 사이의 거리를 계산하여 다음의 인접한 주파수를 가장 거리가 멀리 떨어진 위치에 배치한다. n번째의 주파수는 그 주파수 이전의 p개 주파수가 배치된 문자의 위치와의 거리의 합을 계산하여 가장 먼 거리에 위치한 문자에 배치한다. 이 때 거리 계산에 있어서 보다 근접한 주파수가 배치된 문자와의 거리를 보다 강조하기 위하여, 주파수의 차이에 반비례하는 가중치를 곱한 다음 거리의 합을 계산할 수 있다. 일 예로서 본 발명에서는 p의 값으로 4를 이용하였다.
뇌파 신호 측정부(220)는 문자 표시부(210)에 표시되는 문자를 사용자가 응시하는 동안 상기 표시되는 문자로 인한 시각 자극에 의해 유도되는 안정상태 시각유발전위를 이용하기 위해 사용자의 뇌파 신호를 측정한다. 일 예로서, 뇌파 신호 측정부(220)는 3개의 전극을 포함할 수 있다. 뇌파 신호 측정부(220)는 사용자가 후두엽에 상기 3개의 전극을 부착한 후 서로 다른 주파수로 깜빡이는 문자 표시부(210)를 볼 때의 뇌파 신호를 측정할 수 있다. 사용자에 따라 안정상태 시각유발전위를 강하게 발생시키는 후두엽의 위치가 조금씩 상이하므로, 후두엽 전체를 커버할 수 있는 3개 이상 다수의 전극을 사용할 수도 있다.
뇌파 신호 분석부(230)는 뇌파 신호 측정부(220)에서 측정된 뇌파 신호를 분석한다. 이를 위하여 상기 뇌파 신호 분석부(230)는 자극 주파수 및 그 주파수의 두 배에 해당하는 하모닉 주파수에 대한 파워 스펙트럼 분석을 통하여 실시간으로 상기 측정된 뇌파 신호를 분석함으로써 보다 정확하게 사용자가 응시하는 문자를 파악할 수 있다. 따라서, 뇌파 신호 분석부(230)는 자극 주파수의 파워 값 만으로 뇌파 신호를 분석하는 것 보다 정확한 분석 결과를 산출할 수 있다.
문자 출력부(240)는 뇌파 신호 분석부(230)에서 분석된 뇌파 신호에 해당하는 문자를 출력한다. 이를 위하여 문자 출력부(240)는 LCD(Liquid Crystal Display) 모니터와 같은 디스플레이 장치로 구현되어, 사용자의 시각으로부터 입력된 문자를 화면을 통하여 출력할 수 있다.
그리고, 문자 입력 인터페이스 장치(200)는 뇌파 신호 분석부(230)에서 분석된 뇌파 신호에 해당하는 문자를 음성으로 출력하는 음성 출력부(250)를 포함할 수 있다. 상기 음성 출력부(250)는 상기 문자에 해당하는 음성을 피드백으로 사용자에게 제공한다. 따라서, 사용자는 문자 표시부(210)를 보면서 문서를 입력할 때도 음성을 통하여 입력되고 있는 문자에 대하여 알 수 있기 때문에 보다 편리하게 문자를 입력할 수 있다. 한편, 본 실시예에서는 상기 음성 출력부(250)가 상기 뇌파 신호 분석부(230)에서 분석된 하나의 알파벳 결과에 해당하는 음성을 제공하는 것으로 구현되었지만, 상기 음성 출력부(250)는 당업자의 요구에 따라 상기 문자 출력부(250)에서 출력되는 문자를 의미가 있는 단어 또는 문장 단위로 입력 받아 상기 단어 또는 문장에 해당하는 음성을 출력하도록 구현될 수도 있다.
도 4는 기존 문자의 배치 및 본 발명에 따른 문자 배치를 이용하여 측정된 문자 입력 시 걸리는 시간을 나타내는 그래프이다.
도 4는 5명의 사용자가 임의로 제시되는 15개의 영어 단어를 기존의 문자 배치 및 QWERTY 타입의 문자 배치를 이용하여 시각으로 타이핑하는데 걸리는 시간을 측정한 것으로, 도면에 나타나는 바와 같이 매트릭스 형태의 문자 배치에 비하여 QWERTY 타입의 문자 배치를 이용할 경우 모든 사용자(S1, S2, S3, S4 및 S5)의 타이핑 시간이 더 적게 걸리는 것을 알 수 있다.
도 5는 본 발명의 일실시예에 있어서, 사용자별 분류 정확도를 나타내는 그래프이다.
도면에서는 실험에 참여한 총 5명의 분류 정확도의 결과를 나타내었고, 분석 윈도우 크기, 특징 벡터의 종류, 시야각에 따라 분류 정확도의 차이를 확인하였다. 도시된 그래프를 통하여 알 수 있듯이, 사용자가 문자를 오래 응시할수록, 자극 주파수의 파워 값(H1)만 사용하는 것 보다 자극 주파수의 파워 값과 하모닉 주파수 (H2)의 파워 값(H1+H2)을 같이 사용하는 것이 분류 정확도가 높이지는 것을 알 수 있다. 그러나, 시야각에 따른 분류 정확도의 큰 차이는 확인 할 수 없었다.
한편, 오프라인 실험 결과를 통해 사용자를 선택하고 상기 사용자의 분류 정확도가 높았던 환경에서 온라인 실험을 실시하였다. 사용자가 총 15개의 영어 단어(총 68문자)를 응시하도록 하였으며 틀리면 "BACKSPACE"를 응시하여 수정하도록 하였으며, 문자를 응시하는 시간을 5, 6, 7초로 반복하여 실험 후 분류 정확도와 정보 전달율을 계산하였다. 다음의 표 1은 응시하는 시간에 대한 분류 정확도 및 정보 전달율을 측정한 것이다.
Window size (sec.) Correct / Total 분류 정확도 정보 전달율 (bits/min)
5 83 / 98 84.69 42.55
6 81 / 94 86.17 36.55
7 77 / 86 89.53 33.55
실험 결과, 응시하는 시간이 줄어들수록 분류 정확도는 낮아지지만 정보 전달율은 높아지는 것을 확인할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 문자 입력 방법을 나타내는 흐름도이다. 이하, 본 발명에 따른 QWERTY 타입으로 문자가 표시되는 문자 입력 인터페이스 장치를 이용하여 문자를 입력하는 방법에 대하여 설명한다.
먼저, QWERTY 타입으로 배치된 문자 각각이 서로 다른 주파수로 깜빡이도록 상기 문자 각각의 후면에 부착된 LED 각각에 안정상태 시각유발전위를 발생시키는 주파수를 배치하고(S610), 사용자가 입력하기를 원하는 응시하는 동안 상기 문자로 인한 시각 자극에 의해 유도되는 안정상태 시각유발전위를 이용하기 위하여 사용자의 뇌파 신호를 측정한다(S620).
이때, 상기 주파수는 가장 낮은 주파수를 소정의 문자에 배치하고, 각 문자의 중심 사이의 거리를 계산하여 상기 가장 낮은 주파수에 인접한 주파수를 상기 가장 낮은 주파수가 배치된 문자로부터 가장 먼 위치의 문자에 배치할 수 있고, 인접한 문자에 배치된 주파수와의 차이에 반비례하는 가중치를 곱한 후, 인접한 주파수가 배치된 문자와의 거리의 합을 기초로 배치할 수 있다.
이후, 자극 주파수의 파워 값 및 하모닉 주파수의 파워 값에 대한 스펙트럼 분석을 통하여 실시간으로 측정된 뇌파 신호를 분석하고(S630), 분석된 뇌파 신호에 해당하는 문자 및/또는 음성을 출력한다(S640).
따라서, 본 발명에 따른 안정 상태 시각 유발 전위를 이용한 QWERTY 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법은 QWERTY 타입으로 문자를 표시함으로써 사용자로 하여금 보다 쉽고 간편하게 문자를 입력할 수 있도록 하는 한편, 보다 빠른 속도로 문자를 입력할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 문자 입력 인터페이스 장치
210: 문자 표시부
220: 뇌파 신호 측정부
230: 뇌파 신호 분석부
240: 문자 출력부
250: 음성 출력부

Claims (13)

  1. 복수개의 문자가 QWERTY 타입으로 표시되는 문자 표시부;
    상기 표시되는 문자로 인한 시각 자극에 의해 안정상태 시각유발전위가 유발 되는 동안의 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정부;
    상기 측정된 뇌파 신호를 분석하는 뇌파 신호 분석부; 및
    상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력부
    를 포함하는, 문자 입력 인터페이스 장치.
  2. 제1항에 있어서,
    상기 문자 표시부는,
    상기 문자 각각의 후면에 LED(Light Emitting Diode)가 부착되어 상기 문자가 표시되는, 문자 입력 인터페이스 장치.
  3. 제2항에 있어서,
    상기 문자 표시부는,
    상기 문자가 서로 다른 주파수로 깜빡이도록 상기 LED 각각에 상기 안정상태 시각유발전위를 발생시키는 주파수가 배치됨으로써 상기 문자가 표시되는, 문자 입력 인터페이스 장치.
  4. 제3항에 있어서,
    상기 주파수는,
    상기 주파수 중 가장 낮은 주파수가 소정 문자에 배치되고, 각 문자의 중심 사이의 거리를 기초로 상기 가장 낮은 주파수에 인접한 주파수가 상기 가장 낮은 주파수가 배치된 문자로부터 가장 먼 위치의 문자에 배치되는, 문자 입력 인터페이스 장치.
  5. 제4항에 있어서,
    상기 주파수는,
    인접한 문자에 배치된 주파수와의 차이에 반비례하는 가중치를 곱한 후, 인접한 주파수가 배치된 문자와의 거리의 합을 기초로 배치되는, 문자 입력 인터페이스 장치.
  6. 제1항에 있어서,
    상기 뇌파 신호 분석부는,
    자극 주파수 및 그 주파수의 두 배에 해당하는 하모닉 주파수에 대한 파워 스펙트럼 분석을 통하여 상기 측정된 뇌파 신호를 분석하는, 문자 입력 인터페이스 장치.
  7. 제1항에 있어서,
    상기 분석된 뇌파 신호에 해당하는 음성을 출력하는 음성 출력부
    를 더 포함하는, 문자 입력 인터페이스 장치.
  8. 사용자로부터 입력되는 뇌파 신호를 기초로 해당하는 문자를 출력하는 문자 입력 인터페이스 장치에 있어서,
    복수개의 문자가 QWERTY 타입으로 표시되고 상기 문자 각각의 후면에 LED(Light Emitting Diode)가 부착되는, 문자 입력 인터페이스 장치.
  9. 제8항에 있어서,
    상기 문자가 서로 다른 주파수로 깜빡이도록 상기 LED 각각에 안정상태 시각유발전위를 발생시키는 주파수가 배치되는, 문자 입력 인터페이스 장치.
  10. 제9항에 있어서,
    상기 주파수는,
    상기 주파수 중 가장 낮은 주파수가 소정 문자에 배치되고, 각 문자의 중심 사이의 거리를 기초로 상기 가장 낮은 주파수에 인접한 주파수가 상기 가장 낮은 주파수가 배치된 문자로부터 가장 먼 위치의 문자에 배치되는, 문자 입력 인터페이스 장치.
  11. 제10항에 있어서,
    상기 주파수는,
    인접한 문자에 배치된 주파수와의 차이에 반비례하는 가중치를 곱한 후, 인접한 주파수가 배치된 문자와의 거리의 합을 기초로 배치되는, 문자 입력 인터페이스 장치.
  12. QWERTY 타입으로 문자가 표시되는 문자 입력 인터페이스 장치를 이용하는 문자 입력 방법에 있어서,
    상기 문자로 인한 시각 자극에 의해 유도되는 안정상태 시각유발전위를 이용하여 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정 단계;
    상기 측정된 뇌파 신호를 분석하는 뇌파 신호 분석 단계; 및
    상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력 단계
    를 포함하는, 문자 입력 방법.
  13. 제12항에 있어서,
    상기 뇌파 신호 측정 단계 이전에,
    상기 문자가 서로 다른 주파수로 깜빡이도록 상기 문자 각각의 후면에 부착된 LED(Light Emitting Diode) 각각에 상기 안정상태 시각유발전위를 발생시키는 주파수를 배치하는 주파수 배치 단계
    를 더 포함하는, 문자 입력 방법.
KR1020110063629A 2011-06-29 2011-06-29 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 KR101293863B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110063629A KR101293863B1 (ko) 2011-06-29 2011-06-29 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110063629A KR101293863B1 (ko) 2011-06-29 2011-06-29 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법

Publications (2)

Publication Number Publication Date
KR20130002590A true KR20130002590A (ko) 2013-01-08
KR101293863B1 KR101293863B1 (ko) 2013-08-16

Family

ID=47835182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110063629A KR101293863B1 (ko) 2011-06-29 2011-06-29 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법

Country Status (1)

Country Link
KR (1) KR101293863B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402878B1 (ko) * 2013-05-20 2014-06-03 충남대학교산학협력단 사건관련전위를 이용한 문자입력장치 및 그 제어방법
KR101431203B1 (ko) * 2013-04-16 2014-08-18 고려대학교 산학협력단 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법
KR101465878B1 (ko) * 2013-04-30 2014-11-26 고려대학교 산학협력단 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
WO2015178558A1 (ko) * 2014-05-20 2015-11-26 경희대학교 산학협력단 P300 뇌-유발전위를 이용한 단어 입력 뇌-컴퓨터 인터페이스 시스템 및 p300 뇌-유발전위를 이용한 단어 입력 방법
KR101720766B1 (ko) * 2015-12-01 2017-03-28 고려대학교 산학협력단 거리 변화를 고려한 안정 상태 시각 유발 전위 기반 뇌파 분석 장치 및 방법
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
US10524683B2 (en) 2013-04-16 2020-01-07 Korea University Research And Business Foundation EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus
CN111338482A (zh) * 2020-03-04 2020-06-26 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统
CN111712192A (zh) * 2018-01-18 2020-09-25 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US10949086B2 (en) 2018-10-29 2021-03-16 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for virtual keyboards for high dimensional controllers
US11461618B2 (en) 2014-08-14 2022-10-04 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
US11640204B2 (en) 2019-08-28 2023-05-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods decoding intended symbols from neural activity

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612037B1 (ko) 2015-02-02 2016-04-20 한양대학교 에리카산학협력단 뇌파를 이용한 전자기기 구동 장치
KR101664027B1 (ko) * 2015-02-02 2016-10-13 한양대학교 에리카산학협력단 구동 패턴 및 뇌파를 이용한 전자기기 구동 방법
CN105022488B (zh) * 2015-07-20 2017-11-21 北京工业大学 基于ssvep脑电电位的无线bci输入系统
KR101768106B1 (ko) * 2016-03-21 2017-08-30 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 기반 문자 입력 장치 및 방법
KR102143920B1 (ko) 2017-11-16 2020-08-12 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899194B2 (ja) * 1993-06-30 1999-06-02 キヤノン株式会社 意思伝達支援装置及び意思伝達支援方法
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431203B1 (ko) * 2013-04-16 2014-08-18 고려대학교 산학협력단 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법
US10524683B2 (en) 2013-04-16 2020-01-07 Korea University Research And Business Foundation EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus
KR101465878B1 (ko) * 2013-04-30 2014-11-26 고려대학교 산학협력단 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
WO2014189180A1 (ko) * 2013-05-20 2014-11-27 충남대학교 산학협력단 사건관련전위를 이용한 문자입력장치 및 그 제어방법
KR101402878B1 (ko) * 2013-05-20 2014-06-03 충남대학교산학협력단 사건관련전위를 이용한 문자입력장치 및 그 제어방법
WO2015178558A1 (ko) * 2014-05-20 2015-11-26 경희대학교 산학협력단 P300 뇌-유발전위를 이용한 단어 입력 뇌-컴퓨터 인터페이스 시스템 및 p300 뇌-유발전위를 이용한 단어 입력 방법
US11461618B2 (en) 2014-08-14 2022-10-04 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
US11989641B2 (en) 2014-08-14 2024-05-21 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
KR101720766B1 (ko) * 2015-12-01 2017-03-28 고려대학교 산학협력단 거리 변화를 고려한 안정 상태 시각 유발 전위 기반 뇌파 분석 장치 및 방법
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107239137B (zh) * 2017-04-25 2019-11-15 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN111712192A (zh) * 2018-01-18 2020-09-25 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US10949086B2 (en) 2018-10-29 2021-03-16 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for virtual keyboards for high dimensional controllers
US11640204B2 (en) 2019-08-28 2023-05-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods decoding intended symbols from neural activity
CN111338482A (zh) * 2020-03-04 2020-06-26 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统

Also Published As

Publication number Publication date
KR101293863B1 (ko) 2013-08-16

Similar Documents

Publication Publication Date Title
KR101293863B1 (ko) 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법
Ryan et al. Predictive spelling with a P300-based brain–computer interface: increasing the rate of communication
Meena et al. Toward optimization of gaze-controlled human–computer interaction: Application to hindi virtual keyboard for stroke patients
Kim et al. The effect of key size of touch screen virtual keyboards on productivity, usability, and typing biomechanics
Biswas et al. Multimodal intelligent eye-gaze tracking system
Chourasia et al. Effect of sitting or standing on touch screen performance and touch characteristics
Qu et al. Sound-sized segments are significant for Mandarin speakers
Funk et al. Using a touch-sensitive wristband for text entry on smart watches
Urbina et al. Alternatives to single character entry and dwell time selection on eye typing
Koester et al. Text entry rate of access interfaces used by people with physical disabilities: A systematic review
Völker et al. On the relationship between subjective and objective measures of fatigue
Clawson et al. Texting while walking: an evaluation of mini-qwerty text input while on-the-go
Yen et al. Effects of typographic variables on eye-movement measures in reading Chinese from a screen
Qu et al. An electrophysiological analysis of the time course of phonological and orthographic encoding in written word production
Liu et al. Gazetry: Swipe text typing using gaze
Hsiao et al. Effects of Chinese character size, number of characters per line, and number of menu items on visual search task on tablet computer displays for different age groups
Al-Showarah et al. Effects of user age on smartphone and tablet use, measured with an eye-tracker via fixation duration, scan-path duration, and saccades proportion
Vizer et al. Efficacy of personalized models in discriminating high cognitive demand conditions using text-based interactions
Porta A study on text entry methods based on eye gestures
Suzuki et al. Validation of the Japanese version of the tinnitus functional index (TFI)
Belkacem et al. TEXTile: Eyes-free text input on smart glasses using touch enabled textile on the forearm
Niu et al. Enhancing user experience of eye-controlled systems: design recommendations on the optimal size, distance and shape of interactive components from the perspective of peripheral vision
Cecotti et al. A multiscript gaze-based assistive virtual keyboard
CN103577715B (zh) 病历输入装置和病历输入方法
Sengupta et al. Analyzing the impact of cognitive load in evaluating gaze-based typing

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4