KR101782272B1 - 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치 - Google Patents

정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치 Download PDF

Info

Publication number
KR101782272B1
KR101782272B1 KR1020160145640A KR20160145640A KR101782272B1 KR 101782272 B1 KR101782272 B1 KR 101782272B1 KR 1020160145640 A KR1020160145640 A KR 1020160145640A KR 20160145640 A KR20160145640 A KR 20160145640A KR 101782272 B1 KR101782272 B1 KR 101782272B1
Authority
KR
South Korea
Prior art keywords
stimulus
frequency
visual
user
steady state
Prior art date
Application number
KR1020160145640A
Other languages
English (en)
Inventor
최성호
김인영
임창환
김도원
김용욱
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020160145640A priority Critical patent/KR101782272B1/ko
Application granted granted Critical
Publication of KR101782272B1 publication Critical patent/KR101782272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0484—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 뇌-컴퓨터 인터페이스 시스템 기술에 관한 것으로서, 더 상세하게는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치에 대한 것이다.
본 발명에 따르면, SSVEP(steady state visual evoked potential) 기반 뇌-컴퓨터 인터페이스 시스템에서 Sinc 함수 형태의 시변 밝기 자극을 사용해 사용자 별로 SSVEP를 유도하기 위한 시각 자극의 최적 주파수를 선정할 수 있도록 하는 방식을 제공할 수 있다.

Description

정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치{Method and Apparatus for finding best frequency for each user according to stimulus evoked by steady state visual evoked potential}
본 발명은 뇌-컴퓨터 인터페이스 시스템 기술에 관한 것으로서, 더 상세하게는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치에 대한 것이다.
기존에는 SSVEP(steady state visual evoked potential) 기반 뇌-컴퓨터 인터페이스 시스템 사용 시, 최적화를 진행하지 않고 일정 범위내의 주파수를 균등하게 분할하여 자극 주파수를 결정하였다.
또는, 사용자에게 일정 주파수로 깜박이는 다수의 자극을 일정 시간마다 한 개씩 응시하게 하여 이때의 뇌파를 측정 및 분석하고 이를 통하여 사용자에게 SSVEP를 제일 잘 유발 할 수 있는 주파수의 자극을 선정하였다.
그런데, 위에서 언급한 방식에 따르면, 각 사용자마다 SSVEP가 잘 유발되는 자극 주파수가 각각 다르기 때문에, 개인별 자극 최적화를 진행하지 않고 일정 범위내의 주파수를 균등하게 분할하여 사용한다면 SSVEP 기반 뇌-컴퓨터 인터페이스 시스템 성능이 낮아질 수 있다.
또한, 기존처럼 다수의 자극을 한 개씩 차례로 응시하도록 하여 자극의 주파수를 선정하는 방식은 자극의 수가 많을수록 최적화에 많은 시간이 요구된다. 이로 인해 사용자의 눈이 피로해질 수 있다는 문제점이 있었다.
1. 한국등록특허번호 제10-1585150호(2016.01.07)(발명의 명칭: 뇌 연결성에 기반한 멀티단계 뇌-컴퓨터 인터페이스 시스템)
1. 최동학, "뇌파-뇌컴퓨터 인터페이스 기반 이종 복합 자극을 이용한 운동 상상의 성능 평가"학위논문(박사) 연세대학교 2012년 전기전자공학과 2. 유제훈외, "아두이노와 Emotiv Epoc을 이용한 정상상태시각유발전위(SSVEP) 기반의 로봇 제어"한국 지능시스템 학회 논문지 제25권 제3호 (2015년 6월) pp.254-259
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential)의 유도를 위해 제시되는 시각 자극의 주파수를 설정할 수 있도록 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 임의의 SSVEP 기반 뇌-컴퓨터 인터페이스 시스템에서 SSVEP의 유도를 위해 제시되는 시각자극의 주파수(즉, 깜박이는 빈도)를 최적화하기 위하여, 시스템 사용자에게 sinc 함수 형태의 세기를 가지는 시각 자극을 제시한 후 유도된 사용자의 뇌파를 분석하고 이를 통해 사용자에게 적합한 시각자극의 주파수를 선택하는 방법 및 장치를 제공하는데 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 정상 상태 시각 유발 전위 유도를 위한 시각 자극의 주파수를 설정할 수 있도록 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법을 제공한다.
상기 시각 자극 제시 방법은,
(a) 모니터가 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시하는 싱크(Sinc) 함수 형태의 가변 밝기 자극을 제시하는 과정;
(b) 상기 모니터가 상기 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되기 이전 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극을 제시하는 과정;
(c) 제 1 분석부가 입력부를 이용하여 상기 가변 밝기 자극과 불변 밝기 자극을 통해 유도된 생체 신호들을 측정하여 미리 설정되는 에포크들로 분할하는 과정;
(d) 진폭 스펙트럼 계산부가 상기 에포크들에 대한 각 진폭 스펙트럼들을 이용하여 평균 진폭 스펙트럼들을 산출하는 과정;
(e) 분석부가 상기 평균 진폭 스펙트럼들 간의 평균 진폭 스펙트럼 차를 계산하고 상기 평균 진폭 스펙트럼 차에 회귀 분석을 적용하여 주파수 별 차이를 산출하는 과정;
(f) 선택부가 상기 주파수 별 차이에 따른 주파수 대역을 사용자 별로 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 최적 주파수 대역으로 결정하는 과정;을 포함하는 것을 특징으로 할 수 있다.
이때, 상기 싱크(Sinc) 함수 형태는 2초길이 싱크(Sinc) 함수이고, 샘플링율이 모니터 리플레시율과 같은 것을 특징으로 할 수 있다.
또한, 상기 가변 밝기 자극 및 불변 밝기 자극에는 사용자의 눈 이동을 방지하기 위한 표적이 중앙에 구성되는 것을 특징으로 할 수 있다.
또한, 상기 불변 밝기 자극은 휴식 단계에서 미리 설정되는 일정 시간동안 제시되고, 상기 가변 밝기 자극은 자극 단계에서 연속하여 미리 설정되는 일정 횟수로 제시되는 것을 특징으로 할 수 있다.
또한, 상기 자극 단계에서 측정된 생체신호에 트리거(Trigger) 시점부터 특정 시간의 지연(delay)을 적용하며, 상기 특정 시간의 지연은 상기 에포크들과 싱크 함수간의 교차 상관 분석을 이용하여 계산되는 것을 특징으로 할 수 있다.
또한, 상기 각 진폭 스펙트럼들은 각 에포크마다 제로 패딩을 적용하고, FFT(Fast Fourier Transform) 분석을 진행하여 산출되는 것을 특징으로 할 수 있다.
또한, 상기 진폭 스펙트럼 평균들은 상기 생체 신호를 센싱하는 각 전극 별 전체 세션(Session)의 진폭 스펙트럼(amplitude spectrum)을 평균한 값이거나 세션(Session) 별로 각 전극에서의 진폭 스펙트럼(amplitude spectrum)을 평균하여 산출되는 각 전극별 및 세션별로 휴식단계와 자극단계의 평균 진폭 스펙트럼인것을 특징으로 할 수 있다.
또한, 상기 주파수 별 차이는 자극 단계에 산출되는 진폭 스펙트럼과 휴식단계에서 측정되는 진폭 스펙트럼 차이의 회귀값인 것을 특징으로 할 수 있다.
또한, 상기 (f) 과정은, (f-1) 상기 주파수 대역에서 각 세션(Session)별 회귀(regression)값이 극댓값을 갖는지 확인하는 과정; (f-2) 및 다수개 이상의 세션(Session)에서 상기 회귀값이 동시에 극댓값을 갖는지를 확인하는 과정; 및 (f-3) 상기 (f-1) 과정 및 (f-2) 과정의 확인 결과, 상기 회귀값이 극댓값을 가지면, 상기 주파수 대역을 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 최적 주파수 대역으로 결정하는 과정;을 포함하는 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는, 모니터에 의해 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시하는 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되고, 상기 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되기 이전 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극이 제시됨에 따라 상기 가변 밝기 자극과 불변 밝기 자극을 통해 유도된 생체 신호들을 측정하는 입력부; 측정된 생체 신호들을 미리 설정되는 에포크들로 분할하는 제 1 분석부; 상기 에포크들에 대한 각 진폭 스펙트럼들을 이용하여 평균 진폭 스펙트럼들을 산출하는 진폭 스펙트럼 계산부; 상기 평균 진폭 스펙트럼들간의 평균 진폭 스펙트럼 차를 계산하고 상기 평균 진폭 스펙트럼 차에 회귀 분석을 적용하여 주파수 별 차이를 산출하는 제 2 분석부; 및 상기 주파수 별 차이에 따른 주파수 대역을 사용자 별로 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 최적 주파수 대역으로 결정하는 선택부;를 포함하는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 장치를 제공할 수 있다.
본 발명에 따르면, SSVEP(steady state visual evoked potential) 기반 뇌-컴퓨터 인터페이스 시스템에서 Sinc 함수 형태의 시변 밝기 자극을 사용해 사용자 별로 SSVEP를 유도하기 위한 시각 자극의 최적 주파수를 선정할 수 있도록 하는 방식을 제공할 수 있다.
또한, 본 발명의 다른 효과로서는 이러한 방식을 통하여 짧은 시간의 최적화만으로 상기 시스템의 성능을 높일 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 SSVEP 기반 정신적 타자기, 의도 분류 장치 사용 전 개인별 최적화 등에 적용될 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 SSVEP 기반 뇌-컴퓨터 인터페이스 시스템 사용자에게 개인별로 빠른 최적화를 가능하게 하는 자동 교정 방법을 제공할 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 싱크(Sinc) 함수 형태의 가변 밝기 자극 예시를 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따른 최적 주파수를 탐색하는 과정을 보여주는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 장치(300)의 구성 블록도이다.
도 4 및 도 5는 피험자별 주파수 대역 대표 주파수를 보여주는 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치를 상세하게 설명하기로 한다.
일반적으로, 정상상태시각유발전위(steady state visual evoked potential: 이하 SSVEP) 기반 뇌-컴퓨터 인터페이스 시스템(정신적 타자기 및 의도 분류 어플리케이션 등)의 사용을 위해서는, 사용자에게 SSVEP를 유발할 수 있게 각각 특정 빈도(일정 주파수)로 깜박이는 다수의 시각 자극을 제시한다.
각 사용자별로 특정 주파수에 반응하여 유발되는 SSVEP의 크기가 서로 다르기 때문에 어떤 자극 주파수를 사용하는가에 따라 시스템의 성능이 달라질 수 있다. SSVEP 기반 뇌-컴퓨터 인터페이스 시스템의 성능을 높이기 위하여, 본 발명의 일실시예에서는 사용자별 최적 주파수를 빠르게 탐색한다.
따라서, SSVEP 유도를 위해 시각 자극의 주파수를 설정하는 경우, 특히 임의의 SSVEP 기반 뇌-컴퓨터 인터페이스 시스템에서 SSVEP의 유도를 위해 제시되는 시각자극의 주파수(깜박이는 빈도)를 최적화할 필요가 있다. 이를 위해 시스템 사용자에게 싱크(sinc) 함수 형태의 세기를 가지는 시각 자극을 제시한 후 유도된 사용자의 생체 신호를 분석하고 이를 통해 사용자에게 적합한 시각자극의 주파수를 선택한다.
도 1은 본 발명의 일실시예에 따른 싱크(Sinc) 함수 형태의 가변 밝기 자극 예시를 보여주는 도면이다. 도 1을 참조하면, 종래기술에서는 자극의 최적화를 진행하지 않거나, SSVEP(steady state visual evoked potential)를 유도할 수 있는 다수의 자극을 한 개씩 차례로 응시하면서 자극의 주파수를 선정하였다. 하지만, 이러한 방식들은 시스템 성능을 저해하거나, 자극마다 한 개의 주파수에 특정된 응답만을 제시할 수 있기 때문에 주파수 선정 시간이 오래 걸려서 사용자의 눈에 피로감을 줄 수 있다는 단점이 있었다.
본 발명의 일실시예에서는 이를 해결하기 위해서 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시할 수 있는 sinc 함수 형태의 가변 밝기 자극 (Sinc 변조(modulation) 자극: 이하 Sinc 자극으로 표기)을 제안한다.
도 1을 계속 참조하면, 싱크(Sinc) 자극은 충분히 큰 정사각형 모양으로, 시간에 따라 정사각형의 밝기가 sinc 함수 형태로 변화한다. Sinc 함수의 특성 상, 상기 싱크 자극을 응시하는 동안 유발되는 뇌파를 확인하면 여러 주파수를 고르게 아우르는 응답을 얻을 수 있다. 그 중 어떤 주파수 대역에서 유발되는 뇌파의 진폭이 다른 주파수 대역에서의 진폭보다 크다면 그 주파수 대역은 다른 주파수 대역보다 시각 자극에 반응을 더 잘 하는 대역임을 확인할 수 있다.
본 발명의 일실시예에서는 싱크(Sinc) 자극을 통해 유발되는 뇌파를 확인하기 위하여 싱크(Sinc) 자극 및 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극을 사용자에게 제시한다.
부연하면, 도 1에 도시된 바와 같이, 사용자에게는 32인치(inch) 모니터 기준, 1024ㅧ768 해상도의 화면 중앙에 위치한 700ㅧ700 크기의 사각형 모양의 싱크(Sinc) 자극을 제시한다. 이 싱크(Sinc) 자극의 기반이 되는 싱크(sinc) 함수는 약 2초 길이로, 샘플링율(sampling rate)이 모니터 리플레시율(monitor refresh rate) (본 발명의 일실시예에서는 약 60Hz를 들 수 있음)와 같고, 특정 주파수 범위(본 발명의 일실시예에서는 약 0-15Hz를 들 수 있음)에서 일정한 주파수 응답을 가지도록 한다.
상기 싱크(sinc) 함수를 이용하여, 각 싱크(sinc) 함수와 전체 싱크(sinc) 함수의 최솟값의 차를 구하고, 이를 sinc 함수의 최댓값과 최솟값의 차이로 나누어 최댓값 및 최솟값이 각각 최대, 최소밝기인 1, 0으로 맞춰지도록 재조정한다.
조정한 싱크(sinc) 함수를 밝기로 하는 약 120개 (60Hz × 2초)의 사각형 자극이 사용될 수 있으며, 이 싱크 자극들이 모니터 리플레시율(monitor refresh rate)에 맞추어 약 2초 동안 투사되도록 싱크(Sinc) 자극을 제작할 수 있다. 이를 구별하기 위해 가변 밝기 싱크라고 할 수 있다.
또한, 싱크(sinc) 함수의 첫 번째 값을 밝기로 하는 사각형 자극이 20초 동안 투사되도록 밝기가 변하지 않는 불변 밝기 싱크 자극을 제작할 수 있다. 각 자극은 눈의 이동을 방지하기 위하여 자극 중앙에 빨간색 십자가가 존재할 수 있으며, 사용자는 자극이 제시되는 동안 상기 십자가를 응시할 수 있다. 이러한 십자가와 같은 표적은 다른 형상으로 이루어질 수 있다.
본 발명의 일실시예에서 제안하는 방식은 휴식 단계 및 자극 단계의 2가지 단계로 이루어진다. 휴식 단계에서, 사용자는 싱크(Sinc) 자극과 모양은 같지만 밝기가 변하지 않는 불변 밝기 자극을 약 20초간 응시하게 된다. 이어지는 자극 단계에서는 Sinc 자극을 연속하여 10회 응시하게 된다.
전체 단계에서 사용자의 뇌파 및/또는 생체신호는 후두엽에 부착된 3개의 전극(Oz, O1, O2)과 사용자 오른쪽 눈 아래 부착한 1개의 전극에서 측정되며, 자극 제시 시점 마다 (휴식 단계에서는 약 2초 마다) 트리거(Trigger)되어 기록될 수 있다. 정확도를 높이기 위해 이러한 단계들은 수차례 반복하여 진행될 수 있으며, 본 발명의 일실시예에서는 5번 반복하여 진행될 수 있다(5 Sessions). 여기서, Oz, O1, O2는 전극의 설치위치를 구분하기 위해 표시한 것으로 Oz는 제 1 전극 위치, 01은 제 2 전극 위치, 02는 제 3 전극 위치를 의미한다.
이후, 이 두 자극을 응시하였을 때 측정된 뇌파의 차이를 계산하고, 회귀(regression) 분석을 통해 진폭 차이가 큰 주파수 영역을 탐색하고, 이를 통하여 자극의 최적 주파수를 선정한다.
도 2는 본 발명의 일실시예에 따른 최적 주파수를 탐색하는 과정을 보여주는 흐름도이다. 도 2를 참조하면, 측정된 사용자의 생체 신호(예를 들면, 뇌파를 들 수 있음)에 컷오프 주파수(cutoff frequency)가 약 0.5Hz인 하이 패스 필터(high-pass filter)를 적용하고, 이를 이용하여 각 트리거(Trigger) 시점부터 약 2초까지 에포크(epoch)들을 분할한다(과정 S210,S220).
눈 깜박임의 영향을 최소화하기 위해서, 눈 아래 부착한 전극에서 측정된 생체신호를 확인하여 약±100㎶ 이내를 기준으로 그 외의 측정값이 존재하는 에포크(epoch)는 분석에서 제외한다(과정 S230).
이전 에포크들은 무시하고, 사용자 시각 시스템(미도시)의 지연(delay)을 확인하기 위해서, 자극 단계에서 측정된 생체신호에 트리거(Trigger) 시점부터 약 5ms 단위로 약 300ms 까지 지연(delay)을 적용하여 이 시점들부터 2초 크기의 에포크(epoch)들을 새로이 분할한다.
각각의 에포크(epoch)들과 자극 제작시 사용한 싱크(Sinc) 함수 간의 교차 상관(cross-correlation) 분석을 진행하여 제일 높은 유사성을 보이는 에포크(epoch)에 적용된 지연(delay)을 사용자 시각 시스템의 지연(delay)으로 결정하고, 이를 감안하여 생체신호를 다시 분할한다(과정 S240,S250).
이후, 각 에포크(epoch)마다 4초 길이까지 제로 패딩(zero-padding)을 적용하고, FFT(Fast Fourier Transform) 분석을 진행하여 각 에포크(epoch)의 진폭 스펙트럼(amplitude spectrum)을 구한다(과정 S260).
이후, 전극 별 및 세션(Session)별 진폭 스펙트럼 평균을 계산한다. 부연하면, 우선, 생체 신호를 센싱하는 각 전극(Oz, O1, O2) 별로 전체 세션(Session)의 진폭 스펙트럼(amplitude spectrum)을, 세션(Session) 별로 각 전극에서 계산된 증폭 스펙트럼(amplitude spectrum)을 평균하여 각 전극별/세션(Session)별로 휴식 단계와 자극 단계의 평균 진폭 스펙트럼(average amplitude spectrum)을 구한다(과정 S271,S272).
그 이후, 싱크(Sinc) 자극이 제시되었을 때의 생체 신호 변화(특히, 뇌파 변화를 들 수 있음)를 확인하기 위하여 각 전극별/세션별 자극단계의 평균 진폭 스펙트럼에서 이와 대응되는 휴식단계의 평균 진폭스펙트럼을 빼서 자극단계와 휴식단계의 평균 진폭 스펙트럼(average amplitude spectrum) 차를 계산하고, 주파수 대역에 따른 진폭 차이의 변화 양상을 보기위해서 계산된 차이 중 약 0~20Hz 부분을 약 20차 다항식으로 다항 회귀(polynomial regression)값을 구한다(과정 S280,S290).
이때, 약 5~15 Hz 이내에서 전극 별 회귀(regression) 값이 공통적으로 극대화되는 주파수 대역을 최적의 SSVEP 유발 주파수 대역으로 가정할 수 있다.
또한, 특정 세션(Session)의 회귀(regression) 값에 의해 주파수 대역이 선정되지 않도록, 상기 주파수 대역에서 각 세션(Session)별 회귀(regression)값이 극댓값을 갖는지 확인할 수 있으며, 3개 이상의 세션(Session)에서 같은 경향(즉 동시에 극댓값을 가짐)이 확인되었을 경우 최종적으로 이를 사용자별 최적 SSVEP 유발 주파수 대역으로 선정할 수 있다(과정 S291,S292,S293).
위에서 기술한 바와 같이, 회귀(regression)값이 공통으로 극소화되는 주파수 영역을 탐색하여 SSVEP 유발이 잘 되지 않는 주파수 대역으로 선정할 수 있다. 또한, 검증을 위해 각 대역마다 대표 주파수를 1개씩 선정할 수 있다.
도 3은 본 발명의 일실시예에 따른 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 장치(300)의 구성 블록도이다. 도 3을 참조하면, 시각 자극 제시 장치(300)는 입력부(310), 제 1 분석부(320), 진폭 스펙트럼부(330), 제 2 분석부(340), 선택부(350) 등을 포함하여 구성될 수 있다.
입력부(310)는 모니터에 의해 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시하는 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되고, 상기 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되기 이전 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극이 제시됨에 따라 상기 가변 밝기 자극과 불변 밝기 자극을 통해 생성된 생체 신호들을 측정한다. 이를 위해, 입력부(310)에는 생체신호의 측정을 위한 전극 센서, 측정된 신호를 하이 패스 필터링하는 필터, 신호를 디지털로 변환하는 ADC(Analog-Digital Converter)등이 구성될 수 있다.
제 1 분석부(320)는 측정된 생체 신호들을 미리 설정되는 에포크들로 분할하는 기능을 수행한다.
진폭 스펙트럼 계산부(330)는 상기 에포크들에 대한 각 진폭 스펙트럼들을 이용하여 평균 진폭 스펙트럼들을 산출하는 기능을 수행한다.
제 2 분석부(340)는 상기 평균 진폭 스펙트럼들간의 평균 진폭 스펙트럼 차를 계산하고 상기 평균 진폭 스펙트럼 차에 회귀 분석을 적용하여 주파수 별 차이를 산출하는 기능을 수행한다.
또한, 선택부(350)는 상기 주파수 별 차이에 따른 주파수 대역을 사용자 별로 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 주파수 대역으로 결정하는 기능을 수행한다.
명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 4 및 도 5는 피험자별 주파수 대역 대표 주파수를 보여주는 그래프이다. 도 4 및 도 5를 참조하면, 이러한 실험 결과 그래프를 얻기 위해, 선정된 대표 주파수의 적합성을 검증하기 위해 2개의 LED 자극을 사용하였다. 사용자는 오퍼레이터의 지시에 따라 임의의 순서로 2개 중 1개의 자극을 응시하였다. 2개의 LED 자극은 각각 상기 과정에서 선정된 대표 주파수대로 점멸하도록 설정 되었으며, 각각 20번씩, 3초 이상 응시하도록 지시되었다 (총 40번 제시 : 40 trial). 또한, 생체신호는 각각 Oz, O1, O2 3개의 전극과 눈 밑에 부착한 1개의 전극에서 측정되었으며, 자극 시점 마다 트리거(Trigger)를 기록하였다.
40개의 시도(trial)에서 측정된 뇌파에 0.5 Hz 컷오프 주파수 하이 패스 필터(cut off frequency high-pass filter)를 적용한 후, 트리거(trigger) 시점부터 3초 길이로 분할하여 에포크(epoch)를 구하였다. 분할 시, 본 발명에서 제안한 방법을 통해 측정되었던 사용자 시각 시스템의 지연(delay)을 고려하였다. 눈 아래 부착한 전극에서 측정된 생체신호를 이용하여 눈 깜박임이 있는 epoch (±100 ㎶ 기준)은 분석에서 제외하였다.
각 자극에서 SSVEP의 유발 정도를 비교하기 위하여 SSVEP 분석에서 주로 사용하는 CCA 분석을 진행하였다. 분석을 위해 각 자극의 점멸 주파수 및 그의 2nd harmonic까지의 주파수를 기반으로 하는 sin 함수 및 cos 함수를 reference로 사용하였다. 분석을 통해 각 epoch 마다 구해진 정준상관분석(Canonical Correlation Analysis, CCA) 계수(coefficient)의 최댓값을 주파수 별로 평균하였다.
피험자 최적의 SSVEP 유발 주파수 대역 대푯값 (Hz) SSVEP 유발이 잘 되지 않는 주파수 대역의 대푯값 (Hz)
Subject 1 6 8
Subject 2 12.75 14.25
위 표는 정상인 피험자 2명에게서 상기 방법을 통해 얻어진 SSVEP가 제일 잘 유발되는, 혹은 유발이 잘 되지 않는 주파수 대역을 대표하는 주파수이다. 상기 방법대로 각 전극 별 regression이 공통으로 극대화되는, 혹은 극소화되는 영역을 우선으로 선정하였으며, 각 전극 별 회귀값이 극대화되는 횟수가 같았을 때는 경향이 같은 세션(Session)의 개수를 기준으로, 이도 같다면 각 Session마다 할당된 대표 주파수에서의 regression 값을 비교하여 더 높은 값이 나온 Session의 개수를 기준으로 하여 대표 주파수를 선정하였다.
도 4 및 도 5를 계속 참조하면, 각 피험자가 LED 자극을 바라보았을 때 측정된 SSVEP를 CCA 분석 한 결과이다. SSVEP가 잘 유발되었다면 CCA coefficient 결과가 더 크게 나오게 된다. 피험자 1의 CCA coefficient 결과는 최적 주파수(410)일 때 0.27, SSVEP 유발이 잘 되지 않는 주파수(420)일 때 0.21을 보였으며, 피험자 2의 결과 역시 최적 주파수(510)일 때 0.17, SSVEP 유발이 잘 되지 않는 주파수(520)일 때 0.12를 보였다. 각 피험자마다 최적의 SSVEP 유발 주파수로 선정된 대역에서 더 높은 CCA coefficient 결과가 도출되었고, 이를 통하여 본 발명에서 고안한 방식을 사용자에게 적용하여 개인별 SSVEP 최적화가 가능함을 확인할 수 있다.
300: 시각 자극 제시 장치
310: 입력부
320: 제 1 분석부
330: 진폭 스펙트럼 계산부
340: 제 2 분석부
350: 선택부

Claims (10)

  1. (a) 모니터가 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시하는 싱크(Sinc) 함수 형태의 가변 밝기 자극을 제시하는 과정;
    (b) 상기 모니터가 상기 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되기 이전 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극을 제시하는 과정;
    (c) 제 1 분석부가 입력부를 이용하여 상기 가변 밝기 자극과 불변 밝기 자극을 통해 생성된 생체 신호들을 측정하여 미리 설정되는 에포크들로 분할하는 과정;
    (d) 진폭 스펙트럼 계산부가 상기 에포크들에 대한 각 진폭 스펙트럼들을 이용하여 평균 진폭 스펙트럼들을 산출하는 과정;
    (e) 분석부가 상기 평균 진폭 스펙트럼들간의 평균 진폭 스펙트럼 차를 계산하고 상기 평균 진폭 스펙트럼 차에 회귀 분석을 적용하여 주파수 별 차이를 산출하는 과정;
    (f) 선택부가 상기 주파수 별 차이에 따른 주파수 대역을 사용자 별로 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 주파수 대역으로 결정하는 과정;
    을 포함하는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  2. 제 1 항에 있어서,
    상기 싱크(Sinc) 함수 형태는 2초길이 싱크(Sinc) 함수이고, 샘플링율이 모니터 리플레시율과 같은 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  3. 제 1 항에 있어서,
    상기 가변 밝기 자극 및 불변 밝기 자극에는 사용자의 눈 이동을 방지하기 위한 표적이 중앙에 구성되는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  4. 제 1 항에 있어서,
    상기 불변 밝기 자극은 휴식 단계에서 미리 설정되는 일정 시간동안 제시되고, 상기 가변 밝기 자극은 자극 단계에서 연속하여 미리 설정되는 일정 횟수로 제시되는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  5. 제 4 항에 있어서,
    상기 자극 단계에서 측정된 생체신호에 트리거(Trigger) 시점부터 특정 시간의 지연(delay)을 적용하며, 상기 특정 시간의 지연은 상기 에포크들과 싱크 함수간의 교차 상관 분석을 이용하여 계산되는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  6. 제 1 항에 있어서,
    상기 각 진폭 스펙트럼들은 각 에포크마다 제로 패딩을 적용하고, FFT(Fast Fourier Transform) 분석을 진행하여 산출되는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  7. 제 4 항에 있어서,
    상기 평균 진폭 스펙트럼들은 상기 생체 신호를 센싱하는 각 전극 별 전체 세션(Session)의 진폭 스펙트럼(amplitude spectrum)을 평균한 값이거나 세션(Session) 별로 각 전극에서의 진폭 스펙트럼(amplitude spectrum)을 평균하여 산출되는 각 전극별 및 세션별로 휴식단계와 자극단계의 평균 진폭 스펙트럼인것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  8. 제 4 항에 있어서,
    상기 주파수 별 차이는 자극 단계에 산출되는 진폭 스펙트럼과 휴식단계에서 측정되는 진폭 스펙트럼의 차이의 회귀값인 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  9. 제 1 항에 있어서,
    상기 (f) 과정은,
    (f-1) 상기 주파수 대역에서 각 세션(Session)별 회귀(regression)값이 극댓값을 갖는지 확인하는 과정;
    (f-2) 및 다수개 이상의 세션(Session)에서 상기 회귀값이 동시에 극댓값을 갖는지를 확인하는 과정; 및
    (f-3) 상기 (f-1) 과정 및 (f-2) 과정의 확인 결과, 상기 회귀값이 극댓값을 가지면, 상기 주파수 대역을 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 주파수 대역으로 결정하는 과정;을 포함하는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법.
  10. 모니터에 의해 일정 주파수 범위 내에서 동일한 크기의 주파수 응답을 제시하는 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시되고, 상기 싱크(Sinc) 함수 형태의 가변 밝기 자극이 제시된 이후 시간에 따라 밝기가 변화하지 않는 불변 밝기 자극이 제시됨에 따라 상기 가변 밝기 자극과 불변 밝기 자극을 통해 생성된 생체 신호들을 측정하는 입력부;
    측정된 생체 신호들을 미리 설정되는 에포크들로 분할하는 제 1 분석부;
    상기 에포크들에 대한 각 진폭 스펙트럼들을 이용하여 평균 진폭 스펙트럼들을 산출하는 진폭 스펙트럼 계산부;
    상기 평균 진폭 스펙트럼들간의 평균 진폭 스펙트럼 차를 계산하고 상기 평균 진폭 스펙트럼 차에 회귀 분석을 적용하여 주파수 별 차이를 산출하는 제 2 분석부; 및
    상기 주파수 별 차이에 따른 주파수 대역을 사용자 별로 정상 상태 시각 유발 전위(SSVEP: steady state visual evoked potential) 유발 주파수 대역으로 결정하는 선택부;
    를 포함하는 것을 특징으로 하는 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 장치.
KR1020160145640A 2016-11-03 2016-11-03 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치 KR101782272B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160145640A KR101782272B1 (ko) 2016-11-03 2016-11-03 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145640A KR101782272B1 (ko) 2016-11-03 2016-11-03 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101782272B1 true KR101782272B1 (ko) 2017-10-23

Family

ID=60298806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145640A KR101782272B1 (ko) 2016-11-03 2016-11-03 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101782272B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379376A (zh) * 2019-07-04 2019-10-25 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379376A (zh) * 2019-07-04 2019-10-25 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法
CN110379376B (zh) * 2019-07-04 2020-11-24 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法

Similar Documents

Publication Publication Date Title
Peysakhovich et al. Frequency analysis of a task-evoked pupillary response: Luminance-independent measure of mental effort
Aliakbaryhosseinabadi et al. Classification of EEG signals to identify variations in attention during motor task execution
CN109271020B (zh) 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法
Khudados et al. Proprioceptive regulation of voluntary ankle movements, demonstrated using muscle vibration, is impaired by Parkinson’s disease
Cao et al. Flashing color on the performance of SSVEP-based brain-computer interfaces
Korn et al. A solid frame for the window on cognition: Modeling event-related pupil responses
CN112084879B (zh) 一种运动想象脑电的块选择共空间模式特征提取方法
Nakatani et al. Phase synchronization analysis of EEG during attentional blink
Choi et al. Determination of the concentrated state using multiple EEG channels
KR101782272B1 (ko) 정상 상태 시각 유발 전위 유발 자극의 사용자별 최적 주파수 탐색을 위한 시각 자극 제시 방법 및 장치
Cicchini et al. Shifts in spatial attention affect the perceived duration of events
KR101667102B1 (ko) 동작센서를 이용한 사용자 맞춤형 뇌파 유도장치 및 방법
CN112842360A (zh) 一种判断优势眼和非优势眼的方法及系统
Safri et al. Effects of concurrent visual tasks on cortico-muscular synchronization in humans
Todd et al. Contributions of ocular vestibular evoked myogenic potentials and the electrooculogram to periocular potentials produced by whole-body vibration
Wai et al. A study of ssvep responses in case of overt and covert visual attention with different view angles
Zerafa et al. Comparison of plain and checkerboard stimuli for brain computer interfaces based on steady state visual evoked potentials
US11191475B2 (en) Method for determining the perceptiveness of a subject
Wai et al. Effects of stimulus spatial resolution on SSVEP responses under overt and covert attention
EP3326688A1 (en) Electrical stimulation apparatus for treating the human body
Lim et al. A Wearable Wireless Brain-Computer Interface Using Steady-State Visual Evoked Potentials
Hiroyasu et al. Electroencephalographic method using fast Fourier transform overlap processing for recognition of right-or left-handed elbow flexion motor imagery
Murillo López et al. Study of the Influences of Stimuli Characteristics in the Implementation of Steady State Visual Evoked Potentials Based Brain Computer Interface Systems
Tantisatirapong et al. Time-frequency based coherence analysis of red and green flickering visual stimuli for EEG-controlled applications
Nowak et al. Wavelet Energy and Wavelet Entropy as a New Analysis Approach in Spontaneous Fluctuations of Pupil Size Study–Preliminary Research

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant