KR101615676B1 - 지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템 - Google Patents

지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템 Download PDF

Info

Publication number
KR101615676B1
KR101615676B1 KR1020130101264A KR20130101264A KR101615676B1 KR 101615676 B1 KR101615676 B1 KR 101615676B1 KR 1020130101264 A KR1020130101264 A KR 1020130101264A KR 20130101264 A KR20130101264 A KR 20130101264A KR 101615676 B1 KR101615676 B1 KR 101615676B1
Authority
KR
South Korea
Prior art keywords
light source
light
user
stimulus
frequency
Prior art date
Application number
KR1020130101264A
Other languages
English (en)
Other versions
KR20140026311A (ko
Inventor
칼-킨 자오 존
황 위-파이
쥥 쯰-핑
? ?-핑
린 퐝-청
Original Assignee
네이셔널 치아오 텅 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이셔널 치아오 텅 유니버시티 filed Critical 네이셔널 치아오 텅 유니버시티
Publication of KR20140026311A publication Critical patent/KR20140026311A/ko
Application granted granted Critical
Publication of KR101615676B1 publication Critical patent/KR101615676B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • A61N5/0622Optical stimulation for exciting neural tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/065Light sources therefor
    • A61N2005/0651Diodes
    • A61N2005/0652Arrays of diodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0658Radiation therapy using light characterised by the wavelength of light used
    • A61N2005/0662Visible light
    • A61N2005/0663Coloured light

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 지각하기 어려운 멀티컬러 점멸광선으로 사용자의 시각유발전위를 유도하는 시각 또는 광선 자극 발생방법, 장치 및 그 제어 시스템을 제공하여, 사용자에게 불편을 초래하거나 임베디드 영상이 왜곡되는 현상이 발생하지 않는다. 제어 시스템은, 자극 발생장치 및 뇌파 검출장치를 포함한다. 자극 발생장치는 제1 광원 및 제2 광원을 포함한다. 제1 광원 및 제2 광원은 각각 제1 파장을 갖는 점멸광선 및 제1 파장과 다른 하나 이상의 파장을 갖는 다른 점멸광선을 발생한다. 상기 광원은 임계 점멸융합주파수 역치보다 높은 시각/광선 자극 점멸을 발생한다. 뇌파 검출장치의 적어도 하나의 전극은 사용자에게 설치되어 사용자의 뇌파 신호를 수신하여 분석함으로써 상기 자극의 응답을 검출 및 판단한다.

Description

지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템{STIMULI GENERATING METHODS, DEVICES AND CONTROL SYSTEMSTO INDUCE VISUAL EVOKED POTENTIALS USING IMPERCEPTIBLE FLICKERING MULTI-COLOR LIGHTS}
본 발명은 시각유발반응의 제어 기술 및 자극 발생기술에 관한 것으로, 특히 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템에 관한 것이다.
최근, 의학기술의 발전에 따라 안정상태시각유발전위(steady-state visual evoked potential, SSVEP) 반응에 근거해 뇌 컴퓨터 인터페이스(Brain Computer Interface, BCI)가 광범위하게 사용되고 있다. "안정상태시각유발전위"는 고정 주파수와 지속적으로 점멸하는 점멸신호를 이용하여 사용자 뇌의 시각신경을 자극하여 사용자의 뇌에서 점멸신호의 주파수에 대응하는 뇌파신호를 유발하도록 한다. 발생된 뇌파신호를 안정상태시각유발전위라고 하고, 시각유발반응(visual evoked response)이라고도 한다. 종래기술에 있어서, 안정상태시각유발전위는 기타 유형의 시각유발전위(VEP)에 비해 신뢰성이 더 높고, 정보전달속도(Information Transfer Rate, ITR)가 비교적 높다. 따라서, 안정상태시각유발전위 기술은 뇌 컴퓨터 인터페이스에서 발전 잠재력이 매우 높은 기술이며, 장애인 보조기구(휠체어 구동, 휴대전화 걸기) 등 방면에 응용할 수 있다.
그러나, 이러한 기술에 있어서, 뇌파신호를 유발하는 점멸신호는 통상 단일 파장 및 주파수가 비교적 낮은(예를 들어, 15Hz보다 낮다) 점멸광원을 이용하여 사용자의 뇌의 자극원으로 한다. 그것은, 점멸광원의 주파수가 안정상태시각유발전위의 신호 강도에 반비례하기 때문이다. 다시 말해서, 점멸광원의 주파수가 낮을수록 안정상태시각유발전위의 신호강도가 더 강하고, 더 쉽게 검출된다. 그러나, 점멸광원의 주파수가 낮을수록, 사용자가 광원의 점멸에 의해 눈의 피로를 느끼기 쉽고, 불편을 초래하며, 심지어 편두통 및 뇌전증 발작을 초래할 수 있다. 그러므로, 이 기술을 일반 대중들의 일상적인 생활속까지 보급시키기에는 상술한 이유로 인해 받아들이기 어려울 수 있다.
또한, 뇌파신호를 유발하는 점멸 신호는 대부분 바둑판 패턴, 블록 패턴 등 단일 색채의 간단한 도형을 선택하여 사용자의 시각자극 도형으로 한다. 그러므로, 이러한 종래기술의 도형은 일반적으로 사용자가 항상 보는 디스플레이 영상, 화면과 서로 결합할 수 없고, 이로 인해 시각자극 도형을 스크린 화면에 부호화하기 어렵다. 또, 시각자극 도형의 점멸 주파수가 비교적 낮아 부호화된 화면이 왜곡될 우려가 있기 때문에 별도의 디지털 영상처리기술로 수정해야 한다.
본 발명은 점멸을 지각하기 어려운 멀티 컬러 광선으로 사용자 대뇌 상태를 변경 및/또는 사용자 신경 피질의 측정 가능한 반응을 유발하는 자극 발생방법, 장치 및 제어 시스템을 제공한다. 여기서 자극광원(예를 들어 제1 광원)은 하나 이상의 색광으로 조성되고, 각 색광은 서로 다른 방사 주파수 스펙트럼(distinct radiation spectrum), 특정 점멸 주파수, 진폭, 위상, 공간휘도(luminance)/밝기(brightness)분포 및 시간파형을 가지며, 상기 자극광원은 보상광원(예를 들어, 제2 광원)과 결합되어 상기 광선을 받은 사용자가 눈을 떴을 때의 시각 자극 또는 눈을 감았을 때의 광학 자극으로 사용된다. 보상광원도 하나 이상의 색광으로 조성되며, 각 색광은 서로 다른 방사 주파수 스펙트럼, 특정 또는 랜덤한 점멸 주파수, 진폭, 위상, 공간휘도/밝기 분포 및 시간파형을 가진다. 이 자극 과정에서, 자극광선 및 보상광선(여기에서는 지각하기 어려운 자극으로 총칭)의 결합 주파수는 사람들의 시각에서 복합 색광(composite color light)의 임계 감지점멸융합주파수(CFF)와 근접하거나 높다. 따라서, 상기 지각하기 어려운 자극을 받은 사용자는 상기 복합광의 점멸(flickering)/플래싱(flashing)을 미미하게 감지하거나 감지 못하게 되며, 또, 불편함을 느끼지 않고, 편두통 또는 뇌전증 발작 등 병리적 부작용(pathological side effects)의 위험을 현저하게 낮출 수 있어, 안전하고, 편하며, 뇌 상태의 변화를 즉시 감시할 수 있는 뇌 컴퓨터 인터페이스(brain-computer interfacing; BCI) 기술을 제공한다.
사용자의 신경 피질의 반응은 뇌파(electroencephalography;EEG)를 통해 관찰 또는 측정할 수 있으며, 특히, 시각유발전위(VEP) 또는 안정상태시각유발전위(SSVEP), 뇌자도(magnetoencephalography;MEG), 기능성 근적외선 분광법(functional near-infrared spectroscopy;fNIRS), 기능성 자기공명영상(functional magnetic resonance imaging;fMRI) 또는 기타 신경영상기술(neural imaging techniques)의 형식을 채용할 수 있다.
사용자 뇌 상태의 변동(alteration)은 신경회로(neuronal circuit) 및 신경피질(neural cortices)의 활동체계 및 복잡성 및 공간 연관성(coherency) 및 신경활동(neural activities)의 동기적(synchronicity) 변화를 명확하게 표현할 수 있다. 이러한 변동은 사용자의 초조, 의기소침, 편두통을 감소시키고 뇌전증 발작을 없애는 등 생리적 또는 심리적 조건을 개선할 수 있다.
본 발명은 자극 발생장치를 제공한다. 상기 자극 발생장치는, 제1(자극) 광원 및 제2(보상) 광원을 포함한다. 상기 제1 광원은 하나 이상의 색광으로 조성되며, 각 색광은 특정 파장, 특정 공간휘도 분포 및 특정 점멸 주파수에 따른 특정 시간 파장, 진폭 및/또는 위상을 가지며, 상기 사용자 뇌 상태의 특정 신경 반응 유발 및/또는 특정 변화를 일으키는 작용을 한다. 상기 제2 광원도 하나 이상의 색광으로 조성되며, 각 색광은 특정 또는 랜덤한 점멸 주파수, 진폭, 위상, 공간휘도 분포 및 시간파형을 갖는다. 제1(자극) 광원과 제2(보상) 광원의 결합은 사용자가 복합광에 대한 점멸정도를 최대한 줄이고, 이들 광원에 의해 상기 디스플레이 영상의 색상 및 채도를 유지할 수 있는 효과가 있다.
상기 제1(자극) 광선의 펄스폭(pulse width) 또는 듀티 사이클(duty cycle)은 상기 제2(보상) 광선의 펄스폭 또는 듀티 사이클보다 작다. 상기 제1 광선의 최고 진폭은 상기 제2 광선의 최고 진폭보다 크며, 상기 제1 광선과 상기 제2 광선이 각 디스플레이 화면의 새로 고침 주기(refresh cycle)에서 생성된 에너지는 적당 비율에 해당하며, 상기 적당 비율은 상기 컬러 영상의 색상 및 채도에 의해 결정된다.
본 발명의 일 실시예에서, 상기 제1(자극) 광원 및/또는 상기 제2(보상) 광원의 광선 펄스의 파형은 원뿔형 기능(예를 들어, 해닝(hanning) 또는 블랙만 윈도우(Blackman windows))을 이용하여 평활하게 되며, 이에 의해 상기 광선 펄스의 에너지를 좁은 주파수의 범위 내에 집중시킨다.
본 발명의 일 실시예에서, 상기 제1(자극) 광선 및 상기 제2(보상) 광선을 결합한 후의 점멸 주파수는 사람의 복합색광에서의 임계 점멸융합주파수와 같거나 크다. 특히, 상기 제1(자극) 광선 점멸 주파수는 20Hz~65Hz일 수 있다.
본 발명의 일 실시예에서, 상기 제1(자극) 광원 및 상기 제2(보상) 광원이 서로 다른 발광 위치에 설치된다.
본 발명의 일 실시예에서, 상기 제1(자극) 광원 및 상기 제2(보상) 광원으로부터의 펄스는 다른 펄스와 서로 오프셋(offset)되어 특정 시간 지연되거나 비동기적으로 가변시간지연된다.
다른 측면에서 볼 때, 본 발명은 점멸을 지각하기 어려운 광선으로 시각유발전위를 유발하는 제어 시스템을 제공한다. 상기 제어 시스템은, 자극 발생장치 및 뇌파 검출장치를 포함한다. 광원 발생장치는 제1(자극) 광원 및 제2(보상) 광원을 포함한다. 제1 광원은 하나 이상의 색광으로 조성되며, 각 색광은 특정 파장, 특정 공간휘도 분포 및 특정 점멸 주파수에 따른 특정 시간 파장, 진폭 및/또는 위상을 가지며, 상기 사용자 뇌 상태의 특정 신경 반응 유발 및/또는 특정 변화를 일으키는 작용을 한다. 상기 제2 광원도 하나 이상의 색광으로 조성되며, 각 색광은 특정 또는 랜덤한 점멸 주파수, 진폭, 위상, 공간휘도 분포 및 시간파형을 갖는다. 제1(자극) 광원과 제2(보상) 광원의 결합은 사용자의 복합광에 대한 점멸정도를 최대한 줄이고, 이들 광원에 의해 상기 디스플레이 영상의 색상, 채도 및 디스플레이 효과를 유지할 수 있는 효과가 있다. 상기 제1 광선 및 상기 제2 광선이 결합된 점멸 주파수는 사람의 시각에서 복합색광의 임계 감지점멸융합주파수(CFF)와 같거나 동일하다. 상기 제1(자극) 광선의 펄스폭 또는 듀티 사이클은 상기 제2(보상) 광선의 펄스폭 또는 듀티 사이클보다 작다. 상기 제1 광선의 최고 진폭은 상기 제2 광선의 최고 진폭보다 크며, 상기 제1 광선과 상기 제2 광선이 각 디스플레이 화면의 새로 고침 주기(refresh cycle)에서 생성된 에너지는 적당 비율에 해당하며, 상기 적당 비율은 상기 컬러 영상의 색상 및 채도에 의해 결정된다.
뇌파 검출장치의 적어도 하나의 전극은 사용자의 뇌에 설치되어 사용자가 제1(자극) 광선 및 제2(보상) 광선의 자극을 받으면, 뇌파 검출장치는 상기 전극을 통해 사용자 뇌의 뇌파신호를 수신하여 분석한다.
본 발명의 일 실시예에서, 상기 뇌파 검출장치는 뇌파신호 증폭기, 신호 처리기, 특징 검출기 및 상태 분석기를 포함한다. 뇌파신호 증폭기는 상기 전극에 연결되어 상기 사용자가 상기 제1(자극) 광선 및 상기 제2(보상) 광선이 조합된 자극을 받으면 상기 전극을 통해 상기 사용자 뇌의 뇌파신호를 증폭한다. 상기 신호 처리기는 뇌파신호 증폭기에 연결되어 상기 뇌파신호 중의 노이즈 신호를 감소시킨다. 상기 신호 처리기에 연결된 특징 검출기는 상기 제1(자극) 광원 및 상기 제2(보상) 광원의 주파수에 근거해 상기 뇌파신호를 복호하여 복호 신호를 생성한다. 상기 특징 검출기에 연결된 상태 분석기는 상기 복호 신호에 근거해 상기 사용자 뇌의 분석결과를 발생한다.
본 발명의 일 실시예에 있어서, 상기 자극 발생장치는 상기 제1(자극) 광원 및 상기 제2(보상) 광원에 연결되어 상기 제1 광선과 상기 제2 광선이 각 디스플레이 화면의 새로고침 주기에서 생성하는 에너지가 적당한 비율이 되도록 상기 제1 광선 및 상기 제2 광선의 점멸 주파수, 진폭 및 펄스폭(듀티 사이클)을 각각 변조하는 광선 자극 엔코더를 더 포함하며, 여기서 적당한 비율은 상기 컬러 영상의 색상 및 채도에 의해 결정된다.
또 다른 일측면으로부터 볼 때, 본 발명은 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 방법을 제공하며, 하나 이상의 색광으로 조성되고, 각 색광이 특정 파장, 특정 공간휘도 분포 및 특정 점멸 주파수에 따른 특정 시간 파장, 진폭 및/또는 위상을 가지는 제1(자극) 광선을 발생하는 단계; 하나 이상의 색광으로 조성되고, 각 색광이 특정 또는 랜덤한 점멸 주파수, 진폭, 위상, 공간휘도/밝기 분포 및 시간파형을 갖는 제2(보상) 광선을 발생하는 단계를 포함한다. 상기 제1 광선의 펄스폭 또는 듀티 사이클은 상기 제2 광선의 펄스폭 또는 듀티 사이클보다 작다. 상기 제1 광선의 최고 진폭은 상기 제2 광선의 최고 진폭보다 크며, 상기 제1 광선과 상기 제2 광선이 각 디스플레이 화면의 새로 고침 주기(refresh cycle)에서 생성된 에너지는 적당 비율에 해당하며, 상기 적당 비율은 상기 컬러 영상의 색상 및 채도에 의해 결정된다. 사용자가 제1(자극) 광선 및 제2(보상) 광선이 조합된 자극을 받으면 상기 전극을 통해 상기 사용자 뇌의 뇌파신호를 수신하여 상기 뇌파신호를 분석한다.
상기 자극 발생방법, 장치 및 제어 시스템은 하나 이상의 유니버셜 마이크로 프로세서, 디지털 신호 프로세서(digital signal processor;DSP), 주문형 집적회로(application specific integrated circuit;ASIC), 필드 프로그램 가능 게이트 어레이(field programmable gate array), 프로그램 가능 로직장치(programmable logic devices;PLDs) 또는 기타 동등한 로직설비를 통해 실현할 수 있다. 대응하게, 여기서 사용되는 명사 "프로세서(처리기)" 또는 "제어기"는 상기 구조의 하나 이상, 또는 상기 기술을 실현할 수 있는 기타 적절한 구조를 나타낼 수 있다.
본 실시예의 제어 시스템은 영상전송기술을 더 포함하여 눈동자 추적, 시각조종, 뇌 검사, 공업안전, 뇌 컴퓨터 인터페이스 및 기타 영역에 응용할 수 있다.
본 발명의 점멸을 지각하기 어려운 멀티 컬러 시각/광선 자극을 이용한 제어 시스템, 장치 및 방법에 따르면, 자극광선 및 보상광선의 결합에 의해 사용자가 측정 가능한 반응을 생성 및/또는 그 상태를 변경하도록 유발한다. 자극광선 및 보상광선의 결합은 다수 종류의 디스플레이 장치 및 조명 시스템을 통해 실현될 수 있다. 이에 의해, 이와 같이 지각하기 어려운 자극이 조명광선, 정지화면, 이동화면에 임베딩될 수 있다.
본 발명에 따르면, 본 발명의 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 제어 시스템, 자극 발생장치 및 방법은 모두 2종 이상의 파장, 점멸 주파수가 서로 다른 자극광선의 조합에 의해 사용자의 뇌에 시각유발반응을 일으킨다. 상기 자극광선은 본 발명의 각종 주파수, 에너지 변조를 거친 후, 디스플레이의 영상, 화면 및 조명광선에 쉽게 부호화될 수 있으며, 자극광선이 각종 디스플레이 장치, 조명장치에 은폐될 수 있도록 하고, 또 사용자가 신호 대비 잡음비(Signal-to-Noise Ratio;SNR)가 높은 시각유발반응을 발생할 수 있도록 한다. 동시에, 이러한 광선의 주파수 및 조합이 인간의 임계 감지점멸융합주파수에 가깝거나 높기 때문에, 사용자의 불편함을 대폭 줄임으로써 안전하고, 편하며, 신속하고 정확하게 뇌파를 검출할 수 있는 뇌 컴퓨터 인터페이스 기술을 제공한다. 본 발명의 제어 시스템은 영상전송기술과 결합하여 사용자의 눈동자 추적, 시각조종, 뇌 검사, 공업안전, 뇌 컴퓨터 인터페이스 등 영역에 응용할 수 있다.
이하, 본 발명의 상기 특징 및 장점을 더 쉽게 이해하기 위해 실시예 및 도면을 결합하여 상세하게 설명한다.
도 1은 본 실시예에 따른 시각유발반응용 제어 시스템(100)을 나타내는 도면이다.
도 2는 일반 디스플레이 장치에서 발사하는 적색/녹색/청색 광원의 파형도이다.
도 3a, 도 3b는 각각 본 실시예에 따른 자극 발생장치(110)에서 발사하는 제1 광선(L1), 제2 광선(L2) 및 제3 광원(L3)의 파형도이다.
도 3c는 본 실시예에 따른 코사인 파형으로 변조된 제1 광선(L1), 제2 광선(L2) 및 제3 광원(L3)의 파형도이다.
도 4는 본 실시예에 따른 패턴을 나타내는 도면이다.
도 5는 본 실시예에 따른 디스플레이를 나타내는 도면이다.
도 6a 내지 도 6c는 본 실시예에 따른 자극광선에 대해 부호화하는 것을 나타내는 도면이다.
도 7a, 도 7b는 본 실시예에 따른 중앙영역 및 환상의 영역 광선투사실험도이다.
도 8은 도 7a, 도 7b의 자극광선의 주파수와 사용자가 생성하는 SSVEP신호의 신호 대 잡음비의 관계도이다.
도 9는 본 실시예에 따른 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 방법의 흐름도이다.
점멸을 지각하기 어려운 자극광선으로 안정상태시각유발전위(SSVEP)를 유발하는 유발시스템(stimulation system), 방법 및 자극 발생장치를 구축하기 위해, 본 실시예는 2종 이상의 서로 다른 파장의 광선을 부호화하고, 광선의 주파수 스펙트럼 및 에너지(즉 광선휘도)의 분포를 적절히 조절하여, 상기 2종 이상의 파장의 광선의 조합이 디스플레이 영상, 화면 또는 조명광선에 은폐될 수 있도록 하고, SSVEP유발시스템이 뇌파신호의 생성을 쉽게 지각할 수 있도록 한다. 특히, 본 실시예에서 생성된 자극광선은 2종 이상의 파장이 서로 다른 광선으로 조합되며, 이 광선의 조합은 사용자가 광선의 점멸을 지각하기 어렵거나 지각하지 못하게 할 수 있으며, 자극광선이 영상화면에 임베딩될 때 영상화면이 왜곡되거나 굴절되지 않게 한다. 그 외에, 본 실시예의 상기 자극 발생장치(즉 광원 발생장치)는 공간 주파수 변조 및 각 파장광선 사이의 위상 변조에 의해 뇌파신호의 지각효율을 증가시킬 수 있으며, 동시에 사람들의 눈이 광선 점멸에 대한 불쾌감을 낮출 수 있다. 한편, 자극광선의 에너지가 비교적 커, 눈을 감은 사용자에게 조사될 경우, 자극광선의 투과효과에 의해 사용자의 대뇌를 직접 자극할 수 있기 때문에 이에 따라 사용자의 뇌도 SSVEP반응을 하게 된다. 이하, 실시예를 당업자에게 참고로 제공하며, 본 실시에의 각 기술구성에 대해 상세하게 설명한다. 그러나, 본 실시예의 정신은 하기의 기재에 한정되는 것이 아니며, 당업자에 의해 적절하게 조정되거나 확대될 수 있다.
도 1은 본 실시예에 따른 시각유발반응에 사용되는 제어 시스템(100)을 나타내는 도면이다. 제어 시스템은(100)은 자극 발생장치(110) 및 뇌파 검출장치(150)를 포함한다. 광원 발생장치(110)는 제1 광원(112) 및 제2 광원(114)을 포함한다. 제1 광원(112)은 제1 파장을 갖는 제1 광선(L1)을 발사하고, 제2 광원(114)은 제1 파장과 다른 제2 파장을 갖는 제2 광선(L2)을 발사한다. 본 실시예에서, 제2 광원(114)이 발사하는 제2 광선(L2)은 제1 파장과 다른 복수개의 광선의 결합일 수 있다. 즉 제2 광원(114)은 복합(composite) 광원일 수도 있다. 이러한 광원의 조합은 이들 광원의 색채 휘도 및 광선이 임베딩된 영상의 색조를 유지할 수 있는 효과가 있다. 제1 광선(L1) 및 제2 광선(L2)의 파장의 범위는 가시광선의 범위에 속하며, 제1 파장과 제2 파장의 값이 서로 다르다. 다시 말해서, 제1 광선(L1)이 나타내는 색은 제2 광선이 나타내는 색과 서로 다르다. 본 실시예에서, 광원 발생장치(110)는 2개 이상의 광원을 구비할 수도 있으며, 이에 의해 2종 이상의 파장이 서로 다른 광원(112, 114)을 발생할 수 있다. 여기에서는 제1 광선(L1) 및 제2 광선(L2)을 자극 광선 신호로 총칭한다.
본 발명의 바람직한 실시예에 있어서, 적색/녹색/청색 광원의 발광 다이오드(LED)는 원광선 파장에 매우 근접한 방사 주파수 스펙트럼을 발생할 수 있기 때문에 본 실시예의 광원(112, 114)으로서 사용하기가 적합하다. 기타 실시예에 있어서, 자극 발생장치(110)는 발광 다이오드(Light-Emitting Diode;LED), 유기 발광 다이오드(Organic Light-Emitting Diode), 양자점 발광 다이오드(quantum dot light-emitting device;QD-LED) 또는 유사 기술을 백라이트 모듈로 한 디스플레이 장치(120)일 수 있으며, 상기 기술을 이용하여 제조된 조명장치(130)일 수도 있다.
다시 말해서, 본 실시예의 광원 발생장치(110)는 응용특성에 따라 두 종류로 구분할 수 있다. 제1 종류의 광원 발생장치(110)는 영상을 표시하기 위한 것이 아니거나, 또는 저해상도를 갖는 지시, 조명 또는 광원표시 시스템일 수 있다. 간접 조명 또는 발광원으로 직접 광선을 켤 때, 광원에 잠재된 자극 광선 신호가 사용자의 시각을 자극하여 SSVEP를 생성하도록 한다. 제2 종류의 광원 발생장치(110)는 고해상도 영상 및 디스플레이 화면에 사용되는 디스플레이 장치일 수 있다. 예를 들어, 액정 디스플레이(LCD), 유기 발광 다이오드 디스플레이(OLED Display), 플라즈마 디스플레이(Plasma Display), MEMS디스플레이(MEMS Display), 착용식 시각 디스플레이(wearable visual Display)등일 수 있다. 착용식 시각 디스플레이는 예를 들어, 구글안경(Google Glasses) 또는 손목시계형 디스플레일 수 있다. 예를 들어, 액정 디스플레이를 광학 발생장치(110)로 할 경우, 액정 디스플레이의 패널은 발광 다이오드 백라이트의 국부 제어 백라이트(Regional Controlled Backlight)를 사용하고, 액정 디스플레이의 액정(Liquid Crystal)층을 더 결합할 수 있다. 본 실시예는 부호화 기술을 이용하여 광선을 제어함으로써 사용자를 자극하고, 스크린 색포화도, 명암비를 높이고, 전기를 절약할 수 있는 장점이 있다.
광학 발생장치(110)는 본 실시예에서 특별히 조절된 진폭, 파형 및 점멸 주파수를 이용하여 자극광선을 점멸시킨다. 이에 의해, 이러한 광선이 조합되어 발생된 시각효과는 사용자가 이러한 광학 발생장치(110)의 광원에 부딪힌 경우, 광선의 점멸을 느끼기 어렵게 하거나 느끼지 못하게 한다. 이러한 자극광선이 예를 들어, 액정 디스플레이 또는 유기 발광 다이오드로 나타내는 영상 디스플레이에 임베딩될 경우, 자극광선의 파장, 진폭 및 펄스폭(pulse width)/듀티 사이클이 미세 조절되어, 이렇게 생성된 시각 자극광선이 원래의 컬러 영상이 왜곡(distort)되지 않게 한다. 이러한 광원의 조합은 이들 광원의 색채 휘도 및 이 광선이 임베딩된 영상의 색조를 유지할 수 있는 효과가 있다. 한명 이상의 사용자에게 제공되는 이러한 시각 또는 투광(photic) 자극은 사용자들의 눈을 피로하지 않게 하고, 또 편두통(migraine), 뇌전증 발작(seizure) 등 병적 부작용도 유발하지 않는다.
본 실시예에서, 광학 발생장치(110)는 광선 자극 엔코더(stimulate encoder)(116)를 더 포함한다. 상기 광선 자극 엔코더(116)는 제1 광원(112) 및 제2 광원(114)에 연결되어 제1 광선(L1) 및 제2 광선(L2)의 주파수 및 진폭을 각각 변조하여 제1 광선(L1) 및 제2 광선(L2)이 각 사이클에서 생성된 평균 에너지가 각자의 기설 에너지 값과 동일하게 한다. 다시 말해서, 본 실시예의 광선 자극 엔코더(116)는 디지털 엔코더 및 아날로그 변조기(Modulator)를 구비하여 광원(112, 114)에 제1 광선(L1) 및 제2 광선(L2)의 펄스폭 변조(PWM)신호를 전송하며, 상기 펄스폭 변조신호는 제1 광선(L1) 및 제2 광선(L2)의 진폭, 개시 시간, 펄스폭 및 파형 등 변수를 조절할 수 있다. 이를 시각유발반응에 사용되는 제어 시스템(100)의 자극 광선 신호로 한다. 본 실시예에서, 제1 광선의 듀티 사이클은 제2 광선의 듀티 사이클보다 작고, 제1 광선(L1)의 최고 에너지 진폭은 제2 광선(L2)의 최고 에너지 진폭보다 크며, 제1 광선(L1) 및 제2 광선(L2)이 각 사이클에서 발생된 평균 에너지가 각자의 기설 에너지 값과 동일하다. 제1 광선(L1) 및 제2 광선(L2)의 변조 및 상세 설명은 하기 실시예에서 명확하게 설명한다.
뇌파 검출장치(150)는 뇌파(Electroencephalography;EEG) 센서(152), 뇌파신호 증폭기(EEG Amplifier), 신호 처리기(154), 특징 검출기(Symbol Detector)(156) 및 상태 분석기(Event Indicator)(158)를 포함한다. 뇌파센서(152)는 적어도 하나의 전극으로 구성되어 사용자(160)의 SSVEP신호/SSVEP반응을 감지, 추출 및 기록한다. 여기에서, 자극광선이 눈을 감은 사용자에 조사될 경우, 자극광선의 투과효과에 의해 사용자의 대뇌를 직접 자극할 수 있기 때문에 사용자의 뇌도 이에 따라 SSVEP반응을 발생한다. 뇌파센서(152)는 연구공구, 임상실험 및 소비성 설비에서 사용되는 센서를 선택하여 사용할 수 있으나, 소비성 설비에서 사용되는 센서는 신호품질이 떨어져 SSVEP의 신뢰성도 낮아질 수 있다. 당업자는 수요에 따라 뇌파센서를 선택하려 사용할 수 있다. 뇌파신호 증폭기는 뇌파센서(152)에 설치되고, 뇌파센서(152)의 전극에 결합될 수 있다. 사람들의 뇌의 SSVEP가 상대적으로 비교적 미약하기 때문에 사용자(160)가 제1 광선 및 제2 광선의 자극을 받을 경우, 뇌파신호 증폭기를 통해 사용자(160)의 뇌의 뇌파신호를 증폭해야 한다.
뇌파신호 증폭기에 연결된 신호 처리기(154)는 뇌파신호 중의 노이즈 신호를 낮추는데 사용된다. 뇌파신호의 진폭이 비교적 낮기 때문에 본 실시예에서는 주성분 분석(Principal Component Analysis;PCA)기술, 독립성분 분석(Independent Component Analysis;ICA)기술, 표준상관 분석(Canonical Correlation Analysis;CCA)기술 등 다중신호 분석기술을 이용하여 SSVEP의 SNR값을 높일 수 있다. 당업자는 본 기술영역에서 주지의 다양한 신호 분석기술을 이용하여 SSVEP신호의 SNR값을 높여, SSVEP의 감지 특징을 증가시킬수 있으며, 상기 신호분석 기술에 한정되는 것은 아니다.
신호 처리기(154)에 연결된 특징 검출기(156)는 제1 광원 및 제2 광원의 주파수 또는 클록신호(T1, T2)에 따라 뇌파신호를 복호화함으로써 복호 신호를 발생한다. 다시 말해서, 특징 검출기(156)의 주요목적은 SSVEP신호의 안정성을 보장하고, 자극 발생장치(110)에서 발생한 제1 광원 및 제2 광원의 주파수에 따라(즉 클록신호(T1, T2))부호화한 디스플레이를 복호화함으로써 복호신호를 해석하는 것이다. 본 실시예에서, 클록신호(T1, T2)는 광선 자극 엔코더(116)가 광원(112, 114)으로 전송하는 PWM신호일 수 있다. 특징 검출기(156)에 연결된 상태 분석기(158)는 복호신호를 수신하여, 이 복호신호에 따라 사용자(160)의 뇌의 분석결과를 발생한다. 상태 분석기(158)는 복호화한 정보를 이용하여 사용자(160)의 뇌 상태를 판단하고, 분류를 거친 뇌 상태에 대해 대응하는 반응을 한다. 그러므로, 상태 분석기(158)는 제어 시스템(100)과 관련된 연결에서 중요한 작용을 한다.
본 실시예의 제어 시스템(100)의 각 소자 및 대응 기능을 설명한 다음, 광원(112, 114)에서 각각 생성한 제1 광선(L1) 및 제2 광선(L2)을 변조하여 제어 시스템(100)의 자극 광선 신호의 점멸이 사람들의 눈에 지각하기 어렵게 하고, 또 자극 광선 신호를 디스플레이 영상, 화면 및 조명광선에 간단하게 부호화하는 것에 대해 설명한다. 본 실시예에서, 사람들의 눈이 자극 광선 신호의 점멸을 지각하는 것을 방지하기 위해 자극 광선 신호(즉, 광선(L1, L2))의 주파수를 사람의 시각의 임계 점멸융합주파수(Critical Flicker Fusion;CFF)와 가깝거나 크게 해야 한다. 고주파수의 자극 광선 신호는 사용자(160)가 점멸을 감지하기 어려운 자극 상태에서 신호 대 잡음비가 높은 SSVEP신호를 얻을 수 있도록 한다. 본 실시예에서는 디스플레이에서 자주 사용하는 적색/녹색/청색 광원을 예로 하며, 당업자는 실제 수요에 따라 원하는 광원의 파장을 조절하여 광원의 색을 조절할 수 있다. 예를 들어, 황색 광원과 백색 광원을 채용하여 본 실시예에 따른 조명 시스템으로 할 수 있으며, 상기 광선 색에 제한되는 것은 아니다. 85 cd/m2, 듀티 사이클(duty cycle)이 10%인 광원 자극 하에 적색, 녹색, 청색 광의 CFF주파수는 각각 30Hz, 50Hz, 35Hz이다. 특히, 본 실시예에서는 2종 이상의 파장이 서로 다른 광선의 조합을 자극광선으로 사용한다. 실험을 통해 알 수 있는 바, 적색, 녹색, 청색 광이 20Hz의 주파수로 조합될 경우, 사람들의 눈은 이러한 광선의 조합을 연속되는 화면으로 느끼게 되며 점멸을 느낄 수 없게 된다. 그러므로, 본 실시예의 자극광선이 채용 가능한 최저 CFF주파수는 20Hz이고, 자극광선의 최고 주파수는 제한이 없다.
따라서, 여러 종류의 색광으로 조명할 경우, 각 색광의 점멸 주파수를 상기 CFF주파수(즉 20Hz) 역치보다 크게 해야만 시각으로 느끼는 점멸감을 낮출 수 있다. 그러나, SSVEP신호의 진폭이 자극 광선 신호의 주파수와 반비례하기 때문에 SSVEP신호의 검출 강도를 증가하기 위해 자극 광선 신호의 주파수가 CFF주파수 역치보다 모두 클 때, 본 실시예에서는 제1 광선(L1) 및 제2 광선(L2)의 주파수, 에너지 진폭, 듀티 사이클 등 부분에 대해 변조함으로써 SSVEP신호에 대해 더 잘 검출할 수 있게 된다. 본 실시예에서는, 각 독립된 광원에서 발생하는 광선 주파수가 모두 각 광선 파장의 CFF주파수 역치보다 낮지만, 2개 이상의 광원에서 발생하는 광선이 모인 점멸 주파수가 CFF주파수 역치보다 크게 되어 사용자가 점멸을 느끼지 못하게 한다. 예를 들어, 적색/녹색/청색의 3색광원이 각각 20Hz의 적색/녹색/청색의 3색광을 발생할 경우, 이 3개 광선의 결합 주파수는 20Hz의 3배인 60Hz가 되므로, 이는 광선의 CFF주파수 역치보다 크게 된다.
여기에서, 제1 광선(L1) 및 제2 광선(L2)의 주파수, 에너지 진폭, 듀티 사이클을 변조하여 SSVEP신호를 더 양호하게 검출하는 데 대해 설명한다. 여기에서는 적색/녹색/청색 광원 백라이트 모듈을 갖는 디스플레이 장치(120)를 자극 발생장치(110)로 하고, 제1 광선(L1) 및 제2 광선(L2)이 모두 구형 파형인 경우를 예로 설명한다. 도 2는 일반 디스플레이 장치에서 발사는 적색/녹색/청색 광원의 파형도이고, 도 3a, 도 3b는 각각 본 실시예의 자극 발생장치(110)에서 발사하는 제1 광선(L1), 제2 광선(L2) 및 제3 광원(L3)의 파형도이다. 여기서, 제1 광선(L1), 제2 광선(L2) 및 제3 광원(L3)은 각각 적색광원, 녹색광원 및 청색광원에 각각 대응하며, 당업자는 실제수요에 따라 조절할 수 있다. 도 2 및 도 3에서 각 사이클은 T로 표기한다. 본 실시예에서, 단순히 광선(L1~L3)의 주파수만 CFF주파수 역치보다 높게 조절하고, 광선(L1~L3)의 듀티 사이클 및 진폭은 변조하지 않을 경우, SSVEP신호의 진폭 및 자극광선 신호의 주파수가 반비례하기 때문에 SSVEP신호가 검출되지 않을 수 있다. 예를 들어, 도 2에서 각 광선(L1~L3)의 주파수가 여전히 60Hz이고, 광선(L1~L3)의 듀티 사이클이 50%이면 각 사이클(T)에서 각 광선의 인에이블링(Enabling)시간이(1/2)T이다.
따라서, 도 3a에서, 광선(L1~L3)의 자극이 사용자에게 더 쉽게 검출되어 SSVEP신호에 반응되도록 하기 위해 본 실시예의 광선 자극 엔코더(116)는 광선(L1~L3)의 듀티 사이클, 최고 에너지 진폭, 주파수 나아가서 위상 관계를 변조한다. 도 3a에 도시한 바와 같이, 각 광선(L1~L3)의 주파수가 여전히 60Hz이면, 제1 광선(L1)(적색)의 듀티 사이클을 10%로 조절한다. 즉 각 사이클(T)에서, 제1 광선(L1)의 인에이블링시간은 (1/10)T로서, 제1 광선(L1)의 듀티 사이클(10%)이 광선(L2~L3)의 듀티 사이클(50%)보다 작도록 한다. 그 외에, 사람의 눈은 시각잔류효과를 가지고 있기 때문에 점멸하지 않는 광선신호(예를 들어, 영상, 화면)를 보고 있을 때, 사용자가 보고 있는 영상은 광원의 휘도(에너지)를 각 사이클 기간에 균일하게 분산된 것이다. 때문에, 각 사이클(T)에서의 휘도를 균일하게 하기 위해 제1 광선(L1)의 최고 에너지 진폭이 원 에너지 진폭보다 높아야 한다. 본 실시예에 있어서, 각 사이클(T)에서 제1 광선(L1)(적색)이 발사해야 할 휘도 에너지가 적색 기설 에너지 값일 경우, 제1 광선(L1)이 도 3a에서의 최고 에너지 진폭(R2)이 듀티 사이클의 조절에 의해 도 2의 최고 에너지 진폭(R1)의 5배가 된다. 광선 자극 엔코더(116)는 제1 광선(L1)의 듀티 사이클과 제2 광선(L2) 및 제3 광선(L3)의 듀티 사이클이 서로 다른 시간에서 인에이블링할 수 있도록 할 수 있다(도 3a 참조). 이에 의해, 제1 광선(L1)의 듀티 사이클이 낮아지고, 최고 에너지 진폭(R2)이 높아져, 광선(L2, L3)의 파형 형상과 완전히 달라져 SSVEP신호가 더 용이하게 검출될 수 있다.
도 3b에 의하면, 도 3b의 실시예는 도 3a와 유사하며, 제1 광선(L1)의 주파수가 제1 광선(L1)의 듀티 사이클이 각 사이클에서 한번 인에이블링하는 것에서 2사이클에서 한번 인에이블링하도록, 원래의 60Hz로부터 30Hz로 조절되는 점에서 구별된다. 따라서, 제1 광선(L1)이 듀티 사이클에서 인에이블링할 경우, 제1 광선(L1)의 최고 에너지 진폭(R3)이 적색광의 기설 에너지 값의 관계에 의해 그 값이 더 커져, 제1 광선(L1)의 파형 형상이 광선(L2, L3)의 파형 형상과 차이가 더 커지게 된다. 이로부터, 액정 디스플레이의 백라이트 패널과 액정 컬러영상 필터에 임베딩되는 자극 광선 신호는 상기 광선(L1~L3)과 유사할 수 있으며, 정상 펄스(광선(L2~L3))와 뾰족한 펄스(광선(L1))가 교차되면서 임베딩됨으로써 점멸을 지각하기 어렵게 하는 것을 알 수 있다. 마찬가지로, 이러한 광선 펄스의 진폭과 에너지의 비의 값 사이의 명암비를 최대화하여 강렬한 SSVEP반응을 유발한다. 일반적으로, 액정 패널이 다양한 컬러와 휘도로 시각 영상을 나타내기 때문에 이러한 컬러영상에 임베딩된 시각 자극은 영상의 색상(hue)에 영향을 주지 않는다. 따라서, 사람의 눈이 자극광선에 대한 점멸 감지를 극복하는 외에, 자극광선은 시각 영상에 임베딩된 후 반드시 시각 영상의 민감성, 명암비 및 색상을 유지해야 한다. 현재 사용한 휘도 제어의 펄스폭 변조(PWM)신호는 유사하게, 광선 자극 엔코더(116)가 비교적 좁은 자극 펄스폭과 비교적 넓은 정상 광선 펄스폭으로 각 색성분의 휘도를 조절한다(또는 평균 에너지 진폭).
도 3a, 도 3b는 구형 파형으로 광선(L1~L3)을 변조하고, SSVEP신호가 시간영역(time domain)에서 쉽게 검출되도록 한다. 그러나, SSVEP신호가 더 쉽게 검출되도록 하기 위해, 본 실시예에서는 코사인 파형으로 광선(L1~L3)을 변조할 수도 있다. 광원 발생장치(110)는 상승 코사인(Raised Cosine), 해닝(Hanning) 파형 및 원뿔코사인(Tapered Cosine) 파형 등 시간/공간/주파수의 범위가 제한된 부드러운 파형(smooth wave)과 윤곽을 채용하여 종래의 구형 펄스(Rectangular Pulses)를 대체할 수 있다. 다시 말해서, 광선(L1 ~ L3)이 듀티 사이클에서 생성한 파형이 구형 파형 또는 코사인 파형 중의 하나일 수 있다. 도 3c는 본 실시예에 따라 코사인 파형으로 변조된 제1 광선(L1), 제2 광선(L2), 제3 광원(L3)의 파형도이다. 도 3c와 도 3b는 유사하며, 광선 자극 엔코더(116)가 SSVEP신호가 주파수 영역(frequency domain)에서 더 쉽게 검출되고, SSVEP를 고조파의 폭에 대응하게 억제하고, 신호 검출의 정확도 및 안정성을 높이도록 코사인 파형으로 광선(L1~L3)을 변조한다. 그 외에, 제1 광선(L1)의 각 사이클에서의 에너지 평균 총합은 각자의 기설정 에너지 값과 동일하거나, 또는 이러한 기설정 에너지 값과 등비례 관계를 가진다. 상기 기설정 에너지 값 및 관련 비례 변수는 당업자가 적절한 실험을 통해 값을 얻을 수 있다.
특히, 도 3a~3c 기재의 광선(L1~L3)은 본 실시예를 실현하기 위한 예에 불과하다. 당업자는 실제 수요에 따라 광선(L1~L3)의 듀티 사이클, 최고 에너지 진폭, 광선(L1~L3) 사이의 위상차를 임의로 조절할 수 있다. 다시 말해서, 광선(L2, L3)의 듀티 사이클이 50%, 60%, 80%, 100% 등이고, 광선(L1)의 듀티 사이클도 10%, 20%, 50% 등으로 조절할 수 있다. 광선의 수량은 도 3a~3c의 서로 다른 3종의 광선(L1~L3)에 한정되지 않으며, 2종 이상의 광선을 이용하여 주파수, 진폭, 위상 등 변수를 조합하고 부호화하면 본 실시예의 자극 광선 신호를 실현할 수 있다. 따라서, 본 실시예의 상기 제1 광선, 제2 광선 및 제3 광선은 상기 실시예에 제한되지 않는다.
자극 발생장치(110)로서 조명장치를 이용할 경우, 자극 발생장치(110)는 뾰족한 광선 펄스(광선 에너지)를 발사하여 상기 기술을 실현한다. 점멸을 지각하지 어려운 자극 광선 신호는 특정 자극광원의 펄스진폭을 증가시키고, 이 광원 펄스 중의 작업 주파수 대역을 감소시키는 것에 의해 자극 펄스 중의 에너지 및 정상 펄스 중의 에너지 사이의 적절한 비를 유지할 수 있다. 조명장치의 감광도와 펄스 중의 평균 에너지가 정비례하고, SSVEP신호의 신호 대비 잡음비와 광선 펄스의 진폭도 정비례하기 때문에 자극 펄스와 정상 펄스 중의 진폭, 에너지 비를 증가시키는 것에 의해 신호가 더 강한 SSVEP반응을 발생할 수 있다.
본 실시예는 SSVEP신호와 SNR값을 더 강화하기 위해 도 4에 도시한 바와 같이, 공간 패턴을 점멸 시각의 자극에 추가할 수도 있다. 도 4는 본 실시예에 따른 도형을 나타내는 도면이다. 도 4의 첫번째 열의 흑백 도형(좌측에서 우측으로: 도형패턴, 바둑판식 반전패턴, 울타리 반전패턴)은 저주파수의 SSVEP신호자극에 광범하게 사용되고 있다. 도 4의 두번째 열의 컬러 패턴은 2종의 서로 다른 색광이 사용자의 뇌에 대한 SSVEP신호 발생효과를 나타낸다. 상기 2종의 서로 다른 색광은 보색광(complementary colors) 또는 상대색광 "opponent colors"일 수 있다. 보색광을 예로 들면, 번갈아 점멸하는 보색광은 사용자의 눈에서 휘도가 서로 다른 중성 회백색(gray scale)을 나타내며, 이렇게 자극이 영상 색조에 대한 영향을 감소시킬 수 있다. 다시 말해서, 이렇게 상호 보색하는 색광 중에서 자극색광(410)은 적색, 청색, 녹색의 기본 색광 중의 하나일 수 있으며, 다른 자극색광(420)은 자극색광(410)의 보색이다. 다른 자극색광(420)은 기타 2종류의 색광을 이용하여 합성할 수 있다. 상대색광을 예로 들면, 사람들은 상대색광을 보면 이 2종류의 서로 다른 색광에 대해 쉽게 분별하기 때문에 연두빛을 띤 적색, 연황색을 띤 청색이 있을 수 없다. 때문에, 도 4의 두 번째 열의 컬러 패턴을 자극 광선 신호로 상대 색광을 이용할 경우, 비교적 바람직한 SSVEP신호를 얻을 수 있다. 예를 들어, 자극색광(410)은 적색광 또는 황색광일 수 있으며, 다른 자극색광은 자극색광(410)의 상대색광, 예를 들어, 녹색 또는 청색일 수 있다. 다시 말해서, 도 1의 제1 광원과 제2 광원은 서로 다른 발광위치에 설치되어 도 4에 도시한 바와 같은 패턴으로 배열될 수 있으며, 이렇게 더 바람직한 SSVEP반응을 얻을 수 있다. 당업자는 도 4의 패턴은 다양한 패턴 중에서의 3개의 예에 불과하며, 이에 한정되는 것이 아님을 쉽게 이해할 수 있다.
여기서, 자극 발생장치(110)로서 디스플레이를 사용할 경우, 사용자의 시각 자극은 통상 특별한 공간 휘도분포 및 점멸 패턴을 이용하여 목표를 달성한다. 따라서, 본 실시예에 따른 디스플레이는 백라이트 패널 모듈의 각 블럭에서 디스플레이의 일부 광도와 색도를 각각 조절할 수 있다. 도 5는 본 실시예에 따른 디스플레이를 나타내는 도면이다. 예를 들어, 도 5 좌측의 디스플레이(510)의 각 영역은 광도와 색도가 동일하고, 도5 우측의 디스플레이(520)의 각 영역은 서로 다른 광도와 색도로 설정된다. 이에 의해, 디스플레이 상의 서로 다른 영역이 서로 다른 점멸 광선 신호를 발생할 수 있어 광원을 국부적으로 제어하는 효과를 달성한다(도 5 참조). 본 실시예에서 디스플레이의 서로 다른 영역에 코드가 다른 점멸 패턴 또는 점멸 광선 신호를 임베딩할 수 있어 사용자의 시선이 디스플레이 상의 어느 영역에 위치하는지 알 수 있으며, 따라서 시각방향을 식별하고 시각을 제어하는 등 기술을 실현한다. 그 외에, 주변 영역에 연관이 없는 점멸 패턴을 임베딩할 경우, 디스플레이 전체에서의 점멸 감각 정도를 감소시키는데 유리하다. 휘도와 색도를 각각 조절함으로써 디스플레이 상의 일부 영역의 휘도에 대해 별도의 설정을 할 수 있으며, 원형 영역의 대칭과 평활한(平滑) 휘도 분포에 의해 고스트 간섭을 낮추고 SSVEP반응을 증가할 수 있다.
본 실시예에서 자극광선을 부호화할 경우, 주파 코딩 기술, 위상 코딩 기술 및 칩 시퀀스 코딩 기술 등을 채용하여 원하는 디지털 부호를 자극 광선 신호에 임베딩할 수 있다. 도 6a내지 도 6c는 본 실시예에 따른 자극광선을 엔코딩하는 것을 나타내는 도면으로서, 광선신호(LA)는 부호화전의 신호파형이고, 광선신호(LB)는 부호화한 후의 신호파형이다. 주파수 코딩(Frequency Coding) 기술(도 6a 참조)은 하나의 자극 광선 신호에 주파수가 서로 다른 점멸광원을 사용하고, 즉 각 광선이 동시에 인에이블링하며, 각 광선의 서로 다른 주파수에서의 차이에 의해 SSVEP를 유발한다. 위상 코딩(Phase Coding) 기술(도 6b 참조)은 각 자극 광선 신호가 인에이블링 기간에서의 위상차에 의해 SSVEP반응을 유발한다. 칩 시퀀스 코딩(Chip Sequence Coding)(도 6c 참조)기술은 코드분할 다중화방식(Code Division Multiplexing;CDM)으로 자극 광선 신호를 부호화한다. 상기 직교코딩 기술은 사용자가 본 시각 자극을 더 선명하고 예리하게 하는 외에 디스플레이의 전력소모를 저감하고, SSVEP신호의 복호화 성공율을 개선하여 SSVEP의 정보 전송속도를 높인다.
사용자에 대해 가장 바람직한 자극광선 및 자극 패턴을 측정하기 위해, 본 실시예에서는 도 7의 디스플레이(700)의 중앙영역(710)에 자극광선을 발사하고, 사방의 환상의 영역(720)에 자극광선을 발사함으로써 사용자의 SSVEP를 측정한다. 도 7a, 도 7b는 본 실시예에 따른 중앙영역과 환상의 영역에의 광선 투사 실험도로서, 도 7a는 중앙영역(710)으로부터만 자극광선을 발사하고, 도 7b는 환상의 영역(720)으로부터만 자극광선을 발사하며, 환상의 영역(720)의 내부는 어두운 영역이다. 도 8은 도 7a, 도 7b의 자극광선의 주파수와 사용자가 발생한 SSVEP신호의 신호 대비 잡음비의 관계도이고, 점상 분포 영역은 도 7a의 실제 데이터이고, 사선형 분포 영역은 도 7b의 실제 데이터이다. 이로부터 중앙영역(710)에서만 자극광선을 발사할 경우, 자극광선의 주파수가 20Hz~65Hz일 때 좋은 SNR 값을 가지고, 주파수가 25Hz~45Hz일 때 양호한 SNR값을 가지는 것을 알 수 있다. 이로부터 자극광선의 바람직한 주파수가 25Hz~45Hz임을 알 수 있다.
본 실시예는 눈동자 추적 시스템(Eye Tracking System), 뇌 컴퓨터 인터페이스(BCI), 공업안전 모니터링 시스템(Monitoring System), 의료용 편두통, 뇌전증 발작 등 질병 검출시스템(Assessment System) 등 각종 영역에 사용될 수 있다. 눈동자 추적 시스템을 예로 설명하면, 본 실시예는 자극광선을 부호화한 백라이트와 투광 조명 등을 이용하여 디스플레이 또는 윈드 실드에 조사할 수 있으며, 조작자(예를 들어, 핵전(核電)제어자, 비행기/차량 운전자, 생산라인 감시자)가 서로 다른 감시 화면을 차례로 주시해야 하기 때문에 본 실시예를 이용하여 사용자의 조작상황을 확인하거나 또는 조작자의 시선에 의해 대응하는 조작명령을 발생할 수 있다.
다른 관점으로부터 보면, 본 실시예는 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 방법을 제공하였으며, 이는 도 1의 제어 시스템에 적용된다. 도 9는 본 실시예에 따른 점멸을 지각하기 어려운 광선으로 시각유발전위를 유도하는 방법의 흐름도이다. 도 1 및 도 9에 의하면, 단계(S910)에서, 광선 자극 엔코더(116)는 제1 광원(112)을 이용하여 제1 파장을 갖는 제1광선(L1)을 발생한다. 제1 광선(L1)의 주파수는 사람 눈의 임계 점멸융합주파수보다 높다. 단계(S920)에서, 광선 자극 엔코더(116)는 제2 광원(114)을 이용하여 제2 파장을 갖는 제2 광선(L2)을 발생한다. 제2 광선(L2)의 주파수도 마찬가지로 사람 눈의 임계 점멸융합주파수보다 높다. 그 외에, 제1 광선(L1)의 듀티 사이클은 제2 광선(L2)의 듀티 사이클보다 작고, 제1 광선(L1)의 최고 에너지 진폭은 제2 광선(L2)의 최고 에너지 진폭보다 크다. 제1 광선(L1) 및 제2 광선(L2)이 각 사이클에서 생성되는 평균 에너지는 각자의 기설정 에너지 값과 동일하다. 단계(S930)에서 사용자(160)가 제1 광선(L1) 및 제2 광선(L2)의 자극을 받는지 판단한다. 사용자(160)가 제1 광선(L1) 및 제2 광선(L2)의 자극을 받을 경우, 단계(S940)로 진입하고, 뇌파 검출장치(150)는 전극을 통해 사용자(160)의 뇌의 뇌파신호를 수신하여 분석한다. 본 방법의 관련 기술내용은 상기 실시예를 참조하고, 여기서는 설명을 생략한다.
본 실시예는 후술하는 형태로도 실현할 수 있다. 본 발명은 지각하기 어렵게 사용자 대뇌 상태를 변경 및/또는 사용자의 신경피질의 측정 가능한 반응을 유발하는 방법을 제공하는 것으로, 사용자가 지각하기 어려운 적어도 하나의 자극광원의 점멸을 변조하여 사용자의 뇌 상태의 특정 변화 또는 원하는 신경반응을 유발하고, 상기 점멸은 특정 또는 랜덤의 공간휘도 분포 및 시간 파형을 갖는 하나 이상의 색광으로 조성된 적어도 하나의 보상광원에 의해 보상된다. 상기 각 보상광원은 하나 이상의 색광을 포함하며, 각 색광은 특정 파장, 특정 공간휘도 분포, 특정 점멸 주파수에 따른 특정 시간 파장, 진폭 및/또는 위상을 구비하여 상기 사용자 뇌 상태의 특정 신경반응을 유발 및/또는 특정 변화를 일으키는 작용을 한다. 상기 방법은 자극광선이 중첩된(superimpose) 컬러 영상을 감시하는 단계를 더 포함하며, 여기서, 상기 보상광원의 각 색광은 특정 공간휘도 분포 및 시간 파장을 가지며, 상기 보상광원은 상기 자극광원을 보상하여 상기 컬러 영상의 색상(hue), 채도(colorfulness) 및 일반적인 디스플레이 효과를 유지하도록 한다. 상기 보상광원의 각 색광을 변조하고, 상기 보상광원의 각 색광은 특정 공간휘도 분포 및 시간 파장을 가지며, 이에 의해 상기 자극광원을 보상함으로써 상기 컬러 영상의 색상 및 채도를 유지한다.
상기 자극광원은 상기 보상광원의 펄스지속시간(또는 듀티 사이클), 진폭 및/또는 점멸 주파수에 비해 펄스지속시간(또는 듀티 사이클)이 짧고, 진폭이 높고, 점멸 주파수가 낮은 광선펄스를 발생한다. 상기 자극광원 및 상기 보상광원으로부터의 상기 펄스는 다른 펄스와 서로 오프셋(offset)되거나 비동기적(asynchronous)이다. 상기 광선펄스는 상기 특정파장을 조절하는 것에 의해 동작하고, 이에 의해 상기 광선펄스의 에너지를 좁은 주파수 범위 내로 집중시킬 수 있다. 상기 자극광원 및 상기 보상광원은 서로 같은 특정 위치에서 교대로 나타나며, 광표면을 지나 광학패턴을 형성할 수 있다. 상기 기타 광원의 점멸 주파수가 상기 자극광원 또는 상기 보상광원의 교차 주파수의 배수(倍數)일 경우, 상기 자극광원 또는 상기 보상광원이 모든 광원에서 상기 최저 점멸 주파수를 번갈아 이용할 수 있다. 상기 자극광원 및 보상광원의 결합 점멸 주파수는 상기 자극광원 및 상기 보상광원의 혼합 임계 점멸융합주파수보다 높을 수 있다. 있어서, 상기 자극광원 및 상기 보상광원의 평균 에너지는 적절한 비율로 유지되어 상기 컬러 영상의 상기 색상 및 상기 채도의 교정평형을 유지한다. 상기 자극광원 및/또는 상기 보상광원은 주파수의 변조, 위상 변조 또는 칩 시퀀스 변조 방법에 의해 자극 패턴 또는 디지털 코드를 변조한다. 상기 방법은 사용자의 뇌파(EEG) 반응을 유발 및 감시하는 것을 더 포함한다.
본 실시예는 제어 시스템을 더 제공한다. 상기 제어 시스템은 지각하기 어렵게 사용자 대뇌 상태를 변경 및/또는 사용자 신경 피질의 측정 가능한 반응을 유발하는 방법을 적절하게 실행하는 컴퓨터 판독 가능한 프로그램 코드가 내부에 임베딩된 컴퓨터 사용 가능한 매체를 포함하며, 상기 제어 시스템은, 특정 또는 랜덤한 공간휘도 분포 및 시간파형을 갖는 하나 이상의 색광으로 조성된 적어도 하나의 보상광원에 의해 보상되는, 사용자에게 지각하기 어려운 적어도 하나의 자극광원의 점멸을 변조하는 논리를 포함한다.
상기 제어 시스템은, 상기 자극광원 및 상기 보상광원의 공간-시간특성(spatial-temporal characteristics) 및 그 타이밍 관계(timing relation)를 제어하는 논리; 뇌파신호 분석 및 기타 간접 관찰에 의해 상기 사용자 뇌 상태 및 상기 반응을 감시하는 논리; 및 사용자 감시 시스템과 자극 발생 프로그램 또는 장치 사이에 정보 피드백(feedback)을 제공하는 논리를 더 포함한다. 상기 제어 시스템은, 자극 발생장치와 뇌 상태 감시장치를 더 포함하며, 이 두 장치 사이의 피드백을 구비한다. 상기 자극 발생장치는 상기 자극광원 및 상기 보상광원에 각각 연결되어 상기 자극광원 및 상기 보상광원 중의 공간-시간 특성 및 그 타이밍 관계를 제어하며, 상기 광원의 점멸 주파수, 진폭, 대응 위상, 그 시간파형 및 공간휘도 분포를 가지는 광 자극 엔코더를 포함한다.
본 실시예는 지각하기 어렵게 사용자의 대뇌 상태를 변경 및/또는 사용자 신경 피질의 측정 가능한 반응을 유발하는 자극 발생장치를 더 제공한다. 상기 자극 발생장치는, 특정 파장, 특정 공간휘도 분포, 특정 점멸 주파수에 따른 특정 시간 파장 진폭 및/또는 위상을 가지는 하나 이상의 색광으로 조성되고, 상기 사용자의 뇌상태의 특정 신경반응을 유발 및/또는 특정변화를 일으키는 작용을 하는 자극광원과; 특정 또는 랜덤한 공간휘도 분포 및 시간 파형을 가지는 하나 이상의 색광으로 조서되어 상기 자극광원을 보상하며 상기 컬러 영상의 색상, 채도 및 디스플레이 효과를 유지하는 보상광원과; 상기 보상광원에 의해 보상되어 지각하기 어려운 상기 적어도 하나의 자극광원의 점멸을 변조하여 상기 사용자 뇌상태의 특정신경 반응을 유발 및/또는 특정변화를 일으키는 장치를 포함한다.
상기 자극 발생방법, 장치 및 제어 시스템은 하나 이상의 유니버셜 마이크로 프로세서, 디지털 신호 프로세서(digital signal processor;DSP), 주문형 집적회로(application specific integrated circuit;ASIC), 필드 프로그램 가능 게이트 어레이(field programmable gate array), 프로그램 가능 로직장치(programmable logic devices;PLDs) 또는 기타 동등한 로직설비를 통해 실현할 수 있다. 대응하게, 여기서 사용되는 명사 "프로세서(처리기)" 또는 "제어기"는 상기 구조의 하나 이상, 또는 상기 기술을 실현할 수 있는 기타 적절한 구조를 가리킬 수 있다.
본 실시예에 기재된 각종 소자는 임의의 적합한 하드웨어, 소프트웨어, 펌웨어 또는 상기 임의의 조합에 의해 실현될 수 있다. 도시한 바와 같이, 각종 소자는 복수개의 분산유닛 또는 모듈로 될 수 있다. 그러나, 도면 전체 또는 이들 각종 소자는 공용 하드웨어, 펌웨어 및/또는 소프트웨어 내의 일체로 된 유닛 또는 모듈일 수 있다. 그러므로, 소자, 유닛 또는 모듈로서의 특성은 설명의 편의를 위한 것으로, 이러한 특성은 분리된 하드웨어, 펌웨어 또는 소프트웨어에 의해 실현될 필요는 없다. 일부에서 각종 유닛은 하나 이상의 프로세서에 의해 프로그램 가능한 프로그램을 실행할 수 있다.
소프트웨어를 이용하여 실현할 경우, 하나 이상의 프로세서로 실시할 때, 상기 기술은 컴퓨터 판독 가능한 데이터 저장매체에 의해 적어도 일부를 명령을 갖는 코드로 이해할 수 있으며, 이에 의해, 상기 방법의 하나 이상을 실현할 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터 프로그램 제품의 일부를 형성할 수 있으며, 이 부분은 패킹 재료를 포함할 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는, 예를 들어, 동기식 동적 랜덤 액세스 메모리(SDRAM)의 임의 접근 기억장치(random access memory;RAM), 판독 전용 기억장치(read-only memory;ROM), 불휘발성 램(non-volatile RAM;NVRAM), EEPRM, eDRAM, 캐시 메모리 또는 광학자료저장매체를 포함할 수 있다. 사용된 모든 소프트웨어는 하나 이상의 디지털 신호 프로세서, 유니버셜 마이크로 프로세서, 주문형 집적회로, 프로그램 가능한 로직 어레이 또는 기타 동등한 일체식 또는 분리식 로직회로 등 하나 이상의 프로세서에 의해 실시될 수 있다.
이상 여러가지 관점에 대해 설명을 하였으며, 상기 관점 이외의 기타 관점들은 후술하는 청구범위에 속한다.
상술한 바와 같이, 본 실시예의 점멸을 지각하기 어려운 광선을 이용하여 시각유발전위를 유도하는 제어 시스템, 자극 발생장치 및 방법은 모두 2종 이상의 파장과 점멸 주파수가 서로 다른 자극광선의 조합을 통해 사용자의 뇌에서 시각유발반응이 발생하도록 한다. 상기 자극광선은 본 실시예의 각종 주파수, 에너지의 변조를 거친 후 간단하게 디스플레이 영상, 화면 및 조명광선에 부호화되어 상기 자극광선이 각종 디스플레이 장치, 조명장치에 은폐되도록 하고, 또 사용자가 신호 대비 잡음비(SNR)가 높은 시각유발반응을 발생할 수 있도록 함과 함께, 이런 광선의 주파수와 조합이 인간의 임계감지점멸융합주파에 근접하거나 높기 때문에 사용자들의 불쾌한 반응을 일으킬 우려가 대폭 줄어들어, 안전하고, 쾌적하며, 신속하고 정확하게 뇌파를 검출하는 뇌 컴퓨터 인터페이스 상호작용 기술을 제공한다. 본 실시예의 제어 시스템은 영상 전송기술과 서로 결합될 수 있으므로 사용자의 시각 추종, 시각조종, 뇌 검사, 공업안전, 뇌 컴퓨터 인터페이스 등 영역에 응용된다.
이상, 실시예를 통해 본 발명을 설명하였지만, 이는 본 발명을 한정하는 것이 아니며, 본 발명의 정신 및 범위를 벗어나지 않는 범위 내에서 다양한 변경 및 수정을 할 수 있으며, 본 발명의 보호범위는 첨부된 특허청구의 범위에 의해 정해진다.
100:시각유발반응용 제어 시스템
110:자극 발생장치
112:제1 광원
114:제2 광원
116:광선 자극 엔코더
120:디스플레이 장치
130:조명장치
150:뇌파 검출장치
152:뇌파센서
154:신호 처리기
156:특징 검출기
158:상태 분석기
160:사용자
410:자극색광
420:보색광
510, 520:디스플레이
700:디스플레이
710:중앙영역
720:환상의 영역
LA:부호화 전의 신호
LB:부호화한 신호
L1、L2、L3:광선
T1、T2:클록신호
T:사이클
S910~S940:단계

Claims (22)

  1. 사용자가 지각하기 어려운 적어도 하나의 자극광원의 점멸을 변조하여 사용자의 뇌 상태의 특정 변화 또는 원하는 신경반응을 유발하며, 그 중, 상기 점멸은 특정 또는 랜덤한 공간휘도 분포 및 시간 파형을 갖는 하나 이상의 색광으로 조성된 적어도 하나의 보상광원에 의해 보상되는 것을 특징으로 하는 지각하기 어렵게 사용자 대뇌상태를 변경 및/또는 사용자의 신경 피질의 측정 가능한 반응을 유발하는 방법.
  2. 제 1 항에 있어서,
    각 보상광원은 상기 하나 이상의 색광을 포함하며, 각 색광은 특정 파장, 특정 공간휘도 분포, 특정 점멸 주파수에 따른 특정 시간 파장, 진폭 및/또는 위상을 구비하여 상기 사용자 뇌 상태의 특정 신경반응을 유발 및/또는 특정 변화를 일으키는 작용을 하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    자극광선이 중첩된(superimpose) 컬러 영상을 감시하는 단계를 더 포함하며, 그 중, 상기 보상광원의 각 색광은 특정 공간휘도 분포 및 시간 파장을 가지며, 상기 보상광원은 상기 자극광원을 보상하여 상기 컬러 영상의 색상(hue), 채도(colorfulness) 및 디스플레이 효과를 유지하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서,
    상기 보상광원의 각 색광을 변조하는 단계를 더 포함하며, 상기 보상광원의 각 색광은 특정 공간휘도 분포 및 시간 파장을 가지며, 이에 의해 상기 자극광원을 보상함으로써 상기 컬러 영상의 색상 및 채도를 유지하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 자극광원에 의해 발생되는 광선펄스의 펄스지속시간은 상기 보상광원에 의해 발생되는 상기 광선펄스의 상기 펄스지속시간보다 짧고, 상기 자극광원에 의해 발생되는 상기 광선펄스의 진폭은 상기 보상광원에 의해 발생되는 상기 광선펄스의 상기 진폭보다 높고/높거나, 상기 자극광원에 의해 발생되는 상기 광선펄스의 점멸 주파수는 상기 보상광원에 의해 발생되는 상기 광선펄스의 상기 점멸주파수보다 낮은 방법.
  6. 제 5 항에 있어서,
    상기 자극광원 및 상기 보상광원으로부터의 상기 펄스는 다른 펄스와 서로 오프셋(offset)되거나 비동기적인 것을 특징으로 하는 방법.
  7. 제 5 항에 있어서,
    상기 광선펄스가 상기 광선펄스의 시간 파형을 조절하는 것에 의해 동작하고, 이에 의해 이 광선펄스의 에너지 스펙트럼의 등가 주파수는 조절되지 않은 상기 파형의 상기 에너지 스펙트럼의 상기 등가 주파수에 비해 좁아지는 방법.
  8. 제 2 항에 있어서,
    상기 자극광원 및 상기 보상광원이 서로 같은 특정 위치에서 교대로 나타나며, 광표면을 지나 광학패턴을 형성하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    다른 하나의 보상광원의 상기 점멸 주파수가 상기 자극광원 및 상기 보상광원의 교차 주파수의 배수(倍數)일 때 상기 자극광원 또는 상기 보상광원이 모든 광원에서 최저 점멸 주파수를 번갈아 이용하는 방법.
  10. 제 1 항에 있어서,
    상기 자극광원 및 보상광원의 결합 점멸 주파수가 상기 자극광원 및 상기 보상광원의 혼합 임계 점멸융합주파수보다 높은 것을 특징으로 하는 방법.
  11. 제 1 항에 있어서,
    상기 자극광원이 20Hz~65Hz의 주파수에서 점멸하는 것을 특징으로 하는 방법.
  12. 제 3 항에 있어서,
    상기 자극광원 및 상기 보상광원의 평균 휘도가 상기 컬러 영상의 상기 색상 및 상기 채도의 교정평형을 사람의 눈의 휘도 지각 비율에 따라 유지하는 비율로 유지되는 것을 특징으로 하는 방법.
  13. 제 2 항에 있어서,
    상기 자극광원 및/또는 상기 보상광원이 주파수의 변조, 위상 변조 또는 칩 시퀀스 변조 방법에 의해 자극 패턴 또는 디지털 코드를 변조하는 것을 특징으로 하는 방법.
  14. 제 1 항에 있어서,
    상기 사용자의 뇌파(EEG) 반응을 유발 및 감시하는 것을 특징으로 하는 방법.
  15. 지각하기 어렵게 사용자 대뇌 상태를 변경 및/또는 사용자 신경 피질의 측정 가능한 반응을 유발하는 방법을 실행하는 컴퓨터 판독 가능한 프로그램 코드가 내부에 임베딩된 컴퓨터 사용 가능한 매체를 포함하며,
    상기 사용자 뇌 상태의 특정 변화 또는 원하는 신경반응을 유발하고, 특정 또는 랜덤한 공간휘도 분포 및 시간파형을 갖는 하나 이상의 색광으로 조성된 적어도 하나의 보상광원에 의해 보상되는, 사용자에게 지각하기 어려운 적어도 하나의 자극광원의 점멸을 변조하는 논리를 포함하는 것을 특징으로 하는 제어 시스템.
  16. 제 15 항에 있어서,
    상기 자극광원 및 상기 보상광원의 공간-시간특성(spatial-temporal characteristics) 및 그 타이밍 관계(timing relation)를 제어하는 논리; 뇌파신호 분석 및 간접 관찰에 의해 상기 사용자 뇌 상태 및 상기 반응을 감시하는 논리; 및 사용자 감시 시스템과 자극 발생 프로그램 또는 장치 사이에 피드백(feedback)을 제공하는 논리를 더 포함하는 제어 시스템.
  17. 제 16 항에 있어서,
    자극 발생장치와 뇌 상태 감시장치를 더 포함하며, 이 두 장치 사이의 정보 피드백을 구비하는 것을 특징으로 하는 제어 시스템.
  18. 제 17 항에 있어서,
    상기 자극 발생장치가 상기 자극광원 및 상기 보상광원에 각각 연결되어 상기 자극광원 및 상기 보상광원의 점멸 주파수, 진폭, 대응 위상, 그 시간파형 및 공간휘도 분포를 포함하는 상기 자극광원 및 상기 보상광원 중의 공간-시간 특성을 제어하는 것을 특징으로 하는 제어 시스템.
  19. 제 17 항에 있어서,
    상기 뇌 상태 감시장치가,
    적어도 하나의 전극에 연결되어 상기 사용자가 지각하기 어려운 자극을 받으면 상기 사용자의 뇌파 신호를 증폭하는 뇌파신호 증폭기와;
    상기 뇌파신호 증폭기에 연결되어 상기 뇌파신호로부터 관련 특징을 추출하는 신호 처리기와;
    상기 신호 처리기에 연결되어 상기 추출 특징을 수신하고, 데이터에 근거해 상기 사용자의 뇌상태 분석결과를 발생하는 뇌상태 분석기를 포함하는 것을 특징으로 하는 제어 시스템.
  20. 지각하기 어렵게 사용자 대뇌상태를 변경 및/또는 사용자 신경 피질의 측정 가능한 반응을 유발하는데 사용되는 자극 발생장치에 있어서,
    하나 이상의 색광으로 조성되고, 각 색광은 특정 파장, 특정 공간휘도 분포, 특정 점멸 주파수에 따른 특정 시간 파장 진폭 및/또는 위상을 가지며, 상기 사용자의 뇌상태의 특정 신경반응을 유발 및/또는 특정변화를 일으키는 자극광원과;
    하나 이상의 색광으로 조성되고, 각 색광은 특정 또는 랜덤한 공간휘도 분포 및 시간 파형을 가지며 상기 자극광원을 보상함으로써 컬러 영상의 색상, 채도 및 디스플레이 효과를 유지하는 보상광원과;
    상기 사용자 뇌상태의 특정신경반응을 유발 및/또는 특정변화를 일으키도록, 상기 적어도 하나의 보상광원에 의한 보상에 의해 지각하기 어려운 적어도 하나의 자극광원의 점멸을 변조하는 장치를 포함하는 것을 특징으로 하는 자극 발생장치.
  21. 제 20 항에 있어서,
    상기 자극 발생장치가 지시 장치, 조명 장치 또는 광원표시 시스템인 것을 특징으로 하는 자극 발생장치.
  22. 제 21 항에 있어서,
    상기 광원표시 시스템이 액정 디스플레이(LCD), 또는 발광 다이오드(LED) 디스플레이, 또는 점멸 화소 소자로 조성된 디스플레이인 것을 특징으로 하는 자극발생장치.
KR1020130101264A 2012-08-25 2013-08-26 지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템 KR101615676B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261693269P 2012-08-25 2012-08-25
US61/693,269 2012-08-25

Publications (2)

Publication Number Publication Date
KR20140026311A KR20140026311A (ko) 2014-03-05
KR101615676B1 true KR101615676B1 (ko) 2016-04-26

Family

ID=50148696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101264A KR101615676B1 (ko) 2012-08-25 2013-08-26 지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템

Country Status (3)

Country Link
US (1) US10155121B2 (ko)
KR (1) KR101615676B1 (ko)
TW (1) TWI561216B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050094A (ko) * 2017-11-02 2019-05-10 한국과학기술연구원 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441109A1 (en) 2013-05-30 2019-02-13 Graham H. Creasey Flexible dermal patch for a topical nerve stimulator system
US11229789B2 (en) 2013-05-30 2022-01-25 Neurostim Oab, Inc. Neuro activator with controller
KR102232621B1 (ko) * 2013-07-30 2021-03-29 삼성디스플레이 주식회사 광 테라피 표시 장치
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
KR101912975B1 (ko) 2014-10-30 2018-10-30 한국과학기술원 입사 파워 조절이 가능한 시분할 대역 확산코드 기반의 광분광학 시스템 및 그 제어 방법
CN104503588A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种终端控制方法及装置
US11077301B2 (en) 2015-02-21 2021-08-03 NeurostimOAB, Inc. Topical nerve stimulator and sensor for bladder control
NZ773834A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN106236060B (zh) * 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
KR102473208B1 (ko) * 2015-07-06 2022-12-05 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동 방법
CN106708691B (zh) * 2015-07-28 2019-05-24 纬创资通(中山)有限公司 控制电子装置使用时间的方法
MA42366A (fr) * 2015-09-16 2018-05-16 Frances Joan Rucker Dispositif pour traiter, prévenir ou réduire la myopie, ou le risque de celle-ci
TWI589186B (zh) * 2015-12-24 2017-06-21 林伯剛 降低藍光危害之裝置及其方法
TWI676536B (zh) * 2016-01-22 2019-11-11 大陸商鴻富錦精密工業(武漢)有限公司 基於腦電訊號控制之智慧型機器人系統和方法
CN114236812A (zh) 2016-04-08 2022-03-25 奇跃公司 具有可变焦透镜元件的增强现实系统和方法
JP6735471B2 (ja) * 2016-06-24 2020-08-05 パナソニックIpマネジメント株式会社 発光装置、浴光方法及び発光システム
KR101811365B1 (ko) * 2016-08-19 2017-12-22 고려대학교 산학협력단 뇌파의 인과적 연결성을 이용한 뇌지문 탐지 장치 및 방법
TWI605851B (zh) * 2016-10-05 2017-11-21 國立成功大學 頭骨固定式光刺激模組
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN106951064B (zh) * 2016-11-22 2019-05-03 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
US10569096B2 (en) 2016-12-06 2020-02-25 National Cheng Kung University Stationary trans-skull optogenetic stimulation module
US11433253B2 (en) 2017-02-15 2022-09-06 The Regents Of The University Of California Light therapy system and methods of use
EP3582852A4 (en) * 2017-02-15 2020-11-25 The Regents of the University of California IMPROVED LIGHT THERAPY SYSTEM AND METHOD OF USE
IL311431A (en) 2017-02-23 2024-05-01 Magic Leap Inc Display system with variable power reflector
KR101973081B1 (ko) * 2017-03-28 2019-04-26 서울대학교산학협력단 최적의 시각 자극 판별 방법 및 시스템
JP2021510608A (ja) 2017-11-07 2021-04-30 ニューロスティム オーエービー インコーポレイテッド 適応回路を有する非侵襲性神経アクティベーター
CN108334195B (zh) * 2018-01-17 2019-10-18 西安交通大学 基于调制的生物运动视觉感知的脑-机接口方法
CN108445751B (zh) * 2018-02-28 2021-03-16 天津大学 融合递归图与深度学习的多目标ssvep意念控制法及应用
CN108498064B (zh) * 2018-03-19 2021-06-18 中国人民解放军空军特色医学中心 数字化亮点闪烁检测系统
WO2019199771A1 (en) * 2018-04-09 2019-10-17 Massachusetts Institute Of Technology Brain-computer interface for user's visual focus detection
CN108829245B (zh) * 2018-05-30 2019-08-23 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
US11167105B2 (en) * 2018-11-07 2021-11-09 Symbolics Inc. Method and apparatus for for stimulating neural activity
RU2725782C2 (ru) * 2018-11-30 2020-07-06 Общество С Ограниченной Ответственностью "Нейрочат" Система для коммуникации пользователей без использования мышечных движений и речи
CN109938755B (zh) * 2019-01-29 2021-12-10 中国民航大学 基于数字集辨识的闪光融合频率临界值测量方法
US20200401876A1 (en) * 2019-06-24 2020-12-24 Washington University Method for designing scalable and energy-efficient analog neuromorphic processors
CN114126704A (zh) 2019-06-26 2022-03-01 神经科学技术有限责任公司 具有自适应电路的非侵入性神经激活器
CN110379376B (zh) * 2019-07-04 2020-11-24 北京航空航天大学 一种用于ssvep的液晶显示器及其刺激图案显示方法
US11093033B1 (en) * 2019-10-28 2021-08-17 Facebook, Inc. Identifying object of user focus with eye tracking and visually evoked potentials
CN110801580A (zh) * 2019-11-08 2020-02-18 北京师范大学 一种脑光刺激调控装置
KR20220093380A (ko) * 2019-11-20 2022-07-05 넥스트마인드 에스에이에스 시각적 뇌-컴퓨터 인터페이스
CN111045517B (zh) * 2019-12-09 2023-04-18 重庆邮电大学 一种ssvep视觉刺激器及刺激方法
CN114728161A (zh) 2019-12-16 2022-07-08 神经科学技术有限责任公司 具有升压电荷输送的非侵入性神经激活器
CN111227825B (zh) * 2020-01-14 2021-06-08 华南理工大学 一种基于脑机接口系统辅助评估声源定位的方法
KR102396520B1 (ko) * 2020-02-11 2022-05-11 고려대학교 산학협력단 뇌-컴퓨터 인터페이스에 기초하여 색 자극으로부터 사용자의 의도를 판단하는 스마트 제어 장치 및 그 제어 방법
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合系统
CN111429851B (zh) * 2020-04-15 2021-11-16 北京睿智航显示科技有限公司 显示装置的控制方法及显示装置
WO2021257548A1 (en) * 2020-06-18 2021-12-23 Diagnostyx, Inc. Treatment of neurological abnormalities using dynamic electroencephalography
CN117939247A (zh) * 2020-12-08 2024-04-26 北京字节跳动网络技术有限公司 多媒体数据处理方法、装置及电子设备
WO2022246222A1 (en) * 2021-05-21 2022-11-24 Havas Health, Inc. Beta converter system and methods of use
CN113349803B (zh) * 2021-06-30 2022-09-13 杭州回车电子科技有限公司 稳态视觉诱发电位诱发方法、装置、电子装置和存储介质
KR20240031319A (ko) * 2021-07-05 2024-03-07 덴마크스 텍니스케 유니버시테트 광치료 장치
CN114356085B (zh) * 2021-12-27 2024-05-03 西安理工大学 基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法
FR3140284A1 (fr) * 2022-09-29 2024-04-05 Dream Machine Technology Dispositif de photo-stimulation
CN116098636A (zh) * 2023-02-14 2023-05-12 上海前瞻创新研究院有限公司 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5403261A (en) * 1991-06-18 1995-04-04 Matsushita Electric Industrial Co., Ltd. Illumination equipment
CN1248426A (zh) 1999-10-29 2000-03-29 清华大学 基于脑电稳态诱发响应的控制装置
US7338171B2 (en) * 2003-10-27 2008-03-04 Jen-Chuen Hsieh Method and apparatus for visual drive control
CN1776572A (zh) 2005-12-08 2006-05-24 清华大学 基于稳态视觉诱发脑电波的计算机人机交互方法
CN2888524Y (zh) 2005-12-08 2007-04-11 清华大学 基于高频稳态视觉诱发电位的脑-机接口装置
CN101711373A (zh) * 2007-04-30 2010-05-19 阿兰·阿纳迪·马特利 光调制设备和系统
TWI367424B (en) 2008-04-16 2012-07-01 Univ Nat Central Driving control system for visual evoked brain wave by multifrequency phase encoder and method for the same
JP6088424B2 (ja) * 2010-05-14 2017-03-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 電磁放射の2以上の波長帯域を用いて被験者に光線治療を施すシステム
JP5688154B2 (ja) 2010-09-29 2015-03-25 オフィス オブ ザ ナショナル ブロードキャスティング アンド テレコミュニケーションズ コミッション Ssvepに基づく電気デバイス制御システムおよび方法
US8873965B2 (en) * 2012-04-10 2014-10-28 Disney Enterprises, Inc. Visible light communication with flickering prevention

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050094A (ko) * 2017-11-02 2019-05-10 한국과학기술연구원 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템
KR102074853B1 (ko) * 2017-11-02 2020-02-10 한국과학기술연구원 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템

Also Published As

Publication number Publication date
TW201416060A (zh) 2014-05-01
US20140058483A1 (en) 2014-02-27
KR20140026311A (ko) 2014-03-05
TWI561216B (en) 2016-12-11
US10155121B2 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
KR101615676B1 (ko) 지각하기 어려운 멀티컬러 점멸 광선으로 시각유발전위를 유도하는 자극 발생방법, 장치 및 제어 시스템
Gur et al. A dissociation between brain activity and perception: chromatically opponent cortical neurons signal chromatic flicker that is not perceived
Min et al. Bright illumination reduces parietal EEG alpha activity during a sustained attention task
Chicherov et al. Neural correlates of visual crowding
Lee et al. How arousal modulates the visual contrast sensitivity function.
Dreyer et al. Frequency-modulated steady-state visual evoked potentials: A new stimulation method for brain–computer interfaces
JP2014518511A (ja) ユーザの認識強化のためのデバイス及び方法
D'Souza et al. Temporal frequency and chromatic processing in humans: an fMRI study of the cortical visual areas
CA2547017C (en) Assessment of neural function
Hofstoetter et al. Motion-induced blindness does not affect the formation of negative afterimages
Barbur et al. Colour constancy and conscious perception of changes of illuminant
Takeuchi et al. The effect of retinal illuminance on visual motion priming
US12004810B2 (en) Method and system for selecting a color filter, optical article comprising such a color filter
Bachmann et al. Covert spatial attention in search for the location of a color-afterimage patch speeds up its decay from awareness: Introducing a method useful for the study of neural correlates of visual awareness
Kulikowski On the nature of visual evoked potentials, unit responses and psychophysics
Becker et al. Electrophysiological correlates of flicker-induced color hallucinations
Safri et al. Effects of concurrent visual tasks on cortico-muscular synchronization in humans
JP7226736B2 (ja) グレア知覚検査装置及びグレア知覚検査方法
Chien et al. 14.4: Polychromatic High‐Frequency Steady‐State Visual Evoked Potentials for Brain‐Display Interaction
Forster et al. ERP correlates of tactile spatial attention differ under intra-and intermodal conditions
Van Boxtel et al. A single system explains human speed perception
Zhang et al. An independent brain-computer interface based on covert shifts of non-spatial visual attention
Wang et al. Orientation dependency of intrinsic optical signal dynamics in cat area 18
Prosper et al. The duration effect of short-term monocular deprivation measured by binocular rivalry and binocular combination
Ramos-Júnior et al. Experimental evidences for visual evoked potentials with stimuli beyond the conscious perception threshold

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 7