KR102150045B1 - System for authoring AR contents for recognition of brain waves using visual stimulation - Google Patents

System for authoring AR contents for recognition of brain waves using visual stimulation Download PDF

Info

Publication number
KR102150045B1
KR102150045B1 KR1020180141284A KR20180141284A KR102150045B1 KR 102150045 B1 KR102150045 B1 KR 102150045B1 KR 1020180141284 A KR1020180141284 A KR 1020180141284A KR 20180141284 A KR20180141284 A KR 20180141284A KR 102150045 B1 KR102150045 B1 KR 102150045B1
Authority
KR
South Korea
Prior art keywords
stimulus
output
setting unit
shape
examiner
Prior art date
Application number
KR1020180141284A
Other languages
Korean (ko)
Other versions
KR20200057214A (en
Inventor
김맹남
신상호
강동현
김상영
Original Assignee
(주) 토탈소프트뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 토탈소프트뱅크 filed Critical (주) 토탈소프트뱅크
Priority to KR1020180141284A priority Critical patent/KR102150045B1/en
Publication of KR20200057214A publication Critical patent/KR20200057214A/en
Application granted granted Critical
Publication of KR102150045B1 publication Critical patent/KR102150045B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dermatology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Anesthesiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hematology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 실시예의 시각자극 뇌파인식용 ＡＲ 컨텐츠 저작시스템은 뇌파 자극을 위한 자극물의 형상을 결정하는 자극물 생성부; 상기 자극물 생성부에 의해 결정된 형상의 자극물을 검사자의 시야에서 표시될 위치를 설정할 수 있도록 하는 위치 설정부; 상기의 결정된 형상의 자극물이 표시되는 크기와 색상을 설정할 수 있도록 하는 자극물 설정부; 및 상기 자극물 설정부와 위치 설정부에 의해 설정된 자극물을 상기 검사자가 착용한 장치로 전달하는 역할을 수행하는 자극물 출력부;를 포함하고, 상기 자극물 출력부는 검사 대상의 뇌파 신호의 종류에 따라 상기 자극물의 출력 주파수의 설정 및 상기 자극물의 출력 순서를 결정하는 것을 특징으로 한다. The AR content authoring system for visual stimulus brain wave recognition according to the present embodiment comprises: a stimulus generating unit for determining a shape of a stimulus for stimulating brain waves; A position setting unit configured to set a position to be displayed in the field of view of the examiner of the stimulus material having the shape determined by the stimulus material generating unit; A stimulus setting unit configured to set the size and color in which the stimulus of the determined shape is displayed; And a stimulus output unit that transmits the stimulus set by the stimulus setting unit and the position setting unit to the device worn by the examiner, wherein the stimulus output unit includes the stimulus according to the type of the EEG signal of the test object. It characterized in that the setting of the output frequency and determining the output order of the stimulus.

Description

시각자극 뇌파신호의 출력향상을 위한 ＡＲ 컨텐츠 저작시스템{System for authoring AR contents for recognition of brain waves using visual stimulation}System for authoring AR contents for recognition of brain waves using visual stimulation}

본 발명은 AR 장치를 이용하여 P300, SSVEP 뇌파 자극을 획득하는 방법에 관한 것으로, 도형의 형태, 크기, 위치, 색상 등의 여러 조건을 손쉽게 제작하여 훈련자의 뇌파 인식률을 높일 수 있는 저작도구로 활용 되는 것이다.The present invention relates to a method of acquiring P300, SSVEP EEG stimulation using an AR device, and is utilized as a writing tool that can increase the EEG recognition rate of a trainee by easily creating various conditions such as shape, size, location, and color. It becomes.

P300과 SSVEP 뇌파신호는 사람의 시각적으로 보는 것에 따라 발생 및 그 파형이 상이하기 때문에, 본 발명은 해당 뇌파신호의 검출 및 분석에 이용되도록 하기 위한 자극물을 생산하는 방법에 관한 것이다. Since P300 and SSVEP EEG signals are generated and their waveforms are different according to human visual viewing, the present invention relates to a method of producing a stimulus to be used for detection and analysis of the corresponding EEG signals.

[본 발명을 지원한 국가연구개발사업][National R&D project supporting the present invention]

[과제고유번호] 2017-0-00432[Task identification number] 2017-0-00432

[부처명] 미래창조과학부[Ministry Name] Ministry of Science, ICT and Future Planning

[연구관리 전문기관]정보통신기술진흥센터[Research Management Specialist Institute] Information and Communication Technology Promotion Center

[연구사업명]정보통신방송 연구개발사업[Research Project Name] Information and Communication Broadcasting R&D Project

[연구과제명] 생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지컴퓨팅 SW 플랫폼 기술 개발[Research Title] Development of non-invasive BCI integrated brain cognitive computing software platform technology that controls real life devices and AR/VR devices with just one thought

[기여율] 1/1[Contribution rate] 1/1

[주관기관] 한국과학기술연구원(KIST)[Organization] Korea Institute of Science and Technology (KIST)

[연구기간] 2018. 1. 1. ~ 2018. 12. 31.[Research Period] 2018. 1. 1. ~ 2018. 12. 31.

BCI(Brain-Computer Interface) 기술은 뇌파를 이용해 컴퓨터를 사용할 수 있는 인터페이스를 뜻한다. 두뇌의 정보 처리 결과인 의사결정을 언어나 신체 동작을 거치지 않고, 검사자가 생각하고 결정한 특정 뇌파를 시스템의 센서로 전달하여 컴퓨터에서 해당 명령을 실행하게 된다.BCI (Brain-Computer Interface) technology refers to an interface that allows you to use a computer using brain waves. The decision-making, which is the result of processing information by the brain, is transmitted to the sensor of the system by transmitting a specific brain wave that the examiner thinks and decides without going through language or body movement, and executes the corresponding command in the computer.

키보드, 마우스가 아닌 뇌파로 컴퓨터를 조작하는 방법은 장애 등으로 신체를 사용하지 못할 때 유용하게 사용될 수 있기 때문에 뇌-컴퓨터 인터페이스에 대한 연구가 끊임없이 진행되고 있다. Since the method of operating a computer with brain waves rather than a keyboard or mouse can be usefully used when the body cannot be used due to a disorder, etc., research on the brain-computer interface is constantly being conducted.

뇌파를 통해 연구되는 방식은 세가지로 나눌 수 있다. There are three ways to study through brain waves.

첫 번째로, 어떠한 행동을 할 때 어느 부위에서 뇌파가 발현이 되는지를 파악하는 것이며, 두 번째로, 행동에 따라 방출되는 뇌파의 파형이 어떻게 다른지를 분석하는 것이다. 세 번째로, 어떠한 자극을 주었을 때 뇌파로 방출되기까지 걸리는 시간의 차이를 통해서 연구가 진행되고 있다. First, it is to determine where the EEG is expressed when a certain action is performed, and second, to analyze how the waveforms of the EEG emitted according to the action are different. Third, research is being conducted through the difference in the time it takes to be emitted as an EEG when a certain stimulus is given.

본 발명에서는 위의 세 번째 방법인 자극을 제시하여 뇌파로 방출되기까지 걸리는 시간의 차이를 이용하여 검사자의 인지를 분석하는 P300, SSVEP 기술을 다루고 있다.The present invention deals with the P300 and SSVEP technologies that analyze the tester's cognition by using the difference in time taken to emit the stimulus as an EEG by presenting the third method, the above.

시각을 제시하기 위하여, 본 발명에서는 일반적인 디스플레이 장치인 TV나 모니터를 사용하지 않고 검사자 머리에 장착하여 시각을 제시할 수 있는 AR 장치를 활용한다.In order to present the time, the present invention utilizes an AR device capable of presenting a time by attaching it to an examiner's head without using a TV or a monitor, which is a general display device.

AR은 현실세계와 가상세계를 잘 조화시켜 사용자가 실제 및 가상 환경이 분리 되었다는 것을 인지하지 못한 상태에서, 사용자와 가상세계간의 실시간 상호작용이 가능한 몰입감을 제공한다. 이러한 AR 기술의 특징을 이용하여 실생활에서 BCI를 이용하기 위해, 현실세계에 가상의 시각 자극물을 표현할 필요가 있다. AR harmonizes the real world and the virtual world well, providing a sense of immersion that enables real-time interaction between the user and the virtual world without the user unaware that the real and virtual environments are separated. In order to use BCI in real life by using the features of AR technology, it is necessary to express a virtual visual stimulus in the real world.

어떠한 자극을 주었을 때 뇌파로 방출되기까지 걸리는 시간의 차이에 관한 지금까지의 연구에 있어서는, 시각적으로 보여지는 자극물을 다양하게 제작할 수 있는 소프트웨어 툴이 존재한 바 없었다. In the studies so far on the difference in the time it takes to be emitted as an EEG when a certain stimulus is given, there has not been a software tool capable of producing various visually visible stimuli.

실생활에 BCI를 적용하기 위한 노력이 이루어지고 있으며, 특히, 뇌파신호 검출과 검출된 뇌파신호의 분석에 대해서 연구가 진행되고 있다. 본 발명의 목적은 특정 뇌파신호, 즉, P300 뇌파신호와 SSVEP 뇌파신호가 어떤 자극물에 의하여 발생하는지를 연구에 활용할 수 있도록, 해당 자극물을 자유롭게 제작할 수 있는 저작툴을 제공하는 것을 목적으로 한다. Efforts are being made to apply BCI in real life, and in particular, EEG signals Research is in progress on detection and analysis of detected EEG signals. It is an object of the present invention to provide an authoring tool that can freely manufacture a corresponding stimulus so that a specific EEG signal, that is, a P300 EEG signal and an SSVEP EEG signal, can be used for research.

본 발명은 AR 장치에서 발생하는 시각 자극물을 제작할 수 있는 시스템을 제안하며, 자극물의 형태와 크기, 위치, 색상 등의 정보를 이용하여 인지 인식률을 높일 수 있는 자극물을 생성함으로서, BCI를 이용한 실생활 기기 제어 및 의료, 레져 등에 활용 할 수 있는 솔루션을 제공하는데 있다. The present invention proposes a system capable of producing a visual stimulus generated from an AR device, and generates a stimulus that can increase the cognitive recognition rate by using information such as the shape, size, location, and color of the stimulus, and uses BCI. It is to provide a solution that can be used for control, medical care, and leisure.

상술한 본 발명의 목적을 달성하기 위하여, 본 실시예의 시각자극 뇌파신호의 출력향상을 위한 ＡＲ 컨텐츠 저작시스템은 뇌파 자극을 위한 자극물의 형상을 결정하는 자극물 생성부; 상기 자극물 생성부에 의해 결정된 형상의 자극물을 검사자의 시야에서 표시될 위치를 설정할 수 있도록 하는 위치 설정부; 상기의 결정된 형상의 자극물이 표시되는 크기와 색상을 설정할 수 있도록 하는 자극물 설정부; 및 상기 자극물 설정부와 위치 설정부에 의해 설정된 자극물을 상기 검사자가 착용한 장치로 전달하는 역할을 수행하는 자극물 출력부;를 포함하고, 상기 자극물 출력부는 검사 대상의 뇌파 신호의 종류에 따라 상기 자극물의 출력 주파수의 설정 및 상기 자극물의 출력 순서를 결정하는 것을 특징으로 한다. In order to achieve the object of the present invention described above, the AR content authoring system for improving the output of the visual stimulus EEG signal according to the present embodiment includes: a stimulus generating unit for determining a shape of a stimulus for stimulating EEG; A position setting unit configured to set a position to be displayed in the field of view of the examiner of the stimulus material having the shape determined by the stimulus material generating unit; A stimulus setting unit configured to set the size and color in which the stimulus of the determined shape is displayed; And a stimulus output unit that transmits the stimulus set by the stimulus setting unit and the position setting unit to the device worn by the examiner, wherein the stimulus output unit includes the stimulus according to the type of the EEG signal of the test object. It characterized in that the setting of the output frequency and determining the output order of the stimulus.

상기와 같은 본 발명에 따른 P300, SSVEP AR 컨텐츠 저작도구를 이용한 인식률 높은 자극물이 적용하면, 실생활과 의료, 레져 등에 활용이 됨으로서, 몸이 불편한 노약자 및 장애인에게 널리 이롭게 활용이 될 수 있다.When the stimulus having a high recognition rate using the P300, SSVEP AR content authoring tool according to the present invention as described above is applied, it is used in real life, medical care, leisure, etc., and thus, it can be widely beneficially used for the elderly and the disabled.

도 1은 본 발명의 실시예에 따른 시각자극 뇌파신호의 출력향상을 위한 ＡＲ 컨텐츠 저작시스템의 구성을 보여주는 도면이다.
도 2는 본 발명의 자극물 생성부를 이용하여 자극물의 형상을 결정하는 과정을 보여주는 도면이다.
도 3은 본 발명의 위치 설정부를 이용하여 형상이 결정된 자극물이 AR 장치에서 표시되는 위치를 선택 및 결정할 수 있도록 하는 것을 보여주는 도면으로서, 도 2에서 생성된 자극물의 위치를 마우스를 이용하거나, 키보드에서 위치 좌표(X, Y, Z)값을 입력하여 자극물의 위치를 설정한다.
도 4는 본 발명의 자극물 설정부를 이용하여 형상이 결정된 자극물이 AR 장치에서 표시되는 때에 그 색상과 크기를 설정하는 것을 보여주는 도면이다.
도 5는 본 발명의 자극물 출력부가 P300 자극 신호를 발생시키기 위한 출력 화면을 보여주는 도면이다.
도 6은 본 발명의 자극물 출력부가 SSVEP 자극 신호를 발생시키기 위한 출력 화면을 보여주는 도면이다.
도 7은 저작도구를 이용하여, 색상 변형, 크기 변형, 색상과 크기를 동시에 변형 시키는 자극 방법을 보여주는 도면이다. 1 is a diagram showing the configuration of an AR content authoring system for improving the output of a visual stimulation brainwave signal according to an embodiment of the present invention.
2 is a diagram showing a process of determining a shape of a stimulus using the stimulus generating unit of the present invention.
3 is a view showing that a stimulus whose shape is determined using the position setting unit of the present invention can be selected and determined in a position displayed on an AR device, and the position of the stimulus generated in FIG. Enter the position coordinates (X, Y, Z) to set the position of the stimulus.
4 is a diagram illustrating setting of a color and a size of a stimulus whose shape is determined using the stimulus setting unit of the present invention when displayed on an AR device.
5 is a diagram showing an output screen for generating a P300 stimulus signal by the stimulus output unit of the present invention.
6 is a view showing an output screen for generating an SSVEP stimulation signal by the stimulus output unit of the present invention.
7 is a diagram showing a stimulation method of simultaneously changing color, size, and color and size using an authoring tool.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제 변경 등의 실시변형을 포함한다고 할 것이다.Hereinafter, with reference to the accompanying drawings with respect to the present embodiment will be described in detail. However, the scope of the spirit of the invention of this embodiment may be determined from the matters disclosed by this embodiment, and the idea of the invention of this embodiment is implementation modification such as addition, deletion, change, etc. of components to the proposed embodiment. Will be said to include.

도 1은 본 발명의 실시예에 따른 시각자극 뇌파신호의 출력향상을 위한 ＡＲ 컨텐츠 저작시스템의 구성을 보여주는 도면이다. 1 is a diagram showing the configuration of an AR content authoring system for improving the output of a visual stimulation brainwave signal according to an embodiment of the present invention.

P300와 SSVEP(Steady State Visually Evoked Potential) 뇌파신호 검출을 위한 장치는 검사자에게 연결되어 있고, 본 발명의 시스템은 검사자가 착용한 AR 장치로 전달되는 컨텐츠인 자극물을 생성하는 역할을 한다. 이하의 실시예에서는, 자극물을 정지 영상(이미지)인 경우를 중심으로 설명하지만, 실시예에 따라는 동영상이 될 수도 있을 것이다. A device for detecting P300 and Steady State Visually Evoked Potential (SSVEP) EEG signals is connected to an examiner, and the system of the present invention plays a role of generating a stimulus, which is a content transmitted to an AR device worn by the examiner. In the following embodiments, the stimulus is mainly described in the case of a still image (image), but it may be a moving picture depending on the embodiment.

따라서, 검사자는 본 발명의 시스템에 의하여 생성된 다양한 자극물을 AR 장치를 통해 확인하게 되며, 검사자는 착용한 AR 장치로 보여지는 자극물을 시청하게 되고, 별도의 뇌파신호 분석 장치는 검사자의 뇌에서 발생되는 P300와 SSVEP 뇌파신호 검출한다. Accordingly, the examiner checks various stimuli generated by the system of the present invention through the AR device, and the examiner views the stimulus seen by the worn AR device, and a separate EEG signal analysis device is generated in the examiner's brain. P300 and SSVEP EEG signals are detected.

본 발명의 시스템에 의하여 생성되는 컨텐츠인 자극물의 저작 방법에 대해서 상세히 설명하여 본다. A detailed description will be given of a method of authoring a stimulus, which is a content generated by the system of the present invention.

BCI에서 시각적 자극을 이용하여 인지할 수 있는 P300, SSVEP 신호를 추출하기 위하여 4개 이상의 자극을 생성한다. 생성된 자극의 위치, 크기, 색상을 이용하여 착용자가 가장 인지 하기 쉬운 자극물로 설정한다.Four or more stimuli are generated to extract P300 and SSVEP signals that can be recognized using visual stimuli in BCI. The position, size, and color of the generated stimulus are used to set the stimulus that the wearer is most likely to recognize.

설정된 자극물은 자극물 출력부를 통해 AR 장치에서 표현이 되며, P300, SSVEP 자극 생성 방식에 따라 가시화 방식이 분류되어 출력이 된다.The set stimulus is expressed in the AR device through the stimulus output unit, and the visualization methods are classified and output according to the P300 and SSVEP stimulus generation methods.

상세히, 본 발명의 시각자극 뇌파인식용 AR 컨텐츠 저작시스템은 자극물의 형태/형상을 생산하기 위한 자극물 생성부(10)와, 상기 자극물 생성부(10)에 의해 결정된 형상의 자극물이 표시되는 위치를 결정할 수 있도록 하는 자극물 위치 설정부(20)와, 상기 자극물 생성부(10)에 의해 결정된 형상의 자극물의 크기설정(31)과 자극물의 색상을 설정(32)할 수 있도록 하는 자극물 설정부(30)와, 상기 자극물 설정부(30)와 위치 설정부(20)에 의해 설정된 내용에 따라 검사자가 착용한 AR 장치로 해당 자극물을 출력시키는 자극물 출력부(40)를 포함한다. In detail, the AR content authoring system for visual stimulus brainwave recognition of the present invention includes a stimulus generating unit 10 for producing a shape/shape of a stimulus, and a position at which a stimulus having a shape determined by the stimulus generating unit 10 is displayed. The stimulus position setting unit 20 for determining the stimulus object position setting unit 20, and the stimulus substance setting unit 30 for setting the size 31 of the stimulus object having a shape determined by the stimulus substance generating unit 10 and setting the color of the stimulus object (32) ), and a stimulus output unit 40 for outputting a corresponding stimulus to the AR device worn by the examiner according to the contents set by the stimulus setting unit 30 and the position setting unit 20.

시각자극 뇌파인식용 AR 컨텐츠 저작시스템의 각 구성에 대해서는 첨부되는 도면의 예시와 함께 설명하여 본다. Each configuration of the AR content authoring system for visual stimulation brain wave recognition will be described with an example of the accompanying drawings.

도 2는 본 발명의 자극물 생성부를 이용하여 자극물의 형상을 결정하는 과정을 보여주는 도면이다. 2 is a diagram showing a process of determining a shape of a stimulus using the stimulus generating unit of the present invention.

도 2에 도시된 바와 같이, 생성시킬 자극물의 형상을 결정하기 위하여 상기 자극물 생성부(10)는 미리 저장된 다양한 형상의 자극물들을 표시한다. 예를 들어, 정사각형, 원형, 별형, 체커보드 형상들이 표시되고, 그 중에 하나 또는 그 이상을 사용자(자극물 생산자)가 선택할 수 있도록 한다. As shown in FIG. 2, in order to determine the shape of the stimulus to be generated, the stimulus generation unit 10 displays various previously stored stimulus materials. For example, square, circle, star, and checkerboard shapes are displayed, and one or more of them can be selected by the user (the stimulus producer).

참고로, 체커보드 형상의 경우는 BCI 시각자극 연구에 많이 사용되는 도형중 하나이다. For reference, the shape of the checkerboard is one of the figures commonly used in BCI visual stimulation studies.

한명의 검사자가 다양한 형상의 자극물에 따라 P300과 SSVEP 뇌파신호가 어떻게 다르게 검출되는지를 연구할 수 있을 것이며, 검사자마다 다양한 형상의 자극물에 대하여 P300과 SSVEP 뇌파신호가 검출되는지, 나아가 검출된다면 어떤 파형인지를 분석해나갈 수 있을 것이다. One examiner will be able to study how the P300 and SSVEP EEG signals are detected differently depending on the stimulus of various shapes, and whether P300 and SSVEP EEG signals are detected for various stimuli of various shapes for each examiner, and furthermore, what waveforms are they detected? You will be able to analyze it.

도 3은 본 발명의 위치 설정부를 이용하여 형상이 결정된 자극물이 AR 장치에서 표시되는 위치를 선택 및 결정할 수 있도록 하는 것을 보여주는 도면이다. FIG. 3 is a diagram showing that a stimulus whose shape is determined using a position setting unit of the present invention can select and determine a position displayed on an AR device.

상기 위치 설정부(20)는 사용자(자극물 생산자)가 결정한 자극물의 형상을 AR 장치를 착용한 검사자의 시야에서 어느 위치에 표시될지를 선택 및 결정할 수 있도록 한다. The position setting unit 20 enables the user (stimulator producer) to select and determine at which position the shape of the stimulus determined by the user (the stimulus producer) is to be displayed in the visual field of the examiner wearing the AR device.

예를 들면, 생성된 자극물 중의 하나를 클릭하면, 도 3에 도시된 바와 같이, 자극물의 중심점에서 녹색 화살표(Y축), 빨간색 화살표(X축)가 표시된다. 마우스를 이용하여 각 화살표를 드래그 하면 자극물의 위치가 변경된다.For example, when one of the generated stimuli is clicked, a green arrow (Y-axis) and a red arrow (X-axis) are displayed at the center point of the stimulus, as shown in FIG. 3. When you drag each arrow with the mouse, the position of the stimulus is changed.

마우스를 이용하지 않고 키보드로 정확하게 자극물의 위치를 변경할 경우에는 자극물을 클릭한 후 오른쪽의 'Property' 윈도우의 속성 중 'Position' 값을 수정하여 자극물의 위치를 설정한다.In the case of accurately changing the position of the stimulus with the keyboard without using a mouse, click the stimulus and then set the position of the stimulus by modifying the'Position' value among properties of the'Property' window on the right.

도 4는 본 발명의 자극물 설정부를 이용하여 형상이 결정된 자극물이 AR 장치에서 표시되는 때에 그 색상과 크기를 설정하는 것을 보여주는 도면이다. 4 is a diagram illustrating setting of a color and a size of a stimulus whose shape is determined using the stimulus setting unit of the present invention when displayed on an AR device.

검사자에 따라 색상으로 뇌파 자극 신호가 잘 나오는 경우가 있고, 크기에 따라 자극 신호가 나오는 경우가 있다. 이와 같이, 동일한 자극물에 대해서도 검사자에 따라 뇌파 신호의 출력이 상이하기 때문에, 자극물은 다양하게 마련되어야 하며 필요에 따라서는 신속하게 그 자극물의 크기, 색상, 형상을 다양하게 변경할 필요가 있다. Depending on the examiner, the EEG stimulation signal may appear well in color, and the stimulation signal may appear depending on the size. As described above, even for the same stimulus, since the output of the EEG signal is different depending on the examiner, the stimulus must be provided in various ways, and the size, color, and shape of the stimulus need to be changed in various ways, if necessary.

따라서, 다양한 설정을 통해 제작된 자극물을 제시하여 뇌파 인식을 높일 수 있도록 제공한다.Therefore, by presenting a stimulus produced through various settings, it is provided so as to increase brainwave recognition.

자극물 크기 설정 방법은 생성된 자극물을 클릭하여 'Property' 윈도우의 Scale X, Y, Z 값을 입력한다. 이때 입력가능한 수치는 0.1에서 2까지의 수치을 입력한다. 0.1이하의 수치는 자극물이 보이지 않는 크기이며, 2이상의 수치는 자극물이 너무 커져서 다른 자극물에 영향이 끼치는 크기이다.To set the size of the stimulus, click the generated stimulus and enter the Scale X, Y, and Z values in the'Property' window. At this time, input a value from 0.1 to 2 as the input value. A value less than 0.1 is the size that the irritant is not visible, and a value greater than 2 is the size that the irritant becomes too large and affects other irritants.

도 4에 도시된 그림 중 위의 그림은 서로 다른 크기를 설정한 상태의 모습이다. The above figure among the figures shown in FIG. 4 is a state in which different sizes are set.

상기 자극물 설정부(30)는 생성된 자극물을 사용자가 클릭하여 Property 창의 색상표를 이용하여 원하는 색상을 선택할 수 있도록 한다. 그리고, 정확한 색상을 지정할 경우에는 색상표 클릭 후, R, G, B 값을 입력하여 원하는 색상을 설정할 수 있다. 이때 R,G,B 색상은 0에서 255까지의 수치를 입력하여 선택할 수 있도록 한다. The stimulus setting unit 30 enables the user to click the generated stimulus and select a desired color using a color table in the Property window. And, when specifying the correct color, you can set the desired color by clicking the color table and entering R, G, B values. At this time, R, G, B colors can be selected by inputting values from 0 to 255.

도 4의 그림 중 아래 그림은 각기 다른 색상을 설정한 화면이다.The figure below of the figure of FIG. 4 is a screen in which different colors are set.

도 5는 본 발명의 자극물 출력부가 P300 자극 신호를 발생시키기 위한 출력 화면을 보여주는 도면이다. 5 is a diagram showing an output screen for generating a P300 stimulus signal by the stimulus output unit of the present invention.

상기 자극물 출력부(40)는 P300 신호를 발생 시키기 위하여 정해진 패턴을 이용하여 순차적으로 자극물의 설정 방법에 따라 출력한다. 여기서, 정해진 패턴 또는 미리 결정된 패턴이란, 미리 정의된 자극 발생 신호를 정의한 것이다. 1사이클 수행 시, 1~4까지의 자극물을 순차적으로 변형을 주게 되며 총 10 사이클을 수행한다. The stimulus output unit 40 sequentially outputs the stimulus according to a method of setting the stimulus using a predetermined pattern to generate a P300 signal. Here, the predetermined pattern or the predetermined pattern defines a predefined stimulus generation signal. When performing 1 cycle, the stimuli from 1 to 4 are sequentially modified and a total of 10 cycles are performed.

도 6은 본 발명의 자극물 출력부가 SSVEP 자극 신호를 발생시키기 위한 출력 화면을 보여주는 도면이다. 6 is a view showing an output screen for generating an SSVEP stimulation signal by the stimulus output unit of the present invention.

상기 자극물 출력부(40)는 SSVEP 신호를 발생 시키기 위하여, 생성된 자극물 별로 출력 주사수(Hz)를 설정한다. 이때, 상기 자극물 출력부(40)는 표시될 자극물 각각에 대하여 서로 다른 출력 주파수(Hz)를 설정하며, 이것은 추후 자극물의 출력 주파수에 따라 검사자의 뇌에서 발생되는 뇌파 신호의 특성을 구분하여 분석할 수 있기 때문이다. The stimulus output unit 40 sets an output scanning number (Hz) for each stimulus generated in order to generate an SSVEP signal. At this time, the stimulus output unit 40 sets a different output frequency (Hz) for each stimulus to be displayed, which can be analyzed by classifying the characteristics of the EEG signal generated from the brain of the examiner according to the output frequency of the stimulus. Because it can.

상기 자극물 출력부(40)는 AR 장치에서 검사자 눈에 보이는 자극물의 출력 주파수(Hz)를 1에서 20까지 값을 입력할 수 있도록 하며, 출력 시, 각 Hz에 따라 자극물들이 출력이 되도록 한다. The stimulus output unit 40 allows the AR device to input a value from 1 to 20 for the output frequency (Hz) of the stimulus visible to the examiner's eyes, and when outputting, the stimulus is output according to each Hz.

검사자의 P300 뇌파 신호를 분석하기 위하여, 자극물을 생성하는 경우에, 결정된 형상과 크기의 자극물이 결정된 위치에 표시되지만, 모든 자극물이 동시에 검사자에게 표시되는 것이 아니라 미리 결정된 순서에 따라 자극물들이 각각 표시된다. 따라서, 1개의 자극물에 변형이 발생된다. In order to analyze the tester's P300 EEG signal, when generating a stimulus, the stimulus of the determined shape and size is displayed at the determined position, but not all stimuli are displayed to the tester at the same time, but each stimulus is displayed in a predetermined order. . Thus, deformation occurs in one stimulus.

그러나, 검사자의 SSVEP 뇌파 신호를 분석하고자 하는 경우에는, 자극물들이 서로 다른 출력 주파수로 표시되기 때문에, 동시에 여러개의 자극물의 변형이 이루어 진다. 도 6은 SSVEP 신호를 발생시키기 위한 자극발생 출력 화면이다.However, in the case of analyzing an examiner's SSVEP EEG signal, since the stimuli are displayed at different output frequencies, several stimuli are simultaneously transformed. 6 is a stimulus generation output screen for generating an SSVEP signal.

특히, 상기 자극물 출력부(40)는 사용자(자극물 생산자)에게 P300 뇌파 신호 검사를 위한 자극물 생산인지, 아니면 SSVEP 뇌파 신호 검사를 위한 자극물 생산인지 여부를 확인하는 메세지를 출력할 수 있다. In particular, the stimulus output unit 40 may output a message to the user (the stimulus producer) to confirm whether the stimulus is produced for the P300 EEG signal test or the stimulus is produced for the SSVEP EEG signal test.

그리고, 상기 자극물 출력부(40)는 사용자가 선택한 뇌파 신호에 따라 생성된 자극물들이 동일한 출력 주파수를 갖으면서 순차적으로 하나씩 AR 장치에서 표시되도록 할 것인지, 아니면 생성된 자극물들을 동시에 출력하지만 각각의 자극물들이 서로 상이한 출력 주파수를 갖도록 출력할 것인지를 판단할 수 있다. In addition, the stimulus output unit 40 is whether the stimuli generated according to the EEG signal selected by the user have the same output frequency and are sequentially displayed on the AR device one by one, or outputs the generated stimuli at the same time, but each stimulus is It is possible to determine whether to output to have different output frequencies.

도 7은 저작도구를 이용하여, 색상 변형, 크기 변형, 색상과 크기를 동시에 변형 시키는 자극 방법을 보여주는 도면이다. 7 is a diagram showing a stimulation method of simultaneously changing color, size, and color and size using an authoring tool.

상기 자극물 출력부(40)는 P300, SSVEP 자극물 변형 시, 출력 주파수에 따라 깜박이는 변형 외에, 도3에서 예시한 설정 방법을 이용하여 색상, 크기 변형을 제공한다. 도 3에 예시된 방법으로 색상 및 크기를 설정한 후, Color2 및 Flciker Scale 2을 설정하면, 해당 설정 값에 따라 다른 변형이 출력된다. 도 7은 생성된 자극물에 각기 다른 크기, 색상, 크기&색상 변형을 주어 출력된 화면이다.The stimulus output unit 40 provides color and size change using the setting method illustrated in FIG. 3 in addition to the change of blinking according to the output frequency when the P300 or SSVEP stimulus is deformed. After setting the color and size according to the method illustrated in FIG. 3, if Color2 and Flciker Scale 2 are set, different transformations are output according to the corresponding setting values. 7 is a screen output by giving different sizes, colors, sizes & colors to the generated stimulus.

본 발명의 자극물 생성부, 위치 설정부, 자극물 설정부 및 자극물 출력부로 구성되는 시스템은 검사자가 착용하는 AR 장치에 출력되는 자극물을 생산하기 위한 것으로서, 자극물의 모양을 바꾸기 위하여 다시 프로그램을 수정할 필요가 없으며, 자극물 변경을 위해 코딩을 다시 해야하는 불편함을 없앨 수 있다. The system consisting of the stimulus generation unit, the position setting unit, the stimulus setting unit, and the stimulus output unit of the present invention is for producing a stimulus that is output to the AR device worn by the examiner, and it is necessary to modify the program again to change the shape of the stimulus. No, it can eliminate the inconvenience of having to re-code to change the stimulus.

또한, 검사자의 분석 대상의 뇌파 신호에 따라 생성된 자극물을 미리 결정된 패턴의 순서대로 하나씩 출력시키거나, 생성된 자극물들을 모두 동시에 출력시키되 서로 다른 출력 주파수로 출력시키는 등 뇌파 검사/분석을 위해 자극물을 쉽게 변경/대응할 수 있는 장점이 있다. In addition, stimuli generated according to the EEG signal of the tester's analysis target are output one by one in the order of a predetermined pattern, or all generated stimuli are output at the same time but at different output frequencies. It has the advantage of being able to change/respond easily.

Claims (5)

뇌파 자극을 위한 자극물의 형상을 결정하는 자극물 생성부;
상기 자극물 생성부에 의해 결정된 형상의 자극물을 검사자의 시야에서 표시될 위치를 설정할 수 있도록 하는 위치 설정부;
상기의 결정된 형상의 자극물이 표시되는 크기와 색상을 설정할 수 있도록 하는 자극물 설정부; 및
상기 자극물 설정부와 위치 설정부에 의해 설정된 자극물을 상기 검사자가 착용한 장치로 전달하는 역할을 수행하는 자극물 출력부;를 포함하고,
상기 자극물 출력부는 검사 대상의 뇌파 신호의 종류에 따라 상기 자극물의 출력 주파수의 설정 및 상기 자극물의 출력 순서를 결정하고,
상기 자극물 출력부는 P300 뇌파 신호를 검사하기 위한 자극물 생성으로 판단하는 경우에 상기 자극물 설정부에 의해 설정된 복수의 자극물들을 순차적으로 1개씩 상기 검사자에게 표시되도록 출력하고,
상기 자극물 출력부는 SSVEP 뇌파 신호를 검사하기 위한 자극물 생성으로 판단하는 경우에 상기 자극물 설정부에 의해 설정된 복수의 자극물들 각각에 대하여 출력 주파수를 서로 상이하게 출력시키고, 상기 자극물들의 출력 주파수는 1Hz 내지 20Hz 범위내로 설정되고,
상기 자극물 생성부는 생산하고자 하는 자극물을 사각형, 원형, 별형 및 체커보드형의 형상 중 적어도 하나 이상으로 설정하고, 상기 자극물을 사용자가 0.1 ~ 2까지의 수치 입력을 통해 크기를 설정할 수 있도록 하며, 여기서, 0.1 이하의 수치는 상기 자극물이 보이지 않는 크기이며, 2이상의 수치는 상기 자극물이 다른 자극물에 영향을 미치는 크기를 나타내고,
상기 위치 설정부는 복수의 자극물들 각각에 대하여 X,Y,Z축 위치를 설정할 수 있도록 하는 것을 특징으로 하는 시각자극 뇌파신호의 출력향상을 위한 ＡＲ 컨텐츠 저작시스템.
A stimulus generating unit for determining a shape of a stimulus for brain wave stimulation;
A position setting unit configured to set a position to be displayed in the field of view of the examiner of the stimulus material having the shape determined by the stimulus material generating unit;
A stimulus setting unit configured to set the size and color in which the stimulus of the determined shape is displayed; And
Including; a stimulus output unit that serves to transmit the stimulus set by the stimulus setting unit and the position setting unit to the device worn by the examiner,
The stimulus output unit determines the setting of the output frequency of the stimulus and the output order of the stimulus according to the type of the EEG signal to be tested,
The stimulus output unit outputs a plurality of stimuli set by the stimulus setting unit to be sequentially displayed to the examiner when it is determined that the stimulus is generated to test the P300 EEG signal,
The stimulus output unit outputs an output frequency different from each other for each of the plurality of stimuli set by the stimulus setting unit when it is determined that the stimulus is generated for testing the SSVEP EEG signal, and the output frequency of the stimulus is 1Hz to 20Hz. Is set within range,
The stimulus generating unit sets the stimulus to be produced in at least one of a square, a circle, a star, and a checkerboard shape, and allows the user to set the size of the stimulus through numerical input of 0.1 to 2, where , A value of 0.1 or less is a size in which the stimulus is not visible, and a value of 2 or more indicates the size of the stimulus to affect other stimuli,
The position setting unit AR content authoring system for improving the output of the visual stimulation brainwave signal, characterized in that to set the X, Y, Z axis positions for each of the plurality of stimulus.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020180141284A 2018-11-16 2018-11-16 System for authoring AR contents for recognition of brain waves using visual stimulation KR102150045B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180141284A KR102150045B1 (en) 2018-11-16 2018-11-16 System for authoring AR contents for recognition of brain waves using visual stimulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141284A KR102150045B1 (en) 2018-11-16 2018-11-16 System for authoring AR contents for recognition of brain waves using visual stimulation

Publications (2)

Publication Number Publication Date
KR20200057214A KR20200057214A (en) 2020-05-26
KR102150045B1 true KR102150045B1 (en) 2020-08-31

Family

ID=70915156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141284A KR102150045B1 (en) 2018-11-16 2018-11-16 System for authoring AR contents for recognition of brain waves using visual stimulation

Country Status (1)

Country Link
KR (1) KR102150045B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489335B (en) * 2022-01-21 2023-12-01 上海瑞司集测科技有限公司 Method, device, storage medium and system for detecting brain-computer interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101541619B1 (en) * 2013-12-31 2015-08-03 한양대학교 산학협력단 Method and apparatus for generating singals using transient visual evoked potential
KR101663252B1 (en) 2015-08-12 2016-10-14 고려대학교 산학협력단 Information processing apparatus using rapid serial visual presentation and information processing method using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959723B1 (en) * 2008-04-10 2010-05-25 한국과학기술원 Detection devices and automatic photographing methods of an interesting visual stimulus through mesuring brain wave
KR101973081B1 (en) * 2017-03-28 2019-04-26 서울대학교산학협력단 Method and system for distinguishing optimal visual stimulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101541619B1 (en) * 2013-12-31 2015-08-03 한양대학교 산학협력단 Method and apparatus for generating singals using transient visual evoked potential
KR101663252B1 (en) 2015-08-12 2016-10-14 고려대학교 산학협력단 Information processing apparatus using rapid serial visual presentation and information processing method using the same

Also Published As

Publication number Publication date
KR20200057214A (en) 2020-05-26

Similar Documents

Publication Publication Date Title
Katona et al. The evaluation of bci and pebl-based attention tests
Fritz et al. Using psycho-physiological measures to assess task difficulty in software development
Ferreira et al. Assessing real-time cognitive load based on psycho-physiological measures for younger and older adults
Wei et al. Stimulus specificity of brain-computer interfaces based on code modulation visual evoked potentials
WO2014150684A1 (en) Artifact as a feature in neuro diagnostics
Simbolon et al. An experiment of lie detection based EEG-P300 classified by SVM algorithm
Kapeller et al. An electrocorticographic BCI using code-based VEP for control in video applications: a single-subject study
US20150164402A1 (en) Device to determine visuo-spatial ability
CN108186030A (en) A kind of stimulus information provides the cognition index analysis method of device and latent energy value test
Mijović et al. Benefits of instructed responding in manual assembly tasks: an ERP approach
Kim et al. Applying fractal analysis to pupil dilation for measuring complexity in a process monitoring task
Forster et al. The attentive homunculus: ERP evidence for somatotopic allocation of attention in tactile search
CN115191018A (en) Evaluation of a person or system by measuring physiological data
Zhao et al. Human-computer interaction for augmentative communication using a visual feedback system
KR102150045B1 (en) System for authoring AR contents for recognition of brain waves using visual stimulation
Zhao et al. A passive BCI for monitoring the intentionality of the gaze-based moving object selection
JP2017119109A (en) Stress determination apparatus and method
Iskander et al. Age-related effects of multi-screen setup on task performance and eye movement characteristics
Li et al. The orientation selectivity of spike-LFP synchronization in macaque V1 and V4
US20200037911A1 (en) Intention decoding apparatus and intention conveyance assist apparatus
Lehne et al. Error-related EEG patterns during tactile human-machine interaction
Yang et al. Research on cognition and application of icon complexity based on EEG
Prauzner et al. Cognitive activity in the respect of qeeg research-presentation of laboratory tests
Maggi et al. Triangulating eye movement data of animated displays
Krol et al. Towards classifier visualisation in 3D source space

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant