KR101788969B1 - Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential - Google Patents

Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential Download PDF

Info

Publication number
KR101788969B1
KR101788969B1 KR1020160048062A KR20160048062A KR101788969B1 KR 101788969 B1 KR101788969 B1 KR 101788969B1 KR 1020160048062 A KR1020160048062 A KR 1020160048062A KR 20160048062 A KR20160048062 A KR 20160048062A KR 101788969 B1 KR101788969 B1 KR 101788969B1
Authority
KR
South Korea
Prior art keywords
target
augmented reality
user
reality system
evoked potential
Prior art date
Application number
KR1020160048062A
Other languages
Korean (ko)
Inventor
최성호
김인영
임창환
김용욱
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020160048062A priority Critical patent/KR101788969B1/en
Application granted granted Critical
Publication of KR101788969B1 publication Critical patent/KR101788969B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

In a target selection method of an augmented reality system using a brain-computer access technology based on a steady state visual evoked potential: a target interface (1) detects the blinking of eyes of a user (100) who looks at a screen of an augmented reality display (10-1); a target candidate is selected as a checker board (40) which blinks with visual stimulation frequency selected after deriving a location coordinate by recognizing a user-facing object by a computer vision technology; and a target can be selected only by biological signals and brainwaves without a special action unlike existing methods in an augmented reality system (10) by grasping the user-facing object with a power spectrum analysis by detecting brainwaves of the user (100) who looks at the checker board (40). The present invention can be used especially in a narrow space or in a situation which is difficult to use hands and implement features used with existing methods.

Description

안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법{Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for selecting a target of an augmented reality system using a steady state visual evoked potential based brain-

본 발명은 증강 현실 시스템에 관한 것으로, 특히 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법에 관한 것이다.The present invention relates to an augmented reality system, and more particularly, to a method of selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer access technology.

일반적으로 증강현실장치마다 증강현실 중에 타깃을 선택하는 방법은 다양하지만, 통상 손 제스처와 음성명령을 사용함으로써 증강현실 중에 타깃을 선택한다.Generally, there are various methods for selecting a target among augmented reality for each augmented reality device, but a target is selected among augmented reality by using a hand gesture and a voice command in general.

일례로, 사용자가 특정 행동을 하였을 때 그것을 인식하여 행동에 부합하는 위치 및 순서를 결정하고, 그에 따라 타깃을 선택하는 방식이다.For example, when a user performs a specific action, it recognizes it and determines the position and order that matches the action, and selects the target accordingly.

국내특개 10-2015-0127683(2015년11월17일)Domestic function 10-2015-0127683 (November 17, 2015)

하지만, 손 제스처와 음성명령을 사용한 증강현실 타깃 선택 방식은 제스처를 인식하기 위한 일정 공간을 필요로 하며, 다른 행동을 위해 손을 사용 중인 경우 이용이 불가능한 단점이 존재한다. 특히, 음성명령은 아직까지 인식률이 낮으며 소란스러운 장소에서는 이용이 어렵다는 단점이 있다.However, augmented reality target selection method using a hand gesture and a voice command requires a certain space for recognizing a gesture, and there is a disadvantage that it can not be used when a hand is used for other actions. Especially, voice command has a low recognition rate and it is difficult to use it in a crowded place.

이에 상기와 같은 점을 감안한 본 발명은 증강 현실 시스템 화면에 나타나는 타깃을 뇌파 및 생체신호로 선택할 수 있는 타깃 선택 인터페이스를 이용함으로써 손 제스처 및 음성명령 없이 뇌파와 생체신호만을 사용하여 임의의 위치의 타깃을 선택할 수 있고, 특히 컴퓨터 비전 기술로 눈 깜박임 시점에서 검출된 타깃 후보군의 위치에 안정 상태 시각유발전위(Steady state visual evoked potential: 이하 SSVEP)를 유도한 후 SSVEP를 분석하여 원하는 타깃을 선택할 수 있는 증강 현실 시스템의 타깃선택방법의 제공에 목적이 있다.According to the present invention, a target selection interface capable of selecting a target displayed on a screen of an augmented reality system by an EEG and a bio-signal is used, so that only a brain wave and a bio-signal are used without hand gesture and voice command, In particular, computer vision technology can be used to analyze the SSVEP after deriving the steady state visual evoked potential (SSVEP) at the position of the target candidate detected at the blinking time and to select the desired target The object of the present invention is to provide a method for selecting a target of an augmented reality system.

상기와 같은 목적을 달성하기 위한 본 발명의 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법은 (A) 증강현실 디스플레이에 생성된 화면을 사용자가 응시하면서 타깃 인터페이스에서 상기 사용자의 눈 깜박임을 검출하는 단계; (B)상기 눈 깜박임 후 컴퓨터비전기술(Computer Vision Technology)에 의해 상기 사용자 응시 물체가 인식되고, 인식된 물체의 위치 좌표 도출이 이루어지며, 도출된 위치 좌표로 타깃 후보군을 선정하고 시각자극 주파수 선택이 이루어지는 단계; (C) 상기 주파수의 시각자극을 응시한 상기 사용자의 뇌파를 검출하는 단계; (D)상기 뇌파 검출 후 SSVEP(Steady state visual evoked potential)에 대한 파워 스펙트럼 분석으로 상기 뇌파에서 사용자 응시 타깃이 파악되는 단계; (E) 상기 사용자 응시 타깃이 파악된 후 상기 증강현실 디스플레이에 상기 사용자의 응시 타깃 표시가 이루어지는 단계; 을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer connection technique, the method comprising: (A) Detecting an eye blink of the user; (B) After the blinking, the user's gazing object is recognized by Computer Vision Technology, position coordinates of the recognized object are derived, a target candidate group is selected from the derived position coordinates, and a visual stimulus frequency selection ; (C) detecting an EEG of the user who has taken the visual stimulus of the frequency; (D) analyzing a power spectrum of the steady state visual evoked potential (SSVEP) after the detection of the EEG; (E) after the user's target target is identified, displaying the target target of the user on the augmented reality display; And a control unit.

바람직한 실시예로서, 상기 눈 깜박임은 시간과 횟수를 기준치로 사용하고, 상기 기준치 이상인 경우 다음 단계로 이동할 수 있는 스위치로 적용된다. 상기 뇌파 검출은 사용자 뇌파 측정 시간에 대한 기준 값을 적용한다.As a preferred embodiment, the blinking of the eye is applied as a switch which uses the time and the number of times as a reference value and moves to the next step when the eye blinking is above the reference value. The EEG detection uses a reference value for the time of EEG measurement.

바람직한 실시예로서, 상기 시각자극 주파수는 체커보드의 깜박임으로 표현되고, 상기 체커보드는 상기 타깃 후보군의 아래쪽에 위치시킨다.In a preferred embodiment, the visual stimulation frequency is represented by flicker of the checker board, and the checker board is positioned below the target candidate group.

바람직한 실시예로서, 상기 사용자 응시 타깃의 파악은 자극 주파수와 그의 두 배에 해당하는 하모닉 주파수에 대한 파워 값을 이용한다.In a preferred embodiment, the grasping of the user's target target uses the power value for the harmonic frequency corresponding to the stimulation frequency and its double.

그리고 상기와 같은 목적을 달성하기 위한 본 발명의 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템은 사용자가 머리에 착용하여 눈 깜박임을 검출하는 눈 깜박임 감지기, 상기 사용자의 뇌파를 검출하는 뇌파측정기를 갖춘 타깃 인터페이스; 상기 사용자가 응시하는 영상을 보여주는 디스플레이 화면, 상기 디스플레이 화면에 상기 사용자의 응시 물체에 대한 위치 좌표를 생성하는 컴퓨터비전기술(Computer Vision Technology), 상기 디스플레이 화면에 상기 위치 좌표가 표시된 복수의 타깃에 깜박이도록 위치된 체커보드를 갖춘 증강 현실 시스템; 이 포함된 것을 특징으로 한다.According to another aspect of the present invention, there is provided an augmented reality system using a stable-state visual evoked potential based brain-computer connection technology, including: an eye blink detector for detecting a user's eye blinking by wearing on a head; A target interface with an EEG; A computer vision technology for generating position coordinates of the user's gazed object on the display screen; a plurality of targets displayed with the position coordinates on the display screen; Augmented reality system with checker board positioned so that Is included.

이러한 본 발명은 증강 현실 시스템에서 기존의 방식과는 다르게 특별한 행동 없이 생체신호와 뇌파만으로 타깃을 선택할 수 있도록 하는 방식으로서 좁은 공간이나 손을 사용하기 어려운 상황 등에서 사용이 가능하며, 기존의 방식과도 병행하여 사용할 수 있다.The present invention can be used in augmented reality system in a narrow space or in a situation where a hand is difficult to use by selecting a target with biomedical signals and brain waves alone without any special action, unlike an existing system, Can be used in parallel.

또한, 본 발명은 증강 현실 시스템에서 손 제스처나 음성명령 없이 뇌파 및 생체신호만으로 타깃을 선택함으로써 증강현실 사용 중에 다른 작업의 병행 등의 이유로 이런 행동이 어려운 정상인에게 타깃을 선택할 수 있도록 하는 시스템에 적용이 가능하며, 특히 신체의 움직임 및 의사소통이 제한적인 중증 근신경계 질환 환자들(의식과 일부 감각은 살아 있으나 신체나 손과 입의 움직임이 불가능한 환자 등)이 증강현실 시스템을 사용하면서 타깃을 선택할 수 있도록 하는 시스템에도 적용이 가능하다.In addition, the present invention can be applied to a system for selecting a target to a normal person who can not perform such an action due to concurrent use of other tasks while using an augmented reality by selecting a target with only an EEG and a bio signal without a hand gesture or voice command in the augmented reality system (Eg, patients whose consciousness and some senses are still alive but whose body and hands and mouth are unable to move), which are particularly restricted to the movement and communication of the body, are selected using the augmented reality system It is also possible to apply to a system which can make it possible.

도 1은 본 발명에 따른 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법의 순서도이고, 도 2는 본 발명에 따른 타깃 인터페이스와 함께 구성된 증강 현실 시스템의 예이며, 도 3은 본 발명에 따른 깜박임 감지 방식의 예이고, 도 4는 본 발명에 따른 SSVEP(Steady state visual evoked potential) 분석의 예이다.FIG. 1 is a flow chart of a method for selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer connection technique according to the present invention, FIG. 2 is an example of an augmented reality system configured with a target interface according to the present invention, FIG. 3 shows an example of a flicker detection method according to the present invention, and FIG. 4 shows an example of a steady state visual evoked potential (SSVEP) analysis according to the present invention.

이하 본 발명의 실시 예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시 예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which illustrate exemplary embodiments of the present invention. The present invention is not limited to these embodiments.

도 1은 본 발명에 따른 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법의 순서도를 나타낸다.1 is a flowchart illustrating a method of selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer connection technique according to the present invention.

도시된 바와 같이, 상기 타깃선택방법은 서로 다른 주파수로 깜박이는 시각 자극으로 유발되는 안정 상태 시각 유발 전위를 이용함으로써 이동 가능한 증강현실 시스템에서 뇌파 및 생체신호만으로 타깃을 선택할 수 있다. 또한, 증강현실 시스템을 구현하는 디스플레이 장치에 사용자의 시점을 구현하고, 그 위에 각자 다른 주파수의 시각 자극을 순차적으로 배치하며, 기준치를 사용하여 일정 시간 안에 다수 감지된 눈 깜박임을 다음 단계로 이동할 수 있는 스위치로 사용하고, 컴퓨터 비전 기술을 이용하여 타깃 후보군의 위치를 찾아 그 바로 아래에 시각 자극을 배치하며, 자극 주파수와 그의 두 배에 해당하는 하모닉 주파수에 대한 파워 값을 이용하여 사용자가 응시하고 있는 시각 자극원 및 대응되는 타깃의 위치를 찾는 분류가 가능하다.As shown in the figure, the target selection method can select a target using only EEG and bio-signals in a mobile augmented reality system by using a steady state visual evoked potential induced by a visual stimulus blinking at different frequencies. In addition, a user's viewpoint is implemented in a display device implementing an augmented reality system, visual stimuli of different frequencies are sequentially arranged on the display device, and a plurality of detected eye blinks can be moved to a next step using a reference value within a predetermined time Using the computer vision technique, the target candidate group is located, a visual stimulus is placed immediately below the target candidate group, and the user observes the stimulus frequency and the power value of the harmonic frequency corresponding to twice the stimulus frequency It is possible to search for the position of the visual stimulus source and the corresponding target.

이하, 상기 타깃선택방법을 도 2내지 도 4를 참조로 상세히 설명한다. 타깃선택 수행은 증강현실 시스템과 연계된 타깃 인터페이스(1)를 통해 구현된다.Hereinafter, the target selection method will be described in detail with reference to FIG. 2 to FIG. The target selection is implemented via the target interface 1 associated with the augmented reality system.

S10은 타깃 인터페이스 사용자 착용하는 단계이고, S20은 증강현실 디스플레이의 화면 생성 단계이다.S10 is a step of wearing a target interface user, and S20 is a screen generating step of an augmented reality display.

도 2를 참조하면, 상기 타깃 인터페이스(1)는 사용자(100)가 머리에 착용하여 사용자(100)의 눈 깜박임을 검출하는 눈 깜박임 감지기(1-1), 사용자(100)가 머리에 착용하여 사용자(100)의 뇌파 변화를 검출하는 뇌파측정기(1-2), 사용자(100)가 응시하여 타깃을 선택하는 증강현실시스템(10)을 포함한다.Referring to FIG. 2, the target interface 1 includes an eye blinking detector 1-1 for detecting a blink of a user's eyes 100 worn by a user 100 on a head, An electroencephalogram measuring device 1-2 for detecting a change in brain waves of the user 100, and an augmented reality system 10 for the user 100 to take a target and select a target.

상기 증강현실시스템(10)은 타깃(20)을 재생하는 디스플레이 화면(10-1)을 갖추고 컴퓨터비전기술(Computer Vision Technology)을 탑재하며, 상기 디스플레이 화면(10-1)에는 격자형상의 체커보드(40)가 표시된다. 또한, 상기 증강현실시스템(10)은 컴퓨터비전 기술을 구현하는 컴퓨터비전장치(30)가 탑재될 수 있다.The augmented reality system 10 is equipped with a computer vision technology with a display screen 10-1 for reproducing a target 20. The display screen 10-1 is provided with a grid- (40) is displayed. In addition, the augmented reality system 10 may be equipped with a computer vision device 30 that implements computer vision technology.

상기 컴퓨터비전 기술은 디스플레이 장비에 설치 된 카메라를 이용함으로써 사용자에게 거추장스러운 장비의 착용을 요구하지 않는 컴퓨터비전 기반의 물체인식 방식이고, 통상적인 컴퓨터비전 기반 기술의 한 예이다. 그러므로, 상기 컴퓨터비전 기술이 증강현실시스템(10)에 적용되면, 상기 증강현실시스템(10)의 디스플레이 화면(10-1)(또는 컴퓨터 모니터)에 카메라를 장착하여 사용자(100)가 응시하는 디스플레이 화면(10-1)의 응시지점을 추적 및 분석한다. 이루부터, 화면상의 물체를 인식하고, 물체의 위치좌표를 통해 증강현실시스템(10)(또는 컴퓨터)과 통신이 가능하여 능동적인 정보전달 수단으로 사용된다.The computer vision technology is a computer vision based object recognition system that does not require users to wear cumbersome equipment by using a camera installed in a display device, and is an example of a conventional computer vision based technology. Therefore, when the computer vision technique is applied to the augmented reality system 10, a camera mounted on the display screen 10-1 (or a computer monitor) of the augmented reality system 10, And traces and analyzes the gazing point of the screen 10-1. And can communicate with the augmented reality system 10 (or a computer) through the coordinates of an object and is used as an active information transmission means.

다시 도 1을 참조하면, S30은 눈 깜박임 감지기(1-1)가 생체신호전극에 의한 사용자(100)의 눈 깜박임을 감지하는 단계이고, S40은 눈 깜박임이 타깃을 선택하기 위한 행동인지를 판단하는 단계이다. 이를 위해, 타깃 인터페이스(1)는 눈 깜박임 감지기(1-1)의 신호에 대한 기준 값을 적용한다. 일례로, 타깃 인터페이스(1)에서는 사용자 눈 깜박임 > 2초 내 3회의 관계식을 적용함으로써 2초 동안 3회의 눈 깜박임 시 사용자(100)의 타깃 선택의지로 판단한다. 여기서, ">"은 두 값의 크기를 나타내는 부등호이다.Referring again to FIG. 1, S30 is a step in which the eye blinking detector 1-1 detects blinking of the eyes of the user 100 by the bio-signal electrode, and S40 determines whether the blinking is a behavior for selecting a target . To this end, the target interface 1 applies a reference value for the signal of the eye blink detector 1-1. In one example, the target interface 1 determines the target selection of the user 100 in three blinks for two seconds by applying three relationships within the user's eye blink> two seconds. Here, ">" is an inequality indicating the magnitude of the two values.

S50은 컴퓨터 비전장치(30)가 사용자 응시 물체를 파악(시야 화면 촬영)하고, S60은 사용자 응시 물체를 인식한 후 인식 물체의 좌표를 도출하며, S70은 증강현실 디스플레이 화면상에 도출된 위치 좌표로 인식 물체를 타깃 후보군으로 선정하여 타깃 후보군 위치 표시가 이루어지고, S80은 타깃 후보군에 따른 시각자극 주파수 선택이 이루어지고, S90은 타깃 후보군 위치 주변에 깜박임 시각자극 제시(SSVEP 유도)하는 단계이다. 그 결과, 증강현실시스템(10)은 디스플레이 화면(10-1)에 복수개의 타깃 후보군을 영상으로 나타내고, 타깃 후보군의 각각에 대해 체커보드(40)를 표시하여 사용자(100)의 시각자극을 유도한다. 여기서, 상기 SSVEP(Steady state visual evoked potential)는 안정 상태 시각유발전위로서, 타깃 후보군의 위치에 특정한 시각 자극을 제시하여 사용자의 뇌파 반응을 유도하고, 유도된 사용자의 반응을 분석하여 원하는 타깃을 선택할 수 있도록 하는 기법이다.In step S50, the computer vision device 30 grasps an object to be examined by the user (photographing a field of view), S60 derives the coordinates of the recognized object after recognizing the user's gazing object, and S70, In S80, a visual stimulation frequency is selected according to a target candidate group. In S90, a flashing visual stimulus is presented (SSVEP induction) around a target candidate position. As a result, the augmented reality system 10 displays a plurality of target candidates on the display screen 10-1 as an image and displays a checker board 40 for each of the target candidates to induce visual stimulation of the user 100 do. Here, the steady state visual evoked potential (SSVEP) is a steady state visual evoked potential, which induces a user's EEG response by presenting a visual stimulus specific to the position of the target candidate group and analyzes the reaction of the induced user to select a desired target .

S100은 뇌파측정기(1-2)가 사용자(100)의 뇌파를 측정하는 단계이고, S110은 사용자 뇌파 측정 시간 판단 단계이다. 이를 위해, 타깃 인터페이스(1)는 뇌파측정기(1-2)의 검출 시간을 기준 값으로 적용한다. 일례로, 사용자 뇌파 측정 시간 > 10초의 관계식을 적용함으로써 10초 이상의 시간 경과로 사용자(100)가 선택된 타깃을 결정한다. 여기서, ">"은 두 값의 크기를 나타내는 부등호이다.S100 is a step of measuring the brain waves of the user 100 by the brain-wave measuring device 1-2, and S110 is a step of determining the time of measuring the user brain wave. To this end, the target interface 1 applies the detection time of the brain-wave measuring instrument 1-2 as a reference value. For example, the user 100 determines the selected target with a time lapse of 10 seconds or more by applying the relationship of user's EEG time > 10 seconds. Here, ">" is an inequality indicating the magnitude of the two values.

S120은 측정 사용자 뇌파에서 파워 스펙트럼 분석단계이고, S130은 피크 값에 의한 사용자 응시 타깃 파악단계이다. 그 결과, 체커보드(40)의 소정 주파수의 깜박이는 자극을 응시하였을 때는 시각자극의 주파수와 그 하모닉 성분의 피크가 관찰되고, 또 다른 소정 주파수의 깜박이는 자극을 응시하였을 때는 시각자극의 주파수와 그 하모닉 성분의 피크가 다르게 생성된다.S120 is a power spectral analysis step in the measurement user EEG, and S130 is a user-target target grasping step according to a peak value. As a result, the frequency of the visual stimulus and the peak of the harmonic component are observed when the flashing stimulus of the predetermined frequency of the checker board 40 is looked at. When the flashing stimulus of another predetermined frequency is looked at, The peaks of the harmonic components are generated differently.

S140은 증강현실 디스플레이의 사용자 시야 화면에 응시 타깃 표시가 이루어지는 단계이다. 그 결과, 사용자(100)는 증강현실 시스템(10)에서 기존의 방식과는 다르게 특별한 행동 없이 증강현실시스템(10)의 디스플레이 화면(10-1)의 영상을 보는 행동만으로도 생체신호와 뇌파만으로 원하는 타깃을 선택할 수 있다. 이러한 장점은 좁은 공간이나 손을 사용하기 어려운 상황 등에서 사용이 가능하며, 기존의 방식과도 병행하여 사용할 수 있는 편리함을 제공한다.In step S140, the target display is performed on the user view screen of the augmented reality display. As a result, the user 100 can view the image of the display screen 10-1 of the augmented reality system 10 without any special action in the augmented reality system 10, You can choose your target. This advantage can be used in situations where it is difficult to use a small space or a hand, and it provides convenience that can be used in parallel with the conventional method.

S150은 타깃 인터페이스(1)를 사용자(100)가 분리함으로써 사용이 종료되는 단계이다.S150 is a step in which the use of the target interface 1 is ended by the user 100 disconnecting the target interface.

한편, 표1은 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법이 온라인에서 구현된 실험 예를 나타낸다.Meanwhile, Table 1 shows an experimental example in which a target selection method of an augmented reality system using a steady state visual evoked potential based brain-computer connection technology is implemented on-line.

피험자Subject 눈 깜박임 스위치Eye blink switch SSVEP 분류SSVEP classification 정시 작동 /전체On time / All 정확도 (%)accuracy (%) 의도 일치/전체Intent match / All 정확도 (%)accuracy (%) Subject 1Subject 1 9 / 99/9 100100 9 / 99/9 100100 Subject 2Subject 2 10 / 1010/10 100100 10 / 1010/10 100100 Subject 3Subject 3 9 / 109/10 9090 10 / 1010/10 100100 전체all 28 / 2928/29 96.696.6 29 / 2929/29 100100

이 경우, 정상인 피험자 3명을 대상으로 타깃 인터페이스(1)를 사용하게 하여 임의의 위치에 제시되는 2개의 타깃(20)을 분류하는 실험을 진행하였고, 증강현실을 구현하고, 시각자극을 제시하기 위해 태블릿 PC를 증강현실시스템(10)으로 이용하였다.In this case, experiments were carried out to classify two targets (20) presented at arbitrary positions by using the target interface (1) for three normal subjects, to implement an augmented reality, to present a visual stimulus The tablet PC was used as augmented reality system (10).

구체적으로, 각 피험자에게 타깃(20)의 2개의 타깃 후보군이 제시된 후 10초 후에 첫 번째 소리 신호를 제시하였고, 첫 번째 신호가 제시되고 5초 이후 두 번째 소리 신호를 제시하였다. 첫 번째 소리 신호와 두 번째 소리 신호 사이에 2초 이내로 3번 눈 깜박임을 하도록 지시하였으며, 두 번째 신호 이전에 시각 자극이 제시되었다면 눈 깜박임 스위치가 정확한 시점에 작동되었다고 판별 하였다.Specifically, the subject was presented with the first sound signal 10 seconds after the two target candidates of the target 20 were presented, and the first signal was presented and the second sound signal after 5 seconds was presented. It was instructed to blink three times within two seconds between the first sound signal and the second sound signal. If the visual stimulus was presented before the second signal, it was determined that the eye blink switch was operated at the correct timing.

눈 깜박임 스위치가 작동된 후 제시되는 두 개의 타깃 후보군 중에 하나를 실험자가 임의로 지정해서 피험자에게 응시하라고 지시하였다. SSVEP 분류 정확도는 파워 스펙트럼 분석을 통해 나온 피크 값을 비교하여 측정하였다. 피험자에게 응시하라고 지시했던 자극의 주파수와 남아있는 자극의 주파수에서 각각 도출된 피크 값을 비교하여 피험자가 어떤 자극을 응시했는지 분류하였으며, 위 과정을 각 피험자마다 10회씩 반복하였다.After the blink switch was turned on, one of the two target candidates presented was instructed by the experimenter to take a random test of the subject. The accuracy of SSVEP classification was measured by comparing peak values obtained from power spectral analysis. The frequency of the stimulus that the subject was instructed to examine and the peak value derived from the frequency of the remaining stimulus were compared to classify which subject stimulated the stimulus, and the above procedure was repeated 10 times for each subject.

한편, 도 3 및 도 4는 각각 피험자가 눈을 깜박였을 때와 두 개의 자극을 봤을 때 나온 분석 결과이다. 실험 중 컴퓨터 비전 기술의 오류로 타깃이 2개 잡히지 않은 시도 횟수 1회는 전체 결과에서 제외하였다.Figures 3 and 4 show the results of the analysis when the subject blinked and two stimuli were observed, respectively. In the experiment, computer vision technology error was excluded from the total results of one trial without two targets.

도 3은 눈 깜박임 감지의 예이며, 피험자가 눈을 깜박였을 때 나오는 생체 신호가 100㎶ 이상일 경우 이를 눈 깜박임으로 보고 횟수를 기록하였다. 2초 이내로 3번 눈 깜박임을 진행하였을 경우 눈 깜박임 스위치가 작동한다. 이 실험에서 눈 깜박임 스위치는 3명의 피험자 평균 96.6% 의 정확도로 작동되었다.FIG. 3 shows an example of eye flicker detection. When a subject's blinking eye signal is greater than 100 kV, the subject's eye flicker is counted. The blinking switch will be activated when blinking three times within 2 seconds. In this experiment, the eye blink switch was operated with an average of 96.6% accuracy for the three subjects.

도 4는 피험자가 자극을 응시하였을 때 주파수에 따른 예이며, 파워 스펙트럼 분석 결과, 6Hz로 깜박이는 자극을 응시하였을 때는 시각자극의 주파수인 6Hz와 그 하모닉 성분인 12Hz에서 피크가 관찰됨을 확인하였으며, 7.5Hz로 깜박이는 자극을 응시하였을 때는 시각자극의 주파수인 7.5Hz와 그 하모닉 성분인 15Hz에서 피크가 관찰됨을 확인하였다. 실험 결과 SSVEP 분석을 통한 의도 분류 정확도는 3명의 피험자 평균 100%를 보였다.FIG. 4 shows an example according to the frequency when the subject stared at the stimulus. As a result of the power spectrum analysis, it was confirmed that a peak was observed at 6 Hz, which is the frequency of visual stimulation and 12 Hz, When we observe the flashing stimulus at 7.5Hz, we observed that the peak was observed at 7.5Hz, which is the frequency of visual stimulation, and 15Hz, which is its harmonic component. The results showed that the accuracy of intention classification through SSVEP analysis was 100% on average for three subjects.

전술된 바와 같이, 본 실시 예에 따른 타깃선택방법은 증강현실 디스플레이(10-1)의 화면을 응시한 사용자(100)의 눈 깜박임을 타깃 인터페이스(1)가 검출하면, 컴퓨터비전기술(Computer Vision Technology)에 의해 사용자 응시 물체가 인식되어 위치 좌표 도출이 이루어진 다음 선택된 시각자극 주파수로 깜박이는 체커보드(40)로 타깃 후보군이 선정되고, 체커보드(40)를 응시한 사용자(100)의 뇌파를 검출하여 파워 스펙트럼 분석으로 사용자 응시 타깃이 파악됨으로써 증강현실 시스템(10)에서 기존의 방식과는 다르게 특별한 행동 없이 생체신호와 뇌파만으로 타깃을 선택할 수 있고, 특히 좁은 공간이나 손을 사용하기 어려운 상황 등에서 사용이 가능하며, 기존의 방식과도 병행하여 사용할 수 있다.As described above, in the target selection method according to the present embodiment, when the target interface 1 detects the eye flicker of the user 100 gazing at the screen of the augmented reality display 10-1, the computer vision technique A target candidate group is selected by the checker board 40 blinking at a selected visual stimulation frequency and a brain wave of the user 100 gazing at the checker board 40 is selected It is possible to select the target with only the bio-signal and the brain wave without any special action in the AR system 10, and in particular, in a situation where it is difficult to use a narrow space or a hand It can be used in combination with existing methods.

1 : 타깃 인터페이스 1-1 : 눈 깜박임 감지기
1-2 : 뇌파측정기
10 : 증강현실시스템 10-1 : 디스플레이 화면
20 : 타깃 30 : 컴퓨터비전장치
40 : 체커보드 100 : 사용자1: Target interface 1-1: Eye blink detector
1-2: EEG Finder
10: Augmented Reality System 10-1: Display Screen
20: target 30: computer vision device
40: Checkerboard 100: User

Claims (11)

(A) 증강현실 디스플레이에 생성된 화면을 사용자가 응시하면 타깃 인터페이스에서 상기 사용자의 눈 깜박임을 검출하는 단계;
(B)상기 눈 깜박임 후 컴퓨터비전기술(Computer Vision Technology)에 의해 상기 사용자 응시 물체가 인식되고, 인식된 물체의 위치 좌표 도출이 이루어지며, 도출된 위치 좌표로 타깃 후보군을 선정하고, 인식된 물체의 위치 좌표 도출이 이루어지며, 도출된 위치 좌표로 타깃 후보군을 선정하고 시각자극 주파수 선택이 이루어지는 단계;
(C) 상기 주파수의 시각자극을 응시한 상기 사용자의 뇌파를 검출하는 단계;
(D)상기 뇌파 검출 후 SSVEP(Steady state visual evoked potential)에 대한 파워 스펙트럼 분석으로 상기 뇌파에서 사용자 응시 타깃이 파악되는 단계;를 포함하고,
상기 눈 깜박임은 시간과 횟수를 기준치로 사용하고, 상기 기준치 이상인 경우 다음 단계로 이동할 수 있는 스위치로 적용되는 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
(A) detecting a blinking of the user's eye on a target interface when a user looks at a screen generated in the augmented reality display;
(B) After the blinking, the user's gazing object is recognized by the computer vision technology, the position coordinates of the recognized object are derived, the target candidate group is selected from the derived position coordinates, Selecting a target candidate group using the derived positional coordinates and selecting a visual stimulus frequency;
(C) detecting an EEG of the user who has taken the visual stimulus of the frequency;
(D) analyzing a power spectrum of the steady state visual evoked potential (SSVEP) after the detection of the EEG;
Wherein the eye flicker is applied as a switch that uses the time and the number of times as a reference value and moves to the next step if the reference value is equal to or greater than the reference value. Way.
삭제delete 청구항 1에 있어서, 상기 기준치는 2초 내 3회 이상인 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
The method of claim 1, wherein the reference value is at least three times within two seconds. A method of selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer interface technique.
청구항 1에 있어서, 상기 시각자극 주파수는 체커보드의 깜박임으로 표현되는 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
The method of claim 1, wherein the visual stimulation frequency is represented by a flicker of a checker board.
청구항 4에 있어서, 상기 체커보드는 상기 타깃 후보군의 아래쪽에 위치시키는 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
5. The method of claim 4, wherein the checkerboard is positioned below the target candidate group. 5. The method of claim 4, wherein the checkerboard is positioned below the target candidate group.
청구항 1에 있어서, 상기 뇌파 검출은 사용자 뇌파 측정 시간에 대한 기준값을 적용하는 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
The method of claim 1, wherein the EEG detection is performed using a reference value for a user's EEG measurement time.
청구항 6에 있어서, 상기 기준값은 10초 이상인 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
The method of claim 6, wherein the reference value is at least 10 seconds. A method of selecting a target of an augmented reality system using a steady state visual evoked potential based brain-computer interface technique.
청구항 1에 있어서, 상기 사용자 응시 타깃의 파악은 자극 주파수와 그의 두 배에 해당하는 하모닉 주파수에 대한 파워값을 이용하는 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
2. The augmented reality system using the steady state visual evoked potential based brain-computer connection technique according to claim 1, wherein the user's target target is identified using a stimulus frequency and a power value for a harmonic frequency corresponding to twice the stimulus frequency. Target selection method.
청구항 1에 있어서, (E) 상기 사용자 응시 타깃이 파악된 후 상기 증강현실 디스플레이에 상기 사용자의 응시 타깃 표시가 이루어지는 단계;
가 더 포함된 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법.
The method according to claim 1, further comprising: (E) after the user's target target is identified, displaying the target target of the user on the augmented reality display;
The method of claim 1, further comprising the steps of: determining a target state of the augmented reality system based on the steady state visual evoked potential based brain-computer connection technique.
사용자가 머리에 착용하여 눈 깜박임을 검출하는 눈 깜박임 감지기, 상기 사용자의 뇌파를 검출하는 뇌파측정기를 갖춘 타깃 인터페이스;
상기 사용자가 응시하는 영상을 보여주는 디스플레이 화면, 상기 디스플레이 화면에 상기 사용자의 응시 물체에 대한 위치 좌표를 생성하는 컴퓨터비전기술(Computer Vision Technology), 상기 디스플레이 화면에 상기 위치 좌표가 표시된 복수의 타깃에 깜박이도록 위치된 체커보드를 갖춘 증강현실시스템;이 포함되고,
청구항 1과 청구항 3 내지 청구항 9 중 어느 한 항에 의한 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템의 타깃선택방법이 수행되는
것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템.
An eye blinking detector for detecting a user's eye blinking on the head; a target interface having an EEG detector for detecting the EEG of the user;
A computer vision technology for generating position coordinates of the user's gazed object on the display screen; a plurality of targets displayed with the position coordinates on the display screen; And an augmented reality system having a checker board positioned so as to be positioned,
A method for selecting a target of an augmented reality system using a stable state visual evoked potential based brain-computer connection technique according to any one of claims 1 to 9,
Augmented reality system using a steady state visual evoked potential based brain-computer connection technique.
청구항 10에 있어서, 상기 증강현실시스템은 이동형인 것을 특징으로 하는 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강현실 시스템.11. The augmented reality system of claim 10, wherein the augmented reality system is a mobile type.
KR1020160048062A 2016-04-20 2016-04-20 Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential KR101788969B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160048062A KR101788969B1 (en) 2016-04-20 2016-04-20 Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048062A KR101788969B1 (en) 2016-04-20 2016-04-20 Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential

Publications (1)

Publication Number Publication Date
KR101788969B1 true KR101788969B1 (en) 2017-11-15

Family

ID=60386910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048062A KR101788969B1 (en) 2016-04-20 2016-04-20 Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential

Country Status (1)

Country Link
KR (1) KR101788969B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419537A (en) * 2021-07-08 2021-09-21 西安理工大学 Brain-computer fusion control method and system for autonomous movement of mobile robot
CN113434040A (en) * 2021-06-07 2021-09-24 西北工业大学 Brain-computer interface technical method based on augmented reality induction
CN114356085A (en) * 2021-12-27 2022-04-15 西安理工大学 Visual induction brain control method based on dynamic semantic target flicker and radial checkerboard motion
CN114371784A (en) * 2022-01-14 2022-04-19 天津大学 Brain-computer interface decoding method for steady-state visual evoked potential

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:Frontiers in neuroscience 5 (2011)*

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434040A (en) * 2021-06-07 2021-09-24 西北工业大学 Brain-computer interface technical method based on augmented reality induction
CN113434040B (en) * 2021-06-07 2024-01-05 西北工业大学 Brain-computer interface technical method based on augmented reality induction
CN113419537A (en) * 2021-07-08 2021-09-21 西安理工大学 Brain-computer fusion control method and system for autonomous movement of mobile robot
CN114356085A (en) * 2021-12-27 2022-04-15 西安理工大学 Visual induction brain control method based on dynamic semantic target flicker and radial checkerboard motion
CN114356085B (en) * 2021-12-27 2024-05-03 西安理工大学 Visual induction brain control method based on dynamic semantic target flickering and radial checkerboard movement
CN114371784A (en) * 2022-01-14 2022-04-19 天津大学 Brain-computer interface decoding method for steady-state visual evoked potential
CN114371784B (en) * 2022-01-14 2023-11-03 天津大学 Brain-computer interface decoding method oriented to steady-state visual evoked potential

Similar Documents

Publication Publication Date Title
Hakvoort et al. Comparison of PSDA and CCA detection methods in a SSVEP-based BCI-system
Lee et al. A brain–computer interface method combined with eye tracking for 3D interaction
Brouwer et al. Estimating workload using EEG spectral power and ERPs in the n-back task
Hashimoto et al. EEG-based classification of imaginary left and right foot movements using beta rebound
Kim et al. Quantitative evaluation of a low-cost noninvasive hybrid interface based on EEG and eye movement
Dirican et al. Psychophysiological measures of human cognitive states applied in human computer interaction
EP1799105B1 (en) System and method for mental workload measurement based on rapid eye movement
Postelnicu et al. P300-based brain-neuronal computer interaction for spelling applications
Zhu et al. A hybrid BCI based on SSVEP and EOG for robotic arm control
Tipper et al. Vision influences tactile perception at body sites that cannot be viewed directly
CN100366215C (en) Control method and system and sense organs test method and system based on electrical steady induced response
Wang et al. Predicting intended movement direction using EEG from human posterior parietal cortex
KR101788969B1 (en) Target Selection Method of Augmented Reality System Using Brain-Computer Interface Technic Based on Steady State Visual Evoked Potential
EP3439533A1 (en) Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
Jiang et al. Pupil responses to continuous aiming movements
Bayliss et al. Changing the P300 brain computer interface
Rozado et al. Combining EEG with pupillometry to improve cognitive workload detection
Hosni et al. EEG-EOG based virtual keyboard: Toward hybrid brain computer interface
KR101571848B1 (en) Hybrid type interface apparatus based on ElectronEncephaloGraph and Eye tracking and Control method thereof
Meena et al. Towards increasing the number of commands in a hybrid brain-computer interface with combination of gaze and motor imagery
Prueckl et al. A brain-computer interface based on steady state visual evoked potentials for controlling a robot
Zhao et al. A passive BCI for monitoring the intentionality of the gaze-based moving object selection
Talsma et al. A retinotopic attentional trace after saccadic eye movements: evidence from event-related potentials
Edlinger et al. A hybrid brain-computer interface for improving the usability of a smart home control
O'Reilly et al. Using kinematic analysis of movement to predict the time occurrence of an evoked potential associated with a motor command

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant