KR101272811B1 - System and method for interface - Google Patents
System and method for interface Download PDFInfo
- Publication number
- KR101272811B1 KR101272811B1 KR1020110077500A KR20110077500A KR101272811B1 KR 101272811 B1 KR101272811 B1 KR 101272811B1 KR 1020110077500 A KR1020110077500 A KR 1020110077500A KR 20110077500 A KR20110077500 A KR 20110077500A KR 101272811 B1 KR101272811 B1 KR 101272811B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- eeg
- eye
- gaze position
- pupil
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Neurology (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Dermatology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
인터페이스 시스템 및 방법이 개시된다. 인터페이스 시스템은 적외선 조명이 장착된 디스플레이 장치, 적외선 조명이 적외선을 조사한 눈에 대한 눈 영상을 획득하는 카메라, 뇌파 센서를 통해 뇌파를 획득하여 뇌파 정보를 산출하는 뇌파 분석 장치 및 눈 영상을 이용하여 시선 위치를 추적하고, 디스플레이 장치의 출력 화면에서 시선 위치에 대응하는 영역에 설정된 명령을 수행하고, 뇌파 정보에 대응하는 명령을 수행하여 출력 화면을 제어하는 단말을 포함한다.An interface system and method are disclosed. The interface system includes a display device equipped with an infrared light, a camera for acquiring an eye image of an eye irradiated with infrared light, an electroencephalogram device for acquiring brain waves through an EEG sensor and calculating brain wave information, and an eye image. And a terminal for tracking the position, performing a command set in an area corresponding to the gaze position on the output screen of the display device, and controlling the output screen by performing a command corresponding to the EEG information.
Description
본 발명은 디스플레이 장치를 구비한 단말에서의 인터페이스에 관한 것이다.
The present invention relates to an interface in a terminal having a display device.
발명의 배경기술로는 제품, 서비스, 제공 및 자극에 노출된 소비자에 대하여, 신경-반응 측정을 판단함으로써 소비자 경험을 평가하는 것에 관한 특허문헌이 있으며, 신경-반응 측정의 예로 뇌파, 시선 추적 등에 대하여 개시하고 있다.
BACKGROUND OF THE INVENTION Background of the Invention There is a patent document on evaluating consumer experiences by judging neuro-response measurements for consumers exposed to products, services, offers and stimuli. Examples of neuro-response measurements include brain waves, eye tracking, etc. It is disclosed.
본 발명은 키보드나 마우스와 같은 입력 장치를 대신하여 사용자의 시선 위치 정보와 뇌파 정보를 이용하여 단말의 출력 화면을 제어하는 것이다.
The present invention is to control the output screen of the terminal by using the gaze position information and brain wave information of the user in place of an input device such as a keyboard or a mouse.
본 발명의 일 측면에 따르면, 시선 추적 및 뇌파를 이용한 인터페이스 시스템이 개시된다.According to an aspect of the present invention, an interface system using eye tracking and brain waves is disclosed.
본 발명의 실시예에 따른 인터페이스 시스템은 적외선 조명이 장착된 디스플레이 장치, 상기 적외선 조명이 적외선을 조사한 눈에 대한 눈 영상을 획득하는 카메라, 뇌파 센서를 통해 뇌파를 획득하여 뇌파 정보를 산출하는 뇌파 분석 장치 및 상기 눈 영상을 이용하여 시선 위치를 추적하고, 상기 디스플레이 장치의 출력 화면에서 상기 시선 위치에 대응하는 영역에 설정된 명령을 수행하고, 상기 뇌파 정보에 대응하는 명령을 수행하여 상기 출력 화면을 제어하는 단말을 포함한다.An interface system according to an embodiment of the present invention is a display device equipped with an infrared light, a camera for acquiring an eye image of the eye irradiated by the infrared light, and an EEG analysis for obtaining EEG information by obtaining an EEG through an EEG sensor The line of sight is tracked using the device and the eye image, the command is set in an area corresponding to the line of sight on the output screen of the display device, and the command is performed to control the output screen. It includes a terminal to be.
여기서, 상기 단말은, 상기 눈 영상을 수신하는 제1 수신부, 상기 눈 영상으로부터 동공 영역을 검출하고, 상기 동공 영역에서 동공 중심을 결정하는 결정부, 미리 설정된 변환함수를 이용하여 상기 동공 중심을 상기 디스플레이 장치의 디스플레이 평면에 맵핑시켜 상기 시선 위치를 산출하는 산출부, 집중도(Attention)를 포함하는 상기 뇌파 정보를 수신하는 제2 수신부 및 상기 출력 화면에서 상기 시선 위치에 대응하는 시선 위치 영역에 설정된 이동 방향으로 상기 출력 화면을 이동시키고, 상기 집중도에 따라 상기 출력 화면의 이동 속도를 제어하는 제어부를 포함한다.The terminal may include a first receiver configured to receive the eye image, a pupil part detected from the eye image, a determiner configured to determine a pupil center in the pupil area, and the pupil center based on a preset conversion function. A calculation unit configured to calculate the gaze position by mapping to a display plane of a display device, a second receiver configured to receive the EEG information including attention, and a movement set in the gaze position region corresponding to the gaze position on the output screen And a control unit for moving the output screen in a direction and controlling a moving speed of the output screen according to the concentration level.
여기서, 상기 산출부는 상기 동공 영역의 흑화소 수를 산출하고, 상기 제어부는 상기 흑화소 수의 변화에 따라 눈 깜빡임을 감지하고, 상기 눈 깜빡임에 대응하는 명령을 수행한다.Here, the calculating unit calculates the number of black pixels in the pupil area, and the controller detects eye blink according to the change of the number of black pixels, and executes a command corresponding to the eye blink.
여기서, 상기 제어부는 상기 눈 깜빡임이 감지되면, 상기 출력 화면을 이동 또는 정지시킨다.Here, when the eye blink is detected, the controller moves or stops the output screen.
여기서, 상기 눈 깜빡임이 감지되면, 상기 출력 화면을 확대하거나 확대 중지시킨다.Here, when the eye blink is detected, the output screen is enlarged or stopped.
여기서, 상기 뇌파 분석 장치는 머리에 착용할 수 있는 헤드셋(Headset) 형태로 형성되며, 사용자의 좌측 전두엽을 통해 뇌파를 전달받기 위한 뇌파 센서를 장착한다.Here, the EEG analysis device is formed in the form of a headset (Headset) that can be worn on the head, and is equipped with an EEG sensor for receiving EEG through the left frontal lobe of the user.
여기서, 상기 카메라는 안경, 보안경, 헬멧형 기기 중 어느 하나의 착용형 기기에 부착된다.Here, the camera is attached to any one of the wearable device of glasses, safety glasses, helmet type device.
본 발명의 다른 측면에 따르면, 디스플레이 장치를 구비한 인터페이스 시스템에서의 인터페이스 방법이 개시된다.According to another aspect of the present invention, an interface method in an interface system having a display device is disclosed.
본 발명의 실시예에 따른 인터페이스 방법은 상기 디스플레이 장치에 화면이 출력되는 단계, 카메라를 통해 획득된 눈 영상을 이용하여 시선 위치를 추적하는 단계, 상기 시선 위치에 대응하는 영역에 설정된 이동 방향으로 상기 화면을 이동시키는 단계, 뇌파 센서를 통해 획득된 뇌파를 이용하여 뇌파 정보를 산출하는 단계 및 상기 뇌파 정보에 따라 상기 화면의 이동 속도를 제어하는 단계를 포함한다.According to an embodiment of the present invention, an interface method includes outputting a screen to the display device, tracking a gaze position using an eye image acquired through a camera, and moving the screen in a movement direction set in an area corresponding to the gaze position. Moving the screen; calculating brain wave information using brain waves acquired through an brain wave sensor; and controlling a moving speed of the screen according to the brain wave information.
여기서, 상기 뇌파 정보는 집중도를 포함하고, 상기 뇌파 정보에 따라 상기 화면의 이동 속도를 제어하는 단계는 상기 집중도에 따라 상기 화면의 이동 속도를 제어하는 것이다.Here, the brain wave information includes a concentration degree, and the controlling of the movement speed of the screen according to the brain wave information is controlling the movement speed of the screen according to the concentration degree.
여기서, 상기 화면을 이동시키는 단계는 상기 눈 영상을 이용하여 눈 깜빡임을 감지하는 단계 및 상기 눈 깜빡임이 감지되면, 상기 시선 위치에 대응하는 영역에 설정된 이동 방향으로 상기 화면을 이동시키는 단계를 포함한다.The moving of the screen may include detecting an eye blink using the eye image and moving the screen in a moving direction set in an area corresponding to the gaze position when the eye blink is detected. .
여기서, 상기 눈 영상을 이용하여 눈 깜빡임을 감지하는 단계는 상기 눈 영상에서 동공 영역의 흑화소 수를 산출하는 단계, 상기 동공 영역의 흑화소 수가 미리 설정된 임계치 이하로 감소하면, 눈이 감긴 것으로 판단하는 단계 및 상기 흑화소 수가 미리 설정된 시간 이내에 임계치를 초과하게 되면, 눈이 다시 떠진 것으로 판단하여 상기 눈 깜빡임을 감지하는 단계를 포함한다.In the detecting of eye blink using the eye image, calculating the number of black pixels of the pupil area in the eye image and determining that the eyes are closed when the number of black pixels of the pupil area decreases below a preset threshold. And when the number of black pixels exceeds a threshold within a preset time, determining that the eyes are left again and detecting the blinking of the eyes.
여기서, 상기 화면의 이동 속도를 제어하는 단계 이후에, 눈 깜빡임이 감지되면, 상기 화면의 이동을 정지하는 단계, 상기 시선 위치가 정지 명령이 설정된 영역에 대응되고, 상기 눈 깜빡임이 감지되면, 상기 화면을 확대하는 단계 및 상기 화면의 확대 중에 상기 눈 깜빡임이 감지되면, 화면 확대를 중지하는 단계를 더 포함한다.Here, after the step of controlling the moving speed of the screen, if blinking of the eye is detected, stopping the movement of the screen, the gaze position corresponds to the area where the stop command is set, if the blinking of the eye is detected, And enlarging the screen, and stopping the screen enlargement when the eye blink is detected during the enlargement of the screen.
여기서, 상기 시선 위치를 추적하는 단계는 상기 눈 영상을 수신하는 단계, 상기 눈 영상으로부터 동공 영역을 검출하고, 상기 동공 영역에서 동공 중심을 결정하는 단계 및 미리 설정된 변환함수를 이용하여 상기 동공 중심을 상기 디스플레이 장치의 디스플레이 평면에 맵핑시켜 상기 시선 위치를 산출하는 단계를 포함한다.The tracking of the gaze position may include receiving the eye image, detecting a pupil area from the eye image, determining a pupil center in the pupil area, and using the preset conversion function. Calculating the gaze position by mapping to a display plane of the display device.
여기서, 상기 디스플레이 장치에 출력되는 화면은 지도 화면 또는 3차원 가상 공간 화면이다.
Here, the screen output to the display device is a map screen or a three-dimensional virtual space screen.
본 발명은 키보드나 마우스와 같은 입력 장치를 대신하여 사용자의 시선 위치 정보와 뇌파 정보를 이용하여 단말의 출력 화면을 제어할 수 있다.The present invention can control the output screen of the terminal by using the gaze position information and brain wave information of the user in place of an input device such as a keyboard or a mouse.
또한, 본 발명은 시선 위치 정보와 뇌파 정보를 이용한 인터페이스를 통해 2차원 또는 3차원 디스플레이 장치를 구비한 전자 기기에서의 인터페이스, 중증 장애인 또는 뇌 질환 환자에 대한 전자 기기 인터페이스로 활용될 수 있다.
In addition, the present invention can be utilized as an interface in an electronic device having a two-dimensional or three-dimensional display device, an electronic device interface to a severely disabled person or a brain disease patient through an interface using gaze position information and brain wave information.
도 1은 인터페이스 시스템을 개략적으로 예시한 구성도.
도 2는 단말의 구성을 개략적으로 예시한 블록도.
도 3은 동공 중심을 결정하는 방법을 나타낸 도면.
도 4는 사용자 캘리브레이션을 수행하기 위한 기하학적 변환 방법을 나타낸 도면.
도 5는 동공 영역에 대한 흑화소 수의 산출을 예시한 도면.
도 6은 뇌파 정보를 나타낸 그래프.
도 7은 인터페이스 시스템에서 수행되는 인터페이스 방법을 나타낸 흐름도.
도 8 및 도 9는 인터페이스 방법을 적용한 예를 나타낸 도면.1 is a configuration diagram schematically illustrating an interface system.
2 is a block diagram schematically illustrating a configuration of a terminal.
3 illustrates a method of determining a pupil center.
4 is a diagram illustrating a geometric transformation method for performing user calibration.
5 illustrates the calculation of the number of black pixels for the pupil area.
6 is a graph showing EEG information.
7 is a flowchart illustrating an interface method performed in an interface system.
8 and 9 are diagrams showing examples of applying an interface method.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail with reference to the accompanying drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, the same reference numerals will be used for the same means regardless of the reference numerals in order to facilitate the overall understanding.
도 1은 인터페이스 시스템을 개략적으로 예시한 구성도이다.1 is a configuration diagram schematically illustrating an interface system.
도 1을 참조하면, 인터페이스 시스템은 단말(100), 적외선 조명(210)을 포함하는 디스플레이 장치(200), 뇌파 센서(310)를 포함하는 뇌파 분석 장치(300) 및 카메라(400)를 포함한다.Referring to FIG. 1, the interface system includes a
뇌파 분석 장치(300)는 뇌파 센서(310)를 이용하여 뇌파를 획득하고, 뇌파를 분석하여 뇌파 정보를 산출한다. 여기서, 뇌파 정보는 집중도(Attention) 정보 및 안정도(Meditation) 정보를 포함할 수 있다. 예를 들어, 뇌파 분석 장치(300)를 착용한 사용자가 의식적으로 집중을 하면, 집중도가 증가할 수 있다.The EEG analyzing
예를 들어, 뇌파 분석 장치(300)는 머리에 착용할 수 있는 헤드셋(Headset) 형태로 형성될 수 있으며, 사용자의 좌측 전두엽을 통해 뇌파를 전달받기 위한 뇌파 센서(310)가 도 1에 도시된 바와 같이 구비될 수 있다. 여기서, 뇌파 센서(310)는 하나의 건식 능동 센서가 적용될 수 있다.For example, the EEG analyzing
디스플레이 장치(200)는 단말(100)과 연결되어, 단말(100)로부터 수신되는 영상 정보를 출력한다. 예를 들어, 단말(100)은 데스크탑 컴퓨터 본체가 될 수 있으며, 디스플레이 장치(200)는 데스크탑 컴퓨터 본체에 연결되는 모니터가 될 수 있다.The
또한, 디스플레이 장치(200)는 도 1에 도시된 바와 같이, 4개의 모서리에 각각 적외선 조명(210)이 장착될 수 있다. 여기서, 적외선 조명(210)은 적외선 LED(Light Emitteng Diode), 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 중 어느 하나로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다.In addition, as shown in FIG. 1, the
카메라(400)는 사용자의 눈 영상을 촬영한다. 여기서, 눈 영상은 적외선 조명(210)으로부터 조명된 조명 반사광을 포함한다. 즉, 디스플레이 장치(200)에 장착된 적외선 조명(210)이 사용자의 눈에 적외선을 조사함으로써, 카메라(400)는 동공과 홍채의 경계가 구분된 눈 영상을 촬영할 수 있다. The
예를 들어, 카메라(400)는 안경, 보안경, 헬멧형 기기 등의 착용형 기기에 부착되어 사용자가 착용형 기기를 착용한 상태에서 사용자의 눈 영상을 획득할 수 있다. 또한, 카메라(400)는 적외선 투과필터, 렌즈 및 이미지 센서를 포함하며, 렌즈 전면 또는 이미지 센서 전면에 적외선 투과필터가 부착되어, 적외선이 조사된 눈에 대한 눈 영상을 획득할 수 있다. 여기서, 이미지 센서는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성될 수 있다.For example, the
단말(100)은 뇌파 분석 장치(300)로부터 뇌파 정보를 수신하고, 카메라(400)로부터 눈 영상을 수신하고, 수신된 뇌파 정보 및 눈 영상을 이용하여 디스플레이 장치(200)에 출력되는 화면을 제어한다. 이에 대해서는 이하 도 2 내지 도 6을 참조하여 상세히 후술한다.
The terminal 100 receives the EEG information from the
도 2는 단말의 구성을 개략적으로 예시한 블록도이다.2 is a block diagram schematically illustrating a configuration of a terminal.
도 2를 참조하면, 단말(100)은 제1 수신부(10), 검출부(20), 산출부(30), 제2 수신부(40) 및 제어부(50)를 포함한다.Referring to FIG. 2, the terminal 100 includes a
제1 수신부(10)는 카메라(400)로부터 사용자의 눈 영상을 수신한다. 여기서, 카메라(400)는 적외선 조명(210)이 눈에 적외선을 조명하여 생성된 조명 반사광(34)을 포함하는 눈 영상을 획득한다.The
결정부(20)는 수신된 눈 영상으로부터 동공 영역을 검출하고, 검출된 동공 영역에서 동공 중심을 결정한다. The
도 3은 동공 중심을 결정하는 방법을 나타낸 도면이다. 이하, 도 3을 참조하여, 결정부(20)가 동공 중심을 결정하는 방법에 대하여 상세히 설명한다. 3 is a diagram illustrating a method of determining a pupil center. Hereinafter, a method of determining the pupil center by the
도 3을 참조하면, (a)에 도시된 바와 같이, 결정부(20)는 원형 검출 알고리즘에 따라 내부원(32)과 외부원(31)으로 구성되는 원형 검출 템플릿(Circular edge Detection template)을 눈 영상에서 이동시킨다. 이때, 결정부(20)는 원형 검출 템플릿의 내부원(32)과 외부원(31)의 그레이 레벨합의 차이를 산출한다. 이후, 결정부(20)는 그레이 레벨합의 차이가 가장 큰 영역을 검출함으로써, (b)에서와 같이 동공 영역을 검출한다.Referring to FIG. 3, as shown in (a), the
하지만, 눈 영상에 포함된 동공의 모양은 원의 형태로 단순화하기에는 불규칙한 모양을 가지고 있으며, 시선 위치 및 카메라 촬영 각도에 따라 원이 아닌 타원의 형태로 나타날 수 있기 때문에, 원형 검출 알고리즘으로 검출된 동공 영역을 이용하여 동공 중심을 결정하면, 결정된 동공 중심이 부정확할 수 있다. 또한, 조명 반사광(34)이 동공의 경계에 위치하면, 동공 중심이 정확하게 결정될 수 없다.However, the shape of the pupil included in the eye image has an irregular shape to simplify in the form of a circle, and may appear as an ellipse rather than a circle according to the gaze position and the camera shooting angle, and thus the pupil detected by the circular detection algorithm. If the pupil center is determined using an area, the determined pupil center may be inaccurate. In addition, when the
따라서, 결정부(20)는 (c)에서와 같이, 검출된 동공 영역을 기준으로 지역 이진화를 수행한다. Therefore, the
이진화 방법은 영상 내에서 원하는 객체의 정보(예를 들어, 위치, 크기, 모양 등)를 획득하기 위하여 영상의 화소값을 0 또는 255로 만드는 방법이다. 이진화 방법은 전역적 이진화 방법과 지역적 이진화 방법으로 나누어진다. 전역적 이진화 방법은 영상 전체의 화소에 대하여 하나의 임계값을 이용하여 이진화를 수행하는 방법이고, 지역적 이진화 방법은 영상을 여러 개의 영역으로 분할하여 각 영역마다 다른 임계값을 이용하여 이진화를 수행하는 방법이다.In the binarization method, a pixel value of an image is set to 0 or 255 in order to obtain information (eg, position, size, shape, etc.) of a desired object in the image. Binarization is divided into global binarization and local binarization. The global binarization method is a method of performing binarization on a pixel of an entire image using one threshold value, and the local binarization method divides an image into several areas and performs binarization using different threshold values for each area. It is a way.
즉, 결정부(20)는 검출된 동공 영역의 중심으로부터 미리 설정된 범위의 영역(사각 영역)(33)을 형성하여 지역 이진화를 수행한다. 사각 영역은 동공 영역(객체)과 동공이 아닌 영역(배경)의 두 종류로 분류되므로, 결정부(20)는 동공 영역을 흑색, 동공이 아닌 영역을 백색으로 만들 수 있다.That is, the
이후, 결정부(20)는 동공 영역에서 조명 반사광(34)으로 생성된 빈 영역을 채우기 위하여 모폴로지(morphology) 연산을 수행한다. (d)는 모폴로지 연산의 결과를 나타낸다.Thereafter, the
이어, 결정부(20)는 (e)에 도시된 바와 같이, 흑색 영역(즉, 지역 이진화 및 모폴로지 연산를 통해 생성된 동공 영역)의 무게 중심(+)을 산출한다. 그래서, 결정부(20)는 최종적으로 흑색 영역의 무게 중심을 동공 영역의 동공 중심으로 결정한다. 여기서, 결정부(20)는 결정된 동공 중심의 동공 중심 좌표를 산출할 수 있다.Next, the
산출부(30)는 결정된 동공 중심을 미리 설정된 변환함수를 이용하여 디스플레이 장치(200)의 디스플레이 평면에 맵핑시킴으로써, 디스플레이 장치(200)에 대한 사용자의 시선 위치 정보를 산출할 수 있다. 여기서, 미리 설정되는 변환함수는 시스템 초기화시에 수행되는 사용자 캘리브레이션 과정을 통해 산출될 수 있다. 변환함수는 선형보간(Linear Interpolation), 기하학적 변환(Geometric Transform) 또는 복비(Cross Ratio)와 같은 변환함수 중 하나가 될 수 있다.The
예를 들어, 도 4는 사용자 캘리브레이션을 수행하기 위한 기하학적 변환 방법을 나타낸 도면이다. 도 4를 참조하면, 산출부(30)는 화면의 중심부를 응시하는 사용자 캘리브레이션 과정을 통해 동공의 이동영역(S1)을 정의하고, 동공의 이동영역(S1)과 디스플레이 평면(S2)간의 관계를 기하학적 변환을 사용하여 나타낼 수 있다.For example, FIG. 4 is a diagram illustrating a geometric transformation method for performing user calibration. 4, the calculating
즉, 결정부(20)는 사용자가 디스플레이 장치(200)의 중심부를 응시한 경우의 눈 영상을 수신하여 동공 중심을 결정하고, 4개의 모서리에 장착된 4개의 적외선 조명(210)에 의하여 동공에 생성된 4개의 조명 반사광를 통해 디스플레이 평면(S2)을 확인한다. 그래서, 산출부(30)는 기하학적 변환함수를 이용하여 동공 중심 좌표에 대응되는 디스플레이 평면(S2)의 좌표를 산출할 수 있다.That is, the
우선, 산출부(30)는 사용자가 디스플레이 장치(200)의 중심부를 응시 할 경우의 동공 중심 좌표를 이용하여 사용자 동공의 이동 영역(S1)을 정의한다. 여기서, 사용자 동공의 이동 영역(S1)의 좌표는 4개의 조명 반사광의 좌표로서 좌측상단 좌표(Cx1, Cy1), 우측상단 좌표(Cx2, Cy2), 좌측하단 좌표(Cx4, Cy4), 우측하단 좌표(Cx3, Cy3)를 포함한다. 이어, 산출부(30)는 사용자 동공의 이동 영역(S1)의 좌표와 기하학적 변환함수를 이용하여 각 동공의 이동 영역(S1)의 좌표에 대응되는 디스플레이 평면(S2)의 좌표, 즉, 좌측상단 좌표(Mx1, My1), 우측상단 좌표(Mx2, My2), 좌측하단 좌표(Mx4, My4), 우측하단 좌표(Mx3, My3)를 산출한다. 여기서, 디스플레이 평면(S2)의 좌표는 사용자가 응시하는 디스플레이 장치(200)의 좌표를 나타낸다.First, the
하기의 수학식 1은 기하학적 변환함수를 나타낸다. 하기의 수학식 1을 참조하여 사용자가 디스플레이 장치(200)의 임의의 위치를 응시하는 경우, 사용자 동공 중심에 대응되는 디스플레이 평면(S2)의 위치를 산출하는 과정을 상세히 설명한다.
[수학식 1][Equation 1]
수학식 1을 참조하면, S1은 동공의 이동 영역(S1)의 좌표를 행렬로 나타낸 것이며, S2는 디스플레이 평면(S2)의 좌표를 행렬로 표시한 것이다. T는 기하학적 변환함수를 행렬로 표시한 것이다. 산출부(30)는 동공의 이동 영역(S1)의 좌표의 행렬과 기하학적 변환함수의 행렬을 연산하여 각 동공의 이동 영역(S1)의 좌표에 대응되는 디스플레이 평면(S2)의 좌표를 산출한다. 그리고, 산출부(30)는 하기 수학식 2를 이용하여 사용자의 디스플레이 평면(S2)에서의 응시 위치를 산출한다.Referring to Equation 1, S 1 will showing the coordinates of the moving region (S 1) of the pupil in a matrix, S 2 will display the coordinates of the display plane (S 2) to the matrix. T is a matrix of geometric transformation functions. The
[수학식 2]&Quot; (2) "
수학식 2를 참조하면, G는 사용자의 실제 응시위치를 나타낸 행렬이고, W는 사용자가 응시하는 순간 추출된 동공의 위치를 나타낸 행렬이다. 또한, T는 기하학적 변환함수를 행렬로 표시한 것이다. 즉, 산출부(30)는 수학식 1을 이용하여 사용자가 디스플레이 장치(200)의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 디스플레이 평면 위치를 산출하고, 수학식 2를 이용하여 사용자의 실제 응시위치(즉, 사용자의 관심 시선 위치)를 산출한다.Referring to
또한, 산출부(30)는 동공 영역의 흑화소 수를 산출한다. 즉, 산출부(30)는 도 3에서 모폴로지 연산을 수행하여 산출된 동공 영역에 대하여 흑화소 수를 산출할 수 있다. 예를 들어, 도 5는 동공 영역에 대한 흑화소 수의 산출을 예시한 도면이다. 도 5를 참조하면, 동공 영역은 눈꺼풀의 의한 가려짐 정도에 따라 노출되는 동공 영역의 면적이 감소하며, 이에 따라, 산출되는 동공 영역의 흑화소가 감소한다.In addition, the
제2 수신부(40)는 뇌파 분석 장치(300)로부터 뇌파 정보를 수신한다. 수신된 뇌파 정보는 제어부(50)로 전달된다.The
예를 들어, 도 6은 뇌파 정보를 나타낸 그래프이다. 즉, 도 6은 사용자가 시선을 집중하는 경우 및 집중하지 않는 경우에 대하여 시간에 따라 측정된 집중도(Attention) 및 안정도(Meditation)의 크기를 나타낸 그래프이다. 도 6에 도시된 바와 같이, 사용자가 집중하는 경우, 집중도의 증가폭이 상대적으로 안정도의 증가폭보다 큰 것으로 나타난다.For example, FIG. 6 is a graph showing EEG information. That is, FIG. 6 is a graph showing the magnitudes of Attention and Meditation measured over time with respect to the case where the user focuses the gaze and the case where the user does not concentrate. As shown in FIG. 6, when the user concentrates, the increase in concentration is relatively greater than the increase in stability.
제어부(50)는 산출부(30)로부터 전달된 사용자의 시선 위치 정보와 제2 수신부(40)를 통해 전달된 뇌파 정보를 이용하여 디스플레이 장치(200)의 화면을 제어한다.The
즉, 제어부(50)는 시선 위치 정보를 이용하여 디스플레이 장치(200)의 화면에서의 사용자의 시선 위치를 인식하고, 시선 위치에 대응하는 명령을 수행할 수 있다. 예를 들어, 디스플레이 장치(200)의 화면은 이동 방향이 설정된 복수 개의 영역으로 분할될 수 있으며, 제어부(50)는 시선 위치에 대응하는 영역의 이동 방향으로 화면을 이동시킬 수 있다.That is, the
또한, 제어부(50)는 시선 위치에 대응하는 명령 수행 중에 뇌파 정보에 따른 명령을 수행할 수 있다. 예를 들어, 제어부(50)는 시선 위치에 대응하는 영역의 이동 방향으로 화면을 이동시키는 중에, 집중도가 증가하면 화면 이동 속도를 증가시킬 수 있으며, 이와 반대로 집중도가 감소하면 화면 이동 속도를 감소시킬 수 있다.In addition, the
또한, 제어부(50)는 산출부(30)에 의하여 산출된 동공 영역의 흑화소 수를 이용하여 눈 깜빡임을 감지하여 이에 대응하는 명령을 수행한다. 즉, 제어부(50)는 산출된 동공 영역의 흑화소 수가 미리 설정된 임계치 이하로 감소하면, 눈이 감긴 것으로 판단할 수 있고, 미리 설정된 시간 이내(예를 들어, 1초 내)에 흑화소 수가 임계치를 초과하게 되면, 눈이 다시 떠진 것으로 판단하여 눈 깜빡임을 감지할 수 있다.In addition, the
예를 들어, 제어부(50)는 시선 위치를 인식한 후, 눈 깜빡임이 감지되면 이동 명령으로 인식하여 시선 위치에 대응하는 영역의 이동 방향으로 화면을 이동시킬 수 있다.For example, the
또한, 제어부(50)는 화면 이동 중에 눈 깜빡임이 감지되면 정지 명령으로 인식하여 화면 이동을 중지시킬 수 있다.In addition, the
또한, 제어부(50)는 시선 위치가 화면의 정지 영역(예를 들어, 화면의 중심부)에 해당하고, 눈 깜빡임이 감지되면 확대 명령으로 인식하여 화면을 확대시킬 수 있고, 화면 확대 중에 다시 눈 깜빡임이 감지되면 확대 중지 명령으로 인식하여 화면 확대를 중지시킬 수 있다.
In addition, when the eye gaze position corresponds to a still area of the screen (for example, the center of the screen), and the blinking of the eye is detected, the
도 7은 인터페이스 시스템에서 수행되는 인터페이스 방법을 나타낸 흐름도이고, 도 8 및 도 9는 인터페이스 방법을 적용한 예를 나타낸 도면이다. 이하, 도 7을 중심으로 인터페이스 방법을 설명하되, 도 8 및 도 9를 참조하여 설명하기로 한다.7 is a flowchart illustrating an interface method performed in an interface system, and FIGS. 8 and 9 illustrate examples of applying an interface method. Hereinafter, an interface method will be described with reference to FIG. 7, but will be described with reference to FIGS. 8 and 9.
S710 단계에서, 인터페이스 시스템은 디스플레이 장치(200)의 화면을 출력한다. 예를 들어, 도 8을 참조하면, 인터페이스 시스템은 지도를 화면에 출력할 수 있다. 이때, 화면은 이동 방향이 미리 설정된 복수 개의 영역으로 분할될 수 있다. 즉, 화면은 상부, 하부, 좌측부, 우측부 및 중심부의 5개 영역으로 분할될 수 있고, 각 영역은 위쪽 이동, 아래쪽 이동, 왼쪽 이동, 오른쪽 이동 및 정지의 명령이 설정될 수 있다.In operation S710, the interface system outputs a screen of the
예를 들어, 도 9를 참조하면, 인터페이스 시스템은 VRML(Virtual Reality Markup Language)로 구현된 3차원 가상 도시를 화면에 출력할 수 있다. 이때, 화면은 이동 방향이 미리 설정된 복수 개의 영역으로 분할될 수 있다. 즉, 화면은 상부, 하부, 좌측부, 우측부 및 중심부의 5개 영역으로 분할될 수 있고, 각 영역은 전진, 후진, 왼쪽 이동, 오른쪽 이동 및 정지의 명령이 설정될 수 있다.For example, referring to FIG. 9, the interface system may output a 3D virtual city implemented in a virtual reality markup language (VRML) on a screen. In this case, the screen may be divided into a plurality of areas in which the moving direction is preset. That is, the screen may be divided into five areas of the top, bottom, left part, right part, and center part, and each area may be set to commands for moving forward, backward, moving left, moving right and stopping.
S720 단계에서, 인터페이스 시스템은 사용자의 동공 영역을 검출하여 동공 중심을 결정하고, 동공 중심에 대응하는 디스플레이 평면 위치를 산출하여 사용자의 시선 위치를 추적한다. 이때, 인터페이스 시스템은 동공 영역의 흑화소 수를 산출하여 눈 깜빡임 발생을 감지한다.In operation S720, the interface system detects a pupil area of the user to determine the pupil center, calculates a display plane position corresponding to the pupil center, and tracks the gaze position of the user. At this time, the interface system calculates the number of black pixels in the pupil area to detect the occurrence of eye blink.
S730 단계에서, 인터페이스 시스템은 눈 깜빡임이 감지되면, 이를 이동 명령으로 인식하고, 화면에서 시선 위치에 대응하는 영역에 설정된 이동 방향으로 화면을 이동시킨다.In operation S730, when the blinking of the eye is detected, the interface system recognizes this as a movement command and moves the screen in the movement direction set in the area corresponding to the gaze position on the screen.
예를 들어, 도 8을 참조하면, 시선 위치가 화면의 우측 영역에 포함되는 경우, 인터페이스 시스템은 시선 위치에 대응하는 화면의 위치에 커서를 이동시킨 후, 눈 깜빡임이 감지되면, 이동 명령으로 인식하여 시선 위치를 기준으로 지도 화면을 오른쪽으로 이동시킬 수 있다.For example, referring to FIG. 8, when the gaze position is included in the right area of the screen, the interface system moves the cursor to the position of the screen corresponding to the gaze position, and when the eye blink is detected, the interface system recognizes the movement command. To move the map screen to the right based on the line of sight.
예를 들어, 도 9를 참조하면, 시선 위치가 화면의 좌측 영역에 포함되는 경우, 인터페이스 시스템은 왼쪽으로 3차원 가상 도시 화면을 이동시킬 수 있다.For example, referring to FIG. 9, when the gaze position is included in the left region of the screen, the interface system may move the 3D virtual city screen to the left.
S740 단계에서, 인터페이스 시스템은 뇌파에 따라 화면의 이동 속도를 조절한다. 즉, 인터페이스 시스템은 집중도가 증가하면, 화면의 이동 속도를 증가시키고, 이와 반대로 집중도가 감소하면, 화면의 이동 속도를 감소시킬 수 있다. 예를 들어, 도 8을 참조하면, 인터페이스 시스템은 지도 화면을 오른쪽으로 이동시키는 중에, 집중도가 증가하면 이에 따라 오른쪽 이동 속도를 증가시킬 수 있다. 또한, 도 9를 참조하면, 인터페이스 시스템은 3차원 가상 도시 화면을 왼쪽으로 이동시키는 중에, 집중도가 증가하면 이에 따라 왼쪽 이동 속도를 증가시킬 수 있다.In step S740, the interface system adjusts the moving speed of the screen according to the brain waves. That is, the interface system may increase the moving speed of the screen when the concentration increases, and conversely, when the concentration decreases, the moving speed of the screen may decrease. For example, referring to FIG. 8, while the interface system moves the map screen to the right, if the concentration increases, the interface system may increase the right moving speed accordingly. In addition, referring to FIG. 9, while moving the 3D virtual city screen to the left, the interface system may increase the left moving speed accordingly if the concentration is increased.
S750 단계에서, 인터페이스 시스템은 눈 깜빡임이 감지되면, 화면의 이동을 중지한다. 즉, 인터페이스 시스템은 화면 이동 중에, 눈 깜빡임이 감지되면, 정지 명령으로 인식하여 화면 이동을 중지할 수 있다.In operation S750, when the blinking of the eye is detected, the interface system stops moving the screen. That is, if the blinking of the eye is detected during the screen movement, the interface system may recognize the stop command and stop the screen movement.
S760 단계에서, 인터페이스 시스템은 시선 위치가 화면의 중심 영역에 포함되고, 눈 깜빡임이 감지되면, 이를 화면 확대 명령으로 인식하여 화면을 확대한다. 이후, 인터페이스 시스템은 화면 확대 중에 눈 깜빡임이 감지되면, 이를 확대 중지 명령으로 인식하여 화면 확대를 중지시킬 수 있다.
In operation S760, when the gaze position is included in the center area of the screen and the blinking of the eye is detected, the interface system recognizes this as a screen magnification command and enlarges the screen. Subsequently, if a blinking eye is detected during the screen magnification, the interface system may recognize this as a zoom stop command and stop the screen magnification.
한편, 본 발명의 실시예에 따른 인터페이스 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다. On the other hand, the interface method according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed through various electronic means for processing information can be recorded in the storage medium. The storage medium may include program instructions, data files, data structures, etc. alone or in combination.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Program instructions to be recorded on the storage medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of software. Examples of storage media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic-optical media such as floppy disks. hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. In addition, the above-described medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as devices for processing information electronically using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.
100: 단말
200: 디스플레이 장치
210: 적외선 조명
300: 뇌파 분석 장치
310: 뇌파 센서
400: 카메라100: terminal
200: display device
210: infrared light
300: EEG analysis device
310: brain wave sensor
400: camera
Claims (14)
상기 적외선 조명이 적외선을 조사한 눈에 대한 눈 영상을 획득하는 카메라;
뇌파 센서를 통해 뇌파를 획득하여 뇌파 정보를 산출하는 뇌파 분석 장치; 및
상기 눈 영상을 이용하여 시선 위치를 추적하고, 상기 디스플레이 장치의 출력 화면에서 상기 시선 위치에 대응하는 영역에 설정된 명령을 수행하고, 상기 뇌파 정보에 대응하는 명령을 수행하여 상기 출력 화면을 제어하는 단말을 포함하되,
상기 단말은,
상기 눈 영상을 수신하는 제1 수신부;
상기 눈 영상으로부터 동공 영역을 검출하고, 상기 동공 영역에서 동공 중심을 결정하는 결정부;
미리 설정된 변환함수를 이용하여 상기 동공 중심을 상기 디스플레이 장치의 디스플레이 평면에 맵핑시켜 상기 시선 위치를 산출하는 산출부;
집중도(Attention)를 포함하는 상기 뇌파 정보를 수신하는 제2 수신부; 및
상기 출력 화면에서 상기 시선 위치에 대응하는 시선 위치 영역에 설정된 이동 방향으로 상기 출력 화면을 이동시키고, 상기 집중도에 따라 상기 출력 화면의 이동 속도를 제어하는 제어부를 포함하는 것을 특징으로 하는 인터페이스 시스템.
Display units with infrared illumination;
A camera for acquiring an eye image of an eye irradiated with infrared light by the infrared light;
An EEG analyzer for acquiring EEG through an EEG sensor and calculating EEG information; And
A terminal for tracking the gaze position using the eye image, executing a command set in an area corresponding to the gaze position on an output screen of the display device, and controlling the output screen by performing a command corresponding to the brain wave information Including,
The terminal,
A first receiver configured to receive the eye image;
A determination unit for detecting a pupil area from the eye image and determining a pupil center in the pupil area;
A calculator configured to map the pupil center to a display plane of the display apparatus using a preset conversion function to calculate the gaze position;
A second receiver configured to receive the EEG information including an attention level; And
And a controller configured to move the output screen in a movement direction set in a gaze position area corresponding to the gaze position on the output screen, and to control a moving speed of the output screen according to the concentration level.
상기 산출부는 상기 동공 영역의 흑화소 수를 산출하고,
상기 제어부는 상기 흑화소 수의 변화에 따라 눈 깜빡임을 감지하고, 상기 눈 깜빡임에 대응하는 명령을 수행하는 것을 특징으로 하는 인터페이스 시스템.
The method of claim 1,
The calculating unit calculates the number of black pixels in the pupil area,
The controller detects eye blink according to the change of the number of black pixels, and performs a command corresponding to the eye blink.
상기 제어부는
상기 눈 깜빡임이 감지되면, 상기 출력 화면을 이동 또는 정지시키는 것을 특징으로 하는 인터페이스 시스템.
The method of claim 3,
The control unit
And when the eye blink is detected, moving or stopping the output screen.
상기 제어부는
상기 눈 깜빡임이 감지되면, 상기 출력 화면을 확대하거나 확대 중지시키는 것을 특징으로 하는 인터페이스 시스템.
The method of claim 3,
The control unit
And when the eye blinks, the output screen is enlarged or stopped.
상기 뇌파 분석 장치는 머리에 착용할 수 있는 헤드셋(Headset) 형태로 형성되며, 사용자의 좌측 전두엽을 통해 뇌파를 전달받기 위한 뇌파 센서를 장착하는 것을 특징으로 하는 인터페이스 시스템.
The method of claim 1,
The EEG analysis apparatus is formed in the form of a headset (Headset) that can be worn on the head, the interface system, characterized in that for mounting the EEG sensor for receiving the EEG through the left frontal lobe of the user.
상기 카메라는 안경, 보안경, 헬멧형 기기 중 어느 하나의 착용형 기기에 부착되는 것을 특징으로 하는 인터페이스 시스템.
The method of claim 1,
The camera is an interface system, characterized in that attached to the wearable device of any one of glasses, goggles, helmet type device.
상기 디스플레이 장치에 화면이 출력되는 단계;
카메라를 통해 획득된 눈 영상을 이용하여 시선 위치를 추적하는 단계;
상기 시선 위치에 대응하는 영역에 설정된 이동 방향으로 상기 화면을 이동시키는 단계;
뇌파 센서를 통해 획득된 뇌파를 이용하여 뇌파 정보를 산출하는 단계; 및
상기 뇌파 정보에 따라 상기 화면의 이동 속도를 제어하는 단계를 포함하되,
상기 뇌파 정보는 집중도를 포함하고,
상기 뇌파 정보에 따라 상기 화면의 이동 속도를 제어하는 단계는
상기 집중도에 따라 상기 화면의 이동 속도를 제어하는 것을 특징으로 하는 인터페이스 방법.
In the interface method in the interface system having a display device,
Outputting a screen to the display device;
Tracking the gaze position using an eye image acquired through a camera;
Moving the screen in a movement direction set in an area corresponding to the gaze position;
Calculating EEG information by using EEG acquired through EEG sensor; And
Controlling the movement speed of the picture according to the EEG information,
The EEG information includes a concentration level,
Controlling the moving speed of the screen according to the EEG information
Interface method characterized in that for controlling the moving speed of the screen according to the concentration.
상기 화면을 이동시키는 단계는
상기 눈 영상을 이용하여 눈 깜빡임을 감지하는 단계; 및
상기 눈 깜빡임이 감지되면, 상기 시선 위치에 대응하는 영역에 설정된 이동 방향으로 상기 화면을 이동시키는 단계를 포함하는 것을 특징으로 하는 인터페이스 방법.
9. The method of claim 8,
The step of moving the screen
Detecting eye blink using the eye image; And
And when the eye blink is detected, moving the screen in a movement direction set in an area corresponding to the gaze position.
상기 눈 영상을 이용하여 눈 깜빡임을 감지하는 단계는
상기 눈 영상에서 동공 영역의 흑화소 수를 산출하는 단계;
상기 동공 영역의 흑화소 수가 미리 설정된 임계치 이하로 감소하면, 눈이 감긴 것으로 판단하는 단계; 및
상기 흑화소 수가 미리 설정된 시간 이내에 임계치를 초과하게 되면, 눈이 다시 떠진 것으로 판단하여 상기 눈 깜빡임을 감지하는 단계를 포함하는 것을 특징으로 하는 인터페이스 방법.
The method of claim 10,
Detecting eye blink using the eye image
Calculating the number of black pixels of the pupil area in the eye image;
Determining that the eyes are closed when the number of black pixels in the pupil area decreases below a preset threshold; And
If the number of black pixels exceeds a threshold within a preset time, determining that the eyes are left again and detecting the blinking of the eyes.
상기 화면의 이동 속도를 제어하는 단계 이후에,
눈 깜빡임이 감지되면, 상기 화면의 이동을 정지하는 단계;
상기 시선 위치가 정지 명령이 설정된 영역에 대응되고, 상기 눈 깜빡임이 감지되면, 상기 화면을 확대하는 단계; 및
상기 화면의 확대 중에 상기 눈 깜빡임이 감지되면, 화면 확대를 중지하는 단계를 더 포함하는 인터페이스 방법.
9. The method of claim 8,
After controlling the moving speed of the screen,
When the eye blink is detected, stopping the movement of the screen;
Enlarging the screen when the gaze position corresponds to a region where a stop command is set and the eye blink is detected; And
If the eye blink is detected while the screen is enlarged, stopping the screen magnification.
상기 시선 위치를 추적하는 단계는
상기 눈 영상을 수신하는 단계;
상기 눈 영상으로부터 동공 영역을 검출하고, 상기 동공 영역에서 동공 중심을 결정하는 단계; 및
미리 설정된 변환함수를 이용하여 상기 동공 중심을 상기 디스플레이 장치의 디스플레이 평면에 맵핑시켜 상기 시선 위치를 산출하는 단계를 포함하는 것을 특징으로 하는 인터페이스 방법.
9. The method of claim 8,
The track that tracks the line of sight is
Receiving the eye image;
Detecting a pupil area from the eye image and determining a pupil center in the pupil area; And
And calculating the gaze position by mapping the pupil center to a display plane of the display device by using a preset conversion function.
상기 디스플레이 장치에 출력되는 화면은 지도 화면 또는 3차원 가상 공간 화면인 것을 특징으로 하는 인터페이스 방법.9. The method of claim 8,
And the screen output to the display device is a map screen or a 3D virtual space screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110077500A KR101272811B1 (en) | 2011-08-03 | 2011-08-03 | System and method for interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110077500A KR101272811B1 (en) | 2011-08-03 | 2011-08-03 | System and method for interface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130015488A KR20130015488A (en) | 2013-02-14 |
KR101272811B1 true KR101272811B1 (en) | 2013-06-10 |
Family
ID=47895290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110077500A KR101272811B1 (en) | 2011-08-03 | 2011-08-03 | System and method for interface |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101272811B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349071B2 (en) | 2014-10-20 | 2016-05-24 | Hyundai Motor Company | Device for detecting pupil taking account of illuminance and method thereof |
WO2016111421A1 (en) * | 2015-01-09 | 2016-07-14 | 주식회사 호두랩스코리아 | Method and system for providing eye image-based user interface, and non-transitory computer-readable recording medium |
KR101923656B1 (en) | 2017-08-09 | 2018-11-29 | 계명대학교 산학협력단 | Virtual reality control system that induces activation of mirror nervous system and its control method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101655818B1 (en) | 2014-12-11 | 2016-09-08 | 현대자동차주식회사 | Wearable glass, control method thereof and vehicle control system |
KR101660634B1 (en) * | 2015-03-23 | 2016-09-27 | 한국과학기술원 | Method for estimating directional view point based on brain signal and apparatus thereof |
EP3392739B1 (en) | 2015-12-17 | 2022-04-20 | Looxid Labs Inc. | Eye-brain interface (ebi) system and method for controlling same |
US10706631B2 (en) * | 2018-10-31 | 2020-07-07 | Advanced Micro Devices, Inc. | Image generation based on brain activity monitoring |
KR102522349B1 (en) * | 2020-06-12 | 2023-04-18 | 고려대학교 산학협력단 | Brain-computer interface apparatus and operating method of determining intention of user based on brain activity according to attention level |
KR20230057494A (en) | 2021-10-21 | 2023-05-02 | 삼성디스플레이 주식회사 | Device for providing augmented reality and system for augmented providing augmented reality using the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110035585A (en) * | 2009-09-30 | 2011-04-06 | 전자부품연구원 | Game apparatus for interacting according to user's status determined by eye image and method for providing game |
-
2011
- 2011-08-03 KR KR1020110077500A patent/KR101272811B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110035585A (en) * | 2009-09-30 | 2011-04-06 | 전자부품연구원 | Game apparatus for interacting according to user's status determined by eye image and method for providing game |
Non-Patent Citations (2)
Title |
---|
논문(2010.07.15) * |
논문(2010.07.15)* |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349071B2 (en) | 2014-10-20 | 2016-05-24 | Hyundai Motor Company | Device for detecting pupil taking account of illuminance and method thereof |
WO2016111421A1 (en) * | 2015-01-09 | 2016-07-14 | 주식회사 호두랩스코리아 | Method and system for providing eye image-based user interface, and non-transitory computer-readable recording medium |
KR20160108563A (en) * | 2015-01-09 | 2016-09-19 | 주식회사 룩시드랩스 | Method and system for providing eye image-based user interface, and non-transitory computer-readable recording medium |
KR101723840B1 (en) * | 2015-01-09 | 2017-04-06 | 주식회사 룩시드랩스 | Method and system for providing eye image-based user interface, and non-transitory computer-readable recording medium |
KR101923656B1 (en) | 2017-08-09 | 2018-11-29 | 계명대학교 산학협력단 | Virtual reality control system that induces activation of mirror nervous system and its control method |
Also Published As
Publication number | Publication date |
---|---|
KR20130015488A (en) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101272811B1 (en) | System and method for interface | |
US11782516B2 (en) | Differentiating a detected object from a background using a gaussian brightness falloff pattern | |
US10074031B2 (en) | 2D image analyzer | |
JP6577454B2 (en) | On-axis gaze tracking system and method | |
CN107066962B (en) | Enhanced contrast for object detection and characterization by optical imaging | |
US8678589B2 (en) | Gaze target determination device and gaze target determination method | |
KR20130107981A (en) | Device and method for tracking sight line | |
Cho et al. | Gaze Detection by Wearable Eye‐Tracking and NIR LED‐Based Head‐Tracking Device Based on SVR | |
KR101712350B1 (en) | Near-eye display device for selecting virtual object, method for selecting virtual object using the device and recording medium for performing the method | |
JP6221292B2 (en) | Concentration determination program, concentration determination device, and concentration determination method | |
EP3042341A1 (en) | Method and apparatus for eye detection from glints | |
KR101961266B1 (en) | Gaze Tracking Apparatus and Method | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
JP2017202038A (en) | Discrimination device, discrimination method, and discrimination program | |
WO2015080003A1 (en) | Pupil detection device, line-of-sight detection device, and pupil detection method | |
JP2022131345A (en) | Pupil detection device and pupil detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160602 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180531 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190529 Year of fee payment: 7 |