WO2016200224A1 - 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2016200224A1
WO2016200224A1 PCT/KR2016/006220 KR2016006220W WO2016200224A1 WO 2016200224 A1 WO2016200224 A1 WO 2016200224A1 KR 2016006220 W KR2016006220 W KR 2016006220W WO 2016200224 A1 WO2016200224 A1 WO 2016200224A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
infrared rays
near infrared
light
head
Prior art date
Application number
PCT/KR2016/006220
Other languages
English (en)
French (fr)
Inventor
채용욱
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Publication of WO2016200224A1 publication Critical patent/WO2016200224A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for monitoring a user's biological activity.
  • NIRS Near InfraRed Spectroscopy
  • Near-infrared spectroscopy measures the degree of attenuation of near-infrared rays (due to scattering and absorption by oxidized hemoglobin or non-oxidized hemoglobin) that depends on changes in the concentrations of oxidized hemoglobin and non-oxidized hemoglobin due to neuronal activity occurring in the human brain. Indirect analysis of neural activity in the measurement area. Specifically, a near-infrared spectrum having a wavelength range of about 630 nm to 1300 nm can penetrate human tissues, including the human skull, and generates such near infrared rays to the human head region (see FIG. That is, by detecting and reflecting near infrared rays reflected or scattered therefrom, it is possible to monitor changes in the concentration of oxygen (ie, hemoglobin) in the blood in the cerebral cortex of the person.
  • oxygen ie, hemoglobin
  • a near-infrared generating module aka light source
  • near-infrared detection module aka light detector
  • an optical sensor is placed on various parts of the human head.
  • OD optical density
  • techniques for monitoring brain activity using near-infrared spectroscopy can be used to determine the user's intentions (e.g., to manipulate the device, etc.) in implementing BCI. Since monitoring brain activity is difficult to grasp the user's intention in detail, it is necessary to use other techniques such as eye tracking technology and pulse measuring technology in addition to brain activity monitoring technology.
  • the present inventors propose a technique that can accurately and accurately grasp the user's intention by monitoring various biological activities of the user using near infrared rays.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the at least one light generating portion disposed in the user's head portion to generate near-infrared light for at least one point of the user's head portion, at least one first light disposed in the user's head portion
  • the sensing unit detects the near infrared rays reflected or scattered from the user's head portion
  • the at least one second light sensing unit disposed at a position facing the user's eye portion detects the near infrared rays transmitted through the user's eye region
  • the user may determine a state related to the brain activity or pulse of the user with reference to the information about the near infrared rays detected by the at least one first light detector, and the information about the near infrared rays detected by the at least one second light detector.
  • a method for monitoring a user's biological activity the at least one light generating portion disposed in the user's head region to generate near-infrared light for at least one point of the user's head region
  • the at least one first light detector disposed on the head of the user detects near-infrared rays reflected or scattered from the head of the user, and at least one agent disposed at a position facing the eye of the user. 2 causing the light sensing unit to detect near infrared rays transmitted through the eye region of the user, and to the brain activity or pulse of the user with reference to information about the near infrared rays detected by the at least one first light sensing unit.
  • the method comprises the step of tracking the eye of the user is provided with information about the near-infrared light that is detected by reference.
  • a method for monitoring a user's biological activity comprising the step of causing at least one light generating unit disposed at a position facing the eye area of the user to generate near infrared rays for the eye area of the user. At least one first light detector disposed at the head of the user to detect near infrared rays transmitted through the head of the user, and at least one second light disposed at a position facing the eye of the user. Detecting a near infrared ray reflected or scattered from an eye region of the user; and detecting the near infrared ray detected by the at least one first light detecting unit. Determine a state and be detected by the at least one second light sensing unit. Is provided with a step of tracking the eye of the user with reference to information about near infrared rays.
  • a system for monitoring a user's biological activity wherein at least one light generating portion disposed in a user's head region generates near-infrared light for at least one point of the user's head region. And at least one first light detector disposed at the head of the user to detect near infrared rays reflected or scattered from the head of the user, and at least one agent disposed at a position facing the eye of the user.
  • a system for monitoring a user's biological activity wherein at least one light generating unit disposed at a position facing a user's eye area generates near infrared rays with respect to the user's eye area.
  • At least one first light detector disposed at the head of the user to detect near infrared rays transmitted through the head of the user, and at least one second light disposed at a position facing the eye of the user.
  • a device manager configured to detect a near infrared ray reflected or scattered from the eye part of the user, and information about the near infrared ray detected by the at least one first light detector, to the brain activity or pulse of the user. Determine a state related to the at least one second light sensing unit.
  • a system including a state determination unit for tracking the gaze of the user with reference to information about the near-infrared light sensed.
  • non-transitory computer readable recording medium for recording another method, system, and computer program for executing the method for implementing the present invention.
  • the effect of being able to grasp the intention of the user concretely and accurately is achieved.
  • the present invention there is no need to provide a variety of sensing devices, by using only near-infrared sensing device to generate near-infrared rays for the human body and to detect the near-infrared rays reflected, scattered or transmitted from the human body to a variety of physical activity of the user Since information (for example, information about the degree of activity of nerve activity occurring in the brain, the position or movement of the eye, the pulse rate, etc.) can be obtained, the effect of reducing the complexity of the system and increasing the user's convenience is achieved. .
  • FIG. 1 is a view schematically showing an external configuration of a monitoring device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of a monitoring system according to an embodiment of the present invention by way of example.
  • 3 and 4 are diagrams exemplarily illustrating a configuration for monitoring biometric activity of a user using near infrared rays according to an embodiment of the present invention.
  • 5 and 6 are diagrams exemplarily illustrating a configuration for monitoring biometric activity of a user using near infrared rays according to another exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a monitoring device configured in the form of an HMD according to another embodiment of the present invention.
  • control unit 260 control unit
  • FIG. 1 is a view schematically showing an external configuration of a monitoring device according to an embodiment of the present invention.
  • an external configuration of the monitoring device 100 according to the present invention is not necessarily limited to that shown in FIG. 1, and it can be understood that the present invention may be changed as much as possible within the scope of achieving the object of the present invention.
  • the monitoring device 100 may be worn on a user's head (see FIG. 1B), and the near infrared rays necessary for monitoring the user's biological activity It can perform a function of measuring a signal related to.
  • the monitoring system 200 according to an embodiment of the present invention, by processing or analyzing the signal related to the near-infrared signal as described below to track the eyes of the user or to monitor the state of the brain activity or pulse Function can be performed.
  • the monitoring device 100 at least one light generating unit 110 that performs the function of generating a near infrared ray to at least one point of the user's head portion, as described above And a first light detector 110 that detects near infrared rays reflected or scattered from the user's head, and a second light generated as described above to detect near infrared rays transmitted through the eye region of the user. It may include a detector 120.
  • the at least one light generating unit 110 and the at least one first light detecting unit 110 may be disposed in a state corresponding to each other (or paired with each other). have.
  • the near infrared rays detected by the first light detector 110 or the second light detector 120 included in the monitoring device 100 can be specified as an Optical Density (OD) signal based on near infrared spectroscopy.
  • OD Optical Density
  • the monitoring device 100 at least one light generating unit 120 to perform the function of generating a near infrared ray to the eye area of the user, transmitted through the head of the user
  • the first light detector 110 may be configured to detect a near infrared ray
  • the second light detector 120 may be configured to detect a near infrared ray reflected or scattered from an eye portion of the user.
  • FIG. 2 is a diagram illustrating an internal configuration of a monitoring system according to an embodiment of the present invention by way of example.
  • the monitoring system 200 includes a device manager 210, a signal processor 220, a state determiner 230, a database 240, a communicator 250, and The controller 260 may be included.
  • the device manager 210, the signal processor 220, the state determiner 230, the database 240, the communicator 250, and the controller 260 may be an external system.
  • Program modules in communication with may be included in the monitoring system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
  • these program modules may be stored in a remote storage device that can communicate with the monitoring system 200.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the device may be implemented within the monitoring device 100 or may be included in the monitoring device 100. In some cases, all the functions and all the components of the monitoring system 200 may be executed entirely in the monitoring device 100 or may be included in the monitoring device 100 entirely.
  • the device manager 210 at least one light generating unit 110 included in the monitoring device 100 generates near-infrared rays to the user's head portion and at least one agent
  • the monitoring device may allow the first light detector 110 to detect near infrared rays reflected or scattered from the user's head and the at least one second light detector 120 to detect near infrared rays transmitted through the user's eyes.
  • a function of managing 100 may be performed.
  • the device manager 210 according to an embodiment of the present invention may manage other functions or components of the monitoring device 100 necessary to perform monitoring of brain activity of the user.
  • the device manager 210 may include at least two light generators 110 of the monitoring device 100 having different characteristics (eg, wavelength ranges) from each other.
  • the NIR may be generated in a time division scheme or a frequency division scheme, respectively.
  • the device manager 210 may include a first wavelength suitable for the at least one light generator 110 of the monitoring device 100 to measure brain activity or pulse of a user.
  • Near-infrared rays of the second wavelength range suitable for detecting the near-infrared rays of the range and the position or movement of the eyes of the user (that is, eye tracking) may be generated by alternating time zones or by generating different frequencies. By doing so, it is possible to prevent the interference between the near infrared rays in the first wavelength range and the near infrared rays in the second wavelength range.
  • the device manager 210 may include a first device suitable for measuring at least one first light sensor 110 of the monitoring device 100 to measure brain activity or pulse of a user. It is possible to mainly detect the near infrared rays in the wavelength range, the at least one second light detection unit 120 of the monitoring device 100 is suitable for detecting (ie, eye tracking) the position or movement of the user's eyes. It can mainly detect near infrared rays in the 2 wavelength range.
  • the signal processing unit 220 refers to the information on the relationship between the position or movement of the user's pupil and the characteristic change of the near infrared, according to the position or movement of the user's pupil
  • a function of adaptively correcting a signal for example, an optical density signal related to near infrared rays detected by the first light detector 110 or the second light detector 120 may be performed.
  • the signal processor 220 normalizes a near infrared signal (ie, an optical density signal) transmitted through the eye part of the user based on the size of the user's pupil. Function can be performed.
  • a normalized optical density signal may be generated by dividing the optical density signal according to the near infrared rays detected by the second light detector 120 by the size (area) of the pupil of the corresponding user.
  • the state determiner 230 refers to the information on the near-infrared rays detected by the first light detector 110 to determine the state of the brain activity or pulse of the user. Determining function can be performed.
  • the state determiner 230 may provide an optical representation of blood volume flowing through cerebral veins based on near infrared spectroscopy from information about near infrared rays detected by the first light detector 110.
  • the density signal may be calculated or an optical density signal may be obtained from the monitoring device 100. The higher the optical density signal, the lower the concentration of blood oxygen (ie, hemoglobin) of blood in the blood vessels of the cerebral cortex of the user. Can be determined to be in a state.
  • the state determiner 230 may perform a function of tracking the eyes of the user by referring to the information about the near infrared rays detected by the second light detector 120.
  • the state determiner 230 may use intensity of wavelengths of near infrared rays transmitted through the eye region of the user from information about the near infrared rays sensed by the second light detector 120. May be obtained or information about wavelength intensity of the near infrared ray may be obtained from the monitoring device 100, and an area where the intensity of the near infrared ray is low in a specific wavelength range among the areas to be measured may be measured (ie, in the eyes of the user). By determining the area where the near-infrared ray is absorbed or scattered in a specific wavelength range as the area where the user's eyes are located, it is possible to track the eyes of the user.
  • the state determiner 230 compares a result of detecting near infrared rays transmitted through the user's left eye region with a result of detecting near infrared rays transmitted through the user's right eye region.
  • the activity state of the left brain of the user and the activity state of the right brain can be indirectly compared.
  • the state determiner 230 may determine the activity state of the left brain of the user with reference to a near infrared signal transmitted through the left eye region of the user.
  • a near infrared signal transmitted through the left eye region of the user By referring to the near-infrared signal transmitted through the right eye area of the user through the right eye area, the user's right brain activity can be determined, and the emotional state of the user is compared by comparing the activity state of the left brain and the right brain determined as described above. Or based on the asymmetry of the activity state of the left and right brain determined as described above can be estimated whether the user suffers from depression.
  • the database 240 the information about the near infrared rays sensed by the monitoring device 100, the position or movement of the pupil of the user and the relationship between the characteristic change of the near infrared rays detected
  • Various information may be stored, such as related information, information about a user's biometric activity determined based on the sensed near infrared rays, and information about a user's intention estimated from the user's biometric activity determined above.
  • the database 240 may further store various information regarding the monitoring of biological activity performed according to the present invention. Although the database 240 is illustrated as being included in the monitoring system 200 in FIG.
  • the database 240 may be configured separately from the monitoring system 200 according to the needs of those skilled in the art to implement the present invention. It may be.
  • the database 240 in the present invention is a concept that includes a computer-readable recording medium, and may be a broad database including not only a negotiated database but also a data record based on a file system. If the set can be retrieved to extract data, it can be the database 240 in the present invention.
  • the communication unit 250 performs a function to enable the monitoring system 200 to communicate with an external device.
  • the controller 260 controls the flow of data between the device manager 210, the signal processor 220, the state determiner 230, the database 240, and the communicator 250. It performs the function. That is, the controller 260 controls the flow of data from the outside or between each component of the monitoring system 200, thereby controlling the device manager 210, the signal processor 220, the state determiner 230, and the database 240. ) And the communication unit 250 controls to perform a unique function.
  • the monitoring system 200 with reference to the biological activity of the user determined as described above, can determine the intention of the user specifically and accurately.
  • the monitoring system 200 may detect a graphic object among a plurality of graphic objects on a display screen as the user's eyes are tracked. When it is recognized that the neural activity occurring in the user's brain is significantly increased, it can be understood that the user has an intention to select the graphic object.
  • the monitoring system 200 with reference to the information on the gaze of the user to be tracked as described above, the user gazes on the display screen or space You can identify and track where you are.
  • the monitoring system 200 the near-infrared ray derived (or determined) while the user gazes at a specific point (or a specific object located at a specific point) on the display screen or space
  • spectroscopy-based information on brain activity or pulse state we analyze how a person responds to a particular point or object (e.g., emotional state, cognitive state, excited state, stress state, etc.) can do.
  • the monitoring system 200 may further include a separate camera device capable of capturing a scene (or image) displayed on a display screen or a space.
  • 3 and 4 are diagrams exemplarily illustrating a configuration for monitoring biometric activity of a user using near infrared rays according to an embodiment of the present invention.
  • the near-infrared ray 310 generated by the light generator 110 with respect to the user's head is reflected or scattered from the head, and detected by the first light detector 110 ( 310, the light passing through the human tissue or blood vessel of the head portion through the eye portion may be detected by the second light detector 120 (320).
  • the light generating unit 110 and the first light detecting unit 110 is located near the eye area of the user's head (for example, the forehead near the eye area or Temple part), and the second light detecting unit 120 may be disposed at a position where the user's eyes may be viewed.
  • the near infrared rays 410a and 410b respectively generated by the two or more light generating units 110a and 110b with respect to the user's head part are reflected or scattered from the head part and thus, the two or more first lights.
  • the sensors 110a and 110b may be respectively sensed (410a and 410b) or may be transmitted through the eye region through human tissue or blood vessels of the head and may be detected by the second light detector 120 (420a and 420b). ).
  • the second light detector 120 420a and 420b.
  • at least two light generating units 110 and at least two first light detecting units 110 are located close to the eyes of the user's head (for example, at the eyes). Close to the forehead or temple), and the second light detector 120 may be disposed at a position where the user's eyes may be viewed.
  • the two or more light generators 110a and 110b may have different characteristics so that interference does not occur between the near infrared rays generated by each of the two or more light generators 110a and 110b.
  • Branches may generate near-infrared rays at different time intervals or at different frequencies, thereby reducing interference between near-infrared rays having different characteristics and more accurately monitoring the user's biological activity.
  • 5 and 6 are diagrams exemplarily illustrating a configuration for monitoring biometric activity of a user using near infrared rays according to another exemplary embodiment of the present invention.
  • the device manager 210 of the monitoring system 200 may include at least one light generator 110 disposed at a position facing the eye of the user. May generate near-infrared rays with respect to the eyes of the user, and at least one first light detector 120, 120a, and 120b disposed on the user's head may detect near-infrared rays transmitted through the user's head.
  • the at least one second light detector 110 disposed at a position facing the eyes of the user may detect near infrared rays reflected or scattered from the eyes of the user.
  • the state determiner 230 of the monitoring system 200 may be configured by at least one first light detector 120, 120a, or 120b.
  • the user may determine the state of the brain activity or the pulse of the user with reference to the information about the detected near infrared rays, and the user with reference to the information about the near infrared rays detected by the at least one second light detector 110. You can track your eyes.
  • the near-infrared ray 510 generated by the light generating unit 110 with respect to the user's head part enters the user's human body through the eyeball part of the user and the human body tissue of the user's head part.
  • the light beam may be transmitted through the blood vessel and sensed by the first light detector 120 (520) or reflected or scattered from the eye area by the second light detector 110 (530).
  • the light generating unit 110 and the second light detecting unit 110 may be disposed at a position where the user's eyes may be viewed, and the first light detecting unit ( 120 may be disposed at a user's head near the eye (for example, a forehead or a temple near the eye).
  • the near-infrared ray 610 generated by the light generating unit 110 to the user's eye area enters the user's human body through the eyeball part of the user, and the human body tissue of the user's head part.
  • the light beam may be transmitted through a blood vessel and sensed by two or more first light detectors 120a and 120b, respectively, or may be reflected or scattered from an eye region and detected by the second light detector 110 (see FIG. 630).
  • the light generating unit 110 and the second light detecting unit 110 may be disposed at a position to look at the eyes of the user, two or more first light sensing
  • the parts 120a and 120b may be disposed at a portion near the eye of the user's head (for example, a forehead or a temple near the eye).
  • the monitoring device may be configured in the form of a head mounted device (HMD) capable of implementing virtual reality (VR).
  • HMD head mounted device
  • VR virtual reality
  • FIG. 7 is a diagram illustrating an example of a monitoring device configured in the form of an HMD according to another embodiment of the present invention.
  • the light generator 710 of the monitoring device 700 may be disposed at a position close to the head of the user to generate near-infrared light with respect to the head of the user, and the first device of the monitoring device 700 may be used.
  • the light detector 720 may be disposed on a part of the user's forehead to detect near infrared rays reflected or scattered from the user's head, and the second light detector 730 of the monitoring device 700 may be a user's eye. It may be configured integrally with a lens adjacent to the site or disposed at a predetermined angle around the lens to detect near-infrared light transmitted through the user's eye area.
  • the second light detector 730 of the monitoring device 700 may detect near infrared rays transmitted through a predetermined film selectively transmitting (or polarizing) near infrared rays. have.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded on a non-transitory computer readable recording medium.
  • the non-transitory computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the non-transitory computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • non-transitory computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks ( magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명의 일 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계, 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.

Description

사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 뇌-컴퓨터 인터페이스(BCI; Brain-Computer Interface)에 대한 연구가 활발하게 진행되고 있으며, 그 중에서 근적외선 분광법(NIRS; Near InfraRed Spectroscopy)을 이용하여 뇌 활동을 모니터링하는 기술이 주목을 받고 있다.
근적외선 분광법은, 사람의 뇌에서 발생하는 신경 활동에 의한 산화 헤모글로빈과 비산화 헤모글로빈의 농도 변화에 따라 달라지는 근적외선의 감쇠 정도(산화 헤모글로빈 또는 비산화 헤모글로빈에 의한 산란 및 흡수에 기인한 것임)를 측정함으로써 그 측정 영역의 신경 활동을 간접적으로 분석하는 방법이다. 구체적으로 설명하면, 약 630 nm 내지 1300 nm의 파장 범위를 가진 근적외선(near-infrared spectrum)은 사람의 두개골 등을 비롯한 인체 조직을 투과할 수 있는데, 이러한 근적외선을 사람의 머리 부위에 대하여 발생시키고(즉, 조사하고) 그로부터 반사 또는 산란되는 근적외선을 감지함으로써, 그 사람의 대뇌 피질에서 일어나는 혈중 산소(즉, 산화 헤모글로빈)의 농도 변화를 모니터링할 수 있다.
최근에 소개된 모니터링 기술에 따르면, 광 센서(optode)라고 하는 근적외선 발생 모듈(일명, 광 소스(source)) 또는 근적외선 감지 모듈(일명, 광 디텍터(detector))을 사람의 머리의 여러 부위에 소정의 간격으로 배치하고, 광 센서로부터 획득되는 신호(예를 들면, 근적외선 분광법에 기초한 광학 밀도(OD; Optical Density) 신호)를 분석함으로써 사람의 뇌(특히, 피질)에서 일어나는 신경 활동을 정량화할 수 있게 된다.
앞서 언급한 바와 같이, 근적외선 분광법을 이용하여 뇌 활동을 모니터링하는 기술이 BCI를 구현함에 있어서 사용자의 의도(예를 들면, 디바이스를 조작하려는 의도 등)를 파악하는 데에 활용될 수 있기는 하지만, 뇌 활동을 모니터링하는 것만으로는 사용자의 의도를 구체적으로 파악하기 어렵다는 한계가 있기 때문에, 뇌 활동 모니터링 기술에 더하여 시선 추적 기술, 맥박 측정 기술 등의 다른 기술이 복합적으로 활용될 필요가 있다.
이에, 본 발명자는, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링함으로써, 사용자의 의도를 구체적이고도 정확하게 파악할 수 있는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 시선을 추적함으로써, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링하고 사용자의 의도를 구체적이고도 정확하게 파악할 수 있는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 시스템으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 이용하여 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 디바이스 관리부, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부를 포함하는 시스템이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 시스템으로서, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 디바이스 관리부, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링할 수 있으므로, 사용자의 의도를 구체적이고도 정확하게 파악할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 여러 종류의 센싱 디바이스를 구비할 필요 없이, 근적외선 센싱 디바이스만을 이용하여 인체에 대하여 근적외선을 발생시키고 인체로부터 반사, 산란 또는 투과되는 근적외선을 감지함으로써 사용자의 신체 활동에 관한 다양한 정보(예를 들면, 뇌에서 발생하는 신경 활동의 활성 정도, 시선의 위치 또는 움직임, 맥박수 등에 관한 정보)를 획득할 수 있으므로, 시스템의 복잡도를 낮추고 사용자의 편의성을 높일 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자의 생체 활동에 관한 정보로부터 추정될 수 있는 사용자의 의도에 관한 구체적이고도 정확한 정보를 활용하여 사용자 리서치 툴, 이미지 분석 툴, 게임 조작 인터페이스 등의 다양한 응용 기술의 개발에 기여할 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 모니터링 디바이스의 외부 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모니터링 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따라 HMD의 형태로 구성되는 모니터링 디바이스의 모습을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 모니터링 디바이스
110: 광 발생부
120: 광 수신부
200: 모니터링 시스템
210: 디바이스 관리부
220: 신호 처리부
230: 상태 결정부
240: 데이터베이스
250: 통신부
260: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
모니터링 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 모니터링 시스템(200) 및 모니터링 디바이스(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따라 모니터링 디바이스의 외부 구성을 개략적으로 나타내는 도면이다. 참고로, 본 발명에 따른 모니터링 디바이스(100)의 외부 구성이 반드시 도 1에 도시된 바에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)는, 사용자의 머리 부위에 착용될 수 있고(도 1의 (b) 참조), 사용자의 생체 활동을 모니터링하기 위해 필요한 근적외선에 관한 신호를 측정하는 기능을 수행할 수 있다. 한편, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 위의 측정되는 근적외선에 관한 신호를 후술할 바와 같이 처리 또는 분석함으로써 사용자의 시선을 추적하거나 뇌 활동 또는 맥박에 관한 상태를 모니터링하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)는, 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키는 기능을 수행하는 적어도 하나의 광 발생부(110), 위와 같이 발생되어 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하는 기능을 수행하는 제1 광 감지부(110) 및 위와 같이 발생되어 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하는 기능을 수행하는 제2 광 감지부(120)를 포함할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 적어도 하나의 광 발생부(110)와 적어도 하나의 제1 광 감지부(110)는 서로 대응되는 상태로(또는 서로 쌍을 이루는 상태로) 배치될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)에 포함된 제1 광 감지부(110) 또는 제2 광 감지부(120)에 의하여 감지되는 근적외선은 근적외선 분광법에 기초한 광학 밀도(OD; Optical Density) 신호로서 특정될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스(100)는, 사용자의 눈 부위에 대하여 근적외선을 발생시키는 기능을 수행하는 적어도 하나의 광 발생부(120), 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하는 기능을 수행하는 제1 광 감지부(110) 및 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하는 기능을 수행하는 제2 광 감지부(120)를 포함할 수 있다. 본 발명의 다른 실시예에 관한 자세한 설명은 도 5 및 도 6을 참조로 하여 후술하기로 한다.
도 2는 본 발명의 일 실시예에 따른 모니터링 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 모니터링 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 모니터링 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 모니터링 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 모니터링 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 착용되는 휴대용 디바이스인 모니터링 디바이스(100) 내에서 실현되거나 모니터링 디바이스(100) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 모니터링 시스템(200)의 모든 기능과 모든 구성요소가 모니터링 디바이스(100) 내에 전부 실행되거나 모니터링 디바이스(100) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)에 포함된 적어도 하나의 광 발생부(110)가 사용자의 머리 부위에 대하여 근적외선을 발생시키고 적어도 하나의 제1 광 감지부(110)가 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하고 적어도 하나의 제2 광 감지부(120)가 사용자의 눈 분위를 통하여 투과되는 근적외선을 감지할 수 있도록, 모니터링 디바이스(100)를 관리하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따른 디바이스 관리부(210)는, 사용자의 뇌 활동을 모니터링을 수행하기 위하여 필요한 모니터링 디바이스(100)의 다른 기능 또는 구성요소를 관리할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 광 발생부(110)가 서로 다른 특성(예를 들면, 파장 범위)을 가지는 둘 이상의 근적외선을 시간 분할(time division) 방식으로 각각 발생시키거나 주파수 분할(frequency division) 방식으로 각각 발생시키도록 하는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 광 발생부(110)가 사용자의 뇌 활동 또는 맥박을 측정하는 데에 적합한 제1 파장 범위의 근적외선과 사용자의 눈동자의 위치 또는 움직임을 검출(즉, 시선 추적)하는 데에 적합한 제2 파장 범위의 근적외선을 시간대를 나누어 교대로 각각 발생시키거나 발생 주파수를 다르게 하여 각각 발생시킬 수 있다. 이렇게 함으로써, 제1 파장 범위의 근적외선과 제2 파장 범위의 근적외선 사이의 간섭이 발생하는 것을 방지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 제1 광 감지부(110)가 사용자의 뇌 활동 또는 맥박을 측정하는 데에 적합한 제1 파장 범위의 근적외선을 주로 감지하도록 할 수 있고, 모니터링 디바이스(100)의 적어도 하나의 제2 광 감지부(120)는 사용자의 눈동자의 위치 또는 움직임을 검출(즉, 시선 추적)하는 데에 적합한 제2 파장 범위의 근적외선을 주로 감지하도록 할 수 있다.
한편, 사용자의 눈동자는 근적외선을 그 파장에 따라 선택적으로 흡수하거나 산란시키는 특성을 가지고 있으므로, 사용자의 눈동자의 위치 또는 움직임에 따라 사용자의 안구를 통하여 투과되거나 사용자의 안구로부터 반사 또는 산란되는 근적외선의 특성이 달라질 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 신호 처리부(220)는, 사용자의 눈동자의 위치 또는 움직임과 근적외선의 특성 변화 사이의 관계에 관한 정보를 참조로 하여, 사용자의 눈동자의 위치 또는 움직임에 따라 제1 광 감지부(110) 또는 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 신호(예를 들면, 광학 밀도 신호 등)를 적응적으로 보정하는 기능을 수행할 수 있다.
또한, 사용자의 눈 부위를 통하여 투과되는 근적외선은 주로 사용자의 동공을 통하여 투과되므로, 사용자의 뇌 활동 또는 맥박과는 관계 없이, 사용자의 동공의 크기에 따라 사용자의 눈 부위를 통하여 투과되는 근적외선의 세기가 달라질 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 신호 처리부(220)는, 사용자의 동공의 크기를 기준으로 하여 사용자의 눈 부위를 통하여 투과되는 근적외선 신호(즉, 광학 밀도 신호)를 정규화(normalize)하는 기능을 수행할 수 있다. 예를 들면, 제2 광 감지부(120)에 의하여 감지된 근적외선에 따른 광학 밀도 신호를 해당 사용자의 동공의 크기(면적)으로 나눔으로써, 정규화된 광학 밀도 신호를 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 제1 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하는 기능을 수행할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 제1 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보로부터 근적외선 분광법에 기초하여 대뇌 정맥을 흐르는 혈액량을 나타내는 광학 밀도 신호를 산출하거나 모니터링 디바이스(100)로부터 광학 밀도 신호를 획득할 수 있으며, 광학 밀도 신호가 높을수록 해당 사용자의 대뇌 피질의 혈관 속에 존재하는 혈액의 혈중 산소(즉, 산화 헤모글로빈)의 농도가 낮은 상태인 것으로 결정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 시선을 추적하는 기능을 수행할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 정보로부터 사용자의 눈 부위를 통하여 투과되는 근적외선의 파장대별 세기를 산출하거나 모니터링 디바이스(100)로부터 근적외선의 파장대별 세기에 관한 정보를 획득할 수 있으며, 위의 측정의 대상이 되는 영역 중 특정 파장대의 근적외선의 세기가 낮게 측정되는 영역(즉, 사용자의 눈동자에 의해 특정 파장대의 근적외선이 흡수되거나 산란되는 영역)을 사용자의 눈동자가 위치하는 영역인 것으로 결정함으로써, 해당 사용자의 시선을 추적할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 사용자의 왼쪽 눈 부위를 통하여 투과되는 근적외선을 감지한 결과와 사용자의 오른쪽 눈 부위를 통하여 투과되는 근적외선을 감지한 결과를 비교함으로써, 해당 사용자의 왼쪽 뇌의 활동 상태와 오른쪽 뇌의 활동 상태를 간접적으로 비교할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 사용자의 좌뇌 부위를 지나 왼쪽 눈 부위를 통해 투과되는 근적외선 신호를 참조로 하여 해당 사용자의 좌뇌의 활동 상태를 결정할 수 있고, 사용자의 우뇌 부위를 지나 오른쪽 눈 부위를 통해 투과되는 근적외선 신호를 참조로 하여 해당 사용자의 우뇌의 활동 상태를 결정할 수 있으며, 위와 같이 결정되는 좌뇌와 우뇌의 활동 상태를 비교함으로써 해당 사용자의 감정 상태를 추정하거나, 위와 같이 결정되는 좌뇌와 우뇌의 활동 상태의 비대칭성에 근거하여 해당 사용자가 우울증을 앓고 있는지를 추정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는, 모니터링 디바이스(100)에 의하여 감지된 근적외선에 관한 정보, 사용자의 눈동자의 위치 또는 움직임과 감지되는 근적외선의 특성 변화 사이의 관계에 관한 정보, 위의 감지되는 근적외선에 기초하여 결정되는 사용자의 생체 활동에 관한 정보, 위의 결정되는 사용자의 생체 활동으로부터 추정되는 사용자의 의도에 관한 정보 등의 다양한 정보가 저장될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는 본 발명에 따라 수행되는 생체 활동 모니터링에 관한 다양한 정보가 더 저장될 수 있다. 비록 도 2에서 데이터베이스(240)가 모니터링 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(240)는 모니터링 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(240)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(240)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 모니터링 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(260)는 외부로부터의 또는 모니터링 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어한다.
한편, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 위와 같이 결정되는 사용자의 생체 활동을 참조로 하여, 해당 사용자의 의도를 구체적이고도 정확하게 파악할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 사용자의 시선을 추적함에 따라 사용자가 디스플레이 화면 상의 복수의 그래픽 객체 중 어떤 그래픽 객체를 바라보고 있다는 점이 인식되고 있는 상태에서 해당 사용자의 뇌에서 발생하는 신경 활동이 유의미하게 증가하고 있다는 점이 인식되는 경우에, 해당 사용자가 해당 그래픽 객체를 선택하고자 하는 의도를 가지고 있는 것으로 파악할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 앞서 설명된 바와 같이 추적되는 사용자의 시선에 관한 정보를 참조로 하여, 디스플레이 화면 또는 공간 상에서 해당 사용자가 응시(gaze)하고 있는 지점을 특정하고 추적할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 사용자가 디스플레이 화면 또는 공간 상의 특정 지점(또는 특정 지점에 위치하는 특정 객체)를 응시하고 있는 중에 도출되는(또는 결정되는) 근적외선 분광법에 기반한 뇌 활동 또는 맥박 상태에 관한 정보를 참조로 하여, 해당 사용자가 특정 지점 또는 특정 객체에 대하여 어떤 반응(예를 들면, 감정 상태, 인지 상태, 흥분 상태, 스트레스 상태 등)을 보이는지를 분석할 수 있다. 이를 위하여, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 디스플레이 화면 또는 공간에 표시되고 있는 장면(scene)(또는 영상)을 촬영할 수 있는 별도의 카메라 디바이스를 더 포함할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 3을 참조하면, 광 발생부(110)에 의하여 사용자의 머리 부위에 대하여 발생된 근적외선(310)이, 머리 부위로부터 반사 또는 산란되어 제1 광 감지부(110)에 의하여 감지되거나(310) 머리 부위의 인체 조직 또는 혈관을 지나 눈 부위를 통하여 투과되어 제2 광 감지부(120)에 의하여 감지될 수 있다(320). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제1 광 감지부(110)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있고, 제2 광 감지부(120)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있다.
다음으로, 도 4를 참조하면, 둘 이상의 광 발생부(110a, 110b)에 의하여 사용자의 머리 부위에 대하여 각각 발생된 근적외선(410a, 410b)이, 머리 부위로부터 반사 또는 산란되어 둘 이상의 제1 광 감지부(110a, 110b)에 의하여 각각 감지되거나(410a, 410b) 머리 부위의 인체 조직 또는 혈관을 지나 눈 부위를 통하여 투과되어 제2 광 감지부(120)에 의하여 감지될 수 있다(420a, 420b). 구체적으로, 본 발명의 일 실시예에 따르면, 둘 이상의 광 발생부(110)와 둘 이상의 제1 광 감지부(110)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있고, 제2 광 감지부(120)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 둘 이상의 광 발생부(110a, 110b) 각각이 발생시키는 근적외선 사이에 간섭이 발생하지 않도록, 둘 이상의 광 발생부(110a, 110b)는 각각 서로 다른 특성을 가지는 근적외선을 서로 다른 시간대에 나누어 발생시키거나 서로 다른 발생 주파수로 발생시킬 수 있으며, 이에 따라 서로 다른 특성을 가지는 근적외선 사이의 간섭을 줄이고 사용자의 생체 활동을 보다 정확하게 모니터링할 수 있게 된다.
도 5 및 도 6은 본 발명의 다른 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 모니터링 시스템(200)의 디바이스 관리부(210)는, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부(110)가 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 할 수 있고, 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부(120, 120a, 120b)가 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 할 수 있고, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부(110)가 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 할 수 있다.
또한, 도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 모니터링 시스템(200)의 상태 결정부(230)는, 적어도 하나의 제1 광 감지부(120, 120a, 120b)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 해당 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정할 수 있고, 적어도 하나의 제2 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 해당 사용자의 시선을 추적할 수 있다.
구체적으로, 도 5를 참조하면, 광 발생부(110)에 의하여 사용자의 머리 부위에 대하여 발생된 근적외선(510)이, 사용자의 안구 부위를 통하여 사용자의 인체 내로 진입하여 사용자의 머리 부위의 인체 조직 또는 혈관을 통하여 투과되어 제1 광 감지부(120)에 의하여 감지되거나(520) 눈 부위로부터 반사 또는 산란되어 제2 광 감지부(110)에 의하여 감지될 수 있다(530). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제2 광 감지부(110)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있고, 제1 광 감지부(120)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있다.
다음으로, 도 6을 참조하면, 광 발생부(110)에 의하여 사용자의 눈 부위에 대하여 발생된 근적외선(610)이, 사용자의 안구 부위를 통하여 사용자의 인체 내로 진입하여 사용자의 머리 부위의 인체 조직 또는 혈관을 통하여 투과되어 둘 이상의 제1 광 감지부(120a, 120b)에 의하여 각각 감지되거나(620a, 620b) 눈 부위로부터 반사 또는 산란되어 제2 광 감지부(110)에 의하여 감지될 수 있다(630). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제2 광 감지부(110)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있고, 둘 이상의 제1 광 감지부(120a, 120b)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스는 가상 현실(VR)을 구현할 수 있는 HMD(Head Mounted Device)의 형태로 구성될 수 있다.
도 7은 본 발명의 다른 실시예에 따라 HMD의 형태로 구성되는 모니터링 디바이스의 모습을 예시적으로 나타내는 도면이다.
도 7을 참조하면, 모니터링 디바이스(700)의 광 발생부(710)는 사용자의 머리 부위와 가까운 위치에 배치되어 사용자의 머리 부위에 대하여 근적외선을 발생시킬 수 있고, 모니터링 디바이스(700)의 제1 광 감지부(720)는 사용자의 이마에 닿는 부분에 배치되어 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지할 수 있고, 모니터링 디바이스(700)의 제2 광 감지부(730)는 사용자의 눈 부위와 인접하는 렌즈와 일체로 구성되거나 해당 렌즈의 주변에 소정의 각도를 이룬 채로 배치되어 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스(700)의 제2 광 감지부(730)는 근적외선을 선택적으로 투과시키는(혹은 편광 처리된) 소정의 필름을 통해 투과되는 근적외선을 감지할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 사용자의 생체 활동을 모니터링하기 위한 방법으로서,
    사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계,
    상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및
    상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 제1 광 감지부는 상기 적어도 하나의 광 발생부의 위치에 대응하여 배치되는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 기초하여 산출되는 근적외선 분광법(NIRS; Near InfraRed Spectroscopy)에 따른 광학 밀도(OD; Optical Density) 신호를 참조로 하여, 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 기초하여, 상기 사용자의 눈동자의 위치 및 움직임을 인식하는 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 광 발생부는, 서로 다른 특성을 가지는 둘 이상의 근적외선을 시간 분할 방식 또는 주파수 분할 방식으로 각각 발생시키는 방법.
  6. 제1항에 있어서,
    눈동자의 위치 또는 움직임과 근적외선의 특성 변화 사이의 관계에 관한 정보를 참조로 하여, 상기 적어도 하나의 제1 광 감지부 또는 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 신호를 상기 사용자의 눈동자의 위치 또는 움직임에 따라 적응적으로 보정하는 방법.
  7. 제1항에 있어서,
    상기 사용자의 동공의 크기를 기준으로 하여, 제2 광 감지부에 의하여 감지되는 근적외선에 관한 신호를 정규화(normalize)하는 방법.
  8. 제1항에 있어서,
    상기 사용자의 왼쪽 눈 부위를 통하여 투과되어 감지되는 근적외선에 관한 정보와 상기 사용자의 오른쪽 눈 부위를 통하여 투과되어 감지되는 근적외선에 관한 정보를 참조로 하여, 상기 사용자의 왼쪽 뇌 활동에 관한 상태와 상기 사용자의 오른쪽 뇌 활동에 관한 상태를 결정하는 방법.
  9. 제1항에 있어서,
    상기 추적되는 상기 사용자의 시선과 상기 결정되는 상기 사용자의 뇌 활동 또는 맥박에 관한 상태에 관한 상태를 참조로 하여, 상기 사용자가 응시하고 있는 객체에 대하여 상기 사용자가 보이는 반응을 특정하는 단계
    를 더 포함하는 방법.
  10. 사용자의 생체 활동을 모니터링하기 위한 방법으로서,
    사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하는 단계,
    상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 단계, 및
    상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계
    를 포함하는 방법.
  11. 제1항 및 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
  12. 사용자의 생체 활동을 모니터링하기 위한 시스템으로서,
    사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 이용하여 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 디바이스 관리부, 및
    상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부
    를 포함하는 시스템.
  13. 사용자의 생체 활동을 모니터링하기 위한 시스템으로서,
    사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 디바이스 관리부, 및
    상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부
    를 포함하는 시스템.
PCT/KR2016/006220 2015-06-10 2016-06-10 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2016200224A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0081706 2015-06-10
KR20150081706 2015-06-10

Publications (1)

Publication Number Publication Date
WO2016200224A1 true WO2016200224A1 (ko) 2016-12-15

Family

ID=57504161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006220 WO2016200224A1 (ko) 2015-06-10 2016-06-10 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR101677198B1 (ko)
WO (1) WO2016200224A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056814A1 (zh) * 2017-09-20 2019-03-28 深圳市科迈爱康科技有限公司 智能眼镜及其信息采集及传输方法、计算机可读存储介质
GB2579618A (en) * 2018-12-06 2020-07-01 Robert Dacombe James An event-related optical signal device and a brain-computer interface system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228153B2 (ja) * 2018-10-19 2023-02-24 株式会社NeU 頭部装着装置、脳活動記録システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007202882A (ja) * 2006-02-03 2007-08-16 Advanced Telecommunication Research Institute International 活動補助システム
JP2009157634A (ja) * 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム
US20110279676A1 (en) * 2009-10-15 2011-11-17 Panasonic Corporation Driving attention amount determination device, method, and computer program
KR20130141904A (ko) * 2012-06-18 2013-12-27 서울대학교산학협력단 좌우 시각경로 차이를 이용한 ｓｓｖｅｐ―ｂｃｉ 시스템 및 이의 동작 방법
KR20150007643A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3928051B2 (ja) * 2004-01-14 2007-06-13 独立行政法人情報通信研究機構 心理状態評価装置
JP2006087727A (ja) * 2004-09-24 2006-04-06 Nippon Telegr & Teleph Corp <Ntt> 視線測定方法及び視線測定装置
KR101190351B1 (ko) * 2010-12-30 2012-10-11 고려대학교 산학협력단 근적외선 분광 검출 유니트, 근적외선 분광 검출 장치 및 이의 제어 방법
US20150031980A1 (en) * 2013-07-26 2015-01-29 Ybrain Inc. Brain signal management system and brain signal management method using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007202882A (ja) * 2006-02-03 2007-08-16 Advanced Telecommunication Research Institute International 活動補助システム
JP2009157634A (ja) * 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム
US20110279676A1 (en) * 2009-10-15 2011-11-17 Panasonic Corporation Driving attention amount determination device, method, and computer program
KR20130141904A (ko) * 2012-06-18 2013-12-27 서울대학교산학협력단 좌우 시각경로 차이를 이용한 ｓｓｖｅｐ―ｂｃｉ 시스템 및 이의 동작 방법
KR20150007643A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056814A1 (zh) * 2017-09-20 2019-03-28 深圳市科迈爱康科技有限公司 智能眼镜及其信息采集及传输方法、计算机可读存储介质
GB2579618A (en) * 2018-12-06 2020-07-01 Robert Dacombe James An event-related optical signal device and a brain-computer interface system
GB2579618B (en) * 2018-12-06 2022-12-21 Comind Tech Limited An event-related optical signal device and a brain-computer interface system

Also Published As

Publication number Publication date
KR101677198B1 (ko) 2016-11-17

Similar Documents

Publication Publication Date Title
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
RU2395228C2 (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
Kapitaniak et al. Application of eye-tracking in drivers testing: A review of research
US20190159675A1 (en) Point-of-care tele monitoring device for neurological disorders and neurovascular diseases and system and method thereof
US9946344B2 (en) Functional near infrared spectroscopy based brain computer interface
US11602296B2 (en) Non-invasive systems and methods for detecting mental impairment
KR20180001367A (ko) 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
US20140159862A1 (en) Method and apparatus for user-transparent system control using bio-input
US20220148728A1 (en) System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
WO2016200224A1 (ko) 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20180235456A1 (en) Device and system for monitoring an eye of a subject
CN112244765B (zh) 一种大脑暂时性异常态的检测方法、装置和系统
Zhou et al. Hazard differentiation embedded in the brain: A near-infrared spectroscopy-based study
CN111307290A (zh) 应用虹膜识别的非接触式身份识别与体温监测的方法与装置
Perpetuini et al. Can Functional Infrared Thermal Imaging Estimate Mental Workload in Drivers as Evaluated by Sample Entropy of the fNIRS Signal?
KR101723841B1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
WO2018030643A1 (ko) 헤모다이나믹스를 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020209688A1 (ko) 머신 러닝을 이용하여 머리에 관한 생체 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Dong et al. Onset classification in hemodynamic signals measured during three working memory tasks using wireless functional near-infrared spectroscopy
JP2018068720A (ja) 脈拍検出装置及び脈拍検出方法
JP2012529331A (ja) 生体認証のためのシステム及び方法
WO2021177797A1 (ko) 심정지 후 예후에 관한 정보를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Zhu et al. Dynamic time warping-based averaging framework for functional near-infrared spectroscopy brain imaging studies
de Almeida Ivo et al. Cerebral oxygenation responses to head movement measured with near-infrared spectroscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807864

Country of ref document: EP

Kind code of ref document: A1