KR101677198B1 - 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents
사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR101677198B1 KR101677198B1 KR1020160072767A KR20160072767A KR101677198B1 KR 101677198 B1 KR101677198 B1 KR 101677198B1 KR 1020160072767 A KR1020160072767 A KR 1020160072767A KR 20160072767 A KR20160072767 A KR 20160072767A KR 101677198 B1 KR101677198 B1 KR 101677198B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- infrared rays
- sensing unit
- light sensing
- light
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본 발명의 일 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
본 발명의 일 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
Description
본 발명은 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 뇌-컴퓨터 인터페이스(BCI; Brain-Computer Interface)에 대한 연구가 활발하게 진행되고 있으며, 그 중에서 근적외선 분광법(NIRS; Near InfraRed Spectroscopy)을 이용하여 뇌 활동을 모니터링하는 기술이 주목을 받고 있다.
근적외선 분광법은, 사람의 뇌에서 발생하는 신경 활동에 의한 산화 헤모글로빈과 비산화 헤모글로빈의 농도 변화에 따라 달라지는 근적외선의 감쇠 정도(산화 헤모글로빈 또는 비산화 헤모글로빈에 의한 산란 및 흡수에 기인한 것임)를 측정함으로써 그 측정 영역의 신경 활동을 간접적으로 분석하는 방법이다. 구체적으로 설명하면, 약 630 nm 내지 1300 nm의 파장 범위를 가진 근적외선(near-infrared spectrum)은 사람의 두개골 등을 비롯한 인체 조직을 투과할 수 있는데, 이러한 근적외선을 사람의 머리 부위에 대하여 발생시키고(즉, 조사하고) 그로부터 반사 또는 산란되는 근적외선을 감지함으로써, 그 사람의 대뇌 피질에서 일어나는 혈중 산소(즉, 산화 헤모글로빈)의 농도 변화를 모니터링할 수 있다.
최근에 소개된 모니터링 기술에 따르면, 광 센서(optode)라고 하는 근적외선 발생 모듈(일명, 광 소스(source)) 또는 근적외선 감지 모듈(일명, 광 디텍터(detector))을 사람의 머리의 여러 부위에 소정의 간격으로 배치하고, 광 센서로부터 획득되는 신호(예를 들면, 근적외선 분광법에 기초한 광학 밀도(OD; Optical Density) 신호)를 분석함으로써 사람의 뇌(특히, 피질)에서 일어나는 신경 활동을 정량화할 수 있게 된다.
앞서 언급한 바와 같이, 근적외선 분광법을 이용하여 뇌 활동을 모니터링하는 기술이 BCI를 구현함에 있어서 사용자의 의도(예를 들면, 디바이스를 조작하려는 의도 등)를 파악하는 데에 활용될 수 있기는 하지만, 뇌 활동을 모니터링하는 것만으로는 사용자의 의도를 구체적으로 파악하기 어렵다는 한계가 있기 때문에, 뇌 활동 모니터링 기술에 더하여 시선 추적 기술, 맥박 측정 기술 등의 다른 기술이 복합적으로 활용될 필요가 있다.
이에, 본 발명자는, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링함으로써, 사용자의 의도를 구체적이고도 정확하게 파악할 수 있는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 시선을 추적함으로써, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링하고 사용자의 의도를 구체적이고도 정확하게 파악할 수 있는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 방법으로서, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하는 단계, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 단계, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 시스템으로서, 사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 이용하여 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 디바이스 관리부, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부를 포함하는 시스템이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 생체 활동을 모니터링하기 위한 시스템으로서, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 디바이스 관리부, 및 상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 근적외선을 이용하여 사용자의 다양한 생체 활동을 모니터링할 수 있으므로, 사용자의 의도를 구체적이고도 정확하게 파악할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 여러 종류의 센싱 디바이스를 구비할 필요 없이, 근적외선 센싱 디바이스만을 이용하여 인체에 대하여 근적외선을 발생시키고 인체로부터 반사, 산란 또는 투과되는 근적외선을 감지함으로써 사용자의 신체 활동에 관한 다양한 정보(예를 들면, 뇌에서 발생하는 신경 활동의 활성 정도, 시선의 위치 또는 움직임, 맥박수 등에 관한 정보)를 획득할 수 있으므로, 시스템의 복잡도를 낮추고 사용자의 편의성을 높일 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자의 생체 활동에 관한 정보로부터 추정될 수 있는 사용자의 의도에 관한 구체적이고도 정확한 정보를 활용하여 사용자 리서치 툴, 이미지 분석 툴, 게임 조작 인터페이스 등의 다양한 응용 기술의 개발에 기여할 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 모니터링 디바이스의 외부 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모니터링 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따라 HMD의 형태로 구성되는 모니터링 디바이스의 모습을 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모니터링 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따라 HMD의 형태로 구성되는 모니터링 디바이스의 모습을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
모니터링 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 모니터링 시스템(200) 및 모니터링 디바이스(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따라 모니터링 디바이스의 외부 구성을 개략적으로 나타내는 도면이다. 참고로, 본 발명에 따른 모니터링 디바이스(100)의 외부 구성이 반드시 도 1에 도시된 바에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)는, 사용자의 머리 부위에 착용될 수 있고(도 1의 (b) 참조), 사용자의 생체 활동을 모니터링하기 위해 필요한 근적외선에 관한 신호를 측정하는 기능을 수행할 수 있다. 한편, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 위의 측정되는 근적외선에 관한 신호를 후술할 바와 같이 처리 또는 분석함으로써 사용자의 시선을 추적하거나 뇌 활동 또는 맥박에 관한 상태를 모니터링하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)는, 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키는 기능을 수행하는 적어도 하나의 광 발생부(110), 위와 같이 발생되어 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하는 기능을 수행하는 제1 광 감지부(110) 및 위와 같이 발생되어 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하는 기능을 수행하는 제2 광 감지부(120)를 포함할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 적어도 하나의 광 발생부(110)와 적어도 하나의 제1 광 감지부(110)는 서로 대응되는 상태로(또는 서로 쌍을 이루는 상태로) 배치될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 본 발명의 일 실시예에 따른 모니터링 디바이스(100)에 포함된 제1 광 감지부(110) 또는 제2 광 감지부(120)에 의하여 감지되는 근적외선은 근적외선 분광법에 기초한 광학 밀도(OD; Optical Density) 신호로서 특정될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스(100)는, 사용자의 눈 부위에 대하여 근적외선을 발생시키는 기능을 수행하는 적어도 하나의 광 발생부(120), 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하는 기능을 수행하는 제1 광 감지부(110) 및 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하는 기능을 수행하는 제2 광 감지부(120)를 포함할 수 있다. 본 발명의 다른 실시예에 관한 자세한 설명은 도 5 및 도 6을 참조로 하여 후술하기로 한다.
도 2는 본 발명의 일 실시예에 따른 모니터링 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 모니터링 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 모니터링 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 모니터링 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 모니터링 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 착용되는 휴대용 디바이스인 모니터링 디바이스(100) 내에서 실현되거나 모니터링 디바이스(100) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 모니터링 시스템(200)의 모든 기능과 모든 구성요소가 모니터링 디바이스(100) 내에 전부 실행되거나 모니터링 디바이스(100) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)에 포함된 적어도 하나의 광 발생부(110)가 사용자의 머리 부위에 대하여 근적외선을 발생시키고 적어도 하나의 제1 광 감지부(110)가 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하고 적어도 하나의 제2 광 감지부(120)가 사용자의 눈 분위를 통하여 투과되는 근적외선을 감지할 수 있도록, 모니터링 디바이스(100)를 관리하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따른 디바이스 관리부(210)는, 사용자의 뇌 활동을 모니터링을 수행하기 위하여 필요한 모니터링 디바이스(100)의 다른 기능 또는 구성요소를 관리할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 광 발생부(110)가 서로 다른 특성(예를 들면, 파장 범위)을 가지는 둘 이상의 근적외선을 시간 분할(time division) 방식으로 각각 발생시키거나 주파수 분할(frequency division) 방식으로 각각 발생시키도록 하는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 광 발생부(110)가 사용자의 뇌 활동 또는 맥박을 측정하는 데에 적합한 제1 파장 범위의 근적외선과 사용자의 눈동자의 위치 또는 움직임을 검출(즉, 시선 추적)하는 데에 적합한 제2 파장 범위의 근적외선을 시간대를 나누어 교대로 각각 발생시키거나 발생 주파수를 다르게 하여 각각 발생시킬 수 있다. 이렇게 함으로써, 제1 파장 범위의 근적외선과 제2 파장 범위의 근적외선 사이의 간섭이 발생하는 것을 방지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 디바이스 관리부(210)는, 모니터링 디바이스(100)의 적어도 하나의 제1 광 감지부(110)가 사용자의 뇌 활동 또는 맥박을 측정하는 데에 적합한 제1 파장 범위의 근적외선을 주로 감지하도록 할 수 있고, 모니터링 디바이스(100)의 적어도 하나의 제2 광 감지부(120)는 사용자의 눈동자의 위치 또는 움직임을 검출(즉, 시선 추적)하는 데에 적합한 제2 파장 범위의 근적외선을 주로 감지하도록 할 수 있다.
한편, 사용자의 눈동자는 근적외선을 그 파장에 따라 선택적으로 흡수하거나 산란시키는 특성을 가지고 있으므로, 사용자의 눈동자의 위치 또는 움직임에 따라 사용자의 안구를 통하여 투과되거나 사용자의 안구로부터 반사 또는 산란되는 근적외선의 특성이 달라질 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 신호 처리부(220)는, 사용자의 눈동자의 위치 또는 움직임과 근적외선의 특성 변화 사이의 관계에 관한 정보를 참조로 하여, 사용자의 눈동자의 위치 또는 움직임에 따라 제1 광 감지부(110) 또는 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 신호(예를 들면, 광학 밀도 신호 등)를 적응적으로 보정하는 기능을 수행할 수 있다.
또한, 사용자의 눈 부위를 통하여 투과되는 근적외선은 주로 사용자의 동공을 통하여 투과되므로, 사용자의 뇌 활동 또는 맥박과는 관계 없이, 사용자의 동공의 크기에 따라 사용자의 눈 부위를 통하여 투과되는 근적외선의 세기가 달라질 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 신호 처리부(220)는, 사용자의 동공의 크기를 기준으로 하여 사용자의 눈 부위를 통하여 투과되는 근적외선 신호(즉, 광학 밀도 신호)를 정규화(normalize)하는 기능을 수행할 수 있다. 예를 들면, 제2 광 감지부(120)에 의하여 감지된 근적외선에 따른 광학 밀도 신호를 해당 사용자의 동공의 크기(면적)으로 나눔으로써, 정규화된 광학 밀도 신호를 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 제1 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하는 기능을 수행할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 제1 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보로부터 근적외선 분광법에 기초하여 대뇌 정맥을 흐르는 혈액량을 나타내는 광학 밀도 신호를 산출하거나 모니터링 디바이스(100)로부터 광학 밀도 신호를 획득할 수 있으며, 광학 밀도 신호가 높을수록 해당 사용자의 대뇌 피질의 혈관 속에 존재하는 혈액의 혈중 산소(즉, 산화 헤모글로빈)의 농도가 낮은 상태인 것으로 결정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 사용자의 시선을 추적하는 기능을 수행할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 제2 광 감지부(120)에 의하여 감지되는 근적외선에 관한 정보로부터 사용자의 눈 부위를 통하여 투과되는 근적외선의 파장대별 세기를 산출하거나 모니터링 디바이스(100)로부터 근적외선의 파장대별 세기에 관한 정보를 획득할 수 있으며, 위의 측정의 대상이 되는 영역 중 특정 파장대의 근적외선의 세기가 낮게 측정되는 영역(즉, 사용자의 눈동자에 의해 특정 파장대의 근적외선이 흡수되거나 산란되는 영역)을 사용자의 눈동자가 위치하는 영역인 것으로 결정함으로써, 해당 사용자의 시선을 추적할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 상태 결정부(230)는, 사용자의 왼쪽 눈 부위를 통하여 투과되는 근적외선을 감지한 결과와 사용자의 오른쪽 눈 부위를 통하여 투과되는 근적외선을 감지한 결과를 비교함으로써, 해당 사용자의 왼쪽 뇌의 활동 상태와 오른쪽 뇌의 활동 상태를 간접적으로 비교할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 상태 결정부(230)는, 사용자의 좌뇌 부위를 지나 왼쪽 눈 부위를 통해 투과되는 근적외선 신호를 참조로 하여 해당 사용자의 좌뇌의 활동 상태를 결정할 수 있고, 사용자의 우뇌 부위를 지나 오른쪽 눈 부위를 통해 투과되는 근적외선 신호를 참조로 하여 해당 사용자의 우뇌의 활동 상태를 결정할 수 있으며, 위와 같이 결정되는 좌뇌와 우뇌의 활동 상태를 비교함으로써 해당 사용자의 감정 상태를 추정하거나, 위와 같이 결정되는 좌뇌와 우뇌의 활동 상태의 비대칭성에 근거하여 해당 사용자가 우울증을 앓고 있는지를 추정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는, 모니터링 디바이스(100)에 의하여 감지된 근적외선에 관한 정보, 사용자의 눈동자의 위치 또는 움직임과 감지되는 근적외선의 특성 변화 사이의 관계에 관한 정보, 위의 감지되는 근적외선에 기초하여 결정되는 사용자의 생체 활동에 관한 정보, 위의 결정되는 사용자의 생체 활동으로부터 추정되는 사용자의 의도에 관한 정보 등의 다양한 정보가 저장될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는 본 발명에 따라 수행되는 생체 활동 모니터링에 관한 다양한 정보가 더 저장될 수 있다. 비록 도 2에서 데이터베이스(240)가 모니터링 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(240)는 모니터링 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(240)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(240)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 모니터링 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(260)는 외부로부터의 또는 모니터링 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 디바이스 관리부(210), 신호 처리부(220), 상태 결정부(230), 데이터베이스(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어한다.
한편, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 위와 같이 결정되는 사용자의 생체 활동을 참조로 하여, 해당 사용자의 의도를 구체적이고도 정확하게 파악할 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 사용자의 시선을 추적함에 따라 사용자가 디스플레이 화면 상의 복수의 그래픽 객체 중 어떤 그래픽 객체를 바라보고 있다는 점이 인식되고 있는 상태에서 해당 사용자의 뇌에서 발생하는 신경 활동이 유의미하게 증가하고 있다는 점이 인식되는 경우에, 해당 사용자가 해당 그래픽 객체를 선택하고자 하는 의도를 가지고 있는 것으로 파악할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 앞서 설명된 바와 같이 추적되는 사용자의 시선에 관한 정보를 참조로 하여, 디스플레이 화면 또는 공간 상에서 해당 사용자가 응시(gaze)하고 있는 지점을 특정하고 추적할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 모니터링 시스템(200)은, 사용자가 디스플레이 화면 또는 공간 상의 특정 지점(또는 특정 지점에 위치하는 특정 객체)를 응시하고 있는 중에 도출되는(또는 결정되는) 근적외선 분광법에 기반한 뇌 활동 또는 맥박 상태에 관한 정보를 참조로 하여, 해당 사용자가 특정 지점 또는 특정 객체에 대하여 어떤 반응(예를 들면, 감정 상태, 인지 상태, 흥분 상태, 스트레스 상태 등)을 보이는지를 분석할 수 있다. 이를 위하여, 본 발명의 일 실시예에 따른 모니터링 시스템(200)은, 디스플레이 화면 또는 공간에 표시되고 있는 장면(scene)(또는 영상)을 촬영할 수 있는 별도의 카메라 디바이스를 더 포함할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 3을 참조하면, 광 발생부(110)에 의하여 사용자의 머리 부위에 대하여 발생된 근적외선(310)이, 머리 부위로부터 반사 또는 산란되어 제1 광 감지부(110)에 의하여 감지되거나(310) 머리 부위의 인체 조직 또는 혈관을 지나 눈 부위를 통하여 투과되어 제2 광 감지부(120)에 의하여 감지될 수 있다(320). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제1 광 감지부(110)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있고, 제2 광 감지부(120)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있다.
다음으로, 도 4를 참조하면, 둘 이상의 광 발생부(110a, 110b)에 의하여 사용자의 머리 부위에 대하여 각각 발생된 근적외선(410a, 410b)이, 머리 부위로부터 반사 또는 산란되어 둘 이상의 제1 광 감지부(110a, 110b)에 의하여 각각 감지되거나(410a, 410b) 머리 부위의 인체 조직 또는 혈관을 지나 눈 부위를 통하여 투과되어 제2 광 감지부(120)에 의하여 감지될 수 있다(420a, 420b). 구체적으로, 본 발명의 일 실시예에 따르면, 둘 이상의 광 발생부(110)와 둘 이상의 제1 광 감지부(110)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있고, 제2 광 감지부(120)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 둘 이상의 광 발생부(110a, 110b) 각각이 발생시키는 근적외선 사이에 간섭이 발생하지 않도록, 둘 이상의 광 발생부(110a, 110b)는 각각 서로 다른 특성을 가지는 근적외선을 서로 다른 시간대에 나누어 발생시키거나 서로 다른 발생 주파수로 발생시킬 수 있으며, 이에 따라 서로 다른 특성을 가지는 근적외선 사이의 간섭을 줄이고 사용자의 생체 활동을 보다 정확하게 모니터링할 수 있게 된다.
도 5 및 도 6은 본 발명의 다른 실시예에 따라 근적외선을 이용하여 사용자의 생체 활동을 모니터링하는 구성을 예시적으로 나타내는 도면이다.
도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 모니터링 시스템(200)의 디바이스 관리부(210)는, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부(110)가 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 할 수 있고, 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부(120, 120a, 120b)가 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 할 수 있고, 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부(110)가 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 할 수 있다.
또한, 도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 모니터링 시스템(200)의 상태 결정부(230)는, 적어도 하나의 제1 광 감지부(120, 120a, 120b)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 해당 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정할 수 있고, 적어도 하나의 제2 광 감지부(110)에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 해당 사용자의 시선을 추적할 수 있다.
구체적으로, 도 5를 참조하면, 광 발생부(110)에 의하여 사용자의 머리 부위에 대하여 발생된 근적외선(510)이, 사용자의 안구 부위를 통하여 사용자의 인체 내로 진입하여 사용자의 머리 부위의 인체 조직 또는 혈관을 통하여 투과되어 제1 광 감지부(120)에 의하여 감지되거나(520) 눈 부위로부터 반사 또는 산란되어 제2 광 감지부(110)에 의하여 감지될 수 있다(530). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제2 광 감지부(110)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있고, 제1 광 감지부(120)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있다.
다음으로, 도 6을 참조하면, 광 발생부(110)에 의하여 사용자의 눈 부위에 대하여 발생된 근적외선(610)이, 사용자의 안구 부위를 통하여 사용자의 인체 내로 진입하여 사용자의 머리 부위의 인체 조직 또는 혈관을 통하여 투과되어 둘 이상의 제1 광 감지부(120a, 120b)에 의하여 각각 감지되거나(620a, 620b) 눈 부위로부터 반사 또는 산란되어 제2 광 감지부(110)에 의하여 감지될 수 있다(630). 구체적으로, 본 발명의 일 실시예에 따르면, 광 발생부(110)와 제2 광 감지부(110)는 사용자의 눈 부위를 바라볼 수 있는 위치에 배치될 수 있고, 둘 이상의 제1 광 감지부(120a, 120b)는 사용자의 머리 부위 중 눈 부위에 가까운 곳(예를 들면, 눈 부위에 가까운 이마 부위 또는 관자놀이 부위)에 배치될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스는 가상 현실(VR)을 구현할 수 있는 HMD(Head Mounted Device)의 형태로 구성될 수 있다.
도 7은 본 발명의 다른 실시예에 따라 HMD의 형태로 구성되는 모니터링 디바이스의 모습을 예시적으로 나타내는 도면이다.
도 7을 참조하면, 모니터링 디바이스(700)의 광 발생부(710)는 사용자의 머리 부위와 가까운 위치에 배치되어 사용자의 머리 부위에 대하여 근적외선을 발생시킬 수 있고, 모니터링 디바이스(700)의 제1 광 감지부(720)는 사용자의 이마에 닿는 부분에 배치되어 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지할 수 있고, 모니터링 디바이스(700)의 제2 광 감지부(730)는 사용자의 눈 부위와 인접하는 렌즈와 일체로 구성되거나 해당 렌즈의 주변에 소정의 각도를 이룬 채로 배치되어 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 모니터링 디바이스(700)의 제2 광 감지부(730)는 근적외선을 선택적으로 투과시키는(혹은 편광 처리된) 소정의 필름을 통해 투과되는 근적외선을 감지할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 모니터링 디바이스
110: 광 발생부
120: 광 수신부
200: 모니터링 시스템
210: 디바이스 관리부
220: 신호 처리부
230: 상태 결정부
240: 데이터베이스
250: 통신부
260: 제어부
110: 광 발생부
120: 광 수신부
200: 모니터링 시스템
210: 디바이스 관리부
220: 신호 처리부
230: 상태 결정부
240: 데이터베이스
250: 통신부
260: 제어부
Claims (13)
- 사용자의 생체 활동을 모니터링하기 위한 방법으로서,
사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하는 단계,
상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 단계, 및
상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 적어도 하나의 제1 광 감지부는 상기 적어도 하나의 광 발생부의 위치에 대응하여 배치되는 방법. - 제1항에 있어서,
상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 기초하여 산출되는 근적외선 분광법(NIRS; Near InfraRed Spectroscopy)에 따른 광학 밀도(OD; Optical Density) 신호를 참조로 하여, 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하는 방법. - 제1항에 있어서,
상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 기초하여, 상기 사용자의 눈동자의 위치 및 움직임을 인식하는 방법. - 제1항에 있어서,
상기 적어도 하나의 광 발생부는, 서로 다른 특성을 가지는 둘 이상의 근적외선을 시간 분할 방식 또는 주파수 분할 방식으로 각각 발생시키는 방법. - 제1항에 있어서,
눈동자의 위치 또는 움직임과 근적외선의 특성 변화 사이의 관계에 관한 정보를 참조로 하여, 상기 적어도 하나의 제1 광 감지부 또는 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 신호를 상기 사용자의 눈동자의 위치 또는 움직임에 따라 적응적으로 보정하는 방법. - 제1항에 있어서,
상기 사용자의 동공의 크기를 기준으로 하여, 제2 광 감지부에 의하여 감지되는 근적외선에 관한 신호를 정규화(normalize)하는 방법. - 제1항에 있어서,
상기 사용자의 왼쪽 눈 부위를 통하여 투과되어 감지되는 근적외선에 관한 정보와 상기 사용자의 오른쪽 눈 부위를 통하여 투과되어 감지되는 근적외선에 관한 정보를 참조로 하여, 상기 사용자의 왼쪽 뇌 활동에 관한 상태와 상기 사용자의 오른쪽 뇌 활동에 관한 상태를 결정하는 방법. - 제1항에 있어서,
상기 추적되는 상기 사용자의 시선과 상기 결정되는 상기 사용자의 뇌 활동 또는 맥박에 관한 상태에 관한 상태를 참조로 하여, 상기 사용자가 응시하고 있는 객체에 대하여 상기 사용자가 보이는 반응을 특정하는 단계
를 더 포함하는 방법. - 사용자의 생체 활동을 모니터링하기 위한 방법으로서,
사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하는 단계,
상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 단계, 및
상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 단계
를 포함하는 방법. - 제1항 및 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
- 사용자의 생체 활동을 모니터링하기 위한 시스템으로서,
사용자의 머리 부위에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 머리 부위 중 적어도 하나의 지점에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 이용하여 상기 사용자의 눈 부위를 통하여 투과되는 근적외선을 감지하도록 하는 디바이스 관리부, 및
상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부
를 포함하는 시스템. - 사용자의 생체 활동을 모니터링하기 위한 시스템으로서,
사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 광 발생부가 상기 사용자의 눈 부위에 대하여 근적외선을 발생시키도록 하고, 상기 사용자의 머리 부위에 배치되는 적어도 하나의 제1 광 감지부가 상기 사용자의 머리 부위를 통하여 투과되는 근적외선을 감지하도록 하고, 상기 사용자의 눈 부위를 바라보는 위치에 배치되는 적어도 하나의 제2 광 감지부가 상기 사용자의 눈 부위로부터 반사 또는 산란되는 근적외선을 감지하도록 하는 디바이스 관리부, 및
상기 적어도 하나의 제1 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 뇌 활동 또는 맥박에 관한 상태를 결정하고, 상기 적어도 하나의 제2 광 감지부에 의하여 감지되는 근적외선에 관한 정보를 참조로 하여 상기 사용자의 시선을 추적하는 상태 결정부
를 포함하는 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150081706 | 2015-06-10 | ||
| KR20150081706 | 2015-06-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101677198B1 true KR101677198B1 (ko) | 2016-11-17 |
Family
ID=57504161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160072767A KR101677198B1 (ko) | 2015-06-10 | 2016-06-10 | 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101677198B1 (ko) |
| WO (1) | WO2016200224A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020062354A (ja) * | 2018-10-19 | 2020-04-23 | 株式会社NeU | 頭部装着装置、脳活動記録システム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678541A (zh) * | 2017-09-20 | 2018-02-09 | 深圳市科迈爱康科技有限公司 | 智能眼镜及其信息采集及传输方法、计算机可读存储介质 |
| GB2579618B (en) * | 2018-12-06 | 2022-12-21 | Comind Tech Limited | An event-related optical signal device and a brain-computer interface system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005198787A (ja) * | 2004-01-14 | 2005-07-28 | National Institute Of Information & Communication Technology | 心理状態評価装置、心理状態評価方法 |
| JP2006087727A (ja) * | 2004-09-24 | 2006-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定方法及び視線測定装置 |
| KR20120077652A (ko) * | 2010-12-30 | 2012-07-10 | 고려대학교 산학협력단 | 근적외선 분광 검출 유니트, 근적외선 분광 검출 장치 및 이의 제어 방법 |
| KR20150030224A (ko) * | 2013-07-26 | 2015-03-19 | (주)와이브레인 | 뇌파 관리 시스템 및 이를 이용한 뇌파 관리 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5150942B2 (ja) * | 2006-02-03 | 2013-02-27 | 株式会社国際電気通信基礎技術研究所 | 活動補助システム |
| JP2009157634A (ja) * | 2007-12-26 | 2009-07-16 | Fuji Xerox Co Ltd | 照射制御装置、照射制御プログラム、視線分析システム |
| CN102361590B (zh) * | 2009-10-15 | 2014-06-18 | 松下电器产业株式会社 | 驾驶注意量判别装置和方法 |
| KR101400141B1 (ko) * | 2012-06-18 | 2014-05-28 | 서울대학교산학협력단 | 좌우 시각경로 차이를 이용한 ｓｓｖｅｐ―ｂｃｉ 시스템 및 이의 동작 방법 |
| KR102056221B1 (ko) * | 2013-07-12 | 2019-12-16 | 삼성전자주식회사 | 시선인식을 이용한 장치 연결 방법 및 장치 |
-
2016
- 2016-06-10 WO PCT/KR2016/006220 patent/WO2016200224A1/ko active Application Filing
- 2016-06-10 KR KR1020160072767A patent/KR101677198B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005198787A (ja) * | 2004-01-14 | 2005-07-28 | National Institute Of Information & Communication Technology | 心理状態評価装置、心理状態評価方法 |
| JP2006087727A (ja) * | 2004-09-24 | 2006-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定方法及び視線測定装置 |
| KR20120077652A (ko) * | 2010-12-30 | 2012-07-10 | 고려대학교 산학협력단 | 근적외선 분광 검출 유니트, 근적외선 분광 검출 장치 및 이의 제어 방법 |
| KR20150030224A (ko) * | 2013-07-26 | 2015-03-19 | (주)와이브레인 | 뇌파 관리 시스템 및 이를 이용한 뇌파 관리 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020062354A (ja) * | 2018-10-19 | 2020-04-23 | 株式会社NeU | 頭部装着装置、脳活動記録システム |
| JP7228153B2 (ja) | 2018-10-19 | 2023-02-24 | 株式会社NeU | 頭部装着装置、脳活動記録システム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016200224A1 (ko) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Afergan et al. | Dynamic difficulty using brain metrics of workload | |
| US9946344B2 (en) | Functional near infrared spectroscopy based brain computer interface | |
| Strait et al. | What we can and cannot (yet) do with functional near infrared spectroscopy | |
| US11602296B2 (en) | Non-invasive systems and methods for detecting mental impairment | |
| US20190159675A1 (en) | Point-of-care tele monitoring device for neurological disorders and neurovascular diseases and system and method thereof | |
| KR20200101906A (ko) | 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스 | |
| JP4991431B2 (ja) | 脳機能計測による外部環境制御装置 | |
| KR102322029B1 (ko) | 생체 정보 획득 방법 및 이를 위한 장치 | |
| US20140159862A1 (en) | Method and apparatus for user-transparent system control using bio-input | |
| KR20180001367A (ko) | 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 | |
| KR101677198B1 (ko) | 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| EP3366195A1 (en) | System and method for detecting skin conditions | |
| Ang et al. | A brain-computer interface for mental arithmetic task from single-trial near-infrared spectroscopy brain signals | |
| Naseer et al. | Functional near-infrared spectroscopy based discrimination of mental counting and no-control state for development of a brain-computer interface | |
| Naseer et al. | Functional near-infrared spectroscopy based brain activity classification for development of a brain-computer interface | |
| Rescio et al. | Ambient and wearable system for workers’ stress evaluation | |
| Naseer et al. | Discrimination of right-and left-wrist motor imagery using fNIRS: towards control of a ball-on-a-beam system | |
| Peters et al. | Modelling user attention for human-agent interaction | |
| Chiossi et al. | Exploring physiological correlates of visual complexity adaptation: Insights from eda, ecg, and eeg data for adaptation evaluation in vr adaptive systems | |
| Bethanney et al. | An Intelligent Healthcare Monitoring System for Coma Patients | |
| Chen et al. | A wearable physiological detection system to monitor blink from faint motion artifacts by machine learning method | |
| Tao et al. | Review of electrooculography-based human-computer interaction: recent technologies, challenges and future trends | |
| KR102330796B1 (ko) | 헤모다이나믹스에 기초하여 혈류 조절 기능을 평가하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| Ban et al. | Development of the Biological Sensing Head Mounted Display | |
| US20240071107A1 (en) | System and method for non-invasive operator health monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 4 |