KR20150125599A - 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법 - Google Patents
무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법 Download PDFInfo
- Publication number
- KR20150125599A KR20150125599A KR1020150059735A KR20150059735A KR20150125599A KR 20150125599 A KR20150125599 A KR 20150125599A KR 1020150059735 A KR1020150059735 A KR 1020150059735A KR 20150059735 A KR20150059735 A KR 20150059735A KR 20150125599 A KR20150125599 A KR 20150125599A
- Authority
- KR
- South Korea
- Prior art keywords
- heart rate
- registered
- eeg
- variable
- state data
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 45
- 210000004556 brain Anatomy 0.000 claims abstract description 59
- 238000005259 measurement Methods 0.000 claims abstract description 44
- 230000013016 learning Effects 0.000 claims description 34
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 15
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 210000004720 cerebrum Anatomy 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 208000013875 Heart injury Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 201000003872 goiter Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 210000000478 neocortex Anatomy 0.000 description 1
- 230000001423 neocortical effect Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법에 관한 것이다. 본 발명에 따른 뇌파/심박도 기반의 콘텐츠 추천 시스템은 무선 통신을 통해 상호 연결되는 뇌파/심박도 감지 헤드셋과 콘텐츠 재생 디바이스를 포함하고; 상기 뇌파/심박도 감지 헤드셋은 뇌파를 감지하는 뇌파 감지부와, 심박도를 감지하는 심박도 감지부와, 상기 뇌파 감지부에 의해 감지된 뇌파 신호와 상기 심박도 감지부에 의해 감지된 심박도 신호를 무선 통신을 통해 전송하는 헤드셋 무선 통신부를 포함하며; 상기 콘텐츠 재생 디바이스는 무선 통신을 통해 상기 뇌파/심박도 감지 헤드셋으로부터 전송되는 상기 뇌파 신호 및 상기 심박도 신호를 수신하는 디바이스 무선 통신부와, 상기 뇌파 신호 및 상기 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와 적어도 하나의 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는 측정 상태 데이터 생성부와, 복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트가 등록되되, 각각의 상기 등록 상태 데이터 세트는 각각 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합을 포함하여 등록되는 등록 데이터 세트 저장부와, 상기 측정 상태 데이터와 상기 복수의 등록 상태 데이터 세트를 비교하여, 현재 상태를 판단하는 상태 판단부와, 상기 상태 판단부에 의해 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하는 추천 콘텐츠 결정부를 포함하는 것을 특징으로 한다.
Description
본 발명은 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법에 관한 것으로서, 보다 상세하게는 사용자의 뇌파와 심박도를 측정하여 사용자의 현재 상태에 적합한 콘텐츠를 추천하여 재생할 수 있는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법에 관한 것이다.
사람의 두뇌는 감성이나 인식, 사고, 행동 등이 자연에서 가장 탄력이 있고 적응력이 뛰어나다. 사람의 뇌는 수천억 개의 신경세포로 구성되어 있고, 각 신경세포는 다른 신경세포와 여러 가지 상호관계를 이루며 연결되어 있는데, 이러한 현상을 시냅스(Synapse)라고 한다.
이들 상호작용은 학습, 기억, 인식, 행동, 결정 등 모든 사람의 정신적 활동의 열쇠이며, 또한 건강 유지를 위한 신체의 육체적인 컨트롤 기능을 책임지고 있다. 이들 시냅스의 형성은 화학작용에 의해서 이루어지며, 이러한 화학작용은 두피의 전기적 흐름으로 바뀌어 뇌파를 형성하게 된다. 즉, 수천억 개의 신경세포들은 주변의 다른 신경세포와 상호작용하며 정보를 전달하는데, 이러한 과정에서 전기신호가 발생하게 된다. 따라서 두피에 전극을 꽂고 전기 변화를 측정하게 되면, 전기의 변화가 파동처럼 표시되는데, 이것이 뇌파(EEG)이다.
이러한 뇌파는 뇌의 활동 정도에 따라 다양한 모양을 가지게 되고, 뇌가 활발하게 활동할수록 뇌파의 진동수가 높아지고, 뇌가 편할수록 진동수가 낮아지는 현상을 보인다. 이러한 뇌파로는 감마파, 베타파, 알파파, 세타파, 델타파가 있다.
감마파는 중심 주파수가 40Hz이고 그 범위는 38~45Hz 정도로, 두뇌 활동파중에서 가장 속파이며, 긴장과 능동적인 고도의 복합정신기능 수행시에 나타난다. 그리고, 베타파는 중심 주파수가 17.3Hz로 그 범위가 15~38Hz이며, 능동적 뇌기능의 수행시에 대뇌에서 나타나며, 또한 긴장, 스트레스를 받을 때 나타난다.
알파파는 중심주파수가 약 10.3Hz로 그 범위가 8~12Hz이며, 의식상태도 잠재나 무의식 상태도 아닌 각성 상태에서 폐안시 후두엽에 지배적으로 발생되며, 주로 긴장이완시에 나타나고, 과중한 스트레스 전후에 종종 나타난다.
그리고, 세타파는 중심주파수가 약 6.3Hz로 그 범위가 4~8Hz이며, 두뇌 영역 중에서 감정, 감성에 관여하는 구피질 부위에서 지배적으로 나타난다. 즉, 감정, 감성 영역에서 주로 지배적으로 관여하기 때문에 예술적인 노력을 기울일 때나 마음의 상처가 있거나, 즐겁고 기쁜 업무나 놀이 시에 크게 나타난다.
델타파는 중심주파수가 약 1.3Hz로 그 범위가 0.5~4Hz이며, 뇌파 중 진폭이 가장 크기 때문에 침투력이 가장 강하여 멀리 이동 가능하다. 두되영역 중에서 생명에 직접 관계된 연수, 뇌교, 중뇌 부위에서 주로 발생하며, 감정에 관여하는 구피질 영역과 정보의 입출력과 사고 판단에 관여하는 신피질(대뇌)의 활동을 멈추는 김픈 수면시에 지배적으로 크게 나타난다.
한편, 근래에는 베타파와 알파파 사이에 SMR(Sensory Motor Rhythm) 파라는 새로운 형태의 중요한 뇌파에 대한 연구가 활발해지고 있다. SMR 파는 중심 주파수가 12.7Hz로, 그 범위가 12~15Hz이다. 귀 아래에서 두뇌우 중심까지의 대뇌(신피질) 영역에서 지배적으로 발생된다.
SMR 파는 간단한 집중력이 요구되는 문제를 해결할 때 관계가 되며, 의식 상태에서 긴장이완 요구 시에도 나타난다. 즉, 긴장하지 않은 상태에서 집중이 이루어져 스트레스를 받지 않고 쉽고도 간단하면서도 정확히 수행을 할 수 있는 상태에 나타난다. SMR 파는 베타파에 비해서 아주 적은 에너지로 모든 일을 쉽게 해결하는 능력을 발휘한다는 점에서, 주의집중한 상태의 뇌파임이 확인되었다.
상기와 같은 뇌파의 측정값을 이용하여, 사람의 심리나 정신 상태와 같은 사람 상태를 지표로 나타내어 이용하는 경우가 있다. 일 예로, [수학식 1]과 같이 집중 지표, 이완 지표, 스트레스 지표 등을 뇌파를 구성하는 상술한 각각의 특성파를 이용하여 산출하는 방법이 제안되고 있다.
[수학식 1]
집중 지표 = (SMR파 + M베타파)/세타파
이완 지표 = 알파파/H베타파
스트레스 지표 = H베타파
한편, 뇌파를 이용하는 분야는 단지 의학적인 분야뿐 만 아니라 다양한 분야에서 뇌파의 활용을 시도하고 있다. 예를 들어, 한국등록특허 제10-1002751호에서는 뇌파를 이용한 학습 진단 장치를 제안하고 있는데, 뇌파 신호를 검출하기 위한 전극부와, 전극부에서 검출된 뇌파 신호를 처리하고, 사용자의 실제 학습 구간시의 학습 집중도와 집중력 유지시간에 관계된 정보를 발생하는 뇌파 처리 및 산출부와, 사용자에 의해 외부의 장치에서 수립된 학습계획 정보를 수신하여 이를 저장하고, 또한 뇌파 처리 및 산출부에서 발생된 학습 집중도와 집중력 유지시간에 관계된 정보를 저장하는 저장부 및 사용자의 실제 학습 구간시 발생된 학습 집중도와 집중력 유지시간에 관계된 정보를 외부의 장치로 전송하고, 외부의 장치로부터 학습계획 정보를 수신하는 송수신부를 구비하며, 외부의 장치로부터 학습 집중도 및 집중력 유지시간 정보 중 적어도 하나를 이용하여 발생된 변경 학습계획 정보를 수신하고, 수신된 변경 학습계획 정보를 저장부에 업데이트하는 기술을 제안하고 있다.
이를 통해, 상기 한국등록특허 제10-1002751호에 개시된 기술은 사용자의 실제 학습 구간 동안의 뇌파를 분석한 결과를 근거로 하여 경보음과 같은 피드백을 실시간으로 제공하여 사용자가 지속적으로 학습에 몰입할 수 있도록 함과 동시에, 실제 학습 구간에서의 뇌파 분석 결과와 연동된 집중력 강화 컨텐츠를 제공하고 또한 뇌파 분석 결과에 연동하여 체계적인 학습이 이루어지도록 하고 있다.
한편, 한국등록특허 제10-0947639호에 개시된 기술은 뇌파를 통하여 컴퓨터를 통제하여 뇌파에 따라 음악, 영상 등 멀티미디어 컨텐츠가 실행되어 출력되도록 하는 방법에 관한 것으로, 구체적으로 피측정자의 뇌파를 측정하는 뇌파측정부, 뇌파의 감성특성별로 대응되는 멀티미디어 신호를 출력하기 위한 뇌파대응신호를 저장하고 있는 데이터베이스, 데이터베이스로부터 뇌파측정부에 의해 측정된 뇌파에 대응되는 뇌파대응신호를 추출하는 뇌파대응신호출력부, 추출된 뇌파대응신호에 따라 피측정자의 감성상태에 따른 멀티미디어 신호를 출력하는 멀티미디어신호출력부를 포함하는 것을 특징으로 하여, 피측정자의 감성 상태에 따라 발생되는 뇌파에 따라 화면 및 소리 등의 다양한 컨텐츠가 출력이 되고, 사용자는 자신의 감성 상태를 바로 바로 피드백받을 수 있으므로 개개인의 감성개발이 극대화되는 효과를 제공하고 있다.
그런데, 상술한 한국등록특허를 비롯한 종래의 기술들은 측정된 뇌파를 이용하여 피측정자의 감성 상태 등을 판단할 때, 기존에 등록되어 있는 자료, 예를 들어 다수의 사람에 대해 미리 측정되어 저장된 자료를 기반으로 판단하는 점에서 현재 피측정자의 뇌파 상태가 반영되지 않은 문제점이 있다.
일 예로, 사람마다 집중할 때의 SMR파의 크기 등은 차이가 있는데, 이를 단지 미리 측정된 다수 사람의 평균치만을 이용하게 되면, 현재의 피측정자에 대한 뇌파 측정의 정확성이 보장되더라도 현재 피측정자의 감성 상태의 판단에는 오류가 발생할 여지가 큰 문제가 있다.
또한, 사람의 감성 상태를 단지 뇌파 신호로만 판단하는 것은 뇌파 측정의 오류나 상술한 사람마다의 차이로 인해 더 큰 오류를 발생할 여지가 있어, 다른 생체 신호, 예를 들어 심박도도 함께 측정하여 사람의 현재 상태를 파악하는 것이 적합할 것이다.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 현재 피측정자의 뇌파와 심박도를 동시에 측정하는 측정 장치를 이용하여 뇌파와 심박도를 측정하고, 측정된 뇌파 및 심박도를 이용하여 피측정자의 현재 상태를 파악하고, 이에 적합한 콘텐츠를 피측정자에게 추천할 수 있는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 피측정자에 대해 측정된 데이터도 비교 대상이 되는 기준에 등록하고, 등록된 데이터의 학습을 통해 피측정자에 적합한 비교 대상 데이터의 축적이 가능한 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법을 제공하는데 또 다른 목적이 있다.
상기 목적은 본 발명에 따라, 무선 통신을 통해 상호 연결되는 뇌파/심박도 감지 헤드셋과 콘텐츠 재생 디바이스를 포함하고; 상기 뇌파/심박도 감지 헤드셋은 뇌파를 감지하는 뇌파 감지부와, 심박도를 감지하는 심박도 감지부와, 상기 뇌파 감지부에 의해 감지된 뇌파 신호와 상기 심박도 감지부에 의해 감지된 심박도 신호를 무선 통신을 통해 전송하는 헤드셋 무선 통신부를 포함하며; 상기 콘텐츠 재생 디바이스는 무선 통신을 통해 상기 뇌파/심박도 감지 헤드셋으로부터 전송되는 상기 뇌파 신호 및 상기 심박도 신호를 수신하는 디바이스 무선 통신부와, 상기 뇌파 신호 및 상기 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와 적어도 하나의 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는 측정 상태 데이터 생성부와, 복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트가 등록되되, 각각의 상기 등록 상태 데이터 세트는 각각 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합을 포함하여 등록되는 등록 데이터 세트 저장부와, 상기 측정 상태 데이터와 상기 복수의 등록 상태 데이터 세트를 비교하여, 현재 상태를 판단하는 상태 판단부와, 상기 상태 판단부에 의해 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하는 추천 콘텐츠 결정부를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템에 의해서 달성될 수 있다.
여기서, 상기 등록 데이터 세트 저장부에 등록된 상기 복수의 등록 상태 데이터 세트를 이용하여, 새로운 변수 조합을 학습하는 패턴 학습 모듈을 더 포함하며; 상기 패턴 학습 모듈은 상기 등록 상태 데이터 세트별로부터 무작위로 변수를 추출하여 기 등록된 개수의 새로운 변수 조합을 생성하고, 각각의 상기 새로운 변수 조합과 상기 등록 변수 조합의 비교를 통해 각각의 상기 새로운 변수 조합과 매칭되는 적어도 하나의 등록 변수 조합을 추출하고, 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 동일한 경우 해당 새로운 변수 조합의 가중치를 증가시키고, 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 상이한 경우 해당 새로운 변수 조합의 가중치를 감소시키고, 상기 새로운 변수 조합 중 상기 가중치가 높은 복수의 새로운 변수 조합을 등록 상태 데이터 세트에 업데이트할 수 있다.
또한, 사용자 로그 저장부와; 상기 추천 콘텐츠 결정부에 의해 제공되는 추천 콘텐츠가 재생되는 동안, 상기 측정 상태 데이터 생성부에 의해 생성되는 측정 상태 데이터와, 상기 상태 판단부의 판단 결과에 기초한 사람 상태를 상기 추천 콘텐츠와 함께 상기 사용자 로그 저장부에 저장하는 사용자 로그 피드백부를 더 포함할 수 있다.
그리고, 상기 패턴 학습 모듈은 상기 사용자 로그 저장부에 저장된 측정 상태 데이터 및 사람 상태를 해당 등록 상태 데이터 세트의 새로운 변수 조합으로 등록할 수 있다.
그리고, 상기 상태 판단부는 각각의 상기 등록 상태 데이터 세트를 구성하는 상기 복수의 등록 변수 조합 각각과 상기 측정 상태 데이터를 구성하는 변수 조합을 비교하여, 유사도에 따라 가중치를 부여하고; 각각의 사람 상태 별로 상기 가중치를 합산하여 각각의 사람 상태에 대한 상태 확률을 산출하며; 상기 상태 확률에 기초하여 사람 상태를 판단할 수 있다.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법에 있어서, (a) 복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트가 콘텐츠 재생 디바이스에 등록되되, 각각의 상기 등록 상태 데이터 세트는 각각 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합을 포함하여 등록되는 단계와; (b) 뇌파/심박도 감지 헤드셋을 통해 뇌파 및 심박도가 감지되는 단계와; (c) 무선 통신을 통해 상기 뇌파/심박도 감지 헤드셋에 의해 감지된 뇌파 신호 및 심박도 신호가 상기 콘텐츠 재생 디바이스로 전송되는 단계와; (d) 상기 콘텐츠 재생 디바이스에서 상기 뇌파/심박도 감지 헤드셋으로부터 전송된 상기 뇌파 신호 및 상기 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와, 적어도 하나의 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는 단계와; (e) 상기 측정 상태 데이터와 상기 복수의 등록 상태 데이터 세트를 비교하여, 현재 상태를 판단하는 단계와; (f) 상기 (e) 단계에서 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하는 단계를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법에 의해서 달성될 수 있다.
여기서, (a1) 상기 등록 상태 데이터 세트별로부터 무작위로 변수를 추출하여 기 등록된 개수의 새로운 변수 조합을 생성하는 단계와; (a2) 각각의 상기 새로운 변수 조합과 상기 등록 변수 조합의 비교를 통해 각각의 상기 새로운 변수 조합과 매칭되는 적어도 하나의 등록 변수 조합을 추출하는 단계와; (a3) 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 동일한 경우 해당 새로운 변수 조합의 가중치를 증가시키고, 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 상이한 경우 해당 새로운 변수 조합의 가중치를 감소시키는 단계와; (a4) 상기 새로운 변수 조합 중 상기 가중치가 높은 복수의 새로운 변수 조합을 등록 상태 데이터 세트에 업데이트하는 단계를 포함할 수 있다.
그리고, (a5) 상기 추천 콘텐츠가 재생되는 동안, 상기 (b) 단계, 상기 (c) 단계, 상기 (d) 단계 및 상기 (e) 단계가 수행되는 단계와; (a6) 상기 (a5) 단계의 수행 과정에서 생성된 측정 상태 데이터와, 상기 (a5) 단계의 수행 과정에서의 사람 상태 판단 결과에 기초한 사람 상태를 상기 추천 콘텐츠와 함께 사용자 로그 저장부에 저장하는 단계를 더 포함할 수 있다.
또한, (a7) 상기 사용자 로그 저장부에 저장된 측정 상태 데이터 및 사람 상태를 해당 등록 상태 데이터 세트의 새로운 변수 조합으로 등록하는 단계와; (a8) 상기 (a7) 단계를 통해 새로운 변수 조합이 등록된 후, 상기 (a1) 단계 내지 상기 (a4) 단계가 수행되는 단계를 더 포함할 수 있다.
그리고, 상기 (e) 단계는 (e1) 각각의 상기 등록 상태 데이터 세트를 구성하는 상기 복수의 등록 변수 조합 각각과 상기 측정 상태 데이터를 구성하는 변수 조합을 비교하여, 유사도에 따라 가중치를 부여하는 단계와; (e2) 각각의 사람 상태 별로 상기 가중치를 합산하여 각각의 사람 상태에 대한 상태 확률을 산출하는 단계와; (e3) 상기 상태 확률에 기초하여 사람 상태를 판단하는 단계를 포함할 수 있다.
상기와 같은 구성에 따라, 본 발명에 따르면 현재 피측정자의 뇌파와 심박도를 동시에 측정하는 측정 장치를 이용하여 뇌파와 심박도를 측정하고, 측정된 뇌파 및 심박도를 이용하여 피측정자의 현재 상태를 파악하고, 이에 적합한 콘텐츠를 피측정자에게 추천할 수 있는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법이 제공된다.
또한, 본 발명에 따르면 피측정자에 대해 측정된 데이터도 비교 대상이 되는 기준에 등록하고, 등록된 데이터의 학습을 통해 피측정자에 적합한 비교 대상 데이터의 축적이 가능한 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법이 제공된다.
도 1은 본 발명에 따른 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템의 구성을 도시한 도면이고,
도 2는 본 발명에 따른 뇌파/심박도 감지 헤드셋의 사시도이고,
도 3은 본 발명에 따른 뇌파/심박도 감지 헤드셋의 구성을 나타낸 도면이고,
도 4는 본 발명에 따른 콘텐츠 재생 디바이스의 구성을 나타낸 도면이고,
도 5 내지 도 7은 본 발명에 따른 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 뇌파/심박도 감지 헤드셋의 사시도이고,
도 3은 본 발명에 따른 뇌파/심박도 감지 헤드셋의 구성을 나타낸 도면이고,
도 4는 본 발명에 따른 콘텐츠 재생 디바이스의 구성을 나타낸 도면이고,
도 5 내지 도 7은 본 발명에 따른 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법을 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 따른 실시예들에 대해 상세히 설명한다.
도 1은 본 발명에 따른 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템의 구성을 도시한 도면이다. 도 1을 참조하여 설명하면, 본 발명에 따른 뇌파/심박도 기반의 콘텐츠 추천 시스템은 뇌파/심박도 감지 헤드셋(100)과 콘텐츠 재생 디바이스(300)을 포함한다.
뇌파/심박도 감지 헤드셋(100)과 콘텐츠 재생 디바이스(300)은 무선 통신을 통해 상호 연결되어, 뇌파/심박도 감지 헤드셋(100)에 의해 감지된 뇌파 신호 및 심박도 신호가 무선 통신을 통해 콘텐츠 재생 디바이스(300)로 전송된다. 본 발명에서는 뇌파/심박도 감지 헤드셋(100)과 콘텐츠 재생 디바이스(300)을 연결하는 무선 통신으로 블루투스(Bluetooth)나 TCP/IP 기반의 Wifi 망이 적용되는 것을 예로 한다.
뇌파/심박도 감지 헤드셋(100)은 사람의 뇌파를 측정하도록 사람의 머리에 착용 가능한 형태로 마련되는데, 본 발명에서는, 도 1 및 도 2에 도시된 바와 같이, 안경 형태로 마련되어 사람이 착용하는 형태로 마련되는 것을 예로 한다.
뇌파/심박도 감지 헤드셋(100)의 프레임(110)에는, 도 2에 도시된 바와 같이, 뇌파의 측정을 위한 다수의 전극(120a)이 사람의 이마 등의 피부와 접촉 가능한 위치에 설치된다. 뇌파를 측정하기 위한 다수의 전극(120a) 조합이, 도 3에 도시된 바와 같이 뇌파 감지부(120)를 구성하게 된다.
도 3을 참조하여 설명하면, 본 발명에 따른 뇌파/심박도 감지 헤드셋(100)은 뇌파 감지부(120), 심박도 감지부(130) 및 헤드셋 무선 통신부(140)를 포함한다.
뇌파 감지부(120)는 적어도 하나의 전극(120a)으로 구성되어 사람의 뇌파를 감지한다. 그리고, 심박도 감지부(130)는 프레임(110)으로부터 신호 케이블을 통해 연장되는데, 사용자의 귀볼에 장착 가능한 형태로 마련되어 사용자의 심박도 신호를 검출한다.
여기서, 본 발명에서는 심박도 감지부(130)이 사용자의 귀볼에 장착 가능하게 집게 형태로 마련되어 사용자가 본 발명에 따른 뇌파/심박도 감지 헤드셋(100)을 머리에 착용한 상태에서 신호 케이블을 통해 연장되는 심박도 감지부(130)을 자신의 귀볼에 집게 형태로 장착시켜 뇌파와 심박도를 동시에 측정할 수 있는 웨어러블(Wearable) 디바이스의 구현이 가능하게 된다.
헤드셋 무선 통신부(140)는 뇌파 감지부(120)에 의해 감지된 뇌파 신호와, 심박도 감지부(130)에 의해 감지된 심박도 신호를 무선 통신을 통해 콘텐츠 재생 디바이스(300)로 전송한다. 여기서, 헤드셋 무선 통신부(140)는 상술한 바와 같이, 블루투스(Bluetooth)나 TCP/IP 기반의 Wifi 망을 통해 뇌파 신호와 심박도 신호를 전송하도록 마련될 수 있다.
콘텐츠 재생 디바이스(300)은 무선 통신을 통해 수신되는 뇌파 신호 및 심박도 신호를 분석하여, 현재 사용자의 감정 상태와 같은 현재 상태에 적합한 콘텐츠를 추천한다. 본 발명에서는 콘텐츠 재생 디바이스(300)이 스마트 TV 형태로 마련되는 것을 예로 하는데, 콘텐츠의 재생이 가능한 다른 디바이스, 예를 들어 컴퓨터나 태블릿 PC, 스마트폰 형태로 마련될 수 있음은 물론이다.
도 4는 본 발명에 따른 콘텐츠 재생 디바이스(300)의 구성을 나타낸 도면이다. 도 4를 참조하여 보다 구체적으로 설명하면, 콘텐츠 재생 디바이스(300)은 디바이스 무선 통신부(310), 측정 상태 데이터 생성부(320), 등록 데이터 세트 저장부(340), 상태 판단부(330) 및 추천 콘텐츠 결정부(360)를 포함한다.
디바이스 무선 통신부(310)는 뇌파/심박도 감지 헤드셋(100)의 헤드셋 무선 통신부(140)와 무선 통신을 통해 연결되어, 뇌파/심박도 감지 헤드셋(100)으로부터 전송되는 뇌파 신호와 심박도 신호를 수신한다.
측정 상태 데이터 생성부(320)는 디바이스 무선 통신부(310)를 통해 수신된 뇌파 신호 및 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와 적어도 하나의 측정 심박도 변수를 추출하고, 추출된 측정 뇌파 변수 및 측정 심박도 변수를 이용하여 측정 상태 데이터를 생성한다.
도 4를 참조하여 설명하면, 측정 상태 데이터 생성부(320)는 디바이스 무선 통신부(310)를 통해 수신되는 뇌파 신호 및 심박도 신호를 전처리하는 전 처리부(321)와, 측정 뇌파 변수를 추출하는 뇌파 특성 추출부(322)와, 측정 심박도 변수를 추출하는 심박도 특성 추출부(323)를 포함할 수 있다.
한편, 등록 데이터 세트 저장부(340)에는 복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트(341,342,343)가 등록된다. 그리고, 각각의 등록 상태 데이터 세트(341,342,343)는 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합(341a,341b,341c, 도 5 참조))을 포함하여 등록된다.
여기서, 측정 상태 데이터 생성부(320)에서 추출되는 측정 뇌파 변수 및 측정 심박도 변수는 등록 변수 조합(341a,341b,341c)을 구성하는 등록 뇌파 변수와 등록 심박도 변수에 대응하도록 추출된다.
보다 구체적으로 설명하면, 등록 데이터 세트 저장부(340)에 등록되는 복수의 등록 상태 데이터 세트(341,342,343)는 세트 별로 사람의 상태를 반영한다. 본 발명에서는 사람의 상태가 정상, 주의, 이상, 심각 4단계로 분류되는 것을 예로 하는데, 이외에도 정상, 긴장, 스트레스, 피로 등과 같은 감정 상태나 신체 상태 등으로 분류될 수 있음은 물론이다.
그리고, 각각의 등록 상태 데이터 세트(341,342,343), 예를 들어 정상에 해당하는 등록 상태 데이터 세트(341,342,343)에는 복수의 등록 변수 조합(341a,341b,341c)으로 구성되며, 각각의 등록 변수 조합(341a,341b,341c)에는 정상에 해당하는 등록 뇌파 변수와 등록 심박도 변수가 기록된다.
일 예, 도 5를 참조하여 설명하면, 정상 상태에 해당하는 등록 상태 데이터 세트(341,342,343)는 다수의 등록 변수 조합(341a,341b,341c)을 구성된다. 그리고, 하나의 등록 변수 조합(341a,341b,341c)은 3개의 등록 뇌파 변수와 3개의 등록 심박도 변수로 구성되는 것을 예로 하고 있으며, 하나의 등록 변수 조합(341a,341b,341c)의 상태가 인덱스로 기록된다.
여기서, 등록 뇌파 변수로는 [수학식 1]과 같이 집중 지표 변수, 이완 지표 변수, 스트레스 지표 변수가 포함될 수 있고, 등록 심박도 변수로는 피로도 지표 변수, 육체적 스트레스 지표 변수, 혈관 탄성도 지표 변수가 포함될 수 있다. 여기서, 등록 뇌파 변수와 등록 심박도 변수는 뇌파나 심박도의 측정을 통해 얻을 수 있는 다양한 지표가 사용 가능하며, 그 개수나 종류가 상술한 예에 국한되지 않음은 물론이다.
등록 뇌파 변수와 등록 심박도 변수의 값들은 복수의 사람에 대해 미리 측정되어 수치화된 값들이 저장된다. 예를 들어, 다양한 임상 실험에서 얻어진 데이터를 이용하여 사람이 정상 상태로 인정될 때의 각 변수들의 값들의 예들이 조합으로 여러 개의 등록 변수 조합(341a,341b,341c)을 형성하게 된다.
상기와 같이 다수의 등록 변수 조합(341a,341b,341c)으로 구성된 다수의 등록 상태 데이터 세트(341,342,343)가 등록 데이터 세트 저장부(340)에 등록된 상태에서, 측정 상태 데이터 생성부(320)는 등록 데이터 세트 저장부(340)에 등록된 등록 뇌파 변수와 등록 심박도 변수에 대응하는 측정 뇌파 변수와 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는데, 이 때 측정 상태 데이터에는 상태가 결정되지 않는다.
여기서, 상태 판단부(330)는 측정 상태 데이터와 복수의 등록 상태 데이터 세트(341,342,343)를 비교하여, 현재 측정자의 현재 상태를 판단하게 되고, 추천 콘텐츠 결정부(360)는 상태 판단부(330)에 의해 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하게 된다.
이하에서는, 도 6을 참조하여, 본 발명에 따른 본 발명에 따른 뇌파/심박도 기반의 콘텐츠 추천 시스템의 콘텐츠 추천 방법에 대해 상세히 설명한다.
먼저, 뇌파/심박도 감지 헤드셋(100)에 의해 상술한 바와 같이, 뇌파와 심박도가 감지되면(S50), 감지된 뇌파 신호 및 심박도 신호가 콘텐츠 재생 디바이스(300)로 전송된다.
그리고, 콘텐츠 재생 디바이스(300)의 측정 상태 데이터 생성부(320)가 측정 뇌파 변수와 측정 심박도 변수를 추출하여(S51), 추출된 측정 뇌파 변수 및 측정 심박도 변수를 이용하여 측정 상태 데이터를 생성한다(S52).
그리고, 상태 판단부(330)는 측정 상태 데이터와 등록 상태 데이터 세트(341,342,343)의 변수 조합과의 비교를 통해 현재 측정 상태 데이터의 상태를 판단하게 된다(S53). 상태 판단부(330)에 의한 상태 판단 과정을 보다 구체적으로 설명하면, 먼저 상태 판단부(330)는 하나의 등록 상태 데이터 세트(341,342,343)에서 하나의 등록 변수 조합(341a,341b,341c)을 추출하고(S53a), 추출된 등록 변수 조합(341a,341b,341c)과 측정 상태 데이터를 비교한다(S53b).
그리고, 상태 판단부(330)는 측정 상태 데이터화 현재 추출된 변수 조합의 비교에서 그 유사도에 따라 해당 등록 변수 조합(341a,341b,341c)에 가중치를 부여한다(S53c). 이와 같이 하나의 등록 상태 데이터 세트(341,342,343)를 구성하는 모든 등록 변수 조합(341a,341b,341c)과의 비교를 통해 가중치가 부여되면, 다른 등록 상태 데이터 세트(341,342,343)를 구성하는 모든 등록 변수 조합(341a,341b,341c)에 대해서도 동일한 과정을 통해 가중치가 부여된다.
상기 과정은 모든 등록 상태 데이터 세트(341,342,343)를 구성하는 모든 변수 조합에 대해 수행될 때까지(S53d) 수행한 후, 각 상태별로 가중치가 합산된다(S53e). 이를 통해, 모든 등록 상태 데이터 세트(341,342,343), 즉 모든 상태, 예컨대, 상술한 바와 같이, 정상, 주의, 이상, 심각 각각의 상태에 대한 가중치의 합산값이 산출되는데, 이 합산값을 이용하여 현재 상태를 판단하게 된다.
본 발명에서는 상태 판단부(330)가 각 상태별로의 가중치의 합산값을 이용하여 상태 확률을 산출(S53f)하는 것을 예로 한다. 예를 들어, 정상 20%, 주의 45%, 이상 25%, 심각 10%와 같이 구성되는데, 이를 통해 현재 사용자의 상태는 주의에 가깝게 되고, 주의, 이상, 심각을 비정상으로 분류하는 경우에는 비정상으로 판단하게 된다.
상기와 같은 과정을 통해 현재 사용자의 상태가 판단되면, 추천 콘텐츠 결정부(360)가 현재 상태에 적합한 콘텐츠를 추천 콘텐츠로 결정하고(S54), 사용자가 이를 선택하는 등의 동작에 따라 콘텐츠 재생 디바이스(300)을 통해 해당 콘텐츠가 사용자에게 제공된다.
다시, 도 4를 참조하여 설명하면, 본 발명에 따른 콘텐츠 재생 디바이스(300)은 패턴 학습 모듈(350)을 더 포함할 수 있다. 패턴 학습 모듈(350)은 등록 데이터 세트 저장부(340)에 등록된 복수의 등록 상태 데이터 세트(341,342,343)를 이용하여, 새로운 변수 조합을 학습한다.
도 7은 본 발명에 따른 패턴 학습 모듈(350)이 새로운 변수 조합을 학습하는 과정을 설명하기 위한 도면이다. 도 7을 참조하여 설명하면, 먼저 상술한 바와 같이 각 생태별로 초기 변수 조합이 등록 데이터 세트 저장부(340)에 등록된 상태에서(S70), 패턴 학습 모듈(350)은 복수의 등록 상태 데이터 세트(341,342,343) 중 어느 하나를 선택한다(S71).
그런 다음, 패턴 학습 모듈(350)은 해당 등록 상태 데이터 세트(341,342,343)로부터 무작위로 변수를 추출하여(S72) 새로운 변수 조합을 생성한다(S73). 여기서, 무작위로 변수 조합을 추출하는 방법은 현재 등록된 등록 변수 조합(341a,341b,341c)과 동일한 변수 조합이 생성되지 않도록, 하나의 등록 변수 조합(341a,341b,341c)에서 하나의 변수를 추출하고, 다른 변수 조합에서 또 하나의 변수를 추출하는 방법 등으로 새로운 변수 조합에 생성되도록 무작위로 추출된다. 여기서, 무작위로 변수를 추출할 때, 등록 뇌파 변수가 적어도 하나가 포함되고, 등록 심박도 변수도 하나 이상이 포함되도록 추출되는 것이 바람직할 것이다.
상기와 같이 추출되는 새로운 변수 조합은 기 설정된 개수 r개가 추출될 때까지(S74) S72 단계 및 S73 단계가 반복 수행되어, 하나의 등록 상태 데이터 세트(341,342,343)에서 r개의 새로운 변수 조합이 생성된다.
그리고, 하나의 등록 상태 데이터 세트(341,342,343)에 대한 새로운 변수 조합의 생성이 완료되면, 새로운 등록 상태 데이터 세트(341,342,343)가 선택되어(S82) S72 단계 내지 S74 단계가 수행됨으로써, 모든 등록 상태 데이터 세트(341,342,343)에 대해 새로운 변수 조합이 생성될 때까지(S75) 위 과정이 수행된다. 여기서, 새로운 변수 조합 각각의 상태는 해당 변수 조합이 추출된 등록 상태 데이터 세트(341,342,343)의 상태를 따르게 된다.
상기와 같은 과정을 통해 복수개의 새로운 변수 조합에 생성되면, 각각의 변수 조합과 초기 변수 조합, 즉 등록 변수 조합(341a,341b,341c)과의 비교 및 매칭 과정이 진행된다(S76).
보다 구체적으로 설명하면, 하나의 새로운 변수 조합과 등록 변수 조합(341a,341b,341c)의 변수들을 비교하여 동일하거나 확률적으로 유사한 등록 변수 조합(341a,341b,341c)을 새로운 변수 조합과 매칭되는 등록 변수 조합(341a,341b,341c)으로 추출한다. 이 때, 매칭되는 등록 변수 조합(341a,341b,341c)은 하나 또는 그 이상일 수 있는데, 이 때 매칭되는 두 변수 조합의 상태값, 즉 상술한 정상, 주의, 이상, 심각과 같은 상태값을 비교하여(S77), 동일한 경우 해당 새로운 변수 조합의 가중치를 증가시키고(S78), 상태값이 다른 경우 해당 새로운 변수 조합의 가중치를 감소시킨다(S79).
상기와 같은 과정을 추출된 모든 새로운 변수 조합에 대해 수행하게 되면, 각각의 새로운 변수 조합의 가중치가 최종적으로 결정되는데, 이 때 가중치가 낮은 변수 조합을 일정 비율 또는 일정 개수를 제거하고(S80), 새로운 변수 조합 중 가중치가 높은 새로운 변수 조합을 등록 상태 데이터 세트(341,342,343)에 등록하여(S81), 등록 상태 데이터 세트(341,342,343)를 업데이트하게 된다.
상기와 같은 과정을 통해 단지 기존의 임상 실험을 통해 획득한 평균적인 데이터만을 이용하지 않고, 새로운 변수 조합에 자체 학습을 통해 업데이트됨으로써, 보다 신뢰성 있는 기준 데이터를 이용한 보다 정확한 상태 판단이 가능하게 된다.
다시, 도 4를 참조하여 설명하면, 본 발명에 따른 콘텐츠 재생 디바이스(300)은 사용자 로그 저장부(372) 및 사용자 로그 피드백부(371)를 더 포함할 수 있다. 사용자 로그 피드백부(371)는 추천 콘텐츠 결정부(360)에 의해 제공된 추천 콘텐츠가 재생되는 동안, 현재 사용자의 상태와 관련된 정보를 사용자 로그 저장부(372)에 저장한다.
도 8은 본 발명에 따른 사용자 로그 피드백부(371)에 의해 관련 정보가 사용자 로그 저장부(372)에 저장되는 과정을 설명하기 위한 도면이다. 도 8을 참조하여 설명하면, 먼저, 도 6에 도시된 바와 같은 과정을 통해 추천 콘텐츠가 결정되어 제공되면, 콘텐츠 재생 디바이스(300)이 해당 추천 콘텐츠를 재생하게 된다(S60).
이 때, 뇌파/심박도 감지 헤드셋(100)에 의해 상술한 바와 같이, 뇌파와 심박도가 감지되면(S61), 감지된 뇌파 신호 및 심박도 신호가 콘텐츠 재생 디바이스(300)로 전송된다.
그리고, 콘텐츠 재생 디바이스(300)의 측정 상태 데이터 생성부(320)가 측정 뇌파 변수와 측정 심박도 변수를 추출하여(S62), 추출된 측정 뇌파 변수 및 측정 심박도 변수를 이용하여 측정 상태 데이터를 생성한다(S63). 그런 다음, 상태 판단부(330)에 의해 사용자의 현재 상태가 판단되는데(S64), 도 6의 S53 과정을 통해 판단 가능한 바, 이에 대한 설명은 생략한다.
상기와 같은 과정이, 콘텐츠가 종료될 때까지(S65), 일정한 주기(T)로 수행될 수 있으며(S68), 콘텐츠가 종료되는 경우 콘텐츠 재생 중에 측정된 관련 정보가 로그 데이터로 생성된다(S66). 여기서, 로그 데이터는 상기 과정을 통해 생성된 측정 상태 데이터와, 상태 판단부(330)에 의해 판단된 판단 결과에 기초한 사용자의 현재 상태가 추천 콘텐츠와 함께 로그 데이터로 생성될 수 있다. 그리고, 생성된 로그 데이터는 사용자 로그 저장부(372)에 저장된다(S67).
또한, 로그 데이터에는 추천 콘텐츠의 결정 근거가 된 사용자의 측정 상태 데이터도 함께 기록될 수 있다. 이를 통해, 사용자의 측정 상태 데이터에 근거한 추천 콘텐츠의 추천이 바람직했는지, 해당 추천 콘텐츠의 재생 과정에서의 상태 변화를 통해 확인이 가능하게 되며, 이 경우, 추천 콘텐츠의 결정 근거가 되는 측정 상태 데이터에 대한 상태 판단도 해당 사용자에게 적합한 것으로 판단할 수 있다.
이에, 본 발명에 따른 패턴 학습 모듈(350)은 사용자 로그 저장부(372)에 저장된 측정 데이터와 사람 상태를 등록 상태 데이터 세트(341,342,343)의 새로운 변수 조합으로 등록할 수 있다.
그리고, 패턴 학습 모듈(350)은 사용자 로그 저장부(372)로부터 등록된 새로운 변수 조합을 포함한 변수 조합들로, 도 7에 도시된 바와 같은 학습 과정을 거치게 되면, 사용자의 실제 뇌파나 심박도에 따른 판단 자료가 기준 자료로 반영됨으로써, 현 사용자에 적합한 데이터로의 업데이트가 가능하게 된다.
본 실시예는 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타낸 것에 불과하며, 본 발명의 명세서에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 기술적 사상에 포함되는 것은 자명하다.
100 : 뇌파/심박도 감지 헤드셋 110 : 프레임
120 : 뇌파 감지부 130 : 심박도 감지부
140 : 헤드셋 무선 통신부 300 : 콘텐츠 재생 디바이스
310 : 디바이스 무선 통신부 320 : 측정 상태 데이터 생성부
330 : 상태 판단부 340 : 등록 데이터 세트 저장부
341,342,343 : 등록 상태 데이터 세트
341a,341b,341c : 등록 변수 조합
350 : 패턴 학습 모듈 360 : 추천 콘텐츠 결정부
371 : 사용자 로그 피드백부 372 : 사용자 로그 저장부
120 : 뇌파 감지부 130 : 심박도 감지부
140 : 헤드셋 무선 통신부 300 : 콘텐츠 재생 디바이스
310 : 디바이스 무선 통신부 320 : 측정 상태 데이터 생성부
330 : 상태 판단부 340 : 등록 데이터 세트 저장부
341,342,343 : 등록 상태 데이터 세트
341a,341b,341c : 등록 변수 조합
350 : 패턴 학습 모듈 360 : 추천 콘텐츠 결정부
371 : 사용자 로그 피드백부 372 : 사용자 로그 저장부
Claims (10)
- 무선 통신을 통해 상호 연결되는 뇌파/심박도 감지 헤드셋과 콘텐츠 재생 디바이스를 포함하고;
상기 뇌파/심박도 감지 헤드셋은
뇌파를 감지하는 뇌파 감지부와,
심박도를 감지하는 심박도 감지부와,
상기 뇌파 감지부에 의해 감지된 뇌파 신호와 상기 심박도 감지부에 의해 감지된 심박도 신호를 무선 통신을 통해 전송하는 헤드셋 무선 통신부를 포함하며;
상기 콘텐츠 재생 디바이스는
무선 통신을 통해 상기 뇌파/심박도 감지 헤드셋으로부터 전송되는 상기 뇌파 신호 및 상기 심박도 신호를 수신하는 디바이스 무선 통신부와,
상기 뇌파 신호 및 상기 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와 적어도 하나의 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는 측정 상태 데이터 생성부와,
복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트가 등록되되, 각각의 상기 등록 상태 데이터 세트는 각각 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합을 포함하여 등록되는 등록 데이터 세트 저장부와,
상기 측정 상태 데이터와 상기 복수의 등록 상태 데이터 세트를 비교하여, 현재 상태를 판단하는 상태 판단부와,
상기 상태 판단부에 의해 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하는 추천 콘텐츠 결정부를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템. - 제1항에 있어서,
상기 등록 데이터 세트 저장부에 등록된 상기 복수의 등록 상태 데이터 세트를 이용하여, 새로운 변수 조합을 학습하는 패턴 학습 모듈을 더 포함하며;
상기 패턴 학습 모듈은
상기 등록 상태 데이터 세트별로부터 무작위로 변수를 추출하여 기 등록된 개수의 새로운 변수 조합을 생성하고,
각각의 상기 새로운 변수 조합과 상기 등록 변수 조합의 비교를 통해 각각의 상기 새로운 변수 조합과 매칭되는 적어도 하나의 등록 변수 조합을 추출하고,
상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 동일한 경우 해당 새로운 변수 조합의 가중치를 증가시키고,
상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 상이한 경우 해당 새로운 변수 조합의 가중치를 감소시키고,
상기 새로운 변수 조합 중 상기 가중치가 높은 복수의 새로운 변수 조합을 등록 상태 데이터 세트에 업데이트하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템. - 제2항에 있어서,
사용자 로그 저장부와;
상기 추천 콘텐츠 결정부에 의해 제공되는 추천 콘텐츠가 재생되는 동안, 상기 측정 상태 데이터 생성부에 의해 생성되는 측정 상태 데이터와, 상기 상태 판단부의 판단 결과에 기초한 사람 상태를 상기 추천 콘텐츠와 함께 상기 사용자 로그 저장부에 저장하는 사용자 로그 피드백부를 더 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템. - 제3항에 있어서,
상기 패턴 학습 모듈은 상기 사용자 로그 저장부에 저장된 측정 상태 데이터 및 사람 상태를 해당 등록 상태 데이터 세트의 새로운 변수 조합으로 등록하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템. - 제2항에 있어서,
상기 상태 판단부는
각각의 상기 등록 상태 데이터 세트를 구성하는 상기 복수의 등록 변수 조합 각각과 상기 측정 상태 데이터를 구성하는 변수 조합을 비교하여, 유사도에 따라 가중치를 부여하고;
각각의 사람 상태 별로 상기 가중치를 합산하여 각각의 사람 상태에 대한 상태 확률을 산출하며;
상기 상태 확률에 기초하여 사람 상태를 판단하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템. - 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법에 있어서,
(a) 복수의 사람 상태에 각각 대응하는 복수의 등록 상태 데이터 세트가 콘텐츠 재생 디바이스에 등록되되, 각각의 상기 등록 상태 데이터 세트는 각각 적어도 하나의 등록 뇌파 변수와 적어도 하나의 등록 심박도 변수로 구성된 복수의 등록 변수 조합을 포함하여 등록되는 단계와;
(b) 뇌파/심박도 감지 헤드셋을 통해 뇌파 및 심박도가 감지되는 단계와;
(c) 무선 통신을 통해 상기 뇌파/심박도 감지 헤드셋에 의해 감지된 뇌파 신호 및 심박도 신호가 상기 콘텐츠 재생 디바이스로 전송되는 단계와;
(d) 상기 콘텐츠 재생 디바이스에서 상기 뇌파/심박도 감지 헤드셋으로부터 전송된 상기 뇌파 신호 및 상기 심박도 신호로부터 적어도 하나의 측정 뇌파 변수와, 적어도 하나의 측정 심박도 변수를 추출하여 측정 상태 데이터를 생성하는 단계와;
(e) 상기 측정 상태 데이터와 상기 복수의 등록 상태 데이터 세트를 비교하여, 현재 상태를 판단하는 단계와;
(f) 상기 (e) 단계에서 판단된 현재 상태에 적합한 기 등록된 콘텐츠를 추출하여 제공하는 단계를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법. - 제6항에 있어서,
(a1) 상기 등록 상태 데이터 세트별로부터 무작위로 변수를 추출하여 기 등록된 개수의 새로운 변수 조합을 생성하는 단계와;
(a2) 각각의 상기 새로운 변수 조합과 상기 등록 변수 조합의 비교를 통해 각각의 상기 새로운 변수 조합과 매칭되는 적어도 하나의 등록 변수 조합을 추출하는 단계와;
(a3) 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 동일한 경우 해당 새로운 변수 조합의 가중치를 증가시키고, 상호 매칭되는 상기 새로운 변수 조합과 상기 등록 변수 조합의 사람 상태가 상이한 경우 해당 새로운 변수 조합의 가중치를 감소시키는 단계와;
(a4) 상기 새로운 변수 조합 중 상기 가중치가 높은 복수의 새로운 변수 조합을 등록 상태 데이터 세트에 업데이트하는 단계를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법. - 제7항에 있어서,
(a5) 상기 추천 콘텐츠가 재생되는 동안, 상기 (b) 단계, 상기 (c) 단계, 상기 (d) 단계 및 상기 (e) 단계가 수행되는 단계와;
(a6) 상기 (a5) 단계의 수행 과정에서 생성된 측정 상태 데이터와, 상기 (a5) 단계의 수행 과정에서의 사람 상태 판단 결과에 기초한 사람 상태를 상기 추천 콘텐츠와 함께 사용자 로그 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법. - 제8항에 있어서,
(a7) 상기 사용자 로그 저장부에 저장된 측정 상태 데이터 및 사람 상태를 해당 등록 상태 데이터 세트의 새로운 변수 조합으로 등록하는 단계와;
(a8) 상기 (a7) 단계를 통해 새로운 변수 조합이 등록된 후, 상기 (a1) 단계 내지 상기 (a4) 단계가 수행되는 단계를 더 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법. - 제6항에 있어서,
상기 (e) 단계는
(e1) 각각의 상기 등록 상태 데이터 세트를 구성하는 상기 복수의 등록 변수 조합 각각과 상기 측정 상태 데이터를 구성하는 변수 조합을 비교하여, 유사도에 따라 가중치를 부여하는 단계와;
(e2) 각각의 사람 상태 별로 상기 가중치를 합산하여 각각의 사람 상태에 대한 상태 확률하는 단계와;
(e3) 상기 상태 확률에 기초하여 사람 상태를 판단하는 단계를 포함하는 것을 특징으로 하는 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140051843 | 2014-04-29 | ||
| KR1020140051843 | 2014-04-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150125599A true KR20150125599A (ko) | 2015-11-09 |
| KR101576892B1 KR101576892B1 (ko) | 2015-12-14 |
Family
ID=54605041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150059735A KR101576892B1 (ko) | 2014-04-29 | 2015-04-28 | 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101576892B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180076797A (ko) * | 2016-12-28 | 2018-07-06 | (주)뮤테이션 | 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법 |
| WO2019004710A1 (en) * | 2017-06-26 | 2019-01-03 | Seoul National University R&Db Foundation | DEVICE AND METHOD FOR MEASURING ELECTROENCEPHALOGRAM AND ELECTROCARDIOGRAM |
| KR20190011656A (ko) * | 2017-07-25 | 2019-02-07 | 유경진 | 뇌파융합 피드백 시스템 |
| KR20190090577A (ko) * | 2018-01-25 | 2019-08-02 | 유경진 | 뇌기능 정보은행 시스템 및 이의 운용방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102459245B1 (ko) | 2022-07-21 | 2022-10-26 | 이루미 | 무선통신 네트워크를 활용하여 검출된 뇌파 신호를 상대방과 뇌파 통신을 할 수 있도록 전송하는 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101002751B1 (ko) | 2010-09-10 | 2010-12-21 | 주식회사 다이나믹플러스 | 뇌파를 이용한 학습 진단 장치, 이를 이용한 학습 관리 시스템 및 그 동작방법 |
-
2015
- 2015-04-28 KR KR1020150059735A patent/KR101576892B1/ko active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180076797A (ko) * | 2016-12-28 | 2018-07-06 | (주)뮤테이션 | 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법 |
| WO2019004710A1 (en) * | 2017-06-26 | 2019-01-03 | Seoul National University R&Db Foundation | DEVICE AND METHOD FOR MEASURING ELECTROENCEPHALOGRAM AND ELECTROCARDIOGRAM |
| KR20190011656A (ko) * | 2017-07-25 | 2019-02-07 | 유경진 | 뇌파융합 피드백 시스템 |
| KR20190090577A (ko) * | 2018-01-25 | 2019-08-02 | 유경진 | 뇌기능 정보은행 시스템 및 이의 운용방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101576892B1 (ko) | 2015-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pasluosta et al. | An emerging era in the management of Parkinson's disease: wearable technologies and the internet of things | |
| KR101576892B1 (ko) | 무선 통신을 이용한 뇌파/심박도 기반의 콘텐츠 추천 시스템 및 콘텐츠 추천 방법 | |
| Wei et al. | Emotion recognition based on weighted fusion strategy of multichannel physiological signals | |
| CN112120716A (zh) | 一种可穿戴式多模态情绪状态监测装置 | |
| Wu et al. | Modeling perceived stress via HRV and accelerometer sensor streams | |
| Zhu et al. | Detecting emotional reactions to videos of depression | |
| KR101854812B1 (ko) | 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템 | |
| Sundas et al. | Evaluation of autism spectrum disorder based on the healthcare by using artificial intelligence strategies | |
| Delva et al. | Investigation into the potential to create a force myography-based smart-home controller for aging populations | |
| Qu et al. | Bio-physiological-signals-based vr cybersickness detection | |
| Rajwal et al. | Convolutional neural network-based EEG signal analysis: A systematic review | |
| García-Acosta et al. | Neuroergonomic Stress Assessment with Two Different Methodologies, in a Manual Repetitive Task‐Product Assembly | |
| Satti et al. | User stress modeling through galvanic skin response | |
| Pandey et al. | Detecting moments of distraction during meditation practice based on changes in the EEG signal | |
| Ozkan et al. | Classification of BCI users based on cognition | |
| Islam et al. | Personalization of Stress Mobile Sensing using Self-Supervised Learning | |
| Munoz et al. | Development of Classifiers to Determine Factors Associated With Older Adult's Cognitive Functions and Game User Experience in VR Using Head Kinematics | |
| Karim et al. | An EEG-based Cognitive Fatigue Detection System | |
| Hougaard et al. | Modulating frustration and agency using fabricated input for motor imagery BCIs in stroke rehabilitation | |
| Faruk et al. | An investigation on non-invasive brain-computer interfaces: Emotiv epoc+ neuroheadset and its effectiveness | |
| Ekiz et al. | Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches | |
| Goumopoulos et al. | Mental stress detection using a wearable device and heart rate variability monitoring | |
| de Santos et al. | Secure access control by means of human stress detection | |
| Arpaia et al. | Wearable Brain-Computer Interfaces: Prototyping EEG-Based Instruments for Monitoring and Control | |
| Nagahanumaiah | Multi-modal Human Fatigue Classification using Wearable Sensors for Human-Robot Teams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181205 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191203 Year of fee payment: 5 |