KR20150102473A - 몰입 유발요소 검출 시스템 및 방법 - Google Patents

몰입 유발요소 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20150102473A
KR20150102473A KR1020140024374A KR20140024374A KR20150102473A KR 20150102473 A KR20150102473 A KR 20150102473A KR 1020140024374 A KR1020140024374 A KR 1020140024374A KR 20140024374 A KR20140024374 A KR 20140024374A KR 20150102473 A KR20150102473 A KR 20150102473A
Authority
KR
South Korea
Prior art keywords
content
immersion
state
data
signal
Prior art date
Application number
KR1020140024374A
Other languages
English (en)
Inventor
강행봉
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020140024374A priority Critical patent/KR20150102473A/ko
Publication of KR20150102473A publication Critical patent/KR20150102473A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 몰입 유발요소 검출 시스템에 관한 것으로서, 콘텐츠 이용중 피검자의 신체에서 발생하는 생체 신호를 측정하는 센서와; 상기 센서가 감지하는 신체부위에서 기 측정된 각각의 생체 신호의 정도에 따라 콘텐츠 몰입 상태별로 분류된 상태별 데이터를 학습하는 학습부와, 상기 센서로부터 측정된 각각의 생체신호에서 필요한 신호성분을 추출하여 처리하는 전처리부와, 상기 전처리부를 통해 추출된 신호성분을 상기 학습부에 학습된 데이터와 비교하여 콘텐츠 몰입 상태를 판단하는 판단부가 구비된 분석모듈을 포함하는 것을 특징으로 한다. 이에 따라. 콘텐츠 내에 어떤 요소가 몰입을 유발하는지 신뢰도 있는 분석이 가능하다.

Description

몰입 유발요소 검출 시스템 및 방법 {SYSTEM AND METHOD FOR SENSING OF IMMERSION-INDUCING ELEMENT}
본 발명은 몰입 유발요소 검출 시스템 및 방법에 관한 것으로, 보다 상세하게는 콘텐츠 내에 어떤 요소가 몰입을 유발하는지 분석할 수 있는 몰입 유발요소 검출 시스템 및 방법에 관한 것이다.
최근, 디지털 환경 상에 구축된 수많은 콘텐츠는 사용자로 하여금 다양한 오락거리 뿐만 아니라 소통에 있어서도 많은 영향을 미치고 있다. 콘텐츠를 이용함으로써 즐거움과 통쾌함 등 다양한 감정을 느낄 수 있어, 여가생활에서부터 교육에 있어서 까지 두루 활용된다. 그런데, 다양한 콘텐츠 중 하나인 게임에서는 때때로 과몰입 상태에 빠져 육체적 정신적 문제가 야기될 수도 있다. 과도한 몰입은 게이머 개인의 내적인 문제에 더불어 폭력성 등에 따라 사회적 문제로 확장되기도 한다. 이처럼 디지털 콘텐츠의 과몰입으로 인한 개인적 사회적 문제 발생 사례가 증가함에 따라 사회적으로 이슈화 되면서 이를 사전에 발견하고 예방하고자 하는 분야의 연구가 늘어나고 있다.
그런데 이러한 문제를 예방하기 위해 임상 심리학계에서는 디지털 콘텐츠 사용자에게 설문지를 작성하게 하고, 이를 바탕으로 디지털 콘텐츠에서 과몰입을 유발하는 요소들을 판단하는 척도를 산출하고 있을 뿐, 과몰입을 유발하는 디지털 콘텐츠를 찾는 연구는 전무하다시피하다.
한편, 의료 및 과학기술의 발전에 따라 인체에서 발생하는 각종 생체 신호를 측정할 수 있는 기술이 이용되고 있다. 대표적인 생체 신호는 심전도나, 근전도, 뇌파등이 될 수 있다. 심전도(ECG : Electrocardiograph)는 심장의 박동에 의해 심장근육이 수축 또는 확장되면서 발생되는 활동 전류를 기록한 것으로서, 파형을 갖는 그래프의 형태로 나타낸다. 이와 유사하게 근전도(EMG : Electromyograph)는 신체 근육의 움직임에 따라 발생하는 전류를 그래프 형태로 나타낸 것이며, 뇌전도(EEG : Electroencephalogram)는 두뇌의 활성에 따른 뇌파를 측정한 것이다.
이러한 생체신호는 신체부위에 부착한 전극을 이용하여 생체에서 발생한 미세 전류를 검출하여 기록함으로써, 신체의 이상 유무 및 활성정도 등을 파악하는데 이용되고 있다.
대한민국 공개특허공보 제10-2011-0116634호(사용자 단말 장치, 헬스케어 서버 및 헬스케어 시스템, 공개일 2011년10월26일)에서는 사용자의 생체신호를 측정하여 헬스케어 서버와 통신하여 제공함에 따라 사용자의 기호에 맞는 헬스케어 시스템을 개시하고 있다.
또한, 대한민국 공개특허공보 제10-2011-0054864호(완구를 이용한 건강체크 장치, 공개일 2011년05월25일)에서는 완구에 유아나 어린이로부터 생체신호를 감지하고 감지된 생체신호로 유아나 어린이의 바이오 리듬 및 건강상태를 체크해서 표시하고 알려주는 건강체크 장치가 개시되어 있다.
이러한 선행기술에서 측정된 생체신호는 대체로 사용자의 건강 정도를 체크하기 위한 용도로 사용된 것일 뿐, 사람에게 제공되는 콘텐츠 등의 평가에 이용되는 것은 아니었다.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 디지털 콘텐츠 내에 과몰입 유발요소가 포함되는지 여부의 판단과, 어떤 요소가 과몰입을 유발하는지 여부를 분석할 수 있는 몰입 유발요소 검출 시스템 및 방법을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 콘텐츠 이용중 피검자의 신체에서 발생하는 생체 신호를 측정하는 센서와; 상기 센서가 감지하는 신체부위에서 기 측정된 각각의 생체 신호의 정도에 따라 콘텐츠 몰입 상태별로 분류된 상태별 데이터를 학습하는 학습부와, 상기 센서로부터 측정된 각각의 생체신호에서 필요한 신호성분을 추출하여 처리하는 전처리부와, 상기 전처리부를 통해 추출된 신호성분을 상기 학습부에 학습된 데이터와 비교하여 콘텐츠 몰입 상태를 판단하는 판단부가 구비된 분석모듈을 포함하는 몰입 유발요소 검출 시스템으로 달성된다.
여기서, 상기 분석모듈은 상기 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 상기 센서로부터의 측정 결과를 시계열로 매칭하여 저장하는 기록부를 더 포함하며; 상기 몰입 유발요소는 상기 판단부로부터의 판단에 따라, 상기 콘텐츠의 영상 기록의 구간으로 제공될 수 있다.
또한, 상기 학습부에 학습되는 몰입 상태별 데이터는 상기 센서를 이용하여 복수를 대상으로 기 측정된 생체신호의 값에 기초하여 표본화될 수 있다.
여기서, 상기 몰입 상태별 데이터는 콘텐츠 이용 전 심리적, 육체적 안정된 상태의 생체신호에 대한 값을 갖는 상태인 안정상태 데이터와, 비과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 일반상태 데이터와, 과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 과몰입 상태 데이터를 포함하여 분류될 수 있다.
또한, 상기 몰입 상태별 데이터는 상기 표본화에 참여된 대상 각각의 콘텐츠 이용 영상을 참조하여 참여자의 판단에 따라 영상의 구간을 상기 몰입 상태별로 지정하여 표지하는 라벨링(Labeling)에 기초하며, 복수의 참여자에 의한 라벨링된 시점의 생체 신호값을 이용하여 결정될 수 있다.
본 발명의 실시예에서 상기 센서는 두뇌의 활성 상태에 따라 발생하는 뇌전도를 측정하는 EEG(Electroencephalogram) 센서와, 심장의 운동상태에 따른 심전도를 측정하는 ECG(Electrocardiograph) 센서와, 콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도를 측정하는 EMG(Electromyograph) 센서가 적용될 수 있다.
한편, 본 발명에 따른과몰입 유발요소 검출 방법에 있어서,(a) 콘텐츠 몰입 상태에 따라 표본화된 데이터를 분석모듈에 학습시키는 단계와; (b) 몰입 유발요소를 검출하기 위한 콘텐츠의 이용에 따른 생체신호를 측정하는 단계와; (c) 검출된 생체신호를 상기 표본화된 데이터와 비교하여 몰입 여부를 판단하는 단계와; (d) 상기 (c)단계로부터 판단된 결과에 대응하는 몰입 유발요소를 출력하는 단계를 포함한다.
여기서, 상기 (a) 단계는, (a1) 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 상기 시작점에서부터 상기 종료점에 대응하여 생체신호를 측정하는 센서로부터 측정된 결과를 시계열로 매칭하여 기록하는 단계와, (a2) 표본화에 참여된 대상 각각의 콘텐츠 이용 영상을 참조해 참여자의 판단에 따라 영상의 구간별 몰입 상태를 지정하는 라벨링(labeling) 단계와, (a3) 복수의 참여자에 의해 라벨링(labeling)된 구간에 대응하는 상기(a1)단계의 생체 신호값에 기초하여 몰입 상태 정도에 따라 표본화하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계는, (b1) 콘텐츠 이용중 두뇌의 활성 상태에 따라 발생하는 뇌전도를 측정하는 단계와, (b2) 콘텐츠 이용중 콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도를 측정하는 단계와, (b3) 콘텐츠 이용중 심장의 운동상태에 따른 심전도를 측정하는 단계를 포함하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계에 앞서, 상기 (b) 단계로부터 측정된 상기 뇌전도와, 상기 근전도, 상기 심전도를 포함한 생체신호에서 상기 비교 및 판단에 요구되는 신호 성분을 추출하여 전처리하는 단계를 더 포함할 수 있다.
또한, 상기 표본화된 데이터는 몰입 상태에 따라 콘텐츠 이용 전 심리적, 육체적 안정된 상태의 생체신호에 대한 값을 갖는 상태인 안정상태 데이터와, 비과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 일반상태 데이터와, 과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 과몰입 상태 데이터로 구분하여 마련되며; 상기 (c) 단계는 (c1) 전처리 과정을 거친 콘텐츠 이용중에 측정된 생체신호를 시계열 배치하는 단계와, (c2) 상기 안정상태 데이터와, 상기 일반상태 데이터와, 상기 과몰입 상태 데이터로 표본화된 데이터를 기초로 (c1) 단계를 통해 얻어진 시계열 구간을 상기 표본화에 따른 몰입 상태별로 처리하는 단계를 포함할 수 있다.
이때, 상기 (d) 단계는, 상기 (c2) 단계에서 처리된 상기 과몰입 상태의 시점에 대응하는 시계열 구간의 콘텐츠 요소를 출력하는 것이 가능하다.
상기와 같은 구성에 따라 본 발명에 따르면, 콘텐츠 내에 어떤 요소가 몰입을 유발하는지 분석할 수 있고, 이에 따라 과몰입을 유발하는 콘텐츠가 포함되는지 여부를 판단할 수 있다. 또한, 몰입 유발요소 검출 및 콘텐츠 평가에 생체신호에 의해 표준화된 데이터를 이용하므로 신되도 있는 분석 및 평가가 가능하다.
도 1은 본 발명의 실시예에 따른 몰입 유발요소 검출 시스템의 구성을 도시한 도면이고,
도 2는 본 발명의 실시예에 따른 분석모듈의 구성을 도시한 도면이고,
도 3은 시계열로 매칭된 생체신호 구간의 예시를 나타낸 도면이고,
도 4는 라벨링 데이터와 생체신호간의 관련도를 나타낸 도면이고,
도 5는 몰입 유발요소 검출 과정을 나타낸 순서도이고,
도 6은 도 5의 표본화된 데이터를 분석모듈에 학습하는 과정을 나타낸 순서도이고,
도 7 및 도 8은 콘텐츠의 몰입 유발요소를 제공하는 방식을 나타낸 순서도 이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 몰입 유발요소 검출 시스템의 구성을 도시한 도면이다. 도 1을 참조하여 설명하면 본 발명에 따른 몰입 유발요소 검출 시스템(100)은 센서(111,112,113)와 분석모듈(120)을 포함한다.
센서(111,112,113)는 콘텐츠 이용중 피검자의 신체에서 발생하는 생체 신호를 측정하는 것으로서, 본 발명에서는 두뇌의 활성 상태에 따라 발생하는 뇌전도를 측정하는 EEG (Electroencephalogram) 센서(111)와, 심장의 운동상태에 따른 심전도를 측정하는 ECG (Electrocardiograph) 센서(112)와, 콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도를 측정하는 EMG(Electromyograph) 센서(113)를 예시로 한다.
도 1에 도시된 바와 같이 EEG 센서(111)는 뇌전도를 측정하기 위한 것으로서 콘텐츠를 이용하는 대상의 두부에 착용하여 콘텐츠 이용중 두뇌에서 발생하는 미세전류를 측정하여 일정한 파형으로 그래프화 한다.
본 발명에서는 EEG 센서(111)로부터 측정결과를 통해 사용자의 Attention Value(이하, '집중도'라 함)를 이용하는데. 집중도는 사용자가 실험을 진행하는 동안 특정 부분을 얼마나 집중하여 응시하고 있는가를 수치화한 값이다. 시각화된 디지털 콘텐츠에서는 사용자가 집중하여 응시하는 정도로 몰입 상태를 판단하게 된다. 집중도 측정을 위해 EEG 센서(111)는 NeuroSky 사의 Mindwave 장비를 이용하였으나 이에 한정되는 것은 아니다.
ECG 센서는 심전도를 측정하기 위한 것으로서 콘텐츠를 이용하는 대상의 흉부에 착용하여 콘텐츠 이용중 흉부에서 발생하는 심장의 운동상태에 따른 미세전류를 측정하여 일정한 파형으로 그래프화 한다. 본 발명에서는 ECG 센서로부터 측정된 심전도 신호에서 심박수를 이용한다. 심전도 측정을 위한 ECG 센서는 Zephry사의 BioHarness 3.0을 사용하였으나 이에 한정되는 것은 아니다.
EMG 센서(112)는 콘텐츠 이용중 손가락의 조작에 따른 근육의 움직임을 측정하여 그래프화 한다. 손가락을 빠르게 움직일 경우 생체신호는 주기가 짧게 나오며, 손가락을 강하게 움직일 경우 생체신호의 진폭이 상대적으로 크게 측정되므로 몰입 구간 판단에 이용한다. 본 발명에서 EEG 센서(111)는 Shimmer사의 EMG System을 사용하였다.
상술한 센서(111,112,113)들은 기본적으로 신체부위에서 전극을 통해 발생한 전류를 측정하는 형태이지만 콘텐츠 이용에 사용자의 불편함을 줄여 생체신호의 잡음을 최소화 할 수 있도록 착용형 센서를 이용한다.
분석모듈(120)은 EEG 센서(111), EEG 센서(111), EMG 센서(112)로부터 측정된 생체신호를 통합적으로 분석하기 위한 것으로서 데이터 처리가 가능한 장치이며, 도 1에 도시된 바와 같이 학습부(122), 전처리부(123), 판단부(125), 제어부(121), 출력부(126)를 포함한다.
학습부(122)는 센서(111,112,113)가 감지하는 신체부위에서 기 측정된 각각의 생체 신호의 정도에 따라 콘텐츠 몰입 상태별로 분류된 상태별 데이터를 학습하는 기능을 담당한다. 학습하는 데이터에 대한 설명은 후술하기로 한다.
전처리부(123)는 센서(111,112,113)로부터 측정된 각각의 생체신호에서 필요한 신호성분을 추출하여 처리한다. 여기서 신호성분은 EEG 센서(111)를 통해 측정된 생체신호에서 집중 응시와 관련된 신호성분이고, EEG 센서(111)를 통해 측정된 생체신호에서 심박수, EMG 센서(112)를 통해 측정된 생체신호에서 움직임 주기와 진폭이다. 그리고 전처리부(123)에서는 신호성분 추출에 앞서 콘텐츠 이용과 관련도가 없는 호흡이나 근육 수축 등에 의한 잡음신호를 제거하도록 회귀 곡선 추정을 통한 생체신호의 파형을 확보한다.
또한 전처리부(123)는 생체신호의 파형을 일정한 시간간격으로 구간을 분할하고, 분할된 구간에서 특징점을 확인할 수 있도록 한다.
판단부(125)는 전처리부(123)를 통해 추출된 신호성분을 학습부(122)에 학습된 데이터와 비교하여 콘텐츠 몰입 상태를 판단한다.
제어부(121)는 센서(111,112,113)로부터 측정된 생체신호를 입력받고, 학습부(122), 전처리부(123), 판단부(125)를 통해 콘텐츠 내 몰입을 유발하는 요소를 검출하는 전반적인 제어를 수행한다.
예로, 판단부(125)가 신체부위별 및 몰입 상태별로 표준화된 데이터를 참조하여 몰입 유발요소 검출을 위한 콘텐츠의 이용중에 EEG 센서(111), ECG 센서(112), EMG 센서(113)를 통해 측정되는 생체신호와 상호 비교한다. 그리고 비교된 결과에서 표본화된 몰입 상태별 특징에 해당하는 특징이 측정된 생체신호에 포함되는지 여부에 따라 전처리부(123)에 의해 분할된 구간의 몰입 상태를 판단하게 된다. 여기서, 과몰입 요소를 찾는 경우를 예로하면, 제어부(121)는 판단부(125)로부터 판단된 몰입 상태에 따른 시간구간을 몰입 상태별로 분류하게 되며 과몰입 상태로 판단된 구간의 시간범위를 출력한다. 몰입 요소의 검출은 제어부(121)에 의해 제공된 시간범위를 참조하여 기록된 콘텐츠 이용 영상을 확인하여 몰입 유발요소가 무엇인지 확인하게 된다.
한편으로는 제어부(121)는 과몰입 상태로 판단된 구간의 시간범위에 해당하는 콘텐츠 이용 영상을 추출하여 출력하는 형태로 제공될 수 있음은 당연하다.
출력부(126)는 분석모듈(120)에서 판단된 콘텐츠 몰입 상태에 따른 분석결과 제어부(121)의 제어에 따라 출력한다. 본 발명의 실시예에서 출력부(126)는 분석모듈(120)로부터 분석결과를 수신하여 표시할 수 있는 장치로서 예컨데, 스마트폰 및 노트북과 같은 출력장치(130)를 예시로 하지만, 분석모듈(120)에 일체화되어 처리 가능한 출력장치(130)가 마련될 수 있다.
이와 같은 구성에 따라, 콘텐츠 이용중에 발생하는 사용자의 생체신호를 이용하여 몰입요소를 자동화된 시스템을 통해 판단하여 제공할 수 있으므로 콘텐츠 분석 및 판단에 높은 신뢰도를 갖는다.
본 발명의 실시예에서 분석모듈(120)은 기록부(124)를 더 포함할 수 있다. 기록부(124)는 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 센서(111,112,113)로부터의 측정 결과를 시계열로 매칭하여 저장한다.
도 3은 시계열로 매칭된 생체신호 구간의 예시를 나타낸 도면이다. 도 3에서 (a)는 신호 측정 시작점 T(s)에서 신호 측정 종료점 T(e)구간까지를 시계열로 나타내고 있고, EEG 센서(111), EEG 센서(111), EMG 센서(112)로부터 측정된 생체신호가 시간구간에 대응하여 매칭된다.
기록부(124)에 의해 시계열로 매칭되어 저장된 생체신호를 이용하여 판단부(125)를 통해 콘텐츠 몰입 상태를 판단하게 되면, 몰입 상태에 대응하는 구간은 콘텐츠의 영상 기록의 구간으로 제공되어, 해당 몰입 유발요소를 확인할 수 있다.
여기서 콘텐츠 몰입 상태의 판단은 학습부(122)에 학습된 상태별 데이터를 추출된 생체신호와 비교를 통해 할 수 있다. 상태별 데이터를 보다 자세히 설명하면, 데이터는 표준화 되어 학습부(122)에 학습된다.
데이터는 몰입 상태별로 마련될 수 있는데. 콘텐츠 이용 전 심리적, 육체적으로 안정된 상태의 생체신호에 대한 값을 갖는 안정상태 데이터와, 비과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 일반상태 데이터와, 과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 과몰입 상태 데이터를 포함하여 분류된다.
여기서 각각의 몰입 상태에 따른 데이터는 학습부(122)에 학습되는 몰입 상태별 데이터는 센서(111,112,113)를 이용하여 복수를 대상으로 기 측정된 생체신호의 값에 기초하여 표본화된다. 다수의 참여자를 대상으로 미리 측정하여 몰입 상태에 따른 표본화된 데이터를 이용하여 판단하게 되므로 판단의 신뢰도가 증대된다.
한편, 표본화를 위한 데이터를 구축하기 위해 참여된 대상 각각의 콘텐츠 이용 영상을 참조하여 참여자의 판단에 따라 영상의 구간을 상기 몰입 상태별로 지정하여 표지하는 라벨링(Labeling)에 기초한다.
도 4는 라벨링 데이터와 생체신호 간의 관련도를 나타낸 도면이다. 도 4를 참조하면 EEG 센서(111)를 통해 측정된 집중도와, EEG 센서(111)를 통해 측정된 심박수와 , EMG 센서(112)를 통해 측정된 근육 움직임은 후술할 라벨링 데이터와 상호 밀접한 관련성을 갖는 점을 이용하여 몰입 유발요소를 검출할 수 있는데, 이하에서 도 5 내지 도8을 참조하여 몰입 유발요소 검출 과정을 설명하기로 한다.
도 5는 몰입 유발요소 검출 과정을 나타낸 순서도이다. 도 5에 도시된 바와 같이 몰입 유발요소 검출 방법은 표본화된 데이터를 분석모듈(120)에 학습시키는 단계(S510)와, 콘텐츠 이용에 따른 생체신호를 검출하는 단계(S520)와, 생체신호를 표본화된 데이터와 비교하여 몰입 상태를 판단하는 단계(S530)와, 몰입 유발요소를 출력하는 단계(S540)를 포함한다.
표본화된 데이터를 분석모듈(120)에 학습시키는 단계(S510)는 표본화된 데이터를 구축하는 것을 기초로 하는데 도 6을 참조하여 설명하기로 한다.
준비과정(S511)은 콘텐츠의 실행 준비단계로서, 생체신호를 측정하는 센서(111,112,113)를 참여자의 신체에 착용하고 분석모듈(120)의 세팅과정에 해당한다.
도 3을 재차 참조하면, 생체신호의 측정은 T(s)시점과 T(e)구간동안 측정되는데, 실질적 참여자가 콘텐츠를 이용 즉, 조작을 통해 참여하는 구간은 T(1) 구간에서부터 T(2)구간이다.
콘텐츠 이용에 앞서, 심신을 안정시키기 위하여 소정의 시간 예컨데, 약 10분 정도의 안정시간을 갖는다. 이때는 T(s)시점 이후에 해당하며, 도시된 대기 종료 시점까지이며, 안정화를 위해 콘텐츠가 표시되지 않는 빈 화면의 모니터를 보며 대기하는 단계이다. 물론 이 시점에서도 센서(110)들에 의해 생체신호는 측정된다.
본 발명에서는 몰입요소 판단을 위한 몰입 상태별 데이터 구축에 게임을 이용하는 것을 예시로 설명하기로 한다.
안정시간을 가진 후, 콘텐츠를 로그인 및 로딩하는 과정을 거처 게임에 참여하고, 게임종료 후, 소정의 대기시간까지 생체신호를 측정(S512)하고 게임 이용중의 영상을 기록한다. 이때, 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 상기 시작점에서부터 상기 종료점에 대응하여 EEG 센서(111), EMG 센서(112), EEG 센서(111)로부터 측정된 결과를 시계열로 매칭하여 기록한다.
게임 이용 및 생체신호 측정 완료 후, 게임 참여자는 기록된 게임 영상을 보며 몰입된 지점이라고 판단된 부분을 표지하는 라벨링(Labeling)과정(S513)을 갖는다. 라벨의 표지는 안정상태 지점, 일반적인 게임상태 지점, 게임 몰입상태 지점을 모두 라벨링 할 수 있으며, 몰입상태 지점이라고 판단된 부분만 라벨링하는 것도 가능하다. 라벨링 과정의 정확도를 위해 참여자의 음성이나 행동과 게임 이용 영상을 함께 기록하는 것이 바람직하다. 이에 따라, 참여자는 콘텐츠 참여 시, 몰입되는 시점이라고 판단될 경우 간단한 제스처나 음성을 표출하는 것을 미리 정하여 실시하는 것도 가능하다.
이러한 방식으로 복수의 참여자에 의한 게임 참여에 따른 라벨링 지점 T(i)에 대응하는 생체신호의 값을 추출(S514)한 뒤, 라벨링된 구간의 생체신호 구간을 추출한다. 복수의 참여자의 생체신호를 이용함에 따라, 라벨링 구간의 특징점을 추출(S515)할 수 있는데, 진폭, 주기, 변화율 등이 될 수 있다.
그 후, 추출된 특징점들을 몰입상태 정도에 따라 표본화(S516)한다.
이에 따라 EEG 센서(111)로부터 측정된 생체신호의 안정상태 데이터, 일반상태 데이터, 과몰입 상태 데이터로 표본화되며, 마찬가지로 EEG 센서(111)와 EMG 센서(112)로 부터 측정된 생체신호 또한, 안정상태 데이터, 일반상태 데이터, 과몰입 상태 데이터에 대응하는 신호성분의 특징을 갖도록 표본화된다. 센서 위치별, 몰입상태별로 표본화된 데이터는 학습부(122)에 학습(S517)되어 콘텐츠의 몰입요소에 대한 분석 및 판단에 이용된다.
분석모듈(120)에 표준화된 데이터가 학습되어 마련되면, 각종 콘텐츠에 몰입 유발요소가 있는지 여부에 따른 분석이 가능하게 된다.
도 7 및 도 8의 콘텐츠 분석의 과정을 설명하면, 분석하고자 하는 콘텐츠를 준비(S810)하는 과정을 갖는다. 자세하게는 도 7은 몰입 상태별 요소를 출력하는 과정을 순서도로 나타낸 것이고, 도 8은 과몰입 구간의 시점에 대응하는 요소만을 출력하는 형태를 나타낸 것이다.
도 7에 따른 몰입 상태별 요소를 출력하는 과정을 먼저 설명하기로 한다.
여기서의 준비과정(S710)에서도 전술한 도 6의 준비과정(S511)과 유사하게 센서(111,112,113) 및 분석모듈(120)의 세팅과정이 수행된다. 다만 몰입요소에 대한 분석을 실시하고자 하는 콘텐츠는 게임 이외의 분야가 포함될 수 있다.
다음으로 해당 콘텐츠 이용중 두뇌의 활성 상태에 따라 발생하는 뇌전도와, 콘텐츠 이용중 콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도와, 콘텐츠 이용중 심장의 운동상태에 따른 심전도를 측정(S720)한다.
측정된 뇌전도, 근전도, 심전도에 대한 생체신호는 전처리부(123)에 의해 필요성분만을 추출(S730)하게 된다. 추출되는 신호성분은 앞서 설명하였으므로 생략하기로 한다. 이때도 마찬가지로 잡음신호 제거 및 생체신호 파형의 시간에 따른 분할과정이 포함된 상태이다.
전처리된 신호는 시계열로 배치(S740)되는데, 여기에서의 배치는 학습단계에서 배치되는 것과는 상이함이 있다. 학습 단계에서는 참여자의 콘텐츠 이용중의 영상을 포함하여 매칭하지만, 여기에서는 표본화된 데이터가 이미 마련되어 학습된 상태이므로, 콘텐츠 참여에 따른 센서(111,112,113)들로부터의 측정된 생체신호의 값들만 시계열로 배치한다.
전처리된 신호의 시계열 배치가 완료되면, 표본화된 몰입 상태별 데이터를 참조하여 시계열 구간마다 대응하는 몰입 상태로 분류(S750)한다. 즉, 생체신호의 측정 시작점으로부터 측정 종료점 까지의 구간마다 몰입 상태가 결정되어, 최종적으로 몰입 상태별 시점을 출력하거나, 시점에 대응하는 요소를 출력(S760)함으로써 몰입 유발요소를 확인할 수 있게 된다.
한편, 본 발명에서 몰입 유발요소 검출은 과몰입 구간의 시점에 대응하는 요소만을 출력하는 형태로도 실시될 수 있다.
도 8을 참조하여 설명하기로 하되, 도 8의 준비단계(S810) 내지 전처리된 신호의 시계열 배치 단계(S840)는 도 7을 참조하여 앞서 설명한 몰입 상태별 요소를 출력하는 과정과 동일하므로 동일한 부분은 생략하기로 한다.
전처리된 신호의 시계열 배치 단계(S840)이후, 표본화된 데이터에 따른 시계열 구간의 몰입상태를 확인하여 과몰입 상태에 대응하는 생체신호의 성분이 있는지 판단(S850)한다.
과몰입 상태의 판단은 예로, 표본화된 데이터의 과몰입 상태에 대한 EEG, ECG, EMG 특징값 중, 어느 하나 이상이 분석할 콘텐츠 이용중 측정된 생체신호에 포함되는지 여부의 판단에 따라 해당 시계열 구간의 과몰입 상태를 판단한다. 여기에서도 과몰입 상태 판단의 신뢰도를 높이기 위하여 과몰입 상태에 대한 EEG, ECG, EMG 특징값 중 2개 이상을 만족하는 시계열 구간만을 과몰입 상태로 판단하는 방식으로 처리하는 것이 바람직할 수 있다.
그 후, 과몰입 상태로 판단된 구간의 시점 또는 과몰입 시점에 대응하는 요소 즉, 기록된 콘텐츠 영상을 출력(860)함으로써 콘텐츠의 몰입 유발요소의 확인이 가능하다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100 : 몰입 유발요소 검출 시스템 110 : 센서
111 : EEG 센서 112 : ECG 센서
113 : EMG 센서 120 : 분석모듈
121 : 제어부 122 : 학습부
123 : 전처리부 124 : 기록부
125 : 판단부 126 : 출력부
130 : 출력장치

Claims (12)

  1. 콘텐츠 이용중 피검자의 신체에서 발생하는 생체 신호를 측정하는 센서와;
    상기 센서가 감지하는 신체부위에서 기 측정된 각각의 생체 신호의 정도에 따라 콘텐츠 몰입 상태별로 분류된 상태별 데이터를 학습하는 학습부와, 상기 센서로부터 측정된 각각의 생체신호에서 필요한 신호성분을 추출하여 처리하는 전처리부와, 상기 전처리부를 통해 추출된 신호성분을 상기 학습부에 학습된 데이터와 비교하여 콘텐츠 몰입 상태를 판단하는 판단부가 구비된 분석모듈을 포함하는 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  2. 제1항에 있어서,
    상기 분석모듈은
    상기 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 상기 센서로부터의 측정 결과를 시계열로 매칭하여 저장하는 기록부를 더 포함하며;
    상기 몰입 유발요소는 상기 판단부로부터의 판단에 따라, 상기 콘텐츠의 영상 기록의 구간으로 제공되는 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  3. 제1항에 있어서
    상기 학습부에 학습되는 몰입 상태별 데이터는 상기 센서를 이용하여 복수를 대상으로 기 측정된 생체신호의 값에 기초하여 표본화된 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  4. 제3항에 있어서
    상기 몰입 상태별 데이터는
    콘텐츠 이용 전 심리적, 육체적으로 안정된 상태의 생체신호에 대한 값을 갖는 안정상태 데이터와,
    비과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 일반상태 데이터와,
    과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 과몰입 상태 데이터를 포함하여 분류되는 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  5. 제4항에 있어서,
    상기 몰입 상태별 데이터는
    상기 표본화에 참여된 대상 각각의 콘텐츠 이용 영상을 참조하여 참여자의 판단에 따라 영상의 구간을 상기 몰입 상태별로 지정하여 표지하는 라벨링(Labeling)에 기초하며, 복수의 참여자에 의한 라벨링된 시점의 생체 신호값을 이용하여 결정되는 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  6. 제1항 내지 제5항에 있어서
    상기 센서는
    두뇌의 활성 상태에 따라 발생하는 뇌전도를 측정하는 EEG(Electroencephalogram) 센서와,
    심장의 운동상태에 따른 심전도를 측정하는 ECG(Electrocardiograph) 센서와,
    콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도를 측정하는 EMG(Electromyograph) 센서를 포함하는 것을 특징으로 하는 몰입 유발요소 검출 시스템.
  7. 과몰입 유발요소 검출 방법에 있어서,
    (a) 콘텐츠 몰입 상태에 따라 표본화된 데이터를 분석모듈에 학습시키는 단계와;
    (b) 몰입 유발요소를 검출하기 위한 콘텐츠의 이용에 따른 생체신호를 검출하는 단계와;
    (c) 검출된 생체신호를 상기 표본화된 데이터와 비교하여 몰입 상태를 판단하는 단계와;
    (d) 상기 (c)단계로부터 판단된 결과에 대응하는 몰입 유발요소를 출력하는 단계를 포함하는 것을 특징으로 하는 몰입 유발요소 검출 방법.
  8. 제7항에 있어서,
    상기 (a) 단계는,
    (a1) 콘텐츠 이용의 시작점에서 종료점까지의 영상과, 상기 시작점에서부터 상기 종료점에 대응하여 EEG 센서, EMG 센서, ECG 센서로부터 측정된 결과를 시계열로 매칭하여 기록하는 단계와,
    (a2) 표본화에 참여된 대상 각각의 콘텐츠 이용 영상을 참조해 참여자의 판단에 따라 영상의 구간별 몰입 상태를 지정하는 라벨링(labeling) 단계와,
    (a3) 복수의 참여자에 의해 라벨링(labeling)된 구간에 대응하는 상기(a1)단계의 생체 신호값에 기초하여 몰입 상태 정도에 따라 표본화하는 단계를 포함하는 것을 특징으로 하는 몰입 유발요소 검출 방법
  9. 제7항에 있어서,
    상기 (b) 단계는,
    (b1) 콘텐츠 이용중 두뇌의 활성 상태에 따라 발생하는 뇌전도를 측정하는 단계와,
    (b2) 콘텐츠 이용중 콘텐츠 조작에 이용되는 손의 움직임에 의해 발생하는 근전도를 측정하는 단계와,
    (b3) 콘텐츠 이용중 심장의 운동상태에 따른 심전도를 측정하는 단계를 포함하는 단계를 포함하는 것을 특징으로 하는 몰입 유발요소 검출 방법.
  10. 제9항에 있어서,
    상기 (c) 단계에 앞서,
    상기 (b) 단계로부터 측정된 상기 뇌전도와, 상기 근전도, 상기 심전도를 포함한 생체신호에서 상기 비교 및 판단에 요구되는 신호 성분을 추출하여 전처리하는 단계를 더 포함하는 것을 특징으로 하는 몰입 유발요소 검출 방법.
  11. 제10항에 있어서,
    상기 표본화된 데이터는 몰입 상태에 따라 콘텐츠 이용 전 심리적, 육체적 안정된 상태의 생체신호에 대한 값을 갖는 상태인 안정상태 데이터와, 비과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 일반상태 데이터와, 과몰입 상태의 콘텐츠 이용중의 생체신호에 대한 값을 갖는 과몰입 상태 데이터로 구분하여 마련되며;
    상기 (c) 단계는
    (c1) 전처리 과정을 거친 콘텐츠 이용중에 측정된 생체신호를 시계열 배치하는 단계와,
    (c2) 상기 안정상태 데이터와, 상기 일반상태 데이터와, 상기 과몰입 상태 데이터로 표본화된 데이터를 기초로 (c1) 단계를 통해 얻어진 시계열 구간을 상기 표본화에 따른 몰입 상태별로 처리하는 단계를 포함하는 것을 특징으로 하는 몰입 유발요소 검출 방법.
  12. 제11항에 있어서,
    상기 (d) 단계는,
    상기 (c2) 단계에서 처리된 상기 과몰입 상태의 시점에 대응하는 시계열 구간의 콘텐츠 요소를 출력하는 것을 특징으로 하는 몰입 유발요소 검출 방법.
KR1020140024374A 2014-02-28 2014-02-28 몰입 유발요소 검출 시스템 및 방법 KR20150102473A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140024374A KR20150102473A (ko) 2014-02-28 2014-02-28 몰입 유발요소 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024374A KR20150102473A (ko) 2014-02-28 2014-02-28 몰입 유발요소 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20150102473A true KR20150102473A (ko) 2015-09-07

Family

ID=54243244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024374A KR20150102473A (ko) 2014-02-28 2014-02-28 몰입 유발요소 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20150102473A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139447A1 (ko) * 2018-01-15 2019-07-18 아이지에스 주식회사 생체 데이터를 이용한 컨텐츠 평가 장치 및 이를 이용한 컨텐츠 평가 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139447A1 (ko) * 2018-01-15 2019-07-18 아이지에스 주식회사 생체 데이터를 이용한 컨텐츠 평가 장치 및 이를 이용한 컨텐츠 평가 방법

Similar Documents

Publication Publication Date Title
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Umair et al. HRV and stress: a mixed-methods approach for comparison of wearable heart rate sensors for biofeedback
Zhai et al. Stress detection in computer users based on digital signal processing of noninvasive physiological variables
Nikolova et al. ECG-based emotion recognition: Overview of methods and applications
Giannakakis et al. A novel multi-kernel 1D convolutional neural network for stress recognition from ECG
Seo et al. Deep learning approach for detecting work-related stress using multimodal signals
CN106999062A (zh) 基于人体微动而提取心脏信息的方法
EP3073400B1 (en) System and method for determining psychological stress of a person
KR20200071647A (ko) 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법
Ismail et al. A comparison of emotion recognition system using electrocardiogram (ECG) and photoplethysmogram (PPG)
Mekruksavanich et al. A deep residual-based model on multi-branch aggregation for stress and emotion recognition through biosignals
Rescio et al. Ambient and wearable system for workers’ stress evaluation
Ahamad System architecture for brain-computer interface based on machine learning and internet of things
Irshad et al. Wearable-based human flow experience recognition enhanced by transfer learning methods using emotion data
Mekruksavanich et al. Deep learning approaches for epileptic seizures recognition based on eeg signal
Tyagi et al. Methods for the Recognition of Human Emotions Based on Physiological Response: Facial Expressions
Sadek et al. Sensor data quality processing for vital signs with opportunistic ambient sensing
Hakim et al. Emotion recognition in elderly based on SpO 2 and pulse rate signals using support vector machine
WO2020039428A1 (en) Machine classification of significant psychophysiological response
Mughal et al. Emotion recognition techniques for geriatric users: a snapshot
Chang et al. Physiological angry emotion detection using support vector regression
KR20150102473A (ko) 몰입 유발요소 검출 시스템 및 방법
Kraft et al. Reliability factor for accurate remote PPG systems
Cho et al. Instant automated inference of perceived mental stress through smartphone ppg and thermal imaging
WO2021005598A1 (en) Test protocol for detecting significant psychophysiological response

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal