KR20150019351A - 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법 - Google Patents

동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법 Download PDF

Info

Publication number
KR20150019351A
KR20150019351A KR20130096106A KR20130096106A KR20150019351A KR 20150019351 A KR20150019351 A KR 20150019351A KR 20130096106 A KR20130096106 A KR 20130096106A KR 20130096106 A KR20130096106 A KR 20130096106A KR 20150019351 A KR20150019351 A KR 20150019351A
Authority
KR
South Korea
Prior art keywords
fatigue
feature value
user
calculating
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR20130096106A
Other languages
English (en)
Other versions
KR102153606B1 (ko
Inventor
이호식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130096106A priority Critical patent/KR102153606B1/ko
Priority to US14/336,296 priority patent/US10108853B2/en
Publication of KR20150019351A publication Critical patent/KR20150019351A/ko
Application granted granted Critical
Publication of KR102153606B1 publication Critical patent/KR102153606B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)

Abstract

동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법에 관한 것으로, 동영상 콘텐트에 대한 피로도를 예측하여 시청자에게 제공함으로써, 시청자가 신체 또는 심리 상태에 맞는 동영상을 선택하도록 할 수 있다.

Description

동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING USER FATIGUE DEGREE OF VIDEO CONTENT}
동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법과 관련된다.
사람들은 외부환경으로부터 다양한 형태의 자극을 받고 있다. 적절한 외부의 자극은 뇌의 활동을 유발시키는 등 좋은 영향을 미치지만, 과도한 자극은 여러 가지 부작용을 유발 시킬 수 있다.
다양한 모바일 장치의 확산으로 인하여 언제 어디서나 다양한 형태의 동영상콘텐트를 시청할 수 있게 됨에 따라, 동영상 콘텐트 시청 시간이 증가하게 되었고, 다양한 형태로 공유되는 정제 되지 않은 동영상 콘텐트에 노출되는 시간 또한 많아졌다. 이러한 동영상 콘텐트에 의한 과도한 시청각적인 자극은 시청자들에게 생리적 혹은 정신적인 질병을 유발 시킬 수 있으며, 특히, 어린이들의 경우 발달 장애와 같은 질병을 유발 시키기도 한다.
동영상 콘텐트 시청에 의해 사용자가 받을 수 있는 피로도를 예측하여 사용자에게 제공하기 위한 피로도 예측 장치 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 장치는 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산하는 특징값 계산부 및 상기 특징값을 피로도 예측 모델에 적용하여, 상기 동영상 콘텐트에 대한 사용자 피로도를 계산하는 피로도 계산부를 포함할 수 있다.
일 양상에 따르면, 상기 특징값 계산부는 상기 동영상 콘텐트에 포함된 영상의 특성에 대응되는 영상 특징값을 계산하는 영상 특징값 계산부, 상기 동영상 큰텐트에 포함된 음향의 특성에 대응되는 음향 특징값을 계산하는 음향 특징값 계산부 및 상기 영상 특징값 및 상기 음향 특징값 중 적어도 하나를 감정 인식 모델에 적용하여 감정 특징값을 계산하는 감정 특징값 계산부를 더 포함할 수 있다.
일 양상에 따르면, 상기 감정 특징값은 각성(arousal) 레벨 및 유인가(valence) 레벨을 포함할 수 있다.
일 양상에 따르면, 상기 피로도 예측 모델은 상기 영상 특징값과 사용자의 생체 신호 변화 사이의 연관 관계를 나타내는 파라미터 및 상기 사용자의 생체 신호 변화와 피로도 사이의 연관 관계를 나타내는 파라미터를 포함할 수 있다.
일 양상에 따르면, 상기 피로도 계산부는 상기 음향 특징값에 기초한 청각적 피로도, 상기 영상 특징값에 기초한 시각적 피로도 및 상기 감정 특징값에 기초한 정신적 피로도를 계산할 수 있다.
일 양상에 따르면, 상기 피로도 계산부는 상기 청각적 피로도, 상기 시각적 피로도 및 상기 감정 특징값에 기초한 종합 피로도를 계산할 수 있다.
일 양상에 따르면, 상기 피로도 계산부는 사용자가 상기 동영상 콘텐트를 시청 중인 경우, 시청 시간 경과에 따른 누적 피로도를 계산할 수 있다.
추가적 양상에 따르면, 상기 동영상 콘텐트에 대한 사용자 피로도 예측 장치는 상기 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성하는 피로도 정보 생성부를 더 포함할 수 있다.
일 양상에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법은 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산하는 단계 및 상기 특징값을 피로도 예측 모델에 적용하여, 상기 동영상 콘텐트에 대한 사용자 피로도를 계산하는 단계를 포함할 수 있다.
일 양상에 따르면, 상기 특징값을 계산하는 단계는 상기 동영상 콘텐트에 포함된 영상의 특성에 대응되는 영상 특징값을 계산하는 단계, 상기 동영상 큰텐트에 포함된 음향의 특성에 대응되는 음향 특징값을 계산하는 단계 및 상기 영상 특징값 및 상기 음향 특징값 중 적어도 하나를 감정 인식 모델에 적용하여 감정 특징값을 계산하는 단계를 더 포함할 수 있다.
일 양상에 따르면, 상기 감정 특징값은 각성(arousal) 레벨 및 유인가(valence) 레벨을 포함할 수 있다.
일 양상에 따르면, 상기 피로도 예측 모델은 상기 영상 특징값과 사용자의 생체 신호 변화 사이의 연관 관계를 나타내는 파라미터 및 상기 사용자의 생체 신호 변화와 피로도 사이의 연관 관계를 나타내는 파라미터를 포함할 수 있다.
일 양상에 따르면, 상기 피로도를 계산하는 단계는 상기 음향 특징값에 기초한 청각적 피로도, 상기 영상 특징값에 기초한 시각적 피로도 및 상기 감정 특징값에 기초한 정신적 피로도를 계산할 수 있다.
일 양상에 따르면, 상기 피로도를 계산하는 단계는 상기 청각적 피로도, 상기 시각적 피로도 및 상기 정신적 피로도에 기초한 종합 피로도를 계산할 수 있다.
일 양상에 따르면, 상기 피로도를 계산하는 단계는 사용자가 상기 동영상 콘텐트를 시청 중인 경우, 시청 시간 경과에 따른 누적 피로도를 계산할 수 있다.
추가적 양상에 따르면, 상기 동영상 콘텐트에 대한 사용자 피로도 예측 방법은 상기 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성하는 단계를 더 포함할 수 있다.
동영상 콘텐트에 대한 피로도를 예측하여 시청자들에게 사전에 제공함으로써 시청자가 신체 또는 심리 상태에 맞는 동영상을 선택하도록 할 수 있다.
또한, 시청 중인 동영상 콘텐트에 대한 피로도를 시청자에게 제공 함으로써 과도한 동영상 시청을 방지 할 수 있다.
도 1은 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 장치의 구성도,
도 2는 일 실시예에 따른 특징 계산부의 구성도,
도 3은 추가적 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 장치의 구성도,
도 4 및 도 5는 피로도 정보를 설명하기 위한 예시도,
도 6은 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법의 순서도,
도 7은 추가적 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법의 순서도 이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
도 1은 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 장치(100)의 구성도이다.
도 1을 참조하면, 동영상 콘텐트에 대한 사용자 피로도 예측 장치(100)는 동영상 콘텐트 재생 장치 또는 유/무선 네트워크를 통해 동영상 콘텐트 재생 장치로 동영상 콘텐트를 제공할 수 있는 동영상 콘텐트 제공 장치의 일 구성으로 포함될 수 있다.
동영상 콘텐트 재생 장치는 동영상 콘텐트를 재생할 수 있는 모든 형태의 장치를 포함할 수 있다.
예를 들어, 동영상 콘텐트 재생 장치는 PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 휴대폰 등과 같은 모바일 장치뿐만 아니라 PC(Personal Computer), 핸드 헬드 PC(Hand??Held PC), 노트북 PC(Notebook PC), IPTV, 셋톱 박스 등과 같은 다양한 형태의 장치일 수 있다.
동영상 콘텐트 제공 장치는 유/무선 네트워크를 통해 동영상 콘텐트를 동영상 재생 장치로 제공할 수 있는 모든 형태의 장치를 포함할 수 있다.
예를 들어, 동영상 콘텐트 제공 장치는 유/무선 네트워크를 통해 실시간 동영상 콘텐트 또는 다운로드 받아 재생할 수 있는 동영상 콘텐트를 동영상 콘텐트 재생 장치로 제공할 수 있는 서버일 수 있다.
특징값 계산부(110)는 동영상 콘텐트에 포함된 영상 및 음향에 대응되는 특징값을 계산할 수 있다. 이때, 특징값은 영상 특징값, 음향 특징값 및 감정 특징값을 포함할 수 있다.
영상 특징값은 동영상 콘텐트에 포함된 영상에 대응되는 특징값을 의미한다. 예를 들어, 영상 특징값은 동영상 콘텐트에 포함된 영상에서 화소 크기(pixel size), 밝기, 색상, 밝기의 시간적인 변화, 색상의 시간적인 변화, 고주파수 에너지, 그레이 레벨(gray level), 영상에 포함된 객체의 수, 객체의 이동 속도 등과 같은 특징을 수치적으로 나타낸 값일 수 있다.
음향 특징값은 동영상 콘텐트에 포함된 음향에 대응되는 특징값을 의미한다. 예를 들어, 음향 특징값은 동영상 콘텐트에 포함된 음향에서 음의 크기(energy), 음 높이(pitch), 음량(loudness), 음색(timbre), 지속시간(duration), 주파수, 음 크기의 시간적 변화, 음높이의 시간적 변화, 주파수의 시간적 변화, 음색의 시간적 변화 등과 같은 특징을 수치적으로 나타낸 값일 수 있다.
감정 특징값은 동영상 콘텐트에 포함된 영상 및 음향 중 적어도 하나에 의해 인식될 수 있는 감정에 대응되는 특징값을 의미한다. 예를 들어, 감정 특징값은 동영상 콘텐트에 포함된 영상 및 음향 중 적어도 하나로부터 인식되는 감정을 분류하여 분류된 감정에 대한 각성(arousal) 레벨 및 유인가(valence) 레벨을 수치적으로 나타낸 값일 수 있다.
피로도 계산부(130)는 특징값 계산부(110)에서 계산된 특징값을 피로도 예측 모델에 적용하여 동영상 콘텐트에 대한 사용자 피로도를 계산할 수 있다.
이때, 동영상 콘텐트에 대한 사용자 피로도는 사용자가 동영상 콘텐트를 시청할 때 느낄 수 있는 피로를 수치적으로 나타낸 값일 수 있다.
일 실시예에 따르면, 동영상 콘텐트에 대한 사용자 피로도는 시각적 피로도, 청각적 피로도 및 정신적 피로도를 포함할 수 있다.
시각적 피로도는 사용자가 동영상 콘텐트를 시청할 때, 시각적 자극으로 인해 느낄 수 있는 시각적 피로를 수치적으로 평가한 것일 수 있다. 구체적으로, 피로도 계산부(130)는 특징값 계산부(110)에서 계산된 영상 특징값을 피로도 예측 모델에 적용하여 시각적 피로도를 계산할 수 있다.
청각적 피로도는 사용자가 동영상 콘텐트를 시청할 때, 청각적 자극으로 인해 느낄 수 있는 청각적 피로를 수치적으로 평가한 것일 수 있다. 구체적으로, 피로도 계산부(130)는 특징값 계산부(110)에서 계산된 음향 특징값을 피로도 예측 모델에 적용하여 시각적 피로도를 계산할 수 있다.
정신적 피로도는 사용자가 동영상 콘텐트를 시청할 때, 동영상 콘텐트에 포함된 영상 및 소리 중 적어도 하나로부터 인식되는 감정 또는 감정의 변화에 따라 느낄 수 있는 정신적 피로를 수치적으로 평가한 것일 수 있다. 구체적으로, 피로도 계산부(130)는 특징값 계산부(110)에서 계산된 영상 특징값 또는 음향 특징값 중 적어도 하나를 피로도 예측 모델에 적용하여 정신적 피로도를 계산할 수 있다.
일 실시예에 따르면, 피로도 계산부(130)는 시각적 피로도, 청각적 피로도 및 정신적 피로도에 기초하여 종합적인 피로도를 계산할 수 있다.
예를 들어, 피로도 계산부(130)는 시각적 피로도, 청각적 피로도 및 정신적 피로도를 각각 계산한 후, 이들의 평균값으로 종합적인 피로도를 계산할 수 있다.
또 다른 예로, 피로도 계산부(130)는 시각적 피로도, 청각적 피로도 및 정신적 피로도를 각각 계산한 후, 이들 각각에 가중치를 곱한 후 합산하여 종합적인 피로도를 계산할 수 있다.
한편, 일 실시예에 따르면, 피로도는 현재 재생 중인 동영상 콘텐트에 대한 누적적인 피로도일 수 있다. 예를 들어, 사용자가 동영상 콘텐트를 시청하고 있는 경우, 시청 시간의 경과에 따른 누적적인 피로도일 수 있다.
한편, 피로도 예측 모델은 미리 획득된 파라미터를 이용한 선형 또는 비선형 모델로 구현될 수 있다.
예를 들어, 피로도 예측 모델은 수학식 1 내지 4의 형태로 구현될 수 있다.
Figure pat00001
수학식 1은 동영상 콘텐트에서 계산된 음향 특징값과 생체 신호 변화(
Figure pat00002
) 사이의 관계를 나타낸 식이다. 구체적으로,
Figure pat00003
는 동영상 콘텐트에 포함된 음향의 크기,
Figure pat00004
는 동영상 콘텐트에 포함된 음향의 크기 변화,
Figure pat00005
는 동영상 콘텐트에 포함된 음향의 피치,
Figure pat00006
는 동영상 콘텐트에 포함된 음향의 피치변화를 각각 의미한다. 또한,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
및
Figure pat00010
는 미리 획득되는 파라미터이다.
한편, 수학식 1에서 사용된 음향 특징값은 예시적인 것이므로, 수학식 1에 사용된 음향 특징값 외에도 다양한 음향 특징값이 사용될 수 있다. 또한, 수학식 1의 파라미터는 사용되는 음향 특징값에 따라 변동될 수 있다.
Figure pat00011
수학식 2는 동영상 콘텐트에서 계산된 영상 특징값과 생체신호 변화(
Figure pat00012
) 사이의 관계를 나타낸 식이다. 구체적으로,
Figure pat00013
는 동영상 콘텐트에 포함된 영상의 밝기,
Figure pat00014
는 동영상 콘텐트에 포함된 영상의 밝기 변화,
Figure pat00015
는 동영상 콘텐트에 포함된 영상의 색상 변화,
Figure pat00016
및
Figure pat00017
는 동영상 콘텐트에 포함된 영상의 x축 방향 및 y축 방향의 고주파수 에너지를 각각 의미한다. 또한,
Figure pat00018
,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
및
Figure pat00022
는 미리 획득되는 파라미터이다.
한편, 수학식 2에서 사용된 영상 특징값은 예시적인 것이므로, 수학식 2에 사용된 영상 특징값 외에도 다양한 특징값이 사용될 수 있다. 또한, 수학식 2의 파라미터는 사용되는 영상 특징값에 따라 변동될 수 있다.
Figure pat00023
수학식 3은 동영상 콘텐트에서 계산된 감정 특징값과 생체신호 변화(
Figure pat00024
) 사이의 관계를 나타낸 식이다. 구체적으로,
Figure pat00025
는 각성 레벨(arousal level),
Figure pat00026
은 각성 레벨의 변화, 는 유인가(valence),
Figure pat00028
는 유인가의 변화를 각각 의미한다. 또한,
Figure pat00029
,
Figure pat00030
,
Figure pat00031
및
Figure pat00032
는 미리 획득되는 파라미터이다.
한편, 수학식 3에서 사용된 감정 특징값은 예시적인 것이므로, 수학식 3에서 사용된 감정 특징값 외에도 다양한 감정 특징값이 사용될 수 있다. 또한, 수학식 3의 파라미터는 사용되는 감정 특징값에 따라 변동될 수 있다.
Figure pat00033
수학식 4는, 수학식 1 내지 3에 의해 예측되는 생체 신호 변화(
Figure pat00034
,
Figure pat00035
및
Figure pat00036
)와 피로도(F) 사이의 연관 관계를 나타낸다.
한편, 수학식 4에서
Figure pat00037
,
Figure pat00038
및
Figure pat00039
는 사전에 미리 획득되는 파라미터이다.
한편, 수학식 1 내지 4에서 예측되는 생체 신호 변화는 맥박(HP), 혈압(BP) 및 호흡(BR)인 것으로 가정하였으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 예측되는 생체 신호 변화는 호흡, 뇌파, 체온, 안구의 반응(예를 들어, 깜박임의 빈도, 눈동자의 움직임, 동공의 크기 변화 등), 얼굴표정 및 제스쳐 등일 수 있다.
한편, 피로도 예측 모델에 사용되는 파라미터는 사전에 행해진 실험을 통해 미리 획득될 수 있다.
구체적으로, 사전에 다양한 연령과 성별을 가진 피실험자를 선발하여 여러 편의 동영상 콘텐트를 시청하게 하면서, 시청하는 동영상 콘텐트에서 계산된 특징 값, 피실험자로부터 측정된 생체 신호 변화 및 피실험자가 느낀 피로도에 대한 설문 조사결과를 학습데이터로 이용하여 기계학습(machine learning)을 통해 획득될 수 있다.
예를 들어, 수학식 1 내지 3에 사용된 파라미터
Figure pat00040
,
Figure pat00041
,
Figure pat00042
,
Figure pat00043
,
Figure pat00044
,
Figure pat00045
,
Figure pat00046
,
Figure pat00047
,
Figure pat00048
,
Figure pat00049
,
Figure pat00050
,
Figure pat00051
및
Figure pat00052
는 피실험자가 시청한 동영상 콘텐트에서 계산된 영상 특징값, 음향 특징값 및 감정 특징값과 동영상 콘텐트 시청 시에 피실험자로부터 측정된 생체신호 변화를 학습데이터로 이용하여 획득될 수 있다.
또한, 수학식 4에 사용된 파라미터
Figure pat00053
,
Figure pat00054
및
Figure pat00055
는 동영상 콘텐트 시청 시에 피실험자로부터 측정된 생체 신호 변화와 동영상 콘텐트 시청 후 피실험자가 느낀 피로도에 대한 설문조사 결과를 학습데이터로 이용하여 획득될 수 있다.
한편, 피실험자로부터 측정되는 생체 신호는 맥박, 혈압, 호흡, 뇌파, 체온, 안구의 반응(예를 들어, 깜박임의 빈도, 눈동자의 움직임, 동공의 크기 변화 등), 얼굴표정 및 제스쳐 등 인체로부터 측정될 수 있는 다양한 종류의 생체 신호를 포함할 수 있다.
이때, 학습 데이터로 사용되는 동영상 콘텐트의 특징값 및 생체 신호 변화에 따라 파라미터 예측 모델에서 사용되는 특징값, 파라미터 및 예측되는 생체 신호 변화는 변동될 수 있다.
도 2는 일 실시예에 따른 특징값 계산부(110)의 구성도이다.
도 2를 참조하면, 음향 특징값 계산부(111)는 동영상 콘텐트에 포함된 음향의 특성에 대응되는 음향 특징값을 계산할 수 있다.
이때, 음향 특징값은 음의 크기(energy), 음의 높이(pitch), 음량(loudness), 음색(timbre), 음의 지속시간(duration), 주파수, 크기의 시간적 변화, 피치의 시간적 변화, 주파수의 시간적 변화량 등 시청자에게 청각적 자극을 줄 수 있는 다양한 음향 특성을 수치적으로 나타낸 것일 수 있다.
영상 특징값 계산부(113)는 동영상 콘텐트에 포함된 영상의 특성에 대응되는 영상 특징값을 계산할 수 있다.
이때, 영상 특징값은 영상의 밝기, 색상, 밝기의 시간적 변화, 색상의 시간적 변화, 카메라의 움직임, 영상에 포함된 고주파수 에너지, 그레이 레벨(gray level), 영상에 포함된 객체의 수, 객체의 이동 속도 등 시청자에게 시각적인 자극을 줄 수 있는 다양한 영상 특성을 수치적으로 나타낸 값일 수 있다.
감정 특징값 계산부(115)는 동영상 콘텐트에 포함된 음향 및 영상 중 적어도 하나에 의해 인식될 수 있는 감정을 분류하고 분류된 감정에 대응되는 감정 특징값을 계산할 수 있다.
이때, 감정 특징값은 영상 및 음향 중 적어도 하나를 통해 사용자가 인식할 수 있는 감정을 각성 레벨(arousal level) 또는 유인가 레벨(valence level)과 같은 수치로 나타낸 값일 수 있다.
구체적으로, 감정 특징값 계산부(115)는 음향 특징값 계산부(111)에 서 계산된 영상 특징값 및 영상 특징값 계산부(113)에서 계산된 영상 특징값 중 적어도 하나를 감정 모델에 적용하여 구할 수 있다.
이때, 감정 모델은 다수의 동영상 콘텐트 각각으로부터 계산된 음향 특징값 및 영상 특징값 중 적어도 하나와 미리 조사된 각성 레벨 또는 유인가 레벨을 학습데이터로 하여 기계학습을 통해 미리 생성될 수 있다.
도 3은 추가적 실시예에 따른 동영상 컨텐트에 대한 사용자 피로도 예측 장치 구성도이다.
도 3을 참조하면, 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 장치(100)는 피로도 정보 생성부(150)를 더 포함할 수 있다.
피로도 정보 생성부(150)는 피로도 계산부(130)에 의해 계산된 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성할 수 있다.
일 실시예에 따르면, 피로도 정보 생성부(150)에서 생성되는 피로도 정보는 피로도 계산부(130)에서 계산된 피로도를 표현하기 위한 피로도 스코어 또는 시각적 이미지, 경고 문구 등을 포함할 수 있다.
구체적으로, 도 4에 도시된 예를 참조하면, 사용자는 유무선 네트워크를 통해 동영상 콘텐트를 동영상 콘텐트 재생 장치(410)로 다운로드 받아 시청할 수 있다. 이때, 사용자는 다운로드 받을 수 있는 동영상 콘텐트 목록을 선택하여 선택한 동영상 콘텐트의 제목, 재생시간, 파일 크기, 내용, 출연자 등의 정보를 확인한 후 다운로드 받을지 여부를 결정할 수 있다.
이때, 피로도 정보 생성부(150)에서 생성된 피로도 정보는 동영상 콘텐트의 정보와 함께 사용자에게 제공될 수 있다. 즉, 도시된 예와 같이 사용자는 동영상 콘텐트의 정보와 함께 해당 동영상을 시청할 경우, 예측되는 피로도를 나타내는 피로도 스코어(420)를 함께 제공받을 수 있다.
또한, 사용자가 보다 상세한 피로도 정보를 원하는 경우, 보다 상세한 피로도 정보(430)가 제공될 수 있다. 이때, 상세한 피로도 정보(430)는 도시된 예와 같이 시각적 피로도, 청각적 피로도 및 정신적 피로도를 그래프 또는 피로도 스코어로 표현한 정보와 경고문구와 같은 문자를 포함할 수 있다,
도 5에 도시된 예를 참조하면, 사용자가 동영상 콘텐트를 시청 중인 경우, 피로도 정보는 동영상 콘텐트의 시청 시간의 경과에 따른 누적 피로도를 시각적으로 나타낸 것(510)일 수 있다. 구체적으로, 피로도 정보 생성부(150)는 도시된 예와 같이 동영상 콘텐트의 시청시간 경과에 따른 누적된 피로도를 나타내는 피로도 스코어를 사용자에게 제공하기 위한 피로도 정보(510)를 생성할 수 있다. 이때, 생성된 피로도 정보는 현재 시청 중인 동영상 콘텐트와 함께 디스플레이 화면에 표시될 수 있다.
한편, 도 4 및 도 5는 피로도 정보를 설명하기 위한 예시적인 도면에 불과하며, 피로도 정보는 피로도 계산부(130)에서 계산된 피로도를 사용자에게 시각적으로 제공할 수 있는 다양한 형태로 변형될 수 있다.
도 6은 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법의 순서도이다.
도 6을 참조하면, 일 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법은 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산할 수 있다(610).
이때, 특징값은 음향 특징값, 영상 특징값 및 감정 특징값을 포함할 수 있다.
한편, 동영상 콘텐트로부터 특징값이 계산되면, 계산된 특징값을 피로도 예측 모델에 적용하여 동영상 콘텐트에 대한 사용자 피로도를 계산할 수 있다(630).
일 실시예에 따르면, 동영상 콘텐트에 대한 사용자 피로도는 시각적 피로도, 청각적 피로도 및 정신적 피로도 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 동영상 콘텐트에 대한 사용자 피로도는 시각적 피로도, 청각적 피로도 및 정신적 피로도에 기초한 종합 피로도일 수 있다.
또한, 일 실시예에 따르면, 동영상 콘텐트에 대한 사용자 피로도는 동영상 콘텐트 시청시간 경과에 따른 누적 피로도일 수 있다.
도 7은 추가적 실시예에 따른 동영상 콘텐트에 대한 사용자 피로도 예측 방법의 순서도이다.
도 7을 참조하면, 동영상 콘텐트에 대한 사용자 피로도 예측 방법은 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산하고(710) 계산된 특징값을 피로도 예측 모델에 적용하여 피로도를 계산할 수 있다(730).
이후, 계산된 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성할 수 있다(750).
이때, 피로도 정보는 예를 들어, 시각적 피로도, 청각적 피로도, 정신적 피로도 및 종합적인 피로도 중 적어도 하나를 점수화하여 숫자로 표시하는 피로도 스코어나 그래프와 같은 이미지를 포함할 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD??ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다.
또한, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서는 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 피로도 예측 장치 110: 특징값 계산부
111: 음향 특징값 계산부 113: 영상 특징값 계산부
115: 감정 특징값 계산부 130: 피로도 계산부
150: 피로도 정보 생성부

Claims (16)

  1. 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산하는 특징값 계산부; 및
    상기 특징값을 피로도 예측 모델에 적용하여, 상기 동영상 콘텐트에 대한 사용자 피로도를 계산하는 피로도 계산부;를 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  2. 제 1 항에 있어서,
    상기 특징값 계산부는,
    상기 동영상 콘텐트에 포함된 영상의 특성에 대응되는 영상 특징값을 계산하는 영상 특징값 계산부;
    상기 동영상 큰텐트에 포함된 음향의 특성에 대응되는 음향 특징값을 계산하는 음향 특징값 계산부; 및
    상기 영상 특징값 및 상기 음향 특징값 중 적어도 하나를 감정 인식 모델에 적용하여 감정 특징값을 계산하는 감정 특징값 계산부;를 더 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  3. 제 2 항에 있어서,
    상기 감정 특징값은,
    각성(arousal) 레벨 및 유인가(valence) 레벨을 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  4. 제 1 항에 있어서,
    상기 피로도 예측 모델은,
    상기 영상 특징값과 사용자의 생체 신호 변화 사이의 연관 관계를 나타내는 파라미터 및 상기 사용자의 생체 신호 변화와 피로도 사이의 연관 관계를 나타내는 파라미터를 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  5. 제 2 항에 있어서,
    상기 피로도 계산부는,
    상기 음향 특징값에 기초한 청각적 피로도, 상기 영상 특징값에 기초한 시각적 피로도 및 상기 감정 특징값에 기초한 정신적 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  6. 제 5 항에 있어서,
    상기 피로도 계산부는,
    상기 청각적 피로도, 상기 시각적 피로도 및 상기 정신적 피로도에 기초한 종합 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  7. 제 1 항에 있어서,
    상기 피로도 계산부는,
    사용자가 상기 동영상 콘텐트를 시청 중인 경우, 시청 시간 경과에 따른 누적 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  8. 제 1 항에 있어서,
    상기 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성하는 피로도 정보 생성부;를 더 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 장치.
  9. 동영상 콘텐트에 포함된 영상 및 음향의 특성에 대응되는 특징값을 계산하는 단계; 및
    상기 특징값을 피로도 예측 모델에 적용하여, 상기 동영상 콘텐트에 대한 사용자 피로도를 계산하는 단계;를 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  10. 제 9 항에 있어서,
    상기 특징값을 계산하는 단계는,
    상기 동영상 콘텐트에 포함된 영상의 특성에 대응되는 영상 특징값을 계산하는 단계;
    상기 동영상 큰텐트에 포함된 음향의 특성에 대응되는 음향 특징값을 계산하는 단계; 및
    상기 영상 특징값 및 상기 음향 특징값 중 적어도 하나를 감정 인식 모델에 적용하여 감정 특징값을 계산하는 단계;를 더 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  11. 제 10 항에 있어서,
    상기 감정 특징값은,
    각성(arousal) 레벨 및 유인가(valence) 레벨을 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  12. 제 9 항에 있어서,
    상기 피로도 예측 모델은,
    상기 영상 특징값과 사용자의 생체 신호 변화 사이의 연관 관계를 나타내는 파라미터 및 상기 사용자의 생체 신호 변화와 피로도 사이의 연관 관계를 나타내는 파라미터를 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  13. 제 10 항에 있어서,
    상기 피로도를 계산하는 단계는,
    상기 음향 특징값에 기초한 청각적 피로도, 상기 영상 특징값에 기초한 시각적 피로도 및 상기 감정 특징값에 기초한 정신적 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  14. 제 13 항에 있어서,
    상기 피로도를 계산하는 단계는,
    상기 청각적 피로도, 상기 시각적 피로도 및 상기 정신적 피로도에 기초한 종합 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  15. 제 9 항에 있어서,
    상기 피로도를 계산하는 단계는,
    사용자가 상기 동영상 콘텐트를 시청 중인 경우, 시청 시간 경과에 따른 누적 피로도를 계산하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.
  16. 제 9 항에 있어서,
    상기 피로도를 사용자에게 시각적으로 표시하기 위한 피로도 정보를 생성하는 단계;를 더 포함하는 동영상 콘텐트에 대한 사용자 피로도 예측 방법.



KR1020130096106A 2013-08-13 2013-08-13 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법 Active KR102153606B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130096106A KR102153606B1 (ko) 2013-08-13 2013-08-13 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
US14/336,296 US10108853B2 (en) 2013-08-13 2014-07-21 Apparatus and method to estimate a degree of user fatigue to video content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130096106A KR102153606B1 (ko) 2013-08-13 2013-08-13 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150019351A true KR20150019351A (ko) 2015-02-25
KR102153606B1 KR102153606B1 (ko) 2020-09-08

Family

ID=52467430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130096106A Active KR102153606B1 (ko) 2013-08-13 2013-08-13 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법

Country Status (2)

Country Link
US (1) US10108853B2 (ko)
KR (1) KR102153606B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955293B1 (ko) * 2017-12-15 2019-03-08 가톨릭대학교 산학협력단 시각 피로도 분석 장치 및 그 방법
KR20190066428A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
KR20190066427A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 가상 현실 콘텐츠의 시청 피로도 분석 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
KR102072788B1 (ko) 2015-04-30 2020-03-12 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
CN116724548A (zh) * 2021-01-05 2023-09-08 三星电子株式会社 用于显示内容的电子装置及其操作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110035585A (ko) * 2009-09-30 2011-04-06 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR20130059251A (ko) * 2011-11-28 2013-06-05 한국과학기술원 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970024641U (ko) 1995-11-09 1997-06-20 전자렌지
KR100190975B1 (ko) 1995-12-29 1999-06-15 전주범 텔레비전 수상기의 화면밝기 자동조절방법
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
KR100614326B1 (ko) 2000-01-24 2006-08-18 엘지전자 주식회사 디지털 티브이의 영상 제어 장치
JP2006173696A (ja) 2004-12-13 2006-06-29 Matsushita Electric Ind Co Ltd ディスプレイ装置
US8126220B2 (en) * 2007-05-03 2012-02-28 Hewlett-Packard Development Company L.P. Annotating stimulus based on determined emotional response
US9300942B2 (en) * 2012-10-18 2016-03-29 Industrial Technology Research Institute Method and control system for three-dimensional video playback using visual fatigue estimation
US9087131B1 (en) * 2012-12-18 2015-07-21 Google Inc. Auto-summarization for a multiuser communication session

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110035585A (ko) * 2009-09-30 2011-04-06 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR20130059251A (ko) * 2011-11-28 2013-06-05 한국과학기술원 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066428A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
KR20190066427A (ko) * 2017-12-05 2019-06-13 한국전자통신연구원 가상 현실 콘텐츠의 시청 피로도 분석 장치 및 방법
KR101955293B1 (ko) * 2017-12-15 2019-03-08 가톨릭대학교 산학협력단 시각 피로도 분석 장치 및 그 방법

Also Published As

Publication number Publication date
US10108853B2 (en) 2018-10-23
KR102153606B1 (ko) 2020-09-08
US20150051887A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
KR102662981B1 (ko) 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현
KR102743639B1 (ko) 신경 생리학적 상태의 검출을 위한 센서 데이터를 사용하는 컨텐츠 생성 및 제어
US11200964B2 (en) Short imagery task (SIT) research method
US20220117510A1 (en) Determining intensity of a biological response to a presentation
Soleymani et al. A multimodal database for affect recognition and implicit tagging
US20170316280A1 (en) Generating and using a predictive virtual personification
KR102153606B1 (ko) 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
JP5119375B2 (ja) 集中有無推定装置及びコンテンツ評価装置
AU2010239526A1 (en) Method and system for measuring user experience for interactive activities
EP3058873A1 (en) Device for measuring visual efficacy
CN101969841A (zh) 修改对象的心理生理状态
CN107427250A (zh) 通过脑活动的解析推测感知语义内容的推测方法
Gay et al. CaptureMyEmotion: helping autistic children understand their emotions using facial expression recognition and mobile technologies
Soleymani Implicit and Automated Emtional Tagging of Videos
US20240342429A1 (en) Adaptation of senses datastreams in virtual reality and augmented reality environments
Gay et al. Helping autistic children understand their emotions using facial expression recognition and mobile technologies
EP4504058A1 (en) Method, system, and medium for measuring, calibrating and training psychological absorption

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130813

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180807

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130813

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191206

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200608

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200902

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200902

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240819

Start annual number: 5

End annual number: 5