KR20170136160A - 시청자 몰입도 평가 시스템 - Google Patents

시청자 몰입도 평가 시스템 Download PDF

Info

Publication number
KR20170136160A
KR20170136160A KR1020160067838A KR20160067838A KR20170136160A KR 20170136160 A KR20170136160 A KR 20170136160A KR 1020160067838 A KR1020160067838 A KR 1020160067838A KR 20160067838 A KR20160067838 A KR 20160067838A KR 20170136160 A KR20170136160 A KR 20170136160A
Authority
KR
South Korea
Prior art keywords
viewer
content
extracting
motion
unit
Prior art date
Application number
KR1020160067838A
Other languages
English (en)
Inventor
노성렬
Original Assignee
주식회사 아이브이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이브이티 filed Critical 주식회사 아이브이티
Priority to KR1020160067838A priority Critical patent/KR20170136160A/ko
Publication of KR20170136160A publication Critical patent/KR20170136160A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • G06K9/00221—
    • G06K9/00335—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 특징에 따르면, 콘텐츠 실시간 시청에 대한 참여도와 집중도 측정을 이용한 시청자 몰입도 평가시스템에 있어서, 시청자(A)의 콘텐츠 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 상기 시청자(A)를 객체로 추출하는 객체추출부(120)와, 상기 객체의 얼굴상에서 동공을 추출하는 동공추출부(130)와, 상기 객체의 얼굴이 지향하는 시선방향을 추출하는 시선방향 추출부(140) 및, 상기 객체의 움직임 또는 객체의 얼굴 움직임을 추출하는 움직임추출부(150)를 포함하는 시청자단말(100); 및 상기 시청자단말(100)의 객체추출부(120)와 동공추출부(130)의 데이터값을 이용하여 시청자(A)의 존재여부 및 눈뜬상태를 반영한 참여도 측정값을 산출하고, 상기 시선방향 추출부(140)와 움직임추출부(150)의 데이터값을 이용하여 시청자(A)의 화면응시상태 및 산만한 동작여부를 반영한 집중도 측정값을 산출하며, 산출된 참여도 측정값과 집중도 측정값을 취합하여 시청자의 콘텐츠 몰입도지수(CEI,Contents Engagement Index)를 산출하는 메인서버(200);를 포함하는 시청자 몰입도 평가시스템이 제공된다.

Description

시청자 몰입도 평가 시스템{AUDIENCE ENGAGEMENT EVALUATING SYSTEM}
본 발명은 시청자 몰입도 평가 시스템에 관한 것으로, 보다 상세하게는 영상콘텐츠 실시간 시청에 대한 참여도와 집중도 측정을 이용한 시청자 몰입도 평가 시스템에 관한 것이다.
일반적으로 온라인 강의는 PC나 스마트폰 등의 디스플레이 수단이 있으면 시간과 장소의 제한없이 편리하게 수강할 수 있는 장점이 있어 널리 이용되고 있다. 그러나, 오프라인 강의와 달리 강사 등의 직접적인 관리가 이루어지지 않아 시청자(수강자)의 의지에 따라 학습효율이 저하될 수 있는 문제점이 있다.
또한, 온라인 강의의 경우 시청자의 학습태도를 평가하기 위해 강의내용에 대한 문제를 제시하고 이에 대한 정답여부에 따라 차등되는 평가점수를 책정할 수 있었으나, 이는 학습내용의 인지여부만을 평가하는 것이며 순전히 강의중의 학습태도만을 대상으로 평가하는 것과는 거리가 있었다.
한편, 강의, 영화나 드라마 등과 같은 영상콘텐츠의 경우 시청자를 대상으로 해당 영상콘텐츠에 대한 정성적 가치를 판단하기 위해 콘텐츠 제공중에 얼마나 집중해서 시청했는지를 조사하여 콘텐츠 보완 및 개발에 필요한 데이터를 확보하려는 시도가 있으나, 종래의 콘텐츠 집중도에 대한 조사는 설문조사 형식을 취하기 때문에 영상콘텐츠의 전체적인 집중도에 대한 평가만이 이루어지게 되며 주관적인 의사가 반영되어 객관화된 결과를 얻지 못하는 문제점이 있었다.
더욱이, 이러한 조사를 위해서는 시청자가 별도로 시간을 할애하여 설문조사에 응해야 하기 때문에 전체 시청자들에 대한 평가결과를 획득하기가 제한되며 일부 무성의한 응답자에 대한 조사데이터가 평가결과에 반영되기 때문에 평가데이터의 신뢰도가 저하되는 문제점이 있었다.
한편, 음주운전으로 면허가 취소된 경우 음주운전에 대한 안전교육의 일환으로 교통사고 예방 내용을 담은 영상콘텐츠를 의무적으로 시청토록 하고 있으나, 영상콘텐츠의 시청완료 여부만을 확인하며 영상콘텐츠 시청중 자리를 빈번하게 비우거나 자리에 앉아 졸거나 화면을 쳐다보지 않거나 산만한 행동을 하더라도 평가에 반영되지 않기 때문에 영상콘텐츠에 몰입하여 시청하지 못하면서 교육효과가 현저하게 저하되는 문제점이 있었다.
공개특허공보 제10-2015-0037056호2015.04.08), 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 영상콘텐츠를 시청하는 시청자의 시청모습을 촬영한 영상데이터의 영상분석을 통해 시청자가 영상콘텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 몰입도를 정량화하여 평가데이터로 제공할 수 있는 시청자 몰입도 평가시스템을 제공하는 것에 있다.
본 발명의 다른 목적은, 주관적인 의사가 반영되고 전체적인 평가결과만이 반영되는 종래의 설문조사 방식과 달리 시청자가 영상콘텐츠를 시청하는 중에 취하는 움직임에 따라 실제로 영상콘텐츠에 몰입하여 집중하는지 여부를 판단하고, 이에 따라 평가결과를 차등하여 산출할 수 있어 상대적으로 객관적이고 신뢰성있는 평가데이터를 제공할 수 있으며 더불어 영상콘텐츠의 품질평가를 위한 평가데이터를 획득할 수 있는 시청자 몰입도 평가시스템를 제공하는 것에 있다.
본 발명의 특징에 따르면, 콘텐츠 실시간 시청에 대한 참여도와 집중도 측정을 이용한 시청자 몰입도 평가시스템에 있어서, 시청자(A)의 콘텐츠 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 상기 시청자(A)를 객체로 추출하는 객체추출부(120)와, 상기 객체의 얼굴상에서 동공을 추출하는 동공추출부(130)와, 상기 객체의 얼굴이 지향하는 시선방향을 추출하는 시선방향 추출부(140) 및, 상기 객체의 움직임 또는 객체의 얼굴 움직임을 추출하는 움직임추출부(150)를 포함하는 시청자단말(100); 및 상기 시청자단말(100)의 객체추출부(120)와 동공추출부(130)의 데이터값을 이용하여 시청자(A)의 존재여부 및 눈뜬상태를 반영한 참여도 측정값을 산출하고, 상기 시선방향 추출부(140)와 움직임추출부(150)의 데이터값을 이용하여 시청자(A)의 화면응시상태 및 산만한 동작여부를 반영한 집중도 측정값을 산출하며, 산출된 참여도 측정값과 집중도 측정값을 취합하여 시청자의 콘텐츠 몰입도지수(CEI,Contents Engagement Index)를 산출하는 메인서버(200);를 포함하는 시청자 몰입도 평가시스템이 제공된다.
본 발명의 다른 특징에 따르면, 상기 메인서버(200)는, 단위시간당 산출된 콘텐츠 몰입도지수(CEI)를 시계열에 따라 취합하여 그래프화한 몰입도 평가데이터를 생성 및 제공하는 통계처리부(240)를 더 포함하는 시청자 몰입도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 통계처리부(240)는, 해당 콘텐츠를 시청한 타시청자들의 콘텐츠 몰입도지수(CEI)의 평균데이터를 함께 그래프화하여 상기 몰입도 평가데이터를 생성 및 제공하는 것을 특징으로 하는 시청자 몰입도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 통계처리부(240)는, 단위시간당 산출된 참여도 측정값을 시계열에 따라 취합하여 그래프화한 참여도 평가데이터를 더 생성 및 제공하는 것을 특징으로 하는 시청자 몰입도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 메인서버(200)는, 상기 객체추출부(120)의 데이터값과 시청자 존재여부 판단 기준값의 비교결과값인 참여도 계수 a와, 상기 동공추출부(130)의 데이터값과 눈뜬상태 판단 기준값의 비교결과값인 눈상태 계수 b와, 상기 시선방향 추출부(140)의 데이터값에 따라 화면응시상태 측정값을 산출하기 위해 설정된 시선 설정값 c와, 상기 움직임추출부(150)의 데이터값에 따라 산만한 동작상태 측정값을 산출하기 위해 설정된 움직임 설정값 d 및, 하기의 [수학식 1] 내지 [수학식 4]를 이용하여 콘텐츠 몰입도지수(CEI)를 산출하는 것을 특징으로 하는 시청자 몰입도 평가시스템이 제공된다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
(여기서, α1 은 수직방향 계수, α2는 수평방향계수, ∠V는 수직시선방향, ∠H는 수평시선방향을 각각 의미함)
[수학식 3]
Figure pat00003
(여기서, β1은 신체벡터계수, β2는 얼굴벡터계수, Σmovsur은 움직임총량, Σmovface는 얼굴움직임량을 각각 의미함)
[수학식 4]
Figure pat00004
(여기서, θ1은 시청계수, Δt는 시청시간, T는 콘텐츠시간을 각각 의미함)
본 발명의 또 다른 특징에 따르면, 상기 메인서버(200)는, 상기 몰입도평가부(230)에서 산출된 참여도 측정값을 기준으로 해당 콘텐츠의 전체 시청구간 중 시청자(A)가 시청하지 않은 미시청구간을 추출하며, 추출한 복수의 미시청구간을 연결한 형태의 미시청콘텐츠를 생성 및 제공하는 미시청콘텐츠 제공부(260)를 더 포함하는 것을 특징으로 하는 시청자 몰입도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 미시청콘텐츠 제공부(260)는, 각 미시청구간의 전후에 소정 시간의 더미구간을 포함하여 미시청콘텐츠를 생성하는 것을 특징으로 하는 시청자 몰입도 평가시스템이 제공된다.
이상에서와 같이 본 발명에 의하면,
첫째, 영상콘텐츠를 시청하는 시청자(A)의 시청모습을 촬영한 영상데이터의 영상분석을 통해 시청자(A)가 영상콘텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 몰입도를 정량화하여 평가데이터로 제공할 수 있으므로, 학습태도가 불량하거나 시청자(A)를 관리하거나 영상콘텐츠의 품질평가를 위한 기초데이터로 이용할 수 있다.
둘째, 상기 영상데이터의 영상분석을 통해 시청자(A)를 객체로 추출하고 객체의 얼굴상에서 동공을 추출하여 시청중 시청자(A)의 존재여부 및 눈뜬상태를 반영한 참여도를 측정하고, 상기 객체의 얼굴이 지향하는 시선방향 및 객체의 움직임 또는 객체의 얼굴 움직임을 추출하여 시청중 시청자(A)의 화면응시상태 및 산만한 동작 여부를 반영한 집중도를 측정하며 이를 취합한 시청자의 콘텐츠 몰입도지수(CEI,Contents Engagement Index)를 산출함으로써 다각적으로 객관적이고 신뢰성있는 평가데이터를 제공할 수 있다.
셋째, 단위시간당 산출된 콘텐츠 몰입도지수(CEI)를 시계열에 따라 취합하여 그래프화한 몰입도 평가데이터를 생성 및 제공할 수 있으므로, 영상콘텐츠의 전체 내용 중 몰입도가 상대적으로 부족한 구간을 쉽게 인지하여 반복학습할 수 있는 여건을 제공하고, 타 시청자들과의 콘텐츠 몰입도지수(CEI) 비교를 통해 전체 시청자들 중에 해당 시청자의 학습 정도를 쉽게 확인할 수 있다.
넷째, 시청자(A)의 존재여부 및 눈뜬상태를 반영하여 산출된 참여도 측정값을 기준으로 해당 영상콘텐츠의 전체 시청구간 중 시청자(A)가 시청하지 않은 미시청구간을 추출하며, 추출한 복수의 미시청구간을 연결한 형태의 미시청콘텐츠를 생성 및 제공할 수 있으므로, 음주운전에 대한 안전교육과 같은 의무교육에 대한 효과를 대폭 증대시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 시청자 몰입도 평가시스템의 구성을 나타낸 개략도,
도 2는 본 발명의 바람직한 실시예에 따른 시청자단말 및 메인서버의 기능적 구성을 나타낸 블럭도,
도 3은 본 발명의 바람직한 실시예에 따른 영상콘텐츠를 시청하는 시청자를 촬영하는 상태를 나타낸 개략도,
도 4는 본 발명의 바람직한 실시예에 따른 시청자 몰입도 평가시스템에서 시청자의 동작상태에 따라 콘텐츠 몰입도지수가 측정되는 동작원리를 설명하기 위한 그래프,
도 5는 본 발명의 바람직한 실시예에 따른 메인서버를 통해 측정된 몰입도 평가데이터와 참여도 평가데이터를 나타낸 그래프,
도 6은 본 발명의 바람직한 실시예에 따른 미시청콘텐츠 제공부의 동작원리를 설명하기 위한 그래프이다.
상술한 본 발명의 목적, 특징들 및 장점은 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 설명하면 다음과 같다.
본 발명의 실시예에 대하여 설명하기에 앞서, 이하에서 설명되는 몇가지 용어들을 정의한다. 이하에서 언급되는 '시청자(Audience,A)'는 영상콘텐츠를 시청하는 평가대상이거나 상기 영상콘텐츠에 대한 품질평가를 위해 시청하는 대상이며, '관리자'는 시청자 몰입도 평가시스템를 운용하는 주체를 의미한다.
또한, 이하에서 언급되는 '영상콘텐츠'는 시청자(A)의 몰입도를 평가하거나 해당 콘텐츠의 품질을 평가하기 위해 시청자(A)가 시청하는 대상 콘텐츠로서, 도영상강의, 영화, 드라마 등의 시청각 콘텐츠를 의미한다.
본 발명의 바람직한 실시예에 따른 시청자 몰입도 평가시스템은, 영상콘텐츠 실시간 시청에 대한 참여도와 집중도 측정을 이용한 평가 시스템으로서, 도 1 및 도 2에 도시된 바와 같이 시청자단말(100) 및 메인서버(200)를 포함한다.
먼저, 상기 시청자단말(100)은 시청자(A)가 운용하는 PC나 스마트폰 등의 통신단말로서, 통신망(10)을 통해 메인서버(200)에 접속하여 각종 영상콘텐츠를 제공받아 실행하고 도 3에 도시된 바와 같이 외부에 장착된 카메라모듈(190)을 이용하여 콘텐츠를 시청하는 시청자(A)의 시청모습을 촬영하고 이를 영상분석하여 몰입도 평가를 위한 기초데이터를 추출한다.
이를 위해, 도 2에 도시된 바와 같이 영상입력부(110), 객체추출부(120), 동공추출부(130), 시선방향 추출부(140), 움직임추출부(150), 콘텐츠실행부(160), 디스플레이(170) 및 입력부(180)를 포함하여 구비된다.
상기 영상입력부(110)는 상기 카메라모듈(190)로부터 시청자(A)의 콘텐츠 시청모습을 촬영한 영상데이터를 수신하며, 상기 콘텐츠실행부(160)는 메인서버(200)로부터 수신된 콘텐츠 소스데이터를 이용하여 영상으로 표시되도록 제어한다.
또한, 상기 디스플레이(170)는 콘텐츠실행부(160)에 의해 실행되는 콘텐츠를 화면표시하는 영상출력수단이며, 상기 입력부(180)는 시청자(A)가 시청하고자 하는 콘텐츠를 선택하거나 각종 조작을 수행할 수 있도록 하는 신호입력수단이다.
상기 객체추출부(120)는 수신된 영상데이터를 영상분석하여 영상내에서 시청자(A)를 객체로 추출한다. 여기서, 상기 객체를 추출함에 있어서 상기 영상데이터의 각 프레임을 비교하여 변화되는 대상을 객체로 추출하는 방식을 이용할 수 있으며 이 밖에 본 발명이 속하는 기술분야에서 영상내에서 원하는 객체를 추출하기 위한 영상분석방식이 이용될 수 있다. 상기 객체추출부(120)에 의해 추출된 객체에 대한 데이터값은 각 추출부(130,140,150)에서 각각의 추출대상을 추출하기 위한 기초데이터와, 시청자(A)의 존재여부(자리비움 여부)를 판단하기 위한 기초데이터로 이용된다.
상기 동공추출부(130)는 객체추출부(120)에 의해 추출된 객체의 얼굴상에서 동공을 추출하며, 추출된 동공에 대한 데이터값은 시청자(A)의 눈뜬상태(조는지 여부)를 판단하기 위한 기초데이터로 이용된다.
상기 시선방향 추출부(140)는 추출된 객체의 얼굴이 지향하는 시선방향을 추출하며, 추출된 시선방향에 대한 데이터값은 시청자(A)의 화면응시상태를 판단하기 위한 기초데이터로 이용된다.
상기 움직임추출부(150)는 추출된 객체의 움직임 또는 객체의 얼굴(머리) 움직임을 추출하며, 추출된 움직임에 대한 데이터값은 시청자(A)의 산만한 동작 여부를 판단하기 위한 기초데이터로 이용된다.
상기 메인서버(200)는, 각 시청자단말(100)에게 영상콘텐츠를 제공함과 동시에 시청자단말(100)로부터 영상분석 데이터를 수신하여 시청자(A)의 몰입도를 평가하는 서버로서, 상기 객체추출부(120)와 동공추출부(130)의 데이터값을 이용하여 시청자(A)의 존재여부 및 눈뜬 상태를 반영한 참여도 측정값을 산출하고, 상기 시선방향 추출부(140)와 움직임추출부(150)의 데이터값을 이용하여 시청자(A)의 화면응시상태 및 산만한 동작여부를 반영한 집중도 측정값을 산출하며, 산출된 참여도 측정값과 집중도 측정값을 취합하여 시청자의 콘텐츠 몰입도지수(CEI)를 산출하는 몰입도평가부(230)를 포함하여 구비된다.
여기서, 상기 메인서버(200)는 상기 몰입도평가부(230) 이외에 도 2에 도시된 바와 같이 시청자단말(100)에게 제공될 각종 영상콘텐츠의 영상소스데이터가 저장되고 각 회원들의 개인정보 및 학습정보가 저장되는 데이터베이스(210)와, 시청자단말(100)의 요청에 따라 선택된 콘텐츠를 데이터베이스(210)로부터 독출하여 통신망(10)을 통해 해당 시청자단말(100)에게 제공하는 콘텐츠제공부(220)와, 상기 시청자단말(100)의 콘텐츠실행부(160)에 의해 재생되는 영상콘텐츠의 실행되는 상태를 분석하는 콘텐츠실행 분석부(250) 및, 각 시청자(A)를 대상으로 회원으로 가입 및 등록하고 각 회원의 개인정보를 취합관리하는 회원관리부(270)를 더 포함하여 구비된다.
또한, 상기 몰입도평가부(230)는 객체추출부(120)의 데이터값을 이용하여 시청자(A)가 자리를 비워 영상데이터 내에서 추출되는 객체가 존재하지 않을 경우 콘텐츠를 시청하지 않고 있는 것으로 판단하여 상대적으로 낮은 참여도 측정값을 부여하고, 상기 동공추출부(130)의 데이터값을 이용하여 영상데이터 내에서 추출되는 동공이 존재하지 않을 경우 시청자(A)가 졸거나 장시간 눈을 감고 있는 것으로 판단하여 생대적으로 낮은 참여도 측정값을 부여하도록 한다.
더불어, 상기 몰입도평가부(230)는 시선방향 추출부(140)의 데이터값을 이용하여 시청자(A)의 얼굴이 화면을 정면으로 응시하지 않고 화면의 외측방향을 지향할 수록 콘텐츠의 시청에 집중하지 못하고 산만한 것으로 판단하여 상대적으로 낮은 집중도 측정값을 부여한다. 즉, 시청자(A)의 얼굴이 디스플레이(170)의 화면을 향해 정면으로 쳐다보고 있는 경우 가장 높은 점수가 부여되고 외측방향으로 지향할 수록 점차적으로 낮은 점수가 부여되도록 한다.
그리고, 상기 움직임추출부(150)의 데이터값을 이용하여 시청자(A)의 얼굴(머리)나 몸 등을 정상 기준치 이상으로 흔들거나 움직이는 경우 콘텐츠 시청에 집중하지 못하고 산만한 것으로 판단하여 상대적으로 낮은 집중도 측정값을 부여하도록 한다.
이를 위해, 상기 몰입도평가부(230)는 상기 객체추출부(120)의 데이터값과 시청자 존재여부 판단 기준값의 비교결과값인 참여도 계수 a(0 또는 1)와, 상기 동공추출부(130)의 데이터값과 눈뜬상태 판단 기준값의 비교결과값인 눈상태 계수 b(0 또는 1)와, 상기 시선방향 추출부(140)의 데이터값에 따라 화면응시상태 측정값을 산출하기 위해 설정된 시선 설정값 c(임의 설정값)와, 상기 움직임추출부(150)의 데이터값에 따라 산만한 동작상태 측정값을 산출하기 위해 설정된 움직임 설정값 d(임의 설정값) 및, 하기의 [수학식 1] 내지 [수학식 4]를 이용하여 콘텐츠 몰입도지수(CEI)를 산출한다.
[수학식 1]
Figure pat00005
[수학식 2]
Figure pat00006
(여기서, α1 은 수직방향 계수, α2는 수평방향계수, ∠V는 수직시선방향, ∠H는 수평시선방향을 각각 의미함)
[수학식 3]
Figure pat00007
(여기서, β1은 신체벡터계수, β2는 얼굴벡터계수, Σmovsur은 신체(객체) 움직임총량, Σmovface는 얼굴움직임량을 각각 의미함)
[수학식 4]
Figure pat00008
(여기서, θ1은 시청벡터를 산출하기 위해 임의로 설정되는 시청계수, Δt는 시청시간, T는 콘텐츠시간을 각각 의미함)
이러한 함수식을 이용하여 도 4에 도시된 그래프와 같이 시청자(A)의 존재여부, 눈뜬상태, 화면응시상태 및 산만한 동작여부에 따른 참여도 및 집중도를 측정하고 몰입도 평가에 반영함으로써 보다 객관적이고 신뢰성있는 평가데이터를 제공할 수 있다.
한편, 도 2에 도시된 바와 같이 상기 메인서버(200)는 단위시간당 산출된 콘텐츠 몰입도지수(CEI)를 시계열에 따라 취합하여 그래프화한 몰입도 평가데이터를 생성하고 이를 시청자단말(100)에게 제공하는 통계처리부(240)를 더 포함하여 구비된다.
여기서, 도시되지 않았으나 상기 통계처리부(240)는 해당 콘텐츠를 시청한 타시청자들의 콘텐츠 몰입도지수(CEI)의 평균데이터를 함께 그래프화하여 상기 몰입도 평가데이터를 생성 및 제공할 수 있다.
이와 같은 통계처리부(240)의 구성을 통해 도 5에 도시된 바와 같이 단위시간당 산출된 콘텐츠 몰입도지수(CEI)를 시계열에 따라 취합하여 그래프화한 몰입도 평가데이터를 생성 및 제공할 수 있으므로, 영상콘텐츠의 전체 내용 중 몰입도가 상대적으로 부족한 구간을 쉽게 인지하여 반복학습할 수 있는 여건을 제공하고, 타 시청자들과의 콘텐츠 몰입도지수(CEI) 비교를 통해 전체 시청자들 중에 해당 시청자의 학습 정도를 쉽게 확인할 수 있다.
이러한 몰입도 평가데이터 이외에 상기 통계처리부(240)는 단위시간당 산출된 참여도 측정값을 시계열에 따라 취합하여 그래프화한 참여도 평가데이터를 생성 및 제공할 수 있다.
한편, 도 2 및 도 6에 도시된 바와 같이 상기 메인서버(200)는 상기 몰입도평가부(230)에서 산출된 참여도 측정값을 기준으로 해당 콘텐츠의 전체 시청구간 중 시청자(A)가 시청하지 않은 미시청구간(a1,b1,c1)을 추출하며, 추출한 복수의 미시청구간(a1,b1,c1)을 하나의 영상콘텐츠 형태로 연결한 미시청콘텐츠를 생성하고 이를 시청자단말(100)에게 제공하는 미시청콘텐츠 제공부(260)를 더 포함하여 구비될 수 있다.
이와 같이, 상기 미시청콘텐츠 제공부(260)의 구성을 통해 시청자(A)가 자리를 빈번하게 비우거나 졸거나 장시간 눈은 감고 있는 동작을 취하면서 시청하지 않은 구간을 정확하게 체크할 수 있으며, 시청하지 않은 구간들을 취합하여 해당 시청자(A)에게 시청시키기 위한 콘텐츠로 생성할 수 있으므로 음주운전에 대한 안전교육과 같은 의무교육에 대한 효과를 대폭 증대시킬 수 있다.
여기서, 상기 미시청콘텐츠 제공부(260)는 각 미시청구간(a1,b1,c1)의 전후에 소정 시간의 더미구간(a2,a3,b2,b3,c2,c3)을 포함하여 미시청콘텐츠를 생성함으로써, 도 6의 하부 도면과 같이 미시청구간(a1,b1,c1)과 더미구간(a2,a3,b2,b3,c2,c3)으로 이루어진 단편 형태의 각 영상(a,b,c)들이 하나의 콘텐츠 형태로 조합될 수 있다.
이와 같이 시청자(A)가 시청해야할 미시청구간(a1,b1,c1) 전후의 영상들을 함께 제공함으로써 미시청구간에 포함된 영상내용의 이해를 도울 수 있다.
상술한 바와 같은 본 발명의 바람직한 실시예에 따른 시청자 몰입도 평가시스템의 각 구성 및 기능에 의해, 영상콘텐츠를 시청하는 시청자(A)의 시청모습을 촬영한 영상데이터의 영상분석을 통해 시청자(A)가 영상콘텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 몰입도를 정량화하여 평가데이터로 제공할 수 있으므로, 학습태도가 불량하거나 시청자(A)를 관리하거나 영상콘텐츠의 품질평가를 위한 기초데이터로 이용할 수 있다.
또한, 상기 영상데이터의 영상분석을 통해 시청자(A)를 객체로 추출하고 객체의 얼굴상에서 동공을 추출하여 시청중 시청자(A)의 존재여부 및 눈뜬상태를 반영한 참여도를 측정하고, 상기 객체의 얼굴이 지향하는 시선방향 및 객체의 움직임 또는 객체의 얼굴 움직임을 추출하여 시청중 시청자(A)의 화면응시상태 및 산만한 동작 여부를 반영한 집중도를 측정하며 이를 취합한 시청자의 콘텐츠 몰입도지수(CEI)를 산출함으로써 다각적으로 객관적이고 신뢰성있는 평가데이터를 제공할 수 있다.
더불어, 본 실시예에서는 상기 객체추출부(120), 동공추출부(130), 시선방향 추출부(140) 및 움직임추출부(150)가 시청자단말(100)에 배치되어 동작되는 것을 예시하였으나, 각 구성들이 메인서버(200)에 배치된 상태에서 시청자단말(100)로부터 촬영되는 영상데이터를 통신망(10)을 통해 수신하여 영상분석하면서 각각의 추출기능을 메인서버(200)가 대신하도록 시스템이 구성될 수도 있다.
또한, 이 밖에 도 2에 도시된 바와 같이 디스플레이(310) 및 입력부(3320)가 구비되며 관리자가 운용하는 PC나 스마트폰 등의 관리자단말(300)을 통해서도 각 추출부(120,130,150)의 기능을 구현하여 영상분석 및 몰입도 평가 기능을 대신 수행할 수도 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.
10...통신망 100...시청자단말
110....영상입력부 120...객체추출부
130...동공추출부 140...시선방향 추출부
150...움직임추출부 160...콘텐츠실행부
170...디스플레이 180...입력부
200...메인서버 210...데이터베이스
220...콘텐츠제공부 230...몰입도평가부
240...통계처리부 250...콘텐츠실행 분석부
260...미시청콘텐츠 제공부 270...회원관리부
300...관리자단말

Claims (3)

  1. 콘텐츠 실시간 시청에 대한 참여도와 집중도 측정을 이용한 시청자 몰입도 평가시스템에 있어서,
    시청자(A)의 콘텐츠 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 상기 시청자(A)를 객체로 추출하는 객체추출부(120)와, 상기 객체의 얼굴상에서 동공을 추출하는 동공추출부(130)와, 상기 객체의 얼굴이 지향하는 시선방향을 추출하는 시선방향 추출부(140) 및, 상기 객체의 움직임 또는 객체의 얼굴 움직임을 추출하는 움직임추출부(150)를 포함하는 시청자단말(100); 및
    상기 시청자단말(100)의 객체추출부(120)와 동공추출부(130)의 데이터값을 이용하여 시청자(A)의 존재여부 및 눈뜬상태를 반영한 참여도 측정값을 산출하고, 상기 시선방향 추출부(140)와 움직임추출부(150)의 데이터값을 이용하여 시청자(A)의 화면응시상태 및 산만한 동작여부를 반영한 집중도 측정값을 산출하며, 산출된 참여도 측정값과 집중도 측정값을 취합하여 시청자의 콘텐츠 몰입도지수(CEI,Contents Engagement Index)를 산출하는 메인서버(200);를 포함하는 시청자 몰입도 평가시스템.
  2. 제 1항에 있어서,
    상기 메인서버(200)는,
    단위시간당 산출된 콘텐츠 몰입도지수(CEI)를 시계열에 따라 취합하여 그래프화한 몰입도 평가데이터를 생성 및 제공하는 통계처리부(240)를 더 포함하는 시청자 몰입도 평가시스템.
  3. 제 1항 또는 제 2항에 있어서,
    상기 메인서버(200)는,
    상기 객체추출부(120)의 데이터값과 시청자 존재여부 판단 기준값의 비교결과값인 참여도 계수 a와,
    상기 동공추출부(130)의 데이터값과 눈뜬상태 판단 기준값의 비교결과값인 눈상태 계수 b와,
    상기 시선방향 추출부(140)의 데이터값에 따라 화면응시상태 측정값을 산출하기 위해 설정된 시선 설정값 c와,
    상기 움직임추출부(150)의 데이터값에 따라 산만한 동작상태 측정값을 산출하기 위해 설정된 움직임 설정값 d 및,
    하기의 [수학식 1] 내지 [수학식 4]를 이용하여 콘텐츠 몰입도지수(CEI)를 산출하는 것을 특징으로 하는 시청자 몰입도 평가시스템.
    [수학식 1]
    Figure pat00009

    [수학식 2]
    Figure pat00010

    (여기서, α1 은 수직방향 계수, α2는 수평방향계수, ∠V는 수직시선방향, ∠H는 수평시선방향을 각각 의미함)
    [수학식 3]
    Figure pat00011

    (여기서, β1은 신체벡터계수, β2는 얼굴벡터계수, Σmovsur은 움직임총량, Σmovface는 얼굴움직임량을 각각 의미함)
    [수학식 4]
    Figure pat00012

    (여기서, θ1은 시청계수, Δt는 시청시간, T는 콘텐츠시간을 각각 의미함)
KR1020160067838A 2016-06-01 2016-06-01 시청자 몰입도 평가 시스템 KR20170136160A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067838A KR20170136160A (ko) 2016-06-01 2016-06-01 시청자 몰입도 평가 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067838A KR20170136160A (ko) 2016-06-01 2016-06-01 시청자 몰입도 평가 시스템

Publications (1)

Publication Number Publication Date
KR20170136160A true KR20170136160A (ko) 2017-12-11

Family

ID=60943474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067838A KR20170136160A (ko) 2016-06-01 2016-06-01 시청자 몰입도 평가 시스템

Country Status (1)

Country Link
KR (1) KR20170136160A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
US20190340780A1 (en) * 2016-06-23 2019-11-07 Gaia System Solutions Inc. Engagement value processing system and engagement value processing apparatus
WO2020111637A1 (ko) * 2018-11-30 2020-06-04 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
KR102220074B1 (ko) * 2020-10-06 2021-02-25 주식회사 이노피아테크 영상인식기반 실-시청 몰입도 판정 서비스 제공을 위한 데이터 생성 방법 및 장치
KR20220071677A (ko) * 2020-11-24 2022-05-31 광주과학기술원 운전자 또는 콘텐츠 시청자의 몰입도 측정 방법 및 장치
KR102525348B1 (ko) 2023-02-02 2023-04-25 주식회사 벨라도 사용자 참여형 콘텐츠의 시청이 가능한 상호작용 플랫폼 서비스 제공 방법, 장치 및 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340780A1 (en) * 2016-06-23 2019-11-07 Gaia System Solutions Inc. Engagement value processing system and engagement value processing apparatus
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
WO2020111637A1 (ko) * 2018-11-30 2020-06-04 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
KR20200065755A (ko) * 2018-11-30 2020-06-09 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
KR102220074B1 (ko) * 2020-10-06 2021-02-25 주식회사 이노피아테크 영상인식기반 실-시청 몰입도 판정 서비스 제공을 위한 데이터 생성 방법 및 장치
US11321961B2 (en) 2020-10-06 2022-05-03 Innopia Technologies, Inc. Data generation method and apparatus for providing real-viewing immersion determination service based on image recognition
KR20220071677A (ko) * 2020-11-24 2022-05-31 광주과학기술원 운전자 또는 콘텐츠 시청자의 몰입도 측정 방법 및 장치
KR102525348B1 (ko) 2023-02-02 2023-04-25 주식회사 벨라도 사용자 참여형 콘텐츠의 시청이 가능한 상호작용 플랫폼 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR20170136160A (ko) 시청자 몰입도 평가 시스템
KR101766347B1 (ko) 집중도 평가시스템
US20210104053A1 (en) Image processing apparatus, monitoring system, image processing method, and program
JP6282769B2 (ja) エンゲージメント値処理システム及びエンゲージメント値処理装置
WO2009096428A1 (ja) 表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体
Pachai et al. Sensitivity to information conveyed by horizontal contours is correlated with face identification accuracy
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
KR101835578B1 (ko) 집중도 평가시스템
JP2007310454A (ja) 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム
Bos et al. Cinerama sickness and postural instability
US20130102854A1 (en) Mental state evaluation learning for advertising
CN112801052B (zh) 一种用户专注度检测方法及用户专注度检测系统
Cristino et al. The nature of the visual representations involved in eye movements when walking down the street
KR102245319B1 (ko) 원격지 학습자의 집중도를 분석하는 시스템
KR20180020995A (ko) 사용자 상태들을 변화시키기 위해 물리적 객체들과 함께 증강 현실을 사용하는 방법 및 장치
Nyman et al. Eyewitness identifications after witnessing threatening and non-threatening scenes in 360-degree virtual reality (or 2D) from first and third person perspectives
Cho et al. The measurement of eyestrain caused from diverse binocular disparities, viewing time and display sizes in watching stereoscopic 3D content
US12002287B2 (en) Computing device attention determination
US10755088B2 (en) Augmented reality predictions using machine learning
CN115543075A (zh) 一种带有远程互动教学功能的vr教学系统
Egorova et al. Methodology of Researching Perception Identity of Regions of Users' Interests While Viewing Streaming Video Containing Various Content and Compression Artefacts
Ujike Estimation of visually induced motion sickness from velocity component of moving image
CN113936323A (zh) 检测方法及装置、终端和存储介质
Hosseinkhani et al. Significance of Bottom-up Attributes in Video Saliency Detection Without Cognitive Bias
KR102038413B1 (ko) 그레이디언트 벡터 필드와 칼만 필터를 이용한 온라인 강의 모니터링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application