KR101554784B1 - 컨텐츠에 대한 개인 관객의 몰입도 판단 방법 - Google Patents

컨텐츠에 대한 개인 관객의 몰입도 판단 방법 Download PDF

Info

Publication number
KR101554784B1
KR101554784B1 KR1020130160267A KR20130160267A KR101554784B1 KR 101554784 B1 KR101554784 B1 KR 101554784B1 KR 1020130160267 A KR1020130160267 A KR 1020130160267A KR 20130160267 A KR20130160267 A KR 20130160267A KR 101554784 B1 KR101554784 B1 KR 101554784B1
Authority
KR
South Korea
Prior art keywords
individual viewer
evaluation
unit time
evaluation threshold
time
Prior art date
Application number
KR1020130160267A
Other languages
English (en)
Other versions
KR20150072758A (ko
Inventor
김재경
최일영
류준모
오명근
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130160267A priority Critical patent/KR101554784B1/ko
Priority to PCT/KR2014/001153 priority patent/WO2015093682A1/ko
Publication of KR20150072758A publication Critical patent/KR20150072758A/ko
Application granted granted Critical
Publication of KR101554784B1 publication Critical patent/KR101554784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨텐츠에 대한 개인 관객의 몰입도를 판단하는 방법에 관한 것으로, 보다 구체적으로 컨텐츠의 관람이 시작된 후, 초기 시간 동안 개인 관객에 대한 움직임 변화량에 따라 제1 평균 움직임 변화량을 계산하여 평균 임계범위를 계산하고, 초기 시간 이후의 개인 관객에 대한 움직임 변화량에 따라 제2 평균 움직임 변호량을 계산하여 개인 관객의 컨텐츠에 대한 몰입 정도를 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 판단하는 방법에 관한 것이다.

Description

컨텐츠에 대한 개인 관객의 몰입도 판단 방법{Method for estimating response of audience concerning content}
본 발명은 컨텐츠에 대한 개인 관객의 몰입도를 판단하는 방법에 관한 것으로, 보다 구체적으로 컨텐츠의 관람이 시작된 후, 초기 시간 동안 개인 관객에 대한 움직임 변화량에 따라 제1 평균 움직임 변화량을 계산하여 평균 임계범위를 계산하고, 초기 시간 이후의 개인 관객에 대한 움직임 변화량에 따라 제2 평균 움직임 변호량을 계산하여 개인 관객의 컨텐츠에 대한 몰입 정도를 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 판단하는 방법에 관한 것이다.
공연, 영화, 박람회 등과 같은 컨텐츠에 대한 관객의 반응을 판단하기 위한 종래 방법은 공연이 끝난 후, 설문지나 직접 질문을 통해 관객의 만족도, 몰입도, 흥미도 등을 판단하게 된다. 그러나 이러한 종래 관객 반응 판단 방법은 컨텐츠 전체에 대한 반응이며, 컨텐츠 중 관객이 흥미를 보이거나 즐거워하는 부분 또는 지루해하거나 관심을 가지지 않는 부분을 개별적으로 평가하기 곤란하다.
종래 컨텐츠에 대한 관객의 반응을 판단하는 다른 방법은 관객 영상에서 관객의 얼굴 패턴 영역을 추출하고 추출한 얼굴 패턴 영역에서 관객의 얼굴 표정 변화를 감지하여 컨텐츠에 대한 관객의 만족도, 흥미도를 평가하였다. 그러나 컨텐츠 종류에 따라 어두운 환경에서 공연되는 경우 관객의 얼굴 패턴 영역을 정확하게 추출하고 추출한 얼굴 패턴 영역에 기초하여 관객의 얼굴 표정 변화를 감지하기 곤란하다. 더욱이 미세한 얼굴 표정 변화만으로 컨텐츠에 대한 관객의 반응을 정확하게 판단하기 곤란하다.
본 발명은 위에서 언급한 종래 컨텐츠 반응 판단 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 컨텐츠의 관람이 시작된 후, 개인 관객의 초기 시간 동안 계산한 제1 평균 움직임 변화량과 초기 시간 이후 평가 시간 동안 계산한 제2 평균 움직임 변화량을 비교하여 개인 관객의 컨텐츠에 대한 몰입도를 판단하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 관객 영역의 평균 움직임 변화량으로 컨텐츠에 대한 개인 관객의 몰입도를 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 정확하게 판단할 수 있는 몰입도 판단 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 개인 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 개인 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 몰입도 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 개인 관객의 몰입도를 정확하게 판단할 수 있는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여, 본 발명에 다른 개인 관객의 몰입도 판단 방법은 컨텐츠에 대한 관람이 시작된 후, 초기 시간 동안의 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인 단위로 개인 관객 영역의 제1 평균 움직임 변화량을 계산하는 단계와, 제1 평균 움직임 변화량에 가중치를 합산하여 평가 임계범위를 계산하는 단계와, 초기 시간 이후의 평가 시간 동안 획득한 관객 그룹 영상에서 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 단계와, 제2 평균 움직임 변화량와 평가 임계범위를 비교하여 개인 관객의 컨텐츠에 대한 몰입도를 판단하는 단계를 포함하는 것을 특징으로 한다.
여기서 개인 관객의 컨텐츠에 대한 몰입도는 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 판단되는 것을 특징으로 한다.
바람직하게, 제1 평균 움직임 변화량을 계산하는 단계는 컨텐츠에 대한 관람이 시작된 후, 초기 시간 동안의 관객 그룹 영상에서 관객 그룹 영상에 존재하는 개인 관객별로 개인 관객 영역을 판단하는 단계와, 초기 시간을 구성하는 초기 단위 시간별로 각 초기 단위 시간의 개인 관객 영역과 이전 초기 단위 시간의 개인 관객 영역을 차감하여 초기 단위 시간의 차 영상을 생성하는 단계와, 초기 단위 시간의 차 영상으로부터 각 초기 단위 시간의 개인 관객 영역의 움직임 변화량을 계산하는 단계와, 초기 단위 시간의 개인 관객 영역의 움직임 변화량으로부터 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 한다.
여기서 평가 임계범위는 상한 평가 임계값과 하한 평가 임계값 사이의 값을 가지는데, 상한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 합산하여 계산되며, 하한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 차감하여 계산되는 것을 특징으로 한다.
바람직하게, 제2 평균 움직임 변화량을 계산하는 단계는 초기 시간 이후의 평가 시간 동안 획득한 관객 그룹 영상에서 평가 시간을 구성하는 평가 단위 시간별로 각 평가 단위 시간의 개인 관객 영역과 이전 평가 단위 시간의 개인 관객 영역을 차감하여 평가 단위 시간의 차 영상을 생성하는 단계와, 평가 단위 시간의 차 영상으로부터 각 평가 단위 시간의 개인 관객 영역의 움직임 변화량을 계산하는 단계와, 평가 단위 시간의 개인 관객 영역의 움직임 변화량으로부터 평가 시간 동안의 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 한다.
여기서 제2 평균 움직임 변화량이 상한 평가 임계범위보다 높은 경우 컨텐츠에 대한 개인 관객의 몰입도를 동적 몰입으로 판단하며, 제2 평균 움직임 변화량이하한 평가 임계범위보다 낮은 경우 컨텐츠에 대한 개인 관객의 몰입도를 정적 몰입으로 판단하며, 제2 평균 움직임 변화량이 상한 평가 임계범위와 하한 평가 임계범위 사이인 경우 컨텐츠에 대한 개인 관객의 몰입도를 무관심으로 판단하는 것을 특징으로 한다.
여기서 단위 시간의 움직임 변화량은 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 생성되는 차 영상의 밝기 히스토그램을 통해 계산되는데, 단위 시간의 움직임 변화량은 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 판단한 총수에 상응하여 이전 단위 관객 영역과 단위 관객 영역 사이의 움직임 변화량을 계산하는 것을 특징으로 한다.
한편, 본 발명의 목적을 달성하기 위하여 본 발명에 따른 컨텐츠에 대한 개인 관객의 몰입도 판단 장치는 입력되는 관객 그룹 영상에서 관객 그룹을 구성하는 개인 관객 영역을 판단하는 개인 관객 영역 판단부와, 컨텐츠에 대한 관람이 시작된 이후 초기 시간을 구성하는 초기 단위 시간별로 개인 관객 영역에 대한 차 영상을 계산하거나 상기 초기 시간 이후 평가 시간을 구성하는 평가 단위 시간별로 개인 관객 영역에 대한 차 영상을 계산하는 차 영상 계산부와, 초기 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하거나 평가 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 평가 시간 동안의 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 움직임 변화량 계산부와, 제1 평균 움직임 변화량에 가중치를 합산하여 평가 임계범위를 계산하는 평가 임계범위 계산부와, 제2 평균 움직임 변화량과 평가 임계범위를 비교하여 개인 관객의 컨텐츠에 대한 몰입도를 판단하는 몰입도 판단부를 포함하는 것을 특징으로 한다.
여기서 개인 관객 영역 판단부는 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부와, 관객 개개인별로 얼굴 영역을 기준으로 얼굴 영역으로 인접 거리에 위치하는 인접 영역을 판단하는 인접 영역 판단부와, 관객 그룹 영상에서 관객 개개인 별로 얼굴 영역과 인접 영역으로 구성되는 개인 관객 영역을 생성하는 개인 관객 영역 생성부를 포함하는 것을 특징으로 한다.
여기서 움직임 변화량 계산부는 차 영상을 구성하는 픽셀의 픽셀값으로부터 차 영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부와, 차 영상에 대한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하는 카운트부와, 카운트한 총수에 기초하여 개인 관객 영역의 움직임 변화량을 계산하는 변화량 계산부를 포함하는 것을 특징으로 한다.
본 발명에 따른 개인 관객의 컨텐츠 몰입도 판단 방법은 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 몰입도 판단 방법은 컨텐츠의 관람이 시작된 후, 개인 관객의 초기 시간 동안 계산한 제1 평균 움직임 변화량과 초기 시간 이후 평가 시간 동안 계산한 제2 평균 움직임 변화량을 비교함으로써, 개인 관객의 컨텐츠에 대한 몰입도를 판단할 수 있다.
둘째, 본 발명에 따른 몰입도 판단 방법은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 관객 영역의 평균 움직임 변화량으로 컨텐츠에 대한 몰입도를 판단함으로써, 컨텐츠에 대한 개인 관객의 몰입도를 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 몰입도 판단 방법은 개인 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 개인 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 몰입도 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 개인 관객의 몰입도를 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도 판단 장치를 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 개인 관객 영역 판단부를 설명하기 위한 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도 판단 방법을 설명하기 위한 흐름도이다.
도 5는 컨텐츠에 대한 개인 관객의 몰입도를 측정하는데 사용되는 초기 시간과 평가 시간의 일 예를 도시하고 있다.
도 6은 본 발명의 일 실시예에 따른 제1 평균 움직임 변화량을 계산하는 단계를 설명하기 위한 흐름도이다.
도 7은 본 발명에 일 실시예에 따른 제2 평균 움직임 변화량을 계산하는 단계를 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도를 판단하는 단계를 설명하기 위한 도면이다.
도 9는 본 발명에서 컨텐츠에 대한 개인 관객의 몰입도 유형의 일 예를 설명하기 위한 도면이다.
이하 첨부한 도면을 참고로 본 발명에 따른 관객 반응 판단 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도 판단 장치를 설명하기 위한 흐름도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 공연, 뮤지컬, 영화, 전시물 등의 컨텐츠를 관람하는 관객의 영상을 촬영하여 관객 영상을 획득한다. 영상 촬영부(110)는 컨텐츠를 관람하는 관객의 모습을 정확하게 촬영하는 위치에 배치되어 있는데, 예를 들어 관객의 정면에 위치하거나 정면 상부에 위치하거나 옆에 위치할 수 있다. 또한 컨텐츠를 관람하는 관객 반응을 정확하게 판단하기 위하여 영상 촬영부(110)는 여러 장소에 배치되어 컨텐츠를 관람하는 관객의 영상을 촬영할 수 있다.
개인 관객 영역 판단부(120)는 영상 촬영부(110)로부터 획득한 관객 영상에서 관객의 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 영상에 위치하는 관객의 얼굴 영역을 판단하여 관객 영상에서 얼굴 영역에 기초하여 개인 관객 영역을 생성한다.
차 영상 생성부(130)는 컨텐츠에 대한 관람이 시작된 이후 초기 시간을 구성하는 초기 세부 단위 시간별로 개인 관객 영역에 대한 차 영상을 계산하거나 초기 시간 이후 평가 시간을 구성하는 평가 세부 단위 시간별로 개인 관객 영역에 대한 차 영상을 계산한다. 초기 시간을 구성하는 다수의 세부 단위 시간 또는 평가 시간을 구성하는 다수의 세부 단위 시간별로 현재 세부 단위 시간의 관객 영상에서 생성한 현재 개인 관객 영역과 이전 세부 단위 시간의 관객 영상에서 생성한 이전 개인 관객 영역을 차감하여 세부 단위 시간별로 차영상을 생성한다. 여기서 차영상 생성부(130)는 관객 영상을 RGB 색영역에서 YUV 색영역, 즉 휘도와 색차 영역으로 변환하며, 현재 세부 단위 시간의 현재 관객 영상과 이전 세부 단위 시간의 이전 관객 영상을 차감하여 생성되는 전체 차영상 중 앞서 생성한 개인 관객 영역에 대한 차영상을 생성한다. 본 발명이 적용되는 분야에 따라 현재 관객 영상과 이전 관객 영상을 차감하는 대신, 현재 관객 영상에서 생성한 개인 관객 영역과 이전 관객 영상에서 생성한 이전 개인 관객 영역을 차감하여 차영상을 생성할 수 있으며, 이는 본 발명의 범위에 속한다.
움직임 변화량 계산부(140)는 초기 세부 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하거나, 평가 세부 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 평가 시간 동안의 개인 관객 영역의 제2 평균 움직임 변화량을 계산한다.
평가 임계범위 계산부(150)는 제1 평균 움직임 변화량에 양의 가중치를 합산하거나 음의 가중치를 합산하여 제1 평균 움직임 변화량에서 일정 임계범위를 가지는 평가 임계범위를 계산한다.
몰입도 계산부(160)는 움직임 변화량 계산부(140)에서 계산한 제2 평균 움직임 변화량과 평가 임계범위 계산부(150)에서 계산한 평가 임계범위를 비교하여 개인 관객의 컨텐츠에 대한 몰입도를 판단한다. 여기서 몰입도 계산부(160)는 개인 관객의 컨텐츠에 대한 몰입도를 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 판단한다.
도 2는 본 발명의 일 실시예에 따른 개인 관객 영역 판단부를 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 얼굴 영역 검색부(121)는 획득한 관객 영상에서 관객 개개인의 얼굴 영역을 검색한다. 관객 영상에는 다수의 개인 관객이 포함될 수 있다. 본 발명에서는 어두운 환경에서 얼굴 영역을 검색하기 위하여 얼굴 영역 특징점으로부터 얼굴 영역을 검색하는 Haar 검출 방식을 사용할 수 있다. 획득한 관객 영상에서 관객의 얼굴 영역을 검색하는 다양한 방법이 공지되어 있는데, 본 발명에서는 다양한 얼굴 영역 검색 방법이 사용될 수 있으며, 이는 본 발명의 범위에 속한다.
인접 영역 판단부(123)는 관객 영상 중 검색한 얼굴 영역에 기초하여 얼굴 영역에 인접하여 위치하는 영역을 인접 영역으로 판단한다. 인접 영역은 검색한 얼굴 영역을 기준으로 소정의 인접 거리에 위치하는 영역을 인접 영역으로 판단할 수 있다.
개인 관객 영역 생성부(125)는 얼굴 영역과 인접 영역을 합하여 얼굴 영역과 인접 영역으로 구성되는 개인 관객 영역을 생성한다.
도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3을 참고로 살펴보면, 히스트그램 생성부(131)는 차영상을 구성하는 픽셀들의 밝기 픽셀값에 기초하여 밝기 히스토그램을 생성한다.
변화량 계산부(133)는 밝기 히스토그램의 픽셀값을 누적하고, 밝기 픽셀값의 누적값에 기초하여 개인 관객 영역에 대한 세부 단위 시간의 움직임 변화량을 계산한다. 평균 변화량 계산부(135)는 세부 단위 시간의 움직임 변화량에 기초하여 초시 시간을 구성하는 모든 세부 단위 시간의 움직임 변화량의 평균값을 계산하여 제1 평균 움직임 변화량을 계산하거나 평가 시간을 구성하는 모든 세부 단위 시간의 움직임 변화량의 평균값을 계산하여 제2 평균 움직임 변화량을 계산한다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도 판단 방법을 설명하기 위한 흐름도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 컨텐츠의 시작 이후 기설정한 초기 시간 동안 획득한 관객 영상으로부터 개인 관객 영역에 대한 초기 시간 동안의 제1 평균 움직임 변화량을 계산한다(S110). 계산한 제1 평균 움직임 변화량에 양의 가중치와 음의 가중치를 각각 합산하여 제1 평균 움직임 변화량으로부터 일정 범위를 가지는 평가 임계 범위를 계산한다(S120). 여기서 가중치는 초기 시간 동안 초기 세부 단위 시간별 움직임 변화량의 표준편차인 것을 특징으로 한다.
한편, 영상 촬영부를 통해 컨텐츠를 관람한 초기 시간 이후 기설정한 평가 시간 동안 획득한 관객 영상으로부터 개인 관객 영역에 대한 평가 시간 동안의 제2 평균 움직임 변화량을 계산한다(S130). 제2 평균 움직임 변화량과 평가 임계 범위를 비교하여 컨텐츠에 대한 개인 관객의 몰입도를 판단한다(S140). 평가 시간 동안 개인 관객의 제2 평균 움직임 변화량이 평가 임계 범위보다 큰 경우 개인 관객이 컨텐츠에 대해 동적으로 몰입하고 있어 동적 몰입으로 판단하며, 평가 시간 동안 개인 관객의 제2 평균 움직임 변화량이 평가 임계 범위보다 작은 경우 개인 관객이 컨텐츠에 대해 정적으로 몰입하고 있어 정적 몰입으로 판단하며, 평가 시간 동안 개인 관객의 제2 평균 움직임 변화량이 평가 임계 범위에 존재하는 경우 개인 관객이 컨텐츠에 대해 몰입하지 못하고 무관심하다고 판단한다.
여기서 동적 몰입이란 컨텐츠에 대해 사용자가 큰 움직임을 가지며 컨텐츠를 몰입하여 관람하는 것이며, 정적 몰입이란 컨텐츠에 대해 사용자가 집중함으로써 움직임이 거의 없이 컨텐츠를 몰입하여 관람하는 것이며, 무관심은 컨텐츠가 시작되었을 때와 동일하게 일정한 크기의 움직임을 가지며 컨텐츠에 집중을 하지 못하는 것을 의미한다.
도 5는 컨텐츠에 대한 개인 관객의 몰입도를 측정하는데 사용되는 초기 시간과 평가 시간의 일 예를 도시하고 있다. 도 5에 도시되어 있는 바와 같이 컨텐츠가 시작된 시점(t0)부터 일정한 시간이 흐른 시점(t1)이 초기 시간으로 설정되며, 초기 시간 이후 일정한 시간이 흐름 시점(t2)이 평가 시간으로 설정된다.
도 6은 본 발명의 일 실시예에 따른 제1 평균 움직임 변화량을 계산하는 단계를 설명하기 위한 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 컨텐츠가 시작된 후, 초기 시간 동안 획득한 관객 영상에서 초기 시간의 개인 관객 영역을 판단한다(S111). 초기 시간은 다수의 초기 세부 단위 시간으로 구성되며, 각 초기 세부 단위 시간에서 개인 관객 영역을 판단한다.
초기 세부 단위 시간에서 판단한 개인 관객 영역에 기초하여 현재 초기 세부 단위 시간에서의 개인 관객 영역과 이전 초기 세부 단위 시간에서의 개인 관객 영역을 차감하여 현재 초기 세부 단위 시간에서의 차 영상을 생성한다(S113). 이와 같이 초기 세부 단위 시간별로 각각 차 영상을 생성한다.
생성한 각 초기 세부 단위 시간의 차 영상으로부터 각 초기 세부 단위 시간별로 개인 관객 영역의 움직임 변화량을 계산하고(S115). 각 초기 세부 단위 시간의 개인 관객 영역의 움직임 변화량에 기초하여 초기 시간 동안의 제1 평균 움직임 변화량을 계산한다(S117).
도 7은 본 발명에 일 실시예에 따른 제2 평균 움직임 변화량을 계산하는 단계를 설명하기 위한 흐름도이다.
도 7을 참고로 보다 구체적으로 살펴보면, 초기 시간 이후 평가 시간 동안 획득한 관객 영상에서 평가 시간의 개인 관객 영역을 판단한다(S131). 평가 시간은 다수의 평가 세부 단위 시간으로 구성되며, 각 평가 세부 단위 시간에서 개인 관객 영역을 판단한다.
평가 세부 단위 시간에서 판단한 개인 관객 영역에 기초하여 현재 평가 세부 단위 시간에서의 개인 관객 영역과 이전 평가 세부 단위 시간에서의 개인 관객 영역을 차감하여 현재 평가 세부 단위 시간에서의 차 영상을 생성한다(S133). 이와 같이 평가 세부 단위 시간별로 각각 차 영상을 생성한다.
생성한 각 평가 세부 단위 시간의 차 영상으로부터 각 평가 세부 단위 시간별로 개인 관객 영역의 움직임 변화량을 계산하고(S135). 각 평가 세부 단위 시간의 개인 관객 영역의 움직임 변화량에 기초하여 평가 시간 동안의 제2 평균 움직임 변화량을 계산한다(S137).
도 8은 본 발명의 일 실시예에 따른 컨텐츠에 대한 개인 관객의 몰입도를 판단하는 단계를 설명하기 위한 도면이다.
도 8을 참고로 보다 구체적으로 살펴보면, 제2 평균 움직임 변화량(MA2)가 평가 임계범위의 상한 평가 임계값보다 큰지 판단한다(S141). 제2 평균 움직임 변화량이 상한 평가 임계값보다 큰 경우 컨텐츠에 대한 개인 관객의 몰입도를 동적 몰입으로 판단한다(S143).
그러나 제2 평균 움직임 변화량이 상한 평가 임계값보다 크지 않은 경우, 제2 평균 움직임 변화량이 하한 평가 임계값보다 작은지 판단한다(S145). 제2 평균 움직임 변화량이 하한 평가 임계값보다 작은 경우 컨텐츠에 대한 개인 관객의 몰입도를 정적 몰입으로 판단한다(S147).
그러나 제2 평균 움직임 변화량이 하한 평가 임계값보다 작지 않은 경우, 즉 제2 평균 움직임 변화량이 상한 평가 임계값과 하한 평가 임계값 사이에 위치하는 경우 컨텐츠에 대한 개인 관객의 몰입도를 무관심으로 판단한다(S149).
도 9는 본 발명에서 컨텐츠에 대한 개인 관객의 몰입도 유형의 일 예를 설명하기 위한 도면이다.
도 9(a)는 동적 몰입의 일 예를 도시하고 있는데, 도 9(a)에 도시되어 있는 바와 같이 평가 시간 동안의 평가 세부 단위 시간별로 판단한 개인 관객의 움직임 변화량이 평가 임계 범위의 상한 평가 임계값(AVT)보다 크게 계산되며, 이러한 경우 사용자는 컨텐츠에 동적으로 몰입하고 있음을 나타낸다.
도 9(b)는 정적 몰입의 일 예를 도시하고 있는데, 도 9(b)에 도시되어 있는 바와 같이 평가 시간 동안의 평가 세부 단위 시간별로 판단한 개인 관객의 움직임 변화량이 평가 임계 범위의 하한 평가 임계값(AVB)보다 작게 계산되며, 이러한 경우 사용자는 컨텐츠에 집중하여 움직임이 거의 없음을 의미한다.
도 9(c)는 무관심 몰입의 일 예를 도시하고 있는데, 도 9(c)에 도시되어 있는 바와 같이 평가 시간 동안의 평가 세부 단위 시간별로 판단한 개인 관객의 움직임 변화량이 평가 임계 범위의 상한 평가 임계값(AVT)과 하한 평가 임계값(AVB) 사이에 존재하며 이는 개인 관객이 컨텐츠의 관람 시점과 동일하게 컨텐츠에 몰입하지 못하고 무관심함으로 의미한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상 촬영부 120: 개인 관객 영역 판단부
130: 차영상 계산부 140: 움직임 변화량 계산부
150: 평가 임계범위 계산부 160: 몰입도 판단부

Claims (16)

  1. 컨텐츠에 대한 관객의 관람이 시작된 후, 상기 컨텐츠를 관람하기 시작한 이후 설정된 초기 시간 동안의 관객 그룹 영상에서 상기 초기 시간을 구성하는 초기 단위 시간별로 각 초기 단위 시간의 개인 관객 영역과 이전 초기 단위 시간의 개인 관객 영역을 차감하여 계산한 각 초기 단위 시간의 개인 관객 영역의 움직임 변화량으로부터 상기 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하는 단계;
    상기 제1 평균 움직임 변화량에 가중치를 합산하여 평가 임계범위를 계산하는 단계;
    상기 초기 시간 이후의 평가 시간 동안 획득한 관객 그룹 영상에서 상기 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 단계;
    상기 제2 평균 움직임 변화량와 상기 평가 임계범위를 비교하여 개인 관객의 상기 컨텐츠에 대한 몰입도를 판단하는 단계를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  2. 제 1 항에 있어서,
    상기 개인 관객의 상기 컨텐츠에 대한 몰입도는 동적 몰입, 정적 몰입 또는 무관심 중 어느 하나로 판단되는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  3. 제 2 항에 있어서, 상기 제1 평균 움직임 변화량을 계산하는 단계는
    상기 컨텐츠에 대한 관람이 시작된 후, 상기 초기 시간 동안의 관객 그룹 영상에서 상기 관객 그룹 영상에 존재하는 개인 관객별로 개인 관객 영역을 판단하는 단계;
    상기 초기 시간을 구성하는 초기 단위 시간별로 각 초기 단위 시간의 개인 관객 영역과 이전 초기 단위 시간의 개인 관객 영역을 차감하여 초기 단위 시간의 차 영상을 생성하는 단계;
    상기 초기 단위 시간의 차 영상으로부터 각 초기 단위 시간의 개인 관객 영역의 움직임 변화량을 계산하는 단계 ; 및
    상기 초기 단위 시간의 개인 관객 영역의 움직임 변화량으로부터 상기 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  4. 제 3 항에 있어서,
    상기 평가 임계범위는 상한 평가 임계값과 하한 평가 임계값 사이의 값을 가지는데,
    상기 상한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 합산하여 계산되며,
    상기 하한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 차감하여 계산되는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  5. 제 4 항에 있어서, 상기 제2 평균 움직임 변화량을 계산하는 단계는
    상기 초기 시간 이후의 평가 시간 동안 획득한 관객 그룹 영상에서 상기 평가 시간을 구성하는 평가 단위 시간별로 각 평가 단위 시간의 개인 관객 영역과 이전 평가 단위 시간의 개인 관객 영역을 차감하여 평가 단위 시간의 차 영상을 생성하는 단계;
    상기 평가 단위 시간의 차 영상으로부터 각 평가 단위 시간의 개인 관객 영역의 움직임 변화량을 계산하는 단계; 및
    상기 평가 단위 시간의 개인 관객 영역의 움직임 변화량으로부터 상기 평가 시간 동안의 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  6. 제 5 항에 있어서, 상기 제2 평균 움직임 변화량이 상기 상한 평가 임계값보다 높은 경우 동적 몰입으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  7. 제 5 항에 있어서, 상기 제2 평균 움직임 변화량이 상기 하한 평가 임계값보다 낮은 경우 정적 몰입으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  8. 제 5 항에 있어서, 상기 제2 평균 움직임 변화량이 상기 상한 평가 임계값과 상기 하한 평가 임계값 사이인 경우 무관심으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 단위 시간의 움직임 변화량은 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 생성되는 상기 차 영상의 밝기 히스토그램을 통해 계산되는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  10. 제 9 항에 있어서,
    상기 단위 시간의 움직임 변화량은 상기 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 상응하여 상기 단위 시간 이전 단위시간의 개인 관객 영역과 상기 단위시간의 개인 관객 영역 사이의 움직임 변화량을 계산하는 것을 특징으로 하는 개인 관객의 몰입도 판단 방법.
  11. 입력되는 관객 그룹 영상에서 관객 그룹을 구성하는 개인 관객 영역을 판단하는 개인 관객 영역 판단부;
    컨텐츠에 대한 관객의 관람이 시작된 후, 상기 컨텐츠를 관람하기 시작한 이후 설정된 초기 시간 동안의 관객 그룹 영상에서 상기 초기 시간을 구성하는 초기 단위 시간별로 각 초기 단위 시간의 개인 관객 영역과 이전 초기 단위 시간의 개인 관객 영역을 차감하여 상기 초기 단위 시간별 상기 개인 관객 영역에 대한 차 영상을 계산하거나, 상기 초기 시간 이후 평가 시간을 구성하는 평가 단위 시간별로 상기 개인 관객 영역에 대한 차 영상을 계산하는 차 영상 계산부;
    상기 초기 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 상기 초기 시간 동안의 개인 관객 영역의 제1 평균 움직임 변화량을 계산하거나, 상기 평가 단위 시간의 개인 관객 영역에 대한 차 영상으로부터 상기 평가 시간 동안의 개인 관객 영역의 제2 평균 움직임 변화량을 계산하는 움직임 변화량 계산부;
    상기 제1 평균 움직임 변화량에 가중치를 합산하여 평가 임계범위를 계산하는 평가 임계범위 계산부; 및
    상기 제2 평균 움직임 변화량과 상기 평가 임계범위를 비교하여 개인 관객의 상기 컨텐츠에 대한 몰입도를 판단하는 몰입도 판단부를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
  12. 제 11 항에 있어서, 상기 개인 관객 영역 판단부는
    상기 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부;
    상기 관객 개개인별로 상기 얼굴 영역을 기준으로 상기 얼굴 영역으로 인접 거리에 위치하는 인접 영역을 판단하는 인접 영역 판단부; 및
    상기 관객 그룹 영상에서 상기 관객 개개인 별로 상기 얼굴 영역과 상기 인접 영역으로 구성되는 개인 관객 영역을 생성하는 개인 관객 영역 생성부를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
  13. 제 12 항에 있어서, 상기 움직임 변화량 계산부는
    상기 차 영상을 구성하는 픽셀의 픽셀값으로부터 상기 차 영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부;
    상기 차 영상에 대한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하는 카운트부; 및
    상기 카운트한 총수에 기초하여 상기 개인 관객 영역의 움직임 변화량을 계산하는 변화량 계산부를 포함하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 평가 임계범위는 상한 평가 임계값과 하한 평가 임계값 사이의 값을 가지는데,
    상기 상한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 합산하여 계산되고, 상기 하한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 차감하여 계산되며,
    상기 제2 평균 움직임 변화량이 상기 상한 평가 임계값보다 높은 경우 동적 몰입으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
  15. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 평가 임계범위는 상한 평가 임계값과 하한 평가 임계값 사이의 값을 가지는데,
    상기 상한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 합산하여 계산되고, 상기 하한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 차감하여 계산되며,
    상기 제2 평균 움직임 변화량이 상기 하한 평가 임계값보다 낮은 경우 정적 몰입으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
  16. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 평가 임계범위는 상한 평가 임계값과 하한 평가 임계값 사이의 값을 가지는데,
    상기 상한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 합산하여 계산되고, 상기 하한 평가 임계값은 상기 제1 평균 움직임 변화량에 가중치를 차감하여 계산되며,
    상기 제2 평균 움직임 변화량이 상기 상한 평가 임계값과 상기 하한 평가 임계값 사이인 경우 무관심으로 판단하는 것을 특징으로 하는 개인 관객의 몰입도 판단 장치.
KR1020130160267A 2013-12-20 2013-12-20 컨텐츠에 대한 개인 관객의 몰입도 판단 방법 KR101554784B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130160267A KR101554784B1 (ko) 2013-12-20 2013-12-20 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
PCT/KR2014/001153 WO2015093682A1 (ko) 2013-12-20 2014-02-12 컨텐츠에 대한 개인 관객의 몰입도 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160267A KR101554784B1 (ko) 2013-12-20 2013-12-20 컨텐츠에 대한 개인 관객의 몰입도 판단 방법

Publications (2)

Publication Number Publication Date
KR20150072758A KR20150072758A (ko) 2015-06-30
KR101554784B1 true KR101554784B1 (ko) 2015-09-22

Family

ID=53403011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160267A KR101554784B1 (ko) 2013-12-20 2013-12-20 컨텐츠에 대한 개인 관객의 몰입도 판단 방법

Country Status (2)

Country Link
KR (1) KR101554784B1 (ko)
WO (1) WO2015093682A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668387B1 (ko) * 2016-05-16 2016-10-21 정문영 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법
KR102237087B1 (ko) * 2019-07-08 2021-04-07 남서울대학교 산학협력단 가변 임계치 기반의 학습 집중도 판단 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239991A (ja) 2012-05-17 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403415B2 (ja) * 2005-09-20 2010-01-27 ソニー株式会社 コンテンツ再生方法およびコンテンツ再生装置
US20080169930A1 (en) * 2007-01-17 2008-07-17 Sony Computer Entertainment Inc. Method and system for measuring a user's level of attention to content
JP5308747B2 (ja) * 2008-09-03 2013-10-09 オリンパス株式会社 情報提示システム、プログラム及び情報記憶媒体
JP5357804B2 (ja) * 2010-02-24 2013-12-04 日本電信電話株式会社 関心度処理装置、関心度処理方法、および、関心度処理プログラム
JP2013109537A (ja) * 2011-11-21 2013-06-06 Nippon Hoso Kyokai <Nhk> 関心度推定装置及びそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239991A (ja) 2012-05-17 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
류준모 외 2명. "그룹 몰입도 판단을 위한 움직임 동기화 연구". 지능정보연구 제19권 제1호. 2013. 3.*
안일구 외 3명. "몰입형 화상 회의를 위한 강건한 객체 추출 방법". 전자공학회 논문지 제48권 SP편 제2호. 2011.3.*

Also Published As

Publication number Publication date
KR20150072758A (ko) 2015-06-30
WO2015093682A1 (ko) 2015-06-25

Similar Documents

Publication Publication Date Title
Liu et al. Subjective and objective video quality assessment of 3D synthesized views with texture/depth compression distortion
US10762649B2 (en) Methods and systems for providing selective disparity refinement
US9444977B2 (en) Method and device for adaptive noise measurement of a video signal
KR100873638B1 (ko) 영상 처리 방법 및 장치
KR101690366B1 (ko) 컨텐츠에 대한 사용자 반응을 고려한 컨텐츠 추천 방법
US20130272582A1 (en) Apparatus and method for determining a disparity estimate
CN105763884A (zh) 视频处理方法、装置及设备
CN104320670A (zh) 一种网络视频的摘要信息提取方法及系统
KR101554784B1 (ko) 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
US8311269B2 (en) Blocker image identification apparatus and method
CN113395599B (zh) 一种视频处理方法、装置、电子设备及介质
CN103517150B (zh) 蓝光播放器用以表示网络视频正在加载的方法及系统
CN112752110A (zh) 视频呈现方法及装置、计算设备、存储介质
Coria et al. Automatic stereoscopic 3D video reframing
KR101403143B1 (ko) 컨텐츠에 대한 관객 그룹의 반응 판단 방법
KR102427039B1 (ko) 인공지능 기반의 광도 잔차 산출을 통한 미세먼지 판독 솔루션 및 시스템
KR102427597B1 (ko) 인공지능 기반의 채도 잔차 산출을 통한 미세먼지 판독 솔루션 및 시스템
KR101403244B1 (ko) 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법
Jung et al. Visual comfort assessment for stereoscopic 3D images based on salient discomfort regions
JP6632134B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
Battiato et al. Aesthetic scoring of digital portraits for consumer applications
KR102468753B1 (ko) 인공지능 기반의 rgb 채널 잔차 산출을 통한 미세먼지 판독 솔루션 및 시스템
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법
Kakaletsis et al. A technique for fake 3d (2d-to-3d converted) video recognition
JP4289170B2 (ja) ノイズ量測定装置および映像受像機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4