KR101403244B1 - 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법 - Google Patents

컨텐츠에 대한 관객 그룹의 몰입도 판단 방법 Download PDF

Info

Publication number
KR101403244B1
KR101403244B1 KR1020120109347A KR20120109347A KR101403244B1 KR 101403244 B1 KR101403244 B1 KR 101403244B1 KR 1020120109347 A KR1020120109347 A KR 1020120109347A KR 20120109347 A KR20120109347 A KR 20120109347A KR 101403244 B1 KR101403244 B1 KR 101403244B1
Authority
KR
South Korea
Prior art keywords
audience
unit
amount
area
region
Prior art date
Application number
KR1020120109347A
Other languages
English (en)
Other versions
KR20140042505A (ko
Inventor
김재경
류준모
박승보
오명근
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020120109347A priority Critical patent/KR101403244B1/ko
Publication of KR20140042505A publication Critical patent/KR20140042505A/ko
Application granted granted Critical
Publication of KR101403244B1 publication Critical patent/KR101403244B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨텐츠에 대한 관객의 몰입도를 판단하는 방법에 관한 것으로, 보다 구체적으로 다수의 관객이 포함되어 있는 관객 그룹 영상에서 단위 관객 그룹 영상에 대한 움직임 변화량에 기초하여 관객 그룹의 움직임 변화량의 일치도를 판단하고, 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단하는 방법에 관한 것이다.

Description

컨텐츠에 대한 관객 그룹의 몰입도 판단 방법{Method for estimating attention level of audience group concerning content}
본 발명은 컨텐츠에 대한 관객의 몰입도를 판단하는 방법에 관한 것으로, 보다 구체적으로 다수의 관객이 포함되어 있는 관객 그룹 영상에서 생성한 단위 관객 그룹 영상에 대한 움직임 변화량에 기초하여 관객 그룹의 움직임 변화량의 일치도를 판단하고, 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단하는 방법에 관한 것이다.
공연, 영화, 박람회 등과 같은 컨텐츠에 대한 관객의 몰입도를 판단하기 위한 종래 방법은 공연이 끝난 후, 설문지나 직접 질문을 통해 관객의 만족도, 흥미도 등을 판단하고 판단한 관객 개개인의 만족도 또는 흥미도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단한다. 그러나 이러한 설문지 또는 질문에 의한 종래 관객의 몰입도 판단 방법1은 컨텐츠에 대한 관객의 만족도 또는 흥미도에 기반하여 간접적으로 관객이 컨텐츠에 어느 정도로 몰입하였는지를 평가하는 것이다. 또한 컨텐츠 전체에 대한 관개의 만족도 또는 흥미도에 기반하여 컨텐츠에 대한 관객의 몰입도를 판단함으로써, 컨텐츠의 구성 부분에 대한 개별적인 몰입도를 판단하기 곤란하였다. 더욱이 종래 관객의 몰입도 판단 방법1은 컨텐츠에 대한 관객 개개인의 몰입도를 판단하는 것으로, 관객 그룹 전체를 대상으로 컨텐츠에 대한 몰입도를 판단하기 곤란하였다.
종래 컨텐츠에 대한 관객의 몰입도를 판단하는 다른 방법은 관객 그룹 영상에서 관객의 얼굴 패턴 영역을 추출하고 추출한 얼굴 패턴 영역에서 관객의 얼굴 표정 변화를 감지하여 컨텐츠에 대한 관객의 몰입도를 평가하였다. 그러나 컨텐츠 종류에 따라 어두운 환경에서 공연되는 경우 관객의 얼굴 패턴 영역을 정확하게 추출하고 추출한 얼굴 패턴 영역에 기초하여 관객의 얼굴 표정 변화를 감지하기 곤란하다.
더욱이 종래 컨텐츠에 대한 관객의 몰입도 판단 방법은 관객 개인에 대한 컨텐츠의 몰입도를 판단하는 것에 초점을 맞추어져 있으며, 통상적으로 다수의 관객이 그룹을 이루어 동일한 컨텐츠를 관람하는 경우 관객 그룹 전체에 대한 컨텐츠의 반응을 판단하지 못한다는 문제점을 가진다.
본 발명은 위에서 언급한 종래 컨텐츠의 몰입도 판단 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 관객 그룹 영상에서 생성한 단위 관객 영역의 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 단위 관객 영역의 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 정확하게 판단할 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 동일 컨텐츠에 대한 관객 개개인의 몰입도 대신, 관객 그룹의 몰입도, 즉 컨텐츠에 대한 다수 관객의 평균적인 몰입도를 판단할 수 있는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 그룹의 몰입도 판단 방법은 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 단계와, 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역으로부터 단위 관객 영역과 이전 단위 관객 영역 사이의 차영상을 획득하고 차영상의 픽셀값 히스토그램으로부터 단위 관객 영역별로 단위 관객 영역의 움직임 변화량을 계산하는 단계와, 단위 관객 영역별로 동일 단위 시간에서의 단위 관객 영역의 움직임 변화량의 일치도를 판단하는 단계와, 단위 시간별 상기 움직임 변화량의 일치도로부터 관객 그룹 전체의 컨텐츠 몰입도를 판단하는 단계를 포함한다.
본 발명에서 움직임 변화량을 계산하는 단계는 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 관객 그룹 영상의 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성하는 단계와, 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 차 영상의 밝기 히스토그램을 생성하는 단계와, 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 이전 단위 관객 영역과 단위 관객 영역 사이의 움직임 변화량을 계산하는 단계를 포함한다.
본 발명에서 움직임 변화량의 일치도를 판단하는 단계는 단위 관객 영역별로 동일 단위 시간에서의 관객 그룹을 구성하는 관객 개개인의 움직임 변화량이 임계 변화량을 초과하는지 판단하는 단계와, 관객 그룹 중 임계 변화량을 초과하는 움직임 변화량을 가지는 관객의 수를 판단하는 단계와, 판단한 관객 수에 기초하여 컨텐츠에 대한 관객 그룹의 움직임 변화량의 일치도를 판단하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에 따른 컨텐츠 몰입도 판단 방법에서 단위 관객 영역의 움직임 변화량은 단위 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 한다.
여기서 단위 관객 영역은 관객 개개인이 위치하고 있는 영역을 판단하는 중심 영역과 중심 영역에 인접하여 위치하는 기타 영역으로 구성되는 것을 특징으로 이며, 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 한다.
바람직하게, 중심 영역은 상기 관객의 얼굴 영역이며, 관객 영상에서 얼굴 영역 패턴을 검출하고 검출한 얼굴 영역 패턴을 중심 영역으로 중심 영역에 인접하여 위치하는 기타 영역으로 관객 개개인의 단위 관객 영역을 생성하는 것을 특징으로 한다.
본 발명에서 움직임 변화량의 일치도를 판단하는 단계의 다른 실시예는 단위 관객 영역별로 동일 단위 시간에서 관객 그룹을 구성하는 관객 개개인의 단위 관객 영역의 중심 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하는 단계와, 단위 관객 영역별로 동일 단위 시간에서 관객 그룹을 구성하는 관객 개개인의 단위 관객 영역의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하는 단계와, 관객 그룹 중 중심 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는 관객의 수를 판단하여 중심 영역에 대한 움직임 변화량의 일치도를 판단하는 단계와, 관객 그룹 중 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는 관객의 수를 판단하여 기타 영역에 대한 움직임 변화량의 일치도를 판단하는 단계와, 중심 영역에 대한 움직임 변화량의 일치도와 기타 영역에 대한 움직임 변화량의 일치도에 기초하여 관객 그룹의 컨텐츠에 대한 움직임 변화량의 일치도를 판단하는 단계를 포함한다.
관객 그룹 전체의 컨텐츠 몰입도(A)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079782673-pat00001
여기서 Mt는 단위 시간 t에서 관객 그룹의 움직임 변화량의 일치도이며, n은 관객 그룹 영상에서 생성한 단위 관객 영역의 수이다.
본 발명의 목적을 달성하기 위한 본 발명에 따른 관객 그룹의 몰입도 판단 장치는 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 관객 영역 검출부와, 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 관객 그룹 영상의 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성하고, 차 영상의 픽셀값 히스토그램으로부터 단위 관객 영역별로 단위 관객 영역에 대한 움직임 변화량을 계산하는 움직임 변화량 계산부와, 단위 관객 영역에 대한 움직임 변화량에 기초하여 단위 관객 영역별로 동일 단위 시간에서의 단위 관객 영역의 움직임 변화량의 일치도를 판단하는 일치도 판단부와, 단위 시간별 움직임 변화량의 일치도로부터 관객 그룹 전체의 컨텐츠 몰입도를 판단하는 몰입도 판단부를 포함한다.
본 발명에 따른 관객 그룹의 몰입도 판단 장치에서 관객 영역 검출부는 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부와, 관객 개개인별로 얼굴 영역에 기초하여 얼굴 영역과 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 관객 그룹 영상에서 관객 개개인 별로 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성하는 단위 관객 영역 생성부를 포함하는 것을 특징으로 한다.
본 발명에 따른 관객 그룹의 몰입도 판단 장치에서 움직임 변화량 계산부는 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 관객 그룹 영상의 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성 차영상 생성부와, 차 영상에서 얼굴 영역의 차 영상과 기타 영역 각각의 차 영상을 구성하는 픽셀의 픽셀값으로부터 얼굴 영역의 차 영상에 대한 밝기 히스토그램과 기타 영역 각각의 차 영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부와, 단위 관객 영역별로 얼굴 영역의 차 영상에 대한 밝기 히스토그램과 기타 영역 각각의 차 영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 계산하는 변화량 계산부를 포함한다.
본 발명에 따른 관객 그룹의 몰입도 판단 장치에서 일치도 판단부는 단위 관객 영역별로 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량에 기초하여 관객 그룹을 구성하는 관객 개개인의 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하는 제1 변화량 비교부와, 단위 관객 영역별로 단위 관객 영역의 기타 영역에 대한 움직임 변화량에 기초하여 관객 그룹을 구성하는 관객 개개인의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하는 제2 변화량 비교부와, 관객 그룹 중 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는 관객의 수를 판단하여 얼굴 영역에 대한 움직임 변화량의 일치도를 판단하는 제1 동일성 판단부와, 관객 그룹 중 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는 움직임 변화량을 가지는 관객의 수를 판단하여 기타 영역에 대한 움직임 변화량의 일치도를 판단하는 제2 동일성 판단부와, 얼굴 영역에 대한 움직임 변화량의 일치도와 기타 영역에 대한 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 상기 관객 그룹의 움직임 일치도를 계산하는 일치도 계산부를 포함하는 것을 특징으로 한다.
본 발명에 따른 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법은 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 관객 그룹의 몰입도 판단 방법은 관객 그룹 영상에서 생성한 단위 관객 영역의 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단함으로써, 관객 그룹의 몰입도를 빠르고 적은 연산량으로 판단할 수 있다.
둘째, 본 발명에 따른 관객 그룹의 몰입도 판단 방법은 얼굴 표정 인식이 불가능한 어두운 환경에서도 단위 관객 영역의 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객 그룹의 몰입도를 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 관객 그룹의 몰입도 판단 방법은 단위 관객 영역의 움직임 변화량의 일치도에 기초하여 컨텐츠에 대한 관객의 몰입도를 판단함으로써, 관객 개개인의 정확한 얼굴 표정 변화에 기초한 종래 몰입도 판단 장치와 비교하여 저성능의 장비로도 동일 컨텐츠에 대한 관객 그룹의 몰입도를 정확하게 판단할 수 있다.
도 1은 본 발명에 따른 관객 그룹의 몰입도 판단 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명에 따른 관객 영역 검출부를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 단위 관객 영역에 대한 움직임 변화량 판단부를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 관객 그룹의 몰입도 판단 장치에서 몰입도 판단부의 일 실시예를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명에 따라 관객 그룹 영상으로부터 단위 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 7은 관객 그룹 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있다.
도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 9는 움직임 변화량이 존재하는 관객 그룹 영상의 전체 차영상의 일 예를 도시하고 있다.
도 10은 본 발명에 따른 움직임 변화량의 일치도를 판단하는 방법을 설명하는 흐름도이다.
도 11(a) 내지 도 11(d)는 각각 4개의 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
도 12(a) 내지 도 12(d)는 각각 4개의 단위 관객 영역의 기타 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 관객 그룹의 몰입도 판단 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
도 1은 본 발명에 따른 관객 그룹의 몰입도 판단 장치를 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 공연, 뮤지컬, 영화, 전시물 등의 컨텐츠를 관람하는 다수 관객의 영상을 촬영하여 관객 그룹의 영상을 획득한다. 이하, 동일 컨텐츠를 관람하는 다수 관객의 영상을 관객 그룹 영상이라 언급한다. 영상 촬영부(110)는 컨텐츠를 관람하는 관객 그룹의 모습을 정확하게 촬영하는 위치에 배치되어 있는데, 예를 들어 관객 그룹의 정면에 위치하거나 정면 상부에 위치하거나 관객 그룹의 옆에 위치할 수 있다. 또한 컨텐츠를 관람하는 관객 그룹의 반응을 정확하게 판단하기 위하여 영상 촬영부(110)는 여러 장소에 배치되어 컨텐츠를 관람하는 관객 그룹의 영상을 촬영할 수 있다.
관객 영역 검출부(120)는 영상 촬영부(110)로부터 획득한 관객 그룹 영상에서 관객 개개인이 위치하는 영역을 판단하는 중심 영역에 기초하여 단위 관객 영역을 생성한다. 본 발명에서 중심 영역의 일 예는 관객의 얼굴이 위치하는 얼굴 영역인데, 관객 영역 검출부(120)는 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 그룹 영상에 위치하는 관객 개개인의 얼굴 영역을 판단하여 관객 개개인별로 얼굴 영역을 포함하는 단위 관객 영역을 생성한다. 바람직하게, 관객 영역 검출부(120)는 얼굴 영역과 얼굴 영역에 인접하여 위치하는 기타 영역으로 구분하여 단위 관객 영역을 생성하며, 더욱 바람직하게 적어도 1개 이상의 세부 기타 영역으로 기타 영역을 구분하여 생성한다.
움직임 변화량 계산부(130)는 현재 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역 사이의 차 영상을 생성하고, 차 영상으로부터 현재 시점에서의 움직임 변화량을 계산한다. 여기서 관객 영역 검출부(120)는 설정 시간 단위로 연속하여 획득되는 관객 그룹 영상에 대해 순차적으로 단위 관객 영역을 생성하고, 움직임 변화량 계산부(130)는 순차적으로 생성한 단위 관객 영역에 대한 움직임 변화량을 설정 시간 단위로 계산하여 저장한다. 바람직하게, 움직임 변화량 계산부(130)는 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량을 계산하고, 단위 관객 영역의 각 세부 기타 영역에 대한 움직임 변화량을 구분하여 계산한다.
일치도 판단부(140)는 단위 관객 영역에 대한 움직임 변화량에 기초하여 관객 그룹 영상에서 생성한 모든 단위 관객 영역에 대해 동일 단위 시간에서의 움직임 변화량의 일치도를 판단하며, 몰입도 판단부(150)는 단위 시간별 움직임 변화량의 일치도로부터 관객 그룹 전체의 컨텐츠 몰입도를 판단한다. 바람직하게, 일치도 판단부(140)는 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 일치도와 기타 영역에 대한 움직임 변화량의 일치도를 각각 판단하며, 몰입도 판단부(150)는 얼굴 영역에 대한 움직임 변화량의 일치도와 기타 영역에 대한 움직임 변화량의 일치도로부터 컨텐츠에 대한 관객 그룹의 몰입도를 판단한다.
도 2는 본 발명에 따른 관객 영역 검출부를 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 얼굴 영역 검색부(121)는 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 영역을 검색한다. 획득한 관객 그룹 영상에서 관객의 얼굴 영역을 검색하는 다양한 방법이 공지되어 있는데, 본 발명에서는 다양한 얼굴 영역 검색 방법 중 관객 그룹 영상의 픽셀값에 기초하여 얼굴 영역을 검색한다. 본 발명이 적용되는 분야에 따라 다양한 종류의 얼굴 영역 검색 방법이 사용될 수 있으며 이는 본 발명의 범위에 속한다.
영역 분할부(123)는 관객 그룹 영상 중 검색한 얼굴 영역에 기초하여 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 분할한다. 단위 관객 영역 생성부(125)는 검색한 관객의 얼굴 영역별로 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성한다. 본 발명이 적용되는 분야에 따라 영역 분할부(123)는 얼굴 영역의 위치에 기초하여 얼굴 영역에 인접하는 다수의 세부 기타 영역으로 기타 영역을 설정할 수 있으며 이는 본 발명의 범위에 속한다.
도 3은 본 발명에 따른 단위 관객 영역에 대한 움직임 변화량 판단부를 설명하기 위한 기능 블록도이다.
도 3을 참고로 살펴보면, 차영상 생성부(131)는 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 관객 그룹 영상으로부터 생성한 단위 관객 영역과 이전 관객 그룹 영상으로부터 생성한 이전 단위 관객 영역 사이의 차영상을 생성하며, 히스트그램 생성부(133)는 차영상을 구성하는 픽셀들의 밝기 픽셀값에 기초하여 밝기 히스토그램을 생성한다. 여기서 차영상 생성부(131)는 관객 그룹 영상을 RGB 색영역에서 YUV 색영역, 즉 휘도와 색차 영역으로 변환하며, 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 생성되는 전체 차영상 중 앞서 생성한 단위 관객 영역에 해당하는 영역에 대한 차영상을 생성한다. 본 발명이 적용되는 분야에 따라 관객 그룹 영상과 이전 관객 그룹 영상을 차감하는 대신, 관객 그룹 영상에서 생성한 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역을 차감하여 차영상을 생성할 수 있으며, 이는 본 발명의 범위에 속한다.
바림직하게, 히스토그램 생성부(133)는 단위 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 단위 관객 영역 중 기타 영역의 차영상에 기초하여 기타 영역에 대한 픽셀들의 밝기 히스토그램을 생성한다. 더욱 바람직하게, 히스토그램 생성부(133)는 단위 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 단위 관객 영역 중 기타 영역을 구성하는 세부 기타 영역 각각의 차영상에 기초하여 세부 기타 영역 각각에 대한 픽셀들의 밝기 히스토그램을 생성한다.
변화량 계산부(135)는 밝기 히스토그램의 픽셀값에 기초하여 단위 관객 영역에 대한 현재 시점의 움직임 변화량을 계산한다. 변화량 계산부(135)는 밝기 히스토그램의 픽셀값에 기초하여 임계 픽셀값을 초과하는 픽셀의 총수에 기초하여 단위 관객 영역의 움직임 변화량을 계산하거나 밝기 히스토그램의 픽셀값 누적값에 기초하여 움직임 변화량을 계산한다. 변화량 계산부(135)는 단위 관객 영역에 대한 현재 시점의 움직임 변화량을 단위 시간별로 구분하여 변화량 DB(137)에 저장한다.
바림직하게, 변화량 계산부(135)는 얼굴 영역과 세부 기타 영역 각각에 대한 움직임 변화량을 분리하여 계산하고, 얼굴 영역에 대한 움직임 변화량과 세부 기타 영역에 대한 움직임 변화량을 단위 관객 영역별로 구분하여 단위 시간별로 변화량 DB(137)에 저장한다.
도 4는 본 발명에 따른 관객 그룹의 몰입도 판단 장치에서 몰입도 판단부의 일 실시예를 설명하기 위한 기능 블록도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 제1 변화량 비교부(141)는 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량에 기초하여 동일 단위 시간별로 관객 그룹 영상으로부터 생성한 모든 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하고, 제1 동일성 판단부(145)는 관객 그룹 영상으로부터 생성한 전체 단위 관객 영상 중 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는 단위 관객 영상의 수 또는 제1 임계 변화량을 초과하지 않는 단위 관객 영상의 수를 동일 단위 시간별로 판단하여 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도를 판단한다.
한편, 제2 변화량 비교부(143)는 단위 관객 영역의 기타 영역에 대한 움직임 변화량에 기초하여 동일 단위 시간별로 관객 그룹 영상으로 생성한 모든 단위 관객 영역의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하고, 제2 동일성 판단부(147)는 관객 그룹 영상에서 생성한 전체 단위 관객 영상 중 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는 단위 관객 영상의 수 또는 제2 임계 변화량을 초과하지 않는 단위 관객 영역의 수를 동일 단위 시간별로 판단하여 기타 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도를 판단한다.
일치도 판단부(149)는 관객 그룹 영상으로부터 생성된 모든 관객 영역의 얼굴 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도와 기타 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도에 기초하여 관객 그룹에 대한 움직임 변화량의 단위 시간별 평균 일치도를 계산한다.
도 5는 본 발명에 따른 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법을 설명하기 위한 흐름도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 컨텐츠를 관람하는 관객 그룹의 모습을 명확하게 드러내는 관객 그룹 영상을 획득하고(S100), 획득한 관객 그룹 영상에서 관객이 위치하고 있는 영역을 나타내는 중심 영역을 검색하고 검색한 중심 영역을 기준으로 중심 영역과 중심 영역에 인접하여 위치하는 기타 영역을 포함하여 관객별로 단위 관객 영역을 생성한다(S200). 여기서 중심 영역은 관객의 얼굴 영역이며, 관객 영상에서 얼굴 영역 패턴을 검출하고 검출한 얼굴 영역 패턴을 중심 영역으로 중심 영역에 인접하여 위치하는 기타 영역으로 관객 개개인의 단위 관객 영역을 생성한다. 바람직하게 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 한다.
획득한 관객 그룹 영상과 이전에 획득한 이전 관객 그룹 영상을 차감하여 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역의 차이를 나타내는 단위 관객 영역의 차영상을 획득하고, 차영상의 픽셀값으로부터 밝기 히스토그램을 생성하여 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S300). 계산한 움직임 변화량은 변화량 DB에 저장되며, 저장되어 있는 움직임 변화량에 기초하여 관객 그룹 영상에서 생성한 모든 단위 관객 영역에 대해 단위 시간별 단위 관객 영역에 대한 움직임 변화량에 기초하여 관객 그룹에 대한 움직임 변화량의 일치도를 판단한다(S400). 바람직하게, 단위 관객 영역 중 얼굴 영역에 대한 움직임 변화량을 계산하여 얼굴 영역에 대한 움직임 변화량의 일치도를 판단하고 단위 관객 영역 중 세부 기타 영역에 대한 움직임 변화량를 계산하여 세부 기타 영역에 대한 움직임 변화량의 일치도를 판단하며, 얼굴 영역에 대한 움직임 변화량의 일치도와 세부 기타 영역에 대한 움직임 변화량의 일치도로부터 관객 그룹의 움직임 변화량의 일치도를 계산할 수 있다.
관객 그룹에 대한 움직임 변화량의 일치도로부터 컨텐츠에 대한 관객 그룹의 몰입도를 판단한다(S500).
컨텐츠에 대한 관객 그룹의 몰입도(A)를 판단하는 방법의 일 예를 보다 구체적으로 살펴보면, 컨텐츠에 대한 관객 그룹의 몰입값(A)은 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079782673-pat00002
여기서 Mt는 단위 시간 t에서 관객 그룹 영상의 모든 단위 관객 영역의 움직임 변화량의 일치도이며, n은 전체 단위 시간이다. 몰입도는 설정 단위 레벨로 구분되어 있으며, 계산한 몰입값은 설정 단위 레벨로 매핑되어 매핑된 설정 단위 레벨에 따라 컨텐츠에 대한 관객 그룹의 몰입도를 판단한다.
바람직하게, 일 예에서 관객 그룹 영상에서 생성한 모든 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 일치도에 기초하여 제1 몰입값을 계산하고, 관객 그룹 영상에서 생성한 모든 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 일치도에 기초하여 제2 몰입값을 계산하며, 제1 몰입값과 제2 몰입값의 평균 몰입값에 매핑되어 있는 설정 단위 레벨에 따라 컨텐츠에 대한 관객 그룹의 몰입도를 판단할 수 있다.
바람직하게, 다른 일 예에서 바람직하게 관객 그룹 영상에서 생성한 모든 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 단일 시간별 평균 일치도와 기타 영역에 대한 움직임 변화량의 단일 시간별 평균 일치도로부터 관객 그룹에 대한 움직임 변화량의 단일 시간별 평균 일치도를 계산하고, 관객 그룹에 대한 움직임 변화량의 단일 시간별 평균 일치도를 상기 수학식(1)에 적용하여 관객 그룹에 대한 움직임 변화량의 일치도에 대한 전체 몰입값을 계산하여 계산한 전체 몰입값에 매핑되어 있는 설정 단위 레벨에 따라 컨텐츠에 대한 관객 그룹의 몰입도를 판단할 수 있다.
예를 들어, 단위 관객 영역에 대한 움직임 변화량의 일치도에 기초하여 몰입값을 계산하는 경우, 관객이 서로 다양한 방향으로, 즉 컨텐츠에 몰입하지 못하고 동일한 움직임 변화량으로 움직이는 경우에도 컨텐츠에 대한 관객 그룹의 몰입도가 높은 것으로 잘못 판단될 수 있다. 그러나 얼굴 영역과 세부 기타 영역별로 몰입도값을 계산하여 컨텐츠에 대한 관객 그룹의 몰입도를 판단하는 경우, 단위 관객 영역 단위에서 동일한 크기의 움직임 변화량이 있더라도 얼굴 영역과 세부 기타 영역에서 각각 움직임 변화량의 동일성이 낮은 경우 컨텐츠에 대한 관객 그룹의 몰입도는 낮아 정확하게 관객 그룹의 몰입도를 판단할 수 있다.
도 6은 본 발명에 따라 관객 그룹 영상으로부터 단위 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 관객 그룹 영상의 픽셀값에 기초하여 관객 그룹 영상에서 관객의 얼굴 영역을 검색한다(S210). 본 발명에서 관객 그룹 영상으로부터 얼굴 영역을 검색하는 방식의 일 예를 살펴보면, 획득한 관객 그룹 영상으로부터 관객의 피부 영역을 검색하기 위해 관객 그룹 영상 내에 피부색 매칭 픽셀을 판별한다. 영상의 각 픽셀의 색은 RGB 체계로 표현되어 있으나 영상의 픽셀값을 휘도와 색차 체계, 즉 YUV 체계로 변환한다. 여기서, YCrCb 체계는 컴포넌트 디지털 비디오의 휘도(Y)와 색차 신호(B-Y, R-Y), R·G·B 신호를 디지털화하는 데 사용되는 색 해상도로써, Y는 Distribution of Luminance Component이고, Cr와 Cb는 적색과 청색의 Distribution of Crominance Component이다. RGB 체계를 YCrCb 체계로 변환하는 것은 당업자에게 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다.
피부색 픽셀에 해당하는 휘도와 색차의 임계값을 설정하고, 관객 그룹 영상의 픽셀값을 임계값과 비교하여 임계값과 부합된다면 해당 픽셀은 사용자의 피부를 나타내는 픽셀이라고 간주한다.
피부로 간주되는 픽셀 군집은 서브 윈도우로 분할되며, 서브 윈도우는 얼굴 영역 후보로 간주된다. 여기서, 얼굴 영역의 후보로 간주된 서브윈도우 내의 영상이 얼굴 영상인지 판별하는 것이 요구된다. 이는 얼굴 영상의 후보로 간주된 서브윈도우 내의 영상이 사용자의 손 영상일 수도 있기 때문이다. 이에 본 발명에서는 에이다부스트(Adaboost) 알고리즘을 통해 서브윈도우 내에 영상이 얼굴 영상인지 판별한다. 여기서, 에이다부스트 알고리즘은 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다. 에이다부스트 알고리즘를 수행하여 서브윈도우 내에 영상이 얼굴 영상이 아닐 경우, 서브윈도우는 사용자의 손 영상으로 간주할 수 있다.
관객 그룹 영상에서 관객의 얼굴 영역을 검색한 경우, 관객의 얼굴 영역을 기준으로 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 결정한다(S230). 기타 영역은 얼굴 영역을 기준으로 위/아래 또는 좌/우 방향으로 얼굴 영역에서 일정 거리에 인접하는 영역으로 설정된다. 본 발명이 적용되는 분야에 따라 기타 영역은 다시 적어도 1개 이상의 세부 기타 영역으로 분할되어 생성될 수 있으며, 이는 본 발명의 범위에 속한다. 관객 그룹 영상으로부터 관객의 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성한다(S250).
관객 그룹 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있는 도 7을 참고로 살펴보면, 먼저 도 7(a)에 도시되어 있는 것과 같이 관객 그룹 영상이 입력되는 경우 관객 그룹 영상의 픽셀값에 기초하여 피부색에 해당하는 픽셀 군집들 중 얼굴 영역을 검색한다. 얼굴 영역이 검색되는 경우, 도 7(b)와 같이 얼굴 영역에 인접하여 얼굴 영역의 아래 부분에 기타 영역을 결정한다. 예를 들어, 얼굴 영역(C1)과 얼굴 영역(C1)의 바로 아래 영역에 일정 폭을 가지도록 제1 세부 기타 영역(C2)와 제1 세부 기타 영역(C2)의 바로 아래 영역에 일정 폭을 가지도록 제2 세부 기타 영역(C3)을 설정한다. 도 7(a)의 관객 그룹 영상에서 검색한 모든 얼굴 영역에 대해 도 7(b)와 같이 각 얼굴 영역에 인접한 기타 영역을 설정한다.
도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 8을 참고로 보다 구체적으로 살펴보면, 획득한 관객 그룹 영상과 관객 그룹 영상 이전에 획득한 이전 관객 그룹 영상을 차감하여 관객 그룹 영상의 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역 사이의 차 영상을 생성한다(S310). 도 9(a)와 도 9(b)는 각각 관객 그룹 영상과 이전 관객 그룹 영상을 나타내며, 도 9(c)는 전체 차영상의 일 예를 도시하고 있는데, 원으로 표시된 관객 그룹 영상과 이전 관객 그룹 영상 사이에 움직임의 변화가 있는 영역의 픽셀들은 높은 휘도값을 가지도록 표현된다. 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성한다(S330).
생성한 밝기 히스토그램에서 임계 밝기값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하고, 임계 밝기값 이상의 밝기를 가지는 픽셀들의 누적 총수에 기초하여 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하고(S350), 계산한 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 단위 관개 영역별로 변화량 데이터베이스에 저장한다.(S370). 앞서 S310 내지 S370 단계에서 설명한 바와 동일하게 현재 시점 이후에 연속하여 단위 시간별로 움직임 변화량을 계산하고, 계산한 움직임 변화량을 변화량 데이터베이스에 단위 시간별로 저장한다.
바람직하게 단위 관객 영역의 움직임 변화량은 얼굴 영역과 기타 영역별로 각각 생성되거나, 더욱 바람직하게 얼굴 영역과 세부 기타 영역별로 각각 생성될 수 있으며 이는 본 발명의 범위에 속한다.
도 10은 본 발명에 따른 움직임 변화량의 일치도를 판단하는 방법을 설명하는 흐름도이다.
도 10을 참고로 보다 구체적으로 살펴보면, 관객 그룹 영상에서 생성한 모든 단위 관객 영상에 대해 동일 단위 시간별로 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하고(S410), 판단 결과에 기초하여 얼굴 영역에 대해 제1 임계 변화량을 초과하는 단위 관객 영역의 수를 카운트한다(S430).
한편, 관객 그룹 영상에서 생성한 모든 단위 관객 영상에 대해 동일 단위 시간별로 단위 관객 영상의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하고(S420), 판단 결과에 기초하여 기타 영역에 대해 제2 임계량을 초과하는 단위 관객 영역의 수를 카운트한다(S440).
전체 단위 관객 영역 중 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는 단위 관객 영역의 수에 기초하여 단위 시간별로 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도를 판단하고(S450), 전체 단위 관객 영역 중 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는 단위 관객 영역의 수에 단위 시간별로 관객 그룹의 기타 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도를 판단한다(S460). 바람직하게, 기타 영역이 다수의 세부 기타 영역으로 구분되는 경우 각 세부 기타 영역에 대해 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하고, 각 세부 기타 영역에 대해 제2 임계값을 초과하는 단위 관객 영역의 수를 카운트하여 각 세부 기타 영역에 대해 움직임 변화량의 일치도를 판단할 수 있다. 얼굴 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도와 기타 영역에 대한 움직임 변화량의 단위 시간별 평균 일치도로부터 관객 그룹에 대한 움직임 변화량의 단위 시간별 평균 일치도를 판단한다(S470).
도 11(a) 내지 도 11(d)는 각각 4개의 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
도 11(a) 내지 도 11(d)에서 단위 시간(t1)에서 제1 임계 변화량(1)을 초과하는 단위 관객 영역의 수는 전체 4개의 단위 관객 영역 중 4개로 제1 임계 변화량을 초과하는 얼굴 영역에 대한 움직임 변화량의 일치도(M)는 100%(M=i÷t×100, 여기서 i는 제1 임계량을 초과하는 단위 관객 영역의 수이며, t는 관객 그룹 영상에서 생성한 전체 단위 관객 영역의 수이다)이며, 제1 임계 변화량(1)을 초과하지 않은 단위 관객 영역의 수는 전체 4개의 단위 관객 영역 중 0개로 제1 임계 변화량을 초과하지 않는 얼굴 영역에 대한 움직임 변화량의 일치도는 0%이다. 여기서 제1 임계 변화량(1)을 초과하는 얼굴 영역에 대한 움직임 변화량의 일치도와 제1 임계 변화량(1)을 초과하지 않는 얼굴 영역에 대한 움직임 변화량의 일치도 중 높은 값을 각 단위 시간에서의 얼굴 영역에 대한 움직임 변화량의 일치도로 결정한다.
이후 모든 단위 시간(t2, t3, t4, t5, t6, t7, t8)에 대해 동일하게 얼굴 영역에 대한 움직임 변화량의 일치도를 계산한다.
도 12(a) 내지 도 12(d)는 각각 4개의 단위 관객 영역의 기타 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
도 12(a) 내지 도 12(d)에서 단위 시간(t1)에서 제2 임계 변화량(1)을 초과하는 단위 관객 영역의 수는 전체 4개의 단위 관객 영역 중 0개로 제2 임계 변화량을 초과하는 기타 영역에 대한 움직임 변화량의 일치도(M)는 0%(M=i÷t×100, 여기서 i는 제2 임계량을 초과하는 단위 관객 영역의 수이며, t는 관객 그룹 영상에서 생성한 전체 단위 관객 영역의 수이다)이며, 제2 임계 변화량(1)을 초과하지 않은 단위 관객 영역의 수는 전체 4개의 단위 관객 영역 중 4개로 제2 임계 변화량을 초과하지 않는 기타 영역에 대한 움직임 변화량의 일치도는 100%이다. 여기서 제2 임계 변화량(1)을 초과하는 기타 영역에 대한 움직임 변화량의 일치도와 제2 임계 변화량(1)을 초과하지 않는 기타 영역에 대한 움직임 변화량의 일치도 중 높은 값을 각 단위 시간에서의 기타 영역에 대한 움직임 변화량의 일치도로 결정한다.
이후 모든 단위 시간(t2, t3, t4, t5, t6, t7, t8)에 대해 동일하게 기타 영역에 대한 움직임 변화량의 일치도를 계산한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상 촬영부 120: 관객 영역 검출부
130: 움직임 변화량 계산부 140: 일치도 판단부
150: 몰입도 판단부 121: 얼굴 영역 검색부
123: 영역 분할부 125: 단위 관객 영역 생성부
131: 차영상 생성부 133:히스토그램 생성부
135: 변화량 계산부 139: 변화량 DB
141: 제1 변화량 비교부 143: 제2 변화량 비교부
145: 제1 동일성 판단부 147: 제2 동일성 판단부
149: 일치도 계산부

Claims (14)

  1. 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 단계;
    상기 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역으로부터 상기 단위 관객 영역과 상기 이전 단위 관객 영역 사이의 차영상을 획득하고, 상기 차영상의 픽셀값 히스토그램으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역의 움직임 변화량을 계산하는 단계;
    상기 단위 관객 영역별로 동일 단위 시간에서의 상기 단위 관객 영역의 움직임 변화량의 일치도를 판단하는 단계; 및
    단위 시간별 상기 움직임 변화량의 일치도로부터 컨텐츠에 대한 관객 그룹의 몰입도를 판단하는 단계를 포함하며,
    상기 단위 관객 영역별로 상기 픽셀값 히스토그램에서 임계값 이상의 픽셀값을 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  2. 제 1 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
    상기 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 상기 관객 그룹 영상의 단위 관객 영역과 상기 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성하는 단계;
    상기 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 상기 차 영상의 밝기 히스토그램을 생성하는 단계; 및
    상기 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 이전 단위 관객 영역과 상기 단위 관객 영역 사이의 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  3. 제 2 항에 있어서, 상기 움직임 변화량의 일치도를 판단하는 단계는
    상기 단위 관객 영역별로 동일 단위 시간에서의 상기 관객 그룹을 구성하는 관객 개개인의 움직임 변화량이 임계 변화량을 초과하는지 판단하는 단계;
    상기 관객 그룹 중 상기 임계 변화량을 초과하는 움직임 변화량을 가지는 관객의 수를 판단하는 단계; 및
    상기 판단한 관객 수에 기초하여 상기 컨텐츠에 대한 상기 관객 그룹의 움직임 변화량의 일치도를 판단하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  4. 제 3 항에 있어서, 상기 컨텐츠 몰입도 판단 방법에서
    상기 움직임 변화량은 상기 단위 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  5. 제 3 항에 있어서, 상기 단위 관객 영역은
    상기 관객 개개인이 위치하고 있는 영역을 판단하는 중심 영역과 상기 중심 영역에 인접하여 위치하는 기타 영역으로 구성되는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  6. 제 5 항에 있어서, 상기 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.
  7. 제 5 항에 있어서, 상기 중심 영역은 상기 관객의 얼굴 영역이며,
    상기 관객 영상에서 얼굴 영역 패턴을 검출하고 상기 검출한 얼굴 영역 패턴을 상기 중심 영역으로 상기 중심 영역에 인접하여 위치하는 기타 영역으로 관객 개개인의 단위 관객 영역을 생성하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  8. 제 5 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
    상기 단위 관객 영역별로 상기 얼굴 영역과 상기 기타 영역 각각의 차 영상에 대한 개별 밝기 히스토그램을 생성하고, 상기 생성한 개별 밝기 히스토그램으로부터 상기 얼굴 영역과 상기 기타 영역의 움직임 변화량을 계산하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  9. 제 8 항에 있어서, 상기 움직임 변화량의 일치도를 판단하는 단계는
    상기 단위 관객 영역별로 동일 단위 시간에서 상기 관객 그룹을 구성하는 관객 개개인의 상기 단위 관객 영역의 중심 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하는 단계;
    상기 단위 관객 영역별로 동일 단위 시간에서 상기 관객 그룹을 구성하는 관객 개개인의 상기 단위 관객 영역의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하는 단계;
    상기 관객 그룹 중 상기 중심 영역에 대한 움직임 변화량이 상기 제1 임계 변화량을 초과하는 관객의 수를 판단하여 상기 중심 영역에 대한 움직임 변화량의 일치도를 판단하는 단계; 및
    상기 관객 그룹 중 상기 기타 영역에 대한 움직임 변화량이 상기 제2 임계 변화량을 초과하는 관객의 수를 판단하여 상기 기타 영역에 대한 움직임 변화량의 일치도를 판단하는 단계; 및
    상기 중심 영역에 대한 움직임 변화량의 일치도와 상기 기타 영역에 대한 움직임 변화량의 일치도에 기초하여 상기 관객 그룹의 컨텐츠에 대한 움직임 변화량의 일치도를 판단하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  10. 제 3 항 또는 제 9 항에 있어서, 상기 컨텐츠에 대한 관객 그룹의 몰입도(A)는 아래의 수학식(1)에 의해 계산되며,
    [수학식 1]
    Figure 112012079782673-pat00003

    여기서 Mt는 단위 시간 t에서 관객 그룹의 움직임 변화량의 일치도이며, n은 단위 시간의 총합인 것을 특징으로 하는 컨텐츠 몰입도 판단 방법.
  11. 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 관객 영역 검출부;
    상기 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 상기 관객 그룹 영상의 단위 관객 영역과 상기 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성하고, 상기 차 영상의 픽셀값 히스토그램으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역에 대한 움직임 변화량을 계산하는 움직임 변화량 계산부;
    상기 단위 관객 영역에 대한 움직임 변화량에 기초하여 상기 관객 그룹 영상에서 생성한 모든 단위 관객 영역에 대해 동일 단위 시간에서의 움직임 변화량의 일치도를 판단하는 일치도 판단부;
    단위 시간별 상기 움직임 변화량의 일치도로부터 상기 관객 그룹 전체의 컨텐츠 몰입도를 판단하는 몰입도 판단부를 포함하며,
    상기 움직임 변화량 계산부는 상기 단위 관객 영역별로 상기 픽셀값 히스토그램에서 임계값 이상의 픽셀값을 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 컨텐츠 몰입도 판단 장치.
  12. 제 11 항에 있어서, 상기 관객 영역 검출부는
    상기 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부;
    상기 관객 개개인별로 상기 얼굴 영역에 기초하여 상기 얼굴 영역과 상기 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부; 및
    상기 관객 그룹 영상에서 상기 관객 개개인 별로 상기 얼굴 영역과 상기 기타 영역으로 구성되는 단위 관객 영역을 생성하는 단위 관객 영역 생성부를 포함하는 것을 특징으로 하는 컨텐츠 몰입도 판단 장치.
  13. 제 12 항에 있어서, 상기 움직임 변화량 계산부는
    상기 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 상기 관객 그룹 영상의 단위 관객 영역과 상기 이전 관객 그룹 영상의 이전 단위 관객 영상 사이의 차 영상을 생성 차영상 생성부;
    상기 차 영상에서 얼굴 영역의 차 영상과 상기 기타 영역 각각의 차 영상을 구성하는 픽셀의 픽셀값으로부터 상기 얼굴 영역의 차 영상에 대한 밝기 히스토그램과 상기 기타 영역 각각의 차 영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 단위 관객 영역별로 상기 얼굴 영역의 차 영상에 대한 밝기 히스토그램과 상기 기타 영역 각각의 차 영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 상기 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 계산하는 변화량 계산부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.
  14. 제 13 항에 있어서, 상기 일치도 판단부는
    상기 단위 관객 영역별로 상기 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량에 기초하여 상기 관객 그룹을 구성하는 관객 개개인의 얼굴 영역에 대한 움직임 변화량이 제1 임계 변화량을 초과하는지 판단하는 제1 변화량 비교부;
    상기 단위 관객 영역별로 상기 단위 관객 영역의 기타 영역에 대한 움직임 변화량에 기초하여 상기 관객 그룹을 구성하는 관객 개개인의 기타 영역에 대한 움직임 변화량이 제2 임계 변화량을 초과하는지 판단하는 제2 변화량 비교부;
    상기 관객 그룹 중 상기 얼굴 영역에 대한 움직임 변화량이 상기 제1 임계 변화량을 초과하는 관객의 수를 판단하여 상기 얼굴 영역에 대한 움직임 변화량의 일치도를 판단하는 제1 동일성 판단부;
    상기 관객 그룹 중 상기 기타 영역에 대한 움직임 변화량이 상기 제2 임계 변화량을 초과하는 움직임 변화량을 가지는 관객의 수를 판단하여 상기 기타 영역에 대한 움직임 변화량의 일치도를 판단하는 제2 동일성 판단부; 및
    상기 얼굴 영역에 대한 움직임 변화량의 일치도와 상기 기타 영역에 대한 움직임 변화량의 일치도에 기초하여 상기 컨텐츠에 대한 상기 관객 그룹의 움직임 일치도를 계산하는 일치도 계산부를 포함하는 것을 특징으로 하는 컨텐츠 몰입도 판단 장치.
KR1020120109347A 2012-09-28 2012-09-28 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법 KR101403244B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120109347A KR101403244B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109347A KR101403244B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법

Publications (2)

Publication Number Publication Date
KR20140042505A KR20140042505A (ko) 2014-04-07
KR101403244B1 true KR101403244B1 (ko) 2014-06-02

Family

ID=50651664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109347A KR101403244B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법

Country Status (1)

Country Link
KR (1) KR101403244B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180242898A1 (en) * 2015-08-17 2018-08-30 Panasonic Intellectual Property Management Co., Ltd. Viewing state detection device, viewing state detection system and viewing state detection method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591402B1 (ko) 2014-05-29 2016-02-03 모젼스랩(주) 관객반응 분석 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180242898A1 (en) * 2015-08-17 2018-08-30 Panasonic Intellectual Property Management Co., Ltd. Viewing state detection device, viewing state detection system and viewing state detection method

Also Published As

Publication number Publication date
KR20140042505A (ko) 2014-04-07

Similar Documents

Publication Publication Date Title
EP2337345B1 (en) Video identifier extracting device
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
US8891880B2 (en) Person clothing feature extraction device, person search device, and processing method thereof
WO2005084036A1 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5925557B2 (ja) 画像照合装置
US20130088645A1 (en) Method of Processing Moving Picture and Apparatus Thereof
US20090180670A1 (en) Blocker image identification apparatus and method
KR101403244B1 (ko) 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법
WO2018179360A1 (ja) 画像処理装置、画像処理方法、および記録媒体
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101403143B1 (ko) 컨텐츠에 대한 관객 그룹의 반응 판단 방법
CA2973492C (en) Detection of solid color frames for determining transitions in video content
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법
CN108171235B (zh) 标题区域检测方法及系统
CN108229476B (zh) 标题区域检测方法及系统
KR101554784B1 (ko) 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
JP5699856B2 (ja) 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム
US9135509B2 (en) Determining representative images for a video
Fendri et al. Adaptive person re-identification based on visible salient body parts in large camera network
KR100981125B1 (ko) 동영상 처리 방법 및 그 장치
Feng et al. Video attention deviation estimation using inter-frame visual saliency map analysis
Neri et al. Unsupervised video orchestration based on aesthetic features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee