KR101337833B1 - Method for estimating response of audience concerning content - Google Patents

Method for estimating response of audience concerning content Download PDF

Info

Publication number
KR101337833B1
KR101337833B1 KR1020120109345A KR20120109345A KR101337833B1 KR 101337833 B1 KR101337833 B1 KR 101337833B1 KR 1020120109345 A KR1020120109345 A KR 1020120109345A KR 20120109345 A KR20120109345 A KR 20120109345A KR 101337833 B1 KR101337833 B1 KR 101337833B1
Authority
KR
South Korea
Prior art keywords
audience
pattern
region
area
change amount
Prior art date
Application number
KR1020120109345A
Other languages
Korean (ko)
Inventor
김재경
박승보
유은정
류준모
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020120109345A priority Critical patent/KR101337833B1/en
Application granted granted Critical
Publication of KR101337833B1 publication Critical patent/KR101337833B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Abstract

The present invention relates to a method for determining a response of each audience to content, more specifically, to a method for generating an audience area divided into a face area and other areas in an acquired audience image and determining a response of an audience to content based on a time series pattern of motion variance of the face area and other areas. [Reference numerals] (110) Image photographing unit;(120) Region of interest detection unit;(130) Motion variance calculation unit;(140) Time series pattern generation unit;(150) Reaction pattern DB;(160) Reaction determination unit

Description

컨텐츠에 대한 관객 반응의 판단 방법{Method for estimating response of audience concerning content}Method for estimating response of audience concerning content}

본 발명은 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것으로, 보다 구체적으로 획득한 관객 영상에서 얼굴 영역과 기타 영역으로 구분되는 관객 영역을 생성하고, 얼굴 영역과 기타 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것이다. The present invention relates to a method for determining a viewer's response to content, and more specifically, to generate an audience region divided into a face region and other regions from an acquired audience image, and to time-series patterns of movement variation amounts of the face region and other regions. The present invention relates to a method of determining an audience's reaction to content based on the information.

공연, 영화, 박람회 등과 같은 컨텐츠에 대한 관객의 반응을 판단하기 위한 종래 방법은 공연이 끝난 후, 설문지나 직접 질문을 통해 관객의 만족도, 몰입도, 흥미도 등을 판단하게 된다. 그러나 이러한 종래 관객 반응 판단 방법은 컨텐츠 전체에 대한 반응이며, 컨텐츠 중 관객이 흥미를 보이거나 즐거워하는 부분 또는 지루해하거나 관심을 가지지 않는 부분을 개별적으로 평가하기 곤란하다. Conventional methods for determining the audience's reaction to content such as performances, movies, fairs, etc. determine the audience's satisfaction, immersion, interest, etc. through a questionnaire or direct question after the performance. However, such a conventional method for determining the audience response is a response to the entire content, and it is difficult to individually evaluate the parts of the content in which the viewer is interested or entertained or bored or uninterested.

종래 컨텐츠에 대한 관객의 반응을 판단하는 다른 방법은 관객 영상에서 관객의 얼굴 패턴 영역을 추출하고 추출한 얼굴 패턴 영역에서 관객의 얼굴 표정 변화를 감지하여 컨텐츠에 대한 관객의 만족도, 흥미도를 평가하였다. 그러나 컨텐츠 종류에 따라 어두운 환경에서 공연되는 경우 관객의 얼굴 패턴 영역을 정확하게 추출하고 추출한 얼굴 패턴 영역에 기초하여 관객의 얼굴 표정 변화를 감지하기 곤란하다. 더욱이 미세한 얼굴 표정 변화만으로 컨텐츠에 대한 관객의 반응을 정확하게 판단하기 곤란하다. Another method of judging the audience's reaction to the conventional content is to extract the viewer's face pattern region from the audience image and to detect the change in the facial expression of the audience in the extracted face pattern region to evaluate the audience's satisfaction and interest in the content. However, when performing in a dark environment according to the type of content, it is difficult to accurately detect the facial pattern region of the audience and detect the facial expression change of the audience based on the extracted facial pattern region. Moreover, it is difficult to accurately judge the audience's reaction to the content only by the minute facial expression changes.

본 발명은 위에서 언급한 종래 컨텐츠 반응 판단 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 관객 영상에서 생성한 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 판단하는 방법을 제공하는 것이다.The present invention is to solve the problems of the above-mentioned conventional content response determination method, the object of the present invention is to determine the audience response to the content based on the time series pattern of the amount of change of the movement of the audience region generated in the audience image To provide a way.

본 발명이 이루고자 하는 다른 목적은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.Another object of the present invention is to provide a method for accurately determining a viewer's reaction to content based on a time series pattern of a change amount of movement of an audience area even in a dark environment in which the facial expression of the viewer is not recognized.

본 발명이 이루고자 하는 또 다른 목적은 관객 영역을 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 구분하고 얼굴 영역과 기타 영역의 서로 다른 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 다양한 반응을 판단하는 방법을 제공하는 것이다.Another object of the present invention is to divide an audience area into a face area and other areas adjacent to the face area, and to determine various reactions of the audience to the content based on time series patterns of different amounts of movement change of the face area and other areas. To provide a way.

본 발명이 이루고자 하는 또 다른 목적은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 관객의 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.Another object of the present invention is to determine the audience's reaction to the content based on the amount of change in the movement of the audience area, and compared to the conventional reaction determination apparatus based on the accurate facial expression change, the audience for the content even with low-performance equipment It is to provide a way to accurately determine the response of the.

본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 반응 판단 방법은 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 단계와, 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 관객 영역에 대한 차영상을 획득하고 차영상의 픽셀값 히스토그램으로부터 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계와, 현재 시점 움직임 변화량으로부터 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계와, 생성한 시계열 패턴과 일치하는 관객의 반응 패턴을 반응 패턴 데이터베이스에서 검색하고 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 단계를 포함한다.In order to achieve the object of the present invention, the audience response determination method according to the present invention comprises the steps of generating an audience region in which the audience is located in the acquired audience image, and a difference between the generated audience region and the previous audience region generated from the previous audience image. Acquiring the difference image of the audience region from the image and calculating the change amount of movement at the present point in time for the viewer area from the pixel value histogram of the difference image, and generating a time series pattern of the change amount of movement amount for the viewer area from the change amount of the current view point. And searching for a response pattern of an audience that matches the generated time series pattern in the response pattern database and determining the response of the audience based on the retrieved response pattern.

여기서 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역은 관객 영상에서 얼굴 패턴 영역을 검출하고 검출한 얼굴 패턴 영역으로부터 관객 영역을 생성하는 것을 특징으로 한다. The spectator region where the spectator is located in the acquired spectator image is characterized by detecting a face pattern region from the spectator image and generating an spectator region from the detected face pattern region.

여기서 움직임 변화량을 계산하는 단계는 생성한 관객 영역과 이전 관객 영역을 서로 차감하여 관객 영역에 대한 차 영상을 생성하는 단계와, 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성하는 단계와, 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계를 포함한다. In this case, the step of calculating the change amount of motion includes generating a difference image for the audience area by subtracting the generated audience area and the previous audience area, and generating a brightness histogram of the audience area from pixel values of pixels constituting the generated difference image. And generating a total number of pixels having brightness greater than or equal to a threshold in the generated brightness histogram and calculating a change amount of movement at the current point in time for the audience area based on the determined total number.

바람직하게, 현재 시점에서의 움직임 변화량은 관객 영역의 면적으로 나누어져 정규화된다.Preferably, the amount of change in motion at the present time is normalized by dividing by the area of the audience area.

바람직하게, 관객 영역은 검출한 얼굴 패턴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되며, 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 한다. Preferably, the audience area is divided into a face area and other areas adjacent to the face area on the basis of the detected face pattern area, and the other area is divided into at least one or more detailed other areas.

여기서 움직임 변화량을 계산하는 단계는 얼굴 영역과 세부 기타 영역 각각에 대한 개별 밝기 히스토그램을 생성하고 생성한 개별 밝기 히스토그램으로부터 얼굴 영역과 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 한다. The calculating of the motion variation may include generating individual brightness histograms for each of the face region and the other detailed regions, and calculating motion variation at the present time of the face region and the other detailed regions from the generated individual brightness histograms.

여기서 움직임 변화량의 시계열 패턴은 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 얼굴 영역의 움직임 변화량에 대한 시계열 패턴을 생성하고, 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴을 생성하는 것을 특징으로 한다. Here, the time series pattern of the change amount of motion generates a time series pattern for the change amount of movement of the face area from the change amount of movement at the present time point with respect to the face area, and from the change of movement at the present point of time with respect to the detail other area to the change amount of movement of the detail other area. It is characterized in that for generating a time series pattern for.

여기서 관객의 반응을 판단하는 단계는 관객의 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 관객의 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 단계와, 생성한 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단계와, 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 단계를 포함한다. The determining of the response of the audience may include generating a pattern combination from a time series pattern of the amount of change in the movement of the face region of the audience and a time series pattern of the amount of change in the detail of the audience. Retrieving the pattern from the response pattern database; and determining a response of the audience based on the retrieved response pattern.

바람직하게, 얼굴 영역의 움직임 변화량 또는 세부 기타 영역의 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 한다.Preferably, the amount of change in the movement of the face region or the amount of change in the details of the other region is classified into a setting unit level.

얼굴 영역의 움직임 변화량에 대한 시계열 패턴 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는, 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,The coincidence degree (P) of the time series pattern stored in the pattern database, which matches the time series pattern of the movement variation of the face region or the time series pattern of the movement variation of the detail region, is calculated by Equation (1) below.

[수학식 1][Equation 1]

Figure 112012079781762-pat00001
Figure 112012079781762-pat00001

P1ti는 ti 시간 단위에서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 패턴 DB에 저장되어 있는 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며, 패턴 DB에 저장되어 있는 시계열 패턴 중 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자가 선택되는 것을 특징으로 한다.P 1ti is a detailed correspondence that shows the same or similar degree of motion variation for the face region or other detailed region acquired in ti time unit and the movement variation amount stored in the pattern DB, and the face region among the time series patterns stored in the pattern DB. The face pattern identifier having the highest correspondence with the time series pattern for the amount of change of the motion of or the other pattern identifier having the highest correspondence with the time series pattern for the amount of change in the motion of the detail area is selected.

본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 반응 판단 장치는 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 관객 영역 검출부와, 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부와, 현재 시점에서의 움직임 변화량으로부터 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 시계열 패턴 생성부와, 생성한 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하고 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 반응 판단부를 포함한다. In order to achieve the object of the present invention, the audience response judging device according to the present invention comprises an audience region detection unit for generating an audience region where an audience is located in an acquired audience image, and a difference between an audience region and a previous audience region generated from the previous audience image. A motion change amount calculation unit for calculating a change amount of movement at the current point in time to the audience area, a time series pattern generation unit for generating a time series pattern of the change amount of movement in the audience area from the current change point in time, and a generated time series pattern And a response determination unit that searches for a matching response pattern in the response pattern database and determines a response of the audience based on the retrieved response pattern.

여기서 관객 영역 검출부는 획득한 관객 영상에서 관객의 얼굴 패턴 형상을 검색하여 얼굴 영역을 판단하는 얼굴 영역 검색부와, 판단한 얼굴 영역에 기초하여 얼굴 영역과 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 얼굴 영역과 기타 영역으로 획득한 관객 영상에서 관객 영역을 생성하는 관객 영역 생성부를 포함하는 것을 특징으로 한다.Here, the audience area detector detects a face pattern of the audience from the acquired audience image and determines a face area, and at least one or more detailed other areas adjacent to the face area and the face area based on the determined face area. And an audience region generation unit configured to generate an audience region from the audience image acquired by the face region and the other region.

여기서 움직임 변화량 계산부는 관객 영역과 이전 관객 영역을 서로 차감하여 차 영상을 생성하는 차영상 생성부와, 생성한 차영상에서, 얼굴 영역의 차영상과 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부와, 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함한다.Here, the motion variation calculation unit may generate a difference image by subtracting an audience region and a previous audience region from each other, and a difference image of the pixels constituting the difference image of each of the difference region and the detail region of the face region in the generated difference image. A histogram generator for generating a brightness histogram for the difference image of the face region and the detail image region from the pixel value, and a histogram generator for the difference image of the difference region of the face region; In the brightness histogram, the total number of pixels each having a brightness higher than or equal to a threshold value is determined and based on the determined total number, the amount of change in the current view of the face region and the amount of change in the current view of each of the other detailed regions is set to the set unit level. It includes a change calculation unit to calculate.

여기서 시계열 패턴 생성부는 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고, 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 한다. Here, the time series pattern generation unit generates a time series pattern of the change amount of the movement of the face region based on the change amount of movement at the present time point with respect to the face area, and each of the detailed other areas is based on the change amount of the movement at the present time point for each of the other other areas. It is characterized in that to generate a time series pattern of the amount of change in motion.

반응 판단부는 얼굴 영역의 움직임 변화량과 세부 기타 영역 각각의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 패턴 조합 생성부와, 생성한 패턴 조합과 반응 패턴 데이터베이스에 저장되어 있는 반응 패턴의 일치도를 계산하여 생성한 패턴 조합에 매핑되는 반응 패턴을 검색하는 반응 패턴 검색부와, 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 반응 결정부를 포함하는 것을 특징으로 한다.The response determination unit calculates a pattern combination generation unit that generates a pattern combination from a time series pattern of the movement variation of the face region and the movement variation of each detail region, and the degree of agreement between the generated pattern combination and the response pattern stored in the reaction pattern database. And a response pattern search unit for searching for a response pattern mapped to the generated pattern combination, and a response determination unit for determining a response of the audience based on the searched response pattern.

본 발명에 따른 관객 반응 판단 방법은 종래 관객 반응 판단 방법과 비교하여 다음과 같은 다양한 효과를 가진다.The audience response determination method according to the present invention has various effects as follows as compared to the conventional audience response determination method.

첫째, 본 발명에 따른 관객 반응 판단 방법은 관객 영상에서 생성한 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 판단함으로써, 어두운 환경에서도 컨텐츠에 대한 관객 반응을 정확하게 판단할 수 있다.First, the audience response determination method according to the present invention can accurately determine the audience response to the content even in a dark environment by determining the audience response to the content based on the time series pattern of the amount of change in the movement of the audience region generated from the audience image. .

둘째, 본 발명에 따른 관객 반응 판단 방법은 관객 영역을 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 구분하고 얼굴 영역과 기타 영역의 서로 다른 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 컨텐츠에 대한 관객의 다양한 반응을 정확하게 판단할 수 있다.Second, the audience response determination method according to the present invention divides the audience area into the face area and the other areas adjacent to the face area, and determines the response of the audience to the content based on the time series pattern of the change amount of movement of the face area and the other areas. By doing so, it is possible to accurately determine the various reactions of the audience to the content.

셋째, 본 발명에 따른 관객 반응 판단 방법은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 관객의 반응을 정확하게 판단할 수 있다.Third, the audience response determination method according to the present invention determines the response of the audience to the content based on the amount of change in the movement of the audience area, thereby reducing the content even with the low performance equipment compared to the conventional response determination device based on the accurate facial expression change. Can accurately judge the audience's reaction to the

도 1은 본 발명의 일 실시예에 따른 관객 반응 판단 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 일시예에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 반응 판단부를 보다 구체적으로 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객의 반응 판단 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명에 따라 관객 영상으로부터 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 7은 관객 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있다.
도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 9는 움직임 변화량을 나타내는 차영상의 일 예를 도시하고 있다.
도 10은 본 발명에서 관객의 반응을 판단하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 11은 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다. 1 is a functional block diagram for explaining an audience response determining apparatus according to an embodiment of the present invention.
2 is a functional block diagram for explaining in more detail the audience area detector according to the date of the present invention.
3 is a functional block diagram for explaining in detail the motion variation calculation unit for the audience area according to an embodiment of the present invention.
Figure 4 is a flow chart for explaining in more detail the reaction determination unit according to the present invention.
5 is a flowchart illustrating a method of determining an audience's reaction to content according to an embodiment of the present invention.
6 is a flowchart illustrating an example of a method of generating an audience region from an audience image according to the present invention.
7 illustrates an example of a face region and an audience region searched in an audience image.
FIG. 8 is a flowchart for explaining a method of calculating the amount of change in the motion of an audience area in the present invention.
9 illustrates an example of a difference image representing a motion change amount.
10 is a flowchart illustrating a method of determining an audience's reaction in more detail in the present invention.
11 illustrates an example of a time series pattern of a change amount of movement with respect to an audience region.

이하 첨부한 도면을 참고로 본 발명에 따른 관객 반응 판단 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
Hereinafter, a method and apparatus for determining audience response according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 관객 반응 판단 장치를 설명하기 위한 기능 블록도이다.1 is a functional block diagram for explaining an audience response determining apparatus according to an embodiment of the present invention.

도 1을 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 공연, 뮤지컬, 영화, 전시물 등의 컨텐츠를 관람하는 관객의 영상을 촬영하여 관객 영상을 획득한다. 영상 촬영부(110)는 컨텐츠를 관람하는 관객의 모습을 정확하게 촬영하는 위치에 배치되어 있는데, 예를 들어 관객의 정면에 위치하거나 정면 상부에 위치하거나 옆에 위치할 수 있다. 또한 컨텐츠를 관람하는 관객 반응을 정확하게 판단하기 위하여 영상 촬영부(110)는 여러 장소에 배치되어 컨텐츠를 관람하는 관객의 영상을 촬영할 수 있다.Referring to FIG. 1 in more detail, the image capturing unit 110 acquires an audience image by capturing an image of an audience watching content such as a performance, a musical, a movie, and an exhibition. The image capturing unit 110 is disposed at a position for accurately capturing the appearance of the audience watching the content. For example, the image capturing unit 110 may be positioned at the front of the audience, at the top of the front, or at the side. In addition, in order to accurately determine the reaction of the audience watching the content, the image capturing unit 110 may be arranged in various places to capture the image of the audience watching the content.

관객 영역 검출부(120)는 영상 촬영부(110)로부터 획득한 관객 영상에서 관객의 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 영상에 위치하는 관객의 얼굴 영역을 판단하여 관객 영상에서 얼굴 영역에 기초하여 관객 영역을 생성한다. 움직임 변화량 계산부(130)는 현재 관객 영상과 이전 관객 영상을 차감하여 관객 영역과 이전 관객 영상의 이전 관객 영역 사이의 현재 시점에서의 움직임 변화량을 계산한다. 여기서 관객 영역 검출부(120)는 설정 시간 단위로 연속하여 획득되는 관객 영상에 대해 순차적으로 관객 영역을 생성하고, 움직임 변화량 계산부(130)는 순차적으로 생성한 관객 영역 에 대한 움직임 변화량을 순차적으로 설정 시간 단위로 계산하여 저장한다.The audience area detection unit 120 searches for the face pattern area of the audience from the audience image acquired from the image capturing unit 110, and determines the face area of the audience located in the audience image based on the searched face pattern area. Create an audience area based on the face area. The movement change calculation unit 130 calculates a movement change amount at the current point of time between the audience area and the previous audience area of the previous audience image by subtracting the current audience image and the previous audience image. In this case, the audience area detector 120 sequentially generates the audience areas with respect to the audience images that are continuously acquired in a set time unit, and the motion change amount calculator 130 sequentially sets the motion change amounts of the sequentially generated audience areas. Calculate and save time unit.

시계열 패턴 생성부(140)는 순차적으로 설정 시간 단위로 저장되어 있는 관객 영역의 움직임 변화량에 기초하여 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하며, 반응 판단부(160)는 관객 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스(DB)에서 검색하여 컨텐츠에 대한 관객의 반응을 판단한다.
The time series pattern generator 140 sequentially generates a time series pattern of a change amount of the movement of the audience area based on the change amount of the movement of the audience area, which is stored in units of a predetermined time, and the response determination unit 160 moves the movement of the audience area. The response pattern that matches the time series pattern of the change amount is searched in the response pattern database to determine the audience's response to the content.

도 2는 본 발명의 일시예에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.2 is a functional block diagram for explaining in more detail the audience area detector according to the date of the present invention.

도 2를 참고로 보다 구체적으로 살펴보면, 얼굴 영역 검색부(121)는 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 영역을 검색한다. 본 발명에서는 어두운 환경에서 얼굴 영역을 검색하기 위하여 얼굴 영역 특징점으로부터 얼굴 영역을 검색하는 Haar 검출 방식을 사용할 수 있다. 획득한 관객 그룹 영상에서 관객의 얼굴 영역을 검색하는 다양한 방법이 공지되어 있는데, 본 발명에서는 다양한 얼굴 영역 검색 방법이 사용될 수 있으며, 이는 본 발명의 범위에 속한다.2, the face region searching unit 121 searches the face region of each viewer in the obtained audience group image. In the present invention, in order to search for a face region in a dark environment, a Haar detection method of searching for a face region from a face region feature point may be used. Various methods of searching the face region of the viewer in the acquired audience group image are known. In the present invention, various face region searching methods can be used, and this is within the scope of the present invention.

영역 분할부(123)는 관객 영상 중 검색한 얼굴 영역에 기초하여 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 분할한다. 관객 영역 생성부(125)는 얼굴 영역과 기타 영역으로 구성되는 관객 영역을 생성한다. 본 발명이 적용되는 분야에 따라 영역 분할부(123)는 얼굴 영역의 위치에 기초하여 얼굴 영역에 인접하는 다수의 세부 기타 영역으로 기타 영역을 설정할 수 있으며 이는 본 발명의 범위에 속한다.The area dividing unit 123 divides an area located adjacent to the face area into other areas based on the searched face area in the audience image. The audience area generator 125 generates an audience area including a face area and other areas. According to the field to which the present invention is applied, the region dividing unit 123 may set the other region as a plurality of detailed other regions adjacent to the face region based on the position of the face region, which is within the scope of the present invention.

도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.3 is a functional block diagram for explaining in detail the motion variation calculation unit for the audience area according to an embodiment of the present invention.

도 3을 참고로 살펴보면, 차영상 생성부(131)는 관객 영상과 이전 관객 영상을 차감하여 관객 영상으로부터 생성한 관객 영역과 이전 관객 영상으로부터 생성한 이전 관객 영역의 차영상을 생성하며, 히스트그램 생성부(133)는 차영상을 구성하는 픽셀들의 밝기 픽셀값에 기초하여 밝기 히스토그램을 생성한다. 여기서 차영상 생성부(131)는 관객 영상을 RGB 색영역에서 YUV 색영역, 즉 휘도와 색차 영역으로 변환하며, 관객 영상과 이전 관객 영상을 차감하여 생성되는 전체 차영상 중 앞서 생성한 관객 영역에 해당하는 영역에 대한 차영상을 생성한다. 본 발명이 적용되는 분야에 따라 관객 영상과 이전 관객 영상을 차감하는 대신, 관객 영상에서 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역을 차감하여 차영상을 생성할 수 있으며, 이는 본 발명의 범위에 속한다.Referring to FIG. 3, the difference image generation unit 131 generates a difference image between an audience region generated from the audience image and a previous audience region generated from the previous audience image by subtracting the audience image and the previous audience image. The gram generator 133 generates a brightness histogram based on the brightness pixel values of the pixels constituting the difference image. Here, the difference image generation unit 131 converts the audience image from the RGB color gamut to the YUV color gamut, that is, the luminance and the color difference area, and subtracts the audience image from the previous audience image to the previously generated audience area. A difference image for a corresponding region is generated. According to the field to which the present invention is applied, instead of subtracting the audience image and the previous audience image, the difference image may be generated by subtracting the audience region generated from the audience image and the previous audience region generated from the previous audience image. Belongs to the scope of.

바람직하게, 히스토그램 생성부(133)는 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 관객 영역 중 기타 영역의 차영상에 기초하여 기타 영역에 대한 픽셀들의 밝기 히스토그램을 생성한다. 더욱 바람직하게, 히스토그램 생성부(133)는 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 관객 영역 중 기타 영역을 구성하는 세부 기타 영역 각각의 차영상에 기초하여 세부 기타 영역 각각에 대한 픽셀들의 밝기 히스토그램을 생성한다.Preferably, the histogram generator 133 generates a histogram of brightness of the pixels for the face area based on the difference image of the face area in the audience area, and generates the histogram of pixels for the other area based on the difference image of the other area in the audience area. Create a brightness histogram. More preferably, the histogram generator 133 generates a histogram of brightness of pixels for the face region based on the difference image of the face region in the audience region, and applies the difference image to each difference image of the other detailed regions constituting the other region of the audience region. Generate a histogram of brightness of pixels for each of the other detail regions.

변화량 계산부(135)는 밝기 히스토그램의 픽셀값을 누적하고, 밝기 픽셀값의 누적값에 기초하여 관객 영역에 대한 현재 시점의 움직임 변화량을 계산한다. 단위 레벨 매핑부(137)는 계산한 관객 영역에 대한 현재 시점의 움직임 변화량을 설정 단위 레벨로 분류하여 해당 단위 레벨로 매핑하며, 해당 단위 레벨로 매핑한 관객 영역에 대한 현재 시점의 움직임 변화량은 변화량 DB(139)에 저장된다. 시계열 패턴 생성부(140)는 변화량 DB에 저장되어 있는 해당 단위 레벨의 움직임 변화량에 기초하여 단위 시간별로 변화하는 관객 영역의 움직임 변화량으로부터 시계열 패턴을 생성한다. The change amount calculator 135 accumulates the pixel values of the brightness histogram and calculates a change amount of the movement of the current viewpoint with respect to the audience area based on the accumulated value of the brightness pixel values. The unit level mapping unit 137 classifies the calculated movement change amount of the current view of the viewer area into the set unit level and maps it to the corresponding unit level, and the movement change amount of the current view for the audience area mapped to the unit level is the change amount. It is stored in the DB 139. The time series pattern generation unit 140 generates a time series pattern from the movement variation of the audience region for each unit time based on the movement variation of the corresponding unit level stored in the variation DB.

바림직하게, 변화량 계산부(135)는 얼굴 영역과 세부 기타 영역 각각의 움직임 변화량을 분리하여 계산하며, 단위 레벨 매핑부(137)는 얼굴 영역과 세부 기타 영역의 움직임 변화량을 설정 단위 레벨로 분류하여 매핑된 해당 단위 레벨을 변화량 DB(137)에 저장한다. 시계열 패턴 생성부(140)는 변화량 DB(139)에 저장되어 있는 얼굴 영역과 세부 기타 영역의 움직임 변화량에 기초하여 단위 시간별로 변화하는 얼굴 영역의 움직임 변화량으로부터 얼굴 영역의 시계열 패턴과 세부 기타 영역 각각의 움직임 변화량으로부터 세부 기타 영역 각각의 시계열 패턴을 생성한다.
The unit level mapping unit 137 classifies the amount of motion change in the face area and the detail other area into a setting unit level And stores the mapped corresponding unit level in the change amount DB 137. The time series pattern generation unit 140 is a time series pattern and a detail other region of the face region, respectively, based on a change amount of movement of the face region, which changes for each unit time, based on the amount of change of the movement of the face region and the detail other region stored in the change amount DB 139. Generates a time series pattern of each of the other miscellaneous regions from the amount of change in the motion.

도 4는 본 발명에 따른 반응 판단부를 보다 구체적으로 설명하기 위한 흐름도이다.Figure 4 is a flow chart for explaining in more detail the reaction determination unit according to the present invention.

도 4를 참고로 살펴보면, 패턴 검색부(162)는 패턴 DB(161)에 저장되어 있는 시계열 패턴 DB 중 생성한 관객 영역의 시계열 패턴에 일치하는 패턴을 검색하며, 패턴 조합 생성부(163)는 검색한 시계열 패턴으로부터 패턴 조합을 생성한다. 보다 구체적으로 살펴보면, 패턴 검색부(162)는 패턴 DB(161)에서 얼굴 영역에 대한 시계열 패턴과 일치하는 패턴을 검색하며, 패턴 DB(161)에서 세부 기타 영역 각각에 대한 시계열 패턴과 일치하는 패턴을 검색한다. 바람직하게, 패턴 DB(161)에 저장되어 있는 시계열 패턴은 각각 서로 다른 시계열 패턴 식별자로 구분되며, 패턴 조합 생성부(163)는 얼굴 영역의 시계열 패턴에 일치하는 시계열 패턴 식별자와 세부 기타 영역 각각의 시계열 패턴에 일치하는 시계열 패턴 식별자로 패턴 조합을 생성한다.Referring to FIG. 4, the pattern search unit 162 searches for a pattern that matches a time series pattern of an audience area generated from the time series pattern DB stored in the pattern DB 161, and the pattern combination generation unit 163 Generates a pattern combination from the searched time series pattern. More specifically, the pattern search unit 162 searches for a pattern that matches the time series pattern for the face region in the pattern DB 161, and a pattern that matches the time series pattern for each of the other detailed regions in the pattern DB 161. Search for. Preferably, the time series patterns stored in the pattern DB 161 are divided into different time series pattern identifiers, and the pattern combination generating unit 163 is configured to match the time series pattern identifiers and other detailed regions corresponding to the time series patterns of the face region. Create a pattern combination with a time series pattern identifier that matches the time series pattern.

반응 패턴 검색부(165)는 생성한 패턴 조합에 일치하는 반응 패턴이 패턴 조합 DB(164)에 존재하는지 검색하고, 반응 결정부(166)는 검색한 반응 패턴에 기초하여 관객의 반응을 판단한다. 여기서 패턴 조합 DB에는 시계열 패턴 식별자의 조합으로 이루어진 다양한 패턴 조합과 각 패턴 조합에 설정된 반응이 매핑되어 있다.
The response pattern search unit 165 searches whether a response pattern matching the generated pattern combination exists in the pattern combination DB 164, and the response determination unit 166 determines the response of the audience based on the searched response pattern. . Here, in the pattern combination DB, various pattern combinations consisting of a combination of time series pattern identifiers and responses set in each pattern combination are mapped.

도 5는 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객의 반응 판단 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of determining an audience's reaction to content according to an embodiment of the present invention.

도 5를 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 컨텐츠를 관람하는 관객의 모습을 명확하게 드러내는 관객 영상을 획득하고(S110), 획득한 관객 영상에서 관객의 얼굴 영역을 검색하여 검색한 얼굴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접하여 위치하는 기타 영역을 포함하여 관객 영역을 생성한다(S120).Referring to FIG. 5 in more detail, a face image obtained by retrieving an audience image clearly revealing the appearance of an audience watching content through the image capturing unit (S110), and searching for and searching for the face region of the audience from the acquired audience image Based on this, the audience area is generated including the face area and the other area positioned adjacent to the face area (S120).

획득한 관객 영상과 이전에 획득한 이전 관객 영상을 차감하여 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이를 나타내는 관객 영역에 대한 차영상을 획득하고, 차영상의 픽셀값으로부터 밝기 히스토그램을 생성하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S130). 계산한 움직임 변화량은 변화량 DB에 저장되며, 저장되어 있는 움직임 변화량에 기초하여 관객 영역에 대한 움직임 변화량의 연속적인 변화를 나타내는 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성한다(S140). 생성한 시계열 패턴과 일치하는 관객의 반응 패턴을 반응 패턴 DB에서 검색하고, 검색한 반응 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단한다(S150).
By subtracting the acquired audience image and the previously acquired previous audience image, a difference image is obtained for the audience region representing the difference between the audience region and the previous audience region generated from the previous audience image, and the brightness histogram is derived from the pixel value of the difference image. Generate and calculate a change amount of movement at the current point in time with respect to the audience area (S130). The calculated motion change amount is stored in the change amount DB, and a time series pattern of the motion change amount for the audience area representing a continuous change in the motion change amount for the audience area is generated based on the stored motion change amount (S140). The response pattern of the audience that matches the generated time series pattern is searched in the response pattern DB, and the response of the audience to the content is determined based on the searched response pattern (S150).

도 6은 본 발명에 따라 관객 영상으로부터 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다. 6 is a flowchart illustrating an example of a method of generating an audience region from an audience image according to the present invention.

도 6을 참고로 보다 구체적으로 살펴보면, 관객 영상의 픽셀값에 기초하여 획득한 관객 영상에서 관객의 얼굴 영역을 검색한다(S121). 본 발명에서 관객 영상으로부터 얼굴 영역을 검색하는 방식의 일 예를 살펴보면, 획득한 관객 영상으로부터 관객의 피부 영역을 검색하기 위해 관객영상 내에 피부색 매칭 픽셀을 판별한다. 영상의 각 픽셀의 색은 RGB 체계로 표현되어 있으나 휘도와 색차 체계, 즉 YUV 체계로 변환한다. 여기서, YCrCb 체계는 컴포넌트 디지털 비디오의 휘도(Y)와 색차 신호(B-Y, R-Y), R·G·B 신호를 디지털화하는 데 사용되는 색 해상도로써, Y는 Distribution of Luminance Component이고, Cr와 Cb는 적색과 청색의 Distribution of Crominance Component이다. RGB 체계를 YCrCb 체계로 변환하는 것은 당업자에게 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다.Referring to FIG. 6, the face region of the audience is searched for in the audience image acquired based on the pixel value of the audience image (S121). Referring to an example of a method of searching for a face region from an audience image in the present invention, skin color matching pixels are determined in the audience image to search for a skin region of the audience from the acquired audience image. The color of each pixel of the image is expressed in RGB system but is converted into luminance and color difference system, that is, YUV system. Here, the YCrCb scheme is a color resolution used to digitize the luminance (Y), color difference signals (BY, RY), R, G, and B signals of the component digital video, Y is the Distribution of Luminance Component, Cr and Cb Red and Blue Distribution of Crominance Component. Converting the RGB system to the YCrCb system is a technique well known to those skilled in the art, so a detailed description thereof will be omitted.

피부색 픽셀에 해당하는 휘도와 색차의 임계값을 설정하고, 관객 영상의 픽셀값을 임계값과 비교하여 임계값과 부합된다면 해당 픽셀은 사용자의 피부를 나타내는 픽셀이라고 간주한다.A threshold value of luminance and color difference corresponding to the skin color pixel is set, and if the pixel value of the audience image is compared with the threshold value and the threshold value is met, the pixel is regarded as a pixel representing the user's skin.

피부로 간주되는 픽셀 군집은 서브 윈도우로 분할되며, 서브 윈도우는 얼굴 영역 후보로 간주된다. 여기서, 얼굴 영역의 후보로 간주된 서브윈도우 내의 영상이 얼굴 영상인지 판별하는 것이 요구된다. 이는 얼굴 영상의 후보로 간주된 서브윈도우 내의 영상이 사용자의 손 영상일 수도 있기 때문이다. 이에 본 발명에서는 에이다부스트(Adaboost) 알고리즘을 통해 서브윈도우 내에 영상이 얼굴 영상인지 판별한다. 여기서, 에이다부스트 알고리즘은 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다. 에이다부스트 알고리즘를 수행하여 서브윈도우 내에 영상이 얼굴 영상이 아닐 경우, 서브윈도우는 사용자의 손 영상으로 간주할 수 있다.The pixel cluster considered as skin is divided into sub windows, and the sub windows are regarded as face area candidates. Here, it is required to determine whether the image in the sub-window regarded as the candidate of the face region is a face image. This is because the image in the sub-window regarded as the candidate of the face image may be the hand image of the user. Accordingly, in the present invention, it is determined whether the image is a face image in a sub window through an AdaBoost algorithm. Here, since the AdaBoost algorithm is a known technique, a detailed description thereof will be omitted. When the AdaBoost algorithm is performed and the image in the sub window is not a face image, the sub window can be regarded as a user's hand image.

관객 영상에서 관객의 얼굴 영역을 검색한 경우, 관객의 얼굴 영역을 기준으로 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 결정한다(S123). 기타 영역은 얼굴 영역을 기준으로 위/아래 또는 좌/우 방향으로 얼굴 영역에서 일정 거리에 인접하는 영역으로 설정된다. 본 발명이 적용되는 분야에 따라 기타 영역은 다시 적어도 1개 이상의 세부 기타 영역으로 분할되어 생성될 수 있으며, 이는 본 발명의 범위에 속한다. 관객 영상으로부터 관객의 얼굴 영역과 기타 영역으로 구성되는 관객 영역을 생성한다(S125).When the face region of the audience is searched for in the audience image, the region positioned adjacent to the face region based on the face region of the audience is determined as the other region (S123). The other area is set as an area adjacent to the face area in a predetermined distance in the up / down or left / right direction with respect to the face area. According to the field to which the present invention is applied, other regions may be generated again by dividing into at least one or more other detailed regions, which is within the scope of the present invention. An audience region including an audience region and other regions is generated from the audience image (S125).

관객 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있는 도 7을 참고로 살펴보면, 먼저 도 7(a)에 도시되어 있는 것과 같이 관객 영상이 입력되는 경우 관객 영상의 픽셀값에 기초하여 피부색에 해당하는 픽셀 군집들 중 얼굴 영역을 검색한다. 얼굴 영역이 검색되는 경우, 도 7(b)와 같이 얼굴 영역에 인접하여 얼굴 영역의 아래 부분에 기타 영역을 결정한다. 예를 들어, 얼굴 영역(C1)과 얼굴 영역(C1)의 바로 아래 영역에 일정 폭을 가지도록 제1 세부 기타 영역(C2)와 제1 세부 기타 영역(C2)의 바로 아래 영역에 일정 폭을 가지도록 제2 세부 기타 영역(C3)을 설정한다.
Referring to FIG. 7, which illustrates an example of a face region searched in an audience image and an example of an audience region, first, when an audience image is input as shown in FIG. The face region is searched among the pixel clusters corresponding to the skin color. When the face area is searched, another area is determined in the lower part of the face area adjacent to the face area as shown in Fig. 7 (b). For example, a predetermined width may be provided in a region immediately below the first detailed sub-region C2 and the first detailed sub-region C2 so as to have a predetermined width in a region immediately below the face region C1 and the face region C1 The second detailed area C3 is set.

도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.FIG. 8 is a flowchart for explaining a method of calculating the amount of change in the motion of an audience area in the present invention.

도 8을 참고로 보다 구체적으로 살펴보면, 획득한 관객 영상과 관객 영상 이전에 획득한 이전 관객 영상을 차감하여 관객 영상의 관객 영역과 이전 관객 영상의 이전 관객 영역 사이의 차 영상을 생성한다(S131). 도 9(a)와 도 9(b)는 각각 관객 영상과 이전 관객 영상을 나타내며, 도 9(c)는 전체 차영상의 일 예를 도시하고 있는데, 원으로 표시된 관객 영상과 이전 관객 영상 사이에 움직임의 변화가 있는 영역의 픽셀들은 높은 휘도값을 가지도록 표현된다. 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성한다(S133).Referring to FIG. 8, a difference image between an audience region of the audience image and a previous audience region of the previous audience image is generated by subtracting the acquired audience image and the previous audience image acquired before the audience image (S131). . 9 (a) and 9 (b) show an audience image and a previous audience image, respectively, and FIG. 9 (c) shows an example of the total difference image, between a circled audience image and a previous audience image. The pixels of the region in which the movement is changed are expressed to have a high luminance value. A brightness histogram of the audience area is generated from pixel values of pixels constituting the generated difference image (S133).

생성한 밝기 히스토그램에서 임계 밝기값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하고, 임계 밝기값 이상의 밝기를 가지는 픽셀들의 누적 총수에 기초하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S135). 움직임 변화량은 임계 밝기값 이상의 밝기를 가지는 픽셀들의 총수에 비례하여 큰 값을 가진다. 바람직하게, 계산한 현재 시점의 움직임 변화량은 설정된 단위 레벨로 매핑되며(S137), 매핑된 현재 시점의 움직임 변화량에 대한 단위 레벨값은 변화량 DB에 저장된다(S139). 앞서 S131 내지 S139 단계에서 설명한 바와 동일하게 현재 시점 이후에 연속하여 단위 시간별로 움직임 변화량을 계산하고, 계산한 움직임 변화량에 매핑된 단위 레벨값을 판단하여 변화량 DB에 단위 시간별로 저장한다. The total number of pixels having brightness greater than or equal to the threshold brightness value is counted in the generated brightness histogram, and the amount of movement variation at the current point in time is calculated based on the cumulative total number of pixels having brightness greater than or equal to the threshold brightness value (S135). . The amount of motion variation has a large value in proportion to the total number of pixels having brightness equal to or greater than the threshold brightness value. Preferably, the calculated motion change amount of the current view is mapped to the set unit level (S137), and the unit level value for the mapped motion change amount of the current view is stored in the change amount DB (S139). As described in the above steps S131 to S139, the motion change amount is calculated for each unit time continuously after the current time point, and the unit level value mapped to the calculated motion change amount is determined and stored for each unit time in the change amount DB.

여기서 단위 레벨값이란 움직임 변화값을 내림 또는 올림한 값으로, 예를 들어 현재 시점에서의 움직임 변화량이 23.7인 경우 30으로 올림하거나 20으로 내림한 값을 의미한다. 본 발명의 다른 실시예에서 움직임 변화량의 값은 실제 올림 또는 내림한 값이 아니라 이전 단위 시간보다 현재 단위 시간에서 증가, 감소, 임계범위 내에서 그대로 유지로 구분되어 움직임 변화량이 표현될 수 있다.Here, the unit level value is a value obtained by raising or lowering a motion change value, for example, a value obtained by raising or decrementing to 30 when the motion change amount at the current time is 23.7. In another embodiment of the present invention, the value of the motion change amount may not be actually raised or lowered, but may be divided into an increase, a decrease in a current unit time rather than a previous unit time, and remain within the threshold range.

바람직하게 관객 영역의 움직임 변화량은 얼굴 영역과 기타 영역별로 각각 생성되거나, 더욱 바람직하게 얼굴 영역과 세부 기타 영역별로 각각 생성될 수 있으며 이는 본 발명의 범위에 속한다.
Preferably, the amount of change in the movement of the audience area may be generated for each of the face area and other areas, or more preferably for each of the face area and the other areas, which are within the scope of the present invention.

도 10은 본 발명에서 관객의 반응을 판단하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.10 is a flowchart illustrating a method of determining an audience's reaction in more detail in the present invention.

도 10을 참고로 보다 구체적으로 살펴보면, 관객 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 패턴 식별자를 패턴 DB에서 검색한다(S151). 바람직하게, 관객 영역의 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 얼굴 패턴 식별자를 패턴 DB에서 검색하고, 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 기타 패턴 식별자를 패턴 DB에서 검색한다. Referring to FIG. 10 in more detail, a pattern identifier that matches the time series pattern of the amount of change in the movement of the audience area is searched in the pattern DB (S151). Preferably, the pattern DB searches for a face pattern identifier that matches the time series pattern of the movement variation amount for the face region of the audience area, and searches the pattern DB for other pattern identifiers that matches the time series pattern of the movement variation amount for the detail other region. .

얼굴 영역에 대한 움직임 변화량의 시계열 패턴 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 패턴을 검색하는 일 예를 보다 구체적으로 살펴보면 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 기타 패턴 식별자와 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,A more detailed example of searching for a time series pattern of motion variation for a face region or a pattern matching a time series pattern of motion variation for a detail region includes a face pattern identifier that matches a time series pattern of movement variation of a facial region, or The coincidence degree (P) of the other pattern identifier and the time series pattern stored in the pattern database corresponding to the time series pattern for the motion variation of the detail other region is calculated by the following equation (1),

[수학식 1][Equation 1]

Figure 112012079781762-pat00002
Figure 112012079781762-pat00002

P1ti는 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며, P 1ti is a time-series pattern (P 1 ) for the amount of movement of the face region or a time-series pattern (P 1 ) of the amount of motion variation for the detail region other than the movement amount for the face region or the detail- (ti) of the time-series pattern stored in the pattern DB,

패턴 DB에 저장되어 있는 시계열 패턴과 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자 선택된다. 여기서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량은 실제 내림 또는 올림한 값이며 패턴 DB에 저장되어 있는 움직임 변화량과 실제 내림 또는 올림한 값의 차이로부터 움직임 변화량의 동일 또는 유사 정도를 판단한다. 본 발명의 다른 실시예에서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량은 증가, 감소, 유지로 구분되는 값이며 패턴 DB에도 움직임 변화량이 증가, 감소, 유지로 구분되어 저장되어 있는데, 세부 일치도는 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 패턴 DB에 저장되어 있는 움직임 변화량을 각 단위 시간별로 증가, 감소, 유지로 서로 동일 또는 유사한지 여부로 판단한다.The face pattern identifier having the highest agreement with the time series pattern stored in the pattern DB and the time series pattern for the movement variation of the face region, or the other pattern identifier having the highest correspondence with the time series pattern for the movement variation of the detail other region is selected. The amount of motion change in the acquired face area or other detailed area is a value that is actually lowered or raised, and the same or similar degree of the motion change is determined based on a difference between the amount of motion change stored in the pattern DB and the actual lowered or raised value. The change amount of movement of the face region or other detailed region acquired in another embodiment of the present invention is a value divided into increase, decrease, and maintenance, and the change amount of movement is also stored and stored in the pattern DB. Determining whether the motion change amount of the acquired face region or other detailed region and the movement change amount stored in the pattern DB is the same or similar to each other by increasing, decreasing, maintaining each unit time.

얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 기타 패턴 식별자의 조합으로부터 패턴 조합을 생성하고(S153), 패턴 조합과 일치하는 패턴 조합을 패턴 조합 DB에서 검색한다(S155). 패턴 조합 DB에는 다양한 패턴 조합과 각 패턴 조합에 매핑되어 있는 반응이 저장되어 있다. 검색 결과에 기초하여 검색한 패턴 조합에 매핑되어 있는 반응을 관객의 반응으로 판단한다(S157).
A pattern combination is generated from a combination of a face pattern identifier or other pattern identifier that matches the time series pattern of the motion variation amount for the face region or the detail other region (S153), and a pattern combination matching the pattern combination is searched in the pattern combination DB ( S155). The pattern combination DB stores various pattern combinations and responses mapped to each pattern combination. Based on the search result, the response mapped to the searched pattern combination is determined as the response of the audience (S157).

도 11은 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다. 11 illustrates an example of a time series pattern of a change amount of movement with respect to an audience region.

도 11(a)는 관객 영역 중 얼굴 영역에 대한 움직임 변화량의 시계열 패턴이며, 11(b)는 관객 영역 중 제1 세부 기타 영역으로 관객의 가슴 영역에 대한 움직임 변화량의 시계열 패턴이며, 도 11(c)는 관객 영역 중 제2 세부 기타 영역으로 관객 손이 위치하는 배 영역에 대한 움직임 변화량의 시계열 패턴이다. 앞서 설명한 수학식(1)의 방식으로 각 시계열 패턴과 가장 일치하는 패턴을 패턴 DB에서 검색하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 얼굴 패턴 식별자 P1을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제1 기타 패턴 식별자 P2을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제2 기타 패턴 식별자 P3를 검색한다. 검색한 패턴으로부터 패턴 조합<P1, P2, P3>을 생성하며, 생성한 패턴 조합과 일치하는 패턴 조합을 패턴 조합 DB에서 검색한다. 검색한 패턴 조합에 매핑되어 있는 반응이 박수인 경우, 관객 반응을 박수로 판단한다.
FIG. 11 (a) is a time series pattern of the amount of change of movement with respect to the face area among the audience areas, and FIG. c) is a time series pattern of the change amount of movement with respect to the belly region in which the audience's hand is located as the second sub-other region of the audience region. The pattern DB most closely matches each time series pattern using the method of Equation (1) described above to search for the face pattern identifier P1 that most closely matches the time series pattern of the amount of change of movement of the face region, and the first detailed other region. Search for the first other pattern identifier P2 that most closely matches the time series pattern of the motion variation for, and search for the second other pattern identifier P3 that most closely matches the time series pattern of the motion variation for the first detailed other region. Pattern combinations <P1, P2, and P3> are generated from the found patterns, and the pattern combinations matching the generated pattern combinations are searched in the pattern combination DB. If the response mapped to the retrieved pattern combination is applause, the audience response is determined to be applause.

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
The computer-readable recording medium may be an electrically or magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave, , Transmission over the Internet).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

110: 영상 촬영부 120: 관객 영역 검출부
130: 움직임 변화량 계산부 140: 시계열 패턴 판단부
150: 반응 판단부 160: 반응 패턴 DB110: image capturing unit 120: audience area detecting unit
130: movement variation calculation unit 140: time series pattern determination unit
150: response determination unit 160: response pattern DB

Claims (16)

획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 단계;
상기 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 상기 관객 영역에 대한 차영상을 획득하고, 상기 차영상의 픽셀값 히스토그램으로부터 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수에 기초하여 상기 이전 관객 영역과 상기 관객 영역 사이의 현재 시점에서의 움직임 변화량을 계산하는 단계;
상기 현재 시점 움직임 변화량으로부터 상기 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계; 및
상기 생성한 시계열 패턴과 일치하는 상기 관객의 반응 패턴을 반응 패턴 데이터베이스에서 검색하고, 상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 단계를 포함하는 것을 특징으로 하는 관객 반응 판단 방법. Generating an audience area in which the audience is located from the acquired audience image;
The number of pixels having a brightness greater than or equal to a threshold value in a brightness histogram obtained from a difference between the generated audience region and a previous audience region generated from a previous audience image and generated from a pixel value histogram of the difference image; Calculating a change amount of movement at the present time between the previous audience area and the audience area based on the total number of?
Generating a time series pattern of a change amount of movement with respect to the audience area from the change amount of current view motion; And
And searching for a response pattern of the audience that matches the generated time series pattern in a response pattern database, and determining the response of the audience based on the searched response pattern. 제 1 항에 있어서, 상기 획득한 관객 영상에서 상기 관객이 위치하고 있는 관객 영역은
상기 관객 영상에서 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 관객 영역을 생성하는 것을 특징으로 하는 관객 반응 판단 방법.The audience area of claim 1, wherein the audience area in which the audience is located is acquired.
And a facial region is detected from the audience image, and an audience region is generated from the detected facial region. 삭제delete 제 1 항에 있어서, 상기 관객 반응 판단 방법에서
상기 움직임 변화량은 상기 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 하는 관객 반응 판단 방법. According to claim 1, wherein in the audience response determination method
And the motion change amount is normalized by dividing by the area of the audience area. 제 1 항에 있어서, 상기 관객 영역은 상기 검출한 얼굴 영역을 기준으로 얼굴 영역과 상기 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되는 것을 특징으로 하는 관객 반응 판단 방법.The method of claim 1, wherein the audience area is divided into a face area and other areas adjacent to the face area based on the detected face area. 제 5 항에 있어서, 상기 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 하는 관객 반응 판단 방법.The method of claim 5, wherein the other area is divided into at least one or more detailed other areas. 제 6 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
상기 얼굴 영역과 상기 세부 기타 영역 각각의 차 영상에 대한 개별 밝기 히스토그램을 생성하고, 상기 생성한 개별 밝기 히스토그램으로부터 상기 얼굴 영역과 상기 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 관객 반응 판단 방법. 7. The method of claim 6, wherein calculating the amount of motion change
Generating individual brightness histograms for the difference images of each of the face area and the detail other area, and calculating a change amount of movement of the face area and the detail other area at a current time point from the generated individual brightness histogram. How to judge audience reaction. 제 7 항에 있어서, 상기 움직임 변화량의 시계열 패턴은
상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴을 생성하고,
상기 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴을 생성하는 것을 특징으로 하는 관객 반응 판단 방법.8. The method according to claim 7, wherein the time-series pattern of the amount of motion change
Generating a time series pattern of a change amount of the movement of the face region from the change amount of movement at the current time point with respect to the face region;
And generating a time series pattern of a change amount of the movement of the detail other region from the change amount of the movement at the present time with respect to the detail other region. 제 8 항에 있어서, 상기 관객의 반응을 판단하는 단계는
상기 관객의 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 얼굴 패턴 식별자를 패턴 데이터베이스에서 검색하고 상기 관객의 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 기타 패턴 식별자를 패턴 데이터베이스에서 검색하며, 상기 얼굴 패턴 식별자와 상기 기타 패턴 식별자로부터 상기 관객 영역에 대한 움직임 변화량의 패턴 조합을 생성하는 단계;
상기 생성한 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단계; 및
상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 단계를 포함하는 것을 특징으로 하는 관객 반응 판단 방법.The method of claim 8, wherein the determining of the audience's response
Searching for a face pattern identifier in the pattern database that matches the time series pattern for the movement variation in the face region of the audience; Generating a pattern combination of a movement variation amount for the audience area from the face pattern identifier and the other pattern identifier;
Searching for a response pattern in the response pattern database that matches the generated pattern combination; And
And determining the response of the audience based on the retrieved response pattern. 제 9 항에 있어서, 상기 얼굴 영역의 움직임 변화량 또는 상기 세부 기타 영역의 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 하는 관객 반응 판단 방법.10. The method of claim 9, wherein the amount of change in the movement of the face region or the amount of change in the detail region is classified into a setting unit level. 제 9 항에 있어서, 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는, 상기 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079781762-pat00003

P1ti는 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일한 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며,
패턴 DB에 저장되어 있는 시계열 패턴 중 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자가 선택되는 것을 특징으로 하는 관객 반응 판단 방법.10. The coincidence degree P of the time series pattern stored in the pattern database corresponding to the time series pattern of the change amount of movement of the face region or the time series pattern of the change amount of movement of the detail region is expressed by the following equation. Calculated by (1),
[Equation 1]
Figure 112012079781762-pat00003

P 1ti the same time as the time series pattern (P 1) or the time series pattern (P 1) movement change amount of the facial area or details other area in the ti time unit in the movement change amount for the details or other areas of the movement amount of change in the facial region It is a detail matching degree which shows the same or similar degree of the motion change amount of the time series pattern stored in the pattern DB in the unit ti,
Among the time series patterns stored in the pattern DB, the face pattern identifier having the highest agreement with the time series pattern for the movement variation of the face region or the other pattern identifier having the highest correspondence with the time series pattern for the movement variation of the detail region is selected. Audience response judgment method, characterized in that. 획득한 관객 영상에서 관객의 얼굴 영역을 판단하는 얼굴 영역 검색부와, 판단한 얼굴 영역에 기초하여 상기 얼굴 영역과 상기 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 얼굴 영역과 상기 기타 영역으로 상기 획득한 관객 영상에서 관객 영역을 생성하는 관객 영역 생성부를 구비하는 관객 영역 검출부;
상기 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 상기 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부;
상기 현재 시점에서의 움직임 변화량으로부터 상기 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 시계열 패턴 생성부; 및
상기 생성한 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하고, 상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 반응 판단부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.
A face region search unit for determining a face region of an audience in the acquired audience image, and a region divided into other regions having at least one or more detailed other regions adjacent to the face region and the face region based on the determined face region. An audience region detector comprising a divider and an audience region generation unit configured to generate an audience region from the acquired audience image in the face region and the other region;
A motion change amount calculation unit configured to calculate a change amount of the movement at the current point in time with respect to the viewer area from a difference between the viewer area and a previous viewer area generated from a previous viewer image;
A time series pattern generation unit configured to generate a time series pattern of a change amount of movement with respect to the audience area from the change amount of movement at the current time; And
And a response determination unit searching for a response pattern that matches the generated time series pattern in a response pattern database, and determining a response of the audience based on the searched response pattern.
삭제delete 제 12 항에 있어서, 상기 움직임 변화량 계산부는
상기 관객 영역과 이전 관객 영역을 서로 차감하여 차 영상을 생성하는 차영상 생성부;
상기 생성한 차영상에서, 얼굴 영역의 차영상과 상기 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부; 및
상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 상기 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치. The method of claim 12, wherein the movement variation calculator
A difference image generation unit generating a difference image by subtracting the audience area and the previous audience area;
In the generated difference image, the brightness histogram of the difference image of the face region and the difference image of each of the detail other region are obtained from the pixel values of the pixels constituting the difference image of each face region and the difference image of the detail region. A histogram generator for generating a brightness histogram; And
In the brightness histogram of the difference image of the face region and the brightness histogram of each difference image of the detail region, the total number of pixels having brightness greater than or equal to a threshold value is determined, and based on the determined total number, And a change amount calculator configured to calculate a change amount of the motion at the present time and a change amount of the motion at the present time for each of the detailed other areas at a set unit level. 제 14 항에 있어서, 상기 시계열 패턴 생성부는
상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고,
상기 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 하는 관객 반응 판단 장치.The method of claim 14, wherein the time series pattern generator
Generate a time series pattern of a change amount of the movement of the face region based on the change amount of the movement of the face region at a current time;
And generating a time series pattern of a change amount of the motion for each of the detailed other areas based on the change amount of the motion at the present time point for each of the detailed other areas. 제 15 항에 있어서, 상기 반응 판단부는
상기 얼굴 영역의 움직임 변화량과 상기 세부 기타 영역각각의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 패턴 조합 생성부;
상기 생성한 패턴 조합과 반응 패턴 데이터베이스에 저장되어 있는 반응 패턴의 일치도를 계산하여 상기 생성한 패턴 조합에 매핑되는 반응 패턴을 검색하는 반응 패턴 검색부; 및
상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 반응 결정부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.The method of claim 15, wherein the reaction determination unit
A pattern combination generation unit generating a pattern combination from a time series pattern of a motion change amount of the face region and a motion change amount of each of the detailed other regions;
A response pattern search unit configured to search for a response pattern mapped to the generated pattern combination by calculating a degree of agreement between the generated pattern combination and the response pattern stored in the response pattern database; And
And a response determiner configured to determine a response of the audience based on the retrieved response pattern.
KR1020120109345A 2012-09-28 2012-09-28 Method for estimating response of audience concerning content KR101337833B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120109345A KR101337833B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience concerning content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109345A KR101337833B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience concerning content

Publications (1)

Publication Number Publication Date
KR101337833B1 true KR101337833B1 (en) 2013-12-06

Family

ID=49987479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109345A KR101337833B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience concerning content

Country Status (1)

Country Link
KR (1) KR101337833B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137320A (en) 2014-05-29 2015-12-09 모젼스랩(주) analysis system and method for response of audience
KR101668387B1 (en) * 2016-05-16 2016-10-21 정문영 Apparatus for analyzing behavior of movie viewers and method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502222A (en) 2000-06-27 2004-01-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Method and apparatus for tailoring the content of information presented to audience
KR20080072085A (en) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 Apparatus and method for collecting user evaluation regarding contents
JP2010207488A (en) * 2009-03-12 2010-09-24 Gifu Univ Behavior analyzing device and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502222A (en) 2000-06-27 2004-01-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Method and apparatus for tailoring the content of information presented to audience
KR20080072085A (en) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 Apparatus and method for collecting user evaluation regarding contents
JP2010207488A (en) * 2009-03-12 2010-09-24 Gifu Univ Behavior analyzing device and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137320A (en) 2014-05-29 2015-12-09 모젼스랩(주) analysis system and method for response of audience
KR101668387B1 (en) * 2016-05-16 2016-10-21 정문영 Apparatus for analyzing behavior of movie viewers and method thereof

Similar Documents

Publication Publication Date Title
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
US9495754B2 (en) Person clothing feature extraction device, person search device, and processing method thereof
US10185877B2 (en) Systems, processes and devices for occlusion detection for video-based object tracking
KR100873638B1 (en) Image processing method and apparatus
JP3740065B2 (en) Object extraction device and method based on region feature value matching of region-divided video
US8942469B2 (en) Method for classification of videos
US10242287B2 (en) Image processing apparatus, image processing method, and recording medium
US9596520B2 (en) Method and system for pushing information to a client
JP6557592B2 (en) Video scene division apparatus and video scene division program
CN103699532A (en) Image color retrieval method and system
CN104951742A (en) Detection method and system for sensitive video
US20210182566A1 (en) Image pre-processing method, apparatus, and computer program
Lefèvre et al. Efficient and robust shot change detection
KR101833943B1 (en) Method and system for extracting and searching highlight image
KR101337833B1 (en) Method for estimating response of audience concerning content
CN107909078B (en) Inter-graph significance detection method
JP2014110020A (en) Image processor, image processing method and image processing program
KR101403143B1 (en) Method for estimating response of audience group concerning content
KR102413043B1 (en) Method and apparatus for seperating shot of moving picture content
KR101403244B1 (en) Method for estimating attention level of audience group concerning content
KR20160109221A (en) Method and device for determining similarity of sequences
KR101554784B1 (en) Method for estimating response of audience concerning content
Song et al. No-reference quality assessment of night-time images via the analysis of local and global features
Fendri et al. Adaptive person re-identification based on visible salient body parts in large camera network
CN108711164A (en) A kind of method for testing motion based on LBP and Color features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161013

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee