KR101403143B1 - Method for estimating response of audience group concerning content - Google Patents

Method for estimating response of audience group concerning content Download PDF

Info

Publication number
KR101403143B1
KR101403143B1 KR1020120109346A KR20120109346A KR101403143B1 KR 101403143 B1 KR101403143 B1 KR 101403143B1 KR 1020120109346 A KR1020120109346 A KR 1020120109346A KR 20120109346 A KR20120109346 A KR 20120109346A KR 101403143 B1 KR101403143 B1 KR 101403143B1
Authority
KR
South Korea
Prior art keywords
unit
pattern
audience
group
area
Prior art date
Application number
KR1020120109346A
Other languages
Korean (ko)
Other versions
KR20140042504A (en
Inventor
김재경
박승보
유은정
박원국
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020120109346A priority Critical patent/KR101403143B1/en
Publication of KR20140042504A publication Critical patent/KR20140042504A/en
Application granted granted Critical
Publication of KR101403143B1 publication Critical patent/KR101403143B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것으로, 보다 구체적으로 다수의 관객이 포함되어 있는 관객 그룹 영상에서 단위 관객 그룹 영상에 대한 움직임 변화량의 시계열 패턴을 판단하고, 시계열 패턴에 일치하는 반응 패턴을 검색하여 컨텐츠에 대한 관객 그룹의 반응을 판단하는 방법에 관한 것이다.More particularly, the present invention relates to a method of determining a response of a viewer to a content, and more particularly, to a method and apparatus for determining a time-series pattern of a motion variation amount for a unit audience group image in a viewer group image including a plurality of spectators, And determining a reaction of the audience group to the content.

Description

컨텐츠에 대한 관객 그룹의 반응 판단 방법{Method for estimating response of audience group concerning content}[0001] The present invention relates to a method for estimating response of an audience group to content,

본 발명은 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것으로, 보다 구체적으로 다수의 관객이 포함되어 있는 관객 그룹 영상에서 단위 관객 그룹 영상에 대한 움직임 변화량의 시계열 패턴을 판단하고, 시계열 패턴에 일치하는 반응 패턴을 검색하여 컨텐츠에 대한 관객 그룹의 반응을 판단하는 방법에 관한 것이다.More particularly, the present invention relates to a method of determining a response of a viewer to a content, and more particularly, to a method and apparatus for determining a time-series pattern of a motion variation amount for a unit audience group image in a viewer group image including a plurality of spectators, And determining a reaction of the audience group to the content.

공연, 영화, 박람회 등과 같은 컨텐츠에 대한 관객의 반응을 판단하기 위한 종래 방법은 공연이 끝난 후, 설문지나 직접 질문을 통해 관객의 만족도, 몰입도, 흥미도 등을 판단하게 된다. 그러나 이러한 종래 관객 반응 판단 방법은 컨텐츠 전체에 대한 반응이며, 컨텐츠 중 관객이 흥미를 보이거나 즐거워하는 부분 또는 지루해하거나 관심을 가지지 않는 부분을 개별적으로 평가하기 곤란하다. Conventional methods for judging the viewer's reaction to contents such as performances, movies, and fairs are to determine the satisfaction, immersion, and interest of the audience through questionnaires or direct questions after the performance. However, this conventional audience reaction determination method is a reaction to the entire contents, and it is difficult to individually evaluate the portion of the contents that the viewer is interested in or enjoys, or the portions that are bored or not interested.

종래 컨텐츠에 대한 관객의 반응을 판단하는 다른 방법은 관객 그룹 영상에서 관객의 얼굴 패턴 영역을 추출하고 추출한 얼굴 패턴 영역에서 관객의 얼굴 표정 변화를 감지하여 컨텐츠에 대한 관객의 만족도, 흥미도를 평가하였다. 그러나 컨텐츠 종류에 따라 어두운 환경에서 공연되는 경우 관객의 얼굴 패턴 영역을 정확하게 추출하고 추출한 얼굴 패턴 영역에 기초하여 관객의 얼굴 표정 변화를 감지하기 곤란하다. Another method of judging the reaction of the audience to the conventional contents is to extract the face pattern area of the audience in the audience group image and to evaluate the audience satisfaction and interest in the contents by detecting the change of the face expression of the audience in the extracted face pattern area . However, when the performance is performed in a dark environment depending on the content type, it is difficult to accurately detect the face pattern area of the audience and to detect the change in the facial expression of the viewer based on the extracted face pattern area.

더욱이 종래 컨텐츠에 대한 관객의 반응 판단 방법은 관객 개인에 대한 컨텐츠의 반응을 판단하는 것에 초점을 맞추어져 있으며, 통상적으로 다수의 관객이 그룹을 이루어 동일한 컨텐츠를 관람하는 경우 관객 그룹 전체에 대한 컨텐츠의 반응을 판단하지 못한다는 문제점을 가진다. In addition, the method of determining the response of the audience to the conventional contents is focused on judging the reaction of the contents to the audience. In general, when a large number of audiences are grouped to watch the same contents, The reaction can not be judged.

본 발명은 위에서 언급한 종래 컨텐츠 반응 판단 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 관객 그룹 영상에서 생성한 단위 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 그룹의 반응을 판단하는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to provide a method and apparatus for determining a content response based on a time series pattern of a variation in a unit audience area generated in a viewer group video, And the like.

본 발명이 이루고자 하는 다른 목적은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 단위 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 그룹의 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.Another object of the present invention is to provide a method for accurately determining a reaction of a viewer group to a content based on a time series pattern of a change amount of a movement of a unit viewer area even in a dark environment in which facial expression recognition of a viewer is impossible.

본 발명이 이루고자 하는 또 다른 목적은 동일 컨텐츠에 대한 관객 개개인의 반응 대신, 관객 그룹의 반응, 즉 컨텐츠에 대한 다수 관객의 평균적인 반응을 판단할 수 있는 방법을 제공하는 것이다.It is another object of the present invention to provide a method of determining the response of an audience group, that is, an average response of a plurality of viewers to content, instead of individual responses of the audience to the same content.

본 발명이 이루고자 하는 또 다른 목적은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 관객 개개인의 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 동일 컨텐츠에 대한 관객 그룹의 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.It is another object of the present invention to provide an apparatus and method for judging a response of a viewer to a content based on a change in movement of a viewer area, And to provide a method for accurately determining the reaction of an audience group to content.

본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 그룹의 반응 판단 방법은 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 단계와, 관객 그룹 영상과 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역 사이의 차영상을 획득하고, 차영상의 픽셀값 히스토그램으로부터 단위 관객 영역별로 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계와, 단위 관객 영역의 현재 시점 움직임 변화량으로부터 단위 관객 영역별로 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계와, 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴에 기초하여 관객 그룹의 그룹 반응 패턴을 결정하고 결정한 그룹 반응 패턴으로부터 관객 그룹의 반응을 판단하는 단계를 포함한다. In order to accomplish the object of the present invention, there is provided a method for determining a reaction of a group of spectators according to the present invention comprises the steps of: generating a unit audience area in units of individual spectators in which individual spectators constituting a spectator group are located; The difference image between the unit audience area and the previous unit audience area generated in the previous audience group image is obtained by subtracting the previous audience group image of the image and the audience group video from each other, and the difference image is obtained from the histogram of the pixel value of the difference image, A step of generating a time series pattern of the amount of change in motion with respect to a unit viewer area for each unit viewer area from a change amount of motion at the current time point of the unit viewer area, Based on the time-series pattern of variation, Determining a group response pattern, and determining the response of the audience group from the determined group response pattern.

단위 관객 영역은 관객 그룹 영상에서 관객의 얼굴 패턴 영역을 검출하고 검출한 얼굴 패턴 영역으로부터 관객 개개인의 단위 관객 영역을 생성하는 것을 특징으로 한다. The unit viewer area detects the face pattern area of the viewer in the audience group image and generates a unit viewer area of each viewer from the detected face pattern area.

여기서 움직임 변화량을 계산하는 단계는 관객 그룹 영상과 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 단위 관객 영역별로 단위 관객 영역과 이전 관객 그룹 영상으로부터 생성한 이전 단위 관객 영역 사이의 차 영상을 생성하는 단계와, 단위 관객 영역별로 차 영상을 구성하는 픽셀의 픽셀값으로부터 단위 관객 영역의 밝기 히스토그램을 생성하는 단계와, 단위 관객 영역별로 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계를 포함한다.Here, the step of calculating the amount of motion variation may include generating a difference image between a unit audience area for each unit audience area and a previous unit audience area generated from the previous audience group image by subtracting the previous audience group images of the audience group video and the audience group video from each other Generating a brightness histogram of a unit viewer area from pixel values of pixels constituting a difference image for each unit viewer area; determining a total number of pixels having a brightness equal to or greater than a threshold value in a brightness histogram for each unit viewer area, And calculating the amount of motion change at the current point in time for the unit viewer area based on the total number.

여기서 관객 그룹의 반응 판단 방법에서 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량은 단위 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 한다. Here, in the reaction determination method of the audience group, the motion change amount at the current time point with respect to the unit viewer area is divided by the area of the unit viewer area and is normalized.

바람직하게, 단위 관객 영역은 검출한 얼굴 패턴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되는 것을 특징으로 한다. 더욱 바람직하게, 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 한다. Preferably, the unit viewer area is divided into a face area and other areas adjacent to the face area based on the detected face pattern area. More preferably, the other region is characterized by being divided into at least one more specific region.

여기서 움직임 변화량을 계산하는 단계는 단위 관객 영역별로 얼굴 영역과 세부 기타 영역 각각에 대한 개별 밝기 히스토그램을 생성하고, 생성한 개별 밝기 히스토그램으로부터 얼굴 영역과 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 한다. Here, the step of calculating the amount of motion change may be performed by generating an individual brightness histogram for each of the face region and the detail region for each unit viewer area, and calculating the amount of motion variation at the current point in the face region and the detail region from the generated individual brightness histogram .

여기서 움직임 변화량의 시계열 패턴은 단위 관객 영역별로 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고, 단위 관객 영역별로 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 한다.Here, the time-series pattern of the amount of motion change generates a time-series pattern of the amount of motion variation with respect to the face area from the amount of motion change at the current time point with respect to the face area per unit audience area, And generates a time-series pattern of the amount of change in motion with respect to the other detailed areas.

구체적으로, 관객 그룹의 반응을 판단하는 단계는 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 패턴 데이터베이스에서 검색하고 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 패턴 데이터베이스에서 검색하는 단계와, 단위 관객 영역별로 얼굴 패턴 단위 식별자와 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성하는 단계와, 단위 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하여 관객 개개인의 단위 반응 패턴을 결정하는 단계와, 관객 그룹을 구성하는 모든 관객의 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단일 반응 패턴을 가지는 단위 반응 패턴을 관객 그룹의 그룹 반응 패턴으로 결정하는 단계와, 결정한 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단하는 단계를 포함한다.Specifically, the step of judging the reaction of the audience group is to search the pattern database for a face pattern unit identifier corresponding to the unit time series pattern of the motion variation with respect to the face area for each unit viewer area, Searching a pattern database for other pattern unit identifiers corresponding to the unit patterns, generating a unit pattern combination from face pattern unit identifiers and other pattern unit identifiers for each unit viewer area, Determining a unit response pattern of each audience based on a unit response pattern of all the spectators constituting the audience group; searching the database for a group response pattern of the audience group And And determining a response mapped to the determined group reaction pattern as a reaction of the audience group.

구체적으로, 관객 그룹의 반응을 판단하는 단계는 관객 그룹의 단위 관객 영역별로 생성한 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 동일 단위 시간별로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고, 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 관객 그룹을 구성하는 관객의 수로 나누어 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 단계와, 관객 그룹의 단위 관객 영역별로 생성한 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 단위 시간별로 합하여 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 관객 그룹을 구성하는 관객의 수로 나누어 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 단계와, 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 그룹 식별자를 패턴 데이터베이스에서 검색하고 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 그룹 식별자를 패턴 데이터베이스에서 검색하는 단계와, 얼굴 패턴 그룹 식별자와 기타 패턴 그룹 식별자로부터 그룹 패턴 조합을 생성하고 그룹 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단계와, 검색한 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단하는 단계를 포함하는 것을 특징으로 한다. Specifically, the step of judging the reaction of the audience group is a step of generating a group time series pattern of the amount of motion variation with respect to the face area by combining the time series patterns of the motion variation with respect to the face area generated for each unit audience area of the audience group by the same unit time A step of generating an average time series pattern of the amount of movement change with respect to the face region by dividing the group time series pattern of the amount of movement variation with respect to the face region by the number of the audience members constituting the audience group, A group time series pattern of a motion variation amount for a detailed other area is added by adding the time series patterns of the motion variation amount for the same other detail areas to the same other unit time and a group time series pattern of the movement variation amount for the detail other area Divided by the number of Generating a mean time-series pattern of the amount of motion variation with respect to other regions; searching a pattern database for a face pattern group identifier corresponding to an average time-series pattern of the amount of motion variation with respect to the face region; Searching the pattern database for other pattern group identifiers matching the pattern pattern group identifier, generating a group pattern combination from the face pattern group identifier and the other pattern group identifiers, searching the reaction pattern database for a reaction pattern matching the group pattern combination, And judging the reaction mapped to the searched reaction pattern as a reaction of the audience group.

여기서 얼굴 영역에 대한 움직임 변화량 또는 세부 기타 영역에 대한 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 한다. Here, the amount of motion variation with respect to the face area or the amount of variation with respect to other detailed areas is classified into a setting unit level.

여기서 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴 또는 평균 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴 또는 평균 시계열 패턴과 일치하는 기타 패턴 식별자 사이의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,Here, the matching degree (P) between the unit time-series pattern of the amount of motion change with respect to the face area or the face pattern identifier corresponding to the average time-series pattern, or the other pattern identifiers matching the average time series pattern or the unit time- Is calculated by the following equation (1)

[수학식 1][Equation 1]

Figure 112012079782000-pat00001
Figure 112012079782000-pat00001

P1ti는 ti 단위 시간에서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 패턴 데이터베이스에 저장되어 있는 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며, 가장 높은 일치도를 가지는 패턴 데이터베이스의 패턴 식별자가 얼굴 패턴 식별자 또는 기타 패턴 식별자로 선택되는 것을 특징으로 한다.P 1ti is a detailed match degree indicating the degree of similarity or similarity between the amount of motion change for the face region or the detail other region acquired in the ti unit time and the amount of motion variation stored in the pattern database, A facial pattern identifier, or other pattern identifiers.

본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 그룹의 반응 판단 장치는 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 관객 영역 검출부와, 관객 그룹 영상과 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역 사이의 차영상을 획득하고 차영상의 픽셀값 히스토그램으로부터 단위 관객 영역별로 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부와, 단위 관객 영역의 현재 시점 움직임 변화량으로부터 단위 관객 영역별로 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단위 시계열 패턴 생성부와, 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴에 기초하여 관객 그룹의 전체 반응 패턴을 결정하고 결정한 전체 반응 패턴으로부터 관객 그룹의 반응을 판단하는 반응 판단부를 포함하는 것을 특징으로 한다. In order to accomplish the object of the present invention, there is provided an apparatus for determining a reaction of a group of spectators according to the present invention, comprising: a viewer area detecting unit for generating a unit audience area in units of individual spectators, A difference image between a unit audience area and a previous unit audience area generated in a previous group image is obtained by subtracting the previous group image of the audience group video and the audience group video from each other and a difference image is generated from the pixel value histogram of the difference image A unit time series pattern generating unit for generating a time series pattern of the amount of change in motion with respect to the unit audience area for each unit audience area from the current time movement variation of the unit audience area, And a motion for the unit audience area And a reaction judgment unit for determining a reaction pattern of the audience group based on the time-series pattern of the variation of the amount of change and determining the reaction of the audience group based on the determined overall reaction pattern.

관객 영역 검출부는 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부와, 관객 개개인별로 얼굴 영역에 기초하여 얼굴 영역과 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 획득한 관객 그룹 영상에서 관객 개개인 별로 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성하는 단위 관객 영역 생성부를 포함하는 것을 특징으로 한다. The audience region detection unit includes a face region search unit for searching for the face pattern shape of each of the audience members constituting the audience group in the acquired audience group video to determine the face region of each audience, A unit area division unit that divides the area into a plurality of other areas having at least one or more other detailed areas adjacent to the area, and a unit audience area for creating a unit audience area composed of a face area and other areas for each audience in the obtained audience group video And a generation unit.

움직임 변화량 계산부는 관객 그룹 영상과 이전 관객 그룹 영상을 서로 차감하여 단위 관객 영역별로 단위 관객 영역과 이전 단위 관객 영역 사이의 차영상을 생성하는 차영상 생성부와, 생성한 차영상에서, 단위 관객 영역별로 얼굴 영역의 차영상과 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부와, 단위 관객 영역별로 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함하는 것을 특징으로 한다. The motion variation calculation unit may include a difference image generation unit that subtracts the audience group image and the previous audience group image from each other to generate a difference image between the unit audience region and the previous unit audience region for each unit audience region, A histogram generating unit for generating a brightness histogram of a difference image of each of the difference images of the difference image of the face area from the pixel values of the pixels constituting the difference images of the face area and the detail difference area, The total number of pixels having brightness equal to or more than the threshold value in the brightness histogram of the difference image of each of the difference images of the difference image of the face area and the difference image of each of the detail difference areas in each unit audience area is determined and based on the determined total number, The current change in motion at the current point and the other And a change amount calculation unit for calculating the motion change amount at the re-start point at the set unit level.

시계열 패턴 생성부는 단위 관객 영역별로 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고, 단위 관객 영역별로 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 한다. The time-series pattern generation unit generates a time-series pattern of the amount of motion variation with respect to the face area based on the amount of motion variation at the current time point with respect to the face area for each unit audience area, And generates a time-series pattern of the amount of motion variation for each of the other detailed areas based on the time-series pattern.

본 발명에 따른 관객 그룹의 반응 판단 장치의 일 실시예에서 반응 판단부는 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴으로부터 관객 개개인의 단위 반응 패턴을 판단하는 개인 반응 판단부와, 관객 그룹을 구성하는 모든 관객의 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단위 반응 패턴을 관객 그룹의 그룹 반응 패턴으로 판단하고 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단하는 그룹 반응 판단부를 포함하는 것을 특징으로 한다. In an embodiment of the reaction determining unit of the audience group according to the present invention, the reaction determining unit may calculate a unit time series pattern of a motion variation with respect to a face region and a unit response pattern A pattern matching unit that determines a pattern matching pattern based on the unit response patterns of all the spectators constituting the audience group, determines the largest number of identical unit response patterns as the group response pattern of the audience group, And a group response determiner for determining the group response as a response of the audience group.

구체적으로, 개인 반응 판단부는 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 검색하고, 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 검색하는 단위 패턴 검색부와, 단위 관객 영역별로 얼굴 패턴 단위 식별자와 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성하는 단위 패턴 조합 생성부와, 단위 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단위 반응 패턴 검색부를 포함하는 것을 특징으로 한다.Specifically, the personal reaction determination unit calculates a matching degree of a pattern stored in the pattern database and a unit time-series pattern of the amount of motion variation with respect to the face region for each unit audience area, And searches for other pattern unit identifiers matching the unit time series pattern of the amount of motion variation for the detailed area by calculating the unit time series pattern of the amount of motion variation with respect to other detailed areas and the degree of matching of the pattern stored in the pattern database A unit pattern combination generating unit for generating a unit pattern combination from a face pattern unit identifier and other pattern unit identifiers for each unit audience area; pattern And a search unit.

본 발명에 따른 관객 그룹의 반응 판단 장치의 다른 실시예에서 반응 판단부는 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴과 관객 그룹의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 평균 시계열 패턴 생성부와, 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴과 관객 그룹의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴으로부터 관객 그룹의 그룹 반응 패턴을 결정하고 결정한 그룹 반응 패턴으로부터 관객 그룹의 반응을 판단하는 그룹 반응 판단부를 포함하는 것을 특징으로 한다.In another embodiment of the reaction determining device of the audience group according to the present invention, the reaction determining unit may calculate an average time series pattern of the motion variation amount for the face region of the audience group and an average time series pattern The group response pattern of the audience group is determined from the average time series pattern of the amount of movement variation with respect to the face area of the audience group and the average time series pattern of the movement variation with respect to the other detail areas of the audience group, And a group reaction determiner for determining the reaction of the group.

구체적으로, 평균 시계열 패턴 생성부는 관객 그룹의 단위 관객 영역별로 생성한 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 동일 시간 단위로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 관객 그룹을 구성하는 관객의 수로 나누어 얼굴 영역의 움직임 변화량의 평균 시계열 패턴을 생성하는 제1 평균 시계열 패턴 생성부와, 관객 그룹의 상기 단위 관객 영역별로 생성한 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 시간 단위로 합하여 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고 세부 기타 영역의 움직임 변화량의 그룹 시계열 패턴을 관객 그룹을 구성하는 관객의 수로 나누어 세부 기타 영역의 움직임 변화량의 평균 시계열 패턴을 생성하는 제2 평균 시계열 패턴 생성부를 포함한다.Specifically, the average time series pattern generation unit generates a group time series pattern of the amount of motion variation for the face region by summing the time series patterns of the motion variation with respect to the face region generated for each unit audience region of the audience group on the same time unit basis, A first average time series pattern generation unit for generating a group time series pattern of the amount of movement variation by an average time series pattern of the amount of movement variation of the face region by dividing the group time series pattern of the movement variation amount by the number of the audience members, A group time series pattern of a motion variation amount for a detailed other area is obtained by adding the time series pattern of the motion variation amount to the detail other areas in the same time unit and a group time series pattern of the movement variation amount of the detail other area is added to the audience Divided by the number of It comprises a second part average time series pattern generator for generating an average of the time series pattern of the movement amount of change in the other areas.

구체적으로, 그룹 반응 판단부는 얼굴 영역의 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 얼굴 영역의 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 평균 식별자를 검색하고 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 평균 식별자를 검색하는 그룹 패턴 검색부와, 얼굴 패턴 평균 식별자와 기타 패턴 평균 식별자로부터 그룹 패턴 조합을 생성하는 그룹 패턴 조합 생성부와, 생성한 그룹 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 그룹 반응 패턴 검색부와, 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단하는 그룹 판단부를 포함하는 것을 특징으로 한다.Specifically, the group reaction determination unit calculates the matching degree of the average time series pattern of the amount of motion variation of the face region and the pattern stored in the pattern database to search for the face pattern average identifier that matches the average time series pattern of the variation amount of the face region, A group pattern search unit for calculating an average time series pattern of the amount of motion variation with respect to the region and a pattern matching degree stored in the pattern database to search for other pattern average identifiers matching the average time series pattern of the amount of motion variation with respect to other detailed regions, A group pattern matching unit for generating a group pattern combination from the pattern average identifier and the other pattern average identifiers, a group response pattern searching unit for searching, from the response pattern database, the response patterns matching the generated group pattern combination, Mapped And a response characterized in that it includes a group determination for determining the reaction of the audience group.

본 발명에 따른 컨텐츠에 대한 관객 그룹의 반응 판단 방법은 다음과 같은 다양한 효과를 가진다.The method of determining the response of the audience group to the contents according to the present invention has the following various effects.

첫째, 본 발명에 따른 관객 그룹의 반응 판단 방법은 관객 그룹 영상에서 생성한 단위 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 그룹의 반응을 판단함으로써, 다수의 관객의 반응을 빠르고 적은 연산량으로 판단할 수 있다.First, the reaction determination method of the audience group according to the present invention determines the response of the audience group to the content based on the time series pattern of the change amount of the movement of the unit audience area generated in the audience group image, It can be judged by the calculation amount.

둘째, 본 발명에 따른 관객 그룹의 반응 판단 방법은 얼굴 표정 인식이 불가능한 어두운 환경에서도 단위 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 그룹의 반응을 정확하게 판단할 수 있다.Second, the reaction determination method of the audience group according to the present invention can accurately determine the reaction of the audience group to the content based on the time series pattern of the amount of change in the movement of the unit viewer area even in a dark environment where facial expression recognition is impossible.

셋째, 본 발명에 따른 관객 그룹의 반응 판단 방법은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 관객 개개인의 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 동일 컨텐츠에 대한 관객 그룹의 반응을 정확하게 판단할 수 있다.Third, the reaction determination method of the audience group according to the present invention determines the response of the audience to the contents based on the amount of change in the motion of the viewer area, and thereby, compared with the conventional reaction determination device based on the accurate facial expression change of each viewer, Equipment can accurately judge the reaction of the audience group to the same content.

도 1은 본 발명의 일 실시예에 따른 관객 그룹의 반응 판단 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 관객 그룹의 반응 판단 장치를 설명하는 기능 블록도이다.
도 3은 본 발명에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 단위 관객 영역에 대한 움직임 변화량 계산부를 설명하기 위한 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 관객 그룹 판단 장치의 개인 반응 판단부를 설명하기 위한 기능 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 관객 그룹 반응 판단 장치의 그룹 반응 판단부를 설명하기 위한 기능 블록도이다.
도 7은 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객 그룹의 반응 판단 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명에 따라 관객 그룹 영상으로부터 단위 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 9는 관객 그룹 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있다.
도 10은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 11은 움직임 변화량이 존재하는 관객 그룹 영상의 전체 차영상의 일 예를 도시하고 있다.
도 12는 본 발명의 일 실시예에 따른 관객 반응의 판단 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 관객 반응의 판단 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 14는 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다. FIG. 1 is a functional block diagram for explaining a reaction determination device of a group of spectators according to an embodiment of the present invention.
2 is a functional block diagram illustrating an apparatus for determining a reaction of a group of spectators according to another embodiment of the present invention.
FIG. 3 is a functional block diagram for explaining the audience region detecting unit according to the present invention in more detail.
4 is a functional block diagram for explaining a motion variation calculation unit for a unit audience area according to the present invention.
FIG. 5 is a functional block diagram illustrating an individual reaction determination unit of an audience group determination apparatus according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a functional block diagram illustrating a group response determination unit of an audience group response determination apparatus according to another embodiment of the present invention.
FIG. 7 is a flowchart illustrating a method of determining a reaction of an audience group to content according to an exemplary embodiment of the present invention. Referring to FIG.
8 is a flowchart illustrating an example of a method of generating a unit viewer area from an audience group image according to the present invention.
FIG. 9 shows an example of a face area and a viewer area searched in a viewer group image.
10 is a flowchart for explaining a method of calculating the amount of change in the motion of an audience area in the present invention.
FIG. 11 shows an example of a total difference image of a viewer group image in which a motion variation amount exists.
FIG. 12 is a flowchart illustrating a method for determining audience response according to an exemplary embodiment of the present invention.
FIG. 13 is a flowchart illustrating a method of determining an audience response according to another embodiment of the present invention.
FIG. 14 shows an example of a time-series pattern of the amount of motion variation with respect to a unit viewer area.

이하 첨부한 도면을 참고로 본 발명에 따른 관객 그룹의 반응 판단 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A method and apparatus for determining a reaction of an audience group according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 관객 그룹의 반응 판단 장치를 설명하기 위한 기능 블록도이다.FIG. 1 is a functional block diagram for explaining a reaction determination device of a group of spectators according to an embodiment of the present invention.

도 1을 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 공연, 뮤지컬, 영화, 전시물 등의 컨텐츠를 관람하는 다수 관객의 영상을 촬영하여 관객 그룹의 영상을 획득한다. 이하, 동일 컨텐츠를 관람하는 다수 관객의 영상을 관객 그룹 영상이라 언급한다. 영상 촬영부(110)는 컨텐츠를 관람하는 관객 그룹의 모습을 정확하게 촬영하는 위치에 배치되어 있는데, 예를 들어 관객 그룹의 정면에 위치하거나 정면 상부에 위치하거나 옆에 위치할 수 있다. 또한 컨텐츠를 관람하는 관객 그룹의 반응을 정확하게 판단하기 위하여 영상 촬영부(110)는 여러 장소에 배치되어 컨텐츠를 관람하는 관객 그룹의 영상을 촬영할 수 있다.1, the image capturing unit 110 captures an image of a plurality of spectators viewing a content such as a performance, a musical, a movie, and an exhibit, thereby acquiring an image of the audience group. Hereinafter, an image of a plurality of viewers who watch the same content is referred to as a viewer group image. The image capturing unit 110 is disposed at a position for accurately capturing the image of a group of viewers watching the content, for example, located in front of the audience group, in the upper part of the front side, or in the side. Also, in order to accurately determine the reaction of a group of spectators watching the content, the image capturing unit 110 may be arranged at various places to take an image of a group of spectators watching the content.

관객 영역 검출부(120)는 영상 촬영부(110)로부터 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 그룹 영상에 위치하는 관객 개개인의 얼굴 영역을 판단하여 관객 개개인별로 얼굴 영역을 포함하는 단위 관객 영역을 생성한다. 바람직하게, 관객 영역 검출부(120)는 얼굴 영역과 얼굴 영역에 인접하여 위치하는 기타 영역으로 구분하여 단위 관객 영역을 생성하며, 더욱 바람직하게 적어도 1개 이상의 세부 기타 영역으로 기타 영역을 구분하여 생성한다. The audience region detection unit 120 searches the face pattern region of each audience in the audience group video acquired from the video shooting unit 110 and determines the face region of each audience in the audience group video based on the searched face pattern region Thereby creating a unit audience area including a face area for each audience. Preferably, the viewer area detecting unit 120 generates a unit viewer area by dividing the face area into other areas located adjacent to the face area, and more preferably, by dividing other areas into at least one other detailed area .

움직임 변화량 계산부(130)는 현재 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역 사이의 현재 시점에서의 움직임 변화량을 계산한다. 여기서 관객 영역 검출부(120)는 설정 시간 단위로 연속하여 획득되는 관객 그룹 영상에 대해 순차적으로 단위 관객 영역을 생성하고, 움직임 변화량 계산부(130)는 순차적으로 생성한 단위 관객 영역에 대한 움직임 변화량을 설정 시간 단위로 계산하여 저장한다. 바람직하게, 움직임 변화량 계산부(130)는 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량을 계산하고, 단위 관객 영역의 각 세부 기타 영역에 대한 움직임 변화량을 구분하여 계산한다.The motion change amount calculation unit 130 calculates a motion change amount at the current time between the unit audience region and the previous unit audience region of the previous audience group image by subtracting the current audience group image and the previous audience group image. Herein, the audience region detecting unit 120 sequentially generates unit audience regions for the audience group images successively obtained in units of set time, and the motion variation calculating unit 130 calculates a motion variation amount for the sequentially generated unit audience regions It is calculated and stored in set time unit. Preferably, the motion variation calculation unit 130 calculates the amount of motion variation with respect to the face area of the unit audience area, and calculates the motion variation amount with respect to each of the other detailed areas of the unit audience area.

단위 시계열 패턴 생성부(140)는 순차적으로 설정 시간 단위로 저장되어 있는 단위 관객 영역의 움직임 변화량에 기초하여 단위 관객 영역별로 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하며, 개인 반응 판단부(150)는 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스(DB)에서 검색한다. 바람직하게, 단위 시계열 패턴 생성부(140)는 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 각각 생성하며, 개인 반응 판단부(150)는 얼굴 영역에 대한 움직임 변화량의 시계열 패턴 및 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색한다.The unit time-series pattern generation unit 140 generates a time-series pattern of the amount of movement variation for each unit audience area on the basis of the amount of movement variation of the unit audience area sequentially stored in units of set time, 150) searches the reaction pattern database (DB) for a reaction pattern matching the time series pattern of the amount of motion variation with respect to the unit audience area. Preferably, the unit time-series pattern generation unit 140 generates a time-series pattern of the amount of motion variation with respect to the face region and a time-series pattern of the amount of movement variation with respect to the detailed region in each unit viewer region, A time series pattern of motion variation with respect to the region, and a reaction pattern matching the time series pattern of the motion variation with respect to other detailed regions are searched in the response pattern database.

그룹 반응 판단부(160)는 관객 그룹을 구성하는 모든 관객의 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단위 반응 패턴을 관객 그룹의 그룹 반응 패턴으로 판단하고, 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단한다.
The group reaction determination unit 160 determines the largest number of identical unit response patterns as the group response pattern of the audience group based on the unit response pattern of all the audience members forming the audience group, It is judged by the reaction of the audience group.

도 2는 본 발명의 다른 실시예에 따른 관객 그룹의 반응 판단 장치를 설명하는 기능 블록도이다.2 is a functional block diagram illustrating an apparatus for determining a reaction of a group of spectators according to another embodiment of the present invention.

도 2를 참고로 보다 구체적으로 살펴보면, 영상 촬영부(210)는 컨텐츠를 관람하는 다수 관객의 영상을 촬영하여 관객 그룹의 영상을 획득한다. 관객 영역 검출부(220)는 영상 촬영부(210)로부터 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 그룹 영상에 위치하는 관객 개개인의 얼굴 영역을 판단하여 관객 개개인별로 얼굴 영역을 포함하는 단위 관객 영역을 생성한다. 2, the image capturing unit 210 captures an image of a plurality of viewers watching the content and acquires an image of the audience group. The audience region detection unit 220 searches the face pattern region of each audience in the audience group video acquired from the video image capturing unit 210 and determines the face region of each audience in the audience group video based on the searched face pattern region Thereby creating a unit audience area including a face area for each audience.

움직임 변화량 계산부(230)는 현재 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량을 계산하고, 단위 관객 영역의 각 세부 기타 영역에 대한 움직임 변화량을 구분하여 계산한다. 단위 시계열 패턴 생성부(240)는 순차적으로 설정 시간 단위로 저장되어 있는 단위 관객 영역의 움직임 변화량에 기초하여 단위 관객 영역별로 단위 관객 영역의 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 세부 기타 영역에 대한 움직임 변화량의 t시계열 패턴을 생성한다. 본 발명의 다른 실시예에 따른 영상 촬영부(210), 관객 영역 검출부(220), 움직임 변화량 계산부(230) 및 단위 시계열 패턴 생성부(240)는 각각 본 발명의 일 실시예에 따른 영상 촬영부(110), 관객 영역 검출부(120), 움직임 변화량 계산부(130) 및 단위 시계열 패턴 생성부(140)와 동일하며, 상세한 설명은 도 1을 참고한다.The motion change amount calculation unit 230 calculates a motion change amount with respect to the face area of the unit viewer area by subtracting the current viewer group image and the previous viewer group image, and calculates the motion variation amount for each detail area of the unit viewer area do. The unit time-series pattern generation unit 240 sequentially generates a time-series pattern of the amount of motion variation with respect to the face region of the unit audience region and a detailed time-series pattern of the detailed other region on the basis of the amount of motion variation of the unit audience region, Generates a time series pattern of the amount of motion variation. The image capturing unit 210, the viewer area detecting unit 220, the motion variation calculating unit 230 and the unit time series pattern generating unit 240 according to another embodiment of the present invention can be used for image capturing The motion vector calculation unit 130, and the unit time-series pattern generation unit 140, which will be described in detail with reference to FIG.

평균 시계열 패턴 판단부(250)는 관객 그룹을 구성하는 관객의 각 단위 관객 영상의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴과 관객 그룹을 구성하는 관객의 각 단위 관객 영상의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성한다. 평균 시계열 패턴 판단부(250)는 제1 평균 시계열 패턴 생성부와 제2 평균 시계열 패턴 생성부를 구비하는데, 제1 평균 시계열 패턴 생성부는 관객 그룹의 단위 관객 영역별로 생성한 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 동일 시간 단위로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 전체 시계열 패턴을 생성하고, 얼굴 영역에 대한 움직임 변화량의 전체 시계열 패턴을 상기 관객 그룹을 구성하는 관객의 수로 나누어 얼굴 영역의 움직임 변화량의 평균 시계열 패턴을 생성한다. 한편, 제1 평균 시계열 패턴 생성부는 관객 그룹의 단위 관객 영역별로 생성한 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 시간 단위로 합하여 세부 기타 영역에 대한 움직임 변화량의 전체 시계열 패턴을 생성하고, 세부 기타 영역의 움직임 변화량의 전체 시계열 패턴을 관객 그룹을 구성하는 관객의 수로 나누어 세부 기타 영역의 움직임 변화량의 평균 시계열 패턴을 생성한다.The average time-series pattern determination unit 250 determines an average time-series pattern based on an average time-series pattern of the amount of motion variation with respect to the face region of each unit audience image of the audience constituting the audience group, And generates an average time-series pattern of the amount of change. The average time series pattern generation unit 250 includes a first average time series pattern generation unit and a second average time series pattern generation unit 250. The first average time series pattern generation unit 250 generates a first average time series pattern A total time-series pattern of the amount of motion variation with respect to the face area is generated by combining the time-series patterns with the same time unit, and the total time-series pattern of the amount of motion variation with respect to the face area is divided by the number of viewers constituting the audience group, Generates an average time series pattern. On the other hand, the first average time-series pattern generation unit combines the time series patterns of the motion variation amounts for the other detailed areas generated for each unit audience area of the audience group on the same time basis for each of the other detailed areas, Pattern is generated and the total time-series pattern of the amount of motion variation in the detailed area is divided by the number of viewers who constitute the audience group to generate an average time-series pattern of the amount of movement variation in the detail other area.

그룹 반응 판단부(260)는 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴 및 관객 그룹의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴과 일치하는 그룹 반응 패턴을 반응 패턴 데이터베이스에서 검색하여 관객 그룹의 그룹 반응 패턴을 결정하고, 결정한 그룹 반응 패턴으로부터 관객 그룹의 반응을 판단한다.
The group response determination unit 260 searches the response pattern database for a group response pattern that matches an average time series pattern of the movement amount with respect to the face region of the audience group and an average time series pattern of the movement amount with respect to other detailed regions of the audience group, The group reaction pattern of the group is determined, and the reaction of the audience group is determined from the determined group reaction pattern.

도 3은 본 발명에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.FIG. 3 is a functional block diagram for explaining the audience region detecting unit according to the present invention in more detail.

도 3을 참고로 보다 구체적으로 살펴보면, 얼굴 영역 검색부(121)는 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 영역을 검색한다. 본 발명에서는 어두운 환경에서 얼굴 영역을 검색하기 위하여 얼굴 영역 특징점으로부터 얼굴 영역을 검색하는 Haar 검출 방식을 사용할 수 있다. 획득한 관객 그룹 영상에서 관객의 얼굴 영역을 검색하는 다양한 방법이 공지되어 있는데, 본 발명에서는 다양한 얼굴 영역 검색 방법이 사용될 수 있으며, 이는 본 발명의 범위에 속한다.3, the face region searching unit 121 searches the face region of each viewer in the acquired audience group image. In the present invention, a Haar detection method for searching a face area from a face area feature point may be used to search for a face area in a dark environment. Various methods of searching the face region of the viewer in the acquired audience group image are known. In the present invention, various face region searching methods can be used, and this is within the scope of the present invention.

영역 분할부(123)는 관객 그룹 영상 중 검색한 얼굴 영역에 기초하여 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 분할한다. 단위 관객 영역 생성부(125)는 검색한 관객의 얼굴 영역별로 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성한다. 본 발명이 적용되는 분야에 따라 영역 분할부(123)는 얼굴 영역의 위치에 기초하여 얼굴 영역에 인접하는 다수의 세부 기타 영역으로 기타 영역을 설정할 수 있으며 이는 본 발명의 범위에 속한다.
The area dividing unit 123 divides an area located adjacent to the face area into other areas based on the face area searched in the audience group image. The unit audience region generation unit 125 generates a unit audience region including a face region and other regions for each of the face regions of the searched audience. According to the field to which the present invention is applied, the region dividing unit 123 may set other regions to a number of other detailed regions adjacent to the face region based on the position of the face region, and this is within the scope of the present invention.

도 4는 본 발명에 따른 단위 관객 영역에 대한 움직임 변화량 판단부를 설명하기 위한 기능 블록도이다.4 is a functional block diagram for explaining a motion variation amount determination unit for a unit audience area according to the present invention.

도 4를 참고로 살펴보면, 차영상 생성부(131)는 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 관객 그룹 영상으로부터 생성한 단위 관객 영역과 이전 관객 그룹 영상으로부터 생성한 이전 단위 관객 영역 사이의 차영상을 생성하며, 히스트그램 생성부(133)는 차영상을 구성하는 픽셀들의 밝기 픽셀값에 기초하여 밝기 히스토그램을 생성한다. 여기서 차영상 생성부(131)는 관객 그룹 영상을 RGB 색영역에서 YUV 색영역, 즉 휘도와 색차 영역으로 변환하며, 관객 그룹 영상과 이전 관객 그룹 영상을 차감하여 생성되는 전체 차영상 중 앞서 생성한 단위 관객 영역에 해당하는 영역에 대한 차영상을 생성한다. 본 발명이 적용되는 분야에 따라 관객 그룹 영상과 이전 관객 그룹 영상을 차감하는 대신, 관객 그룹 영상에서 생성한 단위 관객 영역과 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역을 차감하여 차영상을 생성할 수 있으며, 이는 본 발명의 범위에 속한다.Referring to FIG. 4, the difference image generation unit 131 subtracts the audience group image and the previous audience group image to obtain a difference between the unit audience region generated from the audience group image and the previous unit audience region generated from the previous audience group image And the histogram generator 133 generates a brightness histogram based on the brightness pixel values of the pixels constituting the difference image. Here, the difference image generation unit 131 converts the viewer group image from the RGB color space to the YUV color space, i.e., the luminance and chrominance areas, and generates the difference image, which is generated by subtracting the audience group image and the previous audience group image, And generates a difference image for an area corresponding to the unit viewer area. Instead of subtracting the audience group image and the previous audience group image according to the field to which the present invention is applied, a difference image is generated by subtracting the unit audience region generated in the audience group image and the previous unit audience region generated in the previous audience group image Which is within the scope of the present invention.

바림직하게, 히스토그램 생성부(133)는 단위 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 단위 관객 영역 중 기타 영역의 차영상에 기초하여 기타 영역에 대한 픽셀들의 밝기 히스토그램을 생성한다. 더욱 바람직하게, 히스토그램 생성부(133)는 단위 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 단위 관객 영역 중 기타 영역을 구성하는 세부 기타 영역 각각의 차영상에 기초하여 세부 기타 영역 각각에 대한 픽셀들의 밝기 히스토그램을 생성한다.The histogram generator 133 generates a brightness histogram of the pixels of the face region based on the difference image of the face region among the unit audience regions and generates a histogram of the brightness of the pixels in the other regions based on the difference image of the other regions of the unit audience region Thereby generating a brightness histogram of the pixels. More preferably, the histogram generator 133 generates a brightness histogram of the pixels of the face region based on the difference image of the face region among the unit audience regions, And generates a brightness histogram of the pixels for each of the other detail areas based on the image.

변화량 계산부(135)는 밝기 히스토그램의 픽셀값에 기초하여 단위 관객 영역에 대한 현재 시점의 움직임 변화량을 계산한다. 변화량 계산부(135)는 밝기 히스토그램의 픽셀값에 기초하여 임계 픽셀값을 초과하는 픽셀의 총수에 기초하여 단위 관객 영역의 움직임 변화량을 계산하거나 밝기 히스토그램의 픽셀값 누적값에 기초하여 움직임 변화량을 계산한다. 단위 레벨 매핑부(137)는 계산한 단위 관객 영역에 대한 현재 시점의 움직임 변화량을 설정 단위 레벨로 분류하여 해당 단위 레벨로 매핑하며, 해당 단위 레벨로 매핑한 단위 관객 영역에 대한 현재 시점의 움직임 변화량은 변화량 DB(139)에 저장된다. 시계열 패턴 생성부(140)는 변화량 DB에 저장되어 있는 해당 단위 레벨의 움직임 변화량에 기초하여 단위 시간별로 변화하는 단위 관객 영역의 움직임 변화량으로부터 시계열 패턴을 생성한다. The change amount calculation unit 135 calculates the amount of motion change at the current time point in the unit viewer area based on the pixel value of the brightness histogram. Based on the pixel value of the brightness histogram, the change amount calculation unit 135 calculates the amount of motion change of the unit audience region based on the total number of pixels exceeding the threshold pixel value, or calculates the amount of motion change based on the accumulated pixel value of the brightness histogram do. The unit level mapping unit 137 classifies the motion variation at the current point in time into the unit level and maps the motion variation at the current point in time to the corresponding unit level, Is stored in the change amount DB (139). The time-series pattern generation unit 140 generates a time-series pattern from the amount of motion variation of the unit audience area that changes in units of time based on the amount of motion variation of the unit level stored in the variation DB.

바림직하게, 변화량 계산부(135)는 얼굴 영역과 세부 기타 영역 각각의 움직임 변화량을 분리하여 계산하며, 단위 레벨 매핑부(137)는 얼굴 영역과 세부 기타 영역의 움직임 변화량을 설정 단위 레벨로 분류하여 매핑된 해당 단위 레벨을 변화량 DB(137)에 저장한다. 시계열 패턴 생성부(140)는 변화량 DB(139)에 저장되어 있는 얼굴 영역과 세부 기타 영역의 움직임 변화량에 기초하여 단위 시간별로 변화하는 얼굴 영역의 움직임 변화량으로부터 얼굴 영역의 시계열 패턴을 생성하고 세부 기타 영역 각각의 움직임 변화량으로부터 세부 기타 영역 각각의 시계열 패턴을 생성한다.
The unit level mapping unit 137 classifies the amount of motion change in the face area and the detail other area into a setting unit level And stores the mapped corresponding unit level in the change amount DB 137. The time-series pattern generation unit 140 generates a time-series pattern of the face region from the amount of motion variation of the face region that changes in unit time based on the amount of motion variation of the face region and the detail other region stored in the variation DB 139, And generates a time series pattern of each of the detailed areas from the amount of motion variation of each area.

도 5는 본 발명의 일 실시예에 따른 관객 그룹 판단 장치의 개인 반응 판단부를 설명하기 위한 기능 블록도이다.FIG. 5 is a functional block diagram illustrating an individual reaction determination unit of an audience group determination apparatus according to an embodiment of the present invention. Referring to FIG.

도 5를 참고로 보다 구체적으로 살펴보면, 단위 패턴 검색부(152)는 패턴 데이터베이스(151)에 저장되어 있는 시계열 패턴 중 생성한 단위 관객 영역의 단위 시계열 패턴에 일치하는 시계열 패턴을 검색하며, 패턴 조합 생성부(153)는 검색한 시계열 패턴으로부터 패턴 조합을 생성한다. 보다 구체적으로 살펴보면, 단위 패턴 검색부(152) 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스(151)에 저장되어 있는 패턴의 일치도를 계산하여 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 검색하고, 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스(151)에 저장되어 있는 패턴의 일치도를 계산하여 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 검색한다. 단위 패턴 조합 생성부(153)는 단위 관객 영역별로 얼굴 패턴 단위 식별자와 상기 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성한다. 5, the unit pattern search unit 152 searches for a time series pattern corresponding to a unit time series pattern of the generated unit audience area among the time series patterns stored in the pattern database 151, The generation unit 153 generates a pattern combination from the searched time series pattern. More specifically, the unit pattern search unit 152 calculates the degree of agreement between the unit time series pattern of the amount of motion change with respect to the face area and the pattern stored in the pattern database 151 for each unit audience area, The face pattern unit identifier corresponding to the time series pattern is searched and the unit time series pattern of the motion variation amount for the other detailed area and the degree of matching of the pattern stored in the pattern database 151 are calculated and the unit time series And searches for other pattern unit identifiers matching the pattern. The unit pattern combination generation unit 153 generates a unit pattern combination from the face pattern unit identifier and the other pattern unit identifiers for each unit viewer area.

단위 반응 패턴 검색부(155)는 생성한 단위 패턴 조합과 일치하는 그룹 반응 패턴을 패턴 조합 데이터베이스에서 검색한다. 여기서 패턴 조합 데이터베이스에는 시계열 패턴 식별자의 조합으로 이루어진 다양한 패턴 조합과 각 패턴 조합에 설정된 반응이 매핑되어 있다.
The unit response pattern search unit 155 searches the pattern combination database for a group response pattern that matches the generated unit pattern combination. Here, in the pattern combination database, various pattern combinations composed of combinations of time series pattern identifiers and responses set for each pattern combination are mapped.

도 6은 본 발명의 다른 실시예에 따른 관객 그룹 반응 판단 장치의 그룹 반응 판단부를 설명하기 위한 기능 블록도이다.FIG. 6 is a functional block diagram illustrating a group response determination unit of an audience group response determination apparatus according to another embodiment of the present invention.

도 6을 참고로 보다 구체적으로 살펴보면, 그룹 패턴 검색부(162)는 얼굴 영역의 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스(161)에 저장되어 있는 패턴의 일치도를 계산하여 얼굴 영역의 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 평균 식별자를 검색하고, 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스(161)에 저장되어 있는 패턴의 일치도를 계산하여 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 평균 식별자를 검색한다.6, the group pattern search unit 162 calculates the degree of agreement between the average time series pattern of the amount of motion variation of the face region and the pattern stored in the pattern database 161, A face pattern average identifier corresponding to the time series pattern is searched and the average time series pattern of the amount of motion variation with respect to other detailed areas and the degree of matching of the pattern stored in the pattern database 161 are calculated and the average time series Retrieve other pattern average identifiers that match the pattern.

그룹 패턴 조합 생성부(163)는 검색한 얼굴 패턴 평균 식별자와 기타 패턴 평균 식별자로부터 그룹 패턴 조합을 생성하고, 그룹 반응 패턴 검색부(165)는 생성한 그룹 패턴 조합과 일치하는 그룹 반응 패턴을 패턴 조합 데이터베이스(164)에서 검색한다. 그룹 반응 결정부(166)는 검색한 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단한다.
The group pattern combination generation unit 163 generates a group pattern combination from the searched face pattern average identifier and the other pattern average identifiers, and the group response pattern search unit 165 searches for a group response pattern matching the group pattern combination, And searches in the combination database 164. The group reaction determination unit 166 determines the reaction mapped to the searched group reaction pattern as a reaction of the audience group.

도 7은 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객 그룹의 반응 판단 방법을 설명하기 위한 흐름도이다.FIG. 7 is a flowchart illustrating a method of determining a reaction of an audience group to content according to an exemplary embodiment of the present invention. Referring to FIG.

도 7을 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 컨텐츠를 관람하는 관객 그룹의 모습을 명확하게 드러내는 관객 그룹 영상을 획득하고(S100), 획득한 관객 그룹 영상에서 관객의 얼굴 영역을 검색하여 검색한 얼굴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접하여 위치하는 기타 영역을 포함하여 관객별로 단위 관객 영역을 생성한다(S200).More specifically, referring to FIG. 7, an image of a group of spectators that clearly reveals the image of a group of spectators viewing the content through the image capturing unit is acquired (S100), and a face region of the audience is searched A unit viewer area is created for each viewer including the face area and other areas adjacent to the face area based on one face area (S200).

획득한 관객 그룹 영상과 이전에 획득한 이전 관객 그룹 영상을 차감하여 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역의 차이를 나타내는 단위 관객 영역의 차영상을 획득하고, 차영상의 픽셀값으로부터 밝기 히스토그램을 생성하여 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S300). 계산한 움직임 변화량은 변화량 DB에 저장되며, 저장되어 있는 움직임 변화량에 기초하여 단위 관객 영역에 대한 움직임 변화량의 연속적인 변화를 나타내는 단위 관객 영역에 대한 움직임 변화량의 단위 시계열 패턴을 생성한다(S400). 단위 관객 영역에 대한 움직임 변화량의 단위 시계열 패턴에 기초하여 관객 그룹의 그룹 반응 패턴을 결정하고, 결정한 그룹 반응 패턴으로부터 관객 그룹의 반응을 판단한다(S500).
A difference image of a unit audience area indicating a difference between a unit audience area and a previous unit audience area of a previous audience group image is obtained by subtracting the acquired audience group image and a previously acquired group image of a previous audience, A brightness histogram is generated to calculate the amount of motion change at the current point in time for the unit viewer area (S300). The calculated motion variation is stored in the variation DB, and a unit time-series pattern of the variation amount of motion with respect to the unit audience area indicating a continuous change in the variation amount of motion with respect to the unit audience area is generated based on the stored motion variation amount (S400). The group reaction pattern of the audience group is determined based on the unit time series pattern of the amount of change in the movement with respect to the unit audience area, and the reaction of the audience group is determined from the determined group response pattern (S500).

도 8은 본 발명에 따라 관객 그룹 영상으로부터 단위 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다. 8 is a flowchart illustrating an example of a method of generating a unit viewer area from an audience group image according to the present invention.

도 8을 참고로 보다 구체적으로 살펴보면, 관객 그룹 영상의 픽셀값에 기초하여 관객 그룹 영상에서 관객의 얼굴 영역을 검색한다(S210). 본 발명에서 관객 그룹 영상으로부터 얼굴 영역을 검색하는 방식의 일 예를 살펴보면, 획득한 관객 그룹 영상으로부터 관객의 피부 영역을 검색하기 위해 관객 그룹 영상 내에 피부색 매칭 픽셀을 판별한다. 영상의 각 픽셀의 색은 RGB 체계로 표현되어 있으나 영상의 픽셀값을 휘도와 색차 체계, 즉 YUV 체계로 변환한다. 여기서, YCrCb 체계는 컴포넌트 디지털 비디오의 휘도(Y)와 색차 신호(B-Y, R-Y), R·G·B 신호를 디지털화하는 데 사용되는 색 해상도로써, Y는 Distribution of Luminance Component이고, Cr와 Cb는 적색과 청색의 Distribution of Crominance Component이다. RGB 체계를 YCrCb 체계로 변환하는 것은 당업자에게 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다.Referring to FIG. 8, the face region of the viewer is searched in the audience group image based on the pixel value of the audience group image (S210). According to an embodiment of the present invention, a skin color matching pixel is determined in an audience group image to search a skin region of an audience from an acquired audience group image. The color of each pixel of the image is represented by the RGB system, but the pixel value of the image is converted into the luminance and chrominance system, that is, the YUV system. Here, the YCrCb scheme is a color resolution used to digitize the luminance (Y), color difference signals (BY, RY), R, G, and B signals of the component digital video, Y is the Distribution of Luminance Component, Cr and Cb Red and Blue Distribution of Crominance Component. Converting the RGB system to the YCrCb system is a technique well known to those skilled in the art, so a detailed description thereof will be omitted.

피부색 픽셀에 해당하는 휘도와 색차의 임계값을 설정하고, 관객 그룹 영상의 픽셀값을 임계값과 비교하여 임계값과 부합된다면 해당 픽셀은 사용자의 피부를 나타내는 픽셀이라고 간주한다.A threshold value of luminance and color difference corresponding to a skin color pixel is set and if the pixel value of the audience group image is compared with a threshold value and the threshold value is met, the corresponding pixel is regarded as a pixel representing the user's skin.

피부로 간주되는 픽셀 군집은 서브 윈도우로 분할되며, 서브 윈도우는 얼굴 영역 후보로 간주된다. 여기서, 얼굴 영역의 후보로 간주된 서브윈도우 내의 영상이 얼굴 영상인지 판별하는 것이 요구된다. 이는 얼굴 영상의 후보로 간주된 서브윈도우 내의 영상이 사용자의 손 영상일 수도 있기 때문이다. 이에 본 발명에서는 에이다부스트(Adaboost) 알고리즘을 통해 서브윈도우 내에 영상이 얼굴 영상인지 판별한다. 여기서, 에이다부스트 알고리즘은 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다. 에이다부스트 알고리즘를 수행하여 서브윈도우 내에 영상이 얼굴 영상이 아닐 경우, 서브윈도우는 사용자의 손 영상으로 간주할 수 있다.The pixel cluster considered as skin is divided into sub windows, and the sub windows are regarded as face area candidates. Here, it is required to determine whether the image in the sub-window regarded as the candidate of the face region is a face image. This is because the image in the sub-window regarded as the candidate of the face image may be the hand image of the user. Accordingly, in the present invention, it is determined whether the image is a face image in a sub window through an AdaBoost algorithm. Here, since the AdaBoost algorithm is a known technique, a detailed description thereof will be omitted. When the AdaBoost algorithm is performed and the image in the sub window is not a face image, the sub window can be regarded as a user's hand image.

관객 그룹 영상에서 관객의 얼굴 영역을 검색한 경우, 관객의 얼굴 영역을 기준으로 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 결정한다(S230). 기타 영역은 얼굴 영역을 기준으로 위/아래 또는 좌/우 방향으로 얼굴 영역에서 일정 거리에 인접하는 영역으로 설정된다. 본 발명이 적용되는 분야에 따라 기타 영역은 다시 적어도 1개 이상의 세부 기타 영역으로 분할되어 생성될 수 있으며, 이는 본 발명의 범위에 속한다. 관객 그룹 영상으로부터 관객의 얼굴 영역과 기타 영역으로 구성되는 단위 관객 영역을 생성한다(S250).When the face region of the viewer is searched in the audience group video, the region located adjacent to the face region is determined as the other region based on the face region of the audience (S230). The other area is set as an area adjacent to the face area in a predetermined distance in the up / down or left / right direction with respect to the face area. According to the field to which the present invention is applied, other regions may be generated again by dividing into at least one or more other detailed regions, which is within the scope of the present invention. A unit audience area composed of the face area of the audience and other areas is generated from the audience group video (S250).

관객 그룹 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있는 도 9을 참고로 살펴보면, 먼저 도 9(a)에 도시되어 있는 것과 같이 관객 그룹 영상이 입력되는 경우 관객 그룹 영상의 픽셀값에 기초하여 피부색에 해당하는 픽셀 군집들 중 얼굴 영역을 검색한다. 얼굴 영역이 검색되는 경우, 도 9(b)와 같이 얼굴 영역에 인접하여 얼굴 영역의 아래 부분에 기타 영역을 결정한다. 예를 들어, 얼굴 영역(C1)과 얼굴 영역(C1)의 바로 아래 영역에 일정 폭을 가지도록 제1 세부 기타 영역(C2)와 제1 세부 기타 영역(C2)의 바로 아래 영역에 일정 폭을 가지도록 제2 세부 기타 영역(C3)을 설정한다. 도 9(a)의 관객 그룹 영상에서 검색한 모든 얼굴 영역에 대해 도 9(b)와 같이 각 얼굴 영역에 인접한 기타 영역을 설정한다.
Referring to FIG. 9, which illustrates an example of a face region and a viewer region searched from a viewer group image, if a viewer group image is input as shown in FIG. 9A, The face region among the pixel clusters corresponding to the skin color is searched. When the face area is searched, another area is determined in the lower part of the face area adjacent to the face area as shown in Fig. 9 (b). For example, a predetermined width may be provided in a region immediately below the first detailed sub-region C2 and the first detailed sub-region C2 so as to have a predetermined width in a region immediately below the face region C1 and the face region C1 The second detailed area C3 is set. As shown in Fig. 9 (b), other regions adjacent to each face region are set for all face regions searched in the audience group image of Fig. 9 (a).

도 10은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.10 is a flowchart for explaining a method of calculating the amount of change in the motion of an audience area in the present invention.

도 10을 참고로 보다 구체적으로 살펴보면, 획득한 관객 그룹 영상과 관객 그룹 영상 이전에 획득한 이전 관객 그룹 영상을 차감하여 관객 그룹 영상의 단위 관객 영역과 이전 관객 그룹 영상의 이전 단위 관객 영역 사이의 차 영상을 생성한다(S310). 도 11(a)와 도 11(b)는 각각 관객 그룹 영상과 이전 관객 그룹 영상을 나타내며, 도 11(c)는 전체 차영상의 일 예를 도시하고 있는데, 원으로 표시된 관객 그룹 영상과 이전 관객 그룹 영상 사이에 움직임의 변화가 있는 영역의 픽셀들은 높은 휘도값을 가지도록 표현된다. 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성한다(S320).10, the acquired audience group video and the previous audience group video acquired before the audience group video are subtracted to obtain a difference between the unit audience region of the audience group video and the previous audience group region of the previous audience group video And generates an image (S310). 11 (a) and 11 (b) show an audience group image and a previous audience group image, respectively. FIG. 11 (c) shows an example of a total difference image. The pixels in the region where there is a change of motion between group images are represented to have a high luminance value. A brightness histogram of the viewer area is generated from the pixel values of the pixels constituting the generated difference image (S320).

생성한 밝기 히스토그램에서 임계 밝기값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하고, 임계 밝기값 이상의 밝기를 가지는 픽셀들의 누적 총수에 기초하여 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S330). 움직임 변화량은 임계 밝기값 이상의 밝기를 가지는 픽셀들의 총수에 비례하여 큰 값을 가진다. 바람직하게, 계산한 현재 시점의 움직임 변화량은 설정된 단위 레벨로 매핑되며(S340), 매핑된 현재 시점의 움직임 변화량에 대한 단위 레벨값은 변화량 DB에 저장된다(S350). 앞서 S310 내지 S350 단계에서 설명한 바와 동일하게 현재 시점 이후에 연속하여 단위 시간별로 움직임 변화량을 계산하고, 계산한 움직임 변화량에 매핑된 단위 레벨값을 판단하여 변화량 DB에 단위 시간별로 저장한다. The total number of pixels having brightness equal to or greater than the critical brightness value is counted in the brightness histogram generated and the amount of motion variation at the current point in time is calculated based on the cumulative total number of pixels having brightness equal to or greater than the critical brightness value ). The amount of motion variation has a large value in proportion to the total number of pixels having brightness equal to or greater than the threshold brightness value. Preferably, the calculated motion variation at the current point in time is mapped to the set unit level (S340), and the unit level value for the mapped current motion variation is stored in the variation DB (S350). In the same manner as described in steps S310 to S350, a motion change amount is calculated for each unit time continuously after the current time, a unit level value mapped to the calculated motion change amount is determined, and the change amount DB is stored for each unit time.

여기서 단위 레벨값이란 움직임 변화값을 내림 또는 올림한 값으로, 예를 들어 현재 시점에서의 움직임 변화량이 23.7인 경우 30으로 올림하거나 20으로 내림한 값을 의미한다.Here, the unit level value is a value obtained by raising or lowering a motion change value, for example, a value obtained by raising or decrementing to 30 when the motion change amount at the current time is 23.7.

바람직하게 단위 관객 영역의 움직임 변화량은 얼굴 영역과 기타 영역별로 각각 생성되거나, 더욱 바람직하게 얼굴 영역과 세부 기타 영역별로 각각 생성될 수 있으며 이는 본 발명의 범위에 속한다.
Preferably, the amount of motion variation of the unit viewer region may be generated for each of the face region and the other region, or more preferably, for each of the face region and the detail other region, and this is within the scope of the present invention.

도 12는 본 발명의 일 실시예에 따른 관객 반응의 판단 방법을 보다 구체적으로 설명하기 위한 흐름도이다.FIG. 12 is a flowchart illustrating a method for determining audience response according to an exemplary embodiment of the present invention.

도 12를 참고로 보다 구체적으로 살펴보면, 단위 관객 영역별로 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 패턴 데이터베이스에서 검색하고 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 패턴 데이터베이스에서 검색한다(S510). 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴 또는 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴과 일치하는 패턴을 검색하는 일 예를 보다 구체적으로 살펴보면 얼굴 영역의 움직임 변화량에 대한 단위 시계열 패턴과 일치하는 얼굴 패턴 단위 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 단일 시계열 패턴과 일치하는 기타 패턴 단일 식별자와 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,12, a face pattern unit identifier corresponding to a unit time series pattern of a motion variation with respect to a face area is searched in a pattern database for each unit viewer area, In the pattern database (S510). More specifically, an example of searching for a pattern that matches a unit time-series pattern of a motion change amount with respect to a face region or a unit time-series pattern of a motion variation amount with respect to another detailed region is more specifically described. (P) of the other pattern single identifiers matching the single time series pattern for the pattern unit identifier or the motion variation of the detail area in the detail database and the time series pattern stored in the pattern database is calculated by the following equation (1)

[수학식 1][Equation 1]

Figure 112012079782000-pat00002
Figure 112012079782000-pat00002

P1ti는 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며, P 1ti is a time-series pattern (P 1 ) for the amount of movement of the face region or a time-series pattern (P 1 ) of the amount of motion variation for the detail region other than the movement amount for the face region or the detail- (ti) of the time-series pattern stored in the pattern DB,

패턴 DB에 저장되어 있는 시계열 패턴과 얼굴 영역의 움직임 변화량에 대한 단일 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 단일 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 단일 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 단일 식별자가 선택된다.A time series pattern stored in the pattern database, a single time series pattern for the motion variation of the face region, and a face pattern having the highest degree of agreement. A single time series pattern for a single identifier or a motion variation of a detailed region, The identifier is selected.

단위 관객 영역별로 얼굴 패턴 단위 식별자와 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성하고(S520), 단위 패턴 조합과 일치하는 반응 패턴을 패턴 조합 데이터베이스에서 검색하여 관객 개개인에 대한 각 단위 관객 영역의 단위 반응 패턴을 결정한다(S530).A unit pattern combination is generated from the face pattern unit identifiers and other pattern unit identifiers for each unit viewer area (S520), and a reaction pattern matching the unit pattern combination is searched in the pattern combination database to determine a unit response The pattern is determined (S530).

관객 그룹 영상으로부터 생성한 모든 관객의 단위 관객 영역에 대한 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단위 반응 패턴을 가지는 단위 반응 패턴을 판단하고(S540), 가장 많은 수의 동일한 단위 반응 패턴을 관객 그룹의 그룹 반응 패턴으로 결정하여 결정한 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단한다(S550).
A unit response pattern having the largest number of identical unit response patterns is determined based on the unit response pattern for all the audience spectators of all the viewers generated from the audience group image in operation S540, The group reaction pattern is determined as a group reaction pattern, and the reaction mapped to the group reaction pattern determined is determined as the reaction of the audience group (S550).

도 13은 본 발명의 다른 실시예에 따른 관객 반응의 판단 방법을 보다 구체적으로 설명하기 위한 흐름도이다.FIG. 13 is a flowchart illustrating a method of determining an audience response according to another embodiment of the present invention.

도 13을 참고로 살펴보면, 관객 그룹의 단위 관객 영역별로 생성한 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴으로부터 평균 시계열 패턴을 생성한다(S610). 보다 구체적으로 살펴보면, 관객 그룹의 단위 관객 영역별로 생성한 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴을 동일 단위 시간별로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고, 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 관객 그룹에서 생성한 단위 관객 영역의 수로 나누어 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성한다. 한편, 관객 그룹의 단위 관객 영역별로 생성한 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 단위 시간별로 합하여 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고, 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 관객 그룹에서 생성한 단위 관객 영역의 수로 나누어 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성한다.Referring to FIG. 13, an average time series pattern is generated from a unit time series pattern of a motion variation amount for a face region generated for each unit audience area of the audience group and a unit time series pattern of a motion variation amount for each detail region (S610). More specifically, a group time series pattern of a motion variation amount with respect to a face region is generated by combining the unit time series patterns of the motion variation amount with respect to the face region generated for each unit audience region of the audience group by the same unit time, The group time series pattern of the change amount is divided by the number of unit audience areas generated in the audience group to generate an average time series pattern of the change amount of motion with respect to the face area. On the other hand, a group time series pattern of the motion variation amounts to the detailed other areas is generated by adding the unit time series patterns of the motion variation amounts to the detailed other areas generated for each unit audience area of the audience group by the same unit time, The average time series pattern of the amount of change in motion for the detail other area is generated by dividing the group time series pattern of the motion variation for the other area by the number of the unit audience areas generated in the audience group.

얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 그룹 식별자를 패턴 데이터베이스에서 검색하고, 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 그룹 식별자를 패턴 데이터베이스에서 검색한다(S620). 얼굴 패턴 그룹 식별자와 기타 패턴 그룹 식별자로부터 그룹 패턴 조합을 생성하고(S630), 그룹 패턴 조합과 일치하는 그룹 반응 패턴을 패턴 조합 데이터베이스에서 검색한다(S640).The face pattern group identifiers matching the average time series pattern of the amount of motion variation with respect to the face region are searched in the pattern database and other pattern group identifiers matching the average time series pattern of the amount of motion variation with respect to other detailed regions are searched in the pattern database ). A group pattern combination is generated from the facial pattern group identifier and other pattern group identifiers (S630), and a group reaction pattern matching the group pattern combination is searched in the pattern combination database (S640).

검색한 그룹 반응 패턴에 매핑되어 있는 반응을 관객 그룹의 반응으로 판단한다(S650).
The reaction mapped to the searched group reaction pattern is determined as the reaction of the audience group (S650).

도 14는 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다. FIG. 14 shows an example of a time-series pattern of the amount of motion variation with respect to a unit viewer area.

도 14(a)는 단위 관객 영역 중 얼굴 영역에 대한 움직임 변화량의 시계열 패턴이며, 11(b)는 단위 관객 영역 중 제1 세부 기타 영역으로 관객의 가슴 영역에 대한 움직임 변화량의 시계열 패턴이며, 도 11(c)는 단위 관객 영역 중 제2 세부 기타 영역으로 관객 손이 위치하는 배 영역에 대한 움직임 변화량의 시계열 패턴이다. 앞서 설명한 수학식(1)의 방식으로 각 시계열 패턴과 가장 일치하는 패턴을 패턴 DB에서 검색하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 얼굴 패턴 식별자 P1을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제1 기타 패턴 식별자 P2을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제2 기타 패턴 식별자 P3를 검색한다. 검색한 패턴으로부터 패턴 조합<P1, P2, P3>을 생성하며, 생성한 패턴 조합과 일치하는 패턴 조합을 패턴 조합 DB에서 검색한다. 검색한 패턴 조합에 매핑되어 있는 반응이 박수인 경우, 관객 반응을 박수로 판단한다. 14 (a) is a time-series pattern of the amount of motion variation with respect to the face region in the unit viewer area, and 11 (b) is a time-series pattern of the amount of movement variation with respect to the viewer's bust area in the first detail other region of the unit viewer area, 11 (c) is a time-series pattern of the amount of movement change for the boat area where the viewer's hand is located in the second detail other area of the unit viewer area. In the method of Equation (1) described above, a pattern most matching with each time-series pattern is searched in the pattern DB to search for a face pattern identifier P1 that best matches a time-series pattern of the amount of motion variation with respect to the face area, The second guitar pattern identifier P3 that best matches the time series pattern of the motion variation amount with respect to the first detailed sub region is searched for. The pattern combination <P1, P2, P3> is generated from the searched pattern, and a pattern combination matching the generated pattern combination is searched in the pattern combination DB. If the response mapped to the retrieved pattern combination is applause, the audience reaction is judged as applause.

바람직하게, 움직임 변화량은 이전 단위 시간에 비해 현재 단위 시간에 움직임 변화량이 증가, 유지, 감소 여부에 따라 값이 설정되는데, 예를 들어 도 14(d)와 같이 이전 단위 시간에 비해 현재 단위 시간에 움직임 변화량이 증가하는 경우 2, 현재 단위 시간에 움직임 변화량이 유지되는 경우 1, 이전 단위 시간에 비해 현재 단위 시간에 움직임 변화량이 감소하는 경우 0의 값으로 설정된다. 이렇게 이전 단위 시간에 비해 현대 단위 시간에서의 움직임 변화량이 증가하는지 여부로 움직임 변화량을 설정함으로써, 관객마다 동일한 반응 패턴에 대해 서로 다른 움직임을 보이는 경우에도 정확하게 반응 패턴을 판단할 수 있다. 즉, 관객 1과 관객 2가 동일하게 박수를 치더라도 관객 1과 관객 2의 움직임 변화량은 서로 상이할 수 있으나 움직임 변화량의 증가, 감소, 유지 여부로만 설정된 값으로 움직임 변화량을 판단함으로써 관객의 반응 패턴을 정확하게 판단할 수 있다.
Preferably, the amount of motion variation is set according to whether the amount of motion change is increased, maintained, or decreased in the current unit time as compared with the previous unit time. For example, as shown in FIG. 14 (d) 2 when the amount of motion variation increases, 1 when the amount of motion variation is maintained in the current unit time, and 0 when the amount of motion variation decreases in the current unit time with respect to the previous unit time. By setting the amount of motion change as to whether or not the amount of motion variation in the modern unit time increases compared to the previous unit time, it is possible to accurately determine the reaction pattern even when the audience exhibits different motions for the same reaction pattern. In other words, even if the audience 1 and the audience 2 applaud the same, the amount of change in the motion of the audience 1 and the audience 2 may be different from each other. However, by determining the amount of change in the motion with a value set only by increasing, decreasing, Can be determined accurately.

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
The computer-readable recording medium may be an electrically or magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave, , Transmission over the Internet).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

110, 210: 영상 촬영부 120, 220: 관객 영역 검출부
130, 230: 움직임 변화량 계산부 140, 240: 단위 시계열 패턴 판단부
150: 개인 반응 판단부 160, 260: 그룹 반응 판단부
250: 평균 시계열 패턴 생성부 121: 얼굴 영역 검색부
123: 영역 분할부 125: 단위 관객 영역 생성부
131: 차영상 생성부 133:히스토그램 생성부
135: 변화량 계산부 137: 단위 레벨 매핑부
139: 변화량 DB 151, 161: 패턴 데이터베이스
152: 단위 패턴 검색부 153: 단위 패턴 조합 생성부
155: 단위 반응 패턴 검색부 157: 패턴 조합 데이터베이스
162: 그룹 패턴 검색부 163: 그룹 패턴 조합 생성부
164: 패턴 조합 데이터베이스 165: 그룹 반응 패턴 검색부
166: 그룹 반응 결정부 110, 210: image capturing unit 120, 220:
130, 230: a motion variation calculation unit 140, 240: a unit time series pattern determination unit
150: personal reaction judgment unit 160, 260: group reaction judgment unit
250: Average Time Series Pattern Generation Unit 121: Face Area Search Unit
123: area dividing unit 125: unit audience area generating unit
131: car image generating unit 133: histogram generating unit
135: change amount calculation unit 137: unit level mapping unit
139: Variation DB 151, 161: Pattern database
152: unit pattern search unit 153: unit pattern combination unit
155: unit response pattern search unit 157: pattern combination database
162: Group pattern search unit 163: Group pattern combination generation unit
164: pattern combination database 165: group response pattern search unit
166: group reaction determining unit

Claims (21)

획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 단계;
상기 관객 그룹 영상과 상기 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 상기 단위 관객 영역과 상기 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역 사이의 차영상을 획득하고, 상기 차영상의 픽셀값 히스토그램으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계;
상기 단위 관객 영역의 현재 시점 움직임 변화량으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계;
상기 단위 관객 영역에 대한 움직임 변화량의 단위 시계열 패턴에 기초하여 상기 관객 그룹의 그룹 반응 패턴을 결정하고, 상기 결정한 그룹 반응 패턴으로부터 상기 관객 그룹의 반응을 판단하는 단계를 포함하며,
상기 단위 관객 영역별로 상기 픽셀값 히스토그램에서 임계값 이상의 픽셀값을 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법. Generating a unit audience area in units of each audience in which the audience members constituting the audience group are located in the acquired audience group video;
A difference image between the unit audience region and a previous unit audience region generated in the previous audience group image is obtained by subtracting the previous audience group image of the audience group image and the audience group image from each other to obtain a difference image of the pixel value histogram Calculating a movement change amount at a current point in time for the unit viewer area for each unit viewer area;
Generating a time-series pattern of the amount of movement change for the unit audience area for each unit audience area from the current time movement variation of the unit audience area;
Determining a group response pattern of the audience group based on a unit time series pattern of the amount of movement change with respect to the unit audience area and determining a reaction of the audience group from the determined group response pattern,
A total number of pixels having a pixel value equal to or greater than a threshold value in the pixel value histogram is determined for each unit audience area and a motion variation amount at the current time point is calculated for the unit audience area based on the determined total number. How to determine the response of an audience group. 제 1 항에 있어서, 상기 단위 관객 영역은
상기 관객 그룹 영상에서 관객의 얼굴 패턴 영역을 검출하고, 상기 검출한 얼굴 패턴 영역으로부터 관객 개개인의 단위 관객 영역을 생성하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.The apparatus of claim 1,
A face pattern region of an audience is detected in the audience group image, and a unit audience region of each audience is generated from the detected face pattern region. 제 2 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
상기 관객 그룹 영상과 상기 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 상기 단위 관객 영역별로 상기 단위 관객 영역과 상기 이전 관객 그룹 영상으로부터 생성한 이전 단위 관객 영역 사이의 차 영상을 생성하는 단계;
상기 단위 관객 영역별로 상기 차 영상을 구성하는 픽셀의 픽셀값으로부터 상기 단위 관객 영역의 밝기 히스토그램을 생성하는 단계; 및
상기 단위 관객 영역별로 상기 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법. 3. The method of claim 2, wherein the step of calculating the amount of motion variation
Generating a difference image between the unit audience area and a previous unit audience area generated from the previous audience group image for each unit audience area by subtracting the previous audience group images of the audience group video and the audience group video from each other;
Generating a brightness histogram of the unit audience area from pixel values of pixels constituting the difference image for each unit audience area; And
Determining a total number of pixels having brightness equal to or greater than a threshold value in the brightness histogram for each unit audience area and calculating a motion variation amount at the current time point for the unit audience area based on the determined total number; A method of determining the response of a group of audiences. 제 3 항에 있어서, 상기 관객 그룹의 반응 판단 방법에서
상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량은 상기 단위 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법. 4. The method according to claim 3,
Wherein the motion change amount at the current point of time with respect to the unit audience area is divided by the area of the unit audience area and is normalized. 제 3 항에 있어서, 상기 단위 관객 영역은 상기 검출한 얼굴 패턴 영역을 기준으로 얼굴 영역과 상기 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.4. The method according to claim 3, wherein the unit audience area is divided into a face area based on the detected face pattern area and other areas adjacent to the face area. 제 5 항에 있어서, 상기 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.6. The method according to claim 5, wherein the other region is divided into at least one more detailed region. 제 6 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
상기 단위 관객 영역별로 상기 얼굴 영역과 상기 세부 기타 영역 각각에 대한 개별 밝기 히스토그램을 생성하고, 상기 생성한 개별 밝기 히스토그램으로부터 상기 얼굴 영역과 상기 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법. 7. The method of claim 6, wherein calculating the amount of motion change
The individual brightness histograms for the face region and the detail region are generated for each unit audience region and the amount of motion variation at the current point of time of the face region and the detail region is calculated from the generated individual brightness histogram A method of determining the response of a group of audiences. 제 7 항에 있어서, 상기 움직임 변화량의 시계열 패턴은
상기 단위 관객 영역별로 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고,
상기 단위 관객 영역별로 상기 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.8. The method according to claim 7, wherein the time-series pattern of the amount of motion change
Generating a time series pattern of the amount of motion variation with respect to the face region from a motion variation amount at the current time point of the face region for each unit audience region,
And generating a time series pattern of the amount of change in motion for the detailed other area from the amount of motion variation at the current point in time for the detailed other area for each unit viewer area. 제 8 항에 있어서, 상기 관객 그룹의 반응을 판단하는 단계는
상기 단위 관객 영역별로 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 패턴 데이터베이스에서 검색하고 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 패턴 데이터베이스에서 검색하는 단계;
상기 단위 관객 영역별로 상기 얼굴 패턴 단위 식별자와 상기 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성하는 단계;
상기 단위 패턴 조합과 일치하는 반응 패턴을 패턴 조합 데이터베이스에서 검색하여 상기 관객 개개인의 단위 반응 패턴을 결정하는 단계;
상기 관객 그룹을 구성하는 모든 관객의 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단위 반응 패턴을 가지는 단위 반응 패턴을 상기 관객 그룹의 그룹 반응 패턴으로 결정하는 단계; 및
상기 결정한 그룹 반응 패턴에 매핑되어 있는 반응을 상기 관객 그룹의 반응으로 판단하는 단계를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법. 9. The method of claim 8, wherein determining the response of the audience group comprises:
Searching a pattern database for a face pattern unit identifier corresponding to a unit time-series pattern of the amount of motion variation with respect to the face region for each unit audience area, and searching the pattern database for another pattern unit identifier corresponding to the unit time- Retrieving from the database;
Generating a unit pattern combination from the face pattern unit identifier and the other pattern unit identifiers for each unit viewer area;
Determining a unit response pattern of each of the spectators by searching a pattern combination database for a reaction pattern matching the unit pattern combination;
Determining a unit response pattern having the largest number of identical unit response patterns as a group response pattern of the audience group based on a unit response pattern of all the spectators constituting the audience group; And
And determining a reaction mapped to the determined group reaction pattern as a reaction of the audience group. 제 8 항에 있어서, 상기 관객 그룹의 반응을 판단하는 단계는
상기 관객 그룹의 상기 단위 관객 영역별로 생성한 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴을 동일 단위 시간별로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고, 상기 얼굴 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 상기 관객 그룹에서 생성한 단위 관객 영역의 수로 나누어 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 단계;
상기 관객 그룹의 상기 단위 관객 영역별로 생성한 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 단위 시간별로 합하여 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 생성하고, 상기 세부 기타 영역에 대한 움직임 변화량의 그룹 시계열 패턴을 상기 관객 그룹에서 생성한 단위 관객 영역의 수로 나누어 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 단계;
상기 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 그룹 식별자를 패턴 데이터베이스에서 검색하고, 상기 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 그룹 식별자를 패턴 데이터베이스에서 검색하는 단계;
상기 얼굴 패턴 그룹 식별자와 상기 기타 패턴 그룹 식별자로부터 그룹 패턴 조합을 생성하고, 상기 그룹 패턴 조합과 일치하는 그룹 반응 패턴을 패턴 조합 데이터베이스에서 검색하는 단계; 및
상기 검색한 그룹 반응 패턴에 매핑되어 있는 반응을 상기 관객 그룹의 반응으로 판단하는 단계를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.9. The method of claim 8, wherein determining the response of the audience group comprises:
Generating a group time series pattern of a motion variation amount for a face region by summing unit time series patterns of a motion variation amount for the face region generated for each unit audience region of the audience group by the same unit time, Generating an average time-series pattern of the amount of motion variation with respect to the face region by dividing the group time-series pattern of the face region pattern by the number of unit audience regions generated in the audience group;
Generating a group time series pattern of a motion variation amount for a detailed other area by summing the unit time series patterns of the motion variation amounts for the other detail areas generated for each unit audience area of the audience group by the same unit time, Generating an average time-series pattern of the amount of motion variation for each of the other sub-areas by dividing the group time-series pattern of the movement variation for the other sub-areas by the number of the unit audience areas generated by the audience group;
Searching a pattern database for a face pattern group identifier that matches an average time series pattern of the amount of motion variation with respect to the face area and searching for a pattern group identifier of another pattern group that matches an average time series pattern of the amount of motion variation with respect to the detail other area step;
Generating a group pattern combination from the face pattern group identifier and the other pattern group identifiers and searching for a group response pattern matching the group pattern combination in the pattern combination database; And
And determining a reaction mapped to the searched group reaction pattern as a reaction of the audience group. 제 9 항 또는 제 10 항에 있어서, 상기 얼굴 영역에 대한 움직임 변화량 또는 상기 세부 기타 영역에 대한 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.11. The method according to claim 9 or 10, wherein the amount of motion change with respect to the face area or the amount of change in motion with respect to the detail other area is classified into a setting unit level. 제 11 항에 있어서, 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴 또는 평균 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴 또는 평균 시계열 패턴과 일치하는 기타 패턴 식별자 사이의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079782000-pat00003

P1ti는 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며,
가장 높은 일치도를 가지는 상기 패턴 데이터베이스의 패턴 식별자가 상기 얼굴 패턴 식별자 또는 기타 패턴 식별자로 선택되는 것을 특징으로 하는 관객 그룹의 반응 판단 방법.12. The method according to claim 11, further comprising the steps of: generating a face pattern identifier corresponding to a unit time-series pattern or an average time-series pattern of the amount of motion variation with respect to the face region, (P) is calculated by the following equation (1)
[Equation 1]
Figure 112012079782000-pat00003

P 1ti is a time-series pattern (P 1 ) for the amount of movement of the face region or a time-series pattern (P 1 ) of the amount of motion variation for the detail region other than the movement amount for the face region or the detail- (ti) of the time-series pattern stored in the pattern DB,
Wherein a pattern identifier of the pattern database having the highest degree of matching is selected as the face pattern identifier or other pattern identifier. 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인이 위치하고 있는 관객 개개인 단위의 단위 관객 영역을 생성하는 관객 영역 검출부;
상기 관객 그룹 영상과 상기 관객 그룹 영상의 이전 관객 그룹 영상을 서로 차감하여 상기 단위 관객 영역과 상기 이전 관객 그룹 영상에서 생성한 이전 단위 관객 영역 사이의 차영상을 획득하고, 상기 차영상의 픽셀값 히스토그램으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부;
상기 단위 관객 영역의 현재 시점 움직임 변화량으로부터 상기 단위 관객 영역별로 상기 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단위 시계열 패턴 생성부; 및
상기 단위 관객 영역에 대한 움직임 변화량의 시계열 패턴에 기초하여 상기 관객 그룹의 전체 반응 패턴을 결정하고, 상기 결정한 전체 반응 패턴으로부터 상기 관객 그룹의 반응을 판단하는 반응 판단부를 포함하며,
상기 움직임 변화량 계산부는 상기 단위 관객 영역별로 상기 픽셀값 히스토그램에서 임계값 이상의 픽셀값을 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 단위 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.An audience area detection unit for generating a unit audience area in units of each audience in which the audience constituting the audience group is located in the acquired audience group video;
A difference image between the unit audience region and a previous unit audience region generated in the previous audience group image is obtained by subtracting the previous audience group image of the audience group image and the audience group image from each other to obtain a difference image of the pixel value histogram A motion change amount calculation unit for calculating a motion change amount at the current time point in the unit audience area for each unit viewer area;
A unit time-series pattern generator for generating a time-series pattern of the amount of movement change for the unit audience area for each unit viewer area from the current time movement variation of the unit audience area; And
And a reaction determiner for determining an overall reaction pattern of the audience group based on a time series pattern of the amount of movement variation with respect to the unit audience area and determining a reaction of the audience group from the determined overall reaction pattern,
Wherein the motion variation calculation unit calculates the total number of pixels having a pixel value equal to or greater than the threshold value in the pixel value histogram for each unit audience area and calculates a motion variation amount at the current time point in the unit audience area based on the determined total number Wherein the group of the audience members is a group of the audience members. 제 13 항에 있어서, 상기 관객 영역 검출부는
상기 획득한 관객 그룹 영상에서 관객 그룹을 구성하는 관객 개개인의 얼굴 패턴 형상을 검색하여 관객 개개인의 얼굴 영역을 판단하는 얼굴 영역 검색부;
상기 관객 개개인별로 상기 얼굴 영역에 기초하여 상기 얼굴 영역과 상기 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부; 및
상기 획득한 관객 그룹 영상에서 상기 관객 개개인 별로 상기 얼굴 영역과 상기 기타 영역으로 구성되는 단위 관객 영역을 생성하는 단위 관객 영역 생성부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.14. The apparatus of claim 13, wherein the viewer area detecting unit
A face area searching unit for searching a face pattern shape of each of the audience members constituting the audience group in the obtained audience group image to determine the face area of each audience;
An area dividing unit for dividing the face area into other areas adjacent to the face area and having at least one detailed other area based on the face area for each audience; And
And a unit audience region generating unit for generating a unit audience region including the face region and the other region for each of the audience members in the obtained audience group video. 제 14 항에 있어서, 상기 움직임 변화량 계산부는
상기 관객 그룹 영상과 상기 이전 관객 그룹 영상을 서로 차감하여 상기 단위 관객 영역별로 상기 단위 관객 영역과 이전 단위 관객 영역 사이의 차영상을 생성하는 차영상 생성부;
상기 생성한 차영상에서, 상기 단위 관객 영역별로 얼굴 영역의 차영상과 상기 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부; 및
상기 단위 관객 영역별로 상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 상기 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치. 15. The apparatus of claim 14, wherein the motion variation calculation unit
A difference image generation unit for subtracting the audience group image and the previous audience group image from each other to generate a difference image between the unit audience region and the previous unit audience region for each unit audience region;
A brightness histogram of a difference image of the face region from a pixel value of a pixel constituting a difference image of a face region and a difference image of each of the detail other regions in the generated difference image, A histogram generation unit for generating a brightness histogram of the difference image of the difference image; And
Determining a total number of pixels having brightness equal to or greater than a threshold value in a brightness histogram of a difference image of the face region and a brightness histogram of a difference image of each of the detail different regions in each unit audience region, And a change amount calculating unit for calculating a change amount of the movement of the face region at the current time point and a change amount of the movement of the current time point for each of the detail other regions at a predetermined unit level. 제 15 항에 있어서, 상기 시계열 패턴 생성부는
상기 단위 관객 영역별로 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고,
상기 단위 관객 영역별로 상기 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.16. The apparatus of claim 15, wherein the time-series pattern generator
Generating a time-series pattern of the amount of motion variation with respect to the face region based on the amount of motion variation at the current time point of the face region for each unit audience area,
And generates a time-series pattern of the amount of movement change for each of the other sub-areas based on the amount of movement change at the current time point for each of the sub-sub-areas for each unit audience area. 제 16 항에 있어서, 상기 반응 판단부는
상기 단위 관객 영역별로 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴으로부터 관객 개개인의 단위 반응 패턴을 판단하는 개인 반응 판단부; 및
상기 관객 그룹을 구성하는 모든 관객의 단위 반응 패턴에 기초하여 가장 많은 수의 동일한 단위 반응 패턴을 상기 관객 그룹의 그룹 반응 패턴으로 판단하고, 상기 그룹 반응 패턴에 매핑되어 있는 반응을 상기 관객 그룹의 반응으로 판단하는 그룹 반응 판단부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.17. The apparatus of claim 16, wherein the reaction determiner
An individual reaction determination unit for determining a unit response pattern of each viewer based on a unit time-series pattern of the amount of movement change with respect to the face region and a unit time-series pattern of the amount of movement variation with respect to the detail other region for each unit audience area; And
Determining a maximum number of identical unit reaction patterns as a group reaction pattern of the audience group based on a unit response pattern of all the audience members constituting the audience group and determining a reaction mapped to the group reaction pattern as a reaction And a group response deciding unit for deciding the group response deciding unit. 제 17 항에 있어서, 상기 개인 반응 판단부는
상기 단위 관객 영역별로 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 상기 얼굴 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 얼굴 패턴 단위 식별자를 검색하고, 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 상기 세부 기타 영역에 대한 움직임 변화량의 단위 시계열 패턴에 일치하는 기타 패턴 단위 식별자를 검색하는 단위 패턴 검색부;
상기 단위 관객 영역별로 상기 얼굴 패턴 단위 식별자와 상기 기타 패턴 단위 식별자로부터 단위 패턴 조합을 생성하는 단위 패턴 조합 생성부; 및
상기 단위 패턴 조합과 일치하는 반응 패턴을 패턴 조합 데이터베이스에서 검색하는 단위 반응 패턴 검색부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.18. The method of claim 17, wherein the personal reaction determiner
A face pattern unit identifier corresponding to the unit time series pattern of the amount of motion variation with respect to the face region is calculated by calculating a unit time series pattern of the amount of motion variation with respect to the face region and a pattern stored in the pattern database, A unit pattern for searching for other pattern unit identifiers matching the unit time series pattern of the motion variation amount with respect to the detailed area by calculating the unit time series pattern of the motion variation amount with respect to the detailed other area and the pattern stored in the pattern database, A search unit;
A unit pattern combination generating unit for generating a unit pattern combination from the face pattern unit identifier and the other pattern unit identifiers for each unit audience area; And
And a unit pattern search unit for searching the pattern combination database for a reaction pattern matching the unit pattern combination. 제 17 항에 있어서, 상기 반응 판단부는
상기 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴과 상기 관객 그룹의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴을 생성하는 평균 시계열 패턴 생성부; 및
상기 관객 그룹의 얼굴 영역에 대한 움직임 변화량의 평균 시계열 패턴과 상기 관객 그룹의 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴으로부터 상기 관객 그룹의 그룹 반응 패턴을 결정하고, 상기 결정한 그룹 반응 패턴으로부터 상기 관객 그룹의 반응을 판단하는 그룹 반응 판단부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.18. The apparatus of claim 17, wherein the reaction determiner
An average time-series pattern generator for generating an average time-series pattern of the amount of motion variation with respect to the face area of the audience group and an average time-series pattern of the amount of motion variation with respect to other detailed areas of the audience group; And
Determining a group response pattern of the audience group from an average time series pattern of the amount of movement variation with respect to the face region of the audience group and an average time series pattern of the variation amount of movement with respect to other detailed regions of the audience group, And a group response determiner for determining a response of the group. 제 19 항에 있어서, 상기 평균 시계열 패턴 생성부는
상기 관객 그룹의 상기 단위 관객 영역별로 생성한 상기 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 동일 시간 단위로 서로 합하여 얼굴 영역에 대한 움직임 변화량의 전체 시계열 패턴을 생성하고, 상기 얼굴 영역에 대한 움직임 변화량의 전체 시계열 패턴을 상기 관객 그룹을 구성하는 관객의 수로 나누어 얼굴 영역의 움직임 변화량의 평균 시계열 패턴을 생성하는 제1 평균 시계열 패턴 생성부; 및
상기 관객 그룹의 상기 단위 관객 영역별로 생성한 상기 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴을 서로 동일한 세부 기타 영역별로 동일 시간 단위로 합하여 세부 기타 영역에 대한 움직임 변화량의 전체 시계열 패턴을 생성하고, 상기 세부 기타 영역의 움직임 변화량의 전체 시계열 패턴을 상기 관객 그룹을 구성하는 관객의 수로 나누어 세부 기타 영역의 움직임 변화량의 평균 시계열 패턴을 생성하는 제2 평균 시계열 패턴 생성부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.20. The apparatus of claim 19, wherein the average time series pattern generator
Generating a total time series pattern of a motion variation amount for the face region by summing the time series patterns of the motion variation amounts for the face region generated for each of the audience groups in the audience group on the same time unit basis, A first average time-series pattern generator for generating an average time-series pattern of the amount of motion variation of the face region by dividing the total time-series pattern by the number of spectators constituting the audience group; And
Generating a total time-series pattern of a motion variation amount for a detailed other area by summing the time series patterns of the motion variation amounts for the other detailed areas generated for each unit audience area of the audience group on the same time basis, And a second average time-series pattern generator for generating an average time-series pattern of the amount of motion variation in the detailed other area by dividing the total time-series pattern of the amount of movement variation of the detailed other area by the number of the audience constituting the audience group Reaction determination device. 제 19 항에 있어서, 상기 그룹 반응 판단부는
상기 얼굴 영역의 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 상기 얼굴 영역의 움직임 변화량의 평균 시계열 패턴에 일치하는 얼굴 패턴 평균 식별자를 검색하고, 상기 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴과 패턴 데이터베이스에 저장되어 있는 패턴의 일치도를 계산하여 상기 세부 기타 영역에 대한 움직임 변화량의 평균 시계열 패턴에 일치하는 기타 패턴 평균 식별자를 검색하는 그룹 패턴 검색부;
상기 얼굴 패턴 평균 식별자와 상기 기타 패턴 평균 식별자로부터 그룹 패턴 조합을 생성하는 그룹 패턴 조합 생성부;
상기 생성한 그룹 패턴 조합과 일치하는 그룹 반응 패턴을 패턴 조합 데이터베이스에서 검색하는 그룹 반응 패턴 검색부; 및
상기 검색한 그룹 반응 패턴에 매핑되어 있는 반응을 상기 관객 그룹의 반응으로 판단하는 그룹 반응 결정부를 포함하는 것을 특징으로 하는 관객 그룹의 반응 판단 장치.20. The apparatus of claim 19, wherein the group response determiner
A face pattern average identifier corresponding to an average time series pattern of the amount of motion variation of the face region is calculated by calculating a matching degree of an average time series pattern of the amount of motion variation of the face region and a pattern stored in the pattern database, A group pattern search unit for calculating a match degree of a pattern stored in the pattern database and an average time series pattern of a motion variation amount to search for other pattern average identifiers matching an average time series pattern of a motion variation amount with respect to the other detailed areas;
A group pattern combination generator for generating a group pattern combination from the face pattern average identifier and the other pattern average identifier;
A group reaction pattern search unit for searching a pattern combination database for group response patterns matching the group pattern combination; And
And a group reaction determiner for determining a reaction mapped to the searched group reaction pattern as a reaction of the audience group.
KR1020120109346A 2012-09-28 2012-09-28 Method for estimating response of audience group concerning content KR101403143B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120109346A KR101403143B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience group concerning content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109346A KR101403143B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience group concerning content

Publications (2)

Publication Number Publication Date
KR20140042504A KR20140042504A (en) 2014-04-07
KR101403143B1 true KR101403143B1 (en) 2014-06-03

Family

ID=50651663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109346A KR101403143B1 (en) 2012-09-28 2012-09-28 Method for estimating response of audience group concerning content

Country Status (1)

Country Link
KR (1) KR101403143B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591402B1 (en) 2014-05-29 2016-02-03 모젼스랩(주) analysis system and method for response of audience
KR102253918B1 (en) * 2019-02-19 2021-05-20 주식회사딜루션 Emotion analysis system and operation method of the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072085A (en) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 Apparatus and method for collecting user evaluation regarding contents
JP2010207488A (en) * 2009-03-12 2010-09-24 Gifu Univ Behavior analyzing device and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072085A (en) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 Apparatus and method for collecting user evaluation regarding contents
JP2010207488A (en) * 2009-03-12 2010-09-24 Gifu Univ Behavior analyzing device and program

Also Published As

Publication number Publication date
KR20140042504A (en) 2014-04-07

Similar Documents

Publication Publication Date Title
JP5664553B2 (en) Person clothes feature extraction device, person search device, person clothes feature extraction method, person search method, and program
KR101369915B1 (en) Video identifier extracting device
JP3740065B2 (en) Object extraction device and method based on region feature value matching of region-divided video
KR100873638B1 (en) Image processing method and apparatus
JP4991923B2 (en) Image processing method and apparatus
WO2005084036A1 (en) Motion vector detecting apparatus, motion vector detecting method, and computer program
US20080260255A1 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US9596520B2 (en) Method and system for pushing information to a client
KR20090084563A (en) Method and apparatus for generating the depth map of video image
JP2006510072A (en) Method and system for detecting uniform color segments
JP5925557B2 (en) Image matching device
US20160364883A1 (en) Image processing apparatus, image processing method, and recording medium
EP2165525A1 (en) Method of processing moving picture and apparatus thereof
JP2017112448A (en) Video scene division device and video scene division program
JP2013210845A (en) Moving object collation device
JPWO2014103673A1 (en) Information processing system, information processing method, and program
KR101403143B1 (en) Method for estimating response of audience group concerning content
JP2014110020A (en) Image processor, image processing method and image processing program
JP5644505B2 (en) Collation weight information extraction device
JP2011146827A (en) Unit and method for processing image, and program
KR101403244B1 (en) Method for estimating attention level of audience group concerning content
KR101337833B1 (en) Method for estimating response of audience concerning content
KR102121534B1 (en) Method and device for determining similarity of sequences
KR101554784B1 (en) Method for estimating response of audience concerning content
US9135509B2 (en) Determining representative images for a video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee