KR20150033173A

KR20150033173A - Satisfaction reporting system using face recognition

Info

Publication number: KR20150033173A
Application number: KR20130112820A
Authority: KR
Inventors: 이인호
Original assignee: (주)이노지움
Priority date: 2013-09-23
Filing date: 2013-09-23
Publication date: 2015-04-01

Abstract

The present invention relates to a system for surveying audience satisfaction by using face recognition capable of installing cameras at the entrance of a theater or the entrance of an exhibit hall; calculating a smile level by analyzing specific points after capturing the expression of audiences who watched a performance; surveying the audience satisfaction without separate survey work; and compiling statistics. The system for surveying the audience satisfaction by using the face recognition comprising a camera which obtains a face image of an audience; an image analyzing unit which extracts the specific points from the face image of the audience obtained from the camera; an expression determining unit which determines expression by using the extracted specific points; and a statistics analyzing unit which calculates the statistics for the satisfaction according to a determined result.

Description

{Satisfaction reporting system using face recognition}

본 발명은 관객 만족도 조사 시스템에 관한 것으로, 더욱 구체적으로는 공연이나 전시회를 관람한 고객이 퇴장할 때의 표정을 통해 관람 만족도를 통계분석할 수 있는 안면인식을 통한 관객 만족도 조사 시스템에 관한 것이다.
The present invention relates to an audience satisfaction survey system, and more specifically, to a customer satisfaction survey system using facial recognition capable of statistically analyzing the satisfaction degree of viewing through a facial expression when a customer who watches a performance or an exhibition leaves.

생활 수준의 향상으로 인해 각종 공연이나 전시, 박람회 등의 개최 횟수가 늘어나고 있으며, 관람객도 꾸준하게 증가하고 있다.Due to the improvement in living standards, the number of performances, exhibitions, and fairs are increasing, and the number of visitors is steadily increasing.

통상 관람객은 공연이나 전시회를 선택할 시, 먼저 관람을 마친 사람들의 입소문이나 후기를 통해 관람 여부를 결정한다.Normally, when a visitor chooses a performance or an exhibition, he / she decides whether or not to view it through word-of-mouth or review of those who have already visited.

즉 공연의 주최측에서는 추가 관객을 유치하기 위해, 그리고 향후 개선점을 찾기 위해 관람객의 만족도를 조사하고 그 결과를 제공해야할 필요가 있다.In other words, the organizers of the performances need to investigate the satisfaction of viewers and provide the results in order to attract additional viewers and find further improvement.

종전에는 관람을 마친 관람객에게 설문 조사를 하여 만족도 조사를 수행하였다. 하지만 관람객의 참여가 저조하여 만족도 결과를 수치화하는 데 어려움을 겪고 있다.
In the past, surveys were conducted to observe visitors and satisfaction surveys were conducted. However, it is difficult to quantify the satisfaction result because the participation of visitors is low.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 관람을 마친 관람객이 퇴장할 시 안면 이미지를 획득하여 표정을 판정하고, 이를 통해 관람 만족도를 통계적으로 산출하여 제공할 수 있는 안면인식을 통한 관객 만족도 조사 시스템을 제공하는 데 그 목적이 있다.
The present invention has been conceived to solve the problems of the prior art as described above, and it is an object of the present invention to provide a method and apparatus for acquiring a facial image, The object of the present invention is to provide a system for surveying the satisfaction of the audience through facial recognition.

상기 목적을 달성하기 위한 본 발명에 따른 안면인식을 통한 관객 만족도 조사 시스템은, 관객의 안면 이미지를 획득하는 카메라; 상기 카메라에서 획득한 관객의 안면 이미지로부터 특징점을 추출하는 영상분석부; 상기 추출된 특징점을 통해 표정을 판정하는 표정판정부; 및 상기 판정 결과에 따라 만족도에 대한 통계를 산출하는 통계분석부;를 포함한다.
According to an aspect of the present invention, there is provided an audience satisfaction survey system using facial recognition, comprising: a camera for acquiring a facial image of a viewer; An image analyzer for extracting feature points from a facial image of a viewer acquired by the camera; A facial expression determining unit for determining a facial expression through the extracted feature points; And a statistical analysis unit for calculating a statistic of satisfaction according to the determination result.

본 발명에 따르면 공연장이나 전시회의 출입구에 카메라를 설치하여 관람을 마친 관객들이 퇴장할 시 안면 이미지를 획득하고, 안면 이미지의 특징점을 분석함으로써 표정을 판독하고, 그 결과를 수치화함으로써 만족도 조사를 수행할 수 있다.According to the present invention, a camera is installed at a venue of a performance hall or an exhibition, and a facial image is obtained at the time of exiting the audience, a facial expression is analyzed by analyzing a characteristic point of the facial image, .

즉, 종래의 설문조사에서는 관객의 참여도가 저조하여 만족도 조사 결과가 객관적이지 못하였으나, 본 발명에서는 수많은 사람들의 표정을 모두 판독하여 결과를 도출할 수 있기 때문에 객관적인 조사 결과를 제공하는 것이 가능하다.That is, although the satisfaction survey result is not objectively based on the audience participation rate in the conventional survey, in the present invention, it is possible to provide an objective survey result because it can read out the results of many people's expressions .

또한, 공연에 대한 여운이 아직 남은 상태에서 자신도 모르게 짓고 있는 표정을 캡쳐하여 조사를 하는 것이기 때문에 조사 결과를 신뢰할 수 있다.
In addition, the result of the survey can be trusted because it captures the facial expressions that the self-unaware facial expressions are still in the remaining state of the performance.

도1은 본 발명의 실시예에 따른 안면인식을 통한 관객 만족도 조사 시스템을 설명하기 위한 블록도.
도2는 관객 촬영 화면의 예시를 설명하기 위한 도면.
도3은 특징점 검출을 통해 관객 표정을 판정하는 예시를 설명하기 위한 도면.1 is a block diagram for explaining an audience satisfaction survey system using facial recognition according to an embodiment of the present invention;
2 is a view for explaining an example of an audience photographing screen.
FIG. 3 is a diagram for explaining an example of judging an audience expression through a feature point detection; FIG.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, some configurations which are not related to the gist of the present invention may be omitted or compressed, but the configurations omitted are not necessarily those not necessary in the present invention, and they may be combined by a person having ordinary skill in the art to which the present invention belongs. .

더불어 이하에서 설명하게 되는 각 구성부와 서버 및 시스템은 반드시 각각의 기능을 수행하는 독립적인 구성부나 서버로 이루어져야 하는 것은 아니며, 하나 이상의 프로그램 또는 하나 이상의 서버 또는 하나 이상의 시스템의 집합으로 구현되거나 일부가 공유될 수도 있음을 밝히는 바이다.
In addition, each component, server, and system described below does not necessarily have to be an independent component or server that performs each function, but may be implemented as one or more programs or one or more servers or a collection of one or more systems, May be shared.

도1은 본 발명의 실시예에 따른 안면인식을 통한 관객 만족도 조사 시스템을 설명하기 위한 블록도이다. 도1에 도시된 바와 같이 본 발명의 실시예에 따른 안면인식을 통한 관객 만족도 조사 시스템(20)은 카메라(10), 인터페이스부(21), 영상분석부(22), 표정판정부(23), 저장부(24), 통계분석부(25) 및 디스플레이(26)를 포함한다.1 is a block diagram for explaining an audience satisfaction survey system using face recognition according to an embodiment of the present invention. 1, an audience satisfaction survey system 20 for facial recognition according to an embodiment of the present invention includes a camera 10, an interface unit 21, an image analysis unit 22, a facial expression determination unit 23, A storage unit 24, a statistical analysis unit 25, and a display 26. [

카메라(10)는 공연장이나 전시회장의 출입구에 설치되어, 관람을 마친 관객이 퇴장할 때 안면 이미지를 획득하기 위해 마련된다.The camera 10 is installed at the entrance of a performance hall or an exhibition hall, and is prepared to acquire a facial image when a viewer who has finished the viewing leaves.

인터페이스부(21)는 카메라(10)와 통신 채널을 연결하여, 카메라(10)에서 획득한 안면 이미지를 수신한다.The interface unit 21 connects the camera 10 with a communication channel and receives the facial image acquired by the camera 10. [

영상분석부(22)는 카메라(10)에서 획득한 안면 이미지를 분석하여 특징점을 추출한다. 영상분석부(22)는 도2에 도시된 바와 같이 하나의 촬영 화면에 여러명의 얼굴이 있을 경우, 각각의 얼굴들을 개별적인 얼굴로 인식(다중 얼굴 디텍션)한다. 또한 영상분석부(22)는 도3에 도시된 바와 같이 안면 이미지의 눈 또는 입 모양을 분석하여 특징점을 추출한다.The image analyzing unit 22 analyzes the facial image acquired by the camera 10 and extracts the feature points. As shown in FIG. 2, the image analyzing unit 22 recognizes each face as a separate face (multiple face detection) when there are a plurality of faces on one photographing screen. The image analyzer 22 analyzes the eye or mouth shape of the face image as shown in FIG. 3 to extract feature points.

표정판정부(23)는 영상분석부(22)에서 추출한 특징점을 기 구축된 데이터베이스와 비교하여 스마일 등급을 판정한다. 즉 관객이 웃고 있는지, 울고 있는지, 화내고 있는지 등의 표정을 판정하는 것이며, 더 구체적으로 웃음의 정도를 등급으로 나누어 판정한다. 예컨대 입꼬리가 조금 올라가 있으면 스마일 3점으로 판정하고, 입꼬리가 많이 올라가 있으면 스마일 7점으로 판정하는 것이다.The facial expression determination section 23 compares the minutiae extracted by the image analysis section 22 with the preliminarily constructed database to determine the smile rating. That is, whether the audience is laughing, crying, or being angry. More specifically, the degree of laughter is determined by classifying the degree of laughter. For example, if the mouthpiece is slightly raised, it is determined that the smile is 3 points, and if the mouthpiece is raised a lot, the smile is determined as 7 points.

저장부(24)는 카메라(10)에서 획득한 안면 이미지 및 표정판정부(23)에서 판정한 결과를 저장한다.The storage unit 24 stores the facial images acquired by the camera 10 and the results determined by the facial expression determination unit 23.

통계분석부(25)는 저장부(24)에 저장된 표정판정부(23)의 판정 결과를 통해 만족도에 대한 통계를 산출한다. 예컨대 통계분석부(25)는 표정판정부(23)에서 판정한 스마일 등급의 평균을 내어 별점을 산출할 수 있다.The statistical analysis unit 25 calculates statistics on the satisfaction based on the determination result of the facial expression determination unit 23 stored in the storage unit 24. [ For example, the statistical analyzer 25 can calculate a star rating by averaging the smile ratings determined by the facial expression determiner 23.

디스플레이(26)는 카메라(10)에서 촬영한 영상을 관리자가 확인할 수 있도록 화면 출력한다. 또한 디스플레이(26)는 특징점을 산출하는 영상 분석 과정과, 특징점을 기반으로 산출되는 표정판정부(23)의 판정 결과를 화면 출력한다. 또한 디스플레이(26)는 통계분석부(25)에서 산출한 통계 결과를 화면 출력한다.
The display 26 displays an image taken by the camera 10 so that the administrator can confirm it. The display 26 also displays an image analysis process for calculating feature points and a determination result of the facial expression determination unit 23 based on the feature points. Further, the display 26 displays the statistical results calculated by the statistical analysis unit 25 on the screen.

이상에서 상세히 설명한 바와 같이, 본 발명에 따르면 공연장이나 전시회의 출입구에 카메라(10)를 설치하여 관람을 마친 관객들이 퇴장할 시 안면 이미지를 획득하고, 안면 이미지의 특징점을 분석함으로써 표정을 판독하고, 그 결과를 수치화함으로써 만족도 조사를 수행할 수 있다.As described above in detail, according to the present invention, when a camera 10 is installed at a doorway of a performance hall or an exhibition to obtain a facial image at the time of exiting the viewer, the facial expression is read by analyzing the characteristic points of the facial image, The satisfaction survey can be performed by quantifying the results.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.
The foregoing description of the preferred embodiments of the present invention has been presented for the purpose of illustration and it will be apparent to those skilled in the art that various modifications, additions and substitutions are possible within the spirit and scope of the invention, And additions should be considered as falling within the scope of the claims of the present invention.

10 : 카메라
20 : 관객 만족도 조사 시스템
21 : 인터페이스부
22 : 영상분석부
23 : 표정판정부
24 : 저장부
25 : 통계분석부
26 : 디스플레이10: Camera
20: Audience satisfaction survey system
21: Interface section
22: Image analysis section
23: Expression determination section
24:
25: Statistical analysis section
26: Display

Claims

A camera for acquiring a facial image of an audience;
An image analyzer for extracting feature points from a facial image of a viewer acquired by the camera;
A facial expression determining unit for determining a facial expression through the extracted feature points; And
And a statistical analysis unit for calculating statistics on the satisfaction according to the determination result.