KR20140115153A - 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템 - Google Patents

관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템 Download PDF

Info

Publication number
KR20140115153A
KR20140115153A KR1020130029883A KR20130029883A KR20140115153A KR 20140115153 A KR20140115153 A KR 20140115153A KR 1020130029883 A KR1020130029883 A KR 1020130029883A KR 20130029883 A KR20130029883 A KR 20130029883A KR 20140115153 A KR20140115153 A KR 20140115153A
Authority
KR
South Korea
Prior art keywords
information
audience
responses
classifying
analyzing
Prior art date
Application number
KR1020130029883A
Other languages
English (en)
Inventor
박창수
윤효석
김준수
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020130029883A priority Critical patent/KR20140115153A/ko
Publication of KR20140115153A publication Critical patent/KR20140115153A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로써, 공연을 관람하는 다수 관객들의 관객 반응 정보를 공연 중에 실시간으로 수집하고, 수집된 정보를 분석하기 위한 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템을 제공하는 것을 목적으로 한다. 본 발명의 바람직한 실시예에 따른 관객 반응 분석 방법은 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 하나의 정보 형태로 수집하는 정보수집단계; 및 상기 정보수집단계에서 수집된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류단계를 포함할 수 있다.

Description

관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템{Apparatus and Method for Analysing Audience Reaction And System for Analysing Audience Reaction Using the Same}
본 발명은 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템에 관한 것이다. 보다 상세하게는, 본 발명은 영화, 연극, 뮤지컬 등의 다양한 공연에서 관객 반응을 수집하고 분석하는 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템에 관한 것이다.
수많은 사람들이 영화, 연극, 뮤지컬 등의 다양한 공연을 관람한다. 현재 공연에 대한 관객들의 반응을 측정하기 위하여 관객이 직접 전자 버튼을 눌러 투표를 하거나 호응 여부를 직접 선택하는 시스템이 사용된다. 하지만 이러한 기술은 관객들의 자연스러운 반응을 관측할 수 없으며, 측정할 수 있는 반응이 매우 제한적인 문제점이 존재한다.
또한, 관객 반응 정보를 수집하는 방법으로, 공연에 대한 설문조사, 인터뷰 등을 통해 공연 자체에 대한 포괄적인 호응도를 측정하는 방법이 있다. 그러나, 이러한 방법은 관객들의 설문조사 참여도 확보, 신뢰성 확보의 문제점을 가지고 있다. 또한, 이러한 방법은 공연의 세부 장면 별 반응 등의 자세한 관객 반응 정보를 수집하기에는 부족하다.
따라서, 다양한 관객 반응을 실시간으로 자연스럽게 수집하고 분석할 수 있는 기술이 필요하다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로써, 공연을 관람하는 다수 관객들의 관객 반응 정보를 공연 중에 실시간으로 수집하고, 수집된 정보를 분석하기 위한 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템을 제공하는 것을 목적으로 한다.
상기한 문제점을 해결하기 위한 관객 반응 분석 방법은 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 하나의 정보 형태로 수집하는 정보수집단계; 및 상기 정보수집단계에서 수집된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류단계를 포함할 수 있다.
바람직하게는, 제 1 항에 있어서, 상기 관객 반응 분석 방법은, 정보수집단계에서 수집된 정보의 타임 스탬프(Time Stamp)를 이용하여 시간 동기화를 수행하는 동기화단계를 더 포함할 수 있다.
바람직하게는, 상기 영상 형태의 관객들의 반응 정보는, 상기 관객들의 얼굴에 대한 깊이 영상(Depth Image) 및 상기 관객들의 모션에 대한 적외선 카메라 촬영 영상 중 적어도 하나일 수 있다.
바람직하게는, 상기 음향 형태의 관객들의 반응 정보는, 상기 관객들의 발성 기관에서 나오는 소리 및 상기 관객들의 발성 소리 중 적어도 하나일 수 있다.
바람직하게는, 상기 생체신호 형태의 관객들의 반응 정보는, 상기 관객들의 EEG(뇌전도), EOG(안전도), EMG(근전도), ECG(심전도), 맥박, 심박수, 체온 및 혈압 중 적어도 하나에 관한 정보일 수 있다.
바람직하게는, 상기 분류단계는, 상기 관객들의 반응을 분석하고, 상기 분석된 관객들의 반응을 기 저장된 클래스(Class) 별 데이터와 비교하여 상기 클래스 별로 분류하며, 상기 분석된 관객들의 반응을 미리 저장된 클래스(Class) 별 데이터와 비교하여 상기 클래스 별로 분류하는 것은 기계학습 알고리즘을 이용할 수 있다.
바람직하게는, 상기 기계학습 알고리즘은 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘일 수 있다.
바람직하게는, 상기 정보수집단계는, 상기 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 둘 이상의 형태로 정보를 수집하며, 상기 분류단계는, 상기 정보수집단계에서 수집된 정보를 상기 수집된 정보 형태별로 각각 관객들의 반응을 분석하여 클래스 별로 분류하거나, 상기 수집된 정보를 종합하여 관객들의 반응을 분석하여 클래스 별로 분류할 수 있다.
상기한 문제점을 해결하기 위한 관객 반응 분석 장치는, 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 하나의 정보 형태로 수집된 관객들의 반응을 수신하는 정보수신부; 및 상기 정보수신부에서 수신된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류부를 포함할 수 있다.
바람직하게는, 상기 관객 반응 분석 장치는, 상기 클래스 별 기준 데이터를 기 저장하고 있는 데이터베이스부를 더 포함하며, 상기 분류부는, 상기 정보수신부에서 수신된 정보를 이용하여 상기 분석된 관객들의 반응을 상기 데이터베이스부에 저장된 데이터와 비교하여 상기 클래스 별로 분류할 수 있다.
바람직하게는, 상기 분류부는, 기계학습 알고리즘을 이용하여 상기 관객들의 반응을 분석하여 클래스 별로 분류할 수 있다.
바람직하게는, 상기 기계학습 알고리즘은 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘일 수 있다.
바람직하게는, 상기 분류부에서 클래스 별로 분류된 상기 분석된 관객들의 반응 정보는 상기 데이터베이스부에 저장되어 차후 상기 클래스 별 기준 데이터로 이용될 수 있다.
바람직하게는, 상기 관객 반응 분석 장치는, 정보수신부에서 수신된 정보의 타임 스탬프(Time Stamp)를 이용하여 시간 동기화를 수행하는 동기화부를 더 포함할 수 있다.
바람직하게는, 상기 정보수신부가 수신한 상기 영상 형태의 관객들의 반응 정보는, 상기 관객들의 얼굴에 대한 깊이 영상(Depth Image) 및 상기 관객들의 모션에 대한 적외선 카메라 촬영 영상 중 적어도 하나일 수 있다.
바람직하게는, 상기 정보수신부가 수신한 상기 음향 형태의 관객들의 반응 정보는, 상기 관객들의 발성 기관에서 나오는 소리 및 상기 관객들의 발성 소리 중 적어도 하나일 수 있다.
바람직하게는, 상기 정보수신부가 수신한 상기 생체신호 형태의 관객들의 반응 정보는, 상기 관객들의 EEG(뇌전도), EOG(안전도), EMG(근전도), ECG(심전도), 맥박, 심박수, 체온 및 혈압 중 적어도 하나에 관한 정보일 수 있다.
바람직하게는, 상기 정보수신부는, 상기 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 둘 이상의 형태로 정보를 수집하며, 상기 분류부는, 상기 정보수신부에서 수집된 정보를 상기 수집된 정보의 형태별로 각각 관객들의 반응을 분석하여 클래스 별로 분류하거나, 상기 수집된 정보를 종합하여 관객들의 반응을 분석하여 클래스 별로 분류할 수 있다.
상기한 문제점을 해결하기 위한 관객 반응 분석 시스템은, 영상 형태의 관객들의 반응 정보를 수집하는 카메라; 음향 형태의 관객들의 반응 정보를 수집하는 마이크; 생체신호 형태의 관객들의 반응 정보를 수집하는 센서부; 상기 카메라, 마이크 및 센서부에서 수집된 상기 관객들의 반응 정보들을 수신하는 정보수신부; 및 상기 정보수신부에서 수신된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류부를 포함할 수 있다.
바람직하게는, 상기 관객 반응 분석 시스템은, 상기 클래스 별 기준 데이터를 기 저장하고 있는 데이터베이스부를 더 포함하며, 상기 분류부는, 상기 정보수신부에서 수신된 정보를 이용하여 상기 분석된 관객들의 반응을 상기 데이터베이스부에 저장된 데이터와 비교하여 상기 클래스 별로 분류할 수 있다.
본 발명은 공연을 관람하는 다수 관객들의 다양한 반응 정보를 실시간으로 수집할 수 있다.
또한, 본 발명은 수집된 관객들의 다양한 반응 정보를 이용하여 관객들의 반응을 분석할 수 있다.
또한, 본 발명은 수집 또는 분석된 관객들의 반응 정보를 이용하여 공연에 대한 평가를 수행할 수 있다.
또한, 공연 제작사, 공연장 운영업체, 공연 투자자, 엔터테이먼트(Entertainment)사, 감성공학 등의 연구나 학술 기관 등에서 본 발명에서 수집 및 분석된 관객 반응 정보를 유용하게 활용할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 관객 정보 분석 시스템에 관한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 관객 정보 분석 장치에 관한 블록도이다.
도 3는 본 발명의 클래스(Class) 분류의 일 예를 나타내는 도면이다.
도 4은 서포트 벡터 머신 알고리즘의 이해를 돕기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 관객 정보 분석 방법의 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명의 바람직한 실시예에 따른 관객 정보 분석 시스템은 연극, 영화, 뮤지컬, 연주회, 오페라 등의 공연을 관람하는 공연장에서 공연을 관람하는 관객들의 반응 정보를 실시간으로 수집하고 분석 및 분류하는 것에 관한 발명이다. 본 발명의 바람직한 실시예에 따른 관객 정보 분석 시스템에서 수집, 분석 및 분류된 관객들의 반응 정보는 공연 평가, 공연 투자, 공연 제작, 감성 공학 등의 학술적 목적 등 다양한 분야에서 이용될 수 있다.
공연장이라 함은 앞서 설명한 바와 같이 연극, 영화, 뮤지컬, 오페라 등의 공연을 관람하는 곳인바, 영화관, 연주회관 등을 포함한다.
구체적으로 도면을 참조하여 본 발명의 바람직한 실시예에 따른 관객 정보 분석 시스템에 관하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 관객 정보 분석 시스템에 관한 블록도이다.
도 1을 참조하면 본 발명의 바람직한 실예에 따른 관객 반응 분석 시스템(1000)은 카메라(1100), 마이크(1200), 생체 센서(1300) 및 관객 반응 분석 장치(1400)를 포함한다. 카메라(1100), 마이크(1200), 생체 센서(1300)는 모두 포함되는 것이 바람직하나 반드시 모두 포함할 필요는 없으며, 적어도 하나 이상이 포함될 수 있다.
카메라(1100), 마이크(1200) 및 생체 센서(1300)는 공연장에서 공연을 관람 중인 관객들의 반응 정보를 수집한다.
구체적으로 카메라(1100)는 영상 형태의 관객 반응 정보를 수집한다. 즉, 카메라(1100)는 공연을 관람하고 있는 관객들의 촬영하여, 관객들의 얼굴 표정 및/또는 관객들의 모션에 관한 정보를 수집한다.
본 발명에 따른 관객 반응 분석 시스템(1000)의 카메라(1100)는 관객들의 공연 관람을 방해하지 않고 자연스러운 상황에서 관객들의 반응 정보를 수집하기 위하여 저소음과 최소한의 불빛을 이용하는 것이 바람직하다.
즉, 일반적인 공연장의 경우 무대를 제외한 공간은 어둡고 조용한 공간인 바, 저소음과 최소한의 불빛을 사용하는 장치를 이용하여 정보를 수집하여야 한다. 따라서, 카메라(1100)는 소음이 적고 최소한의 불빛을 이용하는 깊이 영상(Depth Image)을 촬영하는 뎁스 카메라(1100)이거나 적외선 영상을 촬영하는 적외선 카메라(1100)인 것이 바람직하다. 카메라(1100)는 뎁스 카메라(1100)와 적외선 카메라(1100)를 모두 이용하여 관객 반응 정보를 수집할 수 있다.
카메라(1100)가 깊이 영상을 촬영하는 뎁스 카메라(1100)나 적외선 영상을 촬영하는 적외선 카메라(1100)인 경우 관객들의 정확한 얼굴을 색상영상으로 등으로 촬영하는 것에 비하여 어두운 곳에서 정확한 정보 수집이 가능하며 또한 개인의 프라이버시를 보호할 수도 있는 장점이 있다.
카메라(1100)는 관객들의 공연 관람을 방해하지 않고 자연스러운 관객 반응 정보를 수집하기 위하여 천장에 설치 되는 것이 바람직하다. 다만, 카메라(1100)의 설치 장소가 이에 한정되는 것은 아니고 공연장에 따라서는 앞 좌석의 뒤편 상단부에 초소형 카메라(1100)로 설치되어 뒷좌석에 앉아 있는 관객 반응 정보를 수집할 수도 있다.
즉, 하나의 카메라(1100)가 특정 구역에 존재하는 다수의 관객들을 촬영하여 정보를 수집할 수도 있고, 하나의 카메라(1100)가 한 명의 관객 별로 촬영하여 정보를 수집할 수도 있다.
마이크(1200)는 음향 형태의 관객 반응 정보를 수집한다. 즉, 마이크(1200)는 공연을 관람하고 있는 관객들의 발성기관에서 나오는 소리 정보 및/또는 박수 소리 등의 음향 형태의 정보를 수집한다. 관객들의 발성기관에서 나오는 소리는 환호 소리, 울음 소리, 탄성, 놀라는 소리 등 다양할 수 있다.
본 발명에 따른 관객 반응 분석 시스템(1000)의 마이크(1200)는 관객들의 공연 관람을 방해하지 않고 자연스러운 상황에서 관객들의 반응 정보를 수집하는 것이 중요하다.
즉, 마이크(1200)는 관객들이 공연을 관람하는 시야에 들어오지 않거나, 공연관람의 집중에 방해가 되지 않도록 설치되는 것이 바람직하다.
따라서, 마이크(1200)는 공연장의 천장에 설치되거나 소형 마이크(1200)로 좌석에 설치 되거나 핀마이크 형태의 착용형 마이크가 될 수 있다.
마이크(1200)가 공연장의 천장에 설치되는 경우, 구역별로 해당 구역에 존재하는 다수 관객들의 음향 정보를 수집할 수 있다. 마이크(1200)가 좌석 또는 착용형으로 설치되는 경우, 관객마다 음향 정보를 수집할 수 있다. 마이크(1200)는 좌석 뒤편에 설치되어 뒷좌석 관객의 음향 정보를 수집할 수 있다. 또한, 마이크(1200)는 소형마이크(1200)로 관객들의 옷깃 등에 부착되어 관객 개개인의 음향 정보를 수집할 수도 있다.
생체 센서(1300)는 관객들의 반응 정보 중 생체 신호 형태의 정보를 수집한다. 구체적으로 생체 센서(1300)는 관객들의 EEG(뇌전도), EOG(안전도), EMG(근전도), ECG(심전도), 맥박, 심박수, 체온 및 혈압 중 적어도 어느 하나를 측정할 수 있다.
생체 센서(1300)는 관객들의 손목, 팔 안쪽, 이마 등의 특정 신체 부위에 착용하거나 부착하는 형태가 될 수 있다. 또는 생체 센서(1300)는 관객 좌석의 팔걸이 부분이나 손잡이 부분에 설치되어 관객들의 생체 신호 정보를 측정하여 수집할 수 있다.
본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치(1400)는 카메라(1100), 마이크(1200) 및 생체 센서(1300)에서 촬영, 수집 및 측정된 관객 반응 정보 수신하고, 수신된 정보를 분석하여 클래스(Class) 별로 분류한다.
구체적으로 본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치(1400)를 도 2와 함께 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치에 관한 블록도이다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치(1400)는 정보수신부(1410), 동기화부(1420), 분류부(1430) 및 데이터베이스부(1440)를 포함한다.
정보수신부(1410)는 카메라(1100), 마이크(1200) 및 생체 센서(1300)에서 수집된 관객 반응 정보를 수신한다.
구체적으로 정보수신부(1410)는 카메라(1100), 마이크(1200) 및 생체 센서(1300)와 유선 또는 무선으로 연결되어 관객 반응 정보를 수신할 수 있다.
예를 들어, 카메라(1100)와 마이크(1200)가 천장에 설치된 경우에는 유선으로 정보수신부(1410)와 연결될 수 있으나, 카메라(1100)와 마이크(1200)가 각각의 관객들의 좌석에 설치된 경우에는 설비와 미관상 유선보다는 무선으로 정보수신부(1410)와 연결되는 것이 바람직하다.
생체 센서(1300)는 좌석에 설치된 경우에는 유선 또는 무선으로 정보수신부(1410)와 연결될 수 있으나, 관객들의 신체 특정 부위에 부착된 경우에는 공연 관람의 집중도를 방해하지 않고 움직임에 방해가 없도록 무선으로 정보수신부(1410)와 연결되는 것이 바람직하다.
동기화부(1420)는 정보수신부(1410)에서 수신된 관객 반응 정보들의 시간 싱크를 일치시키는 동기화를 수행할 수 있다.
정보수신부(1410)가 카메라(1100), 마이크(1200) 및 생체 센서(1300) 중 적어도 둘 이상의 장치들로부터 수집된 관객 반응 정보를 수신하는 경우, 관객 반응 정보를 수집하는 둘 이상의 장치들 간에 수집하는 관객 반응 정보의 시간 싱크가 일치하지 않을 수 있다.
관객 반응 정보의 시간 싱크가 일치하지 않는 경우, 분류부(1430)에서 클래스 별로 분류된 관객 반응이 어떠한 공연 장면에서 나타난 반응인지를 알지 못하거나 오인할 수 있다.
즉, 보다 정확한 정보를 수집하고 분류하기 위하여 동기화부(1420)는 카메라(1100), 마이크(1200) 및 생체 센서(1300)에서 수집되는 정보의 타임 스탬프(Time Stamp) 정보를 이용하여 시간 싱크를 일치시킬 수 있다. 시간 싱크를 일치시키기 위하여 필요한 경우, 카메라(1100), 마이크(1200) 및 생체 센서(1300)가 수집된 관객 정보를 정보수신부(1410)로 송신할 때 타임 스탬프 정보도 함께 포함시켜 송신할 수 있다.
분류부(1430)는 정보수신부(1410)에서 수신된 관객 반응 정보를 이용하여 관객들의 반응을 분석하고 기 설정된 클래스(Class) 별로 분류한다.
기 설정된 클래스는 행복, 슬픔, 실망, 공포, 지루, 분노, 놀람, 화남, 즐거움 등 관객들이 공연을 관람하는 중 나타낼 수 있는 기분을 기준으로 설정될 수 있으며, 변경될 수도 있다.
도 3은 본 발명의 클래스(Class) 분류의 일 예를 나타내는 도면이다.
구체적으로 도 3은 카메라(1100), 마이크(1200) 및 생체 센서(1300)에서 수집된 관객들의 반응을 영상, 음향 및 생체 신호 형태로 구분하여 분류될 수 있는 클래스를 나타내고 있다.
즉, 관객들이 특별한 감정의 동요 없이 공연을 관람 중인 경우, 깊이 카메라(1100)에서 수집된 정보를 분석하여 분류하면 무표정, 적외선 카메라(1100)에서 수집된 정보를 분석하여 분류하면 평시 동작, 마이크(1200)에서 수집된 정보를 분석하여 분류하면 묵음, 생체 센서(1300)에서 수집된 정보를 분석하여 분류하면 Content가 되고 분류된 정보를 종합하면 관객들이 특별한 감정의 동요 없이 공연을 관람 중인 것으로 분류할 수 있다.
다른 예를 들면, 분류부는 정보수신부에서 수신된 영상 형태 정보 중 모션 인식 정보를 이용하여 박수를 치는 모션이 인식되면 기쁨의 클래스, 머리를 떨꾸는(졸음) 모션이 인식되면 지루의 클래스, 한 손으로 가리키는 모션이 인식되면 흥미의 클래스, 두 손을 눈가로 가져가는 모션이 인식되면 슬픔의 클래스 등으로 분류할 수 있다.
분류부(1430)는 정보수신부(1410)에서 수신된 정보를 정보 수집 장치 별로 각각 분석하여 클래스를 분류할 수 있으며, 정보수신부(1410)에서 수신된 정보를 모두 종합하여 관객 반응의 클래스를 분류할 수도 있다. 분류부(1430)가 정보수신부(1410)에서 수신된 정보를 모두 종합하여 관객 반응의 클래스를 분류하는 경우, 정보를 수집하는 카메라(1100), 마이크(1200) 및 생체 센서(1300)의 성능, 설치 위치, 관객 수, 공연장 환경 등을 기준으로 정보를 수집하는 장치마다 가중치를 둘 수 있다. 즉, 공연장 환경이 시끄럽고 마이크(1200)와 카메라(1100)가 천장에만 설치되었으며, 생체 센서(1300)는 각 관객들 손목에 부착된 경우, 생체 센서(1300)에서 수집된 정보의 가중치를 높게 두어 관객 반응의 클래스를 분류할 수도 있다.
분류부(1430)는 정보수신부(1410)에서 수신된 관객 반응 정보를 이용하여 관객들의 반응을 분석하여 클래스 별로 분류하는데, 보다 정확한 분류와 공연 각 장면과의 대응되는 정보를 획득하기 위하여 동기화부(1420)에서 시간 싱크가 일치된 관객 반응 정보를 이용할 수 있다.
분류부(1430)는 구체적으로 관객 반응 정보를 클래스 별로 분류하는데 기계학습 알고리즘을 이용할 수 있다. 보다 구체적으로는 분류부(1430)는 기계학습 알고리즘 중 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘을 이용할 수 있다.
서포트 벡터 머신 알고리즘은 통계적 학습 이론(SLT, Statistical Learning Theory)에 기반을 두고 있으며, 구조적 리스크 최소화(SRM, Structural Risk Minimize)를 통해 오류를 최소화 시키는 방법을 이용한다.
도 4은 서포트 벡터 머신 알고리즘의 이해를 돕기 위한 도면이다.
일반적인 판별분석방법을 설명하는 도 4의 (a)와 서포트 머신 알고리즘을 설명하는 도 4의 (b)를 비교하여 서포트 벡터 머신 알고리즘을 설명한다.
도 4의 (a)를 참조하여 일반적인 판별분석방법을 설명하면, 흰색 원과 검은색 원의 데이터가 학습 데이터인 기준 대표 데이터로 주어졌을 경우, 두 그룹에서 각각의 데이터 간 거리를 측정하여 두 개의 중심을 구한 후에 그 가운데에서 최적의 초평면(Optimal Hyper Plane)을 구함으로써 흰색과 검은색 그룹을 나누는 방법을 학습한다.
반면에 도 4의 (b)를 참조하여 서포트 머신 알고리즘을 설명하면, 흰색과 검은색의 두 그룹의 중심이 아닌 두 그룹 사이의 경계에 있는 데이터를 이용하여 최적의 초평면을 정한다.
즉, 도 4의 (b)에서 H1, H2 두 선분 사이에 데이터가 존재하지 않는 점과 두 선분 사이의 거리(margin)가 최대가 되는 제약 조건 하에서 SVM 초평면이 하나로 정해지도록 하는 것이 서포트 머신 알고리즘의 특징이다. 그러나, 실제로는 H1, H2 사이에 기준 대표 데이터가 존재하지 않는 경우가 적으며, 따라서 소정의 대표 데이터가 H1, H2 선분 사이에 또는 상태편 영역에 존재하더라도 최대 margin을 가진 초평면을 가지도록 여유 변수(Slack Variable)를 허용할 수 있다.
또한, 서포트 머신 알고리즘은 linear kernel, polynomial kernel, Radial Basis Function Kernel 등의 커널(Kernel) 함수를 사용한 맵핑(Mapping) 방식을 적용하여 비선형 문제들에 대해서도 효과적이다.
본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치(1400)의 분류부(1430)가 서포트 머신 알고리즘을 이용하여 수신된 다양한 관객들의 반응을 클래스 별로 분류하기 위해서는 학습 데이터인 기준 대표 데이터가 필요하다.
데이터베이스부(1440)가 관객들의 반응을 클래스 별로 분류해 둔 기준 대표 데이터를 미리 저장하고 있을 수 있다.
구체적으로 데이터베이스부(1440)에 저장된 데이터는 관객 반응을 클래스 별로 분류하여 저장하고 있을 수 있으며, 관객 반응 정보를 영상 형태, 음향 형태, 생체 신호 형태로 분류하여 저장하고 있을 수 있다.
즉, 분류부(1430)는 정보수신부(1410)에서 수신된 관객 반응 정보 또는 동기화부(1420)에서 동기화가 수행된 관객 반응 정보를 서포트 머신 알고리즘을 통하여 데이터베이스부(1440)에 저장된 기준 대표 데이터와 비교하여 분석하여 클래스 별로 분류할 수 있다.
분류부(1430)에서 정보수신부(1410)에서 수신된 관객 반응 정보 또는 동기화부(1420)에서 동기화가 수행된 관객 반응 정보를 클래스 별로 분류한 것은 데이터베이스부(1440)에 저장되어 차후 기준 대표 데이터로 이용될 수 있다. 따라서, 공연장에서 관객 정보를 수집하고 분류할수록 차후 수집된 관객 정보를 보다 정확하게 분류할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 관객 반응 분석 방법에 관한 흐름도이다.
도 5을 참조하여 본 발명의 바람직한 실시예에 따른 관객 반응 분석 방법을 설명하면, 카메라(1100), 마이크(1200) 및 생체 센서(1300) 중 적어도 어느 하나의 장치가 관객들의 반응 정보를 수집하고, 수집된 다양한 관객 반응 정보들은 정보수신부(1410)에서 수신한다(S510 단계).
동기화부(1420)는 정보수신부(1410)에서 수신된 다양한 관객 반응 정보들의 시간 동기화를 수행한다(S520 단계).
분류부(1430)는 동기화부(1420)에서 시간 동기화가 수행된 관객 반응 정보들 또는 정보수신부(1410)에서 수신된 관객 반응 정보들을 이용하여 관객들의 반응을 분석하고 클래스(Class) 별로 분류한다(S530 단계).
분류부(1430)가 관객들의 반응을 클래스 별로 분류하는 방법으로 기계학습 알고리즘을 이용할 수 있으며, 구체적으로는 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘을 이용할 수 있다. 분류부(1430)가 서포트 벡터 머신 알고리즘을 이용하여 수신된 관객 반응 정보를 클래스 별로 분류하기 위해서는 기준이 되는 대표 관객 반응 정보가 필요하며, 이러한 대표 관객 반응 정보는 데이터베이스부(1440)에 미리 저장될 수 있다.
분류부(1430)에서 클래스 별로 분류된 관객들의 반응 정보는 차후 수집된 관객들의 반응 정보를 클래스 별로 분류하는 과정에서 이용되는 대표 관객 반응 정보 중 일부 또는 전부가 될 수 있다.
본 발명에 따른 관객 반응 분석 장치(1400) 및 방법과 이를 이용한 시스템은 공연을 관람하는 다수 관객들의 다양한 반응 정보를 실시간으로 수집할 수 있다.
또한, 본 발명에 따른 관객 반응 분석 장치(1400) 및 방법과 이를 이용한 시스템은 수집된 관객들의 다양한 반응 정보를 이용하여 관객들의 반응을 분석할 수 있다.
또한, 본 발명에 따른 관객 반응 분석 장치(1400) 및 방법과 이를 이용한 시스템은 수집 또는 분석된 관객들의 반응 정보를 이용하여 공연에 대한 평가를 수행하고 광고 등에 이용할 수 있다.
또한, 공연 제작사, 공연장 운영업체, 공연 투자자, 엔터테이먼트(Entertainment)사, 감성공학 등의 연구나 학술 기관 등에서 본 발명에서 수집 및 분석된 관객 반응 정보를 유용하게 활용할 수 있다.
본 발명의 바람직한 실시예에 따른 관객 반응 분석 장치(1400)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 하나의정보 형태로 수집하는 정보수집단계; 및
    상기 정보수집단계에서 수집된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류단계를 포함하는 것을 특징으로 하는 관객 반응 분석 방법.
  2. 제 1 항에 있어서,
    상기 관객 반응 분석 방법은, 정보수집단계에서 수집된 정보의 타임 스탬프(Time Stamp)를 이용하여 시간 동기화를 수행하는 동기화단계를 더 포함하는 것을 특징으로 하는 관객 반응 분석 방법.
  3. 제 1 항에 있어서,
    상기 영상 형태의 관객들의 반응 정보는, 상기 관객들의 얼굴에 대한 깊이 영상(Depth Image) 및 상기 관객들의 모션에 대한 적외선 카메라 촬영 영상 중 적어도 하나인 것을 특징으로 하는 관객 반응 분석 방법.
  4. 제 1 항에 있어서,
    상기 음향 형태의 관객들의 반응 정보는, 상기 관객들의 발성 기관에서 나오는 소리 및 상기 관객들의 발성 소리 중 적어도 하나인 것을 특징으로 하는 관객 반응 분석 방법.
  5. 제 1 항에 있어서,
    상기 생체신호 형태의 관객들의 반응 정보는, 상기 관객들의 EEG(뇌전도), EOG(안전도), EMG(근전도), ECG(심전도), 맥박, 심박수, 체온 및 혈압 중 적어도 하나에 관한 정보인 것을 특징으로 하는 관객 반응 분석 방법.
  6. 제 1 항에 있어서,
    상기 분류단계는,
    상기 관객들의 반응을 분석하고, 상기 분석된 관객들의 반응을 기 저장된 클래스(Class) 별 데이터와 비교하여 상기 클래스 별로 분류하며,
    상기 분석된 관객들의 반응을 미리 저장된 클래스(Class) 별 데이터와 비교하여 상기 클래스 별로 분류하는 것은 기계학습 알고리즘을 이용하는 것을 특징으로 하는 관객 반응 분석 방법.
  7. 제 7 항에 있어서,
    상기 기계학습 알고리즘은 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘인 것을 특징으로 하는 관객 반응 분석 방법.
  8. 제 1 항에 있어서,
    상기 정보수집단계는,
    상기 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 둘 이상의 형태로 정보를 수집하며,
    상기 분류단계는,
    상기 정보수집단계에서 수집된 정보를 상기 수집된 정보 형태별로 각각 관객들의 반응을 분석하여 클래스 별로 분류하거나, 상기 수집된 정보를 종합하여 관객들의 반응을 분석하여 클래스 별로 분류하는 것을 특징으로 하는 관객 반응 분석 방법.
  9. 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 하나의 정보 형태로 수집된 관객들의 반응을 수신하는 정보수신부; 및
    상기 정보수신부에서 수신된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류부를 포함하는 것을 특징으로 하는 관객 반응 분석 장치.
  10. 제 9 항에 있어서,
    상기 관객 반응 분석 장치는,
    상기 클래스 별 기준 데이터를 기 저장하고 있는 데이터베이스부를 더 포함하며,
    상기 분류부는,
    상기 정보수신부에서 수신된 정보를 이용하여 상기 분석된 관객들의 반응을 상기 데이터베이스부에 저장된 데이터와 비교하여 상기 클래스 별로 분류하는 것을 특징으로 하는 관객 반응 분석 장치.
  11. 제 10 항에 있어서,
    상기 분류부는, 기계학습 알고리즘을 이용하여 상기 관객들의 반응을 분석하여 클래스 별로 분류하는 것을 특징으로 하는 관객 반응 분석 장치.
  12. 제 11 항에 있어서,
    상기 기계학습 알고리즘은 서포트 벡터 머신(SVM, Support Vector Machine) 알고리즘인 것을 특징으로 하는 관객 반응 분석 장치.
  13. 제 10 항에 있어서,
    상기 분류부에서 클래스 별로 분류된 상기 분석된 관객들의 반응 정보는 상기 데이터베이스부에 저장되어 차후 상기 클래스 별 기준 데이터로 이용되는 것을 특징으로 하는 관객 반응 분석 장치.
  14. 제 9 항에 있어서,
    상기 관객 반응 분석 장치는, 정보수신부에서 수신된 정보의 타임 스탬프(Time Stamp)를 이용하여 시간 동기화를 수행하는 동기화부를 더 포함하는 것을 특징으로 하는 관객 반응 분석 장치.
  15. 제 9 항에 있어서,
    상기 정보수신부가 수신한 상기 영상 형태의 관객들의 반응 정보는, 상기 관객들의 얼굴에 대한 깊이 영상(Depth Image) 및 상기 관객들의 모션에 대한 적외선 카메라 촬영 영상 중 적어도 하나인 것을 특징으로 하는 관객 반응 분석 장치.
  16. 제 9 항에 있어서,
    상기 정보수신부가 수신한 상기 음향 형태의 관객들의 반응 정보는, 상기 관객들의 발성 기관에서 나오는 소리 및 상기 관객들의 발성 소리 중 적어도 하나인 것을 특징으로 하는 관객 반응 분석 장치.
  17. 제 9 항에 있어서,
    상기 정보수신부가 수신한 상기 생체신호 형태의 관객들의 반응 정보는, 상기 관객들의 EEG(뇌전도), EOG(안전도), EMG(근전도), ECG(심전도), 맥박, 심박수, 체온 및 혈압 중 적어도 하나에 관한 정보인 것을 특징으로 하는 관객 반응 분석 장치.
  18. 제 9 항에 있어서,
    상기 정보수신부는,
    상기 관객들의 반응을 영상 형태, 음향 형태 및 생체신호 형태 중 적어도 둘 이상의 형태로 정보를 수집하며,
    상기 분류부는,
    상기 정보수신부에서 수집된 정보를 상기 수집된 정보의 형태별로 각각 관객들의 반응을 분석하여 클래스 별로 분류하거나, 상기 수집된 정보를 종합하여 관객들의 반응을 분석하여 클래스 별로 분류하는 것을 특징으로 하는 관객 반응 분석 장치.
  19. 영상 형태의 관객들의 반응 정보를 수집하는 카메라;
    음향 형태의 관객들의 반응 정보를 수집하는 마이크;
    생체신호 형태의 관객들의 반응 정보를 수집하는 센서부;
    상기 카메라, 마이크 및 센서부에서 수집된 상기 관객들의 반응 정보들을 수신하는 정보수신부; 및
    상기 정보수신부에서 수신된 정보를 이용하여 상기 관객들의 반응을 분석하여 클래스(Class) 별로 분류하는 분류부를 포함하는 것을 특징으로 하는 관객 반응 분석 시스템.
  20. 제 19 항에 있어서,
    상기 관객 반응 분석 시스템은,
    상기 클래스 별 기준 데이터를 기 저장하고 있는 데이터베이스부를 더 포함하며,
    상기 분류부는,
    상기 정보수신부에서 수신된 정보를 이용하여 상기 분석된 관객들의 반응을 상기 데이터베이스부에 저장된 데이터와 비교하여 상기 클래스 별로 분류하는 것을 특징으로 하는 관객 반응 분석 시스템.
KR1020130029883A 2013-03-20 2013-03-20 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템 KR20140115153A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130029883A KR20140115153A (ko) 2013-03-20 2013-03-20 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130029883A KR20140115153A (ko) 2013-03-20 2013-03-20 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템

Publications (1)

Publication Number Publication Date
KR20140115153A true KR20140115153A (ko) 2014-09-30

Family

ID=51758576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029883A KR20140115153A (ko) 2013-03-20 2013-03-20 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템

Country Status (1)

Country Link
KR (1) KR20140115153A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668387B1 (ko) * 2016-05-16 2016-10-21 정문영 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법
CN106889986A (zh) * 2017-03-08 2017-06-27 浙江大学 一种基于卡诺模型的脑电信号标定方法
CN107992550A (zh) * 2017-11-28 2018-05-04 沈阳建筑大学 一种网络评论分析方法及系统
WO2018200031A1 (en) * 2017-04-28 2018-11-01 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN111476295A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于gs-lssvm的多通道生理信号体感姿势识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668387B1 (ko) * 2016-05-16 2016-10-21 정문영 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법
CN106889986A (zh) * 2017-03-08 2017-06-27 浙江大学 一种基于卡诺模型的脑电信号标定方法
WO2018200031A1 (en) * 2017-04-28 2018-11-01 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
US10977674B2 (en) 2017-04-28 2021-04-13 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
US11935079B2 (en) 2017-04-28 2024-03-19 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN107992550A (zh) * 2017-11-28 2018-05-04 沈阳建筑大学 一种网络评论分析方法及系统
CN111476295A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于gs-lssvm的多通道生理信号体感姿势识别方法

Similar Documents

Publication Publication Date Title
KR102662981B1 (ko) 생체 센서 데이터를 기초로 하는 디렉팅된 컨텐츠로 사용자 몰입을 디지털로 표현
US9691238B2 (en) Crowd-based haptics
CN103561652B (zh) 用于辅助患者的方法和系统
CN110313923A (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
US20200294670A1 (en) System and method for real-time estimation of emotional state of user
KR20140115153A (ko) 관객 반응 분석 장치 및 방법과 이를 이용한 관객 반응 분석 시스템
WO2018174088A1 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
CN110349667A (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
US11723566B2 (en) Deception detection system and method
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
Speth et al. Deception detection and remote physiological monitoring: A dataset and baseline experimental results
EP2844139A1 (fr) Procede de caracterisation de l'etat physiologique d'un patient a partir de l'analyse de son activite electrique cerebrale, et dispositif de surveillance faisant application
JP2006293979A (ja) コンテンツ提供システム
US20220067353A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
Ley et al. Evaluating Methods for Emotion Recognition based on Facial and Vocal Features.
US20200402641A1 (en) Systems and methods for capturing and presenting life moment information for subjects with cognitive impairment
JP5197188B2 (ja) イベント識別システム
Landowska Emotion monitor-concept, construction and lessons learned
KR102081752B1 (ko) 영상평가시스템 및 영상평가방법
Hölle et al. Smartphone‐based ear‐electroencephalography to study sound processing in everyday life
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
Blache et al. The Badalona Corpus An Audio, Video and Neuro-Physiological Conversational Dataset
JP2018170714A (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
Chen et al. Computing Multimodal Dyadic Behaviors During Spontaneous Diagnosis Interviews Toward Automatic Categorization of Autism Spectrum Disorder.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application