WO2015182841A1 - 관객반응 분석 시스템 및 방법 - Google Patents
관객반응 분석 시스템 및 방법 Download PDFInfo
- Publication number
- WO2015182841A1 WO2015182841A1 PCT/KR2014/012516 KR2014012516W WO2015182841A1 WO 2015182841 A1 WO2015182841 A1 WO 2015182841A1 KR 2014012516 W KR2014012516 W KR 2014012516W WO 2015182841 A1 WO2015182841 A1 WO 2015182841A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- audience
- responsiveness
- response
- acoustic
- motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
Definitions
- the present invention relates to an audience response analysis system and method for analyzing and analyzing the concentration and response of viewers of a video content or performance.
- 'content' video content and performance content
- the questionnaire has been determined after surveying the satisfaction, immersion, interest, etc. of the audience through questionnaires.
- the method through such a questionnaire has a limitation in grasping the objective response of the audience, and as the viewing time elapses, the response in the memory is distorted, so that the exact response cannot be grasped, and the response of each content is classified and identified. There was a difficulty.
- the movement of the audience is calculated based on the change in pixel brightness of the captured image, and therefore, not only is the brightness of the pixel changed by the movement of the audience in a dark screening space,
- the change in brightness of the pixel due to the change in brightness is also recognized as the movement of the audience, and there is a problem in that it is not possible to derive an accurate audience response.
- the response and immersion of the audience can be expressed not only by the movement of the face but also by the movement of the entire body such as the hands and feet.
- only a specific part of the audience is selected to derive the audience's response, thereby degrading accuracy. .
- the present invention has been made to solve the above-mentioned conventional problems, the present invention in analyzing the response of the audience, reflects the movement of the audience, the change of the viewer's gaze and the change in sound (voice), the accuracy To provide an audience response analysis system and method.
- the present invention includes an image collection unit for continuously obtaining the image of the content viewing audience; A sound collector which continuously acquires the sound of the content viewing space; A calculator for calculating audience responsiveness from the image data acquired by the image collector and the sound data acquired by the sound collector; And a storage unit that accumulates and stores the audience responsiveness calculated in the calculation unit in a time series.
- the operation unit includes: a motion responsiveness calculator that calculates a motion responsiveness from a comparison of the continuously acquired image data; A gaze reactivity calculation unit configured to extract a body and a head of an audience from the continuously acquired image data, and calculate gaze responsiveness from a change in the direction of the head with respect to the body; And an acoustic responsiveness calculator that calculates an acoustic responsiveness from the comparison of the continuously acquired acoustic data, and calculates an audience responsiveness from the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness.
- the movement responsiveness ( ) Is a formula Calculated from: where Is the motion responsiveness per frame, Is the amount of change in motion calculated from the comparison of the captured image data, Is the motion threshold, May be a correction value.
- the eye responsiveness ( ) Is a formula Calculated from: where Is the gaze response per frame, Is the amount of change in the line of sight according to the direction change of the body and head of the audience from the captured image data, Is the eye threshold, May be a correction value.
- the acoustic response between Calculated from: where Is the acoustic response per frame, Is the amount of change of sound calculated from the comparison of the collected sound data, Is the acoustic threshold, May be a correction value.
- the sound change amount May be calculated from the sound data from which the content sound has been removed.
- the calculator may calculate an average value of the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness for the frames included in each scene, and calculate the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness for each scene.
- the calculation unit for the entire content, Calculating the responsiveness from; Calculating gaze reactivity from; Calculate the acoustic responsiveness from: where Is the movement responsiveness of the whole content, Is the gaze responsiveness of the entire content, Is the acoustic response of the entire content, Represents the weight for each scene, and for each scene Is the change in motion, Is the motion threshold, Is the line of sight change, Is the eye threshold, Is the acoustic change amount, Is the acoustic threshold, May be a correction value.
- the present invention is a method for analyzing the reaction of the audience watching the content, (A) collecting the image data and the sound data of the viewing space during the content viewing through the image collecting unit and the sound collecting unit; (B) calculating a motion responsiveness from the image data; (C) calculating gaze responsiveness from the image data; (D) calculating an acoustic responsiveness from the acoustic data; And (E) calculating an audience response rate (FEI) for each frame by adding the motion response rate, the gaze response rate, and the acoustic response rate.
- A collecting the image data and the sound data of the viewing space during the content viewing through the image collecting unit and the sound collecting unit
- B calculating a motion responsiveness from the image data
- C calculating gaze responsiveness from the image data
- D calculating an acoustic responsiveness from the acoustic data
- E calculating an audience response rate (FEI) for each frame by adding the motion response rate, the gaze response rate, and the acoustic response rate.
- the step (B) may include: (B1) calculating a motion change amount of the image data; And (B2) calculating a motion responsiveness for each frame based on the motion change amount, wherein the motion responsiveness ( ) Is a formula Calculated from: where Is the motion responsiveness per frame, Is the amount of change in motion calculated from the comparison of the captured image data, Is the motion threshold, May be a correction value.
- (C) step the step of calculating the (C1) gaze change amount; (C2) calculating a gaze responsiveness for each frame from the gaze change amount, wherein the gaze responsiveness ( ) Is a formula Calculated from: where Is the gaze response per frame, Is the amount of change in the line of sight according to the direction change of the body and head of the audience from the captured image data, Is the eye threshold, May be a correction value.
- the gaze change amount ( ) May be calculated based on the number of changes between the divided directions by dividing the viewer's gaze direction into six directions of left / right / front and up / down directions.
- the present invention may further comprise the step of calculating the audience response (SEI) for each scene by calculating the average value of the audience response (FEI) for each frame unit for each scene.
- SEI audience response
- FEI audience response
- the present invention further includes the step (G) of calculating the audience responsiveness (PEI) for the entire content through the scene-specific audience responsiveness (SEI) calculated in the step (F): With respect to Calculating the responsiveness from; Equation Calculating gaze reactivity from; Equation Is calculated from the sum of the motion response, the gaze response, and the acoustic response for the entire content, wherein: Is the movement responsiveness of the whole content, Is the gaze responsiveness of the entire content, Is the acoustic response of the entire content, Represents the weight for each scene, and for each scene Is the change in motion, Is the motion threshold, Is the line of sight change, Is the eye threshold, Is the acoustic change amount, Is the acoustic threshold, May be a correction value.
- PHI audience responsiveness
- SEI scene-specific audience responsiveness
- the audience responsiveness is calculated based on the movement of the audience, the change in the viewer's gaze, and the change in the sound (voice), thereby providing a highly accurate audience response analysis system and method.
- the present invention has an advantage of providing an audience response analysis system and method that can calculate the degree of change in audience response to calculate the audience response in units of frames, scenes, and entire content. have.
- the audience response analysis according to the present invention has an advantage of identifying a more accurate audience response by distinguishing between a static immersion state and a dynamic immersion state by graphing and providing audience response to the user.
- FIG. 1 is a block diagram showing an audience response analysis method according to the prior art.
- Figure 2 is a block diagram showing the configuration of a specific embodiment of the audience response analysis system according to the present invention.
- Figure 3 is a graph showing the formula applied to the audience response analysis according to the present invention.
- Figure 4 is a flow diagram illustrating a specific embodiment of the audience response analysis method according to the present invention.
- FIG. 5 is an exemplary view showing an example audience response analysis according to the present invention.
- Figure 6 is an illustration showing another example of audience response analysis according to the present invention.
- Figure 7 is an illustration showing another example of audience response analysis according to the present invention.
- the present invention includes an image collection unit for continuously obtaining the image of the content viewing audience; A sound collector which continuously acquires the sound of the content viewing space; A calculator for calculating audience responsiveness from the image data acquired by the image collector and the sound data acquired by the sound collector; And a storage unit that accumulates and stores the audience responsiveness calculated in the calculation unit in a time series.
- the operation unit includes: a motion responsiveness calculator that calculates a motion responsiveness from a comparison of the continuously acquired image data; A gaze reactivity calculation unit configured to extract a body and a head of an audience from the continuously acquired image data, and calculate gaze responsiveness from a change in the direction of the head with respect to the body; And an acoustic responsiveness calculator that calculates an acoustic responsiveness from the comparison of the continuously acquired acoustic data, and calculates an audience responsiveness from the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness.
- Combinations of each block of the block diagrams and respective steps of the flowcharts may be performed by computer program instructions (executable engines), which may be executed on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment.
- instructions executed through a processor of a computer or other programmable data processing equipment create means for performing the functions described in each block of the block diagram or in each step of the flowchart.
- These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory.
- the instructions stored therein may also produce an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or in each step of the flowchart.
- computer program instructions may be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to generate a computer or other program. Instructions for performing possible data processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
- each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing specific logical functions, and in some alternative embodiments referred to in blocks or steps It is also possible that functions occur out of order.
- the two blocks or steps shown may in fact be executed substantially concurrently, and the blocks or steps may be performed in the reverse order of the corresponding functions as required.
- Figure 2 is a block diagram showing the configuration of a specific embodiment of the audience response analysis system according to the present invention
- Figure 3 is a graph showing the equation applied to the audience response analysis according to the present invention.
- the audience response analysis system includes an image collecting unit 100, an acoustic collecting unit 200, an operation unit 300, and a storage unit 400.
- the image collecting unit 100 collects image data, and the image data refers to image data for an audience who views content (video / performance), and the image collecting unit 100 is an auditorium. It may be a camera module for photographing.
- the sound collecting unit 200 is a portion for collecting the sound of the content screening or performance space, may be a microphone module installed in parallel to the image collecting unit 100, preferably in the entire screening (performance) space It may be a plurality of microphone modules that are distributed and installed to collect evenly distributed sound.
- the operation unit 300 is a part for calculating the audience response from the image data and the sound data collected from the image collecting unit 100 and the sound collecting unit 200, in order to calculate the audience response, the movement response It includes a motion responsiveness calculator 310 for calculating, a gaze responsiveness calculator 320 for calculating the gaze responsiveness, and an acoustic responsiveness calculator 330 for calculating the acoustic responsiveness.
- the motion responsiveness calculator 310 calculates a motion change amount by comparing the image data, and calculates a motion responsiveness from the motion change amount.
- the motion responsiveness is calculated from Equation 1 below, where Is the motion responsiveness per frame, Is the amount of change in motion calculated from the comparison of the captured image data, Is the motion threshold, Is the correction value.
- the amount of change of motion is calculated by comparing the image captured in the previous frame with the image of the currently captured frame, and calculating the degree of change of the image. Calculate
- the numerical expression of the change amount of motion may be expressed by various methods as long as a unified standard is applied, for example, the degree of change in the overall image size may be expressed in% format, and may be included in the whole image. It may also be displayed by the number of objects in which motion is detected among the objects.
- the threshold ( ) Is a value that sets a value of the change amount of movement in the state in which the immersion of the audience is the lowest.
- the gaze responsiveness calculator 320 separately extracts the body and the head of the audience from the continuously acquired image data, and calculates the gaze responsiveness from the change in the direction of the head with respect to the body.
- the gaze reactivity is calculated from Equation 2 below, wherein Is the gaze response per frame, Is the amount of change in the line of sight according to the direction change of the body and head of the audience from the captured image data, Is the eye threshold, Is the correction value.
- the gaze change amount may be applied by quantitatively calculating the change in the head direction of the audience, but considering the efficiency of data processing and the reliability of the measured data, the gaze direction is divided into a certain number of areas, and is divided between the divided areas. It is preferable to calculate based on the number of movements of.
- the gaze threshold is also a set value indicating a degree of change in the gaze direction when the general audience has the lowest immersion.
- the acoustic responsiveness calculator 330 calculates the acoustic responsiveness from the comparison of the continuously obtained acoustic data, the acoustic responsiveness is calculated from Equation 3 below, Is the acoustic response per frame, Is the amount of change of sound calculated from the comparison of the collected sound data, Is the acoustic threshold, Is the correction value.
- the amount of change in the sound represents the amount of change in the sound of each frame-correspondence time.
- the sound change is compared with the sound collected by the sound collecting unit, the sound change is affected by the effect sound included in the content.
- the threshold is as described above.
- the said correction value are shown as the same variable, but are set to different values by the operator according to the characteristics of each reactivity.
- the equation Y (Q-C) ⁇ 2 + Cth, which is commonly applied, refers to the graph of the equation as shown in FIG. 3.
- the responsiveness is calculated to be higher.
- the QC value increases to a negative value, it indicates a static immersion state (when seriously focusing on the content), and when the QC value increases to a positive value. It shows dynamic immersion status (when the reaction to the content increases due to the increase of pleasantness or fear, etc.).
- the calculation unit calculates the audience response from the motion response, the eye response, and the acoustic response calculated as described above.
- the audience responsiveness is basically calculated from the sum of the motion responsiveness, the gaze responsiveness and the acoustic responsiveness, and may be calculated by adding or subtracting a correction value as necessary.
- the audience responsiveness may be calculated for each frame unit (PEI), scene unit (SEI), and content (FEI).
- PEI frame unit
- SEI scene unit
- FI content
- the audience response (PEI) in the frame unit is calculated from the sum of the motion response, eye response, and acoustic response in the above-described frame unit
- the audience response in the scene unit (SEI) is the audience response of the frames constituting each scene. It is calculated from the average value.
- the audience response (PEI) of the entire content unit is calculated by the audience response calculated in the scene unit, specifically, the motion responsiveness of the entire content by the following Equation 4, Equation 5 and Equation 6,
- the gaze responsiveness and acoustic responsiveness can be calculated and calculated from their sum.
- Equations 4 to 5 Is the movement responsiveness of the whole content, Is the gaze responsiveness of the entire content, Is the acoustic response of the entire content, Represents the weight for each scene, and for each scene Is the change in motion, Is the motion threshold, Is the line of sight change, Is the eye threshold, Is the acoustic change amount, Is the acoustic threshold, Is the correction value.
- the storage unit accumulates and stores the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness and the audience responsiveness calculated from the frames, the scenes, and the entire contents calculated by the calculator.
- Various analysis results of audience response to the content may be derived from the stored data.
- Figure 4 is a flow chart showing a specific embodiment of the audience response analysis method according to the present invention
- Figure 5 is an exemplary view showing an example of the audience response analysis according to the present invention
- Figure 6 is a view of the audience response analysis according to the present invention
- 7 is an exemplary diagram illustrating another example
- FIG. 7 is an exemplary diagram illustrating another example of audience response analysis according to the present invention.
- the audience response analysis method begins with the start of viewing the content, the image collecting unit and the sound collecting unit to collect the image data and the sound data (S100).
- the image data and the acoustic data collected as described above are used to calculate the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness in units of frames, respectively.
- movement responsiveness, gaze responsiveness, and acoustic responsiveness may be simultaneously calculated by separate processes, sequentially calculated, or may be simultaneously performed with content screening (performance) as necessary.
- the calculation unit calculates a motion change amount of the image data (S210).
- the motion responsiveness for each frame is calculated using the motion change amount (S212).
- the motion responsiveness is calculated by Equation 3 as described above.
- the calculator calculates a gaze change amount (S220).
- the gaze change amount is preferably measured based on the degree of change between the corresponding areas by dividing the gaze direction of the audience into a certain number of areas, and in the present invention, the gaze direction is 6 in the left / right / front and up / down directions. By dividing by the direction, the embodiment calculated based on the number of changes between the divided directions was applied.
- the gaze responsiveness for each frame is calculated from the gaze change amount (S222).
- the gaze responsiveness is calculated from Equation 4 as described above.
- the operation unit filters and removes the sound source included in the content screening from the collected acoustic data (S230).
- the removing of the content sound source is to calculate an acoustic responsiveness based only on the sound generated by the audience.
- the audience responsiveness (FEI) for each frame is calculated through the sum of the motion responsiveness, the gaze responsiveness, and the acoustic responsiveness (S300).
- the operation unit performs the steps 100 to 300 for the scene unit, and divides the audience response rate (FEI) for each scene unit and calculates an average value to calculate the audience response rate (SEI) for each scene. It calculates (S400, S500).
- FEI audience response rate
- SEI audience response rate
- the audience response (PEI) for the entire content is calculated through Equation 6 (S600 and S700).
- FIG 5 illustrates an example in which audience responsiveness is calculated for each frame, scene, and content in accordance with the present invention.
- the degree of movement of the audience can be graphed and output on the analysis screen, and the calculated response rate of the audience for each frame, scene, and content can be output.
- FIG. 6 illustrates an example of receiving various conditions (period, date, etc.) from data accumulated and stored in a storage unit and outputting statistical data of data calculated according to the corresponding condition.
- FIG. 7 illustrates an example in which the audience responsiveness for each scene and the responsiveness for the entire content are graphed and output.
- the present invention relates to an audience response analysis system and method for analyzing and analyzing viewers' concentration and response of a video content or performance. According to the present invention, in analyzing a viewer's response, the movement of the audience and the change in the viewer's gaze And because the audience response is calculated based on the change in sound (voice), there is an advantage that can provide an accurate audience response analysis system and method.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영상 컨텐츠 또는 공연의 관람자들의 집중도 및 반응을 분석하여 분석하기 위한 관객반응 분석 시스템 및 방법에 관한 것으로, 본 발명은 컨텐츠 관람 관객의 영상을 연속적으로 취득하는 영상수집부와; 컨텐츠 관람 공간의 음향을 연속적으로 취득하는 음향수집부와; 상기 영상수집부에서 취득된 영상데이터와 상기 음향수집부에서 취득한 음향데이터로부터 관객반응도를 산출하는 연산부; 그리고 상기 연산부에서 산출된 관객반응도를 시계열적으로 누적하여 저장하는 저장부를 포함하여 구성되고: 상기 연산부는, 연속 취득된 상기 영상데이터들의 비교로부터 움직임 반응도를 산출하는 움직임 반응도 산출부와; 연속 취득된 상기 영상데이터들로부터 관객의 몸체와 머리를 구분하여 추출하고, 상기 몸체에 대한 머리부분의 방향 변화로부터 시선 반응도를 산출하는 시선반응도 산출부; 그리고 연속 취득된 상기 음향데이터들의 비교로부터 음향 반응도를 산출하는 음향 반응도 산출부를 포함하여 구성된다. 이와 같은 본 발명에 의하면, 관객의 반응을 분석함에 있어, 관객의 움직임, 관객 시선의 변화 및 음향(음성)의 변화를 기준으로 관객 반응도를 산출하므로, 정확성 높은 관객 반응 분석 시스템 및 방법을 제공할 수 있는 장점이 있다.
Description
본 발명은 영상 컨텐츠 또는 공연의 관람자들의 집중도 및 반응을 분석하여 분석하기 위한 관객반응 분석 시스템 및 방법에 관한 것이다.
최근 영상 컨텐츠 및 공연 컨텐츠(이하 '컨텐츠'로 통칭한다) 제작자들에게는 제작되어 상영(공연)된 컨텐츠에 대한 관객의 반응을 파악하는 것이 매우 중요한 요소로 평가받고 있다. 이와 같은 관객의 반응은 해당 컨텐츠에 대한 홍보전략 수립, 수익 창출 방향 설정 및 향후 컨텐츠 제작에 있어 참고자료 등으로 활용된다.
이와 같이, 컨텐츠에 대한 관객반응의 파악을 위해 종래에는 관람 이후, 설문을 통해 관객의 만족도, 몰입도, 흥미도 등을 사후적으로 조사하여 판단하여 왔다.
그러나, 이와 같은 설문을 통한 방법은, 관객의 객관적인 반응을 파악하는데 한계가 있고, 관람시간이 경과됨에 따라 기억속의 반응이 외곡되어 정확한 반응을 파악할 수 없으며, 전체 컨테츠 중 부분별 반응을 구분하여 파악하는데 어려움이 있었다.
이와 같은 문제점을 해결하기 위하여, 대한민국 등록특허 제10-1337833호에서는 도 1에 도시된 바와 같이, 컨텐츠 관람시에 실시간으로 관객의 모습을 촬영하여, 촬영된 영상으로부터 안면부를 추출하고, 상기 안면부의 차영상에 대한 밝기 히스토그램을 추출하여, 밝기 변화량에 기초하여 안면부 움직임을 산출하며, 상기 안면부 움직임량을 통해 관객의 몰입도를 산출한다.
전술한 바와 같은 종래 기술은 관객에 대한 촬영 영상을 통해, 관객의 반응을 산출한다는 획기적인 관객반응 분석 방식 변화에 대한 이론적 방향을 제시하기는 하였으나, 이를 실제 적용함에는 다음과 같은 문제점이 있었다.
즉, 종래기술에서는 관객의 움직임 산출을 촬상된 이미지의 픽셀 밝기 변화를 기준으로 산출하므로, 어두운 상영공간 내에서 관객의 움직임에 의한 픽셀의 밝기 변화뿐만 아니라, 화면(공연의 경우 조명) 변화에 따른 밝기 변화로 인한 픽셀의 밝기 변화도 관객의 움직임으로 인식되어 정확한 관객반응을 도출할 수 없는 문제점이 있었다.
또한, 종래 기술에서는 촬상된 영상 중 관객의 얼굴부위만을 추출하여, 움직임을 파악하므로, 각 개별적인 관객별 반응을 파악하는데는 장점이 있으나, 전체적인 관객의 반응을 파악하는데는 적합하지 않은 문제점이 있었다. 구체적으로는 관객의 반응 및 몰입도는 얼굴의 움직임 뿐만 아니라 손과 발 등 몸 전체의 움직임으로 표출될 수 있는데, 종래기술에서는 관객의 특정 부위만을 선택하여 관객 반응을 도출하여 정확성이 떨어지는 문제점이 있었다.
그리고 종래기술에서는 관객의 움직임만을 가지고, 관객의 반응을 도출하나, 실제 관객의 반응은 움직임 뿐만 아니라, 시선의 변화 및 음성의 표출(웃음, 비명, 탄성 등)로도 표현되는바, 이와 같은 다양한 종류의 관객 반응을 종합적으로 포함하여 관객반응을 도출할 수 없는 문제점이 있었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 관객의 반응을 분석함에 있어, 관객의 움직임, 관객 시선의 변화 및 음향(음성)의 변화를 종합적으로 반영하여, 정확성있는 관객 반응 분석 시스템 및 방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 컨텐츠 관람 관객의 영상을 연속적으로 취득하는 영상수집부와; 컨텐츠 관람 공간의 음향을 연속적으로 취득하는 음향수집부와; 상기 영상수집부에서 취득된 영상데이터와 상기 음향수집부에서 취득한 음향데이터로부터 관객반응도를 산출하는 연산부; 그리고 상기 연산부에서 산출된 관객반응도를 시계열적으로 누적하여 저장하는 저장부를 포함하여 구성되고: 상기 연산부는, 연속 취득된 상기 영상데이터들의 비교로부터 움직임 반응도를 산출하는 움직임 반응도 산출부와; 연속 취득된 상기 영상데이터들로부터 관객의 몸체와 머리를 구분하여 추출하고, 상기 몸체에 대한 머리부분의 방향 변화로부터 시선 반응도를 산출하는 시선반응도 산출부; 그리고 연속 취득된 상기 음향데이터들의 비교로부터 음향 반응도를 산출하는 음향 반응도 산출부를 포함하여 구성되어, 상기 움직임 반응도, 상기 시선 반응도 및 상기 음향 반응도로부터 관객 반응도를 산출한다.
이때, 상기 움직임 반응도(
)는, 수식 
으로부터 산출되고: 여기서 
은 프레임별 움직임 반응도 이고,
은 촬상된 영상데이터의 비교로부터 산출되는 움직임 변화량이며, 
은 움직임 임계치이고, 
는 보정값일 수도 있다.
그리고 상기 시선 반응도(
)는, 수식 
으로부터 산출되고: 여기서 
는 프레임별 시선 반응도 이고,
은 촬상된 영상데이터로부터 관객의 몸체와 머리의 방향변화에 따른 시선 변화량이며, 
은 시선 임계치이고, 
는 보정값일 수도 있다.
또한, 사이 음향 반응도(
)는, 
으로부터 산출되고: 여기서 
는 프레임별 음향 반응도 이고, 
는 수집된 음향데이터의 비교로부터 산출되는 음향 변화량이며, 
은 음향 임계치이고, 
는 보정값일 수도 있다.
그리고 상기 음향 변화량 
는, 컨텐츠 음향을 제거한 음향데이터로부터 산출될 수도 있다.
또한, 상기 연산부는, 각 씬(scene)에 포함된 프레임들에 대한 움직임반응도, 시선반응도 및 음향반응도의 평균값을 산출하여, 각 씬별 움직임반응도, 시선반응도 및 음향반응도를 산출할 수도 있다.
그리고 상기 연산부는, 컨텐츠 전체에 대하여, 
로부터 움직임반응도를 산출하고; 
로부터 시선반응도를 산출하며; 
로부터 음향반응도를 산출하고: 여기서, 
은 컨텐츠 전체에 대한 움직임 반응도 이고, 
는 컨텐츠 전체에 대한 시선 반응도 이며, 
는 컨텐츠 전체에 대한 음향반응도이고, 
는 각 씬별 가중치를 나타내며, 각 씬별 
은 움직임 변화량이고, 
은 움직임 임계치이며, 
는 시선 변화량이고, 
는 시선 임계치이며, 
는 음향변화량이고, 
는 음향 임계치이며, 
는 보정값일 수도 있다.
한편, 본 발명은 콘텐츠를 관람하는 관객의 반응을 분석하는 방법에 있어서, (A) 영상수집부와 음향수집부를 통해 콘텐츠 관람중 관람공간의 영상데이터와 음향데이터를 수집하는 단계와; (B) 상기 영상데이터로부터 움직임 반응도를 산출하는 단계와; (C) 상기 영상데이터로부터 시선 반응도를 산출하는 단계와; (D) 상기 음향데이터로부터 음향 반응도를 산출하는 단계; 그리고 (E) 상기 움직임 반응도, 시선 반응도 및 음향 반응도를 합하여 프레임별 관객 반응도(FEI)를 산출하는 단계를 포함하여 수행되는 관객반응 분석 방법을 포함한다.
이때, 상기 (B) 단계는, (B1) 상기 영상데이터의 움직임 변화량을 산출하는 단계와; (B2) 상기 움직임 변화량을 통해 프레임별 움직임 반응도를 산출하는 단계를 포함하여 수행되고: 상기 움직임 반응도(
)는, 수식 
으로부터 산출되고: 여기서 
은 프레임별 움직임 반응도 이고,
은 촬상된 영상데이터의 비교로부터 산출되는 움직임 변화량이며, 
은 움직임 임계치이고, 
는 보정값일 수도 있다.
그리고 상기 (C) 단계는, (C1) 시선 변화량을 산출하는 단계와; (C2) 상기 시선 변화량으로부터 프레임별 시선 반응도를 산출하는 단계를 포함하여 수행되고: 상기 시선 반응도(
)는, 수식 
으로부터 산출되고: 여기서 
는 프레임별 시선 반응도 이고,
은 촬상된 영상데이터로부터 관객의 몸체와 머리의 방향변화에 따른 시선 변화량이며, 
은 시선 임계치이고, 
는 보정값일 수도 있다.
또한, 상기 시선변화량(
)은, 관객의 시선방향을 좌/우/정면 및 상/하 방향의 6방향으로 구분하여, 구분된 방향 사이의 변화 회수를 기준으로 산출될 수도 있다.
그리고 상기 (D) 단계는, (D1) 수집된 음향데이터에서 컨텐츠 상영에 포함된 음원을 필터링하여 제거하는 단계와; (D2) 음향데이터의 변화량을 산출하는 단계; 그리고 (D3) 상기 음향테이터의 변화량으로부터 음향 반응도를 산출하는 단계를 포함하여 수행되고: 사이 음향 반응도(
)는, 
으로부터 산출되고: 여기서 
는 프레임별 음향 반응도 이고, 
는 수집된 음향데이터의 비교로부터 산출되는 음향 변화량이며, 
은 음향 임계치이고, 
는 보정값일 수도 있다.
또한, 본 발명은 (F) 상기 프레임별 관객반응도(FEI)를 각 씬 단위로 평균치를 산출하여 씬별 관객반응도(SEI)를 산출하는 단계를 더 포함하여 수행될 수도 있다.
그리고 본 발명은 (G) 상기 (F)단계에서 산출된 씬별 관객반응도(SEI)를 통해, 컨텐츠 전체에 대한 관객반응도(PEI)를 산출하는 단계를 더 포함하여 수행되고: 상기 PEI는, 컨텐츠 전체에 대하여, 수학식 
로부터 움직임반응도를 산출하고; 수학식
로부터 시선반응도를 산출하며; 수학식
로부터 음향반응도를 산출하여, 상기 컨텐츠 전체에 대한 움직임 반응, 시선 반응도 및 음향반응도의 합을 통해 산출되고: 여기서, 
은 컨텐츠 전체에 대한 움직임 반응도 이고, 
는 컨텐츠 전체에 대한 시선 반응도 이며, 
는 컨텐츠 전체에 대한 음향반응도이고, 
는 각 씬별 가중치를 나타내며, 각 씬별 
은 움직임 변화량이고, 
은 움직임 임계치이며, 
는 시선 변화량이고, 
는 시선 임계치이며, 
는 음향변화량이고, 
는 음향 임계치이며, 
는 보정값일 수도 있다.
본 발명에 의한 관객반응 분석 시스템 및 방법에서는 다음과 같은 효과를 기대할 수 있다.
즉, 본 발명에서는 관객의 반응을 분석함에 있어, 관객의 움직임, 관객 시선의 변화 및 음향(음성)의 변화를 기준으로 관객 반응도를 산출하므로, 정확성 높은 관객 반응 분석 시스템 및 방법을 제공할 수 있는 장점이 있다.
그리고 본 발명에서는 관객 반응의 변화도를 누적 산출하여, 프레임(frame) 단위, 씬(scene) 단위 및 전체 컨텐츠 단위의 관객 반응을 산출할 수 있는 관객반응 분석 시스템 및 방법을 제공할 수 있는 장점이 있다.
또한 본 발명에 의한 관객 반응 분석은 관객 반응도를 그래프화하여 이용자에게 제공함에 따라 정적 몰입 상태와 동적 몰입 상태를 구분할 수 있도록 하여 보다 정확한 관객반응을 파악할 수 있도록 하는 장점이 있다.
도 1은 종래 기술에 의한 관객 반응 분석 방법을 도시한 블록도.
도 2는 본 발명에 의한 관객반응 분석 시스템의 구체적인 실시예의 구성을 도시한 블록도.
도 3은 본 발명에 의한 관객반응 분석에 적용된 수식을 도시한 그래프.
도 4는 본 발명에 의한 관객반응 분석 방법의 구체적인 실시예를 도시한 흐름도.
도 5는 본 발명에 의한 관객반응 분석 예를 도시한 예시도.
도 6은 본 발명에 의한 관객반응 분석의 다른 예를 도시한 예시도.
도 7은 본 발명에 의한 관객반응 분석의 또 다른 예를 도시한 예시도.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 컨텐츠 관람 관객의 영상을 연속적으로 취득하는 영상수집부와; 컨텐츠 관람 공간의 음향을 연속적으로 취득하는 음향수집부와; 상기 영상수집부에서 취득된 영상데이터와 상기 음향수집부에서 취득한 음향데이터로부터 관객반응도를 산출하는 연산부; 그리고 상기 연산부에서 산출된 관객반응도를 시계열적으로 누적하여 저장하는 저장부를 포함하여 구성되고: 상기 연산부는, 연속 취득된 상기 영상데이터들의 비교로부터 움직임 반응도를 산출하는 움직임 반응도 산출부와; 연속 취득된 상기 영상데이터들로부터 관객의 몸체와 머리를 구분하여 추출하고, 상기 몸체에 대한 머리부분의 방향 변화로부터 시선 반응도를 산출하는 시선반응도 산출부; 그리고 연속 취득된 상기 음향데이터들의 비교로부터 음향 반응도를 산출하는 음향 반응도 산출부를 포함하여 구성되어, 상기 움직임 반응도, 상기 시선 반응도 및 상기 음향 반응도로부터 관객 반응도를 산출한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 관객반응 분석 시스템 및 방법을 살펴보기로 한다.
설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 2는 본 발명에 의한 관객반응 분석 시스템의 구체적인 실시예의 구성을 도시한 블록도이이고, 도 3은 본 발명에 의한 관객반응 분석에 적용된 수식을 도시한 그래프이다.
도 2에 도시된 바와 같이 본 발명에 의한 관객반응 분석 시스템은 영상수집부(100), 음향수집부(200), 연산부(300) 및 저장부(400)를 포함하여 구성된다.
상기 영상수집부(100)는 영상데이터를 수집하는 부분으로, 상기 영상데이터라 함은 콘텐츠(영상/공연)를 감상하는 관객에 대한 영상데이터를 의미하는 것으로, 상기 영상수집부(100)는 객석을 촬영하는 카메라 모듈일 수 있다.
또한, 상기 음향수집부(200)는 콘텐츠 상영 또는 공연 공간의 음향을 수집하는 부분으로, 상기 영상수집부(100)에 병행되어 설치된 마이크 모듈일 수도 있고, 바람직하게는 상영(공연)공간 전체에 고른 분포의 음향을 수집할 수 있도록 분산되어 설치되는 다수개의 마이크 모듈일 수도 있다.
한편, 상기 연산부(300)는 상기 영상수집부(100) 및 음향수집부(200)로부터 수집된 영상데이터와 음향데이터로부터 관객 반응도를 산출하는 부분으로, 상기 관객반응도를 산출하기 위하여, 움직임반응도를 산출하는 움직임반응도 산출부(310), 시선반응도를 산출하는 시선반응도 산출부(320) 및 음향반응도를 산출하는 음향반응도 산출부(330)를 포함하여 구성된다.
상기 움직임반응도 산출부(310)는, 상기 영상데이터들의 비교하여 움직임 변화량을 산출하고, 상기 움직임 변화량으로부터 움직임반응도를 산출한다.
구체적으로, 상기 움직임 반응도는 아래 수학식 1로부터 산출되는데, 여기서 
은 프레임별 움직임 반응도 이고,
은 촬상된 영상데이터의 비교로부터 산출되는 움직임 변화량이며, 
은 움직임 임계치이고, 
는 보정값이다.
수학식 1 
그리고 상기 움직임 변화량은, 이전 프레임에서 촬상된 이미지와 현재 촬상된 프레임의 이미지를 비교하여 이미지의 변화정도를 산출하는 것으로, 픽셀 밝기의 변화에 의존하지 않고, 촬상 이미지 상의 물체의 변화 정도를 판별하여 산출한다.
촬상 이미지를 비교하여 물체의 변화(움직임)정도를 판별하는 기술은 이미 상용화되어 감시카메라 등의 분야에서 널리 적용되고 있는 기술로, 본 명세서에서 상세히 기술하지는 않도록 한다.
또한, 상기 움직임 변화량의 수치적 표현은 통일화된 기준이 적용되는한 다양한 방법에 의해 표현될 수 있는데, 예를 들어 전체 이미지 크기중 변화 발생정도를 %형식으로 표시될 수도 있고, 전체 이미지에 포함된 객체(관객) 중 움직임이 감지된 객체의 개수에 의해서도 표시될 수 있다.
그리고 상기 임계치(
)는 통상 관객의 몰입도가 가장 낮은 상태에서의 움직임 변화량 값을 설정한 값이다.
한편, 상기 시선반응도 산출부(320)는 연속 취득된 상기 영상데이터들로부터 관객의 몸체와 머리를 구분하여 추출하고, 상기 몸체에 대한 머리부분의 방향 변화로부터 시선 반응도를 산출한다.
구체적으로, 상기 시선반응도는 아래 수학식 2로부터 산출되고, 여기서 
는 프레임별 시선 반응도 이고,
은 촬상된 영상데이터로부터 관객의 몸체와 머리의 방향변화에 따른 시선 변화량이며, 
은 시선 임계치이고, 
는 보정값이다.
수학식 2 
한편, 상기 시선 변화량은 관객의 머리 방향의 변화를 정량적으로 산출하여 적용할 수도 있으나, 데이터 처리의 효율과 측정 데이터의 신뢰성을 고려할때, 시선방향을 특정 개수의 영역으로 구분하고, 구획된 영역 사이의 이동회수를 기준으로 산출하는 것이 바람직하다.
그리고 상기 시선 임계치 역시, 통상의 관객이 몰입도가 가장 낮은 경우 시선 방향의 변화정도를 나타내는 설정값이다.
한편, 상기 음향반응도 산출부(330)는 연속 취득된 상기 음향데이터들의 비교로부터 음향 반응도를 산출하는 것으로, 상기 음향 반응도는 아래 수학식 3으로부터 산출되고, 여기서, 
는 프레임별 음향 반응도 이고, 
는 수집된 음향데이터의 비교로부터 산출되는 음향 변화량이며, 
은 음향 임계치이고, 
는 보정값이다.
수학식 3 
이때, 상기 음향 변화량은 각 프래임 대응 시각의 음향의 변화량을 나타내는 것으로 상기 음향 수집부에서 수집된 음향의 그대로 비교하여 산출하는 경우, 컨텐츠 상에 포함된 효과음 등에 의해 영향을 받게된다.
따라서 정확한 관객들에 의한 음향 변화만을 반영하기 위하여 컨텐츠 상영(공연)에 의한 음향을 제거한 음향데이터를 기준으로 산출되는 것이 바람직하다.
이때, 특정 음원이 포함된 음향 데이터에서, 특정 음원을 제거하는 기술은 음원 파일에서 반주와 노래등을 분리하는 기술분야에서 이미 상용화 되어 적용되고 있는 기술로 이에 대하여는 본 명세서에서 상세한 설명은 생략하도록 한다.
그리고 상기 임계치는 전술한 바와 같다.
한편, 각 반응도 산출에 있어, 상기 보정값 
는 동일한 변수로 표시하였으나, 각 반응도의 특성에 따라 운영자에 의해 다른 값으로 각각 설정되는 값이다.
본 발명의 각 반응도 산출에 있어, 공통적으로 적용되는 수식 Y=(Q-C)^2+Cth 가 의미하는 바를 살펴보면, 해당 방정식을 그래프로 도시화 하면 도 3에 도시된 바와 같다.
이를 살펴보면, Q-C 값의 절대값이 커질 수록 반응도는 높은 것으로 산출되며 Q-C 값이 음의 값으로 커지는 경우 정적 몰입상태(진지하게 컨텐츠에 집중하는 경우)를 나타내며, Q-C 값이 양의 값으로 커지는 경우 동적 몰입상태(유쾌하거나 무서움등이 커져 콘텐츠에 대한 리액션이 증가하는 경우)를 나타내게 된다.
한편, 상기 연산부는, 전술한 바와 같이 산출된 상기 움직임 반응도, 상기 시선 반응도 및 상기 음향 반응도로부터 관객반응도를 산출한다.
상기 관객반응도는 기본적으로 상기 움직임 반응도, 상기 시선 반응도 및 상기 음향 반응도의 합으로부터 산출되고, 필요에 따라 보정값을 가감하여 산출될 수 있다.
한편, 상기 관객반응도는 프레임단위(PEI), 씬(scene)단위(SEI) 및 콘텐츠 전체(FEI) 별로 각각 산출될 수 있다.
이때, 상기 프레임 단위의 관객반응도(PEI)는 전술한 프레임 단위의 움직임 반응도, 시선 반응도 및 음향 반응도의 합으로부터 산출되고, 씬단위의 관객반응도(SEI)는 각 씬을 구성하는 프레임들의 관객반응도의 평균값으로 부터 산출된다.
그리고 상기 전체 콘테츠 단위의 관객반응도(PEI)는 씬단위로 산출된 관객반응도에 의해 산출되는데, 구체적으로는 아래 수학식 4, 수학식 5 및 수학식 6에 의해 각각 전체 콘텐츠에 대한 움직임 반응도, 시선 반응도 및 음향 반응도를 산출하여 이들의 합으로부터 산출될 수 있다. 물론, 필요에 따라 이 경우에도 각 반응도에 대한 가중치를 부여하여 산출할 수 있다.
수학식 4 
수학식 5 
수학식 6 
이때 위 수학식 4 내지 5에 있어, 
은 컨텐츠 전체에 대한 움직임 반응도 이고, 
는 컨텐츠 전체에 대한 시선 반응도 이며, 
는 컨텐츠 전체에 대한 음향반응도이고, 
는 각 씬별 가중치를 나타내며, 각 씬별 
은 움직임 변화량이고, 
은 움직임 임계치이며, 
는 시선 변화량이고, 
는 시선 임계치이며, 
는 음향변화량이고, 
는 음향 임계치이며, 
는 보정값이다.
그리고 상기 저장부는 상기 연산부에서 산출한 프레임별, 씬별 전체 콘텐츠별 움직임 반응도, 시선 반응도 및 음향 반응도와 이들로 부터 산출된 관객반응도를 누적하여 저장한다.
상기 저장된 데이터로부터 상기 컨텐츠에 대한 관객반응의 다양한 분석결과를 도출할 수 있다.
이하에서는 상기한 바와 같은 본 발명에 의한 관객반응 분석 방법을 첨부된 도면을 참고하여 상세하게 설명한다.
도 4는 본 발명에 의한 관객반응 분석 방법의 구체적인 실시예를 도시한 흐름도이고, 도 5는 본 발명에 의한 관객반응 분석 예를 도시한 예시도이며, 도 6은 본 발명에 의한 관객반응 분석의 다른 예를 도시한 예시도이고, 도 7은 본 발명에 의한 관객반응 분석의 또 다른 예를 도시한 예시도이다.
먼저 도 4에 도시된 바와 같이, 본 발명에 의한 관객반응 분석 방법은 콘텐츠의 관람의 시작과 함께, 영상수집부와 음향수집부가 영상데이터 및 음향데이터를 수집하는 것으로부터 시작된다(S100).
이와 같이 수집된 영상데이터 및 음향데이터는 프레임 단위로 각각 움직임 반응도, 시선 반응도 및 음향 반응도를 산출하는데 이용된다.
이들 움직임 반응도, 시선 반응도 및 음향 반응도는 각각 개별적인 프로세스에 의해 동시에 산출될 수도 있고, 순차적으로 산출될 수도 있으며, 필요에 따라 컨텐츠 상영(공연)과 동시에 수행될 수도 있다.
먼저, 움직임 반응도 산출을 위해 상기 연산부는 상기 영상데이터의 움직임 변화량을 산출한다(S210).
그리고 다음으로 상기 움직임 변화량을 통해 프레임별 움직임 반응도를 산출한다(S212).
이때, 상기 움직임 반응도는, 수학식 3에 의해 산출됨은 전술한 바와 같다.
그리고 시선 반응도 산출을 위해 상기 연산부는, 시선 변화량을 산출한다(S220). 이때 상기 시선 변화량은 관객의 시선방향을 특정 개수의 영역으로 구분하여 해당 영역 사이의 변화 정도를 기준으로 측정되는 것이 바람직하고, 본 발명에서는 시선방향을 좌/우/정면 및 상/하 방향의 6방향으로 구분하여, 구분된 방향 사이의 변화 회수를 기준으로 산출되는 실시예를 적용하였다.
다음으로 상기 시선 변화량으로부터 프레임별 시선 반응도를 산출한다(S222). 이때, 상기 시선 반응도는 수학식 4로부터 산출됨은 전술한 바와 같다.
한편, 음향 반응도 산출을 위해 상기 연산부는 수집된 음향데이터에서 컨텐츠 상영에 포함된 음원을 필터링하여 제거한다(S230). 이때, 상기 컨텐츠 음원을 제거하는 것은 관객에 의해 발생되는 음향만을 기초로 음향 반응도를 산출하기 위한 것임은 전술한 바와 같다.
다음으로 필터링된 음향데이터의 변화량을 산출한다(S232).
그리고 수학식 5를 이용하여 음향 반응도를 산출한다(S234).
전술한 바와 같이, 각 프레임 단위의 움직임 반응도, 시선 반응도 및 음향 반응도가 산출되면 이들 상기 움직임 반응도, 시선 반응도 및 음향 반응도의 합을 통해 프레임별 관객 반응도(FEI)를 산출한다(S300).
다음으로, 상기 연산부는 상기 제100단계 내지 제300단계를 씬 단위의 영역에 대하여 수행하여, 상기 프레임별 관객반응도(FEI)를 각 씬 단위로 구분하고 평균치를 산출하여 씬별 관객반응도(SEI)를 산출한다(S400, S500).
그리고 상기 씬단위의 관객반응도(SEI)를 콘텐츠 전체에 대하여 수행한 이후, 수학식 6을 통해 콘텐츠 전체에 대한 관객반응도(PEI)를 산출한다(S600, S700).
이와 같은 본 발명에 의해 프레임별, 씬별, 콘텐츠 전체에 대한 관객 반응도가 산출된 일예가 도 5에 도시되어 있다. 이에 도시된 바와 같이, 분석 화면상에 관객의 움직임 정도를 그래프화 하여 출력할 수 있고, 이와 함께 산출된 프레임별, 씬별, 콘텐츠 전체의 관객 반응도를 출력할 수 있다.
한편, 도 6에는 저장부에 누적되어 저장된 데이터로부터 다양한 조건(기간, 날짜 등)을 입력받고, 해당 조건에 따라 산출된 데이터의 통계자료를 출력하는 예가 도시되어 있다.
또한, 도 7에는 각 씬별 관객 반응도와 콘텐츠 전체에 대한 반응도가 그래프화하여 출력된 예가 도시되어 있다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 영상 컨텐츠 또는 공연의 관람자들의 집중도 및 반응을 분석하여 분석하기 위한 관객반응 분석 시스템 및 방법에 관한 것으로, 본 발명에 의하면, 관객의 반응을 분석함에 있어, 관객의 움직임, 관객 시선의 변화 및 음향(음성)의 변화를 기준으로 관객 반응도를 산출하므로, 정확성 높은 관객 반응 분석 시스템 및 방법을 제공할 수 있는 장점이 있다.
Claims (14)
- 컨텐츠 관람 관객의 영상을 연속적으로 취득하는 영상수집부와;컨텐츠 관람 공간의 음향을 연속적으로 취득하는 음향수집부와;상기 영상수집부에서 취득된 영상데이터와 상기 음향수집부에서 취득한 음향데이터로부터 관객반응도를 산출하는 연산부; 그리고상기 연산부에서 산출된 관객반응도를 시계열적으로 누적하여 저장하는 저장부를 포함하여 구성되고:상기 연산부는,연속 취득된 상기 영상데이터들의 비교로부터 움직임 반응도를 산출하는 움직임 반응도 산출부와;연속 취득된 상기 영상데이터들로부터 관객의 몸체와 머리를 구분하여 추출하고, 상기 몸체에 대한 머리부분의 방향 변화로부터 시선 반응도를 산출하는 시선반응도 산출부; 그리고연속 취득된 상기 음향데이터들의 비교로부터 음향 반응도를 산출하는 음향 반응도 산출부를 포함하여 구성되어, 상기 움직임 반응도, 상기 시선 반응도 및 상기 음향 반응도로부터 관객 반응도를 산출함을 특징으로 하는 관객반응 분석 시스템.
- 제 1 항에 있어서,상기 움직임 반응도()는, 수식
으로부터 산출되고:
여기서은 프레임별 움직임 반응도 이고,
은 촬상된 영상데이터의 비교로부터 산출되는 움직임 변화량이며,
은 움직임 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 시스템.
- 제 2 항에 있어서,상기 시선 반응도()는, 수식
으로부터 산출되고:
여기서는 프레임별 시선 반응도 이고,
은 촬상된 영상데이터로부터 관객의 몸체와 머리의 방향변화에 따른 시선 변화량이며,
은 시선 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 시스템.
- 제 3 항에 있어서,사이 음향 반응도()는,
으로부터 산출되고:
여기서는 프레임별 음향 반응도 이고,
는 수집된 음향데이터의 비교로부터 산출되는 음향 변화량이며,
은 음향 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 시스템.
- 제 4 항에 있어서,상기 음향 변화량는,
컨텐츠 음향을 제거한 음향데이터로부터 산출됨을 특징으로 하는 관객반응 분석 시스템. - 제 5 항에 있어서,상기 연산부는,각 씬(scene)에 포함된 프레임들에 대한 움직임반응도, 시선반응도 및 음향반응도의 평균값을 산출하여, 각 씬별 움직임반응도, 시선반응도 및 음향반응도를 산출함을 특징으로 하는 관객반응 분석 시스템.
- 제 6 항에 있어서,상기 연산부는, 컨텐츠 전체에 대하여,로부터 움직임반응도를 산출하고;
로부터 시선반응도를 산출하며;
로부터 음향반응도를 산출하고:
여기서,은 컨텐츠 전체에 대한 움직임 반응도 이고,
는 컨텐츠 전체에 대한 시선 반응도 이며,
는 컨텐츠 전체에 대한 음향반응도이고,
는 각 씬별 가중치를 나타내며, 각 씬별
은 움직임 변화량이고,
은 움직임 임계치이며,
는 시선 변화량이고,
는 시선 임계치이며,
는 음향변화량이고,
는 음향 임계치이며,
는 보정값임을 특징으로 하는 관객반응 분석 시스템.
- 콘텐츠를 관람하는 관객의 반응을 분석하는 방법에 있어서,(A) 영상수집부와 음향수집부를 통해 콘텐츠 관람중 관람공간의 영상데이터와 음향데이터를 수집하는 단계와;(B) 상기 영상데이터로부터 움직임 반응도를 산출하는 단계와;(C) 상기 영상데이터로부터 시선 반응도를 산출하는 단계와;(D) 상기 음향데이터로부터 음향 반응도를 산출하는 단계; 그리고(E) 상기 움직임 반응도, 시선 반응도 및 음향 반응도를 합하여 프레임별 관객 반응도(FEI)를 산출하는 단계를 포함하여 수행됨을 특징으로 하는 관객반응 분석 방법.
- 제 8 항에 있어서,상기 (B) 단계는,(B1) 상기 영상데이터의 움직임 변화량을 산출하는 단계와;(B2) 상기 움직임 변화량을 통해 프레임별 움직임 반응도를 산출하는 단계를 포함하여 수행되고:상기 움직임 반응도()는, 수식
으로부터 산출되고:
여기서은 프레임별 움직임 반응도 이고,
은 촬상된 영상데이터의 비교로부터 산출되는 움직임 변화량이며,
은 움직임 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 방법.
- 제 8 항에 있어서,상기 (C) 단계는,(C1) 시선 변화량을 산출하는 단계와;(C2) 상기 시선 변화량으로부터 프레임별 시선 반응도를 산출하는 단계를 포함하여 수행되고:상기 시선 반응도()는, 수식
으로부터 산출되고:
여기서는 프레임별 시선 반응도 이고,
은 촬상된 영상데이터로부터 관객의 몸체와 머리의 방향변화에 따른 시선 변화량이며,
은 시선 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 방법.
- 제 10 항에 있어서,상기 시선변화량()은,
관객의 시선방향을 좌/우/정면 및 상/하 방향의 6방향으로 구분하여, 구분된 방향 사이의 변화 회수를 기준으로 산출됨을 특징으로 하는 관객반응 분석 방법. - 제 8 항에 있어서,상기 (D) 단계는,(D1) 수집된 음향데이터에서 컨텐츠 상영에 포함된 음원을 필터링하여 제거하는 단계와;(D2) 음향데이터의 변화량을 산출하는 단계; 그리고(D3) 상기 음향테이터의 변화량으로부터 음향 반응도를 산출하는 단계를 포함하여 수행되고:사이 음향 반응도()는,
으로부터 산출되고:
여기서는 프레임별 음향 반응도 이고,
는 수집된 음향데이터의 비교로부터 산출되는 음향 변화량이며,
은 음향 임계치이고,
는 보정값임을 특징으로 하는 관객반응 분석 방법.
- 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,(F) 상기 프레임별 관객반응도(FEI)를 각 씬 단위로 평균치를 산출하여 씬별 관객반응도(SEI)를 산출하는 단계를 더 포함하여 수행됨을 특징으로 하는 관객반응 분석 방법.
- 제 13 항에 있어서,(G) 상기 (F)단계에서 산출된 씬별 관객반응도(SEI)를 통해, 컨텐츠 전체에 대한 관객반응도(PEI)를 산출하는 단계를 더 포함하여 수행되고:상기 PEI는,컨텐츠 전체에 대하여,수학식로부터 움직임반응도를 산출하고;
수학식로부터 시선반응도를 산출하며;
수학식로부터 음향반응도를 산출하여, 상기 컨텐츠 전체에 대한 움직임 반응, 시선 반응도 및 음향반응도의 합을 통해 산출되고:
여기서,은 컨텐츠 전체에 대한 움직임 반응도 이고,
는 컨텐츠 전체에 대한 시선 반응도 이며,
는 컨텐츠 전체에 대한 음향반응도이고,
는 각 씬별 가중치를 나타내며, 각 씬별
은 움직임 변화량이고,
은 움직임 임계치이며,
는 시선 변화량이고,
는 시선 임계치이며,
는 음향변화량이고,
는 음향 임계치이며,
는 보정값임을 특징으로 하는 관객반응 분석 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140064989A KR101591402B1 (ko) | 2014-05-29 | 2014-05-29 | 관객반응 분석 시스템 및 방법 |
| KR10-2014-0064989 | 2014-05-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015182841A1 true WO2015182841A1 (ko) | 2015-12-03 |
Family
ID=54699143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2014/012516 WO2015182841A1 (ko) | 2014-05-29 | 2014-12-18 | 관객반응 분석 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101591402B1 (ko) |
| WO (1) | WO2015182841A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881814A (zh) * | 2020-07-24 | 2020-11-03 | 北京明略昭辉科技有限公司 | 观众态度确定方法、装置、电子设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101668387B1 (ko) | 2016-05-16 | 2016-10-21 | 정문영 | 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법 |
| KR102179426B1 (ko) * | 2019-06-27 | 2020-11-16 | 김재신 | 세계예능올림픽경연대회 중계방송 운영 시스템 |
| KR102184396B1 (ko) * | 2019-10-14 | 2020-11-30 | 김재신 | 세계예능올림픽경연대회 중계방송 운영 시스템 및 그 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009187441A (ja) * | 2008-02-08 | 2009-08-20 | Toyohashi Univ Of Technology | 視線の軌跡情報に基づいた動画像推薦システム |
| KR20090121016A (ko) * | 2008-05-21 | 2009-11-25 | 박영민 | 시청자 반응 측정 방법 및 시스템 |
| JP2010026871A (ja) * | 2008-07-22 | 2010-02-04 | Nikon Corp | 情報処理装置及び情報処理システム |
| US20110214141A1 (en) * | 2010-02-26 | 2011-09-01 | Hideki Oyaizu | Content playing device |
| JP2013016903A (ja) * | 2011-06-30 | 2013-01-24 | Toshiba Corp | 情報処理装置及び情報処理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101403244B1 (ko) | 2012-09-28 | 2014-06-02 | 경희대학교 산학협력단 | 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법 |
| KR101337833B1 (ko) | 2012-09-28 | 2013-12-06 | 경희대학교 산학협력단 | 컨텐츠에 대한 관객 반응의 판단 방법 |
| KR101403143B1 (ko) | 2012-09-28 | 2014-06-03 | 경희대학교 산학협력단 | 컨텐츠에 대한 관객 그룹의 반응 판단 방법 |
-
2014
- 2014-05-29 KR KR1020140064989A patent/KR101591402B1/ko not_active IP Right Cessation
- 2014-12-18 WO PCT/KR2014/012516 patent/WO2015182841A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009187441A (ja) * | 2008-02-08 | 2009-08-20 | Toyohashi Univ Of Technology | 視線の軌跡情報に基づいた動画像推薦システム |
| KR20090121016A (ko) * | 2008-05-21 | 2009-11-25 | 박영민 | 시청자 반응 측정 방법 및 시스템 |
| JP2010026871A (ja) * | 2008-07-22 | 2010-02-04 | Nikon Corp | 情報処理装置及び情報処理システム |
| US20110214141A1 (en) * | 2010-02-26 | 2011-09-01 | Hideki Oyaizu | Content playing device |
| JP2013016903A (ja) * | 2011-06-30 | 2013-01-24 | Toshiba Corp | 情報処理装置及び情報処理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881814A (zh) * | 2020-07-24 | 2020-11-03 | 北京明略昭辉科技有限公司 | 观众态度确定方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101591402B1 (ko) | 2016-02-03 |
| KR20150137320A (ko) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017213398A1 (en) | Learning model for salient facial region detection | |
| WO2015182841A1 (ko) | 관객반응 분석 시스템 및 방법 | |
| WO2019054638A1 (ko) | 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| WO2016171341A1 (ko) | 클라우드 기반 병리 분석 시스템 및 방법 | |
| US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| WO2016107230A1 (zh) | 一种3d场景中重现物体的系统和方法 | |
| WO2014069822A1 (en) | Apparatus and method for face recognition | |
| WO2010041836A2 (en) | Method of detecting skin-colored area using variable skin color model | |
| WO2018090740A1 (zh) | 一种基于混合现实技术实现陪伴的方法及装置 | |
| WO2012124852A1 (ko) | 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법 | |
| WO2017142311A1 (ko) | 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법 | |
| WO2011136407A1 (ko) | 스테레오 카메라를 이용한 영상인식장치 및 방법 | |
| WO2016155284A1 (zh) | 一种终端的信息采集方法及其终端 | |
| CN107241572A (zh) | 学员实训视频追踪评价系统 | |
| WO2020197268A1 (en) | Method and electronic device for processing facial images | |
| WO2021241804A1 (ko) | 다중 플로우 기반 프레임 보간 장치 및 방법 | |
| CN110175515B (zh) | 一种基于大数据的人脸识别算法 | |
| CN112215185A (zh) | 一种从监控视频中检测跌倒行为的系统及方法 | |
| WO2022213540A1 (zh) | 目标检测、属性识别与跟踪方法及系统 | |
| KR102511287B1 (ko) | 영상 기반 자세 예측 및 행동 검출 방법 및 장치 | |
| KR20120133646A (ko) | 객체 수 추정 장치 및 방법 | |
| CN205883437U (zh) | 一种视频监控系统 | |
| WO2019112385A1 (ko) | 비디오 인식을 위한 영상 세그먼트 프레임별 특징점의 시간 정보 인코딩 방법 | |
| WO2020189953A1 (ko) | 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법 | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14893123 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14893123 Country of ref document: EP Kind code of ref document: A1 |