KR102595838B1 - 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템 - Google Patents

영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템 Download PDF

Info

Publication number
KR102595838B1
KR102595838B1 KR1020210022601A KR20210022601A KR102595838B1 KR 102595838 B1 KR102595838 B1 KR 102595838B1 KR 1020210022601 A KR1020210022601 A KR 1020210022601A KR 20210022601 A KR20210022601 A KR 20210022601A KR 102595838 B1 KR102595838 B1 KR 102595838B1
Authority
KR
South Korea
Prior art keywords
viewer
character
mmd
video content
psd
Prior art date
Application number
KR1020210022601A
Other languages
English (en)
Other versions
KR20220118767A (ko
Inventor
황민철
조아영
이현우
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020210022601A priority Critical patent/KR102595838B1/ko
Priority to US17/393,064 priority patent/US11798026B2/en
Publication of KR20220118767A publication Critical patent/KR20220118767A/ko
Application granted granted Critical
Publication of KR102595838B1 publication Critical patent/KR102595838B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 영상 콘텐츠의 광고 효과 평가 방법 및 시스템에 대해 기술한다.평가 방법은 디스플레이를 통해 캐릭터가 포함되어 있는 영상 콘텐츠를 시청자에게 제시하는 단계, 상기 시청자가 영상 콘텐츠를 시청하는 동안 상기 영상 콘텐츠의 캐릭터와 시청자의 안면 미동 데이터(Micro Movement Data, MMD)를 각각 추출하는 단계, 상기 캐릭터의 MMD와 시청자의 MMD 간의 유사도(similarity)를 계산하는 단계, 그리고 상기 유사도에 근거하여 상기 영상 콘텐츠의 광고 효과 점수를 산출하는 단계를 포함한다.

Description

영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템{Method and system for evaluation of advertising effect based on similarity of micro movement}
본 개시는 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템에 관한 것으로, 상세하게는 영상 콘텐츠에 대한 시청자의 미세 움직임의 유사도 평가에 기반하는 영상 콘텐츠의 광고 효과를 평가하는 방법 및 시스템에 관해 기술한다.
소셜 미디어 플랫폼이 주요 콘텐츠 소비 플랫폼으로 떠오르면서 콘텐츠의 광고 효과에 대해 사용자의 영향력이 중요해졌다.
그러나 콘텐츠의 광고 효과를 측정하는 방식은 대부분 시청자에게 직접 물어보고 응답 받는 설문조사에 의존한다. 이러한 설문조사 방법은 조사에 응하는 참가자를 모아야 하기 때문에 고 비용의 자원이 투자되어야 한다.
많은 자원을 투자하여 측정함에도 불구하고 설문 응답자의 정직성과 주관적인 목적에 따라 응답 결과의 편향을 초래할 우려가 있으며, 일관성이 결여되고, 예측이 어렵다. 따라서 콘텐츠의 광고 효과의 자동적이고 정량적인 인식 방법이 필요하다.
이를 위해 사용자의 시선을 추적하여 관심 있는 제품을 분석하는 뉴로 마케팅 연구들이 활발히 진행되어 왔으나 시선추적을 위한 별도의 트래킹 장비가 필요하고 시청자의 의식적 시선에 의한 정보는 주관적 경험 판단에 의한 개입이 크기 때문에 시선에 의한 측정은 모호하고 부정확하다.
따라서, 사용자에게 불편을 주지 않으면서 광고 영상에 대한 진정한 평가를이룰 수 있는 방법에 대한 연구가 필요하다.
Blackshaw, P., and Nazzaro, M. (2006). Word of mouth in the age of the web-fortified consumer. Consumer-generated media (CGM), 101. Constantinides, E., and Fountain, S. J. (2008). Web 2.0: Conceptual foundations and marketing issues. Journal of direct, data and digital marketing practice, 9(3), 231-244. Bollen, K. A., and Paxton, P. (1998). Detection and determinants of bias in subjective measures. American Sociological Review, 465-478. Pannucci, C. J., and Wilkins, E. G. (2010). Identifying and avoiding bias in research. Plastic and reconstructive surgery, 126(2), 619. Jahedi, S., and Mendez, F. (2014). On the advantages and disadvantages of subjective measures. Journal of Economic Behavior and Organization, 98, 97-114. Dimpfel, W. (2015). Neuromarketing: neurocode-tracking in combination with eye-tracking for quantitative objective assessment of TV commercials. Journal of Behavioral and Brain Science, 5(04), 137. Ferreira, L. G., Dos Santos, R. N., Oliva, G., and Andricopulo, A. D. (2015). Molecular docking and structure-based drug design strategies. Molecules, 20(7), 13384-13421. Zamani, H., Abas, A., and Amin, M. K. M. (2016). Eye tracking application on emotion analysis for marketing strategy. Journal of Telecommunication, Electronic and Computer Engineering (JTEC), 8(11), 87-91. Ungureanu, T., Iancu, G. O., Pintilei, M., and Chico?, M. M. (2017). Spatial distribution and geochemistry of heavy metals in soils: A case study from the NE area of Vaslui county, Romania. Journal of Geochemical Exploration, 176, 20-32. Lee, H., Cho, A., Lee, S., and Whang, M. (2019). Vision-Based Measurement of Heart Rate from Ballistocardiographic Head Movements Using Unsupervised Clustering. Sensors, 19(15), 3263. Viola, P.; Jones, M. Rapid object detection using a boosted cascade of simple features. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Kauai, HI, USA, 8?14 December 2001; pp. 511?518. Shan, L., and Yu, M. (2013, December). Video-based heart rate measurement using head motion tracking and ICA. In 2013 6th International Congress on Image and Signal Processing (CISP) (Vol. 1, pp. 160-164). IEEE. Bouguet, J.Y. Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm. Intel Corp. 2001, 5, 4. Balakrishnan, G.; Durand, F.; Guttag, J. Detecting pulse from head motions in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, OR, USA, 23?28 June 2013; pp. 3430?3437. Weifeng Liu, P. P. Pokharel and J. C. Principe, "Correntropy: A Localized Similarity Measure," The 2006 IEEE International Joint Conference on Neural Network Proceedings, Vancouver, BC, 2006, pp. 4919-4924. doi: 10.1109/IJCNN.2006.247192
본 개시는 광고 콘텐츠에 대한 시청자의 공감 여부를 평가하고 이를 통해 광고 효과를 평가하는 방법 및 시스템을 제시한다.
본 개시에 따르면, 광고 콘텐츠에 대한 시청자의 무의식적 반응이 인식 되고이러한 무의식적 반응에 기초하여 광고 콘텐츠에 대한 공감 여부가 광고 효과로서 평가된다.
본 개시는 무의식적 반응을 시청자의 미동(Micro Movement, MM)으로부터 인식하고 이를 이용해 광고 콘텐츠의 광고 효과를 평가하는 방법 및 시스템을 제시한다.
본 개시에 따른 영상 콘텐츠의 광고 효과 평가 방법:은
디스플레이를 통해 캐릭터가 포함되어 있는 영상 콘텐츠를 시청자에게 제시하는 단계;
상기 시청자가 영상 콘텐츠를 시청하는 동안 상기 영상 콘텐츠의 캐릭터와 시청자의 안면 미동데이터(MMD)를 각각 추출하는 단계;
상기 캐릭터의 MMD와 시청자의 MMD 간의 유사도(similarity)를 계산하는 단계;
상기 유사도에 근거하여 상기 영상 콘텐츠의 광고 효과 점수를 산출하는 단계;를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 MMD를 추출하는 단계:는
상기 영상 콘텐츠와 시청자의 안면 영상에서 캐릭터와 시청자의 안면 영역을 검출하는 단계;
상기 안면 영역에서 안면 미동이 추출될 ROI(Region of Interest)를 선택하는 단계;
상기 ROI에서 다수의 특징점(Landmarks)를 추출하는 단계;
상기 특징점들의 움직임을 추적하여 특징점의 움직임 데이터를 추출하는 단계; 그리고
상기 특징점 움직임 데이터로부터 대표적 주기성을 가지는 안면 미동데이터(Micro Movement Data, MMD)를 계산하는 단계;를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 ROI는 안면의 코 영역과 이마 영역 중 적어도 한 영역으로 정의될 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 특징점 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘를 적용하여 상기 특징점들의 움직임을 추적할 수 있다.
상기 특징점들의 움직임으로부터 무의식적 미세 움직임 신호를 추출하기 위하여, 특징점 움직임 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 움직임 데이터에 대한 주성분 분석(PCA)에 의해 심박의 주기성을 나타내는 MMD를 추출할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 유사도를 계산하는 단계에, 상기 MMD를 0.75~2.5Hz의 BPF(band pass filter)로 필터링하는 전처리 단계가 더 포함될 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 캐릭터와 시청자의 MMD를 FFT(Fast Fourier Transform) 에 의해 시계열의 캐릭터 PSD(Power Spectral Density)와 시청자 PSD로 변환되고, 그리고 상기 캐릭터 MMD와 시청자의 MMD 간의 유사도(similarity)를 아래 식1에서 정의되는 크로스-엔트로피(Cross-entropy, H(p,q))에 의해 계산될 수 있다.
<식1>
p : 캐릭터 PSD
q : 시청자 PSD
p (x): 캐릭터 PSD에서 주파수(Hz) "x" 에서의 진폭 값
q (x): 시청자 PSD에서 주파수(Hz) "x" 에서의 진폭 값
하나 또는 그 이상의 실시 예에 따르면, 상기 영상 콘텐츠에 대한 시청자의 주관적 평가를 수행하여 시청자의 주관적 평가 점수를 산출하고, 그리고
상기 광고 효과 점수 y' 는 아래의 식2에 의해 산출될 수 있다.
<식2>
본 개시에 따른 방법을 수행하는 영상 콘텐츠의 광고 효과 평가 시스템:은
캐릭터를 포함하는 영상 콘텐츠를 시청자에게 시현하는 디스플레이;
상기 시청자의 안면을 촬영하는 카메라;
상기 영상 콘텐츠를 캡쳐하는 영상 캡쳐부;
상기 카메라와 영상 캡쳐부로 부터의 영상에서 캐릭터와 시청자의 안면 영역을 추출하는 영상 분석부;
상기 캐릭터와 시청자의 안면 영역으로부터 안면 미동데이터(MMD)를 각각 추출하고, 캐릭터의 MMD와 시청자의 MMD의 유사도를 분석하는 미동 분석부; 그리고
상기 유사도에 근거해 광고 효과를 평가하는 광고 평가부;를 구비할 수 있다.
하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 시스템에서, 상기 미동 분석부:는 상기 유사도를 계산하는 단계에 상기 MMD를 0.75~2.5Hz의 BPF(band pass filter)로 필터링할 수 있다.
하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 시스템에서, 상기 미동 분석부:는
상기 캐릭터와 시청자의 MMD를 FFT(Fast Fourier Transform) 에 의해 시계열의 캐릭터 PSD(Power Spectral Density)와 시청자 PSD로 변환하고, 그리고
상기 캐릭터 MMD와 시청자의 MMD 간의 유사도(similarity)를 아래 식3으로 정의되는 크로스-엔트로피(Cross-entropy, H(p,q))에 의해 계산할 수 있다.
<식3>
p : 캐릭터 PSD
q : 시청자 PSD
p (x): 캐릭터 PSD에서 주파수(Hz) "x" 에서의 진폭 값
q (x): 시청자 PSD에서 주파수(Hz) "x" 에서의 진폭 값
하나 또는 그 이상의 실시 예에 따르면, 상기 광고 평가부는, 상기 상기 영상 콘텐츠에 대한 시청자의 주관적 평가를 수행하여 시청자의 주관적 평가 점수를 산출하고, 그리고 상기 광고 효과 점수 y' 는 아래의 식4에 의해 산출할 수 있다.
<식4>
하나 또는 그 이상의 실시 예에 따르면, 상기 광고 평가부는, 상기 광고 영상의 광고 효과 예측 정확도를 100%에서 아래의 식5에 의해 계산되는 MAPE (Mean Absolute Percentage Error)를 뺀 값으로 산출할 수 있다.
<식5>
Ax : 주관평가 점수, Fx 예측 값, n: 전체 샘플 수(사람 수 * 영상 수)
삭제
삭제
도1은 하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 방법의 개략적 흐름도이다.
도2는 하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 시스템의 개략적 구성을 보이는 블록다이어그램이다.
도3은 하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 방법에서 안면 미동 데이터(MMD)를 추출하는 과정을 보이는 흐름도이다.
도4는 도3에 도시된 과정에서 안면 영상으로부터 특징부를 추출하는 과정에서 안면 영상에서의 신호 처리 영역을 단계적으로 보인다.
도5는 하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 방법에서 미동 데이터(MMD)를 이용해 유사도를 계산하는 과정을 보이는 흐름도이다.
도6은 도5에 도시된 과정을 안면 영상 및 그래프로 시각화한 흐름도이다.
도7은 하나 또는 그 이상의 실시 예에 따른 영상 콘텐츠의 광고 효과 평가 방법에서 FFT 처리에 의해 얻어진 MMD의 PSD의 특성 그래프이다.
이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되어 지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어 지지 않는다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 과정의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 과정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.
본 개시에 따른 실시 예는 영상 콘텐츠 속에 등장하는 인물의 얼굴의 미세움직임과 이를 시청하는 시청자의 얼굴의 미동의 유사도를 측정하고 이를 이용해서 영상 콘텐츠에 대한 시청자의 공감 여부를 평가하고 이를 이용해 광고 효과(Advertising effects)를 평가한다.
도1은 본 개시에 따른 광고 효과 평가 방법의 개략적 흐름도이다.
도1을 참고하면, 등장 인물(character, 이하 캐릭터)이 나오는 광고 콘텐츠와 이 광고 콘텐츠를 시청하는 시청자로부터 안면의 미동(Micro Movement)에 의해 미동 데이터(Micro Movement Data, 이하 MMD)를 각각 추출하고, 각각의 MMD를 분석하여 두 MMD의 유사도(similarity)를 계산하고, 그리고 유사도에 근거해 광고 효과의 유무 또는 정도를 평가한다. 위의 과정에서 상기 시청자로부터 안면 미동을 추출하기 위해 광고 콘텐츠를 시청하는 시청자의 안면의 동영상 카메라에 의한 촬영이 요구된다.
도2는 본 개시에 따른 광고 효과 평가 시스템(11)의 개략적 블록다이어그램이다.
상기 광고 효과 평가 시스템은 시청자(20)에게 인물 영상이 포함된 영상 콘텐츠(114)를 보여 주면서 시청자(20)의 안면 영상을 획득하고, 상기 영상 콘텐츠에 나타나는 캐릭터의 안면 미동에 대해 상기 시청자(20)의 안면 미동이 유사하게 발생하는지를 판단하여 광고 효과 유무 또는 광고 효과의 정도를 평가한다.
구체적으로 상기 광고 효과 평가 시스템(11)은 키보드, 마우스, 디스플레이(12) 등 입출력 장치 및 이들이 연결되는 메인 보드를 포함하는 컴퓨터 시스템을 기반하는 하드웨어의 구조를 가진다.
상기 하드웨어는 본 개시의 다른 실시 예에 따라 전용화된 시스템에 의해 구현될 수 있다. 이러한 공감 평가 장치는 특정한 하드웨어 시스템에 의해 그 기술적 범위가 제한되지 않는다.
보다 구체적으로서, 본 개시에 따른 광고 효과 평가 시스템(1)은 시청자(20)의 안면을 촬영하는 동영상 카메라(13), 예를 들어 소위 웹 캠 또는 웹 카메라를 포함할 수 있다. 또한, 이러한 시스템(1)은 소프트웨어 형태로 제공되는 분석 알고리즘을 통해서 영상 콘텐츠(114) 내의 캐릭터와 이를 시청하는 시청자(20)로부터 획득된 얼굴 영상을 처리하고 이를 이용하여 상기 시청자(20)에 대한 영상 콘텐츠의 광고 효과의 유무 또는 광고 효과의 정도가 평가한다.
도2에 도시된 바와 같이, 디스플레이 장치(12)와 카메라(13)는 시청자(20)를 향하고 있다. 디스플레이 장치(12)는 영상 콘텐츠(114)를 시청자(20)에게 시현하는 장치이다. 카메라(13)는 영상 콘텐츠(114)를 시청하는 시청자(20)의 안면을 촬영하여 영상 콘텐츠(114)에 반응하는 안면 표정 및 움직임을 영상 자료화한다.
상기 카메라(13)와 디스플레이(12)가 연결되는 컴퓨터 기반 공감 평가 시스템(1)은 영상 콘텐츠(114)를 재생하는 영상 재생기(115)와 영상 재생기(115)로부터 디스플레이 장치(12)로 전송되는 영상을 프레임 단위로 캡쳐하는 영상 캡쳐부(116)를 포함한다. 여기에서 영상 캡쳐부(116)에서 캡쳐된 콘텐츠 영상은 카메라(13)에 의해 촬영된 시청자(20)의 안면 영상과 비교되기 위한 영상 데이터이다.
영상 콘텐츠(114)에는 상기 시청자(20)가 감성적으로 반응할 수 있는 캐릭터, 즉 등장 인물이 포함되고, 이 캐릭터의 안면 미동이 상기 캡쳐된 콘텐츠 영상으로부터 추출된다.
영상 분석부(111)는 상기 캡쳐 영상인 캐릭터의 안면 영상과 시청자의 안면 영상을 분석하여 양자의 MMD를 추출한다. MMD 심장 데이터에 관계된 미동 성분을 가진다.
미동 분석부(112)는 상기 미동 데이터 MMD 를 분석하여 캐릭터에 의해 표출되는 감성에 시청자(20)가 감성적으로 공감하는 지를 분석하기 위한 미동 유사도를 측정 또는 산출 한다.
광고 평가부(113)는 상기 미동 분석부(112)로부터의 유사도의 결과에 따라 상기 캐릭터에 의해 표출되는 감성에 상기 시청자가 공감하는지를 판단하여, 광고 효과의 정도 또는 유무를 판단한다.
위에서, 상기 영상 분석부, 미동 분석부 및 광고 평가부는 소프트웨어 형태로 제공되는 분석 알고리즘에 의해 제공될 수 있다.
I. 미동 데이터 (MMD) 추출
도3은 상기와 같은 광고 효과 유무 또는 정도를 평가하는 평가 데이터인 미동 데이터(MMD)의 추출 과정을 설명하며, 도4는 촬영된 시청자 및 캐릭터의 얼굴 검출로부터 얼굴 특징 추적(Feature Extraction)까지의 과정을 예시적으로 보인다.
I-1. 안면 동영상 획득 (Facial Video Acquisition, S31)
캐릭터 및 시청자의 안면 영상은 광고 콘텐츠의 캡쳐 및 시청자 안면을 촬영을 통해 획득한다.
I-2. 안면 검출 (Face Detection, S32)
도4의 (A)에 예시된 바와 같이, 캡쳐된 영상 및 촬영한 시청자 영상 내에서 캐릭터와 시청자의 얼굴이 위치하는 영역을 검출한다. 얼굴 영역의 추출은 사람의 얼굴 부위마다 나타나는 명암의 특징을 이용한 Viola-Jones 알고리즘, HOG(Histogram of Oriented Gradients) 등의 방법을 적용한다.
I-3. 안면 영역 선택 (Face Area Selection, S33)
도4의 (B)에 예시된 바와 같이, 이마(forehead)와 코(nose)가 다른 얼굴 부위보다 얼굴 표정의 영향을 가장 적게 받기 때문에 표정에 의한 노이즈를 최소화하기 위해 이마와 코 영역에 대해 관심 영역 (Region of Interest, ROI)으로 지정한다. 이마 영역은 얼굴 영역의 중앙을 기준으로 가로 폭 60%, 상위를 기준으로 세로 폭 12%에 해당하는 세부 ROI로 지정되었으며, 코 영역은 얼굴 영역의 정 중앙을 기준으로 가로 폭 10%, 세로 30%에 해당하는 세부 ROI로 지정되었다.
I-4. 얼굴 특징점 추출 (Face Feature Extraction, S34)
도4의 (C)에 예시된 바와 같이, 이마와 코에 대한 대한 ROI를 소정 수의 그리드로 분할하여 각 그리드의 중심 좌표를 추출한다. 예를 들어 이마에 대한 ROI는 16x2 그리드, 코에 대한 ROI는 2x8 그리드로 분할하고, 각 그리드의 중심 좌표를 추출한다.
I-5. 얼굴 특징 추적 (Feature Tracking, S35)
심장 박동에 의한 머리 움직임 (Ballistocardiographic Head Movement)은 지면과 수직 방향의 떨림으로 나타난다. 따라서 프레임마다 각 얼굴 특징점의 Y-좌표 변화를 추적하며, 이 때 좌표 추적은 KLT (Kanade-Lucas-Tomasi) Tracker(추적) 알고리즘이 적용될 수 있다. 본 실시 예에서는, 연속된 프레임에 대해서 KLT 알고리즘을 이용해 각 그리드의 중심 좌표 마다 이전 프레임 대비 현재 프레임에서 y좌표 값이 움직인 값을 추적하여 심장박동에 의한 주기적인 떨림으로 발생하는 특징점 움직임 신호(데이터)로서 프레임 간 특징점 움직임 변화량을 추출한다. 특징점 움직임 변화량의 추출에는 예를 들어, 슬라이딩 윈도우 기법이 이용될 수 있으며, 이때의 윈도우 사이즈는 30s, 인터벌 사이즈는 1s로 설정할 수 있다.
I-6. 미동 데이터 추출 (MMD Extraction, S36)
이 과정에서는 영상의 특징점 움직임 데이터에서 의식적 움직임과 심장 박동에 의한 미세한 떨림(Micro Movement)이 아닌 큰 움직임(Macro Movement)을 제거하는 과정으로서 필터링 및 맥박에 해당하는 주성분을 추출하는 PCA 가 수행된다.
I-6-1. 신호 필터링 (Signal Filtering)
프레임마다 추적된 얼굴 특징점의 움직임을 나타내는 원 신호인 상기 특징점 움직임 변화량에서 45~150 bpm 대역의 심장 성분에 의해 발생하는 미동 만을 검출하기 위해 밴드패스필터(BPF), 예를 들어 버터워스(Butterworth) BPF(5 order, 0.75-2.5Hz)를 이용해 심박수 대역에 해당하는 주파수인 0.75Hz(45bpm)~2.5Hz(150bpm) 대역의 성분만을 추출한다.
I-6-2. 주성분 분석 (Principal Component Analysis)
48개의 특징점(Landmark) 마다 얼굴의 프레임 간 움직임 변화에 따른 특징점 움직임 신호(데이터)가 검출되므로 가장 주기성이 높은 주성분 신호를 검출하여 하나의 대표 신호를 미동데이터(MMD)로써 선택한다.
주성분 분석을 통해서 먼저 복수의 컴포넌트(Component)가 추출되고, 여기에서 가장 높은 주기성을 보이는 컴포넌트 (Component)가 최종 얼굴 미동 데이터(MMD)로 추출한다. 주기성은 다음과 같이 계산된다.
여기에서, s는 시계열 신호, FFT는 시계열 신호를 주파수 대역으로 변환하기 위한 푸리에 분석 방법, PS는 시계열 신호 s에 대한 주파수 대역의 파워 스펙트럼이다.
여기에서 Max Power는 전체 파워 스펙트럼에서 가장 큰 파워 값
여기에서 Total Power는 전체 파워 스펙트럼의 합이다.
최종적으로 시계열 신호 s 에 대한 주기성(Periodicity)는 다음과 같이 계산된다.
최종적으로, 위와 같은 과정을 통해서 캐릭터와 시청자의 얼굴의 미동으로부터 심장 반응에 대한 주기성 (심박수)이 분석되고, 이로부터 MMD가 추출된다.
II. 미동 데이터(MMD)의 유사도 계산
도5는 시계열의 미동 데이터(MMD)를 이용해 캐릭터와 시청자의 안면 미동의 유사성을 평가하는 과정을 도시하며, 도6은 도5의 유사도 계산과정을 도식화한 그림이다. 그리고, 도7은 FFT를 거쳐 얻은 PSD(Power Spectral Density)의 분포 그래프를 예시한다.
추출된 미동 데이터(MMD)는 FFT(Fast Fourier Transform)에 의해 주파수 도메인의 0.75~2.5Hz 대역의 PSD 신호로 변환한다. 그리고 크로스-엔트로피(Cross-entropy)는 두 확률 분포(probability distribution)가 유사할수록 0에 가까우며, 두 확률 분포가 다를수록 무한대로 발산한다.
본 개시에 따른 광고 효과 평가 방법의 한 실시 예에서
상기 캐릭터의 MMD에 대한 시청자의 MMD의 유사도를 계산하는 단계에서,
MMD 각각에 대한 FFT 분석을 통해 각각의 PSD를 계산하는 단계;
상기 각각의 PSD를 정규화(Normalization)하는 단계;
상기 정규화된 PSD에 대한 크로스-엔트로피를 계산하는 단계; 그리고,
상기 크로스-엔트로피를 이용해 상기 캐릭터와 시청자의 MMD의 유사도를 계산하는 단계;를 포함한다.
구체적으로 영상 콘텐츠의 캐릭터 및 시청자의 얼굴 미동 데이터 MMD를 획득한 후(S51), 이들에 대한 FFT 분석을 통해 PSD를 각각 계산한다(S52). 그리고 각각의 PSD를 정규화(normalization)한 후, 두 MMD 간 크로스-엔트로피(cross-entropy) 값을 계산하여 두 데이터 간의 유사도를 분석한다(S53).
크로스-엔트로피는 두 주파수 신호의 분포와 위상이 비슷할수록 0에 가까워지고, 두 신호가 다를수록 값이 커진다. 따라서 캐릭터와 시청자의 얼굴 미동 데이터(MMD)에 대한 크로스-엔트로피 H(p, q)가 0에 가까울수록 유사도가 높고 (Weifeng et al., 2006), 크로스-엔트로피(Cross-entropy)의 계산식은 아래와 같다.
p : 캐릭터 PSD
q : 시청자 PSD
p (x): 캐릭터 PSD에서 주파수(Hz) "x" 에서의 진폭 값
q (x): 시청자 PSD에서 주파수(Hz) "x" 에서의 진폭 값
x(frequency tick)는 0.75~2.5Hz의 주파수 범위 내에서 특정 주파수이며, x의 간격(df, distance of frequency)은 아래 식과 같이 영상의 프레임 속도(frame per second)를 영상의 전체 길이(초)로 나눈 값으로 계산된다.
III. 광고 효과 (Advertising effects) 정량적 인식
광고 효과를 평가하기 위한 기준은 ①광고태도, ②제품태도, ③브랜드태도, ④구전의도, ⑤구매의도 등의 5가지의 항목을 가질 수 있다.
III-1. 광고태도
광고태도는 사용자로부터 “이 영상에 대해 긍정적이다.”에 대한 질문의 답변으로 매우 그렇지 않다 (1점) ~ 매우 그렇다 (5점)의 5점 척도로 응답 받음으로써 측정된다.
III-2. 제품태도
제품태도는 사용자로부터 “영상에서 본 제품이 마음에 든다.”에 대한 질문의 답변으로 매우 그렇지 않다 (1점) ~ 매우 그렇다 (5점)의 5점 척도로 응답 받음으로써 측정된다.
III-3. 브랜드태도
브랜드태도는 사용자로부터 “영상에서 본 상표(브랜드)가 좋다.”에 대한 질문의 답변으로 매우 그렇지 않다 (1점) ~ 매우 그렇다 (5점)의 5점 척도로 응답 받음으로써 측정된다.
III-4. 구전의도
구전의도는 사용자로부터 “이 광고에 좋아요를 누를 의향이 있다.”에 대한 질문의 답변으로 매우 그렇지 않다 (1점) ~ 매우 그렇다 (5점)의 5점 척도로 응답 받음으로써 측정된다.
III-5. 구매의도
구매의도는 사용자로부터 “영상 속 제품을 구매할 마음이 생겼다.”에 대한 질문의 답변으로 매우 그렇지 않다 (1점) ~ 매우 그렇다 (5점)의 5점 척도로 응답 받음으로써 측정된다.
위의 다섯 가지 측정 항목의 값들은 각 광고효과에 대한 사용자의 실제 응답으로 미세 움직임 유사도(cross-entropy)로 예측한 각 광고효과 점수(y')가 얼마나 정확한지 평가하는 데 사용되었다. 광고 효과 y' 는 다음의 회귀식으로 예측할 수 있다.
아래는 30명의 실험자를 대상으로 실시한 주관평가에 따른 회귀식이다. 주관평가시 광고 영상을 실험자에게 제시하면서 광고 영상 내의 캐릭터와 이를 시청하는 실험자와 안면 MMD를 추출하여 유사도를 계산하여, 광고 태도, 제품 태도, 브랜드 태도, 구전 의도, 구매 의도에 대한 광고 효과 점수를 산출하였다.
광고 태도 = -1230.612 x 미동 유사도(cross-entropy) + 9.258
제품 태도 = -1213.926 x 미동 유사도(cross-entropy) + 9.05
브랜드 태도 = -1564.551 x 미동 유사도(cross-entropy) + 9.087
구전 의도 = -597.3 x 미동 유사도(cross-entropy) + 6.603
구매 의도 = -1165.719 x 미동 유사도(cross-entropy) + 8.228
각 광고 효과의 예측 정확도는 광고 태도, 제품 태도, 브랜드 태도, 구전 의도, 구매 의도로 100%에서 평균 절대 백분율 오차(Mean Absolute Percentage Error, MAPE)를 뺀 값으로 계산될 수 있다.
Ax : 주관평가 점수, Fx :예측 값, n: 전체 샘플 수(사람 수 * 영상 수)
이상에서 살펴본 바와 같이 본 발명의 모범적 실시 예들에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (17)

  1. 디스플레이가 캐릭터가 포함되어 있는 영상 콘텐츠를 시청자에게 제시하면서 카메라가 상기 시청자의 안면을 촬영하는 단계;
    상기 시청자의 안면을 촬영하는 동안 영상 캡쳐부가 상기 영상 콘텐츠를 캡쳐하는 단계;
    영상 분석부가 상기 카메라와 영상 캡쳐부로 부터의 영상에서 상기 캐릭터와 시청자의 안면 영역을 추출하는 단계;
    미동분석부가 상기 캐릭터와 시청자의 안면 영역의 영상으로 부터 캐릭터와 시청자의 안면 미동데이터(Micro Movement Data, MMD)를 각각 추출하여, 0.75~2.5Hz의 BPF(band pass filter)로 필터링하고, 필터링된 상기 캐릭터와 시청자의 MMD를 FFT(Fast Fourier Transform) 에 의해 시계열의 캐릭터 PSD(Power Spectral Density)와 시청자 PSD로 변환하고, 아래 <식>에 의해 정의되는 크로스-엔트로피(Cross-entropy, H(p,q))에 의해 상기 캐릭터의 MMD와 시청자의 MMD 간의 유사도(similarity)를 계산하는 단계;
    광고 평가부가 상기 유사도에 근거하여 상기 영상 콘텐츠의 광고 효과 점수를 산출하는 단계;를 포함하는, 영상 콘텐츠의 광고 효과 평가 방법.
    <식>

    p : 캐릭터 PSD
    q : 시청자 PSD
    p (x): 캐릭터 PSD에서 주파수(Hz) "x" 에서의 진폭 값
    q (x): 시청자 PSD에서 주파수(Hz) "x" 에서의 진폭 값
  2. 제1항에 있어서,
    상기 MMD를 추출하는 단계:는
    상기 안면 영역에서 안면 미동이 추출될 ROI(Region of Interest)를 선택하는 단계;
    상기 ROI에서 다수의 특징점(Landmarks)를 추출하는 단계;
    상기 특징점들의 움직임을 추적하면서 특징부의 움직임 변화량을 추출하는 단계; 그리고
    상기 특징점들의 움직임 변화량으로부터 대표적 주기성을 가지는 안면 미동데이터(Micro Movement Data, MMD)를 계산하는 단계;를 포함하는 영상 콘텐츠의 광고 효과 평가 방법.
  3. 제2항에 있어서,
    상기 ROI는 안면의 코 영역과 이마 영역 중 적어도 한 영역으로 정의되는, 영상 콘텐츠의 광고 효과 평가 방법.
  4. 제2항에 있어서,
    상기 특징점들의 움직임 추적에 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘을 적용하여 상기 특징점들의 움직임 변화량을 계산하는, 영상 콘텐츠의 광고 효과 평가 방법.
  5. 제4항에 있어서,
    상기 움직임 변화량으로부터 무의식적 미세 표현 데이터를 추출하기 위하여, 미세 표현 데이터에 대한 소정 주파수의 필터링을 수행하고, 필터링된 움직임 변화량에 대한 주성분 분석(PCA)에 의해 심박의 주기성을 나타내는 MMD를 추출하는, 영상 콘텐츠의 광고 효과 평가 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 영상 콘텐츠에 대한 시청자의 주관적 평가를 수행하여 시청자의 주관적 평가 점수를 산출하고, 그리고
    상기 광고 효과 점수 y' 를 아래의 식에 의해 산출하는, 영상 콘텐츠의 광고 효과 평가 방법.
  9. 삭제
  10. 삭제
  11. 제1항 내지 제5항 중의 한 항에 기재된 방법을 수행하는 영상 콘텐츠의 광고 효과 평가 시스템에 있어서,
    캐릭터를 포함하는 광고용 영상 콘텐츠를 시청자에게 시현하는 디스플레이;
    상기 시청자의 안면을 촬영하는 카메라;
    상기 영상 콘텐츠를 캡쳐하는 영상 캡쳐부;
    상기 카메라와 영상 캡쳐부로 부터의 영상에서 상기 캐릭터와 시청자의 안면 영역을 추출하는 영상 분석부;
    상기 캐릭터와 시청자의 안면 영역으로부터 안면 미동데이터(MMD)를 각각 추출하고, 캐릭터의 MMD와 시청자의 MMD의 유사도를 분석하는 미동 분석부; 그리고
    상기 유사도에 근거해 광고 효과를 평가하는 광고 평가부;를 구비하며,
    상기 미동 분석부는,
    상기 캐릭터와 시청자의 MMD를 0.75~2.5Hz의 BPF(band pass filter)로 필터링하고,
    상기 캐릭터와 시청자의 MMD를 FFT(Fast Fourier Transform) 에 의해 시계열의 캐릭터 PSD(Power Spectral Density)와 시청자 PSD로 변환하고, 그리고
    상기 캐릭터의 MMD와 시청자의 MMD 간의 유사도(similarity)를 아래 <식>으로 정의되는 크로스-엔트로피(Cross-entropy, H(p,q))에 의해 계산하는, 영상 콘텐츠의 광고 효과 평가 시스템.
    <식>

    p : 캐릭터 PSD
    q : 시청자 PSD
    p (x): 캐릭터 PSD에서 주파수(Hz) "x" 에서의 진폭 값
    q (x): 시청자 PSD에서 주파수(Hz) "x" 에서의 진폭 값
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020210022601A 2021-02-19 2021-02-19 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템 KR102595838B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210022601A KR102595838B1 (ko) 2021-02-19 2021-02-19 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템
US17/393,064 US11798026B2 (en) 2021-02-19 2021-08-03 Method for evaluating advertising effects of video content and system for applying the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210022601A KR102595838B1 (ko) 2021-02-19 2021-02-19 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템

Publications (2)

Publication Number Publication Date
KR20220118767A KR20220118767A (ko) 2022-08-26
KR102595838B1 true KR102595838B1 (ko) 2023-10-30

Family

ID=82901712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022601A KR102595838B1 (ko) 2021-02-19 2021-02-19 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템

Country Status (2)

Country Link
US (1) US11798026B2 (ko)
KR (1) KR102595838B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006639A (ja) * 2012-06-22 2014-01-16 Olympus Corp コンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラム
WO2017064891A1 (ja) * 2015-10-13 2017-04-20 ソニー株式会社 情報処理システム、情報処理方法、および記憶媒体
KR102215557B1 (ko) * 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886326B2 (en) * 2006-08-23 2011-02-08 Kye Systems Corp. Web cam for indicating the expression of a remote end user
US11393133B2 (en) * 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
KR101300075B1 (ko) * 2011-08-25 2013-08-30 성균관대학교산학협력단 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템
US10013787B2 (en) * 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
US10207405B2 (en) * 2014-03-31 2019-02-19 Christopher Deane Shaw Methods for spontaneously generating behavior in two and three-dimensional images and mechanical robots, and of linking this behavior to that of human users
US20150356347A1 (en) * 2014-06-05 2015-12-10 Activision Publishing, Inc. Method for acquiring facial motion data
US10055874B2 (en) * 2015-08-20 2018-08-21 Lucasfilm Entertainment Company Ltd. Lip synchronization between rigs
US11003898B2 (en) * 2016-07-25 2021-05-11 BGR Technologies Pty Limited Creating videos with facial expressions
US11049137B2 (en) * 2016-09-15 2021-06-29 Andrey Yurevich Boyarshinov System and method for human personality diagnostics based on computer perception of observable behavioral manifestations of an individual
US20190087870A1 (en) * 2017-09-15 2019-03-21 Oneva, Inc. Personal video commercial studio system
WO2020260086A1 (en) * 2019-06-28 2020-12-30 Sony Corporation Method, apparatus and computer program for authenticating a user
US11335069B1 (en) * 2020-11-30 2022-05-17 Snap Inc. Face animation synthesis
US11581020B1 (en) * 2021-03-30 2023-02-14 Amazon Technologies, Inc. Facial synchronization utilizing deferred neural rendering
KR20230162972A (ko) * 2021-03-31 2023-11-29 스냅 인코포레이티드 광고를 위한 증강 현실 콘텐츠에서의 얼굴 합성

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006639A (ja) * 2012-06-22 2014-01-16 Olympus Corp コンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラム
WO2017064891A1 (ja) * 2015-10-13 2017-04-20 ソニー株式会社 情報処理システム、情報処理方法、および記憶媒体
KR102215557B1 (ko) * 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템

Also Published As

Publication number Publication date
US20220270130A1 (en) 2022-08-25
US11798026B2 (en) 2023-10-24
KR20220118767A (ko) 2022-08-26

Similar Documents

Publication Publication Date Title
Jaiswal et al. Automatic detection of ADHD and ASD from expressive behaviour in RGBD data
Hsu et al. Deep learning with time-frequency representation for pulse estimation from facial videos
US9530048B2 (en) Automated facial action coding system
Fang et al. Video saliency incorporating spatiotemporal cues and uncertainty weighting
Khan et al. A computer vision framework for finger-tapping evaluation in Parkinson's disease
Shreve et al. Automatic expression spotting in videos
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
Yan et al. Measuring dynamic micro-expressions via feature extraction methods
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Xi et al. Image enhancement for remote photoplethysmography in a low-light environment
Kulkarni et al. Clinical depression detection in adolescent by face
Zhao et al. Facial expression anlysis using eye gaze information
Rouast et al. Remote photoplethysmography: Evaluation of contactless heart rate measurement in an information systems setting
KR102595838B1 (ko) 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템
Yang et al. Motion-tolerant heart rate estimation from face videos using derivative filter
Karmuse et al. A robust rppg approach for continuous heart rate measurement based on face
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
Mao et al. Exposing deepfake with pixel-wise ar and ppg correlation from faint signals
Kumar et al. Emotion recognition using anatomical information in facial expressions
Ghamen et al. Positive and negative expressions classification using the belief theory
Vranceanu et al. A computer vision approach for the eye accesing cue model used in neuro-linguistic programming
Li et al. Detection of physical stress using facial muscle activity
KR102285998B1 (ko) 영상 콘텐츠에 대한 공감도 평가 방법 및 장치
Chen et al. Design and implementation of the image-based group emotion detector

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant