KR102541415B1 - 눈-추적을 이용한 광고 영상의 공감도 평가 시스템 및 그 방법 - Google Patents

Abstract

시청자의 눈-추적 파라메터를 이용한 영상 공감 평가 방법 및 장치에 대해 기술한다. 공감 평가 방법:은 눈-추적 변수를 포함하는 다수의 영상을 공감 별로 분류하여 라벨링하는 단계; 상기 영상 클립으로부터 눈-특징 데이터를 추출하여 학습 데이터를 준비하는 단계; 상기 학습 데이터를 이용한 학습에 의해 훈련된 웨이트를 포함하는 모델 파일을 생성하는 단계; 별도로 입력된 눈-추적 데이터에 대해 상기 훈련된 웨이트를 이용한 합성곱 신경망 기법에 의해 상기 입력 눈-특징 데이터의 공감을 판단하는 단계;를 포함한다.

Description

눈-추적을 이용한 광고 영상의 공감도 평가 시스템 및 그 방법{empathy evaluation method of advertising video using eye-tracking and apparatus adopting the method}

본 개시는 광고영상을 시청할 때 시청자의 눈-특징 파라미터 (eye-tracking parameter) 또는 눈-추적 데이터(eye-tracking features, 눈-특징 추적 데이터)를 이용한 공감도 평가 방법 및 장치에 관한 것으로 상세하게는 시청자가 영상에 내용에 대한 관심이 있는 지 시청자의 시선의 움직임 및 동공의 크기 변화 등 눈-추적 변수를 추출하여 동영상에 대한 공감 여부를 평가하는 방법에 관련된다.

광고 영상은 인터넷, 공중파, 케이블 등의 다양한 매체를 통해 시청자에게 다양한 제품에 대한 정보를 제공한다. 다양한 매체를 통해 제공되는 영상 광고는 시청자의 관심을 유도하고, 공감을 통해 상품의 구매력을 증대를 시킨다. 시청자들이 광고를 보고 반응하도록 하는 눈-추적을 활용해서 마케팅 효과를 판단한다. 눈-추적 정보를 통해서 시청자의 감정, 건강 상태, 정신 상태 및 관심 영역정보 과 연결되는 것으로 알 수 있다. 어떤 내용이 눈길을 끌기 쉬운지 알아야 광고 영상에 대한 공감을 형성할 수 있다.

눈-추적은 눈의 움직임을 측정하는 과정이다. 눈-추적 연구의 가장 우려되는 사건은 사람이 어디에서 보이는지를 결정하는 것이다. 좀 더 정확하게 말하자면, 동공의 위치를 찾고, 좌표를 얻고, 특정 알고리즘을 사용하여 시선이나 시선의 지점을 계산함으로써 사용한다. 시선추적 외에도 동공 크기 및 깜박임 속도를 포함한 다른 유용한 측정 변수를 같이 사용하면 더 정확하게 눈-추적을 알 수 있다.

광고영상 디자이너는 영상을 디자인할 때, 이러한 시청자의 공감에 목표를 두가 영상 컨텐츠를 제작한다. 이러한 영상광고 등의 영상 콘텐츠에 대한 시청자의 공감 여부, 즉 공감(empathy) 또는 비공감(non-empathy)의 판단 또는 평가는 개개인의 주관적인 평가에 의존한다. 성공적인 광고 영상의 제작을 위해서는 객관적이고도 과학적인 접근 또는 평가 방법이 요구된다.

AOKI, Yasuhiro; MIZUTANI, Masami. Gaze point detection device and gaze point detection method. U.S. Patent No 9,245,171, 2016. Amati, M., McCarthy, C., Parmehr, E. G., and Sita, J. (2019). Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment. JoVE (Journal of Visualized Experiments), (147), e58459.

본 개시의 한 유형에 따르면, 시청자의 눈-추적(eye-tracking) 또는 시선 추적에 의해 얻은 눈의 특징, 예를 들어 눈에 연관된 움직임 특징을 이용하여 동영상에 내재된 공감에 대해 객관적이고 과학적인 공감도를 평가할 수 있는 평가 방법 및 이를 측정하는 장치가 제시된다.

하나 또는 그 이상의 실시 예에 따른 눈-추적 특성을 이용한 공감 평가 방법은,

다수의 영상을 수집하고, 영상에 대한 주관적 평가에 의해 공감 별로 라벨링하는 단계;

상기 다수의 영상을 피험자에게 시현하면서 피험자의 눈으로부터 눈 영상을 획득하는 단계;

상기 눈 영상으로부터 피험자의 안구의 움직임 정보를 포함하는 적어도 하나의 눈-특징(eye feature) 데이터를 추출하는 단계;

적어도 하나의 눈-특징 데이터에 대한 FFT 분석을 통해 하나 이상의 눈-특징에 대응하는 눈-특징 PSD(Power Spectral Density) 파라미터를 추출하는 단계;

상기 하나 이상의 눈-특징 PSD 파라미터를 학습 데이터로 이용한 머신러닝에 의해 훈련된 웨이트를 포함하는 모델 파일을 생성하는 단계;

별도로 입력된 비교 영상으로부터 비교 PSD 파라미터를 추출하고 비교 PSD파라미터에 대해, 상기 모델 파일의 훈련된 웨이트를 이용한 합성곱 신경망 기법을 적용하여 상기 비교 영상의 공감 여부를 판단하는 단계;를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따른 공감 평가 방법에서, 상기 학습 대상 영상을 추출하는 단계:는

상기 광고 영상을 영상 디스플레이를 통해 상기 시청자에게 상기 광고 영상을 제시하는 단계;

상기 영상 디스플레이에 대한 상기 시청자의 시선을 추적하는 단계; 그리고

상기 영상 디스플레이에 대한 상기 시청자의 시선 가지고 있는 파일을 저장하는 단계:를 포함한다.

하나 또는 그 이상의 실시 예에 따른 눈-추적 변수를 이용한 공감 평가 방법에서,

상기 눈-특징 PSD 파라미터는 눈-깜박임의 PSD 평균(PSD mean of blink frequency, 눈-깜박임의 PSD 표준편차(PSD std of blink frequency), 시선 고정의 PSD 평균(PSD mean of fixation), 시선 고정의 PSD 표준편차(PSD std of fixation), 시선 도약의 PSD 평균(PSD mean of saccade), 시선 도약의 PSD 표준편차(PSD std of saccade), 좌안 동공 크기의 PSD 평균(PSD mean of left pupil size), 좌안 동공 크기의 PSD 표준편차(PSD std of left pupil size), 우안 동공의 PSD 평균(PSD mean of right pupil size), 우안 동공 크기의 PSD 표준편차(PSD std of right pupil size) 중 적어도 어느 하나를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따른 눈-추적 변수를 이용한 공감 평가 방법에서,

하나 또는 그 이상의 실시 예에 따른 눈-추적 변수를 이용한 공감 평가 방법에서, 상기 모델은 K-NN 모델일 수 있다.

하나 또는 그 이상의 실시 예에 따른 눈-추적 변수를 이용한 공감 평가 방법에서, 상기 눈-추적 변수는 눈-깜박임의 PSD 평균(PSD mean of blink frequency, 눈-깜박임의 PSD 표준편차(PSD std of blink frequency), 시선 고정의 PSD 평균(PSD mean of fixation), 시선 고정의 PSD 표준편차(PSD std of fixation), 시선 도약의 PSD 평균(PSD mean of saccade), 시선 도약의 PSD 표준편차(PSD std of saccade), 좌안 동공 크기의 PSD 평균(PSD mean of left pupil size), 좌안 동공 크기의 PSD 표준편차(PSD std of left pupil size), 우안 동공의 PSD 평균(PSD mean of right pupil size), 우안 동공 크기의 PSD 표준편차(PSD std of right pupil size) 중 적중에 적어도 어느 하나를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따라 상기 방법을 수행하는 공감 평가 장치:는

상기 모델 파일을 저장하는 메모리;

비교 대상인 입력 눈-추적 데이터의 공감을 판단 공감 평가 프로그램이 실행되는 프로세서;

상기 입력 눈-추적 데이터를 입력 받아 상기 프로세스로 전달하는 데이터 처리 장치; 를 포함할 수 있다.

하나 또는 그 이상의 실시 예에 따른 영상을 이용한 공감 평가 장치에서,

상기 영상 처리 장치에는 동영상 소스로부터의 동영상을 중간에서 캡쳐 하는 영상 캡쳐 장치가 연결될 수 있다.

하나 또는 그 이상의 실시 예에 따른 눈-추적 변수를 이용한 공감 평가 장치에서, 상기 모델 파일은 K-NN 모델을 적용할 수 있다.

도1은 하나 또는 그 이상의 실시 예에 따라 눈-특징 파라미터 또는 특징을 기반으로 하는 영상 공감 평가 모델을 형성하는 과정을 보인다.
도2는 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 형성하는 과정에서 공감적 영상 DB 구축 과정을 보여 준다.
도3은 하나 또는 그 이상의 실시 예에 따라 기반 공감 평가 모델을 형성하는 과정에서 영상 별 눈-특징 파라미터를 추출 과정을 보여 준다.
도4는 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 형성하는 과정에서 눈-추적 변수를 분석 방법에 대한 설명 과정을 보여 준다.
도5는 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 형성하는 과정에서 공감 연관 속성 추출 과정을 보여 준다.
도6은 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 형성하는 과정에서 공감 예측을 위한 학습 및 검증 과정을 보여준다.
도7은 눈-특징 파라미터 분석 과정에서 0.12Hz-10Hz 필터를 적용한 후에 나온 결과를 보인다.
도8은 눈-특징 파라미터 분석 과정에서 FFT 처리 결과를 보인다.
도9은 눈-특징 파라미터 분석 과정에서 파워 스펙트럼 밀도(PSD)를 추출한 결과 보인다.
도10은 하나 또는 그 이상의 실시 예에 따라 눈-특징 파라미터를 기반으로 하는 공감 평가 방법에 사용되는 샘플 영상을 예시한다.
도11은 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 공감 영상 자극(stimuli)에 대한 공감도 관한 주관평가 평균값 결과를 보인다.
도12은 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델을 비 공감 영상 자극에 대한 공감도 관한 주관평가 평균값 결과를 보인다.
도13a, 도13b는 하나 또는 그 이상의 실시 예에 따라 공감 평가 모델에 눈-특징 파라미터 중 유의한 변수들에 대한 비공감과 공감 광고 두 그룹에 대한 평균값과 표준편차를 도시한다.
도14은 눈 깜박임에 대한 PSD 표준편차(PSD std of blink frequency)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 평균 및 표준편차를 비교해 보인다.
도15는 시선 고정에 대한 PSD 평균(PSD mean of fixation)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 두 평균의 차이 및 표준편차를 비교해 보인다.
도16는 시선 고정에 대한 PSD 표준편차(PSD std of fixation)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 두 평균의 차이 및 표준편차를 비교해 보인다.
도17은 시선 도약에 대한 PSD 평균(PSD mean of saccade)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 두 평균의 차이 및 표준편차를 비교해 보인다.
도18은 좌안 동공 크기에 대한 PSD 표준편차(PSD std of left pupil size)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 두 평균의 차이 및 표준편차를 비교해 보인다.
도19은 우안 동공 크기에 대한 PSD 표준편차(PSD std of right pupil size)에 대한 T-test 분석 결과로서 비공감 및 공감에 대한 두 평균의 차이 및 표준편차를 비교해 보인다.
도20은 하나 또는 그 이상의 실시 예에 따라 눈-특징 파라미터를 기반으로 하는 공감 평가 모델을 적용하는 공감 평가 시스템의 개략적 블록다이어그램이다.

이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되어 지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.

어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.

이하에서 하나 또는 그 이상의 실시 예에 따라, 영상의 물리적 속성을 이용하여 해당 영상이 품고 있는 공감을 평가하는 방법 및 장치를 상세히 설명한다.

실시 예에 따른 방법은 도1에 도시된 바와 같이 아래의 4 단계를 포함하며, 이를 수행하는 장치는 이러한 방법을 수행하기 위한 하드웨어 및 소프트 웨어를 갖춘다.

단계1 : 영상 클립 수집

이 과정에서는 머신러닝을 위한 다양한 영상 클립을 수집하는 단계로서 다양한 경로를 통해 다양한 광고 영상의 수집이 이루어 지며, 이 과정에서 각 광고 영상에 대한 다수 시청자들에 의한 주관적 판단 및 이에 따른 공감 또는 비공감 라벨링이 수행된다.

단계2 : 공감 요인 연관 속성 도출

이 과정에서 다양한 영상 컨텐트가 시청자에게 제시되며, 시청자가 상기 영상컨텐츠를 시청할 때 눈-추적과 함께 눈 영상이 촬영되고, 그리고 눈 영상에 대한 분석을 통해 눈-특징 파라미터가 추출되며, 본 실시 예에 따라 공감 요인에 연관된 속성을 학습 데이터로 도출하여 저장한다.

단계3 : 공감 예측을 위한 학습 및 인식 정확도 검증

이 과정에서는 상기 학습 데이터에 대해 합성곱 신경망 기법으로 훈련을 행하여 공감 평가 모델 파일 (훈련된 모델)을 생성한다. 여기에서 모델 파일은 머신러닝을 통해 공감 평가를 위해 훈련된다. 이 훈련 모델에 의해 추정된 결과가 주관적 평가 결과와 비교하여 머신러닝 결과의 정확도가 평가될 수 있다.

단계4 : 훈련된 모델을 이용한 영상 공감 추론 시스템 적용 또는 구축

최종적으로 훈련된 모델(모델 파일)을 이용한 영상 컨텐츠의 공감 평가를 위한 시스템을 구축한다. 이 시스템은 본체, 키보드, 모니터 등을 포함하는 일반적인 컴퓨터 시스템을 기반으로 하며 여기에선 공감 판단을 위한 눈-추적 데이터 입력을 위한 입력 장치가 포함될 수 있으며, 여기에는 눈을 추적하면서 눈 영역을 촬영하는 눈-추적이 가능한 영상 장치가 구비될 수 있다.

상기와 같은 4단계는 아래와 같이 구체적으로 실시 될 수 있으며, 이를 통해 시청자의 눈-추적 변수에 대한 영상 컨텐츠의 공감 요인을 도출하여 객관적이고 자동적인 콘텐츠 공감 인식이 가능한 기술이 확립될 수 있다.

이를 위해 본 실험에서는 영상 컨텐츠를 결정할 수 있는 눈-특징 파라미터는 시청자들이 공감하게 만들 수 있는 눈-특징 파라미터를 통계적 방법으로 분석하고 머신러닝 기법을 적용하여 공감 예측 정확도를 검증하였다. 이하에서 실제 실험 과정을 각 단계로 상세히 설명한다.

가. 공감적 영상 클립 수집

이 단계는 도2에 도시된 바와 같이, 공감 영상 데이터베이스 구축. 즉 특정 공감을 내포하고 있는 것으로 광고 영상을 포함하는 다양한 동영상 클립(video clip)을 다양한 동영상 컨텐츠(video contents)로 부터 발췌 수집한다.

나. 영상 추출

이 과정에서 영상 클립에 대한 주관평가를 통해 특정한 공감, 예를 공감 또는 비공감을 표현하고 있다고 검증된 영상에 대해서 수행된다.

주관평가 분석 방법에서, 본 실시예에서는: 도11및 도12에 도시한 바와 같이, 24개의 영상 클립 (자극)에서 1-12번 자극은 공감 자극으로 정의하고 13-24번 자극은 비 공감자극을 정의를 했다. 주관평가 척도는 "매우 그렇지 않다"에서 부터 "매우 그렇다"에 까지의 7척도를 적용하였다.

이러한, 주관적 평가에 5가지 공감도(감성적 공감도, 인식적 공감도, 동일시 공감도, 전체적인 공감도, 직관적 공감도) 점수를 평균값을 구해서 도11,12를 보인다.

다. 눈-특징 파라미터의 추출

이 단계에서는, 도3에 도시된 바와 같이, 영상 DB에 저장된 12개의 공감적 영상 클립에 대하여 시청자의 눈을 추적하면서 동공(시선)의 위치, 크기 및 움직임 등에 대한 정보를 얻고 이로부터 12개의 눈-특징 파라미터를 추출하는 단계이다. 여기에서 상기 눈-특징 파라미터의 추출에는 다음의 원형 데이터(raw data)가 사용된다.

가. 시선 (동공 중심) 좌표(x, y) 데이터 (fixation data)

나. 단속적 반응시간 (시선 도약) 데이터 (saccade data)

다. 눈 깜박임 횟수 (빈도) 데이터 (blink frequency data)

라. 양안 동공 크기 데이터(left and right pupil size data)

위의 정보는 광고 영상을 시청하는 시청자 또는 피험자의 눈을 촬영하면서 눈-추적(eye tracking)의 과정에서는 얻는 정보이다.

상기와 같은 원형 데이터에 대한 FFT 분석을 실시하여 각 데이터에 대응하는 PSD(power spectral density)를 구하고, 이로부터 아래와 같은 각 PSD의 평균(mean), 표준편차(std) 등을 파라미터로서 산출한다.

도4를 참조하면서, 눈-특징 파라미터 추출 과정을 좀 더 살펴보면 다음과 같다.

1) 샘플링 단계

첫 번째 단계에서, 일반적인 사람의 시선 고정 기간(duration of eye-gaze fixation)과 도약(saccade)을 고려했을 때 광고 영상을 시청하는 시청자로부터 눈 움직임에 관련한 원 데이터에 대한 일반적으로 샘플링 속도는 60-100 ms이다. 본 실시 예에서는 샘플링 속도를 60ms 가 선택되었다.

2) 필터를 적용.

시선 고정(eye gaze fixation)이 될 때 컨텐츠의 정보를 처리하기 때문에 시선 고정 시간이 길수록 처리할 정보 양이 많다는 것을 의미한다. 도약(saccade)은 컨텐츠 자극을 볼 때 눈동자가 고정되어 있다가 자극을 관심을 받아서 눈동자가 다른 위치로 이동하는 것을 말한다. 시선 고정시간과 도약 변수들이 일반적으로 0.12Hz-10Hz 때 관심 정보 처리하는 것을 보인다.

본 실시 예에서 0.12 Hz-10Hz필터를 사용한다. 시선 좌표 또는 동공 중심 좌표(x, y) 데이터, 단속적 반응시간 데이터, 눈 깜박임 횟수 (빈도) 데이터, 양안 동공 크기 데이터 등의 각 원 데이터 필터링 한다. 도7은 필터 적용한 결과를 보인다.

3) FFT 계산

이단계는 필터링 한 데이터에 대한 FFT를 실시하여 주파수 스펙트럼(STFT: Short-Time Fourier-Transform)을 계산한다. 여기서 NN (number of segments)은 일반적으로 256 또는 512, NFFT (FFT의 세그멘트 수)= 512, 그리고 방정식을 이용하여 파워 스펙트럼을 계산할 수 있다. 도 8는 이 과정을 실행한 후에 나온 결과를 보인다.

4) 파워 스펙트럼 밀도(PSD) 계산

마지막 단계는 파워 스펙트럼 밀도를 추출하는 것이다. 근본적인 시선 고정 (eye gaze fixation)을 더 설명할 수 있는 높은 시간적 해상도를 가진 파워 스펙트럼 밀도와 같은 시선 추적 데이터에 대해 보다 세밀한 분석이 가능하다. 도9는 이러한 과정을 적용해서 나온 결과를 보인다.

5) PSD의 평균값과 표준편차 추출

이 단계에서 파워 스펙트럼 밀도의 평균값(mean)과 표준편차(standard deviation, std)를 추출한다.

하나 또는 그 이상의 실시 예에 따른 눈-특징 파라미터를 이용한 공감 평가 방법에서, 추출된, 눈의 움직임에 관련된 파라미터는 다음과 같으며, 그 중에 적어도 하나는 공감도 평가를 위해 사용된다.

가. PSD(power spectral density) mean of blink frequency

나. PSD(power spectral density) std of blink frequency,

다. PSD(power spectral density) mean of fixation

라. PSD(power spectral density) std of fixation

마. PSD(power spectral density) mean of saccade

마. PSD(power spectral density) std of saccade

바. PSD(power spectral density) mean of left pupil size

사. PSD(power spectral density) std of left pupil size

아. PSD(power spectral density) mean of right pupil size

자. PSD(power spectral density) std of right pupil size

상기 눈-특징 파라미터는, 눈-깜박임의 PSD 평균(PSD mean of blink frequency, 눈-깜박임의 PSD 표준편차(PSD std of blink frequency), 시선 고정의 PSD 평균(PSD mean of fixation), 시선 고정의 PSD 표준편차(PSD std of fixation), 시선 도약의 PSD 평균(PSD mean of saccade), 시선 도약의 PSD 표준편차(PSD std of saccade), 좌안 동공 크기의 PSD 평균(PSD mean of left pupil size), 좌안 동공 크기의 PSD 표준편차(PSD std of left pupil size), 우안 동공의 PSD 평균(PSD mean of right pupil size), 우안 동공 크기의 PSD 표준편차(PSD std of right pupil size) 중의 적어도 어느 하나를 포함할 수 있다.

본 실시 예에서는 상기 눈-특징 파라미터를 모두 공히 학습 데이터로 이용했으나 다른 실시 예에 따르면 어느 하나의 변수 또는 특성을 학습 데이터로 이용될 수 있다. 이하에서는 눈-특징 파라미터를 공히 이용하는 실시 예가 설명된다.

라. 공감 요인 도출 단계

이 단계에서 도3에 도시된 바와 같이, 추출된 눈-특징 파라미터 중에서 공감에 관계된 요인을 통계분석을 통해 도출하는 특정하는 단계이다. 앞서 추출된 눈-특징의 10개 변수 기반 특징들을 6개 공감으로 구분하고 해당 공감의 주요 요인이 되는 유효 특징을 도출하기 위해 2개 이상의 공감 수준에 따라 차이를 분석하는 통계 기법인 T-test 분석을 실시하였다.

도14내지 도19는 눈-특징 파라미터에 대한 T-test 분석 결과를 보인다. 위와 같은 통계 분석 결과, 유의확률(p-value) < 0.05 이하로 유의한 차이가 나는 유효 파라미터로서는 PSD std of blink frequency, PSD mean of fixation, PSD std of fixation, PSD mean of saccade, PSD std of left pupil size, PSD std of right pupil size 가 확인되었다.

라. 공감 예측을 위한 학습 및 인식 정확도 검증

이 단계는 도6에 도시된 바와 같이, 머신러닝(machine learning)을 사용하여 앞서 도출된 공감 요인 특징 데이터 (학습 데이터)와 주관설문을 통해 수집된 2개 공감 라벨을 분류기(classifier)에 학습시키고 학습된 결과로 공감 인식 정확도를 도출하는 단계이다.

본 실시 예에서 공감 학습을 위해 사용된 분류기는 K-NN(K-Nearest Neighbor) 모델이 사용되었으며, 학습 결과로 얻어진 정확도는 85.5%로 나타났다. 본 실험에서는 가장 많이 사용되는 SVM(support vector machine), KNN(k-nearest neighbor), MLP(multi- layer perceptron) 등의 분류기(classifier) 가 테스트 되었고, 본 실시 예를 통하여 K-NN 모델이 가장 높은 정확도를 보였다.

상기 K-NN 모델의 계층 들은 다음과 같다.

1) 입력층 (Input Layer)

본 실험에서 사용된 K-NN 레이어의 입력층은 6개의 특징 데이터(raw data)와 2개의 공감 라벨(label)의 정보를 저장하는 다차원 텐서(tensor)이다. 이러한 텐서는 6개의 특징변수들을 저장하며, 6차원의 구조를 가진다.

2) 거리척도의 단위문제 - 표준화

K를 정하기 전에 선행되어야 하는 작업으로서 표준화 수행한다.

K-NN에서 두 요소 간의 개념적 거리는 유클리드 거리(Euclidean Distance)로 정의하는데, 유클리드 거리를 계산할 때는 단위가 매우 중요하다.

서로 다른 좌표(x, y)를 가지는 두 포인트 A, B 간의 유클리드의 거리는 아래와 같이 계산한다.

3) 최적의 k 찾기

Train Data를 기준으로 Validation Data를 잘 분류하는 k가 얼마인지 확인해서 정하면 된다.

K-NN 모델의 훈련은 상기와 같은 구조의 모델에 대해 프로그래밍 기법에 의해 수행되며, 이 과정에서 K-NN에서 가깝다는 개념은 유클리드 거리(Euclidean Distance)로 정의하는데, 유클리드 거리를 계산할 때는 표준화를 시키고 Train Data를 기준으로 Validation Data를 잘 분류하는 k가 얼마인지 확인해서 정하면 된다. 훈련된 모델이 pickle형태 파일로 생성한다. 위와 같은 모델에 대한 훈련이 완료되면, 목적하는 파일 형태의 훈련된 K-NN 모델을 얻게 된다.

이하 본 실험에서 사용된 K-NN 공감 인식 모델에 대해 설명한다.

예측을 위한 모델의 생성을 위한 컴퓨터 언어로는 Python3을 선택했고, 아래는 소스 코드를 설명한다.

<소스 코드1>

소스코드 1은 입력 데이터 셋을 로드하는 단계이다. 입력 데이터는 저장된 특징, 학습 데이터(training data)들이 로딩된다. X는 특징 변수(파라미터) 이고 y는 2개의 공감 label 있다. train_test_split를 사용하면 X, y 자동으로 학습 데이터(training data)와 테스트 데이터(test data)를 7:3로 나눴다.

<소스 코드2>

소스코드 2는 데이터 셋 정규화 단계이다. 수집된 데이터는 비대칭 데이터이기 때문에 비대칭 데이터는 다수 클래스 데이터에서 일부만 사용하는 언더 샘플링이나 소수 클래스 데이터를 증가시키는 오버 샘플링을 사용하여 데이터 비율을 맞추면 정밀도(precision)가 향상된다. 그래서 RandomOverSampler는 데이터 비율을 맞추는 방법이다. class_name은 2개 공감 그룹의 이름을 정의한다.

preprocessing.scale은 데이터를 표준화를 시키는 preprocessing 객체(오브젝트)의 메소드이다. 평균을 기준으로 얼마나 떨어져 있는지를 나타내는 값이다. 데이터 표준화한 후에 학습을 향상될 수 있다.

<소스 코드3>

소스코드 3은 Train Data를 기준으로 Validation Data를 잘 분류하는 k가 1부터 5까지 train accuracy, test accuracy, estimates 점수를 계산한다. 그 중에 제일 높은 정확도에 해당 k 값을 찾았다.

<소스 코드4>

소스코드 4는 모델 성능을 하는 것으로 좋은 모델인지 아닌지 평가하며, 그 기준에는 accuracy, precision, recall, f1-score 등이 있다.

상기와 같은 과정을 거쳐 잘 훈련된 모델을 얻을 수 있으며, 따라서 이를 이용한 공감 평가 시스템의 구현이 가능하게 된다. 이러한 시스템은 제대로 만들어진 영상 컨텐츠에 전체 또는 국부적 각 장면마다의 공감 평가가 가능할 것이다. 또한, 특정한 목적으로 촬영되는 영상에 대해서는 공감 평가가 가능할 것이며 이를 통해 촬영지의 공감적 현장 분위기의 판단이 가능할 것이다. 이러한 피검 대상 영상은 상기 모델을 적용하는 평가 시스템에 입력될 것인데, 전술한 바와 같이 영상 소스와 영상 표시기 또는 표시 매체의 사이에서 영상을 캡쳐 할 수도 있고, 아니면, 영상 자체를 상기 시스템에 직접 입력할 수 있다.

상기 영상 소스에는 컨텐츠 프로바이더, 카메라 등의 어떠한 영상 소스가 포함될 수 있다. 상기 평가 시스템은 영상 컨텐츠가 진행되는 동안 연속적으로 각 장면 단위 별로 공감의 평가를 수행할 수 있다.

입력된 영상의 선택된 정보를 상기와 같이 훈련된 모델에 적용하여 해당 공감 상태를 확률적으로 판단된다. 입력된 눈-특징 파라미터 정보로부터 얻은 각 유효 정보를 분류함수계층의 분류함수, 예를 들어 최종의 softmax 알고리즘을 통해 원하는 레이블(공감 상태)의 수만큼의 요소를 가지는 벡터가 나온다. 이 벡터의 값 중에서 최대값이 특정 공감의 판단 기준이 되는 최종 예측 값이 되며, 이 벡터 값과 해당 영상의 레이블, 즉 공감 상태가 출력된다.

본 실시 예에 따르면 카메라를 갖춘 시선 추적 장치를 통해 시청자의 눈-추적 데이터를 얻고 이를 이용해 영상에 대한 시청자의 공감 여부를 판단할 수 있는 유의미한 파라미터들이 추출된다. 따라서 생성된 학습 모델을 이용해 영상에 대한 시청자의 공감 여부를 판단할 수 있다. 학습 모델을 이용해 영상에 대한 시청자의 공감 여부를 판단함에 있어서는, 광고 영상을 시청하고 있는 시청자의 눈을 촬영하여 눈영상을 얻고 이로부터 전술한 바와 같은 과정을 통해 눈-특징 PSD 파라미터를 추출하여 이를 훈련 모델에 적용하여 광고 영상에 대한 시청자의 공감 여부를 판단하게 된다.

도20에 도시된 바와 같이, 본 개시에 따른 공감 평가 시스템:은 상기 방법에 의해 얻어진 최종 모델 파일(훈련된 모델)을 저장하는 메모리; 판별 대상 영상 소스로부터 비교 영상 데이터를 처리하는 영상 처리 장치; 공감 평가 앱 또는 프로그램 를 로딩하거나 또는 이를 실행하는 웹사이트 등의 공감 평가부; 상기 영상 소스로부터 입력된 눈-특징 파라미터에 대해 상기 훈련된 웨이트를 이용한 합성곱 신경망 기법을 거쳐 완전 연결층을 형성하고, 상기 완전 연결층에 대한 다중분류 활성함수를 이용해 상기 입력 변수의 정보를 담은 출력층(출력벡터)을 형성하는 프로세서; 상기 프로세서에 의한 상기 입력 눈-추적 파라미터의 공감 정보를 출력하는 카메라;를 포함할 수 있다.

이상에서 살펴본 바와 같이 본 발명의 모범적 실시 예들에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (10)

1. 주관적 평가에 의해 감성별로 라벨링 된 다수 광고 영상을 피험자에게 제시하면서, 카메라를 이용해 상기 광고 영상을 시청하는 피험자의 눈 영상을 학습 대상 영상으로서 획득하는 단계;
   영상 처리 장치에 의해 상기 눈 영상으로부터 피험자의 안구의 움직임 정보를 포함하는 적어도 하나의 눈-특징(eye feature) 데이터를 추출하는 단계;
   프로세서에 의해 상기 적어도 하나의 눈-특징 데이터에 대한 FFT 분석을 통해 하나 이상의 눈-특징에 대응하는 눈-특징 PSD(Power Spectral Density) 파라미터를 추출하는 단계;
   상기 하나 이상의 눈-특징 PSD 파라미터를 학습 데이터로 이용한 합성곱 신경망 기법의 머신러닝(maching learning)법에 의해 영상의 감성 별 분류기로서의 모델 파일을 생성하여 메모리에 저장하는 단계;
   평가 대상 광고 영상을 시청자에게 디스플레이로 제시하면서 시청자의 눈-특징 영상을 비교 영상으로 촬영하여, 프로세서를 이용해 이로 부터 비교 눈-특징 PSD 파라미터를 추출하고 비교 눈-특징 PSD 파라미터에 대해, 상기 모델 파일를 분류기로 적용하여 상기 비교 영상의 공감 여부를 판단하는 단계;를 포함하며,
   상기 눈-특징 PSD 파라미터는 눈 깜박임의 PSD 평균(PSD mean of blink frequency, 눈 깜박임의 PSD 표준편차(PSD std of blink frequency), 시선 고정의 PSD 평균(PSD mean of fixation), 시선 고정의 PSD 표준편차(PSD std of fixation), 시선 도약의 PSD 평균(PSD mean of saccade), 시선 도약의 PSD 표준편차(PSD std of saccade), 좌안 동공 크기의 PSD 평균(PSD mean of left pupil size), 좌안 동공 크기의 PSD 표준편차(PSD std of left pupil size), 우안 동공의 PSD 평균(PSD mean of right pupil size), 우안 동공 크기의 PSD 표준편차(PSD std of right pupil size) 중 적어도 어느 하나를 포함하는, 눈-추적을 이용한 영상 공감 평가 방법.
2. 제1항에 있어서,
   상기 모델 파일은 K-NN 모델을 적용하는, 눈-추적을 이용한 공감 평가 방법.
3. 제1항에 있어서,
   상기 눈-특징 데이터는 눈 깜박임, 시선 고정, 시선 도약, 좌안 동공 크기, 우안 동공 크기 중 적어도 어느 하나를 포함하는 눈-추적을 이용한 영상 공감 평가 방법.
4. 삭제
5. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 학습 대상 영상을 추출하는 단계:는
   상기 광고 영상을 영상 디스플레이를 통해 상기 피험자에게 제시하는 단계;
   상기 영상 디스플레이에 대한 상기 피험자의 시선을 추적하는 단계; 그리고
   상기 영상 디스플레이에 대한 상기 피험자의 눈-움직임이 포함된 눈 영상을획득하는 단계:를 포함하는, 눈-추적을 이용한 영상 공감 평가 방법.
6. 제1항에 기재된 방법을 수행하는 눈-추적을 이용한 공감 평가 장치에 있어서,
   피험자의 눈을 촬영하는 카메라;
   상기 모델 파일을 저장하는 메모리;
   카메라로부터의 눈 영상을 처리하는 영상 처리 장치; 그리고
   상기 눈 영상에서 추출되는 눈-특징 데이터를 이용해 피험자의 영상 공감 여부를 판단하는 공감 평가 앱이 실행되는 프로세서;를 포함하는 눈-추적을 이용하는 영상 공감 평가 장치.
7. 제6항에 있어서,
   상기 모델 파일은 K-NN 모델을 적용하는, 눈-추적을 이용한 공감 평가 장치.
8. 제6항에 있어서,
   상기 눈-특징 데이터는 눈-깜박임, 시선 고정, 시선 도약, 좌안 동공 크기, 우안 동공 크기 중 적어도 어느 하나를 포함하는 눈-추적을 이용한 영상 공감 평가 방법.
9. 제6항에 있어서,
   상기 눈-특징 데이터는 눈-깜박임, 시선 고정, 시선 도약, 좌안 동공 크기, 우안 동공 크기 중 적어도 어느 하나를 포함하는 눈-추적을 이용한 영상 공감 평가 장치.
10. 삭제

Images