KR101880547B1

KR101880547B1 - 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법

Info

Publication number: KR101880547B1
Application number: KR1020170028560A
Authority: KR
Inventors: 양지훈; 이호석
Original assignee: 서강대학교산학협력단
Priority date: 2017-03-06
Filing date: 2017-03-06
Publication date: 2018-07-20

Abstract

본 발명은 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법에 관한 것이다. 상기 동영상에 대한 특징 벡터 추출 방법은, (a) 다수 개의 벡터들로 구성된 학습 동영상 및 실험 동영상을 입력받는 단계; (b) 학습 동영상을 구성하는 각 벡터들에 대하여, 해당 벡터가 가질 수 있는 최대 유사도, 및 해당 벡터와 다른 벡터에 대한 연속함수 값과의 유사도의 차이값을 구하는 목적 함수를 설정하고, 상기 목적함수가 최소화가 되도록 신경망 학습하는 단계; (c) 상기 신경망 학습된 결과를 이용하여, 상기 실험 동영상에 대한 특징 벡터를 추출하는 단계;를 구비한다.

Description

유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법{Method for extracting a feature vector of video using similarity measure}

본 발명은 동영상 특징 벡터 추출 방법에 관한 것으로서, 더욱 구체적으로는 내적을 이용하여 유사도를 측정하고, 이러한 유사도 측정을 기반으로 하여 동영상에 대한 특징 벡터를 추출하는 방법에 관한 것이다.

데이터의 표현(Representation)은 일반적으로 데이터의 특징 벡터(Feature Vector)와 같은 의미를 지닌다. 기계 학습에서의 데이터의 특징이란 '데이터로부터 파생된, 해당 데이터의 특징적인 정보를 갖고 있는 데이터'로 정의할 수 있다. 이런 데이터는 보통 한 데이터의 특징적인 정보를 갖고 있으므로, 원본 데이터의 총 정보량의 크기보다는 작아야 한다. 위와 같은 맥락에서, 데이터가 노이즈를 비롯한 불필요한 정보들을 포함하고 있는 경우, 이와 같은 정보들을 가능한 한 배제한 채 데이터의 특징적인 정보들을 포함한 채 보다 간단한 형식의 데이터를 만드는 것도 '데이터의 표현을 학습한다'고 할 수 있다.

따라서, 표현 학습(Representation Learning)이란, 데이터로부터 그 특징들을 잘 반영하고 있는 데이터를 생성하는 것을 목적으로 한다. 이와 같은 정의들을 바탕으로 하여, 본 명세서에서는 표현(Representation)과 특징(Feature)을 같은 의미로 사용한다. 즉, 본 명세서에서, '동영상 데이터의 표현(Video Data Representation)'이란 '동영상 데이터를 나타내는 특징 벡터'와 같은 의미를 지니고 있다고 할 수 있다.

본 발명에서는 유사도 측정을 기반으로 한 동영상 특징 벡터를 추출하는 방법을 제안하고자 한다.

한국등록특허공보 제 10-1373176호

전술한 문제점을 해결하기 위한 본 발명의 목적은 내적을 이용하여 측정된 유사도를 기반으로 하여 동영상에 대한 특징 벡터를 추출하는 방법을 제공하는 것이다.

본 발명의 다른 목적은 전술한 유사도를 기반으로 하여 추출된 동영상 특징 벡터를 이용하여 퍼스널 미디어 분류 시스템을 제공하는 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법은, (a) 다수 개의 벡터들로 구성된 학습 동영상 및 실험 동영상을 입력받는 단계; (b) 학습 동영상을 구성하는 각 벡터들에 대하여, 해당 벡터가 가질 수 있는 최대 유사도, 및 해당 벡터와 다른 벡터에 대한 연속함수 값과의 유사도의 차이를 구하고, 상기 차이값이 최소화가 되도록 신경망 학습하는 단계; (c) 상기 신경망 학습된 결과를 이용하여, 상기 실험 동영상에 대한 특징 벡터를 추출하는 단계;를 구비한다.

전술한 제1 특징에 따른 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법에 있어서, 상기 (b) 단계에서 임의의 i 번째 벡터(v _i )가 가질 수 있는 최대 유사도는 i 번째 벡터와 자기 자신과의 내적( <v _i ,v _i > ) 으로 측도되며, 임의의 i 번째 벡터(v _i )와 다른 j번째 벡터(v _j )에 대한 연속 함수값(f(v _j ))의 유사도는 i 번째 벡터(v _i )와 j번째 벡터(v _j )에 대한 연속 함수값(f(v _j ))의 내적(< v _i ,f(v _j )> )으로 측도되는 것이 바람직하다.

전술한 제1 특징에 따른 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법에 있어서, 상기 연속함수(f)는 상기 동영상을 구성하는 각각의 벡터들이 다른 벡터들의 정보를 최대한 가질 수 있도록 변환하는 함수인 것이 바람직하다.

전술한 제1 특징에 따른 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법에 있어서, 상기 연속함수(f)는 sigmoid 함수(σ)를 이용한 것으로서, 아래의 수학식으로 표현되며,

[ 수학식 ]

여기서, W는 신경망 가중치이며, b 는 신경망 바이어스이다.

전술한 제1 특징에 따른 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법에 있어서, 상기 (b) 단계는 신경망 학습하여 신경망 매개 변수인 신경망 가중치 및 신경망 바이어스를 업데이트시키는 것이 바람직하다.

본 발명의 제2 특징에 따른 퍼스널 미디어 이벤트 분류 시스템은, 제1항 내지 제5항 중 어느 한 항에 따른 특징 벡터 추출 방법에 의해 추출된 동영상에 대한 특징 벡터들을 이용하여 동영상 이벤트를 분류하는 것을 특징으로 한다.

전술한 제2 특징에 따른 퍼스널 미디어 이벤트 분류 시스템에 있어서, 상기 퍼스널 미디어 이벤트 분류 시스템은 동영상에 대한 특징 벡터들에 대하어 역전파 알고리즘을 이용하여 신경망 가중치와 신경망 바이어스를 조정하는 것이 바람직하다.

본 발명에 따라 동영상 데이터를 추상적이면서 보다 간단하게 표현할 수 있는 학습 방법을 제공할 수 있게 된다. 즉, 본 발명에 따른 동영상 특징 벡터 추출 방법은 간단한 신경망 구조로 순차 데이터 중 하나인 동영상 데이터의 특징을 반영시킴으로서, 동영상을 구성하는 벡터간의 내적을 이용하여 벡터의 유사도를 측정하고, 이를 기반으로 하여 동영상에 대한 특징 벡터를 추출할 수 있도록 한다.

도 1은 본 발명의 바람직한 실시예에 따른 동영상 특징 벡터 추출 방법을 구현한 알고리즘이다.
도 2는 본 발명의 바람직한 실시예에 따른 동영상 특징 벡터 추출 방법에서 목적 함수를 근사하기 위하여 사용하는 신경망 모델을 도식화한 것이다.

본 발명에 따른 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법은 두 벡터간의 내적을 이용하여 유사도를 측정하고, 이러한 유사도를 이용하여 신경망 학습하여 동영상에 대한 특징 벡터를 추출하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 동영상 특징 벡터 추출 방법에 대하여 구체적으로 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 동영상 특징 벡터 추출 방법을 구현한 알고리즘이다.

도 1을 참조하면, 본 발명에 따른 동영상 특징 벡터 추출 방법은 다수 개의 벡터들로 구성되는 동영상 데이터에 대하여 특징 벡터를 추출하는 것으로서, 각 벡터들간의 유사도 측도를 기반으로 한다.

먼저, 두 벡터의 유사도를 측정하는 방법을 설명한다. 두 개의 벡터 x, y ∈

가 존재한다고 할 때, 두 벡터의 유사도는 두 벡터의 내적으로 정의할 수 있다.

을

에서의 일반적인 내적이라 하자. 그러면, 내적이 주어진 공간 (Rn)은 노름(Norm)

으로 유도한 거리 공간(Metric Space)이라 할 수 있다. 따라서, 어떤 점이 (Rn) 에 주어지더라도 임의의 ε에 대해 이 점을 중심으로 하는 ε-ball 을 만들 수 있고, 또 이 점을 지나는 연속인 벡터 함수를 정의할 수 있다. 데이터가 속하는 공간은 유한 차원이므로, 유한 차원만 고려할 때 벡터의 내적에 대해 수학식 1과 같은 명제가 성립한다.

이 같은 성질로 인하여, 두 벡터는 특정 조건하에 = 또는 ⊥ 에 대한 관계가 있다고 할 수 있다. 그러므로, 두 벡터의 유사도를 두 벡터를 내적을 통해서 측정할 수 있다. 특히, 여러 쌍의 벡터의 내적값이 동일하다면, 각 벡터들 역시 수학식 1과 같은 관계가 성립한다. 만약 L ²-Norm 으로 정규화한 벡터라면, 전술한 유사도 측정법은 두 벡터가 이루고 있는 각도만 고려하여 유사도를 측정하는 코사인 유사도가 된다. 이는 일반적인 두 벡터의 내적인 <x,y> = |x||y|cosθ 이고, L ²-Norm 으로 정규화한 벡터의 크기는 항상 1 이므로, <x,y> = cosθ 이고, 따라서 두 벡터가 이루는 각도로 유사도를 측정할 수 있게 된다

두 벡터의 유사도를 측정하는 방법에는 전술한 내적을 이용한 측도외에도 다른 측도도 존재한다. 이런 측도들은 공통적으로 측도로 유도할 수 있는 노름으로 거리 공간을 생성할 수 있다.

수학적인 설명을 위해, 순차 데이터(Sequential Data)를 '

에서 정의된 벡터 열, 즉

에 존재하는 N 개의 벡터들의 집합 d = {d ₁ , d ₂ , ..., d _N }'라 정의한다. 이와 같이 순차 데이터를 정의한다면, 순차데이터를 이루는 각각의 원소 d _i 가 의미를 갖는다고 가정할 수 있다. 본 명세서에서 특징 벡터를 추출하고자 하는 동영상 데이터는, 동영상으로부터 초당 1개의 정지 화면을 추출하였다고 가정했을 때, 이를 사람이 관찰한다면 각각의 정지 화면들로부터 유의미한 정보를 찾을 수 있게 된다. 그리고, 이들이 가진 정보를 취합하면 동영상이 어떤 주제를 갖고 있는지 더 파악하기 수월해질 것이다.

따라서, 본 발명에 따른 유사도 측정 기반의 동영상 특징 벡터 추출 방법을 이용한 퍼스널 미디어 분류 시스템에 사용된 학습 알고리즘은 이러한 점에 착안하여 발명되었다. 본 발명은, 내적으로 벡터들 사이의 유사도를 측도하였을 때,동영상 데이터를 이루고 있는 각각의 벡터들이 다른 벡터들의 정보를 최대한 가질 수 있도록 만드는 모델(함수)을 찾는 것을 목적으로 한다. 즉, 본 발명은 동영상 데이터의 각 벡터들을 다른 벡터들의 정보를 최대한 가질 수 있도록 하는 성질을 갖는 벡터가 되도록 변환시키는 연속함수(f)를 근사하는 것을 목적으로 한다.

이하, 동영상 데이터를 v 라 하고, 순차데이터 d 와 유사하게 나타내어 v = {v ₁ , v ₂ ,..., v _N } 으로 설정하고, v 를 이루는 각 벡터는 고정된 차원에 속하는 벡터들이며,

에 존재한다고 가정한다. N 은 동영상에 따라 달라질 수 있다. 다만, 여기서는 다른 동영상은 고려하지 않도록 한다. 이를 바탕으로 동영상 v가 주어져 있을 때, 본 발명에 따른 방법에서는 수학식 2와 같은 목적 함수를 최소화하는 모델을 제공한다.

연속함수 f는 모든 v ∈ {v ₁ , v ₂ ,..., v _N } 에 대하여 수학식 3과 같은 부등식을 만족해야 한다.

한편, 최소화하고자 하는 목적 함수를 수학식 2와 같이 정의한 이유는 다음과 같다. 먼저, v _i 와 가장 유사한 벡터는 자기 자신이다. 그러므로, 두 벡터의 유사도를 내적으로 측도한다면, < v _i , v _i >가 v _i 가 가질 수 있는 최대의 유사도이다. 또한, < v _i , f(v _j ) >는 v _j 에 대한 연속함수 f 값과 v _i 의 유사도를 나타내고 있으므로, < v _i , v _i >와 < v _i , f(v _j ) >의 차이는 f(v _j )가 v _i 의 정보를 얼마나 잘 반영하고 있는지를 나타내는 것이다.

본 발명에서는 위와 같은 역할을 하는 함수를 sigmoid 활성함수를 가진 하나의 층을 가진 신경망으로 근사한다. 신경망이 나타내고 있는 함수를 f라 했을 때, 이 함수는 신경망의 성질로 인해 미분 가능하게 된다. 이런 이유로 인하여, 본 발명에 따른 발법에서는 경사 기반(Gradient-Based)의 역전파 알고리즘(Backpropagation Algorithm)( Rumelhart, D. E., Hinton, G. E., & Williams, R. J. Learning representations by back-propagating errors. Cognitive modeling, 5(3):1, 1988. )으로 학습할 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 동영상 특징 벡터 추출 방법에서 목적 함수를 근사하기 위하여 사용하는 신경망 모델을 도식화한 것이다.

이하, 수학식 2를 만족하는 최적의 f를 f ^* 라 하자. f ^* 는 최적이므로, 수학식 2를 만족하는 모든 f에 대하여 수학식 4를 만족한다.

동영상 데이터를 하나의 벡터로 표현하기 위해서는 {v ₁ , v ₂ ,..., v _N } 의 f ^* 에 대한 출력{f ^* ( v ₁ ), f ^* ( v ₂ ), ..., f ^* ( v _N ) } 에 대해 평균 풀링(Average Pooling)을 적용한다. 즉, 동영상 데이터에 대한 하나의 벡터 표현은 수학식 5와 같이 나타낸다.

동영상 데이터를 수학식 5와 같이 표현하는 이유를 설명한다. 먼저, 수학식 6이 주어졌을 때, 이는 몇 가지의 조작을 통해, 수학식 7과 같이 나타낼 수 있다.

따라서, 수학식 6 및 수학식 7에 의해 동영상 데이터를 표현하는 하나의 특징 벡터를 수학식 5와 같이 나타낼 수 있다. 위의 경우, 1개의 동영상만을 고려한 수학식이나, 여러 개의 동영상이 존재하더라도 유한하게 존재하므로 위와 같은 수학식은 여전히 성립하게 되며, 따라서, 각 동영상에 대해 f ^* 가 주어질 경우 동영상 데이터를 수학식 5와 같이 나타낼 수 있게 된다.

이하, 전술한 과정을 토대로 하여, 본 발명의 바람직한 실시예에 따른 동영상 추출 방법을 순차적으로 설명한다.

먼저, 학습 동영상(v _TR )과 실험 동영상(v _TE ) 들을 모아 놓은 집합을 입력받아 { v _TR1 , v _TR2 , ..., v _TRN , v _TE1 ,v _TE2 , ..., v _TENM }으로 설정하고, 이 집합에 속한 동영상들을 단순히 v _i 로 나타내었을 때, l(i) 를 동영상 v _i 가 가진 특징 벡터의 개수로 설정한다. 이러한 정의를 바탕으로 각 동영상 v _i 를 벡터들의 집합 { v _i ₁, v _i ₂, ..., v _il _(i) }이라 하자. 그리고, W 는 신경망의 가중치(weight), b는 신경망의 바이어스(bias)이며, E는 신경망을 학습할 총 반복 횟수(epoch)으로 설정된다. 이를 바탕으로 했을 때,

이다. 단, 여기서 σ 는 sigmoid 함수이다.

다음, 신경망의 매개변수들인 W, b 및 학습률(learning rate) μ를 초기화한다

다음, 학습 동영상들을 다음의 과정을 1 ~ 총 반복 횟수 E 까지 반복하여 수행하여, 신경망 학습하여 학습 동영상에 대한 신경망 매개 변수들을 업데이트시킨다. 이하, 학습 동영상들을 신경망 학습하는 과정을 설명한다.

먼저, 각 학습 동영상들을 구성하는 각 벡터들에 대하여, 신경망 매개변수에 대한 신경망 가중치 변화값(△W _ij ) 및 신경망 바이어스 변화값(△b _ij )을 내적을 이용하여 수학식 8 및 수학식 9에 따라 구한다.

다음, 수학식 10 및 수학식 11에 따라, 해당 벡터가 가질 수 있는 최대 유사도, 및 해당 벡터와 다른 벡터에 대한 연속함수 값과의 유사도의 차이를 구하고, 상기 차이값이 최소화가 되도록 신경망을 학습하여 신경망 매개 변수들을 업데이트(update)시킨다.

여기서,

는 learning rate로서 학습의 속도를 조절하는 파라미터이다.

여기서,

는 learning rate로서 학습의 속도를 조절하는 파라미터이다. 전술한 과정을 통해 학습 동영상에 대하여 신경망을 학습하여 신경망 매개 변수들인 W, b를 업데이트시킨 후, 실험 동영상들과 학습 동영상들에 대하여 학습된 신경망 함수 f를 수학식 12에 적용하여 각 동영상에 대한 특징 벡터들을 구한다.

전술한 과정을 통해 유사도 측정 기반 표현법을 이용하여 학습 동영상과 실험 동영상들에 대하여 구한 특징 벡터 집합 { v _TR1 ^* , v _TR2 ^* ,..., v _TRN ^* ,v _TE1 ^* ,v _TE2 ^* ,..., v _TEM ^* } 을 얻을 수 있게 된다.

본 발명에 따른 퍼스널 미디어 분류 시스템은, 전술한 동영상 특징 벡터 추출 방법을 이용하여 동영상에 대하여 추출된 특징 벡터들에 대하여, 학습된 신경망의 끝단에 분류 계층을 추가하여 각 입력 특징 벡터에 대한 클래스를 기반으로 하여 역전파 알고리즘을 이용하여 각 입력 특징 벡터에 대한 출력이 올바른 클래스가 되도록 신경망의 매개변수인 신경망 가중치와 신경망 바이어스를 조정한다. 이와 같은 과정을 미세 조정(fine-tuning)이라 한다. 이와 같이 미세 조정된 신경망 가중치(W')과 신경망 바이어스(b')를 이용하여 특징 벡터의 분류 성능을 향상시키게 된다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

(a) 다수 개의 벡터들로 구성된 학습 동영상 및 실험 동영상을 입력받는 단계;
(b) 학습 동영상을 구성하는 각 벡터들에 대하여, 해당 벡터가 가질 수 있는 최대 유사도, 및 해당 벡터와 다른 벡터에 대한 연속함수 값과의 유사도의 차이값을 구하는 목적 함수를 설정하고, 상기 목적함수가 최소화가 되도록 신경망 학습하는 단계; 및
(c) 상기 신경망 학습된 결과를 이용하여, 상기 실험 동영상에 대한 특징 벡터를 추출하는 단계;를 구비하고,
상기 (b) 단계에서 임의의 i 번째 벡터(v_i )가 가질 수 있는 최대 유사도는 i 번째 벡터와 자기 자신과의 내적( <v_i ,v_i > ) 으로 측도되며,
임의의 i 번째 벡터(v_i )와 다른 j번째 벡터(v_j )에 대한 연속 함수값(f(v_j ))의 유사도는 i 번째 벡터(v_i )와 j번째 벡터(v_j )에 대한 연속 함수값(f(v_j ))의 내적( < v_i , f(v_j ) > )으로 측도되는 것을 특징으로 하는 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법.
삭제
제1항에 있어서, 연속함수(f)는 상기 동영상을 구성하는 각각의 벡터들이 다른 벡터들의 정보를 최대한 가질 수 있도록 변환하는 함수인 것을 특징으로 하는 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법.
제1항에 있어서, 연속함수(f)는 sigmoid 함수(σ)를 이용한 것으로서, 아래의 수학식으로 표현되며,
[ 수학식 ]

여기서, W는 신경망 가중치이며, b는 신경망 바이어스인 것을 특징으로 하는 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법.
제4항에 있어서, 상기 (b) 단계는 신경망 학습하여 신경망 매개 변수인 신경망 가중치 및 신경망 바이어스를 업데이트시키는 것을 특징으로 하는 유사도 측정을 기반으로 한 동영상에 대한 특징 벡터 추출 방법.
제1항, 제3항, 제4항 및 제5항 중 어느 한 항에 따른 특징 벡터 추출 방법에 의해 추출된 동영상에 대한 특징 벡터들을 이용하여 동영상 이벤트를 분류하는 퍼스널 미디어 이벤트 분류 시스템.
제6항에 있어서, 상기 퍼스널 미디어 이벤트 분류 시스템은 동영상에 대한 특징 벡터들에 대하어 역전파 알고리즘을 이용하여 신경망 가중치와 신경망 바이어스를 조정하는 것을 특징으로 하는 퍼스널 미디어 이벤트 분류 시스템.