KR20070107628A - 동영상 샷의 분류 - Google Patents

Abstract

본 발명은, 동영상을 샷 단위로 분리하는 샷 분리 단계와,

분리된 샷의 콘텐츠 특성값을 추출하여 기록하는 샷 특성값 기록 단계와,

기록된 샷 특성값을 이용하여 샷을 분류하는 샷 분류 단계를 포함하는,

동영상 샷 분류 방법

동영상, 검색, 샷

Description

동영상 샷의 분류 {Method for video shot classification}

도1은 동영상으로부터 샷을 분리하여 샷 내부에 있는 다양한 정보를 이용하여 샷을 분류하는 과정을 표현한 플로우차트

기존의 비 텍스트 기반의 동영상 검색은, MPEG7 등에서 정의된 시각 기술자(Visual Descriptor)를 이용하였기 때문에, 동영상의 모든 프레임을 검색하지 않고 컷 검출을 통해 샷 분리 지점의 프레임으로부터 추출된 시각 기술자를 비교하여 동영상을 검색하고자 하더라도, 영화 한 편에서 추출되는 샷 분리 지점 프레임의 시각 기술자가 1,000개에서 많게는 2,000개에 이르기 때문에, 탐색 대상 동영상 데이터 베이스 내에 기록된 동영상의 수가 증가함에 따라 탐색 연산량이 크게 증가하더라도 이를 줄이기 어려웠다.

그 이유는 샷 분리 지점의 시각 기술자는, 동영상의 코덱 변화나 비트레이트 변화, 프레임 레이트의 변화에 의해 크게 변화하는 경향이 있으며, 때에 따라서는 원본에서는 이루어지는 샷 분리가 변형본에서는 이루어지지 않거나 원본에서는 샷이 분리되지 않았던 위치에서 샷이 분리되는 경우가 종종 발생하고,

원본에 존재하지 않는 샷 분리 지점 프레임의 시각 기술자를 데이터 베이스 내에서 탐색할 경우, 데이터 베이스 전체를 탐색하고 나서야 존재하지 않는다는 것을 확인할 수 있고, 변형본에서 샷 분리 위치가 조금만 바뀌어도 샷 분리 위치 프레임의 시각 기술자를 입력으로 하여 데이터 베이스 전체를 탐색하고도 유사성이 충분히 높은 시각 기술자를 찾기 어려운 경우가 많기 때문에, 데이터 베이스 탐색이 매우 어려웠다.

따라서 이들 방법은, 엄격하게 통제된 환경 내에서 원본과 변형본의 품질이나 인코딩 조건이 제한되어 있거나, 텍스트에 의한 보조적 기술자가 보존되고, 상대적으로 탐색 대상 데이터 베이스가 작은 경우에 한해 제한적으로 사용할 수는 있으나, 다양한 변형본이 통제없이 발생하고 텍스트를 이용한 보조적 기술자들이 보존되지 않는 인터넷과 같은 환경에는 적용이 불가능한 문제를 안고 있다.

본 발명이 이루고자 하는 기술적 과제는, 인터넷과 같이 변형이 통제되지 않는 환경에도 불구하고, 원본 동영상 데이터를 변형에 강한 특성값을 포함할 가능성이 높은 단위로 분리하여 검색 질의가 들어오기 전에 분류하고, 변형된 동영상에 있어서도 이러한 단위로 분리하여 변형에 강한 특성값을 추출하여 검색하면 데이터 베이스 전체가 아닌 제한된 범위 내에서의 탐색만으로 데이터 베이스 내에 해당 동영상의 존재 또는 부재를 확인할 수 있는 가능성을 높게 함으로써, 입력된 동영상과 동일한 내용을 가진 동영상을 데이터베이스 내에서 검색하는데 소요되는 비용을 낮추어, 인터넷과 같은 대용량 동영상 데이터 베이스를 용이하게 검색할 수 있게 하는 것을 목표로 한다.

본 발명은, 동영상을 샷 단위로 분리하는 샷 분리 단계와,

분리된 샷의 콘텐츠 특성값을 추출하여 기록하는 샷 특성값 기록 단계와,

기록된 샷 특성값을 이용하여 샷을 분류하는 샷 분류 단계를 포함하는,

동영상 샷 분류 방법으로서,

이러한 방식으로 동영상을 샷 단위로 분리하여 색인과 검색의 단위로 사용하면, 색인과 검색 단위 내에 많은 정보가 분포하기 때문에, 다양한 변형에도 잘 변화하지 않는 정보를 이용한 색인과 검색이 가능하여, 보유한 정보량이 상대적으로 적은 샷 분리 위치의 프레임 시각 기술자 검색에 비해 다양한 변형에 강해지고,

동영상 데이터 베이스의 전체를 탐색하지 않고 변형에 강한 특성값을 이용하여 제한적 탐색 공간을 탐색하는 방법에 의해서도 낮은 오차율로 입력 동영상과 동일한 내용의 동영상의 데이터 베이스 내 존재와 부재를 판정할 수 있다.

상기 동영상 특성 데이터 추출 방법에 있어 샷 분리 단계는,

동영상 프레임 간의 복수의 기준을 이용하여 유사도를 비교하여, 연속된 프레임 간에 하나의 기준에서라도 유사도가 임계치보다 낮으면, 비교 대상 프레임 사 이에서 샷이 분리된다고 판정하여, 샷의 시작점과 샷의 종결점이 검출되면 그 사이에 있는 동영상을 샷으로 분리하는 것을 특징으로 하는 샷 분리 단계로서,

프레임 간의 유사도 비교를 위해서는, 프레임 내의 색 분포나 에지의 변화율 등을 이용한 신호 처리에 의한 유사도 비교 방법과 같이 공지 기술로 알려진 방법을 복수로 이용한다.

상기 샷 특성값 기록 단계는,

샷의 시작점과 종결점 분리를 결정하게 된 인자와 그 크기, 샷 분리를 결정하지는 못하였으나 샷 분리의 기준으로 사용되는 다른 인자의 크기를 추출하여, 해당 샷의 특징을 결정하는 특성값으로 기록하는 특징으로 하는 샷 특성값 기록 단계로서,

샷의 특성값으로 사용되는 샷 분리 결정 인자인, 연속 프레임에서 대응하는 화소의 밝기를 비교하여 얼마나 많은 변화가 일어났는지 측정하는 화소 비교 변화율이나, 화소의 세기(Y 성분)나 색상(Cb, Cr 성분)을 히스토그램으로 표현하여 비교하는 히스토그램 비교 변화율, 에지 변화율과 같은 것을 추출하는 방법은 공지 기술로 널리 알려져 있다.

다른 실시 예에서 상기 샷 특성값 기록 단계는,

샷 내에 포함된 사운드 신호로부터 음성 신호를 검출하여 그 성문(Voice print)을 추출하거나, 샷 내에 분포하는 음악 신호의 Pitch나 Beat 등을 추출하여, 해당 샷의 특징을 결정하는 특성값으로 기록하는 특징으로 하는 샷 특성값 기록 단계로서,

이를 추출하는 방법은 공지 기술로 널리 알려져 있다.

상기 샷 분류 단계는,

분리된 샷을 특성값에 따라 분류하는 단계로서, 샷 의 특성값이 n차원의 정보인 경우, 샷을 n 차원으로 분류하는 것을 특징으로 하는 샷 분류 단계로서,

이러한 분류 방법을 사용하면, 동영상으로부터 추출된 샷은 다차원의 탐색 공간을 형성하게 된다.

본 발명을 실시하면, 다양하게 변형된 동영상 데이터로부터 잘 변형되지 않는 기술자를 이용하여 원본을 탐색하는데 있어 탐색 공간을 크게 줄일 수 있기 때문에, 요구되는 컴퓨팅 파워를 크게 줄일 수 있으며, 동시에 검색 질의를 처리하는 시간이 크게 개선되어 검색 품질이 향상되는 장점이 있다.

Claims (5)

1. 동영상을 샷 단위로 분리하는 샷 분리 단계와,

   분리된 샷의 콘텐츠 특성값을 추출하여 기록하는 샷 특성값 기록 단계와,

   기록된 샷 특성값을 이용하여 샷을 분류하는 샷 분류 단계를 포함하는,

   동영상 샷 분류 방법
2. 제1항의 샷 분리 단계는,

   동영상 프레임 간의 복수의 기준을 이용하여 유사도를 비교하여, 연속된 프레임 간에 하나의 기준에서라도 유사도가 임계치보다 낮으면, 비교 대상 프레임 사이에서 샷이 분리된다고 판정하여, 샷의 시작점과 샷의 종결점이 검출되면 그 사이에 있는 동영상을 샷으로 분리하는 것을 특징으로 하는 샷 분리 단계
3. 제1항의 샷 특성값 기록 단계는,

   샷의 시작점과 종결점 분리를 결정하게 된 인자와 그 크기, 샷 분리를 결정하지는 못하였으나 샷 분리의 기준으로 사용되는 다른 인자의 크기를 추출하여, 해당 샷의 특징을 결정하는 특성값으로 기록하는 특징으로 하는 샷 특성값 기록 단계
4. 제1항의 샷 특성값 기록 단계는,

   샷 내에 분포하는 사운드 신호 내에서, 음성 신호를 분리하여 성문의 발생 시퀀스를 추출하여, 해당 샷의 특징을 결정하는 특성값으로 기록하는 특징으로 하는 샷 특성값 기록 단계
5. 제1항의 샷 특성값 기록 단계는,

   샷 내에 분포하는 영상 신호 내에서, 객체의 움직임에 따른 벡터변화를 추출하여, 해당 샷의 특징을 결정하는 특성값으로 기록하는 특징으로 하는 샷 특성값 기록 단계

Images