KR20010060994A - 내용 기반 동영상 검색 방법 - Google Patents

Abstract

본 발명은 내용 기반 동영상 검색 방법에 관한 것으로 특히, 컬러 특징과 모션 특징을 추출함으로써 동영상의 검색 효율을 증대시킬 수 있도록 함에 목적이 있다. 이러한 목적을 달성하기 위한 본 발명은 입력 영상을 숏(shot) 단위로 분할한 후 서브숏(sub-shot) 단위로 재분할하는 제1 단계와, 상기에서 서브숏(sub-shot) 단위로 재분할된 영상을 컬러 양자화하는 제2 단계와, 상기에서 컬러 양자화된 영상에 대해 서브숏 단위로 컬러 히스토그램 행렬을 생성하는 제3 단계와, 상기에서 컬러 양자화된 영상에 대해 각 컬러 그룹 좌표의 평균값과 분산값을 계산하는 제4 단계와, 입력 영상에서의 각각의 P 프레임으로부터 컬러 그룹 단위의 순방향 움직임 벡터를 추출하는 제5 단계와, 상기에서 추출한 순방향 움직임 벡터를 양자화하여 인접 화소에 대한 각 컬러 그룹 단위의 움직임 벡터 비율을 연산하는 제6 단계와, 상기에서 각 컬러 그룹 좌표의 분산값과 각 컬러 그룹 단위의 움직임 벡터 비율을 참조하여 유사성이 높은 동영상을 검색하는 제7 단계를 수행함을 특징으로 한다.

Description

내용 기반 동영상 검색 방법{CONTENT BASED MOVING VIDEO RETRIEVAL METHOD}

본 발명은 영상 검색에 관한 것으로 특히, 컬러 정보와 모션 정보를 이용한 내용 기반 동영상 검색 방법에 관한 것이다.

최근 동영상과 정지영상, 음성, 그래픽 데이터 등을 포함하는 멀티미디어 데이터는 관련 기술의 발달로 인해 그 양과 수요가 급격하게 증가하였다.

그중에서도 동영상은 하나의 데이터안에 영상과 음성 등 다른 멀티미디어 데이터의 정보를 포함하기 때문에 일반적으로 다른 데이터에 비해 큰 용량을 가진다는 특징이 있다.

또한, 데이터 저장기기의 발달과 코딩 기법의 세계 표준화 등으로 인해 멀티미디어 데이터중에서도 동영상 데이터의 비중이 점차 커지고 있다.

특히, 통신망의 발달로 인해 많은 동영상 데이터베이스로부터 데이터를 검색하는 효율적이면서 자동적인 검색 기법이 요구되었다.

초기의 검색 시스템에서는 입력된 키워드를 사용하는 텍스트를 기반으로 한 영상 검색 기법이 주류를 이루었다.

그러나, 초기의 검색 방법은 데이터베이스내의 영상에 대해서 검색 질의어로 사용하는 키워드를 설정할 때 개인의 주관성이 포함되는 경우가 있음은 물론 검색시 사용자가 주어진 영상에 대한 고유의 키워드를 기억하고 있어야 하는 단점이 있었다.

따라서, 보다 일반적인 경우를 위하여 내용 기반 동영상 검색 기법이 제시되었다.

일반적으로 내용 기반 동영상 검색 시스템은 특징 추출 기법을 채용하는데, 도1의 동작 순서도와 같이 동영상 저장 과정과 동영상 검색 과정을 수행한다.

먼저, 동영상 저장 과정에서는 동영상이 입력되었을 때 그 동영상에 대한 특징을 추출하는 전처리 과정을 거친 후 모든 특징들에 대해 인덱싱하여 데이터베이스내에 저장하게 된다.

이 후, 동영상 검색 과정에서 질의 동영상이 주어졌을 때 그 동영상에 대한 특징을 추출하는 전처리 과정을 거친 후 데이터베이스내에 존재하는 특징들과 비교하여 가장 유사한 동영상을 찾게 된다.

일반적으로 동영상의 특징 추출은 컬러와 모션 두가지 특징을 기초로 이루어진다.

우선, 컬러 특징 추출의 경우는 동영상을 숏(shot) 단위로 분할하여 각 숏(shot)을 대표할 수 있는 키프레임(key-frame)을 추출한 후 이에 대한 컬러 특징을 추출하는 것이 대표적인 방법이라 할 수 있다.

지금까지 동영상에서의 컬러 특징 추출은 기존에 많이 연구되어왔던 정지 영상에 대한 컬러 특징 추출 알고리즘을 이용하는 방법이 대부분이었다.

이는 정지 영상내의 컬러 특징이 내부에서의 이동(translation), 회전(rotation), 축척(scale)에 불변하다는 장점을 가지고 있기 때문에 이를 기반으로 한 검색 기법이 광범위하게 연구되어왔다.

예로서, Swain의 컬러 히스토그램 인터섹션 방법, Mehtre의 Reference Color Table 방법 그리고, Stricker의 히스토그램 인터섹션 방법등이 있다.

상기 컬러 히스토그램 인터섹션 방법에서는 RGB 컬러 공간내에서 각각의 축에 대해16개의 빈(bin)으로 나누어 전체적으로 2048개의 그룹을 생성한 후 각 그룹에 해당하는 히스토그램을 비교함으로써 모델과 입력 영상의 정합을 시도하는 것으로, 비교의 단순함에 장점이 있다.

상기 Reference Color Table 방법은 입력 영상의 컬러를 27개의 그룹으로 나누어 각 그룹끼리 유클리디언 거리로서 정합을 시도한다.

그리고, 누적 히스토그램(Cumulative Histogram) 방법이 제시되었는데, 이는 히스토그램 인터섹션 방법에서는 고려하지 않은 시각적 유사도를 고려하고자 한 것이다.

그리고, 모션 특징 추출 방법에는 MPEG-1 동영상을 대상으로 하는 경우 크게 디코딩된 이미지 시퀀스를 대상으로 기존의 특징 추출 방법을 적용하는 방법과, 압축된 MPEG-1 동영상 내부에 이미 포함되어 있는 모션 벡터를 사용하는 방법 2가지가 있다.

먼저, 연속된 이미지 나열로부터 직접 컬러 기반의 계산 과정을 거치는 모션 특징 추출 기법은 기본적으로 동영상을 이루고 있는 연속된 이미지 나열로부터 직접 컬러와 화소 혹은 블럭 기반의 계산 과정을 거쳐 모션 특징을 추출하게 된다.

그리고, 압축된 MPEG-1 동영상내에 이미 포함되어 있는 모션 벡터를 직접 이용하는 위치 기반 모션 인덱싱 방법은 연속된 이미지 나열로부터 모션 특징을 추출하는 방법의 문제점을 개선하기 위하여 제안되었다.

이 방법은 하나의 숏(shot)을 대상으로 처음, 중간, 마지막 프레임을 뽑고 이들 세가지 프레임의 매크로 블럭내 모션 벡터를 읽어 각 모션 벡터의 방향을 양자화하고 그 양자화된 모션 벡터를 이용하여 매크로블럭의 위치에 따라 모션 히스토그램을 작성하여 기존의 복잡한 계산없이 MPEG-1 동영상의 특징을 이용한 모션 특징을 추출하는 것이다.

그러나, 종래의 컬러 특징 추출 방법은 일반적으로 키프레임(key-frame)이라는 정지영상을 대상으로 동영상의 컬러 특징을 추출하기 때문에 다양한 컬러 정보를 반영하는 동영상의 컬러 특징을 효과적으로 추출하지 못하는 한계가 있었다.

예를 들어, 종래의 컬러 히스토그램 인터섹션 방법의 경우 비교의 단순함에 장점은 있지만 너무 세밀하게 나눈 컬러 그룹으로 인해 잡음에 민감함은 물론 정합시 연산량이 많아지는 단점이 있다.

또한, 종래의 모션 특징 추출 방법중 디코딩된 이미지 시퀀스를 이용하는 방법은 일반적으로 특징을 추출하는데 드는 계산량이 많음은 물론 연산 시간이 상당히 길다는 단점이 있으며, 이를 개선하기 위한 동영상에 포함된 모션 벡터를 이용하는 방법은 시간적인 세단계의 프레임만을 대상으로 단순히 위치를 기반으로 하는 특정 모션의 존재 여부만을 인덱싱하는데 따른 모션의 정확도가 저하된다는 문제점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 컬러 특징과 모션 특징을 추출함으로써 동영상의 검색 효율을 증대시킬 수 있도록 창안한 내용 기반 동영상 검색 방법을 제공함에 목적이 있다.

즉, 본 발명은 MPEG1 동영상에 대해 서브숏(sub-shot) 단위로 컬러 특징을 추출하여 그 동영상에 포함된 모션 벡터와 정합하고 각 컬러 빈(bin)의 분산을 고려함으로써 기존의 방법에 비해 동영상 검색의 정확도를 높이도록 하는 것이다.

도1은 일반적인 내용 기반 동영상 검색을 위한 동작 순서도.

도2는 본 발명의 실시예를 위한 동작 순서도.

도3은 본 발명에서 서브숏(sub-shot) 단위의 재분할 과정을 보인 예시도.

도4는 정지 영상에 대한 NICO 행렬의 생성을 보인 예시도.

도5는 본 발명에서 서브숏 단위의 NICO 행렬의 생성을 보인 예시도.

도6은 도5에서 생성된 행렬의 예시도.

도7은 본 발명에서 모션 벡터의 방향에 따른 매크로 블럭의 번호 매김을 보인 예시도.

도8은 본 발명에서 컬러 그룹에 대한 모션 벡터의 연산을 보인 예시도.

도9는 본 발명에서의 모션 행렬의 생성 과정을 보인 예시도.

도10은 본 발명을 실제 적용한 예시도.

도11은 본 발명에서의 모션 테이블의 예시도.

본 발명은 상기의 목적을 달성하기 위하여 입력 영상을 숏(shot) 단위로 분할하는 단계와, 상기에서 숏(shot) 단위의 영상을 서브숏(sub-shot) 단위로 재분할하여 컬러 양자화하는 단계와, 상기에서 컬러 양자화된 영상에 대해 서브숏 단위로 컬러 히스토그램을 생성하는 단계와, 상기에서 컬러 히스토그램 계산시 각 컬러 그룹 좌표에 대해 평균값과 분산값을 계산하는 단계와, 상기에서의 입력 영상에 대한 각각의 P 프레임으로부터 컬러 빈 단위의 순방향 움직임 벡터를 추출하는 단계와, 상기에서 추출한 순방향 움직임 벡터를 양자화하여 각 컬러 빈 단위의 움직임 벡터 비율을 연산하는 단계와, 상기에서 각 컬러 빈 좌표의 분산 평균값과 각 컬러 빈 단위의 움직임 벡터 비율을 참조하여 일치하는 동영상을 검색하는 단계를 수행함을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명에서는 컬러 특징과 모션 특징을 추출하여 보다 효과적으로 동영상의 특징을 추출하도록 도2의 동작 순서도와 같은 과정을 수행하는데, 컬러 추출 단계와 모션 추출 단계로 나누어 설명하기로 한다.

먼저, 컬러 특징 추출 과정을 설명하면 다음과 같다.

종래의 동영상 검색 시스템에서의 컬러 특징 추출은 숏(shot) 단위로 분할된 비디오에서 한 장의 키프레임(key-frame)을 추출하여 이에 대한 컬러 특징을 추출하는 것이었다.

여기에는 주어진 동영상을 숏(shot) 단위로 분할한 경우 각 숏(shot)내의 컬러 정보는 큰 변화가 없고 따라서, 하나의 정지 영상으로도 각 숏(shot)의 컬러 정보를 대표할 수 있다는 가정이 뒤따른다.

그러나, 실질적으로 동영상 데이터가 아주 많은 양의 정지영상들의 나열이라고 보았을 때 한 장의 정지영상으로 비디오 데이터의 영상 정보를 대표하는 것은 무리가 있다.

다시말해, 비디오내의 컬러 정보는 시간이 흐름에 따라 다양하게 변하는 경우가 존재할 수 있는데 특히, 카메라 모션이 있는 경우나 객체의 크기가 변하는 경우에는 하나의 숏(shot)이라 하더라도 많은 컬러 정보의 차이가 존재할 수 있는 것이다.

또한, 모든 경우에 적용될 수 있는 키프레임(key-frame)을 추출하는 것이 매우 어렵다.

따라서, 이러한 동영상의 컬러 정보를 정지 영상의 컬러 정보로 대표한다는 것은 무리가 있다.

다시 말해, 사용자가 어떤 부분의 컬러 정보를 질의하더라도 이를 반영할 수 있는 컬러 특징 추출 기법이 필요하다.

이에 따라, 본 발명에서는 상기와 같은 동영상의 다양한 컬러 정보를 반영하기 위해 하나의 숏(shot)이라 할지라도 도3의 예시도와 같이 히스토그램값의 차이에 의해 서브숏(sub-shot) 단위의 재분할을 행하게 된다.

이 경우 분할된 서브숏(sub-shot)을 모두 인덱싱하는 것이 아니라 각 서브숏이 차지하는 시간을 고려하여 일정 시간 이상을 차지하는 경우에만 인덱싱하게 된다.

이 후, 컬러 정보에 따라 재분할된 동영상에 대해 이들 서브숏(sub-shot) 단위의 컬러 특징을 추출하는데, 본 발명에서는 종래와 같이 단순한 히스토그램의 저장이 아닌 여러 컬러 빈의 상관 관계와 동영상내 동적인 컬러 변화를 고려할 수 있는 NICO_m 행렬과 NICO_v 행렬을 제안한다.

우선, 정지영상에 대한 NICO(Neighborhood Information of COlor histogram) 행렬의 생성 과정은 다음과 같다.

1. 컬러 양자화 과정을 거친 후 주어진 영상의 분할된 컬러 그룹에 대해 번호 매김(labeling)을 한다.

2. 각 그룹의 경계에 해당하는 화소들에 대한 이웃 화소들의 그룹 번호를 확인하고 그 그룹 번호의 수를 계산한다.

3. 행렬의 대각 성분에 전체 화소에 대한 자신의 그룹에 해당하는 화소의 비율을 대입한다.

4. 행렬의 비대각 성분에 각 그룹들에 대한 이미 계산된 이웃하는 그룹들의 전체 화소에 대한 비율을 대입한다.

5. 결국, 주어진 그룹의 수만큼의 정방 행렬이 생성된다.

이때, 상기와 같은 과정에 의한 정지 영상의 NICO 행렬 생성은 도4의 예시도와 같다.

여기서, 도4(a)는 번호 매김된 후의 영상의 예로서 이를 바탕으로 생성된 NICO 행렬이 도4(c)이다.

즉, 확대된 영상인 도4(b)에서 번호 매김(labeling)된 한 영역의 경계에 해당하는 화소의 이웃하는 화소(4-neighborhood)의 그룹 번호를 카운트하고 그 카운트값과 전체 화소에 대한 비를 구함으로써 도4(c)에서 밑줄친 값들이 생성되어진다.

이러한 과정을 통해 비대각 행렬의 성분이 결정되어진다.

여기서, 도4(c)와 같이 생성된 행렬의 대각 성분은 양자화된 그룹의 히스토그램을 나타내고 행렬의 비대각 성분은 번호 매김된 후의 영상에서 각각의 행과 열의 그룹이 이웃하는 경우의 히스토그램을 나타내며 이로부터 영상내의 공간상에서 각 컬러 그룹간의 관련성을 알 수가 있다.

따라서, 본 발명에서는 상기와 같은 NICO 행렬을 통하여 종래의 히스토그램 기법을 살리면서 공간상의 각 그룹간의 연관성을 고려할 수 있도록 한다.

그러나, 상기에서 생성된 NICO 행렬은 정지 영상을 대상으로 하는 것이므로 본 발명에서 제안하고자 하는 기법의 목적인 정지영상 단위의 검색 한계 극복에는 알맞지 않다.

따라서, 상기에서 입력된 동영상에 대해 재분할된 서브숏(sub-shot) 단위의 NICO_m과 NICO_v 행렬을 생성하는데, 이 과정은 아래와 같다.

1. 입력된 동영상에 대해 서브숏(sub-shot) 단위로 양자화 컬러 히스토그램을 계산한다.

2. 각 서브숏(sub-shot) 단위의 NICO 행렬을 상기 정지 영상의 경우와 동일한 방법으로 구한다.

이때, 각 NICO 행렬의 성분은 서브숏(sub-shot)내 여러 행렬의 성분별 평균으로 구해진다.(NICO_m)

3. 서브숏(sub-shot)내 행렬의 평균과 함께 분산값을 구해 저장한다.(NICO_v)

상기와 같은 서브숏(sub-shot) 단위의 NICO_m 행렬 생성 과정을 도5에 도시하였다.

즉, 도5(a)와 같이 입력 동영상을 서브숏 단위로 분할하여 양자화함에 의해 도5(b)와 같이 서브숏 단위의 히스토그램을 구하고 도5(c)와 같이 서브숏 단위의 히스토그램 행렬을 구하게 된다.

결과적으로, 주어진 동영상의 컬러 특징은 각 서브숏(sub-shot)에 대한 히스토그램 행렬로 표현되어 동영상내의 다양한 컬러 정보가 반영됨은 물론 각 컬러 그룹들간의 상관 관계와 공간적인 분포가 고려되어진다.

다시 말해서, 도5(c)와 같은 서브숏(sub-shot) 단위의 히스토그램 행렬은 하나의 서브숏(sub-shot)내에 속하는 프레임들의 히스토그램 행렬의 각 성분 평균을 구함으로써 만들어지게 된다.

그러나, 여러 개의 히스토그램 행렬에 대해 각 성분의 평균을 구하는 것은 여러 성분을 하나에 나타내는 것에 의해 정확도의 문제가 발생할 수 있다.

따라서, 본 발명에서는 서브숏(sub-shot) 단위의 히스토그램 행렬의 생성시 행렬내 각 성분의 분산을 함께 구해 같은 크기의 정방 행렬로서 나타내고 이를 이용해 히스토그램 행렬의 정확도를 높이도록 한다.

즉, 본 발명에서는 도6과 같이 서브숏(sub-shot) 단위로 생성된 히스토그램 행렬이 종래의 히스토그램 행렬과 달리 평균과 분산 두가지 행렬로 생성된다.

도6에서 NICO_m(i,j)와 NICO_v(i,j)는 NICO_m 행렬과 NICO_v 행렬의 각 원소를 뜻하며 각각의 부호(601)(602)(603)(604)는 각 행렬의 대각 성분과 비대각 성분을 나타내며, 그 의미는 아래와 같다.

(601) : NICO_m 행렬의 대각 성분으로, 서브숏(sub-shot) 내에서 각 컬러 빈이 차지하는 평균이다.

(602) : NICO_v 행렬의 대각 성분으로, 서브숏(sub-shot) 내 각 컬러 그룹의 변화 정도와 컬러 그룹의 평균값(601의 각 성분)에 대한 신뢰도의 척도이다.

여기서, 분산이 적다고 함은 컬러 그룹의 변화가 적음을 나타내는 것으로, 대응되는 평균값에 대한 신뢰도가 커짐을 의미한다.

따라서, 아래 수식과 같이 NICO_m 행렬의 성분을 보정한다.

IF V(i,j) > threshold value, M(i,j) = 0 (i=j)

(603) : NICO_m 행렬의 비대각 성분으로, 서브숏(sub-shot) 내에서 각 컬러 그룹들간의 상관 관계의 평균이다.

(604) : 분산 행렬의 비대각 성분으로, 서브숏(sub-shot) 내 각 컬러 그룹들간의 상관 관계의 변화 정도와 상관 관계의 평균값(603의 각 성분)에 대한 신뢰도의 척도이다.

여기서, 분산이 적다고 함은 상관 관계의 변화가 적음을 나타내는 것으로, 대응되는 평균값에 대한 신뢰도가 커짐을 의미한다.

IF V(i,j) > threshole value, M(i,j) = 0 ()

따라서, NICO_v 행렬의 (i,j) 성분을 NICO_m 행렬의 (i,j) 성분에 대한 신뢰도의 척도로 이용하여 이 값이 임계치를 넘게 되면 구해진 값을 '0'으로 보정하여 최종적인 컬러 특징을 추출하게 된다.

여기서, 설정된 임계치가 대응되는 평균값에 따라 달라지는 값이 아닌 절대적인 값임을 고려하여야 한다.

다시 말해, M(i,j)는 공간적으로 인접한 화소의 절대치를 나타내므로 전체 행렬의 성분에 대해 동일한 임계치를 적용하여야 하며, 이 값은 실험적으로 결정된다.

그리고, 본 발명에서는 동영상내 각 컬러의 전체적인 공간분포를 고려하기 위해 각 컬러 그룹이 갖는 공간적인 좌표에 대한 분산값을 계산하여 1차원 벡터 형태로 저장한다.

이때, NICO 행렬이 컬러의 부분적인 상관 관계를 고려하는데 비해 계산된 분산값은 컬러의 전체적인 분포를 고려하는데, 이를 생성하는 과정은 아래와 같다.

1. 입력된 동영상에 대해 서브숏(sub-shot) 단위로 양자화 컬러 히스토그램을 계산한다.

2. 양자화된 컬러 그룹에 따라 각 프레임에 대한 번호 매김(labeling)을 한다.

3. 각 프레임별로 분할된 각 컬러 그룹에 해당하는 화소들의 좌표값에 대한 평균값과 분산값을 아래의 식(1)(2)와 같이 구한다.

------- (1)

------ (2)

여기서,는 i번째 그룹에 해당하는 화소들의 좌표값에 대한 평균값이고,는 i번째 그룹에 해당하는 화소들의 좌표값에 대한 분산값이다.

는 i번째 그룹에 속하는 화소들의 집합이고,는에 속하는 화소들의 수이며,은 해당 화소들의 x,y 좌표값이다.

4. 하나의 프레임에 대한 분산값을 각 컬러 그룹별로 구한다.

5. 컬러 그룹별로 생성된 분산의 평균(mean of variance)을 계산하여 저장한다.

6. 주어진 그룹의 수만큼의 1차 벡터를 생성한다.

한편, 본 발명에서의 컬러 모션 특징 추출 과정을 설명하면 다음과 같다.

일반적으로 MPEG-1 동영상의 프레임은 그 특성에 따라 I,P,B 프레임 세가지로 나누어진다.

이 중 P프레임에는 I 프레임 또는 이전 P 프레임과의 움직임 정보가 벡터 형태로 저장되어 있다.

P 프레임내에 저장되어 있는 모션 벡터는 이전 프레임과의 움직임 정보이므로 이를 순방향 모션 벡터라 하며, 16*16 크기의 매크로 블럭 단위로 저장되어 있다.

본 발명에서는 순방향 모션 벡터를 이용하여 연속적인 모션 정보를 추출하고 단순히 모션 벡터와 이들의 위치만을 이용했을 경우 발생할 수 있는 모션의 정확도 저하 문제를 해결하기 위해 컬러 특징 추출에서 사용되었던 양자화된 컬러 히스토그램을 정합하여 양자화 컬러 그룹 단위의 모션 정보를 추출하는 방법을 사용한다.

결국, 동영상 내의 모션은 시각적으로 컬러의 움직임이라고 볼 수 있기 때문에 이를 기반으로 한 모션 특징을 추출하며 이때, 모션 특징 추출의 단위가 되는 컬러 그룹은 따로 구하는 것이 아니라 컬러 특징 추출 과정에서 이미 계산된 값을 사용하게 된다.

즉, 본 발명에서는 시간 순서대로 입력되는 P 프레임내의 순방향 모션 벡터를 읽어 연산하는데, 각각의 P 프레임에서 추출된 모션 벡터는 도7(a)와 같이 8방향으로 양자화된다.

이 후, 각 방향의 양자화는 읽어들인 모션 벡터의 각(angle)을 구한 후 삼각함수를 이용하여 구하는데, 모션 벡터의 각 방향은 도7(a)와 같이 번호로서 표현한다.

예를 들어, 모션이 없는 경우에는 '0'으로 나타내고, 도7(b)와 같이 P 프레임내 각각의 매크로 블럭에 대해 모션 벡터가 있는 경우에는 그 모션 벡터의 방향에 따라 해당 방향의 번호 매김(labeling)을 도7(c)와 같이 수행한다.

이때, 입력된 프레임에 대한 DC 영상과 이를 양자화한 영상이 컬러 특징 추출을 위해 이미 생성되어 있으므로 이들 컬러 정보와 이전에 수행한 모션 정보를 정합하여 컬러 그룹 단위의 모션 정보를 구하는데, 이 과정을 설명하면 다음과 같다.

우선, 각 컬러 그룹이 차지하는 위치에 대해 같은 위치에 대응되는 매크로 블럭의 라벨링 번호를 읽어 들인다.

이때, 매크로 블럭은 16*16 크기이고, 양자화된 DC 영상은 8*8 블럭 단위로 평균한 영상이므로 모션 벡터 하나당 4개의 양자화 DC 영상 화소가 대응된다.

결국, 하나의 P 프레임에 대해 각 양자화 컬러 그룹이 차지하는 모션 벡터의 수가 방향별로 카운트되며 이때, 각 컬러 그룹이 P 프레임내에서 차지하는 화소의 수 역시 계산된다.

예로, k번째 P 프레임에서 j번째 컬러 그룹에 대한 모션 벡터의 연산은 도8과 같이 수행된다.

이때, j번째 컬러 그룹의 경우 이들이 차지하는 위치의 매크로 블럭에 대한 모션 방향을 읽는다.

여기서, 모션 방향의 번호는 '0'부터 '8'까지이며, 입력된 한 장의 P 프레임에서 각각의 컬러 그룹에 대해 연산을 수행하게 된다.

따라서, 상기의 과정을 한 숏(shot)내에 존재하는 모든 P 프레임에 대해 수행하면 P 프레임별로 모션 테이블이 생성된다.

k번째로 입력된 P 프레임에 대해 연산한 모션 테이블을 도11과 같이 표시할 수 있으며, 테이블의 각 성분은로 표현할 수 있다.

여기서, k는 입력된 P 프레임의 순서이고 i는 방향 번호이며, j는 컬러 그룹을 나타낸다.

예를 들어,는 k번째로 입력된 P 프레임내에서 i번째 컬러 빈이 갖는 '1'방향의 수를 나타낸다.

따라서, 숏(shot)내의 전체 프레임에서 각각의 컬러 빈이 갖는 모션 정보를 알아내기 위해 도9와 같이 P 프레임별로 생성된 테이블을 성분별로 누적하게 된다.

이 후, 누적된 값을 각 컬러 빈이 전체 P 프레임에서 차지하는 화소 수로 나누어 정규화하게 된다.

여기서, 도9(a)는 도11과 같이 각 프레임별로 생성된 모션 테이블이고 도9(b)는 이들을 누적하여 정규화함에 의해 생성된 최종 행렬이다.

따라서, 정규화를 위해 쓰는 컬러 그룹의 화소수는 전체 숏(shot)내에서 해당 컬러 빈이 숏(shot) 전체를 통해 갖는 각 방향의 비율을 계산한 결과가 되며, 각 성분은로 표현할 수 있다.

여기서,는 입력된 동영상에서 j번째 컬러 빈이 전 프레임에 걸쳐 i 방향을 갖는 비율을 나타낸다.

본 발명의 실제 적용예는 도10에 도시하였다.

도10(a)는 실제 화면으로서, 화면 가운데의 객체가 위로 떠오르는 움직임을 가지고 있다.

도10(b)는 도10(a)의 화면에 해당하는 양자화된 DC 영상을 나타낸다.

그리고, 도10 (c)는 양자화된 DC 영상에 대한 모션 행렬의 일부를 도시한 것으로, 표시 부분은 움직이는 객체의 컬러 빈이 숏(shot) 전체에 대해 갖는 각 방향의 비율을 나타내고 있다.

상기에서 상세히 설명한 바와 같이 본 발명은 컬러 정보와 모션 정보를 고려하는 내용 기반 동영상 검색을 위한 특징 추출 기법을 제안함으로써 동영상 검색 효율을 증대시킬 수 있는 효과가 있다.

즉, 본 발명은 동영상내 다양한 컬러 정보의 반영을 위한 서브숏(sub-shot) 단위로 재분할한 후 공간적 분포를 고려한 서브숏(sub-shot) 단위의 NICO_m 행렬과 그 NICO_m 행렬 각 성분의 분산값을 계산한 NICO_v 행렬을 구하며, 컬러 정보를 반영한다.

또한, 본 발명은 양자화된 컬러 그룹 단위의 모션 벡터를 추출하여 상기 컬러 정보와 정함함으로써 동영상 검색 효율을 증대시킬 수 있다.

Claims (3)

1. 입력 영상을 숏(shot) 단위로 분할한 후 서브숏(sub-shot) 단위로 재분할하는 제1 단계와, 상기에서 서브숏(sub-shot) 단위로 재분할된 영상을 컬러 양자화하는 제2 단계와, 상기에서 컬러 양자화된 영상에 대해 서브숏 단위로 컬러 히스토그램을 생성하는 제3 단계와, 상기에서 컬러 양자화된 영상에 대해 각 컬러 그룹 좌표의 평균값과 분산값을 계산하는 제4 단계와, 입력 영상에서의 각각의 P 프레임으로부터 컬러 그룹 단위의 순방향 움직임 벡터를 추출하는 제5 단계와, 상기에서 추출한 순방향 움직임 벡터를 양자화하여 인접 화소에 대한 각 컬러 그룹 단위의 움직임 벡터 비율을 연산하는 제6 단계와, 상기에서 각 컬러 그룹 좌표의 분산값과 각 컬러 빈 단위의 움직임 벡터 비율을 참조하여 유사성이 높은 동영상을 검색하는 제7 단계를 수행함을 특징으로 하는 내용 기반 동영상 검색 방법.
2. 제1항에 있어서, 제1 단계에서 서브숏 단위의 재분할은 히스토그램의 차이가 일정 문턱값 이상인 경우에만 실행하여 동영상의 다양한 컬러 정보를 반영하는 것을 특징으로 하는 내용 기반 동영상 검색 방법.
3. 제1항에 있어서, 제4 단계는 컬러 양자화된 영상의 분할 그룹에 대해 번호 매김을 하는 제1 과정과, 상기에서 번호 매김된 각 그룹에 대해 인접하는 그룹의 번호와 그 수를 계산하는 제2 과정과, 상기에서 각 그룹에 대해 전체 화소에 대한 자신의 화소비율로 대각 성분을 구하고 인접하는 화소의 전체 화소에 대한 비율로 비대각 성분을 구하여 정방 행렬을 생성하는 제3 과정과, 상기에서의 행렬의 각 화소의 좌표값에 대한 분산값을 구하는 제4 과정과, 상기에서 각 컬러 그룹의 분산값의 평균을 구하는 제5 과정으로 이루어지는 것을 특징으로 하는 내용 기반 동영상 검색 방법.