KR100466421B1 - 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법 - Google Patents

Abstract

본 발명은 트리구조로 계층화된 키프레임(Key Frame, Representative Frame, 대표프레임)에 대한 충실도(Fidelity)를 적용하여 동영상 데이터베이스 안에서 사용자의 효과적이고 효율적인 검색(Search)을 보장하고 동영상 정보를 보다 빠르고 함축적으로 표현하기 위한 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법에 관한 것으로서, 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법에 의하면 동영상 자료를 각 단위로{예를 들면 샷(Shot), 세그먼트(Segment)} 구분 혹은 분할하여 각 단위에 대한 키프레임을 추출하는 과정에서 트리구조로(Tree-Structured) 키프레임을 계층화(Key Frame Hierarchy)시켜, 각 키프레임이 그것의 자식 프레임(Children Frames; 이하, 자식프레임이라 명명함.)들 정보를 얼마나 잘 표현하는 정도를 나타내주는 값, 즉, 충실도 값을 저장하고, 그 충실도 값을 이용하여 검색 및 브라우징에 효과적이고 효율적인 결과를 나타내 줄 수 있음을 보장하므로써, 그러한 계층화된 키프레임의 충실도 값을 효율적인 동영상색인 기법에 적용하여 검색에 있어서는 사용자가 원하는 질의 이미지(Query Image)나 동영상 토막(Video Clip)에 대해 보다 빠르고 만족스러운 검색을 가능하게 하며 브라우징에 있어서는 키프레임의 충실도에 대한 임계값을 적용하여 그러한 임계범위 내에서의 효과적인 브라우징을 가능하게 한다는 뛰어난 효과가 있다.

Description

계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법{DEVICE AND METHOD FOR SEARCHING AND BROWSING MOVING PICTURE BY USING THE FIDELITY OF THE KEY FRAME HIERARCHY}

본 발명은 동영상 자료의 검색 및 브라우징 장치 및 그 방법에 관한 것으로서, 특히, 계층화된 키프레임의 충실도를 이용한 임계범위를 설정하여 사용자의 검색에 대한 만족 범위 내에서의 검색결과를 유도하며 사용자를 위한 동영상 정보에 대한 효율적인 브라우징을 수행 가능하게 하는 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치 및 그 방법에 관한 것이다.

일반적으로 동영상 자료의 검색이라 함은 사용자가 선택한 임의의 질의 프레임 또는 질의 동영상 토막과 유사한 동영상 일부를 찾아낸다는 의미이며, 동영상 자료의 브라우징이라 함은 임의의 동영상정보를 함축적으로 표현하여 보여줌을 의미한다.

종래의 동영상 자료의 검색 및 브라우징에 관한 방법에 있어서는 키프레임을 이용한 검색 및 브라우징은 있었으나 그러한 검색 및 브라우징을 보다 효과적이고 효율적으로 적용하기 위한 키프레임의 충실도는 고려되지 못하였다.

한 예로, Purdue University에서 제안한 검색 및 브라우징에 관한 방식은 정지 영상 검색에 관한 것인데, 벡터 양자화(Tree-Structured Vector Quantization)를 적용하여 triangle inequality에 기반하여 branch and bound 검색 방식을 사용하고 있다. 이를 통해 TSVQ 구조에서의 검색 속도를 상당히 높일 수 있음을 제안하고 있다. 브라우징에 관해서는 계층적 구조에서의 유사 피라미드(SimilarityPyramid)를 형성하여 액티브 브라우징(Active Browsing)을 제안하고 있는데, 유사 피라미드의 각 레벨은 2-D grid에 구성된 비슷한 이미지들의 군집(cluster)을 포함한다. 피라미드 하부로 내려감에 따라 군집 크기는 점점 줄어들게 되고 최하위 레벨에서는 각각의 이미지들을 나타내는 구조를 지닌다. 여기에 브라우징의 기본적인 기능으로서 차단(Pruning)과 재구성(Reorganization)이 제시되고 있는데 이것을 사용자 궤환정보(Relevance Feedback)를 적용하여 브라우징 방식을 효과적으로 수행됨을 보이고 있다.

그러나 여기에서도 브라우징에 대한 방식은 서버의 일방적인 형식일 뿐, 사용자 입장에서 볼 때, 얼마나 효과적인 브라우징인지는 판단할 기준이 없다.

결국, Purdue University의 방식은 사용자의 만족 수준을 위한 임계값 설정 없이 사용자에 대한 서버의 일방적인 정지영상 검색 결과만을 유도하는 수준에 그쳤다.

또한, 브라우징에 있어서도 동영상 자료의 키프레임을 추출하여, 그 추출된 키프레임을 사용하여 브라우징은 하고 있으나 브라우징 과정에서 그것이 얼마나 효과적으로 동영상 자료를 표현해 주는가는 나타내 주지 못하였다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기위해 이루어진 것으로서, 본 발명의 목적은 동영상검색에 있어서 사용자가 원하는 질의 이미지나 동영상 토막에 대해 빠르고 만족스러운 검색을 가능하게 하는 한편, 브라우징에 있어서 특정임계범위 내에서 효과적인 브라우징을 가능하게 하는 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징 장치 및 그 방법을 제공하는 데 있다.

상기의 목적을 달성하기 위해 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색장치는 동영상 자료를 입력받아 동영상의 각 단위(샷 혹은 세그먼트)경계를 구분하는 단위경계검출부와, 상기 단위경계검출부로부터 단위경계가 구분된 동영상을 입력받아 각 단위 구간마다 키프레임을 추출해 내어 그 추출한 키프레임의 충실도 값을 설정한 후 동영상 자료의 충실도를 적용한 키프레임을 추출하는 키프레임추출부와, 상기 키프레임추출부에서 출력되는 동영상자료의 충실도를 적용한 키프레임에 기반하여 사용자의 질의 프레임과 유사한 프레임을 검색하여 디스플레이하는 검색엔진 응용부로 이루어진 것을 특징으로 한다.

상기의 목적을 달성하기 위해 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상브라우징장치는 동영상 자료를 입력받아 동영상의 각 단위(샷 혹은 세그먼트)경계를 구분하는 단위경계검출부와, 상기 단위경계검출부로부터 단위경계가 구분된 동영상을 입력받아 각 단위 구간마다 키프레임을 추출해 내어 그 추출한 키프레임의 충실도 값을 설정한 후 동영상 자료의 충실도를 적용한 키프레임을 추출하는 키프레임추출부와, 상기 키프레임추출부에서 출력되는 동영상자료의 충실도를 적용한 키프레임과 사용자에 의해 입력된 임계값에 따라 브라우징하여 동영상 자료를 함축적으로 표현하는 프레임을 디스플레이하는 브라우징 장치 응용부로이루어진 것을 특징으로 한다.

상기의 목적을 달성하기 위해 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색방법은 사용자가 원하는 질의 프레임을 입력하는 제 1단계와, 상기 질의 프레임과 데이터베이스 내의 트리구조로 색인된 동영상 정보의 최상위 키프레임을 비교하는 제 2단계와, 상기 질의 프레임이 현재의 키프레임과 유사한지의 여부를 판단하는 제 3단계와, 상기 제 3단계에서 두 프레임 간의 유사도가 설정 값 이상이면 하위 레벨 경로를 탐색하고, 현재 프레임의 레벨이 최하위레벨인지의 여부를 판단하는 제 4단계와, 상기 제 4단계에서 현재 프레임의 레벨이 최하위레벨이 아니면 상기 제 3단계로 진행되는 반면에, 현재 프레임의 레벨이 최하위레벨일 경우 현재 프레임이 질의 프레임과 유사한지의 여부를 판단하는 제 5단계와, 상기 제 5단계에서 두 프레임의 유사도가 설정 값 이상이 되면 현재의 검색된 결과 프레임을 저장하는 제 6단계와, 검색이 완전히 실행되었는 지의 여부를 판단하는 제 7단계와, 상기 제 7단계에서 모든 검색이 완료되면 상기 검색된 결과 프레임을 디스플레이 하는 제 8단계로 이루어진 것을 특징으로 한다.

상기의 목적을 달성하기 위해 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 또다른 동영상검색방법은 사용자가 질의 프레임과 사용자의 원하는 임계값을 입력하는 제 1'단계와, 데이터 베이스에 저장된 최상위 레벨의 키프레임과 상기 질의 프레임을 비교하는 제 2'단계와, 상기 질의 프레임과 검색되는 키프레임간의 거리 메트릭을 이용한 비유사도 값이 사용자 지정 임계값과 비 충실도 합에 비해 큰 값인지의 여부를 판단하는 제 3'단계와, 상기 제 3'단계에서 상기 비유사도 값이 사용자 지정 임계값과 비 충실도의 합 이하가 되면 하위레벨 경로를 탐색하고, 현재 탐색된 프레임의 레벨이 최하위레벨인지의 여부를 판단하는 제 4'단계와, 상기 제 4'단계에서 탐색된 현재 프레임의 레벨이 최하위레벨이 아니면 상기 제 3'단계로 진행되는 반면에, 탐색된 현재 프레임의 레벨이 최하위레벨이면 탐색된 현재 프레임과 질의 프레임이 유사한지의 여부를 판단하는 제 5'단계와, 상기 제 5'단계에서 두 프레임의 유사도가 설정값 이상이면 현재 검색된 결과 프레임을 저장하는 제 6'단계와, 검색이 완전히 실행되었는지의 여부를 판단하는 제 7'단계와, 상기 제 7'단계에서 모든 검색이 완료되면 상기 검색된 결과 프레임을 디스플레이 하는 제 8'단계로 이루어진 것을 특징으로 한다.

상기의 목적을 달성하기 위해 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상브라우징방법은 사용자가 서버에 브라우징 요청을 시작하고, 사용자의 원하는 임계 범위의 임계값을 입력하는 제 1"단계와, 데이터 베이스에 저장된 최상위 레벨의 키프레임 충실도와 상기 사용자 지정 임계값과의 비교를 통하여 그 키프레임의 충실도가 상기 임계값 보다 작은 값 인지의 여부를 판단하는 제 2"단계와, 상기 제 2"단계에서 키프레임의 충실도가 임계값 보다 작으면 하위 레벨 키프레임들의 충실도와 비교하여 그 키프레임의 충실도가 상기 임계값 보다 작은 값 인지의 여부를 판단하는 제 3"단계와, 상기 제 3"단계에서 상기 키프레임의 충실도가 상기 임계값 보다 작으면 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되는 지의 여부를 판단하는 제 4"단계와, 상기 제 4"단계에서 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되지 않으면 상기 제 3"단계로 진행되는 반면에, 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되면 그 키프레임의 최하위 프레임을 디스플레이 하는 제 5"단계로 이루어진 것을 특징으로 한다.

도 1a 내지 도 1c는 키프레임의 정의를 설명하기 위한 예시도,

도 2는 본 발명에 적용되는 키프레임의 충실도를 이용한 검색 및 브라우징 방법을 설명하기 위한 색인된 동영상 트리구조도,

도 3은 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치의 제어블록도,

도 4는 도 3의 키프레임 추출부에 대한 상세 블럭도,

도 5는 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 검색 엔진에서의 검색 방법을 도시한 플로우챠트,

도 6은 본 발명의 또다른 실시예에 의한 계층화된 키프레임의 충실도 및 메트릭 특성(metric property)을 고려한 검색 엔진에서의 검색 방법을 도시한 플로우챠트,

도 7은 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 브라우징 장치에서의 브라우징 방법을 도시한 플로우챠트.

이하, 본 발명의 실시예에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치 그 방법에 대하여 첨부된 도면을 참조하여 설명하기로 한다.

도 1a 내지 도 1c는 키프레임의 정의를 설명하기 위한 예시도로서, 먼저, 키프레임의 정의에 관해 살펴보면, 키프레임(Key Frame)은 대표프레임(Representative Frame)이라고도 하며 임의의 동영상 자료에서 몇 개의 프레임을 대표하는 하나의 프레임이라는 의미를 나타낸다.

도 1a에서는 f1,f2,f3,f4,f5의 다섯 프레임을 f3이라는 대표를 설정하여 f3이 다섯 개의 프레임을 대표하는 키프레임이 된다. 키프레임을 정하는 방식은 본 발명에서는 고려하지 않는다.

여기서는 기존에 있는 여러 가지 키프레임 추출방식 중에 가장 효과적인 추출법을 선택한다고 가정한다. 그러한 기존의 키프레임 추출방법에 대한 몇 가지 예를 들면 다음과 같다.

도 1b에서는, 임의의 9개 프레임으로 구성된 세그먼트 S에서 미리 지정된 에러 범위 ε를 설정하여 맨 첫 번째 프레임을 키프레임으로 설정하고 다음 프레임들을 탐색하면서 처음 프레임과의 비유사도가 지정된 에러 범위 ε 보다 큰 프레임을 또 다른 키프레임으로 선택한다. 이에 대한 정량적 표현을 하면 다음과 같다.

d(f1,f2)≤ε, d(f1,f3)≤ε, d(f1,f4)>ε,d(f4,f5)≤ε

d(f4,f6)≤ε, d(f4,f7)>ε, d(f7,f8)≤ε,d(f7,f9)≤ε

{여기서 d(fi, fj)는 비유사 정도를 나타낸다.}

즉, 마지막으로 선택한 키프레임과 유사하지 않은 프레임으로 판명될 경우, 그 프레임을 대표해 줄 수 있는 키프레임이 없으므로 이를 다시 또 다른 키프레임으로 선택하는 것이다.

도 1c는, 점 집합 이론에 기반한 미리 지정된 왜곡 범위 내에서의 최소 키프레임을 추출하는 방식이다. 도 1c에서 프레임 f1,f2,f3과 f7,f8,f9는 유사도가 높다고 볼 때, 프레임 f1,f2,f3,f7,f8,f9의 키프레임으로서 f2를 설정하고, 프레임 f4,f5,f6의 키프레임으로 f6을 설정하는 예를 보였다. 도 1b에서와는 다르게 시간적으로 떨어져 있는 유사도가 높은 프레임에 대해서도 고려하여 하나의 키프레임을 선택하는 방식이다.

이에 대한 정량적 수식 표현은 다음과 같다.

δ1 = max { d(f2,f1), d(f2,f3), d(f2,f7),d(f2,f8),d(f2,f9) }

δ2 = max { d(f6,f4), d(f6,f5) }

만일 d(fi, fj)가 TRIANGLE INEQUALITY를 만족하는 거리매트릭일 때 사용자가 이 방식을 통해 임의의 질의 이미지 fq를 검색할 경우, 사용자 지정 값인 e에 대해 d(fq,f6)>δ2 + e 인지 아닌지 만 확인하면 된다. 즉, d(fq,f4)나 d(fq,f5)는 고려할 필요가 없다. d(fq,f2)인 경우에 대해서도 마찬가지로 생각할 수 있다. 그러므로 이 방식은 검색 과정에서 불필요한 비교 과정을 차단시킴으로써 검색 시간을 상당히 단축시킬 수 있다.

충실도를 개념 정의하자면 다음과 같다. 충실도란 동영상 정보에서 자식 프레임들에 대한 키프레임의 표현 정도를 나타내는 정량적 혹은 정성적 정보를 의미하는 값을 말한다. 즉, 동영상에 대하여 계층적 트리 구조로 표현할때 각 서브트리의 루트를 형성하는 키프레임이 그의 자식 프레임과 어느 정도의 유사도를 가지고 있는가를 나타내는 값이다. 이러한 키프레임에 대한 충실도를 이용하여 동영상 자료에서 효과적이고 효율적인 검색 및 브라우징에 응용하여 사용자에게 보다 만족스러운 검색 결과 이미지를 제공할 수 있으며 브라우징에 있어서도 동영상 자료를 보다 빠르고 함축적으로 표현할 수 있는 뛰어난 기능을 수행할 수 있다.

도 2는 본 발명에 적용되는 키프레임의 충실도를 이용한 검색 및 브라우징 방법을 설명하기 위한 색인된 동영상 트리구조도로서, 전체 11개의 프레임(f1, f2, f3, f4, f5, f6, f7, f8, f9, f10, f11)의 키프레임을 f1,f4,f6,f11로 추출하고 그것을 다시 f4와 f6으로 구성시킨 후, 최종적으로 f4로 구성한 동영상 색인 트리구조를 나타낸다.

각 키프레임은 각각의 고유한 충실도 값인 F를 가지고 있다. 이는 후술되는 도 3의 키프레임 추출부(1200)중 키프레임의 충실도 계산부(1230)에서 이루어 진값이다.

키프레임의 충실도는 그 키프레임을 최상위 노드로 하는 서브트리의 특성을 전체적으로 설명하는 값이다. 가령, 도면에서 키프레임 f4의 충실도 0.6은 f1, f2, f3, f5, f8, f10, f11의 특성을 나타내는 값이다.

또 다른 예로 키프레임 f11의 충실도 0.9는 f8, f10, f11의 특성을 나타내는 값을 의미한다. 충실도 값이 클수록 그 키프레임은 그 키프레임에 속하는 하위 레벨의 프레임들을 더욱 더 잘 대표한다고 말할 수 있다. 즉 충실도 값이 클수록 그 키프레임과 하위 레벨의 프레임들간의 유사도가 높다. 결국 충실도와 프레임간의 거리함수에 의한 거리 값과는 서로 반비례함을 보여준다.

또한, 충실도 값은 부호화기에 의하여 정량적 혹은 정성적으로 계산되어 진다. 만일 부호화기 기능이 좋은 것이면 충실도 값은 좀 더 신빙성이 있을 수 있다. 즉, 성능이 우수한 부호화에 의해 계산되어진 충실도가 좀 더 신뢰성이 있다. 부호화기에 의해 계산되어진 충실도는 복호화기에서 키프레임의 질을 측정하기 위해 사용된다. 그러면 복호화기는 이것을 검색이나 브라우징에 효율적으로 응용한다. 이러한 충실도 값에 대한 가능한 예 6가지를 들어보면 다음과 같다.

1) 0 과 1 사이의 스칼라 값

만일 이값이 양자화 되었다고 가정할 때,

1 : 키프레임은 그것의 자식 프레임들을 완벽히(perfectly) 표현해준다.

0.8 : 키프레임은 그것의 자식 프레임들을 아주 잘(very well) 표현해준다.

0.6 : 키프레임은 그것의 자식 프레임들을 잘(well) 표현해준다.

0.4 : 키프레임은 그것의 자식 프레임들을 그런대로(reasonably) 표현해준다.

0.2 : 키프레임은 그것의 자식 프레임들을 별로 잘(not very well) 표현해주지 못한다.

즉, 이러한 충실도 값이 클수록, 키프레임은 그것의 자식 프레임을 잘 표현해준다.

(2) 최대 프레임 거리( The Maximum Frame Distance )

이 값은 키프레임과 그것의 자식 프레임 및 그 이하 프레임들 간의 최대 거리차를 나타낸다. 그 거리는 키프레임 추출에 사용되는 특성 기술자(Feature Descriptor)(예를 들어 칼라 히스토그램)와 유사 척도(Similarity Measure)(예를 들어 L1 norm)에 의한 유사도 값에 반비례한다. 도 1b에서의 ε 값과 도 1c에서의 δ 값이 이에 해당한다.

(3)최대 거리 프레임 번호(Maximum Distance Frame ID)

이것은 키프레임이 자식 프레임 및 그 이하 프레임들 사이에서 키프레임으로부터의 거리가 최대가 되는 자식 프레임 번호(fm)를 나타낸다. 그 정보에 기반하여, 복호화기는 검색과 브라우징에 있어서 적절한 메트릭(metric)을 선정하여 이용할 것이다. 즉 복호화기가 자식 프레임들 사이에 있는 키프레임으로부터의 거리가 최대가 되는 자식 프레임 번호 fm을 만족하는 어떠한 메트릭도 사용할 수 있다.

(4)자식 프레임들의 분산값(Variance of the Children Frames)

이 값은 자식 프레임들의 특성 기술자 값(feature descriptor value)의 분산값에 비례한다. 이 값의 범위는 정규화 될 수 있다. 만일 유사도가 대략 가우스 분포(정규 분포)라 가정할 때, 충실도는 시그마 스코어(sigma score)로 주어진다. 예를 들어, 키프레임들은 2배의 시그마 값을 넘는 정확도를 갖는다.

(5)중간 프레임 정도( The Degree of the Median Frame )

임의의 키프레임이 자식 프레임들의 중간 프레임에 대해 어느 정도 떨어져 있는지를 의미하는 값이다. 여기서는 자식 프레임들 중에서 시간적인 순서에 의해 가장 가운데 있는 프레임을 최적의 프레임이라고 가정할 경우에 한한다.

(6)시간적인 중요도

임의의 키프레임이 대표하는 자식 프레임들의 개수를 의미한다. 즉, 개수가 커질수록 더 의미가 있는 키프레임이 된다.

상술한 키프레임의 충실도 값을 설정하는 방법에 관한 내용은 일례에 해당된다.

도 3은 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치의 제어블록도이고, 도 4는 도 3의 키프레임 추출부에 대한 상세 블록도로서, 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징장치는 도 3 및 도 4에 도시한 바와 같이 단위경계검출부(1100), 키프레임추출부(1200), 검색엔진 응용부(1400) 및 브라우징장치 응용부(1300)로 구성되어 있다.

상기 단위경계검출부(1100)는 동영상 자료(1000)를 입력받아 동영상의 각 단위(샷 혹은 세그먼트)경계를 구분하는 역할을 하고, 상기 키프레임추출부(1200)는 상기 단위경계검출부(1100)로부터 단위경계가 구분된 동영상을 입력받아 각 단위 구간마다 키프레임을 추출해 내어 그 추출한 키프레임의 충실도 값을 설정한 후 동영상 자료의 충실도를 적용한 키프레임을 추출하는 역할을 한다.

상기 키프레임 추출부(1200)에 대해 좀더 상세하게 설명하면 도 4에 도시한 바와같이 키프레임 추출 함수부(1210), 추출 키프레임 저장부(1220) 및 키프레임 충실도 계산부(1230)로 구성되어 있다.

상기 키프레임 추출함수부(1210)는 상기 단위경계 검출부(1100)를 통해 각 단위경계가 구분된 동영상을 입력받아 기 설정된 키프레임함수를 이용하여 각 단위구간마다 일정개수의 키프레임을 추출하는 역할을 한다.

상기 추출 키프레임 저장부(1220)는 상기 키프레임 추출함수부(1210)에서 추출된 키프레임을 저장하는 동시에 최종적인 동영상자료의 충실도를 적용한 키프레임을 추출하는 역할을 하고, 상기 키프레임 충실도 계산부(1230)는 상기 추출 키프레임 저장부(1220)에서 키프레임을 입력받아 충실도 값을 설정한 후 상기 추출 키프레임 저장부(1220)로 출력하는 역할을 한다.

상기 검색엔진 응용부(1400)는 상기 키프레임추출부(1200)에서 출력되는 동영상자료의 충실도를 적용한 키프레임에 기반하여 사용자의 질의 프레임과 유사한 프레임을 검색하여 디스플레이하는 역할을 한다.

상기 브라우징 장치 응용부(1300)는 상기 키프레임추출부(1200)에서 출력되는 동영상자료의 충실도를 적용한 키프레임과 사용자에 의해 입력된 임계값에 따라브라우징하여 동영상 자료를 함축적으로 표현하는 프레임을 디스플레이하는 역할을 한다.

상기의 설명에서는 검색장치와 브라우징장치가 함께 구성된 것을 예를 들어 설명하였으나, 상기 검색엔진 응용부(1400)와 브라우징 장치 응용부(1300)는 개별적으로 구성될 수 있다.

상기와 같은 구성을 가지는 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치에서 이루어지는 동영상검색 방법 및 브라우징 방법에 대해 첨부된 도면을 참조하여 설명하기로 한다.

도 5는 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 검색 엔진에서의 검색 방법을 도시한 플로우챠트로서, 여기서 S는 스텝(STEP)을 나타내며, 모든 동작은 검색엔진 응용부(1400)에서 이루어 진다.

먼저, 사용자의 질의가 시작되면(S1), 사용자는 원하는 질의 프레임을 입력하고(S2), 이에 따라 상기 질의 프레임과 데이터베이스 내의 트리구조로 색인된 동영상 정보의 최상위 키프레임과의 비교를 통하여(S3), 질의 프레임이 키프레임과 유사한지의 여부를 판단한다(S4).

상기 스텝(S4)에서, 두 프레임 간의 유사도가 설정 값 이상이 되면(YES), 하위 레벨 경로를 탐색하고(S5), 현재 프레임의 레벨이 최하위레벨인지의 여부를 판단하여(S6), 최하위 레벨이 아니면(NO), 상기 스텝(S4)으로 진행되는 반면에, 최하위레벨일 경우(YES), 현재 프레임이 질의 프레임과 유사한지의 여부를판단한다(S7).

상기 스텝(S7)에서 두 프레임의 유사도가 설정 값 이상이 되면(YES), 현재의 검색된 결과 프레임을 저장하고(S8), 검색이 완전히 실행되었는 지의 여부를 판단하여(S9), 모든 검색이 완료되면(YES), 상기 검색된 결과 프레임을 디스플레이 한다(S10).

한편, 상기 스텝(S4)에서 두 프레임의 유사도가 설정 값 보다 낮으면(NO), 키프레임 충실도의 적절성여부를 판단하여(S11), 상기 충실도가 적절하지 않으면(NO), 상기 스텝(S5)으로 진행되는 반면에, 상기 충실도가 적절하면(YES), 검색경로를 차단하여(S12), 새로운 경로를 탐색하고(S13), 상기 스텝(S4)으로 진행된다.

한편, 상기 스텝(S7)에서 현재 프레임과 질의 프레임의 유사도가 설정값 보다 낮으면(NO), 상기 스텝(S13)으로 진행된다.

한편, 상기 스텝(S9)에서 검색이 완료되지 않았으면(NO), 상기 스텝(S13)으로 진행된다.

도 6은 본 발명의 또다른 실시예에 의한 계층화된 키프레임의 충실도 및 메트릭 특성(metric property)을 고려한 검색 엔진에서의 검색 방법을 도시한 플로우챠트로서, 여기서 S는 스텝(STEP)을 나타내며, 모든 검색과정은 상기 검색엔진 응용부(1400)에서 수행된다.

먼저, 사용자의 질의가 시작되면(S1'), 사용자는 질의 프레임과 사용자의 원하는 임계값을 입력하고(S2', S3'), 이에 따라, 데이터 베이스에 저장된 최상위레벨의 키프레임과 상기 질의 프레임을 비교를 통하여(S4'), 질의 프레임과 검색되는 키프레임간의 거리 메트릭(DISTANCE METRIC)을 이용한 비유사도 값이 사용자 지정 임계값과 비 충실도 합에 비해 큰 값인지의 여부를 판단한다(S5').

상기 스텝(S5')에서 상기 비유사도 값이 사용자 지정 임계값과 비 충실도의 합 이하가 되면(NO), 하위레벨 경로를 탐색하고(S6'), 현재 탐색된 프레임의 레벨이 최하위레벨인지의 여부를 판단한다(S7').

상기 스텝(S7')에서 탐색된 현재 프레임의 레벨이 최하위레벨이 아니면(NO), 상기 스텝(S5')으로 진행되는 반면에, 탐색된 현재 프레임의 레벨이 최하위레벨이면(YES), 탐색된 현재 프레임과 질의 프레임이 유사한지의 여부를 판단한다(S8').

상기 스텝(S8')에서 두 프레임의 유사도가 설정값 이상이면(YES), 현재 검색된 결과 프레임을 저장하고(S9'), 검색이 완전히 실행되었는지의 여부를 판단하여(S10'), 모든 검색이 완료되면(YES), 상기 검색된 결과 프레임을 디스플레이 한다(S11').

한편, 상기 스텝(S5')에서 상기 비 유사도값이 사용자 지정임계값과 비충실도의 합보다 크면(YES), 검색경로를 차단하여(S12') 새로운 경로를 탐색하고(S13') 상기 스텝(S5')으로 진행된다.

한편, 상기 스텝(S8')에서 상기 두 프레임의 유사도가 설정값보다 낮으면(NO), 상기 스텝(S13')으로 진행된다.

한편, 상기 스텝(S10')에서 검색이 완료되지 않았으면(NO), 상기 스텝(S13')으로 진행된다.

도 7은 본 발명의 일실시예에 의한 계층화된 키프레임의 충실도를 이용한 브라우징 장치에서의 브라우징 방법을 도시한 플로우챠트로서, 여기서 S는 스텝(STEP)을 나타내며, 브라우징 동작은 상기 브라우징 장치 응용부(1300)에서 수행된다.

먼저, 사용자가 서버에 브라우징 요청을 시작하고(S1"), 사용자의 원하는 임계 범위의 임계값을 입력한다(S2").

이어서, 데이터 베이스에 저장된 최상위 레벨의 키프레임 충실도와 상기 사용자 지정 임계값과의 비교를 통하여(S3"), 그 키프레임의 충실도가 상기 임계값 보다 작은 값 인지의 여부를 판단한다(S4").

상기 스텝(S4")에서 키프레임의 충실도가 임계값 보다 작으면(YES), 하위 레벨 키프레임들의 충실도와 비교하여(S5") 그 키프레임의 충실도가 상기 임계값 보다 작은 값 인지의 여부를 판단한다(S6").

상기 스텝(S6")에서 상기 키프레임의 충실도가 상기 임계값보다 작으면(YES), 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되는 지의 여부를 판단한다(S7").

상기 스텝(S7")에서 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되지 않으면(NO), 상기 스텝(S5")으로 진행되는 반면에, 상기 임계값이 최하위레벨의 키프레임의 충실도와 비교되면(YES), 그 키프레임의 최하위 프레임을 디스플레이 한다(S8").

한편, 상기 스텝(S4")에서 상기 키프레임의 충실도가 상기 임계값 이상이 되면(NO), 현재의 키프레임을 버퍼에 저장한후(S9"), 그 저장된 키프레임을 디스플레이 한다(S10").

한편, 상기 스텝(S6")에서 상기 키프레임의 충실도가 상기 임계값 이상이면(NO), 상기 스텝(S9")으로 진행된다.

상술한 바와 같이 본 발명에 의한 계층화된 키프레임의 충실도를 이용한 동영상검색 및 브라우징장치 및 그 방법에 의하면 검색에 있어서는 질의 프레임과 키프레임의 유사도가 설정값 보다 낮고 그 키프레임의 충실도가 적절할 경우 검색경로를 차단하는 방식이므로 검색 시간을 단축시킬 수 있을 뿐만 아니라 검색 결과 또한 사용자의 만족 수준을 보장할 수 있다. 이는 후에 인터넷에서의 비디오 검색 엔진이 서비스 될 경우 네트워크의 제한된 서비스 속도와 시간에 대해 어느 정도 극복될 수 있음을 보장할 수 있다.

브라우징 측면에서 볼 때, 서버 환경에서 추구하는 동영상 정보의 효과적이고 개략적인 표현을 정량적인 임계 범위 내에서 표현할 수 있으므로 원하는 범위 내의 키프레임을 다양하게 표현할 수 있다. 이러한 정보 표현의 가변성 및 다양화를 통해 사용자에게 보다 쉽게 원하는 정보를 제공해 줄 수 있다.

Claims (25)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 계층적 동영상 트리구조에서의 키프레임의 충실도를 이용한 효율적인 동영상 요약 장치에 있어서,

    상기 동영상 요약장치는 동영상 자료에서 동영상의 각 단위 경계를 구분하는 단위 경계 검출하는 단위 경계 검출부;

    단위 경계 검출부에서 구분된 각 단위에 대하여 미리 설정된 키프레임 추출 함수를 이용하여 키프레임을 추출하고 각 단위에 해당되는 키프레임 번호와 함께 저장하는 키프레임 추출부;

    상기 키프레임 추출부로부터 저장된 키프레임을 입력받아 각 키프레임의 특성값을 추출하고 전체 키프레임들의 특성값을 포함하는 왜곡범위를 설정하여 루트 키프레임으로 설정한 후 특성값의 왜곡범위를 더 작게 조정하여 하위트리를 구성하는 방법으로 하향적으로 동영상 트리구조를 구성하고 추출된 각 키프레임의 특성값을 이용하여 상위 키프레임의 하위 키프레임에 대한 충실도를 계산하는 충실도 계산부; 및

    상기 충실도 계산부에서 계산된 충실도를 상위 키프레임에 저장하는 충실도 저장부를 포함하여 구성되는 것을 특징으로 하는 계층적 동영상 트리구조에서의 키프레임의 충실도를 이용한 효율적인 동영상 요약 장치.
23. 제 22항에 있어서, 상기 키프레임 추출부는 시각적 내용 복잡 지표(visual content complexity indicator)를 이용하여 점집합이론에 기초하여 미리 지정된 왜곡 범위 내에서의 최소의 키프레임을 추출하는 함수를 사용하는 것임을 특징으로 하는 계층적 동영상 트리구조에서의 키프레임의 충실도를 이용한 효율적인 동영상 요약장치.
24. 제 22항에 있어서, 키프레임의 충실도 계산부는 각 키프레임으로부터 동일한 색상에 관한 공간적 상관도를 계산하여 특징벡터를 추출하는 특징벡터 추출함수부와;

    상기 특징벡터 추출함수부에서 추출된 각 키프레임의 특징벡터로부터 하향적으로 구성된 동영상 트리구조에서 상하위 키프레임간의 거리(distance metric)를 계산하는 비유사도 계산부;

    상기 비유사도 계산부에서 계산된 키프레임들간의 거리를 이용하여 노드 충실도를 계산하는 노드 충실도 함수부; 및

    상기 노드 충실도 함수부에서 계산된 노드 충실도를 각 키프레임에 저장하는 충실도 저장부로 이루어진 것을 특징으로 하는 계층적 동영상 트리구조에서의 키프레임의 충실도를 이용한 효율적인 동영상 요약 장치.
25. 삭제