KR100650665B1

KR100650665B1 - 동영상 검색방법

Info

Publication number: KR100650665B1
Application number: KR1020050102417A
Authority: KR
Inventors: 송치일
Original assignee: 엘지전자 주식회사
Priority date: 2005-10-28
Filing date: 2005-10-28
Publication date: 2006-11-29
Also published as: CN1955964B; CN1955964A

Abstract

본 발명은 동영상을 질의로 사용하는 검색 시스템의 클라이언트 부분에 관한 것으로, 특히 클라이언트에게 효율적인 브라우징(browsing)을 제공하는 시스템에 관한 것이다. 본 발명에서 검색에 사용하는 질의는 샷 경계 검출 이후 원하는 샷을 질의에 사용, 임의선택, 임의선택 + 타이틀, 결과 샷을 다시 질의에 사용 등이다.

본 발명에 의하면 가중치 조절이나 문맥 등의 새로운 질의 요소들을 반영한 시스템 구축을 통해서 좀 더 효율적이고 정확성 높은 예제 기반 동영상 검색이 가능하게 된다는 이점이 있다.

MPEG-7, 동영상 검색, 동영상 브라우징

Description

동영상 검색방법{A Method For Filtering Video Data}

도 1은 종래의 동영상 검색 시스템의 클라이언트 인터페이스의 일 예.

도 2는 본 발명에 따른 동영상 검색의 클라이언트 시스템에서의 질의 1 내지 질의 4의 구조.

도 3은 본 발명에 따른 샷 변환 검색 알고리즘의 흐름도.

도 4는 본 발명에 따른 샷 경계 검출에서 사용되는 각 프레임의 색차에 따른 카운트의 변화를 나타내는 그래프.

도 5는 본 발명에 따른 동영상 검색 시스템의 클라이언트 인터페이스의 일 예.

본 발명은 동영상을 질의로 사용하는 검색 시스템의 클라이언트 부분에 관한 것으로, 특히 클라이언트에게 효율적인 브라우징(browsing)을 제공하는 시스템에 관한 것이다.

기존의 MPEG-7에 바탕을 둔 예제 기반 동영상 검색 시스템에서 클라이언트 부분은 단순히 검색 결과를 브라우징해 주는 수준으로 구성되어 있다.

이하 도면을 통해 종래의 예제 기반 동영상 기반 검색 시스템을 설명한다.

도 1은 종래의 동영상 검색 시스템의 클라이언트 인터페이스의 일 예를 나타낸다.

도 1에서 21은 멀티미디어 데이터 표시창이고 22는 인덱스 파일 정보 표시창이며 23은 키프레임(Key Frame)/이미지 파일 뷰어이다. 그리고 24는 세그먼트 뷰어이고 25는 세그먼트 정보 입력부이다. 상기 키프레임/이미지 파일 뷰어(23)가 검색 결과를 보여주는 부분으로서 단순히 검색 결과만을 브라우징하고 있다.

상기와 같은 종래 기술에는 다음과 같은 문제점이 있다.

먼저 종래의 예제 기반 동영상 검색 기법에서의 클라이언트 시스템은 단순히 검색 결과만을 표시하며 기술자 사이의 가중치 조절이나 전체화면/객체(Object) 사이의 가중치 조절, 피드백, 문맥 등을 전혀 고려하지 않고 있다. 예를 들어 사용자가 한 번 검색된 결과 중에서 관심이 있는 동영상이 있어서 그것을 가지고 다시 재검색을 하고 싶더라도 종래의 검색 시스템에서는 이러한 재검색 기능이 지원되지 않는다. 또한 단순히 한가지의 기술자가 아니라 여러 가지 기술자를 사용해서 검색을 하고 싶더라도 불가능하다. 그렇기 때문에 보다 효율적인 동영상 검색이 이루어지지 않고 있다는 문제점이 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 창안된 것이다. 즉, 본 발명에 따른 동영상 검색방법은 가중치 조절이나 문맥 등의 새로운 질의 요소들을 반영한 시스템 구축을 통해서 좀 더 효율적이고 정확성 높은 예제 기반 동 영상 검색을 가능하게 하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 동영상 검색방법은 동영상에서 샷 경계를 검출하는 샷 경계 검출단계; 상기 샷 경계 검출단계에서 검출된 샷의 프레임에서 저급수준 정보를 추출하는 저급수준 정보 추출단계; 상기 저급수준 정보 추출단계에서 추출된 저급수준 정보 기술자들의 가중치를 설정하는 가중치 조절단계; 및 상기 가중치 조절단계에서 설정된 기술자들의 가중치에 따라 기술자 간의 검색 가중치를 달리하여 동영상을 검색하는 동영상 검색단계를 포함하는 것을 특징으로 한다.

그리고, 상기 샷 경계 검출단계는, 동영상의 프레임을 여러 개의 블럭으로 분할하는 블럭생성단계; 인접한 프레임에서 각 블럭별로 모든 블럭에 대하여 색상차이를 계산하는 색상차이 계산단계; 상기 색상차이 계산단계에서 계산된 색상차이가 제1 임계치보다 큰지 여부를 각 블럭별로 모든 블럭에 대하여 판단하는 색상차이 판단단계; 상기 색상차이 판단단계에서 제1 임계치보다 색상 차이가 큰 것으로 판단된 블럭의 개수가 제2 임계치보다 큰지 여부를 각 인접한 프레임별로 모든 인접한 프레임에 대하여 판단하는 샷 변환 판단단계; 및 상기 샷 변환 판단단계에서 제1 임계치보다 색상 차이가 큰 블럭의 개수가 제2 임계치보다 큰 인접 프레임의 사이를 샷 경계로 판단하는 샷 경계 판단단계를 포함하는 것을 특징으로 한다.

상기 색상차이 계산단계에서, 각각의 블럭의 색상차이를 계산하는 경우 Red, Green, Blue의 RGB 색상별로 색상 차이를 계산하여 그 평균을 색상차이로 하는 것 을 특징으로 하며 상기 저급수준 정보 추출단계에서, 추출되는 저급수준 정보는 프레임의 주요 색상(Dominant Color), 색상 구조(Color Structure), GOF(Gang Of Four)/GOP(Group Of Pictures) 색상, 에지 히스토그램(Edge Histogram), 동형 질감(Homogeneous Texture), 움직임 강도(Motion Activity), 음향(AudioWave)인 것을 특징으로 한다.

또한 본 발명은 상기 샷 경계 검출단계 이후에, 검출된 샷의 객체를 추출하는 객체추출단계를 더 포함하고, 상기 저급수준 정보 추출단계에서 상기 객체추출단계에서 추출된 객체의 저급수준 정보도 추출하는 것을 특징으로 할 수 있다.

이 경우 상기 저급수준 정보 추출단계에서, 추출되는 저급수준 정보는 프레임의 주요 색상(Dominant Color), 색상 구조(Color Structure), GOF(Gang Of Four)/GOP(Group Of Pictures) 색상, 에지 히스토그램(Edge Histogram), 동형 질감(Homogeneous Texture), 움직임 강도(Motion Activity), 음향(AudioWave)과, 객체의 움직임 궤도(Motion Trajectory), 경계 형태(Contour Shape), 영역 형태(Region Shape), 동형 질감(Homogeneous Texture), 주요 색상(Dominant Color), 색상 구조(Color Structure)인 것을 특징으로 한다.

마지막으로, 상기 저급수준 정보 추출단계 이후에, 현재 선택한 샷 뿐만아니라 이전 샷과 이후 샷 모두에서 저급수준 정보를 추출하는 문맥단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명에서 검색에 사용하는 질의는 크게 4가지의 형태로 이루어진다. 질의 1은 클라이언트에서 새로운 동영상을 열어서 샷 경계 검출 이후 원하는 샷을 질의 에 사용하는 것이다. 여기서 샷(Shot)이란 동영상에서 끊어짐(Interruption) 없이 하나의 촬영으로 얻어진 동영상 프레임들의 시퀀스(Sequence)를 의미한다. 이는 동영상을 구성하거나 분석하는 데 가장 기본이 되는 단위이다. 샷은 여러 개의 프레임(Frame)으로 구성된다. 프레임(Frame)은 동영상을 구성하는 정지화면이다.

질의 2는 임의선택, 질의 3은 임의선택 + 타이틀, 질의 4는 질의에 대한 결과 샷을 다시 질의에 이용하는 방법이다.

도 2에서는 상기와 같은 본 발명에 따른 동영상 검색의 클라이언트 시스템에서의 질의 1 내지 질의 4의 구조가 나타나 있다.

먼저, 질의 1에 대해 살펴본다. 질의 1은 샷 경계 검출을 한 후 원하는 샷을 질의에 사용하는 것이다.

도 2를 보면 먼저 새로운 동영상에서 샷 경계를 검출한다. 샷 경계 검출에는 후술할 샷 변화 검색 알고리즘이 사용된다. 샷 경계를 검출한 후에는 샷의 객체(Object)를 추출하고 저급수준정보를 추출한 후 MPEG-7 인스턴트 생성기로 MPEG-7 문서로 변환시킨다. 그 후 '문맥' 단계에서 현재의 샷 뿐만아니라 이전, 이후의 샷에서도 저급수준 정보를 추출한 후 기술자에 가중치를 부여하여 질의한다.

이하, 질의 1에 대해 단계별로 상세히 설명한다.

질의 1의 1단계인 '샷 경계 검출'은 새로운 동영상을 열어서 질의로 사용하고자 하는 샷을 검출하는 기능으로 여기에는 샷 변화 검색(shot change detection) 알고리즘이 적용된다.

샷 변화 검색(shot change detection) 알고리즘이란 기본적으로는 RGB(Red, Green, Blue) 색상 값의 차이를 블럭 매칭을 통해서 구하는 알고리즘으로, 본 발명에서는 다른 샷 변화 검색 알고리즘과 달리 두 개의 임계치를 사용한다. 이를 통해 검색의 정확도를 높일 수 있다. 또한 두 프레임간의 색상차이를 구함에 있어서 블럭 매칭을 이용하기 때문에 객체의 위치정보를 이용할 수 있다.

색상차이는 인접한 프레임 간의 Red, Green, Blue 값들의 차를 의미한다. 이들 값들의 차의 평균이 그 블럭의 색상차이가 된다. 색상차이를 구하는 경우 전체 화면을 블럭으로 분할하여 각 블럭의 색상차이를 구한다. 예를 들어 전체화면의 크기가 픽셀 수로 320*240이고 블럭의 크기가 16*16인 경우 300개의 매크로 블럭이 발생하고 각 블럭 내에서 R,G,B 색상차이를 구하게 된다. 이러한 블럭 매칭을 이용하면 객체의 위치정보를 이용할 수 있다는 이점이 있다. 즉, 어느 블럭에서의 색상차이가 제1 임계치를 넘는지를 살펴보면 전체화면 중 어느 부분이 변화되었는지 알 수 있어 객체의 위치를 파악할 수 있다. 블럭의 크기를 작게하면 위치정보를 더욱 정확하게 구할 수 있고 보다 정확한 샷 변화 검출이 가능해지지만 색상차이를 계산하는 속도가 느려진다는 단점이 있다. 이는 사용자가 자신의 요구에 따라 선택할 수 있는 사항으로 구현할 수 있다.

상기 R,G,B 색상차이를 구한 후 평균을 내어 그 값이 제1 임계치보다 크면 카운팅한다. 인접한 두 프레임간의 각 블럭에서의 색상차이의 평균을 구하고 그 값이 임계치 1보다 큰지 여부를 판단하여, 제1 임계치보다 큰 횟수의 숫자를 카운팅하였다면, 그 카운팅된 수를 제2 임계치와 비교하게 된다.

예를 들어, 제2 임계치는 한 프레임 내의 전체 블럭 개수의 절반으로 설정될 수 있다. 이 경우는 제1 임계치 보다 큰 색상차이가 있는 블럭의 전체 블럭의 반 이상이면 샷 변환이 발생했다고 판단하는 것이다. 즉, 만약 카운트 > (전체 블럭 개수/2) 이면 두 프레임 사이에서 샷 변환이 발생했다고 판단한다.

상기와 같은 본 발명에 따른 샷 변환 검색 알고리즘을 흐름도로 나타내면 도 3과 같다.

샷 변환 검출을 시작하면 초기값으로 n=1, count=0 을 부여한다(S301). 여기서 n은 색상차이가 계산되는 프레임의 순서이고, count는 인접한 프레임에서 색상차이가 제1 임계치를 넘는 블럭의 수이다.

초기값을 설정한 후에는 제n 프레임과 제n+1 프레임의 첫 번째 블럭의 색상차이를 계산한다(S302). 제n 프레임과 제n+1 프레임은 인접한 프레임을 의미한다. 첫 번째 블럭에서 계산한 색상차이가 제1 임계치 보다 큰지 판단하여(S303) 제1 임계치 보다 크면 count의 값을 하나 증가시킨다(S304).

블럭의 색상차이가 제1 임계치 보다 커서 count를 하나 증가시키거나 제1 임계치 이하여서 count를 증가시키지 않은 후에는 상기 색상차이를 구한 블럭이 마지막 블럭인지 여부를 판단한다(S305). 마지막 블럭이 아니라면 제n 프레임과 제n+1 프레임의 다음 블럭의 색상차이를 계산하고(S306), 그 색상차이가 제1 임계치를 넘는지 판단한 후(S303), 상기 S304, S305 단계를 반복한다.

위 단계를 반복하던 중 마지막 블럭의 색상차이를 계산하고 count 값의 증가여부를 결정한 후에는 상기 S305 단계에서 마지막 블럭으로 판단되어, S307 단계로 간다. S307 단계에서는 count 값이 제2 임계치 보다 큰지 여부를 판단한다. 제2 임 계치는 전술한 바와 같이 샷 변환이 발생하였다고 판단하는 인접한 프레임 간에 제1 임계치 보다 큰 색상차이를 갖는 블럭의 개수이다. 상기 S307 단계의 판단결과, count 값이 제2 임계치 보다 크면 샷 변환이 발생한 것으로 판단한다(S308). 그 후에는 제n+1 프레임이 마지막 프레임인지를 판단하여(S309), 마지막 프레임이라면 과정을 종료하고, 마지막 프레임이 아니라면 n 값을 하나 증가시키고(S310) 상기 S302 단계로 돌아가 다음 프레임과 다다음 프레임 사이에서 샷 변환이 발생하는지를 판단한다.

도 4는 본 발명에 따른 샷 경계 검출에서 사용되는 각 프레임의 색상차이에 따른 카운트의 변화를 나타내는 그래프이다. 여기서 전체 블럭 개수는 200개이고, 제2 임계치는 100개(전체 블럭수의 절반)라고 가정한다. 도 4의 그래프에서는 두 번 제2 임계치(100개)를 넘는 카운트가 발생하였으므로 두 번의 샷 변화가 있었다고 판단된다.

질의 1의 2단계인 '객체 추출'은 검색시 질의로 사용될 객체를 추출하는 기능이다. 이는 선택사항으로서 사용자가 이 단계를 거칠 것인지를 선택할 수 있다.

질의 1의 3단계인 '저급수준 정보추출'에서는 프레임과 객체 두 가지로 나누어서 저급수준 정보를 추출하게 되는데, 프레임에는 주요 색상(Dominant Color), 색상 구조(Color Structure), GOF(Gang Of Four)/GOP(Group Of Pictures) 색상, 에지 히스토그램(Edge Histogram), 동형 질감(Homogeneous Texture), 움직임 강도(Motion Activity), 음향(AudioWave) 등의 저급수준 정보를 추출하게 되고, 객체에서는 움직임 궤도(Motion Trajectory), 경계 형태(Contour Shape), 영역 형태 (Region Shape), 동형 질감(Homogeneous Texture), 주요 색상(Dominant Color), 색상 구조(Color Structure) 등의 저급수준 정보를 추출한다. 그런데, 프레임에서 움직임 강도(Motion Activity)의 경우 많은 계산량 때문에 시간이 오래 걸리므로 체크 버튼을 두어서 사용자가 이 저급수준 정보를 추출할 것인지 여부를 선택할 수 있다.

질의 1의 4단계에서 거치는 'MPEG-7 인스턴스 생성기'는 각각의 저급수준 정보를 MPEG-7 문서로 변환해 주는 기능을 한다.

질의 1의 5단계 '문맥'은 현재 선택한 샷 뿐만아니라 이전 샷과 이후 샷 모두에서 저급수준 정보를 추출하는 기능이다. '문맥'단계는 선택사항으로서 사용자가 이 단계를 거칠지 여부를 선택할 수 있다.

질의 1의 6단계인 '가중치 조절'은 질의시 프레임과 객체에 속한 각각의 기술자(Descriptor)에 대해서 가중치를 주는 기능이고 또한 프레임과 객체 자체에 대한 가중치도 조절할 수 있다.

질의 2 '임의선택'은 클라이언트에서 질의 시 특정 샷을 선택해서 질의에 사용하는 것이 아니라 서버의 데이터베이스 중 임의의 샷을 결과 샷으로 보여달라는 요청이다.

질의 3 '임의선택 + 타이틀'은 위에서 언급한 '임의선택'에서 '타이틀' 이라는 조건이 첨부된 기능으로서 서버의 데이터베이스 중 타이틀과 일치하는 임의의 샷을 결과 샷으로 보여달라는 요청이다.

질의 4 '결과 샷(데이터베이스 정보 이용)'은 질의에 대한 결과 샷을 받은 후에 사용할 수 있는데, 결과 샷으로 받은 데이터베이스의 정보를 다시 질의에 사용하는 기능이다.

이하, 상기와 같은 본 발명이 적용되는 클라이언트 인터페이스를 도면을 통해 예를 들어 설명한다. 도 5는 본 발명에 따른 동영상 검색 시스템의 클라이언트 인터페이스의 일 예를 나타낸다.

도 5를 보면, 사용자 인터페이스의 윈도우 창은 크게 질의에 대한 기능을 담당하는 왼쪽 윈도우 창과 결과 샷을 보여주는 오른쪽 윈도우 창으로 나누어져 있다.

질의 1의 경우는 먼저 왼쪽 윈도우 창의 'open'버튼은 클릭해서 원하는 동영상을 선택하게 되면 가운데 위치하는 메인 미디어 플레이어에 선택된 동영상이 플레이 된다. 또한, 왼쪽 미디어 플레이어는 이전 샷을 오른쪽 미디어 플레이어는 다음 샷을 플레이 하게 된다. 다음으로 질의에 사용하고자 하는 샷을 선택한 다음 'Shot Detection' 버튼은 클릭해서 원하는 샷을 동영상에서 추출하게 된다.(질의 1의 1단계 샷 경계 검출) 'Object Extraction' 버튼은 선택사항으로서 사용자의 선택에 따라서 객체의 지정 여부를 결정할 수 있다.(질의 1의 2단계 객체 추출)

샷과 객체에 대한 지정이 모두 끝났으면 이제는 'Feature Extraction' 버튼을 클릭해서 저급수준 정보를 추출하게 된다.(질의 1의 3단계 저급수준 정보 추출) 프레임에서 움직임 강도(Motion Activity) 기술자는 계산량이 많기 때문에 시간이 많이 걸리므로 메뉴에 있는 'Option' 버튼에 있는 'Motion Activity' 체크를 통해서 적용 여부를 사용자가 선택할 수 있게 해두었다. 마지막으로 프레임(Frame)과 객체(Object)의 tab 버튼을 선택해서 각각의 기술자에 대한 가중치를 조절하고 또한 슬라이더 바를 통해서 프레임(Frame)과 객체(Object) 자체에 대한 가중치도 조절을 한 후(질의 1의 6단계 가중치 조절) 'Query'버튼을 통해서 서버에 질의를 보내게 된다.

질의 2의 경우를 살펴보게 되면, 메뉴의 'Network' 버튼을 통해서 서버와의 네트웍 연결이 설정되면 'Random' 버튼을 통해서 서버의 데이터베이스 중 임의의 샷을 결과 샷으로 보여달라는 질의 보내게 된다.

질의 3은 네트워크의 연결과 함께 서버에서 받은 타이틀 중 한 개를 선택한 후 'Random' 버튼을 통해서 질의를 보내게 된다. 타이틀은 'Network' 버튼 옆에 있는 리스트 박스로서 한 가지를 선택하면 된다.

질의 4는 피드백의 형태로서 질의를 통해서 온 결과 샷을 보여주는 오른쪽 윈도우 창에서 'Query' 버튼을 클릭하게 되면 선택된 샷을 왼쪽 윈도우 창의 미디어 플레이어 보여주게 되고 가중치의 조절을 통한 후 다시 질의로 사용하게 되는 것이다. 'Context' 버튼은 질의 1과 질의 4의 경우에 있어서 문맥의 반영 여부를 선택하는 기능을 한다.(질의 1의 5단계에 사용)

오른쪽 윈도우 창에서 'Query' 버튼은 결과 샷을 다시 질의로 사용하기 위해서 왼쪽 윈도우 창으로 가져오기 위한 기능이고, 'Context' 버튼은 결과 샷의 문맥을 알기 위해서 결과 샷의 이전 샷과 이후 샷을 함께 보여주는 기능을 한다.

이상으로 본 발명에 따른 동영상 검색방법에 대해 살펴보았다. 본 발명의 범위는 본 출원서에 설명된 부분에 한정되지 않고 명세서와 첨부된 청구항들에서 설 명되는 기술적 사상에 속하는 모든 변형된 형태와 수정된 형태를 포함한다.

본 발명에 의하면 가중치 조절이나 문맥 등의 새로운 질의 요소들을 반영한 시스템 구축을 통해서 좀 더 효율적이고 정확성 높은 예제 기반 동영상 검색이 가능하게 된다는 이점이 있다. 본 발명에서 제안한 알고리즘과 전체 시스템은 MPEG-7 에 바탕을 둔 예제 기반 동영상 검색이나 DVL(Digital Video Library) 시스템 등에 유용하게 사용될 수 있다.

Claims

동영상에서 샷 경계를 검출하는 샷 경계 검출단계;

상기 샷 경계 검출단계에서 검출된 샷의 프레임에서 저급수준 정보를 추출하는 저급수준 정보 추출단계;

상기 저급수준 정보 추출단계에서 추출된 저급수준 정보 기술자들의 가중치를 설정하는 가중치 조절단계; 및

상기 가중치 조절단계에서 설정된 기술자들의 가중치에 따라 기술자 간의 검색 가중치를 달리하여 동영상을 검색하는 동영상 검색단계를 포함하는 것을 특징으로 하는 동영상 검색방법.
청구항 1에 있어서, 상기 샷 경계 검출단계는,

동영상의 프레임을 여러 개의 블럭으로 분할하는 블럭생성단계;

인접한 프레임에서 각 블럭별로 모든 블럭에 대하여 색상차이를 계산하는 색상차이 계산단계;

상기 색상차이 계산단계에서 계산된 색상차이가 제1 임계치보다 큰지 여부를 각 블럭별로 모든 블럭에 대하여 판단하는 색상차이 판단단계;

상기 색상차이 판단단계에서 제1 임계치보다 색상 차이가 큰 것으로 판단된 블럭의 개수가 제2 임계치보다 큰지 여부를 각 인접한 프레임별로 모든 인접한 프레임에 대하여 판단하는 샷 변환 판단단계; 및

상기 샷 변환 판단단계에서 제1 임계치보다 색상 차이가 큰 블럭의 개수가 제2 임계치보다 큰 인접 프레임의 사이를 샷 경계로 판단하는 샷 경계 판단단계를 포함하는 것을 특징으로 하는 동영상 검색방법.
청구항 2에 있어서, 상기 색상차이 계산단계에서,

각각의 블럭의 색상차이를 계산하는 경우 Red, Green, Blue의 RGB 색상별로 색상 차이를 계산하여 그 평균을 색상차이로 하는 것을 특징으로 하는 동영상 검색방법.
청구항 1에 있어서, 상기 저급수준 정보 추출단계에서,

추출되는 저급수준 정보는 프레임의 주요 색상(Dominant Color), 색상 구조(Color Structure), GOF(Gang Of Four)/GOP(Group Of Pictures) 색상, 에지 히스토그램(Edge Histogram), 동형 질감(Homogeneous Texture), 움직임 강도(Motion Activity), 음향(AudioWave)인 것을 특징으로 하는 동영상 검색방법.
청구항 1에 있어서, 상기 샷 경계 검출단계 이후에,

검출된 샷의 객체를 추출하는 객체추출단계를 더 포함하고,

상기 저급수준 정보 추출단계에서 상기 객체추출단계에서 추출된 객체의 저급수준 정보도 추출하는 것을 특징으로 하는 동영상 검색방법.
청구항 5에 있어서, 상기 저급수준 정보 추출단계에서,

추출되는 저급수준 정보는 프레임의 주요 색상(Dominant Color), 색상 구조(Color Structure), GOF(Gang Of Four)/GOP(Group Of Pictures) 색상, 에지 히스토그램(Edge Histogram), 동형 질감(Homogeneous Texture), 움직임 강도(Motion Activity), 음향(AudioWave)과,

객체의 움직임 궤도(Motion Trajectory), 경계 형태(Contour Shape), 영역 형태(Region Shape), 동형 질감(Homogeneous Texture), 주요 색상(Dominant Color), 색상 구조(Color Structure)인 것을 특징으로 하는 동영상 검색방법.
청구항 1에 있어서, 상기 저급수준 정보 추출단계 이후에,

현재 선택한 샷 뿐만아니라 이전 샷과 이후 샷 모두에서 저급수준 정보를 추출하는 문맥단계를 더 포함하는 것을 특징으로 하는 동영상 검색방법.