KR100644016B1 - 동영상 검색 시스템 및 방법 - Google Patents

Abstract

본 발명은 이미지 검색 방법과 텍스트 검색 방법을 복합적으로 사용하여 동영상을 검색할 수 있는 동영상 검색 시스템에 있어서,

동영상을 분석하여 이미지를 검출해내는 장면 검출기: 및 상기 검출된 이미지에 주석 정보를 기입하는 주석기:를 포함하는 동영상 저작부;

상기 주석 정보가 기입된 이미지 및 각 이미지에 대한 색상, 형태, 질감 정보를 추출하여 저장하는 서버;

상기 서버에 저장된 주석 정보가 기입된 이미지를 입력받아 주석 정보와 이미지로 분리하는 입력 처리기: 상기 입력 처리기에서 분리된 주석 정보를 색인하는 주석 기반 검색 엔진: 상기 입력 처리기에서 분리된 이미지를 색인하는 이미지 검색 엔진: 및 사용자로부터 검색을 원하는 텍스트, 이미지, 이미지 검색 방식을 입력받아 유사도 검색을 통하여 상기 색인된 주석 정보 및 이미지와 유사도 검색을 하여 결과 셋을 얻어내는 질의 처리기:를 포함하는 동영상 검색부;로 이루어지는 것을 특징으로 하는 동영상 검색 시스템에 관한 것이다.

장면 검출기, 주석기, 동영상 저작부, 입력 처리기, 질의 처리기, 동영상 검색부

Description

동영상 검색 시스템 및 방법{Moving picture search system and method thereof}

도 1은 본 발명의 동영상 검색 시스템의 전체 구성도.

도 2는 본 발명의 동영상 저작부의 구조도.

도 3은 본 발명에 따른 동영상 저작 과정의 처리흐름도.

도 4는 본 발명의 동영상 검색부의 구조도.

도 5는 본 발명에 따른 동영상 색인 과정의 처리흐름도.

도 6은 본 발명에 따른 동영상 검색 과정의 처리흐름도.

도 7은 본 발명에 따른 동영상 검색 시스템 사용자 인터페이스 화면도.

본 발명은 동영상 검색 시스템 및 방법에 관한 것으로, 보다 상세하게는 동영상을 검색할 때 기존의 이미지 검색방법 또는 텍스트 검색방법을 복합하여 동영상 검색에 적합한 검색 시스템을 구성하고 이에 적합한 질의방법에 관한 동영상 검 색 시스템 및 방법에 관한 것이다.

종래에는 텍스트 검색방법 아니면 이미지 검색방법 중 어느 하나로만 검색할 수 밖에 없었다. 따라서, 종래의 텍스트 검색방법 즉, 주석기반 검색엔진에 의할 경우 텍스트 검색에만 의존하므로 비슷한 이미지의 화면을 비교하여 원하는 검색결과를 얻을 수 없었으며, 종래의 이미지 검색방법, 즉 이미지 검색엔진에 의할 경우 이미지 검색에만 의존하므로 텍스트를 이용하는 검색이 아울러 행해질 수 없는 문제가 있었다.

또한, 종래의 주석기반 검색엔진은 동영상에 있는 이미지에 대한 주석에 대해서만 검색을 수행할 수 있었는데, 주석기반 엔진에 사용되는 검색엔진은 기본적으로 키워드 텍스트 검색엔진이 사용되었으며 기존 텍스트 검색엔진을 사용하여 구축되어 왔다. 이러한 검색엔진의 문제점은 중의성을 해결하기에 문제가 많다는 것이었다. 예를 들어, 우리가 '이상은'이란 단어를 사용하여 검색을 수행할 경우 검색엔진은 '이상은'을 '가수 이상은'으로 해석할 지 '이상은 동영상에 관한 강연이었습니다.'처럼 부사로 해석할지 분간할 방법이 없다. 따라서 기존의 검색엔진은 이 두가지 경우를 다 지정하는 것이 원칙이었다. 그러나 이러한 문제는 갯수가 늘어나면서 사용자의 '이상은'이란 검색결과가 기하 급수적으로 증가하기 때문에 올바른 대처방법이라고 할 수 없다. 그렇다고 해서 사용자가 '가수 이상은'이라고 질의어를 입력하더라도 '가수'란 키워드에 대해서 색인되어 있지 않기 때문에 결과를 얻을 수 없는 상황에 있게 된다. 또한 이미지만으로 검색을 수행할 경우 색깔이나 혹은 모양에 비슷한 이미지에 대해서는 효과적인 결과를 얻을 수 있으나 비슷한 영 상이 많을 경우 효과적인 검색결과를 사용자에게 제시할 수 없다.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 동영상을 다루면서 발생하는 이미지를 이용하여 이미지 검색엔진과 주석기반 검색엔진을 융합하여 중의성이 있는 검색결과에 대해서 필터링 할 수 있는 방안을 제시하는 동영상 검색 시스템 및 방법을 제공하는데 그 목적이 있다. 즉, 상기의 문제점과 같은 경우 가수 이상은에 대한 이미지와 키워드로 '이상은'을 넣을 경우 동영상 검색엔진은 올바른 검색 결과를 사용자에게 제시할 수 있다.

본 발명은 상기 목적을 달성하기 위하여 다음과 같은 구성을 가진다.

본 발명의 일 태양에 따르면, 본 발명의 동영상 검색 시스템은 이미지 검색 방법과 텍스트 검색 방법을 복합적으로 사용하여 동영상을 검색할 수 있는 동영상 검색 시스템에 있어서, 동영상을 분석하여 각 동영상을 샷-디텍션(shot-detection)을 통해 장면 변환이 있거나 정해진 시간마다 이미지를 검출해내는 장면 검출기; 및 상기 장면 검출기에서 검출된 이미지에 주석 정보를 기입하는 주석기;를 포함하는 동영상 저작부; 상기 동영상 저작부를 통해 주석 정보가 기입된 이미지를 저장하고, 상기 이미지의 유사도 검색을 위해 각 이미지에 대한 색상, 형태, 질감 정보를 추출하여 저장하는 서버; 상기 서버에 저장된 주석 정보가 기입된 이미지를 입력받아 주석 정보와 이미지로 분리하는 입력 처리기; 상기 입력 처리기에서 분리된 주석 정보를 색인하는 주석 기반 검색 엔진; 상기 입력 처리기에서 분리된 이미지를 색인하는 이미지 검색 엔진; 및 사용자로부터 검색을 원하는 텍스트, 이미지, 텍스트/이미지 검색 방식을 입력받아 상기 색인된 주석 정보 및 이미지와 유사도 검색을 하여 결과 셋을 얻어내는 질의 처리기;를 포함하는 동영상 검색부;로 이루어지는 것을 특징으로 한다.
한편, 본 발명의 실시예에 따른 동영상 검색 방법은, 주석기반 검색 엔진과 이미지 검색 엔진을 통해 이미지 검색 방법과 텍스트 검색 방법을 복합적으로 사용하여 동영상을 검색할 수 있도록 하는 동영상 검색 방법에 있어서, 상기 동영상의 이미지를 추출하고 주석 정보를 기입하는 동영상 저작부는 각각의 동영상을 분석하여 샷-디텍션(shot-detection)을 통해 장면 변환이 있거나 정해진 시간마다 이미지를 검출하고, 상기 검출된 이미지에 주석 정보를 기입하는 제 1 단계; 서버가 상기 제1 단계에서 주석 정보가 기입된 이미지를 상기 서버 내의 저장 공간에 저장하는 제 2 단계; 사용자 질의에 따라 해당 동영상을 검색하는 동영상 검색부는 상기 제2 단계에서 저장된 주석 정보가 기입된 이미지를 상기 서버는 주석 정보와 이미지로 각각 분리하는 제 3 단계; 상기 동영상 검색부는 상기 제 3 단계에서 분리된 주석 정보를 주석기반 검색엔진에서 색인하는 제 4 단계; 상기 동영상 검색부는 상기 제3 단계에서 분리된 이미지에 대한 색상, 형태, 질감 정보로부터 색상, 형태, 질감 또는 이들의 통합 속성 정보에 대한 벡터열을 만드는 방식으로 상기 이미지 검색엔진에서 이미지를 색인하는 제 5 단계; 상기 동영상 검색부는 사용자가 검색을 원하는 이미지를 입력하였는지를 판단하는 제 6 단계; 상기 제 6 단계에서 이미지가 입력되었다면, 상기 동영상 검색부는 색상, 형태, 질감 또는 통합 속성 중 사용자에 의하여 체크된 항목에 대하여 상기 색인된 정보와 유사도 검색을 하는 제 7 단계; 상기 제 7 단계에서 행한 유사도 검색에 의하여 상기 동영상 검색부는 이미지 결과 셋을 구성하는 제 8 단계; 상기 상기 동영상 검색부는 사용자가 검색을 원하는 텍스트를 입력하였는지를 판단하여 텍스트가 입력되었다면 주석기반 결과 셋을 구성하는 제 9 단계; 및 상기 동영상 검색부는 제 8 단계와 제9 단계에서 구성된 상기 이미지 결과 겟과 주석기반 결과 셋을 상호 비교하여 양 결과 셋에 모두 포함되는 것들로 구성된 최종 결과 셋을 사용자에게 전송하는 제 10 단계;를 포함하는 것을 특징으로 한다.

이하, 상기한 본 발명을 실시하기 위한 바람직한 실시예에 대해 도면을 참조하여 구체적으로 살펴보기로 한다.

도 1은 본 발명을 수행하는 동영상 검색 시스템의 전체 구성도이다.

본 동영상 검색 시스템은 동영상에서 이미지를 검출하여 검출된 이미지에 대한 주석 정보를 기입하여 서버로 보내는 동영상 저작부(200), 주석 정보가 기입된 이미지 및 각 이미지에 대한 색상, 형태, 질감 정보를 추출하여 저장하는 서버(100), 서버에 저장된 주석 정보가 기입된 이미지를 입력받아 주석 정보와 이미지를 색인하고, 사용자로부터 입력된 텍스트 및 이미지 검색 정보를 입력받아 해당 결과 셋을 검색하는 동영상 검색부(400)로 이루어진다.

도 2는 본 발명을 수행하는 동영상 저작부의 구조도이고, 도 3은 본 발명에 따른 동영상 저작 과정의 처리흐름도이다.

동영상 저작부(200)는 동영상을 추출하여 주석정보를 기입하고 저장을 하는 것으로서 장면검출기(210)와 주석기(220)로 구성되어 있다.

우선 장면검출기(210)는 입력된 각각의 동영상을 샷-디텍션(shot-detection)을 통해서 장면변환이 있는 장면을 추출한다(s310, s320). 이때 샷으로 지정될 수 있는 것은 장면 변환이 있는 이미지이거나 혹은 지정된 시간(가령 1초)마다 강제적 으로 추출한 이미지이다. 또한 각각의 이미지에는 전체 동영상에서 이미지가 들어가 있는 타임코드 정보를 담고 있다.

도 2에서의 동영상(230)이 '연설하는 사람의 그림'을 포함하는 경우를 예를 들어 설명하기로 한다. 장면검출기(210)는 전체 동영상 중에서 '연설하는 사람의 그림'과 관련된 이미지를 찾아서 추출한다(s320). 그러면 저작자는 주석기(220)를 통하여 상기 이미지와 관련된 주석 정보를 기입한다(s330). 도 2의 예에서는 주석 정보를 '김대중'이라는 예를 들었는데, 상기 '연설하는 사람의 그림'에서 '연설하는 사람'은 '김대중'이라는 정보를 기입하는 것이다.

일차로 주석 정보를 기입한 후에 각각의 이미지의 셋들이 의미를 갖는 경우에는 저작자는 디렉토리처럼 묶어가면서 상위 디렉토리로 다음 주석처리를 해준다(s340). 가령 상기 예에서 '김대중'이란 주석은 '정치'라는 상위 디렉토리에 구성될 수 있을 것이다. 이러한 상위레벨로 주석처리를 해가는 경우는 상황에 따라서 몇 레벨로 올라가면서 디렉토리를 구성할 수도 있고, 장르에 따라서는 한 단계의 레벨에서 끝날 수도 있다.

주석 정보를 기입 후에는 주석 정보가 기입된 상기 이미지를 서버(100)에 저장하게 되는데(s350), 나중의 이미지 검색을 위해서 각 추출 이미지에 대한 색상(color), 형태(shape), 질감(texture) 정보를 추출하여 저장한다. 이 세가지 카테고리로 추출함으로써, 색상 정보별, 형태 정보별, 질감 정보별 또는 통합 정보별로 유사도 검색을 행할 수 있다.

이런 식으로 주석 정보가 기입되어 저장된 이미지는 나중에 동영상 검색시에 검색 대상이 된다.

도 4는 본 발명을 수행하는 동영상 검색부의 구조도이다.

상기와 같이 저작이 끝난 후에는 동영상 검색부(400)에 의하여 색인을 하게 되고, 색인된 정보로서 사용자에 의하여 검색된다. 다시말해 동영상 검색부(400)에 의해서는 색인작업과 검색작업이 이루어진다.

먼저 색인작업에 대해서 살펴보겠다.

도 5는 본 발명에 따른 동영상 색인 과정의 처리흐름도이다.

서버에는 동영상 저작부(200)에서 저작된 주석정보가 기입된 이미지 셋들이 저장되어 있는데(s510), 동영상 검색부(400)의 입력 처리기(410)에서는 상기 주석정보가 기입된 이미지 셋들을 주석정보와 이미지로 분리한다(s520). 입력 처리기(410)에서는 이들을 분리하여 주석정보는 주석기반 검색엔진(420)으로 보내고(s530), 이미지는 이미지 검색엔진(430)으로 보낸다(s550). 주석기반 검색엔진(420)에서는 들어온 주석정보를 색인하고(s540), 이미지 검색엔진(430)에서는 들어온 이미지를 색인하게 되는데, 특히 이미지 검색엔진(430)에서는 다음과 같은 방법으로 이미지를 색인한다.

먼저 이미지 검색엔진(430)에서는 이미지들에서 색상, 형태, 질감 정보를 뽑아(s560) 색상, 형태, 질감 정보에 대한 각각의 벡터열을 만들고 이후 세 벡터열을 조합한 속성 통합 벡터를 만든다(s570). 즉 색상(x1, x2, ..., xl), 형태(y1, y2, ..., ym), 질감(z1, z2, ..., zn) 일 경우 조합한 벡터는 (x1,...,xl, y1,...,ym, z1,...,zn) 이 된다. 이후 색상정보는 벡터를 지원하는 다차원 인덱싱을 지원하는 자료구조(R tree, Spy Tree, Etc)인 인덱스 Ix에 색인하고, 형태정보는 벡터를 지원하는 다차원 인덱싱을 지원하는 자료구조(R tree, Spy Tree, Etc)인 인덱스 Iy에 색인하고, 질감정보는 벡터를 지원하는 다차원 인덱싱을 지원하는 자료구조(R tree, Spy Tree, Etc)인 인덱스 Iz에 색인하고(s580), 상기 세가지 벡터를 조합한 새로운 벡터열은 벡터를 지원하는 통합 인덱스 It에 색인한다(s590).

상기의 방식으로 색인된 주석과 이미지는 랭커(440)로 넘겨지게 되는데, 랭커(440)에서는 색인된 주석과 이미지를 최근 시간 순서로 정렬하게 된다.

이제 사용자에 의한 검색작업에 대하여 살펴보겠다.

도 6은 본 발명에 따른 동영상 검색 과정의 처리흐름도이다.

또한, 사용자의 검색작업에 대하여 살펴보기 위하여는 먼저 도 7에 대하여 살펴보아야 하는데, 도 7은 본 발명에 따른 동영상 검색 시스템 사용자 인터페이스 화면도이다.

사용자는 도 7과 같이 이미지와 텍스트로 구성된 방식으로 질의를 한다. 예를 들어 질의를 할 그림에는 이미지A(연설하는 사람의 그림)(710)와 텍스트 박스(760)에는 '김대중'이란 단어를 넣으면 이에 해당하는 질의의 의미는 이미지 A와 유사한 이미지로서 김대중이란 텍스트를 갖는것, 즉 '김대중 대통령이 연설하는 장면'과 같이 정의할 수 있다.

기존의 주석기반 검색엔진의 경우 '김대중 연설 장면'을 검색하려고 해도 만일 서버에 저장된 이미지들의 주석에 '김대중 연설 장면'이란 주석이 들어가 있지 않은 경우에는 주석 기반 검색만으로는 해당 이미지를 바로 검색할 수 없고 단지 ' 김대중'에 대한 주석이 들어가 있는 모든 결과를 가져오게 되어 이중에서 재차 검색을 하는 불편이 있었다.

그러나, 본 발명에서 제시하고 있는 방식에 의하면 서버 저장 이미지들의 주석에 '김대중 연설 장면'이란 주석이 없더라도 '김대중'이란 주석과 이미지A('연설하는 사람의 그림')와 같은 이미지만 있으면 상기 검색이 가능하게 된다.

또한, 도 7에서 도시하는 바와 같이 색상, 형태, 질감, 속성통합의 각각에 대한 체크란(720, 730, 740, 750)이 있어서, 각각의 이미지에 따라서 감도를 조절할 수 있는 기능을 지원하고 있다. 상기 예의 '연설하는 사람의 그림'에서와 같은 대개의 경우 색상, 형태, 질감의 조합인 속성통합란(750)에 체크하는 것이 유리하다. 또한, 질의하고자 하는 이미지가 그레이 스케일 이미지인 경우 색상이 별로 의미가 없으므로 형태 가중치를 넣어서 질의할 수 있는 기능도 지원한다.

다시 도 4와 관련하여 사용자의 검색작업으로 돌아와서 살펴보겠다.

사용자가 상기 도 7과 같은 화면에서 이미지와 키워드 검색을 입력한다(s600). 사용자는 이미지의 특성에 따라서 색상, 형태, 질감, 속성통합 중의 어느 한 체크란(720, 730, 740, 750)을 선택하여 질의할 수 있다. 그러면 동영상 검색부(400)의 질의처리기(450)는 사용자가 입력한 질의를 분석하게 되는데 다음과 같은 방법을 사용한다.

질의처리기(450)는 입력창(710)에 사용자가 검색을 원하는 이미지를 입력하였는지를 판단한다(s602). 이미지가 존재하는 경우라면 사용자로부터 색상, 형태, 질감 또는 속성통합 중 어느 하나에 대한 선택여부를 수신한다(s604, s606, s608, s610). 만일 색상 체크란(720)에 체크가 되어 있다면 질의처리기(450)는 이미지에서 색상 벡터 정보를 추출하여(s612) 상기의 색상 인덱스 Ix(도 5 참조)에서 유사도 검색을 하고(s620) 이미지 결과 셋 Rs를 구성한다(s628). 이 결과 셋은 동영상을 나타내는 ID 와 그 주석이 들어가 있는 동영상의 타임코드로 구성된다. 즉, (동영상 ID, 타임코드)의 형태로 구성되어 있다. 같은 방법으로 형태 체크란(730)에 체크가 되어 있다면(s606) 이미지에서 형태 벡터 정보를 추출하여(s614) 상기 형태 인덱스 Iy(도 5 참조)에서 유사도 검색을 하고(s622) 이미지 결과 셋 Rs를 구성한다(s630). 이는 질감정보와 속성통합정보에 대해서도 마찬가지이다(s608, s616, s624, s632; s610, s618, s626, s634).

이미지에 대하여 검색을 마쳤으면 텍스트에 대하여 검색을 한다. 먼저 텍스트가 존재하는지를 판단한다(s636). 텍스트가 존재하지 않으면 상기의 이미지 결과 셋이 존재하는지를 판단하여(s638) 이미지 결과 셋이 있으면 사용자에게 이미지 결과 셋 Rs를 전송하고 종료한다(s640). 만약 이미지 결과 셋이 존재하지 않는다면 아무런 결과 셋을 얻지 못하고 종료하게 되는 것이다.

텍스트가 존재할 경우 텍스트 검색을 수행하여 서버에 저장된 이미지의 주석 정보를 검색하여 상기 입력창(760)에 입력된 텍스트와 비교하여 동일 유사한 텍스트를 포함하는 이미지를 검출하여 데이터베이스화된 주석결과 셋 RT를 구성한다(s642).

이후 상기의 이미지 결과 셋이 존재하는지를 판단하여(s644), 이미지 셋이 존재하지 않는다면 텍스트 검색을 수행하여 얻은 주석기반 결과 셋 RT를 전송하고 종료한다(s646). 만일 이미지 셋도 존재한다면 주석기반 결과 셋 RT와 이미지 결과 셋 Rs의 교집합을 구해내야 한다. 이는 다음의 방법으로 수행된다.

먼저 RT 의 한 원소 rti를 선택하고 RT 셋에서 지운다(s648). 그 다음 rti의 타임코드 정보를 얻는다(s650). 예를 들어 i=1인 경우의 RT의 원소 rt1의 타임코드 rt1_time 를 이미지 셋의 원소들인 rsi의 타임코드들과 비교하여 rt1_time - e < rsi_time < rt1_time + e (i=1...N, N은 이미지 검색에서 추출한 결과 셋의 갯수) 의 조건을 만족하는지를 확인한다(s652). 즉, 타임코드가 00:03:04 라면, 00:03:04 - e < y < 00:03:04 + e 를 만족하는 이미지 결과 원소 y를 찾는 것이다. 이러한 조건을 만족할 경우 결과 셋에 넣고, 이러한 작업은 주석기반에서 나온 검색 셋에 원소가 없을 때까지 반복한다(s654). 다시 말해 RT가 10개이고 Rs가 30개 나왔다면, 주석기반 결과 셋 RT 10개에 대해서 Rs를 찾는 것이므로 총 10번의 과정을 수행하게 되는 것이다. 이러한 방법으로 찾아진 결과 셋은 주석기반 검색과 이미지 검색이 모두 행해진 결과로서, 이 결과를 사용자에게 전송하면 사용자는 원하는 검색 결과를 얻게된다(s656).

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도내에서 여러가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 된다.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 동영상 검색 시스템 및 방법에 따르면 기존의 이미지 검색엔진과 주석기반 검색엔진을 가진 동영상 검색 시스템에서 이질적인 검색엔진을 통합하여 이미지 검색엔진, 주석기반 검색엔진, 이미지/주석 복합 검색엔진의 세가지 검색엔진을 사용할 수 있는 동영상 검색 시스템을 제시함으로써, 점진적으로 증가하고 있는 동영상에 대한 검색에 있어 사용자의 요구를 보다 증진시켜 준다고 할 수 있다.

이러한 동영상 검색 시스템은 현재 아카이브 시스템이나 혹은 디지털 동영상 컨텐츠를 다루는 CMS(Content Management System)에 검색 모듈로 효과적으로 사용될 수 있으며 기존의 텍스트 검색엔진만으로 제공할 수 없는 효과적인 검색 결과를 제공할 수 있다. 즉, 동영상에 적합한 이미지를 사용자의 텍스트 질의어와 같이 받아들임으로써 이미지 처리 부분을 중의성을 제거하는 필터로 사용함으로써 보다 동영상에 특질에 맞고 보다 정교한 검색시스템을 이용할 수 있게 된다.

또한, 주석기반의 텍스트 데이터가 보편적이라고 해도 특정 질의의 형태로 의미가 있는 이미지를 갖춘다면 보다 효과적인 동영상 검색시스템이 될 것이다.

Claims (13)

1. 이미지 검색 방법과 텍스트 검색 방법을 복합적으로 사용하여 동영상을 검색할 수 있는 동영상 검색 시스템에 있어서,

   동영상을 분석하여 각 동영상을 샷-디텍션(shot-detection)을 통해 장면 변환이 있거나 정해진 시간마다 이미지를 검출해내는 장면 검출기; 및 상기 장면 검출기에서 검출된 이미지에 주석 정보를 기입하는 주석기;를 포함하는 동영상 저작부;

   상기 동영상 저작부를 통해 주석 정보가 기입된 이미지를 저장하고, 상기 이미지의 유사도 검색을 위해 각 이미지에 대한 색상, 형태, 질감 정보를 추출하여 저장하는 서버;

   상기 서버에 저장된 주석 정보가 기입된 이미지를 입력받아 주석 정보와 이미지로 분리하는 입력 처리기; 상기 입력 처리기에서 분리된 주석 정보를 색인하는 주석 기반 검색 엔진; 상기 입력 처리기에서 분리된 이미지를 색인하는 이미지 검색 엔진; 및 사용자로부터 검색을 원하는 텍스트, 이미지, 텍스트/이미지 검색 방식을 입력받아 상기 색인된 주석 정보 및 이미지와 유사도 검색을 하여 결과 셋을 얻어내는 질의 처리기;를 포함하는 동영상 검색부;로 이루어지는 것을 특징으로 하는 동영상 검색 시스템.
2. (삭제)
3. 제 1 항에 있어서,

   상기 동영상 검색부에는 상기 색인된 주석 정보와 이미지를 최근 입력 시간 순서로 정렬하는 랭커를 추가로 포함하는 것을 특징으로 하는 동영상 검색 시스템.
4. 제 1 항에 있어서,

   상기 동영상 검색부의 이미지 검색엔진은 상기 입력 처리기에서 분리된 이미지에 대하여 색상 정보에 대한 벡터열을 만들어 이를 인덱스 Ix에 색인하는 것을 특징으로 하는 동영상 검색 시스템.
5. 제 1 항에 있어서,

   상기 동영상 검색부의 이미지 검색엔진은 상기 입력 처리기에서 분리된 이미지에 대하여 형태 정보에 대한 벡터열을 만들어 이를 인덱스 Iy에 색인하는 것을 특징으로 하는 동영상 검색 시스템.
6. 제 1 항에 있어서,

   상기 동영상 검색부의 이미지 검색엔진은 상기 입력 처리기에서 분리된 이미지에 대하여 질감 정보에 대한 벡터열을 만들어 이를 인덱스 Iz에 색인하는 것을 특징으로 하는 동영상 검색 시스템.
7. 제 1 항에 있어서,

   상기 동영상 검색부의 이미지 검색엔진은 상기 입력 처리기에서 분리된 이미지에 대하여 색상, 형태, 질감 정보에 대한 각각의 벡터열을 조합하여 통합 속성 정보에 대한 벡터열을 만들어 이를 인덱스 It에 색인하는 것을 특징으로 하는 동영상 검색 시스템.
8. 제 1 항에 있어서,

   상기 동영상 검색부의 질의 처리기가 입력받는 이미지 검색 방식은 색상 정보 비교, 형태 정보 비교, 질감 정보 비교 또는 상기 3가지 정보의 통합 속성 정보 비교 방식 중의 어느 하나인 것을 특징으로 하는 동영상 검색 시스템.
9. 주석기반 검색 엔진과 이미지 검색 엔진을 통해 이미지 검색 방법과 텍스트 검색 방법을 복합적으로 사용하여 동영상을 검색할 수 있도록 하는 동영상 검색 방법에 있어서,

   상기 동영상의 이미지를 추출하고 주석 정보를 기입하는 동영상 저작부는 각각의 동영상을 분석하여 샷-디텍션(shot-detection)을 통해 장면 변환이 있거나 정해진 시간마다 이미지를 검출하고, 상기 검출된 이미지에 주석 정보를 기입하는 제 1 단계;

   서버가 상기 제1 단계에서 주석 정보가 기입된 이미지를 상기 서버 내의 저장 공간에 저장하는 제 2 단계;

   사용자 질의에 따라 해당 동영상을 검색하는 동영상 검색부는 상기 제2 단계에서 저장된 주석 정보가 기입된 이미지를 상기 서버는 주석 정보와 이미지로 각각 분리하는 제 3 단계;

   상기 동영상 검색부는 상기 제 3 단계에서 분리된 주석 정보를 주석기반 검색엔진에서 색인하는 제 4 단계;

   상기 동영상 검색부는 상기 제3 단계에서 분리된 이미지에 대한 색상, 형태, 질감 정보로부터 색상, 형태, 질감 또는 이들의 통합 속성 정보에 대한 벡터열을 만드는 방식으로 상기 이미지 검색엔진에서 이미지를 색인하는 제 5 단계;

   상기 동영상 검색부는 사용자가 검색을 원하는 이미지를 입력하였는지를 판단하는 제 6 단계;

   상기 제 6 단계에서 이미지가 입력되었다면, 상기 동영상 검색부는 색상, 형태, 질감 또는 통합 속성 중 사용자에 의하여 체크된 항목에 대하여 상기 색인된 정보와 유사도 검색을 하는 제 7 단계;

   상기 제 7 단계에서 행한 유사도 검색에 의하여 상기 동영상 검색부는 이미지 결과 셋을 구성하는 제 8 단계;

   상기 상기 동영상 검색부는 사용자가 검색을 원하는 텍스트를 입력하였는지를 판단하여 텍스트가 입력되었다면 주석기반 결과 셋을 구성하는 제 9 단계; 및

   상기 동영상 검색부는 제 8 단계와 제9 단계에서 구성된 상기 이미지 결과 겟과 주석기반 결과 셋을 상호 비교하여 양 결과 셋에 모두 포함되는 것들로 구성된 최종 결과 셋을 사용자에게 전송하는 제 10 단계;를 포함하는 것을 특징으로 하는 동영상 검색 방법.
10. 제 9 항에 있어서,

    상기 제 8 단계의 색상에 대한 유사도 검색은 사용자가 입력한 이미지에서 추출된 색상 벡터 정보와 상기 색상 인덱스 Ix에 색인되어 있는 색상 벡터 정보간 의 유사도 검색인 것을 특징으로 하는 동영상 검색 방법.
11. 제 9 항에 있어서,

    상기 제 8 단계의 형태에 대한 유사도 검색은 사용자가 입력한 이미지에서 추출된 형태 벡터 정보와 상기 형태 인덱스 Iy에 색인되어 있는 형태 벡터 정보간의 유사도 검색인 것을 특징으로 하는 동영상 검색 방법.
12. 제 9 항에 있어서,

    상기 제 8 단계의 질감에 대한 유사도 검색은 사용자가 입력한 이미지에서 추출된 질감 벡터 정보와 상기 질감 인덱스 Iz에 색인되어 있는 질감 벡터 정보간의 유사도 검색인 것을 특징으로 하는 동영상 검색 방법.
13. 제 9 항에 있어서,

    상기 제 8 단계의 통합 속성에 대한 유사도 검색은 사용자가 입력한 이미지에서 추출된 통합 속성 벡터 정보와 상기 통합 속성 인덱스 It에 색인되어 있는 통합 속성 벡터 정보간의 유사도 검색인 것을 특징으로 하는 동영상 검색 방법.

Images