KR100939215B1 - 인덱스 데이터베이스 생성 장치 및 검색 장치 - Google Patents

Abstract

본 발명은 인덱스 데이터베이스 생성 장치 및 검색 장치에 관한 것으로, 데이터베이스를 구성할 인덱스를 선택하기 위해 특정 콘텐츠에서는 빈도가 높고, 다른 콘텐츠들에서는 빈도가 낮은 특징 인덱스를 선택하거나, 해당 콘텐츠 내에서 자주 반복되는 인덱스 등을 선택하여 데이터베이스화할 특징 인덱스의 양을 줄임으로써, 특징 인덱스 데이터베이스의 크기를 줄여 저장 공간을 절감하고, 입력 콘텐츠 파일의 검색에 소요되는 시간을 줄일 수 있는 장점이 있다.

콘텐츠 인식, 인덱스 데이터베이스 생성, 인덱스 데이터베이스 검색

Description

인덱스 데이터베이스 생성 장치 및 검색 장치{CREATION APPARATUS AND SEARCH APPARATUS FOR INDEX DATABASE}

본 발명은 인덱스 데이터베이스(database)의 생성 및 검색에 관한 것으로, 더욱 상세하게는 콘텐츠 인식을 위해 특징으로부터 인덱스를 생성하고 데이터베이스에 저장할 때에 특징 인덱스 데이터베이스의 크기를 줄이고 인식 속도를 높이기 위해 인덱스의 분포 특성에 따라 선택적으로 데이터베이스를 구성하는 인덱스 데이터베이스 생성 장치 및 검색 장치에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력 기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호 : 2007-S-017-01 , 과제명 : 사용자 중심의 콘텐츠 보호 유통 기술 개발]

콘텐츠 인식 시스템은 미지의 콘텐츠 신호를 입력으로 받아 미리 구축된 특징 인덱스 데이터베이스를 검색하여 콘텐츠를 인식하는 것이다. 콘텐츠 인식 시스템은 응용분야에 따라, 방송 광고 및 음악 모니터링, 파일공유 서비스에서 파일 필 터링 등에 이용될 수 있다. 이러한 분야에 콘텐츠 인식 시스템을 활용하기 위해서는, 대규모 콘텐츠를 효율적으로 데이터베이스에 저장하고, 빠르게 검색하면서, 콘텐츠 신호에 변화를 주는 압축, 필터링 등의 다양한 변환에 대한 높은 인식 성능이 요구된다. 특히, 대용량의 콘텐츠 특징 데이터베이스를 기반으로 동작하는 방송 모니터링, 파일 필터링 분야에서는 인식 성능과 함께 콘텐츠 데이터베이스의 크기를 줄이고 실시간 처리를 위한 인식 속도가 매우 중요한 요소가 된다.

종래 기술에 따른 콘텐츠 인식 기술로는, 오디오 데이터베이스의 검색 방법에 있어서 랜드마크라는 오디오 신호의 특이점에서 특징을 추출하여 데이터베이스에 저장하는 방법이 있으며, 핑거프린트의 효율적 저장에 있어서 콘텐츠에서 순차적으로 추출된 특징을 서브샘플링하여 인덱싱하는 방법이 있다.

앞서 기술한 종래 기술들은 랜드마크라는 콘텐츠 신호의 국지적인 특성을 그대로 이용하거나 단순히 특징을 인덱스 순열로 나열하여 서브샘플링에 의존함으로써 데이터베이스가 지나치게 크며, 이로 인해 검색에 소요되는 시간이 너무 길다는 것에 문제점이 있었다.

본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 특정 콘텐츠 및 인덱스에 적응적으로 인덱스의 분포 특성을 보고 데이터베이스화할 특징 인덱스의 양을 제한할 수 있도록 하여 데이터베이스의 크기를 줄여 검색에 소요되는 시간을 줄이고자 한다.

본 발명의 제 1 관점으로서 인덱스 데이터베이스 생성 장치는, 데이터베이스에 수록할 콘텐츠로부터 특징을 추출하는 특징 추출기와, 추출한 상기 특징으로부터 인덱스를 생성하는 인덱스 생성기와, 생성한 상기 인덱스의 빈도 특성에 기반하여 저장할 인덱스를 선택하는 인덱스 선택기와, 선택한 상기 인덱스와 그 위치를 저장하는 특징 인덱스 데이터베이스를 포함하며, 상기 인덱스 선택기는, 상기 인덱스에 대해 인덱스의 데이터베이스 전역 및 해당 콘텐츠 내 빈도 분포 특성에 따라 중요도를 구하여 상기 특징 인덱스 데이터베이스에 포함할 지 여부를 결정한다.

본 발명의 제 2 관점으로서 인덱스 데이터베이스 검색 장치는, 미지의 콘텐츠로부터 특징을 추출하는 특징 추출기와, 추출한 상기 특징으로부터 인덱스를 생성하는 인덱스 생성기와, 생성한 상기 인덱스의 빈도 특성에 기반하여 검색할 인덱스를 선택하는 인덱스 선택기와, 선택한 상기 인덱스를 특징 인덱스 데이터베이스에 저장된 인덱스 값과 비교하여 상기 특징 인덱스 데이터베이스 상에서 해당 인덱스의 후보 위치를 구하는 후보 위치 검색기와, 상기 인덱스의 콘텐츠 내 위치와 상기 후보 위치의 거리 정보를 이용하여 정합하는 인덱스 정합기를 포함하며, 상기 인덱스 선택기는, 상기 인덱스에 대해 인덱스의 데이터베이스 전역 및 해당 콘텐츠 내 빈도 분포 특성에 따라 중요도를 구하여 상기 특징 인덱스 데이터베이스에서 검색할 지 여부를 결정한다.

삭제

삭제

현재 방송, 영화, 음악, UCC(User Created Content) 등에 통해 다양한 종류의 디지털 콘텐츠가 서비스되고 있어, 콘텐츠 보호 및 활용을 위한 콘텐츠 인식 기술에 대한 수요가 급증하고 있다. 또한 디지털 콘텐츠의 양이 기하급수적으로 증가 됨에 따라, 콘텐츠 인식에 사용되는 인덱스의 양도 그에 따라 증가하므로, 본 발명과 같이 인덱스 데이터베이스의 크기를 줄이는 기술이 절실히 필요한 실정이다.

본 발명은, 콘텐츠로부터 추출된 특징 인덱스들의 분포적 특성을 고려하여, 데이터베이스에 저장할 인덱스의 양을 줄임으로써 저장 공간을 줄이고 검색에서 비교해야 할 대상을 줄이는 효과가 있다. 또한 특징 인덱스의 전체 데이터베이스 및 개별 콘텐츠 내에서의 분포 특성을 모두 고려하여 인식 시스템에서 콘텐츠를 구별하기 위해 필요한 중요 인덱스만을 남기는 효과가 있다.

또 본 발명에서 제안된 콘텐츠 인식 시스템은 저작권 보호를 위해 파일 공유 서비스를 통한 불법적인 콘텐츠 공유 방지를 위한 파일 필터링, 특정 광고나 음악의 방송 횟수를 조사하기 위한 방송 모니터링 등에 활용될 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명은 데이터베이스를 구성할 인덱스를 선택하기 위해 특정 콘텐츠에서는 빈도가 높고, 다른 콘텐츠들에서는 빈도가 낮은 특징 인덱스를 선택하거나, 해당 콘텐츠 내에서 자주 반복되는 인덱스 등을 선택하여 데이터베이스화할 특징 인덱스의 양을 줄인다.

본 발명에 따른 특징 기반 콘텐츠 인식 기술은, 다수의 콘텐츠 파일들로부터 특징을 추출해서 인덱스 데이터베이스를 만드는 데이터베이스 생성 장치 및 생성 방법과, 미지의 입력 콘텐츠 파일에 대해 특징을 추출하고 그 인덱스로 인덱스 데이터베이스를 검색하여 미지의 콘텐츠 파일에 대한 정보를 검색하는 데이터베이스 검색 장치 및 검색 방법을 포함한다.

본 발명의 데이터베이스 생성 장치는 콘텐츠로부터 특징 인덱스를 생성하고, 인덱스의 분포 특성, 즉 해당 콘텐츠에서는 출현 빈도가 높고 다른 콘텐츠에 대해서는 출현 빈도가 낮은 인덱스를 선택하거나, 해당 콘텐츠 내에서 자주 반복되는 인덱스 등을 선택하여 인덱스 데이터베이스에 저장한다.

본 발명의 데이터베이스 검색 장치는 인식을 위해 미지의 입력 콘텐츠의 인덱스와 데이터베이스 상의 인덱스 간의 정합 정도를 비교할 때, 인덱스 위치의 거리 차이를 이용하여 비교한다.

도 1은 본 발명에 따른 데이터베이스 생성 장치의 블록 구성도이다.

도 1을 참조하면 데이터베이스 생성 장치는, 데이터베이스에 수록할 콘텐츠 파일들로부터 특징을 추출하는 특징 추출기(110)와, 특징에서 인덱스를 생성하는 인덱스 생성기(120)와, 생성된 인덱스들 중에서 빈도수 등의 중요도에 기반하여 인덱스를 선택하는 인덱스 선택기(130)와, 선택된 인덱스의 인덱스 값과 위치 값을 저장하는 특징 인덱스 데이터베이스(140)를 포함한다.

이와 같이 구성된 본 발명에 따른 데이터베이스 생성 장치는 콘텐츠로부터 생성된 전체 인덱스를 저장하는 것이 아니라, 인덱스 선택기(130)를 통해서 선택된 일부의 인덱스만을 사용하므로 특징 인덱스 데이터베이스의 크기를 줄일 수 있는 장점이 있다.

여기서, 인덱스 선택기(130)는 데이터베이스 내 콘텐츠별 인덱스의 분포 특성 또는 해당 콘텐츠 내 인덱스의 분포 특성에 따라 각 인덱스 별 중요도를 정하므로, 필요에 따라 데이터베이스 내의 콘텐츠 파일들에서 특징 추출기(110)와 인덱스 생성기(120)를 이용하여 특징과 인덱스를 미리 생성하고, 생성된 전체 인덱스들의 특성에 따라 인덱스 선택기(130)를 결정하고, 최종적으로 특징 인덱스 데이터베이스를 생성할 수도 있다.

이와 같은 데이터베이스 생성 장치에 의하면, 특징 추출기(110)가 데이터베이스에 수록할 콘텐츠들로부터 특징을 추출하고, 추출한 특징으로부터 인덱스 생성기(120)가 인덱스들을 생성하며, 생성한 인덱스들의 빈도 특성에 기반하여 인덱스 선택기(130)가 저장할 인덱스를 선택하고, 선택한 인덱스와 그 위치를 특징 인덱스 데이터베이스(140)가 저장한다.

도 2는 본 발명의 실시예에 의한 인덱스 선택기(130)에서 사용하는 인덱스 빈도 분포의 예이다.

실시예에서 특징 추출기(110)는 콘텐츠(오디오 신호)의 일정시간 분량(예에 서는 0.1초)마다 특징을 구하고, 추출된 특징을 인덱스 생성기(120)에서 양자화를 통해서 8자리의 이진 변수로 변환하여 256개의 인덱스중 하나로 변환하게 된다.

본 실시예서는 두 가지의 인덱스 빈도 분포를 고려한다.

첫 번째 빈도 분포는 콘텐츠별 인덱스 빈도로 특정 인덱스가 데이터베이스 내의 콘텐츠들에 출현하는 빈도 값이다. 예를 들어 이 빈도 값이 0.5 이면 데이터베이스 내 콘텐츠 파일들 중 절반에서 해당 인덱스가 생성됨을 뜻한다. 특정 인덱스 f_i에 대한 데이터베이스화할 콘텐츠들의 집합 {c_j}에 대한 콘텐츠별 인덱스 빈도 CF_i는 아래와 같은 수학식 1로 표현할 수 있다.

두 번째 빈도 분포는 콘텐츠 내 인덱스 빈도로 어떤 콘텐츠 파일에서 생성된 총 인덱스 중 특정 인덱스가 출현하는 빈도에 해당한다. 어떤 콘텐츠 c_j에서 특정 인덱스 f_i의 콘텐츠 내 인덱스 빈도 TF_i,j는 아래와 같은 수학식 2로 표현할 수 있다.

도 2의 (a)는 콘텐츠별 인덱스 빈도로 1000개의 오디오 콘텐츠 파일들에 대 해 실시예의 256개 각 인덱스의 출현 빈도를 나타낸다.

도 2의 (b)는 콘텐츠 내 인덱스 빈도는 3분 30초 길이의 어떤 오디오 파일에서 생성된 인덱스들에 대해 실시예의 256개의 각 인덱스의 콘텐츠 내 출현 빈도를 나타낸다.

도 3은 본 발명의 실시예에 의한 인덱스 선택기(130)를 통해 인덱스를 선택하는 예시이다.

실시예에서는 콘텐츠별 인덱스 빈도와 콘텐츠 내 인덱스 빈도를 아래 수학식 3과 같이 이용하여 각 인덱스 f_i의 c_j 콘텐츠 내에서 빈도기반 중요도 IF_i,j를 구한다.

도 3의 (a)는 어떤 오디오 파일에서 생성되는 인덱스를 시간의 함수로 보여주고 있다. 도 3의 (b)는 각 인덱스의 위치에서 그 인덱스 값에 따른 인덱스 빈도기반 중요도이다.

본 실시예서는 인덱스 빈도기반 중요도가 국지 최대(local maximum)가 될 때의 위치를 선택하였다. 그 외에도 일정 중요도 이상의 위치들을 모두 선택할 수도 있다. 국지 최대를 이용한 실시예에서 3분 30초 길이의 오디오 파일에서 얻은 2251개의 인덱스 중 도 3의 (b)에서 동그라미로 표시된 69개의 위치만이 선택되었다.

도 4는 본 발명에 따른 콘텐츠 인식 시스템의 데이터베이스 검색 장치의 구성도이다.

도 4를 참조하면 본 발명의 데이터베이스 검색 장치는, 미지의 입력 콘텐츠 파일에서 특징을 추출하는 특징 추출기(210)와, 그 특징에서 인덱스를 생성하는 인덱스 생성기(220)와, 생성된 인덱스들 중에서 빈도수 등의 중요도에 기반하여 선택하는 인덱스 선택기(230)와, 선택된 인덱스들을 특징 인덱스 데이터베이스(240)에 저장된 인덱스 값과 비교하여 해당 인덱스들의 데이터베이스상의 위치들을 구하는 후보 위치 검색기(250)와, 인덱스의 콘텐츠 내 위치 값과 데이터베이스상의 후보 위치 값 간의 거리 정보를 이용하여 정합하는 인덱스 정합기(260)를 포함한다.

여기서, 데이터베이스상의 특정 후보 위치에서 정합에 성공하면 그 위치에 해당하는 콘텐츠 정보를 인식 시스템의 결과로 출력하고, 정합에 실패할 경우 입력 콘텐츠가 데이터베이스에 없다고 출력한다.

도 5는 본 발명에 따른 콘텐츠 인식 시스템의 데이터베이스 검색 장치의 인덱스 정합기(260)를 상세하게 나타낸 구성도이다.

도 5에 도시된 바와 같이, 본 발명에 따른 데이터베이스 검색 장치의 인덱스 정합기(260)는, 인덱스 선택기(230)로부터 선택된 인덱스들의 콘텐츠 내 위치와 후보 위치 검색기(250)로부터 선택된 인덱스들에 대한 데이터베이스상의 후보 위치 간의 위치 차이를 비교하는 위치 차이 비교기(261)와, 이 위치 차이 비교기(261)에 의한 위치 차이 비교 결과를 검증하는 비교 결과 검증기(262)를 포함한다. 위치 차이 비교 결과가 일치하는 인덱스들의 개수가 미리 정해둔 문턱 값 이상일 경우 그 후보 위치의 콘텐츠를 인식 결과로 출력하게 된다.

이와 같은 데이터베이스 검색 장치에 의하면, 특징 추출기(210)가 미지의 콘텐츠로부터 특징을 추출하고, 추출한 특징으로부터 인덱스 생성기(220)가 인덱스를 생성하며, 생성한 인덱스들의 빈도 특성에 기반하여 인덱스 선택기(230)가 검색할 인덱스를 선택하고, 선택한 인덱스를 후보 위치 검색기(250)가 특징 인덱스 데이터베이스에 저장된 인덱스 값과 비교하여 특징 인덱스 데이터베이스 상에서 해당 인덱스의 후보 위치를 구하며, 인덱스 정합기(260)가 인덱스의 콘텐츠 내 위치와 후보 위치의 거리 정보를 이용하여 정합한다. 여기서 정합은 인덱스 선택기(230)로부터 선택된 인덱스들의 콘텐츠 내 위치와 후보 위치 검색기(260)로부터 선택된 인덱스들에 대한 데이터베이스상의 후보 위치 간의 위치 차이를 비교한 후에 위치 차이 비교 결과를 검증한다.

성능 검증을 위해서 본 발명에 따른 실시예를 이용해서 1000곡의 오디오 파일에 대해 부밴드 무게중심의 특징을 추출하고 양자화 한 후 앞서 설명한 실시예에 있는 방법으로 선택된 인덱스들과 위치들로 특징 인덱스 데이터베이스를 구성하였 다. 데이터베이스 내의 오디오 파일 중 100개를 선택하여 3DB 오디오 이퀄라이제이션과 MP3 압축 32kbps를 각각 가한 후 실시예의 콘텐츠 인식 시스템을 통해 검색을 수행한 결과는 아래의 표 1과 같다.

구분	순차적 인덱싱	빈도 기반 인덱싱(본 발명)
데이터베이스 상의 특징 인덱스 전체 개수	2,410,051	72,646
인식률(%)	100	93

표 1에서 알 수 있듯이, 데이터베이스에 저장해야 하는 인덱스의 양은 현저히 줄어들지만 콘텐츠 인식 성능은 상대적으로 큰 변화가 없음을 알 수 있다.

삭제

지금까지 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.

도 1은 본 발명의 실시예에 따른 인덱스 데이터베이스 생성 장치의 블록 구성도,

도 2는 본 발명의 실시예에 따른 콘텐츠별 인덱스 빈도와 콘텐츠 내 인덱스 빈도의 예시 도면,

도 3은 본 발명의 실시예에 따른 인덱스 빈도 기반 중요도에 기반한 인덱스 선택 예시 도면,

도 4는 본 발명의 실시예에 따른 인덱스 데이터베이스 검색 장치의 블록 구성도,

도 5는 본 발명의 실시예에 따른 인덱스 정합기의 세부 블록 구성도.

＜도면의 주요부분에 대한 부호의 설명＞

110, 210 : 특징 추출기 120, 220 : 인덱스 생성기

130, 230 : 인덱스 선택기 140, 240 : 특징 인덱스 데이터베이스

250 : 후보 위치 검색기 260 : 인덱스 정합기

261 : 위치 차이 비교기 262 : 비교 결과 검증기

Claims (18)

1. 삭제
2. 삭제
3. 삭제
4. 데이터베이스에 수록할 콘텐츠로부터 특징을 추출하는 특징 추출기와,

   추출한 상기 특징으로부터 인덱스를 생성하는 인덱스 생성기와,

   생성한 상기 인덱스의 빈도 특성에 기반하여 저장할 인덱스를 선택하는 인덱스 선택기와,

   선택한 상기 인덱스와 그 위치를 저장하는 특징 인덱스 데이터베이스

   를 포함하며,

   상기 인덱스 선택기는, 상기 인덱스에 대해 인덱스의 데이터베이스 전역 및 해당 콘텐츠 내 빈도 분포 특성에 따라 중요도를 구하여 상기 특징 인덱스 데이터베이스에 포함할 지 여부를 결정하는

   인덱스 데이터베이스 생성 장치.
5. 삭제
6. 삭제
7. 삭제
8. 미지의 콘텐츠로부터 특징을 추출하는 특징 추출기와,

   추출한 상기 특징으로부터 인덱스를 생성하는 인덱스 생성기와,

   생성한 상기 인덱스의 빈도 특성에 기반하여 검색할 인덱스를 선택하는 인덱스 선택기와,

   선택한 상기 인덱스를 특징 인덱스 데이터베이스에 저장된 인덱스 값과 비교하여 상기 특징 인덱스 데이터베이스 상에서 해당 인덱스의 후보 위치를 구하는 후보 위치 검색기와,

   상기 인덱스의 콘텐츠 내 위치와 상기 후보 위치의 거리 정보를 이용하여 정합하는 인덱스 정합기

   를 포함하며,

   상기 인덱스 선택기는, 상기 인덱스에 대해 인덱스의 데이터베이스 전역 및 해당 콘텐츠 내 빈도 분포 특성에 따라 중요도를 구하여 상기 특징 인덱스 데이터베이스에서 검색할 지 여부를 결정하는

   인덱스 데이터베이스 검색 장치.
9. 제 8 항에 있어서,

   상기 인덱스 정합기는, 상기 인덱스 선택기로부터 선택된 인덱스의 콘텐츠 내 위치와 상기 후보 위치 검색기로부터 선택된 인덱스에 대한 데이터베이스상의 후보 위치 간의 위치 차이를 비교하는 위치 차이 비교기와,

   상기 위치 차이 비교기에 의한 위치 차이 비교 결과를 검증하는 비교 결과 검증기

   를 포함하는 인덱스 데이터베이스 검색 장치.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images