KR101276209B1 - 이진 특징점들을 이용한 콘텐츠 인식 시스템 및 그 방법 - Google Patents

Abstract

이진 특징점들을 이용한 콘텐츠 인식 시스템이 개시된다. 콘텐츠 인식 시스템은 콘텐츠별 콘텐츠 검색을 위한 이진 특징점이 저장된 데이터베이스, 및 입력 콘텐츠를 정규화하고, 상기 정규화된 데이터에 대해 서로 다른 계산 방식들을 적용하여 특징값들을 산출하고, 상기 산출된 특징값들을 각각의 문턱 값들과 비교하여 일련의 이진 값들로 구성되는 이진 특징점들을 추출하며, 상기 추출된 이진 특징점들로부터 최종 이진 특징점을 추출한 후, 상기 최종 이진 특징점과 동일한 이진 특징점을 갖는 콘텐츠 정보를 상기 데이터베이스에서 검색하는 콘텐츠 인식부를 포함한다.

Description

이진 특징점들을 이용한 콘텐츠 인식 시스템 및 그 방법{System of recognizing contents using binary fingerprints and method thereof}

본 발명은 콘텐츠 인식 기술에 관한 것으로, 특히 이진 형태의 특징점을 이용하여 콘텐츠를 인식하는 기술에 관한 것이다.

콘텐츠(비디오 또는 오디오)를 인식하는 시스템이 잘 알려져 있다. 이 콘텐츠 인식 시스템은 흔히 핑거프린트(fingerprint) 또는 해시(hash)라고 불리는 특징점을 입력 콘텐츠에서 추출하며, 이를 기존에 구성된 데이터베이스에서 검색하여 입력 콘텐츠를 인식한다. 이때 사용되는 특징점은 주로 실수형 특징점 또는 이진 특징점으로 나뉠 수 있다. 특히, 이진 특징점이 콘텐츠 인식 시스템에서 많이 사용되고 있다. 이는 이진 특징점의 경우, 데이터베이스에서 차지하는 용량과 검색 시간을 줄일 수 있기 때문이다.

도 1에서와 같이 이진 특징점은 주로 정규화(S10), 계산(S20), 및 문턱 적용(S30)의 방법으로 생성된다고 할 수 있다. 콘텐츠 인식 시스템은 입력 콘텐츠에 대해 정규화 과정을 수행하여 일부 왜곡에 상관없는 형태의 일정한 형식을 가지는 데이터로 변환한다. 콘텐츠 인식 시스템은 정규화 과정을 통해 변환된 데이터에서 여러 가지 수학적 계산을 거쳐서 왜곡에 강인한 형태의 특징을 뽑게 되고, 이 특징값을 문턱 값과 비교하여 이진 특징점을 추출한다.

이와 같이 콘텐츠로부터 추출된 특징점은 검색에 이용된다. 사용자가 어떤 무명의 콘텐츠에 대한 정보를 알고 싶을 때, 이 무명의 콘텐츠를 콘텐츠 인식 시스템의 질의(query)로 입력하면, 콘텐츠 인식 시스템은 입력된 콘텐츠에 대해 특징점을 추출하고, 미리 구성된 데이터베이스에 저장된 특징점들과 비교하여 동일한 특징점을 갖는 콘텐츠를 검색하며, 그 검색된 콘텐츠 정보를 사용자에게 제공하게 된다.

한편, 도 1의 이진 특징점 추출 방식과 관련하여 비특허문헌 [1]에는 오디오를 정해진 포맷에 따라서 정규화(normalization)하고, 고속 푸리에 변환(Fast Fourier Transformation, FFT) 후 주파수 밴드에 따른 에너지의 주파수-시간적 차이를 계산하며, 그 계산한 값이 음인지 양인지에 따라서 특징점을 1 아니면 0의 값으로 결정하는 방식이 알려져 있다. 그리고 비특허문헌 [2]에는 비디오를 정규화하고 그 밝기의 차이를 계산하여 그 값이 양인지 음인지에 따라서 특징점을 0 아니면 1의 값으로 결정하는 방식이 알려져 있다. 그러나 도 1과 같은 방식의 경우, 특징점은 전적으로 한 번의 계산 결과에 의존하게 된다. 특징점은 다양한 왜곡에 강인해야 하는데, 계산 과정에서 구한 값이 특정 왜곡에 약하다면 특징점 자체의 특성이 나빠지게 되는 것이다.

[1] J. Haitsma and T. Kalker, "A highly robust audio fingerprinting system," Proc. Int. Conf. Music Information Retrieval, 2002. [2] J. Oostveen, T. Kalker, and J. Haitsma, "Feature extraction and a database strategy for video fingerprinting," Proc. Int. Conf. on Visual Information and Information Systems, pp. 117-128, 2002.

본 발명은 콘텐츠 인식 성능을 개선할 수 있는 기술적 방안을 제공함을 목적으로 한다.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 이진 특징점들을 이용한 콘텐츠 인식 시스템은 콘텐츠별 콘텐츠 검색을 위한 이진 특징점이 저장된 데이터베이스, 및 입력 콘텐츠를 정규화하고, 상기 정규화된 데이터에 대해 서로 다른 계산 방식들을 적용하여 특징값들을 산출하고, 상기 산출된 특징값들을 각각의 문턱 값들과 비교하여 일련의 이진 값들로 구성되는 이진 특징점들을 추출하며, 상기 추출된 이진 특징점들로부터 최종 이진 특징점을 추출한 후, 상기 최종 이진 특징점과 동일한 이진 특징점을 갖는 콘텐츠 정보를 상기 데이터베이스에서 검색하는 콘텐츠 인식부를 포함한다. 여기서 상기 콘텐츠 인식부는 상기 추출된 일련의 이진 값들로 구성되는 이진 특징점들로부터 동일 위치의 이진 값들 중 가장 많은 이진 값을 최종 이진 값으로 결정하여 상기 최종 이진 특징점을 추출한다.

나아가 상기 콘텐츠 인식부는 상기 데이터베이스에서 검색된 콘텐츠 중에서 상기 추출된 이진 특징점들과 동일한 이진 특징점들을 갖는 콘텐츠 정보를 검색한다.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 이진 특징점들을 이용한 콘텐츠 인식 방법은 정규화된 입력 콘텐츠에 대해 서로 다른 계산 방식들을 적용하여 특징값들을 산출하는 단계, 상기 산출된 특징값들을 각각의 문턱 값들과 비교하여 일련의 이진 값들로 구성되는 이진 특징점들을 추출하는 단계, 상기 추출된 이진 특징점들로부터 최종 이진 특징점을 추출하는 단계, 및 상기 추출된 최종 이진 특징점과 동일한 이진 특징점을 갖는 콘텐츠 정보를 데이터베이스에서 검색하는 단계를 포함한다. 여기서 상기 최종 이진 특징점을 추출하는 단계는 상기 추출된 일련의 이진 값들로 구성되는 이진 특징점들로부터 동일 위치의 이진 값들 중 가장 많은 이진 값을 최종 이진 값으로 결정하여 상기 최종 이진 특징점을 추출한다.

나아가 상기 이진 특징점들을 이용한 콘텐츠 인식 방법은 상기 검색된 콘텐츠 정보 중에서 상기 추출된 이진 특징점들과 동일한 이진 특징점들을 갖는 콘텐츠의 정보를 검색하는 단계를 더 포함한다.

본 발명에 따른 콘텐츠 인식 시스템은 다양한 계산 방식들을 이용하여 이진 특징점들을 추출하고, 투표 과정을 통해 새로운 최종 이진 특징점을 만들어 이를 기반으로 데이터베이스를 검색하므로, 시스템의 성능을 높일 수 있다. 즉, 특징점의 강인성을 높일 수 있게 되어 결과적으로 시스템의 성능을 높일 수 있는 것이다.

또한 본 발명에 따른 콘텐츠 인식 시스템은 계층적 검색 방식을 이용하여 데이터베이스를 검색하므로, 검색 결과의 정확성을 향상시키는 효과를 창출한다.

도 1은 종래 이진 특징점 추출 과정을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 이진 특징점들을 이용한 콘텐츠 인식 시스템 블록도.
도 3은 본 발명의 일 실시예에 따른 이진 특징점 추출 과정을 나타낸 도면.
도 4는 도 3에 도시된 투표 과정 설명을 위한 참조도.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 콘텐츠 인식 성능 향상 시스템 블록도이며, 도 3은 본 발명의 일 실시예에 따른 이진 특징점 추출 과정을 나타낸 도면이다.

도 2에 도시된 바와 같이, 콘텐츠 인식 시스템은 데이터베이스(100) 및 콘텐츠 인식부(210)를 포함한다. 데이터베이스(100)에는 콘텐츠별 메타데이터와 콘텐츠 검색을 위한 이진 특징점이 저장된다. 여기서 메타데이터라 함은 콘텐츠의 구체적인 정보를 의미하는 것으로 널리 알려진 바와 같다. 일 실시예에 있어서, 데이터베이스(100)에는 콘텐츠별 후술하는 바에 따른 최종 이진 특징점이 저장되어 있다. 다른 실시예에 있어서, 데이터베이스(100)에는 콘텐츠별 후술하는 바에 따른 최종 이진 특징점과 후술하는 바에 따른 서로 다른 계산 방식을 통해 추출되는 다수의 이진 특징점들이 저장되어 있다. 그리고 콘텐츠 인식부(210)는 입력되는 콘텐츠의 이진 특징점들을 이용하여 데이터베이스(100) 검색을 통해 입력 콘텐츠를 인식하는 구성이다. 이 같은 콘텐츠 인식부(210)는 도시된 바와 같이 디지털 신호 처리기(digital signal processor)(200)에 구현된 소프트웨어적 모듈일 수 있다.

도 3에 예시된 바와 같이, 콘텐츠 인식부(210)는 입력 콘텐츠에 대해 정규화(S100), 계산(S200), 문턱적용(S300), 및 투표(S400) 과정을 통해 최종 이진 특징점을 추출한다. 우선, 콘텐츠 인식부(210)는 시스템에 질의(query) 입력된 콘텐츠에 대해 정규화 과정을 수행하여 일부 왜곡에 상관없는 형태의 일정한 형식을 가지는 데이터로 변환한다(S100). 이 정규화 과정은 기존과 동일하다. 정규화 과정이 완료되면, 콘텐츠 인식부(210)는 정규화 과정을 통해 얻어진 일정한 형식을 가지는 데이터에 대해 서로 다른 계산 방식들(계산 1, 계산 2, 계산 3, ......, 계산 N)을 적용하여 왜곡에 강인한 형태의 특징값들(특징 1, 특징 2, 특징 3, ......, 특징 N)을 추출한다(S200). 여기서 계산 방식들로는 FFT 후 주파수 밴드에 따른 에너지의 주파수-시간적 차이를 계산하는 방식, 각 주파수 밴드의 중심값 및 그 중심값들의 밴드별 차이값을 계산하는 방식, 각 주파수 밴드의 x차 무게중심 또는 그 무게중심의 밴드별 차이값을 계산하는 방식, 각 주파수 밴드의 spectral flatness, MFCC(Mel-frequency cepstral coefficients) 등과 같은 잘 알려진 계산 방식들이 이용될 수 있다.

계산 과정이 완료되면, 콘텐츠 인식부(210)는 계산 과정을 통해 추출된 특징값들을 각각의 문턱 값들과 비교(문턱적용 1, 문턱적용 2, 문턱적용 3, ......, 문턱적용 N)하여 그 값이 문턱 값보다 크면 1로 결정하고 작으면 0으로 결정하여 일련의 이진 값들로 구성되는 이진 특징점들(이진 특징점 1, 이진 특징점 2, 이진 특징점 3, ......, 이진 특징점 N)을 추출한다(S300). 문턱 적용 과정이 완료되면, 콘텐츠 인식부(210)는 문턱 적용 과정을 통해 추출된 이진 특징점들로부터 최종 이진 특징점을 추출하는 투표 과정을 수행한다(S400). 콘텐츠 인식부(210)는 일련의 이진 값들로 구성되는 이진 특징점들로부터 동일 위치의 이진 값들 중 가장 많은 이진 값을 최종 이진 값으로 결정하여 최종 이진 특징점을 추출한다. 즉, 콘텐츠 인식부(210)는 도 4에서와 같이 k번째 비트들 중 ‘1’이 많으면 이진 값을 ‘1’로 결정하고, ‘0’이 많으면 이진 값을 ‘0’으로 결정하여 최종 이진 특징점을 추출하는 것이다. 이 같은 투표 기반 특징점 추출 구조는 하나의 특징이 특정 왜곡에 약하더라도 다른 특징들이 보완해 줄 수 있는 구조이므로, 왜곡에 대한 보편적인 강인성이 증가할 수 있다.

일 실시예에 있어서, 콘텐츠 인식부(210)는 투표 과정을 통해 추출된 최종 이진 특징점을 가지고 데이터베이스(100)에서 해당 콘텐츠를 검색하며, 검색된 콘텐츠의 메타데이터를 결과물로 출력한다. 이 경우 데이터베이스(100)에는 콘텐츠별 도 4와 같은 방식으로 추출된 최종 이진 특징점이 저장되어 있어야 한다. 다른 실시예에 있어서, 콘텐츠 인식부(210)는 투표 과정을 통해 추출된 최종 이진 특징점을 가지고 데이터베이스(100)를 1차 검색하며, 문턱적용 과정을 통해 얻어진 이진 특징점들(이진 특징점 1, 이진 특징점 2, 이진 특징점 3, ......, 이진 특징점 N)을 가지고 1차 검색된 결과 내에서 2차 검색을 수행하며, 검색된 콘텐츠의 메타데이터를 결과물로 출력한다. 이 경우 데이터베이스(100)에는 도 4와 같은 방식으로 추출된 최종 이진 특징점은 물론 S300을 통해 얻어진 이진 특징점들도 저장되어 있어야 한다. 참고로, 최종 이진 특징점의 경우 N개의 이진 특징점을 하나로 압축한 것이기에, 최종 이진 특징점 하나를 사용하는 것보다 특징점 1, 특징점 2, 특징점 3, ......, 특징점 N을 모두 사용하는 것이 더욱 좋은 성능을 낼 수 있다. 그러나 계산시간이 많이 들게 되는 단점이 있다. 따라서 상술한 바와 같이, 콘텐츠 인식부(210)는 1차적으로 최종 이진 특징점을 이용하여 데이터베이스(100)에서 일부의 이진 특징점들만 추려내고, 그 후 특징점 1, 특징점 2, 특징점 3, ......, 특징점 N을 모두 이용하여 검색하면, 상대적으로 계산시간을 단축할 수 있을 뿐만 아니라 계층적 검색을 통해 보다 정확한 결과를 얻을 수 있게 된다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 데이터베이스 200 : 디지털 신호 처리기
210 : 콘텐츠 인식부

Claims (6)

1. 콘텐츠별 콘텐츠 검색을 위한 이진 특징점이 저장된 데이터베이스; 및
   입력 콘텐츠를 정규화하고, 상기 정규화된 데이터에 대해 서로 다른 계산 방식들을 적용하여 특징값들을 산출하고, 상기 산출된 특징값들을 각각의 문턱 값들과 비교하여 일련의 이진 값들로 구성되는 이진 특징점들을 추출하며, 상기 추출된 이진 특징점들로부터 최종 이진 특징점을 추출한 후, 상기 최종 이진 특징점과 동일한 이진 특징점을 갖는 콘텐츠 정보를 상기 데이터베이스에서 검색하는 콘텐츠 인식부;
   를 포함하는 것을 특징으로 하는 이진 특징점들을 이용한 콘텐츠 인식 시스템.
2. 제1항에 있어서,
   상기 콘텐츠 인식부는 상기 추출된 일련의 이진 값들로 구성되는 이진 특징점들로부터 동일 위치의 이진 값들 중 가장 많은 이진 값을 최종 이진 값으로 결정하여 상기 최종 이진 특징점을 추출하는 것을 특징으로 이진 특징점들을 이용한 콘텐츠 인식 시스템.
3. 제2항에 있어서,
   상기 콘텐츠 인식부는 상기 데이터베이스에서 검색된 콘텐츠 중에서 상기 추출된 이진 특징점들과 동일한 이진 특징점들을 갖는 콘텐츠 정보를 검색함을 특징으로 하는 이진 특징점들을 이용한 콘텐츠 인식 시스템.
4. 콘텐츠 인식 시스템이 정규화된 입력 콘텐츠에 대해 서로 다른 계산 방식들을 적용하여 특징값들을 산출하는 단계;
   상기 산출된 특징값들을 각각의 문턱 값들과 비교하여 일련의 이진 값들로 구성되는 이진 특징점들을 추출하는 단계;
   상기 추출된 이진 특징점들로부터 최종 이진 특징점을 추출하는 단계; 및
   상기 추출된 최종 이진 특징점과 동일한 이진 특징점을 갖는 콘텐츠 정보를 데이터베이스에서 검색하는 단계;
   를 포함하는 것을 특징으로 하는 이진 특징점들을 이용한 콘텐츠 인식 방법.
5. 제4항에 있어서,
   상기 최종 이진 특징점을 추출하는 단계는 상기 추출된 일련의 이진 값들로 구성되는 이진 특징점들로부터 동일 위치의 이진 값들 중 가장 많은 이진 값을 최종 이진 값으로 결정하여 상기 최종 이진 특징점을 추출하는 것을 특징으로 하는 이진 특징점들을 이용한 콘텐츠 인식 방법.
6. 제4항 또는 제5항에 있어서,
   상기 검색된 콘텐츠 정보 중에서 상기 추출된 이진 특징점들과 동일한 이진 특징점들을 갖는 콘텐츠의 정보를 검색하는 단계;
   를 더 포함하는 것을 특징으로 하는 이진 특징점들을 이용한 콘텐츠 인식 방법.

Images