KR101494309B1 - 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법 - Google Patents

디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법 Download PDF

Info

Publication number
KR101494309B1
KR101494309B1 KR20130123402A KR20130123402A KR101494309B1 KR 101494309 B1 KR101494309 B1 KR 101494309B1 KR 20130123402 A KR20130123402 A KR 20130123402A KR 20130123402 A KR20130123402 A KR 20130123402A KR 101494309 B1 KR101494309 B1 KR 101494309B1
Authority
KR
South Korea
Prior art keywords
fingerprint
matching
digital
bit string
error tolerance
Prior art date
Application number
KR20130123402A
Other languages
English (en)
Inventor
서진수
Original Assignee
강릉원주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강릉원주대학교산학협력단 filed Critical 강릉원주대학교산학협력단
Priority to KR20130123402A priority Critical patent/KR101494309B1/ko
Application granted granted Critical
Publication of KR101494309B1 publication Critical patent/KR101494309B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Collating Specific Patterns (AREA)

Abstract

디지털 컨텐츠의 식별을 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법이 개시된다. 본 발명의 일 측면에 따르면, 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템으로서, 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열(fingerprint bit string)을 저장하는 DB, 정합대상이 되는 소정의 대상 컨텐츠로부터 특징 값을 추출하는 추출모듈, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성하는 핑거프린트 생성모듈, 상기 DB에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합(matching) 과정을 수행하여, 상기 후보 핑거프린트 비트열 각각의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출하는 정합모듈 및 산출된 상기 정합도에 기초하여, 상기 DB에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하는 제어모듈을 포함하되, 상기 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템은, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 오류감내도 생성모듈-여기서, 상기 오류감내도는, 상기 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 대상 컨텐츠에 상응하는 디지털 핑거프린트 비트열이 변경되지 않는 정도를 나타냄-을 더 포함하고, 상기 정합모듈은, 상기 오류감내도 생성모듈에 의해 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템이 제공된다.

Description

디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법{Asymmetric fingerprint matching system for digital contents and providing method thereof}
본 발명은 디지털 컨텐츠의 식별을 위한 핑거프린트 정합 시스템 및 그 제공방법에 관한 것으로서, 보다 상세하게는 디지털 컨텐츠의 왜곡에 대한 강인성(오류-감내성) 및 컨텐츠 식별성을 증대시키기 위해 핑거프린트 추출 시 부가적으로 얻을 수 있는 부가정보를 이용하여 핑거프린트 정합 과정을 수행하는 비대칭형 핑거프린트 정합 시스템 및 그 제공방법에 관한 것이다.
본 발명은 2013년도 미래과학창조부의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2012012876, 과제명: 콘텐츠 식별 시스템을 위한 해쉬 추출 함수 설계(Design of the hash-extraction function for a content-identification system)].
멀티미디어 핑거프린팅은, 생체 식별에서 사람의 지문, 홍채 등을 이용하여 그 사람을 인식하는 것처럼, 음악, 영상, 비디오 등의 디지털 멀티미디어 컨텐츠의 데이터가 가지는 특징을 이용하여 해당 콘텐츠를 식별하는 기술을 말한다.
멀티미디어 핑거프린팅 시스템은 P2P/UCC 등을 통한 불법 파일 공유를 막는 필터링, 방송 모니터링, 무선망을 통한 음악 찾기, 대용량 콘텐츠 라이브러리를 자동으로 태깅 (tagging) 또는 인덱싱 (indexing) 하는 등 다양한 용도로 활용 가능하다.
도 1은 멀티미디어 컨텐츠의 식별을 위한 종래의 디지털 핑거프린트 시스템의 일 예를 도시한 도면이다.
도 1에 도시된 바와 같이, 종래의 멀티미디어 핑거프린팅 시스템은 식별하고자 하는 콘텐츠 파일들에서 특징을 추출하여 특징 DB를 만들고 콘텐츠 파일의 메타 정보와 연동해둔다. 이를 위하여 종래의 멀티미디어 핑거프린트 시스템은 복수의 컨텐츠 파일들에서 특징을 추출하여 디지털 핑거프린트를 생성하기 위한 특징추출모듈(1) 및 핑거프린트생성모듈(2)을 포함하며, 또한 생성된 각 컨텐츠 파일들에 대한 핑거프린트를 저장하기 위한 핑거프린트 DB(4)를 포함할 수 있다. 또한, 각 컨텐츠 파일에 대한 메타 정보(예를 들면, 제목, 요약, 크기, 제작자 등의 정보)를 추출하는 메타데이터 추출모듈(3) 및 핑거프린트와 메타데이터를 연동하여 저장하는 메타데이터 DB(5)를 포함할 수 있다.
한편, 종래의 멀티미디어 핑거프린트 시스템은 미지의 정합 대상 콘텐츠에서 추출된 특징을 입력으로 미리 만들어둔 특징 DB를 검색하고 최종 정합 과정을 거쳐, 정합값이 미리 정해진 문턱값 이하로 나올 경우 입력 콘텐츠를 미리 만들어둔 메타데이터 DB를 이용하여 식별하게 된다. 이를 위하여, 종래의 멀티미디어 핑거프린트 시스템은 상기 특징추출모듈(1) 및 핑거프린트 생성모듈(2)을 통해 정합 대상 컨텐츠에서 특징을 추출하여 그에 상응하는 핑거프린트를 생성하며, 추출된 특징을 입력으로 미리 만들어둔 특징 DB를 검색하고 정합 과정을 수행하여 DB에 저장된 컨텐츠 중 상기 정합대상 컨텐츠를 식별하는 정합모듈(8)을 포함할 수 있다.
이때, 상기 정합모듈(8)은 핑거프린트 정합 시에 입력된 상기 정합 대상 콘텐츠의 핑거프린트 비트와 미리 만들어둔 핑거프린트 DB(4) 상의 비트열들을 해밍 거리 등의 방법으로 직접 비교하는 방식을 이용한다. 따라서의 기존 핑거프린트 정합 방법은 동일한 방식에 의해 생성되는 핑거프린트 비트열들을 직접 비교하는 대칭적인 구조이다.
본 발명이 해결하고자 하는 기술적 과제는 정합 대상이 되는 미지의 디지털 컨텐츠에서 핑거프린트 비트열을 생성할 때에 부가적으로 생성할 수 있는 부가정보를 더 이용하여 핑거프린트 비트열간의 정합 과정을 수행함으로써 상기 정합 대상 컨텐츠에 왜곡이 발생한 경우에도 컨텐츠 식별성을 증대시킬 수 있는 비대칭형 핑거프린트 정합 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템으로서, 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열(fingerprint bit string)을 저장하는 DB, 정합대상이 되는 소정의 대상 컨텐츠로부터 특징 값을 추출하는 추출모듈, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성하는 핑거프린트 생성모듈, 상기 DB에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합(matching) 과정을 수행하여, 상기 후보 핑거프린트 비트열 각각의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출하는 정합모듈 및 산출된 상기 정합도에 기초하여, 상기 DB에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하는 제어모듈을 포함하되, 상기 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템은, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 오류감내도 생성모듈-여기서, 상기 오류감내도는, 상기 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 대상 컨텐츠에 상응하는 디지털 핑거프린트 비트열이 변경되지 않는 정도를 나타냄-을 더 포함하고, 상기 정합모듈은, 상기 오류감내도 생성모듈에 의해 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템이 제공된다.
일 실시예에서, 상기 핑거프린트 생성모듈은, 하기 [수식 1-1] 또는 [수식 1-2]에 의하여, 상기 쿼리 핑거프린트 비트열을 생성하고, 상기 오류감내도 생성모듈은, 하기 [수식 2]에 의하여, 상기 오류감내도를 생성할 수 있다(여기서, A는 n개의 원소를 가지는 상기 특징 값이며, ai(1<=i<=n)는 상기 특징 값 A의 i번째 원소이며, F는 상기 쿼리 핑거프린트 비트열이며, fi는 상기 쿼리 핑거프린트 비트열의 i번째 비트이며, T는 상기 오류감내도며, ti는 상기 오류감내도의 i번째 원소임).
[수식 1-1]
Figure 112014121598678-pat00032
[수식 1-2]
Figure 112014121598678-pat00033
[수식 2]
Figure 112014121598678-pat00034
일 실시예에서, 상기 DB는 미리 정의된 m개의 VQ(Vector Quantization) 코드 벡터 C1 내지 Cm 및 상기 VQ코드 벡터 각각에 상응하는 코드 비트열을 더 저장하고, 상기 핑거프린트 생성모듈은, Ck에 상응하는 코드 비트열을 상기 쿼리 핑거 프린트 비트열로 결정하며(여기서, k는 1 내지 m 중에서
Figure 112014121598678-pat00035
가 최소값인 i이며, A는 상기 특징 값임), 상기 오류감내도 생성모듈은,
Figure 112014121598678-pat00036
를 상기 오류감내도로 결정할 수 있다.
일 실시예에서, 상기 정합모듈은, 상기 오류감내도를 정규화하여 정합 가중치를 산출할 수 있다.
일 실시예에서, 상기 정합모듈은, 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 대칭형 정합도를 산출하고, 산출된 상기 대칭형 정합도가 제1 문턱값 이상이고 제2 문턱값 이하인 경우(여기서, 상기 제1문턱값은 상기 제2문턱값이 비해 작은 값임)에 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 비대칭형 정합 과정을 수행할 수 있다.
일 실시예에서, 상기 디지털 컨텐츠는, 디지털 이미지 컨텐츠, 디지털 비디오 컨텐츠 또는 디지털 오디오 컨텐츠일 수 있다.
본 발명의 다른 일 측면에 따르면, 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법으로서, 상기 디지털 핑거프린트 정합 시스템이, 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열을 DB에 저장하는 단계, 상기 디지털 핑거프린트 정합 시스템이, 정합대상이 되는 소정의 대상 컨텐츠로부터 특징 값을 추출하는 단계, 상기 디지털 핑거프린트 정합 시스템이, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성하는 단계, 상기 디지털 핑거프린트 정합 시스템이, 상기 DB에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합(matching) 과정을 수행하여, 상기 후보 핑거프린트 비트열 각각의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출하는 단계 및 상기 디지털 핑거프린트 정합 시스템이, 산출된 상기 정합도에 기초하여, 상기 DB에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하는 단계를 포함하되, 상기 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법은, 상기 디지털 핑거프린트 정합 시스템이, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계-여기서, 상기 오류감내도는, 상기 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 쿼리 핑거프린트 비트열이 변경되지 않는 정도를 나타냄-를 더 포함하고, 상기 정합도를 산출하는 단계는, 상기 디지털 핑거프린트 정합 시스템이, 상기 오류감내도 생성모듈에 의해 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법이 제공된다.
일 실시예에서, 상기 쿼리 핑거프린트 비트열을 생성하는 단계는, 하기 [수식 1-1] 또는 [수식 1-2]에 의하여, 상기 쿼리 핑거프린트 비트열을 생성하는 단계를 포함하고, 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계는, 하기 [수식 2]에 의하여, 상기 오류감내도를 생성하는 단계를 포함할 수 있다(여기서, A는 n개의 원소를 가지는 상기 특징 값이며, ai(1<=i<=n)는 상기 특징 값 A의 i번째 원소이며, F는 상기 쿼리 핑거프린트 비트열이며, fi는 상기 쿼리 핑거프린트 비트열의 i번째 비트이며, T는 상기 오류감내도며, ti는 상기 오류감내도의 i번째 원소임).
[수식 1-1]
Figure 112014121598678-pat00037
[수식 1-2]
Figure 112014121598678-pat00038
[수식 2]
Figure 112014121598678-pat00039
일 실시예에서, 상기 DB는 미리 정의된 m개의 VQ(Vector Quantization) 코드 벡터 C1 내지 Cm 및 상기 VQ코드 벡터 각각에 상응하는 코드 비트열을 더 저장하고, 상기 쿼리 핑거프린트 비트열을 생성하는 단계는, Ck에 상응하는 코드 비트열을 상기 쿼리 핑거 프린트 비트열로 결정하는 단계를 포함하며(여기서, k는 1 내지 m 중에서
Figure 112014121598678-pat00040
가 최소값인 i이며, A는 상기 특징 값임), 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계는,
Figure 112014121598678-pat00041
를 상기 오류감내도로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 정합도를 산출하는 단계는, 상기 오류감내도를 정규화하여 정합 가중치를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 정합도를 산출하는 단계는, 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 대칭형 정합도를 산출하는 단계 및 산출된 상기 대칭형 정합도가 제1 문턱값 이상이고 제2 문턱값 이하인 경우(여기서, 상기 제1문턱값은 상기 제2문턱값이 비해 작은 값임)에 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 비대칭형 정합 과정을 수행하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템으로서, 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 디지털 핑거프린트 정합 시스템이, 상술한 방법을 수행하도록 하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템이 제공된다.
본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 방법에 의하면, 종래의 대칭형 핑거프린트 정합 방법에 사용하지 않던 부가적인 정보를 활용함으로써, 컨텐츠에 대한 의도하거나 의도하지 않은 다양한 왜곡이 발생한 경우에도 해당 컨텐츠에 대한 식별성을 높일 수 있는 효과가 있다.
또한, 종래의 대칭형 핑거프린트 정합 방법에서 이용되는 이전에 미리 구축된 핑거프린팅 DB 를 그대로 활용할 수 있으므로 추가적인 시스템 구축 부담이 감소되는 효과가 있다.
또한, 필요할 경우 종래의 대칭형 정합 방법과 본 발명의 일 실시예에 따른 비대칭형 정합 방법을 순차적으로 활용함으로써, 정합 시에 추가되는 계산량(또는 계산 시간)의 부담을 줄일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 멀티미디어 컨텐츠의 식별을 위한 종래의 디지털 핑거프린트 시스템의 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템에서 Sign-Bit 방식으로 디지털 핑거프린트 비트열 및 오류감내도를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템에서 벡터 양자화 방식으로 디지털 핑거프린트 비트열 및 오류감내도를 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 다른 핑거프린터 정합 시스템에서 종래의 대칭형 핑거프린트 정합 방법과 제안된 비대칭형 핑거프린트 정합방법을 혼용하는 방법에 대하여 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템 제공방법을 나타내는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템(이하, 핑거프린트 정합 시스템'이라고 함)으로 도시한 블록도이다.
도 2를 참조하면, 상기 핑거프린트 정합 시스템(100)은 후술하는 바와 같은 본 발명의 기술적 사상에 따른 비대칭형 핑거프린터 정합 과정을 수행하여 미지의 정합 대상 디지털 컨텐츠를 식별할 수 있는 데이터처리 장치일 수 있다. 예를 들면, 상기 핑거프린트 정합 시스템(100)은 컴퓨터, 랩탑, 데스크탑, 워크스테이션, 서버 등을 포함하는 컴퓨팅 장치일 수 있다.
식별의 대상이 되는 상기 정합 대상 디지털 컨텐츠는 대표적으로 디지털 이미지 컨텐츠, 디지털 오디오 컨텐츠, 디지털 비디오 컨텐츠를 포함하는 멀티미디어 컨텐츠일 수 있지만, 이에 한정되는 것은 아니며 핑거프린트 정합에 의해 식별 가능한 다양한 형태의 디지털 컨텐츠를 포함할 수 있다.
상기 핑거프린트 정합 시스템(100)은 추출모듈(110), 핑거프린트 생성모듈(120), 오류감내도 생성모듈(130), 정합모듈(140), 제어모듈(150) 및 데이터베이스(160; Database, 이하 'DB'라고 함)를 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시 예에 따라 상기 핑거프린트 정합 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
상기 핑거프린트 정합 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 핑거프린트 정합 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 핑거프린트 정합 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 추출모듈(110), 핑거프린트 생성모듈(120), 오류감내도 생성모듈(130), 정합모듈(140), 제어모듈(150) 및/또는 DB(160)는 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 추출모듈(110), 핑거프린트 생성모듈(120), 오류감내도 생성모듈(130), 정합모듈(140), 제어모듈(150) 및/또는 DB(160) 등 각각의 모듈 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 모듈들이 수행하는 기능을 실현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(140)은 본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)에 포함된 다른 구성들(예컨대, 추출모듈(110), 핑거프린트 생성모듈(120), 오류감내도 생성모듈(130), 정합모듈(140) 및/또는 DB(160) 등)의 기능 및/또는 리소스를 제어할 수 있다.
상기 DB(160)는 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열(fingerprint bit string)을 저장할 수 있다. 상기 핑거프린트 비트열은 후술하는 추출모듈(110) 및 핑거프린트 생성모듈(120)이 쿼리 핑거프린트 비트열을 생성하는 방법과 동일한 과정에 의해 생성될 수 있다.
본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)에 의해 정합 대상 컨텐츠가 식별되기 전에, 상기 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열이 미리 생성되어 상기 DB(160)에 저장될 수 있다.
본 명세서에서 DB라 함은, 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함하는 의미로 사용될 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB(160)에 저장될 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함하는 의미로 사용될 수 있다.
또한, 상기 DB(160)는 상기 복수의 디지털 컨텐츠 각각에 상응하는 메타데이터를 더 저장할 수 있다. 여기서 메타 데이터는 해당 디지털 컨텐츠의 제목이나 요약, 길이, 제작자, 파일의 크기 등일 수 있다.
상기 추출모듈(110)은 정합대상이 되는 미지의 대상 컨텐츠를 입력 받아, 상기 대상 컨텐츠에 상응하는 특징 값을 추출할 수 있다.
상기 대상 컨텐츠는 원본 컨텐츠 그 자체일 수도 있지만, 원본 컨텐츠에 다양한 방식에 의해 왜곡이 가해진 컨텐츠일 수도 있다. 예를 들어, 상기 대상 컨텐츠는 여러 가지 압축 방식에 의해 부호화되거나, 프레임율이나 비트율에 변형이 가해진 컨텐츠일 수 있다. 또한, 상기 대상 컨텐츠가 오디오 컨텐츠인 경우, 상기 대상 컨텐츠는 익스펜더 오디오 이퀄라이제이션, phone-like 필터, mp3 압축 등이 가해진 컨텐츠 또는 auditorium 효과, notch 필터, small room 효과가 가해진 컨텐츠일 수 있다. 또한 상기 대상 컨텐츠가 비디오 컨텐츠인 경우, 자막이나 로고가 삽입되거나, 영상 대비 변화, 가로-세로의 비율의 변화가 가해진 컨텐츠일 수 있다. 이 외에도 상기 대상 컨텐츠는 다양한 형태의 의도적/비의도적인 변형이 가해져 있는 컨텐츠일 수 있다.
상기 추출모듈(110)은 대상 컨텐츠의 특징 값을 추출하기 위하여, 먼저 상기 대상 컨텐츠의 특징점들을 선택할 수 있다. 이후, 선택된 각 특징점에 소정의 특징 값 추출 알고리즘을 적용하여 상기 대상 컨텐츠에 상응하는 적어도 하나의 특징 값을 추출할 수 있다.
상기 추출모듈(110)은 ZCR(Zero Crossing Rate), 에너지 차(Energy Difference), 주파수 평편도(Spectral flatness), MFCC(Mel-Frequency Cepstrum Coefficients), 주파수 무게중심(Frequency Centroids) 방법 등 공지된 다양한 특징 값 추출 알고리즘을 이용하여, 상기 대상 컨텐츠에 상응하는 특징 값을 추출할 수 있다.
상기 핑거프린트 생성모듈(120)은 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성할 수 있다. 구현 예에 따라, 상기 핑거프린트 생성모듈(120)은 사인-비트(Sign-Bit) 방식이나 벡터 양자화 방식(Vector Quantization) 방식 등 다양한 방법에 의해 핑거프린트 비트열을 생성할 수 있다.
한편, 상기 오류감내도 생성모듈(130)은 상기 대상 컨텐츠의 특징 값에 기초하여, 상기 쿼리핑거프린트 비트열의 오류감내도를 생성할 수 있다. 여기서 오류감내도는 왜곡에 대한 강인성을 의미할 수 있다. 즉, 상기 오류감내도는 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 대상 컨텐츠에 상응하는 디지털 핑거프린트 비트열이 변경되지 않는 정도를 나타내는 수치일 수 있다. 따라서, 생성된 오류감내도가 큰 경우에는 상기 대상 컨텐츠에 왜곡이 가해져 특징 값이 변경되는 경우에도 상기 특징 값에 상응하는 핑거프린트 비트열은 변경되지 않거나 변경의 정도가 작을 수 있다.
상기 오류감내도 생성모듈(130)은 상기 핑거프린트 생성모듈(120)이 특징 값으로부터 쿼리 핑거프린트 비트열을 생성하는 과정에서 소실되는 정보(즉, 특징 값으로부터는 알 수 있으나, 쿼리 핑거프린트 비트열로부터는 확인할 수 없는 정보)를 이용하여 상기 오류감내도를 생성할 수 있다. 따라서, 상기 오류감내도 생성모듈(130)이 오류감내도를 생성하는 알고리즘은 상기 핑거프린트 생성모듈(120)이 쿼리 핑거프린트를 생성하는 방식에 의존적일 수 있다.
이하에서는 쿼리 핑거프린트가 Sign-Bit 방식에 의해 생성되는 실시예 및 벡터 양자화 방식에 의해 생성되는 실시예에 대하여, 각각 도 3 및 도 4를 참조하여, 상기 핑거프린트 생성모듈(120) 및 오류감내도 생성모듈(130)이 생성하는 정보에 관해 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)에서 Sign-Bit 방식으로 디지털 핑거프린트 비트열 및 오류감내도를 생성하는 방법을 설명하기 위한 도면이다.
먼저 도 3(a)를 참조하면, 상기 추출모듈(110)은 정합 대상 컨텐츠의 특징점을 선택하고, 상기 특징점에 상응하는 특징 값을 추출할 수 있다. 도 3(a)의 예시에서는 상기 정합 대상 컨텐츠에서 하나의 특징점을 선택하는 예를 도시하고 있지만, 구현 예에 따라서는 불연속적인 다수의 특징점을 선택하고, 특징점 각각에 대한 특징 값을 추출할 수 있다.
상기 특징 값은 N개(예를 들면, 256)의 원소 A1 내지 AN를 가지는 벡터의 형태일 수 있다. 다시, A1 내지 AN 각각은 n(예를 들면, 32)개의 원소를 가지는 벡터일 수 있다. 이 경우, 벡터 Aj는 aj1, aj2, …, ajn을 단위 원소로 가질 수 있다.
도 3(b)를 참조하면, 상기 핑거프린트 생성모듈(120)은 A1 내지 AN 각각에 대하여 Sign-Bit 방식으로 디지털 핑거프린트 비트열을 생성할 수 있다. 도 3의 예시에서, Fj는 Aj에 상응하는 비트열이며, fj1, fj2, …, fjn을 단위 비트로 가질 수 있다. 핑거프린트 비트열은 Sign-Bit 방식으로 생성되므로 fji = sign(aji)로서, 아래 [수식 1-1] 또는 [수식 1-2]에 의해 생성될 수 있다.
[수식 1-1]
Figure 112014121598678-pat00042
[수식 1-2]
Figure 112014121598678-pat00043
이렇게 Sign-Bit 방식에 의해 특징 값으로부터 핑거프린트 비트열이 생성되는 경우, 상기 특징 값의 각 단위 원소의 크기 값은 상기 특징 값에서는 나타나지만 생성되는 핑거프린트 비트열에서는 소실되는 값이다. 한편, 각 단위 원소의 크기 값이 크면 클수록 해당 단위 원소의 값이 왜곡되더라도 sign 값(즉, 핑거프린트 비트열 상에서의 해당 비트)은 변하지 않을 가능성이 높아지므로 본 실시예에 따른 오류감내도 생성모듈(130)은 각 단위 원소의 크기를 이용하여 오류감내도를 생성할 수 있다.
즉, 도 3(c)를 참조하면, 상기 오류감내도 생성모듈(130)은 A1 내지 AN 각각에 상응하는 T1 내지 TN을 원소로 가지는 오류감내도를 생성할 수 있다. 이 때 Tj는 tj1, tj2, …, tjn을 원소로 가질 수 있으며, tji는 aji의 크기(즉, |aji|)일 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 핑거프린트 정합 시스템(100)에서 벡터 양자화 방식으로 디지털 핑거프린트 비트열 및 오류감내도를 생성하는 방법을 설명하기 위한 도면이다.
벡터 양지화 방식이 이용되는 경우, 상기 DB(160)는 미리 정의된 m개의 VQ(Vector Quantization) 코드 벡터 C1 내지 Cm 및 상기 VQ코드 벡터 각각에 상응하는 코드 비트열을 포함하는 코드북(codebook)을 더 저장할 수 있다.
도 4(a)를 참조하면, 상기 핑거프린트 생성모듈(120)은 A1 내지 AN 각각에 대하여 벡터 양자화 방식으로 디지털 핑거프린트 비트열을 생성할 수 있다. 도 4의 예시에서, Fj는 Aj에 상응하는 비트열일 수 있다. 한편 Fj는, k가 1 내지 m 중에서 |Aj - Ck| 가 최소값인 i인 경우, Ck에 상응하는 상기 코드북 상의 코드 비트열일 수 있다.
이렇게 벡터 양자화 방식에 의해 특징 값으로부터 핑거프린트 비트열이 생성되는 경우, 상기 특징 값 Aj와 코드 Ck 간의 거리, 즉, |Aj - Ck|는 상기 특징 값에 의해 파악할 수 있는 값이지만, 새로 생성되는 핑거프린트 비트열에서는 확인할 수 없는(즉, 소실되는) 값이다. 한편, 상기 Aj와 코드 Ck 간의 거리가 작으면 작을수록 Aj 에 상응하는 핑거 프린트 비트열의 강인성이 높을 것으로 예측할 수 있다.
따라서, 도 4(b)를 참조하면, 상기 오류감내도 생성모듈(130)은 A1 내지 AN 각각에 상응하는 T1 내지 TN을 원소로 가지는 오류감내도를 생성할 수 있다. 이때, 상기 오류감내도 생성모듈(130)은 Aj와 코드 Ck 간의 거리의 역수(즉, 1/|Aj - Ck|)를 Tj로 생성할 수 있다.
다시 도 2를 참조하면, 상술한 방법에 따라, 핑거프린트 비트열과 오류감내도가 생성되면, 상기 정합모듈(140)은 상기 오류감내도에 기초하여 정합 가중치를 산출할 수 있다. 일 실시예서, 상기 정합모듈(140)은 각종 선향, 비선형 연산을 통해, 상기 오류감내도로부터 정합 가중치를 산출할 수 있으며, 구현 예에 따라, 상기 정합모듈(140)은 상기 오류감내도에 포함된 각 단위 원소를 정규화/표준화하는 과정을 거쳐 정합 가중치를 산출할 수 있다. 후자의 경우, 정규화는 아래 식 (1), (2), (3)으로 표현되는 평균값을 이용한 정규화일 수도 있지만, 이에 한정되는 것은 아니며 중간값을 이용한 정규화나 Quantile 정규화, 오류감내도 크기 순서에 따른 정규화 등의 정규화 기법이 이용될 수 있다.
Figure 112013093451213-pat00015
상기 정합모듈(140)은 정합 가중치를 산출한 후, 산출한 상기 정합 가중치를 반영하여 상기 DB(160)에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 각 후보 핑거프린트 비트열의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출할 수 있다. 일 실시예에서, 상기 정합모듈(140)은 핑거프린트 간의 거리 계산에 주로 이용되는 해밍 거리(Hamming Distance)를 사용하여 정합도를 산출할 수 있으며, 이 경우 해밍 거리를 계산함에 있어 상기 정합 가중치를 가중치로 반영할 수 있다. 상기 정합도는 비교 대상이 되는 두 핑거프린트의 유사정도가 클수록 증가하는 값일 수 있지만, 구현 예에 따라서는 상기 정합도는 비트에러율로 산출될 수 있다. 후자의 경우에는 두 핑거프린트가 유사할수록 비트에러율(죽, 정합도)이 작을 수 있다.
한편, 상기 제어모듈(150)은 산출된 상기 정합도에 기초하여, 상기 DB(160)에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하고, 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠에 대한 메타 데이터를 출력할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)은 쿼리 핑거프린트 생성 시에 부가적인 오류감내도를 더 생성하고, 이를 정합 과정에 이용할 수 있다. 한편, 본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)은 DB(160)에 저장되는 다수의 디지털 컨텐츠에 대해서는 오류감내도를 미리 생성하지 않고, 정합 대상이 되는 대상 컨텐츠를 정합시에만 오류감내도를 생성한다. 따라서, 본 발명의 일 실시예에 따른 핑거프린트 정합 시스템(100)은 비대칭형일 수 있다.
아래 표1은 본 발명에 따른 실시 예에 따른 핑거프린트 정합 시스템의 성능 검증을 위해서 1000곡의 오디오 파일에 대해 부밴드 에너지 차이 특징을 추출하고, Sign-Bit 방식으로 핑거프린트 비트를 구한 경우의 정합 값을 나타내고 있다. 실험 대상 오디오 파일들에 여러 유형의 변형을 가하고 종래의 대칭형 핑거프린트 정합 시스템과 본 발명의 일 실시예에 따른 비대칭형 정합 시스템(100)을 통해서 얻은 정합값의 평균 값을 비교하면 표 1과 같다. 정합 값이 1에 가까울수록 완벽하게 정합이 이루어진 것이다. 성능 평가를 위해 사용한 오디오 변형은 expander 오디오 이퀄라이제이션, phone-like filter, MP3 (48 kbps) 압축을 순차적으로 가하는 것과 auditorium 효과, notch filter, small room 효과를 순차적으로 가한 두 가지 경우를 고려하였다. 표 1에서 나타난 바와 같이, 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템을 이용한 경우, 정합 값이 크게 증가함을 알 수 있다. 이러한 결과로 본 발명의 일 실시예에 따른 비대칭형 가중치 기반의 핑거프린트 정합 시스템이 디지털 컨텐츠에 왜곡이 가해진 경우에도 식별성이 크게 증가함을 확인할 수 있다.
오디오 변형 종류 대칭 정합값 평균 가중치 기반 비대칭 정합값 평균
expander_ph_mp3(48kbps) 0.8509 0.9175
auditorium_notch_room 0.8076 0.8760
한편, 본 발명의 또 다른 일 실시예에 따르면, 종래의 대칭형 핑거프린팅 방법과 상술한 비대칭형 핑거프린팅 방법을 혼용함으로써, 오류감내도 생성시에 발생할 수 있는 계산 오버헤드를 줄일 수 있는 기술적 사상을 제공할 수 있는데, 이에 대하여 도 5를 참조하여 설명하기로 한다.
도 5를 참조하면, 상기 정합모듈(140)은 먼저 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 대칭형 정합도(C1)를 산출할 수 있다(S10).
만약 산출된 상기 대칭형 정합도(C1)가 제1 문턱값(Th1) 보다 작은 경우에는 상기 DB(160)에서 해당 컨텐츠를 식별할 수 없다고 판단할 수 있다(S20, S30).
만약 산출된 상기 대칭형 정합도(C1)가 제2 문턱값(Th2)보다 큰 경우에는 상기 정합모듈(140)은 비대칭형 정합과정을 수행하지 않고, 상기 제어모듈(150)은 상기 DB(160)에서 해당 컨텐츠를 식별할 수 있다(S40, S50). 이때, 상기 제1문턱값은 제2문턱값보다 작은 값이다.
만약 산출된 상기 대칭형 정합도(C1)가 제1 문턱 값 보다는 크고, 제2 문턱값보다는 작은 경우, 상기 정합모듈(140)은 상술한 비대칭형 정합 과정을 수행하여 비대칭형 정합도(C2)를 산출할 수 있다(S60).
만약 비대칭형 정합도(C2)가 소정의 제3 문턱값 보다 작은 경우에는 상기 DB(160)에서 해당 컨텐츠를 식별할 수 없다고 판단할 수 있지만(S70, S80), 상기 비대칭형 정합도(C2)가 상기 제3 문턱값 보다 큰 경우에는 상기 제어모듈(150)은 상기 DB(160)에서 해당 컨텐츠를 식별할 수 있다(S90).
도 6은 본 발명의 일 실시예에 따른 비대칭형 핑거프린트 정합 시스템 제공방법을 나타내는 흐름도이다.
도 6을 참조하면, 상기 핑거프린트 정합 시스템(100)은 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열을 DB(160)에 미리 저장할 수 있다(S100).
이후, 상기 핑거프린트 정합 시스템(100)은 정합대상이 되는 소정의 대상 컨텐츠를 입력 받고, 상기 대상 컨텐츠로부터 특징 값을 추출할 수 있다(S110).
그러면, 상기 핑거프린트 정합 시스템(100)은 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성할 수 있다(S120).
또한 상기 핑거프린트 정합 시스템(100)은 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성할 수 있으며(S130), 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출할 수 있다(S140).
이후, 상기 핑거프린트 정합 시스템(100)은 산출한 상기 정합 가중치를 반영하여 상기 DB(160)에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 정합도를 산출할 수 있으며(S150), 산출된 상기 정합도에 기초하여, 상기 DB(160)에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별할 수 있다(S160).
한편, 구현 예에 따라서, 상기 핑거프린트 정합 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 핑거프린트 정합 시스템(100)으로 하여금, 상술한 핑거프린트 정합 시스템 제공방법을 수행하도록 할 수 있다.
한편, 본 발명의 실시예에 따른 핑거프린트 정합 시스템 제공방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템으로서,
    복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열(fingerprint bit string)을 저장하는 DB;
    정합대상이 되는 소정의 대상 컨텐츠로부터 특징 값을 추출하는 추출모듈;
    추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성하는 핑거프린트 생성모듈;
    상기 DB에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 비대칭형 정합(asymmetric matching) 과정을 수행하여, 상기 후보 핑거프린트 비트열 각각의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출하는 정합모듈; 및
    산출된 상기 정합도에 기초하여, 상기 DB에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하는 제어모듈을 포함하되,
    상기 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템은,
    추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 오류감내도 생성모듈-여기서, 상기 오류감내도는, 상기 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 대상 컨텐츠에 상응하는 디지털 핑거프린트 비트열이 변경되지 않는 정도를 나타냄-을 더 포함하고,
    상기 정합모듈은,
    상기 오류감내도 생성모듈에 의해 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
  2. 제1항에 있어서,
    상기 핑거프린트 생성모듈은,
    하기 [수식 1-1] 또는 [수식 1-2]에 의하여, 상기 쿼리 핑거프린트 비트열을 생성하고,
    상기 오류감내도 생성모듈은,
    하기 [수식 2]에 의하여, 상기 오류감내도를 생성하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템(여기서, A는 n개의 원소를 가지는 상기 특징 값이며, ai(1<=i<=n)는 상기 특징 값 A의 i번째 원소이며, F는 상기 쿼리 핑거프린트 비트열이며, fi는 상기 쿼리 핑거프린트 비트열의 i번째 비트이며, T는 상기 오류감내도며, ti는 상기 오류감내도의 i번째 원소임).
    [수식 1-1]
    Figure 112014121598678-pat00044

    [수식 1-2]
    Figure 112014121598678-pat00045

    [수식 2]
    Figure 112014121598678-pat00046

  3. 제1항에 있어서,
    상기 DB는 미리 정의된 m개의 VQ(Vector Quantization) 코드 벡터 C1 내지 Cm 및 상기 VQ코드 벡터 각각에 상응하는 코드 비트열을 더 저장하고,
    상기 핑거프린트 생성모듈은,
    Ck에 상응하는 코드 비트열을 상기 쿼리 핑거 프린트 비트열로 결정하며(여기서, k는 1 내지 m 중에서
    Figure 112014121598678-pat00047
    가 최소값인 i이며, A는 상기 특징 값임),
    상기 오류감내도 생성모듈은,
    Figure 112014121598678-pat00048
    를 상기 오류감내도로 결정하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
  4. 제1항에 있어서,
    상기 정합모듈은,
    상기 오류감내도를 정규화하여 정합 가중치를 산출하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
  5. 제1항에 있어서,
    상기 정합모듈은,
    상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 대칭형 정합도를 산출하고, 산출된 상기 대칭형 정합도가 제1 문턱값 이상이고 제2 문턱값 이하인 경우(여기서, 상기 제1문턱값은 상기 제2문턱값이 비해 작은 값임)에 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 비대칭형 정합 과정을 수행하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
  6. 제1항에 있어서,
    상기 디지털 컨텐츠는,
    디지털 이미지 컨텐츠, 디지털 비디오 컨텐츠 또는 디지털 오디오 컨텐츠인 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
  7. 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법으로서,
    상기 디지털 핑거프린트 정합 시스템이, 복수의 디지털 컨텐츠 각각에 상응하는 핑거프린트 비트열을 DB에 저장하는 단계;
    상기 디지털 핑거프린트 정합 시스템이, 정합대상이 되는 소정의 대상 컨텐츠로부터 특징 값을 추출하는 단계;
    상기 디지털 핑거프린트 정합 시스템이, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 쿼리 핑거프린트 비트열을 생성하는 단계;
    상기 디지털 핑거프린트 정합 시스템이, 상기 DB에 저장된 핑거프린트 비트열 중 적어도 일부인 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합(matching) 과정을 수행하여, 상기 후보 핑거프린트 비트열 각각의 상기 쿼리 핑거프린트 비트열에 대한 정합도를 산출하는 단계; 및
    상기 디지털 핑거프린트 정합 시스템이, 산출된 상기 정합도에 기초하여, 상기 DB에 저장된 복수의 디지털 컨텐츠 중 상기 대상 컨텐츠에 상응하는 멀티미디어 컨텐츠를 식별하는 단계를 포함하되,
    상기 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법은,
    상기 디지털 핑거프린트 정합 시스템이, 추출한 상기 대상 컨텐츠의 특징 값에 기초하여 상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계-여기서, 상기 오류감내도는, 상기 대상 컨텐츠의 특징 값이 왜곡되더라도 상기 쿼리 핑거프린트 비트열이 변경되지 않는 정도를 나타냄-를 더 포함하고,
    상기 정합도를 산출하는 단계는,
    상기 디지털 핑거프린트 정합 시스템이, 생성된 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법.
  8. 제7항에 있어서,
    상기 쿼리 핑거프린트 비트열을 생성하는 단계는,
    하기 [수식 1-1] 또는 [수식 1-2]에 의하여, 상기 쿼리 핑거프린트 비트열을 생성하는 단계를 포함하고,
    상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계는,
    하기 [수식 2]에 의하여, 상기 오류감내도를 생성하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법(여기서, A는 n개의 원소를 가지는 상기 특징 값이며, ai(1<=i<=n)는 상기 특징 값 A의 i번째 원소이며, F는 상기 쿼리 핑거프린트 비트열이며, fi는 상기 쿼리 핑거프린트 비트열의 i번째 비트이며, T는 상기 오류감내도며, ti는 상기 오류감내도의 i번째 원소임).
    [수식 1-1]
    Figure 112014121598678-pat00049

    [수식 1-2]
    Figure 112014121598678-pat00050

    [수식 2]
    Figure 112014121598678-pat00051

  9. 제7항에 있어서,
    상기 DB는 미리 정의된 m개의 VQ(Vector Quantization) 코드 벡터 C1 내지 Cm 및 상기 VQ코드 벡터 각각에 상응하는 코드 비트열을 더 저장하고,
    상기 쿼리 핑거프린트 비트열을 생성하는 단계는,
    Ck에 상응하는 코드 비트열을 상기 쿼리 핑거 프린트 비트열로 결정하는 단계를 포함하며(여기서, k는 1 내지 m 중에서
    Figure 112014121598678-pat00052
    가 최소값인 i이며, A는 상기 특징 값임),
    상기 쿼리 핑거프린트 비트열의 오류감내도를 생성하는 단계는,
    Figure 112014121598678-pat00053
    를 상기 오류감내도로 결정하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법.
  10. 제7항에 있어서,
    상기 정합도를 산출하는 단계는,
    상기 오류감내도를 정규화하여 정합 가중치를 산출하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법.
  11. 제7항에 있어서,
    상기 정합도를 산출하는 단계는,
    상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 정합 과정을 수행하여 대칭형 정합도를 산출하는 단계; 및
    산출된 상기 대칭형 정합도가 제1 문턱값 이상이고 제2 문턱값 이하인 경우(여기서, 상기 제1문턱값은 상기 제2문턱값이 비해 작은 값임)에 상기 오류감내도에 기초하여 정합 가중치를 산출하고, 산출한 상기 정합 가중치를 반영하여 상기 후보 핑거프린트 비트열 각각과 상기 쿼리 핑거프린트 비트열간의 비대칭형 정합 과정을 수행하는 단계를 포함하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템 제공방법.
  12. 제7항 내지 제11항 중 어느 한 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  13. 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템으로서,
    프로세서; 및
    상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 디지털 핑거프린트 정합 시스템이, 제7항 내지 제 11항 중 어느 한 항에 기재된 방법을 수행하도록 하는 디지털 컨텐츠를 위한 비대칭형 디지털 핑거프린트 정합 시스템.
KR20130123402A 2013-10-16 2013-10-16 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법 KR101494309B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130123402A KR101494309B1 (ko) 2013-10-16 2013-10-16 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130123402A KR101494309B1 (ko) 2013-10-16 2013-10-16 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법

Publications (1)

Publication Number Publication Date
KR101494309B1 true KR101494309B1 (ko) 2015-02-23

Family

ID=52593955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130123402A KR101494309B1 (ko) 2013-10-16 2013-10-16 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법

Country Status (1)

Country Link
KR (1) KR101494309B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648966B1 (ko) * 2015-05-11 2016-08-30 강릉원주대학교산학협력단 인지적 한계를 기초로 핑거프린트의 생성 또는 정합을 수행하는 장치 및 방법
KR20170063077A (ko) * 2015-11-30 2017-06-08 한국전자통신연구원 미디어 콘텐츠 식별 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036407A (ko) * 2009-10-01 2011-04-07 한국과학기술원 핑거 프린팅 시스템의 정합 과정에서 사용하는 디스턴스 메트릭을 학습을 통해서 결정하는 방법
KR101315970B1 (ko) 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036407A (ko) * 2009-10-01 2011-04-07 한국과학기술원 핑거 프린팅 시스템의 정합 과정에서 사용하는 디스턴스 메트릭을 학습을 통해서 결정하는 방법
KR101315970B1 (ko) 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648966B1 (ko) * 2015-05-11 2016-08-30 강릉원주대학교산학협력단 인지적 한계를 기초로 핑거프린트의 생성 또는 정합을 수행하는 장치 및 방법
KR20170063077A (ko) * 2015-11-30 2017-06-08 한국전자통신연구원 미디어 콘텐츠 식별 방법
KR101981924B1 (ko) 2015-11-30 2019-08-30 한국전자통신연구원 미디어 콘텐츠 식별 방법

Similar Documents

Publication Publication Date Title
US11080316B1 (en) Context-inclusive face clustering
US10783152B2 (en) Information processing apparatus and data comparison method
Chen et al. Extracting biometric binary strings with minimal area under the FRR curve for the hamming distance classifier
Zhang et al. Defending adversarial attacks on cloud-aided automatic speech recognition systems
KR20200020107A (ko) 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
Choi et al. A multimodal user authentication system using faces and gestures
KR101494309B1 (ko) 디지털 컨텐츠를 위한 비대칭형 핑거프린트 정합 시스템 및 그 제공방법
Guzman-Zavaleta et al. A robust and low-cost video fingerprint extraction method for copy detection
Zhang et al. Content-based encrypted speech retrieval scheme with deep hashing
Amato et al. Aggregating binary local descriptors for image retrieval
Zhang et al. An efficient retrieval approach for encrypted speech based on biological hashing and spectral subtraction
US10121085B2 (en) Information processing apparatus and method of searching for similar data
KR20080046490A (ko) 몽타주 얼굴 영상을 이용한 얼굴 인식 방법 및 그 장치
Wójtowicz et al. Biometric watermarks based on face recognition methods for authentication of digital images
US11501580B1 (en) Methods and systems for implementing secure biometric recognition
Wang et al. Multi-format speech biohashing based on energy to zero ratio and improved lp-mmse parameter fusion
Barman et al. Improving person re-identification systems: A novel score fusion framework for rank-n recognition
Tan et al. The many-faced god: Attacking face verification system with embedding and image recovery
Zhang et al. Verifiable speech retrieval algorithm based on diversity security template and biohashing
Tran et al. Improving gait cryptosystem security using gray code quantization and linear discriminant analysis
Tai et al. Seef-aldr: A speaker embedding enhancement framework via adversarial learning based disentangled representation
Gutiérrez et al. Landmark-based music recognition system optimisation using genetic algorithms
Wu et al. Multibiometric fusion authentication in wireless multimedia environment using dynamic Bayesian method
CN110852206A (zh) 一种联合全局特征和局部特征的场景识别方法及装置
US11954676B1 (en) Apparatus and method for minting NFTs from user-specific events

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 6

R401 Registration of restoration