KR20060118493A - 도출된 지문들을 매칭시킴으로써 데이터 객체들을매칭시키는 방법 및 장치 - Google Patents

도출된 지문들을 매칭시킴으로써 데이터 객체들을매칭시키는 방법 및 장치 Download PDF

Info

Publication number
KR20060118493A
KR20060118493A KR1020067009641A KR20067009641A KR20060118493A KR 20060118493 A KR20060118493 A KR 20060118493A KR 1020067009641 A KR1020067009641 A KR 1020067009641A KR 20067009641 A KR20067009641 A KR 20067009641A KR 20060118493 A KR20060118493 A KR 20060118493A
Authority
KR
South Korea
Prior art keywords
fingerprint
query
candidate
matching
threshold
Prior art date
Application number
KR1020067009641A
Other languages
English (en)
Inventor
잡 씨. 우스트빈
안토니우스 에이. 씨. 엠. 칼커
잡 에이. 하이트스마
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060118493A publication Critical patent/KR20060118493A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 데이터 객체들의 지문들을 추출하고 비교함으로써 후보 데이터 객체와 질의 데이터 객체를 매칭시키는 방법들 및 장치들에 관한 것이다. 본 발명의 일 실시예에서 지문 추출 모듈(110), 지문 매칭 모듈(210), 통계 모듈(120) 및 식별 모듈을 포함하는 장치가 제공된다. 지문 추출 모듈(110)은 질의 객체의 일부를 형성하는 정보 신호를 수신하여 질의 지문을 구성한다. 지문 매칭 모듈(210)은 적어도 하나의 잠재적으로 가장 양호하게 매칭하는 후보를 발견하기 위해서, 질의 지문을 데이터베이스(215)에 저장된 후보들과 비교한다. 한편, 통계 모듈은 예를 들면 질의 지문 내 일정 정보의 통계적 분포를 결정하기 위해서, 질의 지문의 통계 모듈을 결정한다. 임계값 결정기(120)는 질의 지문의 분포에 기초하여, 질의 지문과 잠재적으로 가장 양호하게 매칭하는 후보가 식별 모듈(130)에 의해 서로 유사하다고 단언될 수 있는 적응형 임계 거리 T를 도출하도록 배열된다. 질의 지문의 통계적 분포에 따라 적응형으로 임계값을 설정함으로써, 향상된 오수락률(F.A.R.) 및 그 외 다른 잇점들이 달성될 수 있다.
지문, 임계값, 질의, 데이터 객체

Description

도출된 지문들을 매칭시킴으로써 데이터 객체들을 매칭시키는 방법 및 장치{Matching data objects by matching derived fingerprints}
본 발명은 지문들을 매칭시키기 위한 방법 및 장치에 관한 것이다.
지문 기술은 미디어 콘텐츠(이를테면 오디오 또는 비디오)를 식별하는데 사용된다. 오디오 또는 비디오 세그먼트는 이로부터 지문을 추출하고, 추출한 지문을 알려진 콘텐츠들의 지문들이 저장된 데이터베이스에서 탐색함으로써 식별된다. 콘텐츠는 추출된 지문과 저장된 지문간에 유사성이 충분하다고 간주되면 식별된다.
멀티미디어 지문의 주요 목적은, (통상적으로 큰) 객체들 자체들의 비교에 의한 것이 아니라, 연관된 지문들(설계에 의해 작은)을 비교함으로써, 2개의 멀티미디어 객체들의 인지적 동등성을 확정하는 효율적인 메커니즘이다. 지문 기술을 사용하는 대부분의 시스템들에서, 다수의 멀티미디어 객체들의 지문들이 그와 연관된 메타데이터(예를 들면, 곡 정보의 경우에, 아티스트의 이름, 타이틀 및 앨범)와 함께 데이터베이스에 저장된다. 지문들은 메타데이터에 대한 인덱스로서 사용된다. 식별되지 않은 멀티미디어 콘텐츠의 메타데이터는 지문을 계산하고 이를 지문/메타데이터 데이터베이스 내 질의로서 사용함으로써 검색된다. 멀티미디어 콘텐츠 자체 대신 지문들을 사용하는 잇점은 3가지인데, 지문들이 비교적 작기 때문에 메모리/ 저장 요건들이 감소되고, 인지적 무관계성들이 이미 지문들로부터 제거되었기 때문에 비교가 효율적이며, 탐색할 데이터 세트가 작아지기 때문에 탐색이 효율적이다.
지문은 객체의 짧은 요약으로서 간주될 수 있다. 그러므로, 지문 기능은 많은 수의 비트들로 구성된 객체 X를 단지 한정된 수의 비트들의 지문 F에 매핑할 것이다. 지문 시스템의 5개의 주요 파라미터들로서, 강건성(robustness), 신뢰도, 지문 크기, 세분성(granularity), 및 탐색 속도(또는 범위성(scalability))가 있다.
시스템의 강건성 정도는 신호 저하가 있는 경우들에서 특정 객체가 지문으로부터 정확하게 확인될 수 있는지를 판정한다. 큰 강건성을 달성하기 위해서 지문 F는 신호 저하들에 관하여 불변인(적어도 어느 정도까지는) 인지적 특징들에 기초하여야 한다. 바람직하게는, 심하게 저하된 신호여도 원래의 저하되지 않은 신호의 지문과 유사한 지문을 내어줄 것이다. "오거절률(false rejection rate: FRR)"은 일반적으로 지문 시스템의 강건성의 측정을 표현하는데 사용된다. 오거절은 인지적으로 유사한 객체들의 지문들이 서로 너무 달라 확신적 확인에 이를 수 없을 때 발생한다.
지문 시스템의 신뢰도는 객체가 얼마나 자주 잘못 식별되는가를 말한다. 다시 말하면, 신뢰도는, 2개의 서로 다른 객체들이 동일하다고 잘못 단언될 수 있는 확률인, "오수락율(false acceptance rate: FAR)"에 관한 것이다.
자명하게, 지문 크기는 어떤 지문 시스템에서도 중요하다. 일반적으로, 지문 크기가 작을수록, 데이터베이스에 더 많은 지문들이 저장될 수 있다. 지문 크기는 흔히 초당 비트들로 표현되고 지문 데이터베이스 서버에 필요한 메모리 자원들을 큰 정도로 결정한다.
세분성은, 애플리케이션에 의존할 수 있고 객체를 식별하기 위해서 이 객체의 얼마나 긴(큰) 특정 샘플이 필요한가에 관계된 파라미터이다.
탐색 속도(또는 범위성)는 말 그대로, 지문 데이터베이스에서 지문을 발견하기 위해 필요한 시간을 말한다.
위에 5가지 기본 파라미터들은 서로 간에 크게 상충된다. 예를 들면, 낮은 세분성을 달성하기 위해서는, 동일 신뢰도를 얻기 위해 보다 큰 지문을 추출할 필요가 있다. 이것은 오수락률(false acceptance rate)이 지문 크기에 역으로 관계된다는 사실에 기인한다. 또 다른 예로서, 탐색 속도는 보다 강건한 지문을 설계할 때 일반적으로 증가할 것이다.
지문 시스템의 기본 파라미터들을 논하였는데, 전형적인 지문 시스템에 대해 전반을 기술한다.
지문은 발원한 오디오 또는 비디오 신호로부터 특징-벡터를 추출하는 것에 기초할 수 있다. 이러한 벡터들은 관련 메타데이터(예를들어, 제목, 작가, 등과 관련하여) 데이터베이스에 저장된다. 미지의 신호의 수신시, 특징-벡터는 미지의 신호로부터 추출되고, 추후에 지문 데이터베이스에서의 질의로서 사용된다. 질의 특징-벡터와 데이터베이스 내 그의 가장 양호한 매칭간의 거리가 소정의 임계값보다 작으면, 2개의 아이템들은 동일하다고 단언되고, 연관된 메타데이터가 리턴된다. 즉 수신된 콘텐츠가 식별된다.
매칭 프로세스에서 사용되는 임계값는 오수락률(FAR)과 오거절률(FRR)간의 절충이다. 예를 들면, 임계값을 증가시키면(즉, 2개의 지문들이 여전히 유사하다고 판정되게 이들 지문들간의 수락가능의 "거리"를 증가시키는 것) FAR이 증가하나, 동시에 FRR은 감소한다. 통상 FAR과 FRR간의 절충은 소위 네이만-피어슨 방법(Neyman-Pearson approach)을 통해 행해진다. 이것은 FAR을 사전에 특정한 허용가능의 레벨보다 작게 유지하는 최소의 값을 갖게 임계값을 선택함을 의미한다. FRR은 임계값을 결정하는 데에는 사용되는 것이 아니라 선택된 임계값에서 온다.
US 2002/0178410 A1호(Haitsma, Kalker, Baggen 및 Oostveen)는 멀티미디어 콘텐츠의 지문들을 생성하고 매칭하는 방법 및 장치를 개시한다. 이 문헌에는 4페이지에, 2개의 도출된 지문 블록들(H1, H2)간의 해밍 거리(Hamming distance)가 어떤 임계값 T 보다 작은 경우, 2개의 3초간의 오디오 클립들이 어떻게 서로 유사하다고 단언되는지가 기재되어 있다.
임계값 T의 선택을 분석하기 위해서, US2002/0178410의 발명자들은 지문 추출 프로세스가 랜덤 i.i.d(independent and identically distributed) 비트들을 생성한다고 가정한다. 그러면, 비트 에러들의 수는 파라미터들(n, p)를 갖는 2항 분포를 가질 것이며, n은 추출된 비트수이고 p(=0.5)는 0 또는 1이 추출될 확률이다. n은 크기 때문에, 2항 분포는 평균 μ=np이고 표준편차
Figure 112006034590607-PCT00001
인 정규 분포로 근사화될 수 있다. 지문 블록 H1이 주어지면, 무작위로 선택되는 지문 블록 H2가 H1에 관하여 T=αn 에러들 보다 작은 에러들을 가질 확률은 다음 식(1)로 주어진 다.
Figure 112006034590607-PCT00002
식(1)
그러나, 실제로, 강건한 지문들은 시간축을 따라 큰 상관을 갖는다. 이것은 해당 비디오 시퀀스의 큰 시간상관, 또는 오디오 프레임들의 중첩에 기인할 수 있다. 오디오 지문들에 대한 실험들은 에러 비트들의 수는 정규 분포이지만 표준편차는 i.i.d 경우보다 대략 3배 더 큼을 보여준다. 그러므로 식(1)은 이 팩터 3을 포함하게 수정된다.
Figure 112006034590607-PCT00003
식(2)
위의 방법은 지문들간의 분포가 스태셔너리(stationary)하다고 가정한다. 이것이 어떤 기술들에 대해 적절한 가정으로 보일지라도, 비디오 지문의 경우에 이것은 명확히 그렇지 않다. 비디오 지문에서, 비디오 내 "활동(activity)"의 양은 지문 비트들의 상관에 직접 반영되어, 지체된 스틸들은 고정된(즉 매우 높게 상관된) 지문 비트들을 초래하고, 반면에 "플래시(flashy) 음악 클립은 지문 비트들간에 매우 낮은 상관을 초래할 것이다. 이러한 논-스태셔너리티(non-stationarity)는 임계값에 대한 적합한 값을 정함에 있어 문제로 이어진다.
본 발명의 실시예들의 목적은 적응형 임계화 기술을 제공하는 장치를 제안하는 것이다.
본 발명의 제1 양상에 따라서, 질의 지문을 후보 지문과 비교하는 방법으로서, 상기 질의 지문 및/또는 후보 지문의 통계 모델을 결정하는 단계; 상기 통계 모델에 기초하여, 상기 질의 지문과 상기 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리를 도출하는 단계를 포함하는 것을 특징으로 하는 방법이 제공된다.
본 발명의 제2 양상은 질의 객체를 알려진 객체에 매칭시키는 방법으로서, 복수의 후보 객체들을 표현하는 복수의 후보 지문들은 데이터베이스에 미리 저장되고, 상기 방법은 상기 질의 객체의 일부를 형성하는 정보 신호를 수신하여, 이로부터 질의 지문을 구성하고, 상기 질의 지문을 상기 데이터베이스 내 후보 지문과 비교하는 단계를 포함하는, 상기 방법은, 상기 질의 지문 및/또는 상기 후보 지문에 대한 통계 모델을 결정하는 단계; 및 상기 통계 모델에 기초하여, 상기 질의 지문과 상기 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리를 도출하는 단계를 더 포함하는 것을 특징으로 하는 방법을 제공한다.
제1 및 제2 양상들의 방법들에서, 특정 지문의 통계 모델에 기초한 임계값의 도출은 임의의 임계화 시스템의 애플리케이션에 대해 향상된 매칭 질들을 제공하는 질의 지문 유형/내적 특징들에 따라 F.A.R.을 최적화할 수 있는 적응형 임계값 설정을 제공한다.
바람직하게, 후보 지문이 임계 거리보다 작은 거리만큼 질의 지문으로부터 이격된다고 알려지고, 후보 지문과 질의 지문간 거리가 어떤 다른 후보 지문과 질의 지문간 거리보다 작은 경우, 후보 지문은 가장 양호하게 매칭하는 후보 지문이라고 단언되고, 가장 양호한 매칭하는 후보 지문에 의해 표현되는 후보 객체와 질의 지문에 의해 표현되는 질의 객체는 동일하다고 간주된다.
바람직하게, 통계 모델은 상기 질의 지문 및/또는 상기 후보 지문에 관한 내적 상관을 수행한 결과를 포함한다.
바람직하게, 지문들은 2진값들을 포함하고, 상기 통계 모델은 질의 지문 프레임 F(m,k) 중 얼마나 많은 비트들이 이들의 선행 지문 프레임 F(m,k-1)의 이들의 대응 비트와 다른지를 판정함으로써 상기 질의 지문에 대한 트랜지션 확률(transition probability) q를 판정하고, 모든 지문 비트들이 이들의 대응 선행 비트와는 반대의 상태였을 경우에 얻어질 수 있는 최대값 M*(k-1)로 트랜지션들의 수를 나눔으로써 질의 지문에 대해 계산되며, 여기서 각 지문은 프레임당 M비트를 포함하고, K 프레임들에 걸쳐 있으며, k는 프레임 인덱스(0 내지 K의 범위)이고, m은 한 프레임 내의 비트-인덱스(0 내지 M의 범위)이다.
임계 거리 T는 원하는 FAR(False Acceptance Rate)에 기초하여 다음의 식으로부터 계산될 수 있다.
Figure 112006034590607-PCT00004
식(4)
제3 양상에서, 본 발명은 질의 객체를 알려진 객체에 매칭시키는 장치로서, 상기 장치는, 질의 객체의 일부를 형성하는 정보 신호를 수신하여, 이로부터 질의 지문을 구성하는 지문 추출 모듈, 및 상기 질의 지문을 데이터베이스에 저장된 후보 지문들에 하나 이상의 후보 지문들과 비교하는 지문 매칭 모듈을 포함하고, 상기 장치는, 상기 질의 지문 및/또는 상기 하나 이상의 후보 지문들 중 하나 이상의 통계 모델을 결정하는 통계 모듈; 상기 통계 모듈에 기초하여, 상기 질의 지문과 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리 T를 도출하는 임계값 결정기; 및 후보 지문이 상기 임계 거리 T 보다 작은 거리만큼 상기 질의 지문으로부터 이격된다고 알려지고, 상기 후보 지문과 상기 질의 지문간의 거리가 어떤 다른 후보 지문과 상기 질의 지문간의 거리보다 작은 경우, 상기 후보 지문은 가장 양호하게 매칭하는 후보 지문이라고 단언되고, 상기 가장 양호하게 매칭하는 후보 지문에 의해 표현되는 상기 후보 객체와 상기 질의 지문에 의해 표현되는 상기 질의 객체는 서로 동일하다고 간주되도록 배열된 식별 모듈을 포함하는 것을 특징으로 하는 장치를 제공한다.
본 발명을 더 이해하고 실시예들이 어떻게 효과적으로 수행되는가를 보이기 위해서, 예로서 첨부한 개략도를 참조한다.
도 1은 본 발명의 실시예에 따른 적응형 임계값을 지문을 얻는 방법을 예시한 기능 블록도.
도 2는 본 발명의 실시예에 따라 지문들을 발견하고 매칭시키는데 연루된 프로세스 전반을 설명하는 흐름도.
도 3은 본 발명의 실시예에 따라 적응형 임계값을 결정하기 위한 방법 전반을 예시한 흐름도.
도 4는 본 발명의 실시예에 따라 특정의 적응형 임계값 설정 방법을 예시한 흐름도.
도 1을 참조하면, 클라이언트측(100)과 데이터베이스 서버측(200)으로 나뉘어진 기능 블록도가 도시되었다. 클라이언트측에서, 지문 추출 모듈에 의해 객체가 수신되고 이 객체에 대해 질의 지문 F가 계산된다. 질의 지문 F는 통계 모듈(120)에 보내어지고, 데이터베이스 서버측(200)에도 보내어진다. 통계 모듈(120)은 질의 지문 F의 무작위성/상관의 측정을 결정하고(예를 들면, 내적 상관을 결정할 수도 있다) 이 정보를 임계값 결정기(130)에 보낸다. 임계값 결정기(130)는 모듈(120)로부터의 정보에 기초하여, 임계값 레벨 T를 적응형으로 설정하여 이 임계값 레벨을 데이터베이스 서버측(200)에 보낸다.
데이터베이스 서버측(200)에서, 매칭 모듈은 클라이언트측(100)으로부터 질의 지문 F를 수신하여 알려진 지문들의 데이터베이스 내에서 그 지문의 가장 양호하게 매칭하는 것을 찾는다. 이어서, 가장 양호한 매칭 정보는 임계값 비교모듈(220)에 보내어져 가장 양호하게 매칭하는 후보 지문이 질의 지문에 충분히 가까운지(임계값 거리 T 이내인지)를 판정하여 후보 지문에 대응하는 매칭된 객체를 가진 입력 객체의 식별을 판정한다. 지문 F가 2진값들을 취하는 경우에, 임계값 비교모듈(200)은, 예를 들면, 지문 블록(H1)와 데이터베이스 내 가장 양호한 매칭에 관계된 지문 블록(H2)간의 해밍 거리를 비교하고 임계값 결정모듈(130)로부터 비교모 듈(220)에 공급된 2개의 블록들간의 해밍 거리가 임계값 T 보다 작은지를 체크한다. 식별판정이 식별 모듈(230)에 의해 행해지므로, 2개의 도출된 지문 블록들간의 해밍 거리가 임계 거리 T 보다 작다면, 식별되지 않은 질의 객체는 데이터베이스에서 발견된 객체와 유사하다고 단언되고 관계된 메타데이터가 리턴된다.
위의 설명에서, 질의 지문 F 및 임계값 T는 클라이언트측(100)에 의해 데이터베이스 서버측(200)에 보내진다. 여기서, 물론, 임계값 T는 데이터베이스 서버측(200)에서 결정될 수도 있을 것이며 따라서, 위에 언급한 블록도의 변경들이 물론 가능함에 유의해야 할 것이다.
도 2를 참조하면, 지문들을 발견하여 매칭함에 있어 도 1의 블록도의 구성성분들의 동작을 일반적으로 설명하는 흐름도가 도시되었다.
단계 S100에서, 객체 샘플(예를 들면, 짧은 "클립"의 경우)이 수신되고 질의 지문이 샘플에 기초하여 결정된다. 이 질의 지문은 어떤 적합한 종래 기술의 방법(이를테면 US2002/0178410A1에 개시된)에 따라 결정될 수 있다. 단계 S200에서(경로 "A"에 의해 도달된), 질의 지문에 대한 임계값이 질의 지문의 특정한 특징들(무작위성/상관)에 따라 결정된다.
단계 S200과 병렬로 수행될 수 있는 단계 S300에서, 질의 지문은 데이터베이스 서버측(200)에 보유된 지문들과 매칭되고, 가장 양호하게 매칭하는 후보를 리턴한다. 다시, 이 매칭 프로세스는 통상적으로 수행될 수 있고 질의 지문에 가장 가까운 매치를 리턴한다.
단계 S300에서, 질의 지문과 가장 양호하게 매칭하는 후보간의 "거리"가 결 정될 것이며, 단계 S400에서, "거리"가 단계 S200에서 결정된 임계 거리보다 작은지가 체크된다. 질의 지문과 가장 양호하게 매칭하는 후보간의 거리가 단계 S400에서 임계값보다 큰 것으로 발견된다면, 질의 객체에 매칭되는 객체는 없는 것으로 발견되었다는 결과가 리턴된다. 한편, 질의 지문과 가장 양호하게 매칭하는 후보 지문간의 거리가 단계 S400에서 임계 거리보다 작으면, 단계 S600에서, 질의 객체와 가장 양호하게 매칭하는 후보에 관계된 데이터베이스 내 객체간의 매치가 단언된다. 가장 양호하게 매칭하는 객체의 메타데이터 등이 사용자에게 리턴될 수 있다.
도 2에서, S100에서 단계 S200에 이르는 점선들로 표기한 경로 "A"는 질의 지문에 기초하여 임계값 T=T1을 설정하기 위한 한 옵션을 표현한다. 그러나, 대안적으로, 경로 "A"는 무시되고 임계값 T=T2가 가장 양호하게 매칭하는 후보의 특징들에 기초할 수 있다. 이 가능성은 S300에서 S200으로의 대안적 경로 B로 표기되었다.
또 다른 대안에서, 임계값 T는, 예를 들면, 2개의 도출된 적응형 임계값들(T1, T2)간에 평균에 임계값을 설정함으로써, 질의 지문과 가장 양호하게 매칭하는 후보 지문 둘 다의 특징들의 조합에 기초할 수도 있다.
도 3은 주어진 임계값 T을 적응형으로 결정하기 위한 일반적인 방법을 예시한 흐름도이다.
단계 S210에서, 질의 후보 지문이 수신되고, 지문의 무작위성의 측정이 결정되고, 이어서 단계 S220에서 임계 거리는 단계 S210에서 발견된 무작위성의 측정에 따라 설정된다.
위로부터 그리고 도 1에 관련한 설명으로부터 아는 바와 같이, 비교에서 사용되는 임계값 T(T1 또는 T2)는 질의-지문 및/또는 가장 양호하게 매칭하는 후보의 무작위성/상관에 적응된다. 구체적으로, 질의 지문을 위한 임계값 결정의 경우에, 질의 지문의 상관이 결정되고, 이 상관으로부터, 매칭시 사용할 임계값이 계산된다. 내적 상관이 덜 랜덤한 것으로 발견될수록, FRR에 악영향을 미침이 없이 보다 작은 임계 거리 T가 설정될 수 있다.
전술한 바와 같이, 임계값은 질의 지문의 내적 상관, 가장 양호하게 매칭하는 후보 지문 또는 이들 둘의 조합으로 결정된다. 지문이 2진값이고, 지문 비트들이 마코프 프로세스(Markov-process)처럼 행동하는 경우들에 있어서, 임계값을 적응형으로 설정하기 위한 솔루션이 도출될 수 있다.
적응형 임계값 설정문제에 대한 솔루션이 도 4에 도시되었다. 단계 S221에서, 해당 지문의 내적 상관이 결정되고, S222에서 지문에 대한 트랜지션 확률이 내적 상관에 기초하여 결정되고, 단계 S223에서, 임계 거리가 트랜지션 확률(후술함) 및 원하는 오수락률 둘 다에 기초하여 적응형으로 설정된다.
지문이 프레임당 다수의 비트들로 구성되고 K 프레임들에 이르는 것으로 한다. 이 경우, 지문은 F(m,k)로 표기할 수 있는데, 여기서 k는 프레임 인덱스(0 내지 K-1의 범위)이고 m은 한 프레임 내 비트-인덱스(0 내지 M-1의 범위)이다. q는 프레임 k로부터 추출된 지문-비트가 프레임 k-1로부터 대응하는 지문 비트와 같지 않을 확률을 (q=Prob[bit(m,k)≠bit(m,k-1)])로 표기하는 것으로 한다. 이 확률 q 를 트랜지션 확률이라고 한다. 이 경우에 상관은 다음 식(3)의 팩터만큼 증가한다(완전히 랜덤한 비트들의 경우에 비교해서, 이 경우 q=1/2)
Figure 112006034590607-PCT00005
식(3)
결국, 오수락률(FAR)은 다음 관계식(4)으로 기술된다.
Figure 112006034590607-PCT00006
식(4)
원하는 FAR 및 계산된 트랜지션 확률 q로부터 적응형 임계값을 계산하기 위해 위의 관계식의 사용은 다음과 같이 요약될 수 있다.
지문 F 추출
다음과 같이, 지문 F에 대한 트랜지션 확률 q를 결정:
(a) 지문 비트들 F(m,k) 중 얼마나 많은 비트들이 이들의 앞의 것 F(m,k-1)과 다른지를 결정한다.
(b) 단계 (a)에서 계산된 트랜지션들의 수를 이론적인 최대값 M*(K-1)로 나누며, 이것은 트랜지션 확률 q=(비트-트랜지션들의 수)/(M*(K-1))을 결정하기 위해 각 프레임에 대해 모든 지문 비트들이 이전 프레임의 비트들과는 반대일 경우 얻어질 것이다.
계산된 값 q와, 관계식(4)을 사용하여 정의된 미리 동의된 오수락률로부터 상기 특정의 질의 지문 F를 매칭하는데 사용할 임계값 T를 결정한다.
위로부터, 임계값 T은 T=T1에 대해서(위에 질의 지문의 상관에 기초하여), 또는 T=T2(위에 가장 양호하게 매칭하는 지문의 상관에 기초하여), 또는 T=T3(T, T2의 조합, 예를 들면
Figure 112006034590607-PCT00007
에 기초하여) 적응형으로 설정될 수 있다. 이어서, 판정단계에서 해밍 거리가 T 보다 작으면, 해당 객체들은 동일하다고 단언한다.
본 발명의 위의 특정의 예들에서, 임계 거리는 특정 질의 샘플, 또는 사실, 특정 후보 샘플 또는 한 세트의 샘플들의 내적 특징들에 기초하여 적응형으로 설정된다. 그러나, 기술된 특정의 예들이 관련 내적 특징들을 무작위성/상관으로서 취하였으나, 다른 유형들의 통계적 분포가 어떤 유형들의 정보 신호에 적용될 수도 있을 것이고 따라서, 본 발명은 질의 샘플 또는 후보 샘플 지문이 맞을 것으로 보이는 어떤 주어진 적용가능의 "통계 모델"에 따라 적응형 임계값들을 제공하는 것에 적합하게 확장될 수도 있음을 알 것이다.
또한, 당업자는 도 2 내지 도 4의 흐름도들이 본 발명을 구현하는 한 구성을 보이고 있으나, 다른 구성들도 가능함을 알 것이다. 예를 들면, 도 2의 단계 S300에서 단일의 가장 양호하게 매칭하는 후보를 리턴하기보다는, 임계 거리 내의 복수의 가까운 매칭되는 후보들이 리턴되어 병렬로 처리되어(또는 덜 잇점이 있게는 직렬로) 이후에 "가장 양호한" 매칭을 계산할 수도 있다. 본 발명은 데이터베이스 내의 어떤 후보들이 결코 매치를 할 수 없음이 자명한 경우 즉시 폐기되어-탐색/매칭이 훨씬 감소된 탐색공간 내에서 행해질 수 있는 소위 "프루닝(pruding)" 기술들을 사용하여 적용될 수도 있다.
본 발명의 실시예들에 따라서, 임계값이 지문의 특정의 특징들에 의존하는 적응형 임계값을 설정하기 위한 방법들 및 장치가 개시된다. 특정의 방법은 비디오 콘텐츠의 매칭에 사용에 매우 적합하나 이것으로 한정되는 것은 아니다. 설명한 기술들은 오디오 신호들, 비디오 신호들, 멀티미디어 신호들을 포함하는-이것으로 한정되는 것은 아니다-기술의 여러 서로 다른 분야들 및 여러 서로 다른 신호 유형들에 적용될 수 있다.
당업자는 기술된 프로세스들이 소프트웨어, 하드웨어, 또는 어떤 적합한 조합으로 구현될 수 있음을 알 것이다.
요약하여, 본 발명은 지문 매칭을 위한 방법들 및 장치들에 관한 것이다. 본 발명의 실시예에서 지문 추출 모듈(110), 지문 매칭 모듈(210), 통계 모듈(120) 및 식별 모듈을 포함하는 장치가 제공된다. 지문 추출 모듈(110)은 질의의 일부를 형성하는 정보 신호를 수신하여 질의 지문을 구성한다. 지문 매칭 모듈(210)은 적어도 하나의 잠재적으로 가장 양호하게 매칭하는 후보를 발견하기 위해서 질의 지문을 데이터베이스(215)에 저장된 후보들과 비교한다. 한편, 통계 모듈은 예를 들면 질의 지문의 통계적 분포를 결정하기 위해서 질의 지문의 통계 모듈을 결정한다. 임계값 결정기(120)는 질의 지문의 분포에 기초하여, 식별 모듈(130)에 의해 질의 지문 및 잠재적으로 가장 양호하게 매칭하는 후보가 서로 유사하다고 단언될 수 있는 적응형 임계 거리 T를 도출하게 구성된다. 질의 지문의 통계적 분포에 따라 적응형으로 임계값을 설정함으로써, 향상된 오수락률(F.A.R.) 및 그 외 다른 잇점들 이 달성될 수 있다.

Claims (10)

  1. 질의 지문을 후보 지문과 비교하는 방법으로서, 상기 방법은,
    상기 질의 지문 및/또는 후보 지문의 통계 모델을 결정하는 단계;
    상기 통계 모델에 기초하여, 상기 질의 지문과 상기 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리를 도출하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 질의 객체를 알려진 객체에 매칭시키는 방법으로서, 복수의 후보 객체들을 표현하는 복수의 후보 지문들은 데이터베이스에 미리 저장되고, 상기 방법은 상기 질의 객체의 일부를 형성하는 정보 신호를 수신하고, 이로부터 질의 지문을 구성하고, 상기 질의 지문을 상기 데이터베이스 내 후보 지문과 비교하는 단계를 포함하는, 상기 방법에 있어서,
    상기 질의 지문 및/또는 상기 후보 지문에 대한 통계 모델을 결정하는 단계; 및
    상기 통계 모델에 기초하여, 상기 질의 지문과 상기 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리를 도출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 후보 지문이 상기 임계 거리보다 작은 거리만큼 상기 질의 지문으로부터 이격된다고 알려지고, 상기 후보 지문과 상기 질의 지문간 거리가 어떤 다른 후보 지문과 상기 질의 지문간 거리보다 작은 경우, 상기 후보 지문은 가장 양호하게 매칭하는 후보 지문이라고 단언되고, 상기 가장 양호하게 매칭하는 후보 지문에 의해 표현되는 상기 후보 객체와 상기 질의 지문에 의해 표현되는 상기 질의 객체는 동일하다고 간주되는 것을 특징으로 하는, 방법.
  4. 제1항, 제2항 또는 제3항에 있어서, 상기 통계 모델은 상기 질의 지문 및/또는 상기 후보 지문에 관한 내적 상관(internal correlation)을 수행한 결과를 포함하는, 방법.
  5. 제4항에 있어서, 상기 지문들은 2진값들을 포함하는 복수의 프레임들을 포함하고, 상기 통계 모델은, 한 프레임의 상기 질의 지문 F(m,k) 중 얼마나 많은 비트들이 이들의 선행 지문 프레임 F(m,k-1)의 이들의 대응 비트와 다른지를 판정함으로써 상기 질의 지문에 대한 트랜지션 확률(transition probability) q를 판정하고, 모든 지문 비트들이 이들의 대응 선행 비트와는 반대의 상태였을 경우에 얻어질 수 있는 최대값 M*(k-1)로 트랜지션들의 수를 나눔으로써, 상기 질의 지문에 대해서 계산되며, 여기서 각 지문은 프레임당 M비트를 포함하고, K 프레임들에 걸쳐 있으며, k는 프레임 인덱스(0 내지 K의 범위)이고 m은 한 프레임 내의 비트-인덱스(0 내지 M의 범위)인, 방법.
  6. 제5항에 있어서, 상기 임계 거리 T는 원하는 오수락률(False Acceptance Rate: FAR)에 기초하여 다음의 식
    Figure 112006034590607-PCT00008
    으로부터 계산되는, 방법.
  7. 질의 객체를 알려진 객체에 매칭시키는 장치로서, 상기 장치는 질의 객체의 일부를 형성하는 정보 신호를 수신하여, 이로부터 질의 지문을 구성하는 지문 추출 모듈(110) 및 상기 질의 지문을 데이터베이스(215)에 저장된 후보 지문들에 하나 이상의 후보 지문들과 비교하는 지문 매칭 모듈(210)을 포함하는, 상기 장치에 있어서,
    상기 질의 지문 및/또는 상기 하나 이상의 후보 지문들 중 하나 이상의 통계 모델을 결정하는 통계 모듈(120);
    상기 통계 모듈에 기초하여, 상기 질의 지문과 잠재적으로 가장 양호하게 매칭하는 후보 지문이 서로 유사하다고 단언될 수 있는 임계 거리 T를 도출하는 임계값 결정기(120); 및
    후보 지문이 상기 임계 거리 T 보다 작은 거리만큼 상기 질의 지문으로부터 이격된다고 알려지고, 상기 후보 지문과 상기 질의 지문간의 거리가 어떤 다른 후보 지문과 상기 질의 지문간의 거리보다 작은 경우, 상기 후보 지문은 가장 양호하 게 매칭하는 후보 지문이라고 단언되고, 상기 가장 양호하게 매칭하는 후보 지문에 의해 표현되는 상기 후보 객체와 상기 질의 지문에 의해 표현되는 상기 질의 객체는 서로 동일하다고 간주되도록 배열된 식별 모듈(230)을 더 포함하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서, 상기 통계 모듈(120)은 상기 질의 지문 및/또는 상기 하나 이상의 후보 지문들에 관한 내적 상관을 수행하는, 장치.
  9. 제8항에 있어서, 상기 지문들은 2진값들을 포함하는 복수의 프레임들을 포함하고, 상기 통계 모델(120)은 한 프레임의 상기 질의 지문 F(m,k) 중 얼마나 많은 비트들이 선행 지문 프레임 F(m,k-1)의 대응 비트와 다른지를 판정함으로써 트랜지션 확률 q를 판정하고, 모든 지문 비트들이 이들의 대응 선행 비트와는 반대의 상태였을 경우에 얻어질 수 있는 최대값 M*(k-1)로 트랜지션들의 수를 나눔으로써, 상기 질의 지문 또는/및 상기 후보 지문에 대한 통계 모델을 계산하며, 여기서 각 지문은 프레임당 M비트를 포함하고, K 프레임들에 걸쳐 있으며, k는 프레임 인덱스(0 내지 K의 범위)이고, m은 한 프레임 내의 비트-인덱스(0 내지 M의 범위)인, 장치.
  10. 제9항에 있어서, 상기 임계값 결정기(130)는 상기 임계 거리 T를 원하는 오수락률(FAR)에 기초하여 다음의 식
    Figure 112006034590607-PCT00009
    으로부터 계산하는, 장치.
KR1020067009641A 2003-11-18 2004-11-08 도출된 지문들을 매칭시킴으로써 데이터 객체들을매칭시키는 방법 및 장치 KR20060118493A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03104250.0 2003-11-18
EP03104250 2003-11-18

Publications (1)

Publication Number Publication Date
KR20060118493A true KR20060118493A (ko) 2006-11-23

Family

ID=34610093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067009641A KR20060118493A (ko) 2003-11-18 2004-11-08 도출된 지문들을 매칭시킴으로써 데이터 객체들을매칭시키는 방법 및 장치

Country Status (6)

Country Link
US (1) US20070071330A1 (ko)
EP (1) EP1687806A1 (ko)
JP (1) JP2007519986A (ko)
KR (1) KR20060118493A (ko)
CN (1) CN1882984A (ko)
WO (1) WO2005050620A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025694A (ko) * 2016-09-01 2018-03-09 주식회사 사운들리 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 방법 및 장치

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1314110B1 (en) * 2000-08-23 2009-10-07 Gracenote, Inc. Method of enhancing rendering of a content item, client system and server system
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
JP4723171B2 (ja) * 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
KR20040086350A (ko) * 2002-02-05 2004-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트의 효율적 저장
DE60326743D1 (de) * 2002-09-30 2009-04-30 Gracenote Inc Fingerabdruckextraktion
WO2004040475A2 (en) * 2002-11-01 2004-05-13 Koninklijke Philips Electronics N.V. Improved audio data fingerprint searching
CN1711531A (zh) * 2002-11-12 2005-12-21 皇家飞利浦电子股份有限公司 采指纹多媒体内容
US8719779B2 (en) * 2004-12-28 2014-05-06 Sap Ag Data object association based on graph theory techniques
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
WO2007053112A1 (en) * 2005-11-07 2007-05-10 Agency For Science, Technology And Research Repeat clip identification in video data
JP2007171772A (ja) * 2005-12-26 2007-07-05 Clarion Co Ltd 音楽情報処理装置、音楽情報処理方法および制御プログラム
MX2008015819A (es) 2006-06-13 2009-01-12 Koninkl Philips Electronics Nv Impresion digital, aparato, metodo de identificacion y sincronizacion de video.
CN101479801B (zh) 2006-06-23 2011-04-06 皇家飞利浦电子股份有限公司 在媒体播放器上导航项目的方法
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20080274687A1 (en) 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
WO2008150544A1 (en) * 2007-06-06 2008-12-11 Dolby Laboratories Licensing Corporation Improving audio/video fingerprint search accuracy using multiple search combining
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
US8238669B2 (en) * 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US8447032B1 (en) 2007-08-22 2013-05-21 Google Inc. Generation of min-hash signatures
WO2009026803A1 (en) 2007-08-27 2009-03-05 Yuvad Technologies Co., Ltd. A method for identifying motion video content
WO2009087511A1 (en) * 2008-01-04 2009-07-16 Koninklijke Philips Electronics N.V. A method and a system for identifying elementary content portions from an edited content
US8934709B2 (en) 2008-03-03 2015-01-13 Videoiq, Inc. Dynamic object classification
WO2009140818A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A system for facilitating the archiving of video content
US8370382B2 (en) * 2008-05-21 2013-02-05 Ji Zhang Method for facilitating the search of video content
US8611701B2 (en) * 2008-05-21 2013-12-17 Yuvad Technologies Co., Ltd. System for facilitating the search of video content
US8488835B2 (en) * 2008-05-21 2013-07-16 Yuvad Technologies Co., Ltd. System for extracting a fingerprint data from video/audio signals
US8548192B2 (en) * 2008-05-22 2013-10-01 Yuvad Technologies Co., Ltd. Method for extracting a fingerprint data from video/audio signals
WO2009140824A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A system for identifying motion video/audio content
WO2009143667A1 (en) * 2008-05-26 2009-12-03 Yuvad Technologies Co., Ltd. A system for automatically monitoring viewing activities of television signals
US8335786B2 (en) * 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术（上海）有限公司 一种多媒体播放系统和方法
JP4999981B2 (ja) * 2010-12-20 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 情報受信通知装置及び情報受信通知方法
CN102413007B (zh) * 2011-10-12 2014-03-26 上海奇微通讯技术有限公司 一种深度报文检测方法及设备
CN103093761B (zh) * 2011-11-01 2017-02-01 深圳市世纪光速信息技术有限公司 音频指纹检索方法及装置
KR101315970B1 (ko) * 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
US9141676B2 (en) * 2013-12-02 2015-09-22 Rakuten Usa, Inc. Systems and methods of modeling object networks
US9986280B2 (en) * 2015-04-11 2018-05-29 Google Llc Identifying reference content that includes third party content
CN106407226B (zh) * 2015-07-31 2019-09-13 华为技术有限公司 一种数据处理方法、备份服务器及存储系统
CN106910494B (zh) 2016-06-28 2020-11-13 创新先进技术有限公司 一种音频识别方法和装置
CN106446802A (zh) * 2016-09-07 2017-02-22 深圳市金立通信设备有限公司 一种指纹识别方法及终端
US10771828B2 (en) 2018-09-18 2020-09-08 Free Stream Media Corp. Content consensus management
US20210056085A1 (en) * 2019-08-19 2021-02-25 Gsi Technology Inc. Deduplication of data via associative similarity search
US11417099B1 (en) * 2021-11-08 2022-08-16 9219-1568 Quebec Inc. System and method for digital fingerprinting of media content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
JP4723171B2 (ja) * 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
KR20040024870A (ko) * 2001-07-20 2004-03-22 그레이스노트 아이엔씨 음성 기록의 자동 확인
US7142699B2 (en) * 2001-12-14 2006-11-28 Siemens Corporate Research, Inc. Fingerprint matching using ridge feature maps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025694A (ko) * 2016-09-01 2018-03-09 주식회사 사운들리 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 방법 및 장치

Also Published As

Publication number Publication date
US20070071330A1 (en) 2007-03-29
EP1687806A1 (en) 2006-08-09
CN1882984A (zh) 2006-12-20
WO2005050620A1 (en) 2005-06-02
JP2007519986A (ja) 2007-07-19

Similar Documents

Publication Publication Date Title
KR20060118493A (ko) 도출된 지문들을 매칭시킴으로써 데이터 객체들을매칭시키는 방법 및 장치
US11294955B2 (en) System and method for optimization of audio fingerprint search
Cano et al. A review of algorithms for audio fingerprinting
JP5090523B2 (ja) 複数の検索の組み合わせを使用して、オーディオ／ビデオの指紋検索精度を改善する方法及び装置
US6931413B2 (en) System and method providing automated margin tree analysis and processing of sampled data
Miller et al. Audio fingerprinting: nearest neighbor search in high dimensional binary spaces
EP2685450B1 (en) Device and method for recognizing content using audio signals
AU2008288797B2 (en) Detection and classification of matches between time-based media
US7260439B2 (en) Systems and methods for the automatic extraction of audio excerpts
US7818167B2 (en) Method, medium, and system for music retrieval using modulation spectrum
EP2323046A1 (en) Method for detecting audio and video copy in multimedia streams
US20120114167A1 (en) Repeat clip identification in video data
US8892570B2 (en) Method to dynamically design and configure multimedia fingerprint databases
US8463725B2 (en) Method for analyzing a multimedia content, corresponding computer program product and analysis device
Haitsma et al. An efficient database search strategy for audio fingerprinting
US20210357363A1 (en) File comparison method
CN111599378A (zh) 音频匹配方法，电子设备及存储介质
de Rougemont et al. The content correlation of multiple streaming edges
CN109524026B (zh) 提示音的确定方法及装置、存储介质、电子装置
Cha An Efficient Search Algorithm for Fingerprint Databases.
CN114357274A (zh) 一种ip信息查询方法及装置
WO2002082308A2 (en) A method and system for finding similar situations in sequences of events
NZ722874B2 (en) Optimization of audio fingerprint search

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid