KR100893671B1 - 멀티미디어 콘텐트의 해시들의 생성 및 매칭 - Google Patents

멀티미디어 콘텐트의 해시들의 생성 및 매칭 Download PDF

Info

Publication number
KR100893671B1
KR100893671B1 KR1020027013737A KR20027013737A KR100893671B1 KR 100893671 B1 KR100893671 B1 KR 100893671B1 KR 1020027013737 A KR1020027013737 A KR 1020027013737A KR 20027013737 A KR20027013737 A KR 20027013737A KR 100893671 B1 KR100893671 B1 KR 100893671B1
Authority
KR
South Korea
Prior art keywords
hash
signal
bits
database
stored
Prior art date
Application number
KR1020027013737A
Other languages
English (en)
Other versions
KR20030005279A (ko
Inventor
에이. 헤이츠마잽
에이. 씨. 엠. 캘커안토니우스
피. 엠. 제이. 배겐콘스탄트
잡 씨. 오우스트빈
Original Assignee
그레이스노트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그레이스노트, 인크. filed Critical 그레이스노트, 인크.
Publication of KR20030005279A publication Critical patent/KR20030005279A/ko
Application granted granted Critical
Publication of KR100893671B1 publication Critical patent/KR100893671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/90—Aspects of broadcast communication characterised by the use of signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)

Abstract

해시들은 파일을 식별하기 위해 사용될 수 있는 데이터 파일들의 짧은 써머리들(summaries) 또는 시그너처들이다. 멀티미디어 콘텐트(오디오, 비디오, 이미지)를 해싱하는 것은 원래 콘텐트 및 처리된(예컨대, 압축된) 콘텐트의 해시가 상당히 상이할 수 있으므로 곤란하다. 개시된 방법은 예컨대 오디오 클립들과 같은 멀티미디어 콘텐트에 대한 강력한 해시들을 생성한다. 오디오 클립은 연속적인(바람직하게는 오버랩하는) 프레임들로 분할된다(12). 각각의 프레임에 대해, 주파수 스펙트럼은 대역들로 분할된다(15). 각 대역의 강력한 특성(예컨대, 에너지)이 계산되고(16) 각각의 해시 비트에 의해 표현된다(17). 따라서, 오디오 클립은 각각의 프레임에 대해 하나인, 2진수 해시 워드들의 연결에 의해 나타내어진다. 가능하게 압축된 오디오 신호를 식별하기 위해서, 그로부터 도출된 해시 워드들의 블록은, 컴퓨터(20)에 의해 큰 데이터베이스(21)에 매칭된다. 또한, 각각의 매칭 방법들이 설명된다. 바람직한 실시예에서, 또한 추출 과정은 해시 비트들 중 어떤 것이 가장 신뢰할 수 없는 것인지에 대해 정보(19)를 제공한다. 이들 비트들을 플리핑(flipping)하는 것은 매칭 과정의 속도 및 성능을 상당히 향상시킨다.
해시 워드, 데이터베이스, 식별자, 에러율, 프레임

Description

멀티미디어 콘텐트의 해시들의 생성 및 매칭{Generating and matching hashes of multimedia content}
발명의 분야
본 발명은 정보 신호를 식별하는 해시 신호(hash signal)를 생성하기 위한 방법 및 장치에 관한 것이다. 본 발명은 또한 이러한 해시 신호들과 데이터베이스에 저장된 해시 신호들을 매칭하기 위한 방법 및 장치에 관한 것이다.
발명의 배경
해시 함수들은 암호 해독 분야에 일반적으로 알려져 있으며, 특히 엄청난 양의 데이터를 식별하기 위해 사용된다. 예를 들어, 큰 파일의 정확한 수신을 입증하기 위해서, 그것은 그 파일의 해시 값(시그너처(signature)라 함)을 전송하는데 충분하다. 복귀된 해시 값이 원래 파일의 해시 값과 매치하면, 그 파일이 수신쪽에 의해 정확하게 수신되었다는 거의 완전한 불확실성이 존재한다. 남아있는 불확실성은 충돌이 일어날 수 있다는 사실, 즉 두 개의 상이한 파일들이 동일한 해시 값을 가질 수 있다는 사실에 기인하여 도입된다. 신중하게 설계된 해시 함수는 충돌의 가능성을 최소화시킨다.
암호 해시의 특정한 특성은 그것이 극단적으로 부서지기 쉽다는 것이다. 일반적으로 소스 데이터 내의 단일 비트를 플리핑(flipping)하는 것은 완전히 상이한 해시 값이 되게 한다. 이것은 암호 해싱(hashing)을, 동일한 콘텐트의 상이한 품질 버전들(versions)이 동일한 시그너처를 산출해야 하는 멀티미디어 콘텐트를 식별하는데 적합하지 않게 만든다. 데이터 처리(그 처리가 콘텐트의 수용가능한 품질을 유지하는 한)에 대해 어느 정도까지 불변인 멀티미디어 콘텐트의 시그너처들은 강력한 시그너처들로서 언급되고, 또한 이것은 양호한 명명 규칙(naming convention), 즉 강력한 해시들이다. 강력한 해시들 및 콘텐트 식별자들의 데이터베이스를 사용함으로써, 알려지지 않은 콘텐트는 이것이 열화되더라도(예컨대, 압축 또는 AD/DA 전환에 의해) 식별될 수 있다. 강력한 해시들은 오디오-비주얼 콘텐트의 필수적인 부분들을 지각적으로 캡쳐한다.
멀티미디어 콘텐트를 식별하기 위해 강력한 해시를 사용하는 것은 동일한 목적을 위해 워터마킹 기술을 사용하는 것에 대한 대안이다. 하지만, 커다란 차이가 또한 존재한다. 워터마킹은 해제되기 전에, 콘텐트 품질 및 수송 문제들에 대한 잠재적인 영향을 갖고, 원래 콘텐트 상에서의 동작을 요구하는(바꿔 말하면, 워터마크 내장)데 반해, 강력한 해싱은 해제 전에 동작을 요구하지 않는다. 해싱 기술의 단점은 데이터베이스에 대한 액세스가 필요하지만(예컨대, 해싱은 접촉된 콘텍스트(context)에서만 실행 가능하다), 이에 반해 워터마크 검출기들은 논리적으로 동작할 수 있다는 것이다(예컨대, 비접촉 DVD 플레이어들에서). 미국 특허 제4,677,466호는 방송 모니터링을 위한 텔레비전 신호로부터 시그너처를 도출하는 알려진 방법을 개시하고 있다. 이 종래의 방법에서, 시그너처는 공란 프레임(blank frame)과 같은 특정 이벤트(event)의 발생 후에 짧은 비디오 또는 오디오 시퀀스로부터 도출된다.
(발명의 목적 및 요약)
본 발명의 일반적인 목적은 강력한 해싱 기술(robust hashing technology)을 제공하는 것이다. 특히, 본 발명의 제 1 목적은 멀티미디어 콘텐트로부터 제한된 수의 해싱 비트들을 추출하기 위한 방법 및 장치를 제공하는 것이다. 해싱 비트들은 강력하지만, 비트 에러들의 확률이 제로라는 뜻은 아니다. 부정확한 패턴 매칭(non-exact pattern matching)(즉, 데이터베이스에서 가장 유사한 해시 값을 검색하는 것)은 NP-완전이라고 알려져 있다. 레이먼(layman) 용어에서, 이것은 최상의 검색 전략이 큰 데이터베이스를 다루는 많은 애플리케이션들에서 금지되는 소모적인 검색이라는 것을 의미한다. 그러므로, 본 발명의 제 2 목적은 이러한 NP-완전 검색 복잡성을 극복하는 방법 및 장치를 제공하는 것이다.
제 1 목적은 정보 신호를 연속적인(바람직하게는 겹치는) 프레임들로 분할하고, 각각의 프레임에 대한 해시 워드를 계산하고, 해시 신호(또는, 간단히 해시)를 구성하기 위해 연속적인 해시 워드들을 연관시킴으로써 달성된다. 해시 워드는 스칼라 특성 또는 정보 신호의 특성들의 벡터, 예컨대 분리된 주파수 대역들(disjoint frequency bands)의 에너지 또는 이미지 블록들의 평균 휘도를 임계로 하여 계산된다.
제 2 목적은 해시 워드들의 입력 블록의 단일 해시 워드를 선택하고, 데이터베이스에서 상기 해시 워드를 검색하고, 해시 워드들의 입력 블록과 해시 워드들의 대응하는 저장된 블록 사이의 차를 계산함으로써 달성된다. 이들 단계들은 상기 차가 미리 정해진 임계값보다 작을 때까지 또 다른 선택된 해시 워드들에 대해 반복된다.
본 발명의 또 다른 특징들은 종속청구항들에서 정의된다.
도 1은 본 발명에 따른 오디오 신호로부터 해시 신호를 추출하기 위한 장치의 실시예에 대한 개략적인 도면.
도 2는 대수적으로 이격된 대역들로 오디오 신호 스펙트럼의 세분을 도시한 도면.
도 3은 오디오 클립으로부터 추출된 해시 워드들을 보여주는 도면.
도 4는 본 발명에 따른 비디오 신호로부터 해시 신호를 추출하기 위한 장치의 실시예에 대한 개략적인 도면.
도 5는 비디오 시퀀스로부터 추출된 해시 워드들을 보여주는 도면.
도 6은 본 발명에 따라 도 1에 도시된 컴퓨터에 의해 실행되는 동작들의 흐름도.
도 7은 도 1에 도시된 컴퓨터의 동작을 도시한 도면.
도 8은 도 3에 도시된 추출된 해시 블록을 형성하는 해시 워드들의 수 또는 비트 에러들을 보여주는 그래프.
도 9는 도 3에 도시된 해시 블록의 해시 워드들의 가장 신뢰할 수 있는 비트를 보여주는 그래프.
도 10은 본 발명의 또 다른 실시예에 따라 도 1에 도시된 컴퓨터에 의해 실행되는 동작들의 흐름도.
바람직한 실시예를 설명하기 전에, 본 발명의 기본적인 고찰에 대한 일반적인 설명은 명료해질 것이다.
두 개의 신호들(오디오, 비디오, 이미지)은 신호 이론적인 점에 있어서, (예컨대, 압축에 의해) 상당히 상이할 수 있으며, 반면에 그것들은 지각에 의해 인식 불가능하다. 이상적으로는, 해시 함수는 인간 청각 시스템(human auditory system: HAS) 또는 인간 시각 시스템(human visual system: HVS)의 동작을 모방하는데, 즉 HAS/HVS에 의해 동일한 것이라 여겨지는 콘텐트에 대해 동일한 해시 신호를 생성한다. 하지만, 많은 종류의 프로세싱(압축, 잡음 부가, 에코(echo) 부가, D/A 및 A/D 전환, 등화(equalization) 등)이 신호에 적용될 수 있으며, HAS/HVS를 완전하게 모방할 수 있는 알고리즘은 없다. 복잡한 인자(factor)는 HAS/HVS가 시간뿐만 아니라 개인에 따라 변하고, 하나의 단일 HAS/HVS의 개념조차 지지할 수 없다(untenable)는 것이다. 또한, 해시의 전통적인 정의는 시간을 고려하지 않으며, 강력한 해시는 콘텐트를 식별할 수 있을 뿐만 아니라, 또한 시간(구간들)을 식별할 수 있어야만 한다. 이러한 이유로, 강력한 해시에 대한 다음의 정의가 본 명세서에서 사용된다: 강력한 해시는 HAS/HVS에 의해 인식된 바와 같이 콘텐트 유사성에 대해 연속적인 준-고유한(semi-unique) 비트-시퀀스를 멀티미디어 콘텐트의 모든 기본 시간 단위와 관련시키는 함수이다.
달리 말해서, HAS/HVS가 매우 유사한 것으로서 오디오, 비디오 또는 이미지의 2 조각들을 식별하면, 관련된 해시들은 또한 매우 유사하다. 특히, 원래 콘텐트 및 압축된 콘텐트의 해시들은 유사해야 한다. 또한, 해시 워드들이 오버랩하는 프레임들에 대해 계산되면, 그 해시 워드들은 유사해야 하며, 즉 해시들은 로우 패스 캐릭터(low pass character)를 갖는다. 한편, 두 개의 신호들이 실제로 상이한 콘텐트를 나타내면, 강력한 해시는 두 개의 신호들(준-고유한)을 구별할 수 있다. 이것은 전통적인 암호 해시들에 대한 충돌 요구(collision requirement)와 유사하다. 해시 함수의 요구된 강력함(robustness)은 강력한 특징들(특성들), 즉 프로세싱에 대해 상당한 정도의 변형이 아닌 특징들로부터 해시 함수를 도출함으로써 달성된다. 강력함은 비트 에러율(Bit Error Rate: BER)에 의해 표현될 수 있으며, 이것은 에러 비트들의 수와 비트들의 총수의 비로서 정의된다.
강력한 해싱은 많은 흥미로운 애플리케이션들에 대해 기초인 콘텐트 식별을 가능하게 한다. 멀티미디어 데이터베이스에서의 콘텐트의 식별 예를 고려해보자. 어떤 사람이 영화로부터 씬(scene)을 보고 있으며 어떤 영화로부터 그 샷(shot)이 기원하는지를 알고자 한다고 가정하자. 그것을 찾기 위한 한가지 방법은 그 씬과 데이터베이스에서 동일한 크기의 모든 영화들의 모든 단편들(fragments)을 비교하는 것이다. 명백히, 이것은 큰 데이터베이스의 경우에 완전히 실행 불가능하며, 심지어 짧은 비디오 씬 조차도 많은 양의 바이트들로써 나타내지며 잠재적으로 이것들은 전체 데이터베이스에 비교되어야만 한다. 그러므로, 이것이 작동하기 위해서는 이것에 대해, 많은 양의 쉽게 액세스 가능한 데이터를 저장하는 것이 필요하며, 이들 모든 데이터가 식별될 비디오 씬과 비교되어야만 한다. 따라서, 계산 문제(computational problem)(많은 양의 데이터를 매칭시킴) 뿐만 아니라 저장 문제(데이터베이스) 모두가 존재한다. 강력한 해싱은 비디오 씬들을 나타내는데 필요한 비트들의 수를 줄임으로써 두 가지 문제점들을 완화시키며, 저장되는데 필요한 비트들이 적어질수록, 비교 시에 사용되는데 필요한 비트들의 수는 적어진다.
오디오 신호들의 강력한 해싱이 우선 설명된다. 오디오 신호는 44.1kHz 샘플 주파수 (CD-품질)에서 샘플링된 모노 오디오(mono audio)인 것으로 가정한다. 이 오디오가 스테레오이면, 두 개의 옵션들이 존재하는데: 해시 신호들의 어느 하나가 왼쪽과 오른쪽 채널에 대해 개별적으로 추출되거나, 왼쪽과 오른쪽 채널이 해시 신호 추출 전에 부가된다.
우리가 단지 짧은 오디오 조각(두번째 순서인)을 갖을지라도, 우리는 그것이 어떤 노래인지를 결정하고자 한다. 오디오는 오디오 샘플들의 무한한 스트림으로서 여겨질 수 있으므로, 오디오 신호들을 시간 구간들 또는 프레임들로 세분하고 모든 프레임에 대한 해시 워드를 계산하는 것이 필요하다.
매우 자주, 데이터베이스의 해시들을 매칭하고자 시도할 때, 프레임 경계들을 결정하는 것은 불가능하다. 이러한 동기화 문제는 특히 오디오 해싱에 적용가능한다. 이 문제는 신호를 오버랩하는 프레임들로 분할함으로써 해소된다. 오버래핑(overlapping)은 또한 인접한 프레임들의 해시 워드들이 어떤 양의 상관(correlation)을 갖는 것을 보장한다. 달리 말해서, 해시들은 천천히 시간에 대해 변한다.
도 1은 본 발명에 따른 오디오 해시 신호를 생성하기 위한 장치의 실시예의 개략도를 보여준다. 오디오 신호는 우선, 다음 동작들의 복잡성을 줄이고 그 동작을 인간 청각 시스템(Human Auditory System)과 가장 밀접한 300-3000Hz의 주파수 범위로 제한하기 위해 다운샘플러(downsampler)(11)에 다운 샘플링된다.
프레이밍 회로(framing circuit)(12)에서, 오디오 신호는 프레임들로 분할된다. 프레임들은 16384 샘플들(
Figure 112007011520033-pct00001
0.4 초)의 길이를 갖는 해닝 윈도우(Hanning window) 및 31/32의 오버랩 인자(overlap factor)에 의해 가중된다. 오버랩은 다음 프레임들간의 해시 워드들의 높은 상관이 보장되는 방식으로 선택된다. 모든 프레임의 스펙트럼식 표현은 푸리에 변환 회로(13)에 의해 계산된다. 그 다음 블록(14)에서, (복잡한) 푸리에 계수들의 절대값(크기들)이 계산된다.
대역 분할 스테이지(band division stage)(15)는 주파수 스펙트럼을 많은 대역들(예컨대 33)로 분할한다. 도 1에서, 이것은 선택기(151)에 의해 개략적으로 보여지고, 각각의 선택기는 각각의 대역의 푸리에 계수들을 선택한다. 본 장치의 바람직한 실시예에서, 대역들은 HAS가 또한 대략적으로 대수 대역들 상에서 동작하므로 대수 간격(logarithmic spacing)을 갖는다. 이 방식에서 대역들을 선택함으로써, 해시는 압축 및 필터링과 같은 변화들을 처리하는데 거의 영향을 받지 않는다. 바람직한 실시예에서, 제 1 대역은 300Hz에서 시작하고, 모든 대역들은 하나의 악조의 대역폭(대역폭이 대역 당 21/12
Figure 112007011520033-pct00002
1.06의 인자에 의해 증가됨)을 갖는다. 도 2는 프레임의 스펙트럼(201)의 예 및 그것들을 대수적으로 이격된 대역들(202)로의 세분(subdivision)하는 것을 보여준다.
다음으로, 모든 대역에 대해, 어떤(반드시 스칼라인 것은 아님) 특징적인 특성이 계산된다. 특성들의 예들은 에너지, 음조(tonality) 및 전력 스펙트럼 밀도의 표준 편차이다. 일반적으로, 선택된 특성은 푸리에 계수들의 임의적인 함수일 수 있다. 실험적으로, 모든 대역의 에너지가 많은 종류들의 처리에 대해 가장 강력한 특성임이 입증되었다. 이러한 에너지 계산은 에너지 계산 단계(energy computing stage)(16)에서 실행된다. 각각의 대역에 대해, 이것은 그 대역 내에서 푸리에 계수들의 (제곱된) 크기들의 합을 계산하는 단계(161)를 포함한다.
각 프레임에 대한 2진수 해시 워드를 얻기 위해서, 강력한 특성들이 그 후에 비트들로 전환된다. 이 비트들은 가능한 상이한 프레임들의 강력한 특성들의 임의 함수를 계산하고, 그후에, 그것을 임계값과 비교함으로써 할당될 수 있다. 임계값 자체는 또한 강력한 특성값들의 또 다른 함수의 결과일 수 있다.
본 장치에서, 비트 도출 회로(bit derivation circuit)(17)는 대역들의 에너지 레벨들을 2진수 해시 워드로 전환한다. 샘플 실시예에서, 비트 도출 단계는 각 대역에 대해 하나의 비트, 예컨대 에너지 레벨이 임계값 보다 위이면 "1"을 그리고 에너지 레벨이 상기 임계값 아래이면 "0"을 생성한다. 임계값들은 대역마다 변할 수 있다. 대안으로는, 대역은 그것의 에너지 레벨이 그것에 이웃한 것의 에너지 레벨보다 크면 해시 비트 "1"로 할당되고, 그렇지 않으면, 해시 비트는 "0"이다. 본 실시예는 후자의 대안의 더욱 향상된 버전을 사용한다. 오디오 신호의 주요한 단일 주파수가 연속적인 프레임들에 대한 동일한 해시 워드들을 산출하는 것을 방지하기 위해서, 시간에 대한 진폭의 변화들이 또한 고려된다. 특히, 대역은 그것의 에너지 레벨이 이웃한 것보다 큰 에너지 레벨이고, 그것이 또한 이전 프레임에서의 경우라면 해시 비트 "1"로 할당되고, 그렇지 않으면, 해시 비트는 "0"이다. EB(n,m)에 의해 프레임 n의 대역 m의 에너지를 나타내고, H(n,m)에 의해 프레임 n의 해시 워드 H의 m번째 비트를 나타내면, 비트 도출 회로(17)는 다음의 방식으로 해시 워드의 비트들을 생성한다.
Figure 112002033550811-pct00003
이를 위해, 비트 도출 회로(17)는 각각의 대역에 대해, 제 1 감산기(171), 프레임 지연(172), 제 2 감산기(173), 및 비교기(174)를 포함한다. 따라서, 오디오 프레임의 스펙트럼의 33개의 에너지 레벨들은 32-비트 해시 워드로 변환된다. 연속적인 프레임들의 해시 워드들은 최종적으로 버퍼(18)에 저장되며, 버퍼는 컴퓨터(20)에 의해 액세스가능하다. 컴퓨터는 데이터베이스(21)에 다수의 원래 노래들의 강력한 해시들을 저장한다.
다음 동작에서, 동일한 장치는 알려지지 않은 오디오 클립의 해시를 계산한다. 도 3의 참조번호 31은 데이터베이스(21)에 저장된 것으로서 오디오 클립의 256개의 연속적으로 오버랩하는 오디오 프레임들(
Figure 112007011520033-pct00004
3초)의 해시 워드들을 보여준다. 도면에서, 각각의 행(row)은 32-비트 해시 워드이고, 흰 화소는 해시 워드의 '1' 비트를 나타내고, 검은 화소는 '0'비트를 나타내고, 시간은 위에서 아래로 진행한다. 참조번호 32는 32kBit/s로 MP3 압축 후에 동일한 오디오 클립으로부터 추출된 해시 워드들을 보여준다. 이상적으로는, 두 개의 해시 블록들은 동일하지만, 압축으로 인해 일부 비트들은 상이하다. 그 차이는 도 3에 33으로 표기된다.
이하, 이미지 또는 비디오 신호들의 강력한 해싱이 설명된다. 다시, 강력한 해시들이 정보 신호의 특정 특징들로부터 도출된다. 질문할 제 1 질문은 어떤 영역(domain)에서, 해시 워드를 결정하는 상기 특징들을 추출하는 것이냐 하는 것이다. 오디오와는 달리, 주파수 영역이 지각적인 특징들(perceptual characteristics)을 최적으로 나타내며, 이것이 어떠한 영역에서 사용되는지 명확하지 않다. 복잡성으로 인해, DCT 또는 DFT 변환들과 같은 복잡한 동작들을 피하는 것이 바람직하다. 그러므로, 시공간 영역(spatio-temporal domain)에서의 특징들이 계산된다. 또한, 가장 압축된 비디오 스트림들로부터 쉬운 특징 추출을 허용하기 위해서, 블록 기반의 DCT 계수들로부터 쉽게 계산될 수 있는 특징들이 선택된다.
이들 고려 사항들에 기초하여, 바람직한 알고리즘은 비교적 큰 이미지 영역들에 걸쳐 계산되는, 평균 및 변이와 같은 간단한 통계학에 기초한다. 이 영역들은 아주 간단한 방식으로 선택되며, 이미지 프레임이 64 ×64 화소들의 정사각형 블록들로 분할된다. 특징들은 휘도 성분으로부터 추출된다. 하지만, 이것은 기본적인 선택이 아니며, 색차(chrominance) 성분들이 또한 사용될 수 있다. 사실상, 해시 비트들의 수를 증가시키는 가장 간단한 방식은 휘도로부터의 추출과 동일한 방식으로 색차 성분들로부터 그것들을 추출하는 것이다.
도 4는 본 발명에 따른 비디오 신호를 식별하는 해시 신호를 생성하기 위한 장치의 블록도를 보여준다. 이 장치는 비디오 신호의 연속적인 프레임들을 수신한다. 각각의 프레임은 M+1 블록들로 분할된다(41). 이들 블록들 각각에 대해, 화소들의 휘도 값들의 평균이 계산된다(42). 프레임(p) 내 블록(k)의 평균 휘도는 k=0,...,M에 대해 F(p,k)로 표기된다.
해시가 휘도의 전역 레벨(global level)과 스케일(scale)에 무관하게 하기 위해서, 두 개의 연속하는 블록들 간의 휘도 차들이 계산된다(43). 또한, 시간의 방향으로 해시 워드들의 상관을 줄이기 위해서, 연속하는 프레임의 공간 차동 평균 휘도값들(spatial differential mean luminance values)의 차가 또한 계산된다(44,45). 달리 말해서, 간단한 시공간 2 ×2 하르 필터(Haar filter)는 평균 휘도에 적용된다. 그 결과의 사인(sign)은 프레임(p) 내 블록(k)에 대해 해시 비트 H(p,k)를 구성한다(46). 수학적인 개념으로는 다음과 같다.
Figure 112002033550811-pct00005
이 예에서, 각각의 프레임은 64 ×64 크기의 33개의 블록들(즉, M=32)로 분할된다. 완전한 해시 H는 30개의 연속하는 프레임들로부터 추출된 비트들로 구성된다. 각각 32 비트들인 30개의 해시 워드들(960 비트들)로 구성되는 이러한 해시 블록은 아래에 보여지는 바와 같이, 상당히 작은 잘못된 양의 확률(false positive probability)을 야기한다. 전형적인 원래 해시 블록이 도 5에 51로 표기되어 있으며, 여기에서 검은 것과 흰 것은 각각 '0'과 '1'에 대응한다. 94%로 수평하게 스케일된 동일한 재료의 대응 해시 블록은 참조번호 52로 표시되어 있다. 번호 53은 해시 블록들 51과 52 사이의 차를 나타낸다. 이 경우에, 비트 에러율은 11.3%와 같다. 실제로 에러 비트들이 시간(수직) 방향으로 강한 상관을 갖는다는 것에 유의하자.
이하, 큰 데이터베이스 내의 해시 블록들에 추출된 해시 블록들을 매칭하는 과정이 설명된다. 이는 불완전한 매칭(추출된 해시 워드들이 비트 에러들을 갖는다는 것을 상기하자)이 NP-완전이라는 것이 알려져 있으므로 사소하지 않은 일(non-trivial task)이다. 이는 다음의 (오디오) 예로써 보여진다. 데이터베이스에서, 대략 5분짜리(노래당 ≡25000 해시 워드들) 100,000 개의 노래들이 저장된다. 256 개의 해시 워드들을 갖는 해시 블록이 알려지지 않은 오디오 클립으로부터 추출된다고 가정한다. 이제, 100,000개의 저장된 노래들 중 어떤 노래에 추출된 해시 블록이 최상으로 매칭하는 지가 결정된다. 그러므로, 100,000 노래들 중 하나의 해시 블록의 위치가 발견되어야 하고, 대부분은 추출된 해시 블록과 닮았으며, 즉 그것에 대한 비트 에러율(bit error rate: BER)이 최소이고, 또는 대안으로는, BER은 특정 임계값보다 작다. 임계값은 잘못된 양의 비율, 즉 노래들이 데이터베이스로부터 부정확하게 식별되는 비율을 결정한다.
두 개의 3초 오디오 클립들(또는 두 개의 30 프레임 비디오 시퀀스들)은 두 개의 도출된 해시 블록들(H1 및 H2) 사이의 해밍 거리(Hamming distance)가 특정 임계값 아래라면 유사한 것으로 선언된다. 이 임계값(T)은 잘못된 양의 비율(Pf), 즉 두 개의 오디오 클립들/비디오 시퀀스들이 동일한 것으로 부정확하게(즉, 보는 사람의 눈에서 부정확하게) 선언되는 비율을 직접 결정하고, T가 작을수록, 확률 Pf도 보다 작아진다. 한편, 작은 값 T는 잘못된 음의 확률(false negative probability)(Pn), 즉 두 개의 신호들이 "같지만", 그와 같이 식별되지 않는 확률에 부정적인 영향을 미친다. 이 임계값 T의 선택을 분석하기 위해서, 우리는 해시 추출 과정이 랜덤한 독립적으로 동일하게 분포된(independent and identically distributed: i.i.d)비트들을 산출한다고 가정한다. 그 후에 비트 에러들의 수는 파라미터들(n,p)을 갖는 이항 분포(binomial distribution)를 가지며, 여기서, n은 추출된 비트들의 수와 같고, p(=0.5)는 '0' 또는 '1' 비트가 추출되는 확률이다. n(오디오에 대해 32 ×256 = 8192, 비디오에 대해 32 ×30 = 960)은 우리의 애플리케이션에서 크며, 이항 분포는 평균 μ= np 이고 표준 편차 σ=
Figure 112007011520033-pct00006
를 갖는 정규 분포에 근접할 수 있다. 해시 블록 H1가 주어지면, 랜덤하게 선택된 해시 블록(H2)이 H1에 대해 T=
Figure 112007011520033-pct00007
n 에러보다 작은 값을 갖는 확률은 아래와 같이 주어진다.
Figure 112002033550811-pct00008
(1)
하지만, 실제로 강력한 해시들은 시간축을 따라 높은 상관을 갖는다. 이것은 기본적인 비디오 시퀀스의 큰 시간 상관, 또는 오디오 프레임의 오버랩으로 인한 것이다. 실험들은 에러 비트들의 수가 정규적으로 분포되지만, 표준 편차가 i.i.d.의 경우보다 대략 3/2배 크다는 것을 보여준다. 그러므로 수식(1)은 이 인수 3/2를 포함하도록 변경된다.
Figure 112002033550811-pct00009
(2)
실험들 동안에 사용된 BER에 대한 임계값은 α= 0.25였다. 이것은 해시 블록이 동일한 노래로부터 기원한다고 결정하기 위해서, 8192 비트들 중, 2048 비트 에러들보다 적은 수가 발생해야 한다는 것을 의미한다. 이 경우에, 비트 에러들은 np=4096의 평균(μ) 및 √(np(1-p))=135.76의 표준 편차 (σ)를 갖는 정규 분포를 갖는다. 그후에, 선택된 임계값 설정은 15.2σ의 잘못된 알람 확률(false alarm probability)에 대응한다. 그러므로, 잘못된 알람 확률은 1.8 ×10-52와 같다. 하지만, 잘못된 알람 확률은 유사한 해시 워드들을 갖는 음악(두 명의 상이한 피아니스트들이 연주하는 모차르트의 곡)이 데이터베이스에 포함되어 있다면 실제로는 더 높게될 것이다.
데이터베이스에서 추출된 해시 블록의 위치를 검색하는 것은 강압적인 매칭에 의해 행해질 수 있다. 이것은 대략 25억(=25000 ×100,000)개의 매칭들을 취한다. 또한, 매칭들의 수는 데이터베이스의 크기에 따라 선형적으로 증가한다.
본 발명의 양상에 따르면, 컴퓨터(20)는 데이터베이스(21) 내에서 대응하는 노래를 찾기 위해 보다 효과적인 전략을 사용한다. 도 6은 컴퓨터에 의해 실행되는 동작들의 흐름도이다. 데이터베이스에서 원래의 노래를 저장할 때, 컴퓨터는 단계(60)에서 참조 테이블(lookup table: LUT)을 업데이트한다. LUT는 도 1에서 개별적인 메모리(22)로서 도시되어 있지만, 실제로는 큰 데이터베이스 메모리(21)의 일부임을 이해할 것이다. 도 7에 도시된 바와 같이, LUT(22)는 각각의 가능한 32 비트 해시 워드에 대한 엔트리를 갖는다. LUT의 각 엔트리는 노래(들) 및 각각의 해시 워드가 발생하는 그 노래에서의 위치(들)를 가리킨다. 해시 워드가 다수의 노래들에서의 다수의 위치들에서 일어날 수 있으므로, 노래 포인터들은 링크된 리스트에 저장된다. 그러므로, LUT는 다수의 후보 노래들을 생성할 수 있다. 232개의 엔트리들을 포함하는 LUT는 데이터베이스에 단지 제한된 수의 노래들만이 있을 때에는 실행할 수 없다는 것에 유의하자. 이러한 경우에는, 해시 테이블 및 링크된 리스트를 갖는 LUT를 구현하는 것이 이롭다. 도 7에서 참조번호 70은 알져지지 않은 오디오 클립(예컨대, 도 3의 해시 블록 32)으로부터 추출된 256개의 해시 워드들의 블록을 나타낸다.
매칭 방법의 제 1 실시예에서, 때때로 단일 해시 워드가 비트 에러들을 갖지 않는다고 가정한다. 단계 61에서, 단일 해시 워드 H(m)는 해시 블록으로부터 선택되고 데이터베이스에 보내진다. 초기에, 이것은 추출된 해시 블록의 마지막 해시 워드 H(256)일 것이다. 도 7에 도시된 예에서, 이것은 해시 워드 0x00000001이다. 데이터베이스에서 LUT는 노래 1의 어떤 위치를 가리킨다. 이 위치가 위치 p 라고 가정하자. 단계 62에서, 컴퓨터는 노래 1의 위치 p까지(도 7에서 71로 표기됨) 위치 p-255로부터 해시 워드들의 블록 및 추출된 해시 블록 사이의 BER를 계산한다. 단계 63에서, BER이 로우(low)(<0.05)인지 하이(high)인지의 여부가 검사된다. 만약 BER이 로우이면, 추출된 해시 워드들이 노래 1로부터 기원하는 높은 확률이 존재할 것이다. 만약 BER이 하이이면, 노래가 데이터베이스 내에 존재하지 않거나 단일 해시 워드 H(m)가 에러를 포함한다. 후자는 이러한 예의 경우를 가정한 것이다. 그 후에 또 다른 단일 해시 워드가 단계 64에서 선택되고 LUT에서 발견된다. 이 해시 워드는 노래 2에서 발생하는 것처럼 보인다. 입력 블록(70)과 저장된 블록(72) 사이의 BER은 이제 0.25보다 낮게 나타나며, 따라서 노래 2는 오디오 클립이 기원하는 노래로서 식별된다. 저장된 블록(52)에서 마지막 해시 워드는 0x0000000이다. 외관상으로는, 이전에 선택된 해시 워드 0x0000001은 하나의 비트 에러를 갖는다.
그러므로, 컴퓨터는 한번에 하나의 단일 해시 워드만을 주시하며, 때로는 이러한 하나의 단일 해시 워드가 비트 에러들을 갖지 않는다고 가정한다. 그 후에, 추출된 해시 블록의 BER은 후보 노래들의 대응하는 해시 블록들과 비교된다. 가장 낮은 BER를 갖는 후보 노래의 제목은 만약 가장 낮은 BER이 임계값 아래에 있다면, 추출된 해시 워드들이 기원하는 노래로서 선택된다(단계 65). 그렇지 않으면, 데이터베이스는 추출된 해시 블록이 발견되지 않는다고 보고한다. 그 후에 또 다른 단일 해시 워드가 시도된다. 단일 해시 워드들 중 어떤 것도 성공하지 못한다면(단계 66), 데이터베이스는 그 데이터베이스에서의 후보 노래의 부재를 보고함으로써 응답한다(단계 67).
상술한 방법은 때때로 추출된 해시 워드가 비트 에러들을 갖지 않는다는 즉, 대응하는 저장된 해시 워드가 완벽하게 동일하다는 가정에 의존한다. 광범위한 실험들은 이것이 규칙적으로 대부분의 오디오에 대해 초당 수차례 발생한다는 것을 보여주었다. 이것은 예컨대, 도 3b의 추출된 블록을 형성하는 256개의 해시 워드들의 비트 에러들의 수를 보여주는 도 8에 도시되어 있다. 이러한 3초 오디오 클립에서 임의의 비트 에러들 없이 13개의 해시 워드들이 발생한다.
하지만, 오디오가 엄격하게 처리될 때, 임의의 비트 에러들도 없이 해시 워드들이 발생할 것 같지는 않다. 그 경우에, 노래의 제목은 이전 방법에 의해 검색될 수 없다. 이를 위해, 매칭 방법의 또 다른 실시예가 설명된다. 이 방법은 데이터베이스 내의 추출된 해시 워드들을 찾기 위해서 해시 추출 알고리즘(hash extraction algorithm)의 연성(soft) 정보를 사용한다. 연성 정보는 비트의 신뢰도(reliability) 또는 해시 비트가 정확하게 검색되는 확률을 의미하는 것으로 이해된다. 이 실시예에서, 해시 워드들을 추출하기 위한 장치는 비트 신뢰도 결정 회로(bit reliability determining circuit)를 포함한다. 비트 신뢰도 결정 회로는 도 1에 도시된 오디오 해시 추출 장치에서 19로 표기되어 있다. 이 회로는 실수들(real numbers)의 형태로 상이한 에너지 대역 레벨들을 수신한다. 만약 실수가 임계값(이 예에서 0인)에 매우 가까우면, 각각의 해시 비트는 신뢰할 수 없다. 그 대신에 그 수가 임계값으로부터 매우 멀면, 그것은 신뢰할 수 있는 해시 비트이다. 신뢰할 수 있는 비트들의 수가 고정되도록 임계값은 고정되거나 제어될 수 있다.
비트 신뢰도 결정 회로(19)는 모든 해시 비트의 신뢰도를 결정하고, 따라서 추출 장치 또는 컴퓨터(20)가 각각의 해시 워드에 대해 가장 가능성 있는 대안의(alternative) 해시 워드들을 리스트를 생성할 수 있게 한다. 대안의 해시 워들 중 적어도 하나가 정확하다고 다시 가정함으로써, 노래의 제목은 정확하고 쉽게 수신될 수 있다. 도 9는 도 3에서의 해시 블록(32)의 256개 해시 워드들 모두에 대해, 어떠한 해시 워드의 비트가 가장 신뢰할 수 있는지를 보여준다.
도 10은 데이터베이스에서 추출된 해시 블록을 찾는 방법의 실시예에서 컴퓨터에 의해 실행되는 동작들의 흐름도를 보여준다. 동일한 참조번호들이 이미 설명된 동작들에 대해 사용된다. 다시, 해시 블록의 최종 추출된 해시 워드(0x00000001, 도 7 참조)가 초기에 선택되고 데이터베이스로 보내진다(단계 61). 데이터베이스 내의 LUT는 노래 1에서의 위치 p를 가리킨다. 노래 1의 대응 블록(71)과 추출된 해시 블록 사이의 BER이 계산된다(단계 62). 한편, 이것은 BER이 하이인 앞서의 예로부터 알려진다. 단계 101에서, 컴퓨터는 비트 신뢰도 결정 회로(19)(도 1)를 참고하고(consult) 비트 0이 이 특정 해시 워드의 신뢰도가 가장 낮은 비트라는 것을 습득한다. 이제, 그 다음 가장 가능성 있는 후보 해시 워드가 상기 비트를 플리핑함으로써 얻어진다. 새로운 해시 워드(0x00000000)는 단계 102에서 데이터베이스로 보내진다. 도 7에 도시된 바와 같이, 해시 워드 0x00000000은 데이터베이스에서의 두 개의 가능한 후보 노래들, 즉 노래 1과 노래 2를 야기한다. 만약, 예로써, 추출된 해시 워드들이 이제 노래 2의 해시 워드들을 갖는 낮은 BER를 갖는다면, 노래 2는 추출된 해시 블록이 기원하는 노래로서 식별된다. 그렇지 않으면, 새로운 해시 워드 후보들이 생성되거나, 또 다른 해시 워드가 데이터베이스 내에서 각각의 노래를 찾도록 시도하기 위해 사용될 것이다. 이러한 방법은 더 이상 대안의 후보 해시 워드들이 없다는 것이 단계 103에서 발견될 때까지 계속된다.
일단 오디오 조각(a piece of audio)이 실제로 특정 노래로부터 기원하는 것으로서 식별되면, 데이터베이스는 우선 후보 해시 워드들 모두를 생성하기 전에 그 노래와 추출된 해시 워드들을 매칭하려고 시도할 수 있다는 것에 유의하자.
가장 가능성있는 해시 워드들의 리스트를 생성하는 매우 간단한 방법은 고정되는 N 개의 가장 신뢰할 수 있는 비트들과 남아있는 비트들에 대해 모든 가능한 조합을 갖는 해시 워드들 모두를 포함하는 것이다. 해시 당 32비트들이고 N=23을 선택하는 경우에, 512개의 후보 해시 워드들의 리스트가 필요하다. 또한 이것은 오디오 발췌(audio excerpt)가 더 이상 식별될 수 없기 전에 9개의 가장 신뢰도가 낮은 해시 워드의 비트들이 틀린 것일 수 있음을 의미한다. 도 6에 도시된 경우에 대해, 이것은 이전의 방법에서 13 대신에, 117 개의 해시 워드들이 데이터베이스 내의 노래에 대해 정확한 포인터를 산출한다는 것을 의미한다.
매칭 방법의 대안의 실시예에서, 매칭은 신뢰할 수 있는 것으로서 마크(mark)되는 해시 비트들을 기초로 하여서만 행해진다. 이 방법은 수신된 해시의 신뢰할 수 없는 비트들과 데이터베이스의 대응 비트들을 비교하는 것이 불필요하는 식견에 기초한다. 이것은 더욱 복잡한 검색 방법 및 데이터베이스에 모든 필요한 정보를 전송하기 위해 요구되는 보다 큰 대역폭을 희생하게 하지만 훨씬 작은 비트 에러 레이트를 야기한다.
이하, 강력한 해싱의 몇 가지 애플리케이션들이 설명된다.
- 방송 감시(Broadcast Monitoring): 방송 감시 시스템은 두 부분들로 구성된다. 중앙 데이터베이스는 다수의 노래들의 해시들, 및 예컨대 무선국들(radio stations)에 의해 방송되는 오디오로부터 해시 블록을 추출하는 감시국들(monitoring stations)을 포함한다. 감시국은 중앙 데이터베이스에 추출된 해시 블록들 전송하고 그 후에 데이터베이스는 노래가 방송되었음을 결정할 수 있다.
- 이동 전화 오디오 정보(Mobile Phone Audio Info): 당신이 바(bar)에서 당신이 제목을 알고자 하는 노래를 듣고 있다고 생각해보자. 그 후, 당신은 당신의 이동 전화기를 집어서 오디오해시(audiohash) 데이터베이스에 전화를 건다. 그 후에, 오디오해시 데이터베이스는 그 노래를 듣고는 해시 블록을 추출할 것이다. 만약 그후에 이것이 데이터베이스에서 해시 블록을 발견하면, 그것은 그 노래의 제목을 되돌려 보고한다.
- 접속된 콘텐트(Connected Content)(미디어브리지(MediaBridge): 회사 디지마크(Digimarc)는 현재, 워터마킹 기술에 기초한 미디어브리지라고 불리는 애플리케이션을 가지고 있다. 그 착상은 멀티미디어 조각에서의 워터마크가, 사용자가 몇몇 여분의 정보를 얻을 수 있는 인터넷상의 특정 URL를 사용자에게 가리킨다는 것이다. 예를 들어, 잡지에서의 광고가 워터마킹된다. 웹캠(webcam) 정면에 이 광고를 유지시킴으로써, 워터마크 검출기가 데이터베이스로 보내진 워터마크 키를 추출한다. 그후에 이 데이터베이스는 사용자에게 재지시되는 URL를 포함한다. 동일한 애플리케이션은 강력한 해싱 기술을 사용하여 동작할 수 있다. 장래에, 사람이 실생활 물건에 자신의 이동 전화기를 가리키는 사람을 생각할 수도 있다. 그 후 오디오 해시 데이터베이스는 직접적으로 또는 인터넷 상의 URL를 통해 이 물건에 대한 정보를 되돌려서 보고한다.
- 멀티미디어 품질 미터링(Multimedia Quality Metering): 만약 고품질의 원래 콘텐트의 해시 워드들이 데이터베이스 내에 열거되면, 품질 측정치는 처리된 멀티미디어 콘텐트의 추출된 해시 워드들의 BER를 결정함으로써 얻어질 수 있다.
추상적인 관점에서, 강력한 오디오 해시들은 상이한 주파수 대역들의 에너지를 비교함으로써 오디오 신호로부터 그리고 시간에 대해 도출된다. 이러한 접근법의 일반화는 LTI와 비선형 함수들의 임의의 종속(cascade)을 고려하는 것이다. 특히, 강력한 해시는 또한 (2개의 부분으로 구성되는(dyadic)) 필터 뱅크(LTI 연산자)를 이용하고, 이어서 절대 워드(absolute words)(비선형 함수)를 자승하거나 취하며, 시간 및/또는 대역에 대해 상이한 연산자가 이어지며, 마지막으로 임계값 연산자에 의해 얻을 수 있다. 초기 연산자로서 신중하게 설계된 선형 필터 뱅크를 이용함으로써, FFT의 복잡성이 회피될 수 있다. 또한, 많은 압축 엔진들이 초기 위상으로서 선형 필터 뱅크를 가지므로, 압축하여 특징 추출(feature extraction)을 통합하는 옵션(option)이 존재한다.
또한, 강력한 해싱 및 디지털 워터마크들이 콘텐트를 식별하도록 조합하는데 사용될 수 있음을 주의한다. 상술된 방법 및 몇몇 워터마크 검출 알고리즘들은 공통적으로 다수의 초기 처리 단계들, 바꿔 말하면 스펙트럼식 표시의 계산(computation)을 갖는다. 이것은 워터마크 검출 및 특징 추출이 쉽게 하나의 애플리케이션 내에 통합될 수 있다는 착상을 일으킨다. 검색된 워터마크 및 해시 워드들 둘 모두는 그후에 추가적인 분석을 위한 중앙 데이터베이스로 보내어져, 콘텐트의 식별을 허용하도록 한다.
요약하면, 상술된 방법은 멀티미디어 콘텐트, 예컨대 오디오 클립들에 대한 강력한 해시들을 생성한다. 오디오 클립은 연속하는(바람직하게는 오버랩하는) 프레임들로 분할된다(12). 각각의 프레임에 대해, 주파수 스펙트럼은 대역들로 분할된다(15). 각 대역(예컨대, 에너지)의 강력한 특성이 계산되고(16) 각각의 해시 비트에 의해 나타내진다(17). 따라서, 오디오 클립은 2진수 해시 워드들, 즉 각 프레임에 대한 해시 워드의 연결로써 나타내진다. 가능한 압축된 오디오 신호를 식별하기 위해서, 그로부터 도출된 해시 워드들의 블록은 큰 데이터베이스(21)와 함께 컴퓨터(20)에 의해 매칭된다. 또한, 이러한 매칭 방법들이 설명된다. 이로운 실시예에서, 또한 추출 과정이 해시 비트들 중 어떤 것이 가장 신뢰할 수 없는 것인지에 대해 정보를 제공한다. 이들 비트들을 플리핑(flipping)하는 것은 매칭 과정의 속도 및 성능을 상당히 향상시킨다.

Claims (25)

  1. 정보 신호를 식별하는 해시 신호를 생성하는 방법에 있어서,
    상기 정보 신호를 프레임들로 분할하는 단계와,
    각각의 프레임에 대한 해시 워드를 계산하는 단계와,
    상기 해시 신호를 구성하기 위해 연속적인 해시 워드들을 연관시키는 단계를 포함하는, 해시 신호 생성 방법.
  2. 제 1 항에 있어서,
    상기 계산 단계는,
    상기 정보 신호의 각 프레임을 분리된 대역들 또는 블록들로 분할하는 단계와,
    상기 대역들 또는 블록들 각각의 신호 특성을 계산하는 단계와,
    상기 대역들 또는 블록들의 특성들을 각각의 임계값들과 비교하는 단계와,
    상기 해시 워드의 각 비트들에 의해 상기 비교들의 결과들을 표현하는 단계를 포함하는, 해시 신호 생성 방법.
  3. 제 2 항에 있어서,
    이웃하는 대역 또는 블록의 특성이 상기 임계값을 구성하는, 해시 신호 생성 방법.
  4. 제 2 항에 있어서,
    이전 프레임에서 대응하는 대역 또는 블록의 특성이 상기 임계값을 구성하는, 해시 신호 생성 방법.
  5. 제 2 항에 있어서,
    상기 대역들 또는 블록들은 상기 정보 신호의 각각의 프레임의 주파수 스펙트럼의 주파수 대역들인, 해시 신호 생성 방법.
  6. 제 5 항에 있어서,
    상기 주파수 대역들은 상기 주파수의 함수로서 증가하는 대역폭을 갖는, 해시 신호 생성 방법.
  7. 제 5 항에 있어서,
    상기 대역들 또는 블록들 각각의 신호 특성은 주파수 대역의 에너지인, 해시 신호 생성 방법.
  8. 제 5 항에 있어서,
    상기 대역들 또는 블록들 각각의 신호 특성은 주파수 대역의 음조(tonality)인, 해시 신호 생성 방법.
  9. 제 1 항에 있어서,
    상기 정보 신호는 오버랩하는 프레임들로 분할되는, 해시 신호 생성 방법.
  10. 제 2 항에 있어서,
    상기 정보 신호는 비디오 신호이고, 이것의 프레임들은 블록들로 분할되며, 한 블록의 평균 휘도는 상기 블록의 특성을 구성하는, 해시 신호 생성 방법.
  11. 제 2 항에 있어서,
    상기 해시 워드의 비트들의 신뢰도를 나타내는 정보를 생성하기 위해 상기 비교 단계들의 입력들을 사용하는 단계를 더 포함하는, 해시 신호 생성 방법.
  12. 정보 신호를 식별하기 위해 해시 신호를 생성하는 방법에 있어서,
    상기 정보 신호를 블록들로 분할하는 단계와,
    각각의 블록에 대해 상기 블록 내의 상기 정보 신호의 특징을 추출하는 단계와,
    추출된 특징의 값을 임계값과 비교하는 단계와,
    상기 추출된 특징의 값이 상기 임계값보다 큰지 또는 작은지를 나타내는 해시 비트를 각 블록에 대해 생성하는 단계와,
    상기 추출된 특징의 값이 실질적으로 상기 임계값과 상이한지를 나타내는 신뢰도 정보를 각 블록에 대해 결정하는 단계와,
    상기 블록들의 상기 해시 비트들과 상기 신뢰도 정보를, 상기 추출된 특징이 실질적으로 상기 임계값과는 상이한 해시 비트들과, 상기 추출된 특징이 실질적으로 상기 임계값과는 상이하지 않은 신뢰할 수 없는 비트들을 갖는 해시 값으로 조합하는 단계를 포함하는, 해시 신호 생성 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 청구된 바와 같은 방법에 따라 정보 신호를 식별하는 해시 신호를 생성하기 위한 장치.
  14. 데이터베이스에 저장되는 각각의 정보 신호들을 식별하는 해시 신호들과 정보 신호의 적어도 일부를 표현하는 해시 워드들의 입력 블록을 매칭시키는 방법에 있어서,
    (a) 해시 워드들의 상기 입력 블록의 해시 워드를 선택하는 단계와,
    (b) 상기 데이터베이스에서 상기 해시 워드를 검색하는 단계와,
    (c) 단계(b)에서 발견된 상기 해시 워드가 상기 입력 블록에서 선택된 해시 워드와 동일한 위치를 갖는 해시 워드들의 입력 블록과 해시 워드들의 저장된 블록 사이의 차이를 계산하는 단계와,
    (d) 상기 차이가 미리 정해진 임계값보다 낮을 때까지 추가 선택된 해시 워드에 대해 단계(a) 내지 (c)를 반복하는 단계를 포함하는, 매칭 방법.
  15. 제 14 항에 있어서,
    상기 추가 선택된 해시 워드는 해시 워드들의 상기 입력 블록의 또 다른 해시 워드인, 매칭 방법.
  16. 제 14 항에 있어서,
    상기 추가 선택된 해시 워드는 이전 선택된 해시 워드의 비트를 반전시킴으로써 얻어지는, 매칭 방법.
  17. 제 16 항에 있어서,
    상기 선택된 해시 워드의 비트들의 신뢰도를 나타내는 정보를 수신하는 단계와, 반전될 비트를 결정하기 위해 상기 정보를 이용하는 단계를 더 포함하는, 매칭 방법.
  18. 데이터베이스에 저장된 복수의 해시 값들과 식별되지 않은 정보 신호를 표현하는 해시 값을 매칭시키고 각각의 복수의 정보 신호들을 식별하는 방법에 있어서,
    (a) 복수의 신뢰할 수 있는 해시 비트들과 신뢰할 수 없는 해시 비트들의 형태로 상기 해시 값을 수신하는 단계와,
    (b) 인가된 해시 값의 상기 신뢰할 수 있는 비트들이 저장된 해시 값의 대응하는 비트들에 매칭하는 것을 유지하는 상기 저장된 해시 값들을 상기 데이터베이스에서 검색하는 단계와,
    (c) 단계 (b)에서 발견된 각각의 저장된 해시 값에 대해, 상기 식별되지 않은 정보 신호를 표현하는 상기 해시 값의 신뢰할 수 있는 비트들과 상기 저장된 해시 값의 대응하는 비트들 사이의 비트 에러율을 계산하는 단계와,
    (d) 저장된 해시 값들에 대해 상기 비트 에러율이 최소이며 미리 정해진 임계값보다 작은지를 결정하는 단계를 포함하는, 매칭 방법.
  19. 데이터베이스에 저장된 복수의 해시 신호들과 식별되지 않은 정보 신호를 표현하는 해시 신호를 매칭시키고 각각의 복수의 정보 신호들을 식별하는 방법에 있어서,
    (a) 일련의 해시 값들의 형태로 상기 해시 신호를 수신하는 단계로서, 각각의 해시 값은 신뢰할 수 있는 해시 비트들과 신뢰할 수 없는 해시 비트들을 갖는, 상기 해시 신호 수신 단계와,
    (b) 상기 데이터베이스에 상기 일련의 해시 값들 중 하나를 인가하는 단계와,
    (c) 상기 인가된 해시 값의 신뢰할 수 있는 비트들이 저장된 해시 값의 대응 비트들에 매칭하는 것을 유지하는 상기 저장된 해시 값들을 상기 데이터베이스에서 검색하는 단계와,
    (d) 단계 (c)에서 발견되는 각각의 저장된 해시 값에 대해,
    대응하는 일련의 저장된 해시 값들을 상기 데이터베이스에서 선택하고,
    상기 식별되지 않은 정보 신호를 표현하는 일련의 해시 값들의 신뢰할 수 있는 비트들과 상기 데이터베이스에서의 선택된 일련의 해시 값들의 대응 비트들 사이의 비트 에러율을 계산하는 단계와,
    (f) 일련의 저장된 해시 값들에 대해 상기 비트 에러율이 최소이고 미리 정해진 임계값보다 작은지를 결정하는 단계를 포함하는, 매칭 방법.
  20. 제 19 항에 있어서,
    상기 비트 에러율이 최소이고 미리 정해진 임계값보다 작은, 일련의 저장된 해시 값들이 발견될 때까지 상기 식별되지 않은 정보 신호의 다른 해시 값들에 대해 단계들 (b)-(f)를 반복하는 단계들을 더 포함하는, 매칭 방법.
  21. 제 14 항 내지 제 20 항 중 어느 한 항에 청구된 바와 같은 방법에 따라, 데이터 베이스에 저장된 각각의 정보 신호들을 식별하는 해시 신호들과 정보 신호의 적어도 일부를 나타내는 해시 워드들의 입력 블록을 매칭시키기 위한 장치.
  22. 정보 신호의 수신기를 인터넷 웹 사이트로 리다이렉팅(redirecting)하는 방법에 있어서,
    상기 정보 신호로부터 해시 신호를 도출하는 단계와, 상기 해시 신호와 데이터베이스에 저장된 인터넷 웹사이트들을 식별하는 해시 신호들을 매칭시키는 단계를 포함하는, 리다이렉팅 방법.
  23. 정보 신호의 품질을 측정하는 방법에 있어서,
    상기 정보 신호로부터 해시 신호를 도출하는 단계와, 상기 해시 신호와 데이터베이스에 저장된 상기 정보 신호를 식별하는 해시 신호를 매칭시키는 단계와, 도출된 해시 신호와 저장된 해시 신호간의 차를 계산하는 단계를 포함하는, 품질 측정 방법.
  24. 멀티미디어 신호를 식별하는 방법에 있어서,
    상기 멀티미디어 신호의 적어도 일부를 수신 또는 기록하는 단계와, 상기 멀티미디어 신호로부터 해시 신호를 도출하는 단계와, 상기 해시 신호와 데이터베이스에 저장된 해시 신호들을 매칭시키기 위하여 상기 데이터베이스에 상기 해시 신호를 전송하는 단계와, 상기 데이터베이스로부터 상기 멀티미디어 신호의 식별자를 수신하는 단계를 포함하는, 멀티미디어 신호 식별 방법.
  25. 제 24 항에 있어서,
    상기 멀티미디어 신호를 수신 또는 기록하는 단계와, 상기 해시 신호를 도출하고 전송하는 단계와, 상기 식별자를 수신하는 단계는 이동 전화 장치에 의해 행해지는, 멀티미디어 신호 식별 방법.
KR1020027013737A 2001-02-12 2002-02-07 멀티미디어 콘텐트의 해시들의 생성 및 매칭 KR100893671B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP01200505.4 2001-02-12
EP01200505 2001-02-12
EP01202720 2001-07-17
EP01202720.7 2001-07-17
PCT/IB2002/000379 WO2002065782A1 (en) 2001-02-12 2002-02-07 Generating and matching hashes of multimedia content

Publications (2)

Publication Number Publication Date
KR20030005279A KR20030005279A (ko) 2003-01-17
KR100893671B1 true KR100893671B1 (ko) 2009-04-20

Family

ID=26076832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027013737A KR100893671B1 (ko) 2001-02-12 2002-02-07 멀티미디어 콘텐트의 해시들의 생성 및 매칭

Country Status (8)

Country Link
US (2) US7549052B2 (ko)
EP (1) EP1362485B1 (ko)
JP (2) JP4723171B2 (ko)
KR (1) KR100893671B1 (ko)
CN (1) CN1235408C (ko)
AT (1) ATE405101T1 (ko)
DE (1) DE60228202D1 (ko)
WO (1) WO2002065782A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109221A (ko) * 2015-03-10 2016-09-21 삼성전자주식회사 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
US9794620B2 (en) 2014-03-11 2017-10-17 Soundlly Inc. System and method for providing related content at low power, and computer readable recording medium having program recorded therein

Families Citing this family (342)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560349B1 (en) 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US7711564B2 (en) 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7930546B2 (en) 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US7689532B1 (en) 2000-07-20 2010-03-30 Digimarc Corporation Using embedded data with file sharing
US8095796B2 (en) 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
US8326584B1 (en) 1999-09-14 2012-12-04 Gracenote, Inc. Music searching methods based on human perception
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US7174293B2 (en) 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
CA2310769C (en) 1999-10-27 2013-05-28 Nielsen Media Research, Inc. Audio signature extraction and correlation
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US8121843B2 (en) 2000-05-02 2012-02-21 Digimarc Corporation Fingerprint methods and systems for media signals
EP1314110B1 (en) 2000-08-23 2009-10-07 Gracenote, Inc. Method of enhancing rendering of a content item, client system and server system
US7277468B2 (en) * 2000-09-11 2007-10-02 Digimarc Corporation Measuring quality of service of broadcast multimedia signals using digital watermark analyses
US7656930B2 (en) * 2001-09-10 2010-02-02 Digimarc Corporation Assessing quality of service using digital watermark information
US7890374B1 (en) 2000-10-24 2011-02-15 Rovi Technologies Corporation System and method for presenting music to consumers
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
WO2002051063A1 (en) 2000-12-21 2002-06-27 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
JP4723171B2 (ja) 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
US7363278B2 (en) 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7046819B2 (en) 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US20020169963A1 (en) * 2001-05-10 2002-11-14 Seder Phillip Andrew Digital watermarking apparatus, systems and methods
US20020169721A1 (en) * 2001-05-10 2002-11-14 Cooley William Ray Digital watermarking apparatus, systems and methods
US8972481B2 (en) 2001-07-20 2015-03-03 Audible Magic, Inc. Playlist generation method and apparatus
US6724914B2 (en) * 2001-10-16 2004-04-20 Digimarc Corporation Progressive watermark decoding on a distributed computing platform
US20050010604A1 (en) * 2001-12-05 2005-01-13 Digital Networks North America, Inc. Automatic identification of DVD title using internet technologies and fuzzy matching techniques
US20030131350A1 (en) * 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
AU2003210625A1 (en) 2002-01-22 2003-09-02 Digimarc Corporation Digital watermarking and fingerprinting including symchronization, layering, version control, and compressed embedding
KR20040086350A (ko) 2002-02-05 2004-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트의 효율적 저장
US20060015942A1 (en) 2002-03-08 2006-01-19 Ciphertrust, Inc. Systems and methods for classification of messaging entities
US8561167B2 (en) 2002-03-08 2013-10-15 Mcafee, Inc. Web reputation scoring
US8578480B2 (en) 2002-03-08 2013-11-05 Mcafee, Inc. Systems and methods for identifying potentially malicious messages
JP3668202B2 (ja) * 2002-03-13 2005-07-06 株式会社東芝 情報記録再生装置及びその信号評価方法
WO2003081896A1 (en) * 2002-03-27 2003-10-02 Koninklijke Philips Electronics N.V. Watermaking a digital object with a digital signature
AU2003230993A1 (en) * 2002-04-25 2003-11-10 Shazam Entertainment, Ltd. Robust and invariant audio pattern matching
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
AU2003219438A1 (en) * 2002-05-16 2003-12-02 Koninklijke Philips Electronics N.V. Signal processing method and arrangement
US8180098B2 (en) 2002-05-22 2012-05-15 Civolution B.V. Method of extracting a watermark
US20050259819A1 (en) * 2002-06-24 2005-11-24 Koninklijke Philips Electronics Method for generating hashes from a compressed multimedia content
CN1679261A (zh) * 2002-08-26 2005-10-05 皇家飞利浦电子股份有限公司 内容识别的方法、设备和软件
EP1403783A3 (en) * 2002-09-24 2005-01-19 Matsushita Electric Industrial Co., Ltd. Audio signal feature extraction
DE60326743D1 (de) * 2002-09-30 2009-04-30 Gracenote Inc Fingerabdruckextraktion
KR101014309B1 (ko) 2002-10-23 2011-02-16 닐슨 미디어 리서치 인코퍼레이티드 압축된 오디오/비디오 데이터와 함께 사용하기 위한 디지털데이터 삽입장치 및 방법
CN1711531A (zh) * 2002-11-12 2005-12-21 皇家飞利浦电子股份有限公司 采指纹多媒体内容
CN1754218A (zh) * 2003-02-26 2006-03-29 皇家飞利浦电子股份有限公司 音频指纹识别中数字静音的处理
US7606790B2 (en) * 2003-03-03 2009-10-20 Digimarc Corporation Integrating and enhancing searching of media content and biometric databases
EP1457889A1 (en) * 2003-03-13 2004-09-15 Koninklijke Philips Electronics N.V. Improved fingerprint matching method and system
US20070033163A1 (en) * 2003-05-30 2007-02-08 Koninklij Philips Electronics N.V. Search and storage of media fingerprints
MXPA05014162A (es) * 2003-06-20 2006-03-13 Nielsen Media Res Inc Aparato y metodos de identificacion de programa a base de firma para uso con sistemas de difusion digital.
CN100483529C (zh) * 2003-07-11 2009-04-29 皇家飞利浦电子股份有限公司 水印嵌入和检测
US8020000B2 (en) 2003-07-11 2011-09-13 Gracenote, Inc. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
EP1668903A4 (en) 2003-09-12 2011-01-05 Nielsen Media Res Inc DEVICES AND METHOD FOR DIGITAL VIDEO SIGNATURES FOR USE WITH VIDEO PROGRAM IDENTIFICATION SYSTEMS
WO2005050620A1 (en) * 2003-11-18 2005-06-02 Koninklijke Philips Electronics N.V. Matching data objects by matching derived fingerprints
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
JP2007533274A (ja) 2004-04-19 2007-11-15 ランドマーク、ディジタル、サーヴィセズ、エルエルシー コンテントのサンプリングおよび識別のための方法およびシステム
US20050251455A1 (en) * 2004-05-10 2005-11-10 Boesen Peter V Method and system for purchasing access to a recording
US7953504B2 (en) 2004-05-14 2011-05-31 Synaptics Incorporated Method and apparatus for selecting an audio track based upon audio excerpts
GB0412175D0 (en) 2004-06-01 2004-06-30 Smart Sensors Ltd Identification of image characteristics
JP2008504741A (ja) 2004-06-24 2008-02-14 ランドマーク、ディジタル、サーヴィセズ、エルエルシー ２つのメディア・セグメントの重なりを特徴付ける方法
DE102004036154B3 (de) 2004-07-26 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm
EP1774686A4 (en) 2004-08-06 2012-08-08 Digimarc Corp FAST SIGNAL DETECTION AND DISTRIBUTED CALCULATION IN PORTABLE COMPUTER DEVICES
WO2006023770A2 (en) 2004-08-18 2006-03-02 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
US8635690B2 (en) 2004-11-05 2014-01-21 Mcafee, Inc. Reputation based message processing
US8073739B2 (en) * 2004-12-22 2011-12-06 Ebay Inc. Method and system to deliver a digital good
US7567899B2 (en) 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition
JP5065911B2 (ja) 2005-01-24 2012-11-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プライベートな、かつ制御された所有権の共有
US8843414B2 (en) * 2005-02-04 2014-09-23 Ricoh Company, Ltd. Techniques for accessing controlled media objects
US20060259781A1 (en) * 2005-04-29 2006-11-16 Sony Corporation/Sony Electronics Inc. Method and apparatus for detecting the falsification of metadata
US8570586B2 (en) 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
GB2425730B (en) * 2005-05-03 2010-06-23 Codemasters Software Co Rhythm action game apparatus and method
CN100361437C (zh) * 2005-05-08 2008-01-09 中国科学院计算技术研究所 一种数字图像哈希签名方法
ITMI20050907A1 (it) * 2005-05-18 2006-11-20 Euriski Nop World S R L Metodo e sistema per la comparazione di segnali audio e l'identificazione di una sorgente sonora
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
US8572697B2 (en) * 2011-11-18 2013-10-29 Blackridge Technology Holdings, Inc. Method for statistical object identification
CN101292247A (zh) * 2005-10-13 2008-10-22 皇家飞利浦电子股份有限公司 有效的水印检测
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US9396435B2 (en) * 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US7688686B2 (en) * 2005-10-27 2010-03-30 Microsoft Corporation Enhanced table of contents (TOC) identifiers
JPWO2007052395A1 (ja) * 2005-10-31 2009-04-30 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
KR100803206B1 (ko) * 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
US8924412B2 (en) 2005-12-21 2014-12-30 Digimarc Corporation Rules driven pan ID metadata routing system and network
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
US8224018B2 (en) 2006-01-23 2012-07-17 Digimarc Corporation Sensing data from physical objects
US8077905B2 (en) 2006-01-23 2011-12-13 Digimarc Corporation Capturing physical feature data
WO2007103583A2 (en) 2006-03-09 2007-09-13 Gracenote, Inc. Method and system for media navigation
KR20090020558A (ko) 2006-03-27 2009-02-26 닐슨 미디어 리서치 인코퍼레이티드 무선통신장치에 표현되는 미디어 컨텐츠의 미터링 방법 및 시스템
MX2008015819A (es) 2006-06-13 2009-01-12 Koninkl Philips Electronics Nv Impresion digital, aparato, metodo de identificacion y sincronizacion de video.
WO2007148290A2 (en) * 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of information signals
US8738749B2 (en) 2006-08-29 2014-05-27 Digimarc Corporation Content monitoring and host compliance evaluation
US8707459B2 (en) 2007-01-19 2014-04-22 Digimarc Corporation Determination of originality of content
US8010511B2 (en) 2006-08-29 2011-08-30 Attributor Corporation Content monitoring and compliance enforcement
US7881657B2 (en) 2006-10-03 2011-02-01 Shazam Entertainment, Ltd. Method for high-throughput identification of distributed broadcast content
US9846739B2 (en) 2006-10-23 2017-12-19 Fotonation Limited Fast database matching
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8215553B2 (en) 2006-11-15 2012-07-10 Digimarc Corporation Physical credentials and related methods
JP5060565B2 (ja) 2006-11-30 2012-10-31 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号の信頼できる識別をするためのビデオ及びオーディオ信号内容の特徴の抽出
US9179200B2 (en) 2007-03-14 2015-11-03 Digimarc Corporation Method and system for determining content treatment
US10242415B2 (en) 2006-12-20 2019-03-26 Digimarc Corporation Method and system for determining content treatment
US8957961B2 (en) * 2006-12-27 2015-02-17 Intel Corporation Method and sytem for telecine detection and restoration
US10885543B1 (en) 2006-12-29 2021-01-05 The Nielsen Company (Us), Llc Systems and methods to pre-scale media content to facilitate audience measurement
US8763114B2 (en) * 2007-01-24 2014-06-24 Mcafee, Inc. Detecting image spam
US8214497B2 (en) 2007-01-24 2012-07-03 Mcafee, Inc. Multi-dimensional reputation scoring
US7779156B2 (en) 2007-01-24 2010-08-17 Mcafee, Inc. Reputation based load balancing
CA2678942C (en) 2007-02-20 2018-03-06 Nielsen Media Research, Inc. Methods and apparatus for characterizing media
US7403137B1 (en) * 2007-03-30 2008-07-22 Juniper Networks, Inc. Memory efficient indexing for disk-based compression
EP2156583B1 (en) 2007-05-02 2018-06-06 The Nielsen Company (US), LLC Methods and apparatus for generating signatures
US20080274687A1 (en) 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
WO2008150544A1 (en) * 2007-06-06 2008-12-11 Dolby Laboratories Licensing Corporation Improving audio/video fingerprint search accuracy using multiple search combining
US8559516B2 (en) * 2007-06-14 2013-10-15 Sony Corporation Video sequence ID by decimated scene signature
US8171030B2 (en) 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
US8229227B2 (en) * 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
US20100225810A1 (en) * 2007-07-06 2010-09-09 Ambx Uk Limited Method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US8006314B2 (en) 2007-07-27 2011-08-23 Audible Magic Corporation System for identifying content of digital data
WO2009026803A1 (en) 2007-08-27 2009-03-05 Yuvad Technologies Co., Ltd. A method for identifying motion video content
US8677241B2 (en) * 2007-09-10 2014-03-18 Vantrix Corporation Method and system for multimedia messaging service (MMS) to video adaptation
US8311058B2 (en) 2008-05-10 2012-11-13 Vantrix Corporation Modular transcoding pipeline
US8220051B2 (en) 2007-09-28 2012-07-10 Vantrix Corporation Generation and delivery of multimedia content-adaptation notifications
JP5104200B2 (ja) * 2007-10-23 2012-12-19 大日本印刷株式会社 ネットワーク接続装置
US8185930B2 (en) 2007-11-06 2012-05-22 Mcafee, Inc. Adjusting filter or classification control settings
WO2009064561A1 (en) 2007-11-12 2009-05-22 Nielsen Media Research, Inc. Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8171167B2 (en) 2007-11-13 2012-05-01 Vantrix Corporation Intelligent caching of media files
US20100023499A1 (en) * 2007-12-24 2010-01-28 Brian David Johnson System and method for a content fingerprint filter
US8776244B2 (en) 2007-12-24 2014-07-08 Intel Corporation System and method for the generation of a content fingerprint for content identification
US8457951B2 (en) 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
WO2009110932A1 (en) * 2008-03-05 2009-09-11 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
US8229191B2 (en) 2008-03-05 2012-07-24 International Business Machines Corporation Systems and methods for metadata embedding in streaming medical data
GB2472162B (en) * 2008-03-14 2012-12-26 Ambx Uk Ltd Processing in sequence of frames
GB2458471A (en) * 2008-03-17 2009-09-23 Taylor Nelson Sofres Plc A signature generating device for an audio signal and associated methods
US8503991B2 (en) 2008-04-03 2013-08-06 The Nielsen Company (Us), Llc Methods and apparatus to monitor mobile devices
US8589503B2 (en) 2008-04-04 2013-11-19 Mcafee, Inc. Prioritizing network traffic
US7904460B2 (en) * 2008-04-23 2011-03-08 Microsoft Corporation Determining computer information from processor properties
US20090287648A1 (en) * 2008-05-14 2009-11-19 Microsoft Corporation Ad-based revenue generation using media-hashing to control fraud
US20100215210A1 (en) * 2008-05-21 2010-08-26 Ji Zhang Method for Facilitating the Archiving of Video Content
US8370382B2 (en) 2008-05-21 2013-02-05 Ji Zhang Method for facilitating the search of video content
WO2009140818A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A system for facilitating the archiving of video content
US8611701B2 (en) 2008-05-21 2013-12-17 Yuvad Technologies Co., Ltd. System for facilitating the search of video content
US8488835B2 (en) 2008-05-21 2013-07-16 Yuvad Technologies Co., Ltd. System for extracting a fingerprint data from video/audio signals
US8548192B2 (en) 2008-05-22 2013-10-01 Yuvad Technologies Co., Ltd. Method for extracting a fingerprint data from video/audio signals
WO2009140824A1 (en) 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A system for identifying motion video/audio content
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8335786B2 (en) * 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US8259177B2 (en) 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US8347408B2 (en) 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
KR101027159B1 (ko) * 2008-07-28 2011-04-05 뮤추얼아이피서비스(주) 타겟 영상 검출 장치 및 그 방법
US8341415B1 (en) * 2008-08-04 2012-12-25 Zscaler, Inc. Phrase matching
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
EP2327213B1 (en) 2008-08-21 2014-10-08 Dolby Laboratories Licensing Corporation Feature based calculation of audio video synchronization errors
ITVE20080074A1 (it) * 2008-09-30 2008-12-30 Fausto Artico Algoritmo di riconoscimento e eventuale reperimento di cluster di dati all'interno di insiemi di dati piu' grandi in presenza di eventuale rumore o altre forme di disturbo che li corrompano in modo piu' o meno marcato
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US20100169178A1 (en) * 2008-12-26 2010-07-01 Microsoft Corporation Advertising Method for Image Search
WO2010087127A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 映像識別子生成装置
US8676822B2 (en) * 2009-02-06 2014-03-18 Disney Enterprises, Inc. System and method for quality assured media file storage
JP4721079B2 (ja) * 2009-02-06 2011-07-13 ソニー株式会社 コンテンツ処理装置および方法
US8533848B2 (en) * 2009-02-18 2013-09-10 Korea Advanced Institute Of Science And Technology Method and system for producing multimedia fingerprint based on quantum hashing
CN102395998B (zh) * 2009-04-14 2015-06-10 日本电气株式会社 图像签名提取设备
WO2010135082A1 (en) * 2009-05-19 2010-11-25 Dolby Laboratories Licensing Corporation Localized weak bit assignment
WO2010135687A1 (en) 2009-05-21 2010-11-25 Digimarc Corporation Combined watermarking and fingerprinting
US8687839B2 (en) * 2009-05-21 2014-04-01 Digimarc Corporation Robust signatures derived from local nonlinear filters
WO2010138777A1 (en) * 2009-05-27 2010-12-02 Arsh Technologies, Llc Automatic resource retrieval and use
US20130097632A1 (en) * 2009-05-27 2013-04-18 Ajay Shah Synchronization to broadcast media
US8489774B2 (en) * 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
US8620967B2 (en) 2009-06-11 2013-12-31 Rovi Technologies Corporation Managing metadata for occurrences of a recording
US20110055221A1 (en) * 2009-08-26 2011-03-03 Sovio Sampo Juhani Method and apparatus for obtaining decision diagrams from unknown hash identifiers
US8332624B2 (en) * 2009-08-26 2012-12-11 Nokia Corporation Method and apparatus for encoding decision diagrams
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
KR101045137B1 (ko) * 2009-11-03 2011-06-30 김연실 고정식 다이스를 사용하는 가연성 쓰레기 막대(bar) 제조장치의 쓰레기 막대 냉각 및 절단장치
US8490131B2 (en) * 2009-11-05 2013-07-16 Sony Corporation Automatic capture of data for acquisition of metadata
EP2507938B1 (en) 2009-12-01 2019-07-03 Vantrix Corporation System and methods for efficient media delivery using cache
WO2011087648A1 (en) 2009-12-22 2011-07-21 Dolby Laboratories Licensing Corporation Method to dynamically design and configure multimedia fingerprint databases
US8886531B2 (en) 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
US9195500B1 (en) 2010-02-09 2015-11-24 F5 Networks, Inc. Methods for seamless storage importing and devices thereof
US8452106B2 (en) * 2010-03-23 2013-05-28 Microsoft Corporation Partition min-hash for partial-duplicate image determination
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8577094B2 (en) 2010-04-09 2013-11-05 Donald Martin Monro Image template masking
US9613142B2 (en) * 2010-04-26 2017-04-04 Flash Networks Ltd Method and system for providing the download of transcoded files
US8686271B2 (en) 2010-05-04 2014-04-01 Shazam Entertainment Ltd. Methods and systems for synchronizing media
KR20130029082A (ko) 2010-05-04 2013-03-21 샤잠 엔터테인먼트 리미티드 미디어 스트림의 샘플을 처리하는 방법 및 시스템
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US8621638B2 (en) 2010-05-14 2013-12-31 Mcafee, Inc. Systems and methods for classification of messaging entities
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
JP5813767B2 (ja) 2010-07-21 2015-11-17 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
JP5175908B2 (ja) 2010-09-14 2013-04-03 株式会社東芝 情報処理装置及びプログラム
US9286298B1 (en) 2010-10-14 2016-03-15 F5 Networks, Inc. Methods for enhancing management of backup data sets and devices thereof
IT1403658B1 (it) * 2011-01-28 2013-10-31 Universal Multimedia Access S R L Procedimento e mezzi per scandire e/o sincronizzare eventi audio/video
CA2827514A1 (en) 2011-02-18 2012-08-23 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream by a client device
US8478719B2 (en) 2011-03-17 2013-07-02 Remote Media LLC System and method for media file synchronization
US8589171B2 (en) 2011-03-17 2013-11-19 Remote Media, Llc System and method for custom marking a media file for file matching
US8688631B2 (en) 2011-03-17 2014-04-01 Alexander Savenok System and method for media file synchronization
CA2836387C (en) * 2011-05-20 2018-09-11 Bae Systems Plc Supervised data transfer
US9286909B2 (en) 2011-06-06 2016-03-15 Bridge Mediatech, S.L. Method and system for robust audio hashing
JP6060155B2 (ja) 2011-06-08 2017-01-11 シャザム エンターテインメント リミテッドＳｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｌｉｍｉｔｅｄ 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
EP2718849A1 (en) 2011-06-10 2014-04-16 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US8995708B2 (en) * 2011-09-08 2015-03-31 Samsung Electronics Co., Ltd. Apparatus and method for robust low-complexity video fingerprinting
RU2459281C1 (ru) * 2011-09-15 2012-08-20 Общество с ограниченной ответственностью "Цифрасофт" Устройство и способ формирования сигнатуры акустического сигнала, устройство идентификации акустического сигнала
US8831763B1 (en) * 2011-10-18 2014-09-09 Google Inc. Intelligent interest point pruning for audio matching
US8588525B1 (en) * 2011-11-17 2013-11-19 Google Inc. Transformation invariant media matching
US9020912B1 (en) 2012-02-20 2015-04-28 F5 Networks, Inc. Methods for accessing data in a compressed file system and devices thereof
US20190379931A1 (en) * 2012-02-21 2019-12-12 Gracenote, Inc. Media Content Identification on Mobile Devices
US20150379321A1 (en) 2012-03-01 2015-12-31 Sys-Tech Solutions, Inc. Methods and a system for verifying the authenticity of a mark
US20150169928A1 (en) 2012-03-01 2015-06-18 Sys-Tech Solutions, Inc. Methods and a system for verifying the identity of a printed item
US8950662B2 (en) 2012-03-01 2015-02-10 Sys-Tech Solutions, Inc. Unique identification information from marked features
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9202255B2 (en) * 2012-04-18 2015-12-01 Dolby Laboratories Licensing Corporation Identifying multimedia objects based on multimedia fingerprint
US8995771B2 (en) 2012-04-30 2015-03-31 Microsoft Technology Licensing, Llc Identification of duplicates within an image space
CN102799605B (zh) * 2012-05-02 2016-03-23 天脉聚源(北京)传媒科技有限公司 一种广告监播方法和系统
US9418669B2 (en) * 2012-05-13 2016-08-16 Harry E. Emerson, III Discovery of music artist and title for syndicated content played by radio stations
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
US9235867B2 (en) * 2012-06-04 2016-01-12 Microsoft Technology Licensing, Llc Concurrent media delivery
US9596386B2 (en) * 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
US9112922B2 (en) 2012-08-28 2015-08-18 Vantrix Corporation Method and system for self-tuning cache management
US20140074469A1 (en) * 2012-09-11 2014-03-13 Sergey Zhidkov Apparatus and Method for Generating Signatures of Acoustic Signal and Apparatus for Acoustic Signal Identification
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
US11126418B2 (en) * 2012-10-11 2021-09-21 Mcafee, Llc Efficient shared image deployment
FR3002713B1 (fr) * 2013-02-27 2015-02-27 Inst Mines Telecom Generation d'une signature d'un signal audio musical
US9451048B2 (en) 2013-03-12 2016-09-20 Shazam Investments Ltd. Methods and systems for identifying information of a broadcast station and information of broadcasted content
US20140278845A1 (en) 2013-03-15 2014-09-18 Shazam Investments Limited Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content
US9773058B2 (en) * 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US8990638B1 (en) * 2013-03-15 2015-03-24 Digimarc Corporation Self-stabilizing network nodes in mobile discovery system
US9390170B2 (en) 2013-03-15 2016-07-12 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US8850467B1 (en) 2013-03-15 2014-09-30 International Business Machines Corporation System and method for monitoring video performance
US9384238B2 (en) 2013-04-26 2016-07-05 Wal-Mart Stores, Inc. Block partitioning for efficient record processing in parallel computing environment
US9760654B2 (en) 2013-04-26 2017-09-12 Wal-Mart Stores, Inc. Method and system for focused multi-blocking to increase link identification rates in record comparison
US9830377B1 (en) 2013-04-26 2017-11-28 Wal-Mart Stores, Inc. Methods and systems for hierarchical blocking
US9235592B2 (en) 2013-04-26 2016-01-12 Wal-Mart Stores, Inc. Method and system for multi-block overlap-detection in a parallel environment without inter-process communication
US20140336797A1 (en) * 2013-05-12 2014-11-13 Harry E. Emerson, III Audio content monitoring and identification of broadcast radio stations
US20140336799A1 (en) * 2013-05-13 2014-11-13 Harry E. Emerson, III Discovery of music artist and title via companionship between a cellular phone and a broadcast radio receiver
CN103634613B (zh) * 2013-08-15 2016-12-28 北京中视广信科技有限公司 移动终端与广播电视频道自动同步的方法及系统
US9326041B2 (en) 2013-09-17 2016-04-26 International Business Machines Corporation Managing quality of experience for media transmissions
US9514753B2 (en) * 2013-11-04 2016-12-06 Google Inc. Speaker identification using hash-based indexing
US9819953B2 (en) 2013-12-31 2017-11-14 International Business Machines Corporation Decoding media streams within thresholds
US9620124B2 (en) 2014-02-28 2017-04-11 Comcast Cable Communications, Llc Voice enabled screen reader
NL2012567B1 (en) 2014-04-04 2016-03-08 Teletrax B V Method and device for generating improved fingerprints.
US9668020B2 (en) * 2014-04-07 2017-05-30 The Nielsen Company (Us), Llc Signature retrieval and matching for media monitoring
US9438940B2 (en) * 2014-04-07 2016-09-06 The Nielsen Company (Us), Llc Methods and apparatus to identify media using hash keys
US9628805B2 (en) * 2014-05-20 2017-04-18 AVAST Software s.r.o. Tunable multi-part perceptual image hashing
CN104159159B (zh) * 2014-05-30 2015-10-07 腾讯科技（深圳）有限公司 基于视频的交互方法、终端、服务器及系统
EP2963904B1 (en) * 2014-07-03 2017-04-12 Alcatel Lucent Enhanced vectoring operation with single loop unbundling
US9686221B2 (en) * 2014-07-25 2017-06-20 Microsoft Technology Licensing, Llc Error correction for interactive message exchanges using summaries
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
CN104134443B (zh) * 2014-08-14 2017-02-08 兰州理工大学 对称三进制串表示的语音感知哈希序列构造和认证方法
CN104506198B (zh) * 2014-12-30 2017-08-01 大连理工大学 基于重复性特征的心音信号压缩算法
US9519942B2 (en) * 2015-02-17 2016-12-13 Sys-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
US9940572B2 (en) 2015-02-17 2018-04-10 Sys-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
EP3255633B1 (en) 2015-04-27 2019-06-19 Samsung Electronics Co., Ltd. Audio content recognition method and device
US10839006B2 (en) * 2015-05-18 2020-11-17 Oath Inc. Mobile visual search using deep variant coding
DK3311337T3 (da) 2015-06-16 2022-05-30 Sys Tech Solutions Inc Fremgangsmåder og en computerindretning til bestemmelse af ægtheden af et mærke
CA2990891A1 (en) 2015-06-30 2017-01-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forchung E.V. Method and device for associating noises and for analyzing
JP6595822B2 (ja) * 2015-07-07 2019-10-23 キヤノン株式会社 情報処理装置及びその制御方法
US10200546B2 (en) * 2015-09-25 2019-02-05 The Nielsen Company (Us), Llc Methods and apparatus to identify media using hybrid hash keys
US10244234B2 (en) * 2015-11-20 2019-03-26 Ellation, Inc. Adaptive compression rate control
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
US10606879B1 (en) 2016-02-29 2020-03-31 Gracenote, Inc. Indexing fingerprints
KR20170101500A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 노이즈 제거를 통한 오디오 신호 식별 방법 및 장치
EP4057206B1 (en) 2016-03-14 2024-08-21 Sys-Tech Solutions, Inc. Methods and a computing device for determining whether a mark is genuine
JP6812789B2 (ja) * 2016-12-28 2021-01-13 富士通株式会社 情報処理装置、情報処理プログラム、および情報処理方法
US10166472B2 (en) 2017-05-04 2019-01-01 Shazam Investments Ltd. Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
US10445366B2 (en) * 2017-07-17 2019-10-15 Jaap Dekkinga Methods and systems for saving a URL on a device
US10929384B2 (en) 2017-08-16 2021-02-23 Walmart Apollo, Llc Systems and methods for distributed data validation
US10158907B1 (en) 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10129575B1 (en) 2017-10-25 2018-11-13 Shazam Entertainment Limited Methods and systems for determining a latency between a source and an alternative feed of the source
WO2019089888A1 (en) 2017-11-01 2019-05-09 Walmart Apollo, Llc Systems and methods for dynamic hierarchical metadata storage and retrieval
US10546585B2 (en) 2017-12-29 2020-01-28 Comcast Cable Communications, Llc Localizing and verifying utterances by audio fingerprinting
CN110322897B (zh) 2018-03-29 2021-09-03 北京字节跳动网络技术有限公司 一种音频检索识别方法及装置
CN109118419B (zh) * 2018-07-20 2022-12-09 上海电力学院 基于局部空域和频域的图像拷贝检测方法
CN109102811B (zh) * 2018-07-27 2021-03-30 广州酷狗计算机科技有限公司 音频指纹的生成方法、装置及存储介质
US10673559B2 (en) * 2018-08-09 2020-06-02 Silicon Laboratories, Inc. Optimal preamble length and detection threshold
US10504504B1 (en) * 2018-12-07 2019-12-10 Vocalid, Inc. Image-based approaches to classifying audio data
KR20200142787A (ko) * 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
GB2574129B (en) * 2019-06-13 2024-01-17 Withsecure Corp False alarm detection for malware scanning
CN112099725A (zh) * 2019-06-17 2020-12-18 华为技术有限公司 一种数据处理方法、装置及计算机可读存储介质
CN112232428B (zh) * 2020-10-23 2021-11-16 上海电力大学 一种基于三维特征和能量变化特征的图像哈希获取方法
KR102580076B1 (ko) * 2022-11-03 2023-09-20 주식회사 하스퍼 해시 생성 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0367585A2 (en) * 1988-11-01 1990-05-09 Control Data Corporation Electronic data encoding and recognition system

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4030119A (en) 1975-10-01 1977-06-14 General Electric Company Video window control
US4697209A (en) * 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US4857899A (en) 1985-12-10 1989-08-15 Ascii Corporation Image display apparatus
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
JP2637815B2 (ja) * 1989-02-13 1997-08-06 パイオニア株式会社 情報再生装置
US5263010A (en) * 1989-02-13 1993-11-16 Pioneer Electronic Corporation Information reproducing system identifying previously stored playback information
JP2637816B2 (ja) * 1989-02-13 1997-08-06 パイオニア株式会社 情報再生装置
JPH0786737B2 (ja) * 1989-12-13 1995-09-20 パイオニア株式会社 車載ナビゲーション装置
US4992706A (en) 1990-02-21 1991-02-12 North American Philips Corporation CRT raster distortion correction circuit
KR920006298B1 (ko) * 1990-04-30 1992-08-03 삼성전자 주식회사 인덱스 서취장치
CA2085887A1 (en) * 1990-06-21 1991-12-22 Kentyn Reynolds Method and apparatus for wave analysis and event recognition
DE4021707A1 (de) * 1990-07-07 1992-01-09 Nsm Ag Muenzbetaetigter musikautomat
US5220567A (en) * 1991-12-26 1993-06-15 Amdahl Corporation Signature detecting method and apparatus for isolating source of correctable errors
US5229768A (en) * 1992-01-29 1993-07-20 Traveling Software, Inc. Adaptive data compression system
JP2935307B2 (ja) 1992-02-20 1999-08-16 株式会社日立製作所 ディスプレイ
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5907793A (en) 1992-05-01 1999-05-25 Reams; David A. Telephone-based interactive broadcast or cable radio or television methods and apparatus
US5703795A (en) * 1992-06-22 1997-12-30 Mankovitz; Roy J. Apparatus and methods for accessing information relating to radio and television programs
DE4309957C1 (de) * 1993-03-26 1994-07-14 Media Control Musik Medien Verfahren zum Wiedererkennen von unikaten Bildsignalen und Vorrichtung zur Durchführung des Verfahrens
US6546112B1 (en) * 1993-11-18 2003-04-08 Digimarc Corporation Security document with steganographically-encoded authentication data
US6408082B1 (en) * 1996-04-25 2002-06-18 Digimarc Corporation Watermark detection using a fourier mellin transform
US7171016B1 (en) * 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
US5822436A (en) * 1996-04-25 1998-10-13 Digimarc Corporation Photographic products and methods employing embedded information
US5499294A (en) * 1993-11-24 1996-03-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Digital camera with apparatus for authentication of images produced from an image file
US5613909A (en) * 1994-07-21 1997-03-25 Stelovsky; Jan Time-segmented multimedia game playing and authoring system
DE4427046C2 (de) 1994-07-29 2001-02-01 Yes Internat Ag Zug Verfahren zum Wiedergeben von in einem Fernseh- oder Hörfunk-Programmsignal enthaltenen Zusatzinformationen
US5519435A (en) * 1994-09-01 1996-05-21 Micropolis Corporation Multi-user, on-demand video storage and retrieval system including video signature computation for preventing excessive instantaneous server data rate
US6560349B1 (en) 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US5790793A (en) 1995-04-04 1998-08-04 Higley; Thomas Method and system to create, transmit, receive and process information, including an address to further information
US5616876A (en) * 1995-04-19 1997-04-01 Microsoft Corporation System and methods for selecting music on the basis of subjective content
JP3603395B2 (ja) * 1995-07-26 2004-12-22 富士ゼロックス株式会社 マッチング装置およびマッチング方法
US5751672A (en) * 1995-07-26 1998-05-12 Sony Corporation Compact disc changer utilizing disc database
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US6408331B1 (en) 1995-07-27 2002-06-18 Digimarc Corporation Computer linking methods using encoded graphics
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US7562392B1 (en) 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
JP3471526B2 (ja) * 1995-07-28 2003-12-02 松下電器産業株式会社 情報提供装置
JPH0991434A (ja) 1995-09-28 1997-04-04 Hamamatsu Photonics Kk 人物照合装置
US5767893A (en) * 1995-10-11 1998-06-16 International Business Machines Corporation Method and apparatus for content based downloading of video programs
US5893910A (en) * 1996-01-04 1999-04-13 Softguard Enterprises Inc. Method and apparatus for establishing the legitimacy of use of a block of digitally represented information
US5824933A (en) * 1996-01-26 1998-10-20 Interactive Music Corp. Method and apparatus for synchronizing and simultaneously playing predefined musical sequences using visual display and input device such as joystick or keyboard
US5778181A (en) * 1996-03-08 1998-07-07 Actv, Inc. Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
US5774664A (en) 1996-03-08 1998-06-30 Actv, Inc. Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
US5778187A (en) * 1996-05-09 1998-07-07 Netcast Communications Corp. Multicasting method and apparatus
US5953005A (en) * 1996-06-28 1999-09-14 Sun Microsystems, Inc. System and method for on-line multimedia access
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5862223A (en) 1996-07-24 1999-01-19 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically-assisted commercial network system designed to facilitate and support expert-based commerce
US5721827A (en) * 1996-10-02 1998-02-24 James Logan System for electrically distributing personalized information
US5774666A (en) * 1996-10-18 1998-06-30 Silicon Graphics, Inc. System and method for displaying uniform network resource locators embedded in time-based medium
US5809250A (en) * 1996-10-23 1998-09-15 Intel Corporation Methods for creating and sharing replayable modules representive of Web browsing session
US5796393A (en) * 1996-11-08 1998-08-18 Compuserve Incorporated System for intergrating an on-line service community with a foreign service
US6034925A (en) * 1996-12-02 2000-03-07 Thomson Consumer Electronics, Inc. Accessing control method for identifying a recording medium in a jukebox
US5925843A (en) * 1997-02-12 1999-07-20 Virtual Music Entertainment, Inc. Song identification and synchronization
US5796952A (en) * 1997-03-21 1998-08-18 Dot Com Development, Inc. Method and apparatus for tracking client interaction with a network resource and creating client profiles and resource database
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US5960081A (en) * 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence
US6076104A (en) 1997-09-04 2000-06-13 Netscape Communications Corp. Video data integration system using image data and associated hypertext links
US5960411A (en) 1997-09-12 1999-09-28 Amazon.Com, Inc. Method and system for placing a purchase order via a communications network
US6101482A (en) 1997-09-15 2000-08-08 International Business Machines Corporation Universal web shopping cart and method of on-line transaction processing
US6076111A (en) * 1997-10-24 2000-06-13 Pictra, Inc. Methods and apparatuses for transferring data between data processing systems which transfer a representation of the data before transferring the data
US6195693B1 (en) * 1997-11-18 2001-02-27 International Business Machines Corporation Method and system for network delivery of content associated with physical audio media
US20010014868A1 (en) 1997-12-05 2001-08-16 Frederick Herz System for the automatic determination of customized prices and promotions
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
JPH11232286A (ja) 1998-02-12 1999-08-27 Hitachi Ltd 情報検索システム
JPH11306022A (ja) 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd エージェント知識利用方法及び装置
JPH11311999A (ja) * 1998-04-30 1999-11-09 Seiichiro Hanya 音声認識方法
US6201176B1 (en) * 1998-05-07 2001-03-13 Canon Kabushiki Kaisha System and method for querying a music database
IL124595A (en) * 1998-05-21 2009-09-01 Yossef Tsuria Anti-piracy system
US6226618B1 (en) * 1998-08-13 2001-05-01 International Business Machines Corporation Electronic content delivery system
US6098106A (en) 1998-09-11 2000-08-01 Digitalconvergence.Com Inc. Method for controlling a computer with an audio signal
WO2000016541A1 (en) 1998-09-15 2000-03-23 Microsoft Corporation Annotation creation and notification via electronic mail
US6266429B1 (en) * 1998-09-23 2001-07-24 Philips Electronics North America Corporation Method for confirming the integrity of an image transmitted with a loss
JP4253875B2 (ja) 1998-09-30 2009-04-15 ソニー株式会社 送信方法および送信装置、受信方法および受信装置、並びに伝送方法および伝送システム
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US6665417B1 (en) * 1998-12-02 2003-12-16 Hitachi, Ltd. Method of judging digital watermark information
GB2364513B (en) * 1998-12-23 2003-04-09 Kent Ridge Digital Labs Method and apparatus for protecting the legitimacy of an article
US6304523B1 (en) 1999-01-05 2001-10-16 Openglobe, Inc. Playback device having text display and communication with remote database of titles
US6654735B1 (en) * 1999-01-08 2003-11-25 International Business Machines Corporation Outbound information analysis for generating user interest profiles and improving user productivity
US6601046B1 (en) 1999-03-25 2003-07-29 Koninklijke Philips Electronics N.V. Usage dependent ticket to protect copy-protected material
DE60037119T3 (de) 1999-03-29 2012-10-04 Gotuit Media Corp., Elektronische speicherung von musikdaten und von programmen, mit der erkennung von programmsegmenten, wie zum beispiel aufgezeichneten musikvorträgen, und system für die verwaltung und wiedergabe dieser programmsegmente
JP2000285237A (ja) 1999-03-31 2000-10-13 Minolta Co Ltd 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
JP2000305578A (ja) 1999-04-26 2000-11-02 Nippon Telegr & Teleph Corp <Ntt> 音楽データベース作成装置、作成方法およびそのプログラム記録媒体
US7302574B2 (en) 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US6952774B1 (en) * 1999-05-22 2005-10-04 Microsoft Corporation Audio watermarking with dual watermarks
GB2351405B (en) * 1999-06-21 2003-09-24 Motorola Ltd Watermarked digital images
US7174293B2 (en) * 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US6941275B1 (en) * 1999-10-07 2005-09-06 Remi Swierczek Music identification system
US6996775B1 (en) 1999-10-29 2006-02-07 Verizon Laboratories Inc. Hypervideo: information retrieval using time-related multimedia:
US20030097338A1 (en) 2000-02-03 2003-05-22 Piotrowski Tony E. Method and system for purchasing content related material
US8355525B2 (en) 2000-02-14 2013-01-15 Digimarc Corporation Parallel processing of digital watermarking operations
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
JP2001283568A (ja) 2000-03-30 2001-10-12 Kenwood Corp 管理装置、オーディオシステム、ディスク情報管理方法および記録媒体
US6970886B1 (en) 2000-05-25 2005-11-29 Digimarc Corporation Consumer driven methods for associating content indentifiers with related web addresses
US6963975B1 (en) * 2000-08-11 2005-11-08 Microsoft Corporation System and method for audio fingerprinting
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
JP2002049631A (ja) * 2000-08-01 2002-02-15 Sony Corp 情報提供装置および方法、並びに記録媒体
EP1314110B1 (en) * 2000-08-23 2009-10-07 Gracenote, Inc. Method of enhancing rendering of a content item, client system and server system
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US6748360B2 (en) * 2000-11-03 2004-06-08 International Business Machines Corporation System for selling a product utilizing audio content identification
US6983289B2 (en) * 2000-12-05 2006-01-03 Digital Networks North America, Inc. Automatic identification of DVD title using internet technologies and fuzzy matching techniques
KR100375822B1 (ko) * 2000-12-18 2003-03-15 한국전자통신연구원 디지털 오디오의 워터마크 삽입/추출 장치 및 방법
JP4723171B2 (ja) 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
US7363278B2 (en) 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7958359B2 (en) 2001-04-30 2011-06-07 Digimarc Corporation Access control systems
US7024018B2 (en) * 2001-05-11 2006-04-04 Verance Corporation Watermark position modulation
US6968337B2 (en) * 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
DE10133333C1 (de) * 2001-07-10 2002-12-05 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines Fingerabdrucks und Verfahren und Vorrichtung zum Identifizieren eines Audiosignals
US7877438B2 (en) * 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
KR20040024870A (ko) * 2001-07-20 2004-03-22 그레이스노트 아이엔씨 음성 기록의 자동 확인
EP1421521A2 (en) * 2001-07-31 2004-05-26 Gracenote, Inc. Multiple step identification of recordings
US6941003B2 (en) * 2001-08-07 2005-09-06 Lockheed Martin Corporation Method of fast fingerprint search space partitioning and prescreening
JP2005509950A (ja) * 2001-11-16 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ フィンガープリント・データベース更新方法、クライアント及びサーバ
KR20040086350A (ko) 2002-02-05 2004-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트의 효율적 저장
US6782116B1 (en) * 2002-11-04 2004-08-24 Mediasec Technologies, Gmbh Apparatus and methods for improving detection of watermarks in content that has undergone a lossy transformation
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
US7188248B2 (en) 2002-07-09 2007-03-06 Kaleidescope, Inc. Recovering from de-synchronization attacks against watermarking and fingerprinting
US7110338B2 (en) * 2002-08-06 2006-09-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for fingerprinting digital media
US7152021B2 (en) 2002-08-15 2006-12-19 Digimarc Corporation Computing distortion of media signals embedded data with repetitive structure and log-polar mapping
DE60326743D1 (de) * 2002-09-30 2009-04-30 Gracenote Inc Fingerabdruckextraktion
CN1711531A (zh) 2002-11-12 2005-12-21 皇家飞利浦电子股份有限公司 采指纹多媒体内容
CN1754218A (zh) 2003-02-26 2006-03-29 皇家飞利浦电子股份有限公司 音频指纹识别中数字静音的处理
EP1457889A1 (en) 2003-03-13 2004-09-15 Koninklijke Philips Electronics N.V. Improved fingerprint matching method and system
US20040260682A1 (en) 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
WO2005050620A1 (en) * 2003-11-18 2005-06-02 Koninklijke Philips Electronics N.V. Matching data objects by matching derived fingerprints
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
US20090076821A1 (en) 2005-08-19 2009-03-19 Gracenote, Inc. Method and apparatus to control operation of a playback device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0367585A2 (en) * 1988-11-01 1990-05-09 Control Data Corporation Electronic data encoding and recognition system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9794620B2 (en) 2014-03-11 2017-10-17 Soundlly Inc. System and method for providing related content at low power, and computer readable recording medium having program recorded therein
KR20160109221A (ko) * 2015-03-10 2016-09-21 삼성전자주식회사 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
KR102121534B1 (ko) * 2015-03-10 2020-06-10 삼성전자주식회사 시퀀스 간의 유사성을 결정하는 방법 및 디바이스

Also Published As

Publication number Publication date
EP1362485B1 (en) 2008-08-13
JP2009075603A (ja) 2009-04-09
US20020178410A1 (en) 2002-11-28
ATE405101T1 (de) 2008-08-15
JP4723171B2 (ja) 2011-07-13
WO2002065782A1 (en) 2002-08-22
CN1461565A (zh) 2003-12-10
DE60228202D1 (de) 2008-09-25
KR20030005279A (ko) 2003-01-17
CN1235408C (zh) 2006-01-04
US7549052B2 (en) 2009-06-16
US20080263360A1 (en) 2008-10-23
JP2004519015A (ja) 2004-06-24
US7921296B2 (en) 2011-04-05
EP1362485A1 (en) 2003-11-19

Similar Documents

Publication Publication Date Title
KR100893671B1 (ko) 멀티미디어 콘텐트의 해시들의 생성 및 매칭
US11361017B1 (en) Method to differentiate and classify fingerprints using fingerprint neighborhood analysis
Oostveen et al. Feature extraction and a database strategy for video fingerprinting
JP2006506659A (ja) フィンガープリントのサーチおよびその改良
EP2642483B1 (en) Extracting features of video&amp;audio signal content to provide reliable identification of the signals
Oostveen et al. Visual hashing of digital video: applications and techniques
CN110083714B (zh) 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
KR101748512B1 (ko) 손상된 오디오 신호의 서명 매칭
US8671109B2 (en) Content-based video copy detection
EP1081960A1 (en) Signal processing method and video/voice processing device
CN102177726A (zh) 用于音频和视频签名生成和检测的特征优化和可靠性估计
JP2005020742A (ja) ビデオコピーの検出方法及び装置
WO2005124679A1 (en) Searching for a scaling factor for watermark detection
US10248723B2 (en) Method and device for generating fingerprints of information signals
RU2352992C2 (ru) Обнаружение водяного знака
Kekre et al. A review of audio fingerprinting and comparison of algorithms
Kim et al. Robust audio fingerprinting method using prominent peak pair based on modulated complex lapped transform
Ouali et al. Content-based multimedia copy detection
Selvakumar et al. Content recognition using audio finger printing
Bardeli Watermarking and Fingerprinting
Oostveen et al. Algorithms for audio and video fingerprinting
Kalker et al. Robust Identification of Audio Using Watermarking and Fingerprinting

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 11