JP6462111B2 - 情報信号の指紋を生成するための方法及び装置 - Google Patents
情報信号の指紋を生成するための方法及び装置 Download PDFInfo
- Publication number
- JP6462111B2 JP6462111B2 JP2017503759A JP2017503759A JP6462111B2 JP 6462111 B2 JP6462111 B2 JP 6462111B2 JP 2017503759 A JP2017503759 A JP 2017503759A JP 2017503759 A JP2017503759 A JP 2017503759A JP 6462111 B2 JP6462111 B2 JP 6462111B2
- Authority
- JP
- Japan
- Prior art keywords
- fingerprint
- division level
- calculating
- frequency subbands
- spectral characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000003595 spectral effect Effects 0.000 claims description 34
- 238000010606 normalization Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 235000019557 luminance Nutrition 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Description
上記は、本発明を説明及び説明するのに役立ついくつかの有用な実施形態の説明を提供する。説明は、本発明を実施又は使用することができるすべての可能な方法の網羅的な説明であることを意図するものではない。 当業者は、特許請求の範囲に提示される本発明の本質的な特徴に依然として依拠する多くの修正および変形を考えることができるであろう。 さらに、周知の方法、手順、構成要素、及び回路は詳細には記載されていない。
[1]J. D. Johnston (1988). "Transform coding of audio signals using perceptual noise criteria". I EEE Journal on Selected Areas in Communications 6 (2): 314-332. doi: 10.1 109/49.608
Claims (14)
- 情報信号を表す指紋を生成する方法であって、
前記情報信号の一部を分割レベルで複数の周波数サブバンドに分割するステップと、
前記複数の周波数サブバンドそれぞれについて前記一部のスペクトル特性を計算するステップと、
各スペクトル特性を基準と比較して、その結果により比較結果を生成するステップと、
前記指紋を構成するために各比較結果を結合するステップと、を備え、
前記分割するステップ、計算するステップ、比較するステップ、及び結合するステップを少なくとも1回繰り返し、各繰り返しに対して、前記分割するステップは、前の分割レベルとは異なる分割レベルを使用して実行されることを特徴とする方法。 - 各繰り返しに対して、前記分割するステップは、前記前の分割レベルより粗い分割レベルを使用して実行されることを特徴とする請求項1に記載の方法。
- 各繰り返しに対して、前記分割するステップは、前記前の分割レベルの周波数サブバンドを結合することにより複数の周波数サブバンドを生成することを特徴とする請求項2に記載の方法。
- 前記結合するステップは、前記前の分割レベルの周波数サブバンドの連続するペアを使用することを含むことを特徴とする請求項3に記載の方法。
- 各繰り返しに対して、前記比較するステップは、前の基準とは異なる基準を使用して実行されることを特徴とする請求項1に記載の方法。
- 前記計算するステップは、前記スペクトル特性と前記基準との間の差を計算することをさらに含み、前記差は、前記比較するステップにおける各比較結果の信頼性を示すことを特徴とする請求項1に記載の方法。
- 前記スペクトル特性の計算は、スペクトル特性を正規化することをさらに含むことを特徴とする請求項6に記載の方法。
- 前記スペクトル特性の計算は、前記正規化されたスペクトル特性に重み因子を適用することをさらに含むことを特徴とする請求項7に記載の方法。
- 1つ又は複数の参照指紋に対して指紋を照合する方法であって、
請求項1〜8のいずれか1項に記載の方法にしたがい指紋を生成するステップと、
前記生成された指紋の比較結果と、1つ又は複数の指紋の比較結果とを照合するステップと、を備える方法。 - 前記生成された指紋の1つ又は複数の比較結果は、照合が得られなかった場合は、相対的に低い信頼性に変更される関連指標を有することを特徴とする請求項9に記載の方法。
- 相対的に低い信頼性を示す関連指標を有する、前記生成された指紋の1つ又は複数の比較結果は、無視されることを特徴とする請求項9に記載の方法。
- 情報信号を表す指紋を生成する装置であって、
前記情報信号の一部を分割レベルで複数の周波数サブバンドに分割するための分割手段と、
前記複数の周波数サブバンドそれぞれについて前記一部のスペクトル特性を計算するための計算手段と、
各スペクトル特性を基準と比較するための比較手段と、
前記指紋を構成するために各比較結果を結合するための結合手段と、
前記分割、計算、比較、及び結合を少なくとも1回繰り返すように構成された手段と、を備え、
前記分割手段は、請求項1〜8のいずれか1項に記載の方法により、前の分割レベルとは異なる分割レベルを使用して前記分割を実行するように構成されることを特徴とする装置。 - 請求項12に記載の装置を備える、コンテンツ再生のための装置。
- コンピュータ上で実行されるとき、請求項1〜8のいずれか1項に記載の方法のステップの実行を前記コンピュータにさせる実行可能命令を含むコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NL2012567A NL2012567B1 (en) | 2014-04-04 | 2014-04-04 | Method and device for generating improved fingerprints. |
NL2012567 | 2014-04-04 | ||
PCT/NL2015/050211 WO2015152719A1 (en) | 2014-04-04 | 2015-04-02 | Method and device for generating fingerprints of information signals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017518715A JP2017518715A (ja) | 2017-07-06 |
JP6462111B2 true JP6462111B2 (ja) | 2019-01-30 |
Family
ID=50896409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017503759A Active JP6462111B2 (ja) | 2014-04-04 | 2015-04-02 | 情報信号の指紋を生成するための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10248723B2 (ja) |
EP (1) | EP3127014B1 (ja) |
JP (1) | JP6462111B2 (ja) |
CN (1) | CN106663102B (ja) |
NL (1) | NL2012567B1 (ja) |
WO (1) | WO2015152719A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110322897B (zh) | 2018-03-29 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 一种音频检索识别方法及装置 |
KR20200142787A (ko) | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법 |
CN113112992B (zh) * | 2019-12-24 | 2022-09-16 | 中国移动通信集团有限公司 | 一种语音识别方法、装置、存储介质和服务器 |
CN112104892B (zh) * | 2020-09-11 | 2021-12-10 | 腾讯科技(深圳)有限公司 | 一种多媒体信息处理方法、装置、电子设备及存储介质 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60228202D1 (de) * | 2001-02-12 | 2008-09-25 | Gracenote Inc | Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei |
CN1628302A (zh) * | 2002-02-05 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 指纹的有效存储器 |
DE60326743D1 (de) * | 2002-09-30 | 2009-04-30 | Gracenote Inc | Fingerabdruckextraktion |
CN1708758A (zh) * | 2002-11-01 | 2005-12-14 | 皇家飞利浦电子股份有限公司 | 改进的音频数据指纹搜索 |
DE102004036154B3 (de) * | 2004-07-26 | 2005-12-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm |
SE0501763L (sv) * | 2005-08-03 | 2007-02-04 | Precise Biometrics Ab | Förfarande och anordning för upplinjering av ett inläst fingeravtryck |
US7516074B2 (en) | 2005-09-01 | 2009-04-07 | Auditude, Inc. | Extraction and matching of characteristic fingerprints from audio signals |
KR100803206B1 (ko) | 2005-11-11 | 2008-02-14 | 삼성전자주식회사 | 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 |
US8009861B2 (en) * | 2006-04-28 | 2011-08-30 | Vobile, Inc. | Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures |
US8094872B1 (en) | 2007-05-09 | 2012-01-10 | Google Inc. | Three-dimensional wavelet based video fingerprinting |
US8140331B2 (en) | 2007-07-06 | 2012-03-20 | Xia Lou | Feature extraction for identification and classification of audio signals |
US8238669B2 (en) * | 2007-08-22 | 2012-08-07 | Google Inc. | Detection and classification of matches between time-based media |
US8204314B2 (en) | 2007-12-03 | 2012-06-19 | Vobile, Inc. | Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures |
US8750530B2 (en) * | 2009-09-15 | 2014-06-10 | Native Instruments Gmbh | Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium |
CN102870155B (zh) * | 2010-01-15 | 2014-09-03 | Lg电子株式会社 | 处理音频信号的方法和装置 |
US8158870B2 (en) | 2010-06-29 | 2012-04-17 | Google Inc. | Intervalgram representation of audio for melody recognition |
KR101144016B1 (ko) * | 2010-07-20 | 2012-05-09 | 한국과학기술원 | Wi?Fi 신호지문 데이터베이스 확보 방법 및 이를 위한 시스템 |
EP2793223B1 (en) * | 2010-12-30 | 2016-05-25 | Dolby International AB | Ranking representative segments in media data |
US9093120B2 (en) * | 2011-02-10 | 2015-07-28 | Yahoo! Inc. | Audio fingerprint extraction by scaling in time and resampling |
US8577354B2 (en) * | 2011-10-07 | 2013-11-05 | Newaer, Inc. | Automating actions within a phone network based upon scanned wireless signals |
KR101300247B1 (ko) * | 2011-11-11 | 2013-08-26 | 경희대학교 산학협력단 | 마르코프 연쇄 은닉 조건부 랜덤 필드 모델 기반의 패턴 인식 방법 |
US8492633B2 (en) * | 2011-12-02 | 2013-07-23 | The Echo Nest Corporation | Musical fingerprinting |
US8949872B2 (en) * | 2011-12-20 | 2015-02-03 | Yahoo! Inc. | Audio fingerprint for content identification |
CN103294696B (zh) * | 2012-02-27 | 2018-01-19 | 上海果壳电子有限公司 | 音视频内容检索方法及系统 |
KR101315970B1 (ko) * | 2012-05-23 | 2013-10-08 | (주)엔써즈 | 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법 |
US9251406B2 (en) * | 2012-06-20 | 2016-02-02 | Yahoo! Inc. | Method and system for detecting users' emotions when experiencing a media program |
EP2868109B1 (en) * | 2012-06-28 | 2016-08-17 | Google, Inc. | Generating a sequence of audio fingerprints at a set top box |
US20140019390A1 (en) * | 2012-07-13 | 2014-01-16 | Umami, Co. | Apparatus and method for audio fingerprinting |
CN103324663A (zh) * | 2013-04-23 | 2013-09-25 | 广东工业大学 | 基于mdct频谱期望的压缩域音频指纹提取方法 |
US9159328B1 (en) * | 2014-03-27 | 2015-10-13 | Verizon Patent And Licensing Inc. | Audio fingerprinting for advertisement detection |
-
2014
- 2014-04-04 NL NL2012567A patent/NL2012567B1/en not_active IP Right Cessation
-
2015
- 2015-04-02 WO PCT/NL2015/050211 patent/WO2015152719A1/en active Application Filing
- 2015-04-02 JP JP2017503759A patent/JP6462111B2/ja active Active
- 2015-04-02 US US15/301,554 patent/US10248723B2/en active Active
- 2015-04-02 CN CN201580029482.6A patent/CN106663102B/zh active Active
- 2015-04-02 EP EP15719863.1A patent/EP3127014B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017518715A (ja) | 2017-07-06 |
US10248723B2 (en) | 2019-04-02 |
US20180018394A1 (en) | 2018-01-18 |
EP3127014B1 (en) | 2018-01-10 |
NL2012567B1 (en) | 2016-03-08 |
CN106663102B (zh) | 2021-05-07 |
EP3127014A1 (en) | 2017-02-08 |
WO2015152719A1 (en) | 2015-10-08 |
CN106663102A (zh) | 2017-05-10 |
NL2012567A (en) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4723171B2 (ja) | マルチメディア・コンテンツのハッシュの生成および突合せ | |
US8411977B1 (en) | Audio identification using wavelet-based signatures | |
Haitsma et al. | Robust audio hashing for content identification | |
US9286909B2 (en) | Method and system for robust audio hashing | |
TWI480855B (zh) | 聲音訊號之特徵指紋擷取與匹配 | |
US10089994B1 (en) | Acoustic fingerprint extraction and matching | |
US20140310006A1 (en) | Method to generate audio fingerprints | |
US20160247512A1 (en) | Method and apparatus for generating fingerprint of an audio signal | |
US20060013451A1 (en) | Audio data fingerprint searching | |
JP2006501498A (ja) | 指紋抽出 | |
JP6462111B2 (ja) | 情報信号の指紋を生成するための方法及び装置 | |
KR20040024870A (ko) | 음성 기록의 자동 확인 | |
KR101841985B1 (ko) | 오디오 핑거프린트 추출 장치 및 방법 | |
US20150310008A1 (en) | Clustering and synchronizing multimedia contents | |
Saracoglu et al. | Content based copy detection with coarse audio-visual fingerprints | |
You et al. | Music identification system using MPEG-7 audio signature descriptors | |
Kim et al. | Robust audio fingerprinting method using prominent peak pair based on modulated complex lapped transform | |
Ghouti et al. | A robust perceptual audio hashing using balanced multiwavelets | |
You et al. | Using paired distances of signal peaks in stereo channels as fingerprints for copy identification | |
Organiściak et al. | Single-ended quality measurement of a music content via convolutional recurrent neural networks | |
Ouali et al. | Robust features for content-based audio copy detection. | |
KR101841983B1 (ko) | 오디오 핑거프린트 식별 장치 및 방법 | |
Boxx II | Video Forensic Method Based on Temporal Noise Correlation | |
Najdi et al. | Audio fingerprinting based on multi-resolution analysis of Discrete Wavelet Transform | |
Koziel | Steganographic Methods in Information Protection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6462111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |