JPH11272274A - 歌声による曲検索法 - Google Patents

歌声による曲検索法

Info

Publication number
JPH11272274A
JPH11272274A JP10111273A JP11127398A JPH11272274A JP H11272274 A JPH11272274 A JP H11272274A JP 10111273 A JP10111273 A JP 10111273A JP 11127398 A JP11127398 A JP 11127398A JP H11272274 A JPH11272274 A JP H11272274A
Authority
JP
Japan
Prior art keywords
pitch
music
database
song
pitches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10111273A
Other languages
English (en)
Inventor
Tomoya Sonoda
智也 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP10111273A priority Critical patent/JPH11272274A/ja
Priority to DE69908226T priority patent/DE69908226T2/de
Priority to EP99302171A priority patent/EP0944033B1/en
Priority to US09/272,211 priority patent/US6121530A/en
Publication of JPH11272274A publication Critical patent/JPH11272274A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】歌声による曲検索に於いては、旋律情報の音高
と音長のうち、音長情報を有効に利用して検索すること
が困難であった。 【解決手段】歌声から得られる音高・音長に含まれる誤
差を許容するために実施する粗いマッチング中の各曲の
音高・音長の分布に基づいて決定する方法では、音高・
音長の両者を有効に利用するための閾値が決定出来、し
かも、粗さの精度を任意に変更してマッチングすること
が出来、更に、データベース中の曲が更新された場合に
も、更新されたデータベースに対して、最適な閾値を直
ちに決定することが出来、音高・音長を利用したことに
より正答率の高い曲検索が可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、歌声による曲検
索法に関し、更に詳しくはメロディを口ずさんでマイク
ロホン入力し、入力されたメロディの音高・音長を抽出
し、得られた音高・音長情報をデータベース中の各曲の
有する情報と照合し、入力キーとデータベースの曲との
音高・音長情報の距離をデータベースについて夫々計算
し、その和が最小となる曲の曲名を検索して出力する曲
検索法に関する。
【0002】
【発明が解決しようとする課題】公知の歌声による曲検
索法に於いては、音符の旋律情報(音高・音長の2つを
属性値として有する音符の系列)のうち、主に音高情報
が検索キーとして利用され、音長情報を検索キーとした
検索は、比較的精度が低いことが指摘されていた。しか
し、音長情報は、本来有効な情報であり、音長を適切に
利用出来れば、精度が高い曲検索が出来るはずである。
【0003】検索者の入力の歌声から得られる旋律情報
は、データベース中の各曲の有する旋律情報と調・テン
ポが一致するとは限らない。そこで、入力の歌声とデー
タベースの各曲から得られる音高・音長に於いて、各音
符の有する音高・音長を、前音からの相対音高差・相対
音長比に変換してマッチングに利用する必要がある。
【0004】また、入力の歌声には、検索者の記憶違い
や歌唱能力による誤差が含まれるので、その誤差を許容
した粗いマッチングを行う必要がある。この際、入力の
歌声とデータベース中の各曲から得られる音高・音長に
於いて、各相対値を、粗い精度の相対値に変換するた
め、適当な閾値を利用する。
【0005】例えば、相対音高差に於いては、半音の幅
の音高差を閾値として、前音から「上がった(UP)、
下がった(DOWN)、同じ高さ(EQUAL)」とい
う3つの粗い精度の相対値のカテゴリを表す記号列U、
D、E等に変換する。この変換を用いると、「チューウ
リップの歌」の最初の「ドレミドレミ」という音高の系
列は、「XUUDUU」に変換出来る(最初の音には相
対値がないので、Xで表現する)。
【0006】また、相対音長比に対しても、適当な閾値
を利用し、例えば前者から「長くなった(LONGE
R)、短くなった(SHORTER)、同じ長さ(EQ
UAL)」という3つのカテゴリを表す記号列L、S、
E等に変換する。
【0007】従来、粗いマッチングに使用する閾値に
は、経験的に定めた値を使用していた。しかし、検索に
有効な粗い精度の相対値を得るための適切な閾値を、経
験的に定めることは難しかった。特に、音長に対する適
切な閾値を決定することは、音高と比較して困難であっ
た。このため、音長を有効に利用した検索が出来なかっ
た。
【0008】音長を有効に利用せずに、音高のみを利用
した曲検索では、正答率の高い検索を実現することが困
難であった。
【0009】
【課題を解決するための手段】この発明は、曲データベ
ース中の各曲中に出現するすべての音高・音長の情報分
布に基づいて、粗いマッチングに使用する閾値を設定す
ることで、適切な値を設定し、音高だけでなく、音長を
も有効に利用して曲検索を実施する歌声による曲検索法
である。
【0010】
【発明の作用】データベース中の各曲中に出現するすべ
ての音高・音長の情報分布に基づき、最適な閾値を決定
するので、音高・音長の両者を有効に利用した曲検索が
可能となり、音高のみと比較して正答率が極めて高い検
索が可能となる。
【0011】
【実施例】この出願の特許請求の範囲の請求項1記載の
発明に係る歌声による曲検索法の実施例を説明する。図
3に於いて、検索の前処理としてデータベース中の各曲
の音高・音長系列から相対音高差・音長比の系列を求め
(S101)、その相対音高差・相対音長比の値の度数
分布表を作成する(S102)。図1に於いて、相対音
高差は、半音の幅を100で表現した値で正規化してお
り、図2に於いて、相対音長比をパーセンテージで表現
している。
【0012】音高・音長に関する夫々の度数分布表の総
度数をSum1、Sum2とし、夫々の度数分布表の粗
い精度の相対値のカテゴリ数をCategory_Nu
m1、Category_Num2とする。このとき、
閾値によって分割される各カテゴリ内の度数の合計値の
期待値M1、M2を夫々M1=Sum1/Catego
ri_Num1、M2=Sum2/Category_
Num2で定める。図1、図2に於いては、夫々カテゴ
リ数を3で表す。
【0013】この様にして作成した度数分布表から音高
・音長夫々の閾値を決定し(S103)、データベース
中の各曲の相対音高差・相対音長比を夫々粗い相対値へ
変換する(S104)。
【0014】検索時の処理として、メロディを口ずさん
でマイクロホン入力し(S105)、A/D変換し(S
106)、次に該A/D変換信号から有声音を検出し
(S107)、該検出有声音から基本周波数を同定する
(S108)。
【0015】有声音の発音開始時刻を各音符の発音開始
時刻として区切り、次の音符の発音開始時刻の時間差を
その音符の持つ音長として定め、更に、各音符の音長と
して定められた区間に含まれる各フレームの基本周波数
のうち最大値を、その音符の音高として定める(S10
9)。
【0016】得られた音高・音長から前音からの相対音
高差・相対音長比を計算し(S110)、前処理で得ら
れた閾値を利用して夫々粗い相対値に変換し(S11
1)、次に得られた音高・音長の粗い相対値を夫々デー
タベース中の各曲の粗い相対値と照合し、入力キーとデ
ータベースの各曲との音高・音長の距離をデータベース
について夫々計算し(S112)、その和が最小となる
曲名を結果として表示する(S113)。
【0017】検索結果の表示後、再び歌声の入力が可能
となる。
【0018】
【発明の効果】(1)この発明に係る歌声による曲検索
法によれば、データベース中の各曲から得られた粗い精
度の相対音高差・相対音長比は、各カテゴリの情報が、
およそ等確率で出現される様に変換される。例えば、粗
い精度の相対音高差に於いて、カテゴリ数がU、E、D
の3つの場合は、データベース全体で、それら3つがほ
ぼ等確率で出現される様に変換される。そして、カテゴ
リ数が5つの場合は、データベース全体で、それら5つ
がほぼ等確率で出現される様に変換される。このため、
粗いマッチング(粗い精度の相対値を利用したDPマッ
チング)に於いて、データベース中の各曲が有する系列
の中から、入力系列の1音符ごとに、カテゴリ数分の1
の割合で、検索結果の正答の候補となり得る系列を絞込
んでいくことが可能となり、効率の良い絞込みが可能と
なる。
【0019】(2)この発明に係る歌声による曲検索法
によれば、データベース中の各曲に含まれる音高・音長
の分布に偏りがある場合でも、適当な閾値の決定が可能
となる。例えば、図1に於いて、相対音高差がより右側
に度数が集中する場合(前の音よりも高くなったという
音符が多かった場合)、閾値はより右側に移動し、各カ
テゴリの情報の出現確率が等しくなるように設定出来
る。
【0020】(3)この発明に係る歌声による曲検索法
によれば、閾値の決定法では、粗い精度の相対音高差・
相対音長比は、従来から利用されてきた3つのカテゴリ
にとどまらず、5つや7つ等、任意の粗さの精度数に分
割することが出来るため、より精度の高いマッチングを
実施する際も、適当な閾値の設定が可能となる。
【0021】(4)又、この発明に係る歌声による曲検
索法を利用すれば、対象とするデータベースに含まれる
曲が更新された場合でも、直ちに適当な閾値を決定する
ことが可能となる。
【0022】(5)更に、この発明に係る歌声による曲
検索法の音高・音長を利用した曲検索を実施することに
より、歌詞の分からない曲を検索する場合でも、音高・
音長の2つを利用して精度の高い検索が可能となる。
【図面の簡単な説明】
【図1】この発明に係る歌声による曲検索法に於いて、
曲データベース中の全ての曲について出現する音高の相
対音高差の分布表を作成し、粗さ精度を3つのカテゴリ
U、E、Dとして閾値を決定する分布表の略図である。
【図2】この発明に係る歌声による曲検索法に於いて、
曲データベース中の全ての曲について出現する音高の相
対音高差の分布表を作成し、粗さ精度を3つのカテゴリ
L、E、Sとして閾値を決定する分布表の略図である。
【図3】この発明に係る歌声による曲検索法の処理の流
れを示すフロー・チャートである。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G10L 3/00 561 G10L 3/00 561A 5/06 5/06 B 9/00 301 9/00 301A

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 音声による曲検索に於いて、粗いマッチ
    ングを実施する際に利用する閾値を、データベース中の
    各曲に含まれる音高・音長の情報分布を利用して決定
    し、該閾値を利用してデータベース中の所望の曲名を検
    索して出力する歌声による曲検索法。
JP10111273A 1998-03-19 1998-03-19 歌声による曲検索法 Pending JPH11272274A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP10111273A JPH11272274A (ja) 1998-03-19 1998-03-19 歌声による曲検索法
DE69908226T DE69908226T2 (de) 1998-03-19 1999-03-19 Vorrichtung und Verfahren zum Wiederauffinden von Melodien
EP99302171A EP0944033B1 (en) 1998-03-19 1999-03-19 Melody retrieval system and method
US09/272,211 US6121530A (en) 1998-03-19 1999-03-19 World Wide Web-based melody retrieval system with thresholds determined by using distribution of pitch and span of notes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10111273A JPH11272274A (ja) 1998-03-19 1998-03-19 歌声による曲検索法

Publications (1)

Publication Number Publication Date
JPH11272274A true JPH11272274A (ja) 1999-10-08

Family

ID=14557050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10111273A Pending JPH11272274A (ja) 1998-03-19 1998-03-19 歌声による曲検索法

Country Status (1)

Country Link
JP (1) JPH11272274A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020065668A (ko) * 2001-02-07 2002-08-14 엘지전자주식회사 음악 서비스 제공 시스템 및 이 시스템의 운영 방법
KR20040000797A (ko) * 2002-06-25 2004-01-07 엘지전자 주식회사 음악 데이터의 특징 정보 표현방법
JP2004534274A (ja) * 2001-03-23 2004-11-11 インスティチュート・フォー・インフォコム・リサーチ 内容ベースのマルチメディア情報検索で使用するためデジタル表示で音楽情報を表示する方法およびシステム
JP2008145777A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 楽音信号発生装置及びカラオケ装置
JP2008145505A (ja) * 2006-12-06 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> 信号箇所・変動パラメータ検出方法、信号箇所・変動パラメータ検出装置ならびにそのプログラムと記録媒体
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US10121165B1 (en) 2011-05-10 2018-11-06 Soundhound, Inc. System and method for targeting content based on identified audio and multimedia
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020065668A (ko) * 2001-02-07 2002-08-14 엘지전자주식회사 음악 서비스 제공 시스템 및 이 시스템의 운영 방법
JP2004534274A (ja) * 2001-03-23 2004-11-11 インスティチュート・フォー・インフォコム・リサーチ 内容ベースのマルチメディア情報検索で使用するためデジタル表示で音楽情報を表示する方法およびシステム
KR20040000797A (ko) * 2002-06-25 2004-01-07 엘지전자 주식회사 음악 데이터의 특징 정보 표현방법
JP2008145505A (ja) * 2006-12-06 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> 信号箇所・変動パラメータ検出方法、信号箇所・変動パラメータ検出装置ならびにそのプログラムと記録媒体
JP2008145777A (ja) * 2006-12-11 2008-06-26 Yamaha Corp 楽音信号発生装置及びカラオケ装置
US9563699B1 (en) 2010-07-29 2017-02-07 Soundhound, Inc. System and method for matching a query against a broadcast stream
US10055490B2 (en) 2010-07-29 2018-08-21 Soundhound, Inc. System and methods for continuous audio matching
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US10657174B2 (en) 2010-07-29 2020-05-19 Soundhound, Inc. Systems and methods for providing identification information in response to an audio segment
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US10832287B2 (en) 2011-05-10 2020-11-10 Soundhound, Inc. Promotional content targeting based on recognized audio
US10121165B1 (en) 2011-05-10 2018-11-06 Soundhound, Inc. System and method for targeting content based on identified audio and multimedia
US10996931B1 (en) 2012-07-23 2021-05-04 Soundhound, Inc. Integrated programming framework for speech and text understanding with block and statement structure
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US11776533B2 (en) 2012-07-23 2023-10-03 Soundhound, Inc. Building a natural language understanding application using a received electronic record containing programming code including an interpret-block, an interpret-statement, a pattern expression and an action statement
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US9601114B2 (en) 2014-02-01 2017-03-21 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
US10311858B1 (en) 2014-05-12 2019-06-04 Soundhound, Inc. Method and system for building an integrated user profile
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US11030993B2 (en) 2014-05-12 2021-06-08 Soundhound, Inc. Advertisement selection by linguistic classification

Similar Documents

Publication Publication Date Title
JP4344499B2 (ja) 音楽データベースの検索
US7788279B2 (en) System and method for storing and retrieving non-text-based information
Soulez et al. Improving polyphonic and poly-instrumental music to score alignment
US6747201B2 (en) Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method
US7488886B2 (en) Music information retrieval using a 3D search algorithm
US6121530A (en) World Wide Web-based melody retrieval system with thresholds determined by using distribution of pitch and span of notes
Hu et al. A comparison of melodic database retrieval techniques using sung queries
Dannenberg et al. Discovering musical structure in audio recordings
JPH11272274A (ja) 歌声による曲検索法
KR20090032972A (ko) 노래/허밍에 의한 질의 방법 및 장치
JP2000187671A (ja) ネットワ―クを利用した歌声による曲検索システム及び検索時に用いる歌声の入力端末装置
CN110867174A (zh) 自动混音装置
JP2000347659A (ja) 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2007193222A (ja) メロディ入力装置及び楽曲検索装置
Oudre et al. Chord recognition using measures of fit, chord templates and filtering methods
KR100702059B1 (ko) 고객 특성이 피드백 반영되는 질의 풀 기반의 유비쿼터스음악 정보 검색 시스템 및 방법
CN113689836B (zh) 一种将音频转换成音符并显示的方法及终端
JPH0561917A (ja) 旋律情報を利用した音楽データベース検索方式および旋律整合方式
Allali et al. Local transpositions in alignment of polyphonic musical sequences
JP3934556B2 (ja) 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置
Raju et al. Building a melody retrieval system
CN113140202A (zh) 信息处理方法、装置、电子设备及存储介质
Wongsaroj et al. A music similarity measure based on chord progression and song segmentation analysis
JP2004531758A5 (ja)
Ito et al. A query-by-humming music information retrieval from audio signals based on multiple F0 candidates