JPH09293083A - 楽曲検索装置および検索方法 - Google Patents

楽曲検索装置および検索方法

Info

Publication number
JPH09293083A
JPH09293083A JP8106984A JP10698496A JPH09293083A JP H09293083 A JPH09293083 A JP H09293083A JP 8106984 A JP8106984 A JP 8106984A JP 10698496 A JP10698496 A JP 10698496A JP H09293083 A JPH09293083 A JP H09293083A
Authority
JP
Japan
Prior art keywords
data
search
music
pitch
lyrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8106984A
Other languages
English (en)
Inventor
Kazuyo Kuroda
和代 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP8106984A priority Critical patent/JPH09293083A/ja
Publication of JPH09293083A publication Critical patent/JPH09293083A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】人間の音声や楽器演奏などによって音声入力さ
れた楽曲情報を基に目的とする楽曲データを検索する。 【解決手段】音程データ、リズムデータ、歌詞データを
含む曲データと、題名、作曲者名などの情報から成る楽
曲情報データとを楽曲毎に含む原楽曲データベースが原
楽曲データベース作成部204によって予め作成され
る。検索したい楽曲を人間の音声や楽器演奏などによっ
て音声入力すると、検索楽曲データ作成部205によ
り、そのリズム、音程、歌詞などが解析されて、それら
リズム、音程、歌詞データなどから構成される検索デー
タが生成される。そして、この検索データを基に原楽曲
データベースが楽曲検索部206により検索され、検索
データに類似した楽曲の題名、作曲者、作詞者、歌手
名、歌詞などの諸情報が検索結果としてユーザに提示さ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は楽曲検索装置およ
び検索方法に関し、特に音声入力された楽曲情報を基に
目的とする楽曲を検索できるように改良された楽曲検索
装置および検索方法に関する。
【0002】
【従来の技術】従来、楽曲を検索する場合には、楽曲の
題名、作曲者、歌詞などをテキスト入力して原楽曲テキ
ストデータベースを検索するという手法が用いられてい
た。楽曲で大切なものは音だが、それをベースに検索す
ることは困難なため、音は無視して検索を行っていた。
【0003】しかしながら、このような従来の検索処理
は、元のデータが音であるのに、検索するときには文字
で検索するという不自然な検索方法であり、ユーザにと
っては不便であるという問題があった。
【0004】
【発明が解決しようとする課題】上述のように、従来で
は、楽曲の題名、作曲者、歌詞などをテキスト入力して
原楽曲テキストデータベースを検索するという手法が用
いられており、人間の音声や楽器演奏などによって入力
した情報を基に楽曲を検索することはできなかった。
【0005】この発明はこのような点に鑑みてなされた
ものであり、人間の音声や楽器演奏などによって音声入
力された楽曲情報を基に目的とする楽曲を検索すること
ができる楽曲検索装置および検索方法を提供することを
目的とする。
【0006】また、この発明は、歌詞の載っていないク
ラッシック音楽でも歌詞の載っているポップス音楽で
も、ユーザが指定して区別することなく、それらを人間
の音声や楽器演奏などによって入力した情報を基に検索
することができる楽曲検索装置および検索方法を提供す
ることを目的とする。
【0007】
【課題を解決するための手段】この発明による楽曲検索
装置は、音程データ、リズムデータ、歌詞データを含む
曲データと、題名、作曲者名などの情報から成る楽曲情
報データとを楽曲毎に含む原楽曲データベースと、音声
入力された楽曲を解析して検索音程データ、検索リズム
データ、検索歌詞データの少なくとも1つを検索データ
として生成する手段と、この生成された検索データを用
いて前記原楽曲データベースを検索し、その検索結果を
表示する手段とを具備することを特徴とする。
【0008】この楽曲検索装置においては、音程デー
タ、リズムデータ、歌詞データを含む曲データと、題
名、作曲者名などの情報から成る楽曲情報データとを楽
曲毎に含む原楽曲データベースが予め作成されており、
検索したい楽曲を人間の音声や楽器演奏などによって音
声入力すると、そのリズム、音程、歌詞などが解析され
て、それらリズム、音程、歌詞データなどから構成され
る検索データが生成される。そして、この検索データを
基に原楽曲データベースが検索され、検索データに類似
した楽曲が検索され、ユーザにその題名、作曲者、作詞
者、歌手名、歌詞などの諸情報が検索結果として表示さ
れる。よって、人間の音声や楽器演奏などによって音声
入力された楽曲情報を基に目的とする楽曲を検索するこ
とが可能となる。
【0009】また、この発明による楽曲検索装置は、楽
曲データを入力する手段と、前記入力された楽曲データ
を解析し、楽譜を作成する手段と、前記入力された楽曲
データを音声認識する手段と、前記入力した楽曲データ
から得られた楽譜を元に、音程データ、リズムデータを
数字列で表現する手段と、前記音声認識で得られたテキ
ストデータを元に、歌詞データを文字列で表現する手段
と、前記音程データ、前記リズムデータ、前記歌詞デー
タを時間軸を合わせて格納した曲データと、題名、作曲
者名などから成る楽曲情報データとを含む原楽曲データ
ベースを作成する手段と、検索したい曲を音声入力する
手段と、入力した検索音声を解析して得られた楽譜を元
に、検索音程データ、検索リズムデータを数字列で表現
する手段と、音声認識により得られた文字種が一定小節
内で一定数以上であった場合は、得られたテキストデー
タを抽出して検索歌詞データを文字列で表現し、得られ
た文字種が一定小節内で一定数以下の文字種しか含まな
い場合は、検索歌詞データを空データとする検索歌詞デ
ータ作成手段と、検索音程データ、検索リズムデータ、
検索歌詞データを時間軸を合わせて検索データを作成す
る手段と、前記原楽曲データベースと前記検索データと
を参照して検索歌詞データの有無により異なる方法で小
節毎に類似確率を計算する手段と、その類似確率を参照
して検索結果楽曲を決定する手段と、検索結果を表示す
る手段とを具備することを特徴とする。
【0010】この楽曲検索装置においては、音声認識に
より得られた文字種が一定小節内で一定数以上であった
場合は、得られたテキストデータを抽出して検索歌詞デ
ータが文字列で表現され、また得られた文字種が一定小
節内で一定数以下の文字種しか含まない場合は、検索歌
詞データが空データとされる。そして、検索音程デー
タ、検索リズムデータ、検索歌詞データを時間軸を合わ
せて検索データが作成されて原楽曲データベースの検索
が実行される。よって、歌詞の載っていないクラッシッ
ク音楽でも歌詞の載っているポップス音楽でも、ユーザ
が指定して区別することなく、それらを人間の音声や楽
器演奏などによって入力した情報を基に検索することが
できる。
【0011】また、前記入力した楽曲データから、音程
データ、リズムデータ、歌詞データから成る曲データ
と、題名、作曲者名などから成る楽曲情報データに分割
して原楽曲データベースを作成する手段は、楽曲を解析
して得られた楽譜を元に、音程データは、基準音を0と
し、それよりも高い音は+符号で、低い音は−符号で、
半音を1の幅で表現することにより、数字列で表現し、
リズムデータは、基準長を1とし、音の長さに応じて数
字列で表現し、歌詞データは、音声認識により、得られ
たテキストデータを抽出して文字列で表現し、音程デー
タ、リズムデータ、歌詞データは時間軸を合わせて曲デ
ータに格納することを特徴とする。このように楽曲デー
タの音程データ、リズムデータを数字列で表現すること
により、データベース化を容易になると共に、データベ
ースの検索をも容易に行うことが可能となる。
【0012】また、前記検索したい楽曲を入力して検索
音程データ、検索リズムデータ、検索歌詞データを作成
する手段は、楽曲を解析して得られた楽譜を元に、音程
データは、基準音を0とし、それよりも高い音は+符号
で、低い音は−符号で、半音を1の幅で表現することに
より、数字列で表現し、リズムデータは、基準長を1と
し、音の長さに応じて数字列で表現し、歌詞データは、
音声認識により、得られた文字種が一定小節内で一定数
以上であった場合は、得られたテキストデータを抽出し
て文字列で表現し、得られた文字種が一定小節内で一定
数以下の文字種しか含まない場合は、検索歌詞データを
空データにし、音程データ、リズムデータ、歌詞データ
は時間軸を合わせて検索データに格納することを特徴と
する。これにより、入力した検索音声が、「タラララ
ラ、、、」というような歌詞に意味がない鼻歌であった
場合、その文字列を検索歌詞データとして抽出すること
が無いので、時間の無駄を省くことができ、検索効率を
高めることができる。
【0013】また、前記原楽曲データベースと検索デー
タとを参照して検索歌詞データの有無により異なる方法
で小節毎に類似確率を計算する手段は、検索歌詞データ
が空データではない場合は、1小節毎に、原楽曲データ
の音程データから検索音程データを減算した絶対値と、
原楽曲データのリズムデータから検索リズムデータを減
算した絶対値を加算し、一定値を1小節当たりの原楽曲
データの音符の数だけ掛け合わせたもので割ったものを
数字列類似確率とし、原楽曲データの歌詞データと検索
歌詞データが一致した文字の数を、1小節中の原楽曲デ
ータの歌詞データの文字数で割ったものを文字列類似確
率とし、数字列類似確率を2倍したものと、文字列類似
確率を加算して3で割ったものを、小節類似確率とす
る、類似確率計算手段と、検索歌詞データが空データの
場合は、1小節毎に、原楽曲データの音程データから検
索音程データを減算した絶対値と、原楽曲データのリズ
ムデータから検索リズムデータを減算した絶対値を加算
し、一定値を1小節当たりの原楽曲データの音符の数だ
け掛け合わせたもので割ったものを小節類似確率とする
類似確率計算手段を含むことを特徴とする。このように
類似確率を小節毎に計算することにより、検査音声デー
タが楽曲の一部だけでも、原楽曲データと類似確率を計
算することができ、検索することができる。また、検索
データに歌詞が無い場合は、歌詞データを参照しても無
駄であるので、その無駄を省き、時間を節約することが
できる。
【0014】また、前記類似確率から検索結果楽曲を決
定する手段は、一定確率以上類似した原楽曲データが無
い場合は、変更音程符号と変更音程幅を一定値変更し、
そこで得られる変更音程分を検索音程データに加算し、
それと原楽曲データの音程データとを参照する処理を、
類似した原楽曲データが検索されるか、変更音程幅が一
定値になるかまで繰り返す検索音程データ変更検索手段
を含むことを特徴とする。こりにより、ユーザが元の音
程よりも数音高く、もしくは低い音声を入力して検索し
ても、音程データを上げて、もしくは下げて検索するこ
とにより、元楽曲の音程に戻るので、検索可能となる。
【0015】
【発明の実施の形態】以下、図面を参照してこの発明の
実施形態を説明する。図1は、この発明の一実施形態に
係る楽曲検索装置を示したブロック図である。1はマイ
ク、キーボード及びマウスなどから成り、データを入力
したり、情報取得操作を行うための各種指示などを入力
する入力装置である。2は音の解析や、楽曲データベー
スの作成、更新などの装置全体の制御を行う制御装置で
ある。3は楽曲データベースなどを記憶しておくハード
ディスクなどからなる外部記憶装置である。4は入力さ
れたデータの表示や情報取得操作のためのメニュー画
面、及び検索結果を表示するカラーCRTなどからなる
表示装置である。5は水晶発振器などからなり、一定時
間ごとに割り込み処理を行い、現時刻をメモリ中の日時
バッファに格納する時計装置である。
【0016】なお、上記各装置は制御装置2と図示しな
いバスを介して接続されており、制御装置2の制御を受
け、相互にデータを送ることが可能となっている。制御
装置2は制御部とメモリ部からなっている。制御部は各
種制御や処理を実行するプログラムであり、メイン処理
部201、データ入力部202、楽曲解析部203、原
楽曲データベース作成部204、検索楽曲データ作成部
205、楽曲検索部206、検索結果表示部207など
からなっている。
【0017】メモリ部は検索データベースとなる原楽曲
データベース格納バッファ210、検索処理の際に必要
なデータを一旦格納する検索楽曲データ格納バッファ2
11、検索結果楽曲候補格納バッファ212、日時バッ
ファ213および制御部が動作する上で必要なデータを
一旦格納するワークエリア214などからなっている。
【0018】ここで、制御部のメイン処理部201は装
置全体の制御を司るもので、制御の流れの分岐、データ
入力部以降の各モジュールの呼出などとともに、外部記
憶装置3にテーブルを生成する処理を行う。検索部20
6は、外部記憶装置に格納されている検索用テキストデ
ータを順に参照し、キーワードを探し出し、得られたデ
ータ番号をデータ番号格納バッファ中に格納する。
【0019】次に本実施形態の動作について説明する。
まず、楽曲検索処理の原理を説明する。すなわち、本実
施形態では、音程データ、リズムデータ、歌詞データを
含む曲データと、題名、作曲者名などの情報から成る楽
曲情報データとを楽曲毎に含む原楽曲データベースが原
楽曲データベース作成部204によって予め作成され
る。検索したい楽曲を人間の音声や楽器演奏などによっ
て音声入力すると、検索楽曲データ作成部205によ
り、そのリズム、音程、歌詞などが解析されて、それら
リズム、音程、歌詞データなどから構成される検索デー
タが生成される。そして、この検索データを基に原楽曲
データベースが楽曲検索部206により検索され、検索
データに類似した楽曲の題名、作曲者、作詞者、歌手
名、歌詞などの諸情報が検索結果としてユーザに提示さ
れる。
【0020】また、歌詞の載っていないクラッシック音
楽でも歌詞の載っているポップス音楽でも、ユーザが指
定して区別することなく、それらを人間の音声や楽器演
奏などによって入力した情報を基に検索できるようにす
るために、音声認識により得られた文字種が一定小節内
で一定数以上であった場合は、得られたテキストデータ
を抽出して検索歌詞データが文字列で表現され、また得
られた文字種が一定小節内で一定数以下の文字種しか含
まない場合は、検索歌詞データが空データとされる。そ
して、検索音程データ、検索リズムデータ、検索歌詞デ
ータを時間軸を合わせて検索データが作成されて原楽曲
データベースの検索が実行される。
【0021】また、原楽曲データベースと検索データと
を参照して検索歌詞データの有無により異なる方法で小
節毎に類似確率を計算する場合には、検索歌詞データが
空データではない場合は、1小節毎に、原楽曲データの
音程データから検索音程データを減算した絶対値と、原
楽曲データのリズムデータから検索リズムデータを減算
した絶対値を加算し、一定値を1小節当たりの原楽曲デ
ータの音符の数だけ掛け合わせたもので割ったものを数
字列類似確率とし、原楽曲データの歌詞データと検索歌
詞データが一致した文字の数を、1小節中の原楽曲デー
タの歌詞データの文字数で割ったものを文字列類似確率
とし、数字列類似確率を2倍したものと、文字列類似確
率を加算して3で割ったものを、小節類似確率とする、
類似確率計算処理を利用し、検索歌詞データが空データ
の場合は、1小節毎に、原楽曲データの音程データから
検索音程データを減算した絶対値と、原楽曲データのリ
ズムデータから検索リズムデータを減算した絶対値を加
算し、一定値を1小節当たりの原楽曲データの音符の数
だけ掛け合わせたもので割ったものを小節類似確率とす
る類似確率計算処理を利用する。このように類似確率を
小節毎に計算することにより、検査音声データが楽曲の
一部だけでも、原楽曲データと類似確率を計算すること
ができ、検索することができる。また、検索データに歌
詞が無い場合は、歌詞データを参照しても無駄であるの
で、その無駄を省き、時間を節約することができる。
【0022】さらに、類似確率から検索結果楽曲を決定
する場合においては、一定確率以上類似した原楽曲デー
タが無い場合は、変更音程符号と変更音程幅を一定値変
更し、そこで得られる変更音程分を検索音程データに加
算し、それと原楽曲データの音程データとを参照する処
理を、類似した原楽曲データが検索されるか、変更音程
幅が一定値になるかまで繰り返す検索音程データ変更検
索処理を利用する。これにより、ユーザが元の音程より
も数音高く、もしくは低い音声を入力して検索しても、
音程データを上げて、もしくは下げて検索することによ
り、元楽曲の音程に戻るので、検索可能となる。
【0023】図2には、本実施形態の処理全体の流れが
示されている。 (1)まず、原楽曲データベースの作成処理が行われる
(ステップS101)。ここでは、図3に示すような原
楽曲データベースが原楽曲データベース作成部204に
よって作成される。原楽曲データベースは、多数の原楽
曲の特徴をデータベース化したものであり、各楽曲のデ
ータベースは、図3に示されているように、音程、リズ
ム、および歌詞を示す曲データと、楽曲の題名、歌手
名、作詞者、作曲者、および編曲者名を示す楽曲情報デ
ータとから構成される。
【0024】ステップS101の原楽曲データベース作
成処理は、図4のフローチャートで示す手順に従って、
次のように実行される。原楽曲データベースは、前述し
たよう、曲データベースと楽曲情報データベースから成
る。曲データベースは、データベースに入れたい楽曲を
本楽曲検索装置に入力して解析して(ステップS20
1、S202)、楽譜を作成し(ステップS202)、
その楽譜を基に音程データ、リズムデータ、歌詞データ
の組み合わせで作成する(ステップS204)。
【0025】音程データは、図3からも分かるように、
ド(C)を基準音として0で表し、音が高ければ+符号
で、低ければ−符号で示し、半音の幅を1で示す。例え
ば、半音高ければ+1、半音低ければ−1で、1音高い
レならば、+2である。こうして音を数字で表現する。
【0026】リズムデータは、図3にも示されているよ
うに、四分音符を基準長として1で表し、八分音符は
0.5(2分の1)で表す、というようにして数字で表
現する。
【0027】歌詞データは、音声認識により(図5のフ
ローチャート参照)、歌詞が載っている楽曲のみテキス
トデータを作成する。歌詞が載っていない楽曲は、歌詞
データは空欄とする。音声認識処理では、図5のフロー
チャートに示されているように、まず、音声入力が行わ
れ(ステップS301)、次いで入力音声に対する音声
波形の抽出が行われて(ステップS302)、その音声
波形と音声辞書との波形マッチング処理にて類似の高い
音声データが音声辞書から選ばれ(ステップS30
3)、それが音声認識結果として出力される(ステップ
S304)。
【0028】次に、音程、リズムと合わせて歌詞データ
が作成される。音程データ、リズムデータ、歌詞データ
は時間軸を合わせて曲データベースに格納される。次
に、楽曲情報データベースが作成される(ステップS2
05)。この楽曲情報データベースは、題名、作詞者
名、作曲者名、編曲者名、歌手名、歌詞から構成され
る。その中でその楽曲では存在しないものは空欄とす
る。例えば、クラッシック音楽の場合は、題名、作曲者
名のみである。この様にして、曲データベースと楽曲情
報データベースとを作成することにより、それらを含む
原楽曲データベースが作成される(ステップS20
6)。
【0029】(2)次に、図2のステップS102に
て、検索楽曲の入力が行われる。ここでは、検索したい
楽曲をユーザが本楽曲検索装置に、声か、楽器の演奏か
で入力する。検索楽曲データ作成部205は、その音を
解析し、楽譜を作成し、検索音程データ、検索リズムデ
ータ、検索歌詞データを作成する(ステップS10
3)。検索音程データは、ド(C)を基準音として0で
表し、音が高ければ+符号で、低ければ−符号で示し、
半音の幅を1で示す。例えば、半音高ければ+1、半音
低ければ−1で表す。リズムは、四分音符を基準長とし
て1で表し、八分音符は0.5(2分の1)で表す、と
いうようにして数字で表現する。検索歌詞データは、音
声認識により、5秒当たり、3文字種までしか文字が抽
出できないときは、それは例えば、「タラララ、、、」
というような鼻歌で、歌詞ではないとみなし、空欄にす
る。音程データ、リズムデータ、歌詞データは時間軸を
合わせて格納する。 (3)検索ボタンを選択すると、楽曲検索部206によ
る楽曲検索が開始される(ステップS105)。この楽
曲検索処理は、図6のフローチャートに従って、以下の
ように実行される。
【0030】まず、原楽曲データベースと検索データと
を参照して類似の高い原楽曲データを検索結果候補とし
て求める処理が行われる(ステップS401)。このデ
ータ参照処理の詳細を、図7に示す。
【0031】図7のフローチャートでは、原楽曲データ
ベースの曲番号1のデータから順に参照される。まず、
検索歌詞データが空データでない場合について述べる。
未参照の原楽曲データベースが残っており、且つ検索歌
詞データが空データでない場合には(ステップS50
1,S502)、原楽曲データベースの音程データと検
索音程データ、及び、原楽曲データベースのリズムデー
タと検索リズムデータ、更に原楽曲データベースの歌詞
データと検索歌詞データとが、それぞれ小節毎に参照さ
れ、比較される(ステップS504)。その際、音程デ
ータ、リズムデータは、数字列であるので、原楽曲デー
タから、検索データを減算し、絶対値をとる。音程デー
タとリズムデータそれぞれの減算結果の絶対値を加算
し、それを、11を1小節当たりの原楽曲データの音符
の数だけ掛け合わせたもので割り、数字列類似確率とす
る。歌詞データは、原楽曲データの歌詞データと検索歌
詞データが一致した文字の数を、1小節中の原楽曲デー
タの歌詞データの文字数で割り、文字列類似確率とす
る。数字列類似確率を2倍したものと、文字列類似確率
を足して3で割ったものを、小節類似確率とする。
【0032】検索歌詞データが空データの場合は、原楽
曲データベースの音程データと、検索音程データ、及
び、原楽曲データベースのリズムデータと検索リズムデ
ータとが、小節毎に参照され、比較される(ステップS
503)。音程データ、リズムデータは、数字列である
ので、原楽曲データから、検索データを減算し、絶対値
をとる。音程データ、リズムデータそれぞれの減算結果
の絶対値を加算し、それを、11を1小節当たりの原楽
曲データの音符の数だけ掛け合わせたもので割り、小節
類似確率とする。
【0033】70%以上の小節類似確率を持つ小節が3
小節以上ある場合は、その楽曲を検索結果楽曲候補に決
定し、検索結果楽曲候補格納バッファに曲番号を格納す
る(ステップS505、S506)。そして、原楽曲デ
ータベースの曲番号を1加算して、同様の処理を、全て
の原楽曲データベースを参照するまで繰り返す。
【0034】次に、図6のステップS402にて、検索
結果候補の有無が調べられる。前述の図7の処理を最後
のデータまで実行しても、検索結果楽曲候補が得られな
かった場合は、ステップS403にて元の検索音程デー
タを変更して(図8のフローチャート参照)参照し、上
記と同様にして、小節類似確率を求める。これを、70
%以上の小節類似確率を持つ小節を3小節以上もつ原楽
曲データが検索されるか、変更音程幅が一定値になるか
まで繰り返す。
【0035】ここで、図8のフローチャート参照して、
元の検索音程データの変更方法について説明する。ま
ず、変更音程符号を+にし、変更音程幅を1にして元の
検索音程データを変更音程分(+1)加算して(ステッ
プS601,S607,S608)、原楽曲データベー
スの音程データと参照する。それでも70%以上の小節
類似確率を持つ小節を3小節以上もつ原楽曲データが検
索されない場合は、変更音程符号を−にし変更音程幅は
そのままで、元の音程データを変更音程分(−1)加算
して(ステップSS601,S602,S603)参照
する。次は、変更音程符号を+にし、変更音程幅を1加
算した2にし、元の音程データを全て変更音程分(+
2)加算して参照し(ステップS605,S606)、
次は変更音程符号を−にして変更音程分(−2)加算し
て(ステップS603)参照し、というように、変更音
程分を+1,−1,+2,−2,+3,−3,+4,−
4,+5,−5,+6,−6まで変更して参照する。 (4)図6のステップS404にて、検索結果楽曲候補
が複数あることが検出された場合は、70%以上の小節
類似確率をもつ小節の小節類似確率を加算した加算小節
類似確率が最も高いものが検索結果楽曲として確定され
る(ステップS405,406)。また、候補が1曲だ
けの場合は、その曲が検索結果楽曲として確定される
(ステップS407)。そして、図2のステップS10
5にて、ユーザに題名などの楽曲情報データが画面表示
などにより提供される。候補が無い場合は、検索結果な
しと表示される。
【0036】以上のように、この実施形態においては、
音程データ、リズムデータ、歌詞データを含む曲データ
と、題名、作曲者名などの情報から成る楽曲情報データ
とを楽曲毎に含む原楽曲データベースが予め作成され、
検索したい楽曲を人間の音声や楽器演奏などによって音
声入力すると、そのリズム、音程、歌詞などが解析され
て、それらリズム、音程、歌詞データなどから構成され
る検索データが生成される。そして、この検索データを
基に原楽曲データベースが検索され、検索データに類似
した楽曲が検索されて、ユーザにその題名、作曲者、作
詞者、歌手名、歌詞などの諸情報が検索結果として表示
される。よって、人間の音声や楽器演奏などによって音
声入力された楽曲情報を基に目的とする楽曲を検索する
ことが可能となる。
【0037】なお、本実施形態では、70%以上の小節
類似確率を持つ小節を3小節以上持つ楽曲を検索結果楽
曲候補としたが、その具体的な数値は変更してもよい
し、小節単位ではなく、時間単位で、一定確率以上類似
した時間が一定時間以上あった楽曲を、検索結果楽曲候
補としてもよい。
【0038】
【発明の効果】以上のように、この発明によれば、人間
の音声や楽器演奏などによって音声入力された楽曲情報
を基に目的とする楽曲を検索することができる。また、
楽曲データの音程データ、リズムデータを数字列で表現
することにより、データベース化を容易にするととも
に、データベースの検索をも容易にすることができる。
また、入力した検索音声が歌詞に意味がない鼻歌であっ
た場合、その文字列を検索歌詞データとして抽出しても
時間の無駄となるが、その無駄を省くことができる。ま
た、類似確率を小節毎に計算することにより、検査音声
データが楽曲の一部だけでも、原楽曲データと類似確率
を計算することができ、検索することができる。また、
検索データに歌詞が無い場合は、歌詞データを参照して
も無駄であるので、その無駄を省き、時間を節約するこ
とができる。さらに、ユーザが元の音程よりも数音高
く、もしくは低い音声を入力して検索しても、音程デー
タを上げて、もしくは下げて検索することにより、元楽
曲の音程に戻るので、検索可能となる。
【図面の簡単な説明】
【図1】この発明の一実施形態に係る楽曲検索装置の構
成を示すブロック図。
【図2】同実施形態の楽曲検索装置によって実行される
検索処理全体の流れを示すフローチャート。
【図3】同実施形態の楽曲検索装置で使用される原楽曲
データベースのデータ格納形式の一例を示す図。
【図4】同実施形態の楽曲検索装置で実行される原楽曲
データベース作成処理の手順を示すフローチャート。
【図5】同実施形態の楽曲検索装置で実行される音声認
識処理の手順を示すフローチャート。
【図6】同実施形態の楽曲検索装置で実行される楽曲検
索処理の手順を示すフローチャート。
【図7】同実施形態の楽曲検索装置で実行されるデータ
参照処理の手順を示すフローチャート。
【図8】同実施形態の楽曲検索装置で実行される検索音
程データ変更処理の手順を示すフローチャート。
【符号の説明】
1…入力装置、2…制御装置、3…外部記憶装置、4…
表示装置、5…時計装置、201…メイン処理部、20
2…データ入力部、203…楽曲解析部、204…原楽
曲データベース作成部、205…検索楽曲データ作成
部、206…楽曲検索部、207…検索結果表示部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/40 370E

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 音程データ、リズムデータ、歌詞データ
    を含む曲データと、題名、作曲者名などの情報から成る
    楽曲情報データとを楽曲毎に含む原楽曲データベース
    と、 音声入力された楽曲を解析して検索音程データ、検索リ
    ズムデータ、検索歌詞データの少なくとも1つを検索デ
    ータとして生成する手段と、 この生成された検索データを用いて前記原楽曲データベ
    ースを検索し、その検索結果を表示する手段とを具備す
    ることを特徴とする楽曲検索装置。
  2. 【請求項2】 楽曲データを入力する手段と、 前記入力された楽曲データを解析し、楽譜を作成する手
    段と、 前記入力された楽曲データを音声認識する手段と、 前記入力した楽曲データから得られた楽譜を元に、音程
    データ、リズムデータを数字列で表現する手段と、 前記音声認識で得られたテキストデータを元に、歌詞デ
    ータを文字列で表現する手段と、 前記音程データ、前記リズムデータ、前記歌詞データを
    時間軸を合わせて格納した曲データと、題名、作曲者名
    などから成る楽曲情報データとを含む原楽曲データベー
    スを作成する手段と、 検索したい曲を音声入力する手段と、 入力した検索音声を解析して得られた楽譜を元に、検索
    音程データ、検索リズムデータを数字列で表現する手段
    と、 音声認識により得られた文字種が一定小節内で一定数以
    上であった場合は、得られたテキストデータを抽出して
    検索歌詞データを文字列で表現し、得られた文字種が一
    定小節内で一定数以下の文字種しか含まない場合は、検
    索歌詞データを空データとする検索歌詞データ作成手段
    と、 検索音程データ、検索リズムデータ、検索歌詞データを
    時間軸を合わせて検索データを作成する手段と、 前記原楽曲データベースと前記検索データとを参照して
    検索歌詞データの有無により異なる方法で小節毎に類似
    確率を計算する手段と、 その類似確率を参照して検索結果楽曲を決定する手段
    と、 検索結果を表示する手段とを具備することを特徴とする
    楽曲検索装置。
  3. 【請求項3】 前記入力した楽曲データから、音程デー
    タ、リズムデータ、歌詞データから成る曲データと、題
    名、作曲者名などから成る楽曲情報データに分割して原
    楽曲データベースを作成する手段は、 楽曲を解析して得られた楽譜を元に、音程データは、基
    準音を0とし、それよりも高い音は+符号で、低い音は
    −符号で、半音を1の幅で表現することにより、数字列
    で表現し、リズムデータは、基準長を1とし、音の長さ
    に応じて数字列で表現し、歌詞データは、音声認識によ
    り、得られたテキストデータを抽出して文字列で表現
    し、音程データ、リズムデータ、歌詞データは時間軸を
    合わせて曲データに格納することを特徴とする請求項2
    記載の楽曲検索装置。
  4. 【請求項4】 前記検索したい楽曲を入力して検索音程
    データ、検索リズムデータ、検索歌詞データを作成する
    手段は、 楽曲を解析して得られた楽譜を元に、音程データは、基
    準音を0とし、それよりも高い音は+符号で、低い音は
    −符号で、半音を1の幅で表現することにより、数字列
    で表現し、リズムデータは、基準長を1とし、音の長さ
    に応じて数字列で表現し、歌詞データは、音声認識によ
    り、得られた文字種が一定小節内で一定数以上であった
    場合は、得られたテキストデータを抽出して文字列で表
    現し、得られた文字種が一定小節内で一定数以下の文字
    種しか含まない場合は、検索歌詞データを空データに
    し、音程データ、リズムデータ、歌詞データは時間軸を
    合わせて検索データに格納することを特徴とする請求項
    2記載の楽曲検索装置。
  5. 【請求項5】 前記原楽曲データベースと検索データと
    を参照して検索歌詞データの有無により異なる方法で小
    節毎に類似確率を計算する手段は、 検索歌詞データが空データではない場合は、1小節毎
    に、原楽曲データの音程データから検索音程データを減
    算した絶対値と、原楽曲データのリズムデータから検索
    リズムデータを減算した絶対値を加算し、一定値を1小
    節当たりの原楽曲データの音符の数だけ掛け合わせたも
    ので割ったものを数字列類似確率とし、原楽曲データの
    歌詞データと検索歌詞データが一致した文字の数を、1
    小節中の原楽曲データの歌詞データの文字数で割ったも
    のを文字列類似確率とし、数字列類似確率を2倍したも
    のと、文字列類似確率を加算して3で割ったものを、小
    節類似確率とする、類似確率計算手段と、検索歌詞デー
    タが空データの場合は、1小節毎に、原楽曲データの音
    程データから検索音程データを減算した絶対値と、原楽
    曲データのリズムデータから検索リズムデータを減算し
    た絶対値を加算し、一定値を1小節当たりの原楽曲デー
    タの音符の数だけ掛け合わせたもので割ったものを小節
    類似確率とする類似確率計算手段を含むことを特徴とす
    る請求項2記載の楽曲検索装置。
  6. 【請求項6】 前記類似確率から検索結果楽曲を決定す
    る手段は、 一定確率以上類似した原楽曲データが無い場合は、変更
    音程符号と変更音程幅を一定値変更し、そこで得られる
    変更音程分を検索音程データに加算し、それと原楽曲デ
    ータの音程データとを参照する処理を、類似した原楽曲
    データが検索されるか、変更音程幅が一定値になるかま
    で繰り返す検索音程データ変更検索手段を含むことを特
    徴とする請求項2記載の楽曲検索装置。
  7. 【請求項7】 音程データ、リズムデータ、歌詞データ
    を含む曲データと、題名、作曲者名などの情報から成る
    楽曲情報データとを楽曲毎に含む原楽曲データベースを
    作成し、 音声入力された楽曲を解析して検索音程データ、検索リ
    ズムデータ、検索歌詞データの少なくとも1つを検索デ
    ータとして生成し、 この生成された検索データを用いて前記原楽曲データベ
    ースを検索し、その検索結果を表示することを特徴とす
    る検索方法。
JP8106984A 1996-04-26 1996-04-26 楽曲検索装置および検索方法 Pending JPH09293083A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8106984A JPH09293083A (ja) 1996-04-26 1996-04-26 楽曲検索装置および検索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8106984A JPH09293083A (ja) 1996-04-26 1996-04-26 楽曲検索装置および検索方法

Publications (1)

Publication Number Publication Date
JPH09293083A true JPH09293083A (ja) 1997-11-11

Family

ID=14447536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8106984A Pending JPH09293083A (ja) 1996-04-26 1996-04-26 楽曲検索装置および検索方法

Country Status (1)

Country Link
JP (1) JPH09293083A (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998049630A1 (en) * 1997-04-28 1998-11-05 Koninklijke Philips Electronics N.V. Bibliographic music data base with normalized musical themes
JPH10307580A (ja) * 1997-05-06 1998-11-17 Nippon Telegr & Teleph Corp <Ntt> 音楽検索方法および装置
JPH1195793A (ja) * 1997-09-17 1999-04-09 Toshiba Corp 音声入力解釈装置及び音声入力解釈方法
JPH11184883A (ja) * 1997-12-24 1999-07-09 Canon Inc 楽曲検索システム、楽曲検索方法及び記録媒体
KR20000072192A (ko) * 2000-08-16 2000-12-05 박성용 음악방송 자동통계 처리 시스템 및 그 서비스 방법
EP0955592A3 (en) * 1998-05-07 2001-01-31 Canon Kabushiki Kaisha A system and method for querying a music database
JP2001125583A (ja) * 1999-10-27 2001-05-11 Matsushita Electric Ind Co Ltd 電子音楽データ検索試聴装置
JP2001155031A (ja) * 1999-11-30 2001-06-08 Alpine Electronics Inc 曲検索システムの入力データ処理方法及びデータ入力装置
KR20020001097A (ko) * 2000-06-24 2002-01-09 정용활 인터넷을 통하여 음악 표절 검색 서비스를 제공하는컴퓨터 시스템 및 그 방법
DE10123366C1 (de) * 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen
AU751683B2 (en) * 1998-05-07 2002-08-22 Canon Kabushiki Kaisha A system and method for querying a music database
JP2002278561A (ja) * 2001-03-14 2002-09-27 Ricoh Co Ltd データ印刷システム及びデータ印刷方法
US6504089B1 (en) 1997-12-24 2003-01-07 Canon Kabushiki Kaisha System for and method of searching music data, and recording medium for use therewith
JP2005166035A (ja) * 2003-11-14 2005-06-23 Pioneer Electronic Corp 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
US7012183B2 (en) 2001-05-14 2006-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for analyzing an audio signal with regard to rhythm information of the audio signal by using an autocorrelation function
JP2007086572A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 画像表示装置及びプログラム
JP2007140308A (ja) * 2005-11-21 2007-06-07 Yamaha Corp 音色及び/又は効果設定装置並びにプログラム
JP2007519092A (ja) * 2003-12-08 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メロディデータベースの検索
JP2007213060A (ja) * 2006-02-10 2007-08-23 Harman Becker Automotive Systems Gmbh オーディオファイルをスピーチ駆動の選択するシステムおよび方法
US7373209B2 (en) 2001-03-22 2008-05-13 Matsushita Electric Industrial Co., Ltd. Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same
JP2008250020A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 楽音発生装置及びプログラム
JP2009128772A (ja) * 2007-11-27 2009-06-11 Brother Ind Ltd 楽曲検索装置及びプログラム
US8015123B2 (en) 2000-12-12 2011-09-06 Landmark Digital Services, Llc Method and system for interacting with a user in an experiential environment
US9715626B2 (en) 1999-09-21 2017-07-25 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US10592204B2 (en) 2017-03-24 2020-03-17 Yamaha Corporation User interface device and method, and sound-enabled operation system
CN111566724A (zh) * 2017-12-18 2020-08-21 字节跳动有限公司 模块化自动音乐制作服务器

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963957A (en) * 1997-04-28 1999-10-05 Philips Electronics North America Corporation Bibliographic music data base with normalized musical themes
WO1998049630A1 (en) * 1997-04-28 1998-11-05 Koninklijke Philips Electronics N.V. Bibliographic music data base with normalized musical themes
JPH10307580A (ja) * 1997-05-06 1998-11-17 Nippon Telegr & Teleph Corp <Ntt> 音楽検索方法および装置
JPH1195793A (ja) * 1997-09-17 1999-04-09 Toshiba Corp 音声入力解釈装置及び音声入力解釈方法
US6504089B1 (en) 1997-12-24 2003-01-07 Canon Kabushiki Kaisha System for and method of searching music data, and recording medium for use therewith
JPH11184883A (ja) * 1997-12-24 1999-07-09 Canon Inc 楽曲検索システム、楽曲検索方法及び記録媒体
EP0955592A3 (en) * 1998-05-07 2001-01-31 Canon Kabushiki Kaisha A system and method for querying a music database
AU751683B2 (en) * 1998-05-07 2002-08-22 Canon Kabushiki Kaisha A system and method for querying a music database
US9715626B2 (en) 1999-09-21 2017-07-25 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
JP2001125583A (ja) * 1999-10-27 2001-05-11 Matsushita Electric Ind Co Ltd 電子音楽データ検索試聴装置
JP2001155031A (ja) * 1999-11-30 2001-06-08 Alpine Electronics Inc 曲検索システムの入力データ処理方法及びデータ入力装置
KR20020001097A (ko) * 2000-06-24 2002-01-09 정용활 인터넷을 통하여 음악 표절 검색 서비스를 제공하는컴퓨터 시스템 및 그 방법
KR20000072192A (ko) * 2000-08-16 2000-12-05 박성용 음악방송 자동통계 처리 시스템 및 그 서비스 방법
US8015123B2 (en) 2000-12-12 2011-09-06 Landmark Digital Services, Llc Method and system for interacting with a user in an experiential environment
US9721287B2 (en) 2000-12-12 2017-08-01 Shazam Investments Limited Method and system for interacting with a user in an experimental environment
US20140214532A1 (en) * 2000-12-12 2014-07-31 Shazam Investments Limited Method and System for Interacting with a User in an Experimental Environment
US8688600B2 (en) 2000-12-12 2014-04-01 Shazam Investments Limited Method and system for interacting with a user in an experiential environment
JP2002278561A (ja) * 2001-03-14 2002-09-27 Ricoh Co Ltd データ印刷システム及びデータ印刷方法
US7373209B2 (en) 2001-03-22 2008-05-13 Matsushita Electric Industrial Co., Ltd. Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same
US7012183B2 (en) 2001-05-14 2006-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for analyzing an audio signal with regard to rhythm information of the audio signal by using an autocorrelation function
DE10123366C1 (de) * 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen
JP2005166035A (ja) * 2003-11-14 2005-06-23 Pioneer Electronic Corp 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
JP2007519092A (ja) * 2003-12-08 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メロディデータベースの検索
JP4534926B2 (ja) * 2005-09-26 2010-09-01 ヤマハ株式会社 画像表示装置及びプログラム
JP2007086572A (ja) * 2005-09-26 2007-04-05 Yamaha Corp 画像表示装置及びプログラム
JP2007140308A (ja) * 2005-11-21 2007-06-07 Yamaha Corp 音色及び/又は効果設定装置並びにプログラム
JP2007213060A (ja) * 2006-02-10 2007-08-23 Harman Becker Automotive Systems Gmbh オーディオファイルをスピーチ駆動の選択するシステムおよび方法
JP2008250020A (ja) * 2007-03-30 2008-10-16 Yamaha Corp 楽音発生装置及びプログラム
JP2009128772A (ja) * 2007-11-27 2009-06-11 Brother Ind Ltd 楽曲検索装置及びプログラム
US10592204B2 (en) 2017-03-24 2020-03-17 Yamaha Corporation User interface device and method, and sound-enabled operation system
CN111566724A (zh) * 2017-12-18 2020-08-21 字节跳动有限公司 模块化自动音乐制作服务器
CN111566724B (zh) * 2017-12-18 2023-06-27 字节跳动有限公司 模块化自动音乐制作服务器

Similar Documents

Publication Publication Date Title
JPH09293083A (ja) 楽曲検索装置および検索方法
US7488886B2 (en) Music information retrieval using a 3D search algorithm
US6225546B1 (en) Method and apparatus for music summarization and creation of audio summaries
US9053183B2 (en) System and method for storing and retrieving non-text-based information
US20080183320A1 (en) Music search system and music search apparatus
JP2000081892A (ja) 効果音付加装置および効果音付加方法
JP2010521021A (ja) 楽曲ベースの検索エンジン
JP2000356996A (ja) 音楽検索システム
JPWO2017056982A1 (ja) 楽曲検索方法および楽曲検索装置
JPH1115468A (ja) 楽曲検索方法、楽曲検索装置、楽曲検索システム、及び記録媒体
Six et al. Tarsos, a modular platform for precise pitch analysis of Western and non-Western music
JPH09138691A (ja) 楽曲検索装置
JP2000187671A (ja) ネットワ―クを利用した歌声による曲検索システム及び検索時に用いる歌声の入力端末装置
KR20030067377A (ko) 멜로디 기반 음악 검색방법과 장치
Kroher et al. Computational ethnomusicology: a study of flamenco and Arab-Andalusian vocal music
JP3963112B2 (ja) 楽曲検索装置および楽曲検索方法
JP2002055695A (ja) 音楽検索システム
KR100702059B1 (ko) 고객 특성이 피드백 반영되는 질의 풀 기반의 유비쿼터스음악 정보 검색 시스템 및 방법
JP5093806B2 (ja) 類似音楽検索システム
WO2007119221A2 (en) Method and apparatus for extracting musical score from a musical signal
JP2006178104A (ja) 楽曲生成方法,その装置,そのシステム
JP2001337675A (ja) 演奏支援装置および演奏支援方法
JP2003131674A (ja) 楽曲検索システム
CN101488128A (zh) 基于旋律印记的音乐搜索方法和系统
JP2009186944A5 (ja)