JP6594144B2 - 楽曲検索システム - Google Patents

Description

本発明は楽曲検索システムに関する。

カラオケルーム等に設置されているカラオケ装置にはリモコン装置が付属している。カラオケ装置の利用者は、リモコン装置に備えられたタッチパネル式のＧＵＩを使用し、自らが歌いたい楽曲の曲名、歌手名、楽曲ジャンル、或いは歌詞の一部に含まれるキーワードを入力することにより、所望の楽曲を検索することができる。

また、歌唱者が歌いたい楽曲のメロディの一部をリモコン装置に備えられたマイク等に向かって歌唱することで、マイク入力された歌唱音声と類似するメロディを含んだ楽曲を検索し、候補となる楽曲をリスト表示する技術も多く提案されている。

例えば、特許文献１には、入力された音声データに基づいて抽出した音高データ及び音長データと、記憶されている多数の楽曲のメロディに関する音高データ及び音長データとを比較することにより、入力された音声に対応する楽曲候補を検索して表示する技術が開示されている。

また、特許文献２には、入力された旋律データを基に、収録曲検索キーのアルゴリズムと同じアルゴリズムで音程の変化を簡略化し、それぞれを比較照合することにより、所望の楽曲を検索する技術が開示されている。

特開平９−１３８６９１号公報 特開２０００−３５６９９６号公報

しかしながら、特許文献１や特許文献２のような従来技術では、歌唱レベルが低い（歌唱が上手くない）歌唱者のことが全く考慮されていない。

入力されるメロディは、その歌唱者の歌唱レベルに基づくものとなる。つまり、歌唱者自身は楽曲のメロディを歌唱しているつもりであっても、歌唱レベルの低い歌唱者が発声するメロディは、自身が所望する楽曲のメロディとは異なったメロディになっている場合がある。

このような場合には、仮に特許文献１や特許文献２の技術を用いたとしても、実際に発声したメロディと類似する楽曲が特定されることから、歌唱者の所望する楽曲を検索することができないという問題がある。

一方、同じメロディを歌唱する場合であっても、アカペラ（無演奏による歌唱）と一般的なカラオケ歌唱（演奏に合わせた歌唱）とで発声されるメロディが異なる場合がありえる。すなわち、演奏が無い場合には楽曲のメロディと一致した歌唱ができるが、演奏がある場合にはメロディがずれてしまうという歌唱者も存在する。このような歌唱者は、一般的な歌唱レベルは低いといえるが、音声データに基づく楽曲検索においては入力された音声データを用いることが望ましい。

本発明の目的は、歌唱者の特性に関わらず、音声入力に基づいて所望の楽曲を検索可能とするシステムを提供することにある。

上記課題を解決するために、請求項１に係る楽曲検索システムは、特定部、決定部、記憶部、判断部、置換部、検索部、及び削除部を有する。特定部は、ある歌唱者がある楽曲を歌唱した際に得られるメロディデータと当該楽曲のリファレンスデータとを比較し、少なくとも音程にズレがあるパターンが前記メロディデータ中にあるかどうかを特定する。決定部は、特定された前記音程にズレがあるパターンが所定数以上ある場合、当該パターンを前記ある歌唱者が苦手とする苦手パターンとして決定する。記憶部は、前記苦手パターンを、当該苦手パターンに対応する前記リファレンスデータのパターンと関連付けて記憶する。判断部は、前記ある歌唱者が所望の楽曲を検索するために音声入力部を介して入力した音声データ中に、前記苦手パターンが含まれるか否かを判断する。置換部は、前記音声データ中に前記苦手パターンと同一のパターンが含まれる場合、前記音声データのうち苦手パターンに対応する部分を、当該苦手パターンに対応する前記リファレンスデータのパターンに置換する。検索部は、前記音声データに基づく楽曲、及び前記苦手パターンに対応する部分が置換された置換済み音声データに基づく楽曲の検索を行う。削除部は、前記ある歌唱者が、検索結果の中から前記音声データに基づく楽曲を選択した場合、前記音声データ中に含まれていると判断された前記苦手パターンを前記記憶部から削除する。
また、上記課題を解決するために、請求項２に係る楽曲検索システムは、請求項１に係る楽曲検索システムであって、削除された前記苦手パターンと同じパターンが前記決定部により改めて苦手パターンとして決定された場合に、前記記憶部に当該苦手パターンを記憶させないよう制御する記憶制御部を有する。

本発明によれば、歌唱者の特性に関わらず、音声入力に基づいて所望の楽曲を検索可能とすることができる。

第１実施形態に係る楽曲検索システムの概略を示す図である。 第１実施形態に係るカラオケ装置の構成例を示す図である。 第１実施形態に係るカラオケ本体の構成例を示す図である。 第１実施形態に係るリモコン装置の構成例を示す図である。 第１実施形態に係るサーバの構成例を示す図である。 第１実施形態に係る楽曲検索システムの処理を示すフローチャートである。 第１実施形態に係る楽曲検索システムの処理を示すフローチャートである。 第２実施形態に係るサーバのソフトウェア構成例を示す図である。

＜第１実施形態＞
図１〜図６Ｂを参照して、第１実施形態に係る楽曲検索システム１００について説明する。

＝＝楽曲検索システム＝＝
図１は、本実施形態に係る楽曲検索システム１００を示す。楽曲検索システム１００は、カラオケ装置１、リモコン装置２及びサーバ３を含んで構成される。カラオケ装置１は、カラオケ店舗の各カラオケルーム等に設置される。カラオケ装置１及びサーバ３は、ネットワークＮを介して通信可能となっている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線である。カラオケ装置１及びリモコン装置２は、有線又は無線により通信可能となっている。なお、図１には複数のカラオケ装置１及びリモコン装置２を示しているが、楽曲検索システム１００としてはカラオケ装置１及びリモコン装置２は少なくとも一つずつあればよい。

＝＝カラオケ装置＝＝
カラオケ装置１は、カラオケ演奏及び歌唱者が歌唱を行うための装置である。図２に示すように、カラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、及びマイク４０を備える。

スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は歌唱者の音声（歌唱音声）を音声信号に変換してカラオケ本体１０に入力するための構成である。

カラオケ本体１０は、選択された楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図３に示すように、カラオケ本体１０は、制御部１１、記憶部１２、音響処理部１３、表示処理部１４、操作部１５、及び通信部１６を備える。

制御部１１は、ＣＰＵおよびメモリを備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

記憶部１２は、各種のデータを記憶する大容量の記憶装置である。記憶部１２は、カラオケ装置１によりカラオケ演奏を行うための楽曲データ、カラオケ楽曲に対応する歌詞テロップを表示装置３０等に表示させるための歌詞データ、及びカラオケ演奏時に表示装置３０に表示される背景画像等の映像データを記憶する。カラオケ装置１が楽曲データに基づいて楽曲を演奏することにより、歌唱者はカラオケの歌唱が可能となる。楽曲データは、楽曲毎に所定のＩＤ（楽曲ＩＤ）が付与されている。楽曲データは、ＭＩＤＩデータ、リファレンスデータ、歌詞データ等が含まれる。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準となるデータであり、各音符の音高及び音長を表す時系列の情報によって構成されている。

音響処理部１３は、制御部１１の制御に基づき、カラオケ楽曲に対する演奏の制御およびマイク４０を通じて入力された音声信号の処理を行う。表示処理部１４は、制御部１１の制御に基づき、表示装置３０等における各種表示に関する処理を行う。操作部１５は、パネルスイッチおよびリモコン受信回路等を含み、歌唱者によるカラオケ装置１のパネルスイッチ或いはリモコン装置２の操作に応じて予約信号、演奏中止信号などの操作信号を制御部１１に対して出力する。通信部１６は、リモコン装置２及びサーバ３と接続するためのインタフェースを提供する。

本実施形態において制御部１１は、特定部１１ａ及び決定部１１ｂとして機能する。

特定部１１ａは、ある歌唱者がある楽曲を歌唱した際に得られるメロディデータと当該楽曲のリファレンスデータとを比較し、少なくとも音程にズレがあるパターンがメロディデータ中にあるかどうかを特定する。

決定部１１ｂは、特定部１１ａで特定されたパターン（音程にズレがあるパターン）が所定数以上ある場合、当該パターンをある歌唱者が苦手とする苦手パターンとして決定する。

通常、音程にズレが生じるケースは、たとえば「８分音符が４つ連続するとともに音高が半音ずつ下降するパターンの場合に、１、２、３音目まで同じ音高で歌唱してしまう」、「二つの音符の音高差が２音半あり上昇するパターンの場合に、２音目が半音低い」といったように歌唱者によって特徴がある。そこで、これらのパターンを当該歌唱者が苦手なパターンとして特定することが可能である。

具体例として、カラオケ装置１に自己の歌唱者ＩＤでログインした状態において、歌唱者Ｘが楽曲Ａを歌唱したとする。この場合、マイク４０を介して歌唱者Ｘの歌唱したメロディデータが得られる。

この場合、特定部１１ａは、得られたメロディデータを音符毎の音高データに変換する。特定部１１ａは、メロディデータを構成する各音符の音高データと、記憶部１２に記憶されている楽曲Ａのリファレンスデータに含まれる音高データとを比較し、音高がずれている音符を認識する。音高がずれている音符があった場合、特定部１１ａは、その音符の前後の音符（たとえば、前後１音符分）を含めて「音程にズレがあるパターンＰ」として特定する。なお、特定部１１ａは、音高データ及び音長データに対して比較を行うことでもよい。

決定部１１ｂは、特定部１１ａで特定された「音程にズレのあるパターンＰ」が、得られたメロディデータ中にいくつ含まれるかを抽出する。

ここで、一の楽曲中で音程のズレがあるパターンＰが複数存在する場合、歌唱者ＸはパターンＰを歌唱することが得意では無いと考えられる。そこで、決定部１１ｂは、一の楽曲中でパターンＰが所定数以上抽出された場合には、パターンＰを歌唱者Ｘが苦手とする苦手パターンＷＰとして決定する。所定数は、予め適当な値（たとえば、３回）を設定しておくことができる。

決定部１１ｂは、把握された苦手パターンＷＰ（たとえば、音符ｎ₁〜ｎ₃からなる音程のパターン）を、苦手パターンＷＰに対応するリファレンスデータのパターンＲＰ（たとえば、音符ｎ´₁〜ｎ´₃からなるパターン）と関連付けて、歌唱者Ｘの歌唱者ＩＤと併せてサーバ３に送信する。サーバ３の記憶部３２（後述）は、苦手パターンＷＰを、苦手パターンＷＰに対応するリファレンスデータのパターンＲＰと関連付けて記憶する。

なお、特定部１１ａ及び決定部１１ｂによる処理は、歌唱者が歌唱する度に自動で行われてもよいし、歌唱者がリモコン装置２等を介して指定した場合にのみ行われることでもよい。

また、上記の例では一の楽曲中で音程にズレのあるパターンが所定数以上ある場合について述べたが、これに限られない。たとえば、個々の歌唱者が苦手とするパターンは共通である場合が多いため、音程にズレのあるパターンは、一の楽曲に限らず他の楽曲においても含まれている可能性が高い。

そこで、たとえば歌唱者Ｘが楽曲Ａ〜楽曲Ｅの５曲を歌唱している場合、特定部１１ａは、楽曲Ａ〜楽曲Ｅそれぞれを歌唱した際に得られるメロディデータと楽曲Ａ〜楽曲Ｅそれぞれのリファレンスデータとを比較し、音程にズレがあるパターンＰが各メロディデータ中にあるかどうかを特定する。そして、決定部１１ｂは、特定部１１ａで特定されたパターンＰが楽曲Ａ〜楽曲Ｅ全体でいくつあるかをカウントし、合計した値が所定数以上の場合、パターンＰをある歌唱者が苦手とする苦手パターンＷＰとして決定することも可能である。

＝＝リモコン装置＝＝
リモコン装置２は、カラオケ装置１に対する各種操作をおこなうための装置である。歌唱者はリモコン装置２を用いてカラオケ装置１の起動、楽曲の予約等を行うことができる。図４に示すように、リモコン装置２は、制御部２１、記憶部２２、音声入力部２３、表示部２４、及び通信部２５を備える。制御部２１は、ＣＰＵおよびメモリを備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。記憶部２２は、各種のデータを記憶する大容量の記憶装置である。音声入力部２３は、マイク等、歌唱者が音声を入力するための装置である。表示部２４は、楽曲検索画面や楽曲選択画面等が表示されるディスプレイである。表示部２４は、タッチパネル式のＧＵＩを含んでもよい。通信部２５は、カラオケ装置１と接続するためのインタフェースを提供する。

本実施形態において制御部２１は、判断部２１ａ及び置換部２１ｂとして機能する。

判断部２１ａは、ある歌唱者が所望の楽曲を検索するために音声入力部２３を介して入力した音声データ中に、苦手パターンが含まれるか否かを判断する。

置換部２１ｂは、音声データ中に苦手パターンと同一のパターンが含まれる場合、音声データのうち苦手パターンに対応する部分を、当該苦手パターンに対応するリファレンスデータのパターンに置換する。

具体例として、歌唱者Ｘの苦手パターンＷＰが、対応するリファレンスデータのパターンＲＰと共にサーバ３の記憶部３２に記憶されているとする。

歌唱者Ｘが歌唱者ＩＤに基づきカラオケ装置１にログインした場合、リモコン装置２は、歌唱者Ｘの苦手パターンＷＰ及び対応するリファレンスデータのパターンＲＰをサーバ３から予めダウンロードする。なお、このダウンロードはリモコン装置２等を介して歌唱者が指定した場合に行うこととしてもよい。

ここで、曲名や歌手名等は分からないが楽曲の一部のメロディ（たとえばサビ）だけ知っている楽曲を、歌唱者Ｘが歌唱したいと考えたとする。この場合、歌唱者Ｘは、音声入力部２３を介して一部のメロディを歌唱入力することで楽曲の検索が可能となる「メロディ歌唱検索」をリモコン装置２で選択することができる。

歌唱者Ｘが所望の楽曲を検索するために音声入力部２３を介して音声データを入力した場合、判断部２１ａは、当該音声データをリアルタイムでデジタルデータに変換し、苦手パターンＷＰと比較することにより、音声データ中に苦手パターンＷＰが含まれるか否かを判断する。たとえば、音声データが音符Ｎ₁〜Ｎ₂₁からなり、苦手パターンＷＰが音符ｎ₁〜ｎ₃を含むパターンであるとする。この場合、判断部２１ａは、音符ｎ₁〜ｎ₃の苦手パターンＷＰを音符Ｎ₁〜Ｎ₃、音符Ｎ₂〜Ｎ₄、音符Ｎ₃〜Ｎ₅・・・音符Ｎ₁₉〜Ｎ₂₁というように順次比較することにより、苦手パターンＷＰの有無を判断する。

ここで、たとえば、音符Ｎ₃〜Ｎ₅及び音符Ｎ₁₅〜Ｎ₁₇が苦手パターンＷＰ（音符ｎ₁〜ｎ₃）に相当すると判断された場合、置換部２１ｂは、音声データのうち苦手パターンＷＰに対応する部分（音符Ｎ₃〜Ｎ₅及び音符Ｎ₁₅〜Ｎ₁₇）それぞれを、当該苦手パターンに対応するリファレンスデータのパターン（音符ｎ´₁〜ｎ´₃）に置換する。置換部２１ｂは、カラオケ装置１を介して苦手パターンＷＰに対応する部分が置換された音声データ（置換済み音声データ）をサーバ３に送信する。併せて、置換部２１ｂは、カラオケ装置１を介し、入力されたままの音声データ（苦手パターンＷＰに対応する部分が置換されていない音声データ）をサーバ３に送信する。なお、苦手パターンＷＰに対応する部分が含まれていない場合、置換部２１ｂは、カラオケ装置１を介し、入力されたままの音声データのみをサーバ３に送信する。この場合、従来と同様の音声入力に応じた楽曲検索が可能となる。

＝＝サーバ＝＝
サーバ３は、歌唱者やカラオケ店等に配置されているカラオケ装置１毎のデータ等、各種情報を蓄積して管理するコンピュータである。図５に示すようにサーバ３は、制御部３１、記憶部３２及び通信部３３を備える。

制御部３１は、ＣＰＵおよびメモリを備える。ＣＰＵは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、ＣＰＵに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。記憶部３２は、各種のデータを記憶する大容量の記憶装置である。記憶部３２には、歌唱者ＩＤ毎に歌唱者に関する個人情報や歌唱者の歌唱履歴、楽曲データ等が記憶されている。また、記憶部３２は、リモコン装置２から送信された苦手パターン、及び当該苦手パターンに対応するリファレンスデータのパターンを記憶する。通信部３３は、カラオケ装置１と接続するためのインタフェースを提供する。なお、リモコン装置２とサーバ３とがカラオケ装置１を介さず直接通信可能となっていてもよい。

本実施形態において制御部３１は、検索部３１ａ及び削除部３１ｂとして機能する。

検索部３１ａは、音声データに基づく楽曲、及び苦手パターンに対応する部分が置換された置換済み音声データに基づいて楽曲の検索を行う。楽曲の検索処理は特に限定されるものではなく公知の手法を用いることが可能である（たとえば、特許文献１の手法）。

具体例として、リモコン装置２は、入力されたままの音声データ、及び苦手パターンＷＰに対応する部分が置換された置換済み音声データをサーバ３に送信する。この場合、検索部３１ａは、それぞれの音声データに基づいて、当該音声データに対応する楽曲の検索を行う。検索部３１ａは、検索結果に対応する楽曲の楽曲ＩＤを通信部３３からカラオケ装置１を介してリモコン装置２に送信する。なお、検索結果に対応する楽曲が複数ある場合、検索部３１ａは、複数の楽曲それぞれの楽曲ＩＤをリモコン装置２に送信する。

リモコン装置２（制御部２１）は、送信された楽曲ＩＤに対応する楽曲名を表示部２４に表示させる。歌唱者Ｘは、表示された楽曲を選択することにより、所望の楽曲を歌唱することが可能となる。リモコン装置２は、選択された楽曲の楽曲ＩＤをサーバ３に送信する。

削除部３１ｂは、ある歌唱者が、検索結果の中から入力されたままの音声データに基づく楽曲を選択した場合、音声データ中に含まれていると判断された苦手パターンＷＰを記憶部３２から削除する。

入力されたままの音声データに基づいて検索された楽曲が選ばれた場合、置換済み音声データに基づいて検索された楽曲は、メロディ歌唱検索機能を使った歌唱者Ｘにとっては所望の楽曲ではないこととなる。すなわち、歌唱者Ｘは、メロディ歌唱検索においては、所望の楽曲に合った正しいメロディを歌唱できていると考えられる。このような場合、記憶されている苦手パターンＷＰは、歌唱者Ｘがメロディ歌唱検索を行う際には正しく歌唱できるパターン（疑似苦手パターン）として処理することが妥当である。そこで、削除部３１ｂは、そのような苦手パターンを記憶部３２から削除する。

具体例として、削除部３１ｂは、リモコン装置２から送信される歌唱者Ｘが選択した楽曲の楽曲ＩＤに基づいて、検索結果のうち、いずれの楽曲が選択されたのかを判断する。ここで、音声データに基づく楽曲が選択されていた場合、削除部３１ｂは、音声データ中に含まれていると判断された苦手パターンＷＰを記憶部３２から削除する。

このような処理により、以降の歌唱者Ｘによるメロディ歌唱検索に対しては削除したパターンとリファレンスデータとの置換は行われないため、所望の楽曲を正確に検索することが可能となる。

なお、上記では、歌唱者Ｘが音声データに基づく楽曲を１回選択した際に苦手パターンＷＰを記憶部３２から削除する例について述べたがこれに限られない。削除部３１ｂは、苦手パターンＷＰが置換された音声データに基づいて検索された楽曲が所定回数、選択されなかった場合に記憶部３２から苦手パターンＷＰを削除することでもよい。所定回数は、たとえば予め一定の値（３回、５回等）が設定されている。

＝＝楽曲検索システムの動作について＝＝
次に、図６Ａ及び図６Ｂを参照して本実施形態に係る楽曲検索システム１００の動作の具体例について述べる。図６Ａ及び図６Ｂは、楽曲検索システム１００の動作例を示すフローチャートである。

＜苦手パターンの決定＞
まず、図６Ａを参照して苦手パターンの決定処理について説明する。

歌唱者Ｘは、リモコン装置２を介し楽曲Ａを選択する（楽曲の選択。ステップ１０）。リモコン装置２は、選択された楽曲Ａに対応する楽曲ＩＤをカラオケ本体１０に送信する。カラオケ装置１は、選択された楽曲Ａの演奏を行う。歌唱者Ｘは演奏に合わせてカラオケ歌唱を行う（楽曲の歌唱。ステップ１１）。

カラオケ装置１において、特定部１１ａは、歌唱者Ｘが楽曲Ａを歌唱した際に得られるメロディデータと、記憶部１２に記憶されている楽曲Ａのリファレンスデータとを比較する。そして、特定部１１ａは、音程にズレがあるパターンがメロディデータ中にあるかどうかを特定する（ズレのあるパターンの特定。ステップ１２）。

カラオケ装置１において、決定部１１ｂは、ステップ１２で特定された音程にズレがあるパターンの数をカウントする。音程にズレがあるパターンの数が所定数以上の場合（ステップ１３でＹの場合）、決定部１１ｂは、当該パターンを歌唱者Ｘが苦手とする苦手パターンとして決定する（苦手パターンの決定。ステップ１４）。決定部１１ｂは、ステップ１４で決定された苦手パターンを当該苦手パターンに対応するリファレンスデータのパターンと関連付け、歌唱者Ｘの歌唱者ＩＤと併せてサーバ３に送信する（苦手パターンの送信。ステップ１５）。一方、音程にズレがあるパターンの数が所定数より少ない場合（ステップ１３でＮの場合）には、決定部１１ｂは、苦手パターン決定の処理を行わない。

サーバ３において、記憶部３２は、ステップ１５で送信された苦手パターン及び苦手パターンに対応するリファレンスデータのパターンを関連付けて記憶する（苦手パターンの記憶。ステップ１６）。

＜音声入力による楽曲検索＞
次に、図６Ｂを参照して音声入力による楽曲検索処理について説明する。

歌唱者Ｘがリモコン装置２の音声入力部２３を介して所望の楽曲のメロディ（音声データ）を入力したとする（音声データの入力。ステップ１７）。なお、歌唱者Ｘが歌唱者ＩＤに基づきカラオケ装置１にログインしている場合、リモコン装置２は、歌唱者Ｘの苦手パターン及び対応するリファレンスデータのパターンをサーバ３の記憶部３２から予めダウンロードしておく。

この場合、リモコン装置２において、判断部２１ａは、ステップ１７で入力された音声データ中に、ステップ１４で決定された苦手パターンが含まれるか否かを判断する（苦手パターン有無の判断。ステップ１８）。音声データ中に苦手パターンと同一のパターンが含まれる場合、置換部２１ｂは、音声データのうち苦手パターンに対応する部分を、当該苦手パターンに対応するリファレンスデータのパターンに置換する（苦手パターンの置換。ステップ１９）。置換部２１ｂは、ステップ１７で入力されたままの音声データ、及び苦手パターンに対応する部分が置換された置換済み音声データをサーバ３に送信する（音声データ及び置換済み音声データの送信。ステップ２０）。

検索部３１ａは、入力されたままの音声データ、及び置換済み音声データに基づいて、それぞれに対応する楽曲の検索を行う（楽曲の検索。ステップ２１）。なお、音声データ中に苦手パターンと同一のパターンが含まれない場合、置換部２１ｂは、ステップ１７で入力されたままの音声データのみをサーバ３に送信する。検索部３１ａは、当該音声データに基づいて楽曲の検索を行う。

検索部３１ａは、検索された楽曲の楽曲ＩＤをリモコン装置２に送信する（検索結果の送信。ステップ２２）。リモコン装置２は、ステップ２２で送信された楽曲ＩＤに対応する楽曲名を表示部２４に表示させる。歌唱者Ｘは、表示された楽曲の中から所望の楽曲を選択することにより、カラオケ歌唱を行うことができる。

ここで、リモコン装置２は、歌唱者Ｘによって選択された楽曲の楽曲ＩＤをサーバ３に送信する（選択された楽曲の送信。ステップ２３）。

削除部３１ｂは、ステップ２３で送信された楽曲ＩＤに基づいて、選択された楽曲が音声データに基づく楽曲なのか、置換済み音声データに基づく楽曲なのかを判断する。

検索結果の中から歌唱者Ｘが音声データに基づく楽曲を選択した場合（ステップ２４でＹの場合）、削除部３１ｂは、音声データ中に含まれていると判断された苦手パターンを記憶部３２に記憶されている歌唱者Ｘに関するデータから削除する（苦手パターンの削除。ステップ２５）。一方、検索結果の中から歌唱者Ｘが置換済み音声データに基づく楽曲を選択した場合（ステップ２４でＮの場合）、削除部３１ｂは特段の処理を行わない。

このように、本実施形態に係る楽曲検索システム１００によれば、歌唱レベルが低い歌唱者であっても、音声入力に基づいて所望の楽曲を検索することができる。すなわち、音声入力により楽曲検索を行う場合において、歌唱者が苦手なパターンについては対応するリファレンスデータのパターン（すなわち、正確な音程のパターン）に置き換えて検索を行うことができる。よって、精度の高い検索が可能となる。一方で、本実施形態に係る楽曲検索システム１００によれば、カラオケ演奏に合わせて歌うことは苦手であるがアカペラは上手く歌唱できるような歌唱者であっても、音声入力に基づいて所望の楽曲を検索することが可能となる。更に、アカペラでは正しく歌唱できるパターン（疑似苦手パターン）を記憶部３２から削除することにより、以降の音声入力に対しては、当該パターンとリファレンスデータとの置換は行われないため、歌唱者が所望する楽曲をより正確に検索することができる。すなわち、本実施形態に係る楽曲検索システム１００によれば、歌唱者の特性（歌唱の上手い・下手、アカペラの場合のみ上手く唄える等の特殊な事情等）に関わらず、音声入力に基づいて所望の楽曲を検索可能とすることができる。

なお、一の歌唱者が苦手とするパターンは複数種類あることもある。この場合、決定部１１ｂは、特定された音程にズレがあるパターンの数をパターン毎にカウントし、複数の苦手パターンを決定する。記憶部３２は、それぞれの苦手パターン及び当該苦手パターンに対応するそれぞれのリファレンスデータのパターンを関連付けて記憶する。判断部２１ａは、入力された音声データ中にそれぞれの苦手パターンが含まれるか否かを判断する。

また、苦手パターンの一部が重複するケース（たとえば、音符ｎ₁〜ｎ₃を含むパターンＷＰ１と音符ｎ₃〜ｎ₇を含むパターンＷＰ２）において、判断部２１ａは、予め決定された判断条件（たとえば、より多くの音符を含む方を優先する。上記例ではパターンＷＰ２）を優先して「苦手なパターン」とすることもできる。

また、上記例ではカラオケ装置１、リモコン装置２及びサーバ３を含む楽曲検索システム１００について説明を行ったが、これに限られない。たとえば、カラオケ装置１がサーバ３の検索部３１ａ、削除部３１ｂ及び記憶部３２を備えることにより、カラオケ装置１及びリモコン装置２のみで楽曲検索システム１００を構成することができる。

また、制御部２１は、音声データに基づく楽曲と、置換済み音声データに基づく楽曲とで表示部２４に表示する態様を変更させることも可能である。たとえば、制御部２１は音声データに基づく楽曲名の表示色と置換済み音声データに基づく楽曲名の表示色とを異ならせることが可能である。或いは、制御部２１は、置換済み音声データに基づく楽曲に対して「ひょっとしたらこちらの楽曲では？」といったメッセージを併せて表示させることも可能である。

＜第２実施形態＞
図７を参照して、第２実施形態に楽曲検索システム１００について説明する。第１実施形態の構成により歌唱者Ｘの苦手パターンを削除した場合であっても、新たなカラオケ歌唱の結果に基づいて同じパターンが再度、苦手パターンとして決定される場合がありうる。しかし、歌唱者Ｘにとって、当該苦手パターンは音声データに基づく楽曲検索の場合には正しく歌唱できるパターンといえる。本実施形態では、このようなパターンについては記憶部３２への記憶を禁止する例の説明を行う。なお、第１実施形態と同様の構成については詳細な説明を省略する。

図７は、本実施形態に係るサーバ３の制御部３１のソフトウェア構成を示す図である。サーバ３の制御部３１は、所定のプログラムに基づいて、検索部３１ａ、削除部３１ｂ、及び記憶制御部３１ｃとして機能する。

記憶制御部３１ｃは、削除部３１ｂにより削除された苦手パターンと同じパターンが決定部１１ｂにより改めて苦手パターンとして決定された場合に、記憶部３２に当該苦手パターンを記憶させないよう制御する。

具体例として、削除部３１ｂは、苦手パターンＷＰを記憶部３２から削除する場合に、当該パターンを歌唱者Ｘが音声データに基づく楽曲検索の場合に正しく歌唱できるパターン（疑似苦手パターン）として、歌唱者Ｘに関する個人情報データに関連付けて登録しておく。

ここで歌唱者Ｘが別のタイミングでカラオケ歌唱（演奏に合わせた歌唱）を行い、決定部２１ｂは、その結果に基づいて新たな苦手パターンを決定したとする。

この場合、記憶制御部３１ｃは、カラオケ装置１から送信された新たな苦手パターンが歌唱者Ｘに関する個人情報データに疑似苦手パターンとして登録されているかを確認し、同じパターンが登録されている場合には新たな苦手パターンを記憶部３２に記憶させない。

このような構成により、一旦苦手でないと判断されたパターンについては、その後のカラオケ歌唱結果によっても苦手パターンとして登録されることがないため、歌唱者の音声入力に基づいて所望の楽曲を正確に検索することが可能となる。

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ カラオケ装置
２ リモコン装置
３ サーバ
１１ａ 特定部
１１ｂ 決定部
２１ａ 判断部
２１ｂ 置換部
３１ａ 検索部
３１ｂ 削除部
３２ 記憶部

Claims (2)

1. ある歌唱者がある楽曲を歌唱した際に得られるメロディデータと当該楽曲のリファレンスデータとを比較し、少なくとも音程にズレがあるパターンが前記メロディデータ中にあるかどうかを特定する特定部と、
   特定された前記音程にズレがあるパターンが所定数以上ある場合、当該パターンを前記ある歌唱者が苦手とする苦手パターンとして決定する決定部と、
   前記苦手パターンを、当該苦手パターンに対応する前記リファレンスデータのパターンと関連付けて記憶する記憶部と、
   前記ある歌唱者が所望の楽曲を検索するために音声入力部を介して入力した音声データ中に、前記苦手パターンが含まれるか否かを判断する判断部と、
   前記音声データ中に前記苦手パターンと同一のパターンが含まれる場合、前記音声データのうち苦手パターンに対応する部分を、当該苦手パターンに対応する前記リファレンスデータのパターンに置換する置換部と、
   前記音声データに基づく楽曲、及び前記苦手パターンに対応する部分が置換された置換済み音声データに基づく楽曲の検索を行う検索部と、
   前記ある歌唱者が、検索結果の中から前記音声データに基づく楽曲を選択した場合、前記音声データ中に含まれていると判断された前記苦手パターンを前記記憶部から削除する削除部と、
   を有することを特徴とする楽曲検索システム。
2. 削除された前記苦手パターンと同じパターンが前記決定部により改めて苦手パターンとして決定された場合に、前記記憶部に当該苦手パターンを記憶させないよう制御する記憶制御部を有することを特徴とする請求項１記載の楽曲検索システム。

Images