JP4882980B2 - 楽曲検索装置及びプログラム - Google Patents

Description

本発明は、楽曲の旋律をユーザのハミング等の歌唱音声で入力することよって、この入力された歌唱音声の旋律に適合する楽曲の検索を行う楽曲検索装置に関する。

近年、カラオケ装置における演奏楽曲の選択や、音楽配信サービスにおける購入楽曲の選択の際、ユーザから入力された歌唱音声の旋律の特徴に適合する楽曲を検索する方法が案出されている。

しかしながら、ユーザの中には、音感は決して悪くなく、自身が過去に聴いた楽曲の旋律を頭の中で正確に想像できるが、その想像する旋律のとおりに正確に歌唱できない人がいる。このようなユーザにとっては、実際の楽曲の旋律と正確に一致するようにユーザがハミング等で歌唱することは難しい。このような場合、頭の中で正しい旋律を想像できてもそれを正確に歌唱できないため、歌唱音声の旋律をそのまま検索にかけても精度のよい検索を行うことができず、所望の楽曲が検索されなかったり、多数の検索結果が提示されたりすることがある。

そこで、ユーザにより入力された歌唱音声の旋律を、ユーザの指示により補正して検索にかけることで検索精度を向上させる技術が案出されている（例えば、特許文献１参照）。
特開２００７−２２５７６４号公報

ユーザによる歌唱音声による楽曲の検索において、検索精度を低下させる要因としては、例えば音程が外れたり、音価（音の長さ）にばらつきが生じるといったものが挙げられる。このような歌唱音声における音程や音価の狂いは、歌唱音声全体の一部分に生じることが多いと考えられる。

しかしながら、特許文献１に記載の発明においては、ユーザの歌唱音声の全体についてテンポや音程を一様に補正するのみであり、補正箇所を個別に特定することができない。このため、歌唱音声全体の一部分に音程や音価の狂いが生じている歌唱音声に対しては、旋律が正確な箇所も不正確な箇所も一律に補正してしまうことになり、このような補正をしただけでは歌唱音声の旋律を正しい旋律へと近づけることはできない。よって、上述のような歌唱音声の補正方法では、検索の精度を更に向上させられる余地を残してしまっている。

本発明は、上記の問題を解決するためになされており、自身が過去に聴いた楽曲の旋律を頭の中で正確に想像できるが、その想像する旋律のとおりに正確に歌唱できないユーザを対象に、このユーザの入力した歌唱音声の旋律に対する修正箇所を特定し、この特定された修正箇所を個別に修正することで、歌唱音声による楽曲の検索の精度をより向上させるための技術を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の楽曲検索装置は、次のような特徴を有する。この楽曲検索装置は、音声入力手段と、変換手段と、楽譜表示制御手段と、演奏手段と、修正指示受付手段と、楽譜修正手段と、検索手段と、検索結果提示手段とを備える。

音声入力手段は、ユーザの歌唱音声を入力する。変換手段は、音声入力手段により入力された歌唱音声の旋律を演奏データに変換する。楽譜表示制御手段は、変換手段により変換された演奏データに基づき、この演奏データの楽譜を表示部に表示させる。演奏手段は、楽譜表示制御手段による楽譜の表示と共に、演奏データに基づいて演奏を行う。修正指示受付手段は、楽譜表示制御手段により表示された楽譜に対する複数の修正箇所を特定する修正指示をユーザから受け付ける。

楽譜修正手段は、修正指示受付手段により受け付けた修正指示で示される楽譜の複数の修正箇所のうち、未修正でかつ先頭に近いものから１箇所修正し、この修正箇所を修正済み箇所とする。検索手段は、楽譜修正手段による楽譜の修正と併せて、当該修正済み箇所の楽譜に対応するデータを修正した演奏データのうち、当該修正済み箇所を少なくとも含み、当該修正済み箇所以降の修正箇所は含まない所定の再演奏範囲に該当する演奏データの旋律に適合する楽曲を検索する。検索結果提示手段は、検索手段による検索結果をユーザに対して提示する。

そして、検索結果提示手段による検索結果の提示後に再検索を行う旨の指示をユーザから受け付けた場合、前回修正した修正箇所の次の１つの修正箇所を楽譜修正手段により更に修正し、次の１つの修正箇所を修正した演奏データのうち、当該次の１つの修正済み箇所を少なくとも含み、当該次の一つの修正済み箇所以降の修正箇所は含まない再演奏範囲に該当する演奏データに適合する楽曲を検索手段により検索し、検索結果提示手段により検索結果を提示をさせる。

このように構成された楽曲検索装置によれば、ユーザによって入力された歌唱音声を演奏データ化し、この演奏データに対応する楽音で演奏を行うと共に楽譜を表示することで、ユーザの歌唱音声が検索したい楽曲のイメージと適合するか否かをユーザ自身が確認することができる。そして、ユーザが自身の歌唱音声の内容を確認した上で、表示された楽譜に対してユーザが箇所を個別に指定することができる。

このように、演奏された楽音や楽譜から、ユーザの歌唱音声に対して修正する箇所を指定可能にし、これを個別に修正することにより、自身が過去に聴いた楽曲の旋律を頭の中で正確に想像できるが、その想像する旋律のとおりに正確に歌唱できないユーザに対して、ユーザの歌唱音声の旋律を検索したい楽曲の旋律へと正確に近づけることができる。また、ユーザにより指定された修正箇所については、先頭のものから１箇所ずつ修正するたびに、逐次その修正箇所を含む範囲を再演奏するので、修正された箇所が検索したい楽曲の旋律に適合するかをユーザが確認し易くなる。

このようして、ユーザにより個別に指定された箇所を修正するたびに検索にかけることで、歌唱音声による楽曲の検索の精度をより向上させることができる。また、１回の修正及び検索で多数の楽曲が検索されたりユーザの所望する楽曲が検索できない等によりユーザが検索結果に満足しなければ、前回の修正箇所の次の修正箇所を修正した上で再び検索を行うことで、検索結果を絞り込むことができる。

つぎに、請求項２に記載の楽曲検索装置は、楽譜修正手段による楽譜の修正と併せて、当該修正済み箇所の楽譜に対応するデータを修正した演奏データのうち、当該修正済み箇所を少なくとも含み、当該修正済み箇所以降の修正箇所は含まない所定の再演奏範囲の演奏データを再演奏する再演奏手段を更に備える。この再演奏手段は、当該修正箇所に対応する箇所を修正した演奏データのうち、この演奏データの先頭から当該修正箇所の次の修正箇所の直前までの範囲の演奏データを再演奏範囲として再演奏することを特徴とする。

このようにすることで、指定された修正箇所が修正された後に再演奏される演奏データの範囲は、その時の修正済み箇所を含み、かつ次の未修正箇所を含まない範囲の中で最長（データの先頭〜次の未修正箇所の直前）のものとなる。ユーザにとっては、修正済み箇所を含む演奏範囲が長い方がその旋律を把握し易いため、修正後の演奏データがユーザの想像する楽曲に適合するかどうかを確認し易いものとなる。

また、検索にかける演奏データの範囲もこの再演奏範囲と同じであるため、修正箇所に対する修正が順次進行するにつれて、検索にかける演奏データは徐々に長くなっていく。つまり、修正と検索を繰り返すごとに検索結果は徐々に絞り込まれていくことになり、所望の楽曲をより効率よく検索することがきる。

ところで、ユーザが表示された楽譜に対する修正箇所を指定する際、その修正方法も指定可能にするとよい。つまり、請求項３に記載のように、修正指示受付手段は楽譜の修正箇所に対する修正方法をユーザからの指示により設定可能に構成されており、楽譜修正手段は、修正指示受付手段を介して設定された修正方法で修正箇所を修正するように構成するとよい。ユーザが指定する修正方法としては、例えば音程を上げる／下げる、音価を延ばす／縮めるといったものが挙げられる。

このようにすることで、楽譜の修正箇所だけでなく、その修正方法についてもユーザ自身が指定でき、ユーザが想像する楽曲のイメージのとおりに楽譜を修正できるので好適である。

一方、上述のように指定した修正箇所に対する修正方法をユーザ自身が設定するやり方は、音楽的知識が豊かなユーザにとっては簡単で便利なものである。反面、そうでないユーザにとっては、演奏を聴いて自身のイメージする旋律と異なると分かったとしても、それを具体的にどのように修正するかを判断するのは難しいと考えられる。そこで、請求項４に記載のように、修正指示受付手段により受け付けた修正指示で示される修正箇所に対する修正方法を所定の修正方法に自動的に設定し、楽譜修正手段は、この自動的に設定された修正方法で修正箇所を修正するように構成してもよい。このようにすることで、音楽的知識に乏しいユーザであっても、容易に楽譜を修正できるので好適である。

つまり、ユーザは、楽譜に対して修正が必要であると考える箇所を指定するのみでよく、その修正方法（例えば、音程を上げる／下げる、音価を延ばす／縮める）については、予め決められた修正方法の中から自動的に設定される。なお、修正方法の設定については、例えば、所定の順序の修正方法を順次選択するような構成や、ランダムに設定する構成、あるいは当該演奏データを分析して他の旋律と調和するように適宜選択するような構成が考えられる。また、自動的に設定した修正方法では、必ずしもユーザのイメージする旋律と合致するとは限らないが、修正方法の是非については、再演奏時にユーザが改めて判断すればよい。

以上で説明したような楽曲検索装置における各手段をコンピュータシステムで実現するには、請求項５に記載のようにコンピュータシステム上で稼働するプログラムとして備えればよい。このようなプログラムは、例えば磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＭＡ等のコンピュータにて読み取り可能な記憶媒体に記録し、必要に応じてコンピュータにダウンロードすることにより、上述の各手段の機能を実現できる。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に何ら限定されるものではなく、様々な態様にて実施することが可能である。
［１．カラオケ装置１の構成の説明］
図１は、本実施形態のカラオケ装置１の概略構成を示すブロック図である。

図１に示すように、カラオケ装置１は、カラオケ装置１全体の動作を制御する制御部１２、カラオケ楽曲や各種プログラム等を記憶するハードディスク装置（ＨＤＤ）１６、複数のキースイッチからなり、ユーザが各種操作等を行うための操作部１８、ユーザからの各種操作を受け付けるリモコン端末２から送信された赤外線信号を受信するための赤外線通信部２０、操作部１８からの信号を処理する操作処理部２２、マイクロフォン２６、スピーカ２８、制御部１２によってＨＤＤ１６から取得されたカラオケ楽曲データに基づくカラオケ演奏を行うＭＩＤＩ音源３０、制御部１２によってＨＤＤ１６から取得された映像データを一時的に記憶するビデオＲＡＭ３２、ビデオＲＡＭ３２に記憶された映像データに基づく映像の再生を制御する映像再生部３４、モニタ３６、映像再生部３４により再生される映像のモニタ３６での表示を制御する映像制御部３８、半導体素子を利用した書き換え可能の不揮発性記憶媒体であるメモリ４０などを備えている。

ＨＤＤ１６には、このカラオケ装置１の動作を制御するシステムプログラム、アプリケーションプログラム等が記憶されており、カラオケ装置１の電源がオンにされたときに、これらのプログラムが制御部１２に読み込まれる。また、ＨＤＤ１６には、上述したプログラムの他、ＭＩＤＩ（Music Instrument Digital Interface）形式のカラオケ楽曲データを多数格納したデータベースや、これらのカラオケ楽曲データに対応付けられた楽曲情報が記憶されている。楽曲情報には、曲名、アーティスト名、作曲者名、作詞者名、ジャンル等のカラオケ楽曲に関する種々の情報が含まれる。

操作部１８は、文字キーやカーソルキー、テンキー、各種ファンクションキー等を備えた操作パネルとして構成されており、ユーザにより押下されたキーの操作信号を操作処理部２２へ出力する。また、リモコン端末２は、操作部１８と同様のキースイッチやタッチパネル等のポインティングデバイス等を備え、これらを介してユーザによって入力された操作信号を赤外線通信によって送信する。

制御部１２は、ＣＰＵ，ＲＡＭ，ＲＯＭ及びこれらの構成を接続するバスライン等を中心に構成されたコンピュータであり、操作部１８やリモコン端末２を介してユーザから指定されたカラオケ楽曲を再生する処理を実行する。このとき、カラオケ楽曲の再生に関して、制御部１２はＨＤＤ１６に記憶されているカラオケ楽曲データからＭＩＤＩ音源３０によってオーディオ信号（音響や音声に関する信号）を生成し、このオーディオ信号を増幅してスピーカ２８へ出力する。また、カラオケ演奏時等にマイクロフォン２６から入力された歌唱音声信号は、制御部１２において増幅及びＡ／Ｄ変換される。そして、エコー等の音響効果が付加された後、カラオケ演奏音の信号とミキシングされてスピーカ２８へ出力される。

一方、ＨＤＤ１６に記憶されている多数のカラオケ楽曲データの中から演奏すべきカラオケ楽曲を選択する際、制御部１２は、マイクロフォン２６から入力されたユーザの歌唱音声（歌声、鼻歌、ハミング等）の旋律に適合する楽曲の検索を行う「楽曲検索処理」を実行する。この「楽曲検索処理」において、制御部１２は、まず、ユーザにより入力された歌唱音声の旋律をＭＩＤＩデータに変換し、この変換したＭＩＤＩデータに基づいて楽譜をモニタ３６に表示すると共に、ＭＩＤＩデータの演奏を行う。そして、表示した楽譜に対する修正指示をユーザから受け付け、当該箇所を修正した楽譜の表示と修正したＭＩＤＩデータの再演奏を実行した後、このＭＩＤＩデータの旋律に適合するカラオケ楽曲データをＨＤＤ１６から検索する。そして、検索結果のリストをモニタ３６に表示する。ここで、検索結果にユーザの所望する楽曲が存在しなかったり、検索件数の更なる絞込みを行うことをユーザが希望した場合、表示した楽譜の修正及び再演奏を繰り返し、修正したＭＩＤＩデータの旋律に適合するカラオケ楽曲データをＨＤＤ１６から再び検索する。この「楽曲検索処理」についての詳細な説明は後述する。

以上、本実施形態のカラオケ装置１の概略構成について説明したが、本実施形態におけるカラオケ装置１の構成と、特許請求の範囲に記載した構成との対応関係は次のとおりである。本実施形態のマイクロフォン２６が、特許請求の範囲における音声入力手段に相当する。また、制御部１２が、変換手段、楽譜修正手段及び検索手段に相当する。また、制御部１２及びＭＩＤＩ音源３０が、演奏手段及び再演奏手段に相当する。また、制御部１２、映像制御部３８及びモニタ３６が、楽譜表示制御手段及び検索結果提示手段に相当する。また、制御部１２、操作部１８、操作処理部２２及びリモコン端末２が、修正指示受付手段に相当する。

［２．「楽曲検索処理」の説明］
つぎに、カラオケ装置１の制御部１２が実行する上述の「楽曲検索処理」の詳細な内容について、図２のフローチャート及び図３，４，５の説明図に基づいて説明する。

図２は、カラオケ装置１の制御部１２が実行する「楽曲検索処理」の手順を示すフローチャートである。この処理は、ユーザの歌唱音声に基づくカラオケ楽曲の検索を行う旨の指示が、操作部１８やリモコン端末２を介して入力されたときに開始される。

制御部１２は、まず、マイクロフォン２６を介して入力されたユーザの歌唱音声（歌声、鼻歌、ハミング等）のアナログ信号をサンプリングし、デジタル信号として録音する（Ｓ１１０）。そして、この録音した歌唱音声のデジタル信号をＭＩＤＩデータに変換し、これをメモリに記憶する（Ｓ１２０）。そして、この記憶したＭＩＤＩデータに基づき、このＭＩＤＩデータの旋律を模式的に示した楽譜をモニタ３６に表示する（Ｓ１３０）。

ここで、Ｓ１３０でモニタ３６に表示される楽譜の具体的な内容について、図３に基づき説明する。図３（ａ）は、ユーザの歌唱音声の旋律を示す楽譜の表示例を模式的に示す説明図である。

図３（ａ）に示すように、楽譜５０は、升目の縦軸に音階（ド・レ・ミ…）、横軸に時間軸が定義されており、塗りつぶして表示された升目の高さと幅とによって個々の音符の音階と音価とを表現することで、ユーザの歌唱音声に基づくＭＩＤＩデータの旋律を示している。また、楽譜５０の下部には、各音符の音階が文字で表示されている。

図２のフローチャートの説明に戻る。Ｓ１３０で楽譜５０を表示すると共に、メモリに記憶したＭＩＤＩデータに基づく演奏を行う。なお。このとき演奏に使用する音色（楽器音）は、ＭＩＤＩ音源３０で使用できる楽器音の中からユーザが選択したものを使用するとよい。つぎに、表示中の楽譜５０に対する修正箇所及び修正方法の指示をユーザから受け付け、これを表示中の楽譜５０に付記する（Ｓ１５０）。

ここで、楽譜５０に対して修正箇所及び修正方法を指定する手順の具体例について、図３に基づき説明する。図３（ａ）に示すように、楽譜５０の下方には、楽譜５０に対する修正箇所をユーザが指定するための修正指示スケール５６が設けられている。この修正指示スケール５６は、楽譜５０の横方向の目盛と対応する目盛を備えている。ユーザが操作部１８又はリモコン端末２によるキー操作することによって、修正指示スケール５６の任意の目盛に対して印（以下、修正マークとも称する）を付けることで、楽譜５０に対して、この修正マークの位置に対応する音符を修正箇所に指定できる。

さらに、楽譜５０の上方には、「上げる」、「下げる」、「延ばす」、「縮める」、「再生」といった各種アイコン５１，５２，５３，５４，５５が表示されている。このうち、「上げる」、「下げる」、「延ばす」、「縮める」の各アイコン５１〜５４は、修正指示スケール５６に付けた修正マークで示される修正箇所に対する修正方法をユーザが指定するためのものである。ユーザが操作部１８又はリモコン端末２を操作することにより修正指示スケール５６に修正マークを付けた際に、これらのアイコンにカーソルを合わせて決定ボタンを押下することで、その修正箇所に対して各アイコンに割り当てられた修正方法を指定することができる。なお、「上げる」・「下げる」アイコン５１，５２は、それぞれ修正箇所に該当する音符の音程を上げ下げする場合に操作する。「延ばす」・「縮める」アイコン５３，５４は、それぞれ修正箇所に該当する音符の音価を伸ばしたり縮めたりする場合に操作する。これらのアイコンを操作した際の音程を上げ下げする間隔度合については、例えば１音あるいは半音程度であればよいし、音価を伸縮する間隔度合についても、予め決めておけばよい。

また、「再生」アイコン５５は、修正指示スケール５６によって指定した修正箇所を修正してＭＩＤＩデータを再演奏させる際に操作する。再演奏する際の演奏速度（テンポ）は、修正箇所が加わる前に比べて遅くするようにしておけば、再演奏した際に、修正された再演奏の内容をユーザが理解し易くなる。

図３（ｂ）は、ユーザが楽譜５０に対する修正箇所及び修正方法を指定した場合の表示例を模式的に示す説明図である。図３（ｂ）に示すように、修正指示スケール５６における複数箇所が塗りつぶされており、これがそれぞれ修正マークに相当する。そして、この修正マークが付された目盛りに対応する音符が、それぞれ楽譜５０の修正箇所である。

また、修正指示スケール５６における各修正マークの下には、当該修正箇所に対する修正方法が付記されており、例えばユーザが「下げる」アイコン５２を操作した修正箇所には「下げる」、「延ばす」アイコン５４を操作した修正箇所には「延ばす」とそれぞれ付記されている。また、ユーザが修正方法を何も指定しなかった修正箇所に対しては、修正方法が「自動」と表示され、この修正箇所に対する修正方法は自動で選択される。

ユーザによる修正箇所及び修正方法の指定が完了し、「再生」アイコン５５が押下されると、これらの修正箇所を修正したＭＩＤＩデータの再演奏が行われる。
図２のフローチャートの説明に戻る。Ｓ１５０における修正箇所及び修正方法の指定が完了し、「再生」アイコン５５が押下されると、まず、表示中の楽譜５０について、楽譜の先頭から１つ目の修正箇所を指定の修正方法に従って修正し、これを修正済み箇所として強調表示する（Ｓ１６０）。なお、修正方法が「自動」に指定されている場合、所定の順序の修正方法を順次選択したり、ランダムで修正方法を設定したり、あるいはＭＩＤＩデータを分析して他の旋律と調和するように修正方法を適宜選択するように構成することが考えられる。つづいて、メモリに記憶されているＭＩＤＩデータについて、楽譜５０における修正済み箇所に対応するデータを修正し、この修正したＭＩＤＩデータのうち、ＭＩＤＩデータの先頭から当該修正済み箇所の次の修正箇所の１音手前までのＭＩＤＩデータを再演奏する（Ｓ１７０）。

ここで、Ｓ１６０及びＳ１７０の処理の具体例について説明する。まず初めに、上述の図３（ｂ）で示した修正箇所及び修正方法の指示に対して、Ｓ１６０及びＳ１７０で修正箇所に対する最初の修正を実行した場合の態様を図４（ａ）に示す。図４（ａ）に示すように、修正指示スケール５６における先頭の修正マークに該当する音符が、指示された修正方法のとおり元の音程から１音下げられることによって修正されている。さらに、そこが修正済み箇所として他の音符と区別され強調表示されている。このとき、Ｓ１７０で再演奏されるＭＩＤＩデータの範囲は、図４（ａ）の下部に示すように、ＭＩＤＩデータの先頭から、当該修正済み箇所の次の修正マークが付された修正箇所である「ファ」の１音手前までとなる。

図２のフローチャートの説明に戻る。Ｓ１７０で修正後のＭＩＤＩデータの再演奏を行った後、当該修正済み箇所に対する承認をユーザから受け付ける（Ｓ１８０）。ここではユーザは、修正されたＭＩＤＩデータの再演奏を聴いた結果、この修正済み箇所が自分のイメージする楽曲の旋律に適合すると判断すれば、この修正済み箇所を承認する旨の操作指示を、操作１８又はリモコン端末２を介して入力する。一方、この修正済み箇所が自分のイメージする楽曲の旋律に適合しないと判断すれば、この修正済み箇所を承認しない旨の操作指示を入力する。

ここで、当該修正済み箇所を承認しない旨の指示が入力された場合（Ｓ１８０：ＮＯ）、この修正済み箇所に対する別の修正方法を選択する指示をユーザから受け付ける（Ｓ１９０）。修正方法の選択については、操作部１８又はリモコン端末２を用いて、画面上の「上げる」、「下げる」、「延ばす」、「縮める」の各アイコン５１〜５４を操作することによって行う。そして、選択された修正方法に基づいて、再度Ｓ１６０による楽譜５０の修正と、Ｓ１７０によるＭＩＤＩデータの再演奏を行う。

一方、Ｓ１８０で、当該修正済み箇所を承認する旨の指示が入力された場合（Ｓ１８０：ＹＥＳ）、当該修正済み箇所を修正箇所の指定から解除して通常の状態へ戻し、Ｓ１７０で再演奏した範囲（すなわち、ＭＩＤＩデータの先頭から次の修正箇所の１音手前までの範囲）のＭＩＤＩデータを検索キーとして、この再演奏範囲のＭＩＤＩデータで示される旋律に適合するカラオケ楽曲をＨＤＤ１６のデータベース内から検索する（Ｓ２００）。ＭＩＤＩデータを検索キーとするカラオケ楽曲の検索は、例えば旋律の一致度合が一定値を超えるカラオケ楽曲を検索候補の楽曲として全て抽出するようにする。そして、検索によって抽出された各検索候補の楽曲に対応する楽曲情報をＨＤＤ１６から取得し、この楽曲情報に基づいて、検索結果の一覧をモニタ３６に表示する（Ｓ２１０）。

ここで、Ｓ２１０で表示される検索結果の具体例について説明する。まず初めに、上述の図４（ａ）で示した最初の修正時における再演奏範囲のＭＩＤＩデータを検索キーとして検索を実行した場合を想定した検索結果の表示態様を図５（ａ）に示す。図５（ａ）に示すように、モニタ３６には検索結果の一覧として、検索候補の楽曲の一覧を示すエリアである候補曲一覧６０と、各検索候補の楽曲に対する行動（アクション）をユーザが指定するためのアイコンを配置したエリアであるアクションリスト６１とが表示されている。候補曲一覧６０には、各カラオケ楽曲のジャンル、タイトル、歌手名が表示されている。また、アクションリスト６１には、各検索候補の楽曲を試聴することを指示するための「試聴」アイコン６１ａと、各検索候補の楽曲を演奏楽曲又は演奏を予約する楽曲として選択するための「選曲実行」アイコン６１ｂとが備えられている。ユーザは、操作部１８又はリモコン端末２のカーソルキー等を操作して、アイコンを反転表示させるカーソル６２を所望のアイコンの位置まで移動させ、そこで決定ボタンを押下することで、そのアイコンに対応するアクションをカラオケ装置１に対して指示できる（以下、このような操作を単に「アイコンを押下する」などと表記する）。例えば、ユーザが所望の検索候補の楽曲に対応する「試聴」アイコン６１ａを押下した場合、そのカラオケ楽曲の一部が演奏される。このとき、検索キーとして用いたＭＩＤＩデータに適合すると判定された部分を演奏するように構成するとよい。また、ユーザが所望の検索候補の楽曲に対応する「選曲実行」アイコン６１ｂを押下した場合、そのカラオケ楽曲が演奏楽曲又は演奏を予約する楽曲として登録される。

なお、図５（ａ）で示す事例では、検索候補の楽曲が５８１曲もあるため、候補曲一覧６０には全ての検索候補の楽曲の情報を一度に表示できない。そこで、１画面上で表示できない分の検索結果を表示させる場合は、「次のページ」と表示されているアイコン６３を押下することで、候補曲一覧６０の表示を次のページへと進めることができる。

さらに、現在の検索結果の一覧からの更なる絞込みを行うことをユーザが指示するための「再検索」アイコン６４が設けられている。この「再検索」アイコン６４が押下されることで、楽譜５０に対して前回の修正箇所から更に次の修正箇所を修正した上で、この修正箇所を含むＭＩＤＩデータを検索キーとする再検索が実行される。

図２のフローチャートの説明に戻る。Ｓ２１０で検索結果の一覧を表示した後、検索結果の一覧の中から演奏楽曲が選択されたか否かを判定する（Ｓ２２０）。すなわち、ここでは検索結果一覧の表示画面において、何れかの検索候補の楽曲に対応する「選曲実行」アイコン６１ｂが押下されたか、あるいは「再検索」アイコン６４が押下されたかを判定する。ここで、「再検索」アイコン６４が押下されたと判定した場合（Ｓ２２０：ＮＯ）、Ｓ１６０へ移行し、前回の修正済み箇所の次の修正箇所を指定の修正方法に従って修正し、これを修正済み箇所として強調表示する。つづいて、メモリに記憶されているＭＩＤＩデータについて、楽譜５０における修正済み箇所に対応するデータを修正し、この修正したＭＩＤＩデータのうち、ＭＩＤＩデータの先頭から当該修正済み箇所の次の修正箇所の１音手前までのＭＩＤＩデータを再演奏する（Ｓ１７０）。

ここで、Ｓ１６０及びＳ１７０の処理による２回目の修正の具体例について説明する。上述の図４（ａ）に示す最初の修正から続いて、２回目の修正を実行した場合の態様を図４（ｂ）に示す。図４（ｂ）に示すように、修正指示スケール５６において前回の修正箇所の指定は解除されており、楽譜５０における当該箇所の音符は前回の修正後の位置のまま通常表示されている。そして、修正指示スケール５６で新たに先頭となった修正マークに該当する音符が、元の音程から２音下げられることによって修正されている。さらに、そこが新たに修正済み箇所として他の音符と区別され強調表示されている。このとき、再演奏されるＭＩＤＩデータの範囲は、図４（ｂ）の下部に示すように、ＭＩＤＩデータの先頭から、新たな修正済み箇所の次の修正マークが付された修正箇所である「ファ」の１音手前までとなる。

そして、修正後のＭＩＤＩデータの再演奏を行った後、Ｓ１８０で再び当該修正済み箇所に対する承認をユーザから受け付ける。そして、この修正済み箇所が承認された場合、当該修正済み箇所を修正箇所の指定から解除して通常の状態へ戻し、ＭＩＤＩデータの先頭から次の修正箇所の１音手前までのＭＩＤＩデータを検索キーとし、この再演奏範囲のＭＩＤＩデータで示される旋律に適合するカラオケ楽曲をＨＤＤ１６のデータベース内から再検索する（Ｓ２００）。そして、検索によって抽出された各カラオケ楽曲に対応する楽曲情報をＨＤＤ１６から取得し、この楽曲情報に基づいて検索結果の一覧をモニタ３６に再表示する（Ｓ２１０）。

ここで、Ｓ２１０で表示される２回目の検索結果の具体例について説明する。上述の図４（ｂ）で示した２回目の修正時における再演奏範囲のＭＩＤＩデータを検索キーとして検索を実行した場合を想定した検索結果の表示態様を図５（ｂ）に示す。１回目の検索時よりも検索キーであるＭＩＤＩデータの範囲が長くなったことで、図５（ｂ）に示す検索結果の一覧では検索候補の楽曲が、１回目の検索結果（図５（ａ）参照）の５８１曲から６曲にまで絞り込まれている。

この状態から更に「再検索」アイコン６４が押下されると（図２のＳ２２０：ＮＯ）、３回目の修正及び再演奏が行われる。上述の図４（ｂ）に示す２回目の修正から続いて、３回目の修正を実行した場合の態様を図４（ｃ）に示す。図４（ｃ）に示すように、修正指示スケール５６において前回の修正箇所の指定は解除されており、楽譜５０における当該箇所の音符は修正後の位置のまま通常表示されている。そして、修正指示スケール５６で新たに先頭となった修正マークに該当する音符が、元の音価から１目盛分延ばされることによって修正されている。さらに、そこが新たに修正済み箇所として他の音符と区別され強調表示されている。なお、本事例においては修正箇所がこれで最後であるため、再演奏されるＭＩＤＩデータの範囲は、ＭＩＤＩデータの先頭から最後までとなる。

そして、修正後のＭＩＤＩデータの再演奏を行った後、Ｓ１８０で再び当該修正済み箇所に対する承認をユーザから受け付ける。そして、この修正済み箇所が承認された場合、当該修正済み箇所を修正箇所の指定から解除して通常の状態へ戻し、ＭＩＤＩデータの先頭から最後まで範囲を検索キーとし、このＭＩＤＩデータで示される旋律に適合するカラオケ楽曲をＨＤＤ１６のデータベース内から再検索する（Ｓ２００）。そして、検索によって抽出された各カラオケ楽曲に対応する楽曲情報をＨＤＤ１６から取得し、この楽曲情報に基づいて検索結果の一覧をモニタ３６に再表示する（Ｓ２１０）。

ここで、Ｓ２１０で表示される３回目の検索結果の具体例について説明する。上述の図４（ｃ）で示した３回目の修正時における再演奏範囲によって検索を実行した場合を想定した検索結果の表示態様を図５（ｃ）に示す。２回目の検索時よりも検索キーであるＭＩＤＩデータの範囲が更に長くなったことで、図５（ｃ）に示す検索結果の一覧では検索候補の楽曲が、２回目の検索結果（図５（ｂ）参照）の６曲から１曲にまで絞り込まれている。

以上のように、指定の修正箇所の修正（Ｓ１６０）、ＭＩＤＩデータの再演奏（Ｓ１７０）、修正箇所の承認（Ｓ１８０）、カラオケ楽曲の検索（Ｓ２００）、検索結果の表示（Ｓ２１０）の一連の処理を複数回繰り返すことで、図５（ａ）〜（ｃ）で示す事例のように検索結果の件数が次第に絞り込まれていく。その過程における何れかの段階において、検索候補の楽曲の一覧の中からユーザの所望する楽曲に対応する「選曲実行」アイコン６１ｂが押下されることで（図２のＳ２２０：ＹＥＳ）、当該カラオケ楽曲を演奏楽曲又は演奏を予約する楽曲として登録し（Ｓ２３０）、「楽曲検索処理」を終了する。

［３．効果］
上記実施形態のカラオケ装置１によれば、以下のような効果を奏する。
（１）ユーザによって入力された歌声やハミング、鼻歌等といった歌唱音声をＭＩＤＩデータへと変換し、このＭＩＤＩデータに対応する楽譜を表示すると共に、このＭＩＤＩデータに対応する楽音の演奏をユーザに聴かせることで、ユーザの歌唱音声が検索したいカラオケ楽曲のイメージと適合するか否かをユーザ自身が確認することができる。そして、ユーザが自身の歌唱音声の内容を確認した上で、表示された楽譜に対してユーザが箇所を個別に指定することができる。このようにすることで、自身が過去に聴いた楽曲の旋律を頭の中で正確に想像できるが、その想像する旋律のとおりに正確に歌唱できないユーザに対して、ユーザの歌唱音声の旋律を検索したいカラオケ楽曲の旋律へと正確に近づけることができる。

（２）ユーザにより指定された修正箇所については、先頭のものから１箇所ずつ修正するたびに、逐次ＭＩＤＩデータの先頭から当該修正済み箇所の次の修正箇所の直前までの範囲を再演奏する。これにより、修正された箇所が検索したいカラオケ楽曲の旋律に適合するかをユーザが確認し易くなる。そして、ユーザにより個別に指定された箇所を修正するたびに、再演奏範囲のＭＩＤＩデータを検索キーとして検索を行うことで、歌唱音声による楽曲の検索の精度をより向上させることができる。

（３）１回の修正及び検索で多数の楽曲が検索されたりユーザの所望する楽曲が検索できない等によりユーザが検索結果に満足しなければ、次の修正箇所を修正した上で検索キーとなるＭＩＤＩデータを長くして再び検索を行うので、複数回の検索を経ることにより検索結果を効果的に絞り込むことができる。

（４）表示された楽譜に対する修正箇所を指定する際、その修正方法をユーザ自身が指定可能であるので、ユーザが想像する楽曲のイメージのとおりに楽譜を修正できるので好適である。また、ユーザが修正箇所に対する修正方法を指定しない場合は、所定の修正方法に自動的に設定するので、音楽的知識に乏しいユーザであっても、容易に楽譜を修正できるので好適である。

実施形態のカラオケ装置１の概略構成を示すブロック図である。 「楽曲検索処理」の手順を示すフローチャートである。 （ａ）は、ユーザの歌唱音声の旋律を示す楽譜の表示例を模式的に示す説明図であり、（ｂ）は、楽譜に対する修正箇所及び修正方法を指定した場合の表示例を模式的に示す説明図である。 （ａ）は、１番目の修正箇所を修正した際の楽譜の表示態様と再演奏の範囲とを模式的に示す説明図であり、（ｂ）は、２番目の修正箇所を修正した際の楽譜の表示態様と再演奏の範囲とを模式的に示す説明図であり、（ｃ）は、３番目の修正箇所を修正した際の楽譜の表示態様と再演奏の範囲とを模式的に示す説明図である。 検索候補の楽曲の一覧の推移の一例を模式的に示す説明図である。

符号の説明

１…カラオケ装置、２…リモコン端末、１２…制御部、１６…ハードディスク装置（ＨＤＤ）、１８…操作部、２０…赤外線通信部、２２…操作処理部、２６…マイクロフォン、２８…スピーカ、３０…ＭＩＤＩ音源、３２…ビデオＲＡＭ、３４…映像再生装置、３６…モニタ、３８…映像制御部、４０…メモリ

Claims (5)

1. ユーザの歌唱音声を入力する音声入力手段と、
   前記音声入力手段により入力された歌唱音声の旋律を演奏データに変換する変換手段と、
   前記変換手段により変換された演奏データに基づき、この演奏データの楽譜を表示部に表示させる楽譜表示制御手段と、
   前記楽譜表示制御手段による楽譜の表示と共に、前記演奏データに基づいて演奏を行う演奏手段と、
   前記楽譜表示制御手段により前記表示部に表示された楽譜に対する複数の修正箇所を特定する修正指示をユーザから受け付ける修正指示受付手段と、
   前記修正指示受付手段により受け付けた修正指示で示される前記楽譜の複数の修正箇所のうち、未修正でかつ先頭に近いものから１箇所修正し、この修正箇所を修正済み箇所とする楽譜修正手段と、
   前記楽譜修正手段による前記楽譜の修正と併せて、当該修正済み箇所の楽譜に対応するデータを修正した演奏データのうち、当該修正済み箇所を少なくとも含み、当該修正済み箇所以降の修正箇所は含まない所定の再演奏範囲に該当する演奏データの旋律に適合する楽曲を検索する検索手段と、
   前記検索手段による検索結果をユーザに対して提示する検索結果提示手段とを備え、
   前記検索結果提示手段による検索結果の提示後に再検索を行う旨の指示をユーザから受け付けた場合、前回修正した修正箇所の次の１つの修正箇所を前記楽譜修正手段により更に修正し、次の１つの修正箇所を修正した演奏データのうち、当該次の１つの修正済み箇所を少なくとも含み、当該次の１つの修正済み箇所以降の修正箇所は含まない再演奏範囲に該当する演奏データに適合する楽曲を前記検索手段により検索し、前記検索結果提示手段により検索結果を提示させること
   を特徴とする楽曲検索装置。
2. 請求項１に記載の楽曲検索装置において、
   前記楽譜修正手段による前記楽譜の修正と併せて、当該修正済み箇所の楽譜に対応するデータを修正した演奏データのうち、当該修正済み箇所を少なくとも含み、当該修正済み箇所以降の修正箇所は含まない所定の再演奏範囲の演奏データを再演奏する再演奏手段を更に備え、
   前記再演奏手段は、当該修正箇所に対応する箇所を修正した演奏データのうち、この演奏データの先頭から当該修正済み箇所の次の修正箇所の直前までの範囲の演奏データを前記再演奏範囲として再演奏すること
   を特徴とする楽曲検索装置。
3. 請求項１又は請求項２に記載の楽曲検索装置において、
   前記修正指示受付手段は、前記楽譜の修正箇所に対する修正方法をユーザからの指示により設定可能に構成されており、
   前記楽譜修正手段は、前記修正指示受付手段を介して設定された修正方法で前記修正箇所を修正すること
   を特徴とする楽曲検索装置。
4. 請求項１又は請求項２に記載の楽曲検索装置において、
   前記修正指示受付手段により受け付けた修正指示で示される修正箇所に対する修正方法を所定の修正方法に自動的に設定し、
   前記楽譜修正手段は、前記自動的に設定された修正方法で前記修正箇所を修正すること
   を特徴とする楽曲検索装置。
5. ユーザにより入力された音声を用いてユーザの所望する楽曲を検索する楽曲検索装置に用いられるコンピュータを制御するためのプログラムであって、
   ユーザの歌唱音声を入力する第１ステップと、
   前記第１ステップにより入力された歌唱音声の旋律を演奏データに変換する第２ステップと、
   前記第２ステップにより変換された演奏データに基づき、この演奏データの楽譜を表示部に表示させる第３ステップと、
   前記第３ステップにより前記表示部に表示された楽譜に対する複数の修正箇所を特定する修正指示をユーザから受け付ける第４ステップと、
   前記第４ステップにより受け付けた修正指示で示される前記楽譜の複数の修正箇所のうち、未修正の修正箇所を先頭のものから１箇所修正し、この修正箇所を修正済み箇所とする第５ステップと、
   前記第５ステップによる修正と併せて、当該修正済み箇所の楽譜に対応するデータを修正した演奏データのうち、当該修正済み箇所を少なくとも含み、当該修正済み箇所以降の修正箇所は含まない所定の再演奏範囲の演奏データの旋律に適合する楽曲を検索する第６ステップと、
   前記第６ステップにより検索された検索結果をユーザに対して提示する第７ステップとを備え、
   前記第７ステップによる検索結果の提示後に再検索を行う旨の指示をユーザから受け付けた場合、前回修正した修正箇所の次の１つの修正箇所を更に修正し、次の１つの修正箇所を修正した演奏データのうち、当該次の１つの修正済み箇所を少なくとも含み、当該次の１つの修正済み箇所以降の修正箇所は含まない再演奏範囲に該当する演奏データに適合する楽曲を検索し、検索結果を提示する第８ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images