JP4024440B2

JP4024440B2 - 曲検索システムのデータ入力装置

Info

Publication number: JP4024440B2
Application number: JP34036899A
Authority: JP
Inventors: 朋久姫野
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 1999-11-30
Filing date: 1999-11-30
Publication date: 2007-12-19
Anticipated expiration: 2019-11-30
Also published as: JP2001155031A

Description

【０００１】
【発明の属する技術分野】
本発明は、マイクから入力されたメロディにより所望の曲を検索する曲検索システムのデータ入力装置に関する。
【０００２】
【従来の技術】
従来、カラオケでは、曲毎に固有の番号を付加しておき、曲名や歌手名から曲の番号を探すことができるようにした冊子を用いて所望の曲を選択できるようにしている。
しかし、曲名がわからない場合や冊子が手元にない場合は所望の曲を探すことができない。そこで、歌声、鼻歌、ハミング又は楽器音等（以下、単に「メロディ」という）をマイクから入力し、曲データベースに収録された多数の曲データから所望の曲を検索することが提案されている。
【０００３】
例えば、特開平８−１２９３９３号公報には、マイクから入力されたメロディを旋律データ（音程の経時的変化を表わす数値データ）に変換し、曲データベースに収録された曲の旋律データと比較することにより曲を検索することが記載されている。また、特開平９−２９３０８３号公報には、マイクから入力されたメロディを音程データ及びリズムデータに変換し、曲データベースに収録された曲の音程データ及びリズムデータとを比較して、１小節毎に類似率を算出することが記載されている。更に、特開平８−１６０９７５号公報には、マイクから入力されたメロディの音程の相対的変化を求め、曲データベースに収録された曲の音程の相対的変化と比較して曲を検索することが記載されている。いずれの場合も、入力されたメロディの音程が収録曲の音程と完全に一致していなくても、検索が可能になっている。
【０００４】
【発明が解決しようとする課題】
上述した従来の曲検索システムでは、ユーザが思った通りのメロディを再現するデータにはなりにくいという欠点がある。
例えば、人間の歌声にはグリッサンド（glissando ）といわれる音程のスムーズな変化（中間音の発声）がある。このため、従来のシステムでは、ある音程から次の音程に移る際に、中間の音程の音があると認識してしまうことがある。また、メロディを入力中に瞬間的にノイズ音が入ることがある。そのような場合、従来の曲検索システムでは、ノイズ音もメロディの一部と認識してしまう。
【０００５】
マイクから入力されたメロディに基づいてデータを作成し、後でデータを編集することも考えられる。例えば、ＭＩＤＩ（musical instrument digital interface）を使用したＤＴＭ（desktop music ）システムでは、入力されたデータを音譜等の形式で画面に表示し、ユーザが、画面に表示された音譜等を見ながらデータを自由に修正することができる。
【０００６】
しかしながら、カラオケ等では、ユーザが画面を見ながらデータを編集することは現実的ではない。従って、従来の曲検索システムでは、入力されたデータをユーザが修正することなく、不適切な音（ノイズ成分）を含む曖昧なメロディのデータで検索することになるため、検索曲数が多くなれば多くなるほど、曲数を絞り込むことが難しい。
【０００７】
以上から本発明の目的は、マイクから入力されたメロディに基づいてデータを作成し、更にそのデータを自動的に調整して、曲検索精度を高めることができる曲検索システムのデータ入力装置を提供することである。
【０００８】
【課題を解決するための手段】
上記した課題は、音を電気的な信号に変換する音入力手段と、前記音入力手段から出力される信号を、予め設定された複数の基準音のうちから選択された特定の音程の基準音の音程値に変換する音程値変換手段と、前記音程値変換手段から出力される音程値に応じた音程の音を出力する音出力手段、及び前記音程値変換手段から出力される音程値のデータから表示データを作成して表示装置に入力音の音程を示す画像を表示する表示手段のうちの少なくとも一方の手段と、前記音程値変換手段から出力される音程値のデータからノイズ成分を抽出し、該ノイズ成分の音程を調整して、前又は後の音の音程値のデータと連結する音程調整手段とを有し、前記音程調整手段は、（ｉ）注目する音の前の音及び後の音の音程が等しく、前記前の音の終了時間と前記後の音の始まり時間との差Δｓと、前記前の音の音程と前記注目する音の音程との差Δｔとの積Δｔ・Δｓの絶対値が所定値以下の場合に、前記注目する音を前記ノイズ成分とし、（ ii ）前記注目する音と前記前の音との音程が異なり、かつ、前記注目する音の始まり時間と前記前の音の始まり時間との差Δｓと、前記注目する音の音程と前記前の音の音程との差Δｔとの積Δｔ・Δｓの絶対値が前記所定値以下の場合に、前記注目する音を前記ノイズ成分とし、（ iii) 前記注目する音と前記後の音との音程が異なり、かつ、前記注目する音の終了時間と前記後の音の終了時間との差Δｓと、前記注目する音の音程と前記後の音の音程との差Δｔとの積ｔ・Δｓの絶対値が前記所定値以下の場合に、前記後の音を前記ノイズ成分とすることを特徴とする曲検索システムのデータ入力装置により解決する。
【０００９】
なお、本発明において基準音とは、音階の基準となる音程（音高）の音をいう。例えは、半音を１単位とすると、１オクターブは１２の基準音からなる。
【００１０】
本発明のデータ入力装置においては、マイク等の音入力手段から出力される信号を、音程値変換手段により音程値に変換する。そして、音程調整手段は、音程値変換手段から出力される音程値のデータからノイズ成分を抽出し、そのノイズ成分の音程値を調整して、前又は後の音のデータと連結する。
【００１１】
なお、ノイズ成分とは、例えば瞬間的なノイズ音やグリッサンド、及びユーザ自身の入力間違い等に起因するデータであり、これらのノイズ成分を除去することにより、曲検索の精度を向上させることができる。
【００１３】
これらのノイズ成分は、一般的に発音時間が極めて短い。従って、例えば注目する音の前の音及び後の音の音程が等しく、前記前の音の終了時間と前記後の音の始まり時間との差Δｓと、前記前の音の音程と前記注目する音の音程との差Δｔの積Δｔ・Δｓの絶対値が所定値以下の場合に、前記注目する音を前記ノイズ成分として抽出することができる。
【００１４】
また、例えば、注目する音と前の音との音程が異なり、かつ、前記注目する音の始まり時間と前記前の音の始まり時間との差Δｓと、前記注目する音の音程と前記前の音の音程との差Δｔの積Δｔ・Δｓの絶対値が所定値以下の場合に、前記前の音を前記ノイズ成分として抽出することができる。
更に、例えば、注目する音と後の音との音程が異なり、かつ、前記注目する音の終了時間と後の音の終了時間との差Δｓと、前記注目する音の音程と前記後の音の音程との差Δｔの積Δｔ・Δｓの絶対値が所定値以下の場合に、前記後の音を前記ノイズ成分として抽出することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、添付の図面を参照して説明する。
図１は、本発明の実施の形態の曲検索システムの入力装置の構成を示すブロック図である。
この入力装置は、マイク１１と、音程値変換装置１２と、音程値出力装置１３と、スピーカー１４と、表示データ作成装置１５と、ＣＲＴ等の表示装置１６と、音程調整装置１７とにより構成されている。
【００１８】
マイク１１に到達した音は、電気信号に変換されて音程値変換装置１２に入力される。音程値変換装置１２は入力されたアナログの電気信号をＡ／Ｄ（アナログ／デジタル）変換し、その後例えば高速フーリエ変換（Fast Fourier Transform）してデジタルの信号に変換する。そして、このデジタル信号と基準音とを比較し、最も近い基準音の音程に設定する。なお、本実施の形態において、基準音は、半音を１単位として１オクターブを１２分割することにより決まる音階の音とする。
【００１９】
音程値出力装置１３にはＭＩＤＩ音源が内蔵されており、所望の楽器音で音程値変換装置１２から出力されたデータに対応する音程（音高）の信号をスピーカー１４に出力する。すなわち、ユーザがマイク１１の前で歌を歌うと、スピーカー１４からは所望の楽器音でユーザの歌ったメロディが出力される。この処理はリアルタイムで行われ、ユーザはスピーカー１４から出力される音により、自分の歌の音程を確認することができる。
【００２０】
また、音程値出力装置には、一定の時間間隔で発音するメトロノーム信号発生機能が内蔵されている。これにより、スピーカー１４から一定のテンポでメトロノーム音が出力される。入力時のテンポは、各個人によって揺らぎが大きく、メロディのテンポがずれてしまうと正確な曲検索ができなくなる。このため、本実施の形態では予め数種類のテンポを用意しておき、ユーザが歌うときの補助リズムとして発音することにより、入力時のテンポのずれを防止している。
【００２１】
一方、表示データ作成装置１５は、音程値変換装置１２から出力された信号に基づいて表示データを作成し、表示装置１６に入力音の音程を視覚的に示す画像を表示する。音程を視覚的に表示する方法としては、例えばピアノロール形式による表示がある。この場合、ユーザの歌うメロディに合わせてピアノロールにデータが追加され、データ量が表示範囲を超えるとピアノロールがスクロールする。ユーザは、このピアノロールを見ても、自分の歌の音程を確認することができる。
【００２２】
音程調整装置１７は、表示データ作成装置１５で作成されたデータを保存し、マイク１１からのメロディ入力が終了した後、後述するアルゴリズムにしたがってデータを調整する。この音程調整装置１７により、例えばノイズ音やグリッサンド等に起因するノイズ成分を含むデータが調整され、曲検索用のデータとなる。音程調整後のデータは、表示装置１６に表示される。
【００２３】
なお、本実施の形態の入力装置は、マイクロコンピュータと該マイクロコンピュータの動作を決めるソフトウエアとにより実現される。例えば、図２（ａ）は、パソコンで本実施の形態の入力装置を構成した例を示す図である。パソコン１８は、Ａ／Ｄコンバータ及びＤ／Ａコンバータを有するインターフェースを内蔵しており、これらのインターフェースを介してマイク１１及びスピーカー１４に接続される。パソコン１８には、後述する曲検索システムの入力データ処理方法を実現するためのプログラムが組み込まれている。前述の音程値変換装置１２、音程値出力装置１３、表示データ作成装置１４及び音程調整装置１７は、パソコン１８に組み込まれたハードウエアとソフトウエアとにより構成される。
【００２４】
また、スピーカー１４とマイク１１との距離が短いと、ハウリングが発生する。このため、マイク１１には単一指向性のものを使用し、スピーカー１２から離れた位置に設置することが好ましい。ハウリングを防止するためには、スピーカー１４に替えて、図２（ｂ）に示すようにヘッドホン１９を使用してもよい。
以下、上記した本実施の形態の入力装置による入力データ処理方法について説明する。
【００２５】
本実施の形態では、マイク１１から入力されたメロディに基づいてデータを作成するデータ作成処理と、作成されたデータに含まれるノイズ成分を除去するデータ調整処理とを行う。まず、データ作成処理について説明する。
（１）データ作成処理
本実施の形態のデータ入力装置は、表示装置１６に、例えば図３に示すような画面を表示している。図３において、２１は入力されたデータをピアノロール形式で表示する表示領域、２２はテンポ調整ダイヤル、２３は録音ボタン、２４は再生ボタン、２５は消去ボタン、２６は頭出しボタンである。
【００２６】
図４はデータ作成処理を示すフローチャートである。
図３に示す画面でユーザが録音ボタン２３を押す（クリックする）と、マイク１１からのメロディの取り込みが開始される。すなわち、図４に示すフローチャートにしたがって、まず、ステップＳ１１において、初期化を実行し、データＴｓの格納領域をクリア（Ｔｓ＝０）する。また、ステップＳ１２において、音程値出力装置１３がメトロノーム音の発音を開始する。これにより、スピーカー１４から一定の間隔でメトロノーム音が出力される。メトロノーム音の発音間隔は、図３に示す画面でテンポ調整ダイヤル２２により調整することができる。
【００２７】
次に、ステップＳ１３において、マイク１１からのメロディ（音）の入力を監視し、マイク１１からのメロディの入力が開始されると、ステップＳ１４に移行する。ステップＳ１４では、ピアノロール形式でのデータの表示を開始する。また、ステップＳ１５において、マイク１１から入力された音に対応する音程の楽器音（参照音）をスピーカー１４から出力する。
【００２８】
すなわち、音程値変換装置１２は、マイク１１から入力された音を例えば高速フーリエ変換して、入力音の周波数を検出する。そして、入力音の音程（周波数）と基準音の音程（周波数）と比較して、入力音の音程を、最も近い基準音の音程に設定する。音程値出力装置１３は、音程値変換装置１２で設定された基準音の音程から参照音の音程を決め、予め設定された楽器（例えば、ピアノ、オルガン又はギターなど）の音色の信号をスピーカー１４に出力する。これにより、スピーカー１４から所定の楽器音による参照音が出力される。但し、入力音の音程が前回入力された音の音程と等しいときは、既に参照音が出力されているため、新たな参照音の出力は行わない。また、マイク１１からの信号がないとき（無音のとき）は、無音を示すデータＴ（０）とする。
【００２９】
スピーカー１４からの参照音の出力と同時に、表示データ作成装置１５は、音程値変換装置１２で設定された入力音の音程に基づいて表示データを作成し、表示装置１６にピアノロール形式で表示する。
ユーザは、表示装置１６に表示されたピアノロールやスピーカー１４から出力された参照音により、自分の歌の音程をリアルタイムで確認し、調整することができる。
【００３０】
次に、ステップＳ１６において、入力音のデータＴを保存する（ＴS ←Ｔ）。入力装置は、これらのデータを時系列で保存していく。なお、入力音のデータには、その音の音程ｔ、始まり時間ｓ及び継続時間ｃが含まれる。
次に、ステップＳ１７において、録音ボタン２３が押されてから２０秒以上経過したか、メロディが入力開始されてから１０秒以上経過したか、及び録音が解除されたか（録音ボタン２３が再度押されたか）を調べる。録音ボタン２３が押されてから２０秒以上経過した場合、メロディが入力開始されてから１０秒以上経過した場合、及び録音解除された場合のいずれかに該当するときは、ステップＳ１８に移行する。これらのいずれにも該当しない場合は、ステップＳ１５に戻って処理を継続する。
【００３１】
ステップＳ１７からステップＳ１８に移行した場合は、入力処理を停止する。すなわち、マイク１１からメロディの取り込みを停止するとともに、メトロノーム音の発生を停止する。また、ピアノロールへのデータの追加も停止する。
そして、ステップＳ１９に移行し、一連のデータＴs をデータ列としてＤ（Ｉ）（但し、Ｉ＝１，２，３，…）として保存する。これにより、データの入力処理は完了する。
【００３２】
このようにして入力されたデータ（データ列）には、ノイズ音等の不適切な音のデータ（ノイズ成分）が含まれている。マイク１１から入力されたメロディに基づくデータを音楽検索用データとして使用するためには、これらのデータからノイズ成分を除去して、検索に適したデータに調整する必要がある。以下、入力データの調整処理について説明する。
【００３３】
（２）入力データの調整処理
図５は、入力データの調整処理を示すフローチャートである。
まず、ステップＳ２１において、挟まれた微小データの調整を行う。すなわち、図６に示すように、（Ｉ−１）番目の音の音程Ｄｔ（Ｉ−１）と（Ｉ＋１）番目の音の音程Ｄｔ（Ｉ＋１）とが等しく、かつ、（Ｉ−１）番目の音の音程Ｄｔ（Ｉ−１）とＩ番目の音程Ｄt （Ｉ）との差Δｔと、（Ｉ＋１）番目の音の開始時間Ｄｓ（Ｉ＋１）と（Ｉ−１）番目の音の終了時間Ｄs+c （Ｉ−１）との差Δｓとの積Δｔ・Δｓの絶対値、換言すると図６にＭで示す部分の面積が所定の値Ｃ1 よりも小さいときは、Ｉ番目の音の音程を、（Ｉ−１）番目の音の音程と同じとする。このようにして、最初の音と最後の音とを除き、データ列全体から挟まれた微小データを検出して、その音程を調整する。
【００３４】
次に、ステップＳ２２において、同一音の連結を行う。すなわち、データ列全体に対して、同じ音程で連続し、かつ、その接続時間Ｔが所定の値Ｃ2 よりも短い場合は、図７に示すように、（Ｉ−１）番目のデータ、Ｉ番目のデータ及び（Ｉ＋１）番目のデータを連結する。これにより、２つの音の間に挟まれた微小な音によるノイズ成分が除去される。
【００３５】
次に、ステップＳ２３において、前に接続する微小データの調整を行う。すなわち、図８に示すように、Ｉ番目の音の音程Ｄｔ（Ｉ）と（Ｉ−１）番目の音の音程Ｄｔ（Ｉ−１）とが異なり、かつ、Ｉ番目の音の開始時間Ｄｓ（Ｉ）と、（Ｉ−１）番目の音の開始時間Ｄｓ（Ｉ−１）との差ΔＳと、Ｉ番目の音の音程Ｄｔ（Ｉ）と（Ｉ−１）番目の音の音程Ｄｔ（Ｉ−１）との差Δｔとの積Δｔ・Δｓの絶対値、換言すると図８にＭで示す部分の面積が所定の値Ｃ1 よりも小さいときは、（Ｉ−１）番目の音の音程を、Ｉ番目の音の音程と同じとする。このようにして、最初の音を除き、データ列の全体から前に接続する微小データを検出して、その音程を調整する。
【００３６】
次に、ステップＳ２４において、同一音の連結を行う。すなわち、データ列全体に対して、同じ音程で連続し、かつ、その接続時間Ｔが極めて短い場合（所定の値Ｃ2 よりも小さい）場合は、図９に示すように、（Ｉ−１）番目のデータをＩ番目のデータに連結する。これにより、前に接続する微小な音によるノイズ成分が除去される。
【００３７】
次に、ステップＳ２５において、後に接続する微小データの調整を行う。すなわち、図１０に示すように、Ｉ番目の音の音程Ｄｔ（Ｉ）と（Ｉ＋１）番目の音の音程Ｄｔ（Ｉ＋１）とが異なり、かつ、Ｉ番目の音の終了時間Ｄs+c （Ｉ）と（Ｉ＋１）番目の音の終了時間Ｄs+c （Ｉ＋１）との差Δｓと、Ｉ番目の音の音程Ｄｔ（Ｉ）と（Ｉ＋１）番目の音の音程Ｄｔ（Ｉ＋１）との差Δｔとの積Δｔ・Δｓの絶対値、換言すると図１０にＭで示す部分の面積が所定の値Ｃ1 よりも小さいときは、（Ｉ＋１）番目の音の音程を、Ｉ番目の音の音程と同じとする。このようにして、最後の音を除き、データ列の全体から後に接続する微小データを検出して、その音程を調整する。
【００３８】
次に、ステップＳ２６において、同一音の連結を行う。すなわち、データ列全体に対して、同じ音程で連続し、かつ、その接続時間が極めて短い場合（所定の値Ｃ2 よりも小さい場合）は、図１１に示すように、データを連結する。これにより、後に接続する微小な音によるノイズ成分が除去される。
このようにして本実施の形態では、挟まれた微小データの調整、前に接続する微小データの調整及び後に接続する微小データの調整を行うので、ノイズ成分が除去される。これにより、ユーザの思った通りのメロディを再現するデータが得られる。このデータを使用して曲検索を行うことにより、曲検索システムの検索精度が向上する。また、本実施の形態では、マイクから入力された音を基準音に直してリアルタイムでスピーカー１４又はヘッドホン１９から出力するので、メロディを入力しているときにユーザが音程を確認することができる。更に、本実施の形態においては、メロディを入力する際にメトロノーム音を出力するので、入力時のテンポのずれを防ぐことができる。これにより、ユーザはより正確なメロディを入力することが可能になり、曲検索精度の向上に寄与する。
【００３９】
なお、上記の実施の形態は本発明をカラオケに適用した場合について説明したが、これにより本発明の適用範囲がカラオケに限定されるものではない。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、マイクから入力された音に応じた音程の参照音を出力したり、入力された音の音程を示す画像を表示するので、ユーザは自分の発声の適否を確認しながら、メロディを入力することができる。また、本発明によれば、入力されたデータからノイズ成分を検出して適切なデータに調整するので、ノイズ成分によるデータの曖昧さが排除され、曲検索に適したデータが得られる。
【図面の簡単な説明】
【図１】図１は、本発明の実施の形態の曲検索システムの入力装置の構成を示すブロック図である。
【図２】図２は、実施の形態の曲検索システムの入力装置をパソコンで構成した例を示すずである。
【図３】図３は、データ入力時の画面表示の例を示す図である。
【図４】図４はデータ作成処理を示すフローチャートである。
【図５】図５は、入力データの調整処理を示すフローチャートである。
【図６】図６は、挟まれた微小データの調整を示す模式図である。
【図７】図７は、挟まれた微小データの調整後のデータの連結を示す模式図である。
【図８】図８は、前に接続する微小データの調整を示す模式図である。
【図９】図９は、前に接続する微小データの調整後のデータの連結を示す模式図である。
【図１０】図１０は、後に接続する微小データの調整を示す模式図である。
【図１１】図１１は、後に接続する微小データの調整後のデータの連結を示す模式図である。
【符号の説明】
１１マイク、
１２音程値変換装置、
１３音程出力装置、
１４スピーカー、
１５表示データ作成装置、
１６表示装置、
１７音程調整装置、
１８パソコン、
１９ヘッドホン。

Claims

音を電気的な信号に変換する音入力手段と、
前記音入力手段から出力される信号を、予め設定された複数の基準音のうちから選択された特定の音程の基準音の音程値に変換する音程値変換手段と、
前記音程値変換手段から出力される音程値に応じた音程の音を出力する音出力手段、及び前記音程値変換手段から出力される音程値のデータから表示データを作成して表示装置に入力音の音程を示す画像を表示する表示手段のうちの少なくとも一方の手段と、
前記音程値変換手段から出力される音程値のデータからノイズ成分を抽出し、該ノイズ成分の音程を調整して、前又は後の音の音程値のデータと連結する音程調整手段とを有し、
前記音程調整手段は、
（ｉ）注目する音の前の音及び後の音の音程が等しく、前記前の音の終了時間と前記後の音の始まり時間との差Δｓと、前記前の音の音程と前記注目する音の音程との差Δｔとの積Δｔ・Δｓの絶対値が所定値以下の場合に、前記注目する音を前記ノイズ成分とし、
（ ii ）前記注目する音と前記前の音との音程が異なり、かつ、前記注目する音の始まり時間と前記前の音の始まり時間との差Δｓと、前記注目する音の音程と前記前の音の音程との差Δｔとの積Δｔ・Δｓの絶対値が前記所定値以下の場合に、前記注目する音を前記ノイズ成分とし、
（ iii) 前記注目する音と前記後の音との音程が異なり、かつ、前記注目する音の終了時間と前記後の音の終了時間との差Δｓと、前記注目する音の音程と前記後の音の音程との差Δｔとの積ｔ・Δｓの絶対値が前記所定値以下の場合に、前記後の音を前記ノイズ成分とする
ことを特徴とする曲検索システムのデータ入力装置。
前記音出力手段は、一定のテンポで発音するメトロノーム音を出力可能なことを特徴とする請求項１に記載の曲検索システムのデータ入力装置。