JP3678838B2 - 音声認識によるリズム音発生装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、楽器演奏時等において使用するリズム音源を音声認識により作成することのできるリズム音発生装置に関する。
【０００２】
【従来の技術】
例えば、楽器演奏時等においては所定のリズム音を発生するためにリズムマシーンを使用する。通常、リズムマシーンは太鼓やシンバル等の各種打楽器から発せられるリズム音を電気的に発生させることができ、また、ボリュームつまみ等を調整することによりテンポを任意に設定することができるものである。このような従来から用いられているリズムマシーンにおいては、各種の設定方法によりバスドラム、バスタム、スネアドラム、タムタム、サイドシンバル、ハイハット等各種打楽器の音を所定のテンポで出力することができ、これにより楽器演奏時に各種音楽ジャンルに合ったリズム音を得ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来より使用されているリズムマシーンにおいては、各種の打楽器の出力タイミングやテンポ等を調整しながら好みに合ったリズムを設定する必要があるので、設定操作が面倒であり所望のリズムを得るまでに長時間を要してしまうこともあり、所望のリズム音を容易に設定することのできる装置が望まれていた。
この発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、音声認識により所望のリズム音を生成することのできるリズム音発生装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、本発明は、マイクロフォンから入力されるリズム音声を認識してリズム音信号を生成するリズム音発生装置であって、前記マイクロフォンから入力される音声信号をディジタル化するＡ／Ｄ変換手段と、ディジタル化された音声信号を記憶する音声信号記憶手段と、音声信号が所定のしきい値を越えた際に、この時点より所定時間戻した時点からの音声信号を前記音声信号記憶手段から抽出する音声信号抽出手段と、初期登録設定時には、抽出された音声信号と所望のリズム音信号とを対応させて登録する音声登録手段と、音声認識時には、抽出された音声信号と前記登録されたリズム音信号との一致、不一致を判定して、一致したリズム音信号を取り出す入力音声判定手段と、前記発声者が発声したリズムパターンのタイミングを認識して記憶するリズムパターン記憶手段と、リズム音再生時には、前記取り出されたリズム音を所定のテンポで出力するリズム音出力手段と、を有することが特徴である。
上述の如く構成された本発明によれば、音声により入力されるリズム音はマイクロフォンにより電気信号に変換され、ディジタル化された後音声信号記憶手段にて記憶される。この音声信号記憶手段は、例えばリングバッファーメモリ等により構成されるものであり、ある一定の時間記憶すると上書きにより古いデータが消去されるようになるものを使用することが好ましい。
【０００５】
そして、音声を初期登録する際には、使用者がリズム音を発声するとこの音声波形から特徴部分が抽出され、音声登録手段に記憶される。更に、この音声に対応づけられる楽器音も記憶される。次いで、音声認識時には入力された音声信号から特徴部分が抽出され、登録されているパターンとの間で相互相関演算等によりパターンマッチングが行われ、高い相関係数の得られた登録波形に対応づけられた楽器音を出力する。次いで、使用者が所望のリズムパターンでリズム音を発声すると、リズムパターン記憶手段にてこのリズムパターン及び楽器音が記憶され、リズム音出力手段にて出力される。従って、好みに合ったリズム、楽器音からなるリズム音を容易に作成して出力することができるようになる。
【０００６】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明が適用されたリズム音発生装置の構成を示すブロック図であり、このリズム音発生装置は、操作者が例えば「ドン」，「パン」等、打楽器に対応する音声をマイクロフォンに向かって発生すると、予め登録されているパターンに従って、実際の打楽器のリズム音を出力するものである。
図示のようにこのリズム音発生装置は、操作者の発生音を取り込んで電気信号に変換するマイクロフォン１と、この出力を増幅するアンプ２と、入力された音声信号の帯域を制限するバンドパスフィルタ３と、該バンドパスフィルタ３の出力信号をディジタル信号に変換するＡ／Ｄ変換器４と、ディジタル化された入力信号を上書き方式で所定時間前まで記憶する揮発性メモリ５と、入力信号に含まれる音声の特徴パターンを抽出する等の処理を行うディジタルシグナルプロセッサ（以下、ＤＳＰと略す）７と、抽出された特徴パターン及び該特徴パターンに対応づける楽器音を記憶する不揮発性メモリ６と、を有している。
【０００７】
また、ＤＳＰ７にて抽出された音声のパターンと一致した特徴パターンに対応づけられる楽器音を出力するリズム音発生部８と、この出力信号をアナログ化するＤ／Ａ変換器９と、バンドパスフィルタ１０と、アンプ１１とを有している。更に、出力されるリズム音のテンポを調整するテンポ調整部１３と、当該リズム音発生装置を総括的に制御するＣＰＵ１２と、タイムベースカウンタ１９と、音符メモリ２０と、パネルＬＥＤ設定部１４と、パネルスイッチ設定部１５と、ＭＩＤＩ(Musical Instrument Digital Interface)１８と、シリアル／パラレル変換器１６、パラレル／シリアル変換器１７とを具備している。
【０００８】
パネルＬＥＤ設定部１４は、後述するように、表示パネルに搭載される各ＬＥＤの表示を切り換える操作を行う。パネルスイッチ設定部１５は、表示パネルに搭載される各種モードスイッチの切り換え操作に応じてそれぞれの機能を設定する。タイムベースカウンタ１９は、一定の周期でカウントするカウンタ動作するものであり、音声信号で入力されるリズム音の出力タイミングを認識するものである。音符メモリ２０は、入力された音声信号から認識されたリズム音を記憶するものである。
【０００９】
図２は、ＤＳＰ７の詳細な構成を機能的に示すブロック図であり、同図に示すように、入力されるディジタル信号から特徴を有する部分を抽出する特徴抽出部２１と、抽出された信号と不揮発性メモリ６内に記憶されているパターンとの間で相互相関演算等の手法によりパターンマッチングを行う比較部２２と、比較の結果一致しているかどうかを判定する判定部２３と、から構成されている。
【００１０】
図３は、本実施形態に係るリズム音発生装置の操作パネルの構成を示す説明図であり、同図に示すように、この操作パネルは８個の選択スイッチＳＷ１〜ＳＷ８と、入力する音声を初期設定するモードを選択するための登録スイッチＳＷ９と、入力する音声を認識するモードを選択するための音声認識スイッチＳＷ１０と、リズムパターンを音声により入力しこれを認識するモードを選択するためのリズムパターン音声入力スイッチＳＷ１１と、認識されたリズムパターンでリズム音を出力するモードを選択するリズム音出力スイッチＳＷ１２と、音声入力のスタート／ストップを入力するＳＳスイッチＳＷ１３と、の各種スイッチを有している。また、各スイッチＳＷ１〜ＳＷ１２に対応してそえぞれ動作状況を表示するＬＥＤ１〜ＬＥＤ１３が配置されている。
更に、マイクロフォン１の入力レベルを調整するためのマイクボリューム３１と、出力レベルを調整するための出力ボリューム３２と、テンポを設定するためのテンポボリューム３３を有している。
【００１１】
また、パネルの裏面側には、マイクロフォンのプラグを差し込むためのマイク端子３４と、出力端子３５と、フットスイッチを接続するためのフットスイッチコネクタ３６と、が配設されている。
次に、上記の如く構成された本実施形態に係るリズム音発生装置の動作について説明する。人間により発声された音声の波形は、各個人で異なるものであるので、初期設定として使用者（発声者）の音声をマイクロフォン１にて入力し、この音声に各種楽器音を対応させる処理を行う。まず、図３に示した操作パネルの登録スイッチＳＷ９を押すと、図１に示すパネルスイッチ設定部１５により、登録モードに設定されたことがＣＰＵ１２に通知され、パネルＬＥＤ設定部１５により登録スイッチＳＷ９に対応するＬＥＤ９（図３参照）が点灯する。そして、本実施形態では、８個の選択スイッチＳＷ１〜ＳＷ８にて選択される８種のリズム音声を入力することができるようになっており、ここでは、例えばＳＷ１を押してＬＥＤ１を点灯させ、リズム音声の登録を行う。
【００１２】
そして、使用者がマイクロフォン１に向かって、例えば、「ドン」と発生すると、該マイクロフォン１により音声信号が電気信号に変換され、アンプ２で増幅され、ＬＰＦ３にて周波数帯域が制限された後、Ａ／Ｄ変換器４にてディジタル化されてＤＳＰ７内部に供給される。ＤＳＰ７は、図２に示すように特徴抽出部２１を有しており、入力された音声の波形の特徴を抽出する。通常、音声は子音と母音とで構成され、このうち子音は音声波形の振幅が小さく母音は振幅が大きい。そして、音声の特徴はこの子音部分にあることが多いので、ここでは、音声波形の子音部分から特徴を抽出する。例えば、図４に示す如くの波形が与えられた場合、前半の振幅の小さい部分Ｒ１が子音の波形で、後半の振幅の大きい部分Ｒ２が母音の波形であり、特徴抽出部２１では、子音から母音に切り替わる直前の所定時間帯ｔの子音部分を取り出してこれを登録する。
【００１３】
子音と母音の区切りを決めるために、図４に示すように予め所定のしきい値ｔｈを設定しておき、入力音声の波形がこのしきい値ｔｈを越えた時点から所定時間ｔだけ戻した区間の波形を入力音声の特徴であるとして登録する。ここでは、上書き方式で記憶可能な揮発性メモリ５内に、入力されるリズム音声を逐次記憶し、特徴が抽出されると抽出された波形を不揮発性メモリ６内に記憶させて登録する。そして、更にこの入力音声に対応する楽器音（例えば、バスドラム等）を設定し、やはり不揮発性メモリ６内に登録する。これにより、例えば「ドン」というリズム音声に対して「バスドラム」の音が対応して登録される。
【００１４】
次いで、図３に示す操作パネル上の選択スイッチＳＷ２を押して、前記と同様にリズム音声と楽器音とを対応させて登録する。その結果、例えば「パン」というリズム音声には「スネアドラム」、「チャン」には「サイドシンバル」という具合に８種類のリズム音声に対してそれぞれ８種類の打楽器の音が対応して登録されることになる。
【００１５】
登録モードが終了すると、今度は操作パネルの音声認識スイッチＳＷ１０を押して音声認識モードを選択する。そして、選択スイッチＳＷ１を押して、マイクロフォン１に向かって「ドン」と発生すると、この発生音はＤＳＰ７内部に取り込まれ、比較部２２にて既に登録されているリズム音声の特徴パターンとの比較を行う。前記したように、登録されているリズム音声は８種類であるので、入力されたリズム音声の特徴パターンと、登録されている各リズム音声の特徴パターンとの間の相関を演算し、高い相関係数の得られたものを選択し、これに対応付けられた楽器音を選定する。例えば、「ドン」というリズム音声に対して「バスドラム」が選定される。そして、楽器音が選定されると、リズム音発生部８にてバスドラムのリズム音信号が出力され、Ｄ／Ａ変換器９、ＬＰＦ１０、アンプ１１を介して実際のリズム音として外部に出力されるようになる。使用者は、これを聞いて初期設定登録が正しかったことを認識することができる。
【００１６】
次いで、音声認識モードが終了すると、リズムパターン音声入力スイッチＳＷ１１をオンとすることにより、リズムパターンを音声で入力するモードに移る。このモードにおいても登録モードと同様に各選択スイッチＳＷ１〜ＳＷ８により選択される８種のリズムパターンを設定することができる。いま、例えば、スイッチＳＷ１をオンとすると、テンポ調整部９のテンポボリューム３３にて設定されたテンポによりＬＥＤ１が点滅する。そして、ＣＰＵ１２では一例として該ＬＥＤ１の点滅する周期の１／９６の周期でタイムベースカウンタ１９をカウントアップするように動作する。そして、スタート／ストップスイッチ（ＳＳスイッチ）ＳＷ１３を押すとこのタイムベースカウンタ１９がリセットされてカウントを開始する。
【００１７】
リズム音声が入力されると、これを構成する各音声の特徴パターンがＤＳＰ７の特徴抽出部２１にて抽出され、比較部２２にて登録された波形とのパターンマッチングが行われるので、タイムベースカウンタ１９により得られる出力タイミングと、パターンマッチングにより得られる楽器音とにより、所望のリズムパターンが生成され、音符メモリ２０内に記憶される。そして、このリズムパターンは、各選択スイッチＳＷ１〜ＳＷ８毎、即ち８種類のリズムパターンを登録することができるようになる。
【００１８】
そして、リズムパターンの登録が終了すると、操作パネルのリズム音出力スイッチＳＷ１２がオンとされ、リズム音の出力モードが選択される。選択スイッチＳＷ１が選択されると、この選択スイッチＳＷ１に対応して登録されたリズムパターンが音符メモリ２０から読み出されてリズム音発声部８に供給されるので、所望のリズムパターンで所望の楽器音を出力することができ、更に、この出力はＳＳスイッチＳＷ１３により停止されるまで連続して繰り返されることになる。こうして所望のリズム音を得ることができるのである。
【００１９】
このようにして、本実施形態においては、使用者による音声入力信号で所望のリズム音を得ることができるので、面倒な操作設定を必要とせず簡易な操作でリズム音の設定が可能となる。
また、マイクロフォン１にて入力される音声信号のレベルを検出し、この信号レベルの大きさに応じて出力側のリズム音の強弱（ベロシティ）を調整することも可能である。これは、図１に示すマイクロフォン１の出力側にレベル検出器（不図示）と配置し、これによる検出レベルに応じてリズム音発生部８における出力レベルを設定すれば良い。そして、このような構成によれば、使用者が入力する発声音の強弱をそのまま出力されるリズム音の強弱に反映させることができるようになり、より幅広いリズム音の生成が可能となる。
【００２０】
【発明の効果】
以上説明したように、本発明のリズム音発生装置によれば、従来のように各種打楽器の選択やリズムパターンの選択等、面倒な作業をする必要はなく、使用者の発声による音声認識により、容易に所望の楽器音を所望のリズムパターンで出力することができるので、操作が簡単であり、好みのリズム音を簡易に得ることができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明が適用されたリズム音発生装置の一実施形態の構成を示すブロック図。
【図２】 ＤＳＰ（ディジタルシグナルプロセッサ）の内部構成を示すブロック図。
【図３】 操作パネルの構成を示す説明図。
【図４】 入力音声の波形を示す説明図。
【符号の説明】
１ マイクロフォン
２ アンプ
３ バンドパスフィルタ
４ Ａ／Ｄ変換器
５ 揮発性メモリ（音声信号記憶手段）
６ 不揮発性メモリ（音声登録手段）
７ ＤＳＰ（ディジタルシグナルプロセッサ）
８ リズム音発生部（リズム音出力手段）
９ Ｄ／Ａ変換器
１０ バンドパスフィルタ（帯域制限フィルタ）
１１ アンプ
１２ ＣＰＵ
１３ テンポ調整部
１４ パネルＬＥＤ設定部
１５ パネルスイッチ設定部
１６ シリアル／パラレル変換器
１７ パラレル／シリアル変換器
１８ ＭＩＤＩ
１９ タイムベースカウンタ
２０ 音符メモリ（リズムパターン記憶手段）
２１ 特徴抽出部（音声信号抽出手段）
２２ 比較部
２３ 判定部（入力音声判定手段）
３１ マイクボリューム
３２ 出力ボリューム
３３ テンポボリューム
３４ マイク端子
３５ 出力端子
３６ フットスイッチコネクタ
ＳＷ１〜ＳＷ８ 選択スイッチ
ＳＷ９ 登録スイッチ
ＳＷ１０ 音声認識スイッチ
ＳＷ１１ リズムパターン音声入力スイッチ
ＳＷ１２ リズム音出力スイッチ
ＳＷ１３ スタート／ストップスイッチ

Claims (5)

1. マイクロフォンから入力されるリズム音声を認識してリズム音信号を生成し出力するリズム音発生装置であって、
   予め発声者からの各種リズム音声を取り込み、入力された音声信号とこの音声信号に対応づける楽器音とを対応させて登録する音声登録手段と、
   前記発声者が発声したリズム音声を取り込み、前記登録された音声信号との一致、不一致を判定する入力音声判定手段と、
   前記発声者が発声したリズムパターンのタイミングを認識して記憶するリズムパターン記憶手段と、
   前記入力音声判定手段にて一致が判定された登録音声信号に対応するリズム音を、前記認識されたリズムパターンにて出力するリズム音出力手段と、
   を有することを特徴とする音声認識によるリズム音発生装置。
2. マイクロフォンから入力されるリズム音声を認識してリズム音信号を生成するリズム音発生装置であって、
   前記マイクロフォンから入力される音声信号をディジタル化するＡ／Ｄ変換手段と、
   ディジタル化された音声信号を記憶する音声信号記憶手段と、
   音声信号が所定のしきい値を越えた際に、この時点より所定時間戻した時点からの音声信号を前記音声信号記憶手段から抽出する音声信号抽出手段と、
   初期登録設定時には、抽出された音声信号と所望のリズム音信号とを対応させて登録する音声登録手段と、
   音声認識時には、抽出された音声信号と前記登録されたリズム音信号との一致、不一致を判定して、一致したリズム音信号を取り出す入力音声判定手段と、
   前記発声者が発声したリズムパターンのタイミングを認識して記憶するリズムパターン記憶手段と、
   リズム音再生時には、前記取り出されたリズム音を所定のテンポで出力するリズム音出力手段と、
   を有することを特徴とする音声認識によるリズム音発生装置。
3. 入力される音声信号のパワーを測定し、該パワーの大きさに応じて出力するリズム音の強弱を調整する出力調整手段を配置したことを特徴とする請求項１または請求項２のいづれかに記載の音声認識によるリズム音発生装置。
4. 前記入力音声判定手段は、相互相関演算にてリズム音信号の一致、不一致を判定することを特徴とする請求項１または請求項２のいづれかに記載の音声認識によるリズム音発生装置。
5. 前記Ａ／Ｄ変換器の前段に帯域制限フィルターを設けたことを特徴とする請求項２に記載の音声認識によるリズム音発生装置。

Images