JPS62156698A - リズム認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 く技術分野〉 本発明は、音楽のリズムを検出しそのリズムに同期した
出力を得るリズム認識装置に関するものである。

〈従来技術〉 従来、音楽のリズムを検出しそのリズムに同期した出力
を得て、該出力をエレクトリックハンマに加え機械的振
動を発生する装置（例えば実開昭６０−１１５２９６号
公報参照）があった。これは特にリズムの激しい音楽（
ロックミュージック等）を聴く際に、聴く者の座るソフ
ァ等にそのリズムに同期した機械的振動を生起せしめる
ことで音楽を聴覚のみならず触覚的に感せしめることで
音楽に対する実感を深め、又それとともに音楽演奏者を
画像に表わすことで臨場感をもたらすことを狙ったもの
である。

上記リズム検出に係る装置における未解決の問題として
応答性の問題がある。つまり外部の音楽信号をマイクで
検出し、そのリズムを導き出し、それを元に機械的振動
を発生せしめる方式では音楽信号の検出から振動の発生
までの間に時間的ずれが生ずる。従って実際に音楽ホー
ル等で肌に感する振動と上記リズム検出に係る装置によ
る振動とでは時間的なずれがある為に違和感が生ずるの
である。

このような問題は例えばリズム検出によって、おもちゃ
の人形に踊りをさせるものにおいても生ずる。即ちリズ
ムの検出出力に対しておもちゃの人形の機械的動作が遅
れる為に、人形の動きがリズムとちくはくになり、間の
抜けた感しになるのである。

〈発明の目的〉 本発明者らは、上記の問題を解決して、入力する音楽の
リズムを正しく検出し、もって外部装置をそのリズムに
ほぼ完全に同期させて駆動しうるリズム認識装置を別途
提案している。

本発明はその発明に関連してなされたものである。

例えば、リズム認識装置によって第８図のような人形を
駆動する場合を考える。この人形はリズム認識装置の手
段によってソレノイドが動作し、手足が音楽と同期して
動くものである。見かけ上人形が踊っているように見え
る。

リズム認識装置が音楽に同期した出力を行うだけのもの
であると、人形は音楽を入力している間同じ動きを行う
ことになる。

通常入力の対象となる音楽は各小節全く同じリズムパタ
ーンを繰り返すことはなく、４，８．１６小節等で一つ
のまとまりをなすことが多い。

このように入力の対象となる音楽が４．８．１６小節等
でまとまりをもっているため、１小節め。

２小節め・・・等でリズム認識装置が違うバリエーショ
ンのパターンを出力し、４，８．１６小節等の単位でそ
れを繰り返し出力すると、人形は入力の音楽に対応した
自然な動きをし、人間に近い動作となる。

また、音楽を演奏する場合に、１つの楽器をリズム認識
装置とリズム認識装置の出力で対象とする楽器を駆動す
るための駆動装置に分担させることを考える。リズム認
識装置による出力にバリエーションがあれば、同じパタ
ーンを繰り返すよりはるかに高級な音楽のパターンに近
い演奏をさせることができる。

そこで、本発明の目的は、入力する音楽のりズムに正し
く同期した複数種類のリズム信号を出力し、踊る人形等
の外部装置をそのリズムに正確に同期した信号で駆動さ
せながら、しかも、認識したリズムによって出力する信
号出力のリズムパターンにバリエーションを持たせるこ
とのできるリズム認識装置を提供することである。

〈実施例〉 以下図面に従って本発明の一実施例を詳細に説明する。

第１図はリズム認識装置の基本的構成を示すブロック図
である。図において、マイクロフォン１０１から入力さ
れた音楽信号はプリアンプ１０２によって増幅され、低
域濾波器１０３に入力されたあと両波（または全波）整
流器１０４に入力される。この両波整流器１０４での両
波整流のあと波形の振幅のエンベロープを求めるために
低域濾波器１０５を通り、リズム楽器によるエンベロー
プのピークを検出するためピーク検出器１０６を通った
結果得られるパルス信号をマイクロコンピュータ１０７
に入力する。マイクロコンピュータ１０７は入力された
パルス信号から少くとも２種類のリズム信号を認識し、
並列に出力すると同時に、１小節を検出して小節の区切
りを示す信号を出力する。具体的には、例えば高いスレ
シホールドレベルにより第９図（８１図に示すような４
分音符のリズムを検出し、低いスレシホールドレベルに
より第９図（ｂ１図に示すような８分音符のリズムを検
出し、（ａ）　（ｂ）両リズムより共通の小節を検出す
る。

小節カウンタ１０９は小節の数をカウントして所定数の
小節ごとに出力を発し、スイッチ１１０がその出力に従
い、マイクロコンピュータ１０７から出力される複数種
類のリズム信号からその一つを選択して、出力部１０８
へ導出し、外部の機器（例えば人形の手足の駆動機器）
を制御する。

第２図に以上のリズム認識装置の信号処理の流れを機能
的に表わすブロック図を示す。

第２図において、マイクロフォン２０１から入力された
音楽信号をリズム楽器の打たれた時刻を検出するリズム
検出部２０２に送る。このリズム検出部２０２での処理
は第１図のプリアンプ１０２゜低域濾波器１０３．両波
整流器１０４．低域濾波器１０５．ｔ：”−り検出器１
０６での一連の処理に相当する。尚、上記プリアンプ１
０２において自動利得調整機能を持たせると入力する音
楽信号のレヘル変動の影響を受けにくくなり正確なリズ
ム検出が可能となる。尚、上記低域濾波器１０３は低域
リズム楽器（例えばベース、ドラム）の信号のみが抽出
出来るように１００〜２５０Ｈｚのカットオフ周波数を
持つ。又、両波整流器１０４と低域濾波器１０５によっ
て低域リズム楽器の振幅のエンベロープを抽出するため
に、低域濾波器１０５のカットオフ周波数は１０〜３０
Ｈｚが適当である。抽出された低域リズム楽器の振幅の
エンベロープのピークを次のピーク検出５１０６で検出
する。こうして低域リズム楽器の打たれた時刻に対応し
たリズム信号パルス列がリズム検出部２０２より出力さ
れる。

次のリズム信号登録部２０３ではリズム信号パルスの発
生時刻をマイクロコンピュータのリズム認識プログラム
のデータとして順次登録していく。

次の周期検出部２０４では上記リズム信号登録部２０３
で登録したパルスの発生時刻データからパルスとパルス
の時間間隔データを作成し、これをもとに過去の時間間
隔におけるパルス発生頻度を示すヒストグラムを作成す
る。これは一般にリズム楽器が周期性をもって演奏され
、楽譜の１小節つまり１周期の整数倍の時間の区間でリ
ズム楽器の発生頻度がピークになるという性質を用いて
いる。この周期検出部２０４の動作を第３図の波形図を
用いて概念的に示す。第３図は過去から現在までＰ６か
らＰＯのパルスの発生時刻が登録されている状態である
。メモリの容量によって決まるが実際には３２個のパル
スの発生時刻が登録される。尚、新しいパルスが流入す
る毎に最も古いパルスを消して行く。そして次にパルス
ＰＯからＰｌまでの時間、ＰＯからＰ２までの時間、同
様にＰＯからＰ３．ＰＯからＰ４．ＰＯからＰ５゜ＰＯ
からＰ６までの時間の間隔をデータとして求め、これに
よりヒストグラムの該当する区間を更新する。この処理
を新しいリズム楽器のパルスが入るたび毎に行うと第４
図のようなヒストグラムが作成される。このヒストグラ
ムで最大の度数である時間間隔を探索すると周期の概数
が得られる。

但し、特定の場合において上記の度数のピークが周期を
示さない場合がある。それは等間隔にリズム楽器のパル
スが入った場合で、その時ヒストグラムの度数ピークは
１拍の時間毎に発生する。・その為、周期の値を求める
ことができない。これを避けるために第４図に示す様に
周期の許容範囲を定め周期の確認を行う。即ち周期の許
容範囲は音楽の周期が一般にある範囲内であり、リズム
認識の対象とする音楽の種類によっても違うが、予め拍
子がわかっている場合、例えば１拍０．４１秒から０５
８２秒と制限し、３拍子ならば１．２３〜２．４６秒。

４泊子ならば１．６４〜３．２８秒の範囲に限ってヒス
トグラムのピークを探索することによって周期の制限を
行う。この周期の確認手順の説明図を第５図に示す。こ
の例では仮定された周期を示すヒストグラムのピーク３
について４拍子らしいか３拍子らしいか５拍子らしいか
確認を行う。第５図について言えばピーク３の１／３．
２／３のポイントにヒストグラムのピークがあるか、１
／４．　２／４゜３／４のポイントにヒストグラムのピ
ークがあるか、１１５．２１５．３１５．４１５のポイ
ントにヒストグラムのピークがあるか確認する。もし、
ｎ　／　３のポイントにヒストグラムがあれば３拍子ら
しく、ｎ　／　４のポイントにヒストグラムがあれば４
拍子らしく、ｎ　／　５のポイントにヒストグラムがあ
れば５拍子らしくなる。一番確からしい拍子が与えられ
た音楽の拍子であれば、その区間の時間が周期の概数で
あると決定する。この場合予め与えられた音楽の拍子が
４拍子であるので、ピーク３は周期と関係なしとして処
理する。そこで、次に大きなピーク４について同様な処
理を行なう。この場合、ｎ　／　４のポイントにヒスト
グラムのピークがあるため、ピーク４の区間の時間が周
期の概数であると決定する。

以上の様にしてヒストグラムから周期の概数を求めたあ
と、第３図に示す登録されたパルスとパルスの時間間隔
からその周期の概数をしめずヒストゲラムの区間に入る
時間間隔のデータについてその周期の概数の区間を細分
化し、ヒストグラムをとり最も度数の多い区間を探し、
それを実際の周期とする。以上の様にして周期（即ち楽
譜の１小節の時間間隔）が求まる。

次に、位相検出部２０５の処理の説明図を第６図に示す
。上記した周期検出部２０４の処理によって既に音楽の
拍子と周期が分かっているので、位相検出部２０５では
一番最近のパルスＰＯから１周期の範囲のパルスについ
て検出を行なう。第６図の例は４拍子の場合でありデー
タとして３周期分がある場合の例で、まずパルスＰＯか
ら３周期から１周期別いた２周期過去まで１／４周期ず
つさかのぼったところがリズム楽器の打たれた時刻を示
すパルスとマツチングするか確認する。またパルスＰ１
についても同様にパルスＰ１から２周期過去までさかの
ぼってマツチングするか確認する。パルスＰＯからさか
のぼったところでマツチングした数がパルスＰ１からさ
かのぼったところでマツチングした数より少なくなけれ
ば、そのハ／Ｌ／スｐＯを１拍目とする。実際にはこの
パルスＰＯが楽譜の１拍目に該当しないケースもあるが
、このパルスＰＯがリズムの基本的要素であるところか
ら、実用上差し仕えない。以上の様にして位相（即ち１
拍目のタイミング）が求まる。

次に同期出力部２０６では位相検出部２０５によって得
られた１拍目の時刻を基準に周期検出部２０４で求めた
周期毎に１拍目の信号を出力バクーン生成部２０９に出
力する。その際に入力音楽のリズムのパルスの時刻と出
カバターン生成部２０９に出力する１拍目の信号時刻の
差を求めその差を補正しながら出力する。差の補正の行
ない方は２種類ある。一つは遅延側の補正で入力音楽の
リズムのパルスの時刻に対し出カバターン生成部２０９
に出力する１拍目の拍信号が遅れた場合であり、この場
合は基準となる１拍目の時刻を早め、入力音楽のリズム
のパルスの時刻に拍信号を合わせる。もう一つは入力音
楽のリズムのパルスの時刻に対し出カバターン生成部２
０９に出力する１拍目の拍信号が進んだ場合で、この場
合は基準となる１拍目の時刻を遅らせ入力音楽のリズム
のパルスの時刻に拍信号を合わせて入力音楽のリズムの
パルスの時刻に対し出カバターン生成部２０９に出力す
る１拍目の信号の同期をとる。以上の様にして同期がと
られる。

小節カウント部２０８では、同期出力部２０６で得られ
る１小節毎にカウンタをカウントアツプする。

出力バクーン生成部２０９では、同期出力部２０６から
の１拍目の信号、周期検出部２０４からの１周期の時間
から複数種類の出カバターンを生成する。

第９図にその例を示す。（ａ）は１小節を４等分し入力
音楽が４拍子であるとして、１拍毎に信号を出力したも
の、ｆｂｌは１小節を８等分し半拍毎に出力したもので
ある。

この複数種類の出カバターンを小節カウント部２０８の
出力によりスイッチ部２１０が切換選択し最終的な出カ
バターンを生成し、出力する。第９図の例では、１，２
．３小節めは（ａ）のパターン、４小節目は（ｂｌのパ
ターンというようにスイッチ部２１０で切替えている。

この最終的出カバターンの信号が出力部２０７を通って
出力され、外部機器を制御する。

以上のリズム認識装置において、周期検出部２０４、位
相検出部２０５．同期出力部２０６での処理をリズムの
認識状態に応じて推移させることによってプログラムス
テップ数の減少、実行時間の短縮を行うことができ、認
識性能を向上できる。その処理の状態遷移図を第７図に
示す。認識処理状態を３つに分けそれぞれイニシャルモ
ード。

サーチモード、キープモードとする。イニシャルモード
はリズム音楽のパルスデータが入り始めてから間もない
状態（音楽の前奏部分を入力していて周期検出部２０４
のヒストグラムが未だ安定していない状態）である。次
のサーチモードはリズム音楽のパルスデータが充分入力
され周期検出部２０４のヒストグラムが安定していて、
位相検出部２０５において位相の検出を行っているモー
ドである。次のキープモードは入力音楽のリズムの１拍
目がみつかり入力音楽に対し安定した同期がとれている
状態である。イニシャルモードからサーチモードへの遷
移はヒストグラムのピークが所定の闇値より大きくなっ
た時に行なわれる。また、サーチモードからキープモー
ドへの遷移は１拍目がみつかった時に行なわれる。また
キープモードからサーチモードへの遷移は同期出力部２
０６において入力音楽のリズムのパルスの時刻と外部に
出力する１拍目の信号時刻の差が補正範囲外になり、同
期がとれなくなった時に行なわれる。サーチモードから
イニシャルモードへの遷移は音楽のリズムが途中で大き
く変わった等のために以前のヒストグラムが参考になら
ないため位相検出部２０５で１拍目を検出できずに一定
時間経過した場合に行なわれる。また、音楽の終りを検
出した場合にはキープモードからイニシャルモードへ遷
移する。

以上のリズム認識装置では出力部２０７からのリズム同
期信号はキープモードにおいてのみ出力される。そのた
め入力信号と同期をとって外部に信号を出力する同期出
力部２０６が同期を取る処理のみに専念できるので負荷
が軽くなり認識性能、特に入力信号と出力信号との同期
の精度の面で性能が向上する。またイニシャルモード、
サーチモードにおいては周期検出部２０４２位相検出部
２０５が入力信号の周期１位相の検出に専念できるので
その精度が向上する。

尚、第８図に以上のリズム認識装置を用いたオモチャの
構成図を示す。同図に示す如くマイクロフォン３０１で
外部の音楽信号を導入し、該音楽信号のリズムをリズム
認識装置３０２で検出、出力し、そのリズム信号を人形
３０３の手または足の駆動機器の入力として導入する。

この様にすれば人形は外部に流した音楽のリズムに合わ
せて踊り出す。尚、マイクロフォン３０１及びリズム認
識装置３０２を人形の体内に設置し、人形の体内に内蔵
した電池によって上記装置を駆動すれば人形がひとりで
に動き出す作用を実現可能である。

又、帽子３０４の個所にスイッチ手段を設け、該スイッ
チ手段の信号をリズム認識装置３０２に供給するように
し、認識処理の開始、終了や、認識出力が間違っている
場合の認識装置のリセット等の処理を行うようにしても
よい。尚、用途としては他に従来技術で説明したソファ
の振動や、レーザによる照明の変化２画像の動きの変化
等がある。

〈発明の効果〉 本発明は、入力とする音楽のリズムを検出し、そのリズ
ムに同期した信号を得ることを特徴としているため、周
囲の音楽と同期した多彩な機能を実現することができる
。また、本発明によると、処理量が少なく簡単な回路で
上記機能を実現できるためマイクロコンピュータを使っ
た装置に組み込むことができ、周囲の音楽と同期して、
システムを動作させる有用なリズム認識装置が得られる
。

【図面の簡単な説明】

第１図は本発明に係るリズム認識装置の一実施例の基本
的構成を示すブロック図、第２図は本発明に係るリズム
認識装置の一実施例の機能構成を示すブロック図、第３
図乃至第６図はリズム信号パルスの波形説明図、第７図
はモードの説明図、第８図は本発明の応用例であるオモ
チャの構成図を示す。第９図は本発明の作用説明図を示
す。 図中、１０１：マイクロフォン １０２：プリアンプ １０３：低域濾波器 １０４：両波整流器 １０５：低域濾波器 １０６：ピーク検出器 １０７：マイクロコンピュータ １０８：出力部 ２０１：マイクロフォン ２０２：リズム検出部 ２０３：リズム信号登録部 ２０４：周期検出部 ２０５：位相検出部 ２０６：同期出力部 ２０７：出力部 ２０８：小節カウント部 ２０９：出カバターン生成部 ２１０：スイッチ部 ３０１：マイクロフォン ３０２：リズム認識装置 ３０３：人形 ３０４：帽子 特許出願人　　　　シャープ株式会社 同　　　　　　任天堂株式会社 代　理　人　　　　弁理士　西１）新 Ｈ−−リＩ鞭喀嚢−−− と７トク）４　　　ｔ−りｌ　　　ど−ク２　　　ｔ−
りＪ　　　ｔ−り４第　５１２１

Claims (1)

【特許請求の範囲】
1. 音楽からリズム楽器の打たれた時刻を検出する検出手段
   と、その時刻を登録する登録手段と、この時刻を用いて
   リズム楽器の打たれる時間間隔から音楽の１小節を表わ
   すリズム楽器信号の１周期を検出する検出手段と、入力
   する音楽に同期した少くとも２種類のリズム信号を出力
   する同期出力手段と、上記１小節の数をカウントして所
   定数の小節ごとに出力を発する小節カウント手段と、そ
   の小節カウント手段の出力に従い上記少くとも２種類の
   リズム信号を切換えて出力するスイッチ手段を持つこと
   を特徴とするリズム認識装置。