JPH09146545A

JPH09146545A - 音声自動採譜装置

Info

Publication number: JPH09146545A
Application number: JP7304254A
Authority: JP
Inventors: Kazuo Sudo; 一夫須藤; Tadashi Tokuyama; 正徳山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-11-22
Filing date: 1995-11-22
Publication date: 1997-06-06

Abstract

(57)【要約】【課題】人間による歌唱やハミング等のアナログ音声
信号から自動的にＭＩＤＩデータや楽譜の作成を可能と
すると共に、周波数分析の際のウィンドウ間隔による時
間分解能の損失を最小限にする。【解決手段】アナログ音声信号を積分する積分回路１
７と、その積分出力を基準値Ｖ_REFと比較するコンパレ
ータ１８と、アナログ音声信号をディジタル変換するＡ
／Ｄ変換器１０６と、そのディジタル音声信号を所定の
ウィンドウ間隔で高速フーリエ変換するＤＳＰ１０５
と、高速フーリエ変換により得られたパワースペクトル
から楽譜データを生成するＣＰＵ１１３とを有し、ＤＳ
Ｐ１０５は、コンパレータ１８での比較において積分出
力が基準値Ｖ_REFを越えた時点で、ディジタル音声信号
に対するウィンドウ化を開始して高速フーリエ変換を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された歌唱又
はハミング等の音声から自動的に楽譜を生成する音声自
動採譜装置に関する。

【０００２】

【従来の技術】近年、電子楽器とパーソナルコンピュー
タ間のインターフェイス規格であるＭＩＤＩ（Musical
Instrument Digital Interface）規格が普及し、多くの
人がパーソナルコンピュータを使って作曲したり、電子
楽器を演奏するようになっている。

【０００３】

【発明が解決しようとする課題】しかし、アコースティ
ック楽器を演奏できない人でも容易に楽器演奏ができる
ようになった反面、そのためには何らかの方法でＭＩＤ
Ｉデータをコンピュータに入力しなければならない。し
たがって、この段階でコンピュータの画面上で楽譜を書
いていくか、ピアノやギターなどの音を発し、かつその
音をＭＩＤＩデータに変換できるような電子楽器を演奏
する能力が要求される。

【０００４】このようなことから、近年は、人間による
歌唱やハミング等の音声から自動的にＭＩＤＩデータや
楽譜の作成を可能とする音声自動採譜装置が各種提案さ
れている。

【０００５】ところで、人間による歌唱やハミング等の
音声から自動的に採譜を行う場合、例えば、当該歌唱や
ハミング等の音声信号を周波数分析し、この分析結果に
基づいて楽譜データを生成することが行われている。

【０００６】ところが、上記周波数分析では、通常、一
定のウィンドウ間隔で音声信号を周波数分析するように
しているため、例えばウィンドウの途中で有効なデータ
（その前は無効データ）となったようなときには、当該
ウィンドウの途中からは有効なデータであるにもかかわ
らず、そのウィンドウでの演算結果は使用されず、次の
ウィンドウからが有効となる。したがって、有効なデー
タとなった始めの部分で時間的損失が起こることにな
る。

【０００７】そこで、本発明はこの様な実情に鑑みてな
されたものであり、特別な演奏能力が要求されることが
ない、人間による歌唱やハミング等の音声から自動的に
ＭＩＤＩデータや楽譜の作成を可能とすると共に、周波
数分析の際のウィンドウ間隔による時間分解能の損失を
最小限にすることができる音声自動採譜装置を提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】本発明は、音声信号から
自動的に楽譜を生成する音声自動採譜装置であり、アナ
ログ音声信号をディジタル変換したディジタル音声信号
を所定のウィンドウ間隔で周波数分析し、この周波数分
析により得られた周波数成分から楽譜データを生成する
と共に、アナログ音声信号の積分出力を所定の基準値と
比較し、この積分出力が所定の基準値を越えた時点で、
アナログ音声信号をディジタル変換したディジタル音声
信号を周波数分析する際のウィンドウ化を開始すること
により、上述の課題を解決する。

【０００９】すなわち、本発明によれば、人間による歌
唱やハミング等のアナログ音声信号から自動的にＭＩＤ
Ｉデータや楽譜の作成を可能とすると共に、アナログ音
声信号の積分出力が所定の基準値を越えた時を有効なデ
ィジタル音声信号であると判断して周波数分析をスター
トさせることにより、周波数分析の際のウィンドウ間隔
による時間分解能の損失を最小限にしている。

【００１０】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照にしながら説明する。

【００１１】先ず、図１には、本発明の音声自動採譜装
置が適用されるシステム全体の構成を示す。

【００１２】この図１において、マイクロホン１１１か
ら入力された音声信号は、アンプ１１０によって増幅さ
れ、切換スイッチ１０８の一方の被切換端子に送られ
る。この切換スイッチ１０８の他方の被切換端子はライ
ンイン端子１０９と接続されている。したがって、当該
切換スイッチ１０８はマイクロホン１１１からの入力音
声信号とラインイン端子１０９からの入力音声信号とを
切換選択する。なお、切換スイッチ１０８の出力は、ラ
インアウト端子１１２から外部にも出力可能となってい
る。

【００１３】この切換スイッチ１０８を介して供給され
た音声信号は、ローパスフィルタ（以下ＬＰＦと呼ぶ）
１０７に送られる。このＬＰＦ１０７では高域成分が除
去され音声帯域のみを通過させる。

【００１４】ここで、入力音声信号が人間の音声である
場合、人間の音声の基本波の帯域は声楽をしている男性
の最低音から女性の最高音までが約５０Ｈｚ〜１ｋＨｚ
であり、また一般の人のハミング程度では上限が５００
Ｈｚもあれば十分である。したがって、後段のＡ／Ｄ変
換器１０６でのサンプリング周波数を例えば２．０１６
ｋＨｚにしたとき、音程検出時に２次高調波による１オ
クターブ上への検出ミスを減らすためにも、入力段で少
なくとも必要最低限の５００Ｈｚをカットオフするよう
な２次のＬＰＦ１０７を用いている。なお、音程検出時
に男性の低音での１オクターブ上への検出ミスを減らす
ためにも、低域側はできるだけのばようにしており、上
記ＬＰＦ１０７の前段又は後段には図示は省略している
がカットオフ２Ｈｚの１次ハイパスフィルタ（ＨＰＦ）
を接続している。

【００１５】当該ＬＰＦ１０７を介した音声信号は、ア
ナログ／ディジタル（Ａ／Ｄ）変換器１０６にてディジ
タル音声信号に変換される。

【００１６】ここで、当該Ａ／Ｄ変換器１０６は、入力
ダイナミックレンジが±３Ｖで、サンプリング周波数が
２．０２ｋＨｚ、量子化ビット数が１４ビットのものを
使用している。また、当該Ａ／Ｄ変換器１０６は、シリ
アルポートとダイレクトにインターフェイスが可能なも
のであり、サンプリング周波数と内蔵フィルタのカット
オフをプログラムにより変えることができるものであ
る。なお、当該Ａ／Ｄ変換器１０６の場合、内蔵フィル
タのカットオフ周波数については例えば１．０１ｋＨｚ
にしている。さらに当該Ａ／Ｄ変換器１０６は、所定サ
ンプル数毎に後段のディジタル・シグナル・プロセッサ
（以下ＤＳＰとする）１０５に対して割り込みをかけ、
当該ＤＳＰ１０５の割り込みルーチン内でサンプリング
データをシリアル伝送する。このサンプリング周波数
が、後述する音符の長さやメトロノームなどのタイミン
グの基準になっている。

【００１７】上記Ａ／Ｄ変換器１０６から出力されたデ
ィジタル音声信号は、ＤＳＰ１０５に送られる。当該Ｄ
ＳＰ１０５では、上記Ａ／Ｄ変換器１０６から供給され
たディジタル音声信号を高速フーリエ変換（以下ＦＦＴ
とする）処理により周波数分析し、周波数成分を得る。
すなわち、当該ＤＳＰ１０５では、上記Ａ／Ｄ変換器１
０６からのサンプリングによる１４ビットデータを、一
旦入力バッファに例えば右詰めにして格納し、当該１４
ビットのサンプリングデータが５１２個すなわち５１２
ワード（この長さをウィンドウと言う）格納されたなら
ば、この５１２ワードのデータを入力バッファから読み
出して演算バッファに転送し、この演算バッファ上でＦ
ＦＴ演算を行う。なお、ここでのＦＦＴ演算の窓関数に
はいわゆるブラックマンウィンドウを用いている。ま
た、ＦＦＴ演算は複素演算であり、サンプリングデータ
を実部に、０を虚部に入れていくため、上記入力バッフ
ァのメモリ容量としては、実際には１０２４ワード分の
メモリ容量が少なくとも必要であり、しかもＦＦＴ演算
中もデータがサンプリングされるため、当該入力バッフ
ァはダブルバッファ構成とし、合計で２０４８ワード分
のメモリとして使用している。

【００１８】ここで、５１２ワードのデータのサンプリ
ングに要する時間は約２５３ｍｓｅｃであり、この時間
によりＦＦＴ演算時の最小時間分解能が決まることにな
る。言い換えれば、当該２５３ｍｓｅｃ以下の変化には
追従できないことになる。実際にはこれでは遅すぎ、し
たがって時間分解能を上げるにはサンプリング周波数を
上げるか、ＦＦＴ演算のポイント数を減らさなければな
らない。しかし、このどちらも好ましくないので、本発
明の例では、見かけ上の時間分解能を上げるために、図
２に示すように、上記ウィンドウを図中Ｗ₁〜Ｗ₄に示す
ように４つのブロックに分け、これらを順にシフトさせ
ながらＦＦＴ演算を行っていく方法をとっている。な
お、図２の図中矢印で示す範囲がＦＦＴ演算されるブロ
ックの範囲を示している。この方法によって、時間分解
能は例えば６３ｍｓｅｃにすることができる。また、最
小周波数分解能は３．９Ｈｚ以下となっている。

【００１９】上記ＦＦＴ演算が終了すると、当該ＦＦＴ
演算後のデータはビット逆順に次のバッファに送られ、
実部と虚部の２乗和をとりながら出力バッファに転送さ
れる。当該出力バッファもダブルバッファ構成となさ
れ、各々５１２ワードのデータの格納を行う。出力バッ
ファにおいて１ウィンドウ分のデータが格納されると、
ＣＰＵ１１３に対して割り込みをかけ、同時に出力バッ
ファに対して出力命令を発して当該出力バッファに送
る。

【００２０】ＣＰＵ１１３は、当該割り込みルーチンで
上記出力バッファのデータを読みに行き、当該出力バッ
ファからはパラレルにデータが出力される。ＤＳＰ１０
５は、上記ＣＰＵ１１３が出力バッファに対して出力す
るアドレスをデコードしたデータの後エッジによって割
り込みがかかり、上記ＣＰＵ１１３が出力バッファから
データを読んだことを知る。

【００２１】なお、上記入力バッファと演算バッファ及
び出力バッファは、例えば２Ｍビットの記憶容量を有す
るＳＲＡＭ（スタティックＲＡＭ）１１４にて実現さ
れ、このＳＲＡＭ１１４は各バッファに対応して記憶領
域が分けられて使用されている。

【００２２】上記ＣＰＵ１１３は、ＲＯＭ１１５内に格
納されているプログラムデータ等を用いて、各部を制御
すると共に、上記マイクロホン１１１を介して入力され
た人間による歌唱やハミング等の音声信号を上記ＤＳＰ
１０５によってＦＦＴ演算したデータから、後述する図
５及び図６に示すアルゴリズムに従って自動的にＭＩＤ
Ｉデータや楽譜の作成を行う。

【００２３】ここで、上記ＣＰＵ１１３により作成され
た楽譜のデータは、液晶ディスプレイ（以下ＬＣＤと呼
ぶ）コントローラ１０２に送られる。当該ＬＣＤコント
ローラ１０２は上記楽譜のデータを、２Ｍビットの容量
のＤＲＡＭ（ダイナミックＲＡＭ）１０１に格納すると
共に、当該格納した楽譜のデータを用いてＬＣＤ装置１
００へ表示する表示データを生成する。これによりＬＣ
Ｄ装置１００の表示面上には、例えば図３に示すような
五線譜の楽譜が表示されることになる。この楽譜上には
例えば１６分音符〜全音符までの音符が表示され、さら
にこの図３の例では３段分のピアノの鍵盤も表示されて
いる。ここでは１６分音符からとしているが、３２分音
符や６４分音符等も表示可能であることは言うまでもな
い。また、臨時記号等も省略しているがもちろん表示す
ることは可能である。さらに、表示されたピアノ鍵盤の
上にはインジケータ２００が表示され、このインジケー
タ２００がピアノ鍵盤上を移動することで、五線譜上の
音程とピアノ鍵盤との対応が表示されるようになってい
る。その他、この表示画面上には、イメージとして、自
動採譜の開始を指示するスタートボタンの表示と、ＭＩ
ＤＩチャンネル表示と、プログラム数を示す表示と、オ
クターブの高低を示す表示と、速さを示すビート表示も
表示されている。

【００２４】なお、図３の例では、上記スタートボタン
として＜＜ＳＴＡＲＴ＞＞を表示し、また、ＭＩＤＩチ
ャンネル数は例えば１６チャンネルで、そのうち一つが
表示される。図３の例では第１チャンネルとして［ＭＩ
ＤＩＣＨ０１］が表示されている。プログラム数は例え
ば１〜１２８あり、リアルタイムに変更可能で、図３の
例では［ＩＮＳＴ００１］として第１番目のプログラム
の表示が行われている。オクターブは±５オクターブを
リアルタイムに変更可能で、図３の例ではオクターブ表
示として例えば［ＯＣＴ±０］を表示している。さち
に、ビート表示はメトロノーム機能に応じてなされる。
なお、メトロノーム機能は、例えば１分間に４分音符を
２３４個奏するテンポとしたとき、図３の例におけるビ
ート表示のＢＥＡＴ＝０でなし、ＢＥＡＴ＝１で全音符
毎（１０２４ｍｓｅｃ毎）、ＢＥＡＴ＝２で２分音符毎
（５１２ｍｓｅｃ毎）、ＢＥＡＴ＝４で４分音符毎（２
５６ｍｓｅｃ毎）、ＢＥＡＴ＝８で８分音符毎（１２８
ｍｓｅｃ毎）、ＢＥＡＴ＝１６で１６分音符毎（６４ｍ
ｓｅｃ毎）に、例えばウッドブロック音のＭＩＤＩデー
タとして出力され、このＭＩＤＩデータに基づいてスピ
ーカ等からメトロノーム音として鳴らされる。なお、図
３の例ではビート表示として［ＢＥＡＴ００］を表示し
ている。

【００２５】また、上記ＬＣＤ装置１００は、ＶＧＡ
（Video Graphics Array、信号線数６４０本×走査線数
４８０本）ＬＣＤを使用し、図４に示すように、ＬＣＤ
上の各ドットはバス上のアドレスに対するデータそのま
まに対応している。各アドレスで扱うデータはロングワ
ードで、そのうちＭＳＢ側から１バイトずつ区切って３
バイトをＲ（赤），Ｇ（緑），Ｂ（青）又はモノクロの
諧調に使用している。上記楽譜（スコア）の表示は例え
ばモノクロ２値とし、五線譜と音符又は休符をレイヤに
して音符又は休符の更新を可能にしている。なお、図４
において、任意のアドレスドットに書き込むデータを＊
ドットとすると、五線譜＊ドット＝ｘｘｘｘ００００音符＊ドット
＝ｘｘ００ｘｘ００となる。

【００２６】さらに、当該ＬＣＤ装置１００は表示面上
にいわゆるタッチパネルを備えている。ＬＣＤコントロ
ーラ１０２は使用者が上記タッチパネルを介して入力し
たデータをＣＰＵ１１３に送る。一方、上記ＣＰＵ１１
３が作成したＭＩＤＩデータは、ＭＩＤＩインターフェ
イス部１０３及びＭＩＤＩ出力端子１０４を介して外部
に出力可能となっている。なお、ＭＩＤＩインターフェ
イス部１０３は、ホストとバスで接続された内部レジス
タに、設定コマンドとＭＩＤＩデータを入れることで自
動的にＭＩＤＩデータとして出力することが可能なもの
である。次に、図５及び図６を用いてＣＰＵ１１３にお
ける信号処理のアルゴリズムについて説明する。

【００２７】先ず、図５において、ステップＳ１では、
歌唱やハミング等の音声から自動的にＭＩＤＩデータや
楽譜の作成を開始することを、当該装置の使用者が指示
するための前記図３のスタートボタンが押されているか
否かの判断を行う。なお、例えばＬＣＤ装置１００の表
示画面上にイメージとして表示されているスタートボタ
ンを押すと、当該スタートボタンの表示位置に対応する
タッチパネルの出力信号がＣＰＵ１１３に送られ、これ
によりＣＰＵ１１３はスタートボタンが押されたことを
知る。当該ステップＳ１において、スタートボタンが押
されていると判断した場合にはステップＳ２に進み、ス
タートボタンが押されていないと判断した場合には後述
する図６のステップＳ２８へ進む。

【００２８】ステップＳ２では、前記ＤＳＰ１０５から
出力バッファに格納されたデータが無効データか否かを
判断する。具体的に言うと、前記ＤＳＰ１０５は、前記
ＦＦＴ演算のウィンドウ期間中に音声信号が存在すると
きにはデータが有効である旨を示す信号（以下有効デー
タと呼ぶ）を出力し、またウィンドウ期間中に音声信号
が存在しないときにはデータが無効である旨を示す信号
（以下無効データと呼ぶ）を出力し、ＣＰＵ１１３に送
るようになされており、当該ＣＰＵ１１３は、上記ＤＳ
Ｐ１０５から無効データの供給の有無を判断している。
ここで、ＤＳＰ１０５から無効データが供給されたと判
断したならばステップＳ４に進み、無効データが供給さ
れていないと判断したならばステップＳ３に進む。

【００２９】ステップＳ３では、前記出力バッファから
データの転送が開始されたか否かを判断し、開始されて
いないと判断したときにはステップＳ４に進み、開始さ
れたと判断したときにはステップＳ５に進む。

【００３０】ステップＳ４では変数eventを無音である
ことを示す”０”にし、ステップＳ５では変数eventを
有音であることを示す”１”にして、それぞれステップ
Ｓ６に進む。

【００３１】ステップＳ６ではルート計算を行い、次の
ステップＳ７ではウィンドウ期間のトータルのパワーを
計算する。次に、ステップＳ８では１６分音符の長さに
なっていたならば、１６分音符をＬＣＤ装置１００の表
示画面上に表示された楽譜（スコア）上に表示し、ステ
ップＳ９ではメトロノーム音を鳴らす。

【００３２】次に、ステップＳ１０では変数eventが”
１”であるか否かの判断を行い、event＝”１”のとき
にはステップＳ１１に、event＝”１”でないときには
後述する図６のステップＳ２４に進む。

【００３３】ステップＳ１１では上記計算したパワーの
値により速度（ベロシティ）を決定し、次のステップＳ
１２では前回が無音なら休符を上記ＬＣＤ装置１００の
表示画面上に表示されたスコア上に表示する。

【００３４】次のステップＳ１３ではウィンドウ期間内
で１番低いピーク値を検出し、ステップＳ１４では当該
１番低いピークの両隣のスペクトラムの値を比較し、ス
テップＳ１５では大きい方のスペクトラムの隣のスペク
トラムとの間で内分を計算する。

【００３５】上記スペクトルの内分は以下のように行
う。ここで、スペクトルの周波数精度を向上させる方法
として、複素スペクトル内挿法が知られている。これは
複素平面上でピークに隣接する複素ベクトルから内積に
より真のピークを導き出す手法であるが、本システムで
はＤＳＰ１０５からＣＰＵ１１３にはにパワースペクト
ルの形で送られるため、複素演算はＤＳＰ１０５で行わ
なければならない。そこで、本発明では、パワースペク
トルから内分法によって真のピークを推定する方法をと
るようにしている。この方法を用いることでＣＰＵ１１
３で容易に処理できる。すなわちこのパワースペクトル
から内分法によって真のピークを推定する方法では、図
７に示すように、周波数ｆ_mにおけるスペクトルをＰ_mと
し、周波数ｆ_m+1におけるスペクトルをＰ_m+1とする。

【００３６】ここで、ａ：ｂ＝Ｐ_m+1：Ｐ_m とし、ａ＋ｂ＝１ｂ＝１−ａとすると、ａ・Ｐ_m＝（１−ａ）・Ｐ_m+1 ａ＝Ｐ_m+1／（Ｐ_m+1＋Ｐ_m）となる。したがって、真のピークのスペクトルｆを、ｆ＝ｆ_m＋Ｐ_m+1／（Ｐ_m+1＋Ｐ_m）のように求めることができる。

【００３７】次のステップＳ１６では求めた音を音階番
号に量子化し、図６のステップＳ１７に進む。図６のス
テップＳ１７では、前回の音と今回の音との間の音程が
３度以上１０度以下ならば当該音を採用し、次のステッ
プＳ１８で前回が休符なら音を発する。ステップＳ１９
では前回の音と違うか否かが判断され、違わないときに
は後述するステップＳ２７に進み、違うときにはステッ
プＳ２０に進む。

【００３８】ステップＳ２０ではＬＣＤ装置１００の表
示画面上のピアノ鍵盤（キーボード）上のインジケータ
２００を当該音に対応する鍵盤上に移動して表示し、ス
テップＳ２１では当該音の音符をＬＣＤ装置１００の表
示画面上の五線譜上に表示する。次にステップＳ２２で
は前回の音の発音を停止し、ステップＳ２３では今回の
音を発音する。その後はステップＳ２８に進む。

【００３９】一方、図５のステップＳ１０にてＮｏと判
断されたときに進むステップＳ２４では、前回が音か否
かを判断し、音でないときにはステップＳ２８に、音で
あるときにはステップＳ２５に進む。ステップＳ２５で
はＬＣＤ装置１００の表示画面上のピアノ鍵盤上のイン
ジケータ２００を当該音に対応する鍵盤上に移動して表
示し、ステップＳ２６では当該音の音符をＬＣＤ装置１
００の表示画面上の五線譜上に表示し、次のステップＳ
２７では当該音の発音を停止する。

【００４０】次のステップＳ２８ではタッチパネルから
の入力を読み込み、ステップＳ２９では当該読み込んだ
座標値に従ってパラメータを変更する。その後は、ステ
ップＳ１に戻って、上述した処理を繰り返す。

【００４１】上述のようにすることによって、図１の音
声自動採譜装置においては、入力された人間による歌唱
やハミング等の音声信号から自動的にＭＩＤＩデータや
楽譜を作成可能としている。なお、上述の例では、歌唱
やハミング等の人間による音声を例に挙げているが、楽
器，口笛等の音であっても同様に自動的に採譜できるこ
とは言うまでもない。ただし、この場合、ローパスフィ
ルタのカットオフ周波数は、各種楽器に対応できるもの
となる。

【００４２】ところで、上記ＤＳＰ１０５にて行われる
高速フーリエ変換（ＦＦＴ）を、一定のウィンドウ間隔
で常時行うようにすると、例えば図８に示すように、ウ
ィンドウの途中で有効データ（その前は無効データ）と
なったとしても、そのウィンドウでの演算結果は使用さ
れず、次のウィンドウからが有効となる。したがって、
有効データとなった始めの部分で時間的損失が起こるこ
とになる。

【００４３】このような時間的損失の発生を避けるた
め、本発明の音声自動採譜装置では、図１において、さ
らに図９に示すような構成が付加されている。なお、図
９の構成には主要部分のみを示しており、また、図１と
対応する構成要素には同一の指示符号を付している。

【００４４】この図９において、マイクロホン１１１か
ら入力された音声信号は、アンプ１１０によって増幅さ
れ、ローパスフィルタ（ＬＰＦ）１０７により高域成分
が除去され、音声帯域のみが取り出される。

【００４５】次に、上記ＬＰＦ１０７を介した音声信号
はＡ／Ｄ変換器１０６にてディジタル信号に変換されて
ＤＳＰ１０５に送られ、ここでＦＦＴ処理されて周波数
成分に変換される。

【００４６】一方、ＬＰＦ１０７の出力信号は積分回路
１７にも入力され、そこで積分された後、コンパレータ
１８にて基準電圧Ｖ_REFと比較される。当該コンパレー
タ１８では、上記積分回路１７の出力信号が基準電圧Ｖ
_REFよりも大きければ論理”１”、小さければ論理”
０”の信号を出力する。この信号は、ＣＰＵ１１３に入
力されて音符と休符の１区切り毎のセグメントに分ける
セグメンテーションに使用するだけでなく、ＤＳＰ１０
５の制御にも使用される。すなわち、上記ＣＰＵ１１３
では、上記コンパレータ１８の出力が論理”１”である
ときは音符とし、論理”０”であるときは休符としてセ
グメンテーションを行い、ＤＦＰ１０５では、上記コン
パレータ１８の出力が論理”１”であるとき（積分回路
１７での積分出力が基準電圧Ｖ_REFよりも大きいとき）
はディジタル音声信号をウィンドウ化してＦＦＴ演算
し、論理”０”であるとき（積分回路１７での積分出力
が基準電圧Ｖ_REFよりも小さいとき）はウィンドウ化を
行わずに論理”１”となったとき（積分回路１７での積
分出力が基準電圧Ｖ_REFを越えた時点）にウィンドウ化
をスタートさせてＦＦＴ演算を行う。

【００４７】ＣＰＵ１１３は、上記セグメンテーション
の他、音符の期間にはピッチの検出、及び音符，休符の
長さのカウント等を行い、これらから求めた楽譜のデー
タを前記ＬＣＤコントローラ１０２，ＤＲＡＭ１０１，
ＬＣＤ装置１００からなる楽譜表示装置１６に送る。こ
れにより当該楽譜表示装置１６には楽譜が表示されるこ
とになる。

【００４８】次に、図１０には上記ＬＰＦ１０７、積分
回路１７、コンパレータ１８のより具体的な回路例を示
す。また、図１１には、当該図１０の各部の波形を示
す。

【００４９】この図１０及び図１１において、端子２０
には入力信号として前記アンプ１１０にて増幅された音
声信号が供給され、当該音声信号がＬＰＦ１０７に送ら
れる。当該音声信号は、抵抗Ｒ１，Ｒ２の抵抗値とコン
デンサＣ１，Ｃ２の容量により決まるカットオフ周波数
で帯域制限され、オペアンプ２１を介し、さらにコンデ
ンサＣ３によりＤＣ（直流）成分がカットされる。この
コンデンサＣ３を介した信号は、積分回路１７のオペア
ンプ２２に送られ、バイアス電圧Ｖ₁を中心に抵抗Ｒ３
と抵抗Ｒ４の抵抗値で決まる増幅率で増幅される。次
に、当該増幅された信号は、抵抗Ｒ５とコンデンサＣ４
で積分され、コンパレータ１８のオペアンプ２３に送ら
れる。このオペアンプ２３では、上記積分回路１７の出
力電圧値が基準電圧Ｖ_REFより上なら論理”１”を、下
なら論理”０”の信号を出力する。なお、オペアンプ２
３では、論理レベルの電圧まで出力できないため、トラ
ンジスタ２４をスイッチング動作させ、論理レベルで出
力させる。この出力信号が端子２５から出力され、図９
のＣＰＵ１１３及びＤＳＰ１０５に送られる。

【００５０】次に図１２には、ＤＳＰ１０５におけるＦ
ＦＴ演算が、上記コンパレータ１８の出力信号が論理”
１”になると同時に始まる様子を示す。この図１２か
ら、有効データの入力と同時にＦＦＴ処理のウィンドウ
期間ＴＷが始まるため、遅延時間無しに有効データのみ
によるＦＦＴ演算結果が得られることがわかる。すなわ
ち、上記図９及び図１０の構成を図１の音声自動採譜装
置に適用することにより、音声入力の立ち上がりで検出
の遅れがなくなる。

【００５１】上述したように、本発明の音声自動採譜装
置は、音声の周波数等を分析して自動的に楽譜に変換す
る装置であり、音声波を積分し、その積分出力の包絡線
の高さが、ある基準値を越えた時を有効データと判断し
て高速フーリエ変換をスタートさせることで、高速フー
リエ変換のウィンドウ間隔による時間分解能の損失を最
小限にしている。

【００５２】

【発明の効果】以上の説明で明らかなように、本発明に
おいては、アナログ音声信号をディジタル変換したディ
ジタル音声信号を所定のウィンドウ間隔で周波数分析
し、この周波数分析により得られた周波数成分から楽譜
データを生成することにより、人間による歌唱やハミン
グ等のアナログ音声信号から自動的にＭＩＤＩデータや
楽譜の作成を可能とする。また、アナログ音声信号の積
分出力を所定の基準値と比較し、この積分出力が所定の
基準値を越えた時点で、アナログ音声信号をディジタル
変換したディジタル音声信号を周波数分析する際のウィ
ンドウ化を開始することにより、周波数分析の際のウィ
ンドウ間隔による時間分解能の損失を最小限にしてい
る。

【図面の簡単な説明】

【図１】本発明の音声自動採譜装置の全体システム構成
例を示すブロック回路図である。

【図２】ウィンドウを４つに分け、シフトさせながらＦ
ＦＴ演算を行う方法について説明するための図である。

【図３】ＬＣＤ装置の表示画面の一例を示す図である。

【図４】ＬＣＰ装置のＬＣＤのアドレスマップを示す図
である。

【図５】ＣＰＵのアルゴリズムの前半部分を示すフロー
チャートである。

【図６】ＣＰＵのアルゴリズムの後半部分を示すフロー
チャートである。

【図７】スペクトルの内分方法を説明するための図であ
る。

【図８】ウィンドウの途中で有効データがきた場合の時
間的損失について説明するための図である。

【図９】本発明の音声自動採譜装置の要部の構成を示す
ブロック回路図である。

【図１０】本発明の音声自動採譜装置の要部のＬＰＦと
積分回路とコンパレータの構成を具体的に示す回路図で
ある。

【図１１】図１０の回路図の各部の信号波形を示す波形
図である。

【図１２】本発明の音声自動採譜装置において、ウィン
ドウの途中で有効データがきた場合でも時間的損失がな
いことを説明するための図である。

【符号の説明】

１７積分回路１８コンパレータ１６楽譜表示装置１００ＬＣＤ装置１０１ＤＲＡＭ１０２ＬＣＤコントローラ１０３ＭＩＤＩインターフェイス部１０５ＤＳＰ１０６Ａ／Ｄ変換器１０７ローパスフィルタ１１１マイクロホン１１３ＣＰＵ１１４ＳＲＡＭ１１５ＲＯＭ

Claims

【特許請求の範囲】

【請求項１】音声信号から自動的に楽譜を生成する音
声自動採譜装置において、アナログ音声信号を積分する積分手段と、上記積分手段の積分出力を所定の基準値と比較する比較
手段と、上記アナログ音声信号をディジタル変換するアナログ／
ディジタル変換手段と、上記ディジタル変換されたディジタル音声信号を所定の
ウィンドウ間隔で周波数分析する周波数分析手段と、上記周波数分析手段により得られた周波数成分から楽譜
データを生成する信号処理手段とを有し、上記周波数分析手段は、上記比較手段での比較において
上記積分出力が所定の基準値を越えた時点で、上記ディ
ジタル音声信号に対するウィンドウ化を開始して上記周
波数分析を行うことを特徴とする音声自動採譜装置。
【請求項２】上記周波数分析手段は、ウィンドウを複
数のブロックに分割し、当該分割したブロックをシフト
させながら上記周波数分析を行うことを特徴とする請求
項１記載の音声自動採譜装置。
【請求項３】上記周波数分析手段は、高速フーリエ変
換により上記ディジタル音声信号を上記周波数成分に変
換することを特徴とする請求項１記載の音声自動採譜装
置。
【請求項４】上記信号処理手段は、上記周波数成分か
ら内分法によりピークを推定することを特徴とする請求
項１記載の音声自動採譜装置。
【請求項５】上記アナログ音声信号のうち、人間の音
声の周波数帯域の信号成分のみを通過させるフィルタ手
段を設けることを特徴とする請求項１記載の音声自動採
譜装置。