JPH09152865A

JPH09152865A - 音声自動採譜装置

Info

Publication number: JPH09152865A
Application number: JP7313342A
Authority: JP
Inventors: Kazuo Sudo; 一夫須藤; Tadashi Tokuyama; 正徳山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-11-30
Filing date: 1995-11-30
Publication date: 1997-06-10

Abstract

(57)【要約】【課題】人間による歌唱やハミング等のアナログ音声
信号から自動的にＭＩＤＩデータや楽譜の作成を可能と
すると共に、パワーセーブをも可能とする。【解決手段】アナログ音声信号を積分する積分回路１
７と、その積分出力を基準電圧Ｖ_REFと比較するコンパ
レータ１８と、アナログ音声信号をディジタル変換する
Ａ／Ｄ変換器１０６と、そのディジタル音声信号を所定
のウィンドウ間隔で高速フーリエ変換するＤＳＰ１０５
と、高速フーリエ変換により得られたパワースペクトル
から楽譜データを生成するＣＰＵ１１３とを有し、ＣＰ
Ｕ１１３はコンパレータ１８の出力に基づいて音符と休
符の弁別を行い、Ａ／Ｄ変換器１９６とＤＳＰ１０５は
休符の期間には動作を停止する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された歌唱又
はハミング等の音声から自動的に楽譜を生成する音声自
動採譜装置に関する。

【０００２】

【従来の技術】近年、電子楽器とパーソナルコンピュー
タ間のインターフェイス規格であるＭＩＤＩ（Musical
Instrument Digital Interface）規格が普及し、多くの
人がパーソナルコンピュータを使って作曲したり、電子
楽器を演奏するようになっている。

【０００３】

【発明が解決しようとする課題】しかし、アコースティ
ック楽器を演奏できない人でも容易に楽器演奏ができる
ようになった反面、そのためには何らかの方法でＭＩＤ
Ｉデータをコンピュータに入力しなければならない。し
たがって、この段階でコンピュータの画面上で楽譜を書
いていくか、ピアノやギターなどの音を発し、かつその
音をＭＩＤＩデータに変換できるような電子楽器を演奏
する能力が要求される。

【０００４】このようなことから、近年は、人間による
歌唱やハミング等の音声から自動的にＭＩＤＩデータや
楽譜の作成を可能とする音声自動採譜装置が各種提案さ
れている。

【０００５】ところで、人間による歌唱やハミング等の
音声から自動的に採譜を行う場合、アナログ音声信号を
アナログ／ディジタル変換器によってディジタル音声信
号に変換した後、パワー演算部によって当該ディジタル
音声信号からパワー情報を演算し、このパワー情報に基
づいて、例えば音声信号を音符と休符のような１区切り
毎のセグメントに分けるセグメンテーションが行われて
いる。

【０００６】ところが、このようなセグメントテーショ
ンの際には、常時、Ａ／Ｄ変換器及びパワー演算部を動
作させていなければならないため、電力の消費が激しく
好ましくない。

【０００７】そこで、本発明はこの様な実情に鑑みてな
されたものであり、特別な演奏能力が要求されることが
ない、人間による歌唱やハミング等の音声から自動的に
ＭＩＤＩデータや楽譜の作成を可能とすると共に、セグ
メンテーション時にパワーセーブが可能な音声自動採譜
装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は、音声信号から
自動的に楽譜を生成する音声自動採譜装置であり、アナ
ログ音声信号をディジタル変換したディジタル音声信号
を所定のウィンドウ間隔で周波数分析し、この周波数分
析により得られた周波数成分から楽譜データを生成する
と共に、アナログ音声信号の積分出力を所定の基準値と
比較し、この比較結果に基づいて音符と休符の弁別を行
うと共に、休符の期間にはアナログ／ディジタル変換と
周波数分析の動作を停止することにより、上述の課題を
解決する。

【０００９】すなわち、本発明によれば、人間による歌
唱やハミング等のアナログ音声信号から自動的にＭＩＤ
Ｉデータや楽譜の作成を可能とすると共に、休符の期間
にはアナログ／ディジタル変換と周波数分析の動作を停
止することによりパワーをセーブするようにしている。

【００１０】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照にしながら説明する。

【００１１】先ず、図１には、本発明の音声自動採譜装
置が適用されるシステム全体の構成を示す。

【００１２】この図１において、マイクロホン１１１か
ら入力された音声信号は、アンプ１１０によって増幅さ
れ、切換スイッチ１０８の一方の被切換端子に送られ
る。この切換スイッチ１０８の他方の被切換端子はライ
ンイン端子１０９と接続されている。したがって、当該
切換スイッチ１０８はマイクロホン１１１からの入力音
声信号とラインイン端子１０９からの入力音声信号とを
切換選択する。なお、切換スイッチ１０８の出力は、ラ
インアウト端子１１２から外部にも出力可能となってい
る。

【００１３】この切換スイッチ１０８を介して供給され
た音声信号は、ローパスフィルタ（以下ＬＰＦと呼ぶ）
１０７に送られる。このＬＰＦ１０７では高域成分が除
去され音声帯域のみを通過させる。

【００１４】ここで、入力音声信号が人間の音声である
場合、人間の音声の基本波の帯域は声楽をしている男性
の最低音から女性の最高音までが約５０Ｈｚ〜１ｋＨｚ
であり、また一般の人のハミング程度では上限が５００
Ｈｚもあれば十分である。したがって、後段のＡ／Ｄ変
換器１０６でのサンプリング周波数を例えば２．０１６
ｋＨｚにしたとき、音程検出時に２次高調波による１オ
クターブ上への検出ミスを減らすためにも、入力段で少
なくとも必要最低限の５００Ｈｚをカットオフするよう
な２次のＬＰＦ１０７を用いている。なお、音程検出時
に男性の低音での１オクターブ上への検出ミスを減らす
ためにも、低域側はできるだけのばようにしており、上
記ＬＰＦ１０７の前段又は後段には図示は省略している
がカットオフ２Ｈｚの１次ハイパスフィルタ（ＨＰＦ）
を接続している。

【００１５】当該ＬＰＦ１０７を介した音声信号は、ア
ナログ／ディジタル（Ａ／Ｄ）変換器１０６にてディジ
タル音声信号に変換される。

【００１６】ここで、当該Ａ／Ｄ変換器１０６は、入力
ダイナミックレンジが±３Ｖで、サンプリング周波数が
２．０２ｋＨｚ、量子化ビット数が１４ビットのものを
使用している。また、当該Ａ／Ｄ変換器１０６は、シリ
アルポートとダイレクトにインターフェイスが可能なも
のであり、サンプリング周波数と内蔵フィルタのカット
オフをプログラムにより変えることができるものであ
る。なお、当該Ａ／Ｄ変換器１０６の場合、内蔵フィル
タのカットオフ周波数については例えば１．０１ｋＨｚ
にしている。さらに当該Ａ／Ｄ変換器１０６は、所定サ
ンプル数毎に後段のディジタル・シグナル・プロセッサ
（以下ＤＳＰとする）１０５に対して割り込みをかけ、
当該ＤＳＰ１０５の割り込みルーチン内でサンプリング
データをシリアル伝送する。このサンプリング周波数
が、後述する音符の長さやメトロノームなどのタイミン
グの基準になっている。

【００１７】上記Ａ／Ｄ変換器１０６から出力されたデ
ィジタル音声信号は、ＤＳＰ１０５に送られる。当該Ｄ
ＳＰ１０５では、上記Ａ／Ｄ変換器１０６から供給され
たディジタル音声信号を高速フーリエ変換（以下ＦＦＴ
とする）処理により周波数分析し、周波数成分を得る。
すなわち、当該ＤＳＰ１０５では、上記Ａ／Ｄ変換器１
０６からのサンプリングによる１４ビットデータを、一
旦入力バッファに例えば右詰めにして格納し、当該１４
ビットのサンプリングデータが５１２個すなわち５１２
ワード（この長さをウィンドウと言う）格納されたなら
ば、この５１２ワードのデータを入力バッファから読み
出して演算バッファに転送し、この演算バッファ上でＦ
ＦＴ演算を行う。なお、ここでのＦＦＴ演算の窓関数に
はいわゆるブラックマンウィンドウを用いている。ま
た、ＦＦＴ演算は複素演算であり、サンプリングデータ
を実部に、０を虚部に入れていくため、上記入力バッフ
ァのメモリ容量としては、実際には１０２４ワード分の
メモリ容量が少なくとも必要であり、しかもＦＦＴ演算
中もデータがサンプリングされるため、当該入力バッフ
ァはダブルバッファ構成とし、合計で２０４８ワード分
のメモリとして使用している。

【００１８】ここで、５１２ワードのデータのサンプリ
ングに要する時間は約２５３ｍｓｅｃであり、この時間
によりＦＦＴ演算時の最小時間分解能が決まることにな
る。言い換えれば、当該２５３ｍｓｅｃ以下の変化には
追従できないことになる。実際にはこれでは遅すぎ、し
たがって時間分解能を上げるにはサンプリング周波数を
上げるか、ＦＦＴ演算のポイント数を減らさなければな
らない。しかし、このどちらも好ましくないので、本発
明の例では、見かけ上の時間分解能を上げるために、図
２に示すように、上記ウィンドウを図中Ｗ₁〜Ｗ₄に示す
ように４つのブロックに分け、これらを順にシフトさせ
ながらＦＦＴ演算を行っていく方法をとっている。な
お、図２の図中矢印で示す範囲がＦＦＴ演算されるブロ
ックの範囲を示している。この方法によって、時間分解
能は例えば６３ｍｓｅｃにすることができる。また、最
小周波数分解能は３．９Ｈｚ以下となっている。

【００１９】上記ＦＦＴ演算が終了すると、当該ＦＦＴ
演算後のデータはビット逆順に次のバッファに送られ、
実部と虚部の２乗和をとりながら出力バッファに転送さ
れる。当該出力バッファもダブルバッファ構成となさ
れ、各々５１２ワードのデータの格納を行う。出力バッ
ファにおいて１ウィンドウ分のデータが格納されると、
ＣＰＵ１１３に対して割り込みをかけ、同時に出力バッ
ファに対して出力命令を発して当該出力バッファに送
る。

【００２０】ＣＰＵ１１３は、当該割り込みルーチンで
上記出力バッファのデータを読みに行き、当該出力バッ
ファからはパラレルにデータが出力される。ＤＳＰ１０
５は、上記ＣＰＵ１１３が出力バッファに対して出力す
るアドレスをデコードしたデータの後エッジによって割
り込みがかかり、上記ＣＰＵ１１３が出力バッファから
データを読んだことを知る。

【００２１】なお、上記入力バッファと演算バッファ及
び出力バッファは、例えば２Ｍビットの記憶容量を有す
るＳＲＡＭ（スタティックＲＡＭ）１１４にて実現さ
れ、このＳＲＡＭ１１４は各バッファに対応して記憶領
域が分けられて使用されている。

【００２２】上記ＣＰＵ１１３は、ＲＯＭ１１５内に格
納されているプログラムデータ等を用いて、各部を制御
すると共に、上記マイクロホン１１１を介して入力され
た人間による歌唱やハミング等の音声信号を上記ＤＳＰ
１０５によってＦＦＴ演算したデータから、後述する図
５及び図６に示すアルゴリズムに従って自動的にＭＩＤ
Ｉデータや楽譜の作成を行う。

【００２３】ここで、上記ＣＰＵ１１３により作成され
た楽譜のデータは、液晶ディスプレイ（以下ＬＣＤと呼
ぶ）コントローラ１０２に送られる。当該ＬＣＤコント
ローラ１０２は上記楽譜のデータを、２Ｍビットの容量
のＤＲＡＭ（ダイナミックＲＡＭ）１０１に格納すると
共に、当該格納した楽譜のデータを用いてＬＣＤ装置１
００へ表示する表示データを生成する。これによりＬＣ
Ｄ装置１００の表示面上には、例えば図３に示すような
五線譜の楽譜が表示されることになる。この楽譜上には
例えば１６分音符〜全音符までの音符が表示され、さら
にこの図３の例では３段分のピアノの鍵盤も表示されて
いる。ここでは１６分音符からとしているが、３２分音
符や６４分音符等も表示可能であることは言うまでもな
い。また、臨時記号等も省略しているがもちろん表示す
ることは可能である。さらに、表示されたピアノ鍵盤の
上にはインジケータ２００が表示され、このインジケー
タ２００がピアノ鍵盤上を移動することで、五線譜上の
音程とピアノ鍵盤との対応が表示されるようになってい
る。その他、この表示画面上には、イメージとして、自
動採譜の開始を指示するスタートボタンの表示と、ＭＩ
ＤＩチャンネル表示と、プログラム数を示す表示と、オ
クターブの高低を示す表示と、速さを示すビート表示も
表示されている。

【００２４】なお、図３の例では、上記スタートボタン
として＜＜ＳＴＡＲＴ＞＞を表示し、また、ＭＩＤＩチ
ャンネル数は例えば１６チャンネルで、そのうち一つが
表示される。図３の例では第１チャンネルとして［ＭＩ
ＤＩＣＨ０１］が表示されている。プログラム数は例え
ば１〜１２８あり、リアルタイムに変更可能で、図３の
例では［ＩＮＳＴ００１］として第１番目のプログラム
の表示が行われている。オクターブは±５オクターブを
リアルタイムに変更可能で、図３の例ではオクターブ表
示として例えば［ＯＣＴ±０］を表示している。さち
に、ビート表示はメトロノーム機能に応じてなされる。
なお、メトロノーム機能は、例えば１分間に４分音符を
２３４個奏するテンポとしたとき、図３の例におけるビ
ート表示のＢＥＡＴ＝０でなし、ＢＥＡＴ＝１で全音符
毎（１０２４ｍｓｅｃ毎）、ＢＥＡＴ＝２で２分音符毎
（５１２ｍｓｅｃ毎）、ＢＥＡＴ＝４で４分音符毎（２
５６ｍｓｅｃ毎）、ＢＥＡＴ＝８で８分音符毎（１２８
ｍｓｅｃ毎）、ＢＥＡＴ＝１６で１６分音符毎（６４ｍ
ｓｅｃ毎）に、例えばウッドブロック音のＭＩＤＩデー
タとして出力され、このＭＩＤＩデータに基づいてスピ
ーカ等からメトロノーム音として鳴らされる。なお、図
３の例ではビート表示として［ＢＥＡＴ００］を表示し
ている。

【００２５】また、上記ＬＣＤ装置１００は、ＶＧＡ
（Video Graphics Array、信号線数６４０本×走査線数
４８０本）ＬＣＤを使用し、図４に示すように、ＬＣＤ
上の各ドットはバス上のアドレスに対するデータそのま
まに対応している。各アドレスで扱うデータはロングワ
ードで、そのうちＭＳＢ側から１バイトずつ区切って３
バイトをＲ（赤），Ｇ（緑），Ｂ（青）又はモノクロの
諧調に使用している。上記楽譜（スコア）の表示は例え
ばモノクロ２値とし、五線譜と音符又は休符をレイヤに
して音符又は休符の更新を可能にしている。なお、図４
において、任意のアドレスドットに書き込むデータを＊
ドットとすると、五線譜＊ドット＝ｘｘｘｘ００００音符＊ドット
＝ｘｘ００ｘｘ００となる。

【００２６】さらに、当該ＬＣＤ装置１００は表示面上
にいわゆるタッチパネルを備えている。ＬＣＤコントロ
ーラ１０２は使用者が上記タッチパネルを介して入力し
たデータをＣＰＵ１１３に送る。一方、上記ＣＰＵ１１
３が作成したＭＩＤＩデータは、ＭＩＤＩインターフェ
イス部１０３及びＭＩＤＩ出力端子１０４を介して外部
に出力可能となっている。なお、ＭＩＤＩインターフェ
イス部１０３は、ホストとバスで接続された内部レジス
タに、設定コマンドとＭＩＤＩデータを入れることで自
動的にＭＩＤＩデータとして出力することが可能なもの
である。次に、図５及び図６を用いてＣＰＵ１１３にお
ける信号処理のアルゴリズムについて説明する。

【００２７】先ず、図５において、ステップＳ１では、
歌唱やハミング等の音声から自動的にＭＩＤＩデータや
楽譜の作成を開始することを、当該装置の使用者が指示
するための前記図３のスタートボタンが押されているか
否かの判断を行う。なお、例えばＬＣＤ装置１００の表
示画面上にイメージとして表示されているスタートボタ
ンを押すと、当該スタートボタンの表示位置に対応する
タッチパネルの出力信号がＣＰＵ１１３に送られ、これ
によりＣＰＵ１１３はスタートボタンが押されたことを
知る。当該ステップＳ１において、スタートボタンが押
されていると判断した場合にはステップＳ２に進み、ス
タートボタンが押されていないと判断した場合には後述
する図６のステップＳ２８へ進む。

【００２８】ステップＳ２では、前記ＤＳＰ１０５から
出力バッファに格納されたデータが無効データか否かを
判断する。具体的に言うと、前記ＤＳＰ１０５は、前記
ＦＦＴ演算のウィンドウ期間中に音声信号が存在すると
きにはデータが有効である旨を示す信号（以下有効デー
タと呼ぶ）を出力し、またウィンドウ期間中に音声信号
が存在しないときにはデータが無効である旨を示す信号
（以下無効データと呼ぶ）を出力し、ＣＰＵ１１３に送
るようになされており、当該ＣＰＵ１１３は、上記ＤＳ
Ｐ１０５から無効データの供給の有無を判断している。
ここで、ＤＳＰ１０５から無効データが供給されたと判
断したならばステップＳ４に進み、無効データが供給さ
れていないと判断したならばステップＳ３に進む。

【００２９】ステップＳ３では、前記出力バッファから
データの転送が開始されたか否かを判断し、開始されて
いないと判断したときにはステップＳ４に進み、開始さ
れたと判断したときにはステップＳ５に進む。

【００３０】ステップＳ４では変数eventを無音である
ことを示す”０”にし、ステップＳ５では変数eventを
有音であることを示す”１”にして、それぞれステップ
Ｓ６に進む。

【００３１】ステップＳ６ではルート計算を行い、次の
ステップＳ７ではウィンドウ期間のトータルのパワーを
計算する。次に、ステップＳ８では１６分音符の長さに
なっていたならば、１６分音符をＬＣＤ装置１００の表
示画面上に表示された楽譜（スコア）上に表示し、ステ
ップＳ９ではメトロノーム音を鳴らす。

【００３２】次に、ステップＳ１０では変数eventが”
１”であるか否かの判断を行い、event＝”１”のとき
にはステップＳ１１に、event＝”１”でないときには
後述する図６のステップＳ２４に進む。

【００３３】ステップＳ１１では上記計算したパワーの
値により速度（ベロシティ）を決定し、次のステップＳ
１２では前回が無音なら休符を上記ＬＣＤ装置１００の
表示画面上に表示されたスコア上に表示する。

【００３４】次のステップＳ１３ではウィンドウ期間内
で１番低いピーク値を検出し、ステップＳ１４では当該
１番低いピークの両隣のスペクトラムの値を比較し、ス
テップＳ１５では大きい方のスペクトラムの隣のスペク
トラムとの間で内分を計算する。

【００３５】上記スペクトルの内分は以下のように行
う。ここで、スペクトルの周波数精度を向上させる方法
として、複素スペクトル内挿法が知られている。これは
複素平面上でピークに隣接する複素ベクトルから内積に
より真のピークを導き出す手法であるが、本システムで
はＤＳＰ１０５からＣＰＵ１１３にはにパワースペクト
ルの形で送られるため、複素演算はＤＳＰ１０５で行わ
なければならない。そこで、本発明では、パワースペク
トルから内分法によって真のピークを推定する方法をと
るようにしている。この方法を用いることでＣＰＵ１１
３で容易に処理できる。すなわちこのパワースペクトル
から内分法によって真のピークを推定する方法では、図
７に示すように、周波数ｆ_mにおけるスペクトルをＰ_mと
し、周波数ｆ_m+1におけるスペクトルをＰ_m+1とする。

【００３６】ここで、ａ：ｂ＝Ｐ_m+1：Ｐ_m とし、ａ＋ｂ＝１ｂ＝１−ａとすると、ａ・Ｐ_m＝（１−ａ）・Ｐ_m+1 ａ＝Ｐ_m+1／（Ｐ_m+1＋Ｐ_m）となる。したがって、真のピークのスペクトルｆを、ｆ＝ｆ_m＋Ｐ_m+1／（Ｐ_m+1＋Ｐ_m）のように求めることができる。

【００３７】次のステップＳ１６では求めた音を音階番
号に量子化し、図６のステップＳ１７に進む。図６のス
テップＳ１７では、前回の音と今回の音との間の音程が
３度以上１０度以下ならば当該音を採用し、次のステッ
プＳ１８で前回が休符なら音を発する。ステップＳ１９
では前回の音と違うか否かが判断され、違わないときに
は後述するステップＳ２７に進み、違うときにはステッ
プＳ２０に進む。

【００３８】ステップＳ２０ではＬＣＤ装置１００の表
示画面上のピアノ鍵盤（キーボード）上のインジケータ
２００を当該音に対応する鍵盤上に移動して表示し、ス
テップＳ２１では当該音の音符をＬＣＤ装置１００の表
示画面上の五線譜上に表示する。次にステップＳ２２で
は前回の音の発音を停止し、ステップＳ２３では今回の
音を発音する。その後はステップＳ２８に進む。

【００３９】一方、図５のステップＳ１０にてＮｏと判
断されたときに進むステップＳ２４では、前回が音か否
かを判断し、音でないときにはステップＳ２８に、音で
あるときにはステップＳ２５に進む。ステップＳ２５で
はＬＣＤ装置１００の表示画面上のピアノ鍵盤上のイン
ジケータ２００を当該音に対応する鍵盤上に移動して表
示し、ステップＳ２６では当該音の音符をＬＣＤ装置１
００の表示画面上の五線譜上に表示し、次のステップＳ
２７では当該音の発音を停止する。

【００４０】次のステップＳ２８ではタッチパネルから
の入力を読み込み、ステップＳ２９では当該読み込んだ
座標値に従ってパラメータを変更する。その後は、ステ
ップＳ１に戻って、上述した処理を繰り返す。

【００４１】上述のようにすることによって、図１の音
声自動採譜装置においては、入力された人間による歌唱
やハミング等の音声信号から自動的にＭＩＤＩデータや
楽譜を作成可能としている。なお、上述の例では、歌唱
やハミング等の人間による音声を例に挙げているが、楽
器，口笛等の音であっても同様に自動的に採譜できるこ
とは言うまでもない。ただし、この場合、ローパスフィ
ルタのカットオフ周波数は、各種楽器に対応できるもの
となる。

【００４２】ところで、図１の音声自動採譜装置におい
ては、アナログ音声信号をＡ／Ｄ変換器１０６によって
ディジタル音声信号に変換した後、ＤＳＰ１０５によっ
てＦＦＴ演算を行い、さらにＣＰＵ１１３によって楽譜
データを生成するようにしているが、例えば音声信号を
音符と休符のような１区切り毎のセグメントに分けるセ
グメンテーションを、常時行っていると、電力の消費が
激しく好ましくない。

【００４３】このようなことから、本発明の音声自動採
譜装置では、図１において、さらに図８に示すような構
成が付加されている。なお、図８の構成には主要部分の
みを示しており、また、図１と対応する構成要素には同
一の指示符号を付している。

【００４４】この図８において、マイクロホン１１１か
ら入力された音声信号は、アンプ１１０によって増幅さ
れ、ローパスフィルタ（ＬＰＦ）１０７により高域成分
が除去され、音声帯域のみが取り出される。

【００４５】次に、上記ＬＰＦ１０７を介した音声信号
はＡ／Ｄ変換器１０６にてディジタル信号に変換されて
ＤＳＰ１０５に送られ、ここでＦＦＴ処理されて周波数
成分に変換される。

【００４６】この周波数成分は、ＣＰＵ１１３に送られ
る。ＣＰＵ１１３では、当該周波数成分に基づいて音符
と休符の１区切り毎のセグメントに分けるセグメンテー
ションを行い、楽譜データを生成する。

【００４７】一方、ＬＰＦ１０７の出力信号は積分回路
１７にも入力され、そこで積分された後、コンパレータ
１８にて基準電圧Ｖ_REFと比較される。当該コンパレー
タ１８では、上記積分回路１７の出力信号が基準電圧Ｖ
_REFよりも大きければ論理”１”、小さければ論理”
０”の信号を出力する。

【００４８】この信号は、ＣＰＵ１１３に入力されて音
符と休符の１区切り毎のセグメントに分けるセグメンテ
ーションに使用するだけでなく、Ａ／Ｄ変換器１０６と
ＤＳＰ１０５にも送られ、これらＡ／Ｄ変換器１０６と
ＤＳＰ１０５のパワーセーブの制御にも使用される。す
なわち、上記ＣＰＵ１１３では、上記コンパレータ１８
の出力が論理”１”であるとき（積分回路１７での積分
出力が基準電圧Ｖ_REFよりも大きいとき）は音符とし、
論理”０”であるとき（積分回路１７での積分出力が基
準電圧Ｖ_REFよりも小さいとき）は休符としてセグメン
テーションを行い、また、上記Ａ／Ｄ変換器１０６とＤ
ＳＰ１０５では、上記コンパレータ１８の出力が論理”
１”であるときは動作し、論理”０”であるときはディ
ジタル変換と周波数分析を行う必要がないので動作を停
止させてパワーセーブを行う。

【００４９】ＣＰＵ１１３は、上記セグメンテーション
の他、音符の期間にはピッチの検出、及び音符，休符の
長さのカウント等を行い、これらから求めた楽譜のデー
タを前記ＬＣＤコントローラ１０２，ＤＲＡＭ１０１，
ＬＣＤ装置１００からなる楽譜表示装置１６に送る。こ
れにより当該楽譜表示装置１６には楽譜が表示されるこ
とになる。

【００５０】図９には、図８の構成において、コンパレ
ータ１８の出力に基づくＡ／Ｄ変換貴１０６及びＤＳＰ
１０５のパワーセーブとＣＰＵ１１３でのセグメンテー
ション等の動作のフローチャートを示す。

【００５１】この図９において、ステップＳ３１では、
音声の積分値が基準値（基準電圧Ｖ_REF以上か否かの判
断を行う。このステップＳ３１において基準値以上でな
いと判断したときには後述するステップＳ３５に進み、
基準値以上であると判断したときにはステップＳ３２に
進む。

【００５２】ステップＳ３２ではＡ／Ｄ変換したデータ
をメモリ（ＳＲＡＭ１１４）に蓄積し、次のステップＳ
２２ではＤＳＰ１０５においてＦＦＴ演算を行う。次の
ステップＳ３４ではＣＰＵ１１３にてピッチ検出を行
い、音符として処理する。その後、ステップＳ３１に戻
って上述の処理を行う。

【００５３】一方、ステップＳ３１にて基準値以上でな
いと判断された場合に進むステップＳ３５では、Ａ／Ｄ
変換器１０６とＤＳＰ１０５における動作を停止してパ
ワーセーブを行い、次のステップＳ３６ではＣＰＵ１１
３にて休符として扱い、その後ステップＳ３１に戻り、
上述の処理を繰り返す。

【００５４】次に、図１０には上記ＬＰＦ１０７、積分
回路１７、コンパレータ１８のより具体的な回路例を示
す。また、図１１には、当該図１０の各部の波形を示
す。

【００５５】この図１０及び図１１において、端子２０
には入力信号として前記アンプ１１０にて増幅された音
声信号が供給され、当該音声信号がＬＰＦ１０７に送ら
れる。当該音声信号は、抵抗Ｒ１，Ｒ２の抵抗値とコン
デンサＣ１，Ｃ２の容量により決まるカットオフ周波数
で帯域制限され、オペアンプ２１を介し、さらにコンデ
ンサＣ３によりＤＣ（直流）成分がカットされる。この
コンデンサＣ３を介した信号は、積分回路１７のオペア
ンプ２２に送られ、バイアス電圧Ｖ₁を中心に抵抗Ｒ３
と抵抗Ｒ４の抵抗値で決まる増幅率で増幅される。次
に、当該増幅された信号は、抵抗Ｒ５とコンデンサＣ４
で積分され、コンパレータ１８のオペアンプ２３に送ら
れる。このオペアンプ２３では、上記積分回路１７の出
力電圧値が基準電圧Ｖ_REFより上なら論理”１”を、下
なら論理”０”の信号を出力する。なお、オペアンプ２
３では、論理レベルの電圧まで出力できないため、トラ
ンジスタ２４をスイッチング動作させ、論理レベルで出
力させる。この出力信号が端子２５から出力され、図８
のＣＰＵ１１３及びＤＳＰ１０５に送られる。

【００５６】上述したように、本発明の音声自動採譜装
置は、音声の周波数等を分析して自動的に楽譜に変換す
る装置であり、音声波を積分し、その積分出力の包絡線
の高さが、ある基準値を越えた時に音符とし、越えなか
ったときは休符と判断し、さらに、休符と判断された期
間は、周波数の検出を行う必要がないため、Ａ／Ｄ変換
器１０６と周波数検出に用いるＤＳＰ１０５等の動作を
停止させることで、パワーセーブが可能となる。

【００５７】

【発明の効果】以上の説明で明らかなように、本発明に
おいては、アナログ音声信号をディジタル変換したディ
ジタル音声信号を所定のウィンドウ間隔で周波数分析
し、この周波数分析により得られた周波数成分から楽譜
データを生成することにより、人間による歌唱やハミン
グ等のアナログ音声信号から自動的にＭＩＤＩデータや
楽譜の作成を可能とする。また、アナログ音声信号の積
分出力を所定の基準値と比較し、この比較結果に基づい
て音符と休符の弁別を行うと共に、休符の期間にはアナ
ログ／ディジタル変換と周波数分析の動作を停止するこ
とにより、パワーセーブが可能となる。

【図面の簡単な説明】

【図１】本発明の音声自動採譜装置の全体システム構成
例を示すブロック回路図である。

【図２】ウィンドウを４つに分け、シフトさせながらＦ
ＦＴ演算を行う方法について説明するための図である。

【図３】ＬＣＤ装置の表示画面の一例を示す図である。

【図４】ＬＣＰ装置のＬＣＤのアドレスマップを示す図
である。

【図５】ＣＰＵのアルゴリズムの前半部分を示すフロー
チャートである。

【図６】ＣＰＵのアルゴリズムの後半部分を示すフロー
チャートである。

【図７】スペクトルの内分方法を説明するための図であ
る。

【図８】本発明の音声自動採譜装置の要部の構成を示す
ブロック回路図である。

【図９】本発明の音声自動採譜装置における音符，休符
の判別とパワーセーブの制御のフローチャートである。

【図１０】本発明の音声自動採譜装置の要部のＬＰＦと
積分回路とコンパレータの構成を具体的に示す回路図で
ある。

【図１１】図１０の回路図の各部の信号波形を示す波形
図である。

【符号の説明】

１７積分回路１８コンパレータ１６楽譜表示装置１００ＬＣＤ装置１０１ＤＲＡＭ１０２ＬＣＤコントローラ１０３ＭＩＤＩインターフェイス部１０５ＤＳＰ１０６Ａ／Ｄ変換器１０７ローパスフィルタ１１１マイクロホン１１３ＣＰＵ１１４ＳＲＡＭ１１５ＲＯＭ

Claims

【特許請求の範囲】

【請求項１】音声信号から自動的に楽譜を生成する音
声自動採譜装置において、アナログ音声信号を積分する積分手段と、上記積分手段の積分出力を所定の基準値と比較する比較
手段と、上記アナログ音声信号をディジタル変換するアナログ／
ディジタル変換手段と、上記ディジタル変換されたディジタル音声信号を所定の
ウィンドウ間隔で周波数分析する周波数分析手段と、上記周波数分析手段により得られた周波数成分から楽譜
データを生成する信号処理手段とを有し、上記信号処理手段は上記比較手段での比較結果に基づい
て音符と休符の弁別を行い、上記アナログ／ディジタル
変換手段及び周波数分析手段は休符の期間には動作を停
止することを特徴とする音声自動採譜装置。
【請求項２】上記周波数分析手段は、ウィンドウを複
数のブロックに分割し、当該分割したブロックをシフト
させながら上記周波数分析を行うことを特徴とする請求
項１記載の音声自動採譜装置。
【請求項３】上記周波数分析手段は、高速フーリエ変
換により上記ディジタル音声信号を上記周波数成分に変
換することを特徴とする請求項１記載の音声自動採譜装
置。
【請求項４】上記信号処理手段は、上記周波数成分か
ら内分法によりピークを推定することを特徴とする請求
項１記載の音声自動採譜装置。
【請求項５】上記アナログ音声信号のうち、人間の音
声の周波数帯域の信号成分のみを通過させるフィルタ手
段を設けることを特徴とする請求項１記載の音声自動採
譜装置。