JP3047068B2 - 自動採譜方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽譜データを作成する自動採譜方法及び装置に
関する。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜
データに変換する自動採譜方式においては、音響信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを要する。

ところで、音響信号は基本波形の繰返し波形を連続的
に含む信号であるだけであり、上述した各情報を直ちに
得ることはできない。

そこで、従来の自動採譜方式においては、まず、音響
信号の音高を表す基本波形の繰返し情報（以下、ピッチ
情報と呼ぶ）及びパワー情報を分析周期毎に抽出し、そ
の後、抽出されたピッチ情報及び又はパワー情報から音
響信号を同一音程とみなせる区間（セグメント）に区分
し（かかる処理をセグメンテーションと呼ぶ）、次い
で、セグメントのピッチ情報から各セグメントの音響信
号の絶対音程軸にそった音程を決定し、決定された音
程、情報に基づいて音響信号の調を決定し、さらに、セ
グメントに基づいて音響信号の拍子及びテンポを決定す
るという順序で各情報を得ていた。

［発明が解決しようとする課題］ ところで、従来の自動採譜方式を利用する場合、拍子
及びテンポも決定されるため、利用者は自分自身がテン
ポや拍子を取りながら所望の曲を歌ったり、演奏したり
することになる。しかしながら、演奏や歌うことに馴れ
ていない利用者にとってはかかる行為は難しい。また、
楽器を演奏する場合や歌を歌う場合に、メトロノーム等
によりテンポを取りながら演奏したり、歌ったりするこ
とを好む利用者も存在する。

また、上述のようにして利用者自身がテンポや拍子を
取りながら演奏して又は歌って入力された音響信号に
は、特に歌唱による音響信号にはパワー及び音高のふら
つきが存在するため、パワー情報及び又はピッチ情報を
利用してもなおセグメンテーションを行なうことが難し
いものであった。

セグメンテーションは楽譜データを作成する上で重要
な要素であり、セグメンテーションの精度が低いと、最
終的に得られる楽譜データの精度も著しく低くなる。そ
こで、セグメンテーションの精度を向上させることが望
まれる。

また、特開昭60-90376号「音声認識式音程学習装置」
には、音声の基本ピッチを抽出し、音程に変換し、この
音程を再生することで、正確な音程発生の学習を可能に
した装置が開示されている。この装置は、テンポ発生部
を備えており、このテンポ発生部から得られるテンポ信
号に従って採譜する構成を採用している。このテンポ信
号は、利用者が自らの発声案内或いは歌唱し始めの特定
或いは無音区間の削除といった用途の外に、ピッチデー
タの取り込み補助に用いるとされている。しかしなが
ら、このピッチデータの取り込み補助にしても、テンポ
信号の約半分の周期で音声ピッチ抽出部のデータを取り
込み、比較的安定したと思われる音程の音声信号につい
てピッチデータを複数回取り込み、多数決論理により最
も頻度の高い音声データを単一の音声データとして取り
込むだけであり、発生音声が安定しない場合すなわちテ
ンポ信号に対し約半周期分のずれをもって発生された音
声に関しては、取り込まれたピッチデータの暴れがひど
く、テンポ準拠ピッチデータだけに頼る手法の限界とし
て正確な採譜が困難であるといった課題を抱えるもので
あった。また、上記装置は、一対のピークホールド回路
を用いて音声信号のピーク値とボトム値を検出し、ピー
ク位置とボトム位置でセット或いはリセットされるフリ
ップフロップの出力をもって音声ピッチを検出するアナ
ログ分析手法を用いるものであった。このため、音響信
号の音高を表す基本波形の繰返し情報であるピッチ情報
を自己相関分析により検出する手法と比較したときに、
例えば70Hzから900Hzの音声周波数帯域に配慮し、ピー
クホールド回路の一部をなす時定数回路の時定数を10ms
以上に設定するなど、音声ピークに対する高速応答と音
声ピークの安定検出という相反する要求に対し、対象周
波数帯域或いは時定数を政策決定せざる得ず、この決定
には様々な制約が付帯するため、ピッチデータの検出精
度は悪く、採譜精度も低い等の課題を抱えるものであっ
た。

また、特開昭59-24895号「楽譜表示装置における楽音
情報の処理方法」には、楽音情報の変化タイミングと小
節信号の発生タイミングとの時間差を計測し、この時間
差がしきい値以下の場合は両タイミングを同時であると
みなして楽音情報を処理するようにした楽音情報の処理
方法が開示されている。しかしながら、この方法は、電
子楽器の楽器音のようにキー操作検出信号から直接音程
が特定できる音響信号について小節線を付加する区間整
理の一例を示すものに過ぎず、同一音程区間を特定する
ためのセグメンテーション処理にピッチ情報やパワー情
報が不可欠である歌唱音声を対象にするものではないた
め、ピッチ情報やパワー情報に基づくセグメンテーショ
ン処理を補う意味でのテンポ情報に基づくセグメンテー
ション処理とは無縁であり、あらゆる音響信号を対象に
区間整理できない以上、適用対象に制約があるといった
課題を抱えるものであった。

本発明は、以上の点を考慮してなされたものであり、
利用者にとって音響信号の入力が簡易にでき、音響信号
の入力を簡易化することを利用してセグメンテーション
の精度を向上させることができる自動採譜方法及び装置
を提供することを目的とするものである。

［課題を解決するための手段］ 上記目的を達成するため、本発明は、音響信号を楽譜
データに変換する自動採譜方法において、少なくともテ
ンポ情報を含む入力補助リズム情報が付帯する音響信号
を捕捉し、該音響信号と前記入力補助リズム情報とを同
一時間軸上で記憶し、該記憶した音響信号を自己相関分
析して分析周期毎に音響信号のピッチ情報を抽出し、分
析周期毎にパワー情報を抽出する情報抽出処理と、前記
入力補助リズム情報に基づいて前記音響信号を所定区間
毎に区分し、該区間毎に前記パワー情報の変化の有無に
基づき同一音程区間と見なされるセグメントに分割する
セグメンテーション処理と、該セグメンテーション処理
により分割された区間の音程を、前記ピッチ情報に基づ
いて絶対音程軸上の音程に同定する音程同定処理とを含
むことを特徴とするものである。

また、前記音程同定処理が、前記ピッチ情報の分布状
況に基づいて絶対音程軸に対する音響信号が有する音程
軸のずれ量を算出し、該ずれ量を解消する方向にチュー
ニングして前記ピッチ情報を修正し、該修正されたピッ
チ情報に基づき前記各セグメントごとに最も近い絶対音
程軸上の音程に同定するチューニング処理を含むことを
特徴とするものである。

また、前記入力補助リズム情報を、前記音響信号の捕
捉時に聴覚的方法又は視覚的方法によって報知すること
を特徴とするものである。

［作用］ 本発明によれば、音響信号の捕捉、記憶時に併せて入
力補助リズム情報をも記憶し、ピッチ情報とパワー情報
に併せ入力補助リズム情報に基づいてセグメンテーショ
ンを行なうことで、セグメンテーション処理の精度を向
上させることができる。また、入力補助のリズム情報を
利用者に聴覚的方法及び又は視覚的方法によって報知す
ることで、採譜処理のために音響信号を捕捉して取り込
んで記憶する際に、利用者は入力補助リズム情報に基づ
いて音響信号を簡単に入力することができる。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述す
る。

自動採譜方式の構成 まず、本発明が適用される自動採譜方式について説明
する。

第２図において、中央処理ユニット（CPU）１は全体
を制御するものであり、バス２を介して接続された主記
憶装置３に格納されている第１図に示す音響信号の取込
み処理プログラム及び第３図に示す採譜処理プログラム
を実行するものである。バス２には、CPU1及び主記憶装
置３に加えて、入力装置としてのキーボード入力装置
４、出力装置としての表示装置５、ワーキングメモリと
して用いられる補助記憶装置６及びアナログ／デジタル
変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォン等の音響信号入力装置８が接続されている。この
音響信号入力装置８は、利用者によって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

また、バス２にはスピーカ駆動部９を介してスピーカ
10が接続されており、CPU1の制御の下に所定の拍子及び
テンポを表す離散的な入力補助リズム音を発音するよう
になされている。

CPU1は、キーボード入力装置４によって拍子及びテン
ポが指示されて音響信号の取込み処理が指令されたと
き、主記憶装置３に格納されている第１図に示す取込み
処理プログラムに従い、音響信号の取込みを行ない、取
り込んだ音響信号を補助記憶装置６に順次格納していく
ようになされている。なお、併せて、入力補助リズム音
情報をも補助記憶装置６に格納していくようになされて
いる。

また、CPU1は、音響信号の取込みが終了すると、主記
憶装置３に格納されている第３図に示す採譜処理プログ
ラムを実行して取り込んだ音響信号を楽譜データに変換
して必要に応じて表示装置５に出力するようになされて
いる。

音響信号の取込み処理 次に、CPU1が実行する音響信号の取込み処理を第１図
のフローチャートに従い詳述する。

CPU1は、キーボード入力装置４を介して入力モードが
指示されると第１図のプログラムを開始し、まず、表示
装置５に拍子情報を入力することを促す表示を行ない、
それに応じて利用者がキーボード入力装置４を介して入
力した拍子情報を取込み、次いで、表示装置５にテンポ
情報を入力することを促す表示を行ない、それに応じて
利用者がキーボード入力装置４を介して入力したテンポ
情報を取込む（ステップSP1、SP2）。その後、入力され
た拍子情報及びテンポ情報から入力補助リズム音の周期
及び強弱を演算し、入力開始指令がキーボード入力装置
４を介して与えられることを待ち受ける（ステップSP
3、SP4）。

やがて、開始指令が与えられると、入力補助リズム音
をスピーカ10から発音させ、その後、発音させた入力補
助リズム音が小節の開始を指示するものか否かを判断
し、小節の開始を指示するものである場合には補助記憶
装置６に格納させた後音響信号入力装置８及びアナログ
／デジタル変換器７を介したデジタルデータでなる音響
信号の取込みを行ない、他方、小節の開始を指示するも
のでない場合には、直ちに、音響信号の取込みを行なう
（ステップSP5〜SP8）。その後、CPU1は取り込んだ音響
信号を補助記憶装置６に格納する（ステップSP9）。

このようにして音響信号の１データを格納すると、CP
U1は、キーボード入力装置４を介して入力終了指令が与
えられたか否かを判断し、与えられた場合には一連の処
理を終了させ、他方、与えられていない場合には、さら
に、入力補助リズム音の発音タイミングになったか否か
を判断する（ステップSP10、SP11）。発音タイミングで
ないと、ステップSP8に戻って次の音響信号の取込みに
進む。他方、入力補助リズム音の発音タイミングである
と、上述のステップSP5に戻って次の入力補助リズム音
の発音に移る。

このようにして入力補助リズム音を発音しながら、利
用者が発音した音響信号を順次取り込んで小節開始の印
と共に補助記憶装置６に格納していく。

なお、入力補助リズム音が発音されるので、利用者に
とっては音響信号の入力がし易いものとなっている。

採譜処理 次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第３図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
て分析周期毎にパワー情報を抽出し、その後にノイズ除
去や平滑化処理等の前処理を実行する（ステップSP21、
SP22）。

その後、CPU1は、補助記憶装置６に格納されている小
節開始の印に基づいて入力された音響信号を所定の区間
毎に区分し、さらに、この区間を得られたパワー情報の
変化に基づいて見直して同一音を指示していると見なす
ことができるセグメントすなわち同一音の連続集合に切
り分ける（ステップSP23、PS24）。なお、このセグメン
トへの切り分け（分割）が、同一音程区間を特定するセ
グメンテーションに外ならない。

次いで、CPU1は、ピッチ情報の分布状況に基づいて絶
対音程軸に対する音響信号が有する音程軸のずれ量を算
出し、得られたピッチ情報をそのずれ量に応じてシフト
させるチューニング処理を実行する（ステップSP25）。
すなわち、音響信号発生源である歌唱者または楽器の音
程軸と絶対音程軸との差が小さくなるようにピッチ情報
を修正する。

CPU1は、上述の処理で得られたセグメントのピッチ情
報に基づき、最も音程が近いと判断できる絶対音程軸上
の音程にそのセグメントの音程を同定し、さらに、同定
された連続するセグメントの音程が同一か否かに基づい
て、すなわち、ピッチ情報に基づいて再度セグメンテー
ションを実行する（ステップSP26、SP27）。

その後、CPU1は、チューニング後のピッチ情報を集計
して得た音階の出現頻度と、調に応じて定まる所定の重
み付け係数との積和を求めてこの積和の最大情報に基づ
いて、例えば、ハ長調やイ短調というように入力音響信
号の楽曲の調を決定し、決定された調における音階上の
所定の音程についてその音程をピッチ情報についてより
詳細に見直して音程を確認、修正する（ステップSP28、
SP29）。すなわち、音程をピッチ情報に整合させる。次
いで、CPU1は、最終的に決定された各セグメントの音程
から連続するセグメントについて同一なものがあるか否
か、また、連続するセグメント間でパワーの変化がある
か否かに基づいてセグメンテーションの見直しを実行
し、最終的なセグメンテーションを行なう（ステツプSP
30）。

このようにして音程及びセグメント（音長）が決定さ
れると、CPU1は、音響信号取込み開始時に入力された拍
子情報及びテンポ情報を含めて情報を整理して最終的に
楽譜データを作成する（ステップSP31）。

小節情報及びパワー情報に基づくセグメンテーション 次に、音響信号の小節情報及びパワー情報に基づくセ
グメンテーション処理（第３図ステップSP23、SP24）に
ついて、第４図及び第５図のフローチャートを用いて詳
述する。なお、第４図はかかる処理を機能レベルで示す
フローチャート、第５図は第４図をより詳細に示すフロ
ーチャートである。

ここで、音響信号のパワー情報としては、分析周期内
の各サンプリング点について音響信号を２乗し、その分
析周期におけるこれら２乗値の総和を用いるようにして
いる。

まず、かかるセグメンテーション処理の概略を第４図
について説明する。なお、拍子として４拍子が選択され
ているとして説明する。

CPU1は、補助記憶装置６に格納されている小節開始の
印を取り出し、各小節を４等分し、各等分区間の先頭に
拍開始の印を付ける（ステップSP40）。なお、４拍子で
はなく３拍子が選択されている場合には３等分する。次
いで、CPU1は、得られた各拍区間をさらに４等分し、等
分した各区間の先頭に16分音符の開始の印を付ける（ス
テップSP41）。このようにして小節情報に基づいて音響
信号が１小節当り16分割される。なお、４拍子ではな
く、３拍子が選択されている場合には、１小節当り12分
割される。以下、CPU1はパワー情報に基づいてこれらの
区分を見直す。

なお、パナー情報をセグメンテーションに反映させる
ようにしたのは、利用者が音高を変える場合、すなわ
ち、次の音に移行するときにパワーも大きくなるように
変化させているためである。

上述の処理に引き続いて、CPU1は、パワー情報の立ち
上がり点を抽出し、立ち上がり点の印を付け、その後、
各立ち上がり点に最も近い16分音符開始の印を取り、そ
の立ち上がり点に16分音符開始の印を付ける（ステップ
SP42、SP43）。このようにしたのは、入力補助リズム音
を発音させて音響信号を入力させても、利用者がそのタ
イミングに完全に一致して音を変えることは実際上困難
なためであり、音響信号の変化に、音のきれ目を合わせ
て次の休符区間か否かの判断を正確に実行させるためで
ある。

次いで、CPU1は、各16分音符区間のピッチ情報の個数
を計数し、その個数が閾値未満の区間の先頭に休符開始
の印を付ける（ステップSP44）。最後に、小節開始、立
ち上がり点、休符開始の印がある点にセグメント開始の
印を付ける（ステップSP45）。なお、小節開始点にもセ
グメント開始の印を付けるようにしたのは、１個の音が
２個の小節に股がることがあり、この場合、楽譜上はそ
れぞれの小節について音符を付けることがなされるため
である。

このようにして小節情報及びパワー情報に基づいて区
分された複数のセグメントが得られる。なお、このセグ
メンテーションによって得られたセグメントが不適切な
ものがあったとしてもこれ以降で実行される上述したセ
グメンテーション（第３図ステップSP27及びSP30）によ
って適切なものとなる。

次に、かかる処理を第５図のフローチャートを用いて
より詳細に説明をする。CPU1は、各分析周期（以下で
は、分析周期が短いので分析点と呼ぶ）を指示するパラ
メータｉを０クリアした後、処理すべき分析点データ
（ピッチ情報及びパワー情報でなる）が終了していない
ことを確認してその分析点に小節開始の印が付されてい
るか否かを判断する（ステップSP50〜SP52）。付されて
いない場合には、分析点パラメータｉをインクリメント
して上述のステップSP51に戻り、他方、付されている場
合にはステップSP54以下の処理に進む（ステップSP5
3）。このようにして最初の小節開始の印を見付け出
す。

小節開始の印を見付け出すと、CPU1は、パラメータｊ
にｉ＋１をセットし、処理すべき分析点データが終了し
ていないことを確認してその分析点に小節開始の印が付
されているか否かを判断する（ステップSP54〜SP56）。
付されていない場合には、パラメータｊをインクリメン
トして上述のステップSP55に戻り、他方、付されている
場合にはステップSP58以下の処理に進む（ステップSP5
7）。

ここで、ステップSP56において肯定結果が得られたタ
イミングでは、パラメータｉは連続する２個の小節開始
の印の前側の分析点を指示しており、他方、パラメータ
ｊは連続する２個の小節開始の印の後側の分析点を指示
している。そこで、CPU1は分析点ｉ及び分析点ｊ−１の
区間を４等分して（なお、３拍子の場合には３等分し
て）拍開始の印を付し、その後、小節開始の印の前側の
分析点を指示するパラメータｉにｊをセットした後、上
述のステップSP54に戻って小節開始の印が付された後側
の分析点のサーチに進む（ステップSP58、SP59）。

このようなステップSP54〜SP59でなるループ処理を繰
返すことで、順次、各小節区間に拍開始の印が付されて
いき、やがて、最後の分析点についてのデータが取り出
され、ステップSP55において肯定結果が得られる。この
ときには、そのときのパラメータｉの分析点に拍開始の
印を付けて拍開始の印を付す一連の処理を終了し、16分
音符開始の印を付すステップSP61以降の処理に進む（ス
テップSP60）。

なお、最初の小節開始の印を見付け出す前に最後のデ
ータになり、ステップSP51で肯定結果が得られた場合に
は、なんら拍開始の印を付けることなく、16分音符開始
の印を付ける処理に進む。

以上のステップSP50〜SP60でなる一連の処理は、第４
図におけるステップSP40の処理に対応する。

相前後する２個の拍開始の印を見付け出し、それを４
等分して16分音符開始の印を付す。第４図のステップSP
41に対応する処理の詳細は、相前後する小節開始の印を
見付け出してその区間を４等分して拍開始の印を付す上
述のステップSP50〜SP60でなる処理とほぼ同様であるの
で、その説明は省略する（ステップSP61〜SP71）。

16分音符開始の印を付す処理を終了すると、CPU1は、
分析点パラメータｉを０クリアした後、処理すべき分析
点データが終了していないことを確認してその分析点に
ついてのパワー情報の立ち上がり抽出関数ｄ（ｉ）を演
算する（ステップSP72〜SP74）。

この実施例の場合、分析点ｉについてのパワー情報po
wer（ｉ）の立ち上がり抽出関数ｄ（ｉ）として次式 ｄ（ｉ）＝｛power（ｉ＋ｔ）−power（ｉ）｝／｛powe
r（ｉ＋ｔ）＋power（ｉ）｝ …（１） に示すものを適用する。ただし、ｔはパワー情報の立ち
上がり変化をとらえるのに適当な時間を示す自然数であ
る。

その後、CPU1は求めた立上り抽出関数ｄ（ｉ）の値が
閾値θｄより小さいか否かを判断し、小さい場合には分
析点パラメータｉをインクリメントしてステップSP73に
戻る。（ステップSP75、SP76）。他方、立ち上がり抽出
関数ｄ（ｔ）が閾値θｄ以上になった場合には、その分
析点ｉに立ち上がり点の印を付ける（ステップSP77）。

その後、CPU1は全ての分析点データについて処理が終
了していないことを確認した後、立ち上がり抽出関数ｄ
（ｉ）を演算し、立ち上がり抽出関数ｄ（ｉ）が間値θ
ｄより小さいか否かを判断する（ステップSP78〜SP8
0）。小さい場合には、パラメータｉをインクリメント
した後、上述のステップSP78に戻る（ステップSP81）。

ステップSP78〜SP81でなる処理は、一旦閾値θｄ以上
になった立ち上がり抽出関数ｄ（ｉ）が閾値θｄより小
さいなる分析点を見付け出す処理であり、このようにし
て得られた分析点以降に再度立ち上がる分析点があるの
で、閾値θｄより小さいなる分析点を見付け出すと、す
なわち、ステップSP80で肯定結果が得られると、上述の
ステップSP73に戻って次の立ち上がり点の抽出処理に戻
る。

上述の処理を繰返すことにより、やがてステップSP73
又はSP78で全ての分析点について処理が終了したことを
検出し、CPU1はステップSP82以降の隣り合う立ち上がり
点間の長さに基づく立ち上がり点の見直し処理に進む。

かかる処理においては、CPU1は分析点パラメータｉを
０クリアした後、分析点データが終了していないことを
確認して当該分析点に立ち上がり点の印が付されている
か否かを判断する（ステップSP82〜SP84）。立ち上がり
点でない場合には分析点パラメータｉをインクリメント
してステップSP83に戻る（ステップSP85）。かかる処理
を繰返して立ち上がり点を検出すると、この立ち上がり
点から次の立ち上がり点までの長さを計数するべく長さ
パラメータＬを初期値「１」にセットする（ステップSP
86）。

その後、CPU1は分析点パラメータｉをインクリメント
し、さらに、分析点データが終了していないことを確認
した後、立ち上がり点の印が付されているか否かを判断
する（ステップSP87〜SPS9）。その結果、立ち上がり点
でない場合には、長さパラメータＬをインクリメント
し、さらに分析点パラメータｉをもインクリメントして
上述のステップSP88に戻る（ステップSP90、SP91）。

かかるステップSP88〜SP91でなる処理を繰返すことに
より、やがて、次に立ち上がり点の印が付されている分
析点となり、ステップSP89で肯定結果が得られる。この
ときの長さパラメータＬは、印が付されている処理対象
の分析点とその直前の印が付されている分析点との距離
に相当し、すなわち、相前後する立ち上がり点間の長さ
に相当する。CPU1はステップSP89で肯定結果が得られる
と、この長さパラメータＬが閾値θＬより短いか否かを
判断し、閾値θＬ以上の場合には、立ち上がり点の印を
取ることなく、上述のステップSP83に戻り、閾値θＬよ
り小さい場合には、前側の立ち上がり点の印を取り去っ
て上述のステップSP83に戻る（ステップSP92、SP93）。

なお、ステップSP92又はSP93からステップSP83に戻っ
た場合には、分析点データが終了していないと、ステッ
プSP84で直ちに肯定結果が得られてステップSP86以降の
処理に進み、今見付かったばかりの立ち上がり点の次の
立ち上がり点をサーチする動作に移行する。

このような処理を繰返すことにより、全ての立ち上が
り点について立ち上がり点間の距離の見直しが終了し、
やがてステップSP83又はSP88で肯定結果が得られ、CPU1
は一連のパワー情報の立ち上がり点の抽出処理を終了す
る。

ここで、ステップSP72〜SP93でなる処理は、第４図に
おけるステップSP42の処理に相当する。

なお、立ち上がり点を立ち上がり抽出関数ｄ（ｉ）で
抽出した後、相前後する立ち上がり点間の距離によって
見直すようにしたのは、同一音を意図する場合であって
も音響信号のパワーが小刻みに変化することがあり、ま
た、外部音等のノイズが含まれることがあり、このよう
なことによって１音の長さより短い間に複数の立ち上が
り点が生じることを防止するためである。

このようにしてパワー情報の立ち上がり点の抽出処理
を終了すると、CPU1は、分析点パラメータｉを０クリア
した後、処理すべき分析点データが終了していないこと
を確認してその分析点についてパワー情報の立ち上がり
点の印が付されているか否かを判断する（ステップSP94
〜SP96）。付されていない場合には、パラメータｉをイ
ンクリメントして上述のステップSP95に戻る（ステップ
SP97）。このようにして１個の立ち上がり点を見付け出
すと、CPU1は、その分析点ｉにさらに16分音符開始の印
が付されているか否かを判断する（ステップSP98）。16
分音符開始の印が付されている場合には、その立ち上が
り点と16分音符開始点との合わせ処理を行なう必要がな
いので、パラメータｉをインクリメントして上述のステ
ップSP95に戻って次に立ち上がり点のサーチ処理に進む
（ステップSP99）。

他方、見付け出された立ち上がり点に16分音符開始の
印が付されていない場合には、この立ち上がり点に最も
近い16分音符開始点のサーチ処理に進む。

まず、CPU1は、立ち上がり点に16分音符開始の印を付
けた後、立ち上がり点の前側の16分音符開始の印が付さ
れた分析点を見付け出すためのパラメータｊを初期値
「１」にセットする（ステップSP100、SP101）。その
後、ｉ−ｊが０以上であること、すなわち分析点ｉ−ｊ
がデータが存在する分析点であることを確認して分析点
ｉ−ｊに16分音符開始の印が付されているか否かを判断
し、付されていない場合にはパラメータｊをインクリメ
ントしてステップSP102に戻る（ステップSP102〜SP10
4）。かかるステップSP102〜SP104でなる処理を繰返す
ことにより、16分音符開始の印が付されている立ち上が
り点より前側の最も近い分析点ｉ−ｊが見付け出され、
ステップSP103で肯定結果が得られる。

このときには、CPU1は、立ち上がり点の後側の16分音
符開始の印が付された分析点を見付け出すためのパラメ
ータｋを初期値「１」にセットする（ステップSP10
5）。その後、ｉ＋ｋが最終分析点より大きい値でない
こと、すなわち、分析点ｉ＋ｋがデータが存在する分析
点であることを確認して分析点ｉ＋ｋに16分音符開始の
印が付されているか否かを判断し、付されていない場合
には、パラメータｋをインクリメントしてステップSP10
6に戻る（ステップSP106〜SP108）。かかるステップSP1
06〜SP108でなる処理を繰返すことにより、16分音符開
始の印が付されている立ち上がり点より後側の最も近い
分析点ｉ＋ｋが見付け出され、ステップSP107で肯定結
果が得られる。

このようにして立ち上がり点に近い16分音符開始の印
が付されている前後の分析点を見付け出すと、CPU1は、
パラメータｊ及びｋを大小比較していずれの分析点が立
ち上がり点に近いかを判断し、前側の分析点ｉ−ｊが近
い場合（等しく近い場合を含む）には、その分析点ｉ−
ｊに付されていた16分音符開始の印を取り去り、その
後、パラメータｉをインクリメントして次の立ち上がり
点のサーチ処理に進み、他方、後側の分析点ｉ＋ｋが近
い場合には、その分析点ｉ＋ｋに付されていた16分音符
開始の印を取り去り、その後、パラメータｉをインクリ
メントして次の立ち上がり点のサーチ処理に進む（ステ
ップSP109〜SP113）。

このような処理を繰返すことにより、各立ち上がり点
には16分音符開始の印が付され、この立ち上がり点に最
も近い16分音符開始の印が取り去られる。そして、全て
の分析点データについてかかる処理が終了すると、CPU1
は、ステップSP95において一連の立ち上がり点と16分音
符開始点との合わせ込み処理を終了する。なお、ステッ
プSP94〜SP113でなる処理が、第４図のステップSP43の
処理に対応する。

このようにしてパワー情報の立ち上がり点の変更処理
を終了すると、CPU1は、分析点パラメータｉを０クリア
した後、処理すべき分析点データが終了していないこと
を確認してその分析点に16分音符開始の印が付されてい
るか否かを判断する（ステップSP114〜SP116）。付され
ていない場合には、パラメータｉをインクリメントして
上述のステップSP115に戻る（ステップSP117）。このよ
うにして最初の16分音符開始の印を見付け出すと、CPU1
は、次の16分音符開始の印にかかるパラメータｊをｉ−
１にセットした後、処理すべき分析点データが終了して
いないことを確認してその分析点ｊに16分音符開始の印
が付されているか否かを判断する（ステップSP118〜SP1
20）。付されていない場合には、パラメータｊをインク
リメントして上述のステップSP119に戻る（ステップSP1
21）。

次の16分音符開始の印が見付かると、CPU1は、ピッチ
有り個数パラメータｎを０クリアした後、さらに、ピッ
チ有り処理の終了パラメータｋをｉにセットする（ステ
ップSP122、SP123）。次いで、CPU1は、パラメータｋが
パラメータｊより小さいことを確認した後、分析点ｋに
ついてピッチ情報が存在するか否か、すなわち、その分
析点ｋが有音であるか否かを判別する（ステップSP12
4、SP125）。

この結果、肯定結果を得ると、個数パラメータｎをイ
ンクリメントした後、パラメータｋをもインクリメント
して上述のステップSP124に戻り、他方、否定結果を得
ると、直ちにパラメータｋをインクリメントして上述の
ステップSP124に戻る（ステップSP125、126）。かかる
処理を繰返すことにより、やがて、ステップSP124にお
いて肯定結果が得られる。ここで、パラメータｋは、ｉ
からｊ−１の範囲で変化するので、ステップSP124で肯
定結果が得られたときには、個数パラメータｎは分析点
ｉからｊ−１までの間のピッチ情報が存在する分析点の
個数、すなわち、相前後する16分音符開始の印間のピッ
チ情報が存在する分析点の個数を表している。

CPU1は、個数パラメータｎの値が所定に閾値θｎ以上
か否かを判断し、閾値θｎより小さい場合には、個数計
数の最初の分析点である16分音符開始の印が付されてい
る分析点ｉに休符開始の印を付した後、パラメータｉを
ｊにセットして上述のステップSP118に戻り、他方、閾
値θｎ以上であると、直ちにパラメータｉをｊにセット
して上述のステップSP118に戻り、次の16分音符開始の
印が付されている分析点のサーチ処理に進む（ステップ
SP128〜SP130）。

このような処理を繰返すことにより、ピッチ情報が存
在する分析点の個数が少ない相前後する16分音符開始の
印間の最初の分析点に順次休符開始の印が付されてい
き、やがて、ステップSP115又はSP119で肯定結果が得ら
れて休符開始の印付与の一連の処理が終了する。なお、
ステップSP114〜SP130でなる処理が、第４図のステップ
SP44の処理に対応する。

休符開始の印を付与する一連の処理が終了すると、CP
U1は、分析点パラメータｉを０クリアした後、処理すべ
き分析点データが終了していないことを確認してその分
析点に小節開始の印が付されているか否かを判断する
（ステップSP131〜SP133）。小節開始の印が付されてい
ない場合には、さらに、パワー情報の立ち上がり点の印
が付されているか否かを判断する（ステップSP134）。
立ち上がり点の印が付されていない場合には、さらに、
休符開始の印が付されているか否かを判断する（ステッ
プSP135）。休符開始の印が付されていない場合には、
パラメータｉをインクリメントして上述のステップSP13
2に戻り、次の分析点について印付与を確認する（ステ
ップSP136）。

他方、分析点ｉに小節開始、立ち上がり点又は休符開
始の印が付されていると、その分析点ｉにセグメント開
始の印を付した後、パラメータｉをインクリメントして
上述のステップSP132に戻り、次の分析点について所定
の印が付与されているか否かを確認する（ステップSP13
7〜SP138）。

このようにして小節開始、立ち上がり点又は休符開始
の印が付されている分析点に順次セグメント開始の印が
付されていき、やがて、最後のデータとなってステップ
SP132で肯定結果が得られて一連のセグメント開始の印
の付与処理を終了する。なお、ステップSP131〜SP138で
なる処理が、第４図のステップSP45の処理に相当する。

このようにして小節情報及びパワー情報に基づく、セ
グメンテーション処理が終了し、上述のようにチューニ
ング処理に進むことになる。

第６図はピッチ情報PIT、パワー情報POW及び立ち上が
り抽出関数ｄ（ｉ）の変化を１小節区間について示すも
のである。ここで、「◎」は小節開始の印であり、
「☆」は立ち上がり点の印であり、「○」は拍開始の印
であり、「×」は立ち上がり点との合わせ込みが実行さ
れる前の16分音符開始の印であり、「△」は休符開始の
印である。従って、この小節区間の例の場合、上述した
一連のセグメンテーション処理を実行することにより
「●」を付したようにセグメント開始の印が付される。

実施例の効果 従って、上述の実施例によれば、入力補助リズム音を
発音させて利用者に音響信号を入力させるようにしたの
で、利用者にとって音響信号の入力動作が簡単になり、
意図した音響信号をリズム的に正確に入力することがで
き、その結果、セグメンテーションがし易くなって作成
された楽譜データの精度を向上させることができる。

また、上述の実施例によれば、入力時に発音させた入
力補助リズム音の情報を音響信号と同一の時間軸上で記
録してセグメンテーションに利用するようにしたので、
この点からも正確なセグメンテーションを実行できて楽
譜データの精度を向上させることができる。

他の実施例 （１）なお、上述の実施例においては、パワー情報とし
て音響信号の２乗和を用いたものを示したが、他のパラ
メータを用いても良い。例えば、２乗和の平方根を用い
ても良い。また、立ち上がり抽出関数を（１）式のよう
に求めたが、他のパラメータを用いても良く、例えば、
（１）式の分子のみを用いた関数によってパワー情報の
立上りを抽出するようにしても良い。

（２）上述の実施例においては、相前後する立ち上がり
点間の距離が短い場合に、前側の立ち上がり点の印を取
るものを示したが、後側の立ち上がり点の印を取るよう
にしても良い。

（３）上述の実施例においては、利用者による音響信号
の入力がし易くなるように入力補助リズム音を発音する
ものを示したが、入力補助のためのリズム情報を視覚的
な方法によって利用者に報知するものであっても良い。
例えば、表示装置５に指揮棒の先端軌跡を表示させて報
知させるようにしても良い。また、入力補助リズム音等
による聴覚的な報知方法と上述のような視覚的方法とを
併用するようにしても良い。なお、入力補助リズム音と
しては、メトロノーム音やリズム伴奏音を適用すること
ができる。

（４）上述の実施例においては、入力補助リズム情報の
うち小節開始情報をセグメンテーション処理に利用する
ものを示したが、入力補助リズム情報の拍開始情報をセ
グメンテーションに利用するようにしても良い。

（５）上述の実施例においては、楽譜データの出力手段
として表示装置５を利用するものを示したが、印字装置
を用いるようにしても良い。

（６）上述の実施例においては、全ての処理をCPU1が主
記憶装置３に格納されているプログラムに従って実行す
るものを示したが、その一部または全部の処理をハード
ウェア構成で実行するようにしても良い。例えば、第２
図との対応部分に同一符号を付した第７図に示すよう
に、音響信号入力装置８からの音響信号を増幅回路11を
介して増幅した後、さらに前置フィルタ12を介してアナ
ログ／デジタル変換器13に与えてデジタル信号に変換
し、このデジタル信号に変換された音響信号を信号処理
プロセッサ14が自己相関分析してピッチ情報を抽出し、
また２乗和処理してパワー情報を抽出してCPU1によるソ
フトウェア処理系に与えるようにしても良い。このよう
なハードウェア構成（11〜14）に用いられる信号処理プ
ロセッサ14としては、音声帯域の信号をリアルタイム処
理し得ると共に、ホストのCPU1とのインタフェース信号
が用意されているプロセッサ（例えば、日本電気株式会
社製μPD7720）を適用し得る。

（７）上述の実施例においては、最初のセグメンテーシ
ョンを入力補助リズム情報及びパワー情報に基づいて行
なうものを示したが、入力補助リズム情報とパワー情報
にピッチ情報に加えて行うようにすることもできる。

［発明の効果］ 以上説明したように、本発明によれば、音響信号と入
力補助リズム情報とを同一時間軸上で記憶し、記憶した
音響信号を自己相関分析し、分析周期毎に音響信号のピ
ッチ情報ならびにパワー情報を抽出し、入力補助リズム
情報に基づいて音響信号を所定区間毎に区分し、該区間
ごとに前記パワー情報の変化の有無に基づき同一音程区
間と見なされるセグメントに分割し、分割された区間の
音程を、前記ピッチ情報に基づいて絶対音程軸上の音程
に同定するようにしたから、音響信号を入力補助リズム
情報とパワー情報とピッチ情報とに基づいてセグメント
に分割することで、セグメンテーション処理の精度を向
上させることができ、音高を変えるときにパワーを大き
くして次音に移行する経験則を踏まえ、パワー情報をセ
グメンテーションに活かすことで、セグメンテーション
精度を向上させることができ、一方また歌唱による音響
信号のようにパワーや音高にふらつきが存在するために
パワー情報やピッチ情報からでは正確なセグメンテーシ
ョンが困難な音響信号についても、音響信号に付帯する
入力補助リズム情報に基づいてセグメンテーションの精
度を高めることができる等、音響信号の自己相関分析に
より正確に抽出したパワー情報とピッチ情報に入力補助
リズム情報を加えた３種類の情報に基づいて、高精度の
採譜が可能である等の優れた効果を奏する。

また、音程同定処理が、前記ピッチ情報の分布状況に
基づいて絶対音程軸に対する音響信号が有する音程軸の
ずれ量を算出し、該ずれ量を解消する方向にチューニン
グして前記ピッチ情報を修正し、該修正されたピッチ情
報に基づき前記各セグメントごとに最も近い絶対音程軸
上の音程に同定するチューニング処理を含むため、チュ
ーニング処理により絶対音程軸に対する音響信号が有す
る音程軸のずれを修正することで、ピッチ情報の活きた
利用が可能であり、高精度の音程同定が可能である等の
効果を奏する。

また、入力補助リズム情報を利用者に前記音響信号の
捕捉時に聴覚的方法又は視覚的方法によって報知するよ
うにしたから、採譜処理のために音響信号を捕捉して取
り込んで記憶する際に、利用者は入力補助リズム情報に
基づいて音響信号を簡単に入力することができる等の効
果を奏する。

【図面の簡単な説明】

第１図は、本発明の一実施例にかかる音響信号の入力処
理を示すフローチャート、第２図は、本発明を適用する
自動採譜方式の構成を示すブロック図、第３図は、上記
実施例の採譜処理の概略を示すフローチャート、第４図
は、その小節情報及びパワー情報に基づくセグメンテー
ション処理の概略を示すフローチャート、第５図は、小
節情報及びパワー情報に基づくセグメンテーション処理
をより詳細に示すフローチャート、第６図は、かかる処
理によるセグメンテーションの一例を示す特性曲線図、
第７図は、自動採譜方式の他の構成を示すブロック図で
ある。 １……CPU ３……主記憶装置 ４……キーボード ５……表示装置 ６……補助記憶装置 ７……アナログ／デジタル変換器 ８……音響信号入力装置 10……スピーカ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤井 浩美 東京都港区芝５丁目33番１号 日本電気 株式会社内 (72)発明者 藤本 正樹 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 (72)発明者 水野 正典 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 合議体 審判長 小林 信雄 審判官 鈴木 朗 審判官 橋本 恵一 (56)参考文献 特開 昭60−90376（ＪＰ，Ａ) 特開 昭59−24895（ＪＰ，Ａ) 特開 昭61−32098（ＪＰ，Ａ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】音響信号を楽譜データに変換する自動採譜
   方法において、少なくともテンポ情報を含む入力補助リ
   ズム情報が付帯する音響信号を捕捉し、該音響信号と前
   記入力補助リズム情報とを同一時間軸上で記憶し、該記
   憶した音響信号を自己相関分析して分析周期毎に音響信
   号のピッチ情報を抽出し、分析周期毎にパワー情報を抽
   出する情報抽出処理と、前記入力補助リズム情報に基づ
   いて前記音響信号を所定区間毎に区分し、該区間毎に前
   記パワー情報の変化の有無に基づき同一音程区間と見な
   されるセグメントに分割するセグメンテーション処理
   と、該セグメンテーション処理により分割された区間の
   音程を、前記ピッチ情報に基づいて絶対音程軸上の音程
   に同定する音程同定処理とを含むことを特徴とする自動
   採譜方法。
2. 【請求項２】前記音程同定処理は、前記ピッチ情報の分
   布状況に基づいて絶対音程軸に対する音響信号が有する
   音程軸のずれ量を算出し、該ずれ量を解消する方向にチ
   ューニングして前記ピッチ情報を修正し、該修正された
   ピッチ情報に基づき前記各セグメント毎に最も近い絶対
   音程軸上の音程に同定するチューニング処理を含むこと
   を特徴とする請求項１に記載の自動採譜方法。
3. 【請求項３】前記入力補助リズム情報は、前記音響信号
   の捕捉時に聴覚的方法又は視覚的方法によって報知する
   ことを特徴とする請求項１又は請求項２に記載の自動採
   譜方法。
4. 【請求項４】音響信号を楽譜データに変換する自動採譜
   装置において、少なくともテンポ情報を含む入力補助リ
   ズム情報が付帯する音響信号を捕捉する音響信号捕捉手
   段と、該音響信号捕捉手段が捕捉した音響信号と前記入
   力補助リズム情報とを同一時間軸上で記憶する記憶手段
   と、該記憶手段が記憶した音響信号を自己相関分析して
   分析周期毎に音響信号のピッチ情報を抽出し、分析周期
   毎にパワー情報を抽出する情報抽出手段と、前記入力補
   助リズム情報に基づいて前記音響信号を所定区間毎に区
   分し、該区間毎に前記パワー情報の変化の有無に基づき
   同一音程区間と見なされるセグメントに分割するセグメ
   ンテーション手段と、該セグメンテーション手段により
   分割された区間の音程を、前記ピッチ情報に基づいて絶
   対音程軸上の音程に同定する音程同定手段とを含むこと
   を特徴とする自動採譜装置。
5. 【請求項５】前記音程同定処理は、前記ピッチ情報の分
   布状況に基づいて絶対音程軸に対する音響信号が有する
   音程軸のずれ量を算出し、該ずれ量を解消する方向にチ
   ューニングして前記ピッチ情報を修正し、該修正された
   ピッチ情報に基づき前記各セグメント毎に最も近い絶対
   音程軸上の音程に同定するチューニング手段を含むこと
   を特徴とする請求項４に記載の自動採譜装置。
6. 【請求項６】前記入力補助リズム情報は、前記音響信号
   の捕捉時に聴覚的方法又は視覚的方法によって報知する
   ことを特徴とする請求項５又は請求項６に記載の自動採
   譜装置。