JP2604404B2 - 自動採譜方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽譜データを作成する自動採譜方法及び装置に
関し、特に音響信号を同一音程とみなせる区間に区分す
るセグメンテーション処理に関するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜
データに変換する自動採譜方式においては、音響信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的
に含む信号であるだけであり、上述した各情報を直ちに
得ることはできない。

そこで、従来の自動採譜方式においては、まず、音響
信号の基本波形の繰返し情報（以下、ピッチ情報と呼
ぶ）及びパワー情報を分析周期毎に抽出し、その後、少
なくとも抽出されたパワー情報から音響信号を同一音程
とみなせる区間（セグメント）に区分し（かかる処理を
セグメンテーションと呼ぶ）、次いで、セグメントのピ
ッチ情報から各セグメントの音響信号の音程として絶対
音程軸にそった音程に同定し、ピッチ情報の分布に基づ
いて音響信号の調を決定し、さらに、セグメントに基づ
いて音響信号の拍子及びテンポを決定するという順序で
各情報を得ていた。

従って、音程、拍子、テンポ等は、セグメント（音
長）に基づき決定されるので、セグメンテーション処理
は、特に楽譜データを作成する上で重要なものとなって
いる。

［発明が解決しようとする課題］ しかしながら、セグメンテーションを実行する上での
情報たるパワー情報及び又はピッチ情報は、揺らぎを有
するため、２音以上を１つのセグメントにする場合もあ
った。

上述のように、セグメンテーションは楽譜データを作
成する上で重要な要素であり、セグメンテーションの精
度が低いと、同定された音程も誤ったものとなる可能性
が多く、最終的に得られる楽譜データの精度も著しく低
くなるので、ピッチ情報に基づくセグメンテーション結
果及びパワー情報に基づくセグメンテーション結果の両
者から最終的にセグメンテーションを行なう場合、また
はパワー情報から最終的なセグメンテーションを行なう
場合共に、セグメンツエーション処理自体の精度も向上
すること望まれる。

本発明は、以上の点を考慮してなされたもので、セグ
メンテーションの精度を向上させることができ、最終的
な楽譜データの精度を一段と向上させることのできる自
動採譜方法及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明において
は、入力された音響信号波形の繰返し周期であり、音高
を表すピッチ情報及び音響信号のパワー情報を抽出する
処理と、ピッチ情報及び又はパワー情報に基づいて音響
信号を同一音程とみなせる区間に区分する第１のセグメ
ンテーション処理と、ピッチ情報の基づいてこの区分さ
れた区間の音程として絶対音程軸上の音程に同定する音
程同定処理と、同定された音程及びパワー情報に基づい
て同一音が複数の区間に分割されている場合を検出して
その連続区間をつなげて一つの区間とする第２のセグメ
ンテーション処理とを少なくとも含み、音響信号を楽譜
データに変換する自動採譜方法において、第１のセグメ
ンテーション処理によって区分された各区間の長さに基
づいて所定の音符の時間長に相当する基準長を抽出する
基準長抽出処理と、抽出された記述長に基づいて区分さ
れた区間のうち所定の長さ以上のものを細区分する区間
細区処理とを、音程同定処理の前処理として設けた。

また、第２の本発明においては、入力された音響信号
波形の繰返し周期であり、音高を表すピッチ情報及び音
響信号のパワー情報を抽出する手段と、ピッチ情報及び
又はパワー情報に基づいて音響信号を同一音程とみなせ
る区間に区分する第１のセグメンテーション手段と、ピ
ッチ情報に基づいてこの区分された区間の音程として絶
対音程軸上の音程に同定する音程同定手段と、同定され
た音程及びパワー情報に基づいて同一音が複数の区間に
分割されている場合を検出してその連続区間をつなげ打
て一つの区間とする第２のセグメンテーション手段とを
一部に備えて音響信号を楽譜データに変換する自動採譜
装置において、第１のセグメンテーション手段によって
区分された各区間の長さに基づいて所定の音符の時間長
に相当する基準長を抽出する基準長抽出手段と、抽出さ
れた基準長に基づいて区分された区間のうち所定の長さ
以上のものを細区分する区間細区分手段とを、音程同定
手段の前段に設けた。

［作用］ 第１の本発明においては、第１のセグメンテーション
処理で区分して同一音と考えられる区間に切り分けても
セグメンテーションの元となるピッチ情報及び又はパワ
ー情報が揺らぎを有しているので２音以上を一つの区間
とすることもあることに鑑み、各区間の長さに基づいて
所定の音符の時間長に相当する基準長を抽出し、その基
準長に基づいて所定の長さ以上の長さを有する区間を細
区分するようにした。これにより、２音以上を含む区間
を排除するようにした。なお、第２のセグメンテーショ
ン処理により１音を意図しているにも拘らず、２以上の
区間に分けられた区間はつなげられる。

また、第２の本発明においても、同様な点に着目し、
基準長抽出手段によって基準長を抽出し、細区分手段に
よってその基準長に基づいて所定の長さ以上の区間を細
区分するようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述す
る。

自動採譜方式 まず、本発明が適用される自動採打方式について説明
する。

第３図において、中央処理ユニット（CPU）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、CPU1及び主記憶装置３に加えて、入力装置としての
キーボード４、出力装置としての表示装置５、ワーキン
グメモリとして用いられる補助記憶装置６及びアナログ
／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォンでなる音響信号入力装置８が接続されている。こ
の音響信号入力装置８は、ユーザによって発声された歌
唱やハミングや、楽器から発生された楽音等の音響信号
を捕捉して電気信号に変換するものであり、その電気信
号をアナログ／デジタル変換器７に出力するものであ
る。

CPU1は、キーボード入力装置４によって処理が指令さ
れたとき、当該採譜処理を開始し、主記憶装置３に格納
されているプログラムを実行してアナログ／デジタル変
換器７によってデジタル信号に変換された音響信号を一
旦補助記憶装置６に格納し、その後、これら音響信号を
上述のプログラムを実行して楽譜データに変換して必要
に応じて表示装置５に出力するようになされている。

次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第４図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
て分析周期毎にパワー情報を抽出し、その後ノイズ除去
や平滑化処理等の後処理を実行する（ステップSP1、SP
2）。その後、CPU1は、ピッチ情報については、その分
布状況に基づいて絶対音程軸に対する音響信号の音程軸
のずれ量を算出し、得られたピッチ情報をそのずれ量に
応じてシフトさせるチューニング処理を実行する（ステ
ップSP3）。すなわち、音響信号を発生した歌唱者また
は楽器の音程軸と絶対音程軸との差が小さくなるように
ピッチ情報を修正する。

次いで、CPU1は、得られたピッチ情報が同一音程を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分けるセグメン
テーションを実行し、また、得られたパワー情報の変化
に基づいてセグメンテーションを実行する（ステップSP
4、SP5）。これら得られた両者のセグメント情報に基づ
いて、CPU1は、４分音符や８分音符等の時間長に相当す
る基準長を算出してこの基準長に基づいてより詳細にセ
グメンテーションを実行する（ステップSP6）。

CPU1は、このようにしてセグメンテーションされたセ
グメントのピッチ情報に基づきそのピッチ情報が最も近
いと判断できる絶対音程軸上の音程にそのセグメントの
音程を同定し、さらに、同定された連続するセグメント
の音程が同一か否かに基づいてセグメンテーションの見
直しを実行する（ステップSP7、SP8）。

その後、CPU1は、チューニング処理後のピッチ情報を
集計して得た音程の出現頻度と、調に応じて定まる所定
の重み付け係数との積和を求めてこの積和の最大情報に
基づいて、例えば、ハ長調やイ短調というように入力音
響信号の楽曲の調を決定し、決定された調における音階
の所定の音程についてその音程をピッチ情報について見
直して音程を確認、修正する（ステップSP9、SP10）。
次いで、CPU1は、最終的に決定された音程から連続する
セグメントについて同一なものがあるか否か、また連続
するセグメント間でパワーの変化があるか否かに基づい
てセグメンテーションの見直しを実行し、必要ならばセ
グメントをつなげて最終的なセグメンテーションを行な
う（ステップSP11）。

このようにして音程及びセグメントが決定されると、
CPU1は、楽曲は１拍目から始まる、フレーズの最後の音
は次の小節にまたがらない、小節ごとに切れ目がある等
の観点から小節を抽出し、この小節情報及びセグメンテ
ーション情報から拍子を決定し、この決定された拍子情
報及び小節の長さからテンポを決定する（ステップSP1
2、SP13）。

そして、CPU1は決定された音程、音長、調、拍子及び
テンポの情報を整理して最終的に楽譜データを作成する
（ステップSP14）。

セグメンテーションの見直し処理 次に、このような自動採譜方式におけるセグメンテー
ションの見直し処理（ステップSP6参照）について、第
１図のフローチャートを用いて詳述する。

なお、このような見直し処理は、セグメントが誤って
２音以上含むように区分された場合には、その同定音程
も誤ったものとなる可能性が強く楽譜データの精度を低
下させるので、音程同定処理前において予めセグメント
を細分しておき、そのセグメントで音程同定を実行させ
て音程同定処理の精度を向上させようにするために設け
られた。この場合、１音を２以上のセグメントに区分す
ることも考えられるが、上述したステップSP11のセグメ
ンテーション処理で同定音程及びパワー情報に基づいて
１音と考えられるセグメントをつなげるので問題となる
ことはない。

CPU1は、かかるセグメンテーションの見直し処理にお
いては、まず、処理対象のセグメントが最後のセグメン
トでないことを確認して当該セグメントの長さと全体の
セグメンテーション結果とのマッチングを実行する（ス
テップSP20、21）。

ここで、マッチングとは、当該セグメントの長さの整
数分の１または整数倍の値と他のセグメントの長さとの
差の絶対値の総和、及び、当該セグメントの長さの整数
分の１または整数倍の値と他のセグメントの長さが一致
しない回数（ミスマッチ回数）を求めることをいう。な
お、この実施例の場合、マッチングの相手となる他のセ
グメントは、ピッチ情報に基づいて得られたセグメント
及びパワー情報に基づいて得られたセグメントの両者に
なる。

例えば、前段のセグメンテーション処理（ステップSP
4、５）で第２図に示すような10個のセグメントに区分
された場合であって第１のセグメントS1が処理対象の場
合、このマッチング処理によって差の総和情報として
は、「１＋３＋１＋１＋５＋０＋０＋１＋９＝21」が得
られ、ミスマッチ回数としては７回が得られる。

CPU1は、このようにして処理対象のセグメントについ
てミスマッチ回数及びその程度（差の総和情報）が得ら
れると、補助記憶装置６に格納した後、処理対象セグメ
ントを次のセグメントとして上述のステップSP20に戻る
（ステップSP22）。

かかるステップSP20〜22でなる処理ループを繰り返す
ことにより、全てのセグメントについてミスマッチ回数
及びその程度の情報が得られ、やがて、ステップSP20に
おいて肯定結果が得られる。このとき、CPU1は、補助記
憶装置６に格納されている全てのミスマッチ回数及びそ
の程度の情報から、これらが最も小さいセグメント長に
基づいて基準長を決定する（ステップSP24）。ここで、
基準長とは、４分音符（または８分音符）に相当する時
間長をいう。

第２図の例の場合、ミスマッチ回数及びその程度が最
も小さいセグメント長として「60」が抽出され、この長
さ「60」の２倍の「120」が基準長として選定される。
実際上、４分音符に対する時間長が取り得る長さは、所
定範囲の値であり、かかる観点から「60」ではなく、
「120」が基準長として抽出される。

基準長を抽出すると、CPU1は概ね基準長より長いセグ
メントを基準長の半分の値前後でそのセグメントを細区
分し、かかるセグメンテーションの見直し処理を終了す
る（ステップSP25）。第２図の例の場合、第５のセグメ
ントS5を「61」と「60」に細区分し、第６のセグメント
S6を「63」と「62」に細区分し、第９のセグメントS9を
「60」と「59」に細区分し、第10のセグメントS10を「5
8」、「58」、「58」、「57」に細区分する。

従って、上述の実施例によれば、２音以上を一つのセ
グメントとしてセグメンテーションされた場合にも、細
区分することができ、音程の同定処理や音程の修正処理
等の処理を正確に実行させることができる。

かくするにつき、同一音と考えられるセグメントをつ
なげる処理が後処理として設けられているので、１音が
誤って２以上のセグメントに区分されたままとなること
はない。

他の実施例 なお、上述の実施例においては、基準長をミスマッチ
回数及びその程度に基づいて抽出するものを示したが、
セグメント長の発生頻度に基づいて抽出するようにして
も良い。

また、上述の実施例においては、４分音符に対応する
時間長を基準長としたものを示したが、８分音符に対応
する時間長を基準長とするようにしても良い。この場合
には、基準長の半分の長さで細区分するのではなく、基
準長自体で細区分することになる。

さらに、上述の実施例においては、ピッチ情報及びパ
ワー情報に基づくセグメンテーションの両者を有するも
のに適用したものを示したが、少なくともパワー情報に
基づくセグメンテーション処理を有する自動採譜方式に
対して本発明を適用することができる。

さらにまた、上述の実施例においては、第４図に示す
全ての処理をCPU1が主記憶装置３に格納されているプロ
グラムに従って実行するものを示したが、その一部また
は全部の処理をハードウェア構成で実行するようにして
も良い。例えば、第３図との対応部分に同一符号を付し
た第５図に示すように、音響信号入力装置８からの音響
信号を増幅回路10を介して増幅した後、さらに前置フィ
ルタ11を介してアナログ／デジタル変換器12に与えてデ
ジタル信号に変換し、このデジタル信号に変換された音
響信号を信号処理プロセッサ13が自己相関分析してピッ
チ情報を抽出し、また２乗和処理してパワー情報を抽出
してCPU1によるソフトウェア処理系に与えるようにして
も良い。このようなハードウェア構成（10〜13）に用い
られる信号処理プロセッサ13としては、音声帯域の信号
をリアルタイム処理し得ると共に、ホストのCPU1とのイ
ンタフェース信号が用意されているプロセッサ（例え
ば、日本電気株式会社製μPD7720）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、４分音符または８分
音符に相当する基準長を抽出してこの基準長に基づいて
既に得られたセグメントを細区分するようにしたので、
音程同定処理等の後処理の精度を一段と向上させること
ができ、最終的な楽譜データの精度を向上させることが
できる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるセグメンテーション
の見直し処理を示すフローチャート、第２図はその見直
し処理の説明に供する略線図、第３図は本発明を適用す
る自動採譜方式の構成を示すブロック図、第４図はその
自動採譜処理手順を示すフローチャート、第５図は自動
採譜方式の他の構成を示すブロック図である。 １……CPU、３……主記憶装置、６……補助記憶装置、
７……アナログ／デジタル変換器、８……音響信号入力
装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤本 正樹 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 (72)発明者 水野 正典 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 審査官 新井 重雄

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力された音響信号波形の繰返し周期であ
   り、音高を表すピッチ情報及び上記音響信号のパワー情
   報を抽出する処理と、上記ピッチ情報及び又は上記パワ
   ー情報に基づいて上記音響信号を同一音程とみなせる区
   間に区分する第１のセグメンテーション処理と、上記ピ
   ッチ情報に基づいてこの区分された区間の音程として絶
   対音程軸上の音程に同定する音程同定処理と、同定され
   た音程及び上記パワー情報に基づいて同一音が複数の上
   記区間に分割されている場合を検出してその連続区間を
   つなげて一つの区間とする第２のセグメンテーション処
   理とを少なくとも含み、上記音響信号を楽譜データに変
   換する自動採譜方法において、 上記第１のセグメンテーション処理によって区分された
   各区間の長さに基づいて所定の音符の時間長に相当する
   基準長を抽出する基準長抽出処理と、抽出された基準長
   に基づいて区分された上記区間のうち所定の長さ以上の
   ものを細区分する区間細区分処理とを、上記音程同定処
   理の前処理として設けたことを特徴とする自動採譜方
   法。
2. 【請求項２】入力された音響信号波形の繰返し周期であ
   り、音高を表すピッチ情報及び上記音響信号のパワー情
   報を抽出する手段と、上記ピッチ情報及び又は上記パワ
   ー情報に基づいて上記音響信号を同一音程とみなせる区
   間に区分する第１のセグメンテーション手段と、上記ピ
   ッチ情報に基づいてこの区分された区間の音程として絶
   対音程軸上の音程に同定する音程同定手段と、同定され
   た音程及び上記パワー情報に基づいて同一音が複数の上
   記区間に分割されている場合を検出してその連続区間を
   つなげて一つの区間とする第２のセグメンテーション手
   段とを一部に備えて上記音響信号を楽譜データに変換す
   る自動採譜方法において、 上記第１のセグメンテーション手段によって区分された
   各区間の長さに基づいて所定の音符の時間長に相当する
   基準長を抽出する基準長抽出手段と、抽出された基準長
   に基づいて区分された上記区間のうち所定の長さ以上の
   ものを細区分する区間細区分手段とを、上記音程同定手
   段の前段に設けたことを特徴とする自動採譜装置。