JP2653456B2 - 自動採譜方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽譜データを作成する自動採譜方法及び装置に
関し、特に、音響信号の所定区間の音程として絶対音程
軸上の音程に同定する音程同定処理に関するものであ
る。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜
データに変換する自動採譜方式においては、音響信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的
に含む信号であるだけであり、上述した各情報を直ちに
得ることはできない。

そこで、従来の自動採譜方式においては、まず、音響
信号の音高を表す基本波形の繰返し周波数情報（以下、
ピッチ情報と呼ぶ）及びパワー情報を分析周期毎に抽出
し、その後、抽出されたピッチ情報及び又はパワー情報
から音響信号を同一音程とみなせる区間（セグメント）
に区分し（かかる処理をセグメンテーションと呼ぶ）、
次いで、セグメントのピッチ情報から各セグメントの音
響信号の音程として絶対音程軸にそった音程を同定し、
ピッチ情報の音程軸周りの分布情報に基づいて音響信号
の調を決定し、さらに、セグメントに基づいて音響信号
の拍子及びテンポを決定するという順序で各情報を得て
いた。

［発明が解決しようとする課題］ ところで、音響信号のあるセグメントを絶対音程軸上
の音程として同定しようとしても、音響信号、特に人に
よって発声された音響信号は音程が安定しておらず、同
一音程を意図している場合であっても音程の揺らぎが多
い。そのため、音程同定処理を非常に難しいものとして
いた。

音程は、音長と共に楽譜データの基本的な要素である
ので、正確に同定することが必要であり、正確に同定す
ることができない場合には、楽譜データの精度を低いも
のとする。

本発明は、以上の点を考慮してなされたもので、音程
を正確に同定することのできる新規な音程同定方法を提
案し、最終的な楽譜データの精度を一段と向上させるこ
とのできる自動採譜方法及び装置を提供しようとするも
のである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明において
は、入力された音響信号波形の繰返し周期であり、音高
を表すピッチ情報及び音響信号のパワー情報を抽出する
処理と、ピッチ情報及び又はパワー情報に基づいて音響
信号を同一音程とみなせる区間に区分するセグメンテー
ション処理と、この区分された区間について音響信号の
絶対音程軸上の音程を決定する音程同定処理とを少なく
とも含み、音響信号を楽譜データに変換する自動採譜方
法において、音程同定処理が、区分された各区間につい
てそのパワー情報のピーク点を抽出する処理と、抽出さ
れたピーク点のピッチ情報が最も近い絶対音程軸上の音
程にその区間の音程を決定する処理とからなるようにし
た。

また、第２の本発明においては、入力された音響信号
波形の繰返し周期であり、音高を表すピッチ情報及び音
響信号のパワー情報を抽出するピッチ・パワー抽出手段
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン手段と、この区分された区間について音響信号の絶対
音程軸上の音程を決定する音程同定手段とを一部に備え
て音響信号を楽譜データに変換する自動採譜装置におい
て、音程同定手段を、セグメンテーション手段によって
区分された各区間についてパワー情報のピーク点を抽出
するピーク点抽出部と、抽出されたピーク点のピッチ情
報が最も近い絶対音程軸上の音程にその区間の音程を決
定する音程決定部とで構成した。

［作用］ 第１の本発明においては、各区間の音程を絶対音程軸
上の音程に同定するにつき、音響信号が揺らぐとしても
音響信号の発生源が意図する音程は音量（パワー情報）
が最大のときには正確であることに着目し、各区間のパ
ワー情報のピーク点を抽出してそのピーク点のピッチ情
報が最も近い絶対音程軸上の音程に同定するようにし
た。

また、第２の本発明は、同様にパワー情報のピーク点
におけるピッチ情報が音響信号の意図する音程に近いこ
とに基づいて、セグメンテーションされた各区間のパワ
ー情報のピーク点をピーク点抽出部によって抽出し、音
程決定部によってその抽出されたピーク点のピッチ情報
が最も近い絶対音程軸上の音程にその区間の音程を同定
するようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述す
る。

自動採譜方式 まず、本発明が適用される自動採譜方式について説明
する。

第３図において、中央処理ユニット（CPU）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、CPU1及び主記憶装置３に加えて、入力装置としての
キーボード４、出力装置としての表示装置５、ワーキン
グメモリとして用いられる補助記憶装置６及びアナログ
／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォンでなる音響信号入力装置８が接続されている。こ
の音響信号入力装置８は、ユーザによって発声された歌
唱やハミングや、楽器から発生された楽音等の音響信号
を捕捉して電気信号に変換するものであり、その電気信
号をアナログ／デジタル変換器７に出力するものであ
る。

CPU1は、キーボード入力装置４によって処理が指令さ
れたとき、当該採譜処理を開始し、主記憶装置３に格納
されているプログラムを実行してアナログ／デジタル変
換器７によってデジタル信号に変換された音響信号を一
旦補助記憶装置６に格納し、その後、これら音響信号を
上述のプログラムを実行して楽譜データに変換して必要
に応じて表示装置５に出力するようになされている。

次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第４図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
て分析周期毎にパワー情報を抽出し、その後ノイズ除去
や平滑化処理等の後処理を実行する（ステップSP1、SP
2）。その後、CPU1は、ピッチ情報については、その分
布状況に基づいて絶対音程軸に対する音響信号が有する
音程軸のずれ量を算出し、得られたピッチ情報をそのず
れ量に応じてシフトさせるチューニング処理を実行する
（ステップSP3）。すなわち、音響信号を発生した歌唱
者または楽器が有する音程軸と絶対音程軸との差が小さ
くなるようにピッチ情報を修正する。

次いで、CPU1は、得られたピッチ情報が同一音程を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分けるセグメン
テーションを実行し、また、得られたパワー情報の変化
に基づいてセグメンテーションを実行する（ステップSP
4、SP5）。これら得られた両者のセグメント情報に基づ
いて、CPU1は、４分音符や８分音符等の時間長に相当す
る基準長を算出してこの基準長に基づいて再度セグメン
テーションを実行する（ステップSP6）。

CPU1は、このようにしてセグメンテーションされたセ
グメントのピッチ情報に基づきそのピッチ情報が最も近
いと判断できる絶対音程軸上の音程にそのセグメントの
音程を同定し、さらに、同定された連続するセグメント
の音程が同一か否かに基づいて再度セグメンテーション
を実行する（ステップSP7、SP8）。

その後、CPU1は、チューニング後のピッチ情報を集計
して得た音程の出現頻度と、調に応じて定まる所定の重
み付け係数との積和を求めてこの積和の最大情報に基づ
いて、例えば、ハ長調やイ短調というように入力音響信
号の楽曲の調を決定し、決定された調における音階上の
所定の音程についてその音程をピッチ情報について見直
して音程を確認、修正する（ステップSP9、SP10）。次
いで、CPU1は、最終的に決定された音程から連続するセ
グメントについて同一なものがあるか否か、また連続す
るセグメント間でパワーの変化があるか否かに基づいて
セグメンテーションの見直しを実行し、最終的なセグメ
ンテーションを行なう（ステップSP11）。

このようにして音程及びセグメントが決定されると、
CPU1は、楽曲は１拍目から始まる、フレーズの最後の音
は次の小節にまたがらない、小節ごとに切れ目がある等
の観点から小節を抽出し、この小節情報及びセグメンテ
ーション情報から拍子を決定し、この決定された拍子情
報及び小節の長さからテンポを決定する（ステップSP1
2、SP13）。

そして、CPU1は決定された音程、音長、調、拍子及び
テンポの情報を整理して最終的に楽譜データを作成する
（ステップSP14）。

音程同定処理 次に、このような自動採譜方式における音程同定処理
（ステップSP7参照）について、第１図のフローチャー
トを用いて詳述する。

CPU1は、まずセグメンテーションによって得られたセ
グメントのうち最初のセグメントを取り出し、次いで、
そのセグメントのパワー情報の変化からパワー情報の最
初の極大値（立上りピーク）を与えるサンプリング点を
取り出す（ステップSP20、21）。

その後、CPU1はその立上りピークを与えるサンプリン
グ点のピッチ情報が最も近い絶対音程軸上の音程を当該
セグメントの音程として同定する（ステップSP22）。な
お、音響信号の各セグメントの音程は、絶対音程軸上の
半音ずつ異なるいずれかの音程に同定される。CPU1は、
かかる処理がなされて音程が同定されたセグメントが最
後のセグメントか否かを判別する（ステップSP23）。そ
の結果、処理が終了していると、当該処理プログラムを
終了し、処理が終了していないと、次のセグメントを処
理対象として上述のステップ21に戻る（ステップSP2
4）。

このようなステップSP21〜24でなる処理ループを繰り
返すことにより、全てのセグメントについてそのセグメ
ント内のパワー情報の立上りピーク点のピッチ情報によ
る音程同定が実行される。

ここで、音程同定処理にパワー情報の立上りピークを
利用するようにしたのは、音響信号が揺らぎを有すると
はいえ、歌唱者等は新たな音に音程を移すとき、音量を
増大させ、そのピークのときにその音程がくるように音
量を調節するようにすると考えられるためであり、事
実、パワー情報の立上りピーク点と音程とは相関が非常
に高いことが確認されている。

第２図は、かかる処理による音程同定の一例を示すも
のであり、第１の点線曲線PITは音響信号のピッチ情報
を、また第２の点線曲線POWはパワー情報を示し、縦方
向の実線VRはセグメントのきれ目を示している。この例
による各セグメントの立上りピーク点のピッチ情報は横
方向の実線HRで示しており、また、同定された音程は横
方向の点線HPで示している。この第２図より明らかなよ
うに、パワー情報の立上りピーク点に対するピッチ情報
は絶対音程軸上の音程に対する偏差が少なく、良好に音
程を同定できることが分かる。

従って、上述の実施例によれば、各セグメントのパワ
ー情報の立上りピーク点のピッチ情報を抽出し、このピ
ッチ情報が最も近い絶対音程軸上の音程にそのセグメン
トの音程を同定したので、音程を高精度に決定すること
ができる。なお、音程同定に先立ち、音響信号をチュー
ニング処理しているので、パワー情報の立上りピーク点
に対するピッチ情報は絶対音程軸上の音程に近い値をと
り、同定が非常にし易くなっている。

また、パワー情報の立上りピーク点を利用しているの
で、セグメント内のピッチ情報を統計処理して音程同定
する場合に比べてセグメントが短くてサンプリング数が
少なくても良好に音程を同定でき、音程同定がセグメン
トの長さの影響を受けることが少ない。

他の実施例 なお、音程同定処理に用いるピッチ情報は、周波数単
位のHzで表わされているものであっても良く、また、音
楽分野で良く用いられているセント単位で表わされてい
るものであっても良い。

また、上述の実施例においては、パワー情報の立上り
ピーク点に対するピッチ情報に基づいて同定処理するも
のを示したが、このセグメントのパワー情報の最大値を
与えるサンプリング点のピッチ情報に基づいて音程同定
を実行するようにしても良い。

さらに、上述の実施例においては、第４図に示す全て
の処理をCPU1が主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第３図との対応部分に同一符号を付した第
５図に示すように、音響信号入力装置８からの音響信号
を増幅回路10を介して増幅した後、さらに前置フィルタ
11を介してアナログ／デジタル変換器12に与えてデジタ
ル信号に変換し、このデジタル信号に変換された音響信
号を信号処理プロセッサ13が自己相関分析してピッチ情
報を抽出し、また２乗和処理してパワー情報を抽出して
CPU1によるソフトウェア処理系に与えるようにしても良
い。このようなハードウェア構成（10〜13）に用いられ
る信号処理プロセッサ13としては、音声帯域の信号をリ
アルタイム処理し得ると共に、ホストのCPU1とのインタ
フェース信号が用意されているプロセッサ（例えば、日
本電気株式会社製μPD7720）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、各セグメントの音程
を、セグメントのパワー情報のピーク値を与えるサンプ
リング点のピッチ情報に基づいて同定するようにしたの
で、良好に音程を決定でき、楽譜データの精度を一段と
高めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる音程同定処理を示す
フローチャート、第２図はかかる音程同定処理による一
例を示す略線図、第３図は本発明を適用する自動採譜方
式の構成を示すブロック図、第４図はその自動採譜処理
手順を示すフローチャート、第５図は自動採譜方式の他
の構成を示すブロック図である。 １……CPU、３……主記憶装置、６……補助記憶装置、
７……アナログ／デジタル変換器、８……音響信号入力
装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤本 正樹 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 (72)発明者 水野 正典 東京都港区芝５丁目７番15号 日本電気 技術情報システム開発株式会社内 審査官 河口 雅英

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力された音響信号波形の繰返し周期であ
   り、音高を表すピッチ情報及び上記音響信号のパワー情
   報を抽出する処理と、上記ピッチ情報及び又は上記パワ
   ー情報に基づいて上記音響信号を同一音程とみなせる区
   間に区分するセグメンテーション処理と、この区分され
   た区間について上記音響信号の絶対音程軸上の音程を決
   定する音程同定処理とを少なくとも含み、上記音響信号
   を楽譜データに変換する自動採譜方法において、 上記音程同定処理が、 区分された上記各区間についてそのパワー情報のピーク
   点を抽出する処理と、抽出されたピーク点のピッチ情報
   が最も近い絶対音程軸上の音程にその区間の音程を決定
   する処理とからなることを特徴とする自動採譜方法。
2. 【請求項２】入力された音響信号波形の繰返し周期であ
   り、音高を表すピッチ情報及び上記音響信号のパワー情
   報を抽出するピッチ・パワー抽出手段と、上記ピッチ情
   報及び又は上記パワー情報に基づいて上記音響信号を同
   一音程とみなせる区間に区分するセグメンテーション手
   段と、この区分された区間について上記音響信号の絶対
   音程軸上の音程を決定する音程同定手段とを一部に備え
   て上記音響信号を楽譜データに変換する自動採譜装置に
   おいて、 上記音程同定手段を、 上記セグメンテーション手段によって区分された上記各
   区間についてパワー情報のピーク点を抽出するピーク点
   抽出部と、抽出されたピーク点のピッチ情報が最も近い
   絶対音程軸上の音程にその区間の音程を決定する音程決
   定部とで構成したことを特徴とする自動採譜装置。