JP2604405B2

JP2604405B2 - 自動採譜方法及び装置

Info

Publication number: JP2604405B2
Application number: JP4611888A
Authority: JP
Inventors: 七郎鶴田; 洋典高島; 正樹藤本; 正典水野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-02-29
Filing date: 1988-02-29
Publication date: 1997-04-30
Anticipated expiration: 2012-04-30
Also published as: JPH01219628A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、歌唱音声やハミング音声や楽器音等の音響
信号から楽譜データを作成する自動採譜方法及び装置に
関し、特に、音響信号の所定区間の音程として絶対音程
軸上の音程に同定する音程同定処理に関するものであ
る。

［従来の技術］歌唱音声やハミング音声や楽器音等の音響信号を楽譜
データに変換する自動採譜方式においては、音響信号か
ら楽譜としての基本的な情報である音長、音程、調、拍
子及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的
に含む信号であるだけであり、上述した各情報を直ちに
得ることはできない。

そこで、従来の自動採譜方式においては、まず、音響
信号の音高を表す基本波形の繰返し情報（以下、ピッチ
情報と呼ぶ）及びパワー情報を分析周期毎に抽出し、そ
の後、抽出されたピッチ情報及び又はパワー情報から音
響信号を同一音程とみなせる区間（セグメント）に区分
し（かかる処理をセグメンテーションと呼ぶ）、次い
で、セグメントのピッチ情報から各セグメントの音響信
号の音程として絶対音程軸にそった音程に同定し、ピッ
チ情報の音程軸周りの分布情報に基づいて音響信号の調
を決定し、さらに、セグメントに基づいて音響信号の拍
子及びテンポを決定するという順序で各情報を得てい
た。

［発明が解決しようとする課題］ところで、音響信号のあるセグメントを絶対音程軸上
の音程として同定しようとしても、音響信号、特に人に
よって発声された音響信号は音程が安定しておらず、同
一音程を意図している場合であっても音程の揺らぎが多
い。そのため、音程同定処理を非常に難しいものとして
いた。

音程は、音長と共に楽譜データの基本的な要素である
ので、正確に同定することが必要であり、正確に同定す
ることができない場合には、楽譜データの精度を低いも
のとする。

本発明は、以上の点を考慮してなされたもので、音程
を正確に同定することのできる新規な音程同定方法を提
案し、最終的な楽譜データの精度を一段と向上させるこ
とのできる自動採譜方法及び装置を提供しようとするも
のである。

［課題を解決するための手段］かかる課題を解決するため、第１の本発明において
は、入力された音響信号波形の繰返し周期であり、音高
を表すピッチ情報及び音響信号のパワー情報を抽出する
処理と、ピッチ情報及び又はパワー情報に基づいて音響
信号を同一音程とみなせる区間に区分するセグメンテー
ション処理と、この区分された区間について音響信号の
絶対音程軸上の音程を決定する音程同定処理とを少なく
とも含み、音響信号を楽譜データに変換する自動採譜方
法において、音程同定処理を、各区間のピッチ情報と各
絶対音程軸との距離を算出する処理と、算出された距離
が最も小さい絶対音程軸上の音程にその区間の音程を同
定する処理とからなるようにした。

また、第２の本発明においては、入力された音響信号
波形の繰返し周期であり、音高を表すピッチ情報及び音
響信号のパワー情報を抽出するピッチ・パワー抽出手段
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン手段と、この区分された区間について音響信号の絶対
音程軸上の音程を決定する音程同定手段とを一部に備え
て音響信号を楽譜データに変換する自動採譜装置におい
て、音程同定手段を、セグメンテーション手段によって
区分された各区間のピッチ情報と各絶対音程軸との距離
を算出する距離算出部と、算出された距離が最も小さい
絶対音程軸上の音程にその区間の音程を同定する音程決
定部とで構成した。

［作用］第１の本発明においては、各区間の音程として絶対音
程軸上の音程に同定するにつき、最も近い絶対軸上の音
程を見付け出すため、まず当該区間のピッチ情報の各絶
対音程軸までの距離を算出し、その距離の大小比較によ
り最も短い絶対軸上の音程を見付け出してその音程に当
該区間の音程を同定するようにした。

また、第２の本発明は、音程同定手段が、当該区間の
ピッチ情報の各絶対音程軸までの距離を距離算出手段に
よって算出し、その算出された距離の大小比較により音
程決定部によって最も短い絶対軸上の音程を見付け出し
てその音程に当該区間の音程を同定するようにした。

［実施例］以下、本発明の一実施例を図面を参照しながら詳述す
る。

自動採譜方式まず、本発明が適用される自動採譜方式について説明
する。

第３図において、中央処理ユニット（CPU）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、CPU1及び主記憶装置３に加えて、入力装置としての
キーボード４、出力装置としての表示装置５、ワーキン
グメモリとして用いられる補助記憶装置６及びアナログ
／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロ
フォンでなる音響信号入力装置８が接続されている。こ
の音響信号入力装置８は、ユーザによって発声された歌
唱やハミングや、楽器から発生された楽器等の音響信号
を捕捉して電気信号に変換するものであり、その電気信
号をアナログ／デジタル変換器７に出力するものであ
る。

CPU1は、キーボード入力装置４によって処理が指令さ
れたとき、当該採譜処理を開始し、主記憶装置３に格納
されているプログラムを実行してアナログ／デジタル変
換器によってデジタル信号に変換された音響信号を一旦
補助記憶装置６に格納し、その後、これら音響信号を上
述のプログラムを実行して楽譜データに変換して必要に
応じて表示装置５に出力するようになされている。

次に、CPU1が実行する音響信号を取り込んだ後の採譜
処理を第４図の機能レベルで示すフローチャートに従っ
て詳述する。

まず、CPU1は、音響信号を自己相関分析して分析周期
毎に音響信号のピッチ情報を抽出し、また２乗和処理し
て分析周期毎にパワー情報を抽出し、その後ノイズ除去
や平滑化処理等の後処理を実行する（ステップSP1、SP
2）。その後、CPU1は、ピッチ情報については、その分
布状況に基づいて絶対音程軸に対する音響信号の音程軸
のずれ量を算出し、得られたピッチ情報をそのずれ量に
応じてシフトさせるチューニング処理を実行する（ステ
ップSP3）。すなわち、音響信号を発生した歌唱者また
は楽器が有する音程軸と絶対音程軸との差が小さくなる
ようにピッチ情報を修正する。

次いで、CPU1は、得られたピッチ情報が同一音程を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとのセグメントに切り分けるゼグメン
テーションを実行し、また、得られたパワー情報の変化
に基づいてセグメンテーションを実行する（ステップSP
4、SP5）。これら得られた両者のセグメント情報に基づ
いて、CPU1は、４分音符や８分音符等の時間長に相当す
る基準長を算出してこの基準長に基づいて再度セグメン
テーションを実行する（ステップSP6）。

CPU1は、このようにしてセグメンテーションされたセ
グメントのピッチ情報に基づきそのピッチ情報が最も近
いと判断できる絶対音程軸上の音程にそのセグメントの
音程を同定し、さらに、同定された連続するセグメント
の音程が同一か否かに基づいて再度セグメンテーション
を実行する（ステップSP7、SP8）。

その後、CPU1は、チューニング後のピッチ情報を集計
して得た音程の出現頻度と、調に応じて定まる所定の重
み付け係数との積和を求めてこの積和の最大情報に基づ
いて、例えば、ハ長調やイ短調というように入力音響信
号の楽曲の調を決定し、決定された調における音階上の
所定の音程についてその音程をピッチ情報について見直
して音程を確認、修正する（ステップSP9、SP10）。次
いで、CPU1は、最終的に決定された音程から連続するセ
グメントについて同一なものがあるか否か、また連続す
るセグメント間でパワーの変化があるか否かに基づいて
セグメンテーションの見直しを実行し、最終的なセグメ
ンテーションを行なう（ステップSP11）。

このようにして音程及びセグメントが決定されると、
CPU1は、楽曲は１拍目から始まる、フレーズの最後の音
は次の小節にまたがらない、小節ごとに切り目がある等
の観点から小節を抽出し、この小節情報及びセグメンテ
ーション情報から拍子を決定し、この決定された拍子情
報及び小節の長さからテンポを決定する（ステップSP1
2、SP13）。

そして、CPU1は決定された音程、音長、調、拍子及び
テンポの情報を整理して最終的に楽譜データを作成する
（ステップSP14）。

音程同定処理次に、このような自動採譜方式における音程同定処理
（ステップSP7参照）について、第１図のフローチャー
トを用いて詳述する。

CPU1は、まず最後のセグメントの処理を終了していな
いことを確認した後、音程パラメータxj（ｊ＝０〜ｍ−
１、ｍは音響信号が取り得ると考えられる音高範囲の絶
対音程軸上の音程数）として音響信号が取り得ると考え
られる最も低い絶対音程軸上の音程に対するピッチ情報
（x0）をセットしてその音程に対するそのセグメントの
ピッチ情報pi（ｉ＝０〜ｎ−１、ｎはこのセグメントの
ピッチ情報数）との距離εｊを算出して格納する（ステ
ップSP20〜22）。

ここで、距離εｊとは、次式で示すように、距離算出対象のセグメント内の各ピッチ
情報piとその絶対音程軸上の音程に対するピッチ情報xj
との差pi−xj（第２図参照）の２乗和で定義される。

その後、CPU1は、音程パラメータxjが音響信号が取り
得ると考えられる最も高い絶対音程軸上の音程に対する
ピッチ情報xm−１になっているか否かを判断し、否定結
果を得ると、音程パラメータxjを今まで処理に用いてい
た音程より半音だけ上の絶対音程軸上の音程に対するピ
ッチ情報xj＋１に更新して上述の距離算出ステップSP22
に戻る（ステップSP23、24）。

このようなステップSP22〜24でなる処理ループを繰り
返すことにより、当該セグメントのピッチ情報と絶対音
程軸上の全ての音程との距離ε０〜εｍ−１が算出さ
れ、やがて、ステップSP23において肯定結果が得られ
る。このとき、CPU1は格納されている各音程についての
距離のうち最も小さいものを検出し、この最も距離が小
さくなっている音程を当該セグメントの音程として決定
し、その後、処理すべきセグメントを次のセグメントに
セットして上述したステップSP20に戻る（ステップ25、
26）。

このような処理を繰り返すことにより、全てのセグメ
ントについて音程が同定され、やがて、ステップSP20に
おいて肯定結果が得られて当該処理プログラムを終了さ
せる。

従って、上述の実施例によれば、各セグメントのピッ
チ情報と絶対音程軸との距離を算出し、距離が最小とな
る絶対音程軸上の音程にそのセグメントの音程を同定し
たので、音程を高精度に同定することができる。

他の実施例なお、上述の実施例においては、距離を（１）式に基
づいて算出したが、次式に基づいて算出しても良い。

また、音程同定処理に用いるピッチ情報は、周波数単
位のHzで表わされているものであっても良く、また、音
楽分野で良く用いられているセント単位で表わされてい
るものであっても良い。

さらに、上述の実施例においては、第４図に示す全て
の処理をCPU1が主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第３図との対応部分に同一符号を付した第
５図に示すように、音響信号入力装置８からの音響信号
を増幅回路10を介して増幅した後、さらに前置フィルタ
11を介してアナログ／デジタル変換器12に与えてデジタ
ル信号に変換し、このデジタル信号に変換された音響信
号を信号処理プロセッサ13が自己相関分析してピッチ情
報を抽出し、また２乗和処理してパワー情報を抽出して
CPU1によるソフトウェア処理系に与えるようにしても良
い。このようなハードウェア構成（10〜13）に用いられ
る信号処理プロセッサ13としては、音声帯域の信号をリ
アルタイム処理し得ると共に、ホストのCPU1とのインタ
フェース信号が用意されているプロセッサ（例えば、日
本電気株式会社製μPD7720）を適用し得る。

［発明の効果］以上のように、本発明によれば、各セグメントの音程
を絶対音程軸との距離に基づいて同定するようにしたの
で、良好に音程を決定でき、楽譜データの精度を一段と
高めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる音程同定処理を示す
フローチャート、第２図は各セグメントのピッチ情報の
絶対音程軸との距離の説明に供する略線図、第３図は本
発明を適用する自動採譜方式の構成を示すブロック図、
第４図はその自動採譜処理手順を示すフローチャート、
第５図は自動採譜方式の他の構成を示すブロック図であ
る。１……CPU、３……主記憶装置、６……補助記憶装置、
７……アナログ／デジタル変換器、８……音響信号入力
装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤本正樹東京都港区芝５丁目７番15号日本電気技術情報システム開発株式会社内 (72)発明者水野正典東京都港区芝５丁目７番15号日本電気技術情報システム開発株式会社内審査官新井重雄

Claims

(57)【特許請求の範囲】

【請求項１】入力された音響信号波形の繰返し周期であ
り、音高を表すピッチ情報及び上記音響信号のパワー情
報を抽出する処理と、上記ピッチ情報及び又は上記パワ
ー情報に基づいて上記音響信号を同一音程とみなせる区
間に区分するセグメンテーション処理と、この区分され
た区間について上記音響信号の絶対音程軸上の音程を決
定する音程同定処理とを少なくとも含み、上記音響信号
を楽譜データに変換する自動採譜方法において、上記音程同定処理が、上記各区間のピッチ情報と各絶対音程軸との距離を算出
する処理と、算出された距離が最も小さい絶対音程軸上
の音程にその区間の音程を同定する処理とからなること
を特徴とする自動採譜方法。
【請求項２】入力された音響信号波形の繰返し周期であ
り、音高を表すピッチ情報及び上記音響信号のパワー情
報を抽出するピッチ・パワー抽出手段と、上記ピッチ情
報及び又は上記パワー情報に基づいて上記音響信号を同
一音程とみなせる区間に区分するセグメンテーション手
段と、この区分された区間について上記音響信号の絶対
音程軸上の音程を決定する音程同定手段とを一部に備え
て上記音響信号を楽譜データに変換する自動採譜装置に
おいて、上記音程同定手段を、上記セグメンテーション手段によって区分された各区間
のピッチ情報と各絶対音程軸との距離を算出する距離算
出部と、算出された距離が最も小さい絶対音程軸上の音
程にその区間の音程を同定する音程決定部とで構成した
ことを特徴とする自動採譜装置。