JPH01219634A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に音響信号が有する調を決定する調決定処理に関
するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間（セグメント）に区分し
くかかる処理をセグメンテーションと呼ぶ）、次いで、
セグメントのピッチ情報から各セグメントの音響信号の
絶対音程軸にそった音程を決定し、上述のピッチ情報か
ら音響信号が有する調を決定し、さらに、セグメントに
基づいて音響信号の拍子及びテンポを決定するという順
序で各情報を得ていた。

し発明が解決しようとする課題］ ところで、音響信号のあるセグメントを絶対音程軸上の
音程として同定しようとしても、音響信号、特に人によ
って発声された音響信号は音程が安定しておらず、同一
音程を意図している場合であっても音程の揺らぎが多い
。そのため、音程同定処理を非常に難しいものとしてい
た。

楽譜データは音響信号の再現性を確保するための記録情
報であり、再現性の観点からいえば、音程は、音長と共
に楽譜データの基本的な要素であって正確に同定するこ
とが必要であり、正確に同定することができない場合に
は、楽譜データの精度を低いものとする。

ところで、音響信号が有する調は、楽譜データの要素で
あるだけでなく、音程の発生頻度との間にある種の関係
が存在し、音程を決定する重要な手掛かりを与えるもの
である。従って、調を決定して同定音程を見直すことは
同定された音程の精度を向上させる上で望ましく、良好
に音響信号の調を決定することが望まれる。

本発明は、以上の点を考慮してなされたもので、音響信
号の調を正確に決定することのでき、最終的な楽譜デー
タの精度を一段と向上させることのできる自動採譜方法
及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号波形の繰返し周期であり、音高を表
すピッチ情報及び音響信号のパワー情報を抽出する処理
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン処理と、ピッチ情報に基づいてこの区分された区間の
音程として絶対音程軸上の音程に同定する音程同定処理
と、ピッチ情報に基づいて音響信号が有する調を決定す
る調決定処理とを少なくとも含み、音響信号を楽譜デー
タに変換する自動採譜方法において、調決定処理が、ピ
ッチ情報を絶対音程軸上の各音程に振り分けて集計して
音響信号が有する音程の音階発生頻度を抽出する処理と
、調における各音階について予め定められている重み付
け係数と抽出された音響信号が有する音階発生頻度との
積和を全ての調について算出する処理と、算出された積
和のうち最大の積和を有する調を長調及び又は短調につ
いて抽出する処理と、抽出された調における属音及び従
属音を主音とする調をの積和最大な調と共に候補制とし
て抽出する処理と、抽出された候補制から最初の区間の
音程と最後の区間の音程が有する音階に基づいて一つの
調を決定する処理とからなるようにした。

また、第２の本発明においては、入力された音響信号波
形の繰返し周期であり、音高を表すピッチ情報及び音響
信号のパワー情報を抽出するピッチ・パワー抽出手段と
、ピッチ情報及び又はパワー情報に基づいて音響信号を
同一音程とみなせる区間に区分するセグメンテーション
手段と、この区分された区間について音響信号の絶対音
程軸上の音程を決定する音程同定手段と、ピッチ情報に
基づいて音響信号が有する調を決定する調決定手段とを
一部に備えて音響信号を楽譜データに変換する自動採譜
装置において、調決定手段を、ピッチ情報を絶対音程軸
上の各音程に振り分けて集計して音響信号が有する音程
の音階発生頻度を抽出する音階頻度抽出部と、調におけ
る各音階について予め定められている重み付け係数と抽
出された音響信号が有する音階発生頻度との積和を全て
の調について算出する積和算出部と、算出された積和の
うち最大の積和を有する調を長調及び又は短調について
抽出する積和最大調抽出部と、抽出された調における属
音及び従属音を主音とする調を積和最大な調と共に候補
制として抽出する候補調抽出部と、抽出された候補制か
ら音響信号の最初の音と最後の音が有する音階に基づい
て一つの調を決定する調決定部とで構成した。

［作用］ 第１の本発明においては、調によって重要となる音階が
異なることに着目して調毎に各音階に対する重み付け係
数を予め作成しておき、入力された音響信号が有する音
程の音階発生頻度をピッチ情報に基づいて抽出し、抽出
された頻度とその音階の重み付け係数との積和を各別に
ついて求めて積和が最大となる調を抽出するようにした
。また、各別において、主音と、属音、従属音とは共に
重要な音であり、主音より属音、従属音の発生頻度が多
い場合もある。そこで、積和に基づいて抽出された調の
属音及び従属音を主音とする調をも候補制として抽出し
、これら候補制から音響信号の最初の区間の音程及び最
後の区間の音程がなんであるかに基づいて最終的に調を
決定するようにした。

また、第２の本発明においては、同様な着目に基づいて
、調毎に各音階に対する重み付け係数を予め作成してお
き、まず、入力された音響信号が有する音程の音階発生
頻度をピッチ情報に基づいて音階頻度抽出部によって抽
出し、抽出された頻度とこの重み付け係数との積和を積
和算出部によって各別について求め、積和が最大となる
調を積和最大調抽出部によって抽出するようにした。そ
して、候補調抽出部によって積和に基づいて抽出された
調の属音及び従属音を主音とする調をも候補制として抽
出し、これら候補制から調決定部が音響信号の最初の区
間の音程及び最後の区間の音程がなんであるかに基づい
て最終的に一つの調を決定するようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

■肋五証方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵ１が実行する音響信号を収り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、ＳＰ２＞。その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に基づいて絶対音程軸に対する音響信
号の音程軸のずれ量をピッチ情報の分布情報に基づいて
算出し、得られたピッチ情報をそのずれ量に応じてシフ
トさせるチューニング処理を実行する（ステップ５Ｐ３
）。すなわち、音響信号を発生した歌唱者または楽器の
音程軸と絶対音程軸との差が小さくなるようにピッチ情
報を修正する。

次いで、ＣＰＵ１は、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰｔＪｌは、４分音符や８分音符等の
時間長に相当する基準長を算出してこの基準長に基づい
て再度セグメンテーションを実行する（ステップ５Ｐ６
）。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一が否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、各セグメントについてピッチ情報
の分布情報に基づいて、例えば、ハ長調やイ短調という
ように入力音響信号の楽曲の調を決定し、決定された調
において発生することが少ない音程についてその音程を
ピッチ情報について見直して音程を確認、修正する（ス
テップＳＰ９．５ＰＩＯ＞。次いで、ＣＰＵＩは、最終
的に決定された音程から連続するセグメントについて同
一なものがあるか否か、また連続するセグメント間でパ
ワーの変化があるか否かに基づいてセグメンテーション
の見直しを実行し、最終的なセグメンテーションを行な
う（ステップ５ＰＩＩ）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４＞。

辛　舌田の！。゛　　　− 次に、このような自動採譜方式における音響信号の調の
決定処理（ステップＳＰ９＞について、第１図のフロー
チャートを用いて詳述する。

ＣＰＵＩは、上述したチューニング処理によってチュー
ニングされた全てのピッチ情報から音階ヒストグラムを
作成する（ステップ５Ｐ２０）。

ここで、音階ヒストグラムとは、「ハ（ド）Ｊ、「嬰ハ
：変二（ド＃：しｂａ」、「二（し）」、・・・、「イ
（う）」、「嬰イ：変口（う＃ニジｂ）」、「口（シ）
」の１２個の絶対音程軸上の音階についてのヒストグラ
ムであり、ピッチ情報が絶対音程軸上にない場合には、
そのピッチ情報が近い２個の絶対音程軸上の音程に対し
てそれらに対する距離に応じて按分して振り分けて集計
したものである。

次いで、ＣＰｔＪｌは「ハ長調」、「変ニ長調」、「ニ
長調」、・・・、「変口長調」、「口長調」の１２個の
長調、及び「イ短調」、「変口短調」、「口短調」、・
・・、「ト短調」、「変イ短調」の１２個の短調の計２
４個の各別についてその調により定まる第２図に示すよ
うな重み付け係数と上述の音階ヒストグラムの集計値と
の積和を求める（ステップＳＰ２１　）。

なお、第２図は「ハ長調」の重み付け係数を第１欄Ｃ０
Ｌ１に、「イ短調」の重み付け係数を第２欄Ｃ０Ｌ２に
、「変ニ長調」の重み付け係数を第３欄Ｃ０Ｌ３に、「
変口短調」の重み付け係数を第４欄Ｃ０Ｌ４に例示した
ものであり、他の調についても同様に、長調については
、主音からｒ２０２０２１０２０２０１」の重み付け係
数を用い、短調については主音からｒ２０２２０１０２
２０１０４の重み付け係数を用いる。

ここで、重み付け係数は、その調において、臨時記号（
＃、ｂ）なしで表せる音程について「０」以外の重みを
与えると共に、長調と短調の７音音階と５音音階とを合
わせたもの、すなわち、７音音階にのみ存在する音階（
ファ、シ）の音程に「１」を用い、５音音階の要素の音
程に「２」を用いるように決定した。なお、このような
重み付け係数は、その調においてその音程が発生する頻
度に対応しているものである。

ＣＰＵＩは、このようにして２４個の調についての積和
を得ると、長調についてその積和が最大の調と短調につ
いてその積和が最大の調とをそれぞれ抽出する（ステッ
プ５Ｐ２２＞。その後、ＣＰＵＩは抽出された長調につ
いての候補調における属音（主音に対して５度上の音）
を主音とする調及び長調についての候補調における従属
前（主音に対して５度下の音）を主音とする調を抽出す
ると共に、抽出された短調についての候補調における属
音（主音に対して５度上の音）を主音とする調及び短調
についての候補調における従属前（主音に対して５度下
の音）を主音とする調を抽出する（ステップ５Ｐ２３＞
。

ＣＰｔＪｌは、このようにして抽出された計６個の候補
調から、音響信号の曲の初めの音（最初のセグメントの
音程）及び終わりの音（最後のセグメントの音程）の関
係から１＠の調を選択して最終的な調を決定する（ステ
ップ５Ｐ２４＞。

このように積和が最大な調を直ちに音響信号が有する調
として決定しないようにしたのは、主音、属音、従属前
は楽曲中の旋律において発生°することが多く、特に、
属音や従属前が主音より発生する頻度が多い場合もあり
、単に積和の最大値で調を決定した場合本来の調ではな
く、本来の調における属音または従属前を主音とする調
に決定される場合があるためである。そこで、上述のよ
うに、曲の初めの音と終わりの音はその調について特有
な関係があることが経験則によって見出だされているの
で、この関係から最終的に調を決定するようにした。例
えば、ハ長調の場合、「ドミソ」のいずれかの音で始ま
り、「ド」で終わることが多く、他の調においても主音
で終わることが多い。

従って、上述の実施例によれば、音階ヒストグラムを作
成し、各音階の発生頻度を捕らえ、その頻度と調に応じ
て定まる音階の重要度パラメータとしての重み付け係数
との積和を求め、その積和に基づいて６個の調を候補制
として抽出し、曲の最初の音と終わりの音によって最終
的に調を決定するようにしたので、正確に調を決定する
ことができ、この調によって同定された音程を見直すこ
とができ、楽譜データの精度を一段と向上させることが
できる。

周ｎ実焦侶 なお、音程同定処理に用いるピッチ情報は、周波数単位
のＨｚで表わされているものであっても良く、また、音
楽分野で良く用いられているセント単位で表わされてい
るものであっても良い。

また、重み付け係数は上述の実施例にものに限られるこ
とはなく、例えば、主音にさらに大きい重みを与えるよ
うにしても良い。

さらに、上述の実施例については、長調及び短調のそれ
ぞれについて積和最大な調を抽出して計６個の候補制を
得るようにしたが、長調及び短調に関係なく積和最大な
調を抽出して計３個の候補制を抽出してその中から最終
的な調を決定するようにしても良い。

さらにまた、上述の実施例においては、第４図に示す全
ての処理をＣＰＵＩが主記憶装置３に格納されているプ
ログラムに従って実行するものを示したが、その一部ま
たは全部の処理をハードウェア構成で実行するようにし
ても良い。例えば、第３図との対応部分に同一符号を付
した第５図に示すように、音響信号入力装置８からの音
響信号を増幅回路１０を介して増幅した後、さらに前置
フィルタ１１を介してアナログ／デジタル変換器１２に
与えてデジタル信号に変換し、このデジタル信号に変換
された音響信号を信号処理プロセッサ１３が自己相関分
析してピッチ情報を抽出し、また２乗和処理してパワー
情報を抽出してＣＰＵ１によるソフトウェア処理系に与
えるようにしても良い。このようなハードウェア構成（
１０〜１３）に用いられる信号処理プロセッサ１３とし
ては、音声帯域の信号をリアルタイム処理し得ると共に
、ホスＩ−のＣＰＵＩとのインタフェース信号が用意さ
れているプロセッサ（例えば、日本電気株式会社製μＰ
　Ｄ　７７２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、音階ヒストグラムを作
成し、各音階の発生頻度を捕らえ、その頻度と調に応じ
て定まる重み付け係数との積和を求め、その積和に基づ
いて複数の調を候補制として抽出し、曲の最初の音と終
わりの音によって最終的に調を決定するようにしたので
、正確に調を決定することができ、この調によって同定
された音程を見直すことができ、楽譜データの精度を一
段と向上させることができる自動採譜方法及び装置を得
ることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる調決定処理を示すフ
ローチャート、第２図はかかる調決定に用いる重み付け
係数を示す図表、第３図は本発明を適用する自動採譜方
式の構成を示すブロック図、第４図はその自動採譜処理
手順を示すフローチャート、第５図は自動採譜方式の他
の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出する処理と、上記ピッチ情報及び又は上記パワー情報
   に基づいて上記音響信号を同一音程とみなせる区間に区
   分するセグメンテーション処理と、上記ピッチ情報に基
   づいてこの区分された区間の音程として絶対音程軸上の
   音程に同定する音程同定処理と、上記ピッチ情報に基づ
   いて上記音響信号が有する調を決定する調決定処理とを
   少なくとも含み、上記音響信号を楽譜データに変換する
   自動採譜方法において、 上記調決定処理が、 上記ピッチ情報を絶対音程軸上の各音程に振り分けて集
   計して上記音響信号が有する音程の音階発生頻度を抽出
   する処理と、調における各音階について予め定められて
   いる重み付け係数と抽出された上記音響信号が有する音
   階発生頻度との積和を全ての調について算出する処理と
   、算出された積和のうち最大の積和を有する調を長調及
   び又は短調について抽出する処理と、抽出された調にお
   ける属音及び従属音を主音とする調を上記の積和最大な
   調と共に候補調として抽出する処理と、抽出された候補
   調から最初の区間の音程と最後の区間の音程が有する音
   階に基づいて一つの調を決定する処理とからなることを
   特徴とする自動採譜方法。
2. （２）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出するピッチ・パワー抽出手段と、上記ピッチ情報及び
   又は上記パワー情報に基づいて上記音響信号を同一音程
   とみなせる区間に区分するセグメンテーション手段と、
   この区分された区間について上記音響信号の絶対音程軸
   上の音程を決定する音程同定手段と、上記ピッチ情報に
   基づいて上記音響信号が有する調を決定する調決定手段
   とを一部に備えて上記音響信号を楽譜データに変換する
   自動採譜装置において、 上記調決定手段を、 上記ピッチ情報を絶対音程軸上の各音程に振り分けて集
   計して上記音響信号が有する音程の音階発生頻度を抽出
   する音階頻度抽出部と、調における各音階について予め
   定められている重み付け係数と抽出された上記音響信号
   が有する音階発生頻度との積和を全ての調について算出
   する積和算出部と、算出された積和のうち最大の積和を
   有する調を長調及び又は短調について抽出する積和最大
   調抽出部と、抽出された調における属音及び従属音を主
   音とする調を上記の積和最大な調と共に候補調として抽
   出する候補調抽出部と、抽出された候補調から最初の区
   間の音程と最後の区間の音程が有する音階に基づいて一
   つの調を決定する調決定部とで構成したことを特徴とす
   る自動採譜装置。