JPH01219635A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に、パワー情報に基づいて音響信号を同一音程と
みなせる区間に区分するセグメンテーション処理に関す
るものである。

し従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式にお０ては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、少なくとも抽出されたｙ＜ワー情報から音響信号を
同一音程とみなせる区間（セグメント）に区分しくかか
る処理をセグメンテーションと呼ぶ）、次いで、セグメ
ントのピ・ソチ情報から各セグメントの音響信号の音程
として絶対音程軸にそった音程に同定し、と・ノチ情報
の音程軸周りの分布に基づいて音響信号の調を決定し、
さらに、セグメントに基づいて音響信号の拍子及びテン
ポを決定するという順序で各情報を得ていた。

従って、音程、拍子、テンポ等は、セグメント（音長）
に基づき決定されるので、セグメンテーション処理は、
特に楽譜データを作成する上で重要なものとなっている
。

［発明が解決しようとする課題］ このように、セグメンテーションは楽譜データを作成す
る上で重要な要素であり、セグメンテーションの精度が
低いと、最終的に得られる楽譜データの精度も著しく低
くなるので、ピッチ情報に基づくセグメンテーション結
果及びパワー情報に基づくセグメンテーション結果の両
者から最終的にセグメンテーションを行なう場合、また
はパワー情報から最終的なセグメンテーションを行なう
場合共に、パワー情報からのセグメンテーション処理自
体の精度も向上することが望まれる。

本発明は、以上の点を考慮してなされたもので、パワー
情報に基づいたセグメンテーションを良好に実行するこ
とができ、楽譜データの精度を向上させることのできる
自動採譜方法及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号からパワー情報を抽出する処理と、
抽出されたパワー情報に基づいて音響信号を同一音程と
みなせる区間に区分するセグメンテーション処理とを少
なくとも含み、音響信号を楽譜データに変換する自動採
譜方法において、上記セグメンテーション処理を、パワ
ー情報が所定値以上の有効区間と所定値以下の無効区間
とに区分する処理と：有効区間についてパワー情報の立
上り変化点を抽出する処理と：抽出された立上り変化点
で上述の有効区間を細区分する処理とからなる一連の処
理によって行うようにした。

また、第２の本発明においては、入力された音響信号か
らパワー情報を抽出するパワー抽出手段と、抽出された
パワー情報に基づいて音響信号を同一音程とみなぜる区
間に区分するセグメンテーション手段とを一部に備えて
音響信号を楽譜データに変換する自動採譜装置において
、セグメンテーション手段を、パワー情報が所定値以上
の有効区間と所定値以下の無効区間とに区分する分割処
理部と：有効区間についてパワー情報の立上り変化点を
抽出する変化点抽出部と：抽出された立上り変化点で上
述の有効区間を細区分する細区分部とで構成した。

［作用］ 第１の本発明においては、音響信号のパワーの揺らぎや
ノイズの影響を小さくするように、パワー情報が所定値
以上の有効区間と、所定値以下の無効区間とに分割する
。また、２音以上を含む有効区間が生じることもあるの
で、音の移行時にはパワーも立上ることに着目し、パワ
ーの立上り変化点を抽出して有効区間を細区分するよう
にした。

また、第２の本発明においても、同様にパワー情報が所
定値以上の有効区間と所定値以下の無効区間とに分割処
理部により区分してパワーの揺らぎやノイズの影響を受
けないようにした。また、有効区間内のパワーの立上り
変化点で変化点抽出部によって抽出し、その立上り変化
点で細区分部によって有効区−間を細分して２音以上を
含む区間が生じないようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

１肱採譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第４図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第５図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第５図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、５Ｐ２）。その後、ＣＰＵＩは、ピッチ情報について
は、その音程軸周りの分布状況に基づいて絶対音程軸に
対する音響信号の音程軸が有するずれ量を算出し、得ら
れたピッチ情報をその音程軸のずれ量に応じてシフトさ
せるチューニング処理を実行する（ステップ５Ｐ３）。

すなわち、音響信号を発生した歌唱者または楽器が有す
る音程軸と絶対音程軸との差が小さくなるようにピッチ
情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音性等の時
間長に相当する基準長を算出してこの基準長に基づいて
より詳細にセグメンテーションを実行する（ステップ５
Ｐ６）。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、チューニング後のピッチ情報を音
程軸周りに集計して得た音程の出現頻度と、調に応じて
定まる所定の重み付は係数との積和を求めてこの積和の
最大情報に基づいて、例えば、ハ長調やイ短調というよ
うに入力音響信号の楽曲の調を決定し、決定された調に
おける音階の所定の音程についてその音程をピッチ情報
について見立して音程を確認、修正する（ステップＳ２
９．５ＰＩＯ＞。次いで、ＣＰＵＩは、最終的に決定さ
れた音程から連続するセグメントについて同一なものが
あるか否が、また連続するセグメント間でパワーの変化
があるが否かに基づいてセグメンテーションの見直しを
実行し、最終的なセグメンテーションを行なう（ステッ
プ５Ｐ１１）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

パワー　　に−づ　セ゛メンーチージョン次に、このよ
うな自動採譜方式における音響信号のパワー情報に基づ
くセグメンテーション処理（第５図ステップ５Ｐ５）に
ついて、第１図及び第２図のフローチャート・を用いて
詳述する。なお、第１図はかかる処理を機能レベルで示
すフローチャートであり、第２図は第１図をより詳細に
示すフローチャートである。

また、音響信号のパワー情報としては、分析周期内の各
サンプリング点について音響信号を２乗し、これら２乗
値の総和をその分析周期におけるパワー情報として用い
ている。

ＣＰＵＩは各分析点のパワー情報を閾値と比較して閾値
より大きい区間と小さい区間に音響信号を分割し、閾値
より大きい区間を有効区間のセグメントとし、小さい区
間を無効区間のセグメントとし、有効区間の初めにセグ
メント開始の印を付し、終わりにセグメント終了の印を
付す（ステップ５Ｐ１５．１６）。このようにしたのは
、パワー情報が小さい範囲では音響信号の音程が不安定
なことが多く、音程同定が適切になされない場合が多い
ためであり、また、休符区間を検出するためである。

次に、ＣＰＵＩは分割した有効セグメント間において、
パワー情報の変化関数を演算し、この変化関数からパワ
ー情報の立上り変化点を抽出して抽出された立上り変化
点で当該有効セグメントを細区分する（ステップ５Ｐ１
７．１８）。このようにしたのは、ある程度のパワーを
保ったまま次の音に移行することがあるためであり、こ
の場合においても次の音の開始時にはパワーを増大さぜ
ると考えられるためである。

次に、かかる処理を第２図のフローチャートを用いてよ
り詳細に説明をする。

ＣＰＵＩは、まず分析点パラメータｔを０クリアした後
、処理すべき分析点データが終了していないことを確認
してその分析点における音響信号のパワー情報ｐｏｗｅ
ｒ（ｔ）が閾値θｐより小さいが否かを判断する（ステ
ップ５Ｐ１９〜２１）。

ＣＰＵＩは閾値θｐよりパワー情報ｐｏｗｅｒ（ｔ）が
小さ−い場合には分析点パラメータｔをインクリメント
して再度ステップ５Ｐ２０に戻り次の分析点のパワー情
報について判定する。

一方、ＣＰＵＩはステップ５Ｐ２１においてパワー情報
ｐｏｗｅ　ｒ　（ｔ　）の値が閾値６０以上である場合
にはその分析点にセグメント開始点として印を付け、次
のステップ５Ｐ２４以降の処理に移る（ステップ５Ｐ２
３＞。

ＣＰＵＩは全ての分析点について処理が終了していない
ことを確認し、再度パワー情報ｐｏｗｅｒ（ｔ）の値が
閾値θｐより小さいか否か判定し、閾値６０以上ならば
分析周期パラメータｔをインクリメントしてステップ５
Ｐ２４に戻る（ステップ５Ｐ２４〜５Ｐ２６）。他方、
パワー情報ｐｏ＊ｅｒ（ｔ）ノ値が閾値θｐより小さく
なった場合にはセグメント終了点として印を当該分析点
に付けて上述のステップ５Ｐ２０に戻る（ステップ５Ｐ
２７＞。

ＣＰＵＩは、以上の処理を、ステップ５Ｐ２０またはス
テップ５Ｐ２４において全ての分析点について処理が終
了したことを検出するまで行ない、全ての分析点のパワ
ー情報ｐｏｗｅｒ（ｔ）と閾値θｐとを比較して閾値６
０以上の有効セグメントと閾値θｐ以下の無効セグメン
トとに音響信号を区分してステップ５Ｐ２８以降の処理
に移る。

これ以降においては、ＣＰＵ１は分析点パラメータｔを
０クリアして最初の分析点から以下の処理を開始する。

ＣＰＵＩは処理すべき分析点データが終了していないこ
とを確認した後、セグメント開始の印を付けられた分析
点か否かを判断する（ステップ５Ｐ２９．３０）。セグ
メント開始の分析点でない場合には、ＣＰＵＩは分析点
パラメータｔをインクリメントして上述のステップ５Ｐ
２９に戻る。

一方、セグメンＩ・開始の分析点を検出した場合には、
すなわち、有効セグメントの開始点を見付は出すと、処
理すべき分析点データが残っていないことを再度確認し
、さらにセグメント終了の分析点か否かを判断する（ス
テップ５Ｐ３２．３３）。セグメント終了の分析点でな
い場合には、従って有効セグメントの分析点であるので
、パワー情報ｐｏｗｅｒ（ｔ）の変化関数（以降の処理
でパワー情報の立上り抽出に用いるので、以下では、立
上り抽出関数と呼ぶ’）　ｄ（ｔ）を（１）式に従い求
める（ステップ５Ｐ３４）。

ｄ（ｔ）　＝（ｐｏｗｅｒ（ｔ＋ｋ）−ｐｏｗｅｒ（ｔ
））　／（ｐｏｖｅｒ（ｔ＋ｋ）＋ｐｏｗｅｒ（ｔ））
　　　＝−（１）ただし、ｋはパワーの変化をとらえる
のに適当な時間を示す自然数である。

その後、ＣＰＵＩは求めた立上り抽出関数ｄ（ｔ）の値
が閾値θｄより小さいか否かを判断し、小さい場合には
分析点パラメータｔをインクリメントしてステップ５Ｐ
３２に戻る（ステップ５Ｐ３５．３６）。他方、立上り
抽出関数ｄ（ｔ）が閾値０６以上になった場合にはその
分析点に新たなセグメント開始としての印を付ける（ス
テップ５Ｐ３７＞。

これにより、有効セグメントが細区分されたことになる
。

その後、ＣＰＵＩは全ての分析点データについて処理が
終了していないことを確認した後、当該処理中の分析点
にセグメント終了の印が付されているか否かを判断する
。付されている場合には、上述したステップ５Ｐ２９に
戻って次の有効セグメントの開始分析点の検出処理に戻
る（ステップ５Ｐ３８．３９）。

他方、セグメント終了の分析点でない場合には、パワー
情報ｐｏｗｅｒ（ｔ）より立上り抽出関数ｄ（ｔ）を（
１）式により求め、立上り抽出関数ｄ（ｔ）が閾値θｄ
より小さいか否かを判断する（ステップ５Ｐ４０．４１
）。小さくなると、上述のステップ５Ｐ３２に戻ってパ
ワー情報の立上り変化点の抽出処理に進む。一方、ステ
ップ５Ｐ４１において分析点の立上り抽出関数ｄ（ｔ）
が継続して閾値０６以上ならば分析点パラメータｔをイ
ンクリメントして次の分析点について立上り抽出回数ｄ
（ｔ）が閾値θｄより小さくなったか否かを判断するべ
くステップ５Ｐ３８に戻る。

上述の処理を繰り返すことにより、ステップ５Ｐ２９．
５Ｐ３２または５Ｐ３８で全ての分析点について処理が
終了したことを検出すると、当該プログラムを終了させ
る。

第３図はかかる処理によるセグメンテーションの一例を
示すものである。この例の場合、ステップ５Ｐ２７まで
の処理を繰り返すことによりパワー情報ｐｏｖｅｒ（ｔ
）に基づいて有効セグメント８１〜Ｓ８及び無効セグメ
ントＳＬｌ〜Ｓ１８に成分される。また、ステップ５Ｐ
２８以降の処理を操り返すことにより、立上り抽出関数
ｄ（ｔ）に基づいて有効セグメントＳ４はパワーの立上
り変化点によって８４１及びＳ４２に細区分される。

従って、上述の実施例によれば、音響信号をパワー情報
が閾値以上の有効セグメントと閾値以下の無効セグメン
トに区分すると共に、その有効セグメントをパワー情報
の立上り変化点によって細区分するようにしたので、ノ
イズやパワーの揺らぎによる誤ったセグメンテーション
を行なうことのない精度の高いセグメンテーションを実
行することができる。

また、閾値以上のパワー情報をもつ区間を有効なセグメ
ントとしているので、音声パワーが小さい音程の不安定
な期間を音程同定処理等の以降の処理に用いることもな
くし得る。

さらに、パワーの立上り変化点を抽出して細区分するよ
うにしたので、パワーが所定以上保ったまま次の音に移
行する場合にも良好にセグメンテ−ショクを実行させる
ことができる。

僻血去施胴 なお、上述の実施例においては、パワー情報として音響
信号の２乗和を用いたものを示したが、他のパラメータ
を用いても良い。例えば、２乗和の平方根を用いても良
い。また、立上り変化点を抽出する関数を（１）式のよ
うに求めたが、他のパラメータを用いても良く、例えば
、（１）式の分子のみを用いた関数によって変化点を抽
出するようにしても良い。

また、上述の実施例においては、第５図に示す全ての処
理をＣＰＵＩが主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第４図との対応部分に同一符号を付した第
６図に示すように、音響信号入力装置８からの音響信号
を増幅回路１０を介して増幅した後、さらに前置フィル
タ１１を介してアナログ／デジタル変換器１２に与えて
デジタル信号に変換し、このデジタル信号に変換された
音響信号を信号処理プロセッサ１３が自己相関分析して
ピッチ情報を抽出し、また２乗和処理してパワー情報を
抽出してＣＰＵＩによるソフトウェア処理系に与えるよ
うにしても良い。

このようなハードウェア構成（１０〜１３）に用いられ
る信号処理プロセッサ１３としては、音声帯域の信号を
リアルタイム処理し得ると共に、ホストのＣＰｔＪｌと
のインタフェース信号が用意されているプロセッサ（例
えば、日本電気株式会社製μＰ　Ｄ　７７２０）を適用
し得る。

［発明の効果］ 以上のように、本発明によれば、パワー情報が閾値より
大きい区間及び小さい区間に分け、かつその大きい区間
をパワー情報の立上り変化点で細区分するようにしたの
で、ノイズ成分等によって誤ってセグメンテーションが
なされることを少なくし得ると共に、音程同定処理等の
以降の処理を良好に実行させて楽譜データの採譜精度を
向上させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるパワー情報に基づく
セグメンテーション処理を示す概略フローチャート、第
２図はセグメンテーション処理をより詳細に示すフロー
チャート、第３図はかかる処理によるセグメンテーショ
ンの一例を示す特性曲線図、第４図は本発明を適用する
自動採譜方式の構成を示すブロック図、第５図はその自
動採譜処理手順を示すフローチャート、第６図は自動採
譜方式の他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号のパワー情報を抽出する処理
   と、抽出されたパワー情報に基づいて上記音響信号を同
   一音程とみなせる区間に区分するセグメンテーション処
   理とを少なくとも含み、上記音響信号を楽譜データに変
   換する自動採譜方法において、 上記セグメンテーション処理を、 上記パワー情報が所定値以上の有効区間と上記所定値以
   下の無効区間とに区分する処理と、上記有効区間につい
   て上記パワー情報の立上り変化点を抽出する処理と、抽
   出された立上り変化点で上記有効区間を細区分する処理
   とで構成したことを特徴とする自動採譜方法。
2. （２）入力された音響信号からパワー情報を抽出するパ
   ワー抽出手段と、抽出されたパワー情報に基づいて上記
   音響信号を同一音程とみなせる区間に区分するセグメン
   テーション手段とを一部に備えて上記音響信号を楽譜デ
   ータに変換する自動採譜装置において、 上記セグメンテーション手段を、 上記パワー情報が所定値以上の有効区間と上記所定値以
   下の無効区間とに区分する分割処理部と、上記有効区間
   について上記パワー情報の立上り変化点を抽出する変化
   点抽出部と、抽出された立上り変化点で上記有効区間を
   細区分する細区分部とから構成したことを特徴とする自
   動採譜装置。