JPH02120893A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
する。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを要する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間（セグメント）に区分し
くかかる処理をセグメンテーションと呼ぶ）、次いで、
セグメントのピッチ情報から各セグメントの音響信号の
絶対音程軸にそった音程を決定し、決定された音程情報
に基づいて音響信号の調を決定し、さらに、セグメント
に基づいて音響信号の拍子及びテンポを決定するという
順序で各情報を得ていた。

［発明が解決しようとする課題］ ところで、従来の自動採譜方式を利用する場合、拍子及
びテンポも決定されるため、利用者は自分自身がテンポ
や拍子を収りながら所望の曲を歌ったり、演奏したりす
ることになる。しがしながら、演奏や歌うことに馴れて
いない利用者にとってはかかる行為は難しい。また、楽
器を演奏する場合や歌を歌う場合に、メトロノーム等に
よりテンポを取りながら演奏したり、歌ったりすること
を好む利用者も存在する。

また、上述のようにして利用者自身がテンポや拍子を取
りながら演奏して又は歌って入力された音響信号には、
特に歌唱による音響信号にはパワー及び音高のふらつき
が存在するため、パワー情報及び又はピッチ情報を利用
してもなおセグメンテーションを行なうことが難しいも
のであった。

セグメンテーションは楽譜データを作成する上で重要な
要素であり、セグメンテーションの精度が低いと、最終
的に得られる楽譜データの精度も著しく低くなる。そこ
で、セグメンテーションの精度を向上させることが望ま
れる。

本発明は、以上の点を考慮してなされたものであり、利
用者にとって音響信号の入力が簡易にできる自動採譜方
法及び装置を、また、音響信号の入力を簡易化すること
を利用してセグメンテーションの精度を向上させること
ができる自動採譜方法及び装置を提供しようとするもの
である。

［課題を解決するための手段］ 第１の本発明においては、音響信号入力手段によって音
響信号を捕捉して記憶し、その後、記憶されている音響
信号から、その波形の繰返し周期であり、音高を表すピ
ッチ情報及び音響信号のパワー情報を抽出する処理と、
ピッチ情報及び又はパワー情報に基づいて音響信号を同
一音程とみなせる区間に区分するセグメンテーション処
理と、ピッチ情報に基づいてこの区分された区間の音程
として絶対音程軸上の音程に同定する音程同定処理とを
少なくとも含み、音響信号を楽譜データに変換する自動
採譜方法において、少なくともテンポ情報を含む入力補
助リズム情報を聴覚的及び又は視覚的方法によって報知
しながら、音響信号の捕捉、記憶処理を行なうようにし
た。

第２の本発明においては、第１の本発明と同様な自動採
譜方法において、音響信号の捕捉、記憶時に、入力補助
リズム情報をも同一時間軸上で記憶すると共に、セグメ
ンテーション処理を、記憶された入力補助リズム情報に
基づいて音響信号を同一音程とみなせる区間に区分する
第１の処理と、ピッチ情報及び又はパワー情報に基づい
て音響信号を同一音程とみなせる区間に区分する第２の
処理と、第１及び第２の処理によって区分された区間を
整理する第３の処理とに細分した。

第３の本発明においては、音響信号を捕捉して取り込む
音響信号入力手段と、取り込まれた音響信号を記憶する
記憶手段と、記憶された音響信号の波形の繰返し周期で
あり、音高を表すピッチ情報及び音響信号のパワー情報
を抽出するピッチ・パワー抽出手段と、ピッチ情報及び
又はパワー情報に基づいて音響信号を同一音程とみなせ
る区間に区分するセグメンテーション手段と、この区分
された区間について音響信号の絶対音程軸上の音程を決
定する音程同定手段とを少なくとも一部に備えて音響信
号を楽譜データに変換する自動採譜装置において、少な
くともテンポ情報を含む入力補助リズム情報を、音響信
号の捕捉、記憶処理時に聴覚的方法及び又は視覚的方法
によって報知する入力補助リズム報知手段を設けた。

第４の本発明においては、記憶手段が、音響信号の捕捉
、記憶時に、入力補助リズム情報をも同一時間軸上で記
憶するようにすると共に、セグメンテーション手段を、
記憶された入力補助リズム情報に基づいて音響信号を同
一音程とみなせる区間に区分する第１の区分部と、ピッ
チ情報及び又はパワー情報に基づいて音響信号を同一音
程とみなせる区間に区分する第２の区分部と、第１及び
第２の区分部によって区分された区間を整理する第３の
区分部とで構成した。

［作用］ 第１の本発明においては、採譜処理のために音響信号を
捕捉して取り込んで記憶する際に、利用者が音響信号の
発生を簡単にできるように、入力補助のリズム情報を利
用者に聴覚的方法及び又は視覚的方法によって報知する
ようにした。

第２の本発明においては、セグメンテーション処理の精
度を向上させるように入力補助リズム情報を利用するよ
うにしな。すなわち、音響信号の捕捉、記憶時に併せて
入力補助リズム情報をも記憶する。そして、この入力補
助リズム情報によってセグメンテーションを行ない、ま
た、ピッチ情報及びパワー情報によってセグメンテーシ
ョンを行ない、それらの結果を整理するようにした。

第３の本発明においては、入力補助リズム報知手段が、
音響信号の捕捉、記憶時に入力補助リズム情報を聴覚的
方法及び又は視覚的方法によって報知するようにした。

この結果、利用者は入力補助リズム情報に基づいて入力
動作でき、入力がし易くなった。

第４の本発明においては、音響信号を記憶する記憶手段
が、捕捉された音響信号の記憶時に、入力補助リズム報
知手段が報知した入力報知リズム情報も同一時間軸上で
記憶し、そして、セグメンテーション手段の第１の区分
部が、この入力報知リズム情報に基づきセグメンテーシ
ョンを行ない、第３の区分部がこのセグメンテーション
結果と第２の区分部が行なったピッチ情報及び又はパワ
ー情報に基づくセグメンテーション結果とを整理するよ
うにした。この結果、セグメンテーション精度を向上さ
せることができる。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

■憩採１方犬り１滅 まず、本発明が適用される自動採譜方式について説明す
る。

第２図において、中央処理ユニット（ＣＰＵ）１は全体
を制御するものであり、バス２を介して接続されている
主記憶装置３に格納されている第１図に示す音響信号の
取込み処理プログラム及び第３図に示す採譜処理プログ
ラムを実行するものである。バス２には、ＣＰＵＩ及び
主記憶装置３に加えて、入力装置としてのキーボード入
力装置４、出力装置としての表示装置５、ワーキングメ
モリとして用いられる補助記憶装Ｗ６及びアナログ／デ
ジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォン等の音響信号入力装置８が接続されている。この音
響信号入力装置８は、利用者によって発声された歌唱や
ハミングや、楽器から発生された楽音等の音響信号を捕
捉して電気信号に変換するものであり、その電気信号を
アナログ／デジタル変換器７に出力するものである。

また、バス２にはスピーカ駆動部９を介してスピ・−力
１０が接続されており、ＣＰＵＩの制御の下に所定の拍
子及びテンポを表す離散的な入力補助リズム音を発音す
るようになされている。

ＣＰＵＩは、キーボード入力装置４によって拍子及びテ
ンポが指示されて音響信号の取込み処理が指令されたと
き、主記憶装置３に格納されている第１図に示す取込み
処理プログラムに従い、音響信号の取込みを行ない、取
り込んだ音響信号を補助記憶装置６に順次格納していく
ようになされている。なお、併せて、入力補助リズム音
情報をも補助記憶装置６に格納していくようになされて
いる。

また、ＣＰＵＩは、音響信号の取込みが終了すると、主
記憶装置３に格納されている第３図に示す採譜処理プロ
グラムを実行して取り込んだ音響信号を楽譜データに変
換して必要に応じて表示装置５に出力するようになされ
ている。

立−ラミの　入み１埋 次に、ＣＰＵＩが実行する音響信号の取込み処理を第１
図のフローチャートに従い詳述する。

ＣＰＵＩは、キーボード入力装置４を介して入力モード
が指示されると第１図のプログラムを開始し、まず、表
示装置５に拍子情報を入力することを促す表示を行ない
、それに応じて利用者がキーボード入力装置４を介して
入力した拍子情報を取込み、次いで、表示装置５にテン
ポ情報を入力することを促す表示を行ない、それに応じ
て利用者がキーボード入力装置４を介して入力したテン
ポ情報を取込む（ステップＳＰＩ、５Ｐ２）。その後、
入力された拍子情報及びテンポ情報から入力補助リズム
音の周期及び強弱を演算し、入力開始指令がキーボード
入力装置４を介して与えられることを待ち受ける（ステ
ップＳＰ３．５Ｐ４）。

やがて、開始指令が与えられると、入力補助リズム音を
スピーカ１０から発音させ、その後、発音させた入力補
助リズム音が小節の開始を指示するものか否かを判断し
、小節の開始を指示するものである場合には補助記憶装
置６に格納させた後音響信号入力装置８及びアナログ／
デジタル変換器７を介したデジタルデータでなる音響信
号の取込みを行ない、他方、小節の開始を指示するもの
でない場合には、直ちに、音響信号の取込みを行なう（
ステップＳＰ５〜５Ｐ８）。その後、ｃｐＵｌは取り込
んだ音響信号を補助記憶装置６に格納する（ステップ５
Ｐ９）。

このようにして音響信号の１データを格納すると、ＣＰ
ＵＩは、キーボード入力装置４を介して入力終了指令が
与えられたか否かを判断し、与えられた場合には一連の
処理を終了させ、他方、与えられていない場合には、さ
らに、入力補助リズム音の発音タイミングになったか否
かを判断するにＺ、テップ５ｐｔｏ、５ＰＩＩ）。発音
タイミングでないと、ステップＳＰ８に戻って次の音響
信号の取込みに進む。他方、入力補助リズム音の発音タ
イミングであると、上述のステップＳＰ５に戻って次の
入力補助リズム音の発音に移る。

このようにして入力補助リズム音を発音しながら、利用
者が発音した音響信号を順次数り込んで小節開始の印と
共に補助記憶装置６に格納していく。

なお、入力補助リズム音が発音されるので、利用者にと
っては音響信号の入力がし易いものとなっている。

採譜処」 次に、ＣＰＵＩが実行する音響信号を収り込んだ後の採
譜処理を第３図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の前処理を実行する（ステップ５Ｐ２
１．５Ｐ２２）。

その後、ＣＰＵＩは、補助記憶装置６に格納されている
小節開始の印に基づいて入力された音響信号を所定の区
間毎に区分し、さらに、この区間を得られたパワー情報
の変化に基づいて見直して同−音を指示していると見な
すことができるセグメントに切り分ける（ステップ５Ｐ
２３．５Ｐ２４）。

次いで、ＣＰＵＩは、ピッチ情報の分布状況に基づいて
絶対音程軸に対する音響信−号が有する音程軸のずれ量
を算出し、得られたピッチ情報をそのずれ量に応じてシ
フトさせるチューニング処理を実行する（ステップ５Ｐ
２５＞。すなわち、音響信号を発生した歌唱者または楽
器の音程軸と絶対音程軸との差が小さくなるようにピッ
チ情報を修正する。

ＣＰＵＩは、上述の処理で得られたセグメントのピッチ
情報に基づき、最も音程が近いと判断できる絶対音程軸
上の音程にそのセグメントの音程を同定し、さらに、同
定された連続するセグメントの音程が同一か否かに基づ
いて、すなわち、ピッチ情報に基づいて再度セグメンテ
ーションを実行する（ステップ５Ｐ２６．５Ｐ２７）。

その後、ＣＰＵＩは、チューニング後のピッチ情報を集
計して得た音階の出現頻度と、調に応じて定まる所定の
重み付は係数との積和を求めてこの積和の最大情報に基
づいて、例えば、ハ長調やイ短調というように入力音響
信号の楽曲の調を決定し、決定された調における音階上
の所定の音程についてその音程をピッチ情報についてよ
り詳細に見直して音程を確認、修正する（ステップＳ、
Ｐ２８．５Ｐ２９＞。次いで、ＣＰＬＪＩは、最終的に
決定された各セグメントの音程から連続するセグメント
について同一なものがあるか否か、また連続するセグメ
ント間でパワーの変化があるか否かに基づいてセグメン
テーションの見直しを実行し、最終的なセグメンテーシ
ョンを行なう（ステップ５Ｐ３０）。

このようにして音程及びセグメント（音長）が決定され
ると、ＣＰＵＩは、音響信号取込み開始時に入力された
拍子情報及びテンポ情報を含めて情報を整理して最終的
に楽譜データを作成する（ステップＳＰ３１　）。

次に、音響信号の小節情報及びパワー情報に基づくセグ
メンテーション処理（第３図ステップ５Ｐ２３．５Ｐ２
４＞について、第４図及び第５図のフローチャートを用
いて詳述する。なお、第４図はかかる処理を機能レベル
で示すフローチャート、第５図は第４図をより詳細に示
すフローチャートである。

ここで、音響信号のパワー情報としては、分析周期内の
各サンプリング点について音響信号を２乗し、その分析
周期におけるこれら２乗値の総和を用いている。

まず、かかるセグメンテーション処理の概略を第４図に
ついて説明する。なお、拍子として４拍子が選択されて
いるとして説明する。

ＣＰＵＩは、補助記憶装置６に格納されている小節開始
の印を取り出し、各小節を４等分し、各等分区間の先頭
に拍開始の印を付ける（ステップ５Ｐ４０）。なお、４
拍子ではなく３拍子が選択されている場合には３等分す
る。次いで、ＣＰＵ１は、得られた各信置間をさらに４
等分し、等分した各区間の先頭に１６分音符の開始の印
を付ける（ステップ５Ｐ４１）。このようにして小節情
報に基づいて音響信号が１小節当り１６分割される。な
お、４拍子ではなく、３拍子が選択されている場合には
、１小節当り１２分割される。以下、ＣＰＵＩはパワー
情報に基づいてこれらの区分を見直す。

なお、パワー情報をセグメンテーションに反映させるよ
うにしたのは、利用者が音高を変える場合、すなわち、
次の音に移行するときにパワーも大きくなるように変化
させているなめである。

上述の処理に引き続いて、ＣＰＵＩは、パワー情報の立
ち上がり点を抽出し、立ち上がり点の印を付け、その後
、各立ち上がり点に最も近い１６分音符開始の印を取り
、その立ち上がり点に１６分音符開始の印を付ける（ス
テップ５Ｐ４２．５Ｐ４３）。このようにしたのは、入
力補助リズム音を発音させて音響信号を入力させても、
利用者がそのタイミングに完全に一致して音を変えるこ
とは実際上困難なためであり、音響信号の変化に音のき
れ目を合わせて次の休符区間が否かの判断を正確に実行
させるなめである。

次いで、ＣＰＵＩは、各１６分音符区間のピッチ情報の
個数を計数し、その個数が閾値未満の区間の先頭に休符
開始の印を付ける（ステップ５Ｐ４４）。最後に、小節
開始、立ち上がり点、休符開始の印がある点にセグメン
ト開始の印を付ける（ステップ５Ｐ４５）。なお、小節
開始点にもセグメント開始の印を付けるようにしたのは
、１個の音が２個の小節に股がることがあり、この場合
、楽譜上はそれぞれの小節について音符を付けることが
なされるためである。

このようにして小節情報及びパワー情報に基づいて区分
された複数のセグメントが得られる。なお、このセグメ
ンテーションによって得られたセグメントが不適切なも
のがあったとしてもこれ以降で実行される上述したセグ
メンテーション（第３図ステップ５Ｐ２７及び５Ｐ３０
）によって適切なものとなる。

次に、かかる処理を第５図のフローチャートを用いてよ
り詳細に説明をする。

ＣＰＵＩは、各分析周期（以下では、分析周期が短いの
で分析点と呼ぶ）を指示するパラメータｉを０クリアし
た後、処理すべき分析点データ（ピッチ情報及びパワー
情報でなる）が終了していないことを確認してその分析
点に小節開始の印が付されているか否かを判断する（ス
テップ５Ｐ５０〜５Ｐ５２）。付されていない場合には
、分析点パラメータｉをインクリメントして上述のステ
ップ５Ｐ５１に戻り、他方、付されている場合にはステ
ップ５Ｐ５４以下の処理に進む（ステップ５Ｐ５３）。

このようにして最初の小節開始の印を見付は出す。

小節開始の印を見付は出すと、ＣＰＵＩは、パラメータ
ｊにｉ＋１をセットし、処理すべき分析点データが終了
していないことを確認してその分析点に小節開始の印が
付されているか否かを判断する（ステップ５Ｐ５４〜５
Ｐ５６）。付されていない場合には、パラメータｊをイ
ンクリメントして上述のステップ５Ｐ５５に戻り、他方
、付されている場合にはステップ５Ｐ５８以下の処理に
進む（ステップ５Ｐ５７）。

ここで、ステップ５Ｐ５６において肯定結果が得られた
タイミングでは、パラメータｉは連続する２個の小節開
始の印の前側の分析点を指示しており、他方、パラメー
タｊは連続する２個の小節開始の印の後側の分析点を指
示している。そこで、ＣＰＵＩは分析点ｉ及び分析点ｊ
−１の区間を４等分して（なお、３拍子の場合には３等
分して）拍開始の“印を付し、その後、小節開始の印の
前側の分析点を指示するパラメータｉにｊをセットした
後、上述のステップ５Ｐ５４に戻って小節開始の印が付
された後側の分析点のサーチに進むくステップ５Ｐ５８
．５Ｐ５９）。

このようなステップ５Ｐ５４〜５Ｐ５９でなるループ処
理を繰返すことで、順次、各小節区間に拍開始の印が付
されていき、やがて、最後の分析点についてのデータが
取り出され、ステップ５Ｐ５５において肯定結果が得ら
れる。このときには、そのときのパラメータｉの分析点
に拍開始の印を付けて拍開始の印を付す一連の処理を終
了し、１６分音符開始の印を付すステップ５Ｐ６Ｌ以降
の処理に進む（ステップ５Ｐ６０）。

なお、最初の小節開始の印を見付は出す前に最後のデー
タになり、ステップ５Ｐ５１で肯定結果が得られた場合
には、なんら拍開始の印を付けることなく、１６分音符
開始の印を付ける処理に進む。

以上のステップ５Ｐ５０−３Ｐ６０でなる一連の処理は
、第４図におけるステップ５Ｐ４０の処理に対応する。

相前後する２個の拍開始の印を見付は出し、それを４等
分して１６分音符開始の印を付す第４図のステップ５Ｐ
４１に対応する処理の詳細は、相前後する小節開始の印
を見付は出してその区間を４等分して拍開始の印を付す
上述のステップ５Ｐ５０〜５Ｐ６０でなる処理とほぼ同
様であるので、その説明は省略する（ステップ５Ｐ６１
〜５Ｐ７１）。

１６分音符開始の印を付す処理を終了すると、ＣＰＵＩ
は、分析点パラメータｉをＯクリアした後、処理すべき
分析点データが終了していないことを確認してその分析
点についてのパワー情報の立ち上がり抽出関数ｄ（ｉ）
を演算する（ステップ５Ｐ７２〜５Ｐ７４）。

この実施例の場合、分析点ｉについてのパワー情報ｐｏ
ｖｅｒ（ｉ）の立ち上がり抽出関数ｄ（ｉ）として次式 ％式％）） に示すものを適用する。ただし、ｔはパワー情報の立ち
上がり変化をとらえるのに適当な時間を示す自然数であ
る。

その後、ＣＰＵＩは求めた立上り抽出間数ｄ（：）の値
が閾値θｄより小さいか否かを判断し、小さい場合には
分析点パラメータｉをインクリメントしてステップ５Ｐ
７３に戻る（ステップ５Ｐ７５．５ｐ７６）。他方、立
ち上がり抽出関数ｄ（ｔ）が閾値０６以上になった場合
にはその分析点ｉに立ち上がり点の印を付ける（ステッ
プ５Ｐ７７）。

その後、ＣＰＵＩは全ての分析点データについて処理が
終了していないことを確認した後、立ち上がり抽出関数
ｄ（ｉ）を演算し、立ち上がり抽出関数ｄ（：）が閾値
θｄより小さいか否かを判断する（ステップ５Ｐ７８〜
５Ｐ８０）。小さい場合には、パラメータｉをインクリ
メントした後、上述のステップ５Ｐ７８に戻る（ステッ
プ５Ｐ８１）。

ステップ５Ｐ７８〜５Ｐ８１でなる処理は、−旦閾値θ
ｄ以上になった立ち上がり抽出関数ｄ（ｉ）が閾値θｄ
より小さくなる分析点を見付は出す処理であり、このよ
うにして得られた分析点以降に再度立ち上がる分析点が
あるので、閾値θｄより小さくなる分析点を見付は出す
と、すなわち、ステップ５Ｐ８０で肯定結果が得られる
と、上述のステップ５Ｐ７３に戻って次の立ち上がり点
の抽出処理に戻る。

上述の処理を繰り返すことにより、やがてステップ５Ｐ
７３スは５Ｐ７８で全ての分析点について処理が終了し
たことを検出し、ＣＰＵＩはステップ５Ｐ８２以降の隣
り合う立ち上がり点間の長さに基づく立ち上がり点の見
直し処理に進む。

かかる処理においては、ＣＰＵＩは分析点パラメータｉ
をＯクリアした後、分析点データが終了していないこと
を確認して当該分析点に立ち上がり点の印が付されてい
るか否かを判断する（ステツブ５Ｐ８２〜５Ｐ８４）。

立ち上がり点でない場合には分析点パラメータｉをイン
クリメントしてステップ５Ｐ８３に戻る（ステップ５Ｐ
８５）。

かかる処理を繰返して立ち上がり点を検出すると、この
立ち上がり点から次の立ち上がり点までの長さを計数す
るべく長さパラメータＬを初期値「１」にセットする（
ステップ５Ｐ８６）。

その後、ＣＰＵＩは分析点パラメータｉをインクリメン
トし、さらに、分析点データが終了していないことを確
認した後、立ち上がり点の印が付されているか否かを判
断する（ステップ５Ｐ８７〜５Ｐ８９）。その結果、立
ち上がり点でない場合には、長さパラメータＬをインク
リメントし、さらに分析点パラメータｉをもインクリメ
ントして上述のステップ５Ｐ８８に戻る（ステップ５２
９０．５ｐ９１）。

かかるステップ５Ｐ８８〜５Ｐ９Ｌでなる処理を繰返す
ことにより、やがて、次に立ち上がり点の印が付されて
いる分析点となり、ステップ５Ｐ８９で肯定結果が得ら
れる。このときの長さパラメータＬは、印が付されてい
る処理対象の分析点とその直前の印が付されている分析
点との距離に相当し、すなわち、相前後する立ち上がり
点間の長さに相当する。ＣＰＵＩはステップ５Ｐ８９で
肯定結果が得られると、この長さパラメータＬが閾値θ
［より短いか否かを判断し、閾値θ［以上の場合には、
立ち上がり点の印を取ることなく、上述のステップ５Ｐ
８３に戻り、閾値θ［より小さい場合には、前側の立ち
上がり点の印を取り去って上述のステップ５Ｐ８３に戻
る（ステップ５Ｐ９２．５Ｐ９３）。

なお、ステップ５Ｐ９２又は５Ｐ９３からステップ５Ｐ
８３に戻った場合には、分析点データが終了していない
と、ステップ５Ｐ８４で直ちに肯定結果が得られてステ
ップ５Ｐ８６以降の処理に進み、全見付かったばかりの
立ち上がり点の次の立ち上がり点をサーチする動作に移
行する。

このような処理を繰返すことにより、全ての立ち上がり
点について立ち上がり点間の距離の見直しが終了し、や
がてステップ５Ｐ８３又は５Ｐ８８で肯定結果が得られ
、ＣＰＵ１は一連のパワー情報の立ち上がり点の抽出処
理を終了する。

ここで、ステップ５Ｐ７２〜５Ｐ９３でなる処理は、第
４図におけるステップ５Ｐ４２の処理に相当する。

なお、立ち上がり点を立ち上がり抽出関数ｄ（ｉ）で抽
出した後、相前後する立ち上がり点間の距離によって見
直すようにしたのは、同−音を意図する場合であっても
音響信号のパワーが小刻みに変化することがあり、また
、外部音等のノイズが含まれることがあり、このような
ことによって１音の長さより短い間に複数の立ち上がり
点が生じることを防止するためである。

このようにしてパワー情報の立ち上がり点の抽出処理を
終了すると、ＣＰＵＩは、分析点パラメータｉを０クリ
アした後、処理すべき分析点データが終了していないこ
とを確認してその分析点についてパワー情報の立ち上が
り点の印が付されているか否かを判断する（ステップ５
Ｐ９４〜５Ｐ９６）。付されていない場合には、パラメ
ータｉをインクリメントして上述のステップ５Ｐ９５に
戻る（ステップ５Ｐ９７）。このようにして１個の立ち
上がり点を見付は出すと、ＣＰＵＩは、その分析点ｉに
さらに１６分音符開始の印が付されているか否かを判断
するくステップ５Ｐ９８）。

１６分音符開始の印が付されている場合には、その立ち
上がり点と１６分音符開始点との合わせ処理を行なう必
要がないので、パラメータｉをインクリメントして上述
のステップ５Ｐ９５に戻って次の立ち上がり点のサーチ
処理に進む（ステップ５Ｐ９９＞。

他方、見付は出された立ち上がり点に１６分音符開始の
印が付されていない場合には、この立ち上がり点に最も
近い１６分音符開始点のサーチ処理に進む。

まず、ＣＰＵＩは、立ち上がり点に１６分音符開始の印
を付けた後、立ち上がり点の前側の１６分音符開始の印
が付された分析点を見付は出すためのパラメータｊを初
期値「１」にセットする（ステップ５Ｐ１００，５ＰＩ
ＯＩ）。その後、ｉ−ｊが０以上であること、すなわち
分析点ｉ−ｊがデータが存在する分析点であることを確
認して分析点ｉ−ｊに１６分音符開始の印が付されてい
るか否かを判断し、付されていない場合にはパラメータ
ｊをインクリメントしてステップ５ＰＩ０２に戻る（ス
テップ５Ｐ１０２〜５ＰＬＯ４）。

かかるステップ５Ｐ１０２〜５Ｐ１０４でなる処理を繰
返すことにより、１６分音符開始の印が付されている立
ち上がり点より前側の最も近い分析点ｉ−ｊが見付は出
され、ステップ５Ｐ１０３で肯定結果が得られる。

このときには、ｃｐｕｔは、立ち上がり点の後側の１６
分音符開始の印が付された分析点を見付は出すためのパ
ラメータｋを初期値「１」にセットする（ステップ５Ｐ
１０５）。その後、ｉ＋ｋが最終分析点より大きい値で
ないこと、すなわち、分析点ｉ＋ｋがデータが存在する
分析点であることを確認して分析点ｉ＋ｋに１６分音符
開始の印が付されているか否かを判断し、付されていな
い場合には、パラメータｋをインクリメントしてステッ
プ５Ｐ１０６に戻る（ステップ５Ｐ１０６〜５Ｐ１０８
）。かかるステップ５Ｐ１０６〜５ｐ１０８でなる処理
を繰返すことにより、１６分音符開始の印が付されてい
る立ち上がり点より後側の最も近い分析点ｉ＋ｋが見付
は出され、ステップ５Ｐ１０７で肯定結果が得られる。

このようにして立ち上がり点に近い１６分音符開始の印
が付されている前後の分析点を見付は出すと、ＣＰＵ１
は、パラメータｊ及びｋを大小比較していずれの分析点
が立ち上がり点に近いかを判断し、前側の分析点ｉ−ｊ
が近い場合（等しく近い場合を含む）には、その分析点
ｉ−ｊに付されていた１６分音符開始の印を収り去り、
その後、パラメータｉをインクリメントして次の立ち上
がり点のサーチ処理に進み、他方、後側の分析点ｉ十ｋ
が近い場合には、その分析点ｉ＋ｋに付されていた１６
分音符開始の印を収り去り、その後、パラメータｉをイ
ンクリメントして次の立ち上がり点のサーチ処理に進む
（ステップ５Ｐ１０９〜ＳｐＨ３＞。

このような処理を繰返すことにより、各立ち上がり点に
は１６分音符開始の印が付され、この立ち上がり点に最
も近い１６分音符開始の印が取り去られる。そして、全
ての分析点データについてかかる処理が終了すると、Ｃ
ＰＵＩは、ステ・ツブ５Ｐ９５において一連の立ち上が
り点と１６分音符開始点との合わせ込み処理を終了する
。なお、ステップ５Ｐ９４〜５Ｐ１１３でなる処理が、
第４図のステップ５Ｐ４３の処理に対応する。

このようにしてパワー情報の立ち上がり点の変更処理を
終了すると、ＣＰＵＩは、分析点パラメータｉを０クリ
アした後、処理すべき分析点データが終了していないこ
とを確認してその分析点に１６分音符開始の印が付され
ているか否かを判断する（又テップ５Ｐ１１４〜５Ｐ１
１６）。付されていない場合には、パラメータｉをイン
クリメントして上述のステップ５Ｐ１１５に戻る（ステ
ップＳｐＨ７）。このようにして最初の１６分音符開始
の印を見付は出すと、ＣＰＵＩは、次の１６分音符開始
の印にかかるパラメータｊをｉ−１にセットした後、処
理すべき分析点データが終了していないことを確認して
その分析点ｊに１６分音符開始の印が付されているか否
かを判断する（ステップ５Ｐ１１８〜５Ｐ１２０＞。付
されていない場合には、パラメータｊをインクリメント
して上述のステップ５Ｐ１１９に戻る（ステップ５Ｐ１
２１＞。

次の１６分音符開始の印が見付かると、ＣＰＵ１は、ピ
ッチ有り個数パラメータｎをＯクリアした後、さらに、
ピッチ有り処理の終了パラメータｋをｉにセットする（
ステップ５Ｐ１２２．５Ｐ１２３）。次いで、ＣＰＵＩ
は、パラメータｋがパラメータｊより小さいことを確認
した後、分析点ｋについてピッチ情報が存在するか否か
、すなわち、その分析点ｋが有音であるか否かを判別す
る（ステップ５Ｐ１２４．５Ｐ１２５）。

この結果、肯定結果を得ると、個数パラメータｎをイン
クリメントした後、パラメータｋをもインクリメントし
て上述のステップ５Ｐ１２４に戻り、他方、否定結果を
得ると、直ちにパラメータｋをインクリメントして上述
のステップ５Ｐ１２４に戻る（ステップ５Ｐ１２５．１
２６）。かかる処理を繰返すことにより、やがて、ステ
ップ５Ｐ１２４において肯定結果が得られる。ここで、
パラメータには、ｉからｊ−１の範囲で変化するので、
ステップ５Ｐ１２４で肯定結果が得られたときには、個
数パラメータｎは分析点ｉからｊ　−１までの間のピッ
チ情報が存在する分析点の個数、すなわち、相前後する
１６分音符開始の印間のピッチ情報が存在する分析点の
個数を表している。

ＣＰＵ１は、個数パラメータｎの値が所定に閾値８０以
上か否かを判断し、閾値θｎより小さい場合には、個数
計数の最初の分析点である１６分音符開始の印が付され
ている分析点ｉに休符開始の印を付した後、パラメータ
ｉをｊにセットして上述のステップ５ＰＩＬ８に戻り、
他方、閾値８０以上であると、直ちにパラメータｉをｊ
にセットして上述のステップＳｐＨ８に戻り、次の１６
分音符開始の印が付されている分析点のサーチ処理に進
む（ステップ５Ｐ１２８〜５Ｐ１３０）。

このような処理を繰返すことにより、ピッチ情報が存在
する分析点の個数が少ない相前後する１６分音符開始の
印間の最初の分析点に順次休符開始の印が付されていき
、やがて、ステップ５ＰＬ１５又はＳｐＨ９で肯定結果
が得られて休符開始の印付与の一連の処理が終了する。

なお、ステップ５Ｐ１１４〜５Ｐ１３０でなる処理が、
第４図のステップ５Ｐ４４の処理に対応する。

休符開始の印を付与する一連の処理が終了すると、ＣＰ
ＵＩは、分析点パラメータｉを０クリアした後、処理す
べき分析点データが終了していないことを確認してその
分析点に小節開始の印が付されているか否かを判断する
（ステップ５Ｐ１３１〜５Ｐ１３３）。小節開始の印が
付されていない場合には、さらに、パワー情報の立ち上
がり点の印が付されているか否かを判断する（ステップ
５Ｐ１３４）。立ち上がり点の印が付されていない場合
には、さらに、休符開始の印が付されているか否かを判
断する（ステップ５Ｐ１３５）。休符開始の印が付され
ていない場合には、パラメータｉをインクリメントして
上述のステップ５Ｐ１３２に戻り、次の分析点について
印付与を確認する（ステップ５Ｐ１３６）。

他方、分析点ｉに、小節開始、立ち上がり点又は休符開
始の印が付されていると、その分析点ｉにセグメント開
始の印を付した後、パラメータｉをインクリメントして
上述のステップ５ＰＬ３２に戻り、次の分析点について
所定の印が付与されているか否かを確認する（ステップ
５Ｐ１３７〜５Ｐ１３８）。

このようにして小節開始、立ち上がり点又は休符開始の
印が付されている分析点に順次セグメント開始の印が付
されていき、やがて、最後のデータとなってステップ５
Ｐ１３２で肯定結果が得られて一連のセグメント開始の
印の付与処理を終了する。なお、ステップ５Ｐ１３１〜
５Ｐ１３８でなる処理が、第４図のステップ５Ｐ４５の
処理に相当する。

このようにして小節情報及びパワー情報に基づく、セグ
メンテーション処理が終了し、上述のようにチューニン
グ処理に進むことになる。

第６図はピッチ情報ＰＩＴ、パワー情報ＰＯＷ及び立ち
上がり抽出関数ｄ（ｉ）の変化を１小節区間について示
すものである。ここで、「◎」は小節開始の印であり、
「☆」は立ち上がり点の印であり、’ＯＪは拍開始の印
であり、「×」は立ち上がり点との合わせ込みが実行さ
れる前の１６分音符開始の印であり、「Δ」は休符開始
の印である。従って、この小節区間の例の場合、上述し
た一連のセグメンテーション処理を実行することにより
「・」を付したようにセグメント開始の印が付される。

犬施但凶分呈 従って、上述の実施例によれば、入力補助リズム音を発
音させて利用者に音響信号を入力させるようにしたので
、利用者にとって音響信号の入力動作が簡単になり、意
図した音響信号をリズム的に正確に入力することができ
、その結果、セグメンテーションがし易くなって作成さ
れた楽譜データの精度を向上させることができる。

また、上述の実施例によれば、入力時に発音させた入力
補助リズム音の情報を音響信号と同一の時間軸上で記録
してセグメンテーションに利用するようにしたので、こ
の点からも正確なセグメンテーションを実行できて楽譜
データの精度を向上させることができる。

側ム大施胴 （１）なお、上述の実施例においては、パワー情報とし
て音響信号の２乗和を用いたものを示したが、他のパラ
メータを用いても良い。例えば、２乗和の平方根を用い
ても良い。また、立ち上がり抽出関数を（１）式のよう
に求めたが、他のパラメータを用いても良く、例えば、
（１）式の分子のみを用いた関数によってパワー情報の
立上りを抽出するようにしても良い。

（２）上述の実施例においては、相前後する立ち上がり
点間の距離が短い場合に、前側の立ち上がり点の印を取
るものを示したが、後側の立ち上がり点の印を取るよう
にしても良い。

（３）上述の実施例においては、利用者による音響信号
の入力がし易くなるように入力補助リズム音を発音する
ものを示したが、入力補助のためのリズム情報を視覚的
な方法によって利用者に報知するものであっても良い。

例えば、表示装置５に指揮棒の先端軌跡を表示させて報
知させるようにしても良い。また、入力補助リズム音等
による聴覚的な報知方法と上述のような視覚的方法とを
併用するようにしても良い。なお、入力補助リズム音と
しては、メトロノーム音やリズム伴奏音を適用すること
ができる。

（４）上述の実施例においては、入力補助リズム情報の
うち小節開始情報をセグメンテーション処理に利用する
ものを示したが、入力補助リズム情報の拍開始情報をセ
グメンテーションに利用するようにしても良い。

（５）上述の実施例においては、楽譜データの出力手段
として表示装Ｗ５を利用するものを示したが、印字装置
を用いるようにしても良い。

（６）上述の実施例においては、全ての処理をＣＰＵ１
が主記憶装置３に格納されているプログラムに従って実
行するものを示したが、その一部または全部の処理をハ
ードウェア構成で実行するようにしても良い。例えば、
第２図との対応部分に同一符号を付した第７図に示すよ
うに、音響信号入力装置８からの音響信号を増幅回路１
１を介して増幅した後、さらに前置フィルタ１２を介し
てアナログ／デジタル変換器１３に与えてデジタル信号
に変換し、このデジタル信号に変換された音響信号を信
号処理プロセッサ１４が自己相関分析してピッチ情報を
抽出し、また２乗和処理してパワー情報を抽出してｃｐ
ｕｔによるソフトウェア処理系に与えるようにしても良
い。このようなハードウェア構成（１１〜１４）に用い
られる信号処理プロセッサ１４としては、音声帯域の信
号をリアルタイム処理し得ると共に、ホストのＣＰＵ１
とのインタフェース信号が用意されているプロセッサ（
例えば、日本電気株式会社製μＰ　Ｄ　７７２０）を適
用し得る。

（７）上述の実施例においては、最初のセグメンテーシ
ョンを入力補助リズム情報及びパワー情報に基づいて行
なうものを示したが、入力補助リズム情報及びピッチ情
報に基づいて行なうようにしても良く、また、入力補助
リズム情報、パワー情報及びピッチ情報に基づいて行な
うようにしても良い。

［発明の効果］ 以上のように、本発明によれば、入力補助リズム情報を
報知させて利用者に音響信号を入力させるようにしたの
で、利用者にとって音響信号の入力動作が簡単になり、
意図した音響信号をリズム的に正確に入力することがで
き、その結果、セグメンテーションがし易くなって作成
された楽譜データの精度を向上させることができる。

また、入力時に利用者に与えた入力補助リズム情報を音
響信号と同一の時間軸上で記録して採譜処理におけるセ
グメンテーションに利用するようにしたので、この点か
らも正確なセグメンテーションを実行できて楽譜データ
の精度を向上させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる音響信号の入力処理
を示すフローチャート、第２図は本発明を適用する自動
採譜方式の構成を示すブロック図、第３図は上記実施例
の採譜処理の概略を示すフローチャート、第４図はその
小節情報及びパワー情報に基づくセグメンテーション処
理の概略を示すフローチャート、第５図は小節情報及び
パワー情報に基づくセグメンテーション処理をより詳細
に示すフローチャート、第６図はかかる処理によるセグ
メンテーションの一例を示す特性曲線図、第７図は自動
採譜方式の他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、４・・・キーボ
ード入力装置、５・・・表示装置、６・・・補助記憶装
置、７・・・アナログ／デジタル変換器、８・・・音響
信号入力装置、１０・・・スピーカ。 自動採譜方式の構成（１） 嶋２図 セク゛メンテーシ１ンの概略７トチを一ト第４図 セク゛メンテーシ１ンの詳細フローチャート第５　図（
その４） セク゛メンテーン１ンの→ 第６図 自動採符方式の構成（２） 第７図

Claims (8)

【特許請求の範囲】
1. （１）音響信号を捕捉して記憶し、その後、記憶されて
   いる音響信号から、その波形の繰返し周期であり、音高
   を表すピッチ情報及び上記音響信号のパワー情報を抽出
   する処理と、上記ピッチ情報及び又は上記パワー情報に
   基づいて上記音響信号を同一音程とみなせる区間に区分
   するセグメンテーション処理と、上記ピッチ情報に基づ
   いてこの区分された区間の音程として絶対音程軸上の音
   程に同定する音程同定処理とを少なくとも含み、上記音
   響信号を楽譜データに変換する自動採譜方法において、 少なくともテンポ情報を含む入力補助リズム情報を報知
   しながら、上記音響信号の捕捉、記憶処理を行なうこと
   を特徴とする自動採譜方法。
2. （２）入力補助リズム情報を聴覚的方法によって報知す
   ることを特徴とする請求項１項に記載の自動採譜方法。
3. （３）入力補助リズム情報を視覚的方法によって報知す
   ることを特徴とする請求項１項又は２項に記載の自動採
   譜方法。
4. （４）上記音響信号の捕捉、記憶時に、上記入力補助リ
   ズム情報を同一時間軸上で記憶すると共に、上記セグメ
   ンテーション処理が、 記憶された入力補助リズム情報に基づいて上記音響信号
   を同一音程とみなせる区間に区分する第１の処理と、 上記ピッチ情報及び又は上記パワー情報に基づいて上記
   音響信号を同一音程とみなせる区間に区分する第２の処
   理と、 第１及び第２の処理によって区分された区間を整理する
   第３の処理と でなることを特徴とする請求項１項乃至３項のいずれか
   に記載の自動採譜方法。
5. （５）音響信号を捕捉して取り込む音響信号入力手段と
   、取り込まれた音響信号を記憶する記憶手段と、記憶さ
   れた音響信号の波形の繰返し周期であり、音高を表すピ
   ッチ情報及び上記音響信号のパワー情報を抽出するピッ
   チ・パワー抽出手段と、上記ピッチ情報及び又は上記パ
   ワー情報に基づいて上記音響信号を同一音程とみなせる
   区間に区分するセグメンテーション手段と、この区分さ
   れた区間について上記音響信号の絶対音程軸上の音程を
   決定する音程同定手段とを少なくとも一部に備えて上記
   音響信号を楽譜データに変換する自動採譜装置において
   、 少なくともテンポ情報を含む入力補助リズム情報を、上
   記音響信号の捕捉、記憶処理時に報知する入力補助リズ
   ム報知手段を設けたことを特徴とする自動採譜装置。
6. （６）入力補助リズム報知手段が入力補助リズム情報を
   聴覚的方法によって報知することを特徴とする請求項５
   項に記載の自動採譜装置。
7. （７）入力補助リズム報知手段が入力補助リズム情報を
   視覚的方法によって報知することを特徴とする請求項５
   項又は６項に記載の自動採譜装置。
8. （８）上記記憶手段が、上記音響信号の捕捉、記憶時に
   、上記入力補助リズム情報を同一時間軸上で記憶すると
   共に、 上記セグメンテーション手段が、 記憶された入力補助リズム情報に基づいて上記音響信号
   を同一音程とみなせる区間に区分する第１の区分部と、 上記ピッチ情報及び又は上記パワー情報に基づいて上記
   音響信号を同一音程とみなせる区間に区分する第２の区
   分部と、 第１及び第２の区分部によって区分された区間を整理す
   る第３の区分部と で構成されたことを特徴とする請求項５項乃至７項のい
   ずれかに記載の自動採譜装置。