JP6252421B2 - 採譜装置、及び採譜システム - Google Patents

Description

本発明は、演奏音を採譜する技術に関する。

従来、入力された演奏音の音圧の推移から、１つ１つの音符の期間を特定し、入力された演奏音の周波数の推移から、当該音符の期間における音高を特定し採譜する採譜装置が知られている（特許文献１参照）。

特開２０１１−６５０４３号公報

採譜装置において、採譜すべき対象となる演奏音は、特定の楽曲を演奏した音であることが多い。特定の楽曲においては、時間軸に沿って配置された音符の音高の変化が大きかったり、音符の並びが複雑であったりする場合がある。さらに、特定の楽曲を演奏する場合には、様々な技巧を用いて演奏されることがある。

このような場合、特定の楽曲を演奏した音声は、その演奏を実施した状況や演奏をした人物によってばらつきが生じる。このようにばらつきが生じた音声を従来の技術によって採譜しても、音符の音高及び音価を一義に特定できないという課題が生じる。

つまり、従来の技術では、音符の音高及び音価を一義に特定できないために採譜の精度を向上させることが難しかった。
そこで、本発明は、採譜の精度を向上させることを目的とする。

上記目的を達成するためになされた本発明は、音声取得手段と、対象特定手段と、導出手段と、類似取得手段と、採譜手段とを備える採譜装置に関する。
本発明における音声取得手段は、入力された音声の波形を表す音声波形データを取得する。対象特定手段は、音声取得手段で取得した音声波形データに基づいて、対象音声データを特定する。本発明における対象音声データとは、採譜対象音符を含む期間として規定された規定区間に対応する音声波形データの区間である。ここで言う採譜対象音符は、音高及び音価を有した複数の音符のうち少なくとも２つの音符である。

そして、導出手段は、対象特定手段で特定した対象音声データに基づいて、対象音声データにおける基本周波数の推移を表す対象音声周波数推移、及び対象音声データにおける音圧の推移を表す対象音声音圧推移を導出する。

類似取得手段は、記憶装置から、対象音声周波数推移との類似度が第１基準値以上である楽音周波数推移と、対象音声音圧推移との類似度が第２基準値以上である楽音音圧推移との両者を含む特定音声データに含まれる音符データを取得する。ここで言う記憶装置には、楽音データごとに、楽音周波数推移と、楽音音圧推移と、音符データとが対応付けられた特定音声データが格納されている。また、ここで言う楽音データとは、音高及び音価を有した複数の音符のうち少なくとも２つの音符である演奏対象音符を含む期間を演奏した音それぞれの波形を表す。楽音周波数推移は、楽音データにおける基本周波数の推移を表す。楽音音圧推移は、楽音データにおける音圧の推移を表す。音符データは、演奏対象音符の音高及び音価を表す。

また、本発明における採譜手段は、類似取得手段で取得した音符データに基づいて、採譜対象音符それぞれの音価及び音高を特定する。
音圧推移及び音高推移は、通常、特定の音符の並びや特定の技巧を用いて演奏された音声に基づくものであれば、類似性を有する。

このため、本発明の採譜装置によれば、類似度の高い複数の音圧推移及び音高推移によって表される演奏対象音符に基づいて採譜対象音符の音高及び音価を特定することで、当該採譜対象音符に対する採譜の精度や、特定の技巧を用いて演奏された音符に対する採譜の精度を向上させることができる。

換言すれば、本発明の採譜装置によれば、採譜の精度を向上させることができる。
なお、ここで言う演奏とは、楽器を演奏することでも良いし、歌を歌うことでも良い。
本発明は、採譜システムとしてなされていても良い。

本発明における採譜システムは、音声波形データを取得する音声取得手段と、対象音声データを特定する対象特定手段と、対象音声周波数推移、及び対象音声音圧推移を導出する導出手段と、特定音声データが格納された記憶装置から、対象音声周波数推移との類似度が第１基準値以上である楽音周波数推移と、対象音声音圧推移との類似度が第２基準値以上である楽音音圧推移とを含む特定音声データに含まれる音符データを取得する類似取得手段と、その取得した音符データに基づいて、採譜対象音符それぞれの音価及び音高を特定する採譜手段とを備えている。

このような採譜システムによれば、請求項１に係る採譜装置と同様の効果を得ることができる。
そして、本発明の採譜システムにおける採譜手段は、音価特定手段と、音高特定手段とを備えていても良い。

音価特定手段は、音符データそれぞれによって表される演奏対象音符の開始タイミング、及び、当該開始タイミングと対となる終了タイミングに基づいて、採譜対象音符の音価を特定する。また、音高特定手段は、音符データそれぞれによって表される演奏対象音符の音高に基づいて、採譜対象音符の音高を特定する。

このような採譜システムによれば、採譜対象音符の音価を、演奏対象音符の開始タイミングに基づいて特定できる。また、本発明の採譜システムによれば、採譜対象音符の音高を、演奏対象音符の音高に基づいて特定できる。

さらに、本発明においては、音符データに、当該音符データによって表される演奏対象音符それぞれの音価よりも短い区間である分析単位区間を時間軸に沿って連続するように複数設定してもよい。この場合、採譜システムにおける音価特定手段は、その設定された分析単位区間ごとに、演奏対象音符の開始タイミングを集計した結果、最も多い分析単位区間を採譜対象音符の開始タイミングとし、分析単位区間ごとに演奏対象音符の終了タイミングを集計した結果、最も多い分析単位区間を終了タイミングとして特定してもよい。

すなわち、本発明の採譜システムにおいては、音符データによって表される演奏対象音符の開始タイミング及び終了タイミングを集計した結果、最多となる開始タイミング及び終了タイミングを、採譜対象音符の開始タイミング及び終了タイミングとして特定できる。

また、本発明の採譜システムにおける音高特定手段は、音符データによって表される演奏対象音符の音高を、音高ごとに集計した結果、最も多い音高を採譜対象音符の音高として特定してもよい。

すなわち、本発明の採譜システムにおいては、音符データによって表される演奏対象音符の音高を、音高ごとに集計した結果、最も多い音高を採譜対象音符の音高として特定できる。

そして、本発明の採譜システムにおける導出手段は、対象音声データを、対象音声データにおける基本周波数の中央値にて正規化したデータを対象音声周波数推移として導出しても良い。この場合、楽音周波数推移は、演奏対象音符を含む期間における基本周波数の中央値にて正規化されていても良い。

このような採譜システムでは、対象音声周波数推移や楽音周波数推移が正規化されているため、各対象音声データや楽音データにて演奏された音符間の相対的な音高差に従って類似性を判定できる。したがって、本発明の採譜システムによれば、より多くの楽音周波数推移を類似度合いが高いものと判定できる。

なお、本発明における楽音音圧推移は、楽音データにおける音圧の中央値にて正規化されていても良い。この場合、本発明の採譜システムにおける導出手段は、対象音声データを、対象音声データにおける音圧の中央値にて正規化したデータを対象音声音圧推移として導出しても良い。

このような採譜システムでは、対象音声音圧推移や楽音音圧推移が正規化されているため、各対象音声データや楽音データにて演奏された音符間の相対的な音圧差に従って類似性を判定できる。したがって、本発明の採譜システムによれば、より多くの楽音音圧推移を類似度合いが高いものと判定できる。

本発明が適用されたシステムの概略構成を示すブロック図である。 情報処理装置が実行するデータ生成処理の処理手順を示すフローチャートである。 情報処理装置が実行する採譜処理の処理手順を示すフローチャートである。 採譜処理における対象音声データの取得を説明する説明図である。 採譜処理における音圧推移、周波数推移を説明する説明図であり、（Ａ）は音圧推移を、（Ｂ）は周波数推移を説明する説明図である。 採譜処理において音符区間の特定方法を説明する説明図である。 採譜処理において音符の音高の特定方法を説明する説明図であり、（Ａ）は正規化された周波数推移に採譜対象音符を重畳した様子を説明する図であり、（Ｂ）は音名を特定する方法を説明する説明図である。

以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示す情報処理装置２は、楽曲を演奏した演奏音を表す音声波形データＳＰに基づいて、その演奏音を採譜する装置である。

このような、音声波形データＳＰに基づく採譜を実行するために構築されるシステム１は、情報処理装置２と、情報記憶サーバ１０と、カラオケ装置３０とを備えている。
カラオケ装置３０は、指定された楽曲を再生し、その楽曲の再生（演奏）中に入力された歌唱音声を録音することで、音声波形データＳＰを生成する。

情報記憶サーバ１０は、カラオケ装置３０にて生成された音声波形データＳＰを格納する。情報処理装置２は、音声波形データＳＰに基づいて、その音声波形データＳＰによって演奏された音を採譜する。

情報記憶サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。
このうち、通信部１２は、通信網を介して、情報記憶サーバ１０が外部との間で通信を行う。すなわち、情報記憶サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、カラオケ用に予め生成されたＭＩＤＩ楽曲ＭＤが格納されている。また、記憶部１４には、カラオケ装置３０にて生成された音声波形データＳＰが格納される。

制御部１６は、周知のマイクロコンピュータを中心に構成された制御装置である。
カラオケ装置３０は、指定された楽曲を演奏する周知の装置である。このカラオケ装置３０には、マイク６２と、スピーカ６０と、表示部６４とが接続されている。

すなわち、カラオケ装置３０では、指定された楽曲に対応するＭＩＤＩ楽曲ＭＤを取得して再生演奏し、その指定された楽曲の再生演奏中にマイク６２を介して入力された歌唱音声を録音することで、音声波形データＳＰを生成する。

本実施形態においては、情報記憶サーバ１０と、カラオケ装置３０とにより、周知のネットワークカラオケが構築されている。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、情報出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。

入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。情報出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。

記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも１つのＭＩＤＩ楽曲ＭＤと、楽曲を演奏した演奏音を表す少なくとも１つの楽曲データＷＤと、音声波形データＳＰとが記憶されている。なお、記憶部５に記憶される楽曲データＷＤは、楽曲ごとにＭＩＤＩ楽曲ＭＤと対応付けられている。

なお、図１に示す符号「ｎ」は、ＭＩＤＩ楽曲ＭＤ及び楽曲データＷＤを識別する識別子であり、１以上の自然数である。
制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ７には、データ生成処理を制御部６が実行するため処理プログラムと、採譜処理を制御部６が実行するための処理プログラムとが記憶されている。
データ生成処理は、ＭＩＤＩ楽曲ＭＤと、そのＭＩＤＩ楽曲ＭＤに対応する楽曲データＷＤとに基づいて、演奏対象音符を演奏した音の特性を表す特定音声データを生成して記憶部５に記憶する処理である。なお、ここで言う演奏対象音符とは、音高及び音価を有した複数の音符のうち少なくとも２つの音符のそれぞれである。

また、採譜処理は、データ生成処理にて生成された特定音声データと、１つの音声波形データＳＰとに基づいて、その音声波形データＳＰによって表される演奏音を採譜する処理である。
＜楽曲データ＞
次に、楽曲データＷＤは、楽曲を識別する楽曲ＩＤと、楽曲を演奏した音を表す原盤波形データとを備えたデータであり、楽曲ごと、かつ演奏者ごとに予め用意されている。

本実施形態の原盤波形データは、複数の楽器の演奏音と、歌唱旋律を歌唱したボーカル音とを含む音声データである。この音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。

なお、以下では、原盤波形データに含まれる楽器の演奏音を表す音声波形データを伴奏データと称し、原盤波形データに含まれるボーカル音を表す音声波形データをボーカルデータと称す。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この演奏データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックと、楽曲における小節の開始位置を表す小節開始情報とを少なくとも有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。
＜データ生成処理＞
次に、情報処理装置２の制御部６が実行するデータ生成処理について説明する。

このデータ生成処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
そして、図２に示すデータ生成処理が起動されると、まず、制御部６は、情報処理装置２の記憶部５に記憶されている全ての楽曲データＷＤの中から、指定された一つの楽曲データＷＤを取得する（Ｓ１１０）。なお、本実施形態のＳ１１０においては、制御部６は、記憶部５から楽曲データＷＤを取得したが、楽曲データＷＤの取得元はこれに限らず、制御部６は、可搬型の記憶媒体や通信網を介して接続されたサーバなどから楽曲データＷＤを取得しても良い。

データ生成処理では、制御部６は、続いて、Ｓ１１０にて取得した楽曲データＷＤ（以下、「取得楽曲データ」と称す）に含まれる原盤波形データを取得する（Ｓ１２０）。さらに、制御部６は、Ｓ１２０にて取得した原盤波形データから、ボーカルデータと伴奏データとを分離して抽出する（Ｓ１３０）。このＳ１３０において制御部６が実行する、伴奏データとボーカルデータとの分離手法として、周知の手法（例えば、特開２００８−１３４６０６に記載された“ＰｒｅＦＥｓｔ”）を使って推定された音高および調波成分を利用する手法が考えられる。なお、ＰｒｅＦＥｓｔとは、原盤波形データにおいて最も優勢な音声波形をボーカルデータとみなしてボーカルの音高（即ち、基本周波数）および調波成分の大きさを推定する手法である。

データ生成処理では、続いて、制御部６は、ボーカルデータにおける音圧レベルの推移を表すボーカル音圧推移を特定する（Ｓ１４０）。さらに、制御部６は、ボーカルデータにおける基本周波数ｆ０の推移を表すボーカル周波数推移を特定する（Ｓ１５０）。

具体的に、本実施形態のＳ１４０，Ｓ１５０では、制御部６は、まず、規定時間窓ＡＷ（ｊ）をボーカルデータに設定する。この規定時間窓ＡＷ（ｊ）は、予め規定された単位時間（例えば、１０［ｍｓ］）を有した分析窓である。本実施形態においては、規定時間窓ＡＷは、時間軸に沿って互いに隣接かつ連続するように設定される。なお、符号ｊは、規定時間窓ＡＷを識別する識別子である。

続いて、制御部６は、周知の手法により、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを算出する。なお、音圧レベルＬｐは、ボーカルデータの規定時間窓ＡＷ（ｊ）における音圧の二乗平均平方根ｐを、基準となる音圧ｐ０で除したものの常用対数に、所定の係数（通常、「２０」）を乗じること（即ち、Ｌｐ＝２０×ｌｏｇ１０（ｐ／ｐ０））で求めることができる。

さらに、制御部６は、各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを、ボーカルデータにおける時間軸に沿って配置することで、ボーカル音圧推移を特定する。
また、ボーカル周波数推移を特定するために、制御部６は、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での基本周波数ｆ０を導出する。この基本周波数ｆ０の導出手法として、種種の周知の手法が考えられる。一例として、制御部６は、ボーカルデータに設定された規定時間窓ＡＷ（ｊ）それぞれについて、周波数解析（例えば、ＤＦＴ）を実施し、自己相関の結果、最も強い周波数成分を基本周波数ｆ０とすることが考えられる。

そして、制御部６は、それらの規定時間窓ＡＷ（ｊ）ごとに導出された基本周波数ｆ０を、ボーカルデータにおける時間軸に沿って配置することで、ボーカル周波数推移を特定する。

データ生成処理では、制御部６は、続いて、Ｓ１１０で取得した楽曲データＷＤと同一の楽曲ＩＤが対応付けられた一つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ１６０）。さらに、制御部６は、取得楽曲データの各音符に対応する各音の再生時間に、Ｓ１６０で取得したＭＩＤＩ楽曲ＭＤ（以下、「取得ＭＩＤＩ」と称す）を構成する各音符の演奏タイミングが一致するように、その取得ＭＩＤＩを調整する（Ｓ１７０）。この取得ＭＩＤＩを調整する手法として、周知の手法（例えば、特許第５３１０６７７号に記載の手法）を用いることが考えられる。特許第５３１０６７７号に記載された手法では、制御部６は、取得ＭＩＤＩをレンダリングし、その取得ＭＩＤＩのレンダリング結果と取得楽曲データの原盤波形データとの双方を規定時間単位でスペクトルデータに変換する。そして、双方のスペクトルデータ上の時間が同期するように、各演奏音の演奏開始タイミング、演奏終了タイミング、及び小節開始情報を修正する。なお、スペクトルデータ上の時間が同期するように調整する際には、ＤＰマッチングを用いても良い。

さらに、データ生成処理では、制御部６は、Ｓ１７０にて時間調整が実施されたＭＩＤＩ楽曲ＭＤから、歌唱旋律を表すメロディトラックを取得する（Ｓ１８０）。このＳ１８０において取得するメロディトラックには、歌唱旋律を構成する各音符（以下、「メロディ音符」と称す）ＮＯ（ｉ）が規定されている。なお、符号ｉは、メロディ音符ＮＯを識別する識別子であり、歌唱旋律の時間軸に沿って増加するように規定されている。

さらに、データ生成処理では、制御部６は、ボーカル音圧推移及びボーカル周波数推移を、予め規定された区間である楽音ブロックごとに分割する（Ｓ１９０）。本実施形態における楽音ブロックは、楽曲における小節のそれぞれである。すなわち、各小節に含まれる音高及び音価を有した複数の音符のうち少なくとも２つの音符が、特許請求の範囲に記載された演奏対象音符の一例である。

具体的に本実施形態のＳ１９０では、制御部６は、Ｓ１７０にて時間調整された小節開始情報によって表されるタイミングにてボーカル音圧推移及びボーカル周波数推移を分割する。これにより、ボーカル音圧推移及びボーカル周波数推移が、当該楽曲における小節を楽音ブロック単位として分割される。なお、以下では、楽音ブロックごとに分割されたボーカル音圧推移それぞれを、楽音音圧推移と称し、楽音ブロックごとに分割されたボーカル周波数推移それぞれを、楽音周波数推移と称す。

そして、データ生成処理では、制御部６は、取得ＭＩＤＩに基づいて、各楽音ブロックに含まれるメロディ音符ＮＯ（ｉ）の特性を表す音符プロパティを特定する（Ｓ２００）。なお、ここで言う音符プロパティは、特許請求の範囲の記載における音符データの一例である。本実施形態における音符データは、演奏対象音符それぞれの音高及び音価を表す。ここで言う音価は、演奏対象音符それぞれにおける演奏開始タイミングから演奏終了タイミングまでの時間長である。

続いて、データ生成処理では、制御部６が、楽音ブロックごとのボーカル音圧推移及びボーカル周波数推移を正規化する（Ｓ２１０）。このＳ２１０では、制御部６は、楽音ブロックごとのボーカル音圧推移を、当該楽音ブロックでのボーカル音圧推移における音圧の中央値にて除すことで、ボーカル音圧推移の正規化を実行する。また、Ｓ２１０では、制御部６は、楽音ブロックごとのボーカル周波数推移を、当該楽音ブロックでのボーカル周波数推移における基本周波数の中央値にて除すことで、ボーカル周波数推移の正規化を実行する。

そして、データ生成処理では、制御部６は、楽音周波数推移と、楽音音圧推移と、音符プロパティとを対応付けた特定音声データを生成する（Ｓ２２０）。ここで言う特定音声データにおける楽音周波数推移及び楽音音圧推移は、Ｓ２１０にて正規化されたものである。

具体的に本実施形態のＳ２２０では、まず、制御部６は、メロディ音符ＮＯ（ｉ）を時間軸に沿って配置した音符推移を生成する。その音符推移に対して、制御部６は、規定時間窓ＡＷ（ｊ）を設定し、各演奏対象音符に対応する規定時間窓ＡＷ（ｊ）に、音符プロパティを付与する。音符プロパティには、具体的には、ノートナンバー（音高）や、その規定時間窓ＡＷ（ｊ）が演奏開始タイミングｎｎｔ（ｉ）であれば、演奏開始タイミングを表す開始タイミング、その規定時間窓ＡＷ（ｊ）が演奏終了タイミングｎｆｔ（ｉ）であれば、演奏終了タイミングを表す終了タイミングを含む。さらに、音符プロパティには、各種の時間制御情報（例えば、テンポ，分解能など）などを含んでも良い。

さらに、小節開始位置情報によって表されるタイミングそれぞれにて音符推移を分割して、楽音ブロックごとの音符推移を特定する。そして、その特定した楽音ブロックごとの音符推移に規定された各規定時間窓ＡＷ（ｊ）と、その音符推移に含まれる各メロディ音符ＮＯの音符プロパティと、正規化された楽音周波数推移と、正規化された楽音音圧推移とを、対応する楽音ブロックごとに対応付けることで、特定音声データを生成する。

なお、音符推移に設定される規定時間窓ＡＷ（ｊ）は、ボーカルデータに設定される規定時間窓ＡＷ（ｊ）と共通である。すなわち、音符推移、楽音音圧推移、及び楽音周波数推移に設定されている規定時間窓ＡＷ（ｊ）は、符号ｊが共通であれば、同一タイミングであることを意味する。本実施形態における規定時間窓ＡＷは、特許請求の範囲に記載された分析単位区間の一例である。

データ生成処理では、制御部６は、Ｓ２２０にて生成した特定音声データを記憶部５に記憶する（Ｓ２３０）。
その後、制御部６は、本データ生成処理を終了し、起動指令が入力されるまで待機する。
＜採譜処理＞
次に、情報処理装置２の制御部６が実行する採譜処理について説明する。

この採譜処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
図３に示すように採譜処理が起動されると、制御部６は、まず、記憶部５に記憶されている全ての音声波形データＳＰの中から、指定された１つの音声波形データＳＰを取得する（Ｓ３１０）。

採譜処理では、制御部６は、続いて、Ｓ３１０にて取得した音声波形データＳＰを楽音ブロックごとに分割した対象音声データを生成する（Ｓ３２０）。このＳ３２０では、制御部６は、図４に示すように、データ生成処理におけるＳ１８０と同様、Ｓ３１０にて取得した音声波形データＳＰを、その音声波形データＳＰに対応するＭＩＤＩ楽曲に含まれる小節開始情報によって表されるタイミングにて分割する。これにより、当該楽曲における小節ごとの音声波形データＳＰが、対象音声データとして生成される。

なお、本発明における対象音声データの生成方法は、これに限るものではなく、例えば、音声波形データＳＰを小節ごとに分割する周知の手法を用いても良い。この場合、周知の手法としては、「後藤真孝，村岡洋一，"音楽音響信号を対象としたビートトラッキングシステム 小節線の検出と打楽器音の有無に応じた音楽的知識の選択"，情報処理学会 音楽情報科学研究会 研究報告 ９７−ＭＵＳ−２１−８，Ｖｏｌ．９７，Ｎｏ．６７，Ｊｕｌｙ １９９７」が考えられる。

採譜処理では、続いて、制御部６は、対象音声データそれぞれにおける音圧レベルの推移を表す対象音圧推移を特定する（Ｓ３３０）。さらに、制御部６は、対象音声データそれぞれにおける基本周波数ｆ０の推移を表す対象周波数推移を特定する（Ｓ３４０）。これと共に、Ｓ３４０では、制御部６は、対象音圧推移と対象周波数推移とを対応する楽曲ブロックごとに対応付けることで採譜対象データを生成して、記憶部５に記憶する。ここで言う採譜対象データとは、楽曲ブロックごとに対応付けられた対象音圧推移と対象周波数推移との組である。

具体的に、本実施形態のＳ３３０，Ｓ３４０では、制御部６は、まず、分析時間窓ＳＷ（ｋ）を対象音声データに設定する。本実施形態においては、分析時間窓ＳＷは、時間軸に沿って互いに隣接かつ連続するように設定される。なお、符号ｋは、分析時間窓ＳＷを識別する識別子である。

続いて、制御部６は、周知の手法により、対象音声データにおける各分析時間窓ＳＷ（ｋ）での音圧レベルＬｐを算出する。なお、音圧レベルＬｐは、対象音声データの分析時間窓ＳＷ（ｋ）における音圧の二乗平均平方根ｐを、基準となる音圧ｐ０で除したものの常用対数に、所定の係数（通常、「２０」）を乗じること（即ち、Ｌｐ＝２０×ｌｏｇ１０（ｐ／ｐ０））で求めることができる。

さらに、制御部６は、各分析時間窓ＳＷ（ｋ）での音圧レベルＬｐを、対象音声データにおける時間軸に沿って配置することで、対象音圧推移を特定する。図５（Ａ）に示すように本実施形態における対象音圧推移は、正規化されている。この正規化は、当該対象音圧推移における音圧レベルの中央値にて除すことで実行すれば良い。

また、対象周波数推移を特定するために、制御部６は、対象音声データにおける各分析時間窓ＳＷ（ｋ）での基本周波数ｆ０を導出する。この基本周波数ｆ０の導出手法として、種種の周知の手法が考えられる。一例として、制御部６は、対象音声データに設定された分析時間窓ＳＷ（ｋ）それぞれについて、周波数解析（例えば、ＤＦＴ）を実施し、自己相関の結果、最も強い周波数成分を基本周波数ｆ０とすることが考えられる。

そして、制御部６は、それらの分析時間窓ＳＷ（ｋ）ごとに導出された基本周波数ｆ０を、対象音声データにおける時間軸に沿って配置することで、対象周波数推移を特定する。図５（Ｂ）に示すように本実施形態における対象周波数推移は、正規化されている。この正規化は、当該対象周波数推移における基本周波数の中央値にて除すことで実行すれば良い。

なお、Ｓ３３０，Ｓ３４０では、全ての対象音声データに対して、対象音圧推移と対象周波数推移とを特定する。
さらに、採譜処理では、制御部６は、Ｓ３３０，Ｓ３４０にて生成した採譜対象データの中から、１つの採譜対象データを１つ取得する（Ｓ３５０）。

そして、採譜処理では、制御部６は、Ｓ３５０にて取得した採譜対象データに類似する全ての特定音声データに含まれる音符プロパティそれぞれを記憶部５から取得する（Ｓ３６０）。本実施形態のＳ３６０では、制御部６は、Ｓ３５０にて取得した採譜対象データに含まれる対象音声周波数推移との類似度が第１基準値以上である楽音周波数推移と、Ｓ３５０にて取得した採譜対象データに含まれる対象音声音圧推移との類似度が第２基準値以上である楽音音圧推移との双方を含む特定音声データに含まれる音符プロパティを取得する。なお、類似度は、相関値であり、周知の相関係数である。

また、ここで言う第１基準値とは、対象音声周波数推移と楽音周波数推移とが類似するものとして予め規定された値である。また、ここで言う第２基準値とは、対象音声音圧推移と楽音音圧推移とが類似するものとして予め規定された値である。この第２基準値は、第１基準値と同一の値であっても良いし、異なる値であっても良い。

さらに、採譜処理では、制御部６は、Ｓ３６０にて取得した音符プロパティに基づいて音符の期間（即ち、音価）を決定する（Ｓ３７０）。
具体的に本実施形態のＳ３７０では、図６に示すように、制御部６は、Ｓ３６０にて取得した音符プロパティそれぞれにおいて、開始タイミングが割り当てられた規定時間窓ＡＷ（ｊ）を特定する。また、Ｓ３７０では、制御部６は、Ｓ３６０にて取得した音符プロパティそれぞれにおいて、終了タイミングが割り当てられた規定時間窓ＡＷ（ｊ）を特定する。

そして、制御部６は、その開始タイミングが割り当てられた規定時間窓ＡＷ、及び終了タイミングが割り当てられた規定時間窓ＡＷを、規定時間窓ＡＷごとに集計する。この集計の結果、制御部６は、開始タイミングの個数が最も多い規定時間窓ＡＷを、採譜対象音符における開始タイミングとして特定する。さらに、制御部６は、終了タイミングの個数が最も多い規定時間窓ＡＷを、当該採譜対象音符における終了タイミングとして特定する。

さらに、本実施形態のＳ３７０では、制御部６は、特定した開始タイミングと終了タイミングとの対によって表される期間それぞれを音符の期間（即ち、音価）として特定する。なお、図６における符号“Ｓ”は、開始タイミングが割り当てられた規定時間窓ＡＷを表し、符号“Ｅ”は終了タイミングが割り当てられた規定時間窓ＡＷを表す。

続いて、採譜処理では、制御部６は、Ｓ３６０にて取得した音符プロパティに基づいて、採譜対象音符の音高を決定する（Ｓ３８０）。
具体的に本実施形態のＳ３８０では、制御部６は、図６に示すように、Ｓ３６０にて取得した各音符プロパティにおける各規定時間窓ＡＷの音高を、Ｓ３７０にて特定した音符の期間に対応する規定時間窓ＡＷごと、かつ、音高ごとに集計する。そして、制御部６は、Ｓ３７０にて特定した音符の期間に対応する規定時間窓ＡＷの音高を集計した結果、最も数が多い音高を当該音符の音高として特定する。さらに、図６に示す色の濃淡は、色が濃いほど、当該音高が含まれる規定時間窓ＡＷの個数が多いことを表す。

なお、本実施形態においては、図７（Ａ）に示すように、Ｓ３７０及びＳ３８０にて決定した採譜対象音符の音価及び音高に、対象周波数推移を重畳し、図７（Ｂ）に示すように、採譜対象音符の音価及び音高と対象周波数推移とが最も一致する音名を、採譜対象音符における音名として半音単位で特定してもよい。

そして、採譜処理では、制御部６は、全ての採譜対象データに対してＳ３５０〜Ｓ３８０までのステップを実施したか否かを判定する（Ｓ３９０）。このＳ３９０での判定の結果、Ｓ３５０〜Ｓ３８０までのステップを全ての採譜対象データに対して実行していなければ（Ｓ３９０：ＮＯ）、制御部６は、本採譜処理を、Ｓ３５０へと戻す。そのＳ３５０では、制御部６は、Ｓ３５０〜Ｓ３８０までのステップを未実施の採譜対象データの中から、１つの採譜対象データを取得して、採譜処理をＳ３６０へと移行させる。

一方、Ｓ３９０での判定の結果、Ｓ３５０〜Ｓ３９０までのステップを全ての採譜対象データに対して実行していれば（Ｓ３９０：ＹＥＳ）、制御部６は、本採譜処理を終了する。
［実施形態の効果］
音圧推移及び音高推移は、通常、特定の音符の並びや特定の技巧を用いて演奏された音声に基づくものであれば、類似性を有する。

このため、本実施形態の採譜処理では、対象音圧推移に類似する楽音音圧推移及び対象周波数推移に類似する楽音周波数推移と対応付けられた、演奏対象音符それぞれの開始タイミング及び終了タイミングを集計した結果、最も可能性が高いと考えられるタイミングを、採譜対象音符の開始タイミング及び終了タイミングとして決定している。また、本実施形態の採譜処理では、対象音圧推移に類似する楽音音圧推移及び対象周波数推移に類似する楽音周波数推移と対応付けられた、演奏対象音符それぞれの音高を集計した結果、最も可能性が高いと考えられる音高を、採譜対象音符の音高として特定している。

すなわち、情報処理装置２によれば、類似度の高い複数の音圧推移及び音高推移と対応付けられた演奏対象音符の音高及び音価を集計することで、採譜対象音符として最も可能性の高い音価及び音高を特定できる。

換言すれば、情報処理装置２によれば、採譜対象音符に対する採譜の精度を向上させることができる。
ところで、本実施形態における楽音音圧推移、及び対象音圧推移は、正規化されている。

このため、本実施形態の採譜処理によれば、各対象音声データや特定音声データにて演奏された音符間の相対的な音圧差や、相対的な周波数差に従って類似性を判定できる。
したがって、採譜処理によれば、より多くの楽音音圧推移、及び楽音周波数推移を類似度が高いものと判定できる。そして、採譜処理によれば、それらの類似度が高い楽音音圧推移及び楽音周波数推移と対応付けられた演奏対象音符の音符プロパティに基づいて、採譜対象音符の音価及び音高を特定するため、採譜の精度を向上させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態における音声波形データＳＰは、楽曲を歌唱した歌唱音声であったが、本発明における音声波形データＳＰは、楽曲を楽器にて演奏した音でも良い。
また、上記実施形態の採譜処理においては、開始タイミングまたは終了タイミングが割り当てられた規定時間窓ＡＷを集計した結果、その個数が最も多い規定時間窓ＡＷを、採譜対象音符における開始タイミングまたは終了タイミングとして決定していたが、採譜対象音符の音価の決定方法は、これに限るものではない。例えば、開始タイミングまたは終了タイミングが割り当てられた規定時間窓ＡＷを集計した結果、その開始タイミングまたは終了タイミングが割り当てられた規定時間窓ＡＷの代表値を、採譜対象音符における開始タイミングまたは終了タイミングとしてもよい。ここで言う代表値とは、例えば、中央値である。

また、上記実施形態の採譜処理においては、各規定時間窓ＡＷの音高を集計した結果、その個数が最も多い音高を採譜対象音符における音高として決定していたが、採譜対象音符の音高の決定方法は、これに限るものではない。例えば、規定時間窓ＡＷに割り当てられた音高を集計した結果、その音高の代表値を、採譜対象音符における音高としてもよい。ここで言う代表値とは、例えば、中央値である。

また、上記実施形態においては、データ生成処理の実行主体を情報処理装置２としていたが、データ生成処理の実行主体は、情報処理装置２に限るものではなく、情報記憶サーバ１０であっても良い。また、上記実施形態においては、特定音声データは、情報処理装置２に格納されていたが、本発明における特定音声データを格納する対象は、これに限るものではなく、その他のサーバであっても良い。

上記実施形態においては、採譜処理の実行主体を、情報処理装置２としていたが、採譜処理の実行主体は、情報処理装置２に限るものではなく、情報記憶サーバ１０であっても良い。

なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

また、本発明は、音声波形データＳＰを採譜する採譜装置やシステムの他、音声波形データＳＰを採譜するためにコンピュータが実行するプログラム、音声波形データＳＰを採譜する方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記実施形態の採譜処理におけるＳ３１０を実行することで得られる機能が、特許請求の範囲に記載された音声取得手段の一例であり、採譜処理におけるＳ３２０を実行することで得られる機能が、特許請求の範囲に記載された対象特定手段の一例である。また、採譜処理のＳ３３０，Ｓ３４０を実行することで得られる機能が、特許請求の範囲に記載された導出手段の一例であり、Ｓ３６０を実行することで得られる機能が、特許請求の範囲に記載された類似取得手段の一例である。

さらに、上記実施形態の採譜処理におけるＳ３７０，Ｓ３８０を実行することで得られる機能が、特許請求の範囲に記載された採譜手段の一例である。このうち、Ｓ３７０を実行することで得られる機能が、特許請求の範囲に記載された音価特定手段の一例であり、Ｓ３８０を実行することで得られる機能が、特許請求の範囲に記載された音高特定手段の一例である。

１…システム ２…情報処理装置 ３…入力受付部 ４…情報出力部 ５…記憶部 ６…制御部 ７…ＲＯＭ ８…ＲＡＭ ９…ＣＰＵ １０…情報記憶サーバ １２…通信部 １４…記憶部 １６…制御部 ３０…カラオケ装置 ６０…スピーカ ６２…マイク ６４…表示部

Claims (7)

1. 入力された音声の波形を表す音声波形データを取得する音声取得手段と、
   前記音声取得手段で取得した音声波形データに基づいて、音高及び音価を有した複数の音符のうち少なくとも２つの音符である採譜対象音符を含む期間として規定された規定区間に対応する前記音声波形データの区間である対象音声データを特定する対象特定手段と、
   前記対象特定手段で特定した対象音声データに基づいて、前記対象音声データにおける基本周波数の推移を表す対象音声周波数推移、及び前記対象音声データにおける音圧の推移を表す対象音声音圧推移を導出する導出手段と、
   音高及び音価を有した複数の音符のうち少なくとも２つの音符である演奏対象音符を含む期間を演奏した音それぞれの波形を表す楽音データごとに、当該楽音データにおける基本周波数の推移を表す楽音周波数推移と、当該楽音データにおける音圧の推移を表す楽音音圧推移と、前記演奏対象音符の音高及び音価とを表す音符データとが対応付けられた特定音声データが格納された記憶装置から、前記導出手段で導出された対象音声周波数推移との類似度が第１基準値以上である前記楽音周波数推移と、前記対象音声音圧推移との類似度が第２基準値以上である前記楽音音圧推移との両者を含む特定音声データに含まれる音符データを取得する類似取得手段と、
   前記類似取得手段で取得した前記音符データに基づいて、前記採譜対象音符それぞれの音価及び音高を特定する採譜手段と
   を備えることを特徴とする採譜装置。
2. 入力された音声の波形を表す音声波形データを取得する音声取得手段と、
   前記音声取得手段で取得した音声波形データに基づいて、音高及び音価を有した複数の音符のうち少なくとも２つの音符である採譜対象音符を含む期間として規定された規定区間に対応する前記音声波形データの区間である対象音声データを特定する対象特定手段と、
   前記対象特定手段で特定した対象音声データに基づいて、前記対象音声データにおける基本周波数の推移を表す対象音声周波数推移、及び前記対象音声データにおける音圧の推移を表す対象音声音圧推移を導出する導出手段と、
   音高及び音価を有した複数の音符のうち少なくとも２つの音符である演奏対象音符を含む期間を演奏した音それぞれの波形を表す楽音データごとに、当該楽音データにおける基本周波数の推移を表す楽音周波数推移と、当該楽音データにおける音圧の推移を表す楽音音圧推移と、前記演奏対象音符の音高及び音価とを表す音符データとが対応付けられた特定音声データが格納された記憶装置から、前記導出手段で導出された対象音声周波数推移との類似度が第１基準値以上である前記楽音周波数推移と、前記対象音声音圧推移との類似度が第２基準値以上である前記楽音音圧推移とを含む特定音声データに含まれる音符データを取得する類似取得手段と、
   前記類似取得手段で取得した前記音符データに基づいて、前記採譜対象音符それぞれの音価及び音高を特定する採譜手段と
   を備えることを特徴とする採譜システム。
3. 前記採譜手段は、
   前記音符データそれぞれによって表される前記演奏対象音符の開始タイミング、及び、当該開始タイミングと対となる前記演奏対象音符の終了タイミングに基づいて、前記採譜対象音符の音価を特定する音価特定手段と、
   前記音符データそれぞれによって表される前記演奏対象音符の音高に基づいて、前記採譜対象音符の音高を特定する音高特定手段と
   を備えることを特徴とする請求項２に記載の採譜システム。
4. 前記音価特定手段は、
   前記音符データによって表される前記演奏対象音符それぞれの音価よりも短い区間である分析単位区間を時間軸に沿って連続するように前記音符データに複数設定し、その設定された分析単位区間ごとに前記演奏対象音符での前記開始タイミングを集計した結果、最も多い前記分析単位区間を前記採譜対象音符の開始タイミングとし、前記分析単位区間ごとに前記演奏対象音符の前記終了タイミングを集計した結果、最も多い前記分析単位区間を前記終了タイミングとして特定する
   ことを特徴とする請求項３に記載の採譜システム。
5. 前記音高特定手段は、
   前記音符データによって表される前記演奏対象音符の音高を、前記音高ごとに集計した結果、最も多い音高を前記採譜対象音符の音高として特定する
   ことを特徴とする請求項３または請求項４に記載の採譜システム。
6. 前記楽音周波数推移は、前記演奏対象音符を含む期間における基本周波数の中央値にて正規化されており、
   前記導出手段は、
   前記対象音声データを、前記対象音声データにおける基本周波数の中央値にて正規化したデータを前記対象音声周波数推移として導出する
   ことを特徴とする請求項５に記載の採譜システム。
7. 前記楽音音圧推移は、前記楽音データにおける音圧の中央値にて正規化されており、
   前記導出手段は、
   前記対象音声データを、前記対象音声データにおける音圧の中央値にて正規化したデータを前記対象音声音圧推移として導出する
   ことを特徴とする請求項２から請求項６までのいずれか一項に記載の採譜システム。