JP6056799B2 - プログラム、情報処理装置、及びデータ生成方法 - Google Patents

Description

本発明は、データを生成するプログラム、情報処理装置、及びデータ生成方法に関する。

従来、楽曲の歌唱旋律を歌った歌唱の巧拙を評価する歌唱評価技術が知られている（特許文献１参照）。
この特許文献１に記載の技術では、楽曲ごとに用意された模範音声に、利用者が歌唱した音声を照合することで巧拙を評価し、その評価に応じたコメントを歌唱後に提示している。

特開２００７−２３３０１３号公報

ところで、プロの歌手が歌唱した楽曲においては、多くの場合、その楽曲の歌手ごとに特有の特徴が表出する。カラオケ装置や情報処理装置などを用いて利用者が歌唱する場合において、歌手特有の歌い方の特徴を再現できた場合には、より上手く歌唱しているように聞こえる。

このため、カラオケ装置や情報処理装置などにおいて、歌手特有の歌い方の特徴について、その歌い方の特徴を利用者が実際に歌唱する前に提示することが求められている。
しかしながら、従来の技術では、模範音声と利用者が歌唱した音声とのズレを利用者が歌唱した後に提示するだけである。よって、カラオケ装置や情報処理装置などの利用者は、歌手特有の歌い方の特徴について、どのタイミングでどのように歌唱するとよいのかを歌唱前に認識できないという課題があった。

つまり、カラオケ装置や情報処理装置などにおいて、歌手特有の歌い方の特徴について、利用者が実際に歌唱する前に何ら提示していないという課題があった。
そこで、本発明は、歌手特有の歌い方の特徴を提示するために必要なデータを生成可能な技術の提供を目的とする。

上記目的を達成するためになされた本発明は、コンピュータに実行させるプログラムに関する。
本発明のプログラムでは、第１取得ステップと、第２取得ステップと、音高推移決定ステップと、特定ステップと、基準算出ステップと、決定ステップと、データ生成ステップとをコンピュータに実行させる。

このうち、第１取得ステップでは、複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する。第２取得ステップでは、楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する。抽出ステップでは、楽曲データからボーカル音を表すボーカルデータを抽出する。

さらに、音高推移決定ステップでは、ボーカルデータに基づいて、ボーカルデータにおける音高の推移を表すボーカル音高推移を決定する。特定ステップでは、ボーカル音高推移に基づいて、ボーカル音高推移においてビブラートを用いて歌唱された歌唱区間であるビブラート波形を特定する。基準算出ステップでは、ビブラート波形における頂点の音高に基づいて、ビブラート波形における高音域の音高を表す高音基準音高、及び、ビブラート波形における低音域の音高を表す低音基準音高を算出する。

そして、決定ステップでは、高音基準音高及び低音基準音高に基づいて、中心音高差、または、ビブラート深さのうち少なくともいずれかを決定する。ここで言う中心音高差とは、ビブラート波形における中心音高と、楽譜データにおける歌唱区間に対応する音符の音高との差分である。ここで言うビブラート深さとは、ビブラート波形における周波数軸に沿った振れ幅を表す。

データ生成ステップでは、歌唱区間に対応する楽譜データでの区間に、中心音高差、及び、ビブラート深さのうち少なくともいずれかを対応付けることで、歌唱特徴データを生成する。

このようなプログラムにて生成される歌唱特徴データは、楽曲を歌唱した歌手が用いるビブラートに関する特徴である「中心音高差」及び「ビブラート深さ」のうちの少なくともいずれか一方を、楽譜データの音符に対応付けたものである。ここで、「中心音高差」及び「ビブラート深さ」は、歌手が用いるビブラートに関する特徴を表す情報であり、歌手ごとに特有の特徴である。

このような歌唱特徴データによれば、楽譜データに基づいて楽曲を構成する音符、即ち、歌唱旋律を表示する場合、カラオケ装置や情報処理装置に接続された表示部に、歌手が用いたビブラートの「中心音高差」及び「ビブラート深さ」を提示できる。しかも、その「中心音高差」及び「ビブラート深さ」の提示を、カラオケ装置や情報処理装置の利用者が実際に歌唱する前に実施できる。

そして、ビブラートの「中心音高差」及び「ビブラート深さ」が表示装置に提示されるカラオケ装置や情報処理装置の利用者は、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ビブラート」をどのように用いているのかを認識できる。この結果、カラオケ装置や情報処理装置の利用者は、利用者自身の歌い方を、プロの歌手の歌い方により近づけることができる。

本発明における決定ステップでは、高音基準音高と低音基準音高との平均値を、ビブラート波形における中心音高として決定し、その決定した中心音高と、楽譜データにおける歌唱区間に対応する音符の音高との差分を、中心音高差として決定しても良い。

このようなプログラムによれば、高音基準音高と低音基準音高との平均値を、ビブラート波形における中心音高として算出することができる。そして、本発明のプログラムによれば、ビブラート波形における中心音高と音符の音高との差分を、中心音高差として算出できる。

さらに、本発明における決定ステップでは、高音基準音高と低音基準音高との差分を、ビブラート深さとして算出しても良い。
このようなプログラムによれば、高音基準音高と低音基準音高との差分を、ビブラート深さとして算出できる。

また、本発明における基準算出ステップでは、頂点検出ステップと、高音基準算出ステップと、低音基準算出ステップとをコンピュータに実行させても良い。頂点検出ステップでは、特定ステップで特定されたビブラート波形における変曲点を検出する。高音基準算出ステップでは、頂点検出ステップで検出されたビブラート波形の変曲点のうち、極大となる変曲点における音高の代表値を高音基準音高として算出する。さらに、低音基準算出ステップでは、頂点検出ステップで検出されたビブラート波形の変曲点のうち、極小となる変曲点における音高の代表値を低音基準音高として算出する。

このようなプログラムによれば、高音基準音高及び低音基準音高をより確実に算出できる。
また、本発明の基準算出ステップでは、ビブラート波形において極小となる変曲点の個数と、ビブラート波形において極大となる変曲点の個数とを同数として、高音基準音高及び低音基準音高を算出しても良い。

このようなプログラムによれば、ビブラート波形の変曲点における特異点を除外でき、高音基準音高及び低音基準音高の算出精度を向上させることができる。
なお、本発明のプログラムにおいては、表示制御ステップをコンピュータに実行させても良い。この場合、表示制御ステップでは、第１取得ステップで取得された楽譜データを構成する複数の音符を表示部に表示させ、歌唱特徴データに含まれる中心音高差、及び、ビブラート深さのうち少なくともいずれか一方を、歌唱区間に対応する楽譜データでの区間と対応付けて、表示部に表示させる。

このようなプログラムによれば、カラオケ装置や情報処理装置に接続された表示部に、歌手が用いたビブラートの「中心音高差」及び「ビブラート深さ」を提示できる。
この結果、ビブラートの「中心音高差」及び「ビブラート深さ」が表示装置に提示されるカラオケ装置や情報処理装置の利用者は、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ビブラート」をどのように用いているのかを認識できる。

本発明は、情報処理装置としてなされていても良い。
本発明の情報処理装置は、第１取得手段と、第２取得手段と、抽出手段と、音高推移決定手段と、特定手段と、基準算出手段と、決定手段と、データ生成手段とを備える。

第１取得手段は、楽譜データを第１記憶部から取得し、第２取得手段は、楽曲データを第２記憶部から取得する。抽出手段は、ボーカルデータを抽出し、音高推移決定手段は、そのボーカルデータにおける音高の推移を表すボーカル音高推移を決定する。特定手段は、そのボーカル音高推移においてビブラートを用いて歌唱された歌唱区間であるビブラート波形を特定する。基準算出手段は、そのビブラート波形における頂点の音高に基づいて、高音基準音高、及び、低音基準音高を算出する。

さらに、決定手段は、高音基準音高及び低音基準音高に基づいて、中心音高差、または、ビブラート深さのうち少なくともいずれかを決定する。また、データ生成手段は、歌唱区間に対応する楽譜データでの区間に、中心音高差、及び、ビブラート深さのうち少なくともいずれかを対応付けることで、歌唱特徴データを生成する。

このような情報処理装置によれば、本発明に係るプログラムと同様の効果を得ることができる。
また、本発明は、情報処理装置が実行するデータ生成方法としてなされていても良い。

本発明のデータ生成方法は、第１取得手順と、第２取得手順と、抽出手順と、音高推移決定手順と、特定手順と、基準算出手順と、決定手順と、データ生成手順とを備える。
第１取得手順では、情報処理装置が楽譜データを第１記憶部から取得し、第２取得手順では、情報処理装置が楽曲データを第２記憶部から取得する。抽出手順では、ボーカルデータを情報処理装置が抽出し、音高推移決定手順では、その抽出したボーカルデータに基づいて、情報処理装置がボーカル音高推移を決定する。特定手順では、その決定されたボーカル音高推移に基づいて、情報処理装置がビブラート波形を特定する。

そして、基準算出手順では、その特定されたビブラート波形における頂点の音高に基づいて、情報処理装置が、高音基準音高及び低音基準音高を算出する。決定手順では、中心音高差、または、ビブラート深さのうち少なくともいずれかを、情報処理装置が決定する。そして、データ生成手順では、歌唱区間に対応する楽譜データでの区間に、中心音高差、及び、ビブラート深さのうち少なくともいずれかを対応付けることで、情報処理装置が歌唱特徴データを生成する。

このようなデータ生成方法によれば、本発明に係るプログラムと同様の効果を得ることができる。

本発明が適用された情報処理装置を備えたシステムの概略構成を示すブロック図である。 情報処理装置が実行するデータ生成処理の処理手順を示すフローチャートである。 ビブラート特徴算出処理の処理手順を示すフローチャートである。 ビブラート特徴の算出手法の概要を例示する図である。 歌唱特徴データの概要を例示する図である。 カラオケ装置が実行する表示処理の処理手順を示すフローチャートである。 表示処理を実行することで表示部に表示される表示の態様を例示する図である。

以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示すカラオケ装置３０は、ユーザが指定した楽曲を演奏すると共に、その楽曲において表出するプロの歌手の歌い方における特徴を、表示部６４に表示させる装置である。

このような、プロの歌手の歌い方における特徴をカラオケ装置３０が表示するために構築されるシステム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。

情報処理装置２は、楽曲ごとに用意された楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、歌唱特徴データＳＦを算出する。ここで言う歌唱特徴データＳＦとは、楽曲を歌唱するプロの歌手の歌い方における特徴を表すデータである。

情報処理サーバ１０には、少なくとも、情報処理装置２にて算出された歌唱特徴データＳＦ及びＭＩＤＩ楽曲ＭＤが、対応する楽曲ごとに対応付けられて記憶部１４に記憶されている。
＜楽曲データ＞
次に、楽曲データＷＤは、特定の楽曲ごとに予め用意されたものであり、楽曲に関する情報が記述された楽曲管理情報と、楽曲の演奏音を表す原盤波形データとを備えている。楽曲管理情報には、楽曲を識別する楽曲識別情報（以下、楽曲ＩＤと称す）が含まれる。

本実施形態の原盤波形データは、複数の楽器の演奏音と、歌唱旋律をプロの歌手が歌唱したボーカル音とを含む音声データである。この音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。

なお、以下では、原盤波形データに含まれる楽器の演奏音を表す音声波形データを伴奏データと称し、原盤波形データに含まれるボーカル音を表す音声波形データをボーカルデータと称す。

本実施形態の伴奏データに含まれる楽器の演奏音としては、打楽器（例えば、ドラム，太鼓，シンバルなど）の演奏音，弦楽器（例えば、ギター，ベースなど）の演奏音，打弦楽器（例えば、ピアノ）の演奏音，及び管楽器（例えば、トランペットやクラリネットなど）の演奏音がある。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、演奏データと、歌詞データとを有している。

このうち、演奏データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この演奏データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。

一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。

具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音（即ち、音符ＮＯ）と、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、情報出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。

入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。情報出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。

記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも１つの楽曲データＷＤと、少なくとも１つのＭＩＤＩ楽曲ＭＤとが、共通する楽曲ごとに対応付けて記憶されている。

制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ７には、記憶部５に記憶されている楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、歌唱特徴データＳＦを算出するデータ生成処理を、制御部６が実行するための処理プログラムが記憶されている。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも、複数のＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、１以上の自然数である。さらに、記憶部１４には、情報処理装置２がデータ生成処理を実行することで生成された歌唱特徴データＳＦが記憶される。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。

マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、ユーザの歌唱音を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。

そして、ＲＯＭ５２には、表示処理を制御部５０が実行するための処理プログラムが記憶されている。表示処理は、ユーザによって指定された楽曲を演奏すると共に、その楽曲において表出するプロの歌手の歌い方における特徴、その楽曲の歌詞、及び歌唱旋律を表示部６４に表示させる処理である。
＜データ生成処理＞
次に、情報処理装置２の制御部６が実行するデータ生成処理について説明する。

このデータ生成処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
そして、データ生成処理では、図２に示すように、起動されると、まず、制御部６は、情報処理装置２の記憶部５に記憶されている全ての楽曲データＷＤの中から、一つの楽曲データＷＤを取得する（Ｓ１１０）。なお、本実施形態のＳ１１０においては、制御部６は、楽曲データＷＤを記憶部５から取得したが、制御部６は、入力受付部３を介して、可搬型の記憶媒体や通信網を介してサーバなどから楽曲データＷＤを取得しても良い。

データ生成処理では、制御部６は、続いて、Ｓ１１０にて取得した楽曲データＷＤ（以下、「取得楽曲データ」と称す）に含まれる原盤波形データを取得する（Ｓ１２０）。さらに、制御部６は、Ｓ１２０にて取得した原盤波形データから、ボーカルデータと伴奏データとを分離して抽出する（Ｓ１３０）。このＳ１３０において制御部６が実行する、伴奏データとボーカルデータとの分離手法として、周知の手法（例えば、特開２００８−１３４６０６に記載された“ＰｒｅＦＥｓｔ”）を使って推定された音高および調波成分を利用する手法が考えられる。なお、ＰｒｅＦＥｓｔとは、原盤波形データにおいて最も優勢な音声波形をボーカルデータとみなしてボーカルの音高（即ち、基本周波数）および調波成分の大きさを推定する手法である。

データ生成処理では、続いて、制御部６は、ボーカルデータにおける音圧レベルの推移を表すボーカル音圧推移を特定する（Ｓ１４０）。さらに、制御部６は、ボーカルデータにおける基本周波数ｆ０の推移を表すボーカル周波数推移を特定する（Ｓ１５０）。

具体的に、本実施形態のＳ１４０，Ｓ１５０では、制御部６は、まず、規定時間窓ＡＷ（ｊ）をボーカルデータに設定する。この規定時間窓ＡＷ（ｊ）は、予め規定された単位時間（例えば、１０［ｍｓ］）を有した分析窓である。本実施形態においては、規定時間窓ＡＷは、時間軸に沿って互いに隣接かつ連続するように設定される。なお、符号ｊは、規定時間窓ＡＷを識別する識別子である。

続いて、制御部６は、周知の手法により、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを算出する。なお、音圧レベルＬｐは、ボーカルデータの規定時間窓ＡＷ（ｊ）における音圧の二乗平均平方根ｐを、基準となる音圧ｐ０で除したものの常用対数に、所定の係数（通常、「２０」）を乗じること（即ち、Ｌｐ＝２０×ｌｏｇ１０（ｐ／ｐ０））で求めることができる。

さらに、制御部６は、各規定時間窓ＡＷ（ｊ）での音圧レベルＬｐを、ボーカルデータにおける時間軸に沿って配置することで、ボーカル音圧推移を特定する。
また、ボーカル周波数推移を特定するために、制御部６は、ボーカルデータにおける各規定時間窓ＡＷ（ｊ）での基本周波数ｆ０を導出する。この基本周波数ｆ０の導出手法として、種種の周知の手法が考えられる。一例として、制御部６は、ボーカルデータに設定された規定時間窓ＡＷ（ｊ）それぞれについて、周波数解析（例えば、ＤＦＴ）を実施し、自己相関の結果、最も強い周波数成分を基本周波数ｆ０とすることが考えられる。

そして、制御部６は、それらの規定時間窓ＡＷ（ｊ）ごとに導出された基本周波数ｆ０を、ボーカルデータにおける時間軸に沿って配置することで、ボーカル周波数推移を特定する。

データ生成処理では、制御部６は、続いて、Ｓ１１０で取得した楽曲データＷＤと同一の楽曲ＩＤが対応付けられた一つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ１６０）。さらに、制御部６は、取得楽曲データの各音符に対応する各音の再生時間に、Ｓ１６０で取得したＭＩＤＩ楽曲ＭＤ（以下、「取得ＭＩＤＩ」と称す）を構成する各音符の演奏タイミングが一致するように、その取得ＭＩＤＩを調整する（Ｓ１７０）。この取得ＭＩＤＩを調整する手法として、周知の手法（例えば、特許第５３１０６７７号に記載の手法）を用いることが考えられる。特許第５３１０６７７号に記載された手法では、制御部６は、取得ＭＩＤＩをレンダリングし、その取得ＭＩＤＩのレンダリング結果と取得楽曲データの原盤波形データとの双方を規定時間単位でスペクトルデータに変換する。そして、双方のスペクトルデータ上の時間が同期するように、各演奏音の演奏開始タイミング及び演奏終了タイミングを修正する。なお、スペクトルデータ上の時間が同期するように調整する際には、ＤＰマッチングを用いても良い。

さらに、データ生成処理では、制御部６は、Ｓ１７０にて時間調整が実施されたＭＩＤＩ楽曲ＭＤから、歌唱旋律を表すメロディトラックを取得する（Ｓ１８０）。このＳ１８０において取得するメロディトラックには、歌唱旋律を構成する各音符（以下、「メロディ音符」と称す）ＮＯ（ｉ）が規定されている。そして、各メロディ音符ＮＯ（ｉ）には、ノートナンバー（音高），演奏開始タイミングｎｎｔ（ｉ），演奏終了タイミングｎｆｔ（ｉ），及び各種の時間制御情報（例えば、テンポ，分解能など）などの音符プロパティが規定されている。なお、符号ｉは、メロディ音符を識別する識別子であり、歌唱旋律の時間軸に沿って増加するように規定されている。

データ生成処理では、制御部６は、時系列音符データを生成する（Ｓ１９０）。この時系列音符データは、メロディ音符ＮＯ（ｉ）を時間軸に沿って配置した音符推移に、各メロディ音符ＮＯ（ｉ）に関する音符プロパティを対応付けたものである。

具体的に、本実施形態のＳ１９０では、まず、制御部６は、メロディ音符ＮＯ（ｉ）を時間軸に沿って配置した音符推移を生成する。その音符推移に対して、制御部６は、規定時間窓ＡＷ（ｊ）を設定する。この音符推移に設定される規定時間窓ＡＷ（ｊ）は、ボーカルデータに設定される規定時間窓ＡＷ（ｊ）と共通である。すなわち、音符推移及びボーカルデータに設定される規定時間窓ＡＷ（ｊ）は、符号ｊが共通であれば、同一タイミングであることを意味する。

続いて、制御部６は、音符推移に設定した規定時間窓ＡＷの個数と、ボーカルデータに設定した規定時間窓ＡＷの個数とを比較する。制御部６は、比較の結果、個数が多いものを、音符推移及びボーカルデータの両データにおける規定時間窓ＡＷの個数（即ち、「ｊｍａｘ」）として採用する。なお、制御部６は、規定時間窓ＡＷとの個数が一致するように、個数が少ない方に「０値」を追加する補完を実行しても良い。

さらに、制御部６は、音符推移に設定された規定時間窓ＡＷ（ｊ）の中で、各メロディ音符ＮＯ（ｉ）の演奏開始タイミングｎｎｔ（ｉ）及び演奏終了タイミングｎｆｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）を特定する。そして、制御部６は、演奏開始タイミングｎｎｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）に対して、演奏開始タイミングｎｎｔ（ｉ）に対応する旨を表す音符開始フラグを対応付ける。さらに、制御部６は、演奏終了タイミングｎｆｔ（ｉ）に対応する規定時間窓ＡＷ（ｊ）に対して、演奏終了タイミングｎｆｔ（ｉ）に対応する旨を表す音符終了フラグを対応付ける。これと共に、制御部６は、音符開始フラグが対応付けられた規定時間窓ＡＷから、音符終了フラグが対応付けられた規定時間窓ＡＷまでの全ての規定時間窓ＡＷに対して、対応するメロディ音符ＮＯ（ｉ）の音高を対応付けることで、時系列音符データを生成する。

データ生成処理では、制御部６は、Ｓ１４０にて特定したボーカル音圧推移と、Ｓ１５０にて特定したボーカル周波数推移と、Ｓ１９０で生成した時系列音符データとを、規定時間窓ＡＷ（ｊ）ごとに対応付ける（Ｓ２００）。以下では、ボーカル音圧推移とボーカル周波数推移と時系列音符データとを対応付けたデータを、同期データとも称す。

データ生成処理では、制御部６は、同期データに基づいて、ボーカルデータにおいて、歌唱技巧としてのビブラートを用いて歌唱した区間を特定すると共に、ビブラート特徴を算出するビブラート特徴算出処理を実行する（Ｓ２１０）。

このビブラート特徴は、プロの歌手の歌い方における特徴の１つであり、楽曲においてプロの歌手が用いたビブラートに関する情報である。本実施形態のＳ２１０にて算出されるビブラート特徴には、中心音高差と、ビブラート深さとを含む。中心音高差は、ビブラートを用いて歌唱されたボーカルデータの区間における、そのビブラートの中心音高と、ビブラートを用いて歌唱されたボーカルデータの区間に対応する演奏タイミングが規定されたメロディ音符ＮＯ（ｉ）の音高との差分である。また、ビブラート深さは、ビブラートを用いて歌唱されたボーカルデータの区間における基本周波数ｆ０の周波数軸に沿った振れ幅を表す。

さらに、データ生成処理では、制御部６は、歌唱特徴データＳＦを生成する（Ｓ２２０）。具体的に、本実施形態のＳ２２０では、Ｓ２１０にて算出されたビブラート特徴量に識別情報（以下、「ビブラートＩＤ」と称す）を付与することで、歌唱特徴データＳＦを生成する。

データ生成処理では、制御部６は、Ｓ２２０にて生成した歌唱特徴データＳＦを記憶部５に記憶する（Ｓ２３０）。
その後、制御部６は、本データ生成処理を終了する。
＜ビブラート特徴算出処理＞
データ生成処理のＳ２１０にて実行されるビブラート特徴算出処理では、図３に示すように、制御部６は、先のＳ１４０にて特定されたボーカル周波数推移を取得する（Ｓ７１０）。

続いて、制御部６は、Ｓ７１０にて取得したボーカル周波数推移を、規定された個数分の規定時間窓ＡＷごとに平滑化微分する（Ｓ７２０）。さらに、制御部６は、ボーカル周波数推移を平滑化微分した結果と、規定された軸（いわゆるＸ軸）とが交わる規定時間窓ＡＷ（ｊ）を、交点ＰＩ（ｊ）として特定する（Ｓ７２０）。この交点ＰＩ（ｊ）は、ボーカル周波数推移における頂点であり、変曲点である。このＳ７２０では、制御部６は、各交点ＰＩに、交点ＰＩ自身が、極大となる変曲点であるのか、極小となる変曲点であるのかを対応付ける。

ビブラート特徴算出処理では、制御部６は、交点ＰＩ（ｊ）の中から、１つの交点ＰＩ（ｊ）を抽出する（Ｓ７３０）。このＳ７３０では、制御部６は、まず、時間軸に沿って最先の交点ＰＩ（ｊ）を取得する。以下、Ｓ７３０にて取得した交点ＰＩ（ｊ）を判定対象交点ＰＩ（ｊ）と称す。

さらに、制御部６は、判定対象交点ＰＩ（ｊ）から、規定された時間長の範囲内に存在する交点ＰＩの個数が、予め規定された閾値Ｔｈｃ（例えば、「４」）よりも多いか否かを判定する（Ｓ７４０）。このＳ７４０での判定の結果、交点ＰＩの個数が閾値Ｔｈｃ以下であれば（Ｓ７４０：ＮＯ）、制御部６は、後述するＳ７７０へとビブラート特徴算出処理を移行させる。一方、Ｓ７４０での判定の結果、交点ＰＩの個数が閾値Ｔｈｃよりも多ければ（Ｓ７４０：ＹＥＳ）、制御部６は、ビブラート特徴算出処理をＳ７５０へと移行させる。

そのＳ７５０では、制御部６は、判定対象交点ＰＩ（ｊ）から規定された時間長の範囲内における、ボーカル周波数推移の最高音高と最低音高との音高差が、予め規定された規定値よりも小さいか否かを判定する。このＳ７５０での判定の結果、規定された時間長の範囲内での音高差が規定値以上であれば（Ｓ７５０：ＮＯ）、制御部６は、ビブラート特徴算出処理をＳ７７０へと移行する。一方、Ｓ７５０での判定の結果、規定された時間長の範囲内での音高差が規定値よりも小さければ（Ｓ７５０：ＹＥＳ）、制御部６は、ビブラート特徴算出処理をＳ７６０へと移行する。

そのＳ７６０では、制御部６は、判定対象交点ＰＩ（ｊ）から規定された時間長の範囲内に存在する全ての規定時間窓ＡＷ（ｊ）にビブラートフラグを付与する。このビブラートフラグとは、ビブラートによって歌唱された可能性のある区間であることを表す。以下、ビブラートフラグが付与された規定時間窓ＡＷ（ｊ）からなる１つの領域を、ビブラート候補領域ＣＳ（ｋ）と称す。ただし、符号ｋは、ビブラート候補領域ＣＳを識別する識別子であり、ビブラートＩＤである。

続くＳ７７０では、制御部６は、全ての交点ＰＩについて、Ｓ７３０からＳ７６０までの処理を実行したか否かを判定する。そして、Ｓ７７０での判定の結果、Ｓ７３０からＳ７６０までの処理を全ての交点ＰＩについて実行していなければ（Ｓ７７０：ＮＯ）、制御部６は、ビブラート特徴算出処理をＳ７３０へと戻す。そのＳ７３０では、ビブラートフラグが付与されていない規定時間窓ＡＷに対応する交点ＰＩの中から、時間軸に沿って最先の交点ＰＩを１つ抽出する。その後、制御部６は、Ｓ７７０までのステップを実行する。

一方、Ｓ７７０での判定の結果、Ｓ７３０からＳ７６０までの処理を全ての交点ＰＩについて実行していれば（Ｓ７７０：ＹＥＳ）、制御部６は、ビブラート特徴算出処理をＳ７８０へと移行する。そのＳ７８０では、制御部６は、ビブラート候補領域ＣＳのそれぞれにおいて、メロディ音符ＮＯの音高が変化するか否かを判定する。このＳ７８０での判定の結果、メロディ音符ＮＯの音高が変化していなければ（Ｓ７８０：ＮＯ）、制御部６は、各ビブラート候補領域ＣＳ（ｋ）をビブラート領域ＶＴ（ｋ）に設定して、後述するＳ８００へとビブラート特徴算出処理を移行させる。ここで言うビブラート領域ＶＴは、ボーカルデータにおいてビブラートによって歌唱されていることを表す規定時間窓ＡＷの区間である。

なお、Ｓ７８０での判定の結果、メロディ音符ＮＯの音高が変化していれば（Ｓ７８０：ＹＥＳ）、制御部６は、その音高が変化したタイミングに対応する規定時間窓ＡＷ（ｊ）にて、ビブラート候補領域ＣＳを分割する（Ｓ７９０）。その後、制御部６は、分割後のビブラート候補領域ＣＳを含む、全てのビブラート候補領域ＣＳをビブラート領域ＶＴに設定して、ビブラート特徴算出処理をＳ８００へと移行させる。そのＳ８００では、制御部６は、ビブラート領域ＶＴの１つに対応するボーカル周波数推移をビブラート波形として取得する。

続いて、制御部６は、Ｓ８００にて取得したビブラート波形（以下、「取得ビブラート波形」と称す）に基づいて、高音基準音高及び低音基準音高を算出する（Ｓ８１０）。高音基準音高とは、取得ビブラート波形における高音域の音高を表す。具体的に、Ｓ８１０では、制御部６は、取得ビブラート波形における変曲点（即ち、交点ＰＩに対応するボーカル周波数推移での規定時間窓ＡＷ）のうち、極大となる変曲点での基本周波数ｆ０の代表値を、高音基準音高として算出する。また、Ｓ８１０では、制御部６は、取得ビブラート波形の変曲点のうち、極小となる変曲点での基本周波数ｆ０の代表値を、低音基準音高として算出する。ここで言う代表値は、極大または極小となる変曲点での基本周波数ｆ０の相加平均であっても良い。また、代表値は、極大または極小となる変曲点での基本周波数ｆ０の中で、最も高い基本周波数ｆ０及び最も低い基本周波数ｆ０を除いた基本周波数ｆ０の相加平均であっても良い。代表値は、極大または極小となる変曲点での基本周波数ｆ０の中央値であっても良いし、最頻値であっても良い。

なお、本実施形態においては、制御部６は、取得ビブラート波形において極小となる変曲点の個数と、取得ビブラート波形において極大となる変曲点の個数とを同数として、高音基準音高及び低音基準音高を算出する。

ビブラート特徴算出処理では、制御部６は、続いて、ビブラート中心音高を算出する（Ｓ８２０）。ビブラート中心音高とは、取得ビブラート波形における中心音高である。具体的に、Ｓ８２０では、制御部６は、Ｓ８１０にて算出した高音基準音高と低音基準音高との相加平均の結果を、ビブラート中心音高として算出する。

さらに、制御部６は、Ｓ８２０にて算出したビブラート中心音高と、取得ビブラート波形に対応する演奏期間が規定されたメロディ音符ＮＯ（ｉ）の音高との差分を、中心音高差として算出する（Ｓ８３０）。続いて、制御部６は、高音基準音高と低音基準音高との差分を、ビブラート深さとして算出する（Ｓ８４０）。なお、本実施形態においては、制御部６は、中心音高差及びビブラート深さをセント値にて算出する。

ビブラート特徴算出処理では、制御部６は、全てのビブラート領域ＶＴについて、Ｓ８００からＳ８４０までのステップを実行したか否かを判定する（Ｓ８５０）。このＳ８５０での判定の結果、全てのビブラート領域ＶＴについてＳ８００からＳ８４０までのステップを実行していなければ（Ｓ８５０：ＮＯ）、制御部６は、ビブラート特徴算出処理をＳ８３０へと戻す。そのＳ８３０では、制御部６は、Ｓ８００からＳ８４０までのステップを未実施であるビブラート領域ＶＴの１つに対応するボーカル周波数推移をビブラート波形として取得する。制御部６は、その後、Ｓ８５０までのステップを実行する。

一方、Ｓ８５０での判定の結果、全てのビブラート領域ＶＴについてＳ８００からＳ８４０までのステップを実行していれば（Ｓ８５０：ＹＥＳ）、制御部６は、本ビブラート特徴算出処理を終了し、データ生成処理のＳ２２０へと処理を移行させる。

つまり、ビブラート特徴算出処理では、制御部６は、図４に示すように、ボーカル周波数推移に基づいて、ボーカルデータにおいてビブラートを用いて歌唱された区間、即ち、ビブラート領域ＶＴを特定する。そして、制御部６は、その特定したビブラート領域ＶＴに対応するボーカル周波数推移における頂点の音高に基づいて、高音基準音高、及び、低音基準音高を算出する。さらに、制御部６は、ビブラート波形における中心音高と、当該ビブラート波形に対応する演奏期間が規定されたメロディ音符ＮＯ（ｉ）の音高との差分を中心音高差として算出する。これと共に、制御部６は、高音基準音高と低音基準音高との差分をビブラート深さとして算出する。

なお、ビブラート特徴算出処理の終了後に実行されるデータ生成処理のＳ２２０では、制御部６は、図５に示すように、ビブラート特徴量にビブラートＩＤを付与する。すなわち、制御部６は、ビブラート領域ＶＴにビブラート特徴量を対応付けることで、歌唱特徴データＳＦを生成する。

情報処理装置２の制御部６がデータ生成処理を実行することで生成した歌唱特徴データＳＦは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された歌唱特徴データＳＦは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。ただし、いずれの場合も、歌唱特徴データＳＦは、対応する楽曲のＭＩＤＩ楽曲ＭＤと対応付けて、情報処理サーバ１０の記憶部１４に記憶される。
＜表示処理＞
カラオケ装置３０の制御部５０が実行する表示処理は、表示処理を実行するための処理プログラムを起動する指令が入力されると起動される。

そして、表示処理では、起動されると、図６に示すように、制御部５０は、入力受付部３４を介して指定された楽曲に対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ９１０）。続いて、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤに対応する歌詞データを取得する（Ｓ９２０）。さらに、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤに対応する歌唱特徴データＳＦを取得する（Ｓ９３０）。

表示処理では、続いて、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤを演奏する（Ｓ９４０）。具体的にＳ９４０では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。

さらに、表示処理では、制御部５０は、Ｓ９１０にて取得したＭＩＤＩ楽曲ＭＤ、Ｓ９２０にて取得した歌詞データ、及びＳ９３０にて取得した歌唱特徴データＳＦに基づく表示を実行する（Ｓ９５０）。このＳ９５０では、具体的には、制御部５０は、ＭＩＤＩ楽曲ＭＤにおけるメロディトラック、歌詞データ、及び歌唱特徴データＳＦを映像制御部４６に出力する。その映像制御部４６は、歌詞データと、メロディトラックを構成するメロディ音符ＮＯ（ｉ）を、時間軸に沿って順次表示部６４に出力する。すると、表示部６４は、歌詞データを時間軸に沿って順次表示すると共に、図７に示すように、メロディトラックを構成するメロディ音符ＮＯ（ｉ）を時間軸に沿って順次表示する。

さらに、映像制御部４６は、歌唱特徴データＳＦに含まれるビブラート特徴量を、対応するビブラート領域ＶＴのタイミングで時間軸に沿って順次表示部６４に出力する。すると、表示部６４は、対応するビブラート領域ＶＴのタイミングでビブラート特徴量を時間軸に沿って順次表示する。

なお、Ｓ９５０では、制御部５０は、楽曲の演奏に合わせて、カラオケ装置３０の利用者が歌唱した歌唱音声の音高の推移を、映像制御部４６に出力しても良い。そして、映像制御部４６は、カラオケ装置３０の利用者が歌唱した歌唱音声の音高の推移（例えば、図７に示す実線の波形）を、メロディ音符ＮＯ（ｉ）とのズレを、利用者が認識可能な態様で表示しても良い。さらに、Ｓ９５０では、制御部５０は、プロの歌手が歌唱したボーカルデータの音高推移を、映像制御部４６に出力しても良い。そして、映像制御部４６は、プロの歌手が歌唱したボーカルデータの音高推移（即ち、ボーカル周波数推移、図７に示す破線の波形）を表示しても良い。

ところで、図７においては、ビブラート特徴量とビブラート領域ＶＴとが対応付いていることを容易に理解できるように、ビブラート領域ＶＴを図示したが、本実施形態の表示部６４には、ビブラート特徴量だけが表示され、ビブラート領域ＶＴは表示されなくとも良い。

さらに、Ｓ９５０では、制御部５０は、ビブラート特徴量を、予め規定された分類範囲ごとに分類した結果を、映像制御部４６に出力しても良い。すなわち、制御部５０は、例えば、ビブラート特徴を、制御部５０は、例えば、中心音高差が規定音高差以上高ければ、「中心音高高」に分類する。そして、制御部５０は、中心音高差が規定音高差以上低ければ、「中心音高低」に分類する。さらに、制御部５０は、例えば、ビブラート深さが規定音高差未満であれば、「ビブラート浅い」に分類する。そして、制御部５０は、ビブラート深さが規定音高差以上であれば、「ビブラート深い」に分類する。そして、制御部５０は、分類の結果をビブラート特徴として映像制御部４６に出力しても良い。この場合、映像制御部４６は、分類の結果を表示部６４に表示させる。

続いて、表示処理では、制御部５０は、楽曲の演奏を終了したか否かを判定する（Ｓ９６０）。この判定の結果、楽曲の演奏を終了していなければ（Ｓ９６０：ＮＯ）、制御部５０は、表示処理をＳ９４０へと戻す。一方、Ｓ９６０での判定の結果、楽曲の演奏が終了していれば（Ｓ９６０：ＹＥＳ）、制御部５０は、表示処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態の歌唱特徴データＳＦは、ビブラート領域ＶＴを特定しその特定したビブラート領域ＶＴに「中心音高差」、及び「ビブラート深さ」を対応付けたものである。「中心音高差」及び「ビブラート深さ」は、歌手が用いるビブラートに関する特徴を表す情報であり、歌手ごとに特有の特徴である。

そして、歌唱特徴データＳＦに基づいて表示部６４に表示するカラオケ装置３０では、「中心音高差」、及び「ビブラート深さ」を時間軸に沿って順次表示している。
このため、カラオケ装置３０のユーザは、歌唱している楽曲において、プロの歌手が、歌唱技巧としての「ビブラート」をどのように用いているのかを認識できる。この結果、カラオケ装置３０のユーザは、ユーザ自身の歌い方を、プロの歌手の歌い方により近づけることができる。

また、本実施形態のデータ生成処理では、高音基準音高及び低音基準音高を算出するために用いる、ビブラート波形において極大となる変曲点の個数と極小となる変曲点の個数とを同数としている。

このため、データ生成処理によれば、高音基準音高及び低音基準音高から特異点を除くことができ、高音基準音高及び低音基準音高の算出精度を向上させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態におけるデータ生成処理は、情報処理装置２にて実行されていたが、本発明においてデータ生成処理を実行する装置は、情報処理装置２に限るものではない。すなわち、データ生成処理を実行する装置は、情報処理サーバ１０であっても良いし、カラオケ装置３０であっても良い。この場合、情報処理装置２は、システム１から省略されていても良い。

上記実施形態における表示処理は、カラオケ装置３０にて実行されていたが、本発明において表示処理を実行する装置は、カラオケ装置３０に限るものではなく、情報処理装置２であっても良い。この場合、情報処理装置２には、映像制御部４６が設けられ、その映像制御部４６には、表示部６４が接続されている必要がある。

また、上記実施形態においては、データ生成処理と表示処理とは別個の処理として構成されていたが、本発明においては、データ生成処理と表示処理とは１つの処理として構成されていても良い。この場合、データ生成処理と表示処理とからなる１つの処理は、情報処理装置２にて実行されても良いし、カラオケ装置３０にて実行されても良い。

ところで、上記実施形態のビブラート特徴算出処理では、中心音高差と、ビブラート深さとの両方を、ビブラート特徴として算出していたが、本発明においては、中心音高差と、ビブラート深さとのうちのいずれか一方だけを、ビブラート特徴として算出しても良い。この場合、ビブラート特徴算出処理においては、Ｓ８２０及びＳ８３０が省略されていても良いし、Ｓ８４０が省略されていても良い。

なお、上記実施形態のデータ生成処理では、「中心音高差」、及び「ビブラート深さ」をビブラート領域ＶＴに対応付けることで歌唱特徴データＳＦを生成していたが、「中心音高差」、及び「ビブラート深さ」を対応付ける対象は、ビブラート領域ＶＴに限るものではない。例えば、「中心音高差」、及び「ビブラート深さ」を対応付ける対象は、ビブラート領域ＶＴを包含するメロディ音符ＮＯであっても良い。

また、この場合において、メロディ音符ＮＯに対応付ける対象は、「中心音高差」、及び「ビブラート深さ」のうちの少なくともいずれか一方であっても良い。
なお、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

１…システム ２…情報処理装置 ３…入力受付部 ４…情報出力部 ５…記憶部 ６，１６，５０…制御部 ７，１８，５２…ＲＯＭ ８，２０，５４…ＲＡＭ ９，２２，５６…ＣＰＵ １０…情報処理サーバ １２…通信部 １４…記憶部 ３０…カラオケ装置 ３２…通信部 ３４…入力受付部 ３６…楽曲再生部 ３８…記憶部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ６２…マイク ６４…表示部

Claims (5)

1. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得ステップと、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得ステップと、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出ステップと、
   前記ボーカルデータに基づいて、前記ボーカルデータにおける音高の推移を表すボーカル音高推移を決定する音高推移決定ステップと、
   前記楽譜データに基づいて前記楽曲の歌唱旋律を構成する各音符であるメロディ音符の時系列の推移を表す時系列音符推移を決定する音符推移決定ステップと、
   前記ボーカル音高推移と前記時系列音符推移とに基づいて、前記ボーカル音高推移においてビブラートを用いて歌唱された歌唱区間であるビブラート波形であって、前記メロディ音符の音高が変化しない領域ごとに分割された前記ビブラート波形を特定する特定ステップと、
   前記ビブラート波形における頂点の音高に基づいて、前記ビブラート波形における高音域の音高を表す高音基準音高、及び、前記ビブラート波形における低音域の音高を表す低音基準音高を算出する基準算出ステップと、
   前記高音基準音高及び前記低音基準音高に基づいて、前記ビブラート波形における中心音高と、前記楽譜データにおける前記歌唱区間に対応する音符の音高との差分である中心音高差、または、前記ビブラート波形における周波数軸に沿った振れ幅を表すビブラート深さのうち少なくともいずれかを決定する決定ステップと、
   前記歌唱区間に対応する前記楽譜データでの区間に、前記中心音高差、及び、前記ビブラート深さのうち少なくともいずれかを対応付けることで、歌唱特徴データを生成するデータ生成ステップと
   をコンピュータに実行させることを特徴とするプログラム。
2. 前記決定ステップは、前記高音基準音高と前記低音基準音高との差分を、前記ビブラート深さとして算出するように構成されており、
   前記第１取得ステップで取得された楽譜データを構成する複数の音符を、表示部に表示させ、前記歌唱特徴データに含まれる前記ビブラート深さに基づいてビブラートの特徴を「浅い」又は「深い」に分類した結果を、前記歌唱区間に対応する前記楽譜データでの区間と対応付けて、前記表示部に表示させる表示制御ステップを更に有すること、
   を特徴とする請求項１に記載のプログラム。
3. 前記基準算出ステップは、
   前記ビブラート波形における変曲点を検出する頂点検出ステップと、
   前記ビブラート波形の変曲点のうち、極大となる変曲点における音高の代表値を、前記高音基準音高として算出する高音基準算出ステップと、
   前記ビブラート波形の変曲点のうち、極小となる変曲点における音高の代表値を、前記低音基準音高として算出する低音基準算出ステップと、
   を前記コンピュータに実行させるものであって、
   前記ビブラート波形において極小となる変曲点の個数と、前記ビブラート波形において極大となる変曲点の個数とを同数として、前記高音基準音高及び前記低音基準音高を算出するように構成されていること、
   を特徴とする請求項１または請求項２に記載のプログラム。
4. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、第１記憶部から取得する第１取得手段と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、第２記憶部から取得する第２取得手段と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを抽出する抽出手段と、
   前記ボーカルデータに基づいて、前記ボーカルデータにおける音高の推移を表すボーカル音高推移を決定する音高推移決定手段と、
   前記楽譜データに基づいて前記楽曲の歌唱旋律を構成する各音符であるメロディ音符の時系列の推移を表す時系列音符推移を決定する音符推移決定手段と、
   前記ボーカル音高推移と前記時系列音符推移とに基づいて、前記ボーカル音高推移においてビブラートを用いて歌唱された歌唱区間であるビブラート波形であって、前記メロディ音符の音高が変化しない領域ごとに分割された前記ビブラート波形を特定する特定手段と、
   前記ビブラート波形における頂点の音高に基づいて、前記ビブラート波形における高音域の音高を表す高音基準音高、及び、前記ビブラート波形における低音域の音高を表す低音基準音高を算出する基準算出手段と、
   前記高音基準音高及び前記低音基準音高に基づいて、前記ビブラート波形における中心音高と、前記楽譜データにおける前記歌唱区間に対応する音符の音高との差分である中心音高差、または、前記ビブラート波形における周波数軸に沿った振れ幅を表すビブラート深さのうち少なくともいずれかを決定する決定手段と、
   前記歌唱区間に対応する前記楽譜データでの区間に、前記中心音高差、及び、前記ビブラート深さのうち少なくともいずれかを対応付けることで、歌唱特徴データを生成するデータ生成手段と
   を備えることを特徴とする情報処理装置。
5. 複数の音符によって構成された楽曲の楽譜を表す楽譜データであって、前記複数の音符のそれぞれに、音高及び演奏期間が対応付けられた楽譜データを、情報処理装置が第１記憶部から取得する第１取得手順と、
   前記楽曲を歌唱したボーカル音を含む楽曲データを、前記情報処理装置が第２記憶部から取得する第２取得手順と、
   前記楽曲データから前記ボーカル音を表すボーカルデータを、前記情報処理装置が抽出する抽出手順と、
   前記ボーカルデータに基づいて、前記ボーカルデータにおける音高の推移を表すボーカル音高推移を、前記情報処理装置が決定する音高推移決定手順と、
   前記楽譜データに基づいて前記楽曲の歌唱旋律を構成する各音符であるメロディ音符の時系列の推移を表す時系列音符推移を、前記情報処理装置が決定する音符推移決定手順と、
   前記ボーカル音高推移と前記時系列音符推移とに基づいて、前記ボーカル音高推移においてビブラートを用いて歌唱された歌唱区間であるビブラート波形であって、前記メロディ音符の音高が変化しない領域ごとに分割された前記ビブラート波形を、前記情報処理装置が特定する特定手順と、
   前記ビブラート波形における頂点の音高に基づいて、前記ビブラート波形における高音域の音高を表す高音基準音高、及び、前記ビブラート波形における低音域の音高を表す低音基準音高を、前記情報処理装置が算出する基準算出手順と、
   前記高音基準音高及び前記低音基準音高に基づいて、前記ビブラート波形における中心音高と、前記楽譜データにおける前記歌唱区間に対応する音符の音高との差分である中心音高差、または、前記ビブラート波形における周波数軸に沿った振れ幅を表すビブラート深さのうち少なくともいずれかを、前記情報処理装置が決定する決定手順と、
   前記歌唱区間に対応する前記楽譜データでの区間に、前記中心音高差、及び、前記ビブラート深さのうち少なくともいずれかを対応付けることで、前記情報処理装置が歌唱特徴データを生成するデータ生成手順と
   を備えることを特徴とするデータ生成方法。