JP6252408B2 - 表示制御装置，及び表示制御システム - Google Patents

Description

本発明は、歌唱技巧の実現の成否を通知する技術に関する。

従来、楽曲を構成する構成音それぞれの音高及び音長を表す楽曲データに従って、当該楽曲を演奏するカラオケ装置が知られている（特許文献１参照）。
特許文献１に記載されたカラオケ装置では、楽曲の演奏中に入力された音声を順次周波数解析した結果に従って特定した歌唱音高から、構成音の音高である基準音高を減算して特定音高差を導出する。これと共に、特許文献１に記載されたカラオケ装置では、基準音高を軸として歌唱音高と対称となるように、歌唱音高を特定音高差の２倍分シフトした音高の補助音を出力する。このとき、補助音の音量は、特定音高差が大きいほど大きく、特定音高差が「０」であれば「０（即ち、消音した状態）」となるように制御される。

特開２０１０−２３１０７０号公報

特許文献１に記載されたカラオケ装置の利用者は、補助音が出力されている場合、歌唱音高と基準音高との間にズレが生じていることを認識できる。そして、歌唱音が補助音に引っ張られることで、歌唱音の音高を基準音高に近づけることができる。

しかしながら、特許文献１に記載されたカラオケ装置では、当該楽曲において用いられるべき歌唱技巧を、利用者が実現できているか否かを、利用者に認識させることができず、その歌唱技巧を利用者に実現させることができないという課題がある。

つまり、従来の技術では、楽曲にて用いられるべき歌唱技巧の実現の成否を利用者に認識させることができず、かつ、その歌唱技巧を利用者に実現させることができないという課題がある。

そこで、本発明は、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者に実現させることが可能な技術を提供することを目的とする。

上記目的を達成するためになされた本発明は、楽曲に関する情報の表示を制御する表示制御装置に関する。
本発明においては、音高と音価との組み合わせからなる音符を複数有し、複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、特定楽曲を構成する音符であって、歌詞が割り当てられた音符を構成音符とする。

そして、本発明の表示制御装置は、特徴データ取得手段と、特徴量算出手段と、比較手段と、表示制御手段とを備えている。
特徴データ取得手段は、歌唱特徴データを取得する。ここで言う歌唱特徴データは、指定された歌手である指定歌手が楽曲を歌唱したボーカル音を含む楽曲データから、ボーカ
ル音を表すボーカルデータを抽出するステップと、楽曲を構成する複数の音符から構成される楽譜データを取得するステップと、その取得した楽譜データを構成する各音符及びボーカルデータに基づいて、楽曲における歌唱旋律を構成する音符それぞれに対応するボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータに対応する音符にて指定歌手が用いる歌唱技巧の特徴量を表す技巧特徴量を決定するステップと、特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる構成音符に、構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティが一致する音符での技巧特徴量を対応付けることで、特定楽曲を構成する構成音符の各々での指定歌手の技巧特徴量を表す歌唱特徴データを生成するステップとを実行することで生成されたものである。

特徴量算出手段は、特定楽曲の演奏中に入力された音声データを解析し、音声データにて表現された構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する。比較手段は、特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する。表示制御手段は、比較手段での比較の結果、技巧特徴量と歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符に対して用いるべき歌唱技巧を表示する表示制御を実行する。

このような表示制御装置によれば、技巧差分が規定条件を満たしていない構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符（即ち、対象音符）に対して用いるべき歌唱技巧を表示できる。

この結果、表示制御装置の利用者は、楽曲にて用いるべき歌唱技巧を実現できたか否かを認識できる。
しかも、本発明の表示制御装置によれば、対象音符に対して用いるべき歌唱技巧を表示している。そして、この表示を視認した利用者は、当該対象音符を歌唱する際にその歌唱技巧を実現するように留意する。このため、本発明の表示制御装置によれば、利用者自身が歌唱した際の歌唱技巧を、指定歌手が歌唱した場合に用いる歌唱技巧に近づけることができる。

このような表示制御装置によれば、利用者自身の歌唱を指定歌手の歌唱態様に近づけることができる。
これらのことから、本発明の表示制御装置によれば、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者が実現可能となる。

本発明における表示制御手段は、歌唱特徴データに含まれる技巧特徴量が歌唱技巧を実行したことを表し、かつ、歌唱特徴量が歌唱技巧を未実行であることを表している場合、技巧差分が規定条件を満たしていないものとし、歌唱技巧での歌唱が未実行である旨を表示することを表示制御として実行しても良い。

このような表示制御装置によれば、歌唱技巧での歌唱が未実行である旨を利用者に認識させることができる。
また、本発明における表示制御手段は、歌唱特徴データに含まれる技巧特徴量が歌唱技巧を未実行であることを表し、かつ、歌唱特徴量が歌唱技巧を実行したことを表している場合、技巧差分が規定条件を満たしていないものとし、歌唱技巧での歌唱が不要である旨を表示することを表示制御として実行しても良い。

このような表示制御装置によれば、歌唱技巧が不要である旨、即ち、歌唱技巧が過剰で
あることを利用者に認識させることができる。
さらに、本発明における歌唱技巧として、「ビブラート」を含んでいても良い。この場合、表示制御手段は、比較手段での比較の結果、歌唱特徴量におけるビブラートの特徴量と、技巧特徴量におけるビブラートの特徴量との差分が予め規定された第１閾値範囲を超えていれば、技巧差分が規定条件を満たしていないものとすれば良い。

このような表示制御装置によれば、歌唱技巧としての「ビブラート」の成否を利用者に認識させることができる。
また、本発明における歌唱技巧として、「しゃくり」を含んでいても良い。「しゃくり」とは、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する技巧である。この場合、表示制御手段は、比較手段での比較の結果、歌唱特徴量におけるしゃくりの特徴量と、技巧特徴量におけるしゃくりの特徴量との差分が予め規定された第２閾値範囲を超えていれば、技巧差分が規定条件を満たしていないものとすれば良い。

このような表示制御装置によれば、歌唱技巧としての「しゃくり」の成否を利用者に認識させることができる。
ところで、本発明は、ボーカル取得手段と、楽譜取得手段と、特徴量決定手段と、特徴生成手段と、特徴データ取得手段と、特徴量算出手段と、比較手段と、表示制御手段とを備え、楽曲に関する情報の表示を制御する表示制御システムとしてなされていても良い。

本発明の表示制御システムにおいては、ボーカル取得手段が、楽曲データからボーカルデータを抽出する。楽譜取得手段は、楽譜データを取得する。特徴量決定手段は、楽譜取得手段で取得した楽譜データを構成する各音符及びボーカル取得手段で取得したボーカルデータに基づいて、音符ボーカルデータを特定して、各音符ボーカルデータにおける技巧特徴量を決定する。特徴生成手段が、特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる構成音符に、音符プロパティが一致する音符での技巧特徴量を対応付けることで、歌唱特徴データを生成する。

さらに、本発明の表示制御システムにおいては、特徴データ取得手段が、特徴生成手段で生成した歌唱特徴データを取得する。特徴量算出手段は、特定楽曲の演奏中に入力された音声データを解析し、歌唱特徴量を算出する。比較手段が、特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する。

そして、表示制御手段が、比較手段での比較の結果、技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符に対して用いるべき歌唱技巧を表示する表示制御を実行する。

このようなシステムであっても、請求項１に係る発明と同様の効果を得ることができる。

カラオケシステムの概略構成を示すブロック図である。 技巧特徴生成処理の処理手順を示すフローチャートである。 技巧特徴データの概要を説明する説明図である。 歌唱特徴生成処理の処理手順を示すフローチャートである。 歌唱特徴データの概要を説明する説明図である。 カラオケ演奏処理の処理手順を示すフローチャートである。 カラオケ演奏処理における表示の一例を示す図である。 カラオケ演奏処理における表示の態様を示す図である。

以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示すカラオケシステム１は、ユーザが指定した楽曲である特定楽曲を演奏すると共に、ユーザが指定した歌手である指定歌手が特定楽曲を歌唱した場合に表出する指定歌手の歌唱技巧の特徴を表示させるシステムである。

このようなカラオケシステム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理装置２は、楽曲ごとに用意された楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて技巧特徴データＳＦを算出する。ここで言う技巧特徴データＳＦとは、歌手の歌い方における特徴を表すデータである。ここで言う歌手には、プロの歌手、及びアマチュアの歌手を含む。

情報処理サーバ１０には、情報処理装置２にて算出された技巧特徴データＳＦ及びＭＩＤＩ楽曲ＭＤに基づいて、特定楽曲を指定歌手が歌唱した場合の歌唱技巧の特徴量を表す歌唱特徴データＭＳを生成する。

カラオケ装置３０は、情報処理サーバ１０に記憶されたＭＩＤＩ楽曲ＭＤに従って特定楽曲を演奏すると共に、情報処理サーバ１０にて生成された歌唱特徴データＭＳに基づいて、指定歌手が特定楽曲を歌唱した場合の歌唱技巧の特徴を報知する。
＜楽曲データ＞
次に、楽曲データＷＤは、特定の楽曲ごとに予め用意されたものであり、楽曲に関する情報が記述された楽曲管理情報と、楽曲の演奏音を表す原盤波形データとを備えている。楽曲管理情報には、楽曲を識別する楽曲識別情報（以下、楽曲ＩＤと称す）と、当該楽曲を歌唱した歌手を識別する歌手識別情報（以下、歌手ＩＤと称す）とが含まれる。

本実施形態の原盤波形データは、複数の楽器の演奏音と、歌唱旋律を歌手が歌唱したボーカル音とを含む音声データである。この音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。

なお、以下では、原盤波形データに含まれる楽器の演奏音を表す音声波形データを伴奏データと称し、原盤波形データに含まれるボーカル音を表す音声波形データをボーカルデータと称す。

本実施形態の伴奏データに含まれる楽器の演奏音としては、打楽器（例えば、ドラム，太鼓，シンバルなど）の演奏音，弦楽器（例えば、ギター，ベースなど）の演奏音，打弦楽器（例えば、ピアノ）の演奏音，及び管楽器（例えば、トランペットやクラリネットなど）の演奏音がある。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲管理情報と、演奏データと、歌詞データとを有している。

このうち、楽曲管理情報は、楽曲ＩＤと、歌手ＩＤとを含む。
演奏データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。こ
の演奏データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。

一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。

具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音の音符ＮＯと、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、外部出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。

入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。外部出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。

記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも１つの楽曲データＷＤと、少なくとも１つのＭＩＤＩ楽曲ＭＤとが、共通する楽曲ごとに対応付けられて記憶されている。

制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ７には、技巧特徴生成処理を、制御部６が実行するための処理プログラムが記憶されている。技巧特徴生成処理は、記憶部５に記憶されている楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、技巧特徴データＳＦを生成する処理である。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも１つのＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、１以上の自然数である。さらに、記憶部１４には、情報処理装置２がデータ生成処理を実行することで生成された技巧特徴データＳＦが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されている技巧特徴データＳＦを識別する識別子であり、１以上の自然数である。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。

制御部１６のＲＯＭ１８には、歌唱特徴生成処理を、制御部１６が実行するための処理プログラムが格納されている。歌唱特徴生成処理は、カラオケ装置３０のユーザが指定した楽曲（即ち、特定楽曲）を、そのユーザが模範とする人物として指定した指定歌手が歌唱した場合に表出する歌唱技巧の特徴を表す歌唱特徴データＭＳを生成する処理である。なお、指定歌手は、特定楽曲を歌唱した独自の（オリジナルな）歌手自身であっても良いし、特定楽曲を歌唱した独自の歌手とは異なる歌手であっても良い。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。

この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。

制御部５０のＲＯＭ５２には、カラオケ演奏処理を、制御部５０が実行するための処理プログラムが格納されている。カラオケ演奏処理は、ユーザが指定した特定楽曲を演奏すると共に、歌唱特徴データＭＳに基づいて、その特定楽曲を指定歌手が歌唱した場合に表出する歌唱技巧の特徴を表示部６４に表示する処理である。
＜技巧特徴生成処理＞
次に、情報処理装置２の制御部６が実行する技巧特徴生成処理について説明する。

この技巧特徴生成処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
そして、図２に示す技巧特徴生成処理が起動されると、まず、制御部６は、情報処理装置２の入力受付部（図示せず）を介して入力された歌手ＩＤを取得する（Ｓ１０５）。続いて、制御部６は、情報処理装置２の記憶部５に記憶されている全ての楽曲データＷＤの中から、Ｓ１０５にて取得した歌手ＩＤを含む一つの楽曲データＷＤを取得する（Ｓ１１０）。

さらに、技巧特徴生成処理では、制御部６は、情報処理装置２の記憶部５に記憶されている全てのＭＩＤＩ楽曲ＭＤの中から、Ｓ１１０で取得した楽曲データＷＤと同一の楽曲ＩＤが対応付けられた一つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ１２０）。すなわち、Ｓ１１０及びＳ１２０では、制御部６は、同一の楽曲に対する楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤを取得する。

続いて、制御部６は、Ｓ１１０にて取得した楽曲データＷＤ（以下、「取得楽曲データ」と称す）における各音符に対応する各音の再生時間に、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤ（以下、「取得ＭＩＤＩ」と称す）を構成する各音符の演奏タイミングが一致するように、その取得ＭＩＤＩを調整する（Ｓ１３０）。このＳ１３０における取得ＭＩＤＩを調整する手法として、周知の手法（例えば、特許第５３１０６７７号に記載の手法）を用いることが考えられる。特許第５３１０６７７号に記載の手法では、具体的には、制御部６は、取得ＭＩＤＩをレンダリングし、その取得ＭＩＤＩのレンダリング結果と取得楽曲データの原盤波形データとの双方を規定時間単位でスペクトルデータに変換する。そして、双方のスペクトルデータ上の時間が同期するように、各演奏音の演奏開始タイミング及び演奏終了タイミングを修正する。なお、スペクトルデータ上の時間が同期するように調整する際には、ＤＰマッチングを用いても良い。

技巧特徴生成処理では、制御部６は、取得楽曲データＷＤに含まれる原盤波形データを取得する（Ｓ１４０）。続いて、制御部６は、Ｓ１４０にて取得した原盤波形データから、ボーカルデータと伴奏データとを分離して抽出する（Ｓ１５０）。このＳ１５０における伴奏データとボーカルデータとの分離手法として、周知の手法（例えば、特開２００８−１３４６０６に記載された“ＰｒｅＦＥｓｔ”）を使って推定された音高および調波成分を利用する手法が考えられる。なお、ＰｒｅＦＥｓｔとは、原盤波形データにおいて最も優勢な音声波形をボーカルデータとみなしてボーカルの音高（即ち、基本周波数）およ
び調波成分の大きさを推定する手法である。

さらに、制御部６は、Ｓ１３０にて時間調整が実施されたＭＩＤＩ楽曲ＭＤ（以下、「調整済ＭＩＤＩ」と称す）と、Ｓ１５０で抽出したボーカルデータとに基づいて、音符ボーカルＶｏ（ａ，ｉ）を特定する（Ｓ１６０）。音符ボーカルＶｏ（ａ，ｉ）とは、ボーカルデータにおいて、歌唱旋律を構成する各音符ＮＯ（ａ，ｉ）に対応する区間である。Ｓ１６０においては、制御部６は、Ｓ１５０で抽出したボーカルデータに、調整済ＭＩＤＩにおける演奏開始タイミングｎｎｔ（ａ，ｉ）及び演奏終了タイミングｎｆｔ（ａ，ｉ）を照合することで、音符ボーカルＶｏ（ａ，ｉ）を特定する。なお、符号ａは、楽曲を識別する符号であり、符号ｉは、楽曲における歌唱旋律の音符ＮＯを識別する符号である。

さらに、技巧特徴生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）での複数の歌唱技巧についての評価を表す技巧特徴量Ｓ（ａ，ｉ）を決定する（Ｓ１７０）。ここで言う複数の歌唱技巧には、少なくとも“ビブラート”，“しゃくり”を含む。なお、“しゃくり”とは、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する技巧である。

このうち、“ビブラート”についての技巧特徴量（以下、「ビブラート特徴量」と称す）ｖｉｂの算出では、制御部６は、まず、音符ボーカルＶｏ（ａ，ｉ）それぞれについて周波数解析（ＤＦＴ）を実施する。そして、制御部６は、下記（１）式に従って、ビブラート特徴量ｖｉｂを算出する。

ｖｉｂ（ａ，ｉ）＝ｖｉｂ＿ｐｅｒ（ａ，ｉ）×ｖｉｐ＿ｄｅｐ（ａ，ｉ） （１）
ただし、上記（１）式におけるｖｉｂ＿ｐｅｒ（ａ，ｉ）は、各音符ボーカルＶｏ（ａ，ｉ）におけるスペクトルピークの突出精度を表す指標である。このｖｉｂ＿ｐｅｒは、周波数解析結果（即ち、振幅スペクトル）のピーク値を、周波数解析結果の平均値で除すことで求めれば良い。また、上記（１）式におけるｖｉｐ＿ｄｅｐは、各音符ボーカルＶｏ（ａ，ｉ）の標準偏差である。

“しゃくり”についての技巧特徴量（以下、「しゃくり特徴量」と称す）ｒｉｓｅ（ａ，ｉ）の算出では、制御部６は、まず、ボーカルデータの音高時間変化を微分した微分変化を算出する。続いて、制御部６は、各音符ＮＯ（ａ，ｉ）の演奏開始タイミングｎｎｔ（ａ，ｉ）以前で、微分変化が時間軸に沿って正の値となったタイミングを特定する。さらに、制御部６は、その特定した各タイミングから演奏開始タイミングｎｎｔ（ａ，ｉ）までの区間におけるボーカルデータの音高時間変化と予め規定された模範曲線との相互相関値を、しゃくり特徴量ｒｉｓｅ（ａ，ｉ）として算出する。

さらに、技巧特徴生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）に対応する音符ＮＯ（ａ，ｉ）の音符プロパティｐ（ａ，ｉ）を特定する（Ｓ１８０）。本実施形態のＳ１８０では、具体的には、制御部６は、取得ＭＩＤＩから、その取得ＭＩＤＩに規定された各音符ＮＯ（ａ，ｉ）の情報を音符プロパティｐ（ａ，ｉ）として抽出して特定する。

ここで言う音符プロパティｐ（ａ，ｉ）には、特定音符属性と、前音符属性と、後音符属性とを含む。
特定音符属性とは、音符ＮＯ（ａ，ｉ）の属性を表す情報である。この特定音符属性には、音符ＮＯ（ａ，ｉ）の音階（音高）、音符長、歌詞の音節、及び歌詞の母音を含む。また、前音符属性とは、時間軸に沿って音符ＮＯ（ａ，ｉ）の一つ前の音符（以下、前音符と称す）ＮＯ（ａ，ｉ−１）の属性を表す情報である。この前音符属性には、前音符Ｎ
Ｏ（ａ，ｉ）の音階（音高）、音符長、歌詞の音節、及び前音符ＮＯ（ａ，ｉ−１）と音符ＮＯ（ａ，ｉ）との間の時間長（即ち、無音期間）を含む。

さらに、後音符属性とは、時間軸に沿って特定音符ＮＯ（ａ，ｉ）の一つ後の音符（以下、後音符と称す）ＮＯ（ａ，ｉ＋１）の属性を表す情報である。この後音符属性には、音階（音高）、音符長、歌詞の音節、及び音符ＮＯ（ａ，ｉ）と後音符ＮＯ（ａ，ｉ＋１）との間の時間長（即ち、無音期間）を含む。

なお、音符プロパティｐ（ａ，ｉ）における音符長、及び音符間の時間長は、予め規定された階級へと量子化されたものでも良い。
技巧特徴生成処理では、続いて、制御部６は、Ｓ１８０で特定した各音符ＮＯ（ａ，ｉ）の音符プロパティｐ（ａ，ｉ）を、対応する音符ＮＯ（ａ，ｉ）の技巧特徴量Ｓ（ａ，ｉ）と対応付ける（Ｓ１９０）。

さらに、技巧特徴生成処理では、制御部６は、Ｓ１０５にて取得した歌手ＩＤが対応付けられた楽曲のうち、予め設定された設定条件を満たす全楽曲について、Ｓ１１０からＳ１９０のステップを完了したか否かを判定する（Ｓ２００）。ここで言う設定条件とは、Ｓ１０５にて取得した歌手ＩＤが対応付けられ、楽曲データＷＤとＭＩＤＩ楽曲ＭＤとの双方が用意されていることである。

このＳ２００での判定の結果、設定条件を満たす全楽曲について、Ｓ１１０からＳ１９０のステップを完了していなければ（Ｓ２００：ＮＯ）、制御部６は、技巧特徴生成処理をＳ１１０へと戻す。そして、制御部６は、Ｓ１０５にて指定された歌手ＩＤが対応付けられた楽曲データＷＤの中から、新たな楽曲データＷＤを取得し（Ｓ１１０）、さらに、その楽曲データＷＤに対応するＭＩＤＩ楽曲ＭＤを取得して（Ｓ１２０）、Ｓ１３０からＳ２００のステップを実行する。

一方、Ｓ２００での判定の結果、全楽曲について、Ｓ１１０からＳ１９０のステップを完了していれば（Ｓ２００：ＹＥＳ）、制御部６は、技巧特徴生成処理をＳ２１０へと移行させる。

そのＳ２１０では、制御部６は、技巧特徴量Ｓ（ａ，ｉ）について、対応付けられた音符プロパティｐが共通するものごとに代表値を算出する。
すなわち、本実施形態のＳ２１０では、制御部６は、特定音符属性と前音符属性と後音符属性との全てが共通する音符ＮＯごとに、それらの属性が共通する音符ＮＯにおける技巧特徴量Ｓそれぞれの相加平均を、技巧特徴量Ｓの代表値として算出する。つまり、Ｓ２１０では、技巧特徴量Ｓの代表値として、各音符プロパティｐごとに、ビブラート特徴量ｖｉｂの代表値と、しゃくり特徴量ｒｉｓｅの代表値とが算出される。

このＳ２１０にて代表値として算出する相加平均は、技巧特徴量Ｓ（ａ，ｉ）を算出した全ての楽曲の範囲内で実施する。なお、Ｓ２１０において算出する代表値は、相加平均の結果に限るものではなく、中央値や最頻値であっても良い。

続いて、制御部６は、Ｓ２１０にて算出された技巧特徴量Ｓの代表値を、対応する音符プロパティｐ及び歌手ＩＤと対応付けることで、技巧特徴データＳＦを生成して記憶部５に記憶する（Ｓ２２０）。

その後、制御部６は、本技巧特徴生成処理を終了する。
つまり、技巧特徴生成処理では、歌手の歌い方における特徴を表す技巧特徴データＳＦを歌手ごとに生成する。この技巧特徴生成処理にて生成される技巧特徴データＳＦは、図
３に示すように、歌手の歌手ＩＤと、共通する音符プロパティｐにおける技巧特徴量Ｓの代表値と、その共通する音符プロパティｐが対応付けられたものである。

なお、情報処理装置２の制御部６が技巧特徴生成処理を実行することで生成される技巧特徴データＳＦは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された技巧特徴データＳＦは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。
＜歌唱特徴生成処理＞
次に、情報処理サーバ１０の制御部１６が実行する歌唱特徴生成処理について説明する。

図４に示す歌唱特徴生成処理が起動されると、制御部１６は、記憶部１４に記憶されている全てのＭＩＤＩ楽曲ＭＤの中から１つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ３１０）。このＳ３１０にて制御部１６が取得する１つのＭＩＤＩ楽曲ＭＤは、カラオケ演奏処理のＳ５１０（詳しくは後述）にて指定された楽曲に対応するＭＩＤＩ楽曲ＭＤであっても良いし、情報処理サーバ１０に接続された入力装置（図示せず）を介して指定された楽曲に対応するＭＩＤＩ楽曲ＭＤであっても良い。

続いて、制御部１６は、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤを分析し、そのＭＩＤＩ楽曲ＭＤにおける歌唱旋律を構成する各音符ＮＯ（ｂ，ｉ）の音符プロパティｐ（ｂ，ｉ）を特定する（Ｓ３２０）。ここでの符号ｂは、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲を識別する符号である。

そして、歌唱特徴生成処理では、制御部１６は、記憶部１４に記憶されている全ての技巧特徴データＳＦの中から、１つの技巧特徴データＳＦを取得する（Ｓ３３０）。このＳ３３０にて制御部１６が取得する１つの技巧特徴データＳＦは、カラオケ演奏処理のＳ５２０（詳しくは後述）にて指定された歌手（即ち、指定歌手）に対応する技巧特徴データＳＦであっても良いし、情報処理サーバ１０に接続された入力装置（図示せず）を介して指定された歌手に対応する技巧特徴データＳＦであっても良い。

続いて、制御部１６は、歌唱特徴データＭＳを生成する（Ｓ３４０）。このＳ３４０での歌唱特徴データＭＳの生成は、Ｓ３２０での分析によって特定された各音符ＮＯ（ｂ，ｉ）に、Ｓ３３０にて取得した技巧特徴データＳＦに含まれる技巧特徴量Ｓであり、かつ特定の条件を満たす技巧特徴量Ｓの代表値を割り当てることで実現する。なお、ここで言う特定の条件とは、各音符ＮＯ（ｂ，ｉ）における音符プロパティｐ（ｂ，ｉ）と一致する音符プロパティｐが対応付けられた技巧特徴量Ｓであることである。

ところで、技巧特徴量Ｓの中に、特定の条件を満たす技巧特徴量Ｓが存在しない場合も考えられる。この場合のＳ３４０では、制御部１６は、音符ＮＯ（ｂ，ｉ）の音符プロパティｐ（ｂ，ｉ）に近接する音符プロパティｐが対応付けられた技巧特徴量Ｓの代表値を、その音符ＮＯ（ｂ，ｉ）に割り当てれば良い。ここで言う近接する音符プロパティｐとは、例えば、音階が１音違う、音符長が１階級違うことなどである。また、上記の方法とは別に、制御部１６は、時間及び周波数の２つの軸について、両隣の２つの音符ＮＯ（ｂ，ｉ−１），ＮＯ（ｂ，ｉ＋１）に対応する技巧特徴量Ｓの代表値を平均した値を、その音符ＮＯ（ｂ，ｉ）に割り当てても良い。

さらに、Ｓ３４０では、制御部１６は、生成した歌唱特徴データＭＳに、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤに含まれる楽曲ＩＤと、Ｓ３３０にて取得した技巧特徴データＳＦに含まれる歌手ＩＤ（即ち、指定歌手の歌手ＩＤ）とを付与して記憶部１４に記憶す
る。

その後、本歌唱特徴生成処理を終了する。
つまり、歌唱特徴生成処理では、図５に示すように、ＭＩＤＩ楽曲ＭＤにおける歌唱旋律を構成する各音符ＮＯ（ｂ，ｉ）に、その音符ＮＯ（ｂ，ｉ）の音符プロパティｐと共通する音符プロパティｐが対応付けられた技巧特徴量Ｓの代表値を割り当てる。これにより、情報処理サーバ１０の制御部１６は、歌唱特徴データＭＳを生成する。
＜カラオケ演奏処理＞
次に、カラオケ装置３０の制御部５０が実行するカラオケ演奏処理について説明する。

このカラオケ演奏処理は、カラオケ演奏処理を実行するための処理プログラムを起動する指令が入力されると起動される。
図６に示すカラオケ演奏処理では、起動されると、制御部５０は、まず、入力受付部３４を介して指定された楽曲（即ち、特定楽曲）に対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ５１０）。続いて、制御部５０は、情報処理サーバ１０の記憶部１４に格納されている全ての歌唱特徴データＭＳの中から、入力受付部３４を介して指定された指定歌手が特定楽曲を歌唱した場合の歌唱技巧を表す歌唱特徴データＭＳを取得する（Ｓ５２０）。

さらに、カラオケ演奏処理では、制御部５０は、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤ及びＳ５２０にて取得した歌唱特徴データＭＳに基づいて、技巧音符ＮＯを特定する（Ｓ５３０）。ここで言う技巧音符ＮＯとは、指定歌手が特定楽曲を歌唱する場合に、歌唱技巧が用いられる特定楽曲上の音符である。具体的に本実施形態においては、予め規定された閾値以上の技巧特徴量Ｓと対応付けられた音符ＮＯ（ｃ，ｉ）それぞれを技巧音符ＮＯ（ｃ，ｉ）として特定すれば良い。つまり、ＭＩＤＩ楽曲ＭＤの音符ＮＯ（ｃ，ｉ）において、その音符ＮＯ（ｃ，ｉ）に対応する“ビブラート特徴量ｖｉｂ”が第１閾値以上であれば、指定歌手が「ビブラート」を用いる技巧音符ＮＯ（ｃ，ｉ）であるものと特定する。また、歌唱特徴データＭＳの音符ＮＯ（ｃ，ｉ）において、その音符ＮＯ（ｃ，ｉ）に対応する“しゃくり特徴量ｒｉｓｅ”が第２閾値以上であれば、指定歌手が「しゃくり」を用いる技巧音符ＮＯ（ｃ，ｉ）であるものと特定する。

なお、ここでの符号ｃは、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲を識別する符号である。
さらに、Ｓ５３０では、制御部５０は、技巧音符ＮＯ（ｃ，ｉ）それぞれに対して技巧情報を初期値に設定する。本実施形態における技巧情報とは、各技巧音符ＮＯ（ｃ，ｉ）にて指定歌手が用いる歌唱技巧の種類を表す情報である。

続いて、制御部５０は、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤを演奏し、歌詞を含む各種情報を表示部６４に表示する（Ｓ５４０）。
具体的にＳ５４０におけるＭＩＤＩ楽曲ＭＤの演奏では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを時間軸に沿って順次出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。

また、Ｓ５４０では、制御部５０は、各種情報を表す画像信号を映像制御部４６に出力する。その画像信号を取得した映像制御部４６は、楽曲再生部３６での特定楽曲の演奏に同期させて、各種情報を表示部６４に表示する。なお、表示部６４に表示される各種情報には、特定楽曲の各音符ＮＯにおける歌詞の他に、技巧情報、及び各技巧音符ＮＯ（ｃ，ｉ）において、カラオケ装置３０のユーザが歌唱技巧を再現できたか否かを表す成否情報
を含む。

本実施形態においては、図７に示すように特定楽曲の歌唱旋律を構成する各音符ＮＯがピアノロール状に表示されても良い。この場合、そのピアノロール状に表示された各音符ＮＯ上に、その音符ＮＯに割り当てられた歌詞が表示されても良い。さらに、本実施形態においては、技巧音符ＮＯ（ｃ，ｉ）にて用いられる歌唱技巧が「ビブラート」であれば、「ビブラート」を意味するアイコンが技巧情報として、当該技巧音符ＮＯに表示されても良い。「ビブラート」を意味するアイコンは、“波形”のアイコンであっても良い。なお、技巧音符ＮＯ（ｃ，ｉ）にて用いられる歌唱技巧が「しゃくり」であれば、「しゃくり」を意味するアイコンが技巧情報として、当該技巧音符ＮＯに表示されても良い。「しゃくり」を意味するアイコンは、“上向きの矢印”のアイコンであっても良い。

続いて、カラオケ演奏処理では、制御部５０は、マイク６２及びマイク入力部４４を介して入力された音声を歌唱音声データとして取得する（Ｓ５５０）。そして、制御部５０は、Ｓ５３０にて取得した歌唱音声データを記憶部３８に記憶する（Ｓ５６０）。

続いて、カラオケ演奏処理では、制御部５０は、記憶部３８に記憶されている歌唱音声データに基づいて、楽曲における時間軸に沿った歌唱音声データから、音符歌唱データＶｏｓ（ｃ，ｉ）を抽出する（Ｓ５７０）。ここで言う音符歌唱データＶｏｓとは、現時点音符ＮＯ（ｃ，ｉ）を歌唱した歌唱波形である。この音符歌唱データの特定は、例えば、「ボーカルデータ」を「歌唱音声データ」へと読み替えた上で、特徴量算出処理におけるＳ１６０と同様の手法を用いれば良い。

続いて、カラオケ演奏処理では、制御部５０は、各音符歌唱データＶｏｓ（ｃ，ｉ）における歌唱技巧の特徴量を表す歌唱特徴量ＳＳ（ｃ，ｉ）を算出する（Ｓ５８０）。ここで言う歌唱特徴量ＳＳ（ｃ，ｉ）には、歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）と、歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）とを含む。

このうち、歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）は、音符歌唱データＶｏｓ（ｃ，ｉ）における“ビブラート”についての歌唱技巧量である。歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）は、音符歌唱データＶｏｓ（ｃ，ｉ）における“しゃくり”についての歌唱技巧量である。これらの歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）、歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）の算出方法は、「ボーカルデータ」を「歌唱音声データ」へと、「音符ボーカル」を「音符歌唱データ」へと読み替えた上で、特徴量算出処理におけるＳ１７０と同様の手法を用いれば良い。

カラオケ演奏処理では、続いて、制御部５０は、Ｓ５２０にて取得した歌唱特徴データに含まれる技巧特徴量Ｓ（ｃ，ｉ）と、Ｓ５８０にて算出した歌唱特徴量ＳＳ（ｃ，ｉ）とを、現時点音符ＮＯ（ｃ，ｉ）について比較する（Ｓ５９０）。そして、制御部５０は、Ｓ５９０での比較の結果、技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）との差分である技巧差分が、予め規定された規定条件を満たしているか否かを判定する（Ｓ５９０）。ここで言う規定条件とは、指定歌手が用いた歌唱技巧をユーザが再現できていることを表す条件である。規定条件として、技巧差分が、予め規定された閾値範囲内であることが考えられる。

例えば、技巧音符ＮＯ（ｃ，ｉ）において、ビブラート特徴量ｖｉｂ（ｃ，ｉ）から歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）を減算した結果の絶対値が、予め規定された第１規定閾値以上であれば、技巧差分が規定条件を満たしているもの、即ち、指定歌手が用いた「ビブラート」をユーザが再現できていないものと判定すれば良い。また、技巧音符ＮＯ（ｃ，ｉ）において、しゃくり特徴量ｒｉｓｅ（ｃ，ｉ）から歌声しゃくり特徴量Ｖｒ
ｉｓｅ（ｃ，ｉ）を減算した結果の絶対値が、予め規定された第２規定閾値以上であれば、技巧差分が規定条件を満たしているもの、即ち、指定歌手が用いた「しゃくり」をユーザが再現できていないものと判定すれば良い。

そして、Ｓ５９０での判定の結果、技巧差分が規定条件を満たしていれば（Ｓ６００：ＹＥＳ）、制御部５０は、カラオケ演奏処理をＳ６１０へと移行させる。
そのＳ６１０では、制御部５０は、現時点音符ＮＯに対する成否情報、及び対象音符ＮＯの技巧情報の表示態様を標準態様に設定する。なお、対象音符ＮＯとは、現時点音符ＮＯ（ｃ，ｉ）の音符プロパティｐと同一の音符プロパティｐを有した音符ＮＯの中で、特定楽曲における時間軸に沿って現時点音符よりも後に登場する音符ＮＯである。

すなわち、Ｓ６１０では、図８に示すように、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」を用いている場合にユーザが「ビブラート」または「しゃくり」を再現できていれば、現時点音符ＮＯに対して、「ビブラート」または「しゃくり」を再現できていることを意味する成功アイコンが、成否情報として表示されるように設定することを、成否情報の標準態様の設定として実行する。ここでの成功アイコンは、例えば、二重丸である。また、Ｓ６１０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」を用いている場合にユーザが「ビブラート」または「しゃくり」を再現できていれば、全ての対象音符ＮＯに対する技巧情報の設定を初期設定に維持することを、技巧情報の標準態様の設定として実行する。

その後、制御部５０は、詳しくは後述するＳ６５０へとカラオケ演奏処理を移行させる。
一方、Ｓ５９０での比較の結果、技巧差分が規定条件を満たしていなければ（Ｓ６００：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ６２０へと移行させる。そのＳ６２０では、制御部５０は、技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）とのズレが、歌唱者強調を表しているか歌唱者不再現を表しているかを判定する。ここで言う歌唱者強調とは、指定歌手が用いる歌唱技巧に対して、ユーザが歌唱技巧を強調して歌唱し過ぎている状態である。一方、歌唱者不再現とは、指定歌手が用いる歌唱技巧に対して、ユーザが歌唱技巧を再現できていない状態である。

本実施形態においては、現時点音符ＮＯが技巧音符以外の音符ＮＯであり、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が、ユーザが歌唱技巧を実行したことを表している場合には、歌唱者強調であるものと判定する。具体的には、技巧特徴量Ｓから歌唱者特徴量ＳＳを減算した結果が、負の値であり、かつ、その絶対値が予め規定された第１規定閾値を上回っていれば、歌唱者強調であるものと判定する。

一方、本実施形態においては、現時点音符ＮＯが技巧音符であり、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が、ユーザが歌唱技巧を実行したことを表していない場合には、歌唱者強調でない（歌唱者不再現である）ものと判定する。具体的には、技巧特徴量Ｓから歌唱者特徴量ＳＳを減算した結果が、正の値であり、かつ、その絶対値が予め規定された第２規定閾値を上回っていれば、歌唱者不再現であるものと判定する。

そして、Ｓ６２０での判定の結果、歌唱者強調であれば（Ｓ６２０：ＹＥＳ）、制御部５０は、現時点音符ＮＯに対する成否情報、及び対象音符ＮＯの技巧情報の表示態様を、抑制態様に設定する（Ｓ６３０）。

すなわち、Ｓ６３０では、図８に示すように、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いていない場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していれば、現時点音符ＮＯに対して、「ビブラー
ト」または「しゃくり」が不要であることを意味する抑制アイコンが、成否情報として表示されるように設定することを、成否情報の抑制態様の設定として実行する。ここでの抑制アイコンは、例えば、「×印」である。また、Ｓ６３０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いていない場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していれば、全ての対象音符ＮＯに対する技巧情報として、抑制アイコンを表示することを、技巧情報の抑制態様の設定として実行する。

その後、制御部５０は、カラオケ演奏処理をＳ６５０へと移行させる。
一方、Ｓ６２０での判定の結果、歌唱者強調でなければ（即ち、歌唱者不再現であれば）（Ｓ６２０：ＮＯ）、制御部５０は、現時点音符ＮＯに対する成否情報、及び対象音符ＮＯの技巧情報の表示態様を、強調態様に設定する（Ｓ６４０）。

すなわち、Ｓ６４０では、図８に示すように、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いている場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していなければ、現時点音符ＮＯに対して、「ビブラート」または「しゃくり」を用いるべきであることを意味する第１強調アイコンが、成否情報として表示されるように設定することを、成否情報の強調態様の設定として実行する。第１強調アイコンは、例えば、技巧情報のアイコンを破線としたアイコンである。

また、Ｓ６４０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いている場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していなければ、全ての対象音符ＮＯに対する技巧情報として、「ビブラート」または「しゃくり」を用いるべきであることを意味する第２強調アイコンを表示することを、技巧情報の強調態様の設定として実行する。第２強調アイコンは、例えば、技巧情報を表すアイコンを拡大したアイコンである。

その後、制御部５０は、カラオケ演奏処理をＳ６５０へと移行させる。
カラオケ演奏処理では、制御部５０は、続いて、特定楽曲の演奏が終了したか否かを判定する（Ｓ６５０）。このＳ６５０での判定の結果、特定楽曲の演奏が終了していなければ（Ｓ６５０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ５４０へと戻す。そのＳ５４０では、制御部５０は、現時点音符ＮＯに対する成否情報を表示すると共に、対象音符ＮＯに対する技巧情報を、Ｓ６１０，Ｓ６３０，Ｓ６４０にて設定した表示態様にて表示する。その後、Ｓ５５０からＳ６５０までのステップを繰り返す。

一方、Ｓ６５０での判定の結果、特定楽曲の演奏が終了していれば（Ｓ６５０：ＹＥＳ）、制御部５０は、カラオケ演奏処理を終了する。
つまり、本実施形態のカラオケ演奏処理では、特定楽曲の演奏中に入力された音声データを解析し、その音声データにて表現された各音符（構成音符）ＮＯでの歌唱技巧の特徴量を表す歌唱特徴量ＳＳを算出する。その算出した歌唱特徴量Ｓと、歌唱特徴データＭＳに含まれる技巧特徴量Ｓとを、互いに対応する音符ＮＯごとに比較する。そして、比較の結果、技巧特徴量Ｓと歌唱特徴量ＳＳとの差分である技巧差分が、予め規定された規定条件を満たしていなければ、現時点音符ＮＯの音符プロパティｐと同一の音符プロパティｐを有し、かつ、現時点音符ＮＯとは異なる音符ＮＯである対象音符ＮＯに対して用いるべき歌唱技巧を表示する表示制御を実行する。

その表示制御では、現時点音符ＮＯにおいて指定歌手が歌唱技巧を用いている場合にその歌唱技巧をユーザが再現できていれば、現時点音符ＮＯに対して、歌唱技巧を再現できていることを意味する成功アイコンを成否情報として表示する。また、その現時点音符ＮＯに対応する全ての対象音符ＮＯに、「ビブラート」を意味する“波形”のアイコンを技
巧情報として表示する。

表示制御では、現時点音符ＮＯにおいて指定歌手が歌唱技巧を用いていない場合に歌唱技巧を用いてユーザが歌唱していれば、現時点音符ＮＯに対して、歌唱技巧が不要であることを意味する抑制アイコンを表示する。また、その現時点音符ＮＯに対応する全ての対象音符ＮＯに、技巧情報として抑制アイコンを表示する。

さらに、表示制御では、現時点音符ＮＯにおいて指定歌手が歌唱技巧を用いている場合にその歌唱技巧を用いてユーザが歌唱していなければ、現時点音符ＮＯに対して、歌唱技巧を用いるべきであることを意味する第１強調アイコンを成否情報として表示する。また、その現時点音符ＮＯに対応する全ての対象音符ＮＯに、歌唱技巧を用いるべきであることを意味する第２強調アイコンを技巧情報として表示する。

なお、本実施形態のカラオケシステム１が、特許請求の範囲に記載された表示制御システムの一例であり、カラオケ装置３０が、特許請求の範囲に記載された表示制御装置の一例である。
［実施形態の効果］
以上説明したように、カラオケ装置３０によれば、技巧差分が規定条件を満たしていない音符ＮＯの音符プロパティｐと同一の音符プロパティｐを有し、かつ、当該音符ＮＯとは異なる音符（即ち、対象音符）ＮＯに対して用いるべき歌唱技巧を表示できる。

この結果、カラオケ装置３０の利用者は、楽曲にて用いるべき歌唱技巧を実現できたか否かを認識できる。
しかも、カラオケ装置３０によれば、対象音符ＮＯに対して用いるべき歌唱技巧を表示している。そして、この表示を視認した利用者は、当該対象音符ＮＯを歌唱する際にその歌唱技巧を実現するように留意する。このため、カラオケ装置３０によれば、利用者自身が歌唱した際の歌唱技巧を、指定歌手が歌唱した場合に用いる歌唱技巧に近づけることができ、利用者自身の歌唱を指定歌手の歌唱態様に近づけることができる。

これらのことから、カラオケ装置３０によれば、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者が実現可能となる。
特に、カラオケ演奏処理においては、技巧特徴量Ｓ（ｃ，ｉ）が歌唱技巧を実行したことを表し、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が歌唱技巧を未実行であることを表している場合、現時点音符ＮＯ（ｃ，ｉ）において、歌唱技巧を未実行である旨を表示している。このため、カラオケ装置３０によれば、歌唱技巧での歌唱が未実行である旨を利用者に認識させることができる。

また、カラオケ演奏処理においては、技巧特徴量Ｓ（ｃ，ｉ）が歌唱技巧を未実行であることを表し、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が歌唱技巧を実行したことを表している場合、現時点音符ＮＯ（ｃ，ｉ）において、歌唱技巧が不要である旨を表示している。このため、カラオケ装置３０によれば、歌唱技巧が不要である旨、即ち、歌唱技巧が過剰であることを利用者に認識させることができる。

なお、カラオケ演奏処理においては、「ビブラート」及び「しゃくり」を歌唱技巧として、技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）との比較を実行している。このため、カラオケ装置３０によれば、「ビブラート」または「しゃくり」の成否を利用者に認識させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能
である。

例えば、上記実施形態のカラオケ演奏処理においては、特定楽曲の演奏中に、対象音符ＮＯに対する技巧情報及び成否情報の表示態様を変更していたが、本発明における表示制御は、これに限るものではない。すなわち、表示制御は、特定楽曲を演奏する際に、その特定楽曲を過去に演奏した際に技巧特徴量Ｓと歌唱特徴量ＳＳとを比較した結果に従った成否情報及び技巧情報を、全ての技巧音符に対して表示するようにしても良い。

さらには、本発明における表示制御として、特定楽曲の演奏が終了した後に、各技巧音符に対する、技巧特徴量Ｓと歌唱特徴量ＳＳとを比較した結果を表示することを実施しても良い。の場合、上記実施形態のカラオケ演奏処理において、特定楽曲の演奏中に順次実行していた技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）との比較は、特定楽曲の演奏が終了した後に音符ＮＯごとに実行しても良い。

また、上記実施形態においては、歌唱特徴生成処理を情報処理サーバ１０が実行していたが、歌唱特徴生成処理を実行する装置は、情報処理サーバ１０に限るものではない。すなわち、歌唱特徴生成処理を実行する装置は、情報処理装置２であっても良いし、カラオケ装置３０であっても良い。

なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

また、本発明は、前述した表示制御装置の他、表示制御を実現するためにコンピュータが実行するプログラム、音声合成の方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

カラオケ演奏処理のＳ５２０を実行することで得られる機能が、特許請求の範囲に記載された特徴データ取得手段の一例であり、Ｓ５５０〜Ｓ５８０を実行することで得られる機能が、特徴量算出手段の一例である。また、カラオケ演奏処理のＳ５９０を実行することで得られる機能が、特許請求の範囲に記載された比較手段の一例であり、Ｓ５４０，Ｓ６００〜Ｓ６４０を実行することで得られる機能が、特許請求の範囲に記載された表示制御手段の一例である。

技巧特徴生成処理のＳ１１０〜Ｓ１５０を実行することで得られる機能が、特許請求の範囲に記載されたボーカル取得手段の一例であり、Ｓ１２０を実行することで得られる機能が、特許請求の範囲に記載された楽譜取得手段の一例であり、Ｓ１７０，Ｓ２１０を実行することで得られる機能が、特許請求の範囲に記載された特徴量決定手段の一例である。また、歌唱特徴生成処理のＳ３１０〜Ｓ３４０を実行することで得られる機能が、特許請求の範囲に記載された特徴生成手段の一例である。

１…音声合成システム ２…情報処理装置 ３…入力受付部 ４…外部出力部 ５，１４，３８…記憶部 ６，１６，５０…制御部 ７，１８，５２…ＲＯＭ ８，２０，５４…ＲＡＭ ９，２２，５６…ＣＰＵ １０…情報処理サーバ １２，３２…通信部 ３０…カラオケ装置 ３４…入力受付部 ３６…楽曲再生部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ ６２…マイク ６４…表示部

Claims (6)

1. 楽曲に関する情報の表示を制御する表示制御装置であって、
   音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
   指定された歌手である指定歌手が前記楽曲を歌唱したボーカル音を含む楽曲データから、前記ボーカル音を表すボーカルデータを抽出するステップと、前記楽曲を構成する複数の音符から構成される楽譜データを取得するステップと、その取得した楽譜データを構成する各音符及び前記ボーカルデータに基づいて、前記楽曲における歌唱旋律を構成する音符それぞれに対応する前記ボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータに対応する音符にて前記指定歌手が用いる歌唱技巧の特徴量を表す技巧特徴量を決定するステップと、前記特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる前記構成音符に、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティが一致する音符での前記技巧特徴量を対応付けることで、前記特定楽曲を構成する構成音符の各々での前記指定歌手の技巧特徴量を表す歌唱特徴データを生成するステップとを実行することで生成された、前記歌唱特徴データを取得する特徴データ取得手段と、
   前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
   前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
   前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符に対して用いるべき歌唱技巧を表示する表示制御を実行する表示制御手段と
   を備えることを特徴とする表示制御装置。
2. 前記表示制御手段は、
   前記歌唱特徴データに含まれる技巧特徴量が前記歌唱技巧を実行したことを表し、かつ、前記歌唱特徴量が前記歌唱技巧を未実行であることを表している場合、前記技巧差分が前記規定条件を満たしていないものとし、前記歌唱技巧での歌唱が未実行である旨を表示することを前記表示制御として実行する
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、
   前記歌唱特徴データに含まれる技巧特徴量が前記歌唱技巧を未実行であることを表し、かつ、前記歌唱特徴量が前記歌唱技巧を実行したことを表している場合、前記技巧差分が前記規定条件を満たしていないものとし、前記歌唱技巧での歌唱が不要である旨を表示することを前記表示制御として実行する
   ことを特徴とする請求項１または請求項２に記載の表示制御装置。
4. 前記歌唱技巧には、ビブラートを含み、
   前記表示制御手段は、
   前記比較手段での比較の結果、前記歌唱特徴量におけるビブラートの特徴量と、前記技巧特徴量におけるビブラートの特徴量との差分が予め規定された第１閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとする
   ことを特徴とする請求項１から請求項３までのいずれか一項に記載の表示制御装置。
5. 前記歌唱技巧には、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する、しゃくりを含み、
   前記表示制御手段は、
   前記比較手段での比較の結果、前記歌唱特徴量におけるしゃくりの特徴量と、前記技巧特徴量におけるしゃくりの特徴量との差分が予め規定された第２閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとする
   ことを特徴とする請求項１から請求項４までのいずれか一項に記載の表示制御装置。
6. 楽曲に関する情報の表示を制御する表示制御システムであって、
   音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
   指定された歌手である指定歌手が歌唱したボーカル音を含む楽曲データから、前記ボーカル音を表すボーカルデータを抽出するボーカル取得手段と、
   前記楽曲を構成する複数の音符から構成される楽譜データを取得する楽譜取得手段と、
   前記楽譜取得手段で取得した楽譜データを構成する各音符及び前記ボーカル取得手段で取得したボーカルデータに基づいて、前記楽曲における歌唱旋律を構成する音符それぞれに対応する前記ボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータにおける前記指定歌手が用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を決定する特徴量決定手段と、
   前記特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる前記構成音符に、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティが一致する音符での前記技巧特徴量を対応付けることで、前記特定楽曲を構成する構成音符の各々での前記指定歌手の技巧特徴量を表す歌唱特徴データを生成する特徴生成手段と、
   前記特徴生成手段で生成した歌唱特徴データを取得する特徴データ取得手段と、
   前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
   前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
   前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていれば、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符に対して用いるべき歌唱技巧を表示する表示制御を実行する表示制御手段と
   を備えることを特徴とする表示制御システム。