JP7335316B2 - プログラム及び情報処理装置 - Google Patents

Description

本開示は、楽曲の音源データからリファレンスデータを生成するプログラム及び情報処理装置に関するものである。

楽曲データの歌唱データ中、センター定位されているボーカル信号の帯域をキャンセルし、残りのデータを元データ（歌唱データ）より減算して主ボーカルデータとして抽出することにより、楽曲データから主旋律の歌唱データである主ボーカルデータを抽出するプログラム主ボーカルデータ抽出手段と、抽出された主ボーカルデータから、歌唱を採点する際の基準となるリファレンスデータを生成するリファレンスデータ生成手段と、を有するカラオケ装置が知られている（例えば、特許文献１参照）。

特開２０１５－２２５３０２号公報

しかしながら、特許文献１に示されるような技術では、抽出された主ボーカルデータが、必ずしもカラオケとして歌唱する部分と一致していない場合がある。例えば、歌唱部分以外で人の声が使われている演出部分や、楽器音であるが抽出精度等の問題で誤って抽出されてしまった音等が、抽出された主ボーカルデータに混じってしまう可能性がある。そして、このようなカラオケの歌唱部分と一致していない非歌唱部分を含む主ボーカルデータを用いてリファレンスデータを生成すると、歌唱を採点する際の基準として適切ではなくなってしまうおそれがある。

本開示は、このような課題を解決するためになされたものである。その目的は、楽曲の伴奏パート及びメロディパートが混合された波形データである音源データから、歌唱を採点する際の基準として、より適切であるリファレンスデータを生成可能なプログラム及び情報処理装置を提供することにある。

本開示に係るプログラムは、情報処理装置のコンピュータに実行されるためのプログラムであって、楽曲の伴奏パート及びメロディパートが混合された波形データからなる音源データを取得する音源データ取得ステップと、前記メロディパートの歌詞データを取得する歌詞データ取得ステップと、前記歌詞データ取得ステップで取得された前記歌詞データに基づいて、前記音源データ取得ステップで取得された前記音源データにおける歌唱部分を特定する歌唱部分特定ステップと、前記歌唱部分特定ステップで特定された歌唱部分の前記音源データを用いて、前記メロディパートのリファレンスデータを生成するリファレンスデータ生成ステップと、が前記情報処理装置のコンピュータに実行される。

あるいは、本開示に係るプログラムは、情報処理装置のコンピュータに実行されるためのプログラムであって、楽曲の伴奏パート及びメロディパートが混合された波形データからなる音源データを取得する音源データ取得ステップと、前記音源データ取得ステップで取得された前記音源データから複数の人の歌唱音声データのそれぞれを分離して抽出する歌唱音声分離抽出ステップと、前記歌唱音声分離抽出ステップで抽出された複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいて、前記メロディパートのリファレンスデータを生成するリファレンスデータ生成ステップと、が前記情報処理装置のコンピュータに実行される。

本開示に係る情報処理装置は、情報処理装置であって、楽曲の伴奏パート及びメロディパートが混合された波形データからなる音源データを取得する音源データ取得部と、前記メロディパートの歌詞データを取得する歌詞データ取得部と、前記歌詞データ取得部により取得された前記歌詞データに基づいて、前記音源データ取得部により取得された前記音源データにおける歌唱部分を特定する歌唱部分特定部と、前記歌唱部分特定部により特定された歌唱部分の前記音源データを用いて、前記メロディパートのリファレンスデータを生成するリファレンスデータ生成部と、を含む。

本開示に係るプログラム及び情報処理装置によれば、楽曲の伴奏パート及びメロディパートが混合された波形データである音源データから、歌唱を採点する際の基準として、より適切であるリファレンスデータを生成可能であるという効果を奏する。

実施の形態１に係る通信システムの全体構成を示す図である。 実施の形態１に係る通信システムが備える端末の構成を示すブロック図である。 実施の形態１に係る通信システムが備えるサーバの構成を示すブロック図である。 実施の形態１に係る通信システムが備えるサーバに記憶された同期歌詞データの一例を示す図である。 実施の形態１に係る通信システムにおける処理の一例を示すフローチャートである。 実施の形態１に係る通信システムが備えるサーバの変形例における要部の構成を示すブロック図である。 実施の形態１に係る通信システムの変形例における処理の一例を示すフローチャートである。 実施の形態２に係る通信システムが備えるサーバの構成を示すブロック図である。 実施の形態２に係る通信システムにおける処理の一例を示すフローチャートである。

本開示に係る情報処理装置、通信システム、情報処理方法及びプログラムを実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。以下の説明においては便宜上、図示の状態を基準に各構造の位置関係を表現することがある。なお、本開示は以下の実施の形態に限定されることなく、本開示の趣旨を逸脱しない範囲において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

実施の形態１．
図１から図７を参照しながら、本開示の実施の形態１について説明する。図１は通信システムの全体構成を示す図である。図２は通信システムが備える端末の構成を示すブロック図である。図３は通信システムが備えるサーバの構成を示すブロック図である。図４は通信システムが備えるサーバに記憶された同期歌詞データの一例を示す図である。図５は通信システムにおける処理の一例を示すフローチャートである。図６は通信システムが備えるサーバの変形例における要部の構成を示すブロック図である。図７は通信システムの変形例における処理の一例を示すフローチャートである。

図１に示すように、この実施の形態に係る通信システム４００は、サーバ１００と、端末２００とを備えている。通信システム４００では、サーバ１００と端末２００とが、ネットワーク３００を介して通信可能に接続されている。ここで説明する構成例では、サーバ１００は、ネットワーク３００を介してユーザが所有する端末２００に、楽曲の音源データの配信サービスやカラオケ採点サービス等を提供する。なお、ネットワーク３００に接続される端末２００の数は２台に限られず、１台であってもよいし３台以上であってもよい。

ネットワーク３００は、１以上の端末２００と、１以上のサーバ１００とを接続する役割を担う。すなわち、ネットワーク３００は、端末２００がサーバ１００に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。ネットワーク３００のうちの１つ又は複数の部分は、有線ネットワークや無線ネットワークであってもよいし、そうでなくてもよい。

ネットワーク３００は、例えば、アドホック・ネットワーク（Ａｄ Ｈｏｃ Ｎｅｔｗｏｒｋ）、イントラネット、エクストラネット、仮想プライベート・ネットワーク（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ：ＶＰＮ）、ローカル・エリア・ネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）、ワイヤレスＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）、ワイヤレスＷＡＮ（Ｗｉｒｅｌｅｓｓ ＷＡＮ：ＷＷＡＮ）、大都市圏ネットワーク（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＭＡＮ）、インターネットの一部、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）の一部、携帯電話網、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋｓ）、無線ＬＡＮ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、又は、衛星通信等、もしくは、これらの２つ以上の組合せを含むことができる。ネットワーク３００は、１つ又は複数のネットワーク３００を含むことができる。

端末２００は、本開示に係る実施形態の機能を実現できる情報処理端末であればどのような端末であってもよい。端末２００は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ（例えば、デスクトップＰＣ、ラップトップＰＣ、タブレットＰＣ等）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、電子メールクライアント等）、ウェアラブル端末（メガネ型デバイス、時計型デバイス等）、又は他種のコンピュータ、又はコミュニケーションプラットホームを含む。また、端末２００は情報処理端末と表現されてもよい。

サーバ１００は、端末２００に対して、所定のサービスを提供する機能を備える。サーバ１００は、本開示に係る実施形態の機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ１００は、例えば、サーバ装置、コンピュータ（例えば、デスクトップＰＣ、ラップトップＰＣ、タブレットＰＣ等）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ、電子メールクライアント等）、あるいは他種のコンピュータ、又はコミュニケーションプラットホームを含む。また、サーバ１００は情報処理装置と表現されてもよい。サーバ１００と端末２００とを区別する必要がない場合は、サーバ１００と端末２００とは、それぞれ情報処理装置と表現されてもよいし、されなくてもよい。

それぞれの端末２００の構成は基本的には同一である。次に、図２を参照しながら、端末２００の構成について説明する。端末２００は、端末制御部２３０、端末記憶部２２０、端末通信部２１０、入出力部２４０、表示部２５０、マイク２６０、スピーカ２７０及びカメラ２８０を備える。端末２００のハードウェアの各構成要素は、例えば、バスを介して相互に接続されている。なお、端末２００のハードウェア構成として、ここで説明する全ての構成要素を含むことは必須ではない。例えば、端末２００は、カメラ２８０等の個々の構成要素、又は複数の構成要素を取り外すような構成であってもよいし、そうでなくてもよい。

端末通信部２１０は、ネットワーク３００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。端末通信部２１０は、ネットワーク３００を介して、サーバ１００との通信を実行する機能を有する。端末通信部２１０は、端末送信部２１１及び端末受信部２１２を含んでいる。端末送信部２１１は、各種データを端末制御部２３０からの指示に従って、サーバ１００に送信する。端末受信部２１２は、サーバ１００から送信された各種データを受信し、端末制御部２３０に伝達する。また、端末通信部２１０を端末通信Ｉ／Ｆ（インタフェース）と表現する場合もある。また、端末通信部２１０が物理的に構造化された回路で構成される場合には、端末通信回路と表現する場合もある。

入出力部２４０は、入力部及び出力部を含む。入力部は、端末２００に対する各種操作を入力する装置である。出力部は、端末２００で処理された処理結果を出力する装置である。入出力部２４０は、入力部と出力部が一体化していてもよいし、入力部と出力部に分離していてもよいし、そうでなくてもよい。

入力部は、ユーザからの入力を受け付けて、当該入力に係る情報を端末制御部２３０に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力部は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（動画像を介した操作入力）、マイク（音声による操作入力）を含む。

出力部は、端末制御部２３０で処理された処理結果を出力することができる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。出力部は、例えば、タッチパネル、タッチディスプレイ、スピーカ（音声出力）、レンズ（例えば３Ｄ（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎｓ）出力や、ホログラム出力）、プリンター等を含む。

表示部２５０は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。表示部２５０は、例えば、タッチパネル、タッチディスプレイ、モニタ（例えば、液晶ディスプレイやＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等）、ヘッドマウントディスプレイ（ＨＤＭ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、プロジェクションマッピング、ホログラム、空気中等（真空であってもよいし、そうでなくてもよい）に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示部２５０は、３Ｄで表示データを表示可能であってもよいし、そうでなくてもよい。

なお、入出力部２４０がタッチパネルを有する場合、入出力部２４０と表示部２５０とは、略同一の大きさ及び形状で対向して配置されていてもよい。

端末制御部２３０は、プログラム内に含まれたコード又は命令によって実現する機能を実行するために物理的に構造化された回路を有し、例えば、ハードウェアに内蔵されたデータ処理装置により実現される。そのため、端末制御部２３０は、制御回路と表現されてもよいし、されなくてもよい。

端末制御部２３０は、例えば、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、プロセッサコア（Ｐｒｏｃｅｓｓｏｒ Ｃｏｒｅ）、マルチプロセッサ（Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を含む。

端末記憶部２２０は、端末２００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。端末記憶部２２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等各種の記憶媒体を含む。また、端末記憶部２２０は、メモリ（Ｍｅｍｏｒｙ）と表現されてもよいし、されなくてもよい。

端末２００は、プログラムを端末記憶部２２０に記憶し、このプログラムを実行することで、端末制御部２３０が、端末制御部２３０に含まれる各部としての処理を実行する。つまり、端末記憶部２２０に記憶されるプログラムは、端末２００に、端末制御部２３０が実行する各機能を実現させる。換言すれば、端末２００においてメモリに記憶されたプログラムをプロセッサが実行し、端末２００のハードウェアとソフトウェアとが協働することによって、端末２００が備える各部の機能が実現される。なお、このプログラムは、プログラムモジュールと表現されてもよいし、されなくてもよい。

マイク２６０は、音声データの入力に利用される。スピーカ２７０は、音声データの出力に利用される。カメラ２８０は、動画像データ及び／又は静止画像データの取得に利用される。

次に、図３を参照しながら、サーバ１００の構成について説明する。サーバ１００は、サーバ制御部１３０、サーバ記憶部１２０及びサーバ通信部１１０を備えている。サーバ１００のハードウェアの各構成要素は、例えば、バスを介して相互に接続されている。

サーバ制御部１３０は、プログラム内に含まれたコード又は命令によって実現する機能を実行するために物理的に構造化された回路を有し、例えば、ハードウェアに内蔵されたデータ処理装置により実現される。サーバ制御部１３０は、代表的には中央処理装置（ＣＰＵ）であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等であってもよいし、そうでなくてもよい。本開示において、サーバ制御部１３０は、これらに限定されない。

サーバ記憶部１２０は、サーバ１００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。サーバ記憶部１２０は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等各種の記憶媒体により実現される。ただし、本開示において、サーバ記憶部１２０は、これらに限定されない。また、サーバ記憶部１２０は、メモリ（Ｍｅｍｏｒｙ）と表現されてもよいし、されなくてもよい。

サーバ通信部１１０は、ネットワーク３００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。サーバ通信部１１０は、ネットワーク３００を介して、端末２００との通信を実行する機能を有する。サーバ通信部１１０は、サーバ送信部１１１及びサーバ受信部１１２を含んでいる。サーバ送信部１１１は、各種データをサーバ制御部１３０からの指示に従って、端末２００に送信する。また、サーバ通信部１１０は、端末２００から送信された各種データを受信し、サーバ制御部１３０に伝達する。また、サーバ通信部１１０をサーバ通信Ｉ／Ｆ（インタフェース）と表現する場合もある。また、サーバ通信部１１０が物理的に構造化された回路で構成される場合には、サーバ通信回路と表現する場合もある。

なお、サーバ１００は、ハードウェア構成として、入出力部及びディスプレイを備えてもよい。入出力部は、サーバ１００に対する各種操作を入力する装置により実現される。入出力部は、ユーザからの入力を受け付けて、当該入力に係る情報をサーバ制御部１３０に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。ディスプレイは、代表的にはモニタ（例えば、液晶ディスプレイやＯＥＬＤ等）で実現される。この場合、例えば、サーバ１００のハードウェアは、ディスプレイを取り外すような構成であってもよいし、そうでなくてもよい。

サーバ１００は、プログラムをサーバ記憶部１２０に記憶し、このプログラムを実行することで、サーバ制御部１３０が、サーバ制御部１３０に含まれる各部としての処理を実行する。つまり、サーバ記憶部１２０に記憶されるプログラムは、サーバ１００に、サーバ制御部１３０が実行する各機能を実現させる。換言すれば、サーバ１００においてメモリに記憶されたプログラムをプロセッサが実行し、サーバ１００のハードウェアとソフトウェアとが協働することによって、サーバ１００が備える各部の機能が実現される。なお、このプログラムは、プログラムモジュールと表現されてもよいし、されなくてもよい。

なお、端末２００の端末制御部２３０、及び／又は、サーバ１００のサーバ制御部１３０は、制御回路を有するＣＰＵだけでなく、集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップ、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ））等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよいし、そうでなくてもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、本開示に係る実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよいし、そうでなくてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、本開示に係る実施形態のプログラム(例えば、ソフトウェアプログラム、コンピュータプログラム、又はプログラムモジュール)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよいし、されなくてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。また、プログラムは、本開示に係る実施形態の機能の一部を実現するためのものであってもよいし、そうでなくてもよい。さらに、本開示に係る実施形態の機能を記憶媒体に既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよいし、そうでなくてもよい。

記憶媒体は、１つ又は複数の半導体ベースの、又は他の集積回路（ＩＣ）（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定用途向けＩＣ（ＡＳＩＣ）等）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カード、又はドライブ、任意の他の適切な記憶媒体、もしくは、これらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムを記憶可能であれば、どのようなデバイス又は媒体であってもよい。また、記憶媒体をメモリ（Ｍｅｍｏｒｙ）と表現されてもよいし、されなくてもよい。

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、サーバ１００及び／又は端末２００に提供されてもよいし、されなくてもよい。プログラムが伝送媒体を介して提供される場合、サーバ１００及び／又は端末２００は、例えば、インターネット等を介してダウンロードしたプログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現することが可能である。

また、本開示に係る実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。また、サーバ１００及び／又は端末２００における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよいし、そうでなくてもよい。また、端末２００における処理の少なくとも一部を、サーバ１００により行う構成としてもよいし、そうでなくてもよい。この場合、端末２００の端末制御部２３０の各機能部の処理のうち少なくとも一部の処理を、サーバ１００で行う構成としてもよいし、そうでなくてもよい。また、サーバ１００における処理の少なくとも一部を、端末２００により行う構成としてもよいし、そうでなくてもよい。この場合、サーバ１００のサーバ制御部１３０の各機能部の処理のうち少なくとも一部の処理を、端末２００で行う構成としてもよいし、そうでなくてもよい。

なお、本開示のプログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ（登録商標）等のオブジェクト指向プログラミング言語、ＨＴＭＬ５等のマークアップ言語等を用いて実装され得る。

この実施の形態に係る通信システム４００においては、図３に示すように、サーバ１００のサーバ記憶部１２０は、音源データ記憶部１２１及び歌詞データ記憶部１２２を含んでいる。音源データ記憶部１２１は、楽曲の音源データを記憶している。音源データは、楽曲の伴奏パート及びメロディパートが混合された波形データからなるデータである。メロディパートは主旋律のパートであり、通常は人が歌唱するボーカルパートである。音源データには、ＷＡＶＥ、ＡＩＦＦ、ＭＰ３、ＡＡＣ、ＦＬＡＣ等の各種の音声ファイル形式を用いることができる。

歌詞データ記憶部１２２は、楽曲の歌詞データを記憶している。歌詞データは、楽曲のメロディパートの歌詞のデータである。ここで説明する構成例では、歌詞データは同期歌詞データである。同期歌詞データには、複数の歌詞フレーズが含まれている。そして、同期歌詞データにおいては、それぞれの歌詞フレーズ毎に当該楽曲の音源データの再生と同期して表示するため表示開始時間が対応付けられている。

このような同期歌詞データとして、例えばＬＲＣファイルを用いることができる。同期歌詞データであるＬＲＣファイルの一例を図４に示す。ＬＲＣファイルは、特定の書式に従ったテキスト形式のファイルである。ＬＲＣファイルの書式では、各行が一度に表示する歌詞フレーズになっている。そして、各行の先頭の”［”及び”］”で囲われた数字が当該行の歌詞フレーズの表示開始時間である。表示開始時間は、ｍｍ：ｓｓ．ｘｘの書式で記載されている。ｍｍは分、ｓｓは秒、ｘｘは１／１００秒を示している。

この実施の形態に係る通信システム４００においては、サーバ１００は、サーバ制御部１３０により実現される機能として、音源データ取得部１３１、歌詞データ取得部１３２、歌唱部分特定部１３３及びリファレンスデータ生成部１３４を備えている。音源データ取得部１３１は、音源データ記憶部１２１に記憶されている音源データを取得する処理を行う。歌詞データ取得部１３２は、歌詞データ記憶部１２２に記憶されている歌詞データを取得する処理を行う。

歌唱部分特定部１３３は、歌詞データ取得部１３２により取得された歌詞データに基づいて、音源データ取得部１３１により取得された音源データにおける歌唱部分を特定する。ここで説明する構成例では、歌詞データ取得部１３２が取得する歌詞データは、同期歌詞データである。そして、歌唱部分特定部１３３は、同期歌詞データに含まれる各歌詞フレーズの表示開始時間に基づいて、音源データにおける歌唱部分を特定する。

この歌唱部分特定部１３３による歌唱部分の特定について、具体例を挙げながら説明する。例えば、図４に示す同期歌詞データの場合、楽曲が開始してから１１．１４秒が経過するまでは歌詞がない前奏である。そして、１１．１４秒から１分１０．６８秒までは、１番の歌唱部分である。また、１分１０．６８秒から１分３４．１６秒までは歌詞がない間奏である。１分３４．１６秒から２分１６．７１秒までは、２番の歌唱部分である。そして、２分１６．７１秒以降は後奏である。前奏、間奏及び後奏は非歌唱部分である。

リファレンスデータ生成部１３４は、音源データのメロディパートのリファレンスデータを生成する。リファレンスデータは、メロディパートの音の要素に関するデータである。リファレンスデータの対象となる音の要素には、音高（ピッチ）、発音タイミング、音長等が含まれる。

リファレンスデータ生成部１３４は、まず、音源データから人の歌唱音声データを抽出する。音源データからの歌唱音声データの抽出は、例えば、音源データがステレオ音源であれば人の歌唱音声（ボーカルパート）は中央に定位している場合が多いことを利用したり、人の歌唱音声の周波数成分を抽出したり、人の声でない楽器等の音色の波形成分を除去したり等の既知の方法を用いて行うことができる。そして、リファレンスデータ生成部１３４は、例えば、抽出した歌唱音声データについて既知のピッチ検出アルゴリズムを利用してピッチを検出し、リファレンスデータとして出力する。

特に、この実施の形態に係るサーバ１００においては、リファレンスデータ生成部１３４は、歌唱部分特定部１３３により特定された歌唱部分の音源データを用いて、メロディパートのリファレンスデータを生成する。逆にいえば、リファレンスデータ生成部１３４は、当該楽曲の音源データから非歌唱部分を除外した上で、メロディパートのリファレンスデータを生成する。

前述した図４に示す同期歌詞データの例では、リファレンスデータ生成部１３４は、音源データのうちで、１１．１４秒から１分１０．６８秒までの１番の歌唱部分と、１分３４．１６秒から２分１６．７１秒までの２番の歌唱部分とを用いて、メロディパートのリファレンスデータを生成する。したがって、リファレンスデータ生成部１３４は、当該楽曲の音源データのうちで１１．１４秒から１分１０．６８秒までと１分３４．１６秒から２分１６．７１秒までの部分を用いて、メロディパートのリファレンスデータを生成する。これは、楽曲が開始してから１１．１４秒までと１分１０．６８秒から１分３４．１６秒までと２分１６．７１秒以降の非歌唱部分を除外した上で、メロディパートのリファレンスデータを生成すると言い換えることができる。

図３に示すように、サーバ記憶部１２０は、リファレンスデータ記憶部１２３をさらに含んでいる。リファレンスデータ記憶部１２３は、リファレンスデータ生成部１３４により生成されたそれぞれの楽曲のリファレンスデータを記憶する。

また、図３に示す構成例では、サーバ１００は、サーバ制御部１３０により実現される機能として、伴奏パート取得部１３５をさらに備えている。伴奏パート取得部１３５は、音源データ取得部１３１により取得された音源データについて、いわゆるボーカルキャンセル処理を施し、当該楽曲の伴奏パートを抽出して取得する。ボーカルキャンセル処理には既知の方法が利用できる。伴奏パート取得部１３５により取得された伴奏パートのデータは、いわゆるカラオケ音源のデータとして利用できる。

サーバ１００のサーバ送信部１１１は、音源データ記憶部１２１に記憶されている楽曲の音源データを端末２００に送信する。これにより、楽曲の音源データの配信サービスが実現される。また、サーバ送信部１１１は、歌詞データ記憶部１２２に記憶されている楽曲の歌詞データを端末２００に送信してもよい。さらに、サーバ送信部１１１は、伴奏パート取得部１３５により取得された伴奏パートのデータを端末２００に送信してもよい。

端末２００の端末受信部２１２は、サーバ１００から送信された楽曲の音源データ、歌詞データ及び伴奏パートのデータを受信する。図２に示す構成例では、端末２００は、端末制御部２３０により実現される機能として、再生処理部２３１、表示処理部２３２及び歌唱者音声取得部２３３を備えている。再生処理部２３１は、端末受信部２１２により受信された楽曲の音源データを再生し、スピーカ２７０等から出力させる。

また、再生処理部２３１は、端末受信部２１２により受信された楽曲の伴奏パートのデータを再生し、スピーカ２７０等から出力させる。この際、表示処理部２３２は、端末受信部２１２により受信された楽曲の歌詞データを表示部２５０に表示させる。前述したように、ここで説明する構成例では歌詞データは同期歌詞データである。このため、表示処理部２３２は、再生処理部２３１による楽曲の伴奏パートのデータの再生と同期させて、歌詞データを表示させることができる。歌唱者音声取得部２３３は、再生処理部２３１による楽曲の伴奏パートのデータの再生中において、マイク２６０に入力された音声を歌唱者の歌唱音声データとして取得する。

端末送信部２１１は、歌唱者音声取得部２３３により取得された歌唱音声データをサーバ１００に送信する。サーバ１００のサーバ受信部１１２は、端末２００から送信された歌唱者の歌唱音声データを受信する。

図３に示す構成例では、サーバ１００は、サーバ制御部１３０により実現される機能として、歌唱音声取得部１３６及び評価部１３７をさらに備えている。歌唱音声取得部は、サーバ受信部１１２が受信した歌唱音声データを取得する。そして、サーバ１００の評価部１３７は、歌唱音声取得部１３６により取得された歌唱者の歌唱音声データを、リファレンスデータ記憶部１２３に記憶されているリファレンスデータと比較して評価する。例えば、評価部１３７は、前述した既知のピッチ検出アルゴリズムを利用して歌唱者の歌唱音声データのピッチを検出する。そして、評価部１３７は、リファレンスデータの基準ピッチと比較し、これらのピッチの一致度が高いほどよい評価をする。評価部１３７による評価結果は、サーバ送信部１１１及び端末受信部２１２を介して端末２００に送信され、例えば表示部２５０に表示される。

また、リファレンスデータをサーバ１００から端末２００に送信してもよい。この場合、例えば、端末２００においてカラオケ音源である伴奏パートのデータを再生中に、リファレンスデータを用いて表示部２５０にいわゆるガイドメロディを表示させることができる。また、評価部１３７をサーバ１００でなく端末２００に設けるようにしてもよい。

次に、図５のフロー図を参照しながら、この実施の形態に係る通信システム４００の動作例について説明する。まず、ステップＳ１０において、サーバ１００の音源データ取得部１３１は、音源データ記憶部１２１に記憶されている音源データを取得する。続くステップＳ１１において、歌詞データ取得部１３２は、歌詞データ記憶部１２２に記憶されている歌詞データを取得する。ステップＳ１１の後、サーバ制御部１３０は次にステップＳ１２の処理を行う。

ステップＳ１２において、歌唱部分特定部１３３は、ステップＳ１１で取得された歌詞データに基づいて、ステップＳ１０で取得された音源データにおける歌唱部分を特定する。続くステップＳ１３において、リファレンスデータ生成部１３４は、ステップＳ１２で特定された歌唱部分の音源データを用いて、メロディパートのリファレンスデータを生成する。ステップＳ１３の後、サーバ１００は次にステップＳ１４の処理を行う。

ステップＳ１４において、サーバ１００のリファレンスデータ記憶部１２３は、ステップＳ１３で生成されたリファレンスデータを記憶する。また、伴奏パート取得部１３５は、ステップＳ１０で取得された音源データから伴奏パートを抽出して取得する。そして、サーバ送信部１１１は、音源データ、歌詞データ及び伴奏パートのデータを端末２００に送信する。ステップＳ１４の後、端末２００は次にステップＳ１５の処理を行う。

ステップＳ１５においては、端末２００の端末受信部２１２は、ステップＳ１４でサーバ１００から送信された楽曲の音源データ、歌詞データ及び伴奏パートのデータを受信する。そして、端末２００の再生処理部２３１は、端末受信部２１２により受信された楽曲の伴奏パートのデータを再生し、スピーカ２７０等から出力させる。また、端末２００の表示処理部２３２は、端末受信部２１２により受信された楽曲の歌詞データを表示部２５０に表示させる。ステップＳ１５の後、端末２００は次にステップＳ１６の処理を行う。

ステップＳ１６においては、端末２００の歌唱音声取得部１３６は、マイク２６０に入力された歌唱者の歌唱音声データを取得する。続くステップＳ１７において、端末送信部２１１は、ステップＳ１６で取得された歌唱音声データをサーバ１００に送信する。サーバ１００のサーバ受信部１１２は、端末２００から送信された歌唱者の歌唱音声データを受信する。ステップＳ１７の後、サーバ１００は次にステップＳ１８の処理を行う。

ステップＳ１８においては、サーバ１００の歌唱音声取得部１３６は、ステップＳ１６でサーバ受信部１１２が受信した歌唱音声データを取得する。続くステップＳ１９において、サーバ１００の評価部１３７は、ステップＳ１８で取得された歌唱者の歌唱音声データを、ステップＳ１４でリファレンスデータ記憶部１２３に記憶されたリファレンスデータと比較して評価する。さらに続くステップＳ２０において、評価部１３７による評価結果は、サーバ送信部１１１及び端末受信部２１２を介して端末２００に送信され、例えば表示部２５０に表示される。

以上のフローにおいて、ステップＳ１０は音源データ取得ステップに、ステップＳ１１は歌詞データ取得ステップに、ステップＳ１２は歌唱部分特定ステップに、ステップＳ１３はリファレンスデータ生成ステップに、それぞれ相当する。そして、ステップＳ１８は歌唱音声取得ステップに、ステップＳ１９は評価ステップに、それぞれ相当する。

以上のように構成された通信システム４００が有するサーバ１００によれば、歌詞データを用いて音源データにおける歌唱部分を特定し、特定された歌唱部分の音源データを用いて、メロディパートのリファレンスデータを生成する。このため、歌唱部分以外で人の声が使われている演出部分や、楽器音であるが抽出精度等の問題で誤って抽出されてしまった音等がリファレンスデータに反映されてしまうことを抑制でき、歌唱を採点する際の基準として、より適切であるリファレンスデータを生成することができる。

次に、この実施の形態に係る通信システム４００が有するサーバ１００の変形例について説明する。この変形例では、サーバ１００の歌唱部分特定部１３３は、図６に示すように、歌唱音声抽出部１４１、テキスト化部１４２及び照合部１４３を備えている。歌唱音声抽出部１４１は、音源データ取得部１３１により取得された音源データから人の歌唱音声データを抽出する。音源データからの人の歌唱音声データの抽出は、前述した既知の方法を利用して行うことができる。

テキスト化部１４２は、歌唱音声抽出部１４１で抽出された歌唱音声データを既知の音声認識処理によってテキスト化して歌唱テキストデータを生成する。照合部１４３は、テキスト化部１４２により生成された歌唱テキストデータと歌詞データ取得部１３２により取得された歌詞データとを照合して音源データにおける歌唱部分を特定する。すなわち、照合部１４３は、歌唱テキストデータと歌詞データとが一致する部分を歌唱部分として特定する。また、逆にいえば、照合部１４３は、歌唱テキストデータと歌詞データとが一致しない部分を非歌唱部分として特定する。

次に、図７のフロー図を参照しながら、この変形例に係るサーバ１００の動作例について説明する。同図のフロー図は、図５のフロー図におけるステップＳ１２（歌唱部分特定ステップ）のサブプロセスを示している。まず、ステップＳ３０において、歌唱音声抽出部１４１は、図５のステップＳ１０で取得された音源データから人の歌唱音声データを抽出し、抽出された歌唱音声データを取得する。続くステップＳ３１において、テキスト化部１４２は、ステップＳ３０で取得された歌唱音声データを音声認識処理によってテキスト化して歌唱テキストデータを生成し、生成された歌唱テキストデータを取得する。さらに続くステップＳ３２において、照合部１４３は、ステップＳ３１で取得された歌唱テキストデータと図５のステップＳ１１で取得された歌詞データとを照合して音源データにおける歌唱部分を特定する。

以上のフローにおいて、ステップＳ３０は歌唱音声抽出ステップに、ステップＳ３１はテキスト化ステップに、ステップＳ３２は照合ステップに、それぞれ相当する。

この変形例では、歌詞データに歌詞フレーズ毎の表示開始時間が含まれていなくともよい。したがって、このような変形例によれば、同期歌詞データでない歌詞データを用いて、音源データの歌唱部分／非歌唱部分を特定し、非歌唱部分の音がリファレンスデータに反映されてしまうことを抑制でき、歌唱を採点する際の基準として、より適切であるリファレンスデータを生成することができる。

実施の形態２．
図８及び図９を参照しながら、本開示の実施の形態２について説明する。図８は通信システムが備えるサーバの構成を示すブロック図である。図９は通信システムにおける処理の一例を示すフローチャートである。

以下、この実施の形態２に係る情報処理装置及びプログラムについて、実施の形態１との相違点を中心に説明する。説明を省略した構成については実施の形態１と基本的に同様である。以降の説明においては、実施の形態１と同様の又は対応する構成について、原則として実施の形態１の説明で用いたものと同じ符号を付して記載する。

この実施の形態に係る通信システム４００においては、図８に示すように、サーバ１００は、サーバ制御部１３０により実現される機能として、歌唱音声分離抽出部１５０をさらに備えている。歌唱音声分離抽出部１５０は、音源データ取得部１３１により取得された音源データから複数の人の歌唱音声データのそれぞれを分離して抽出する。歌唱音声分離抽出部１５０は、例えば、まず音源データから人の歌唱音声データを抽出する。音源データからの人の歌唱音声データの抽出は、前述した既知の方法を利用して行うことができる。そして、歌唱音声分離抽出部１５０は、抽出した歌唱音声データに複数の人の歌唱音声データが含まれている場合には、歌唱音声データを人毎に分離する。この際の分離は、歌唱音声データの波形分析等の既知の方法により行うことができる。なお、歌唱音声分離抽出部１５０は、音源データから直接に複数の人の歌唱音声データのそれぞれを分離してもよい。

この実施の形態においては、歌唱部分特定部１３３は、歌唱音声分離抽出部１５０で抽出された複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいて、音源データにおける歌唱部分を特定する。ここでいう特定の人の歌唱音声データとは、例えば、メインボーカルの歌唱音声データである。歌唱部分特定部１３３は、例えば、複数の人の歌唱音声データのそれぞれの定位、音量、当該楽曲の再生時間に占める割合等を用いて、特定の人の歌唱音声データを決定する。また、当該楽曲のアーティスト名からメインボーカルの性別が判明している場合には、複数の人の歌唱音声データのそれぞれが男声か女声かに基づいて、特定の人の歌唱音声データを決定してもよい。

歌唱部分特定部１３３は、このようにして決定した特定の人の歌唱音声データの歌唱部分を特定し、これを当該楽曲の音源データの歌唱部分とする。そして、リファレンスデータ生成部１３４は、歌唱部分特定部１３３により特定された歌唱部分の音源データを用いて、メロディパートのリファレンスデータを生成する。

なお、特定の人の歌唱音声データは、１人のものに限られず、２人以上の歌唱音声データであってもよい。この場合、歌唱部分特定部１３３は、特定の複数人の歌唱音声データのそれぞれに基づいて、音源データにおける複数人の歌唱部分のそれぞれを特定する。そして、リファレンスデータ生成部１３４は、歌唱部分特定部１３３により特定された複数人の歌唱部分のそれぞれの音源データを用いて、メロディパートのリファレンスデータを生成する。このようにすることで、メロディパートを複数の歌唱者が交代しながら担当する曲等の場合に、メロディパートを担当する複数の歌唱者のそれぞれの担当部分について、別々にリファレンスデータを生成できる。したがって、例えば、メロディパートを担当する歌唱者のうちの任意の人のみをキャンセルしたカラオケ伴奏を再生し、当該人が歌唱を担当する部分だけをリファレンスデータを用いて採点することができる。

次に、図９のフロー図を参照しながら、この実施の形態に係る通信システム４００の動作例について説明する。同図のフロー図におけるステップＳ１０及びＳ１１は、図５のフロー図におけるステップＳ１０及びＳ１１と同様であるため、その説明はここでは省略する。ステップＳ１１の後、サーバ制御部１３０は次にステップＳ４０の処理を行う。

ステップＳ４０においては、歌唱音声分離抽出部１５０は、ステップＳ１０で取得された音源データから複数の人の歌唱音声データのそれぞれを分離して抽出する。このステップＳ４０は歌唱音声分離抽出ステップに相当する。ステップＳ４０の後、サーバ制御部１３０は次にステップＳ１２の処理を行う。ステップＳ１２においては、歌唱部分特定部１３３は、ステップＳ４０で抽出された複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいて、音源データにおける歌唱部分を特定する。ステップＳ１２以降のステップＳ１３からＳ２０は、図５のフロー図におけるステップＳ１３からＳ２０と同様であるため、その説明はここでは省略する。

なお、この実施の形態においては、サーバ１００は、歌唱部分特定部１３３を備えていなくともよい。この場合、リファレンスデータ生成部１３４は、歌唱音声分離抽出部１５０で抽出された複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいて、メロディパートのリファレンスデータを生成する。また、この場合、図９のフロー図におけるステップＳ１２の処理は行われず、ステップＳ４０の後、サーバ制御部１３０は次にステップＳ１３の処理を行う。そして、ステップＳ１３においては、リファレンスデータ生成部１３４は、ステップＳ４０で抽出された複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいて、メロディパートのリファレンスデータを生成する。このような構成によっても、複数の人の歌唱音声データのうちの特定の人の歌唱音声データに基づいてリファレンスデータを生成することで、歌唱部分以外で人の声が使われている演出部分等がリファレンスデータに反映されてしまうことを抑制でき、歌唱を採点する際の基準として、より適切であるリファレンスデータを生成することができる。

また、以上で説明した各実施の形態の構成例では、音源データ取得部１３１、歌詞データ取得部１３２、歌唱部分特定部１３３（歌唱音声抽出部１４１、テキスト化部１４２及び照合部１４３を含む）、リファレンスデータ生成部１３４、伴奏パート取得部１３５、歌唱音声取得部１３６、評価部１３７及び歌唱音声分離抽出部１５０が単一のサーバ１００に設けられている。しかしながら、これらの各部は単一のサーバ１００でなく、複数のサーバ装置に分散して設けられていてもよい。また、複数の装置で協働してサーバ１００が有する各部の機能を実現してもよい。

本開示に係る発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本開示に係る発明の範囲に含まれることに留意されたい。例えば、各部、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。また、以上で説明した実施形態に示す構成を適宜組み合わせることとしてもよい。

本開示に係るプログラム及び情報処理装置は、楽曲の音源データからリファレンスデータを生成するプログラム及び情報処理装置として活用することができる。

１００ サーバ
１１０ サーバ通信部
１１１ サーバ送信部
１１２ サーバ受信部
１２０ サーバ記憶部
１２１ 音源データ記憶部
１２２ 歌詞データ記憶部
１２３ リファレンスデータ記憶部
１３０ サーバ制御部
１３１ 音源データ取得部
１３２ 歌詞データ取得部
１３３ 歌唱部分特定部
１３４ リファレンスデータ生成部
１３５ 伴奏パート取得部
１３６ 歌唱音声取得部
１３７ 評価部
１４１ 歌唱音声抽出部
１４２ テキスト化部
１４３ 照合部
１５０ 歌唱音声分離抽出部
２００ 端末
２１０ 端末通信部
２１１ 端末送信部
２１２ 端末受信部
２２０ 端末記憶部
２３０ 端末制御部
２３１ 再生処理部
２３２ 表示処理部
２３３ 歌唱者音声取得部
２４０ 入出力部
２５０ 表示部
２６０ マイク
２７０ スピーカ
２８０ カメラ
３００ ネットワーク
４００ 通信システム

Claims (5)

1. 情報処理装置のコンピュータに実行されるためのプログラムであって、
   楽曲の伴奏パート及びメロディパートが混合された波形データからなる音源データを取得する音源データ取得ステップと、
   前記メロディパートの歌詞データを取得する歌詞データ取得ステップと、
   前記歌詞データ取得ステップで取得された前記歌詞データに基づいて、前記音源データ取得ステップで取得された前記音源データにおける歌唱部分を特定する歌唱部分特定ステップと、
   前記歌唱部分特定ステップで特定された歌唱部分以外の非歌唱部分を前記音源データから除外し、非歌唱部分が除外された前記音源データを用いて、前記メロディパートのリファレンスデータを生成するリファレンスデータ生成ステップと、が前記情報処理装置のコンピュータに実行される。
2. 請求項１に記載のプログラムであって、
   前記歌詞データは、複数の歌詞フレーズを含み、それぞれの前記歌詞フレーズ毎に前記音源データの再生と同期して表示するため表示開始時間が対応付けられている同期歌詞データであり、
   前記歌唱部分特定ステップは、前記同期歌詞データの表示開始時間に基づいて、前記音源データにおける歌唱部分を特定する。
3. 請求項１に記載のプログラムであって、
   前記歌唱部分特定ステップは、
   前記音源データ取得ステップで取得された前記音源データから抽出された人の歌唱音声データを取得する歌唱音声抽出ステップと、
   前記歌唱音声抽出ステップで取得された歌唱音声データを音声認識処理によってテキスト化して生成された歌唱テキストデータを取得するテキスト化ステップと、
   前記テキスト化ステップで取得された前記歌唱テキストデータと前記歌詞データ取得ステップで取得された前記歌詞データとを照合して前記音源データにおける歌唱部分を特定する照合ステップと、を含む。
4. 請求項１から請求項３のいずれか一項に記載のプログラムであって、
   歌唱者の歌唱音声データを取得する歌唱音声取得ステップと、
   前記歌唱音声取得ステップで取得された歌唱音声データを前記リファレンスデータ生成ステップで生成された前記リファレンスデータと比較して評価する評価ステップと、前記情報処理装置のコンピュータにさらに実行される。
5. 情報処理装置であって、
   楽曲の伴奏パート及びメロディパートが混合された波形データからなる音源データを取得する音源データ取得部と、
   前記メロディパートの歌詞データを取得する歌詞データ取得部と、
   前記歌詞データ取得部により取得された前記歌詞データに基づいて、前記音源データ取得部により取得された前記音源データにおける歌唱部分を特定する歌唱部分特定部と、
   前記歌唱部分特定部により特定された歌唱部分以外の非歌唱部分を前記音源データから除外し、非歌唱部分が除外された前記音源データを用いて、前記メロディパートのリファレンスデータを生成するリファレンスデータ生成部と、を含む。

Images