JP6721570B2 - 楽曲再生システム、データ出力装置、及び楽曲再生方法 - Google Patents

Description

関連出願への相互参照

本国際出願は、２０１５年３月１２日に日本国特許庁に出願された日本国特許出願第２０１５−０４９６６３号に基づく優先権を主張するものであり、日本国特許出願第２０１５−０４９６６３号の全内容を本国際出願に参照により援用する。

本開示は、楽曲再生システム及び楽曲再生方法に関する。

従来、楽曲の再生に合わせて、モーショングラフィックスを表示デバイスに表示させる楽曲再生システムが知られている。歌詞に含まれる各語句の重要度を算出し、重要度が高いほど、その語句に対応する文字画像のサイズを大きくするようにして、表示デバイスに歌詞の文字画像を表示させる情報処理システムもまた知られている（例えば特許文献１参照）。表示する文字画像にアニメーションを付加する技術もまた知られている。

特開２０１２−０８８４０２号公報

楽曲の再生に合わせてモーショングラフィックスを表示する場合には、単調にモーショングラフィックスを表示すると、ユーザに飽きが生じ、モーショングラフィックスを表示することに対する価値が低くなる。一方、モーショングラフィックスを多様に表示しても、モーショングラフィックスの表示が楽曲とマッチしない場合には、ユーザに不快感を与える可能性がある。

従って、本開示の一側面によれば、再生される楽曲にマッチしたモーショングラフィックスを表示可能な新規技術を提供できることが望ましい。

本開示の一側面に係る楽曲再生システムは、再生制御ユニットと、表示制御ユニットと、を備える。再生制御ユニットは、音響デバイスに楽曲を再生させるように構成される。表示制御ユニットは、記憶デバイスが記憶するモーショングラフィックスデータに基づき、音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように構成される。モーショングラフィックスデータは、楽曲部分の種類毎に、当該種類に属する楽曲部分の再生時に表示デバイスに表示させるべきモーショングラフィックスを定義する。

表示制御ユニットは、音響デバイスにより再生される楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別するように構成される。表示制御ユニットは、各楽曲部分の再生時に、この楽曲部分の種類に対してモーショングラフィックスデータが定義するモーショングラフィックスを表示させるように、表示デバイスを制御する。このようにして、表示制御ユニットは、楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させる。従って、本開示の一側面によれば、再生される楽曲にマッチしたモーショングラフィックスを表示デバイスに表示させることができる。

本開示の一側面によれば、記憶デバイスは、モーショングラフィックスデータを、楽曲のジャンル毎に記憶し得る。表示制御ユニットは、記憶デバイスが記憶するモーショングラフィックスデータの内、音響デバイスにより再生される楽曲のジャンルに対応するモーショングラフィックスデータに基づき、表示デバイスにモーショングラフィックスを表示させるように構成され得る。

本開示の一側面によれば、モーショングラフィックスデータは、上記楽曲部分の種類として、楽曲を構成するセクションの種類毎に、表示デバイスに表示させるべきモーショングラフィックスを定義する構成にされてもよい。

本開示の一側面によれば、表示制御ユニットは、再生される楽曲部分の種類が切り替わることに伴って、表示デバイスに表示させるモーショングラフィックスを、第一のモーショングラフィックスから第二のモーショングラフィックスに切り替える場合には、第二のモーショングラフィックスへの切替前に、第一のモーショングラフィックスが有する特徴と第二のモーショングラフィックスが有する特徴とが混合した特徴を有する移行用のモーショングラフィックスを、表示デバイスに表示させるように、表示デバイスを制御する構成にされてもよい。移行用のモーショングラフィックスは、滑らかなモーショングラフィックスの切替を可能にする。

表示デバイスに表示されるモーショングラフィックスは、文字画像に関するモーショングラフィックス及び背景画像に関するモーショングラフィックスを含んでいてもよい。文字画像は、楽曲の歌詞に関する文字画像であってもよい。

モーショングラフィックスデータは、文字画像に関するモーショングラフィックスを定義する第一定義データ、及び、背景画像に関するモーショングラフィックスを定義する第二定義データを有した構成にされてもよい。モーショングラフィックスデータは、第一定義データ及び第二定義データの少なくとも一方が、楽曲部分の種類毎に、表示デバイスに表示させるべきモーショングラフィックスを定義するように構成され得る。

第一定義データは、上記楽曲部分の種類として、楽曲部分における歌詞の種類毎に、文字画像に関するモーショングラフィックスを定義する構成にされてもよい。歌詞の種類は、例えば歌詞の文字数及び再生長の少なくとも一方で定められ得る。この第一定義データによれば、歌詞の特徴にマッチしたモーショングラフィックスの表示を実現し得る。

本開示の一側面によれば、音響デバイスによって再生される楽曲の歌詞データであって、楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得する構成にされた取得ユニットが更に設けられてもよい。

表示制御ユニットは、上記歌詞データに基づき、音響デバイスによる楽曲再生に合わせて、楽曲の再生時刻に対応するタイムコードが付された文字列に関するモーショングラフィックスを、表示デバイスに表示させるように、表示デバイスを制御する構成にされ得る。

表示制御ユニットは、上記歌詞データに基づき、上記複数の文字列の内、互いに隣接する第一及び第二の文字列であって第一の文字列と第一の文字列に続く第二の文字列との間におけるタイムコードの時間差を判定するように構成されてもよい。

表示制御ユニットは、上記時間差が基準未満である場合には、タイムコードに従う第二の文字列に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、第一の文字列に関するモーショングラフィックスの表示が終了するように表示デバイスを制御する構成にされ得る。

表示制御ユニットは、上記時間差が基準以上である場合には、タイムコードに従う第一の文字列に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、第一の文字列に関するモーショングラフィックスの表示が終了するように表示デバイスを制御する構成にされてもよい。

表示制御ユニットは、上記時間差が基準以上である場合には、第一の文字列に関するモーショングラフィックスの表示後、第二の文字列に関するモーショングラフィックスの表示前に、別のモーショングラフィックスを表示デバイスに表示させるように、表示デバイスを制御する構成にされてもよい。

表示制御ユニットは、モーショングラフィックスを構成する文字画像を、楽曲の再生箇所における抑揚及びリズムの少なく一方に合わせて振動させるように、表示デバイスを制御する構成にされてもよい。

音響デバイスは、表示デバイスの表示面を部分的に覆うように配置された一以上のスピーカユニットを備えた構成にされてもよい。この場合、表示制御ユニットは、スピーカユニットの周囲から放射状に広がる幾何学図形のモーショングラフィックスを表示デバイスに表示させるように、表示デバイスを制御する構成にされてもよい。

本開示の一側面によれば、音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、音響デバイスによって再生される楽曲の歌詞データであって、楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得するように構成された取得ユニットと、取得ユニットが取得した歌詞データに基づき、音響デバイスによる楽曲再生に合わせて、楽曲の再生時刻に対応するタイムコードが付された文字列に関するモーショングラフィックスを表示デバイスに表示させるように、表示デバイスを制御する構成にされた表示制御ユニットと、を備える楽曲再生システムが提供されてもよい。表示制御ユニットは、上記時間差に基づく表示デバイスの制御を行うように構成され得る。

本開示の一側面によれば、音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、音響デバイスによって再生される楽曲の歌詞データを取得するように構成された取得ユニットと、取得ユニットが取得した歌詞データに基づき、音響デバイスによる楽曲再生に合わせて、歌詞を表す文字画像のモーショングラフィックスを表示デバイスに表示させるように表示デバイスを制御する構成にされた表示制御ユニットであって、上記文字画像を楽曲の再生箇所における抑揚及びリズムの少なく一方に合わせて振動させるように、表示デバイスを制御する構成にされた表示制御ユニットと、を備えた楽曲再生システムが提供されてもよい。

本開示の一側面によれば、複数のスピーカユニットを備える音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように構成された表示制御ユニットと、を備えた楽曲再生システムが提供されてもよい。複数のスピーカユニットは、表示デバイスの表示面を部分的に覆うように配置され得る。この場合、表示制御ユニットは、スピーカユニットの周囲から放射状に広がる幾何学図形のモーショングラフィックスを表示デバイスに表示させるように、表示デバイスを制御する構成にされ得る。

本開示の一側面によれば、楽曲に関する情報を取得するように構成された取得ユニットと、取得ユニットが取得した楽曲に関する情報、及び、記憶デバイスが記憶するモーショングラフィックスデータに基づき、音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるための表示用データを出力するように構成された出力ユニットと、を備えるデータ出力装置が提供されてもよい。出力ユニットは、上記楽曲に関する情報に基づき、この楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別し、上記表示用データとして、各楽曲部分の再生時に、この楽曲部分の種類に対してモーショングラフィックスデータが定義するモーショングラフィックスを表示デバイスに表示させるように構成された表示用データを生成する構成にされ得る。

取得ユニットは、音響デバイスにより再生される楽曲に関する情報を取得するように構成され得る。取得ユニットは、ネットワーク上の外部通信端末から上記楽曲に関する情報を取得するように構成されてもよい。出力ユニットは、上記楽曲に関する情報を取得ユニットに提供した外部通信端末に、表示用データを送信するように構成されてもよい。

本開示の一側面によれば、音響デバイスに楽曲を再生させることと、記憶デバイスが記憶するモーショングラフィックスデータに基づき、音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように、表示デバイスを制御することと、を含む楽曲再生方法が提供されてもよい。

上記表示デバイスを制御することは、音響デバイスにより再生される楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別することと、各楽曲部分の再生時に、この楽曲部分の種類に対してモーショングラフィックスデータが定義するモーショングラフィックスを表示させるように、表示デバイスを制御することにより、楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させることとを含んでいてもよい。

本開示の一側面によれば、楽曲に関する情報を取得することと、当該取得した楽曲に関する情報、及び、記憶デバイスが記憶するモーショングラフィックスデータに基づき、音響デバイスにより再生される上記楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるための表示用データを出力することと、を含むデータ出力方法が提供されてもよい。

本開示の一側面によれば、表示用データを出力することは、上記楽曲に関する情報に基づき、この楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別し、上記表示用データとして、各楽曲部分の再生時に、この楽曲部分の種類に対してモーショングラフィックスデータが定義するモーショングラフィックスを表示デバイスに表示させるように構成された表示用データを生成することを含んでいてもよい。

上記取得することは、音響デバイスにより再生される楽曲に関する情報を取得することを含んでいてもよい。上記取得することは、ネットワーク上の外部通信端末から上記楽曲に関する情報を取得することを含んでいてもよい。上記出力することは、上記楽曲に関する情報を取得ユニットに提供した外部通信端末に、表示用データを送信することを含んでいてもよい。

本開示の一側面によれば、上述の楽曲再生方法及びデータ出力方法の少なくとも一方を、コンピュータに実行させてもよい。本開示の一側面によれば、上述の楽曲再生方法及びデータ出力方法の少なくとも一方を、コンピュータに実行させるためのプログラムが提供されてもよい。

本開示の一側面によれば、プロセッサと、プロセッサに対する命令を記憶するメモリと、を備え、プロセッサが、当該命令に従う処理を実行することにより、再生制御ユニット、表示制御ユニット、及び取得ユニットの少なくとも一つとして機能する楽曲再生システムが提供されてもよい。本開示の一側面によれば、プロセッサと、プロセッサに対する命令を記憶するメモリと、を備え、プロセッサが、当該命令に従う処理を実行することにより、取得ユニット及び出力ユニットの少なくとも一つとして機能するデータ出力装置が提供されてもよい。

本開示の一側面によれば、コンピュータを、上記再生制御ユニット、表示制御ユニット、及び取得ユニットの少なくとも一つとして機能させるためのプログラムが提供されてもよい。本開示の一側面によれば、コンピュータを、上記取得ユニット及び出力ユニットの少なくとも一つとして機能させるためのプログラムが提供されてもよい。本開示の一側面によれば、上記プログラムを記憶する非遷移的実体的記録媒体が提供されてもよい。本開示の一側面によれば、上述したユニットの一つ又は複数は、ハードウェアにより実現されてもよい。

楽曲再生システムの概略構成を表すブロック図である。 携帯通信端末及び音響再生装置の概略構成を表すブロック図である。 モーショングラフィックスデータの構成を表す図である。 モーショングラフィックスデータの具体例を表す図である。 図５Ａ−５Ｄは、文字画像のモーショングラフィックスの一例を示す図である。 図６Ａ及び６Ｂは、背景画像のモーショングラフィックスの一例を示す図である。 移行期のモーショングラフィックスの一例を示す図である。 移行期のモーションの一例を示す図である。 携帯通信端末及び音響再生装置の制御ユニットにおいて実現される機能を表すブロック図である。 データ取得部が実行する処理を表すフローチャートである。 ディスプレイの詳細構成を表す図である。 スピーカユニットの周囲から放射状に広がるモーショングラフィックスの一例を示す図である。 第二実施形態に従うコンポーネントデータの構成を表す図である。 第二実施形態に従うテキストモーション定義データに関する説明図である。 第二実施形態においてデータ取得部が実行する処理を表すフローチャートである。 図１５Ａ及び図１５Ｂは、第二実施形態におけるモーショングラフィックスの切替態様を表す図である。 歌詞データの構成を表す図である。 図１７Ａ−１７Ｃは、第三実施形態におけるモーショングラフィックスの切替態様を表す図である。 第三実施形態においてデータ取得部が実行する処理を表すフローチャートである。 変形例においてデータ取得部が実行する処理を表すフローチャートである。 第四実施形態に従う楽曲再生システムの概略構成を表すブロック図である。 第四実施形態において音響再生装置が実行する処理を表すフローチャートである。 第四実施形態において受付サーバが実行する処理を表すフローチャートである。

以下に、本開示の例示的実施形態を、図面を参照して説明する。
［第一実施形態］
図１に示す本実施形態の楽曲再生システム１は、携帯通信端末１０と、音響再生装置５０と、第一サーバ装置７０と、第二サーバ装置９０と、を備える。携帯通信端末１０は、例えばスマートフォン又はタブレット端末であり得る。

この楽曲再生システム１では、携帯通信端末１０が楽曲データＤ１を再生処理して、楽曲データＤ１の再生用信号及び再生位置信号を音響再生装置５０に送信する。携帯通信端末１０は、この再生処理に先駆けて、楽曲データＤ１に基づいて再生される楽曲の曲目データを音響再生装置５０に送信する。

音響再生装置５０は、携帯通信端末１０から受信した曲目データに基づき、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬを第一サーバ装置７０から取得し、対応する楽曲のジャンルを表す曲ジャンルデータＤＧ、及び、この楽曲の曲構造を表す曲構造データＤＳを、第二サーバ装置９０から取得する。

音響再生装置５０は、携帯通信端末１０からの再生用信号に基づき、対応する楽曲をスピーカ５４から出力し、携帯通信端末１０からの再生位置信号に基づき、楽曲の再生に合わせてモーショングラフィックスをディスプレイ５５に表示させる。モーショングラフィックスには、歌詞を表す文字画像が含まれる。音響再生装置５０は、このモーショングラフィックスの表示態様を、第二サーバ装置９０から取得した曲ジャンルデータＤＧ及び曲構造データＤＳに基づいて決定する。

携帯通信端末１０と音響再生装置５０との間の通信は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）に代表される近距離無線通信、及び、無線ＬＡＮ通信の少なくとも一方によって実現される。音響再生装置５０と、第一サーバ装置７０及び第二サーバ装置９０と、の間の通信は、広域ネットワークを通じて実現される。広域ネットワークは、例えばインターネットである。

図２に示すように、携帯通信端末１０は、制御ユニット１１と、記憶ユニット１３と、ユーザインタフェース１５と、通信ユニット１７と、を備える。制御ユニット１１は、ＣＰＵ１１Ａと、ＲＡＭ１１Ｂと、を備える。ＣＰＵ１１Ａは、記憶ユニット１３が記憶するプログラムに従う処理を実行する。ＲＡＭ１１Ｂは、ＣＰＵ１１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ１１Ａがプログラムに従って実行する処理を、携帯通信端末１０又は制御ユニット１１が実行する処理として説明する。

記憶ユニット１３は、各種プログラム及びデータを記憶する。記憶ユニット１３が記憶するデータには、一つ又は複数の楽曲データＤ１が含まれる。記憶ユニット１３は、例えばフラッシュメモリによって構成される。

ユーザインタフェース１５は、ディスプレイ及びタッチパネルを備える。ユーザインタフェース１５は、制御ユニット１１に制御されて、各種画面をディスプレイに表示し、タッチパネルを通じたユーザからの操作信号を制御ユニット１１に入力する。通信ユニット１７は、上記近距離無線通信及び無線ＬＡＮ通信可能な構成にされる。制御ユニット１１は、この通信ユニット１７を介して音響再生装置５０と無線通信する。

音響再生装置５０は、制御ユニット５１と、記憶ユニット５３と、スピーカ５４と、ディスプレイ５５と、通信ユニット５７と、を備える。制御ユニット５１は、ＣＰＵ５１Ａ及びＲＡＭ５１Ｂを備え、ＣＰＵ５１Ａは、各種プログラムに従う処理を実行する。ＲＡＭ５１Ｂは、ＣＰＵ５１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ５１Ａがプログラムに従って実行する処理を、音響再生装置５０又は制御ユニット５１が実行する処理として説明する。

記憶ユニット５３は、各種プログラム及びデータを記憶する。記憶ユニット５３が記憶するデータには、曲ジャンル毎のモーショングラフィックスデータＤ２（図３参照）が含まれる。音響再生装置５０は、これらのモーショングラフィックスデータＤ２を、広域ネットワークを通して外部のサーバ装置から取得可能に構成され得る。

スピーカ５４は、異なる複数の音域に対応した複数のスピーカユニット及びアンプを備え、制御ユニット５１から入力されるオーディオ信号を音に変換して出力する。ディスプレイ５５は、例えば液晶ディスプレイとして構成される。ディスプレイ５５は、制御ユニット５１に制御されて、楽曲再生中に、歌詞を表す文字画像を含むモーショングラフィックスを表示する。ディスプレイ５５で表示されるモーショングラフィックスは、文字画像の変化、及び、背景画像の変化を含む。

通信ユニット５７は、携帯通信端末１０と同様に、近距離無線通信及び無線ＬＡＮ通信可能に構成される。制御ユニット５１は、この通信ユニット５７を介して携帯通信端末１０と近距離通信又は無線ＬＡＮ通信を行う。制御ユニット５１は、この通信ユニット５７を介して、広域ネットワークに配置された第一サーバ装置７０及び第二サーバ装置９０と通信する。

第一サーバ装置７０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された歌詞データＤＬを、音響再生装置５０に送信するように構成される。第二サーバ装置９０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された楽曲のジャンルを表す曲ジャンルデータＤＧ及び曲構造を表す曲構造データＤＳを音響再生装置５０に送信するように構成される。音響再生装置５０は、既存のサーバ装置から、歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳを取得するように構成され得る。

第二サーバ装置９０としては、楽曲が有する音楽的要素を、楽曲のリピート構造や変調を理解しながら自動解析し、この解析結果に基づく曲構造データＤＳを曲ジャンルデータＤＧと共に蓄積するサーバ装置が知られている。例えばＰＯＰミュージックの曲構造データＤＳは、楽曲が有する「イントロ」「Ａメロ（バース）」「Ｂメロ（プレコーラス）」「サビ（コーラス）」「Ｃメロ（ブリッジ）」「アウトロ（エンディング）」「間奏」等のセクションを特定可能な情報を含む。「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、日本市場での表現である。括弧書きで示したように「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、夫々順に、「バース」「プレコーラス」「コーラス」「ブリッジ」に対応する。

この曲構造データＤＳは、楽曲を構成するセクションとして、曲調が変化する地点を境界とするセクション、反復性を示すセクション、及び、盛り上がりを示すサビ（コーラス）等に対応するセクションを特定可能な情報を含む。曲構造データＤＳは、曲調が変化する地点を境界とするセクションの中に、反復性を示すセクション、及び、盛り上がりを示すセクションを示した構成にされ得る。

続いて、音響再生装置５０の記憶ユニット５３が曲ジャンル毎に記憶するモーショングラフィックスデータＤ２の構成を説明する。モーショングラフィックスデータＤ２は、図３に示すように、対応ジャンルの楽曲に含まれる複数種類のセクションの夫々に対するコンポーネントデータＤ２１を有した構成にされる。コンポーネントデータＤ２１の夫々は、対応ジャンルの楽曲に含まれる特定種類のセクションの楽曲部分が再生されるときにディスプレイ５５に表示させるべきモーショングラフィックスを定義する。

ここでいう曲ジャンルは、ＰＯＰミュージック、Ｒ＆Ｂ、及びロック等の分類で定義されるものであってもよいし、曲のムード、例えば雰囲気及び印象によって分類されるものであってもよいし、これらの組合せによって定義されるものであってもよい。

コンポーネントデータＤ２１に対応するセクションは、曲構造データＤＳと同様、曲調、反復性、及び、盛り上がり等を基準に、他のセクションとは区別されるセクションとして定義される。例えば、モーショングラフィックスデータＤ２は、図４に示すように、「イントロ」「Ａメロ」「Ｂメロ」「サビ」「間奏」「Ｃメロ」「アウトロ」に対応するセクション毎に、コンポーネントデータＤ２１を有した構成にされる。但し、セクションの定義は、この例に限らない。曲調のみに基づいてセクションが定義されてもよい。

図３に示すように、コンポーネントデータＤ２１の夫々は、対応するセクションの楽曲部分が再生されるときにディスプレイ５５に表示させるべき文字画像（歌詞）のモーションを定義するテキストモーション定義データＤ２１１と、その文字画像と共にディスプレイ５５に表示させるべき背景画像のモーションを定義する背景モーション定義データＤ２１２と、を有した構成にされる。

テキストモーション定義データＤ２１１は、文字画像のフォントタイプ及びサイズ、並びに、文字画像の動きのパターン及び速度を定義する。背景モーション定義データＤ２１２は、背景画像の種類、動きのパターン、及び、動きの速度を定義する。以下では、動きのパターンのことを「モーションパターン」とも表現する。

図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄには、文字画像のモーションパターンの例を示す。図５Ａ−５Ｄに実線で示される矩形枠内は、ディスプレイ５５の表示画面に対応し、白丸は、文字画像の出現地点を表し、黒丸は文字画像の消滅地点を表し、矢印は動きの方向を表す。

図５Ａには、文字画像「ＡＢＣＤＥ」が、表示画面の右から左に直線的に流れるように変化するモーションパターンが示される。図５Ｂには、文字画像「ＡＢＣＤＥ」が、表示画面の上から下に直線的に流れるように変化するモーションパターンが示される。図５Ｃには、文字画像「ＡＢＣＤＥ」が、表示画面の上から下に曲線的に流れるように変化するモーションパターンが示される。図５Ｄには、文字画像「ＡＢＣＤＥ」が左下から右上にサイズを変化させながら変位するモーションパターンが示される。図５Ｄに示されるモーションパターンは、文字画像「ＡＢＣＤＥ」が画面手前から奥に消える動きをユーザに連想させるモーションパターンの一例である。

文字画像が低速で曲線的に流れるモーションパターンは、穏やかな調子の楽曲部分に適したモーションパターンの一つであり、文字画像が直線的に高速で流れるモーションパターンは、激しい楽曲部分に適切なモーションパターンの一つである。文字画像を大きくするモーションパターンは、楽曲の盛り上がり部分に適切なモーションパターンの一つである。

このようにモーションパターンがユーザに与える印象は、モーションパターンの種類によって異なる。各コンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１は、文字画像のモーションパターンが、対応するジャンル及びセクションの楽曲部分の印象に適合するように作成される。

図６Ａ及び図６Ｂには、背景画像のモーションパターンの例を示す。図６Ａ及び図６Ｂに実線で示される矩形枠内は、ディスプレイ５５の表示画面に対応し、矢印は動きの方向を表す。

図６Ａには、水玉模様を構成する幾何学図形が表示画面上を浮遊するように変化する背景画像のモーションパターンが示される。図６Ｂには、波紋が表示画面上で放射状に広がるように変化する背景画像のモーションパターンが示される。これらのモーションパターンを比較すると、図６Ａに示されるモーションパターンのほうが図６Ｂに示されるモーションパターンよりも穏やかな印象をユーザに与えやすい。このように背景画像についてもモーションパターンがユーザに与える印象は、モーションパターンの種類によって異なる。各コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２は、背景画像のモーションパターンが、対応するジャンル及びセクションの楽曲部分の印象に適合するように作成される。

付言すると、モーショングラフィックスデータＤ２は、セクションの境界におけるモーショングラフィックスの不連続性を緩和するための接続用モーションデータＤ２２を有してもよい。接続用モーションデータＤ２２は、モーショングラフィックスデータＤ２が有するコンポーネントデータＤ２１の組合せ毎に、一つのコンポーネントデータＤ２１に基づくモーショングラフィックスから別のコンポーネントデータＤ２１に基づくモーショングラフィックスへの移行時に実現されるべきモーショングラフィックスを定義する。

例えば、文字画像が図７Ａ上段に示されるモーションパターンで変化する先行セクションから、文字画像が図７Ａ下段に示されるモーションパターンで変化する後続セクションへの移行期に対応するモーショングラフィックスとしては、図７Ａ中段に示されるモーショングラフィックスが定義され得る。図７Ａ上段に示されるモーションパターンは、図５Ｄに示されるモーションパターンに対応し、図７Ａ下段に示されるモーションパターンは、図５Ａに示されるモーションパターンに対応する。即ち、先行セクションにおける最後の文字画像「ＦＧＨＪＩ」、又は、後続セクションにおける最初の文字画像「ＦＧＨＩＪ」を例外的に右上から左中央に屈折して変位させるようなモーショングラフィックスが移行期のモーショングラフィックとして定義され得る。図７Ａ下段に示す文字画像「ＫＬＭＮＯ」は、文字画像「ＦＧＨＩＪ」の次に表示される文字画像である。このように移行期のモーショングラフィックスとしては、先行セクション及び後続セクションのモーショングラフィックスの特徴が混在する、先行セクション及び後続セクションのモーショングラフィックスに対する中間的なモーショングラフィックスが定義され得る。

背景画像の種類が異なる二つのセクションの移行期に対応するモーショングラフィックスとしては、図７Ｂに示すように、先行セクションの画面全体（ハッチング領域に対応）を、表示画面上の特定地点に縮小させて消滅させるようなモーショングラフィックスが定義されてもよい。既知のフェードイン／フェードアウト技術が用いられてもよい。モーショングラフィックスは、上述した形態以外の様々な形態を採り得る。

続いて、携帯通信端末１０の制御ユニット１１により実現される機能の詳細を、図８を用いて説明する。制御ユニット１１は、プログラムの実行により、主制御部１１１、第一送信制御部１１３、及び、第二送信制御部１１５として機能する。

主制御部１１１は、記憶ユニット１３が記憶する楽曲データＤ１の一つに対する再生指示が、ユーザインタフェース１５を通じてユーザから入力されると、再生指示により指定された再生処理対象の楽曲データＤ１に対応する曲目データを付した動作命令を、音響再生装置５０に、通信ユニット１７を介して送信する。

楽曲データＤ１は、楽曲データ本体にメタデータが付された構成にされる。メタデータは、楽曲名、作曲者名及び作詞者名等の楽曲情報を有する。主制御部１１１は、このメタデータを参照して、再生処理対象の楽曲データＤ１に対応する曲目データを付した動作命令を、音響再生装置５０に送信する。曲目データは、音響再生装置５０が再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳをサーバ装置７０，９０から取得するために用いられる。

主制御部１１１は、この動作命令に応じて、音響再生装置５０から送信される準備完了通知を受信すると、第一送信制御部１１３及び第二送信制御部１１５に対して処理開始を指示する。

第一送信制御部１１３は、上記処理開始の指示に従って、楽曲データＤ１に対する再生処理を実行することにより、楽曲データＤ１の再生用信号を、通信ユニット１７を介して音響再生装置５０に送信する。第一送信制御部１１３が実行する再生処理は、音響再生装置５０が楽曲をスピーカ５４から出力可能な形態まで、楽曲データＤ１をデコードする処理であり得る。本実施形態では、上記再生処理として、楽曲データＤ１のストリーム再生を実現するための処理が、第一送信制御部１１３により実行される。

第二送信制御部１１５は、上記処理開始の指示に従って、第一送信制御部１１３により再生処理される楽曲データＤ１の再生位置を表す再生位置信号を、通信ユニット１７を介して音響再生装置５０に送信するように動作する。第二送信制御部１１５は、第一送信制御部１１３が管理する再生位置の情報を、第一送信制御部１１３から取得して、その再生位置を表す再生位置信号を送信する構成にされ得る。

続いて、音響再生装置５０の制御ユニット５１により実現される機能の詳細を説明する。音響再生装置５０の制御ユニット５１は、プログラムの実行により、データ取得部５１１、再生制御部５１３、及び、表示制御部５１５として機能する。

データ取得部５１１は、携帯通信端末１０からの動作命令に応じて、第一サーバ装置７０から歌詞データＤＬを取得し、第二サーバ装置９０から曲ジャンルデータＤＧ及び曲構造データＤＳを取得する。このために、データ取得部５１１は、図９に示す処理を繰返し実行する。即ち、データ取得部５１１は、携帯通信端末１０から送信される動作命令を、通信ユニット５７を介して受信するまで待機する（Ｓ１１０）。

データ取得部５１１は、動作命令を受信すると（Ｓ１１０でＹｅｓ）、携帯通信端末１０から受信した動作命令に付された曲目データに基づき、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する歌詞データＤＬを、第一サーバ装置７０から取得する（Ｓ１２０）。更に、データ取得部５１１は、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する曲ジャンルデータＤＧ及び曲構造データＤＳを、第二サーバ装置９０から取得する（Ｓ１３０）。

その後、データ取得部５１１は、第二サーバ装置９０から取得した曲ジャンルデータＤＧに基づき、再生処理対象の楽曲データＤ１の曲ジャンルを特定し、特定した曲ジャンルのモーショングラフィックスデータＤ２を記憶ユニット５３から読み出す（Ｓ１４０）。

更に、データ取得部５１１は、読み出したモーショングラフィックスデータＤ２に含まれるコンポートネントデータＤ２１及び接続用モーションデータＤ２２の一群と、曲構造データＤＳから特定される楽曲を構成するセクションの種類及び配列と、に基づき、モーショングラフィックスの再生計画を作成する（Ｓ１５０）。再生計画は、楽曲の先頭から終端までの再生に合わせてディスプレイ５５に表示させるモーショングラフィックスの表示手順を表す。

例えば、再生処理対象の楽曲データＤ１により再生される楽曲が、「イントロ」「Ａメロ」「Ｂメロ」「サビ」「間奏」「Ａメロ」「Ｂメロ」「サビ」「間奏」「Ｃメロ」「サビ」「アウトロ」の順に演奏される楽曲である場合には、この並びの順に、対応するコンポーネントデータＤ２１を参照して、各セクションに対応する楽曲部分の再生時にディスプレイ５５に表示させるモーショングラフィックスを決定する。更に、接続用モーションデータＤ２２に基づき、各セクションの移行期にディスプレイ５５に表示させるモーショングラフィックスを決定する。このようにして、データ取得部５１１は、サーバ装置７０，９０からの取得データと記憶ユニット５３が記憶するモーショングラフィックスデータＤ２とに基づき、楽曲の進行に合わせてディスプレイ５５に表示させるモーショングラフィックスを事前決定し、この決定に従う再生計画を作成する。

その後、データ取得部５１１は、準備完了通知を携帯通信端末１０に送信する（Ｓ１６０）。準備完了通知により、携帯通信端末１０では、楽曲データＤ１の再生処理が開始されて、再生用信号及び再生位置信号が送られてくる。

再生制御部５１３は、この再生用信号を、携帯通信端末１０から通信ユニット５７を介して受信し、この再生用信号に基づく音をスピーカ５４に出力させるためのオーディオ信号をスピーカ５４に入力することにより、スピーカ５４を通じた楽曲再生を実現する。

一方、表示制御部５１５は、携帯通信端末１０から送信されてくる再生位置信号を、通信ユニット５７を介して受信し、この再生位置信号に基づいて、スピーカ５４からの出力音に対応するモーショングラフィックスがディスプレイ５５に表示されるように、Ｓ１５０で作成された再生計画に従って、ディスプレイ５５を制御する。このようにして制御ユニット５１は、再生される楽曲の進行に合わせて、歌詞の文字画像を含むモーショングラフィックスをディスプレイ５５に表示させるように、ディスプレイ５５を制御する。

以上、本実施形態の楽曲再生システム１の構成を説明した。この楽曲再生システム１によれば、音響再生装置５０におけるデータ取得部５１１がスピーカ５４により再生される楽曲のジャンルに対応するモーショングラフィックスデータＤ２を記憶ユニット５３から取得する。再生制御部５１３は、スピーカ５４にオーディオ信号を入力して楽曲を再生させるように構成される。表示制御部５１５は、スピーカ５４により再生される楽曲の進行に合わせて、ディスプレイ５５にモーショングラフィックスを表示させるように構成される。記憶ユニット５３は、楽曲のジャンル毎にモーショングラフィックスデータＤ２を記憶する。記憶ユニット５３が記憶するジャンル毎のモーショングラフィックスデータＤ２は、上述したように、対応するジャンルの楽曲部分の種類毎のコンポーネントデータＤ２１を有する。具体的に、モーショングラフィックスデータＤ２は、セクションの種類毎のコンポーネントデータＤ２１を有する。

制御ユニット５１は、スピーカ５４により再生される楽曲が有するセクションの種類及び並びに応じてモーショングラフィックスデータＤ２が有するコンポーネントデータＤ２１を使い分けてディスプレイ５５を制御することにより、楽曲の進行に合わせたモーショングラフィックスをディスプレイ５５に表示させる。

従って、本実施形態の楽曲再生システム１によれば、再生される楽曲の進行に合わせて、適切にディスプレイ５５にモーショングラフィックスを表示させることができる。即ち、この楽曲再生システム１によれば、ジャンルの異なる様々な楽曲に関し、再生される楽曲の曲調及びその変化に合わせて多様なモーショングラフィックスをディスプレイ５５に適切に表示させることができる。

以上に説明した本実施形態の楽曲再生システム１は、次のように変形されてもよい。例えば、音響再生装置５０としての機能は、その一部又は全部が携帯通信端末１０に組み込まれてもよい。

即ち、携帯通信端末１０は、ジャンル毎のモーショングラフィックスデータＤ２を記憶ユニット１３に記憶する構成にされてもよい。携帯通信端末１０の制御ユニット１１は、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ、及び、曲構造データＤＳを、通信ユニット１７を介してサーバ装置７０，９０から取得する構成にされてもよい。制御ユニット１１は、サーバ装置７０，９０からの取得データに基づき、楽曲データＤ１に基づく楽曲の再生時に、ユーザインタフェース１５が備えるディスプレイに楽曲の進行に合わせてモーショングラフィックスを表示させることができる。楽曲データＤ１に基づく再生音は、携帯通信端末１０のスピーカ（図示せず）から出力することができる。

音響再生装置５０が有する機能の全てが実質的に携帯通信端末１０に組み込まれる場合、楽曲再生システム１において音響再生装置５０は不要である。即ち、楽曲再生システム１には、携帯通信端末１０及び音響再生装置５０としての機能を統合した単一装置が携帯通信端末１０及び音響再生装置５０に代えて設けられ得る。単一装置は、携帯通信端末であってもよい。

携帯通信端末１０は、音響再生装置５０を単にスピーカ５４及びディスプレイ５５として用いるように構成されてもよい。即ち、携帯通信端末１０は、楽曲データＤ１に基づく再生用信号、及び、これに同期したモーショングラフィックスを表す映像信号、又は、これらを統合した信号を、ストリーム信号として、音響再生装置５０に送信するように構成されてもよい。この場合、音響再生装置５０は、携帯通信端末１０からの受信信号に基づき楽曲をスピーカ５４から再生し、モーショングラフィックスをディスプレイ５５に表示させるように動作し得る。携帯通信端末１０は、デスクトップコンピュータ等の携帯性を有さない他の電子機器に置き換えられてもよい。

ディスプレイ５５に表示させるモーショングラフィックスは、スピーカ５４からの再生音量又は音量つまみ位置を加味して決定されてもよい。音響再生装置５０は、曲ジャンル及び曲構造だけでなく、再生音量又は音量つまみ位置をもパラメータとして用いて、ディスプレイ５５に表示させるモーショングラフィックスを決定するように構成され得る。再生音量が小さい環境では、落ち着いた鑑賞空間を形成するために、再生音量が大きい環境よりもディスプレイ５５に変化の穏やかなモーショングラフィックスを表示させることが考えられる。

ディスプレイ５５は、図１０に示すように構成にされてもよい。図１０に示すディスプレイ５５は、液晶ディスプレイ本体５５１の両面を覆うように、透明板５５３，５５５が配置された構成される。具体的に、ディスプレイ５５は、液晶ディスプレイ本体５５１の両面を挟むように、一対の透明板５５３が配置され、一対の透明板５５３を両側から挟むように一対の透明板５５５が配置された構成にされる。

ディスプレイ５５は、液晶ディスプレイ本体５５１、透明板５５３、及び、透明板５５５が、上述した順にフレーム５５７に格納されて、箱状に構成にされる。一対の透明板５５５は、箱状のディスプレイ５５の外表面を構成する。一対の透明板５５５の内、液晶ディスプレイ本体５５１の表示面と向き合う透明板５５５には、スピーカ５４が備える複数のスピーカユニット５４１が組み込まれる。

このスピーカユニット５４１は、液晶ディスプレイ本体５５１の表示面を部分的に覆うように配置される。スピーカユニット５４１の例には、ツイータ及びスコーカが含まれる。スピーカユニット５４１の配置に起因して、透明板５５５は、音の振動面として機能し、透明板５５３は、音の振動が液晶ディスプレイ本体５５１に伝達するのを抑制するように機能する。このようなスピーカ５４とディスプレイ５５との一体化は、優れた意匠を有する音響再生装置５０の製造を容易にする。

スピーカ５４とディスプレイ５５とが一体化された音響再生装置５０では、表示制御部５１５が、モーショングラフィックスの一つとして、スピーカユニット５４１の周囲から放射状に広がる幾何学図形のモーショングラフィックスをディスプレイ５５に表示させるように、ディスプレイ５５を制御する構成にされ得る。図１１によれば、スピーカユニット５４１の周囲から図１１矢印で示すように放射状に広がる波紋のモーショングラフィックスが、液晶ディスプレイ本体５５１によって表示される。

この他、表示制御部５１５は、モーショングラフィックスを構成する文字画像を、楽曲の再生箇所における抑揚及びリズムの少なく一方に合わせて振動させるように、ディスプレイ５５を制御する構成にされてもよい。

楽曲再生システム１は、第二実施形態に示すように構成されてもよい。第二実施形態の楽曲再生システムもまた第一実施形態の楽曲再生システム１の変形例に対応する。以下において、第二実施形態の楽曲再生システムを説明する際には、第一実施形態の楽曲再生システム１と同一構成部分の説明を適宜省略する。第二実施形態の楽曲再生システムにおいて第一実施形態の楽曲再生システム１と同一符号が付された部位は、ハードウェア構成について、第一実施形態と同一であると理解されてよい。同一符号が付された部位のソフトウェア構成も、特に代替する処理の説明がない限り、第一実施形態と基本的構成を同一にすると理解されてよい。

［第二実施形態］
第二実施形態の楽曲再生システムは、第一実施形態と同様、記憶ユニット５３が曲ジャンル毎にモーショングラフィックスデータＤ２を記憶した構成にされる。但し、モーショングラフィックスデータＤ２は、第一実施形態のコンポーネントデータＤ２１に代えて、本実施形態に特有のコンポーネントデータＤ２３をセクション毎に備える。

コンポーネントデータＤ２３の夫々は、複数のテキストモーション定義データＤ２３１及び複数の背景モーション定義データＤ２３２を備えた構成にされる。テキストモーション定義データＤ２３１の夫々は、第一実施形態のテキストモーション定義データＤ２１１に対応し、ディスプレイ５５に表示させる文字画像のフォントタイプ及びサイズ、並びに、文字画像の動きのパターン及び速度を定義する。背景モーション定義データＤ２３２の夫々は、第一実施形態の背景モーション定義データＤ２１２に対応し、文字画像と共にディスプレイ５５に表示させる背景画像の種類、動きのパターン、及び、動きの速度を定義する。

具体的に、テキストモーション定義データＤ２３１及び背景モーション定義データＤ２３２は、歌詞の種類毎に設けられる。テキストモーション定義データＤ２３１の夫々は、対応する種類の歌詞が再生されるときに表示されるべき文字画像のモーショングラフィックスを定義する。背景モーション定義データＤ２３２の夫々は、対応する種類の歌詞が再生されるときに表示されるべき背景画像のモーショングラフィックスを定義する。背景画像のモーショングラフィックスは、文字画像のモーショングラフィックスと調和するように定義される。

ここでいう歌詞の種類は、歌詞の文字数及び再生長で定められる種類である。再生長は、上記文字数分の歌詞が歌われる時間である。即ち、コンポーネントデータＤ２３には、図１３おいて概念的に示されるように、テキストモーション定義データＤ２３１が、歌詞の文字数及び再生長の組合せ毎に用意される。同様に、コンポーネントデータＤ２３には、背景モーション定義データＤ２３２が、歌詞の文字数及び再生長の組合せ毎に用意される。

楽曲再生時には、データ取得部５１１及び表示制御部５１５の協働により、再生位置に対応する歌詞の文字数及び再生長に合致したテキストモーション定義データＤ２３１及び背景モーション定義データＤ２３２に基づくモーショングラフィックスがディスプレイ５５に表示される。

上述した歌詞の文字数及び再生長は、楽曲の歌詞全体における所定の文字列単位で判別される。この所定の文字列単位でテキストモーション定義データＤ２３１及び背景モーション定義データＤ２３２は使い分けられて、モーショングラフィックスは切り替えられる。上記文字列単位は、例えば、歌詞の行単位である。歌詞データＤＬにおいて歌詞が分かち書きされている場合、上記文字列単位は、分かち書きにより分割された文字列単位であってもよい。

本実施形態のデータ取得部５１１は、Ｓ１５０において、再生される楽曲のセクション毎に図１４に示す処理を実行し、モーショングラフィックスの再生計画を作成することができる。データ取得部５１１は、図１４に示す処理を開始すると、最初に、対応するセクションのコンポーネントデータＤ２３をモーショングラフィックスデータＤ２から読み出す（Ｓ１５１）。

続いて、データ取得部５１１は、対応するセクションにおける歌詞の文字列を先頭から順に処理対象に選択し（Ｓ１５３）、選択した処理対象文字列の文字数及び再生長を特定する（Ｓ１５５）。再生長は、例えば、歌詞データＤＬに含まれるタイムコードを参照して特定可能である。その後、データ取得部５１１は、特定した文字数及び再生長に対応するテキストモーション定義データＤ２３１及び背景モーション定義データＤ２３２を参照し、Ｓ１５３で選択した処理対象文字列に対応する楽曲部分に関して、この楽曲部分の再生時に、ディスプレイ５５に表示させる処理対象文字列のモーショングラフィックス及び背景画像のモーショングラフィックスを決定する（Ｓ１５７）。

データ取得部５１１は、対応するセクションの終端まで、上述したＳ１５３〜Ｓ１５７の処理を繰り返し実行する。そして、対応するセクションの終端まで、上述した処理を実行すると（Ｓ１５９でＹｅｓ）、対応するセクションの再生計画の作成を終了し、図１４に示す処理を終了する。ここで言う対応するセクションの再生計画は、Ｓ１５７での決定内容に従うセクション内の文字列のモーショングラフィックス及び背景画像のモーショングラフィックスのシーケンス（即ち、表示手順）を表すデータに対応する。

図１５Ａに示す例によれば、１行目の歌詞に対して、分かち書きされた文字列の単位毎に、文字列のモーショングラフィックスＴＭ１１，ＴＭ１２，ＴＭ１３が決定され、モーショングラフィックスＴＭ１１，ＴＭ１２，ＴＭ１３の夫々に対応して、背景画像のモーショングラフィックスＢＭ１１，ＢＭ１２，ＢＭ１３が決定される。図１５Ａ及び図１５Ｂにおいて示されるアスタリスクは、歌詞を構成する文字の抽象表現である。

同様に、２行目の歌詞に対して、分かち書きされた文字列の単位毎に、文字列のモーショングラフィックスＴＭ２１，ＴＭ２２が決定され、モーショングラフィックスＴＭ２１，ＴＭ２２の夫々に対応して、背景画像のモーショングラフィックスＢＭ２１，ＢＭ２２が決定される。

データ取得部５１１は、Ｓ１５０において、楽曲を構成するセクションの配列順に各セクションに対する図１４の処理を実行し、各セクションの再生計画を結合することにより、楽曲全体の再生計画を作成することができる。

以上に説明した第二実施形態の楽曲再生システムによれば、歌詞の特徴に合わせてモーショングラフィックスを表示することができるので、より楽曲にマッチしたモーショングラフィックスをディスプレイ５５に表示させることが可能である。例えば、文字数の多い歌詞が歌われる楽曲部分では、多数の文字を表示するのに適したモーショングラフィックスを用いて、歌詞に対応する文字列をディスプレイ５５に表示させることができる。文字数の少ない歌詞が歌われる楽曲部分では、少ない文字を表示面内にバランスよく配置可能なモーショングラフィックスを用いて、歌詞に対応する文字列をディスプレイ５５に表示させることができる。

第二実施形態の楽曲再生システムは、次のように変形されてもよい。例えば、背景画像のモーショングラフィックスＢＭ１，ＢＭ２は、図１５Ｂに示すように行単位で決定されてもよい。例えば、データ取得部５１１は、背景画像に関しては、行単位で、その行の文字数及び再生長に対応する背景モーション定義データＤ２３２を参照し、背景画像のモーショングラフィックスを決定することができる。

あるいは、データ取得部５１１は、背景画像に関しては、対応する行の先頭文字列の文字数及び再生長に対応する背景モーション定義データＤ２３２を参照して、その行全体の背景画像のモーショングラフィックスを決定するように構成されてもよい。即ち、データ取得部５１１は、行内においては、背景画像のモーショングラフィックスを切り替えないように、再生計画を作成する構成にされてもよい。文字画像のモーショングラフィックスも同様に、行単位で決定されてよい。

この他、第二実施形態の楽曲再生システムは、第三実施形態に示すように変形されてもよい。以下において第三実施形態の楽曲再生システムを説明する際には、第二実施形態の楽曲再生システムと同一構成部分の説明を適宜省略する。第三実施形態の楽曲再生システムの各部は、特に代替する処理の説明がない限り、第二実施形態と同一構成を有すると理解されてよい。

［第三実施形態］
第三実施形態の楽曲再生システムは、図１６に示すようにタイムコードＴＣが付された歌詞データＤＬを用いて、文字画像のモーショングラフィックスを表示制御するように構成される。タイムコードＴＣは、文字列単位で歌詞に付され、対応する文字列の表示開始時刻を、楽曲の再生開始時刻を起点とした経過時間で表す。即ち、歌詞データＤＬは、楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、文字列の表示開始時刻を表すタイムコードＴＣが付された構成にされる。

具体的に、本実施形態の楽曲再生システムは、互いに隣接する第一の文字列と第二の文字列との間の時間差ＴＡをタイムコードＴＣに基づき判定し、その時間差ＴＡに基づき、第一の文字列に関するモーショングラフィックスの表示終了タイミングを制御する。

図１７Ａに示すように、互いに隣接する第一及び第二の文字列に関し、先行する第一の文字列に付されたタイムコードＴＣが表す表示開始時刻Ｔ１と、第一の文字列に続く第二の文字列に付されたタイムコードＴＣが表す表示開始時刻Ｔ２との間の時間差ＴＡ＝Ｔ２−Ｔ１が閾値ＴＨ未満である場合、第一の文字列に関するモーショングラフィックスの表示終了タイミングは、時刻Ｔ２より所定時間ＴＢ前の時刻ＴＥ１に制御される。

図１７Ｂに示すように、上記時間差ＴＡが閾値ＴＨ以上である場合には、第一の文字列の表示開始時刻Ｔ１より所定時間ＴＤ後の時刻ＴＥ２に、第一の文字列の表示終了タイミングは、制御される。図１７Ａ及び１７Ｂにおける太矢印は、時間の流れを表し、メッシュ状のハッチングが施された領域は、文字列のモーショングラフィックスの表示期間を表し、斜線状のハッチングが施された領域は、対応する文字列が歌われる期間を表す。図１７Ｂから理解できるように、所定時間ＴＤは、時刻ＴＥ２が、対応する文字列が歌われる期間の終了時刻ＴＥよりも後になるように定められる。

データ取得部５１１は、Ｓ１５０において、楽曲を構成するセクション毎に図１４に示す処理を実行し、モーショングラフィックスの再生計画を作成することができる。データ取得部５１１は、図１４に示す処理を開始すると、第二実施形態と同様に、Ｓ１５１〜Ｓ１５９の処理を実行する。但し、Ｓ１５７では、図１８に示す処理を実行して、Ｓ１５３で選択した処理対象文字列のモーショングラフィックスの表示終了タイミングを決定する。なお、Ｓ１５３では、タイムコードＴＣが付された文字列単位で順に、文字列を処理対象に選択する。

図１８に示す処理によれば、データ取得部５１１は、Ｓ１５３で選択した処理対象の文字列に付されたタイムコードＴＣから特定される、この文字列の表示開始時刻Ｔ１と、この処理対象の文字列に隣接する後続の文字列に付されたタイムコードＴＣから特定される、この後続文字列の表示開始時刻Ｔ２との時間差ＴＡを算出する（Ｓ１５７１）。

その後、データ取得部５１１は、算出した時間差ＴＡを予め定められた閾値ＴＨと比較し、時間差ＴＡが閾値ＴＨ以上であるか否かを判断する（Ｓ１５７３）。

時間差ＴＡが閾値ＴＨ未満であると判断すると（Ｓ１５７３でＮｏ）、データ取得部５１１は、後続文字列の表示開始時刻Ｔ２を基準に、表示開始時刻Ｔ２より所定時間ＴＢ前の時刻ＴＥ１を、処理対象文字列のモーショングラフィックスの表示終了タイミングに決定して（Ｓ１５７５）、図１８に示す処理を終了する。

時間差ＴＡが閾値ＴＨ以上であると判断すると（Ｓ１５７３でＹｅｓ）、データ取得部５１１は、処理対象文字列の表示開始時刻Ｔ１を基準に、表示開始時刻Ｔ１より所定時間ＴＤ後の時刻ＴＥ２を、処理対象文字列のモーショングラフィックスの表示終了タイミングに決定して（Ｓ１５７７）、図１８に示す処理を終了する。

データ取得部５１１は、このようにしてモーショングラフィックスの表示終了タイミングを規定した再生計画を作成する。この再生計画において、各文字列のモーショングラフィックスの表示開始タイミングは、対応する文字列に付されたタイムコードＴＣが示す時刻に規定される。背景画像のモーショングラフィックスの表示開始及び表示終了タイミングは、文字列のモーショングラフィックスの表示開始及び表示終了タイミングに合わせることができる。

本実施形態によれば、楽曲の再生途中で、歌い終わった歌詞の文字列がディスプレイ５５に長時間表示されたままとなり、ユーザに不快感が生じるのを抑制することができる。

Ｓ１５７７の処理により、処理対象文字列の表示終了タイミングが、後続文字列のモーショングラフィックスの表示開始時刻Ｔ２よりかなり前に調整される場合には、処理対象文字列の表示終了後、後続文字列のモーショングラフィックスの表示が開始されるまでの間において、ディスプレイ５５の表示が静かになる。

従って、データ取得部５１１は、図１９で示すように、Ｓ１５７７の処理終了後、Ｓ１５７９に移行し、処理対象文字列のモーショングラフィックスの表示終了時刻ＴＥ２と、後続文字列のモーショングラフィックスの表示開始時刻Ｔ２との間に、つなぎ用のモーショングラフィックスをディスプレイ５５に表示させるように、再生計画を作成してもよい。図１７Ｃにおいて縦縞でハッチングされた領域は、つなぎ用のモーショングラフィックスが表示される期間を表す。

［第四実施形態］
続いて説明する第四実施形態の楽曲再生システム４は、第一実施形態では音響再生装置５０が有する機能の一部が、受付サーバ８０に設けられた構成にされる。第四実施形態の楽曲再生システム４のハードウェア構成は、音響再生装置５０と、第一サーバ装置７０及び第二サーバ装置９０との間に、受付サーバ８０が設けられている点を除いて、第一実施形態の楽曲再生システム１と基本的に同一である。

以下では、受付サーバ８０の構成及び処理動作を、図２０及び図２２を用いて説明し、音響再生装置５０が、図９に示す処理に代えて実行する処理の内容を、図２１を用いて説明する。第四実施形態の楽曲再生システム４が備える、第一実施形態の楽曲再生システム１と同一構成の部位に関する説明は、適宜省略する。第一実施形態の楽曲再生システム１と同一符号が付された部位は、ハードウェア構成について、第一実施形態と同一構成を有すると理解されたい。

本実施形態の受付サーバ８０は、音響再生装置５０と広域ネットワークを通じて通信可能に配置される。受付サーバ８０は、音響再生装置５０からの要求に応じて、音響再生装置５０で再生される楽曲にマッチしたモーショングラフィックスの表示用データＤＭを、音響再生装置５０に提供するように構成される。

受付サーバ８０は、メインユニット８１と、記憶ユニット８３と、通信ユニット８７と、を備える。メインユニット８１は、ＣＰＵ８１Ａ及びＲＡＭ８１Ｂを備え、ＣＰＵ８１Ａは、各種プログラムに従う処理を実行する。ＲＡＭ８１Ｂは、ＣＰＵ８１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ８１Ａがプログラムに従って実行する処理を、受付サーバ８０又はメインユニット８１が実行する処理として説明する。

記憶ユニット８３は、各種プログラム及びデータを記憶する。記憶ユニット８３が記憶するデータには、曲ジャンル毎のモーショングラフィックスデータＤ２（図３参照）が含まれる。通信ユニット８７は、広域ネットワークを通じて、音響再生装置５０、第一サーバ装置７０及び第二サーバ装置９０と通信可能に構成される。

第一サーバ装置７０は、受付サーバ８０からの要求信号に従って、受付サーバ８０から要求された歌詞データＤＬを、受付サーバ８０に送信するように構成される。第二サーバ装置９０は、受付サーバ８０からの要求信号に従って、受付サーバ８０から要求された楽曲のジャンルを表す曲ジャンルデータＤＧ及び曲構造を表す曲構造データＤＳを受付サーバ８０に送信するように構成される。

音響再生装置５０のデータ取得部５１１は、図９に示す処理代えて、図２１に示す処理を繰返し実行する。このデータ取得部５１１は、携帯通信端末１０から送信される動作命令を、通信ユニット５７を介して受信するまで待機する（Ｓ２１０）。

データ取得部５１１は、動作命令を受信すると（Ｓ２１０でＹｅｓ）、この動作命令に付された曲目データを含む要求信号であって、当該曲目データに対応する楽曲再生時に表示すべきモーショングラフィックスの表示用データＤＭを要求する信号を、受付サーバ８０に通信ユニット５７を介して送信する（Ｓ２２０）。

データ取得部５１１は、この要求信号に従って受付サーバ８０から送信されてくる表示用データＤＭを、通信ユニット５７を介して受信し（Ｓ２３０）、受信が完了すると、準備完了通知を携帯通信端末１０に送信する（Ｓ２６０）。

第一実施形態と同様、この準備完了通知により、携帯通信端末１０では、楽曲データＤ１の再生処理が開始されて、再生用信号及び再生位置信号が送られてくる。音響再生装置５０の表示制御部５１５は、この再生位置信号を、通信ユニット５７を介して受信し、この再生位置信号及び上記表示用データＤＭに基づいて、スピーカ５４からの楽曲再生音に対応するモーショングラフィックスがディスプレイ５５に表示されるようにディスプレイ５５を制御する。このようにして制御ユニット５１は、再生される楽曲の進行に合わせて、歌詞の文字画像を含むモーショングラフィックスをディスプレイ５５に表示させるように、ディスプレイ５５を制御する。

本実施形態において音響再生装置５０に提供される上記表示用データＤＭは、第一実施形態における再生計画に対応する。但し、本実施形態の音響再生装置５０は、モーショングラフィックスデータＤ２を備えていなくてもよい。従って、再生計画は、モーショングラフィックスデータＤ２への参照情報を含んだ構成にされてもよいが、表示用データＤＭは、モーショングラフィックスデータＤ２への参照情報を含まない。即ち、表示用データＤＭは、音響再生装置５０が、モーショングラフィックスデータＤ２なしで楽曲に対応したモーショングラフィックスをディスプレイ５５に表示させることが可能なデータとして構成される。表示用データＤＭは、表示制御部５１５が解釈可能なプログラムを含むデータであってもよいし、動画データであってもよい。

受付サーバ８０のメインユニット８１は、図２２に示す処理を繰返し実行することにより、音響再生装置５０がＳ２２０で送信する要求信号を受け付け、要求信号に従う表示用データＤＭを音響再生装置５０に提供するように動作する。

図２２に示す処理において、メインユニット８１は、再生される楽曲の上記曲目データを含む上記要求信号を、通信ユニット８７を介して音響再生装置５０から受信するまで待機する（Ｓ３１０）。この要求信号を受信すると、メインユニット８１は、受信した上記曲目データに基づき、対応する歌詞データＤＬを、通信ユニット８７を介して第一サーバ装置７０から取得する（Ｓ３２０）。更に、メインユニット８１は、対応する曲ジャンルデータＤＧ及び曲構造データＤＳを、第二サーバ装置９０から取得する（Ｓ３３０）。

その後、メインユニット８１は、上記曲ジャンルデータＤＧに基づき、再生される楽曲の曲ジャンルを特定し、特定した曲ジャンルのモーショングラフィックスデータＤ２を記憶ユニット８３から読み出す（Ｓ３４０）。

更に、メインユニット８１は、読み出したモーショングラフィックスデータＤ２に含まれるコンポートネントデータＤ２１及び接続用モーションデータＤ２２の一群と、曲構造データＤＳから判別される楽曲を構成するセクションの種類及び配列と、に基づき、第一実施形態の再生計画に対応した上記楽曲を構成するセクションの種類及び配列に対応したモーショングラフィックスの表示用データＤＭを作成する（Ｓ３５０）。

具体的に、メインユニット８１は、曲構造データＤＳに基づき、再生される楽曲が有するセクションの種類及び配列を、再生開始時刻を起点とする時間軸と対応付けて判別する。そして、表示用データＤＭとして、各セクションに対応する楽曲部分の再生時に、再生されるセクションの種類に対して、この楽曲のジャンルに対応するモーショングラフィックスデータＤ２が定義するモーショングラフィックスを、音響再生装置５０に表示させるための表示用データＤＭを生成する。

例えば、メインユニット８１は、第一サーバ装置７０から取得した歌詞データＤＬから特定される歌詞を構成する文字列の夫々に対し、テキストモーション定義データＤ２１１が表す文字画像のフォントタイプ及びサイズ、並びに、文字画像の動きのパターン及び速度に関する情報を付与して、上記表示用データＤＭに、歌詞に関するテキストモーショングラフィックスの表示用データを組み込む。

その後、メインユニット８１は、上記作成した表示用データＤＭを、要求元の音響再生装置５０に通信ユニット８７を介して送信する（Ｓ３６０）。本実施形態によれば、このようにして、第一実施形態では音響再生装置５０が有する機能の一部が、受付サーバ８０で実現される。

本開示は、以上に説明した実施形態に限定されるものではなく、種々の態様を採ることができる。音響再生装置５０が有する機能の一部を受付サーバ８０設ける技術的思想は、第二実施形態及び第三実施形態に適用されてもよい。表示用データＤＭは、単に、モーショングラフィックデータＤ２から抽出された上記再生される楽曲が有する各セクションに対応するコンポーネントデータＤ２１のセットであってもよい。この場合、表示用データＤＭには、歌詞データＤＬ及び曲構造データＤＳを含ませることができる。

コンポーネントデータＤ２１，Ｄ２３は、セクションの種類毎に設けられなくてもよい。即ち、全セクションに対して共通のコンポーネントデータＤ２１，Ｄ２３がモーショングラフィックスデータＤ２に格納されてもよい。上記歌詞の種類毎にコンポーネントデータＤ２１を備えるようにモーショングラフィックスデータＤ２は構成されてもよい。

上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。上記各実施形態の構成の一部を省略してもよい。上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

用語間の対応関係は、次の通りである。スピーカ５４は、音響デバイスの一例に対応し、ディスプレイ５５は、表示デバイスの一例に対応する。再生制御部５１３は、再生制御ユニットの一例に対応する。データ取得部５１１が実行するＳ１５０の処理及び表示制御部５１５が実行する処理は、表示制御ユニットが実行する処理の一例に対応する。データ取得部５１１が実行するＳ１２０の処理、又は、メインユニット８１が実行するＳ３１０−Ｓ３３０の処理は、取得ユニットが実行する処理の一例に対応する。メインユニット８１が実行するＳ３４０−Ｓ３６０の処理は、出力ユニットが実行する処理の一例に対応する。

Claims (18)

1. 音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、
   記憶デバイスが記憶するモーショングラフィックスデータに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように構成された表示制御ユニットと、
   前記音響デバイスによって再生される楽曲のジャンルを特定可能なジャンル情報を取得するように構成されたジャンル取得ユニットと、
   前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞を構成する歌詞部分毎に表示タイミングを示す情報が付された歌詞データを取得するように構成された歌詞取得ユニットと、
   を備え、
   前記モーショングラフィックスデータは、前記表示デバイスに表示させるべきモーショングラフィックスを定義する複数のコンポーネントデータを含み、
   前記表示制御ユニットは、前記各歌詞部分に対応する前記歌詞データに基づく文字のモーショングラフィックスを、前記複数のコンポーネントデータのうちのいずれか一つのコンポーネントデータにおけるモーショングラフィックスの定義に従って前記表示デバイスに表示させるように構成され、
   前記一つのコンポーネントデータとしては、前記楽曲のジャンル、及び、前記各歌詞部分の文字数に対応したコンポーネントデータが用いられる楽曲再生システム。
2. 前記記憶デバイスは、前記モーショングラフィックスデータを、楽曲のジャンル毎に記憶し、
   前記表示制御ユニットは、前記ジャンル情報に基づき、前記記憶デバイスが記憶する前記モーショングラフィックスデータの内、前記音響デバイスにより再生される楽曲のジャンルに対応するモーショングラフィックスデータに基づき、前記表示デバイスに前記モーショングラフィックスを表示させる請求項１記載の楽曲再生システム。
3. 前記歌詞データは、前記表示タイミングを示す情報として、前記歌詞部分毎にタイムコードが付された構成にされ、
   前記一つのコンポーネントデータは、前記楽曲のジャンル、及び、前記歌詞データから特定される前記タイムコード間の歌詞部分の文字数に応じて選択される請求項１又は請求項２記載の楽曲再生システム。
4. 前記一つのコンポーネントデータは、前記楽曲のジャンル、並びに、前記タイムコード間の歌詞部分の文字数及び再生長に応じて選択される請求項３記載の楽曲再生システム。
5. 前記表示制御ユニットは、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の再生時刻に対応する前記タイムコードが付された前記歌詞部分を表す文字のモーショングラフィックスを、前記表示デバイスに表示させるように、前記表示デバイスを制御する請求項３又は請求項４記載の楽曲再生システム。
6. 前記モーショングラフィックスは、前記文字に関するモーショングラフィックス及び背景画像に関するモーショングラフィックスを含み、
   前記コンポーネントデータは、前記文字に関するモーショングラフィックスを定義する第一定義データ、及び、前記背景画像に関するモーショングラフィックスを定義する第二定義データを有し、
   前記表示制御ユニットは、前記音響デバイスにより再生される楽曲の進行に合わせて、前記一つのコンポーネントデータに含まれる前記第一定義データが定義する前記文字のモーショングラフィックスであって、対応する歌詞部分を表す前記文字のモーショングラフィックスを表示させ、更には、前記文字のモーショングラフィックスと併せて、前記第二定義データが定義する前記背景画像のモーショングラフィックスを表示させるように、前記表示デバイスを制御する請求項１〜請求項５のいずれか一項記載の楽曲再生システム。
7. 前記表示制御ユニットは更に、前記タイムコードに対応する時間軸上に並ぶ複数の歌詞部分の内、互いに隣接する第一及び第二の歌詞部分であって前記第一の歌詞部分と前記第一の歌詞部分に続く前記第二の歌詞部分との間における前記タイムコードの時間差を判定し、前記時間差が基準以上である場合には、前記第一の歌詞部分に関するモーショングラフィックスの表示後、前記第二の歌詞部分に関するモーショングラフィックスの表示前に、別のモーショングラフィックスを前記表示デバイスに表示させるように、前記表示デバイスを制御する請求項５又は請求項５を引用する請求項６記載の楽曲再生システム。
8. 前記表示制御ユニットは更に、前記タイムコードに対応する時間軸上に並ぶ複数の歌詞部分の内、互いに隣接する第一及び第二の歌詞部分であって前記第一の歌詞部分と前記第一の歌詞部分に続く前記第二の歌詞部分との間における前記タイムコードの時間差を判定し、前記時間差が基準未満である場合には、前記タイムコードに従う前記第二の歌詞部分に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、前記第一の歌詞部分に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御し、前記時間差が基準以上である場合には、前記タイムコードに従う前記第一の歌詞部分に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、前記第一の歌詞部分に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御する請求項５又は請求項５を引用する請求項６記載の楽曲再生システム。
9. 音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、
   記憶デバイスが記憶するモーショングラフィックスデータに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように構成された表示制御ユニットと、
   前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、前記文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得するように構成された取得ユニットと、
   を備え、
   前記モーショングラフィックスデータは、楽曲部分の種類毎に、前記種類に属する楽曲部分の再生時に前記表示デバイスに表示させるべきモーショングラフィックスを定義しており、
   前記表示制御ユニットは、前記音響デバイスにより再生される楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別し、前記各楽曲部分の再生時に、この楽曲部分の種類に対して前記モーショングラフィックスデータが定義するモーショングラフィックスを表示させるように、前記表示デバイスを制御し、前記歌詞データに基づき、前記モーショングラフィックスとして、前記楽曲の再生時刻に対応する前記タイムコードが付された文字列に関するモーショングラフィックスを、前記表示デバイスに表示させ、
   前記表示制御ユニットは更に、前記複数の文字列の内、互いに隣接する第一及び第二の文字列であって前記第一の文字列と前記第一の文字列に続く前記第二の文字列との間における前記タイムコードの時間差を判定し、前記時間差が基準未満である場合には、前記タイムコードに従う前記第二の文字列に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御し、前記時間差が基準以上である場合には、前記タイムコードに従う前記第一の文字列に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御する楽曲再生システム。
10. 前記モーショングラフィックスデータは、前記楽曲部分の種類として、楽曲を構成するセクションの種類毎に、前記表示デバイスに表示させるべきモーショングラフィックスを定義する請求項９記載の楽曲再生システム。
11. 前記モーショングラフィックスデータは、前記楽曲部分の種類として、前記楽曲部分における歌詞の種類毎に、前記表示デバイスに表示させるべきモーショングラフィックスを定義する請求項９記載の楽曲再生システム。
12. 前記歌詞の種類は、歌詞の文字数及び再生長の少なくとも一方で定められる請求項１１記載の楽曲再生システム。
13. 前記音響デバイスは、前記表示デバイスの表示面を部分的に覆うように配置された一以上のスピーカユニットを備え、
    前記表示制御ユニットは、前記スピーカユニットの周囲から放射状に広がる幾何学図形のモーショングラフィックスを前記表示デバイスに表示させるように、前記表示デバイスを制御する請求項１〜請求項１２のいずれか一項記載の楽曲再生システム。
14. 音響デバイスに楽曲を再生させるように構成された再生制御ユニットと、
    前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、前記文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得するように構成された取得ユニットと、
    前記取得ユニットが取得した前記歌詞データに基づき、前記音響デバイスによる楽曲再生に合わせて、前記楽曲の再生時刻に対応する前記タイムコードが付された文字列に関するモーショングラフィックスを表示デバイスに表示させるように、前記表示デバイスを制御する構成にされた表示制御ユニットと、
    を備え、
    前記表示制御ユニットは、前記複数の文字列の内、互いに隣接する第一及び第二の文字列であって前記第一の文字列と前記第一の文字列に続く前記第二の文字列との間における前記タイムコードの時間差を判定し、前記時間差が基準未満である場合には、前記タイムコードに従う前記第二の文字列に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御し、前記時間差が基準以上である場合には、前記タイムコードに従う前記第一の文字列に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御する楽曲再生システム。
15. 楽曲に関する情報を取得するように構成された取得ユニットと、
    前記取得ユニットが取得した前記楽曲に関する情報、及び、記憶デバイスが記憶するモーショングラフィックスデータに基づき、音響デバイスにより再生される前記楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるための表示用データを出力するように構成された出力ユニットと、
    を備え、
    前記モーショングラフィックスデータは、前記表示デバイスに表示させるべきモーショングラフィックスを定義する複数のコンポーネントデータを含み、
    前記楽曲に関する情報は、前記楽曲のジャンルを特定可能なジャンル情報、及び、前記楽曲の歌詞を構成する歌詞部分毎に表示タイミングを示す情報が付された歌詞情報を含み、
    前記出力ユニットは、前記楽曲に関する情報及び前記モーショングラフィックスデータに基づき、前記表示用データとして、前記楽曲の歌詞を構成する各歌詞部分に対応する各楽曲部分の再生時に前記複数のコンポーネントデータのうちのいずれか一つのコンポーネントデータに従うモーショングラフィックスを前記表示デバイスに表示させるための表示用データを生成するように構成され、
    前記出力ユニットは、前記ジャンル情報から特定される前記楽曲のジャンル、及び、前記歌詞情報から特定される前記各歌詞部分の文字数に応じて、前記一つのコンポーネントデータを選択し、前記一つのコンポーネントデータに従うモーショングラフィックスとして、対応する歌詞部分を表す文字のモーショングラフィックスを、前記表示デバイスに表示させるための前記表示用データを生成するデータ出力装置。
16. 音響デバイスに楽曲を再生させることと、
    記憶デバイスが記憶するモーショングラフィックスデータに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように、前記表示デバイスを制御することと、
    前記音響デバイスによって再生される楽曲のジャンルを特定可能なジャンル情報を取得することと、
    前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞を構成する歌詞部分毎に表示タイミングを示す情報が付された歌詞データを取得することと、
    を含み、
    前記モーショングラフィックスデータは、前記表示デバイスに表示させるべきモーショングラフィックスを定義する複数のコンポーネントデータを含み、
    前記表示デバイスを制御することは、
    前記各歌詞部分に対応する前記歌詞データに基づく文字のモーショングラフィックスを、前記複数のコンポーネントデータのうちのいずれか一つのコンポーネントデータにおけるモーショングラフィックスの定義に従って前記表示デバイスに表示させることと、
    前記一つのコンポーネントデータとして、前記楽曲のジャンル、及び、前記各歌詞部分の文字数に対応したコンポーネントデータを選択することと、
    を含む楽曲再生方法。
17. 音響デバイスに楽曲を再生させることと、
    記憶デバイスが記憶するモーショングラフィックスデータに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、表示デバイスにモーショングラフィックスを表示させるように、前記表示デバイスを制御することと、
    前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、前記文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得することと、
    を含み、
    前記モーショングラフィックスデータは、楽曲部分の種類毎に、前記種類に属する楽曲部分の再生時に前記表示デバイスに表示させるべきモーショングラフィックスを定義しており、
    前記表示デバイスを制御することは、
    前記音響デバイスにより再生される楽曲が有する複数の楽曲部分に関して、各楽曲部分の種類を判別することと、
    前記各楽曲部分の再生時に、この楽曲部分の種類に対して前記モーショングラフィックスデータが定義するモーショングラフィックスを表示させるように、前記表示デバイスを制御することにより、前記楽曲の進行に合わせて、前記表示デバイスにモーショングラフィックスを表示させることであって、前記歌詞データに基づき、前記音響デバイスによる楽曲再生に合わせて、前記楽曲の再生時刻に対応する前記タイムコードが付された文字列に関するモーショングラフィックスを、前記表示デバイスに表示させることと、
    前記複数の文字列の内、互いに隣接する第一及び第二の文字列であって前記第一の文字列と前記第一の文字列に続く前記第二の文字列との間における前記タイムコードの時間差を判定し、前記時間差が基準未満である場合には、前記タイムコードに従う前記第二の文字列に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御し、前記時間差が基準以上である場合には、前記タイムコードに従う前記第一の文字列に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御することと、
    を含む楽曲再生方法。
18. 音響デバイスに楽曲を再生させることと、
    前記音響デバイスによって再生される楽曲の歌詞データであって、前記楽曲の歌詞全体を分割して定められる複数の文字列の夫々に対して、前記文字列の表示開始時刻を表すタイムコードが付された歌詞データを取得することと、
    取得した前記歌詞データに基づき、前記音響デバイスによる楽曲再生に合わせて、前記楽曲の再生時刻に対応する前記タイムコードが付された文字列に関するモーショングラフィックスを表示デバイスに表示させるように、前記表示デバイスを制御することと、
    を含み、
    前記表示デバイスを制御することは、前記複数の文字列の内、互いに隣接する第一及び第二の文字列であって前記第一の文字列と前記第一の文字列に続く前記第二の文字列との間における前記タイムコードの時間差を判定し、前記時間差が基準未満である場合には、前記タイムコードに従う前記第二の文字列に関するモーショングラフィックスの表示開始時刻より所定時間前の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御し、前記時間差が基準以上である場合には、前記タイムコードに従う前記第一の文字列に関するモーショングラフィックスの表示開始時刻より所定時間後の時刻に、前記第一の文字列に関するモーショングラフィックスの表示が終了するように前記表示デバイスを制御することを含む楽曲再生方法。

Images