実施の形態1
以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。本願に係るタイミング指定装置は、カラオケ装置、ゲーム機器及びPC( Personal Computer )等の楽曲データの再生及び画像の表示を行う曲再生装置である。タイミング指定装置は、表示する画像の選択と、楽曲データの再生期間内に当該画像を表示するタイミングとをユーザから受け付けて指定する。そして、タイミング指定装置は、楽曲データを再生すると共に、選択された画像を、指定したタイミングに従って表示する。また、タイミング指定装置は、曲再生装置を遠隔操作する端末装置でもよい。この場合、タイミング指定装置は、選択された画像を、受付けたタイミングに関連付けて曲再生装置へ送信することで、曲再生装置に指定する。本実施の形態1は、タイミング指定装置として、カラオケシステムに含まれるカラオケ装置(曲再生装置)を遠隔操作する端末装置を例に挙げて説明する。
図1は、カラオケシステムを示す模式図である。カラオケシステムは、カラオケ曲を演奏するカラオケ装置(曲再生装置)1と、ネットワーク網Nを介してカラオケ装置1に接続されたサーバ装置4とを含む。カラオケ装置1は、カラオケ曲の楽曲データを再生して伴奏となる音声を放音することにより、カラオケ曲を演奏する。また、カラオケ装置1は、カラオケ曲の演奏期間内にカラオケ曲の歌詞及びカラオケ曲に関連する画像等を表示する。カラオケ装置1は、マイクロフォン1aが接続してあり、伴奏に従って歌唱するユーザの歌声をマイクロフォン1aにより音声に変換して出力することで、カラオケ機能を実現する。カラオケ装置1が再生する楽曲データは、サーバ装置4からカラオケ装置1へ歌詞データと共に送信される。
また、カラオケ装置1には、端末装置(タイミング指定装置)3が赤外線又は無線通信波による通信を可能に接続してある。端末装置3は、操作画面等を表示し、前面にタッチパネルを有する表示部36を備える。端末装置3は、表示部36に表示する操作画面に応じた操作を、ユーザがスタイラス3aを用いて表示部36のタッチパネルに触れることにより受付ける。端末装置3は、楽曲データの再生期間内に表示する画像及び画像を表示するタイミングとしての楽曲データ内の位置(データ位置)夫々の選択をユーザから受付ける。端末装置3は、選択された画像を指定する画像指定情報に関連付けて、受付けたデータ位置をカラオケ装置1に送信することで、画像及びタイミングをカラオケ装置1に指定する。
サーバ装置4は、カラオケ装置1が再生及び表示する楽曲データ及び歌詞データを記憶しており、ネットワーク網Nを介して楽曲データ及び歌詞データをカラオケ装置1に送信する。また、サーバ装置4は、インターネット等を介して図示しない携帯端末装置及びPC等が接続される。サーバ装置4は、ユーザが携帯端末装置及びPC等を用いて画像データをアップロードした場合、ユーザの識別情報であるユーザIDに関連付けて画像データを記憶する。
図2は、実施の形態1に係るカラオケ装置1及び端末装置3の内部ハードウェアを示すブロック図である。カラオケ装置1は、歌詞データ及び画像データ等を再生することにより、歌詞及び画像等の画像信号を出力する画像再生部15と、楽曲データを再生して音声信号を出力する音声再生部17とを備える。画像再生部15が出力する画像信号は、液晶パネル等からなる表示部16により表示される。音声再生部17が再生する音声は、スピーカ部19から放音される。音声再生部17及びスピーカ部19間には、ミキサアンプ18が介装されており、ミキサアンプ18には、マイク信号入力端子18aを介してマイクロフォン1aが接続してある。
ミキサアンプ18は、音声再生部17及びマイクロフォン1a夫々から与えられた音声信号をミキシングしてスピーカ部19に出力する。例えば、ミキサアンプ18は、音声再生部17が再生して得た音声信号と、ユーザの歌声をマイクロフォン1aが変換して得た音声信号とをミキシングする。また、カラオケ装置1は、CPU( Central Processing Unit )10と、ROM( Read-Only Memory )11と、RAM( Random-Access Memory )12と、記憶部13とを含む。
CPU10は、バス10aを介してカラオケ装置1の内部ハードウェア各部を制御するための制御部である。ROM11は、CPU10が実行するプログラム等を予め記憶している。RAM12は、CPU10がプログラムを実行する際に生じる変数等を記憶する。また、CPU10は、ROM11に記憶してあるプログラムをRAM12に読み出して実行する。記憶部13は、ハードディスク及びフラッシュメモリ等であり、予約曲の一覧を示す予約表131を記憶する。ここで、予約曲は、カラオケ装置1のユーザによりカラオケ装置1に対して演奏が予約されたカラオケ曲を示す。また、記憶部13は、端末装置3により指定されたタイミング及び画像を各記憶するタイミング記憶部及び画像記憶部としても機能する。カラオケ装置1は、ネットワーク網Nに接続するネットワーク通信部14aと、端末装置3との間で通信する端末装置通信部14bとを含む。
ネットワーク通信部14aは、サーバ装置4にデータ要求を送信し、サーバ装置4から送信されてきた楽曲データ及び歌詞データ等を受信する。また、ネットワーク通信部14aは、サーバ装置4から送られてきた画像データを受信することで画像を受付ける画像受付部としても機能する。記憶部13は、サーバ装置4から受信した楽曲データ、歌詞データ及び画像データを記憶する。端末装置通信部14bは、記憶部13に記憶してある予約表131を端末装置3からの要求に応じて端末装置3に送信し、画像を表示するタイミングを示すデータ位置及び表示する画像のファイル名が追加された予定表131を端末装置3から受信する。これにより、端末装置通信部14bは、端末装置3から送られてきたタイミング及び画像のファイル名(画像指定情報)を受信する受信部としても機能する。
端末装置3は、カラオケ装置1との間で通信する通信部34と、液晶パネル等からなる表示部36と、表示部36の表示面に設けられたタッチパネル部37とを含む。通信部34は、カラオケ装置1に指定するタイミング及び画像データのファイル名(画像指定情報)をカラオケ装置1へ送信する送信部として機能する。表示部36は、画像の選択及びデータ位置の選択を受付けるための各種画面を表示する。タッチパネル部37は、スタイラス3aの先端部又はユーザの指先による接触を検出し、表示部36に表示した操作画面等に応じたユーザによる操作を受付ける。これにより、タッチパネル部37は、歌詞等の一部を受付ける一部受付部と、表示する画像のファイル名(画像指定情報)を受付ける画像指定情報受付部として機能する。
また、端末装置3は、バス30aを介して端末装置3の内部ハードウェア各部を制御するための制御部であるCPU30と、ROM31と、RAM32と、記憶部33とを含む。ROM31は、CPU30が実行するプログラム等を記憶してある。RAM32は、CPU30がプログラムを実行する際に生じる変数等を記憶する。CPU30は、プログラムを実行することにより、画像を表示するタイミングを指定するタイミング指定部として機能する。記憶部33は、ハードディスク及びフラッシュメモリ等であり、カラオケ装置1に要求して送られてきた予約表131を記憶する。記憶部33は、カラオケ装置1を介してサーバ装置4から送られてきた歌詞データ及び画像の一覧夫々を記憶する歌詞記憶部及び一覧記憶部としても機能する。
図3は、サーバ装置4の内部ハードウェアを示すブロック図である。サーバ装置4は、ログイン情報、楽曲データ、歌詞データ及び画像データ夫々を記憶するログイン情報DB(Data Base)43a、曲DB43b、歌詞DB43c及び画像DB43dを含む。また、サーバ装置4は、バス40aを介してサーバ装置4の内部ハードウェア各部を制御するための制御部であるCPU40と、ROM41と、RAM42とを含む。ROM41は、CPU40が実行するプログラム等を記憶してある。RAM42は、CPU40がプログラムを実行する際に生じる変数等を記憶する。CPU40は、ROM41に記憶してあるプログラムをRAM42に読み出して実行する。
図4は、実施の形態1に係る予約曲一覧画面及び位置選択画面夫々の例を示す模式図である。図4A及び図4B夫々は、予約曲一覧画面及び位置選択画面を示す。予約曲一覧画面は、カラオケ装置1に予約されているカラオケ曲のうち、演奏期間内に画像を表示するカラオケ曲を選択するための画面である。端末装置3は、例えばタッチパネル部37によりユーザから予約曲の一覧を表示する操作を受付けた場合、予定表131をカラオケ装置1に要求する。端末装置3は、送られてきた予定表131を受信して記憶部33に記憶する。端末装置3は、記憶部33に記憶した予定表131に基づいて予約曲夫々の予約順番、曲名及び歌手名等を含む予約曲一覧画面を表示部36に表示する。
図4Aに示す予約曲一覧画面の例では、例えば予約順番が3曲目の予約曲として、曲名「卒業の季節」と、歌手名「池田B子」とが表示されている。また、各予約曲には、演奏期間内に画像を表示する予約曲を選択するためのソフトウェアボタン「背景挿入」が表示されている。端末装置3は、ユーザが指先又はスタイラス3aの先端部を用いてソフトウェアボタン「背景挿入」を選択した場合、当該ソフトウェアボタンに対応付けられた予約曲を選択し、位置選択画面を表示部36に表示する。位置選択画面には、選択された予約曲の歌詞が表示される。
図4Bに示す例では、選択された曲名「卒業の季節」を有する曲の歌詞「夏の校舎・・・」が位置選択画面の略中央に表示され、位置選択画面の右側には、歌詞をスクロール表示するためのスクロールバーが表示されている。ユーザは、スタイラス3aの先端部を用いてタッチパネル部37をなぞることにより、表示部36に表示された歌詞の一部を選択する。端末装置3は、選択された歌詞の一部を囲む矩形状の枠を位置選択画面に表示する。また、端末装置3は、選択された歌詞の一部の表示色を変更して位置選択画面に表示してもよい。端末装置3は、歌詞の一部が選択された場合、演出効果の選択を受付ける効果選択画面を位置選択画面に重畳して表示部36に表示する。
図5は、実施の形態1に係る位置選択画面の他の例と、ログイン画面の例とを示す模式図である。図5A及び図5B夫々は、位置選択画面及びログイン画面を示す。図5Aに示す例では、歌詞の一部「卒業〜」が選択されており、歌詞の一部を囲む矩形状の枠が位置選択画面に表示されている。また、位置選択画面には、複数種類の演出効果を選択するための効果選択画面が重畳されている。効果選択画面には、演出効果「スライドイン」、「チェッカーボード」、「ひし形」、「ブラインド」及び「ボックス」が選択可能に表示されている。演出効果「スライドイン」は、表示内容を画面横方向又は縦方向にスクロール表示する演出効果である。
演出効果「ブラインド」は、表示内容に含まれる各行の輝度が、画面横方向又は縦方向に徐々に増大するよう表示内容を表示する演出効果である。演出効果「チェッカーボード」は、格子模様状に表示する演出効果である。演出効果「ひし形」及び「ボックス」夫々は、時間の経過と共に面積が変化するひし形及び矩形枠内に表示する演出効果である。ユーザは、スタイラス3aの先端部を用いてタッチパネル部37をタップ操作することにより、演出効果を選択する。端末装置3は、選択された歌詞の一部に対応する楽曲データ内のデータ位置を、選択された画像を表示するタイミングとして取得する。また、端末装置3は、選択された演出効果の効果名を取得する。
端末装置3は、位置選択画面で演出効果が選択された場合、ログイン画面を表示部36に表示する。ログイン画面は、ユーザが端末装置3を用いてサーバ装置4の画像DB43dにログインするために必要なログイン情報をユーザから受付けるための画面である。図5Bに示す例では、ユーザにログイン情報の入力を促すメッセージ「あなたのアルバムにログインしてください。」と、ユーザID及びパスワードを各入力するためのテキストボックスとがログイン画面に表示されている。
また、ログイン画面には、ユーザからログイン操作を受付けるためのソフトウェアボタン「ログイン」と、位置選択画面に戻るためのソフトウェアボタン「戻る」とが表示されている。端末装置3は、ログイン操作を受付けた場合、ユーザが入力したユーザID及びパスワードを含むログイン情報をカラオケ装置1を介してサーバ装置4へ送信する。サーバ装置4は、端末装置3から送信されてきたログイン情報を受信する。サーバ装置4は、受信したログイン情報がログイン情報DB43aに記憶されている場合、画像DB43dに記憶されている画像データのうち、受信したログイン情報に含まれるユーザIDが関連付けられた画像データを読み出して端末装置3に送信する。
図6は、画像選択画面及び画像表示画面の例を示す模式図である。図6A及び図6B夫々は、画像選択画面及び画像表示画面を示す。画像選択画面は、位置選択画面で取得したデータ位置で表示する画像を選択するための画面である。端末装置3は、サーバ装置4から画像データが送られてきた場合、画像選択画面を表示部36に表示する。画像選択画面には、画像データの一覧がサムネイル表示される。図6Aに示す例では、ログイン操作を行ったユーザのユーザ名を含むメッセージ「Aさんのアルバム」と、画像の選択を促すメッセージ「画像を選択してください」が画像選択画面に表示されている。
また、画像選択画面には、画像データの一覧がサムネイル表示されると共に、一覧をスクロール表示するためのスクロールバーが右側に表示されている。また、サーバ装置4の画像DB43dには、ユーザIDに関連付けられていない複数の画像データを登録画像データとして予め記憶しておいてもよい。この場合、端末装置3は、位置選択画面で演出効果が選択された場合、ログイン画面を表示することなく、サーバ装置4へ画像データを要求するとよい。そして、サーバ装置4は、要求に応じて登録画像データを端末装置3に送信する。
ユーザは、スタイラス3aの先端部又は指先を用いて一覧から画像を仮選択する。更に、画像選択画面には、仮選択した画像に決定する操作をユーザから受付けるためのソフトウェアボタン「追加」と、画像選択画面を終了するためのソフトウェアボタン「終了」とが表示されている。端末装置3は、仮選択した画像に決定する操作を受付けた場合、選択された画像のファイル名(画像指定情報)を、位置選択画面を用いて取得したデータ位置及び効果名に関連付けて、記憶部33に記憶してある予約表131に追加する。そして端末装置3は、画像のファイル名を追加した予約表131をカラオケ装置1に送信する。これにより、端末装置3は、楽曲データの再生期間内に表示する画像と、画像を表示するタイミングとをカラオケ装置1に対して指定する。カラオケ装置1は、端末装置3から送られてきた予約表131を受信し、予約表131を用いて記憶部13に記憶されている予約表131を書き換える。
カラオケ装置1は、記憶部13に記憶してある予約表131に基づいて楽曲データを再生し、カラオケ曲を演奏する。また、カラオケ装置1は、再生している楽曲データに関連付けて予約表131に記憶されているデータ位置を読み出す。そして、カラオケ装置1は、再生している楽曲データの再生位置が、読み出したデータ位置と略一致した場合、当該データ位置に関連付けて記憶されている画像のファイル名を有する画像データを表示部16に表示する。図6Bに示す例では、歌詞「新たな世界に向けて卒業〜」が表示画面に表示されている。また、表示画面には、カラオケ装置1が歌詞の一部「卒業〜」に対応する再生位置に同期して、ユーザが「卒業〜」に対して選択した画像が表示されている。
図7は、予約表131のレコードレイアウト例を示す図表である。図7に示す例では、予約を受付けた各カラオケ曲の予約順番、楽曲データの識別情報である曲ID、曲名及び歌手名が予約表131に含まれている。例えば、3曲目の予約曲が有する曲ID「A45678」、曲名「卒業の季節」及び歌手名「池田B子」が予約表131に記憶されている。また、予約表131には、3曲目のカラオケ曲の演奏期間内に表示部16に表示する一つ目の画像のファイル名「A004」と、当該画像を表示するタイミングを示すデータ位置「01:24:00」とが記憶されている。データ位置「01:24:00」は、楽曲データの再生開始から1分24秒経過した時点に対応するデータ位置を示す。
図7に示す例では、データ位置が、楽曲データの先頭から再生した場合に要する経過時間を用いて示したが、これに限るものではなく楽曲データ内のアドレスを用いて示してもよい。1つの楽曲データの再生期間内に表示する画像が複数選択された場合、予定表131には、複数のファイル名夫々が対応するデータ位置に関連付けて記憶される。図7に示す例では、2曲目の予約曲の演奏期間内に表示する1つ目の画像のファイル名「B002」にデータ位置「00:15:50」が関連付けられ、2つ目の画像のファイル名「B006」にデータ位置「05:03:50」が関連付けられて記憶されている。
図8は、タイミング指定処理の手順を示すフローチャートである。タイミング指定処理は、カラオケ曲の演奏期間内に表示する画像及び画像を表示するタイミングとしてのデータ位置夫々の選択を共にユーザから受付けてカラオケ装置1に対して指定するために端末装置3のCPU30により実行される。CPU30は、予約表131を要求する予約表要求を通信部34によりカラオケ装置1へ送信する(ステップS11)。カラオケ装置1のCPU10は、端末装置3から送られてきた予約表要求を、端末装置通信部14bにより受信する(ステップS12)。CPU10は、記憶部13に記憶されている予約表131を読み出す(ステップS13)。
CPU10は、読み出した予約表131を予約表要求に応じて端末装置3へ端末装置通信部14bにより送信する(ステップS14)。端末装置3のCPU30は、カラオケ装置1から送られてきた予約表131を通信部34により受信し、記憶部33に記憶する(ステップS15)。CPU10は、受信した予約表131に基づいて予約曲一覧画面を表示部36に表示し(ステップS16)、予約曲一覧画面に応じたユーザの操作をタッチパネル部37により受付ける(ステップS17)。CPU10は、受付けた操作が、演奏期間内に画像を表示するカラオケ曲を選択する曲選択操作であるか否かを判定する(ステップS18)。
CPU10は、曲選択操作でないと判定した場合(ステップS18でNO)、ステップS17に処理を戻す。CPU30は、曲選択操作であると判定した場合(ステップS18でYES)、選択された曲の歌詞データをサーバ装置4に要求し、送られてきた歌詞データを通信部34により受信して記憶部33に記憶する(ステップS19)。CPU30は、データ位置をユーザから受付けるための後述のデータ位置受付処理を実行する(ステップS20)。CPU30は、表示する画像の選択を受付けて、当該画像のファイル名(画像指定情報)を受付けるための後述の画像受付処理を実行する(ステップS21)。
CPU30は、受付けた画像データのファイル名をデータ位置及び効果名に関連付けて、ステップS15で記憶部33に記憶した予約表131に追加する(ステップS22)。CPU30は、演奏期間内に表示する画像及び画像を表示するタイミングを指定すべく、記憶部33に記憶してある予約表131をカラオケ装置1へ通信部34により送信して(ステップS23)、タイミング指定処理を終了する。カラオケ装置1のCPU10は、端末装置3から送られてきた予約表131を端末装置通信部14bにより受信する(ステップS24)。CPU10は、受信した予約表131を用いて記憶部13に記憶してある予約表131を書換えて(ステップS25)、タイミング指定処理を終了する。
図9は、実施の形態1に係るデータ位置受付処理の手順を示すフローチャートである。データ位置受付処理は、図8で示したタイミング指定処理のステップS20で端末装置3のCPU30により実行される。CPU30は、歌詞データを記憶部33から読み出す(ステップS31)。CPU30は、読み出した歌詞データに基づいて位置選択画面を表示部36に表示する(ステップS32)。CPU30は、位置選択画面に応じたユーザによる操作をタッチパネル部37により受付ける(ステップS33)。CPU30は、受付けた操作が、歌詞の一部を選択する位置選択操作であるか否かを判定する(ステップS34)。
CPU30は、位置選択操作でないと判定した場合(ステップS34でNO)、ステップS33に処理を戻す。CPU30は、位置選択操作であると判定した場合(ステップS34でYES)、選択された歌詞の一部に対応するデータ位置を取得する(ステップS35)。CPU30は、演出効果を選択するための効果選択画面を表示部36に表示する(ステップS36)。CPU30は、効果選択画面に応じたユーザによる操作をタッチパネル部37により受付ける(ステップS37)。
CPU30は、受付けた操作が、演出効果を選択する効果選択操作であるか否かを判定する(ステップS38)。CPU30は、効果選択操作でないと判定した場合(ステップS38でNO)、ステップS37に処理を戻す。CPU30は、効果選択操作であると判定した場合(ステップS38でYES)、選択された演出効果の効果名を取得して(ステップS39)、データ位置受付処理を終了する。
図10は、実施の形態1に係る画像受付処理の手順を示すフローチャートである。画像受付処理は、図8で示したタイミング指定処理のステップS21で端末装置3のCPU30により実行される。CPU30は、ログイン画面を表示部36に表示し(ステップS51)、タッチパネル部37により受付けたユーザの操作に基づいてログイン情報を受付ける(ステップS52)。CPU30は、受付けたログイン情報を通信部34によりカラオケ装置1を介してサーバ装置4に送信する(ステップS53)。サーバ装置4のCPU40は、端末装置3から送られてきたログイン情報を通信部44により受信する(ステップS54)。
CPU40は、受信したログイン情報を用いてユーザを画像DB43dにログインさせる(ステップS55)。CPU40は、画像DB43dからユーザIDに関連付けて記憶されている画像データを読み出して(ステップS56)、画像データをカラオケ装置1を介して端末装置3へ通信部44により送信する(ステップS57)。CPU40は、ユーザを画像DB43dからログアウトさせて(ステップS58)、画像受付処理を終了する。端末装置3のCPU30は、サーバ装置4からカラオケ装置1を介して送られてきた画像データを通信部34により受信する(ステップS59)。
CPU30は、受信した画像データに基づいて画像選択画面を表示部36に表示する(ステップS60)。CPU30は、画像選択画面に応じたユーザによる操作をタッチパネル部37により受付ける(ステップS61)。CPU30は、受付けた操作が、画像を選択する画像選択操作であるか否かを判定する(ステップS62)。CPU30は、画像選択操作でないと判定した場合(ステップS62でNO)、ステップS61に処理を戻す。CPU30は、画像選択操作であると判定した場合(ステップS62でYES)、選択された画像のファイル名(画像指定情報)を取得して(ステップS63)、画像受付処理を終了する。
図11は、画像表示処理の手順を示すフローチャートである。カラオケ装置1は、記憶部13が記憶する予約表131に従って、順次演奏するカラオケ曲の予約順番をインクリメントする。画像表示処理は、予約順番がインクリメントされた場合、当該予約順番のカラオケ曲を演奏すると共に、演奏期間内に画像を表示するためにカラオケ装置1のCPU10により実行される。CPU10は、予約順番に対応する曲IDと、曲IDに関連付けられたデータ位置、画像のファイル名及び効果名とを、記憶部13が記憶する予約表131から読み出す(ステップS71)。
CPU10は、曲IDに対応する楽曲データ及び歌詞データと、読み出したファイル名を有する画像データとを要求するデータ要求をネットワーク通信部14aによりサーバ装置4に送信する(ステップS72)。サーバ装置4のCPU40は、カラオケ装置1から送られてきたデータ要求を通信部44により受信する(ステップS73)。CPU40は、曲DB43b、歌詞DB43c及び画像DB43d夫々から楽曲データ、歌詞データ及び画像データを読み出す(ステップS74)。CPU40は、読み出した楽曲データ、歌詞データ及び画像データを、データ要求に応じて通信部44によりカラオケ装置1に送信する(ステップS75)。
カラオケ装置1のCPU10は、サーバ装置4から送られてきた楽曲データ、歌詞データ及び画像データをネットワーク通信部14aにより受信し、記憶部13に記憶する(ステップS76)。CPU10は、記憶部13に記憶した楽曲データを音声再生部17により再生開始する(ステップ77)。CPU10は、楽曲データの再生位置を取得する(ステップS78)。CPU10は、取得した再生位置が記憶部13に記憶したデータ位置と略一致するか否かを判定する(ステップS79)。CPU10は、データ位置と略一致しないと判定した場合(ステップS79でNO)、ステップS78に処理を戻す。
CPU10は、データ位置と略一致すると判定した場合(ステップS79でYES)、当該データ位置に関連付けられたファイル名を有する画像データを記憶部13から読み出す(ステップS80)。CPU10は、ステップS71で読み出した効果名を有する演出効果を用いて画像再生部15により画像データを再生し、画像を表示部16に表示する(ステップS81)。CPU10は、楽曲データの再生を終了したか否かを判定する(ステップS82)。CPU10は、楽曲データの再生を終了していないと判定した場合(ステップS82でNO)、ステップS78に処理を戻す。CPU10は、楽曲データの再生を終了したと判定した場合(ステップS82でYES)、画像表示処理を終了する。
本実施の形態1では、ユーザが選択した画像を、当該ユーザが選択したデータ位置に関連付けて記憶することにより、演奏期間内に表示する画像及びタイミングを指定することが可能となる。また、端末装置3は、ユーザにより選択された歌詞の一部に対応するデータ位置を受付けることにより、ユーザが容易に画像を表示するタイミングを指定することが可能となる。
実施の形態2
本実施の形態2は、実施の形態1が位置選択画面に歌詞のみを表示するのに対して、歌詞と共に特定の楽器の発音タイミング等を表示する。端末装置3のCPU30は、図9で示したデータ位置受付処理のステップS31で歌詞データを記憶部33から読み出すと共に、記憶部33から楽曲データを読み出し、更に楽曲データから特定の楽器の発音タイミングを抽出する。楽曲データは、図8で示したタイミング指定処理のステップS19で歌詞データと共にサーバ装置4に要求し、送られてきた楽曲データを受信して記憶部33に記憶するとよい。
カラオケ曲の楽曲データは、複数の楽器夫々の発音タイミングと、各発音タイミングにおける音程、音量及び音の長さとを含む演奏データであり、例えば、MIDI( Musical Instrument Digital Interface )データである。特定の楽器の発音タイミングとして、例えばMIDIデータに含まれるドラムの発音タイミングを抽出するとよい。また、CPU30は、楽曲データから特徴部分を抽出する。特徴部分は、曲のタイトル部分、前奏部分、Aメロ部分、サビ部分及び間奏部分等であり、楽曲データには当該特徴部分を示す識別子が含まれている。これにより、CPU30は、曲の特徴部分を抽出する抽出部として機能する。そして、CPU30は、図9で示したデータ位置受付処理のステップS32で歌詞、特定の楽器の発音タイミング及び曲の特徴部分が示された位置選択画面を表示部36に表示する。
図12は、実施の形態2に係る位置選択画面の例を示す模式図である。位置選択画面には、選択された予約曲の歌詞と、予約曲の楽曲データから抽出された曲の特徴部分及び特定の楽器の発音タイミングとが表示される。図12に示す例では、選択された曲名「卒業の季節」を有する曲の歌詞「夏の校舎・・・」が位置選択画面の略中央に表示され、位置選択画面の右側には、歌詞をスクロール表示するためのスクロールバーが表示されている。また、楽曲データに含まれるドラムの発音タイミングが、ドラムを示すアイコンを用いて位置選択画面に表示されている。特定の楽器として、例えば、ドラムに含まれるクラッシュシンバル(サイドシンバル)を用いてもよい。
楽曲データに設定されている各発音タイミングにおけるドラムの音量に基づいて位置選択画面に表示されるアイコンの大きさが変更される。例えば、音量が大きい場合には、より大きなアイコンを表示するとよい。また、全ての発音タイミングを表示する場合に限るものではなく、所定の音量を超えるドラムの発音タイミングのみを、アイコンを用いて表示してもよい。位置選択画面には、楽曲データから抽出された各特徴部分を示す「(タイトル表示)」、「(前奏)」、「(Aメロ)」、「(サビ)」及び「(間奏)」が各特徴部分の先頭に表示されている。ユーザは、スタイラス3aの先端部を用いてタッチパネル部37をなぞることにより、表示部36に表示された歌詞の一部を選択する。
これにより、ユーザは、表示されたドラムの発音タイミング及び曲の特徴部分を参照して、高揚感を与える曲の盛り上がり部分又はユーザが記憶している曲の一部範囲に対応するタイミングを選択することが可能となる。また、端末装置3は、位置選択画面に表示している曲の各特徴部分、又は発音タイミングを示すアイコンから、特徴部分又は発音タイミングの選択をユーザから受付けてもよい。この場合、端末装置3は、選択された曲の特徴部分又は発音タイミングに対応するデータ位置を指定する。
また、特徴部分又は発音タイミングの選択は、ユーザが指先又はスタイラス3aの先端部を用いて、位置選択画面に表示された特徴部分又は発音タイミングをクリックすることにより受付けるとよい。尚、図12に示す例では、前奏部分に歌詞に含まれない擬声語「ちゃらら〜」が表示されているが、これに限るものではなく当該擬声語を表示しなくてもよい。また、音程が短時間に上昇するデータ位置等を、曲の盛り上がり部分として抽出し、当該盛り上がり部分を示すアイコンを位置選択画面に表示してもよい。また、楽曲データに予め盛り上がり部分を示す識別子を含めてもよい。
図13は、実施の形態2に係るデータ位置受付処理の手順を示すフローチャートである。データ位置受付処理は、図8で示したタイミング指定処理のステップS20で端末装置3のCPU30により実行される。CPU30は、歌詞データを記憶部33から読み出す(ステップS91)。CPU30は、楽曲データを記憶部33から読み出す(ステップS92)。CPU30は、楽曲データから所定の楽器の発音タイミングを抽出する(ステップS93)。CPU30は、楽曲データから曲の特徴部分を抽出する(ステップS94)。
CPU30は、歌詞データ、発音タイミング及び曲の特徴部分に基づいて位置選択画面を表示部36に表示する(ステップS95)。CPU30は、位置選択画面に応じたユーザによる操作をタッチパネル部37により受付ける(ステップS96)。CPU30は、受付けた操作が、歌詞の一部、発音タイミング又は曲の特徴部分を選択する位置選択操作であるか否かを判定する(ステップS97)。CPU30は、位置選択操作でないと判定した場合(ステップS97でNO)、ステップS96に処理を戻す。
CPU30は、位置選択操作であると判定した場合(ステップS97でYES)、選択された歌詞の一部、発音タイミング又は曲の特徴部分に対応するデータ位置を取得する(ステップS98)。ステップS98の後の手順は、図9に示したデータ位置受付処理のステップS36からの手順と同様であるので説明を省略する。
位置選択画面に歌詞、発音タイミング及び曲の特徴部分を表示する場合を示したが、これに限るものではなく、各データ位置における音量等を示す波形を表示してもよい。図14は、波形を取得する方法を説明するための説明図である。図14中点線は、取得された波形を示す。端末装置3のCPU30は、データ位置を示す横軸及び音量を示す縦軸を有する座標面上で各データ位置の音量をプロットし、各音量を繋ぐ近似曲線を取得する。近似曲線は、例えばベージェ曲線及びスプライン曲線等で近似するとよい。CPU30は、近似曲線を音量を示す波形として位置選択画面に歌詞と共に表示する。図14に示す例では、座標面にプロットした各データ位置の音量を繋ぐ近似曲線が取得されている。
図15は、実施の形態2に係る位置選択画面の他の例を示す模式図である。図15に示す例では、各データ位置に対応する歌詞及び波形が、歌詞に沿って位置選択画面に表示されている。これにより、ユーザは、表示された波形を参照して曲の盛り上がり部分を判断し、当該盛り上がり部分又は盛り上がり部分に対応する歌詞を、画像を表示するタイミングとして選択することが可能となる。また、端末装置3は、位置選択画面に表示している波形の一部の選択をユーザから受付けてもよい。例えば、図15に示す如くユーザがスタイラス3aの先端部を用いて波形の一部をなぞることにより、波形の一部を選択する。
この場合、端末装置3のCPU30は、例えば、スタイラス3aの先端部が位置選択画面上で描く軌跡と、波形とが交差する点をデータ位置として指定する。また、端末装置3のCPU30は、例えば、スタイラス3aの先端部が位置選択画面上で描く軌跡が波形に対して2点で交差する場合、当該2点を結ぶ線の中点に対応するデータ位置を指定するとよい。図16は、波形を取得する他の方法を説明するための説明図である。図16中点線は、取得される波形を示す。
端末装置3のCPU30は、主旋律に対応する特定の楽器の演奏データを楽曲データから抽出し、主旋律を示す波形を位置選択画面に表示してもよい。CPU30は、主旋律に対応する特定の楽器の演奏データに基づいて、データ位置を示す横軸及び音程を示す縦軸を有する座標面上に、各データ位置の音程情報が示す音程をプロットし、各音程を繋ぐ近似曲線を取得する。図16に示す例では、主旋律を演奏する特定の楽器の演奏データに基づいて、楽譜上の各音符を繋ぐ近似曲線が取得されている。
図17は、実施の形態2に係る位置選択画面の他の例を示す模式図である。位置選択画面には、近似曲線からなる波形を表示する場合に限るものではなく、各データ位置における音量又は音程を表示してもよい。図17に示す例では、各データ位置に対応する歌詞及び音量が、歌詞に沿って位置選択画面に表示されている。また、歌詞に沿って主旋律等を示す楽譜を位置選択画面に表示してもよい。この場合、曲の盛り上がり部分に対応する音符の表示色を変更してもよい。
また、特定の楽器に含まれる複数のパート部夫々の発音タイミングに基づいてアイコンを表示するデータ位置を決定してもよい。例えば、ドラムに含まれるハイハット、スネア、バス及びフロアタム等の複数種類のパート部が同時に発音する発音タイミングをアイコンを表示する位置として取得してもよい。位置選択画面では、予め設定された特定の楽器の発音タイミングを表示する場合を示したが、例えば、ギター及びキーボード等のユーザが選択した楽器の発音タイミングを表示してもよい。
本実施の形態2では、曲の特徴部分又は特定の楽器の発音タイミングを選択することにより、歌詞の無い前奏部分及び間奏部分等に含まれるタイミングをユーザが指定することが可能となる。また、ユーザが曲を知らない場合でも、曲の特徴部分をユーザが認識して当該特徴部分に対応するタイミングをユーザが指定することが可能となる。
本実施の形態2は以上の如きであり、その他は実施の形態1と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。
実施の形態3
本実施の形態3は、実施の形態1が表示された歌詞の一部を選択するのに対して、キーワードに関連付けられた歌詞の一部を選択するようにしてある。端末装置3は、キーワードに関連付けられた歌詞の一部の選択を受付ける場合、歌詞データからキーワードを抽出する。キーワードは、予め決定して端末装置3の記憶部33に記憶しておくとよい。端末装置3は、抽出したキーワードの一覧を示す位置選択画面を表示する。端末装置3は、位置選択画面に示したキーワードの一覧からキーワードの選択を受付けて、当該キーワードに対応するデータ位置を指定する。
図18は、実施の形態3に係る位置選択画面及びキーワード選択画面の例を示す模式図である。図18A及び図18B夫々は、位置選択画面及びキーワード選択画面の例を示す。端末装置3は、図9で示したデータ位置受付処理のステップS32で、歌詞からキーワードを抽出するためのソフトウェアボタンを備える位置選択画面を表示部36に表示する。図18Aに示す例では、歌詞からキーワードを抽出するためのソフトウェアボタン「注目ワード抽出」が位置選択画面に表示されている。
端末装置3は、キーワードの抽出が選択された場合、記憶部33に予め記憶しているキーワードを歌詞データから抽出する。そして、端末装置3は、歌詞データから抽出したキーワードがある場合、当該キーワードを示すキーワード選択画面を表示部36に表示する。端末装置3は、キーワード選択画面に表示したキーワードから、キーワードの選択を受付けた場合、選択されたキーワードの歌詞に対応するデータ位置を受付ける。図18Bは、図18Aで示す位置選択画面のソフトウェアボタン「注目ワード抽出」が選択された場合に表示部36に表示されるキーワード選択画面を示す。
図18Bに示す例では、曲名「卒業の季節」を有する曲の歌詞データから抽出されたキーワード「卒業」、「真っ青な空」及び「春が来る」がキーワード選択画面に表示されている。また、スタイラス3aの先端部を用いてユーザによりキーワード「卒業」が選択されている。
図19は、実施の形態3に係るデータ位置受付処理の手順を示すフローチャートである。CPU30は、歌詞データを記憶部33から読み出す(ステップS111)。CPU30は、読み出した歌詞データに基づいて位置選択画面を表示部36に表示する(ステップS112)。CPU30は、ユーザによる操作をタッチパネル部37により受付ける(ステップS113)。CPU30は、受付けた操作が、キーワードを抽出する抽出操作であるか否かを判定する(ステップS114)。CPU30は、抽出操作であると判定した場合(ステップS114でYES)、予め記憶してあるキーワードを歌詞データから抽出する(ステップS115)。
CPU30は、抽出したキーワードがあるか否かを判定する(ステップS116)。CPU30は、抽出したキーワードがないと判定した場合(ステップS116でNO)、ステップS113に処理を戻す。CPU30は、抽出したキーワードがあると判定した場合(ステップS116でYES)、抽出したキーワードに基づいてキーワード選択画面を表示部36に表示し(ステップS117)、ステップS113に処理を戻す。CPU30は、ステップS114で、抽出操作でないと判定した場合(ステップS114でNO)、位置選択画面に表示された歌詞の一部又はキーワード選択画面に表示されたキーワードを選択する位置選択操作を受付けたか否かを判定する(ステップS118)。
CPU30は、位置選択操作を受付けていないと判定した場合(ステップS118でNO)、ステップS113に処理を戻す。CPU30は、位置選択操作を受付けたと判定した場合(ステップS118でYES)、選択された歌詞の一部又はキーワードに対応するデータ位置を取得する(ステップS119)。ステップS119の後の手順は、図9で示したデータ位置受付処理のステップS36以降の手順と同様であるので説明を省略する。画像データは、画像選択画面により選択する場合に限るものではない。例えば、端末装置3は、サーバ装置4に要求して受信した画像データの一覧をキーワード選択画面に表示して、キーワードの選択と、画像データの選択とを受付けるようにしてもよい。
図20は、キーワード選択画面の他の例を示す模式図である。キーワード選択画面の左側には、抽出されたキーワードの一覧が表示されている。また、キーワード選択画面の右側には、ユーザIDに関連付けてサーバ装置4に記憶されている画像データの一覧が表示されている。この場合、端末装置3は、ユーザがスタイラス3aの先端部を用いて選択したキーワード及び画像データのファイル名を受付けることにより、選択されたキーワードに対応付けられたデータ位置及び画像を指定する。
本実施の形態3では、データ位置を受付ける場合に歌詞から抽出したキーワードをユーザが選択することにより、歌詞全体からユーザが歌詞の一部を探し出して選択する手間を低減することが可能となる。
本実施の形態3は以上の如きであり、その他は実施の形態1又は実施の形態2と同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。
実施の形態4
図21は、実施の形態4に係る端末装置の内部ハードウェアを示すブロック図である。本実施の形態4は、実施の形態1がROM31から読み出したプログラムを実行するのに対して、記録媒体に記録してあるプログラムを読み出して実行する。端末装置5は、記録媒体読込部55を含む。端末装置5の他のハードウェアは、実施の形態1の端末装置3と同様であり、符号の相違を記載するに留め、詳細な説明を省略する。端末装置5は、スタイラス5aと、CPU50と、ROM51と、RAM52と、記憶部53と、通信部54と、表示部56と、タッチパネル部57とを含む。
CPU50は、記録媒体550に記録してあるプログラム551を記録媒体読込部55により読み出して記憶部53にインストールする。CPU50は、記憶部53からプログラム551をRAM52に読み出して実行することにより、画像を楽曲データの再生期間内に表示するタイミングを指定するタイミング指定部として機能する。
本実施の形態4は以上の如きであり、その他は実施の形態1から実施の形態3までと同様であるので対応する部分には同一の符号及び処理名を付してその詳細な説明を省略する。