JP3872855B2 - 楽音再生装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、楽曲を示す楽曲情報を再生する楽音再生装置であって、１人でデュエット曲を歌う場合であっても、デュエットしている雰囲気を味わうことができるカラオケ装置として好適なものに関する。
【０００２】
【従来の技術】
従来、上記カラオケ装置としては、１人でデュエット曲を歌う場合に、自分の歌っている声からデュエットする相手の音声を電気的に作り出し、デュエットしている雰囲気を出すものが知られている。
【０００３】
【発明が解決しようとする課題】
ところで、デュエット曲を歌う場合は、一緒に歌う相手の存在があって初めて楽しいものとなる。
しかし、上記のものは、デュエットする相手の音声が作り出されるだけであり、相手の姿が存在しないため、デュエット曲を歌う楽しさに欠けるという問題がある。
【０００４】
そこで、本発明は、マイクロフォンを通して歌唱する者を示す歌唱者映像を記憶しておき、デュエット曲を１人で歌う場合などに、記憶されている歌唱者映像を読出して表示することにより、デュエット曲を歌う楽しさを増すことができる楽音再生装置の実現を目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明では、入力手段と、撮影手段と、曲データ記憶手段と、楽曲再生手段と、記憶手段と、再生手段と、合成手段と、制御手段とを備えた楽音再生装置であって、
入力手段は、利用者からの各種入力を可能とし、
撮影手段は、歌唱者を撮影して歌唱者映像を出力し、
曲データ記憶手段は、楽曲に対応した曲データを記憶し、
楽曲再生手段は、制御手段の制御にしたがって曲データを再生し、
記憶手段は、歌唱者映像を含むと共に、楽曲とパートに対応したデュエットデータを記憶し、
再生手段は、制御手段の制御にしたがってデュエットデータを再生して歌唱者映像を出力し、
合成手段は、再生手段にて再生された歌唱者映像と、撮影手段からの歌唱者映像を合成して出力し、
制御手段は、第１−３処理を行い、
第１処理は、楽曲の選択、及び、第１、２何れかのパート選択を入力手段から受け付け 、
第２処理は、第１処理で受け付けた楽曲、及び、受け付けたパートとは他方のパートに対応するデュエットデータを選択し、
第３処理は、第２処理で選択されたデュエットデータを再生手段に再生させると共に、第１処理で指定された楽曲に対応する曲データを楽曲再生手段に再生させ、撮影手段からの歌唱者映像を、第１処理で受け付けた楽曲とパートに対応付けたデュエットデータとして記憶手段に記憶させるという技術的手段を採用する。
【０００６】
請求項２に記載の発明では、請求項１に記載の楽音再生装置において、デュエットデータは、歌唱音声を含み、
再生手段は、デュエットデータを再生して歌唱音声も出力し、
第３処理は、マイクロフォンからの歌唱音声も、デュエットデータとして記憶手段に記憶させるという技術的手段を採用する。
【０００７】
請求項３に記載の発明では、請求項１または請求項２に記載の楽音再生装置において、第２処理は、第１処理で受け付けた楽曲、及び、受け付けたパートとは他方のパートに対応するデュエットデータが複数存在する場合には、利用者からの入力に基づいて、デュエットデータを選択するという技術的手段を採用する。
【０００８】
請求項４に記載の発明では、請求項１ないし請求項３のいずれか１つに記載の楽音再生装置において、背景映像再生手段と、切替手段とを更に備えると共に、曲データは、歌詞データを含むと共に、
楽曲再生手段は、曲データ中の歌詞データを再生して歌詞映像を出力し、
背景映像再生手段は、背景映像を出力し、
切替手段は、合成手段からの映像と、歌詞映像と、背景映像を利用者からの入力に基づいて切替出力するという技術的手段を採用する。
【０００９】
請求項５に記載の発明では、入力手段と、撮影手段と、曲データ記憶手段と、楽曲再生手段と、記憶手段と、再生手段と、合成手段と、性別判別手段と、制御手段とを備えた楽音再生装置であって、
入力手段は、利用者からの各種入力を可能とし、
撮影手段は、歌唱者を撮影して歌唱者映像を出力し、
曲データ記憶手段は、楽曲に対応した曲データを記憶し、
楽曲再生手段は、制御手段の制御にしたがって曲データを再生し、
記憶手段は、歌唱者映像を含むと共に、楽曲と性別に対応したデュエットデータを記憶し、
再生手段は、制御手段の制御にしたがってデュエットデータを再生して歌唱者映像を出力し、
合成手段は、再生手段にて再生された歌唱者映像と、撮影手段からの歌唱者映像を合成して出力し、
性別判別手段は、マイクロフォンから入力される音声信号の少なくとも周波数に基づいて性別を判断し、
制御手段は、第１−３処理を行い、
第１処理は、楽曲の選択を入力手段から受け付け、
第２処理は、第１処理で受け付けた楽曲、及び、性別判別手段で判別された性別とは異なる性別のパートに対応するデュエットデータを選択し、
第３処理は、第２処理で選択されたデュエットデータを再生手段に再生させると共に、第１処理で指定された楽曲に対応する曲データを楽曲再生手段に再生させ、撮影手段からの歌唱者映像を、第１処理で受け付けた楽曲と判別された性別に対応付けたデュエットデータとして記憶手段に記憶させるという技術的手段を採用する。
【００１３】
【作用】
請求項１ないし請求項５に記載の発明によれば、マイクロフォンを通して歌唱する際に、記憶手段に記憶された歌唱者映像を読出して表示することができる。
したがって、たとえば、後述する発明の実施の形態に記載するように、歌唱者映像を記憶手段たるＤＶＤレコーダにより記憶しておき、１人でデュエット曲を歌う際に、ＤＶＤレコーダにより歌唱者映像を再生してモニタテレビに表示することができる。
これにより、１人でデュエット曲を歌う場合であっても、モニタテレビに表示されるデュエットする相手の姿を見ながら歌うことができるため、デュエット曲を楽しく歌うことができる。
【００１４】
特に、請求項２に記載の発明では、マイクロフォンを通して歌唱する際に、記憶手段に記憶された歌唱者映像と、その歌唱者映像により示される者がマイクロフォンから入力して記憶された歌唱音声とを読出し、その読出された歌唱者映像を表示するとともに、歌唱音声を再生することができる。
【００１５】
したがって、たとえば、後述する発明の実施の形態に記載するように、歌唱者映像および歌唱者音声を記憶手段たるＤＶＤレコーダにより記憶しておき、１人でデュエット曲を歌う際に、ＤＶＤレコーダにより歌唱者映像および歌唱者音声を再生し、歌唱者映像をモニタテレビに表示するとともに、歌唱者音声を再生手段たるアンプおよびスピーカにより再生することができる。
これにより、１人でデュエット曲を歌う場合であっても、モニタテレビに表示されるデュエットする相手の姿を見ながら、かつ、相手の歌声を聞きながら歌うことができるため、デュエット曲をより一層楽しく歌うことができる。
【００１６】
また、請求項３に記載の発明では、マイクロフォンを通して歌唱する際に、表示する歌唱者映像を選択できる。
したがって、たとえば、後述する発明の実施の形態に記載するように、１人でデュエット曲を歌う際に、好みのデュエットする相手をモニタテレビに表示できるとともに、デュエットする相手を変えることができるため、飽きが来ることなく、デュエット曲をより一層楽しく歌うことができる。
【００１７】
さらに、請求項５に記載の発明では、デュエットする相手の性別が、マイクロフォンから入力される音声の少なくとも周波数に基づいて判別されるため、デュエットする相手の性別を設定する操作をする手間がいらない。
【００２０】
また、請求項４に記載の発明では、たとえば、後述する発明の実施の形態に記載するように、デュエット曲を歌う場合に、デュエットする相手の姿をモニタテレビに表示したり、歌詞映像および背景映像を表示したりできる。
【００２１】
【発明の実施の形態】
以下、本発明の楽音再生装置の一実施形態について図を参照して説明する。
なお、以下の実施形態では、楽音再生装置として、通信回線を利用して曲が提供される、いわゆる通信カラオケ装置を代表に説明する。
まず、本実施形態の通信カラオケ装置の主要構成について、その外観を示す図１を参照して説明する。
【００２２】
図１に示すように、カラオケ装置１０には、歌唱者の歌唱する音声を入力するマイクロフォン１７，１８と、歌唱者の姿を撮影するビデオカメラ１９と、このビデオカメラ１９により撮影された歌唱者の姿を示す歌唱者映像、曲の歌詞を示す歌詞映像、歌詞映像の背景に表示する背景映像、後述するデュエット曲制御が実行される場合に利用者に伝えるメッセージを示すメッセージ映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１２と、歌い手用のモニタ１４とが備えられている。
【００２３】
また、カラオケ装置１０には、上記デュエット曲制御、歌唱者の歌唱力の採点、選曲、ＬＡＮ回線５３を介しての楽曲情報たる曲データの受信、曲の予約、演奏される楽曲たるカラオケ曲の音程制御（キーコントロール）、モニタ１２，１４に表示される映像の切替え、合成、分割などの各種制御を行う制御装置２０が備えられている。
さらに、上記マイクロフォン１７，１８から入力される歌唱音声と上記カラオケ曲とのミキシング、ミキシング信号の増幅、高音および低音の制御（トーンコントロール）、ならびに、歌唱音声およびカラオケ曲の音量バランス、歌唱音声のエコー調整およびディレイ調整などを行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井用の１組のスピーカ１３，１３と、制御装置２０を遠隔操作する送信器７０とが備えられている。
【００２４】
また、マイクロフォン１７の外観を表す図２に示すように、マイクロフォン１７には、マイクロフォン１７を起動させるスイッチ１７ａと、マイクロフォン１７の指向性の強弱を切り替える指向性切替スイッチ１７ｂとが設けられている。また、マイクロフォン１８もマイクロフォン１７と同じ構成である。
なお、アンプ１６、制御装置２０、スピーカ１１，１１およびスピーカ１３，１３が、本発明の再生手段に相当する。
【００２５】
次に、制御装置２０の構成および機能について図３ないし図５を参照して説明する。
図３（Ａ）は、制御装置２０の前面パネルの説明図、同図（Ｂ）は、制御装置２０の背面パネルの説明図であり、図４は、曲データの構成を示す説明図であり、図５は、制御装置２０の主な内部構成をブロックで示す説明図である。
図３（Ａ）に示すように、制御装置２０の前面パネルには、選曲する曲の番号の入力などを行うための０〜９のボタンからなるテンキー２１と、制御装置２０を選曲可能状態にし、また、選曲を確定するための選曲ボタン２２とが設けられており、テンキー２１の上には、選曲された曲の番号を６桁の数字でＬＥＤ表示する選曲番号表示部２３が設けられている。
【００２６】
また、選曲番号表示部２３の左には、演奏が予約されている曲の数をＬＥＤ表示する予約曲数表示体２４が設けられており、その下には、予約の取消を行うための取り消しボタン２５と、演奏を停止させる演奏停止ボタン２６と、歌っている途中で最初から歌い直すための歌い直しボタン２７と、予約曲の間に割り込んで予約するための割り込みボタン２８とが設けられている。さらに、前面パネルの左上には、送信器７０から発信される光信号を受光する受光部３８が設けられており、左下には、制御装置２０の電源をＯＮ／ＯＦＦさせる電源ボタン３９が設けられている。
【００２７】
また、テンキー２１の右には、演奏される曲のキーを低くするためのフラットキー２９と、キーを標準にする標準キー３０と、キーを高くするシャープキー３１とが設けられており、その下には、ボーカルのメロディーラインの音量を設定するボーカルボタン３２と、２コーラスで終了する２コーラスボタン３３と曲の後奏部分をカットする後奏カットボタン３４とが設けられている。
さらに、その下には、モニタ１２，１４の表示をカラオケ店が提供しているサービス情報の表示に切り替えるサービスボタン３５と、ＬＡＮ回線５３を介して入力されるデータを曲データからＢＧＭ、有線放送、テレビ放送などに切り替える入力切替ボタン３６と、カラオケを行うモードに戻るためのカラオケボタン３７とが設けられている。
【００２８】
また、図３（Ｂ）に示すように、制御装置２０の背面パネルには、図５に示すサーバー５２から配信される曲データをＬＡＮ回線５３を介して受信するための通信端子４０が設けられている。この通信端子４０の右方には、アンプ１６の音声入力端子（図示省略）と接続される音声出力端子４１と、アンプ１６の音声出力端子（図示省略）と接続される音声入力端子４２と、ビデオカメラ１９の映像出力端子（図示省略）と接続される映像入力端子５１と、モニタ１２の映像入力端子（図示省略）と接続される映像出力端子４３と、モニタ１４の映像入力端子（図示省略）と接続される映像出力端子４４とが設けられている。
【００２９】
ここで、曲データの構成について図４を参照して説明する。
曲データ１００は、曲データ１００により示される曲が、デュエットで歌う曲かソロで歌う曲かを識別する識別データＤ１、選曲された曲の選曲番号を示す選曲番号データ１０１、曲の演奏部分を示すＭＩＤＩデータ１０２および曲の歌詞を示す歌詞映像データ１０３などにより構成されている。たとえば、識別データＤ１が「１」の場合は、デュエットで歌う曲であり、「０」の場合は、ソロで歌う曲である。
【００３０】
次に、制御装置２０の主な内部構成について図５を参照して説明する。
制御装置２０には、サーバー５２に対する曲データ１００の送信要求を示すリクエスト信号の送信制御、デュエット曲を再生する場合の制御を示すデュエット曲制御、音声制御、映像制御および曲の演奏順序の予約などをプログラムにしたがって実行するＣＰＵ４５が備えられている。このＣＰＵ４５には、選曲番号データ１０１などを一時保存するＲＡＭ４６と、上記各制御を行うためにＣＰＵ４５により実行される制御プログラムなどが記憶されたＲＯＭ４７と、ＣＰＵ４５による演算結果を一時保存するＲＡＭ４８とが接続されている。
【００３１】
また、ＣＰＵ４５には、サーバー５２からＬＡＮ回線５３および通信端子４０を介して送信された曲データ１００を受信するためのＬＡＮボード５４と、このＬＡＮボード５４により受信された曲データ１００を一時保存するＲＡＭ４９と、モニタ１２，１４に後述する各種のメッセージを示すメッセージ映像データなどが記憶されているビデオＲＡＭ５０とが接続されている。
【００３２】
さらに、ＣＰＵ４５には、マイクロフォン１７、または、マイクロフォン１８からアンプ１６を通って音声入力端子４２を介して入力される歌唱音声の周波数を解析する性別判別手段たる周波数解析回路６５と、ＲＡＭ４９から読出されたＭＩＤＩデータ１０２をタイマ５８のカウントにしたがってＭＩＤＩ音源５７へ書き込む制御を行うシーケンサ５６と、ＭＩＤＩ音源５７から発生する音源信号を入力して、アンプ１６により増幅可能な音声信号に変換する音声制御回路５５とが接続されている。
【００３３】
ところで、本カラオケ装置１０は、デュエット曲を一緒に歌う相手がいない場合に、その相手の代わりをすることを特徴とする。
そこで、図５に示すように、制御装置２０には、デュエットする相手が歌唱する姿を示す歌唱者映像およびその相手の歌声を示す歌唱音声をＤＶＤ(Degital Video Disc)−ＲＡＭに記録するとともに、そのＤＶＤ−ＲＡＭから読出して再生するＤＶＤレコーダ５９が内蔵されており、利用者がデュエット曲を歌う際に、好みの歌唱者映像をモニタ１２，１４に表示するとともに、歌唱音声をスピーカ１１，１１およびスピーカ１３，１３により再生できるようになっている。
なお、ＤＶＤ−ＲＡＭとは、ＭＰＥＧ(Moving Picture Experts Group)ビデオ圧縮方式およびＭＰＥＧオーディオ圧縮方式により、データ化された映像データおよび音声データを書換可能に記録するディスクを意味する。
【００３４】
また、ＤＶＤレコーダ５９は、上記歌唱音声をＭＰＥＧオーディオ圧縮方式でエンコードするとともに、そのエンコードされた歌唱音声を示す歌唱音声データを内蔵されたＤＶＤ−ＲＡＭに記録し、また、ＤＶＤ−ＲＡＭに記録された歌唱音声データを再生する。さらに、ＤＶＤレコーダ５９は、ビデオカメラ１９により撮影された歌唱者映像をＭＰＥＧビデオ圧縮方式でエンコードするとともに、そのエンコードされた歌唱者映像を示す歌唱者映像データを上記ＤＶＤ−ＲＡＭに記録し、また、ＤＶＤ−ＲＡＭに記録された歌唱者映像データを再生する。
なお、ＤＶＤレコーダ５９により読出された歌唱者映像データおよび歌唱者音声データ（以下、ＡＶデータと略称する）は、ＲＡＭ６６に一時保存される。
【００３５】
さらに、ＣＰＵ４５には、背景映像を示す背景映像データが複数記録されたＣＤ−ＲＯＭを再生するＣＤ−ＲＯＭプレーヤ６０が接続されており、このＣＤ−ＲＯＭプレーヤ６０は、曲データ１００に含まれるジャンルデータにより示される曲のジャンルに対応するジャンルの背景映像データを再生する。
また、ＣＰＵ４５には、ＲＡＭ４９から読出された曲データ１００に含まれる歌詞映像データ１０３と、ＤＶＤレコーダ５９により読出された歌唱者映像データとを入力し、それらデータに基づいて図１３（Ａ）に示すように、歌唱者映像２００に歌詞映像２０２がスーパーインポーズされた映像を作成する映像制御回路６１が接続されている。また、映像制御回路６１は、図１３（Ｂ）に示すように、画面を縦に２分割して左側に歌唱者映像２０６を右側に歌唱者映像２０７を表示したり、図１４に示すように、画面に複数の静止画２１３を表示する制御を行う。さらに、映像制御回路６１は、図１５に示すように、背景映像２１０に歌詞映像２０２がスーパーインポーズされた映像を作成する。
【００３６】
さらに、ＣＰＵ４５には、受光部３８により受光された光信号をデジタル信号に変換する受光回路６２と、制御装置の前面パネルに設けられた各種ボタンを押したときに点灯するＬＥＤ、選曲番号表示体２３および予約曲数表示体２４などへ表示信号を出力する表示回路６３と、上記各種ボタン、または、キーを押したときに発生するスイッチング信号を入力する入力回路６４とが接続されている。
なお、サーバー５２には、複数の曲データ１００が記憶されたＨＤＤ１５が備えられている。
【００３７】
また、図示しないが、アンプ１６には、スピーカ１１，１１およびスピーカ１３，１３の音量を調整するメインボリュームつまみと、ＤＶＤレコーダ５９により再生される歌唱音声の音量を調整するＤＶＤ用ボリュームつまみと、マイクロフォン１７，１８を接続するマイクロフォン端子と、それらマイクロフォンから入力される音声およびＤＶＤレコーダ５９により再生される歌唱音声の音量と、カラオケ曲の音量とのバランスを調整するためのバランス調整つまみと、エコーのかかり具合を調整するためのエコー調整つまみと、ディレイのかかり具合を調整するためのディレイ調整つまみなどが設けられている。
【００３８】
次に、送信器７０の構成についてその外観を示す図６を参照して説明する。
送信器７０の上方には、選曲番号をバックライト付きの液晶で表示する選曲番号表示部７１が設けられており、その下には、カラオケに切替えるカラオケボタン７２と、カラオケ以外の外部映像に切替える外部映像ボタン７３と、テレビゲームに切替えるゲームボタン７４とが設けられている。また、それらボタンの下には、曲間や曲の演奏終了後に拍手の音を再生するように設定するための拍手ボタン７５と、キーを低くするフラットキー７６と、キーを高くするシャープキー７７とが設けられており、それらの下には、制御装置２０に設けられたボタンと同じく、テンキー７８、選曲ボタン７９、演奏停止ボタン８０、歌い直しボタン８１、取り消しボタン８２、割り込みボタン８３が設けられている。
【００３９】
さらに、割り込みボタン８３の右には、ボーカルメロディーの音量を小さくするマイナスボタン８４と、音量を大きくするプラスボタン８５とが設けられている。また、プラスボタン８５の下には、デュエット曲が男女で歌うものである場合に、上記ＤＶＤレコーダ５９により、女性が歌うパート姿を示す女性歌唱者映像およびその女性歌唱者映像により示される者の歌声を示す女性歌唱音声（以下、女性パートと略称する）を再生するための女性パートボタン８８が設けられている。女性パートボタン８８の左には、男性が歌うパート姿を示す男性歌唱者映像およびその男性歌唱者映像により示される者の歌声を示す男性歌唱音声（以下、男性パートと略称する）を再生するための男性パートボタン８７が設けられている。
【００４０】
また、男性パートボタン８７の左には、モニタ１２，１４に表示される映像を歌唱者映像と、背景映像および歌詞映像との間で所望の映像に切替えるための映像切替手段たる映像切替ボタン８６が設けられている。
さらに、男性パートボタン８７の下には、デュエット曲が低いキーで歌うパート（以下、低音パートと略称する）および高いキーで歌うパート（以下、高音パートと略称する）で構成されるものである場合に、上記ＤＶＤレコーダ５９により、低音パートを再生するための低音パートボタン８９が設けられており、さらに、その右には、高音パートを再生するための高音パートボタン９０が設けられている。
【００４１】
また、それらボタンの下には、ビデオカメラ１９により、自分が歌っている姿を撮影することを許可する際に押すＯＫボタン９１と、許可しない際に押すＮＯボタン９２とが設けられている。さらに、それらボタンの右には、図１４に示すように、モニタ１２，１４に表示された複数の歌唱者映像の中から所望の歌唱者映像を選択する際に、モニタ１２，１４に表示されるカーソル２１１を上下左右に移動させるためのカーソル移動ボタン９３が設けられている。
なお、上記各ボタンおよびキーが押されたときに、そのボタンまたはキーに対応する信号が、発信部９４に内蔵されたＬＥＤから発信され、制御装置２０の受光部３８により受光される。
ところで、男性パートボタン８７、女性パートボタン８８、低音パートボタン８９、高音パートボタン９０およびカーソル移動ボタン９３が、本発明の歌唱者映像選択手段に相当する。
【００４２】
次に、本カラオケ装置１０を利用する者が、デュエット曲を選曲してカラオケをするに至るまでのカラオケ装置１０の一連の動作について図７ないし図１２を参照して説明する。
図７は、ＤＶＤレコーダ５９により、ＤＶＤ−ＲＡＭに記憶されたＡＶデータにより構成されるＡＶデータテーブル１２０の構成を示す説明図である。図８は、歌唱力の採点の原理を示す説明図である。図９は、選曲から再生までに実行されるＣＰＵ４５のメインルーチンを示すフローチャートであり、図１０および図１１は、ＣＰＵ４５により実行されるデュエット曲制御のための制御内容を示すフローチャートであり、図１２は、マイクロフォン１７、または、マイクロフォン１８から入力される音声の周波数を解析して性別を判別するための処理内容を示すフローチャートである。
【００４３】
最初に、カラオケを行う場合のＣＰＵ４５の処理内容について図９を参照して説明する。
なお、ここでは、男女で歌うデュエット曲を男性が１人で歌う場合を説明する。
まず、カラオケ装置１０の利用者が、送信器７０の発信窓９４を制御装置２０に向けて選曲ボタン７９を押すと、制御装置２０が選曲可能状態となり、選曲番号に対応するテンキー７８を押すと、その押す毎にテンキー７８に対応する数字が選曲番号表示部７１および２３に順次表示される。
続いて、最後の数字のテンキー７８を押してから選曲ボタン７９を押すと、選曲が終了したと判定され（ステップ１００）、その選曲された曲の曲データ１００の送信を要求するリクエスト信号がＬＡＮ回線５３を介してサーバー５２へ送信される（ステップ２００）。
【００４４】
そして、サーバー５２は、自己のＨＤＤ１５から上記リクエスト信号に示される選曲番号に対応する曲データ１００を検索して読出し、その読出された曲データ１００は、ＬＡＮ回線５３を介して制御装置２０の通信端子４０を経てＬＡＮボード５４により受信され、ＲＡＭ４９へ保存される（ステップ３００）。続いて、受信された曲データ１００の識別データＤ１がデュエット曲を示すものかが判定され（ステップ４００）、デュエット曲である場合には、デュエット曲制御が実行される（ステップ５００）。
【００４５】
次に、そのデュエット曲制御について図１０を参照して説明する。
まず、曲データ１００に対応するＡＶデータが、ＤＶＤ−ＲＡＭに記憶されているかについて、つまり、カラオケ装置１０が代わりにデュエットできるかについて、ＡＶデータテーブル１２０を検索して判定される（ステップ５０２）。
ここで、ＡＶデータテーブル１２０の構成について図７を参照して説明する。ＡＶデータテーブル１２０は、デュエット曲の選曲番号データと、歌唱者の性別を示す性別データと、男性が歌うパート、女性が歌うパート、高いキーで歌うパートおよび低いキーで歌うパートのパートの種類を示すパートデータと、何人目に歌った歌唱者であるかを示す番号データと、歌唱者のある瞬間の歌唱する姿を示す静止画データと、歌唱者映像データと、歌唱音声データとにより構成される。
【００４６】
そして、ＡＶデータが記憶されている場合には（ステップ５０４）、モニタ１２，１４に「お選びになられた曲は、男女で歌うデュエット曲です。デュエットされる方がいない場合は、カラオケ装置にデュエットの相手を勤めさせることができます。カラオケ装置に男性パートを歌わせたい場合は、送信器の男性パートボタンを押して下さい。また、お１人で歌われる場合は、ボタンを押さずにお待ち下さい。」という内容のメッセージ映像を表示させる（ステップ５０６）。
【００４７】
ここでは、カラオケ装置１０にデュエットの相手を勤めさせないものとし、女性パートボタン８８が所定時間押されないと（ステップ５０８，５１０）、モニタ１２，１４に「あなたの歌声と歌っている姿を記録してもよろしいですか。記録された内容は、他の人がデュエット曲を１人で歌う場合に、一方のパートナーとして再生されることがあります。記録を許可される場合は送信器のＯＫボタンを、拒否される場合はＮＯボタン押してください。」という内容のメッセージ映像を表示させる（ステップ５１２）。
【００４８】
ここでは、記録を許可するものとし、ＯＫボタン９１が押されると（ステップ５１４）、ビデオカメラ１９が撮影している映像がモニタ１２，１４に表示され（ステップ５１６）、画面の下の方に「男性はマイク１を、女性はマイク２をお使い下さい。マイクの指向性切替スイッチを「強」に設定してください。ご自分の姿が画面の中央に入る位置にお立ち下さい。準備ができましたら送信器のＯＫボタンを押して下さい。中止される場合は、ＮＯボタンを押して下さい。」という内容のメッセージ映像を表示させる（ステップ５１８）。
【００４９】
なお、マイクロフォン１７、または、マイクロフォン１８の指向性を強くするように案内をするのは、歌声以外の音が極力マイクロフォンから入らないようにするためである。また、ここでは、マイク１としてマイクロフォン１７を用いるものとし、マイクロフォン１７が用いられた場合の性別データおよびパートデータは、男性を示す「Ｍ」に設定されるものとする（図７参照）。
そして、ＯＫボタン９１が押されると（ステップ５２０）、ＲＡＭ４９から曲データ１００の読出しが開始され（ステップ５２２）、曲データ１００に含まれるＭＩＤＩデータ１０１は、シーケンサ５６に取り込まれ、タイマ５８のカウントにしたがってＭＩＤＩ音源５７に書き込まれる。ＭＩＤＩデータが書き込まれたＭＩＤＩ音源５７から発生した音源データは、音声制御回路５５へ出力され、アンプ１６によって増幅可能なアナログの音楽信号に変換される。この楽曲信号は、アンプ１６へ出力され、増幅された後にスピーカ１１，１１、スピーカ１３，１３へ出力され、両スピーカによって再生される（ステップ５２４）。
【００５０】
一方、マイクロフォン１７から入力された歌唱音声を示す歌唱音声信号は、アンプ１６に内蔵されたマイクミキシング回路により、上記音楽信号とミキシングされ、このミキシングされたミキシング信号は、アンプ１６により増幅された後にスピーカ１１，１１およびスピーカ１３，１３へ出力され、両スピーカにより音として再生される（ステップ５２４）。
また、曲データ１００に含まれるジャンルデータに対応する背景映像データがＣＤ−ＲＯＭプレーヤ６０により読出され、この読出された背景映像データは、映像制御回路６１に入力されて背景映像信号に変換され、図１５に示すように、背景映像２１０が表示される（ステップ５２４）。
【００５１】
さらに、曲データ１００に含まれる歌詞映像データ１０２は、映像制御回路６１に入力され、モニタ１２，１４に表示可能な歌詞映像信号に変換され、図１５に示すように、背景映像２１０にスーパーインポーズされた歌詞映像２０２が表示される（ステップ５２４）。
続いて、ＭＩＤＩデータ１０１の再生が開始されたタイミングに同期して、マイクロフォン１７から入力された音声は、ＤＶＤレコーダ５９により歌唱音声データとしてＡＶデータテーブル１２０に記憶されるとともに、ビデオカメラ１９により撮影された歌唱者映像は、ＤＶＤレコーダ５９により歌唱者映像データとしてＡＶデータテーブル１２０に記憶される（ステップ５２６）。
【００５２】
ここで、上記男性が選曲した曲の選曲番号は、「３」であり、ＡＶデータテーブル１２０には、既に番号データ「２」までＡＶデータが記憶されているとすると、ＡＶデータテーブル１２０には、図７に示すように、歌唱者映像データＶ３ＭＭ３および歌唱音声データＡ３ＭＭ３が記憶される。ここで、「Ｖ」は、歌唱者映像データであることを示し、「Ａ」は、歌唱者音声データであることを示す。「Ｖ」、または、「Ａ」の次の数字は、選曲番号を示し、その数字の次の「Ｍ」は、男性を示す性別データであり、次の「Ｍ」は、男性のパートを示すパートデータであり、右端の数字は、３番目を示す番号データである。
【００５３】
一方、マイクロフォン１７から歌唱音声が入力されるのに伴い、歌唱者の歌唱力の採点が開始され（ステップ５２８）、曲データ１００の再生が終了すると（ステップ５３０）、採点結果が演算される（ステップ５３２）。
この採点は、図８に示すように、再生される音楽信号のメロディーラインの音程と歌唱者のボーカルラインの音程とのずれの大きさに基づいて行われる。たとえば、時間ｔ１におけるメロディーラインの音程Ｌ１とボーカルライン歌声の音程Ｌ２との差（Ｌ２−Ｌ１）を一定時間毎に演算するとともに、その平均値を算出し、この平均値に対応する点数を平均値と点数とを対応させた採点テーブル（図示省略）から読出す。
【００５４】
そして、採点結果が７０点以上である場合には（ステップ５３４）、メインルーチンへ戻り、上記デュエット曲制御を終了する。また、採点結果が７０点より低い場合には、ＤＶＤ−ＲＡＭのＡＶデータテーブル１２０に格納されたＡＶデータを消去する（ステップ５３５）。
つまり、採点結果が７０点より低い場合は歌が下手であるとみなし、他の人がデュエット曲を１人で歌う場合の、他のパート再生用に使用されないようにする。
なお、上記ステップ５０４において、再生すべきＡＶデータが１つも記憶されていない場合には、後述のステップ５１４に処理を移す。
【００５５】
次に、上記ステップ５０８において、送信器７０の女性パートボタン８８を押した場合、つまり、女性パートをカラオケ装置１０に勤めさせる場合のＣＰＵ４５の処理内容について図１１を参照して説明する。
まず、選曲番号データが「３」であり、性別データが「Ｗ」であるＡＶデータが、ＡＶデータテーブル１２０に記憶されているかを判定し（ステップ５５０）、記憶されている場合には、記憶されているＡＶデータの静止画データを読出してモニタ１２，１４に表示する（ステップ５５２）。
【００５６】
ここでは、図７に示すように、選曲番号データが「３」であり、性別データが「Ｗ」であるＡＶデータは、番号データ「１」ないし「５」の計５つ記憶されているため、それら５つのＡＶデータの静止画データ「Ｓ３ＷＷ１」ないし「Ｓ３ＷＷ５」が読出されて表示される。この表示は、モニタの画面を説明する図１４（Ａ）に示すように、画面を４分割し、それら分割された画面のそれぞれに静止画２１３を表示して行われる。
【００５７】
また、画面の下部には、「送信器のカーソル移動ボタンを操作して、あなたの好みの女性を選んで下さい。カーソルを移動したところでＯＫボタンを押して下さい。」というメッセージ映像２１５が表示される。図１４（Ａ）に示すように、表示された４つの静止画２１３には、番号「１」ないし「４」が表示されており、番号「４」にはカーソル２１１が重ねて表示されている。このカーソル２１１は、送信器７０のカーソル移動ボタン９３を操作することにより他の番号上へ移動する。また、カーソル移動ボタン９３の右端を押して、カーソル２１１を横に移動させると、図１４（Ｂ）に示すように、静止画２１３がスクロールされ、番号「５」の５つ目の静止画が表示される。
【００５８】
さらに、図１４（Ｂ）に示すように、６つ目の静止画は記憶されていないことが、終了表示２１４により示される。
なお、ステップ５５０において、該当するＡＶデータが無かった場合には、モニタ１２，１４に「指定されたパートのデータはありません。」という内容のメッセージ映像を所定時間表示し（ステップ５５２）、ステップ５１４（図１０）へ移行する。
そして、送信器７０のＯＫボタン９１が押されると（ステップ５５６）、上記選択された静止画２１３に対応するＡＶデータがＤＶＤレコーダ５９により読み出され、ＲＡＭ６６に一時保存される（ステップ５５８）。続いて、モニタ１２，１４に「マイク１をお使い下さい。マイクの指向性切替スイッチを「強」に設定してください。ご自分の姿が画面の中央に入る位置にお立ち下さい。準備ができましたら送信器のＯＫボタンを押して下さい。中止される場合は、ＮＯボタンを押して下さい。」という内容のメッセージ映像を表示させる（ステップ５６０）。
【００５９】
続いて、ＯＫボタン９１が押されると（ステップ５６２）、ＲＡＭ４９から曲データ１００が読出されるとともに（ステップ５６４）、ＲＡＭ６６からＡＶデータが読出され（ステップ５６６）、再生される（ステップ５６８）。このとき、モニタ１２，１４の画面は、図１３（Ｂ）に示すように、縦に２分割され、左側に自分の歌唱者映像２０６が表示され、右側にＤＶＤレコーダ５９により再生された歌唱者映像２０７が表示される。
つまり、モニタ１２，１４には、自分の姿と、自分が選んだ女性の姿とが並んで表示される。また、画面の下部に歌詞映像２０２が表示される。
したがって、歌い手は、モニタ１２，１４を見ながら歌う（カラオケする）ことにより、デュエットしている雰囲気を味わうことができる。
【００６０】
また、送信器７０の映像切替ボタン８６を押して、モニタ１２，１４の画面分割を解除し、図１３（Ａ）に示すように、女性の歌唱者映像および歌詞映像のみに切替えることもできる。さらに、映像切替ボタン８６を押して、図１５に示すように、背景映像２１０および歌詞映像２０２に切替えることもできる。
一方、ビデオカメラ１９により撮影された歌唱者映像と、マイクロフォン１７から入力された歌唱音声とは、ＤＶＤレコーダ５９により記録開始される（ステップ５７０）。また、歌唱者の歌唱力の採点が開始され（ステップ５７２）、曲データ１００の再生が終了すると（ステップ５７４）、採点結果が演算され（ステップ５７６）、採点結果が７０点以上である場合には（ステップ５７８）、メインルーチンへ戻り、デュエット曲制御を終了する。
なお、採点結果が７０点より低い場合には、ＤＶＤ−ＲＡＭのＡＶデータテーブル１２０に格納されたＡＶデータが消去される（ステップ５８０）。
【００６１】
また、上記ステップ５６２において、ＯＫボタン９１が押されなかった場合には、曲データ１００が読出されるとともに（ステップ５９０）、ＡＶデータが読出され（ステップ５９２）、両データが再生される（ステップ５９４）。
そして、デュエット曲制御が終了すると、ステップ７５０（図９）において肯定判定され、予約曲の選曲番号データがＲＡＭ４６に記憶されている場合には（ステップ８００）、その選曲番号データが読出され（ステップ９００）、上記ステップ１００ないしステップ８００が実行される。
【００６２】
以上のように、本実施形態のカラオケ装置１０によれば、男女で歌うデュエット曲を１人で歌う場合に、好みの女性が歌う映像をモニタ１２，１４に表示するとともに、その女性の歌声をスピーカ１１，１１およびスピーカ１３，１３により再生できるため、デュエットしている雰囲気でカラオケすることができる。
なお、上記実施形態では、男性が１人でデュエット曲を歌う場合を説明したが、女性が１人で歌う場合には、男性のＡＶデータを再生してデュエットできることは勿論である。また、静止画２１３を表示する画面は、上記の４分割以外に、６分割、または、９分割、あるいは、それ以上の数に分割することもできる。
【００６３】
次に、本発明の第２実施形態のカラオケ装置について図１２を参照して説明する。
本第２実施形態のカラオケ装置は、利用者の性別をマイクロフォン１７、または、マイクロフォン１８から入力される歌唱音声の周波数を解析して判別できることを特徴とする。
図１２は、ＣＰＵ４５により実行される性別判別のための処理内容を示すフローチャートである。
なお、図９に示すステップ１００ないしステップ４００、および図１０に示すステップ５０２は、上記第１実施形態に記載した内容と同じであるため説明を省略する。
【００６４】
まず、ＡＶデータテーブルにＡＶデータが記憶されていると（ステップ５０４）、モニタ１２，１４に「お選びになられた曲は、男女で歌うデュエット曲です。デュエットされる方がいない場合は、カラオケ装置にデュエットの相手を勤めさせることができます。マイクロフォンに向かって何か話してください。また、お１人で歌われる場合は、そのまましばらくお待ち下さい。」という内容のメッセージ映像が表示される（ステップ６１０）。続いて、マイクロフォン１７、または、マイクロフォン１８から入力された音声の周波数解析を制御装置２０の周波数解析回路６５に行わせ（ステップ６１２）、その解析結果に基づいて平均周波数Ｈが演算される（ステップ６１４）。
【００６５】
続いて、平均周波数Ｈと基準周波数Ｈ１とが比較され（ステップ６１６）、平均周波数Ｈが基準周波数Ｈ１より低い場合は、マイクロフォン１７、または、マイクロフォン１８から入力された音声は、男性の声であると判定され、ＡＶデータの中の性別データは「Ｍ」に決定される（ステップ６１８）。また、平均周波数Ｈが基準周波数Ｈ１より高い場合は、女性の声であると判定され、性別データは「Ｗ」に決定される（ステップ６２０）。
そして、上記第１実施形態と同じように、図１０に示すステップ５１０ないしステップ５３５、および図１１に示すステップ５５０ないしステップ５９４が実行される。
【００６６】
このように、本第２実施形態のカラオケ装置１０によれば、マイクロフォン１７、または、マイクロフォン１８から入力される音声の周波数の高低に基づいて、再生すべきＡＶデータの性別データが自動設定されるため、送信器７０の操作を単純化することができる。
なお、上記のように、利用者にマイクロフォン１７、または、マイクロフォン１８に向かって何かを話させることなく、歌い始めにマイクロフォン１７、または、マイクロフォン１８から入力される音声の周波数解析を行い、ＡＶデータの性別データを、自動設定するように構成することもできる。
【００６７】
また、上記各実施形態では、男女でデュエットする曲の一方をカラオケ装置１０に演奏させる場合を説明したが、カラオケ装置１０は、同性の歌手が歌うデュエット曲など、高音パートおよび低音パートに分かれている曲の一方のパートを演奏することもできる。
たとえば、図７に示すように、ＡＶデータテーブル１２０には、選曲番号が「１７」であり、男性２人で歌うデュエット曲のＡＶデータが記憶されているとし、利用者がその曲を選曲したとする。
【００６８】
ここで、利用者が送信器７０の低音パートボタン８９を押した場合、つまり、カラオケ装置１０に低音パートを演奏させる場合には、上記ＡＶデータのうち、パートデータが「Ｌ」で示される、番号データ「１」ないし「３」の３つのＡＶデータが読出され、再生される。また、利用者が送信器７０の高音パートボタン９０を押した場合、つまり、カラオケ装置１０に高音パートを演奏させる場合には、上記ＡＶデータのうち、パートデータが「Ｈ」で示される、番号データ「１」および「２」の２つのＡＶデータが読出され、再生される。
また、歌唱者映像および歌唱音声は、上記第１実施形態と同じように、ＤＶＤレコーダ５９によりＡＶデータテーブル１２０に記憶される。
【００６９】
このように、本カラオケ装置１０によれば、男性２人がデュエットする曲を１人で歌う場合であっても、一方のパートをカラオケ装置１０に演奏させることができるため、デュエットしている雰囲気でカラオケすることができる。
なお、女性２人で歌うデュエット曲が選曲された場合も、上記男性２人で歌うデュエット曲の場合と同じように、一方のパートをカラオケ装置１０に演奏させることができることは勿論である。
また、マイクロフォン１７、または、マイクロフォン１８から入力される歌唱音声の平均周波数Ｈと基準周波数Ｈ２（たとえば、５００Ｈｚ）との比較結果に基づいて、高音パートおよび低音パートのいずれのＡＶデータを選択するかを判定する構成でもよい。
【００７０】
上記各実施形態では、本発明の記憶手段としてＤＶＤ−ＲＡＭを用いたが、光磁気ディスク、または、ＨＤＤなどを用いることもできる。
また、上記各実施形態では、ビデオカメラを１台使用する構成であったが、マイク１専用およびマイク２専用の２台のビデオカメラを用いることもできる。
さらに、プロの歌手の歌唱者映像および歌唱音声を示すＡＶデータが記憶されたＤＶＤ−ＲＯＭをＤＶＤレコーダ５９に収容しておき、その歌手が歌う曲が選曲された場合に、上記ＤＶＤ−ＲＯＭを再生するよう構成することもできる。
【００７１】
ところで、ＣＰＵ４５により実行される、ステップ５２６、または、ステップ５７０が、本発明の記憶手段として機能し、ステップ５６４、または、およびステップ５９０が、本発明の読出手段として機能する。また、ステップ５６８、または、ステップ５９４が、映像表示手段として機能し、ステップ６１０ないしステップ６２０が、性別判別手段として機能する。
【００７２】
【発明の効果】
以上のように、本発明の楽音再生装置によれば、マイクロフォンを通して歌唱する者を示す歌唱者映像を記憶しておき、デュエット曲を１人で歌う場合などに、記憶されている歌唱者映像を読出して表示することにより、デュエット曲を歌う楽しさを増すことができる楽音再生装置を実現することができる。
【図面の簡単な説明】
【図１】 本発明実施形態のカラオケ装置の外観説明図である。
【図２】 マイクロフォン１７の外観を表す説明図である。
【図３】（Ａ）は、カラオケ装置に備えられた制御装置の前面パネルの説明図であり、（Ｂ）は、制御装置の背面パネルの説明図である。
【図４】 曲データの構成を示す説明図である。
【図５】 制御装置の主な内部構成をブロックで示す説明図である。
【図６】 送信器の外観を示す説明図である。
【図７】 ＡＶデータテーブルの説明図である。
【図８】 採点の原理を示す説明図である。
【図９】 選曲から再生までに実行されるＣＰＵ４５のメインルーチンを示すフローチャートである。
【図１０】 ＣＰＵ４５により実行されるデュエット曲制御のための制御内容を示すフローチャートである。
【図１１】 ＣＰＵ４５により実行されるデュエット曲制御のための制御内容を示すフローチャートである。
【図１２】 マイクロフォンから入力される音声の周波数を解析して性別を判別するためのＣＰＵ４５の処理内容を示すフローチャートである。
【図１３】 （Ａ）は、歌唱者映像２００に歌詞映像２０２がスーパーインポーズされた映像を示す説明図であり、（Ｂ）は、縦に２分割された画面に表示された歌唱者映像を示す説明図である。
【図１４】 （Ａ）は、画面に表示された複数の静止画を示す説明図であり、（Ｂ）は、（Ａ）に示す静止画がスクロールされた状態を示す説明図である。
【図１５】 背景映像に歌詞映像がスーパーインポーズされた映像を示す説明図である。
【符号の説明】
１０ カラオケ装置
１１，１３ スピーカ
１２，１４ モニタ
１６ アンプ
１７，１８ マイクロフォン
１７ｂ 指向性切替スイッチ
１９ ビデオカメラ
２０ 制御装置
４５ ＣＰＵ
５２ サーバー
５３ ＬＡＮ回線
５５ 音声制御回路
５９ ＤＶＤレコーダ
６０ ＣＤ−ＲＯＭプレーヤ
６１ 映像制御回路
７０ 送信器
８７ 男性パートボタン
８８ 女性パートボタン
８９ 低音パートボタン
９０ 高音パートボタン
９３ カーソル移動ボタン
１００ 曲データ
１０２ ＭＩＤＩデータ
１２０ ＡＶデータテーブル

Claims (5)

1. 入力手段と、撮影手段と、曲データ記憶手段と、楽曲再生手段と、記憶手 段と、再生手段と、合成手段と、制御手段とを備えた楽音再生装置であって、
   入力手段は、利用者からの各種入力を可能とし、
   撮影手段は、歌唱者を撮影して歌唱者映像を出力し、
   曲データ記憶手段は、楽曲に対応した曲データを記憶し、
   楽曲再生手段は、制御手段の制御にしたがって曲データを再生し、
   記憶手段は、歌唱者映像を含むと共に、楽曲とパートに対応したデュエットデータを記憶し、
   再生手段は、制御手段の制御にしたがってデュエットデータを再生して歌唱者映像を出力し、
   合成手段は、再生手段にて再生された歌唱者映像と、撮影手段からの歌唱者映像を合成して出力し、
   制御手段は、第１−３処理を行い、
   第１処理は、楽曲の選択、及び、第１、２何れかのパート選択を入力手段から受け付け、
   第２処理は、第１処理で受け付けた楽曲、及び、受け付けたパートとは他方のパートに対応するデュエットデータを選択し、
   第３処理は、第２処理で選択されたデュエットデータを再生手段に再生させると共に、第１処理で指定された楽曲に対応する曲データを楽曲再生手段に再生させ、撮影手段からの歌唱者映像を、第１処理で受け付けた楽曲とパートに対応付けたデュエットデータとして記憶手段に記憶させる楽音再生装置。
2. デュエットデータは、歌唱音声を含み、
   再生手段は、デュエットデータを再生して歌唱音声も出力し、
   第３処理は、マイクロフォンからの歌唱音声も、デュエットデータとして記憶手段に記憶させる請求項１に記載の楽音再生装置。
3. 第２処理は、第１処理で受け付けた楽曲、及び、受け付けたパートとは他方のパートに対応するデュエットデータが複数存在する場合には、利用者からの入力に基づいて、デュエットデータを選択する請求項１または２に記載の楽音再生装置。
4. 背景映像再生手段と、切替手段とを更に備えると共に、曲データは、歌詞データを含むと共に、
   楽曲再生手段は、曲データ中の歌詞データを再生して歌詞映像を出力し、
   背景映像再生手段は、背景映像を出力し、
   切替手段は、合成手段からの映像と、歌詞映像と、背景映像を利用者からの入力に基づいて切替出力する請求項１−３のいずれか１に記載の楽音再生装置。
5. 入力手段と、撮影手段と、曲データ記憶手段と、楽曲再生手段と、記憶手段と、再生手段と、合成手段と、性別判別手段と、制御手段とを備えた楽音再生装置であって、
   入力手段は、利用者からの各種入力を可能とし、
   撮影手段は、歌唱者を撮影して歌唱者映像を出力し、
   曲データ記憶手段は、楽曲に対応した曲データを記憶し、
   楽曲再生手段は、制御手段の制御にしたがって曲データを再生し、
   記憶手段は、歌唱者映像を含むと共に、楽曲と性別に対応したデュエットデータを記憶し、
   再生手段は、制御手段の制御にしたがってデュエットデータを再生して歌唱者映像を出力し、
   合成手段は、再生手段にて再生された歌唱者映像と、撮影手段からの歌唱者映像を合成 して出力し、
   性別判別手段は、マイクロフォンから入力される音声信号の少なくとも周波数に基づいて性別を判断し、
   制御手段は、第１−３処理を行い、
   第１処理は、楽曲の選択を入力手段から受け付け、
   第２処理は、第１処理で受け付けた楽曲、及び、性別判別手段で判別された性別とは異なる性別のパートに対応するデュエットデータを選択し、
   第３処理は、第２処理で選択されたデュエットデータを再生手段に再生させると共に、第１処理で指定された楽曲に対応する曲データを楽曲再生手段に再生させ、撮影手段からの歌唱者映像を、第１処理で受け付けた楽曲と判別された性別に対応付けたデュエットデータとして記憶手段に記憶させる楽音再生装置。

Images