JP6106397B2 - カラオケ装置、及びコンピュータプログラム - Google Patents

Description

本発明は、ライブ演奏の疑似体験を行うカラオケ装置、及びコンピュータプログラムに関する。

指定された曲を再生し、マイクを介して歌声を出力できるカラオケ装置が実用化されている。また、娯楽性を高めるために、指定された曲の再生だけでなく映像も映し出すカラオケ装置が実用化されている。

特許文献１は、曲と映像との出力方法に工夫を加えることにより、娯楽性をより高めるカラオケ装置を提案している。具体的には、マイクの動き又はマイクに入力されたフレーズに応じて観客の反応を示す音声及び映像を出力することにより、ライブ演奏の疑似体験をすることができるカラオケ装置を提案している。

特開２０１２−０８８５２１号公報

ライブ演奏では、ボーカル以外に、ギター、ベース、ドラム等の複数の楽器の演奏者が共演する機会が多い。またライブ演奏では、共演している各演奏者をボーカルが紹介することにより、ライブ演奏を盛り上げるようにする場面も見られる。例えば「ギター、○○○！」、または「ベース、×××！」のように紹介することにより、ライブ演奏を盛り上げる場面も見られる。

実際のライブ演奏では、演奏者とは別に、ＰＡエンジニアと呼ばれる技術者が参加している。ＰＡエンジニアは、各演奏者にスポットを当てた紹介が効果的に行われるように、紹介の進行に合わせて演奏者の楽器の音量などを調整している。

しかしながら従来のカラオケ装置では、ボーカルが紹介するタイミングに合わせて複数の演奏者の音量などを調整することが困難であった。つまり従来のカラオケ装置の試みは、各演奏者にスポットを当てた紹介が困難となるために、臨場感のあるライブ演奏の疑似体験を十分に提供できたとは言い難い。

本発明は斯かる事情に鑑みてなされたものであって、各演奏者にスポットを当てた紹介を容易にすることができ、より臨場感のあるライブ演奏の疑似体験を行うカラオケ装置、及びコンピュータプログラムの提供を目的とする。

本発明に係るカラオケ装置は、カラオケ曲を再生する再生部、音声を入力する音声入力部、複数の楽器の音信号を取得する取得部、並びに、再生した前記カラオケ曲の音、前記音声入力部に入力された音声、及び取得した前記音信号に基づく音を出力する出力部を有するカラオケ装置において、音信号を含む複数の楽器演奏動画コンテンツを記録したデータベースに接続する接続部を備え、前記取得部は、前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツの音信号を取得するようにしてあり、前記音声入力部に入力された音声に基づいて、前記複数の楽器から一つの楽器を選択する選択部と、該選択部が選択した楽器の出力音量が、前記選択部が選択した楽器以外の楽器の出力音量と異なるように、前記出力部を制御する制御部とを備えることを特徴とする。

上述のカラオケ装置では、複数の楽器演奏動画コンテンツから一つの楽器演奏動画コンテンツを選択する。制御部は、選択された楽器演奏動画コンテンツの出力音量がその他の楽器演奏動画コンテンツの出力音量とは異なるように、楽器演奏動画コンテンツの音を出力する出力部を制御する。

また本発明に係るカラオケ装置は、前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツの各動画を表示領域内に表示する表示部と、前記表示部が表示する各動画の表示態様を制御する表示制御部とを備え、該表示制御部は、前記選択部が選択した楽器の音信号を含む楽器演奏動画コンテンツの表示動画の表示態様が、その他の楽器演奏動画コンテンツの表示動画の表示態様と異なるように前記表示部が表示する各動画の表示態様を制御するようにしてあることを特徴とする。

上述のカラオケ装置では、選択された楽器演奏動画コンテンツの動画が、選択されていない楽器演奏動画コンテンツの動画と異なる表示態様を用いて表示される。

また本発明に係るカラオケ装置は、カラオケ曲を再生する再生部、音声を入力する音声入力部、複数の楽器の音信号を取得する取得部、並びに、再生した前記カラオケ曲の音、前記音声入力部に入力された音声、及び取得した前記音信号に基づく音を出力する出力部を有するカラオケ装置において、前記音声入力部に入力された音声に基づいて、前記複数の楽器から一つの楽器を選択する選択部と、該選択部が選択した楽器の出力音量が、前記選択部が選択した楽器以外の楽器の出力音量と異なるように、前記出力部を制御する制御部と、前記制御部による制御の無効を示す文言を記憶する記憶部と、前記音声入力部に入力された音声を認識する音声認識部と、前記音声認識部の音声認識結果に基づき、前記記憶部に記憶した文言が前記音声入力部に入力されたか否かを判定する判定部と、前記制御部による制御を無効にする無効化部とを備え、該無効化部は、前記記憶部に記憶した文言が前記音声入力部に入力されたと前記判定部が判定した場合、前記制御部による制御を無効にし、前記選択部は、再生する前記カラオケ曲にあるソロパートの再生中に楽器を選択するようにしてあり、前記制御部が前記出力部を制御した場合、前記再生部は、前記記憶部に記憶した文言が前記音声入力部に入力されたと前記判定部が判定するまで、前記ソロパートの再生を繰り返すようにしてあることを特徴とする。

上述のカラオケ装置では、制御部が行った制御を、入力された音声に対する音声認識結果に基づいて無効にする。また、カラオケ曲のソロパート再生中に楽器が選択され、選択された楽器の出力音量が制御される。楽器の選択が行われた場合には、制御を無効にするための音声が入力されるまで、ソロパートの再生を繰り返す。

本発明に係るコンピュータプログラムは、複数の楽器演奏動画コンテンツを記録したデータベースに接続する接続部を備え、カラオケ曲を再生し、音声入力部に入力された音声の音声信号及び複数の楽器の音信号を取得するコンピュータに、取得した前記複数の楽器の音信号の音量情報を出力させるコンピュータプログラムにおいて、前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツに含まれる音信号を取得するステップと、取得した前記音声信号に基づき、前記音声入力部に入力された音声を認識するステップと、文言及び楽器を関連付ける記憶した複数組の関連情報並びに前記音声入力部に入力された文言に基づき、楽器を前記複数の楽器の中から選択するステップと、取得した複数の楽器の音信号に対して、該選択した楽器の音量が、該選択した楽器以外の楽器の音量と異なる音量情報を生成するステップとを備えることを特徴とする。

上述のコンピュータプログラムでは、複数の楽器演奏動画コンテンツから一つの楽器演奏動画コンテンツを選択する。また、選択した楽器演奏動画コンテンツの出力音量がその他の楽器演奏動画コンテンツの出力音量とは異なる音量情報を生成する。

本発明にあっては、複数の楽器から選択した楽器の音量が他の楽器の音量とは異なるようになる。したがって、選択を介した音量調整により、各演奏者にスポットを当てた紹介が容易となり、より臨場感のあるライブ演奏の疑似体験が実現可能となる。

カラオケシステムの一構成例を模式的に示す説明図である。 中央装置の一構成例を示すブロック図である。 楽曲ＤＢのレコードレイアウトの一例を概念的に示す説明図である。 動画ＤＢのレコードレイアウトの一例を概念的に示す説明図である。 カラオケ端末装置の一構成例を示すブロック図である。 カラオケ端末用動画ＤＢのレコードレイアウトの一例を概念的に示す説明図である。 特定の動画コンテンツの映像を強調する構成の説明図である。 出力音量の調整に係る制御部の処理手順を示すフローチャートである。 動画コンテンツの映像の強調に係る制御部の処理手順を示すフローチャートである。 複数の電子楽器を接続するサウンドエフェクターの外観の一例を示す模式図である。 遠隔操作装置による設定方法を示す説明図である。 サウンドエフェクター設定情報のレコードレイアウトの一例を概念的に示す説明図である。 出力音量の調整に係る制御部の処理手順を示すフローチャートである。 出力音量の調整に係る制御部の処理手順を示すフローチャートである。 予告文言および開始文言の表示に係る制御部の処理手順を示すフローチャートである。 出力音量の調整に係る制御部の処理手順を示すフローチャートである。 一つの撮像装置で二人のユーザを撮像した場合に映像表示装置に表示される合成映像の一例を示す模式図である。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

（実施の形態１）
図１は、カラオケシステムの一構成例を模式的に示す説明図である。本実施の形態１に係るカラオケシステムは、ユーザがカラオケを楽しむ楽曲に関するカラオケ楽曲の配信を行うと共に、演奏者が楽器を演奏している状態を撮影した動画コンテンツの配信を行う中央装置１と、各カラオケ店舗２それぞれに設置されており、通信網Ｎ１を介して中央装置１に接続されたカラオケ端末装置４とを備える。

通信網Ｎ１は、中央装置１と、カラオケ端末装置４との間で、カラオケ情報、動画コンテンツに係る情報を送受信するための専用通信回線であり、光ファイバ通信網、ＡＤＳＬ回線、公衆電話回線等にハードディスク内蔵型のルータ３１を接続して構成されている。なお、通信回線の種類は、中央装置１と、カラオケ端末装置４との間で情報を送受信できれば、これらに限定されるものでは無く、非専用回線であっても良い。

ルータ３１は、主に各カラオケ店舗２に設置されており、ルータ３１に内蔵されたハードディスクは、中央装置１から配信されたカラオケ情報を記憶すると共に、動画コンテンツの素材となる映像データ及び音声データを一時記憶する。ルータ３１は、各店舗及び中央装置１間でカラオケ情報、並びに映像データ及び音声データを中継し、カラオケ情報を共有する機能、バックアップする機能等を有している。

カラオケ端末装置４は、カラオケ店舗２の各個室２１に通常１台設置され、有線ＬＡＮ（Local Area Network）ケーブル３２を介して、該カラオケ店舗２に設置されたルータ３１に接続されている。また、各個室２１には、カラオケ端末装置４を遠隔操作するための遠隔操作装置５が一又は複数台、備えられている。遠隔操作装置５は、カラオケシステムへのユーザログイン、カラオケ曲の選曲、動画コンテンツに係る操作に用いられる。

遠隔操作装置５は、ペンタッチセンサを有する液晶パネルを備えたボード型であり、赤外線通信にて、同一個室２１内のカラオケ端末４が紐付けられる。なお、携帯電話機に専用のアプリケーションを実行させ、遠隔操作装置５として機能させても良い。また、カラオケ店舗２には、有線ＬＡＮケーブル３２に接続されたアクセスポイント３３が設置されており、各個室２１に備えられた遠隔操作装置５は、アクセスポイント３３を介して、紐付けられた同一個室２１内のカラオケ端末装置４との間で各種操作に係る情報を送受信している。有線ＬＡＮケーブル３２によりカラオケ端末装置４間を接続するよう構成してあるが、無線ＬＡＮ、その他の有線又は無線通信にて相互接続するように構成しても良い。また、アクセスポイント３３を設置することなく、カラオケ端末装置４と遠隔操作装置５との間で直接的に操作信号を送受信するように構成しても良い。

図２は、中央装置１の一構成例を示すブロック図である。中央装置１は、中央装置１の各構成部の動作を制御する制御部１０、例えば、ＣＰＵ（Central Processing Unit）を備え、制御部１０には、バスを介してＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、内部記憶装置１３と、外部記憶装置１４と、通信部１５とが接続されている。

制御部１０は、ＲＡＭ１２及び内部記憶装置１３に記録されたコンピュータプログラムをＲＡＭ１２に読み出して実行することにより、動画コンテンツデータに係る処理を実行する。

ＲＯＭ１１は、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリである。

ＲＡＭ１２は、制御部１０の演算処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ、ＳＲＡＭ等の揮発性メモリである。

内部記憶装置１３は、カラオケシステムの中央装置１としてコンピュータを機能させるためのコンピュータプログラムを記憶するハードディスク、不揮発性半導体メモリ等である。内部記憶装置１３は、カラオケ端末装置４に配信する楽曲（カラオケ曲）のデータ及び動画コンテンツのデータを多数記憶する。また、内部記憶装置１３は、楽曲に関する情報を格納した楽曲ＤＢ１３ａ、動画コンテンツデータに関する情報を格納した動画ＤＢ１３ｂを記憶する。

外部記憶装置１４は、光ディスクドライブであり、コンピュータ読み取り可能に記録したＤＶＤ（Digital Versatile Disc）−ＲＯＭ，ＢＤ（登録商標：Blu-ray Disc），ＣＤ（Compact Disc）−ＲＯＭ等の記録媒体から、コンピュータプログラム、その他の各種データを読み取り、コンピュータをカラオケシステムの中央装置１として機能させる。外部記憶装置１４は、ハードディスク、フレキシブルディスクのような磁気ディスク、光磁気ディスク、半導体メモリ等からデータを読み書きする装置で構成しても良い。

通信部１５は、通信網Ｎ１を介して接続されたカラオケ端末装置４との間で、カラオケ情報、並びに、映像データ及び音データを含む動画コンテンツを送受信するインタフェースである。通信部１５は、その他の各種サービスに係るデータも送受信できるようにしてあり、通信部１５による各種情報の送受信は制御部１０によって制御される。

中央装置１を、１台のコンピュータを用いて実現する例を説明したが、複数のコンピュータを用いて分散処理させても良いことは、言うまでも無い。

図３は、楽曲ＤＢ１３ａのレコードレイアウトの一例を概念的に示す説明図である。楽曲ＤＢ１３ｂの表は、複数の列、例えば楽曲を識別するための楽曲ＩＤを格納する「楽曲ＩＤ」列、当該楽曲の曲名を格納する「曲名」列、当該楽曲の歌手名を格納する「歌手名」列、当該楽曲の伴奏データを含む楽曲データを格納する「楽曲データ」列等から構成されている。楽曲データは、例えば、伴奏データ、歌詞データ、主旋律データを格納している。

伴奏データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）データであり、音のオンオフを指定するデータ、音高を指定する音高データ、音量を指定する音量データ（ベロシティ）、楽器の制御データ、音を出力する楽器を指定する音色データ、時系列順に再生される各音の時間間隔を指定する時間データ（デルタタイム）等で構成されている。

主旋律データは、伴奏に合わせて歌唱すべき音の旋律、つまり、主旋律を構成する音のオンオフを示すデータ、音高データ、音量データ、時系列順に再生される主旋律の各音の時間間隔を示した時間データ等で構成されている。

楽曲データの構造は特に限定されず、伴奏データ、歌詞データ及び主旋律データを一の楽曲ファイルで構成しても良いし、別個のファイルで構成し、各ファイルを対応付けて管理するようにしても良い。

楽曲データには、カラオケ曲を特定の再生区分、例えば「前奏」、「メロディー部分Ａ」、「メロディー部分Ｂ」、「サビ」、「間奏」、「ソロパート」…というように、区分した場合における区切り目を示す再生区分データ、各区分の再生時間データ、各区分の演奏に用いる楽器情報データが含まれている。各再生区分の識別情報をヘッダ情報として与えることにより、再生しているカラオケ曲においてどの再生区分が現在再生されているか、現在の時間が各再生区分の終了時間となっているか、各再生区分の演奏に用いる楽器がどの楽器であるか等を識別できる。ソロパートとは、ギター、ベース、ドラム等の複数の楽器による演奏から構成される楽曲のうち、一つの楽器による演奏が行われる時間帯を示す。実際のライブ演奏では、共演している各演奏者の紹介がよく行われる時間帯である。再生区分データと再生時間データとを参照し、ソロパートが再生されているか、再生されているソロパートの終了時間となっているか否か等を検出することができる。

図４は、動画ＤＢ１３ｂのレコードレイアウトの一例を概念的に示す説明図である。動画ＤＢ１３ｂの表は、複数の列、例えば「動画ＩＤ」列、「演奏者」列、「楽器」列、「楽曲ＩＤ」列等から構成されており、各列に対応した情報が格納されている。このような情報を用いて、演奏者が楽器を演奏している状態を撮影した各動画コンテンツを識別することができる。

「動画ＩＤ」列は、動画コンテンツを識別するための動画ＩＤを格納する。「演奏者」列は、動画コンテンツを作成した演奏者のユーザＩＤ、演奏者の呼称情報などを格納する。「楽器」列は、動画コンテンツの作成に使用した楽器の名称の情報を格納する。「楽曲ＩＤ」列は、動画ＩＤに対応付けられた動画コンテンツを作成する際に利用した楽曲を識別する楽曲ＩＤを格納する。

図５は、カラオケ端末装置４の一構成例を示すブロック図である。カラオケ端末装置４は、該カラオケ端末装置４の各構成部の動作を制御する制御部４０を備え、制御部４０には、バスを介してＲＯＭ４１と、ＲＡＭ４２と、記憶装置４３と、通信部４４と、受信部４５と、映像エンコーダ４６ａと、映像制御回路４６ｂと、映像デコーダ４６ｃと、音声エンコーダ４７ａと、音源部４７ｂと、音声デコーダ４７ｃとが接続されている。また、映像制御回路４６ｂ、及び映像デコーダ４６ｃには、映像ミキサ４６ｄが接続され、音源部４７ｂ、及び音声デコーダ４７ｃには、音声ミキサ４７ｄが接続されている。更に、カラオケ端末装置４は、図示しない映像入力端子、映像出力端子、音声入力端子、音声出力端子を備えており、各端子にはそれぞれ、撮像装置４６ｅ、映像表示装置４６ｆ、マイク４７ｅ、及びスピーカ４７ｆが接続されている。なお、映像表示装置４６ｆは、例えばＣＲＴ（Cathode-ray Tube）、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等である。

制御部４０は、ＲＯＭ４１及び記憶装置４３に記憶されたコンピュータプログラムをＲＡＭ４２に読み出して実行することにより、動画コンテンツデータに係る処理を実行し、コンピュータをカラオケ端末装置４として機能させる。

ＲＯＭ４１は、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリである。

ＲＡＭ４２は、制御部４０の演算処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ、ＳＲＡＭ等の揮発性メモリである。

記憶装置４３は、ハードディスク、不揮発性半導体メモリ等であり、コンピュータをカラオケ端末装置４として機能させるためのコンピュータプログラムを記憶する。また記憶装置４３は、カラオケ端末用楽曲ＤＢ４３ａを記憶する。記憶装置４３は、中央装置１から配信された楽曲データ等を格納しており、カラオケ端末用楽曲ＤＢ４３ａの基本的な構成は楽曲ＤＢ１３ａと同様である。更に記憶装置４３は、中央装置１から配信された動画コンテンツデータ等を格納しており、格納した動画コンテンツデータを識別するためのカラオケ端末用動画ＤＢ４３ｂを記憶する。

図６は、カラオケ端末用動画ＤＢ４３ｂのレコードレイアウトの一例を概念的に示す説明図である。カラオケ端末用動画ＤＢ４３ｂでは、記憶装置４３に格納した動画コンテンツデータを識別するための情報が、中央装置１の動画ＤＢ１３ｂから抽出されて記憶してある。動画ＤＢ４３ｂの表は、複数の列、例えば「動画ＩＤ」列、「演奏者」列、「楽器」列、「楽曲ＩＤ」列等から構成されており、各列に対応した情報が格納されている。このような情報を用いて、記憶装置４３に格納した各動画コンテンツを識別することができる。

「動画ＩＤ」列は、動画コンテンツを識別するための動画ＩＤを格納する。「演奏者」列は、動画コンテンツを作成した演奏者のユーザＩＤ、演奏者の呼称情報などを格納する。「楽器」列は、動画コンテンツの作成に使用した楽器の名称の情報を格納する。「楽曲ＩＤ」列は、動画ＩＤに対応付けられた動画コンテンツを作成する際に利用した楽曲を識別する楽曲ＩＤを格納する。

通信部４４は、通信網Ｎ１を介して接続されたカラオケ端末装置４および中央装置１との間で、カラオケ情報、動画コンテンツに係る情報、その他、各種サービスに係るデータを送受信するインタフェースであり、通信部４４による各種情報の送受信は制御部４０によって制御される。カラオケ端末装置４は、通信部４４を介して中央装置１にアクセスし、中央装置１に記憶してある動画コンテンツに係る情報を獲得することができる。

受信部４５は、本カラオケ端末装置４と、遠隔操作装置５との紐付けを行うべく、遠隔操作装置５との間で赤外線通信を行う回路である。

映像エンコーダ４６ａは、撮像装置４６ｅから出力され、映像入力端子を通じて入力された映像データを圧縮符号化する回路であり、圧縮符号化された映像データは、一時的にＲＡＭ４２又は記憶装置４３に書き込まれる。なお、圧縮符号化の形式は、例えばＭＰＥＧ（Moving Picture Experts Group）であるが、特にこれに限定されない。

映像制御回路４６ｂは、制御部４０の制御命令に従って、ＲＡＭ４２又は記憶装置４３から映像に係る情報を読み出して、各種映像を表現した映像データを生成し、映像ミキサ４６ｄに与える等、映像に関する各種制御処理を実行する。例えば映像制御回路４６ｂは、制御部４０から与えられた楽曲データに含まれる歌詞データに基づいて、歌詞を表現した映像データを映像ミキサ４６ｄに与える。

映像デコーダ４６ｃは、制御部４０の制御命令に従って、ＲＡＭ４２又は記憶装置４３から映像データ、例えば、カラオケ歌唱時に表示される所定の背景映像データ、中央装置１から受信した動画コンテンツの映像データ、その他の画像コンテンツの映像データ等を読み出して復号し、復号された映像データを映像ミキサ４６ｄに与える。背景映像データは、例えばＭＰＥＧ形式のデータである。

映像ミキサ４６ｄは、映像制御回路４６ｂと、映像デコーダ４６ｃと、撮像装置４６ｅとから与えられた映像の全部又は一部を合成し、合成して得た映像データを映像表示装置４６ｆへ出力する。映像表示装置４６ｆは、映像ミキサ４６ｄから出力された映像データに係る映像を表示する。

音声エンコーダ４７ａは、マイク４７ｅから音声入力端子を通じて入力された音声データを取得し、取得した音声データを圧縮符号化する。なお、圧縮符号化の形式は、例えばＭＰ３、ＡＡＣ（Advanced Audio Coding）、ＡＣ３（Audio Code number 3）等であるが、特にこれに限定されない。

音源部４７ｂは、制御部４０の制御命令に従って、ＲＡＭ４２又は記憶装置４３から読み出した楽曲データに含まれる伴奏データ、例えばＭＩＤＩデータに基づいて楽器音を再現した音声データを作成するＭＩＤＩ音源部であり、作成した音声データを、音声ミキサ４７ｄに与え、カラオケ楽曲の再生を行う。また、中央装置１から受信した動画コンテンツの音声データをＲＡＭ４２又は記憶装置４３から読み出し、音声ミキサ４７ｄに与える。

音声デコーダ４７ｃは、制御部４０の制御命令に従って、ＲＡＭ４２又は記憶装置４３から読み出した音声データを復号し、復号して得た音声データを音声ミキサ４７ｄに与える。

音声ミキサ４７ｄは、音源部４７ｂと、音声デコーダ４７ｃとから与えられた音声データに係る音声を合成し、合成して得た音声データを、音声出力端子を通じてスピーカ４７ｆへ出力する。スピーカ４７ｆは、音声ミキサ４７ｄから出力された音声データに係る音声を出力する。

なお、カラオケ端末装置４を専用機として構成する例を上述したが、汎用のコンピュータ、家庭用テレビゲームのコンピュータを用いてカラオケ端末装置４を構成しても良い。

撮像装置４６ｅは、カラオケ端末装置４を使用しているユーザの映像データを取得する。また、マイク４７ｅは、カラオケ端末装置４を使用しているユーザの音データを取得する。ユーザが楽器を演奏している場合、取得した映像データ及び音データは動画コンテンツとして中央装置１に送信される。遠隔操作装置５は、動画コンテンツを識別するための動画ＩＤ、動画コンテンツを作成した演奏者のユーザＩＤ、楽器の名称、演奏者の呼称情報、及び動画コンテンツを作成する際に利用した楽曲を識別する楽曲ＩＤ等の動画コンテンツに係る情報を、ユーザの入力を介して受け付ける。受け付けた動画コンテンツに係る情報は、送信される動画コンテンツと共に中央装置１に送信され記憶される。中央装置１に記憶された動画コンテンツは、他のカラオケ端末装置４でも利用可能となる。

ユーザは、遠隔操作装置５を操作し、カラオケ楽曲の指定を行う。また、指定したカラオケ楽曲の伴奏を行う楽器についての動画コンテンツの指定を行う。制御部４０は、カラオケ端末用楽曲ＤＢ４３ａ及びカラオケ端末用動画ＤＢ４３ｂを参照し、指定されたカラオケ楽曲及び指定された動画コンテンツを特定し、特定したカラオケ楽曲の音声および特定した動画コンテンツの音をスピーカ４７ｆから出力する。また制御部４０は、特定した動画コンテンツの映像および撮像装置４６ｅで撮像している映像を合成して映像表示装置４６ｆに表示する。

制御部４０は、音声認識機能を有しており、マイク４７ｅに入力された音声が表すフレーズ（文言）を認識する。例えば、「００１」、「００３」等のユーザＩＤ、「○○○」、「×××」等の演奏者の呼称、「ギター」、「ドラム」、「ベース」等の楽器の名称を認識する。制御部４０は、カラオケ端末用動画ＤＢ４３ｂを参照し、認識したフレーズと関連付けてある動画ＩＤを特定する。制御部４０は、映像表示装置４６ｆに表示している映像のうち、特定した動画ＩＤを有する動画コンテンツの映像に対する出力音量が、他の動画コンテンツの映像に対する出力音量と異なるように、音声ミキサ４７ｄを制御する。具体的には、音声認識機能により「ギター」が入力されたと認識した場合には、「ギター」の動画コンテンツの出力音量を上げ、他の動画コンテンツの出力音量を下げる調整を行う。また、特定の演奏者のユーザＩＤまたは称呼が入力されたと認識した場合には、その特定の演奏者が演奏している楽器の動画コンテンツの出力音量を上げ、他の動画コンテンツの出力音量を下げる調整を行う。つまり制御部４０は、マイク４７ｅに入力された音声の認識結果およびカラオケ端末用動画ＤＢ４３ｂに格納された動画コンテンツの関連情報に基づいて、伴奏する楽器の選択を行い、中央装置１から取得した各伴奏楽器の動画コンテンツに対する出力音量を調整するようにしてある。このような調整により特定の楽器の出力を強調することができ、カラオケの楽曲の各演奏者にスポットを当てた紹介が容易となり、より臨場感のあるライブ演奏の疑似体験が実現可能となる。

選択された楽器の動画コンテンツに対する出力音量を上げて、他の動画コンテンツに対する出力音量を下げる一例について上述したが、他の動画コンテンツに対する出力音量は下げない構成としてもよい。また、ユーザＩＤ、演奏者の呼称、楽器の名称等のうちの一つを示すフレーズが入力されたと認識した場合に、その認識したフレーズと関連付けてある動画ＩＤを特定する一例について上述したが、演奏者の呼称を示すフレーズ及び楽器の名称を示すフレーズ等のように、複数のフレーズが入力されたと認識した場合に初めて、動画ＩＤを特定する構成としてもよい。

制御部４０は更に、映像表示装置４６ｆに表示している映像のうち、特定した動画ＩＤを有する動画コンテンツの映像に対する表示態様が、他の動画コンテンツの映像に対する表示態様と異なるように、映像ミキサ４６ｄを制御する。例えば、特定した動画ＩＤを有する動画コンテンツの映像の外枠を、他の動画コンテンツの映像の外枠よりも太くする。例えば、特定した動画ＩＤを有する動画コンテンツの映像の輝度を上げ、他の動画コンテンツの映像の輝度を下げる。例えば、特定した動画ＩＤを有する動画コンテンツの映像を拡大し、他の動画コンテンツの映像を縮小する。したがって、「ギター」が入力されたた場合には、映像ミキサ４６ｄは、「ギター」の動画コンテンツの映像を他の動画コンテンツの映像よりも強調することができる。このような映像の強調により、スポットを当てられた演奏者が明確となり、より臨場感のあるライブ演奏の疑似体験が実現可能となる。

図７は、特定の動画コンテンツの映像を強調する構成の説明図である。図７では、３つの動画コンテンツの映像と１つの撮像装置４６ｅで撮像したユーザの映像とが合成されて映像表示装置４６ｆに表示されている一例について示してある。図の左上には、撮像装置４６ｅで撮像したユーザの映像が示してあり、左下には、楽器「ギター」を伴奏している動画コンテンツの映像が示してあり、右上には、楽器「ベース」を伴奏している動画コンテンツの映像が示してあり、右下には、楽器「ドラム」を伴奏している動画コンテンツの映像が示してある。また、音声認識機能により「ギター」が入力されたと認識し、「ギター」に対する動画コンテンツの映像の外枠を他の動画コンテンツの映像の外枠よりも太くすることにより強調している一例について示してある。

記憶装置４３は、上述した制御により生じた出力音量の調整および映像の強調を無効にする無効化フレーズが記憶してある。制御部４０は、音声認識機能により、その無効化フレーズがマイク４７ｅに入力されたか否かを判定する。無効化フレーズが入力されたと判定した場合、制御部４０は上述した出力音量の調整および映像の強調を無効にする。例えば、無効化フレーズとして「サンキュー」が記憶装置４３に記憶してあり、マイク４７ｅに「サンキュー」が入力されたと判定した場合、制御部４０は上述した制御による出力音量の調整および映像の強調を無効にする。したがって、特定の演奏者にスポットを当てた紹介を終了したい場合に、ユーザが手入力により紹介終了の操作を行う必要がないため、各演奏者にスポットを当てた紹介をスムーズに行えるようになる。

図８は、出力音量の調整に係る制御部４０の処理手順を示すフローチャートである。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定および指定したカラオケ楽曲の伴奏を行う複数の楽器についての複数の動画コンテンツの指定を既にしてある。また、指定されたカラオケ楽曲の音、指定された複数の動画コンテンツの音、及びマイク４７ｅから入力されたユーザの音声がスピーカ４７ｆから出力されるように制御を行ってある。

制御部４０は、音声認識機能とカラオケ端末用動画ＤＢ４３ｂに格納された動画コンテンツの関連情報とを用い、マイク４７ｅから複数の動画コンテンツの伴奏楽器に対する選択が行われたか否か判定する（ステップＳ１１）。

図６の例では、演奏者を示す文言「○○○」と楽器「ベース」を演奏している映像を含んだ動画ＩＤ「００２」の動画コンテンツとがカラオケ端末用動画ＤＢ４３ｂに関連付けてある。また、楽器を示す文言「ベース」と楽器「ベース」を演奏している映像を含んだ動画ＩＤ「００２」の動画コンテンツとがカラオケ端末用動画ＤＢ４３ｂに関連付けてある。つまり、文言と動画コンテンツの楽器とがカラオケ端末用動画ＤＢ４３ｂに関連付けてある。ステップＳ１１では、演奏者を示す文言「○○○」又は楽器を示す文言「ベース」がマイク４７ｅから入力されたと判定した場合、制御部４０は、動画ＩＤ「００２」である動画コンテンツの選択、つまり、動画ＩＤ「００２」である動画コンテンツの伴奏楽器「ベース」に対する選択が行われたと判定する。同様に、演奏者を示す文言「×××」又は楽器を示す文言「ピアノ」がマイク４７ｅから入力されたと判定した場合、制御部４０は、動画ＩＤ「００４」である動画コンテンツの選択、つまり、動画ＩＤ「００４」である動画コンテンツの伴奏楽器「ピアノ」に対する選択が行われたと判定する。カラオケ端末用動画ＤＢ４３ｂを参照したが、マイク４７ｅから入力された文言と関連する動画コンテンツを特定できない場合、制御部４０は、動画コンテンツの選択、つまり、動画コンテンツの伴奏楽器に対する選択が行われなかったと判定する。

選択が行われたと判定しなかった場合（Ｓ１１：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ１１を繰り返す。選択が行われたと判定した場合（Ｓ１１：ＹＥＳ）、制御部４０は、カラオケ端末用動画ＤＢ４３ｂに格納された動画コンテンツの関連情報を参照し、各動画コンテンツの出力音量を選択前から変更する。具体的には、選択された伴奏楽器の動画コンテンツに対する出力音量を選択前よりも大きくし、他の動画コンテンツに対する出力音量を選択前よりも小さくするように、音声ミキサ４７ｄを制御する（ステップＳ１２）。また制御部４０は、制御後の出力音量でそれぞれの動画コンテンツの音を出力する（ステップＳ１３）。

制御部４０は、音声認識機能と記憶装置４３に記憶した無効化フレーズとを用い、マイク４７ｅから無効化フレーズ「サンキュー」が入力されたか否か判定する（ステップＳ１４）。入力されたと判定しなかった場合（Ｓ１４：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ１４を繰り返す。入力されたと判定した場合（Ｓ１４：ＹＥＳ）、制御部４０は、各動画コンテンツに対する出力音量が選択前の出力音量となるように、つまり、選択後の出力音量調整処理を無効とするように、音声ミキサ４７ｄを制御する（ステップＳ１５）。また制御部４０は、選択前の出力音量でそれぞれの動画コンテンツの音を出力し（ステップＳ１６）、処理を終了する。

上述の構成により、演奏者の楽器の音量などを調整するＰＡエンジニアを要することなく、カラオケ端末装置４のユーザ自身で各楽器の音量を調整できるようになる。したがって、各演奏者にスポットを当てた紹介を容易にすることができ、より臨場感のあるライブ演奏の疑似体験を行えるようになる。

図９は、動画コンテンツの映像の強調に係る制御部４０の処理手順を示すフローチャートである。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定および指定したカラオケ楽曲の伴奏を行う複数の楽器についての複数の動画コンテンツの指定を既にしてある。また、指定された複数の動画コンテンツの映像および撮像装置４６ｅで撮像している映像が、合成されて映像表示装置４６ｆに表示されるように制御を行ってある。

制御部４０は、音声認識機能とカラオケ端末用動画ＤＢ４３ｂに格納された動画コンテンツの関連情報とを用い、マイク４７ｅから複数の動画コンテンツの伴奏楽器に対する選択が行われたか否か判定する（ステップＳ２１）。選択が行われたと判定しなかった場合（Ｓ２１：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ２１を繰り返す。選択が行われたと判定した場合（Ｓ２１：ＹＥＳ）、制御部４０は、カラオケ端末用動画ＤＢ４３ｂに格納された動画コンテンツの関連情報を参照し、選択された伴奏楽器の動画コンテンツの映像を他の動画コンテンツの映像よりも強調するように、映像ミキサ４６ｄを制御する（ステップＳ２２）。また制御部４０は、制御後の映像をそれぞれの動画コンテンツの映像として表示する（ステップＳ２３）。

制御部４０は、音声認識機能と記憶装置４３に記憶した無効化フレーズとを用い、マイク４７ｅから無効化フレーズ「サンキュー」が入力されたか否か判定する（ステップＳ２４）。入力されたと判定しなかった場合（Ｓ２４：ＮＯ）、制御部４０は、一定時間経過後にステップＳ２４を繰り返す。入力されたと判定した場合（Ｓ２４：ＹＥＳ）、制御部４０は、各動画コンテンツに対する映像が選択前と同様に強調のない映像となるように、つまり、選択後の強調処理を無効とするように、映像ミキサ４６ｄを制御する（ステップＳ２５）。また制御部４０は、それぞれの動画コンテンツの映像を選択前と同様に表示し（ステップＳ２６）、処理を終了する。

上述の構成により、スポットが当てられた演奏者が視覚的に明らかになる。したがって、より臨場感のあるライブ演奏の疑似体験を行えるようになる。

（実施の形態２）
実施の形態１では、複数の動画コンテンツから伴奏楽器の音を選択する構成について説明している。実施の形態２では、カラオケ端末装置４に接続された複数の電子楽器から、伴奏楽器の音を選択する構成について説明する。中央装置１の構成は、実施の形態１と同様であるため、詳細な説明を省略する。

実施の形態２のカラオケ端末装置４は、実施の形態１における構成要素に加えて、複数の電子楽器を接続するサウンドエフェクター４８を備える。図１０は、複数の電子楽器を接続するサウンドエフェクターの外観の一例を示す模式図である。サウンドエフェクター４８は、「ギター」、「ベース」等の電子楽器の出力端子を接続する複数の接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄを備える。複数の接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄそれぞれに、系統番号Ａ、Ｂ、Ｃ、Ｄが付してある。

遠隔操作装置５は、複数の接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄと複数の電子楽器との関連を示す関連情報を、ユーザの入力を介して受け付ける。例えば、複数の接続ソケットの系統番号と、その系統番号の接続ソケットに接続した電子楽器の名称と、その電子楽器を演奏する演奏者の呼称とを受け付ける。遠隔操作装置５は、受け付けた関連情報を記憶装置４３に与える。記憶装置４３は、与えられた関連情報を記憶する。したがってユーザは、遠隔操作装置５を操作することにより、サウンドエフェクター４８にあるいずれの接続ソケットにいずれの電子楽器が接続されるかを設定することができる。

図１１は、遠隔操作装置５による設定方法を示す説明図である。図１１では、遠隔操作装置５に表示された画面を参照し、Ａ−Ｄ系統として系統番号の識別情報が付された複数の接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄと各接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄに接続する電子楽器の識別情報（電子楽器の楽器名、及びその電子楽器を演奏する演奏者名）との関係を設定する例について示してある。具体的には、Ａ系統の接続ソケット４８ａに電子楽器「ギター」が接続してある関係を設定する例について示してある。制御部４０は、このようにして設定した情報をサウンドエフェクター設定情報４３ｃとして記憶装置４３に記憶する。

図１２は、サウンドエフェクター設定情報４３ｃのレコードレイアウトの一例を概念的に示す説明図である。サウンドエフェクター設定情報４３ｃの表は、複数の列、例えば「系統番号」列、「演奏者」列、「楽器」列等から構成されており、各列に対応した情報が格納されている。このような情報を用いて、サウンドエフェクターに接続された電子楽器を識別することができる。

「系統番号」列は、接続ソケット４８ａ、４８ｂ、４８ｃ、４８ｄを識別するための系統番号を格納する。「演奏者」列は、接続された電子楽器の演奏者を示すユーザＩＤ、演奏者の呼称情報などを格納する。「楽器」列は、接続された電子楽器の名称を格納する。

サウンドエフェクター４８は、音声エンコーダ４７ａに接続してあり、電子楽器の音に関する音情報がサウンドエフェクター４８を介して音声エンコーダ４７ａに与えられる。したがって、指定されたカラオケ楽曲の音声、サウンドエフェクター４８に接続された電子楽器の音、及びマイク４７ｅから入力されたユーザの音声がスピーカ４７ｆから出力される。

制御部４０は、音声認識機能を有しており、マイク４７ｅに入力された音声が表すフレーズ（文言）を認識する。例えば、「○○○」、「×××」等の演奏者の呼称、「ギター」、「ドラム」、「ベース」等の楽器の名称を認識する。制御部４０は、記憶装置４３に記憶したサウンドエフェクター設定情報４３ｃを参照し、認識したフレーズと関連付けてある接続ソケットの系統番号を特定する。制御部４０は、サウンドエフェクター４８に接続された電子楽器のうち、特定した系統番号を有する接続ソケットに接続してある電子楽器に対する出力音量が他の電子楽器に対する出力音量とは異なるように、音声ミキサ４７ｄを制御する。具体的には、音声認識機能により「ギター」が入力されたと認識した場合には、サウンドエフェクター４８に接続された電子楽器「ギター」の出力音量を上げ、サウンドエフェクター４８に接続された他の電子楽器の出力音量を下げる調整を行う。また、特定の演奏者の称呼が入力されたと認識した場合には、その特定の演奏者が演奏している電子楽器の出力音量を上げ、他の電子楽器の出力音量を下げる調整を行う。つまり制御部４０は、マイク４７ｅに入力された音声の認識結果および記憶装置４３に記憶したサウンドエフェクター設定情報４３ｃに基づいて、伴奏する電子楽器の選択を行い、サウンドエフェクター４８に接続された電子楽器それぞれに対する出力音量を調整するようにしてある。このような調整により特定の電子楽器の出力を強調することができ、カラオケの楽曲の各演奏者にスポットを当てた紹介が容易となり、より臨場感のあるライブ演奏の疑似体験が実現可能となる。

選択された電子楽器に対する出力音量を上げて、他の電子楽器に対する出力音量を下げる一例について上述したが、他の電子楽器に対する出力音量は下げない構成としてもよい。また、演奏者の呼称及び楽器の名称のうちの一つを示すフレーズが入力されたと認識した場合に、その認識したフレーズと関連付けてある接続ソケットを特定する一例について上述したが、演奏者の呼称を示すフレーズ及び楽器の名称を示すフレーズ両方が入力されたと認識した場合に初めて、接続ソケットを特定する構成としてもよい。

記憶装置４３には、上述した制御により生じた出力音量の調整を無効にする無効化フレーズが記憶してある。制御部４０は、音声認識機能により、その無効化フレーズがマイク４７ｅに入力されたか否かを判定する。無効化フレーズが入力されたと判定した場合、制御部４０は上述した出力音量の調整を無効にする。例えば、無効化フレーズとして「サンキュー」が記憶装置４３に記憶してあり、マイク４７ｅに「サンキュー」が入力されたと判定した場合、制御部４０は上述した出力音量の調整を無効にする。したがって、特定の演奏者にスポットを当てた紹介を終了したい場合に、ユーザが手入力により紹介終了の操作を行う必要がないため、各演奏者にスポットを当てた紹介をスムーズに行えるようになる。

制御部４０は、電子楽器の選択を行う際、指定したカラオケ楽曲の楽曲データの再生区分を参照し、「ソロパート」の再生中か否かを判定する。「ソロパート」の再生中と判定した場合には、無効化フレーズが入力されるまで、「ソロパート」を繰り返し再生する。また、無効化フレーズが入力された場合には、「ソロパート」の途中であっても「ソロパート」を終了する。

サウンドエフェクター４８から得られる電子楽器の音情報は、接続された電子楽器が演奏者に演奏されることにより得られる情報である。この音情報は、動画コンテンツのように予め記録された情報ではなく、即興の演奏から得られる情報である。したがって、指定したカラオケ楽曲のソロパートになり、特定の演奏者を選択して音量の調整を行った場合においても、特定した演奏者の演奏が指定したカラオケ楽曲のソロパートよりも長くなる、又は短くなる事態が想定される。したがって制御部４０は、指定したカラオケ楽曲の楽曲データの再生区分を参照し、選択により電子楽器の音量調整が行われた場合は、無効化フレーズが入力されるまで、「ソロパート」を繰り返し再生するようにしてある。また、無効化フレーズが入力された場合には、「ソロパート」の途中であっても「ソロパート」を終了するようにしてある。このような構成により、各演奏者にスポットを当てた紹介の後も、指定したカラオケ曲をスムーズに再生することができる。

実施の形態２におけるカラオケ端末装置４のその他の構成は、実施の形態１と同様であるため、詳細な説明を省略する。

図１３は、出力音量の調整に係る制御部４０の処理手順を示すフローチャートである。再生中のカラオケ楽曲におけるソロパート出力中の処理手順について示してある。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定およびサウンドエフェクター４８に接続した複数の電子楽器についての設定が行ってある。また、指定されたカラオケ楽曲の音、接続された複数の電子楽器の音、及びマイク４７ｅから入力されたユーザの音声がスピーカ４７ｆから出力されるように制御を行ってある。

制御部４０は、指定されたカラオケ楽曲の楽曲データにあるヘッダ情報を参照し、再生中のカラオケ楽曲におけるソロパートを出力していると判定した場合、音声認識機能と記憶装置４３に記憶したサウンドエフェクター設定情報４３ｃとを用い、マイク４７ｅから複数の電子楽器に対する選択が行われたか否か判定する（ステップＳ３１）。

図１２の例では、演奏者を示す文言「○○○」と電子楽器「ギター」を接続している接続ソケットの系統番号「Ａ」とがサウンドエフェクター設定情報４３ｃに関連付けてある。また、電子楽器を示す文言「ギター」と電子楽器「ギター」を接続している接続ソケットの系統番号「Ａ」とがサウンドエフェクター設定情報４３ｃに関連付けてある。つまり、文言と接続ソケットに接続された電子楽器とがサウンドエフェクター設定情報４３ｃに関連付けてある。ステップＳ３１では、演奏者を示す文言「○○○」又は電子楽器を示す文言「ギター」がマイク４７ｅから入力されたと判定した場合、制御部４０は、系統番号「Ａ」である接続ソケットの選択、つまり、系統番号「Ａ」である接続ソケットに接続された電子楽器「ギター」に対する選択が行われたと判定する。同様に、演奏者を示す文言「□□□」又は電子楽器を示す文言「ベース」がマイク４７ｅから入力されたと判定した場合、制御部４０は、系統番号「Ｂ」である接続ソケットの選択、つまり、系統番号「Ｂ」である接続ソケットに接続された電子楽器「ベース」に対する選択が行われたと判定する。演奏者を示す文言「△△△」又は電子楽器を示す文言「ドラム」がマイク４７ｅから入力されたと判定した場合、制御部４０は、系統番号「Ｃ」である接続ソケットの選択、つまり、系統番号「Ｃ」である接続ソケットに接続された電子楽器「ドラム」に対する選択が行われたと判定する。演奏者を示す文言「×××」又は楽器を示す文言「ピアノ」がマイク４７ｅから入力されたと判定した場合、制御部４０は、系統番号「Ｄ」である接続ソケットの選択、つまり、系統番号「Ｄ」である接続ソケットに接続された電子楽器「ピアノ」に対する選択が行われたと判定する。サウンドエフェクター設定情報４３ｃを参照したが、マイク４７ｅから入力された文言と関連する接続ソケットを特定できない場合、制御部４０は、接続ソケットの選択、つまり、接続ソケットに接続された電子楽器に対する選択が行われなかったと判定する。

制御部４０は、複数の電子楽器に対する選択が行われたと判定しなかった場合（Ｓ３１：ＮＯ）、一定時間の経過後にステップＳ３１を繰り返す。複数の電子楽器に対する選択が行われたと判定した場合（Ｓ３１：ＹＥＳ）、選択された電子楽器の出力音量を選択前よりも大きくし、他の電子楽器の出力音量を選択前よりも小さくするように、音声ミキサ４７ｄを制御する（ステップＳ３２）。また制御部４０は、制御後の出力音量でそれぞれの電子楽器の音を出力する（ステップＳ３３）。

制御部４０は、指定されたカラオケ楽曲の楽曲データにあるヘッダ情報および再生区分を参照し、再生中のカラオケ楽曲における記憶したソロパートの再生時間内であるか否かを判定する（ステップＳ３４）。記憶したソロパートの再生時間内であると判定した場合（Ｓ３４：ＹＥＳ）、制御部４０は、音声認識機能と記憶装置４３に記憶した無効化フレーズとを用い、マイク４７ｅから無効化フレーズ「サンキュー」が入力されたか否か判定する（ステップＳ３５）。入力されたと判定した場合（Ｓ３５：ＹＥＳ）、制御部４０は、各電子楽器に対する出力音量が選択前の出力音量となるように、音声ミキサ４７ｄを制御し（ステップＳ３６）、選択前の出力音量でそれぞれの電子楽器の音を出力する（ステップＳ３７）。制御部４０は、ソロパートの再生を終了して（ステップＳ３８）、処理を終了する。

制御部４０はステップＳ３４で、再生中のカラオケ楽曲における記憶したソロパートの再生時間内であると判定しなかった場合（Ｓ３４：ＮＯ）、再生を終了したソロパートの次の再生区分を再生することなく、ソロパートを再び再生し（ステップＳ３９）、ステップＳ３５を実施する。

制御部４０はステップＳ３５で、無効化フレーズ「サンキュー」が入力されたと判定しなかった場合（Ｓ３５：ＮＯ）、一定時間の経過後にステップＳ３４を繰り返す。

制御部４０は、再生中のカラオケ楽曲におけるソロパート出力中だけでなく、「前奏」、「メロディー部分Ａ」、「メロディー部分Ｂ」等の出力中においても、電子楽器の音量調整処理を行う。図１４は、出力音量の調整に係る制御部４０の処理手順を示すフローチャートである。具体的には、ソロパート出力中でない場合における出力音量の調整に係る制御部４０の処理手順を示すフローチャートである。

制御部４０は、音声認識機能とサウンドエフェクター設定情報４３ｃとを用い、マイク４７ｅから複数の電子楽器に対する選択が行われたか否か判定する（ステップＳ４１）。選択が行われたと判定しなかった場合（Ｓ４１：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ４１を繰り返す。選択が行われたと判定した場合（Ｓ４１：ＹＥＳ）、制御部４０は、各電子楽器の出力音量を選択前から変更する。具体的には、選択された電子楽器に対する出力音量を選択前よりも大きくし、他の電子楽器に対する出力音量を選択前よりも小さくするように、音声ミキサ４７ｄを制御する（ステップＳ４２）。また制御部４０は、制御後の出力音量でそれぞれの電子楽器の音を出力する（ステップＳ４３）。

制御部４０は、音声認識機能と記憶装置４３に記憶した無効化フレーズとを用い、マイク４７ｅから無効化フレーズ「サンキュー」が入力されたか否か判定する（ステップＳ４４）。入力されたと判定しなかった場合（Ｓ４４：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ４４を繰り返す。入力されたと判定した場合（Ｓ４４：ＹＥＳ）、制御部４０は、各電子楽器に対する出力音量が選択前の出力音量となるように、つまり、選択後の出力音量調整処理を無効とするように、音声ミキサ４７ｄを制御する（ステップＳ４５）。また制御部４０は、選択前の出力音量でそれぞれの電子楽器の音を出力し（ステップＳ４６）、処理を終了する。

上述の構成により、電子楽器の音量などを調整するＰＡエンジニアを要することなく、電子楽器の音量をユーザ自身で調整できるようになる。したがって、各演奏者にスポットを当てた紹介を容易にすることができ、より臨場感のあるライブ演奏の疑似体験を行えるようになる。

（実施の形態３）
実施の形態２では、カラオケ端末装置４に接続された複数の電子楽器から、ソロパートを演奏する楽器の音を選択する構成について説明している。実施の形態３では、更に、そのソロパートの楽器名の情報およびそのソロパートの再生時間の情報を表示する構成について説明する。中央装置１の構成は、実施の形態１と同様であるため、詳細な説明を省略する。

制御部４０は、指定したカラオケ楽曲の楽曲データを再生する場合、楽曲データの再生区分を参照し、指定したカラオケ楽曲にソロパートが含まれているか否か検出する。ソロパートが含まれていると検出した場合、制御部４０は、その含まれているソロパートの演奏に用いる楽器がどの楽器であるかを識別する。また、その含まれているソロパートの再生する時間の所定秒前となっているか否かを検出する。更に制御部４０は、所定秒前であると検出した場合、その含まれているソロパートの演奏に用いる楽器名とその楽器名のソロパートの再生時間が迫っている旨とを映像表示装置４６ｆに表示するように、各部を制御する。ソロパートを再生すべき時間であると検出した場合には、ソロパートの演奏に用いる楽器名とその楽器名のソロパートの再生開始を示す旨とを映像表示装置４６ｆに表示するように、各部を制御する。例えば、指定したカラオケ楽曲に「ギター」のソロパートが含まれており、その「ギター」のソロパートを再生する時間の２０秒前となった場合、制御部４０は、「もうすぐギターソロパートです」という予告文言を映像表示装置４６ｆに表示するように各部を制御する。その「ギター」のソロパートの再生を開始する時間となった場合、制御部４０は、「ギターソロパート開始」という開始文言を映像表示装置４６ｆに表示するように各部を制御する。

指定したカラオケ楽曲のどの時間帯にどの楽器のソロパートが再生されるかユーザが把握していない状況も想定される。そのようなユーザがカラオケ端末装置４を使用している場合においても、上述した予告文言および開始文言を表示する構成を用いることにより、ソロパートで演奏する所定の楽器を正確なタイミングで指定できるようになり、より臨場感のあるライブ演奏の疑似体験をスムーズに行えるようになる。

カラオケ端末装置４のその他の構成は、実施の形態２と同様であるため、その他の構成に関する詳細な説明を省略する。

図１５は、予告文言および開始文言の表示に係る制御部４０の処理手順を示すフローチャートである。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定およびサウンドエフェクター４８に接続した複数の電子楽器についての設定が行ってある。また、指定されたカラオケ楽曲の音、接続された複数の電子楽器の音、及びマイク４７ｅから入力されたユーザの音声がスピーカ４７ｆから出力されるように制御を行ってある。

制御部４０は、指定されたカラオケ楽曲の楽曲データにあるヘッダ情報を参照し、再生中のカラオケ楽曲にソロパートが含まれているか否か判定する（ステップＳ５１）。ソロパートが含まれていないと判定した場合（Ｓ５１：ＮＯ）、制御部４０は、処理を終了する。ソロパートが含まれていると判定した場合（Ｓ５１：ＹＥＳ）、楽曲データの再生区分を参照し、そのソロパートの伴奏楽器および再生時間帯を識別する（ステップＳ５２）。

制御部４０は、識別した再生時間帯に基づいて、再生中のカラオケ楽曲においてそのソロパートを再生する時間の２０秒前になっているか否かを判定する（ステップＳ５３）。２０秒前になっていないと判定した場合（Ｓ５３：ＮＯ）、一定時間の経過後にステップＳ５３を繰り返す。２０秒前になっていると判定した場合（Ｓ５３：ＹＥＳ）、識別した伴奏楽器のソロパート開始予告を示す予告文言を映像表示装置４６ｆに表示する（ステップＳ５４）。

制御部４０は、識別した再生時間帯に基づいて、再生中のカラオケ楽曲においてそのソロパートの再生を開始する時間になったか否かを判定する（ステップＳ５５）。再生を開始する時間になっていないと判定した場合（Ｓ５５：ＮＯ）、一定時間の経過後にステップＳ５５を繰り返す。再生を開始する時間になったと判定した場合（Ｓ５５：ＹＥＳ）、表示した予告文言を削除し、識別した伴奏楽器のソロパートの開始を示す開始文言を映像表示装置４６ｆに表示し（ステップＳ５６）、処理を終了する。

（実施の形態４）
実施の形態１では、複数の動画コンテンツから伴奏楽器の音を選択する構成について説明している。実施の形態２では、カラオケ端末装置４に接続された複数の電子楽器から、伴奏楽器の音を選択する構成について説明している。実施の形態４では、複数の動画コンテンツと複数の電子楽器とから、伴奏楽器の音を選択する構成について説明する。中央装置１の構成は、実施の形態１と同様であるため、詳細な説明を省略する。カラオケ端末装置４の構成は、実施の形態２と同様であるため、詳細な説明を省略する。

図１６は、出力音量の調整に係る制御部４０の処理手順を示すフローチャートである。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定および指定したカラオケ楽曲の伴奏を行う複数の楽器についての複数の動画コンテンツの指定を既にしてある。遠隔操作装置５を介したユーザの操作により、カラオケ楽曲の指定およびサウンドエフェクター４８に接続した複数の電子楽器についての設定が行ってある。また、指定されたカラオケ楽曲の音、指定された複数の動画コンテンツの音、接続された複数の電子楽器の音及びマイク４７ｅから入力されたユーザの音声がスピーカ４７ｆから出力されるように制御を行ってある。

制御部４０は、音声認識機能とカラオケ端末用動画ＤＢ４３ｂとサウンドエフェクター設定情報４３ｃとを用い、マイク４７ｅから複数の動画コンテンツの伴奏楽器及びサウンドエフェクター４８に接続された複数の電子楽器に対する選択が行われたか否か判定する（ステップＳ６１）。カラオケ端末用動画ＤＢ４３ｂを用いた制御部４０の判定は、実施の形態１におけるステップＳ１１での判定と同様であるため、詳細な説明を省略する。また、サウンドエフェクター設定情報４３ｃを用いた制御部４０の判定は、実施の形態２におけるステップＳ３１での判定と同様であるため、詳細な説明を省略する。

選択が行われたと判定しなかった場合（Ｓ６１：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ６１を繰り返す。選択が行われたと判定した場合（Ｓ６１：ＹＥＳ）、制御部４０は、カラオケ端末用動画ＤＢ４３ｂとサウンドエフェクター設定情報４３ｃとを参照し、各動画コンテンツ及び各電子楽器の出力音量を選択前から変更する。具体的には、伴奏楽器の動画コンテンツの伴奏楽器及び接続された電子楽器の中から、選択された楽器に対する出力音量を選択前よりも大きくし、他の楽器に対する出力音量を選択前よりも小さくするように、音声ミキサ４７ｄを制御する（ステップＳ６２）。また制御部４０は、制御後の出力音量でそれぞれの楽器の音を出力する（ステップＳ６３）。

制御部４０は、音声認識機能と記憶装置４３に記憶した無効化フレーズとを用い、マイク４７ｅから無効化フレーズ「サンキュー」が入力されたか否か判定する（ステップＳ６４）。入力されたと判定しなかった場合（Ｓ６４：ＮＯ）、制御部４０は、一定時間の経過後にステップＳ６４を繰り返す。入力されたと判定した場合（Ｓ６４：ＹＥＳ）、制御部４０は、各楽器に対する出力音量が選択前の出力音量となるように、つまり、選択後の出力音量調整処理を無効とするように、音声ミキサ４７ｄを制御する（ステップＳ６５）。また制御部４０は、選択前の出力音量でそれぞれの楽器の音を出力し（ステップＳ６６）、処理を終了する。

上述の構成により、演奏者の楽器の音量などを調整するＰＡエンジニアを要することなく、カラオケ端末装置４のユーザ自身で各楽器の音量を調整できるようになる。したがって、各演奏者にスポットを当てた紹介を容易にすることができ、より臨場感のあるライブ演奏の疑似体験を行えるようになる。

（実施の形態５）
実施の形態４では、複数の動画コンテンツと複数の電子楽器とから、伴奏楽器の音を選択する構成について説明している。選択対象となる電子楽器としては、ユーザが使用するカラオケ端末装置４のサウンドエフェクター４８に接続された電子楽器を用いていた。実施の形態５では、ユーザが使用するカラオケ端末装置４とは別のカラオケ端末装置４にあるサウンドエフェクター４８に接続された電子楽器を選択対象として用いる。中央装置１の構成は、実施の形態１と同様であるため、詳細な説明を省略する。カラオケ端末装置４の構成は、実施の形態４と同様であるため、詳細な説明を省略する。

各カラオケ店舗２の一室に配置してあるカラオケ端末装置４は、一つの撮像装置４６ｅを備える。ボーカル担当のユーザと楽器演奏担当のユーザとが一室に配置してあるカラオケ端末装置４を使用する場合、備えてある一つの撮像装置４６ｅで２人のユーザを撮像することになる。

図１７は、一つの撮像装置４６ｅで二人のユーザを撮像した場合に映像表示装置４６ｆに表示される合成映像の一例を示す模式図である。図１７では、一つの撮像装置４６ｅでボーカル担当のユーザ及びベース担当のユーザを撮像して得られた映像と、２つの動画コンテンツの映像の映像とが合成されて映像表示装置４６ｆに表示されている一例について示してある。図の左上には、撮像装置４６ｅで撮像した両ユーザの映像が示してあり、左下には、楽器「ギター」を伴奏している動画コンテンツの映像が示してあり、右上には、映像が示されておらず、右下には、楽器「ドラム」を伴奏している動画コンテンツの映像が示してある。

一つの撮像装置４６ｅによる撮像により得られる映像の表示領域は予め決められているため、図１７の左上に示すように、二人のユーザの映像は縮小されてバランスが悪く表示されている。このような事態を解消するため、制御部４０は、各カラオケ店舗２の別室に配置してあるカラオケ端末装置４（他店舗２の一室に配置してあるカラオケ端末装置４でもよい）のサウンドエフェクター４８に接続された電子楽器を演奏するユーザの映像を、その別室に配置してあるカラオケ端末装置４の撮像装置４６ｅで撮像して取得できるようにしてある。このように構成することにより、図７と同様の合成映像となり、２人のユーザの適切な映像を表示できるようになり、より臨場感のあるライブ演奏の疑似体験が行える。

制御部４０は、通信網Ｎ１に接続してある他のカラオケ端末装置４の撮像装置４６ｅから映像データを取得し、映像データを取得した他のカラオケ端末装置４のマイク４７ｅから音データを取得し、取得したデータを選択対象の電子楽器の情報として使用する。カラオケ端末装置４のその他の構成は、実施の形態４と同様であるため、詳細な説明を省略する。

通信網Ｎ１に接続してある他のカラオケ端末装置４の撮像装置４６ｅおよびマイク４７ｅから映像データおよび音データを取得する構成とするために、ゲームのオンラインマッチングのような方法を用いてもよい。具体的には、ユーザ乙がカラオケ端末装置４を使用して、利用可能な演奏楽器を探す場合に、通信網Ｎ１に接続してある他のカラオケ端末装置４の記憶装置４３に記憶したサウンドエフェクター設定情報４３ｃを参照し、ユーザ乙が希望するユーザを指定して通信できるようにする方法を用いてもよい。この方法では、他のカラオケ端末装置４を使用しているユーザの楽器名、演奏者名、ユーザＩＤ等を用いてユーザの検索を行うことができるようにしてもよい。指定したユーザの楽器の音データを取得するが、映像データは取得せずに、その楽器に対する一般的な映像を映像表示装置４６ｆの対応領域に表示するように改変を加えてもよいことは言うまでもない。

実施の形態１、２及び４では、無効化フレーズ「サンキュー」の入力により、楽器の選択に基づく処理が無効化される構成について説明していた。しかしながら、一定時間経過後に強制的に、選択に基づく処理を無効化する構成としてもよい。ソロパートの再生時間が終了する際に自動的に、選択に基づく処理を無効化する構成としてもよい。また、指定された楽器の演奏者のパフォーマンスがソロパートの再生時間内に終了する状況も考えられるため、指定した楽器の音信号が一定時間入力されない場合、または、指定した楽器の出力音量が所定値以下となる状況が一定時間以上続いた場合、選択に基づく処理を無効化する構成としてもよい。

実施の形態１、２及び４では、無効化フレーズ「サンキュー」を記憶装置４３に記憶する構成について説明していた。しかしながら、無効化フレーズではなく、楽器の特定音（和音等）を無効化音として記憶装置４３に記憶しておき、記憶した特定音が出力された場合に、選択に基づく処理を無効化する構成としてもよい。ユーザの所定のポーズ（手を挙げるポーズ等）を無効化ポーズとして記憶装置４３に記憶しておき、記憶したポーズが撮像装置４６ｅにより撮像した画像に含まれている場合に、選択に基づく処理を無効化する構成としてもよい。また、第三者でも無効化できるようにするため、遠隔操作装置５の所定のボタンを無効化ボタンとして記憶装置４３に記憶しておき、記憶したボタンが押下された場合に、選択に基づく処理を無効化する構成としてもよい。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。各実施の形態で記載してある技術的特徴は互いに組み合わせ可能である。本発明の範囲は、上で例示した内容だけで無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての更新が含まれることが意図される。

１ 中央装置
２ カラオケ店舗
４ カラオケ端末装置
５ 遠隔操作装置
１０，４０ 制御部
１１，４１ ＲＯＭ
１２，４２ ＲＡＭ
１３ 内部記憶装置
１３ａ 楽曲ＤＢ
１３ｂ 動画ＤＢ
１４ 外部記憶装置
１５ 通信部
４３ 記憶装置
４４ 通信部
４６ａ 映像エンコーダ
４６ｂ 映像制御回路
４６ｃ 映像デコーダ
４６ｄ 映像ミキサ
４６ｅ 撮像装置
４６ｆ 表示装置
４７ａ 音声エンコーダ
４７ｂ 音源
４７ｃ 音声デコーダ
４７ｄ 音声ミキサ
４７ｅ マイク
４７ｆ スピーカ
Ｎ１，Ｎ２ 通信網

Claims (4)

1. カラオケ曲を再生する再生部、音声を入力する音声入力部、複数の楽器の音信号を取得する取得部、並びに、再生した前記カラオケ曲の音、前記音声入力部に入力された音声、及び取得した前記音信号に基づく音を出力する出力部を有するカラオケ装置において、
   音信号を含む複数の楽器演奏動画コンテンツを記録したデータベースに接続する接続部を備え、
   前記取得部は、前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツの音信号を取得するようにしてあり、
   前記音声入力部に入力された音声に基づいて、前記複数の楽器から一つの楽器を選択する選択部と、
   該選択部が選択した楽器の出力音量が、前記選択部が選択した楽器以外の楽器の出力音量と異なるように、前記出力部を制御する制御部と
   を備えることを特徴とするカラオケ装置。
2. 前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツの各動画を表示領域内に表示する表示部と、
   前記表示部が表示する各動画の表示態様を制御する表示制御部とを備え、
   該表示制御部は、前記選択部が選択した楽器の音信号を含む楽器演奏動画コンテンツの表示動画の表示態様が、その他の楽器演奏動画コンテンツの表示動画の表示態様と異なるように前記表示部が表示する各動画の表示態様を制御するようにしてある
   ことを特徴とする請求項１に記載のカラオケ装置。
3. カラオケ曲を再生する再生部、音声を入力する音声入力部、複数の楽器の音信号を取得する取得部、並びに、再生した前記カラオケ曲の音、前記音声入力部に入力された音声、及び取得した前記音信号に基づく音を出力する出力部を有するカラオケ装置において、
   前記音声入力部に入力された音声に基づいて、前記複数の楽器から一つの楽器を選択する選択部と、
   該選択部が選択した楽器の出力音量が、前記選択部が選択した楽器以外の楽器の出力音量と異なるように、前記出力部を制御する制御部と、
   前記制御部による制御の無効を示す文言を記憶する記憶部と、
   前記音声入力部に入力された音声を認識する音声認識部と、
   前記音声認識部の音声認識結果に基づき、前記記憶部に記憶した文言が前記音声入力部に入力されたか否かを判定する判定部と、
   前記制御部による制御を無効にする無効化部とを備え、
   該無効化部は、前記記憶部に記憶した文言が前記音声入力部に入力されたと前記判定部が判定した場合、前記制御部による制御を無効にし、
   前記選択部は、再生する前記カラオケ曲にあるソロパートの再生中に楽器を選択するようにしてあり、
   前記制御部が前記出力部を制御した場合、前記再生部は、前記記憶部に記憶した文言が前記音声入力部に入力されたと前記判定部が判定するまで、前記ソロパートの再生を繰り返すようにしてある
   ことを特徴とするカラオケ装置。
4. 複数の楽器演奏動画コンテンツを記録したデータベースに接続する接続部を備え、カラオケ曲を再生し、音声入力部に入力された音声の音声信号及び複数の楽器の音信号を取得するコンピュータに、取得した前記複数の楽器の音信号の音量情報を出力させるコンピュータプログラムにおいて、
   前記接続部に接続したデータベースに記録した複数の楽器演奏動画コンテンツに含まれる音信号を取得するステップと、
   取得した前記音声信号に基づき、前記音声入力部に入力された音声を認識するステップと、
   文言及び楽器を関連付ける記憶した複数組の関連情報並びに前記音声入力部に入力された文言に基づき楽器を前記複数の楽器の中から選択するステップと、
   取得した複数の楽器の音信号に対して、該選択した楽器の音量が、該選択した楽器以外の楽器の音量と異なる音量情報を生成するステップと
   を備えることを特徴とするコンピュータプログラム。

Images